JP6498802B1 - 生体情報解析装置及びその顔型のシミュレーション方法 - Google Patents

生体情報解析装置及びその顔型のシミュレーション方法 Download PDF

Info

Publication number
JP6498802B1
JP6498802B1 JP2018007969A JP2018007969A JP6498802B1 JP 6498802 B1 JP6498802 B1 JP 6498802B1 JP 2018007969 A JP2018007969 A JP 2018007969A JP 2018007969 A JP2018007969 A JP 2018007969A JP 6498802 B1 JP6498802 B1 JP 6498802B1
Authority
JP
Japan
Prior art keywords
face
face type
type
deformation
predetermined value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018007969A
Other languages
English (en)
Other versions
JP2019079481A (ja
Inventor
軾榮 沈
軾榮 沈
敏昶 季
敏昶 季
暉騰 林
暉騰 林
靖維 王
靖維 王
Original Assignee
麗寶大數據股▲フン▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 麗寶大數據股▲フン▼有限公司 filed Critical 麗寶大數據股▲フン▼有限公司
Application granted granted Critical
Publication of JP6498802B1 publication Critical patent/JP6498802B1/ja
Publication of JP2019079481A publication Critical patent/JP2019079481A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

【課題】利用者の本来顔型に応じて異なる顔型変形処理を行うことで、目標顔型を適用した利用者のシミュレーション画像を効果的に生成するほか、生成したシミュレーション画像がより自然に仕上がる生体情報解析装置及びその顔型のシミュレーション方法を提供する。【解決手段】本発明に係る生体情報解析装置は、外部画像を撮像し、外部画像から顔を識別し、顔の複数のパーツを位置合わせして顔の本来顔型を決定し、本来顔型及び目標顔型に基づいて顔に変形処理を行うことで、顔型が目標顔型と一致する顔のシミュレーション画像を取得して表示する。【選択図】図6

Description

本発明は、装置及び方法に関し、特に、生体情報解析装置及びその顔型のシミュレーション方法に関する。
一般的には、人々の顔型は人間が生まれつき持っているものである。しかしながら、人々は、所望の顔型に変わった後の様子を整形や身体装飾(例えば、アクセサリーを付けたり、化粧を施したりすることで、所望の目標顔型を視学的に表示する)の参考として把握したくなる。
従来技術では、顔型を変えた後の様子を得るために、個人はプロフェッショナルに頼んで画像補正ソフトウェアを用いてシミュレーション画像を描くようになっている。このような方法には手間がかかるほか、費用も高い。
以上に鑑みて、個人の本来顔型及び目標顔型に基づいてシミュレーション画像を自動的かつ効果的に生成可能な支援装置が求められている。
従って、本発明は、利用者の所望の目標顔型を適用した顔のシミュレーション画像を自動的に生成可能な生体情報解析装置及びその顔型のシミュレーション方法を提供することを目的とする。
上記の目的を達成するために、本発明に係る生体情報解析装置は、撮像モジュールと、表示モジュールと、メモリと、処理部とを含む。撮像モジュールは、外部画像を撮像する。メモリには、顔型変数に対応する所定値が記憶されている。顔型変数は、目標顔型に対応する。処理部は、撮像モジュール、表示モジュール及びメモリに電気的に接続され、顔解析モジュールと、顔型検知モジュールと、変形モジュールと、出力制御モジュールと、を含む。顔解析モジュールは、外部画像から顔を識別して顔の複数のパーツを位置合わせする。顔型検知モジュールは、複数のパーツに応じて顔の本来顔型を決定する。変形モジュールは、本来顔型に基づいて顔に対して変形処理を行うことで、顔型変数が所定値と一致する顔のシミュレーション画像を取得する。出力制御モジュールは、顔のシミュレーション画像を表示するように表示モジュールを制御する。
また、本発明に係る生体情報解析装置に適する顔型のシミュレーション方法は、生体情報解析装置のメモリから目標顔型に対応する顔型変数の所定値を読み取るステップa)と、生体情報解析装置の撮像モジュールにより外部画像を撮像するステップb)と、生体情報解析装置の処理部を制御して外部画像から顔を識別した場合、顔の複数のパーツを位置合わせするステップc)と、複数のパーツに基づいて顔の本来顔型を決定するステップd)と、本来顔型に基づいて外部画像の顔に変形処理を行うことで、顔型変数が所定値と一致する顔のシミュレーション画像を取得するステップe)と、顔のシミュレーション画像を出力するステップf)と、を含む。
本発明に係る生体情報解析装置及びその顔型のシミュレーション方法によれば、利用者の本来顔型に応じて異なる顔型変形処理を行うことで、目標顔型を適用した利用者のシミュレーション画像を効果的に生成するほか、生成したシミュレーション画像がより自然に仕上がることができる。
本発明に係るシステムの第1実施形態の構成を示す図である。 本発明に係る生体情報解析装置を示す第1図である。 本発明に係る生体情報解析装置を示す第2図である。 本発明の第1実施形態に係る生体情報解析装置の構成を示す図である。 本発明の第1実施形態のメモリを示す図である。 本発明の第1実施形態に係る顔型のシミュレーション方法を示すフローチャートである。 本発明の第2実施形態に係る顔型のシミュレーション方法の一部を示すフローチャートである。 本発明の第3実施形態に係る顔型のシミュレーション方法の第1部分を示すフローチャートである。 本発明の第3実施形態に係る顔型のシミュレーション方法の第2部分を示すフローチャートである。 本発明の第4実施形態に係る顔型のシミュレーション方法の一部を示すフローチャートである。 本発明の第5実施形態に係る顔型のシミュレーション方法の一部を示すフローチャートである。 本発明の第1顔型変数を示す図である。 本発明の第2顔型変数を示す図である。 本発明の第3顔型変数を示す図である。 本発明の顔のシミュレーション画像を示す図である。 本発明の第1本来顔型を示す図である。 本発明の第2本来顔型を示す図である。 本発明の第3本来顔型を示す図である。 本発明の第4本来顔型を示す図である。 本発明の第5本来顔型を示す図である。
以下、本発明の実施形態の目的、技術案及び利点をより明確にするために、添付図面を参照しながら、本発明の実施形態の技術案を詳しく説明する。なお、本発明の実施形態は、本発明を制限するためのものではないことに理解されたい。
本発明に係る生体情報解析装置1(以下、解析装置1と称する)は、主に顔型のシミュレーション方法を実行し、利用者の顔型の種類や目標顔型によって顔のシミュレーション画像を生成することで、利用者が目標顔型を適用した様子を容易に把握することができる。
図1は、本発明に係るシステムの第1実施形態の構成を示す図である。図1の実施形態では、利用者は、電子装置2を操作して解析装置1を設定してもよい。
詳細には、電子装置2の記憶部(不図示)には、ソフトウェア21がインストールされている。ソフトウェア21は、解析装置1との接続を構築するためのもの(例えば、解析装置1の製造メーカによって開発、提供されるアプリケーションプログラム)である。また、利用者は、ソフトウェア21を操作することで、解析装置1に対する様々な設定操作、例えば、利用者のデータの入力、利用者の画像(例えば、顔画像)の登録及び/又は様々な所定値(例えば、後述する様々な顔型変数の所定値)の設定などを行うことができる。
一実施形態では、利用者は、解析装置1の入力インタフェース(例えば、図4で示される入力インタフェース15)を直接操作することで様々な設定操作を行ってもよい。
一実施形態では、解析装置1の無線伝送モジュール(例えば、図4で示される無線伝送モジュール16)は、Wi−Fi通信技術、ブルートゥース(登録商標)通信技術、ジグビー(Zigbee)(登録商標)通信技術、RF通信技術、赤外線通信技術、光通信技術、音声通信技術及び/又は他の無線通信技術により電子装置2とデータを伝送してもよい。
一実施形態では、解析装置1は、区域におけるワイヤレスルータ30に接続され、ワイヤレスルータ30を介してインターネット32に接続されてもよい。こうすることで、解析装置1は、インターネット32を介してファームウェアのアップデート、データのアップロードやダウンロードなどの操作を行うことができる。また、解析装置1は、インターネット32を介して利用者の生体データ(例えば、後述する外部画像、顔画像及び/又は顔のシミュレーション画像など)を遠隔のサーバー34に送信し、これにより、利用者が遠隔で確認したり、隔地保管の目的を実現したりできる。
図2及び図3は、それぞれ本発明に係る生体情報解析装置を示す第1図及び第2図である。図2及び図3で示される実施形態に係る解析装置1は、主に、利用者の寝室または化粧室に設置される。こうすることで、利用者は、生体情報(例えば、顔部、首部、手部または肌状態)を容易に検出、解析する。
解析装置1は、ミラースクリーン11を有する。解析装置1は起動時(図2に示すように)に、ミラースクリーン11によりグラフィカル・ユーザ・インタフェース(Graphical User Interface, GUI)を表示し、GUIを介して利用者5と対話することができる。一方、解析装置1は停止時(図3に示すように)に、ミラースクリーン11が単純にミラーとして利用者の光学的鏡像4を反射してもよい。
本発明では、主に解析装置1により利用者の顔型の種類を自動的に検知するとともに、対応する顔型情報を表示して利用者によって把握し、これにより、対応する化粧を利用者に支援する。このため、ミラースクリーン11は、GUIを表示するとともに、利用者の光学的鏡像4を反射する。こうすることで、利用者は化粧時に利用者の顔型の種類を解析するとともに利用者の化粧を支援する(詳細は後述する)。
一実施形態では、解析装置1は、角度を調整可能な撮像モジュール12をさらに含む。撮像モジュール12は、解析装置1に設置される。一実施形態では、撮像モジュール12は、利用者の高解像度画像(例えば、顔画像、首画像、手画像など)を撮像することができる。解析装置1は、画像を用いて利用者5の生体情報及び/又は化粧の進歩状況を解析することができる。他の実施形態では、撮像モジュール12は、外部の情報(例えば、一次元バーコード、二次元バーコードなど)を取得し、取得された情報の内容によって対応するデータを設定することができる。
また、解析装置1は、撮像モジュール12によって撮像された画像をミラースクリーン11に即時に表示する。こうすることで、ミラースクリーン11がオフ状態であっても、利用者がミラースクリーン11において自分の電子的鏡像4を即時に目視することができる。
さらに、解析装置1は、撮像された画像を即時に処理(例えば、撮像された画像に、対応する輪郭パターンを描くか、またはグラフィック情報を書き込む)し、処理された画像をミラースクリーン11に表示する。
これにより、解析装置1は、拡張現実(Augmented Reality,AR)により、利用者が化粧時にミラースクリーン11において支援情報を即時、直感的に提供することができ、利用者の体験を効果的に向上させる。
.
一実施形態では、ミラースクリーン11は、タッチスクリーンであってもよい。利用者は、ミラースクリーン11により解析装置1にデータを入力することができる。
解析装置1は、複数のボタン13を有してもよい。本実施形態では、複数のボタン13は、実体のボタン(button)であってもよいし、タッチボタン(touch key)であってもよいが、これらに限定されない。利用者は、ボタン13をトリガーにすることで上記GUIに対して操作(例えば、GUIを先頭頁や前の頁、次の頁などに戻す)を行ったり、対応する機能(例えば、ミラースクリーン11の起動、ミラースクリーン11の停止、撮像モジュール12の起動など)を迅速に実行するように解析装置1を制御したりできる。
解析装置1は、1つ以上のセンサ14(例えば、温度センサ、湿度センサなど)を有してもよい。センサ14は、解析装置1の所在する環境の環境データを検出して、解析装置1による利用者5の生体情報の検出や解析の精度を高める。一実施形態では、センサ14は、モーションセンサ(motion sensor)であってもよい。解析装置1は、モーションセンサで利用者5の移動ジェスチャー(例えば、左への振り動作、右への振り動作、上への振り動作、下への振り動作、前方への押し動作または後方への引き動作など)を検出することができる。こうすることで、利用者5は、指紋が残らないように、上記ミラースクリーン11またはボタン13に触れることなく、ジェスチャーにより解析装置1にデータを入力することができる。
図4は、本発明の第1実施形態の生体解析装置の構成を示す図である。図4に示すように、解析装置1は、主に処理部10、処理部10に電気的に接続される表示モジュール111、撮像モジュール12、入力インタフェース15、無線伝送モジュール16及びメモリ17を含む。
一実施形態では、撮像モジュール12はカメラまたはビデオカメラであり、外部画像(例えば、利用者の顔画像)を撮像して外部情報を取得する。解析装置1は、外部画像により利用者を識別(例えば、顔識別、首識別、手識別など)することで、利用者の顔、首、手などのパーツを解析したり、外部情報の内容によって対応する操作を行ったりしてもよい。
表示モジュール111は、上記GUIを表示する。一実施形態では、表示モジュール111は、ミラースクリーン11内に取り付けられる。表示モジュール111が有効な場合、表示モジュール111の光源は、ミラースクリーン11の単方向ガラス(不図示)を透過して利用者の目に投射し、これにより、利用者がミラースクリーン11からGUIを目視することができる。表示モジュール111が無効な場合、単方向ガラスの一面光通過特性のため、利用者がミラースクリーン11から自体の光学的鏡像4のみを目視することができる。一実施形態では、解析装置1が表示モジュール111の光源強度または表示領域を調整することで、ミラースクリーン11は利用者の光学的鏡像4を反射するとともにGUIを表示することができる。
解析装置1は、入力インタフェース15を介して外部からの利用者の入力を受け付ける。これにより、利用者は、GUIと対話したり、必要な設定操作を行ったりできる。一実施形態では、入力インタフェース15は、利用者のジェスチャーによる入力を検出するための上記センサ14であってもよい。他の実施形態では、入力インタフェース15は、外部画像を撮像したり外部情報を抽出したりするための上記撮像モジュール12であってもよい。別の実施形態では、入力インタフェース15は、利用者の入力操作を受け付けるためのタッチスクリーンまたはボタン13であってもよい。もう1つの実施形態では、入力インタフェース15は、外部の音声を受け付けるためのマイクであってもよい。
無線伝送モジュール16は、インターネット32に接続される。詳細には、利用者は、インターネット32を介して遠隔から解析装置1に接続して、解析装置1に記録されている様々な情報(例えば、生体情報)を随時に確認することができる。
メモリ17は、データを記憶する。一実施形態では、メモリ17は、利用者の顔型の種類、利用者の生体情報履歴、解析装置1の音声コマンド、利用者の持つ化粧品の情報、化粧伝授動画及び/又は後述する所定値などを記憶してもよい。
処理部10は、表示モジュール111、撮像モジュール12、入力インタフェース15、無線伝送モジュール16及びメモリ17に接続される。メモリ17(例えば、非一時的な記録媒体)には、コンピュータで実行可能なプログラムコード(不図示)が記憶されている。また、処理部10は、上記コンピュータで実行可能なプログラムコードを実行することで、本発明の顔型のシミュレーション方法をさらに実現することができる。
図5は、本発明の第1実施形態の処理部を示す図である。詳細には、上記コンピュータで実行可能なプログラムコードは、顔解析モジュール500、計算モジュール501、顔型検知モジュール502、評価モジュール503、変形モジュール504、出力制御モジュール505、第1変形モジュール506、第2変形モジュール507及び第3変形モジュール508である機能モジュールを実現するためのプログラムコードを含む。なお、処理部は、主に上記コンピュータで実行可能なプログラムコードを実行することによって各機能モジュールを実現し、本発明に係る顔型のシミュレーション方法の各機能を実現する。
顔解析モジュール500は、撮像モジュール12によって撮像された外部画像に対して顔識別処理を行い、識別された顔の複数のパーツを位置合わせする。詳細には、顔解析モジュール500は、外部画像から顔(図11〜13で示される顔6)画像を識別し、顔6から特定パーツの画像の複数の特徴点(図11〜13出示される複数の特徴点7及び特徴点700〜743)を識別する。なお、各特徴点7は、利用者の顔の異なるパーツ(例えば、目、口または眉毛など)の様々な特徴(例えば、目頭、口角、下唇または眉尻など)にそれぞれ対応する。
計算モジュール501は、上記複数の特徴点7に基づいて顔型検知処理の実行に必要な変数値(例えば、後述する第1顔型変数の値、第2顔型変数の値及び第3顔型変数の値)を計算する。
顔型検知モジュール502は、現在の顔6に対して顔型検知処理を行って顔6の本来顔型を検知する。
評価モジュール503は、顔6の変数値及び目標顔型に基づいて変形処理の実行に必要な変形変数(例えば、変形範囲、変形方法及び変形量)を計算する。
変形モジュール504は、顔6に変形処理を行って顔のシミュレーション画像を生成する。
一実施形態では、変形モジュール504は、第1変形モジュール506、第2変形モジュール507及び第3変形モジュール508を含む。第1変形モジュール506は、顔6の第1顔型変数の値を調整し、第2変形モジュール507は、顔6の第2顔型変数の値を調整し、第3変形モジュール508は、顔6の第3顔型変数の値を調整する。
出力制御モジュール505は、出力装置(例えば、表示モジュール111)を制御して顔のシミュレーション画像を出力する。一実施形態では、出力制御モジュール505は、支援情報生成モジュール(不図示)をさらに含む。詳細には、支援情報生成モジュールは、顔6及び顔のシミュレーション画像に基づいて支援情報(例えば、顔6と顔のシミュレーション画像との類似度、変形処理の範囲や方法、変形量)を生成して表示モジュール111に表示する。こうすることで、本発明は、利用者が自体の顔型と目標顔型との相違情報を知ることができ、利用者の体験を効果的に向上させる。
これにより、利用者は目標顔型を適用してシミュレーションした様子を表示モジュール111から確認することができる。
図6は、本発明の第1実施形態に係る顔型のシミュレーション方法を示すフローチャートである。本発明の解析装置1は、処理部10により上記コンピュータで実行可能なプログラムコード(例えば、上記各機能モジュール500〜508)を実行する。その結果、本発明の各実施形態の顔型のシミュレーション方法の各ステップを実行することができる。
本実施形態に係る顔型のシミュレーション方法は、顔型のシミュレーション機能を実現するための下記ステップを含む。
ステップS10では、解析装置1の処理部10は、メモリ17から顔型変数の所定値を読み取る。なお、顔型変数は、利用者の所望の目標顔型に対応する。
ステップS11では、処理部10は、撮像モジュール12を制御して利用者を撮像することで、利用者の画像を含む外部画像を取得する。
一実施形態では、処理部10は、表示モジュール111を即時に制御して撮像された外部画像を表示し、電子ミラー効果を果たす。
ステップS12では、処理部10は、顔解析モジュール500により外部画像に顔識別処理を行い、外部画像に完全な顔6が含まれるか否か判断する。
処理部10は、外部画像から顔6を識別したと判断した場合にステップS13に移行し、外部画像から顔6を識別していないと判断した場合にステップS11を再実行して1枚の外部画像を新たに撮像する。
ステップ13では、処理部10は、顔解析モジュール500により外部画像から顔6の位置及び範囲を識別し、識別された顔6の位置及び範囲に基づいて外部画像から顔6を切り出す。
次に、処理部10は、顔解析モジュール500により顔6に顔解析処理を行い、顔6の複数のパーツ(例えば、眉毛、額、口、輪郭または目など)を識別する。
一実施形態では、上記顔解析処理は、特徴解析処理であり、顔6の特定パーツの複数の特徴を識別することができる。
詳細には、上記特徴解析処理は、特徴点ランドマーク(Feature Landmark)アルゴリズムにより顔6を解析し、顔6の特定パーツ(例えば、眉毛、額、口、顔の輪郭または目など)の複数の特徴を位置合わせするが、これに限定されない。さらに、上記特徴点ランドマークアルゴリズムは、ライブリラリ(Library)Dlibによって実現される。
図11は、本発明の第1顔型変数を示す図である。図12は、本発明の第2顔型変数を示す図である。図13は、本発明の第3顔型変数を示す図である。図11〜図13に示すように、特徴解析処理を実行する場合、顔解析モジュール500は、上記特徴点ランドマークアルゴリズムにより顔6を解析する。上記特徴点ランドマークアルゴリズムは、本技術領域において慣用技術であり、機械学習(Machine Learning)技術により顔6の特定パーツを解析し、1つ以上の顔の特定パーツ(例えば、眉毛、額、口、顔の輪郭または目など)の複数の特徴点7を顔6から識別するとともに、各特徴点を特定パーツの異なる特徴に対応させる。
眉毛の識別を例示する場合、各特徴点は眉毛の眉頭、眉山または眉尻などにそれぞれ対応してもよい。口の識別を例示する場合、各特徴点は口の上唇、口角または下唇にそれぞれ対応してもよい。上記特徴点の数は、68個、198個または他の個数であってもよいが、これらに限定されない。
また、上記特徴点ランドマークアルゴリズムは、特定パーツの複数の特徴点を顔6にさらに標示してもよい。図11〜図13に示すように、特徴点ランドマークアルゴリズムは、複数の特徴点7を顔6に標記してもよい。
一実施形態では、顔解析モジュール500は、各特徴点の属するパーツ及び対応する特徴に基づいて各特徴点に番号を付す。こうすることで、本発明では、複数の特徴点の番号、形状、順番などの情報に基づいて、顔6における各パーツの位置を確定して特定のパーツを識別する。
図6に示すように、ステップS13の後、処理部10は、顔解析モジュール500により顔6の複数のパーツ(例えば、複数のパーツの複数の特徴点7)を識別してからステップS14に移行する。処理部10は、識別された顔6の複数のパーツ(例えば、複数のパーツの複数の特徴点7)に基づいて1つ以上の顔型検知処理(例えば、楕円顔検知処理、四角顔検知処理、丸顔検知処理、逆三角顔検知処理、菱顔検知処理または面長顔検知処理など)を顔型検知モジュール502により行って、現在の顔6の本来顔型を決定する。
一実施形態では、処理部10は、計算モジュール501により顔6に応じて顔型検知処理に必要な顔型変数の値を計算し、その後、計算された顔型変数の値に基づいて顔型検知処理を顔型検知モジュール502により行う。
一実施形態では、処理部10は、楕円顔検知処理、四角顔検知処理、円顔検知処理、逆三角顔検知処理、菱顔検知処理及び面長顔検知処理を順次に行い、現在の顔6が楕円顔、四角顔、円顔、逆三角顔、菱顔または面長顔であるか否かを順次に判断する。
ステップS15では、処理部10は、検知された本来顔型に応じて顔6に変形処理を変形モジュール504により行って、顔のシミュレーション画像を生成する。さらに、生成した顔のシミュレーション画像の顔型変数の値は、ステップS10で取得した所定値と一致し、生成した顔のシミュレーション画像の顔型が目標顔型と一致する。
一実施形態では、処理部10は、本来顔型及び目標顔型に基づいて変形範囲を設定し、次に、ステップS10で取得した顔型変数の所定値及び顔6と同じ顔型変数の値に基づいて変形量を計算するとともに、設定された変形範囲及び計算された変形量に基づいて顔6に変形処理を行って顔のシミュレーション画像を取得する。
ステップS16では、処理部10は、出力制御モジュール505により、ステップS15で生成した顔のシミュレーション画像を表示モジュール111に表示する。
他の実施形態では、処理部10は、無線伝送モジュール16により顔のシミュレーション画像を外部(例えば、電子装置2またはサーバー34)に出力する。
本発明は、利用者の本来顔型に応じて異なる顔型変形処理を行うことで、利用者が目標顔型を適用した後のシミュレーション画像を効果的に生成するほか、生成されたシミュレーション画像がより自然に仕上がる。
図11〜図13を参照しながら、本発明の顔型変数の定義について説明する。
本発明の一実施形態では、顔型変数の値に基づいて顔型検知処理または変形処理を行う。詳細には、顔型検知処理を行う場合、解析装置1は、顔6の各顔型変数の値に基づいて顔6の本来顔型を決定する。変形処理を行う場合、解析装置1は、顔6を変形させて顔6の特定顔型変数の値を変えることで、顔6の特定顔型変数の値を所定値にする。
本発明の一実施形態では、顔の3種類の顔型変数(第1顔型変数、第2顔型変数及び第3顔型変数)をさらに定義する。
図11を参照しながら、如何にして第1顔型変数の値を計算するかについて説明する。第1顔型変数の値を計算する場合、計算モジュール501は眉毛の眉尻特徴点700、702からいずれかを選択し(眉尻特徴点700を例として選択し)、口部の口角特徴点701、703からいずれかを選択する(口角特徴点703を例として選択する)とともに、眉毛と口部(例えば、眉尻特徴点700と口角特徴点703)との垂直距離(図11で示される第1距離D1)を計算する。次に、計算モジュール501は、顔の輪郭の複数の輪郭特徴点(例えば、下唇特徴点710と同じ高さの輪郭特徴点711、712を選択する)の間の水平距離を計算する。詳細には、計算モジュール501は、複数の輪郭特徴点から2つを選択するとともに、選択された2つの輪郭特徴点の水平距離(図11で示される第2距離D2)を計算する。最後に、計算モジュール501は、第1計算モジュール501により第1距離D1と第2距離D2との比を第1顔型変数の値として計算する。例えば、第1距離D1が500ピクセル、第2距離D2が800ピクセルの場合には、第1顔型変数(D1/D2)の値が5/8となる。
図12を参照しながら、如何にして第2顔型変数の値を計算するかについて説明する。まず、計算モジュール501は複数の輪郭特徴点を選択する(隣り合う輪郭特徴点720〜722を例として選択する)とともに、選択された複数の輪郭特徴点720〜722に基づいて頬接線L1を計算する。次に、計算モジュール501は、複数の輪郭特徴点を再選択する(隣り合う輪郭特徴点722〜724を例として選択し、選択された輪郭特徴点がその前に選択された輪郭特徴点と部分的に同じであってもよいし、完全に異なってもよい)とともに、選択された複数の輪郭特徴点722〜724に基づいて頬接線L2を計算する。次に、計算モジュール501は、複数の輪郭特徴点を再選択する(隣り合う輪郭特徴点724〜726を例として選択し、選択された輪郭特徴点がその前に選択された輪郭特徴点と部分的に同じであってもよいし、完全に異なってもよい)とともに、選択された複数の輪郭特徴点724〜726に基づいて頬接線L3を計算する。次に、計算モジュール501は、頬接線L1と頬接線L2との間の第1頬角度θ1を計算するとともに、頬接線L2と頬接線L3との間の第2頬角度θ2を計算する。最後に、計算モジュール501は、第1頬角度θ1及び第2頬角度θ2からいずれか(例えば、最大の頬角度を選択する)を第2顔型変数の値として選択する。
なお、本実施形態では、2セットの頬角度の計算を例として説明するが、これに限定されない。他の実施形態では、計算モジュール501は、1セットの頬角度のみを計算してもよいし、3セット以上の頬角度を計算してもよい。
図13を参照しながら、如何にして第3顔型変数の値を計算するかについて説明する。まず、計算モジュール501は額の両側の額特徴点730、731を選択するとともに、2つの額特徴点730、731の間の水平距離(例えば、図13で示される第3距離D3)を計算し、複数の輪郭特徴点から2つを選択し、選択された、目の眼底特徴点740、741と同じ高さの輪郭特徴点742、743の間の水平距離(例えば、図13で示される第4距離D4)を計算する。最後に、計算モジュール501は、第3距離D3と第4距離D4との比を第3顔型変数の値として計算する。例えば、第3距離D3が800ピクセル、第4距離D4が1000ピクセルの場合には、第3顔型変数(D3/D4)の値が4/5となる。
一実施形態では、額特徴点730、731は、両目の眼尻から額までそれぞれ上向きに垂直に延在する位置と定義されてもよいが、これに限定されない。
図6及び図7を参照する。図7は、本発明の第2実施形態に係る顔型のシミュレーション方法の一部を示すフローチャートである。本実施形態では、利用者は、入力インタフェース15を操作していずれか1種類の顔型(例えば、楕円顔)を目標顔型として選択する。また、本実施形態では、メモリ17には、複数の顔型変数の複数の所定値が記憶されている。上記複数の顔型変数は、複数の異なる目標顔型にそれぞれ対応する。図6で示される実施形態と比べると、本実施形態に係る顔型のシミュレーション方法のステップS10は以下のステップを含む。
ステップS20では、処理部10は、入力インタフェース15を介して目標顔型の選択操作を受け付ける。上記目標顔型の選択操作とは、複数の目標顔型(例えば、楕円顔、四角顔、丸顔、逆三角顔、菱顔または面長顔)から1つを選択する操作である。
ステップS21では、処理部10は、選択された目標顔型に対応する顔型変数を決定し、メモリ17からこの顔型変数の所定値を読み取る。
これにより、利用者は、所望の顔型を目標顔型として設定し、所望の目標顔型を適用した後のシミュレーション様子を確認する。
図6、図8A及び図8Bを合わせて参照する。図8Aは、本発明の第3実施形態に係る顔型のシミュレーション方法の第1部分を示すフローチャートである。図8Bは、本発明の第3実施形態に係る顔型のシミュレーション方法の第2部分を示すフローチャートである。図6で示される実施形態と比べると、本実施形態に係る顔型のシミュレーション方法のステップS14は、顔型検知機能を実現するための以下のステップを含む。
ステップS300では、処理部10は、撮像された外部画像における顔6の第1顔型変数の値を計算モジュール501により計算する。第1顔型変数の計算方法は、上述した図11の関連説明を参照するため、その詳細について省略する。
ステップS301では、処理部10は、顔型検知モジュール502によりメモリ17から第1顔型変数の第1所定値(例えば、1)を読み取り、顔6の第1顔型変数の値が第1所定値と一致するか否かを比較する。
処理部10は、顔6の第1顔型変数の値が第1所定値と一致すると判断した場合にステップS302に移行し、逆の場合にステップS303に移行する。
ステップS302では、処理部10は、顔型検知モジュール502により顔6が楕円顔であると判定する。次に、処理部10はステップS15に移行する。
ステップS301で処理部10は顔6の第1顔型変数の値が第1所定値と一致していないと判断した場合にステップS303に移行する。ステップS303では、処理部10は、顔型検知モジュール502によりメモリ17から第1顔型変数の第2所定値(例えば、2/3)を読み取り、顔6の第1顔型変数の値が第2所定値と一致するか否かを比較する。
一実施形態では、上記所定値(例えば、第1所定値及び第2所定値)が数値範囲(例えば、0.9〜1.1または0.6〜0.7)であってもよい。処理部10は、顔6の第1顔型変数の値が上記数値範囲内である場合、顔6の第1顔型変数の値が所定値と一致すると判定する。
処理部10は、顔6の第1顔型変数の値が第2所定値と一致すると判断した場合にステップS304に移行し、逆の場合にステップS308に移行する。
ステップS304では、処理部10は、撮像された外部画像における顔6の第2顔型変数の値を計算モジュール501により計算する。第2顔型変数の計算方法は、上述した図12の関連説明を参照するため、その詳細について省略する。
ステップS305では、処理部10は、顔型検知モジュール502によりメモリ17から第2顔型変数の第3所定値(例えば、5°)を読み取り、顔6の第2顔型変数の値が第3所定値と一致するか否かを比較する。
一実施形態では、処理部10は、顔6の第2顔型変数の値が第3所定値よりも大きい場合、顔6の第2顔型変数の値が所定値と一致すると判定し、一方、顔6の第2顔型変数の値が第3所定値以下の場合、顔6の第2顔型変数の値が所定値と一致していないと判定する。
一実施形態では、上記第3所定値が数値範囲(例えば、3〜5°)であってもよい。処理部10は、顔6の第2顔型変数の値が上記数値範囲内である場合、顔6の第2顔型変数の値が第3所定値と一致すると判定する。
処理部10は、顔6の第2顔型変数の値が第3所定値と一致すると判断した場合にステップS306に移行し、逆の場合にステップS307に移行する。
ステップS306では、処理部10は、顔型検知モジュール502により顔6が四角顔であると判定する。次に、処理部10は、ステップS15に移行する。
ステップS307では、処理部10は、顔型検知モジュール502により顔6が丸顔であると判定する。次に、処理部10は、ステップS15に移行する。
処理部10は、ステップS303で顔6の第1顔型変数の値が第2所定値と一致していない場合、ステップS308に移行する。ステップS308では、処理部10は、撮像された外部画像における顔6の第3顔型変数の値を計算モジュール501により計算する。第3顔型変数の計算方法は、上述した図13の関連説明を参照するため、その詳細について省略する。
ステップS309では、処理部10は、顔型検知モジュール502によりメモリ17から第3顔型変数の第4所定値(例えば、1)を読み取り、顔6の第3顔型変数の値が第4所定値と一致するか否かを比較する。
処理部10は、顔6の第3顔型変数の値が第4所定値と一致すると判定した場合にステップS310に移行し、逆の場合にステップS311に移行する。
ステップS310では、処理部10は、顔型検知モジュール502により顔6が逆三角顔であると判定する。次に、処理部10は、ステップS15に移行する。
処理部10は、ステップS309で顔6の第3顔型変数の値が第4所定値と一致していない場合、ステップS311に移行する。処理部10は、顔型検知モジュール502によりメモリ17から第3顔型変数の第5所定値(例えば、2/3)を読み取り、顔6の第3顔型変数の値が第5所定値と一致するか否かを比較する。
一実施形態では、上記所定値(例えば、第4所定値及び第5所定値)が数値範囲(例えば、0.9〜1.1または0.65〜0.67)であってもよい。処理部10は、顔6の第3顔型変数の値が上記数値範囲内である場合、顔6の第3顔型変数の値が所定値と一致すると判定する。
処理部10は、顔6の第3顔型変数の値が第5所定値と一致すると判断した場合にステップS312に移行し、逆の場合にステップS313に移行する。
ステップS312では、処理部10は、顔型検知モジュール502により顔6が菱顔であると判定する。次に、処理部10は、ステップS15に移行する。
ステップS313では、処理部10は、顔型検知モジュール502により顔6が面長顔であると判定する。次に、処理部10は、ステップS15に移行する。
これにより、本発明は、顔6の本来顔型の種類を効果的に判断することができる。
図6及び図9を参照する。図9は、本発明の第4実施形態に係る顔型のシミュレーション方法の一部を示すフローチャートである。図6で示される実施形態と比べて、本実施形態に係る顔型のシミュレーション方法のステップS15は、顔型変形機能を実現するための下記ステップを含む。
ステップS40では、処理部10は、ステップS13で検出された顔6の本来顔型及び利用者の所望の顔型に基づいて評価モジュール503により顔6の変形範囲を決定する。
一実施形態では、処理部10は、幾何学グラフィックスにおける、本来顔型と目標顔型との差に応じて変形範囲を設定するほか、変形方法(例えば、水平縮小、水平拡張、垂直縮小、垂直拡張、頬角度の増加または頬角度の減少)をさらに設定する。
例えば、顔6の本来顔が四角顔であるとともに目標顔型が丸顔である場合、処理部10は、顔6の頬の下部輪郭を変形範囲として設定する。また、後続する変形処理では、顔6の頬角度を減少させることで顔6の本来顔型を四角顔から丸顔に補正する。
別の実施形態では、顔6の本来顔が楕円顔であるとともに目標顔型が菱顔である場合、処理部10は、顔6の上部輪郭(例えば、額)及び下部輪郭を変形範囲として設定する。また、後続する変形処理では、顔6の上部輪郭の両側の間の距離及び下部輪郭の両側の間の距離を短縮することで顔6の本来顔型を楕円顔から菱顔に補正する。
ステップS41では、処理部10は、顔6の顔型変数(例えば、上述した第1顔型変数、第2顔型変数または第3顔型変数)の値及び同様の顔型変数の所定値に基づいて評価モジュール503により変形量を決定する。
一実施形態では、処理部10は、顔型変数の値と所定値との差に応じて変形量を決定する。
ステップS42では、処理部10は、変形モジュール504により、変形量に基づいて決定された変形方法で顔6の変形範囲に変形処理を行い、これにより、顔6の顔型変数を所定値と一致させるように調整し、調整した顔6を顔のシミュレーション画像とする。
一実施形態では、処理部10は、現在の目標顔型に基づいて第1変形モジュール506、第2変形モジュール507または第3変形モジュール508から少なくとも1つを選択して、顔6に対応する目標顔型の顔型変数を調整する。
例えば、処理部10は、目標顔型が楕円顔の場合、第1変形モジュール506により顔6の第1顔型変数6を第1所定値として調整する。また、処理部は、目標顔型が四角顔の場合、第1変形モジュール506により顔6の第1顔型変数6を第2所定値として調整するとともに、第2変形モジュール507により顔の第2顔型変数を第3所定値よりも大きく調整する。また、処理部10は、目標顔型が丸顔の場合、第1変形モジュール506により顔の第1顔型変数を第2所定値として調整するとともに、第2変形モジュール507により顔の第2顔型変数を第3所定値以下に調整する。また、処理部10は、目標顔型が逆三角顔の場合、第3変形モジュール508により顔6の第3顔型変数を第4所定値として調整する。また、処理部10は、目標顔型が菱顔の場合、第3変形モジュール508により顔の第3顔型変数を第5所定値として調整する。
本発明は、顔6の本来顔型に応じて変形相関変数を計算して変形処理を行うことで、生成された顔のシミュレーション画像がより自然に仕上がる。
図6、図9、図10及び図14A〜図14Fを同時に参照する。図10は、本発明の第5実施形態に係る顔型のシミュレーション方法の一部を示すフローチャートである。図14Aは、本発明の顔のシミュレーション画像を示す図である。図14Bは、本発明の第1本来顔型を示す図である。図14Cは、本発明の第2本来顔型を示す図である。図14Dは、本発明の第3本来顔型を示す図である。図14Eは、本発明の第4本来顔型を示す図である。図14Fは、本発明の第5本来顔型を示す図である。
本実施形態に係る顔型のシミュレーション方法は、本来顔型によって異なる変形変数(例えば、変形範囲及び変形方法)を設定してもよい。本実施形態では、目標顔型は楕円顔である(すなわち、後続する変形処理では、顔の第1顔型変数を調整し、第1顔型変数の所定値を1とする)。また、異なる顔型の顔(図14B〜図14Fで示される顔81〜85)は、本実施形態の変形処理を受けた後、顔型が楕円顔のシミュレーション画像(例えば、図14Aで示される顔のシミュレーション画像80)を得ることができる。
なお、本実施形態では、目標顔型が楕円顔の場合を例として説明するが、当業者が本明細書の内容に基づいて本発明を他の目標顔型に適用してもよい。
図9で示される実施形態と比べ、本実施形態に係る顔型のシミュレーション方法のステップS40は以下のステップを含む。
ステップS50では、処理部10は、顔6の本来顔型が楕円顔の場合、変形を不要とする情報を出力制御モジュール505により出力し、顔6の本来顔型が目標顔型に属する旨を利用者に通知する。また、処理部10は、いずれかの変形パラメータを設定しないほか、いずれかの変形処理を行うこともない。
ステップS51では、処理部10は、顔6の本来顔型が四角顔の場合、評価モジュール503により変形範囲を顔6のエラ領域として設定するとともに、変形方法を水平縮小として設定する。
例えば、図14Bに示すように、顔81の顔型が四角顔であるとともに顔81の第1顔型変数が2/3である。このため、処理部10は、顔81のエラ領域が広すぎると判断し、顔81の第1顔型変数を1に調整するための水平縮小の変形処理を行う必要があるほか、それに対応する変形範囲及び変形方法を設定する。
ステップS52では、処理部10は、顔6の本来顔型が丸顔の場合、評価モジュール503により変形範囲を顔6のエラ領域として設定するとともに、変形方法を水平縮小として設定する。
例えば、図14Cに示すように、顔82の顔型が丸顔であるとともに顔82の第1顔型変数が2/3である。このため、処理部10は、顔82のエラ領域が広すぎると判断し、顔82の第1顔型変数を1に調整するための水平縮小の変形処理を行う必要があるほか、それに対応する変形範囲及び変形方法を設定する。
ステップS53では、処理部10は、顔6の本来顔型が逆三角顔の場合、評価モジュール503により変形範囲を顔6のエラ領域として設定するとともに、変形方法を水平拡張として設定する。
例えば、図14Dに示すように、顔83の顔型が逆三角顔であるとともに顔83の第1顔型変数が7/6である。このため、処理部10は、顔83のエラ領域が狭すぎると判断し、顔83の第1顔型変数を1に調整するための水平拡張の変形処理を行う必要があるほか、それに対応する変形範囲及び変形方法を設定する。
ステップS54では、処理部10は、顔6の本来顔型が菱顔の場合、評価モジュール503により変形範囲を顔6の額領域及びエラ領域として設定するとともに、変形方法を水平拡張として設定する。
例えば、図14Eに示すように、顔84の顔型が菱顔であるとともに顔84の第1顔型変数が4.1/3.7である。このため、処理部10は、顔84の額領域及びエラ領域がそれぞれ狭すぎると判断し、顔84の第1顔型変数を1に調整するための水平拡張の変形処理を行う必要があるほか、それに対応する変形範囲及び変形方法を設定する。
ステップS55では、処理部10は、顔6の本来顔型が面長顔の場合、評価モジュール503により変形範囲を顔6の額領域及びエラ領域として設定するとともに、変形方法を垂直縮小として設定する。
例えば、図14Fに示すように、顔85の顔型が面長顔であるとともに顔85の第1顔型変数が4/3である。このため、処理部10は、顔85の額領域及びエラ領域がそれぞれ狭すぎるとともに顔85の垂直距離が長すぎると判断し、顔85の第1顔型変数を1に調整するための垂直縮小の変形処理を行う必要があるほか、それに対応する変形範囲及び変形方法を設定する。
次に、処理部10はステップS41に移行する。
これにより、本発明は、本来顔型の顔によってそれに対応する目標顔型の顔のシミュレーション画像を生成することができる。
当然ながら、本発明は他の様々な実施形態を含んでもよい。当業者は、本発明の精神及び範囲を逸脱していない前提で、本発明がさらに種々の変更及び改善を行うことができる。また、これらの変更及び改善は、本発明の保護を求める範囲内に属するものである。
1 生体情報解析装置
10 処理部
11 ミラースクリーン
111 表示モジュール
12 撮像モジュール
13 ボタン
14 センサ
15 入力インタフェース
16 無線伝送モジュール
17 メモリ
2 電子装置
21 ソフトウェア
30 ワイヤレスルータ
32 インターネット
34 サーバー
4 鏡像
500 顔解析モジュール
501 計算モジュール
502 顔型検知モジュール
503 評価モジュール
504 変形モジュール
505 出力制御モジュール
506 第1変形モジュール
507 第2変形モジュール
508 第3変形モジュール
6 顔
7、700〜703、710〜712、720〜726、730〜731、742〜743、740〜741 特徴点
80 顔のシミュレーション画像
81〜85 顔
D1〜D4 距離
L1〜L3 頬接線
θ1〜θ2 頬角度
S10〜S16 顔型シミュレーションステップ
S20〜S21 目標顔型選択ステップ
S300〜S313 顔型検知ステップ
S40〜S42 変形処理ステップ
S50〜S55 変形範囲設定ステップ

Claims (15)

  1. 生体情報解析装置であって、
    外部画像を撮像する撮像モジュールと、
    表示モジュールと、
    目標顔型に対応する顔型変数に対応付けられた所定値を記憶するメモリと、
    前記撮像モジュール、前記表示モジュール及び前記メモリに電気的に接続される処理部と、を含み、
    前記処理部は、
    前記外部画像から顔を識別して前記顔の複数のパーツを位置合わせする顔解析モジュールと、
    複数の前記パーツに応じて前記顔の本来顔型を決定する顔型検知モジュールと、
    前記本来顔型に基づいて前記顔に対して変形処理を行うことで、前記顔型変数が前記所定値と一致する顔のシミュレーション画像を取得する変形モジュールと、
    前記顔のシミュレーション画像を表示するように前記表示モジュールを制御するための出力制御モジュールと、を含むことを特徴とする生体情報解析装置。
  2. 前記処理部に電気的に接続され、複数の目標顔型から1つを選択する目標顔型選択操作を受け付ける入力インタフェースをさらに含み、
    前記メモリには、複数の前記顔型変数の複数の前記所定値が記憶されており、
    複数の前記顔型変数は、複数の前記目標顔型にそれぞれ対応し、
    前記変形モジュールは前記変形処理を行うことで、前記顔の、選択された前記目標顔型に対応する前記顔型変数を前記所定値として調整することを特徴とする請求項1に記載の生体情報解析装置。
  3. 前記処理部は、計算モジュールをさらに含み、
    前記計算モジュールは、前記顔の眉毛と口部との垂直距離、及び前記顔の輪郭の両側の間の水平距離に基づいて前記顔の第1顔型変数の値を計算し、前記顔の輪郭の頬角度を前記顔の第2顔型変数の値として計算し、前記顔の額の両側の間の水平距離及び前記顔の輪郭両側の間の水平距離に基づいて前記顔の第3顔型変数の値を計算することを特徴とする請求項1に記載の生体情報解析装置。
  4. 前記顔型検知モジュールは、
    前記顔の前記第1顔型変数の値が第1所定値と一致すると判断した場合、前記顔が楕円顔であると判定し、
    前記顔の前記第1顔型変数の値が第2所定値と一致するとともに前記顔の前記第2顔型変数の値が第3所定値よりも大きいと判断した場合、前記顔が四角顔であると判定し、
    前記顔の前記第1顔型変数の値が第2所定値と一致するとともに前記顔の前記第2顔型変数の値が第3所定値以下であると判断した場合、前記顔が丸顔であると判定し、
    前記顔の前記第3顔型変数の値が第4所定値と一致すると判断した場合、前記顔が逆三角顔であると判定し、
    前記顔の前記第3顔型変数の値が第5所定値と一致すると判断した場合、前記顔が菱顔であると判定し、
    前記顔の前記第3顔型変数の値が前記第4所定値及び前記第5所定値と一致していないと判断した場合、前記顔が面長顔であると判定することを特徴とする請求項3に記載の生体情報解析装置。
  5. 前記変形モジュールは、
    前記目標顔型が楕円顔の場合に前記顔の前記第1顔型変数を前記第1所定値として調整し、前記目標顔型が四角顔または丸顔の場合に前記顔の前記第1顔型変数を前記第2所定値として調整する第1変形モジュールと、
    前記目標顔型が四角顔の場合に前記顔の前記第2顔型変数を前記第3所定値よりも大きく調整し、前記目標顔型が丸顔の場合に前記顔の前記第2顔型変数を前記第3所定値以下に調整する第2変形モジュールと、
    前記目標顔型が逆三角顔の場合に前記顔の前記第3顔型変数を前記第4所定値として調整し、前記目標顔型が菱顔の場合に前記顔の前記第3顔型変数を前記第5所定値として調整する第3変形モジュールと、を含むことを特徴とする請求項4に記載の生体情報解析装置。
  6. 前記処理部は、前記顔の前記顔型変数の値及び前記顔型変数の前記所定値に基づいて変形量を決定するとともに、前記本来顔型及び前記目標顔型に基づいて前記顔の変形範囲を決定する評価モジュールをさらに含み、
    前記変形モジュールは、前記変形量に基づいて前記顔の前記変形範囲に前記変形処理を行うことを特徴とする請求項1に記載の生体情報解析装置。
  7. 前記評価モジュールは、
    前記目標顔型が楕円顔であるとともに前記本来顔型が四角顔または丸顔の場合、前記変形範囲を前記顔のエラ領域として設定するとともに、変形方法を水平縮小として設定し、
    前記目標顔型が楕円顔であるとともに前記本来顔型が逆三角顔の場合、前記変形範囲を前記顔のエラ領域として設定するとともに、前記変形方法を水平拡張として設定し、
    前記目標顔型が楕円顔であるとともに前記本来顔型が菱顔の場合、前記変形範囲を前記顔のエラ領域及び額領域として設定するとともに、前記変形方法を水平拡張として設定し、
    前記目標顔型が楕円顔であるとともに前記本来顔型が面長顔の場合、前記変形範囲を前記顔のエラ領域及び額領域として設定するとともに、前記変形方法を垂直縮小として設定することを特徴とする請求項6に記載の生体情報解析装置。
  8. 前記変形モジュールは、前記変形量及び前記変形方法に基づいて前記顔の前記変形範囲に前記変形処理を行い、前記顔の前記顔型変数を前記所定値として調整することを特徴とする請求項7に記載の生体情報解析装置。
  9. 生体情報解析装置に適する顔型のシミュレーション方法であって、
    前記生体情報解析装置のメモリから目標顔型に対応する顔型変数の所定値を読み取るステップa)と、
    前記生体情報解析装置の撮像モジュールにより外部画像を撮像するステップb)と、
    前記生体情報解析装置の処理部を制御して前記外部画像から顔を識別した場合、前記顔の複数のパーツを位置合わせするステップc)と、
    複数の前記パーツに基づいて前記顔の本来顔型を決定するステップd)と、
    前記本来顔型に基づいて前記外部画像の前記顔に変形処理を行うことで、前記顔型変数が前記所定値と一致する顔のシミュレーション画像を取得するステップe)と、
    前記顔のシミュレーション画像を出力するステップf)と、を含むことを特徴とする顔型のシミュレーション方法。
  10. 前記ステップa)は、
    前記生体情報解析装置の入力インタフェースにより、複数の目標顔型から1つを選択する目標顔型選択操作を受け付けるステップa1)と、
    選択された前記目標顔型に対応する前記顔型変数の前記所定値を取得するステップa2)と、を含むことを特徴とする請求項9に記載の顔型のシミュレーション方法。
  11. 前記ステップd)は、
    前記顔の眉毛と口部との垂直距離及び前記顔の輪郭両側の間の水平距離に基づいて前記顔の第1顔型変数の値を計算するステップd1)と、
    前記顔の前記第1顔型変数の値が第1所定値と一致すると判断した場合、前記顔が楕円顔であると判定するステップd2)と、
    前記顔の前記第1顔型変数の値が第2所定値と一致すると判断した場合、前記顔の輪郭の頬角度を前記顔の第2顔型変数の値として計算するステップd3)と、
    前記顔の前記第1顔型変数の値が第2所定値と一致するとともに前記顔の前記第2顔型変数の値が第3所定値よりも大きいと判断した場合、前記顔が四角顔であると判定するステップd4)と、
    前記顔の前記第1顔型変数の値が第2所定値と一致するとともに前記顔の前記第2顔型変数の値が第3所定値以下であると判断した場合、前記顔が丸顔であると判定するステップd5)と、
    前記顔の額の両側の間の水平距離及び前記顔の輪郭の両側の間の水平距離に基づいて前記顔の第3顔型変数の値を計算するステップd6)と、
    前記顔の前記第3顔型変数の値が第4所定値と一致すると判断した場合、前記顔が逆三角顔であると判定するステップd7)と、
    前記顔の前記第3顔型変数の値が第5所定値と一致すると判断した場合、前記顔が菱顔であると判定するステップd8)と、
    前記顔の前記第3顔型変数の値が第4所定値及び前記第5所定値と一致していないと判断した場合、前記顔が面長顔であると判定するステップd9)と、を含むことを特徴とする請求項9に記載の顔型のシミュレーション方法。
  12. 前記ステップe)では、
    前記目標顔型が楕円顔の場合、前記顔の前記第1顔型変数を前記第1所定値として調整し、
    前記目標顔型が四角顔の場合、前記顔の前記第1顔型変数を前記第2所定値として調整するとともに前記顔の前記第2顔型変数を前記第3所定値よりも大きく調整し、
    前記目標顔型が丸顔の場合、前記顔の前記第1顔型変数を前記第2所定値として調整するとともに前記顔の前記第2顔型変数を前記第3所定値以下に調整し、
    前記目標顔型が逆三角顔の場合、前記顔の前記第3顔型変数を前記第4所定値として調整し、
    前記目標顔型が菱顔の場合、前記顔の前記第3顔型変数を前記第5所定値として調整することを特徴とする請求項11に記載の顔型のシミュレーション方法。
  13. 前記ステップe)は、
    前記顔の前記顔型変数の値及び前記顔型変数の前記所定値に基づいて変形量を決定するステップe1)と、
    前記本来顔型及び前記目標顔型に基づいて前記顔の変形範囲を決定するステップe2)と、
    前記変形量に基づいて前記顔の前記変形範囲に前記変形処理を行うステップe3)と、を含むことを特徴とする請求項9に記載の顔型のシミュレーション方法。
  14. 前記ステップe2)は、
    前記目標顔型が楕円顔であるとともに前記本来顔型が四角顔または丸顔の場合、前記変形範囲を前記顔のエラ領域として設定するとともに、変形方法を水平縮小として設定するステップe21)と、
    前記目標顔型が楕円顔であるとともに前記本来顔型が逆三角顔の場合、前記変形範囲を前記顔のエラ領域として設定するとともに、前記変形方法を水平拡張として設定するステップe22)と、
    前記目標顔型が楕円顔であるとともに前記本来顔型が菱顔の場合、前記変形範囲を前記顔のエラ領域及び額領域として設定するとともに、前記変形方法を水平拡張として設定するステップe23)と、
    前記目標顔型が楕円顔であるとともに前記本来顔型が面長顔の場合、前記変形範囲を前記顔のエラ領域及び額領域として設定するとともに、前記変形方法を垂直縮小として設定するステップe24)と、を含むことを特徴とする請求項13に記載の顔型のシミュレーション方法。
  15. 前記ステップe3)では、
    前記変形量及び前記変形方法に基づいて前記顔の前記変形範囲に前記変形処理を行い、前記顔の前記顔型変数を前記所定値として調整することを特徴とする請求項14に記載の顔型のシミュレーション方法。
JP2018007969A 2017-10-25 2018-01-22 生体情報解析装置及びその顔型のシミュレーション方法 Expired - Fee Related JP6498802B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711011882.1A CN109712065A (zh) 2017-10-25 2017-10-25 身体信息分析装置及其脸形模拟方法
CN201711011882.1 2017-10-25

Publications (2)

Publication Number Publication Date
JP6498802B1 true JP6498802B1 (ja) 2019-04-10
JP2019079481A JP2019079481A (ja) 2019-05-23

Family

ID=61691673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018007969A Expired - Fee Related JP6498802B1 (ja) 2017-10-25 2018-01-22 生体情報解析装置及びその顔型のシミュレーション方法

Country Status (5)

Country Link
US (1) US10558850B2 (ja)
EP (1) EP3477537A1 (ja)
JP (1) JP6498802B1 (ja)
KR (1) KR102045228B1 (ja)
CN (1) CN109712065A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963990B2 (en) * 2019-01-28 2021-03-30 Applied Materials, Inc. Automated image measurement for process development and optimization
US10963753B2 (en) 2019-01-28 2021-03-30 Applied Materials, Inc. Automated image measurement for process development and optimization
CN113449542B (zh) * 2020-03-24 2023-04-07 浙江宇视科技有限公司 一种换脸识别方法、装置、设备和介质
CN113496459A (zh) * 2020-04-01 2021-10-12 华为技术有限公司 辅助化妆方法、终端设备、存储介质及程序产品

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222725A (ja) * 2000-02-07 2001-08-17 Sharp Corp 画像処理装置
JP3855939B2 (ja) * 2003-01-31 2006-12-13 ソニー株式会社 画像処理装置、画像処理方法及び撮影装置
KR20040075672A (ko) * 2003-02-21 2004-08-30 정보통신연구진흥원 계층적 가상 성형시뮬레이션 방법
KR20040106844A (ko) * 2003-06-11 2004-12-18 이응주 유무선 온라인 얼굴영상 해석을 이용한 얼굴 관상 정보 및관상학적 이성 정보제공 시스템과 정보제공 방법
JP2007144194A (ja) * 2006-12-08 2007-06-14 Kaihatsu Komonshitsu:Kk 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
JP4946741B2 (ja) * 2007-09-05 2012-06-06 セイコーエプソン株式会社 画像処理装置、画像処理方法、及び画像処理システム
KR20100064873A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 단말기 및 그 제어 방법
JP5240795B2 (ja) * 2010-04-30 2013-07-17 オムロン株式会社 画像変形装置、電子機器、画像変形方法、および画像変形プログラム
JP5291735B2 (ja) * 2011-02-24 2013-09-18 ソネットエンタテインメント株式会社 似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラム
WO2014118842A1 (ja) * 2013-02-01 2014-08-07 パナソニック株式会社 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
JP6396890B2 (ja) * 2013-04-08 2018-09-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America メイクアップ塗材が塗布された状態を仮想的に再現することができる画像処理装置、画像処理方法、プログラム
KR102169523B1 (ko) * 2013-05-31 2020-10-23 삼성전자 주식회사 디스플레이장치 및 그 제어방법
KR20140146965A (ko) * 2013-06-18 2014-12-29 삼성전자주식회사 디스플레이 장치, 서버를 포함하는 변환 시스템 및 디스플레이 장치의 제어 방법
US9760762B2 (en) 2014-11-03 2017-09-12 Anastasia Soare Facial structural shaping
US9978119B2 (en) * 2015-10-22 2018-05-22 Korea Institute Of Science And Technology Method for automatic facial impression transformation, recording medium and device for performing the method
WO2017204596A1 (ko) * 2016-05-26 2017-11-30 주식회사 시어스랩 얼굴 윤곽 보정 방법 및 장치
US10614623B2 (en) * 2017-03-21 2020-04-07 Canfield Scientific, Incorporated Methods and apparatuses for age appearance simulation

Also Published As

Publication number Publication date
EP3477537A1 (en) 2019-05-01
KR20190046592A (ko) 2019-05-07
KR102045228B1 (ko) 2019-11-15
US20190122029A1 (en) 2019-04-25
CN109712065A (zh) 2019-05-03
US10558850B2 (en) 2020-02-11
JP2019079481A (ja) 2019-05-23

Similar Documents

Publication Publication Date Title
US11269481B2 (en) Dynamic user interactions for display control and measuring degree of completeness of user gestures
JP6498802B1 (ja) 生体情報解析装置及びその顔型のシミュレーション方法
JP6761824B2 (ja) 身体情報分析装置およびその眉型比較補助方法
JP6547013B2 (ja) 生体情報解析装置及びその頬紅解析方法
WO2018000519A1 (zh) 一种基于投影的用户交互图标的交互控制方法及***
JP6568606B2 (ja) 身体情報分析装置およびそのアイシャドウの分析方法
US10528796B2 (en) Body information analysis apparatus with augmented reality and eyebrow shape preview method thereof
US10515260B2 (en) Body information analysis apparatus and lip-makeup analysis method thereof
JP2019048026A (ja) 生体情報解析装置及び手肌解析方法
JP6547012B2 (ja) 生体情報解析装置及びその基礎化粧解析方法
US9405375B2 (en) Translation and scale invariant features for gesture recognition
EP3435277A1 (en) Body information analysis apparatus capable of indicating blush-areas
US10824850B2 (en) Body information analysis apparatus capable of indicating shading-areas
JP6761407B2 (ja) 身体情報分析装置および顔形診断方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190313

R150 Certificate of patent or registration of utility model

Ref document number: 6498802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees