JP2015197710A - Makeup support device, and program - Google Patents
Makeup support device, and program Download PDFInfo
- Publication number
- JP2015197710A JP2015197710A JP2014073896A JP2014073896A JP2015197710A JP 2015197710 A JP2015197710 A JP 2015197710A JP 2014073896 A JP2014073896 A JP 2014073896A JP 2014073896 A JP2014073896 A JP 2014073896A JP 2015197710 A JP2015197710 A JP 2015197710A
- Authority
- JP
- Japan
- Prior art keywords
- makeup
- information
- user
- support apparatus
- makeup support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 192
- 238000005259 measurement Methods 0.000 claims abstract description 86
- 238000002360 preparation method Methods 0.000 claims abstract description 25
- 238000005034 decoration Methods 0.000 claims description 50
- 239000002537 cosmetic Substances 0.000 claims description 38
- 210000000216 zygoma Anatomy 0.000 claims description 25
- 238000003825 pressing Methods 0.000 claims description 20
- 210000000720 eyelash Anatomy 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 7
- 239000011248 coating agent Substances 0.000 claims description 7
- 238000000576 coating method Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 64
- 230000008569 process Effects 0.000 description 27
- 238000003860 storage Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 8
- 210000004209 hair Anatomy 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 240000002871 Tectona grandis Species 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010013786 Dry skin Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000007721 medicinal effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
Landscapes
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、ユーザの身体に関する三次元の情報を用いて、当該ユーザの化粧を支援する技術に関する。 The present invention relates to a technique for supporting makeup of a user using three-dimensional information related to the user's body.
従来より、ユーザの化粧を支援する様々な技術が提案されている。例えば、特許文献１には、ユーザの顔を撮像した顔画像を表示することにより当該ユーザに対して眉毛を整える作業の支援を行う技術が記載されている。また、特許文献２には、ユーザを撮像した画像を様々な用途に応じて加工して表示する技術が記載されている。
Conventionally, various techniques for supporting user makeup have been proposed. For example,
ところが、従来の技術では、二次元情報である撮像画像のみによって三次元の物体である人体に施す化粧を支援することになるため、支援することのできる状況や手法に限界があるという問題があった。 However, the conventional technology supports makeup applied to the human body, which is a three-dimensional object, using only the captured image, which is two-dimensional information, and there is a problem that there are limitations on the situations and methods that can be supported. It was.
本発明は、上記課題に鑑みてなされたものであり、ユーザが化粧をする場合において、当該ユーザに対してより適切に支援する技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique for more appropriately supporting a user when the user puts on makeup.
上記の課題を解決するため、請求項１の発明は、ユーザが自身に化粧を施す際に前記ユーザによって携帯される化粧支援装置であって、前記ユーザを撮像して撮像情報を取得する撮像手段と、前記撮像手段により取得された撮像情報に基づいて、前記ユーザに関する三次元の形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、前記三次元計測手段により作成された三次元形状情報に基づいて前記ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、前記情報作成手段により作成された化粧支援情報を表示する表示手段とを備える。
In order to solve the above-mentioned problem, the invention of
また、請求項２の発明は、請求項１の発明に係る化粧支援装置であって、前記三次元計測手段は、前記ユーザの化粧時において前記ユーザに関する三次元の形状に関する情報を取得する。
The invention of
また、請求項３の発明は、請求項１の発明に係る化粧支援装置であって、前記三次元計測手段は、前記ユーザに関する三次元の形状に関する情報を、前記ユーザの化粧時より前に取得して準備三次元形状情報として作成する。
The invention of
また、請求項４の発明は、請求項３の発明に係る化粧支援システムであって、前記情報作成手段は、前記三次元計測手段により作成された準備三次元形状情報に対して、前記ユーザの化粧時に前記撮像手段により取得された撮像情報をテクスチャマッピングすることにより、前記化粧支援情報を作成する。
The invention of claim 4 is the makeup support system according to the invention of
また、請求項５の発明は、請求項３または４の発明に係る化粧支援装置であって、前記三次元計測手段は、前記ユーザの化粧時において前記ユーザに関する三次元の形状に関する情報を取得する。
Further, the invention of
また、請求項６の発明は、請求項５の発明に係る化粧支援装置であって、前記ユーザの化粧時において前記撮像手段により取得された撮像情報に基づいて、三次元の形状に関する情報を必要とする前記ユーザの部位を特定する特定手段をさらに備える。
Further, the invention of
また、請求項７の発明は、請求項６の発明に係る化粧支援装置であって、前記特定手段は、前記ユーザの化粧時において前記撮像手段により取得された撮像情報に撮像されている部位の中から前記三次元の形状に関する情報を必要とする前記ユーザの部位を特定し、前記三次元計測手段は、前記特定手段により特定された前記ユーザの部位に関する部分についてのみ三次元の形状に関する情報を前記ユーザの化粧時に取得し、取得した当該三次元の形状に関する情報と、前記準備三次元形状情報とを合成することにより前記ユーザに関する三次元形状情報を作成する。
The invention of
また、請求項８の発明は、請求項６または７の発明に係る化粧支援装置であって、前記特定手段は、前記ユーザの化粧時において前記撮像手段により取得された撮像情報に撮像されていない部位の中から前記三次元の形状に関する情報を必要とする前記ユーザの部位を特定し、前記三次元計測手段は、前記特定手段により特定された前記ユーザの部位に関する部分についての前記準備三次元形状情報と、前記ユーザの化粧時に取得した前記ユーザに関する三次元の形状に関する情報とを合成して前記三次元形状情報を作成する。
The invention according to claim 8 is the makeup support apparatus according to
また、請求項９の発明は、請求項１ないし８のいずれかの発明に係る化粧支援装置であって、視点情報を取得する視点取得手段をさらに備え、前記情報作成手段は、前記視点取得手段により取得された視点情報に基づいて前記ユーザに施す化粧を支援するための化粧支援情報を作成する。
The invention according to claim 9 is the makeup support apparatus according to any one of
また、請求項１０の発明は、請求項１ないし９のいずれかの発明に係る化粧支援装置であって、前記ユーザの化粧時において前記撮像手段により撮像された撮像情報に基づいて前記ユーザの視線を推定することにより、前記表示手段に表示される化粧支援情報の表示位置を補正する。
The invention of
また、請求項１１の発明は、請求項１ないし１０のいずれかの発明に係る化粧支援装置であって、前記三次元計測手段により作成された三次元形状情報に基づいて、前記ユーザの肌質を推定する肌質推定手段をさらに備え、前記情報作成手段は、前記肌質推定手段により推定された前記ユーザの化粧時における肌質に適した化粧支援情報を作成する。
The invention of
また、請求項１２の発明は、請求項１ないし１１のいずれかの発明に係る化粧支援装置であって、肌面を押圧したときの前記肌面の変化に基づいて前記肌面の弾性を推定する弾性推定手段をさらに備え、前記情報作成手段は、前記弾性推定手段により推定された前記ユーザの化粧時における肌面の弾性に適した化粧支援情報を作成する。
The invention of claim 12 is the makeup support apparatus according to any one of
また、請求項１３の発明は、請求項１ないし１２のいずれかの発明に係る化粧支援装置であって、前記ユーザの化粧時における前記ユーザによる押圧力を推定する押圧力推定手段をさらに備え、前記化粧支援情報は、前記押圧力推定手段により推定された前記ユーザによる押圧力に関する情報を含む。
The invention of claim 13 is the makeup support apparatus according to any one of
また、請求項１４の発明は、請求項１ないし１３のいずれかの発明に係る化粧支援装置であって、前記ユーザの化粧時における化粧品の塗布速度を推定する速度推定手段をさらに備え、前記化粧支援情報は、前記速度推定手段により推定された前記塗布速度に関する情報を含む。
The invention of claim 14 is the makeup support apparatus according to any one of
また、請求項１５の発明は、請求項１ないし１４のいずれかの発明に係る化粧支援装置であって、前記ユーザの頬骨位置を推定する頬骨位置推定手段をさらに備え、前記情報作成手段は、前記頬骨位置推定手段により推定された前記ユーザの頬骨位置に応じて化粧支援情報を作成する。
Further, the invention of claim 15 is a makeup support apparatus according to any one of
また、請求項１６の発明は、請求項１ないし１５のいずれかの発明に係る化粧支援装置であって、化粧時における光環境を推定する光推定手段をさらに備える。
The invention of claim 16 is the makeup support apparatus according to any one of
また、請求項１７の発明は、請求項１６の発明に係る化粧支援装置であって、前記光推定手段は、光の光線方向および光線強度を推定する。 The invention according to claim 17 is the makeup support apparatus according to the invention of claim 16, wherein the light estimating means estimates the light beam direction and light beam intensity.
また、請求項１８の発明は、請求項１６または１７の発明に係る化粧支援装置であって、前記光推定手段は、光の色を推定する。 The invention of claim 18 is the makeup support apparatus according to claim 16 or 17, wherein the light estimation means estimates the color of light.
また、請求項１９の発明は、請求項１６ないし１８のいずれかの発明に係る化粧支援装置であって、前記光推定手段により推定された化粧時における光環境と基準となる光環境とに基づいて、前記ユーザの化粧時において前記撮像手段により撮像された撮像情報を補正する。 The invention of claim 19 is the makeup support apparatus according to any one of claims 16 to 18, which is based on the light environment at the time of makeup estimated by the light estimation means and the reference light environment. Then, the imaging information imaged by the imaging means during the user's makeup is corrected.
また、請求項２０の発明は、請求項１６ないし１８のいずれかの発明に係る化粧支援装置であって、前記光推定手段により推定された化粧時における光環境と前記ユーザの所望する披露場所における光環境とに基づいて、前記ユーザの化粧時において前記撮像手段により撮像された撮像情報を補正する。 The invention of claim 20 is the makeup support apparatus according to any one of claims 16 to 18, wherein the light environment during makeup estimated by the light estimation means and the display location desired by the user are displayed. Based on the light environment, the imaging information captured by the imaging unit at the time of makeup by the user is corrected.
また、請求項２１の発明は、請求項１６ないし２０のいずれかの発明に係る化粧支援装置であって、前記光推定手段により推定された化粧時における光環境に応じて、前記ユーザの化粧時における顔色を推定する顔色推定手段をさらに備え、前記情報作成手段は、前記顔色推定手段により推定された前記ユーザの化粧時における顔色に適した化粧支援情報を作成する。 The invention of claim 21 is the makeup support apparatus according to any one of claims 16 to 20, wherein the user's makeup is made according to the light environment during makeup estimated by the light estimation means. The information creation means creates makeup support information suitable for the face color at the time of makeup of the user estimated by the face color estimation means.
また、請求項２２の発明は、請求項１ないし２１のいずれかの発明に係る化粧支援装置であって、前記情報作成手段は、前記ユーザの所望する披露場所における光環境に適した化粧支援情報を作成する。
Further, the invention of
また、請求項２３の発明は、請求項１ないし２２のいずれかの発明に係る化粧支援装置であって、前記情報作成手段は、前記ユーザの化粧目的に応じた化粧支援情報を作成する。
The invention of claim 23 is the makeup support apparatus according to any one of
また、請求項２４の発明は、請求項１ないし２３のいずれかの発明に係る化粧支援装置であって、前記情報作成手段は、前記ユーザが所持している物品の中から推奨物品を選択し、選択した前記推奨物品に関する情報を化粧支援情報に含める。
The invention of claim 24 is the makeup support apparatus according to any one of
また、請求項２５の発明は、請求項１ないし２４のいずれかの発明に係る化粧支援装置であって、前記化粧支援情報は、前記ユーザについて、化粧後の予測画像情報を含む。
The invention of claim 25 is the makeup support apparatus according to any one of
また、請求項２６の発明は、請求項１ないし２５のいずれかの発明に係る化粧支援装置であって、前記化粧支援情報は、前記ユーザについて、化粧を施すべき位置に関する情報を含む。 According to a twenty-sixth aspect of the present invention, in the makeup support apparatus according to any one of the first to twenty-fifth aspects, the makeup support information includes information related to a position where makeup is to be applied to the user.
また、請求項２７の発明は、請求項２６の発明に係る化粧支援装置であって、前記化粧を施すべき位置は、化粧品を塗るときの塗り開始位置に関する情報を含む。 According to a twenty-seventh aspect of the present invention, in the makeup support apparatus according to the twenty-sixth aspect of the present invention, the position where makeup is to be applied includes information relating to a coating start position when the cosmetic is applied.
また、請求項２８の発明は、請求項２６または２７の発明に係る化粧支援装置であって、前記化粧を施すべき位置は、化粧品を塗るときの塗り終了位置に関する情報を含む。 Further, the invention of claim 28 is the makeup support apparatus according to claim 26 or 27, wherein the position where makeup is to be applied includes information relating to a paint finish position when the cosmetic is applied.
また、請求項２９の発明は、請求項２６ないし２８のいずれかの発明に係る化粧支援装置であって、前記化粧を施すべき位置は、化粧品を塗るときの軌跡に関する情報を含む。 The invention of claim 29 is the makeup support apparatus according to any one of claims 26 to 28, wherein the position where makeup is to be applied includes information relating to a locus when the cosmetic is applied.
また、請求項３０の発明は、請求項１ないし２９のいずれかの発明に係る化粧支援装置であって、前記化粧支援情報は、化粧品の塗るべき濃度に関する情報を含む。
The invention of claim 30 is the makeup support apparatus according to any one of
また、請求項３１の発明は、請求項１ないし３０のいずれかの発明に係る化粧支援装置であって、前記化粧支援情報は、睫毛の湾曲度合いに関する情報を含む。
The invention of claim 31 is the makeup support apparatus according to any one of
また、請求項３２の発明は、請求項１ないし３１のいずれかの発明に係る化粧支援装置であって、前記化粧支援情報は、前記ユーザについて、化粧の終了に関する情報を含む。
The invention of claim 32 is the makeup support apparatus according to any one of
また、請求項３３の発明は、請求項３２の発明に係る化粧支援装置であって、前記情報作成手段は、前記ユーザの複数の部位を比較することにより、前記化粧の終了を判定する。 The invention of claim 33 is the makeup support apparatus according to claim 32 of the invention, wherein the information creating means determines the end of the makeup by comparing a plurality of parts of the user.
また、請求項３４の発明は、ユーザが自身に化粧を施す際に前記ユーザによって携帯されるコンピュータによって読み取られるプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータを、前記ユーザを撮像して撮像情報を取得する撮像手段と、前記撮像手段により取得された撮像情報に基づいて、前記ユーザに関する三次元の形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、前記三次元計測手段により作成された三次元形状情報に基づいて前記ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、前記情報作成手段により作成された化粧支援情報を表示する表示手段とを備える化粧支援装置として機能させる。 The invention according to claim 34 is a program read by a computer carried by the user when the user applies makeup to the user, and the execution of the program by the computer images the computer and the user. Imaging means for acquiring imaging information, and three-dimensional measurement means for acquiring information on a three-dimensional shape related to the user and creating three-dimensional shape information based on the imaging information acquired by the imaging means, Information creation means for creating makeup support information for supporting makeup to be applied to the user based on the three-dimensional shape information created by the three-dimensional measurement means, and makeup support information created by the information creation means are displayed. And a makeup support apparatus including display means for performing the function.
請求項１ないし３４に記載の発明は、撮像手段により取得された撮像情報に基づいて、ユーザに関する三次元の形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、三次元計測手段により作成された三次元形状情報に基づいてユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、情報作成手段により作成された化粧支援情報を表示する表示手段とを備えることにより、ユーザは、正確で適切な化粧を、場所を選ばず、手軽に実行することができる。
The invention according to any one of
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. However, unless otherwise specified in the following description, descriptions of directions and orientations correspond to the drawings for the convenience of the description, and do not limit, for example, a product, a product, or a scope of rights.
＜１． 実施の形態＞
図１は、化粧支援装置１を示す外観図である。図１に示すように、化粧支援装置１は、筐体部２、本体部３、操作部４、表示部５，６、および、計測部７を備えている。化粧支援装置１は、ユーザによる携帯が可能な装置として構成されている。すなわち、ユーザは化粧支援装置１を所持して、様々な場所に移動することが可能であるとともに、移動先において、自由に化粧支援装置１を起動させ、使用することができる。
<1. Embodiment>
FIG. 1 is an external view showing a
なお、以下の説明において「化粧時」とは、ユーザが現実に化粧を行っている瞬間のみならず、化粧を行うために化粧支援装置１（化粧を支援するためのアプリケーション）を起動したときから、ユーザが化粧の終了を化粧支援装置１に指示したときまでの期間を言うものとする。すなわち、化粧を行うために、ユーザが自身の状態を化粧支援装置１によりチェックしている期間なども「化粧時」に含むものとする。
In the following description, “during makeup” means not only the moment when the user is actually applying makeup, but also from the time when the makeup support apparatus 1 (application for supporting makeup) is activated to perform makeup. The period until the user instructs the
また、化粧支援装置１は、ユーザの化粧を支援するときの動作モードとして、通常動作モードと、准省電力動作モードと、省電力動作モードとを設定することが可能とされている。各動作モードの詳細は後述するが、これらの動作モードの切替は、操作部４からの制御信号（ユーザ指示）、または、予め設定されている情報などに基づいて行われるものとする。
In addition, the
また、以下の説明では、外出先等において、他人に見られることを意識した装うための化粧を例に説明するが、本発明における「化粧」は、装うための化粧に限定されるものではなく、健康や美しさを維持するための化粧（いわゆる「お手入れ」）も含むものとする。 Further, in the following description, makeup for wearing that is conscious of being seen by others when going out is described as an example, but “makeup” in the present invention is not limited to makeup for wearing. It also includes makeup (so-called “care”) to maintain health and beauty.
筐体部２は、略箱状の構造物であり、折りたたまれた状態の本体部３を内部に収納する。これにより、化粧支援装置１は、ユーザによって携帯されるときには、さらに持ち運びに便利なように小型化される。また、筐体部２は、表示部５，６を内部に収容することにより、表示部５，６を保護する機能も有している。
The housing | casing
本体部３は、矩形の板状の構造物であり、前面に表示部５が設けられるとともに、上部前面に計測部７が設けられている。本体部３は、図示しない軸を中心に回動可能となっている。これにより、本体部３が筐体部２から取り出された状態と、本体部３が筐体部２の内部に収納された状態との間で変形が可能である。すなわち、化粧支援装置１は、本体部３を折りたたむことにより、筐体部２に収納することができる。
The
操作部４は、化粧支援装置１に対してユーザが指示を入力するために操作するハードウエアである。図１では、操作部４として複数のボタンを図示している。しかし、化粧支援装置１は、図１に示すボタン以外にも操作部４として、タッチパネルを備えている。すなわち、表示部５，６の表面にタッチセンサが設けられており、ユーザは画面に触れることによって指示情報を化粧支援装置１に対して入力することができるように構成されている。これ以外にも、操作部４として、例えば、各種キーやスイッチ、ポインティングデバイス、あるいは、ジョグダイヤルなどを備えていてもよい。なお、本実施の形態における操作部４は、視点情報（後述）を取得する視点取得手段としての機能を有している。
The operation unit 4 is hardware that the user operates to input instructions to the
表示部５，６は、各種データを表示することにより、ユーザに対して当該各種データを出力する機能を有するハードウェアである。図１では表示部５，６として液晶ディスプレイを示している。ユーザは化粧中において、表示部５，６を閲覧することにより、化粧支援装置１から様々な情報を受け取ることが可能である。これにより、ユーザは適切で高度な化粧を容易に楽しむことができる。なお、表示部５，６として、液晶ディスプレイ以外にも、例えば、ランプやＬＥＤ、液晶パネルなどを備えていてもよい。
The
図２は、化粧支援装置１のブロック図である。化粧支援装置１は、図１に示す構成の他に、ＣＰＵ１０および記憶装置１１を備えている。
FIG. 2 is a block diagram of the
ＣＰＵ１０は、記憶装置１１に格納されているプログラム１１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ１０は、化粧支援装置１が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、化粧支援装置１は、一般的なコンピュータとして構成されている。
The
記憶装置１１は、化粧支援装置１において各種データを記憶する機能を提供する。言い換えれば、記憶装置１１が化粧支援装置１において電子的に固定された情報を保存する。
The
記憶装置１１としては、ＣＰＵ１０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、専用の読み取り装置に装着された可搬性の記憶媒体（ＳＤカード、ＵＳＢメモリなど）等が該当する。図２においては、記憶装置１１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置１１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置１１は、データを記憶する機能を有する装置群の総称である。
As the
また、現実のＣＰＵ１０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ１０が備える記憶装置も、説明の都合上、記憶装置１１に含めて説明する。すなわち、一時的にＣＰＵ１０自体が記憶するデータも、記憶装置１１が記憶するとして説明する。図２に示すように、記憶装置１１は、プログラム１１０、データベース１１１、撮像情報１１２、三次元形状情報１１３、および、化粧支援情報１１４などを記憶するために使用される。
The
ここで、データベース１１１には、オーナー情報、状況に応じた化粧の仕方（濃度、塗布位置、塗り方、力加減、使用する物品種別など）、基準となる光環境（理想的な光環境）、披露場所に応じた光環境などが格納されている。
Here, in the
オーナー情報とは、ユーザの性別や年齢、好みといった化粧に影響を与える個人情報、撮像情報１１２、準備三次元形状情報（後述）、ユーザが所持している物品（化粧品や道具類など）に関する情報などである。
Owner information refers to personal information that affects makeup such as the user's gender, age, and preferences, imaging
また、詳細は後述するが、データベース１１１（オーナー情報）に含まれる撮像情報１１２とは、撮像部７１によって取得される情報ではあるが、化粧時にリアルタイムで撮像される情報ではなく、予め撮像され準備される情報である。このような撮像情報１１２に含まれる被写体は、ユーザの部位のうち化粧をしながら撮像することが困難と予想される部位を含むものである。
Although details will be described later, the
化粧中において、ユーザは、表示部５，６を閲覧しやすいように、化粧支援装置１をユーザに正対するように配置する（所持する）ことが予想される。このような配置において、撮像部７１はユーザに正対するため、撮像部７１は正面からユーザを撮像することになり、逆に正面に向いていない部位については化粧時にリアルタイムで撮像することは困難である。このような部位としては、例えば、側頭部や後頭部、頭頂部、喉部などが想定される。したがって、化粧支援装置１は、予めこのような部位を撮像して撮像情報１１２を作成しておき、データベース１１１に格納しておくのである。
During makeup, the user is expected to place (have) the
また、この場合の撮像情報１１２は動画像である必要はなく、各部位についてフレーム一枚分の静止画像のみであってもよい。ただし、当該撮像情報１１２は、必ずしも部位を選択的に撮像した情報でなければならないわけではなく、例えば、ユーザの頭部の全周にわたって撮像されていてもよい。
Further, the
また、基準となる光環境とは、ユーザが自宅等において、予め取得しておく光環境である。このような光環境としては、化粧を施す部位に陰が生じないように、多方向から被写体を照明する光環境が望ましい。なお、基準となる光環境を取得する手法については後述する。 The reference light environment is a light environment that the user acquires in advance at home or the like. As such an optical environment, an optical environment that illuminates the subject from multiple directions is desirable so that shade is not generated at the site to which makeup is applied. A method for acquiring the reference light environment will be described later.
また、披露場所に応じた光環境とは、ユーザが化粧した状態を披露する場所として想定される場所における、想定される光環境である。披露場所としては、例えば、公園や海岸といった屋外や、オフィス、住宅の室内、レストラン内、バーのカウンタ、ホテルのロビー、イベント会場、車内などが想定される。化粧支援装置１では、予め予想される披露場所ごとに、当該披露場所において想定される光環境を取得しておき、データベース１１１に格納しておく。
Moreover, the light environment according to a show location is the assumed light environment in the place assumed as a place where a user's makeup state is shown. For example, outdoor locations such as parks and beaches, offices, residential interiors, restaurants, bar counters, hotel lobbies, event venues, and car interiors are assumed. In the
化粧支援装置１は、図１および図２に示すように２つの表示部５，６を備えており、いわゆるツインディスプレイ構造の装置として構成されている。化粧支援装置１において、表示部５，６は、化粧支援情報１１４を表示する機能を有している。
As shown in FIGS. 1 and 2, the
なお、以下の説明では、説明を簡単にするために、化粧支援情報１１４を表示部５に表示する例で説明する。ただし、特に断らない限り、化粧支援情報１１４は、表示部６に表示されてもよいし、表示部５と表示部６とに分割して表示されてもよい。例えば、化粧支援装置１は、現在の状態の画像を表示部５に表示させつつ、同時に化粧の完成した状態の画像を表示部６に表示させることができる。あるいは、正面からユーザの顔をみたときの画像を表示部５に表示させつつ、ユーザの横顔の画像を表示部６に表示させるといったことも可能である。
In the following description, in order to simplify the description, an example in which
図２に示すように、本実施の形態における計測部７は、投光部７０および撮像部７１を備えている。
As shown in FIG. 2, the
投光部７０は、形状が既知のパターンを計測対象（化粧の対象となるユーザの身体部分）に向けて投射する機能を有している。本実施の形態における投光部７０は、不可視光（人の視覚によって感知されることのない周波数の光）により当該パターンを投射する。なお、投光部７０によって投射されるパターンを、以下の説明では、「計測用パターン」と称する。
The
撮像部７１は、一般的なデジタルカメラであり、被写体（ユーザ）を撮像して、撮像情報１１２を取得する。本実施の形態における撮像部７１はカラーの動画像としての撮像情報１１２を取得する。ここで動画像とは、所定のフレーム間隔で撮像された連続する静止画像の集合物として撮像情報１１２が取得されることを言う。なお、撮像部７１は、カラーに限定されるものではなく、白黒画像を取得するものであってもよい。
The
図３は、化粧支援装置１が備える機能ブロックをデータの流れとともに示す図である。図３に示す計測制御部１００、特定部１０１、推定部１０２、情報作成部１０３および補正部１０４は、ＣＰＵ１０がプログラム１１０に従って動作することにより実現される機能ブロックである。
FIG. 3 is a diagram illustrating functional blocks included in the
計測制御部１００は、操作部４からの制御信号（ユーザ指示）に応じて、投光部７０を制御して、投光部７０に被写体に向けて計測用パターンを投射させる。
The
また、計測制御部１００は、操作部４からの制御信号（ユーザ指示）に応じて、撮像部７１を制御して、撮像部７１に被写体を撮像させる機能も有している。そして、計測制御部１００は、撮像部７１により取得された撮像情報１１２を記憶装置１１に転送し、記憶装置１１に記憶させる。
The
また、計測制御部１００は、撮像部７１により取得された撮像情報１１２に基づいて、ユーザに関する三次元形状情報１１３を取得する。
Further, the
具体的には、まず、計測制御部１００は、撮像情報１１２（動画像を構成する１フレーム分の情報でもよい。）に画像認識処理を実行してユーザを表現している画像部分（以下、「ユーザ撮像画像」と称する。）を切り出す。なお、ここで言うユーザ撮像画像には、ユーザの身体そのもの以外に、服や帽子、リボン、眼鏡など、ユーザが身につけているもの（服装など）を含んでいてもよい。
Specifically, first, the
次に、計測制御部１００は、ユーザ撮像画像（撮像情報１１２）に撮像されている計測用パターンが、既知の形状に対して、どのように変形しているかを解析することにより、ユーザの形状を三次元で表現した数値情報に変換する。このような手法としては、従来の技術を採用することが可能であるため、ここではこれ以上の詳細な説明は省略する。そして、計測制御部１００は、この数値情報を三次元形状情報１１３とする。
Next, the
すなわち、本実施の形態における化粧支援装置１では、計測部７および計測制御部１００が三次元計測手段に相当するとともに、計測部７が撮像手段に相当する撮像部７１をも構成している。
That is, in the
ユーザに携帯され、移動環境において使用される装置において、互いに異なるアングルにセットされた複数のカメラから同時に撮影してユーザの三次元形状に関する情報を得ることは、通常、困難である。しかしながら、化粧支援装置１では、投光部７０から計測用パターンを投射することにより、撮像部７１による一方向からのみの撮像であっても、ユーザに関する三次元形状情報１１３を取得することができる。すなわち、ユーザに携帯される装置として構成されている化粧支援装置１において、ユーザの三次元形状に基づいて化粧支援を行うことができる。
In an apparatus that is carried by a user and used in a mobile environment, it is usually difficult to obtain information on the three-dimensional shape of the user by simultaneously capturing images from a plurality of cameras set at different angles. However, in the
なお、本発明における三次元計測手段は、上記構成に限定されるものではなく、ユーザの三次元的な情報を取得することができるものであれば、適宜、採用可能である。このような手法として、例えば、ＴＯＦ（Time Of Flight）や、パターン投影を行わない、ステレオ法や、ＤＴＡＭ（Dense Tracking And Mapping）等、複数視点画像から三次元形状を計測推定するｓｔｍ（structure from motion）などの技術を採用することもできる。 Note that the three-dimensional measuring means in the present invention is not limited to the above-described configuration, and can be appropriately adopted as long as it can acquire the three-dimensional information of the user. Examples of such a method include stm (structure from) that measures and estimates a three-dimensional shape from multiple viewpoint images, such as TOF (Time Of Flight), stereo projection without pattern projection, DTAM (Dense Tracking And Mapping), and the like. A technique such as motion) can also be employed.
また、計測制御部１００は、ユーザが化粧を行っていないときに、三次元形状情報１１３を作成したときには、当該三次元形状情報１１３をデータベース１１１に、準備三次元形状情報として格納する。すなわち、計測制御部１００は、ユーザに関する三次元形状情報１１３を、ユーザの化粧時より前に、予め準備三次元形状情報として取得しておく機能を有している。なお、本実施の形態における計測制御部１００は、撮像情報１１２についても、データベース１１１に格納する場合がある。
In addition, when the user is not applying makeup and the
また、計測制御部１００は、特定部１０１から伝達される情報（以下、「特定部位情報」と称する。）に基づいて、ユーザの特定の部位についての三次元の形状に関する情報を、データベース１１１（準備三次元形状情報）から取得して、三次元形状情報１１３を作成する機能も有している。
In addition, the
さらに、計測制御部１００は、特定部位情報に基づいて、ユーザの特定の部位についての三次元の形状に関する情報を作成するために、当該部位に計測用パターンを投射するように投光部７０を制御する。このように、投光部７０が部分的に計測用パターンを投射した場合、計測制御部１００は、当該計測用パターンが投射された部位についてのみ撮像情報１１２に基づいて三次元の形状に関する情報を作成するとともに、その他の部位についての三次元の形状に関する情報はデータベース１１１（準備三次元形状情報）から取得する。そして、計測制御部１００は、これらを合成して、三次元形状情報１１３を作成する。
Furthermore, in order to create information on the three-dimensional shape of the user's specific part based on the specific part information, the
このように、ユーザの化粧時に作成される三次元形状情報１１３には、ユーザの特定の部位については準備三次元形状情報から構成されている場合がある。ただし、詳細は後述する。
As described above, the three-
特定部１０１は、動作モードに応じて、ユーザの化粧時において撮像部７１により取得された撮像情報１１２に基づいて、三次元の形状に関する情報を必要とする当該ユーザの部位を特定する機能を有している。
The
また、特定部１０１は、特定した当該ユーザの部位を特定部位情報として計測制御部１００に伝達する。なお、詳細は後述するが、ユーザの化粧時において撮像情報１１２に撮像されている部位の中から三次元の形状に関する情報を必要とするユーザの部位を特定する場合と、ユーザの化粧時において撮像情報１１２に撮像されていない部位の中から三次元の形状に関する情報を必要とするユーザの部位を特定する場合とがある。
Further, the specifying
推定部１０２は、撮像情報１１２や三次元形状情報１１３に基づいて、化粧時における様々な状況や状態を推定し、その推定結果を情報作成部１０３に伝達する機能を有している。なお、推定部１０２から情報作成部１０３に向けて伝達される推定結果を、以下、「推定情報」と称する。
The
まず、推定部１０２は、計測制御部１００により取得された三次元形状情報１１３に基づいて、化粧時におけるユーザの肌の荒れ具合（肌の凹凸）を計測し、肌質を推定する。なお、肌質を計測する場合には、専用のセンサ（肌面に押しつけて計測するセンサなど）を化粧支援装置１に接続して、計測するようにしてもよい。その場合は、撮像情報１１２および三次元形状情報１１３によって肌質を判定する場合に比べて、より詳細な肌質を計測することができる。
First, based on the three-
また、推定部１０２は、肌面を押圧したときの肌面の変化に基づいて肌面の弾性を推定する。例えば、推定部１０２は、ユーザが指やスティックなどで肌面を押してから離したときの肌面の修復速度を撮像情報１１２に基づいて推定し、当該肌面の弾性を推定する。ユーザが肌面をどの程度押圧していたかは三次元形状情報１１３から得ることができ、肌面が修復するまでの時間は、撮像情報１１２のフレーム数によって求めることができる。なお、化粧支援装置１に圧力センサを設けて、当該圧力センサを肌面に押しつけて当該肌面の弾性を計測してもよい。
Moreover, the
また、推定部１０２は、ユーザの化粧時におけるユーザによる押圧力を推定する。例えば、ハケで化粧品を塗るときの肌のへこみ具合を三次元形状情報１１３から得られる肌の陥没量を計測することにより、ユーザが当該ハケをどの程度の力で押しつけているかを推定する。
Moreover, the
また、推定部１０２は、ユーザの化粧時における化粧品の塗布速度を推定する。塗布速度は、例えば、どの程度の距離をどの程度の時間をかけて塗布しているかによって求めることができる。どの程度の距離かは、三次元形状情報１１３および／または撮像情報１１２に基づいて求めることが可能である。また、どの程度の時間をかけて塗布しているかは、動画像として取得されている撮像情報１１２に基づいて当該撮像情報１１２のフレーム数などにより求めることができる。
Moreover, the
また、推定部１０２は、三次元形状情報１１３に基づいて、頬骨位置を推定する。推定部１０２は、ユーザの顔の立体形状を三次元形状情報１１３を元にして解析し、その起伏の分布状態から頬骨の位置を特定する。頬骨位置は、ある程度の広さを持った立体的な領域（起伏領域）として特定される。そして、当該起伏領域は、個々のユーザに固有の形状を有する領域として特定される。すなわち、本実施の形態における頬骨位置とは、位置と形状とを含む概念である。
Further, the
また、推定部１０２は、化粧時における光環境を推定する。特に、推定部１０２は、光の光線方向および光線強度を推定するとともに、ユーザに向けて照射されている光の色を推定する。本実施の形態における推定部１０２が化粧時における光環境を推定（特定）する手法としては、例えば、以下の手法を採用することができる。
Moreover, the
まず、化粧時にリアルタイムで取得される三次元形状情報１１３に特定の方向から特定強度の光を当てた場合のレンダリング画像を、方向や強度を変更しつつ複数作成する。そして、当該レンダリング画像と化粧時にリアルタイムに取得された撮像情報１１２との輝度分布を比較することにより、最も一致度合いの高い組み合わせを化粧時の光環境（光の方向および強度）として特定する。
First, a plurality of rendering images when a specific intensity of light is applied from a specific direction to the three-
図４は、撮像情報１１２に対して推定された光環境を例示する図である。このように、光線の方向および光線の強度を推定することによって、例えば、口元などの黒い領域は「影」であると判定できる。これにより、例えば、誤ってその領域を化粧品で塗るように指示を出すことを避けることができる。
FIG. 4 is a diagram illustrating a light environment estimated for the
また、化粧時の光環境における光の色を推定する手法としては、色が既知の基準物体（例えば白色のキューブなど）を化粧時に撮像して撮像情報１１２を作成する。そして、当該撮像情報１１２において、当該物体の色がどのように撮像されているかを解析することにより、当該物体に照射されている光の色（すなわち、化粧時の光環境における光の色）を推定する。
Further, as a method of estimating the color of light in the light environment at the time of makeup,
図５は、白色のキューブで構成される基準物体９０を撮像範囲に含めて撮像した撮像情報１１２を例示する図である。図５に示す撮像情報１１２において、基準物体９０を表現する画素の色彩を判定し既知の色彩と比較すれば、撮像情報１１２が撮像されたときの光環境における光の色を特定することが可能となる。なお、ユーザの髪の毛や、常時使用している眼鏡の縁など、予め色が既知の物体として登録しておくことが可能であり、かつ、化粧時に撮像される可能性の高いものを基準物体９０として代用してもよい。
FIG. 5 is a diagram exemplifying
また、推定部１０２は、推定した化粧時における光環境に応じて、ユーザの化粧時における顔色を推定する。例えば、推定部１０２は、推定した化粧時における光環境の影響を、化粧時に撮像された撮像情報１１２（ユーザ撮像画像）の顔肌部分から除去することにより、化粧時のユーザの顔色を特定する。
Moreover, the
情報作成部１０３は、計測制御部１００により取得された三次元形状情報１１３に基づいてユーザに施す化粧を支援するための化粧支援情報１１４を作成する。
The
具体的には、三次元形状情報１１３に、化粧時に撮像された撮像情報１１２を用いてテクスチャマッピング技術により画像（以下、「表示ユーザ画像」と称する。）を作成し、当該表示ユーザ画像を含む化粧支援情報１１４を作成する。表示ユーザ画像は、表示部５に表示され、化粧時のいわゆる鏡面像の役割を担う画像である。
Specifically, an image (hereinafter referred to as a “display user image”) is created in the three-
ただし、詳細は順次説明するが、化粧支援装置１における表示ユーザ画像は、単なる鏡面像ではなく、化粧を行うユーザにとって有益な加工が施された画像として表示される。例えば、表示ユーザ画像における視点（アングル）は撮像方向に限定されるものではなく、化粧を施す場所などに応じて変更することができる。情報作成部１０３は、どの方向から見たときの表示ユーザ画像を作成するかを、操作部４から入力された視点情報に基づいて決定する。また、操作部４からの指示情報により、化粧を施す場所にズームした表示ユーザ画像を作成することもできる。
However, although the details will be described sequentially, the display user image in the
また、情報作成部１０３は、化粧支援情報１１４を作成するときには、適宜、データベース１１１を検索し、状況に応じた化粧の仕方を示す情報や、使用すべき化粧品や道具等に関する情報（推奨物品情報）などを化粧支援情報１１４に含める。
Further, when creating the
なお、情報作成部１０３がデータベース１１１を検索するときの条件（検索キー）として用いられる情報としては、操作部４から伝達される情報（ユーザからの指示情報）と、推定部１０２から伝達される推定情報とがある。以下に、主に推定情報によって化粧支援情報１１４を作成する具体例を説明する。
Information used as a condition (search key) when the
情報作成部１０３は、推定部１０２により推定されたユーザの化粧時における肌質に適した化粧支援情報１１４を作成する。具体的には、推定された肌質に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該肌質に適した化粧の仕方を示す情報を取得し、化粧支援情報１１４に含める。
The
例えば、化粧時において肌が荒れているようであれば、健康を考慮して、化粧を控えめにする、あるいは、薬用効果のある化粧品を推奨するといった化粧支援が想定される。あるいは、肌質が良好と推定された場合には、化粧のノリがよいと予想されるので、塗り回数を減らすといった化粧支援も考えられる。このように、化粧支援装置１では、化粧時の肌質に適した化粧支援を行うことができる。
For example, if the skin appears to be rough at the time of makeup, makeup support such as moderation of makeup in consideration of health or recommendation of cosmetics with medicinal effects is assumed. Alternatively, when it is estimated that the skin quality is good, it is expected that the makeup is good, so makeup support such as reducing the number of times of painting may be considered. Thus, the
また、情報作成部１０３は、推定部１０２により推定されたユーザの化粧時における肌面の弾性に適した化粧支援情報１１４を作成する。具体的には、推定された肌面の弾性に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該弾性に応じた化粧の仕方を示す情報を取得し、化粧支援情報１１４に含める。これにより、化粧支援装置１は、化粧時の肌面の弾性に適した化粧支援を行うことができる。
In addition, the
また、情報作成部１０３は、推定部１０２により推定されたユーザによる押圧力に関する情報を含むように化粧支援情報１１４を作成する。具体的には、推定された押圧力に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該押圧力が適切か否かのメッセージや、当該押圧力に応じた残り塗り回数などを取得し、化粧支援情報１１４に含める。これにより、化粧支援装置１は、ユーザによる押圧力の適否を判定して化粧支援を行うことができる。
In addition, the
また、情報作成部１０３は、推定部１０２により推定された塗布速度に関する情報を含むように化粧支援情報１１４を作成する。具体的には、推定された塗布速度に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該塗布速度が適切か否かのメッセージや、当該塗布速度に応じた残り塗り回数などを取得し、化粧支援情報１１４に含める。これにより、化粧支援装置１は、ユーザによる塗布速度の適否を判定して、当該ユーザに対する化粧支援を行うことができる。
In addition, the
また、情報作成部１０３は、推定部１０２により推定されたユーザの頬骨位置に応じて化粧支援情報１１４を作成する。具体的には、頬骨の位置を基準にしてチークなどの化粧品の塗り位置を決定する。すなわち、推定された頬骨位置に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該頬骨位置に応じた塗布位置を示す情報を取得し、化粧支援情報１１４に含める。これにより、化粧支援装置１は、ユーザの頬骨位置に適した化粧支援を行うことができる。
The
図６は、推定した頬骨位置に応じて表示ユーザ画像（化粧支援情報１１４）にガイド９１を含めて表示する例を示す図である。図６に示す例では、ガイド９１は、化粧品を塗布すべき領域を示す円として表示されている。
FIG. 6 is a diagram illustrating an example in which the
また、情報作成部１０３は、推定部１０２により推定された化粧時の光環境に応じて化粧支援情報１１４を作成する。具体的には、推定された光環境に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該光環境に適した化粧の仕方を示す情報を取得し、化粧支援情報１１４に含める。これにより、化粧支援装置１は、現在の光環境を考慮した化粧支援が可能となる。なお、情報作成部１０３は、光の光線方向、光線強度、光の色などの光環境を示すパラメータを利用する。
The
また、情報作成部１０３は、推定部１０２により推定された化粧時における光環境と、データベース１１１に格納されている基準となる光環境とに基づいて、ユーザの化粧時において撮像部７１により撮像された撮像情報１１２を補正する。すなわち、情報作成部１０３は、化粧時に取得されたユーザ撮像画像を、基準となる光環境に応じた表示ユーザ画像に補正する。
Further, the
図７は、撮像情報１１２と化粧支援情報１１４とを比較する図である。図７において左側に示す撮像情報１１２は、現在（化粧時）の光環境における画像（補正前の画像）である。
FIG. 7 is a diagram for comparing the
情報作成部１０３は、化粧時に取得されたユーザ撮像画像を撮像情報１１２から抽出し、推定された化粧時における光環境に基づいて、ユーザ撮像画像を当該光環境の影響を取り除いた画像に変換する。次に、データベース１１１に格納されている基準となる光環境を取得し、取得した基準となる光環境において撮像されたかのような画像となるように、上記変換された画像に対してさらに画像処理を施して表示ユーザ画像を作成する。そして、このようにして作成した表示ユーザ画像を含む化粧支援情報１１４（図７において右側の画像）を作成する。
The
これにより、ユーザは、常に、基準となる光環境における見栄えを確認することができる。したがって、移動先の光環境に左右されずに安定した化粧を行うことができる。なお、情報作成部１０３は、基準となる光環境の表示ユーザ画像となるように、ユーザ撮像画像を補正するか否かは、ユーザが操作部４を操作して入力する指示情報によって判断する。
Thereby, the user can always confirm the appearance in the standard light environment. Therefore, stable makeup can be performed without being influenced by the light environment of the destination. Note that the
また、情報作成部１０３は、推定部１０２により推定された化粧時における光環境と、ユーザの所望する披露場所における光環境とに基づいて、当該ユーザの化粧時において撮像された撮像情報１１２を補正する。すなわち、情報作成部１０３は、化粧時に取得されたユーザ撮像画像を、ユーザの所望する披露場所における光環境に応じた表示ユーザ画像に補正する。
Further, the
より具体的には、化粧時に取得されたユーザ撮像画像を撮像情報１１２から抽出し、推定された化粧時における光環境に基づいて、ユーザ撮像画像を当該光環境の影響を取り除いた画像に変換する。次に、操作部４からの指示情報を検索キーとして、データベース１１１に格納されている披露場所における光環境を検索し、ユーザの所望する披露場所における光環境を特定する。例えば、ユーザが操作部４を操作して披露場所として「レストラン」を指定する指示情報を入力すると、データベース１１１からレストランにおける光環境が特定される。そして、特定されたレストランにおける光環境において撮像されたかのような画像となるように、上記変換された画像に対してさらに画像処理を施して表示ユーザ画像を作成する。
More specifically, a user captured image acquired at the time of makeup is extracted from the
これにより、ユーザは、化粧を披露する場所の光環境における化粧の見栄えを確認することができる。なお、情報作成部１０３は、ユーザの所望する披露場所における光環境の表示ユーザ画像となるように、ユーザ撮像画像を補正するか否かは、ユーザが操作部４を操作して入力する指示情報によって判断する。
Thereby, the user can confirm the appearance of the makeup in the light environment of the place where the makeup is exhibited. The
また、情報作成部１０３は、推定部１０２により推定されたユーザの化粧時における顔色に適した化粧支援情報１１４を作成する。これにより、光環境の変化に影響されることなく、そのときの顔色（健康状態など）に応じて適切な化粧支援を行うことができる。
In addition, the
また、情報作成部１０３は、ユーザの所望する披露場所における光環境に適した化粧支援情報１１４を作成する。具体的には、操作部４から入力される、ユーザの所望する披露場所を示す情報を検索キーとして、データベース１１１の状況に応じた化粧の仕方を検索する。
In addition, the
例えば、ユーザの所望する披露場所として「レストラン」が入力された場合には、「レストラン」を検索キーとして、レストランにふさわしい化粧の仕方をデータベース１１１から特定する。情報作成部１０３は、このようにして、特定した化粧の仕方を化粧支援情報１１４に含める。そして、ユーザは、表示部５に表示された化粧支援情報１１４を閲覧し、これに従って化粧を行うことにより、特に意識することもなく「レストラン」において映える化粧を完成させることができる。このように、化粧支援装置１は、化粧を披露する場所の光環境に対応した適切な化粧支援を行うことができる。
For example, when “restaurant” is input as the desired presentation location of the user, the makeup method suitable for the restaurant is specified from the
また、情報作成部は、操作部４により取得された視点情報に基づいてユーザに施す化粧を支援するための化粧支援情報１１４を作成する。例えば、操作部４から横顔を確認する旨の指示（視点情報）が入力されたときには、表示ユーザ画像として当該ユーザの横顔の画像を作成し、化粧支援情報１１４に含める。
The information creation unit creates
図６に示す化粧支援情報１１４は、ユーザが撮像部７１に対して正対している状態で、表示されている画像である。このように化粧支援装置１は、三次元形状情報１１３に基づいて表示ユーザ画像を作成できるため、一方向からの画像だけでなく、様々な方向（アングル）からの画像を表示することができる。したがって、ユーザは、様々な視点（アングル）から自身に対する化粧の見栄えを確認することができる。
The
また、ユーザは、見栄えを確認するだけではなく、化粧中に操作部４を操作することにより、視点（アングル）を変更しつつ化粧をすることもできる。例えば、横顔を表示ユーザ画像として表示部５に表示させつつ、自身は表示部５に対して正対しながら化粧をすることもできる。すなわち、正面からの画像を見ながら側面（例えば、頬）を化粧するのではなく、側面に正対した画像（横顔画像）を見ながら当該側面に対する化粧をすることができる。したがって、ユーザは正確に化粧することができる。
Moreover, the user can not only confirm the appearance but also make up while changing the viewpoint (angle) by operating the operation unit 4 during makeup. For example, the user can make a makeup while facing the
なお、このような場合において、側面を撮像するようにある程度横を向きながら化粧をすることも考えられる。しかし、その場合は、表示される鏡面像も側面方向に移動してしまうため、視線を正面方向から側面方向にずらす必要があり、ユーザによる視認性能が低下する。 In such a case, it may be possible to apply makeup while facing sideways to some extent so as to image the side surface. However, in that case, the displayed mirror image also moves in the side surface direction, so it is necessary to shift the line of sight from the front direction to the side surface direction, and the viewing performance by the user is degraded.
また、情報作成部１０３は、ユーザの化粧目的に応じた化粧支援情報１１４を作成する。ユーザの化粧目的とは、どのような印象を与えたいかというユーザの希望であって、例えば、清楚に見える化粧や、健康的に見える化粧、ゴージャスな化粧、ワイルドな化粧などといた例が考えられる。すなわち、同じシーンであっても、ユーザが相手に与えたいと所望する印象は異なるものである。
In addition, the
このように、情報作成部１０３がユーザの化粧目的に応じた化粧支援情報１１４を作成することにより、ユーザに対して提案することのできる化粧のバリエーションが増え、汎用性が向上する。なお、ユーザの化粧目的は、例えば、操作部４から指示情報として入力することができる。
As described above, the
また、情報作成部１０３は、データベース１１１に登録されているユーザが所持している物品の中から推奨物品を選択し、選択した当該推奨物品に関する情報を化粧支援情報１１４に含める。これにより、状況に応じた最適な物品を提案することができ、ユーザの化粧をより適切に支援することができる。なお、推奨物品には、ハケや筆、ローラ、パッド、カーラーなどが想定される。また、同種の物品を複数登録している場合には、その中で状況に応じて最適なものを推奨物品として推奨する。例えば、ＡハケとＢハケとが登録されている場合に、Ｃ化粧品を使用するときにはＡハケを推奨し、Ｄ化粧品を使用するときにはＢハケを推奨するといったパターンが想定される。
Further, the
また、情報作成部１０３は、状況に応じてデータベース１１１を検索することによって、ユーザについて、化粧後の予測画像情報を含めた化粧支援情報１１４を作成する。例えば、情報作成部１０３は、状況に応じて推奨する化粧品を、推奨する使用方法により化粧を実行した場合の表示ユーザ画像を予測に基づく画像処理によって作成し化粧支援情報１１４に含める。
Further, the
これにより、ユーザは、化粧の完成後の状態を確認してから化粧を開始することができる。したがって、化粧支援装置１は、ユーザの予想外の結果とならないように適切に化粧を支援することができる。なお、予測画像情報に対して、ユーザによる修正が行われてから、修正後の状態となるように、情報作成部１０３がその後の化粧支援情報１１４を作成するように構成してもよい。
Thereby, the user can start makeup | decoration after confirming the state after completion of makeup | decoration. Therefore, the
また、情報作成部１０３は、ユーザについて化粧を施すべき位置に関する情報を含む化粧支援情報１１４を作成する。また、化粧を施すべき位置は、化粧品を塗るときの塗り開始位置や、化粧品を塗るときの塗り終了位置、あるいは、化粧品を塗るときの軌跡に関する情報などを含む。
In addition, the
図８および図９は、化粧を施すべき位置に関する情報を含む化粧支援情報１１４を例示する図である。図８は、表示ユーザ画像とともに、線状のガイド９２，９３を示している。また、図９は、表示ユーザ画像とともに、楕円状のガイド９４，９５，９６を示している。
FIG. 8 and FIG. 9 are diagrams illustrating
このようなガイド９２ないし９６は、以下のような手法により決定することができる。例えば、頬骨や黒目、小鼻の位置により、チークの始点を決定する。一旦決定したチークの始点と、横からの顔画像とに基づいて、チークの終点や塗る領域の形を決定する。顔の形により、ハイライトの始点や長さを決定する。二重の幅やアイホールの大きさに基づいてアイシャドウの位置や塗る領域の広さや形を決定する。顔の形や顎、エラの位置、額の大きさによってシェーディングの位置、塗る領域の広さや形を決定する。
また、頬骨の位置や形状からチークを塗るときにどのようなカーブをつければよいかといった表示（例えば、湾曲した矢印による軌跡表示）も可能である。さらに、ガイド９２ないし９６をアニメーション表示することにより、推奨する塗布速度を表現することも可能である。例えば、塗布する方向に向けて、矢印を始点から最適な塗布速度に従って徐々に延ばすような表現方法が考えられる。このような表現方法を用いれば、ユーザに対して個々の化粧品の塗り動作を指南することも可能である。
It is also possible to display what kind of curve should be applied when applying a cheek based on the position and shape of the cheekbone (for example, a trajectory display using a curved arrow). Furthermore, the recommended application speed can be expressed by displaying the
化粧支援装置１は、ガイド９２ないし９６を表示ユーザ画像とともに、化粧支援情報１１４に含めて、表示する。このように構成することにより、化粧支援装置１は、どの部位に、どのように化粧を施すべきかを具体的に示すことができる。
The
また、情報作成部１０３は、データベース１１１を検索することにより、化粧品の塗るべき濃度に関する情報を含む化粧支援情報１１４を作成する。例えば、チークを塗るときに、表示ユーザ画像における当該チークを塗る部分の近傍に、推奨する濃度（色）のパッチ画像を化粧支援情報１１４として表示させる。
In addition, the
これにより、例えば、ユーザは、チークを塗っている頬の色と、表示されているパッチ画像の色とを比較し、頬の色がパッチ画像の色と等しくなったと感じたときに完成したと判断することができる。なお、単に濃度といっても、グラデーションの変化度合いのように、濃度が徐々に変化するような場合も考えられる。グラデーションは、アイシャドウやチークなどを塗る場合に用いる技法であるが、例えば、塗る化粧品の種類、領域の広さや形状などに応じて決定することができる。 Thus, for example, when the user compares the color of the cheek that is being cheeked with the color of the displayed patch image and feels that the color of the cheek is equal to the color of the patch image, the user completes Judgment can be made. Note that even if the density is simply referred to, there may be a case where the density gradually changes as in the degree of gradation change. Gradation is a technique used when applying eye shadow, teak, or the like, and can be determined according to, for example, the type of cosmetic to be applied, the size or shape of the region, and the like.
また、情報作成部１０３は、睫毛の湾曲度合いに関する情報を含む化粧支援情報１１４を作成する。
In addition, the
図１０は、睫毛について表示される化粧支援情報１１４ａ，１１４ｂを例示する図である。化粧支援情報１１４ａは、現状の睫毛の周辺部位を表示ユーザ画像とした化粧支援情報１１４である。化粧支援情報１１４ｂは、化粧が完成した状態を予測して作成した睫毛の周辺部位を表示ユーザ画像とした化粧支援情報１１４である。すなわち、化粧支援情報１１４ｂは予測画像情報としての表示ユーザ画像を含む化粧支援情報１１４である。
FIG. 10 is a diagram illustrating
図１０を見れば明らかなように、化粧支援情報１１４ａ，１１４ｂのいずれにおいても、三次元形状情報１１３に基づいて、睫毛の湾曲度合いが画像として表現されている。このような化粧支援情報１１４が表示されることによって、ユーザは睫毛の湾曲形状（カール）を容易に整えることができる。
As is apparent from FIG. 10, in both of the
また、情報作成部１０３は、ユーザについて、化粧の終了に関する情報を含む化粧支援情報１１４を作成する。例えば、ユーザが化粧品を塗ることにより目標の色合いになったときに、当該化粧品の塗布の終了を通知する化粧支援情報１１４を作成する。これにより、例えば、ユーザは、過度に化粧しすぎることを回避することができる。
In addition, the
また、情報作成部１０３は、前記ユーザの複数の部位に対する化粧の進捗を比較することにより、当該化粧の終了を判定する。例えば、情報作成部１０３は、左の頬と右の頬とを比較して、両方の色合いが均等になったときに、頬に対する化粧の終了を通知する化粧支援情報１１４を作成する。これにより、ユーザは他の部位とのバランスをとることができる。
Further, the
図３に示す補正部１０４は、ユーザの化粧時において撮像部７１により撮像された撮像情報１１２および／または三次元形状情報１１３に基づいてユーザの視線を推定することにより、当該視線の変化に基づいて表示部５に表示される化粧支援情報１１４の表示位置を補正する。
The
以上が、化粧支援装置１の構成および機能の説明である。次に、化粧支援装置１を用いてユーザの化粧を支援する方法について説明する。なお、ユーザは、一般的なコンパクトを所持する要領で、化粧支援装置１を使って化粧を行うことができる。
The above is the description of the configuration and function of the
図１１は、化粧支援装置１によって実現される化粧支援方法を示す流れ図である。なお、図１１に示す各工程が開始されるまでに、化粧支援装置１のデータベース１１１には、「状況に応じた化粧の仕方」および「披露場所に応じた光環境」など、基本的な情報は格納されているものとする。また、特に断らない限り、図１１に示す各工程は、ＣＰＵ１０がプログラム１１０に従って動作することにより実行される。
FIG. 11 is a flowchart showing a makeup support method realized by the
化粧支援装置１に電源が投入されると、化粧支援装置１は所定の初期設定を実行する。そして、化粧を支援するためのアプリケーション（以下、「お化粧アプリ」と称する。）がユーザによって起動されると、化粧支援装置１は表示部５にメニューを表示する（ステップＳ１）。
When the
図１２は、表示部５に表示されるメニュー画像５０を例示する図である。図１２に示すように、メニュー画像５０には、ボタン画像４０，４１，４２，４３が設けられている。各ボタン画像４０，４１，４２，４３は、ユーザが当該画像に触れるか、または、操作部４を操作して選択するように構成されている。
FIG. 12 is a diagram illustrating a
ボタン画像４０は、ユーザ登録を行うときに選択する画像である。ユーザ登録とは、ユーザがオーナー情報を入力するときに必要となる処理である。ユーザ登録において、化粧支援装置１は、所定のＧＵＩ画面（図示せず。）を表示する。ユーザは、表示されたＧＵＩ画面に従って必要事項を入力することにより、ユーザ登録（オーナー情報の入力）が完了するように構成されている。ただし、以下の説明（図１１を含む。）では、ユーザ登録についての説明は省略する。
The
ボタン画像４１は、事前処理を行うときに選択する画像である。事前処理とは、データベース１１１に登録する撮像情報１１２や準備三次元形状情報などを、予め登録する処理であるが、詳細は後述する。
The
ボタン画像４２は、実際にユーザが化粧を開始するときに選択する画像である。化粧が開始された後の処理（ボタン画像４３が操作された後）については、後述する。
The
ボタン画像４３は、お化粧アプリを終了させるときに選択する画像である。
The
図１１に戻って、ステップＳ１を実行して、メニュー画像５０を表示すると、ＣＰＵ１０は、指示情報が入力されるまでステップＳ１を繰り返しつつ待機する（ステップＳ２）。
Returning to FIG. 11, when step S1 is executed and the
メニュー画像５０におけるボタン画像４０，４１，４２，４３のうちのいずれかが操作されると、その操作に応じて指示情報が入力され、ＣＰＵ１０はステップＳ２においてＹｅｓと判定する。
When any one of the
メニュー画像５０においてボタン画像４１が操作され、入力された指示情報が「事前処理」となった場合、ＣＰＵ１０は、ステップＳ３においてＹｅｓと判定し、事前処理を実行する（ステップＳ４）。
When the
図１３は、化粧支援装置１によって実行される事前処理を示す流れ図である。
FIG. 13 is a flowchart showing pre-processing executed by the
事前処理を開始すると、ＣＰＵ１０は、ユーザによる計測準備が完了するまで待機する（ステップＳ１１）。計測準備において、ユーザは、原則としてすべての化粧（特に色彩に影響のある装うための化粧）を落として、素の状態となる。また、計測準備において、ユーザは、基準となる光環境を準備する。
When the pre-processing is started, the
所定の準備が完了すると、ユーザは操作部４を操作して、計測準備が完了したことを示す指示情報を入力する。これに応じて、ＣＰＵ１０は、ステップＳ１１においてＹｅｓと判定し、計測用パターンの投射を開始するように投光部７０を制御する。これにより、投光部７０が計測用パターンの投射を開始する（ステップＳ１２）。
When the predetermined preparation is completed, the user operates the operation unit 4 to input instruction information indicating that the measurement preparation is completed. In response to this, the
次に、ＣＰＵ１０は、撮像を開始するように、撮像部７１を制御する。これに応じて、撮像部７１が撮像を開始する（ステップＳ１３）。これにより、以後、事前処理が終了するまで、撮像情報１１２が取得される。なお、このときの撮像情報１１２は、表示部５に表示され、ユーザによる確認が可能な状態とされる。
Next, the
撮像が開始されると、ＣＰＵ１０は、撮像情報１１２に基づいてこのときの光環境を基準となる光環境として取得する（ステップＳ１４）。ＣＰＵ１０は、取得した基準となる光環境をデータベース１１１に格納する。
When imaging is started, the
なお、ユーザが準備した基準となる光環境において照射されている光の色が白色ではない場合、ステップＳ１４が実行される前に、表示部５は、ユーザに対して、基準物体（本実施の形態では白色のキューブ）を撮像部７１に対して提示するように促すメッセージを表示してもよい。
If the color of light emitted in the reference light environment prepared by the user is not white, the
基準となる光環境が取得された後も、撮像部７１は、撮像を継続し、撮像情報１１２を取得しつづける（ステップＳ１５）。
Even after the reference light environment is acquired, the
ステップＳ１４が終了した後、ユーザは化粧支援装置１を移動させながら、自身の全周を自分撮りする。計測制御部１００は、ステップＳ１５が継続している間に取得される撮像情報１１２からユーザ撮像画像を抽出して、各方向からの情報を結合する。計測制御部１００は、結合されたユーザ撮像画像を解析し、全周にわたる画像が得られたと判断したときに、ステップＳ１５を終了する。これにより、ユーザの全周にわたる撮像が完了し、ユーザの全周に相当するカラー画像（撮像情報１１２）が取得される。そして、ユーザの全周に相当する撮像情報１１２をデータベース１１１に格納する。
After step S14 is completed, the user takes a picture of himself / herself while moving the
また、ステップＳ１５において、計測制御部１００は、撮像情報１１２に基づいて、三次元形状情報１１３を作成する。そして、計測制御部１００は、作成した各方向からの三次元形状情報１１３を、互いに結合して、ユーザの全周に相当する完全な三次元形状情報１１３を作成する。
In step S <b> 15, the
次に、計測制御部１００は、作成された完全な三次元形状情報１１３を準備三次元形状情報として、データベース１１１に格納する（ステップＳ１６）。
Next, the
なお、このとき、ユーザの部位ごとに分離して情報（撮像情報１１２や準備三次元形状情報）を保存するようにしてもよい。例えば、髪の部分と顔の部分とを分離してもよい。このように分離して保存しておくことにより、後に、例えば、髪の部分に関する情報だけが必要になった場合の処理を軽減することができる。
At this time, information (
ステップＳ１６を実行すると、ＣＰＵ１０は、事前処理を終了して、図１１に示す処理に戻る。事前処理を終了して図１１に戻ると、化粧支援装置１は、ステップＳ１から処理を繰り返す。
When step S16 is executed, the
メニュー画像５０においてボタン画像４２が操作され、入力された指示情報が「化粧開始」となった場合、ＣＰＵ１０は、ステップＳ５においてＹｅｓと判定し、化粧準備処理を実行する（ステップＳ６）。
When the
図１４は、化粧支援装置１によって実行される化粧準備処理を示す流れ図である。なお、図１４に示す化粧準備処理が開始されるまでに、すでに説明した事前処理が少なくとも１回は実行されているものとする。
FIG. 14 is a flowchart showing a makeup preparation process executed by the
化粧準備処理が開始されると、ＣＰＵ１０は、撮像情報１１２を取得するように撮像部７１を制御する。これにより、撮像部７１が撮像を開始し（ステップＳ２１）、撮像情報１１２の取得が開始される。また、ステップＳ２１において、三次元形状情報１１３の作成も開始される。
When the makeup preparation process is started, the
次に、推定部１０２は、撮像情報１１２と三次元形状情報１１３とに基づいて、現在（化粧時）の光環境を推定する（ステップＳ２２）。なお、ステップＳ２２を実行するとき、化粧支援装置１は、表示部５に、基準物体を配置するように促すメッセージを表示させるとよい。
Next, the
化粧時の光環境を推定すると、推定部１０２は、さらに化粧時におけるユーザの顔色を推定する（ステップＳ２３）。なお、化粧の対象がユーザの顔でない場合には、ステップＳ２３をスキップしてもよい。
When the light environment at the time of makeup is estimated, the
次に、推定部１０２は、三次元形状情報１１３に基づいて、ユーザの肌質を推定する（ステップＳ２４）。なお、ステップＳ２４が実行されるときには、計測制御部１００は、計測精度を向上させるために、例えば、計測用パターンを細かいパターンに変更するなどしてもよい。
Next, the
次に、推定部１０２は、撮像情報１１２に基づいて、ユーザの肌の弾性を推定する（ステップＳ２５）。このとき、化粧支援装置１は、表示部５に、ユーザに対して肌を押すように促すメッセージを表示することが好ましい。
Next, the
ステップＳ２２ないしＳ２５が順次実行されて、化粧時における各種の状態が推定されると、推定部１０２は、これらの工程において推定した結果を推定情報として、情報作成部１０３に伝達する。
When steps S22 to S25 are sequentially executed and various states at the time of makeup are estimated, the
次に、ＣＰＵ１０は、化粧を行うときの条件を入力する画面を表示部５に表示させる（ステップＳ２６）。ステップＳ２６において、表示部５は、所定のＧＵＩを表示し、ユーザは当該ＧＵＩに従って、これから開始する化粧の条件を入力する。なお、ステップＳ２６においてユーザが入力する条件とは、化粧の披露場所や目的、化粧を施す部位を示す情報などである。
Next, the
ユーザによる入力が完了すると、ＣＰＵ１０はステップＳ２６を終了し、入力された情報（条件）を指示情報として保持する。さらに、情報作成部１０３は、当該指示情報に応じて、化粧が完了した後のユーザの部位を表現した予測画像情報を化粧支援情報１１４として作成する。そして、表示部５が、予測画像情報を含む化粧支援情報１１４を表示する（ステップＳ２７）。これにより、ユーザは化粧を開始する前に、ステップＳ２６で入力した条件による化粧の完成後の状態を確認することができる。したがって、ユーザの思いもよらない化粧状態に誘導されることが抑制され、化粧の失敗が抑制される。
When the input by the user is completed, the
ステップＳ２７を実行すると、ＣＰＵ１０は、ユーザが予測画像情報によって示される完成後の状態に了解したか否かを判定する（ステップＳ２８）。ステップＳ２８における判定は、ユーザが操作部４を操作して入力する指示情報に応じて実行することができる。
When step S27 is executed, the
ユーザが了解しない場合（ステップＳ２８においてＮｏ。）、化粧支援装置１は、修正指示を受け付け（ステップＳ２９）てから、ステップＳ２７の処理に戻る。ステップＳ２７では、当該修正指示を反映させた予測画像情報が新たに作成され、当該予測画像情報が含まれる化粧支援情報１１４が表示される。
If the user does not agree (No in step S28),
一方、ユーザが了解した場合（ステップＳ２８においてＹｅｓ。）、ＣＰＵ１０は、化粧準備処理を終了して、図１１に示す処理に戻る。
On the other hand, when the user approves (Yes in step S28), the
化粧準備処理を終了して図１１に示す処理に戻ると、化粧支援装置１は、化粧支援処理を実行する（ステップＳ７）。
When finishing the makeup preparation process and returning to the process shown in FIG. 11, the
図１５は、化粧支援装置１によって実行される化粧支援処理を示す流れ図である。なお、化粧支援処理（ステップＳ７）が開始される前には、必ず化粧準備処理（ステップＳ６）が実行されている。したがって、化粧支援処理が開始された時点では、投光部７０による投射と、撮像部７１による撮像と、計測制御部１００による三次元形状情報１１３の作成とがすでに開始されている。
FIG. 15 is a flowchart showing a makeup support process executed by the
化粧支援処理が開始されると、ＣＰＵ１０は、まず、化粧時における化粧支援装置１の動作モードを決定する（ステップＳ３１）。動作モードは、ユーザによって入力される指示情報に応じて決定される。
When the makeup support process is started, the
すでに説明したように、化粧支援装置１は、化粧時の動作モードとして、通常動作モードと、准省電力動作モードと、省電力動作モードとを選択可能となっている。
As already described, the
通常動作モードは、化粧時においてリアルタイムで撮像され続ける撮像情報１１２に基づいて、撮像部７１によって撮像されるユーザ撮像画像全体に関する三次元の形状に関する情報をリアルタイムに作成し続ける動作モードである。したがって、投光部７０による計測用パターンも撮像部７１によって撮像される範囲全体に向けて投射しつづける（少なくとも断続的に）必要がある。通常動作モードは、消費電力が最も大きい代わりに、精度の高い表示ユーザ画像が得られる動作モードである。
The normal operation mode is an operation mode in which information on a three-dimensional shape related to the entire user-captured image captured by the
通常動作モードが選択された場合において、特定部１０１は、ユーザの化粧時において撮像部７１により取得された撮像情報１１２と視点情報とに基づいて、当該視点（アングル）からの表示ユーザ画像を作成するために必要な部位であって、当該撮像情報１１２に撮像されていない部位（三次元の形状に関する情報を必要とする当該ユーザの部位）を特定する。そして、特定部１０１は、計測制御部１００に特定部位情報を伝達する。
When the normal operation mode is selected, the specifying
通常動作モードにおいて、計測制御部１００は、特定部位情報に示される部位に関する準備三次元形状情報をデータベース１１１から取得して、撮像情報１１２に基づいてリアルタイムに作成した三次元の形状に関する情報と合成して、三次元形状情報１１３を作成する。
In the normal operation mode, the
図１６は、リアルタイムに取得された三次元の形状に関する情報と準備三次元形状情報とが合成される様子を示す概念図である。 FIG. 16 is a conceptual diagram illustrating a state in which information regarding a three-dimensional shape acquired in real time and preparatory three-dimensional shape information are combined.
画像８０は、正面から撮像された撮像情報１１２に基づいて作成された表示ユーザ画像である。画像８０は、リアルタイムに作成される画像であり、現状を最も忠実に反映させた画像といえる。しかし、化粧支援装置１は、一方向（通常は正面）からしか撮像できない構成であるため、視点情報に基づいて、アングルを変更しようとすると、撮像されていない部位（撮像範囲外の部位）については画像を作成することができない。したがって、このような場合には、図１６に示す画像８０のように欠損部分を生じ、不完全な表示ユーザ画像となる。
The
しかしながら、化粧支援装置１のデータベース１１１には、予め撮像し作成しておいた、撮像情報１１２および準備三次元形状情報が格納されている。したがって、計測制御部１００は、特定部１０１から伝達される特定部位情報に従って、欠損部分の三次元の形状に関する情報をデータベース１１１から取得し、これを用いて、欠損部分を補った三次元形状情報１１３を作成することができる。
However, the
このように、化粧支援装置１では、通常動作モードにおいても、データベース１１１に格納されている準備三次元形状情報が用いられ、三次元形状情報１１３が作成される。
As described above, in the
なお、三次元形状情報１１３において準備三次元形状情報により補われた部位については、同じくデータベース１１１に格納されている撮像情報１１２が情報作成部１０３によりテクスチャマッピングされて表示ユーザ画像が作成される。これによって、図１６に示す画像８１のような表示ユーザ画像が作成される。また、准省電力動作モードおよび省電力動作モードにおいても、欠損部分（リアルタイムに取得された撮像情報１１２に撮像されていない部位）については、特定部１０１、計測制御部１００および情報作成部１０３によって同様の処理が実行される。
In addition, regarding the part supplemented by the prepared three-dimensional shape information in the three-
准省電力動作モードは、化粧時においてリアルタイムで撮像され続ける撮像情報１１２に基づいて、撮像部７１によって撮像されるユーザ撮像画像のなかで、動いている部位（三次元形状が変化している部位）のみについて三次元の形状に関する情報をリアルタイムに作成し続け、他の部位（静止している部位）に関する三次元の形状に関する情報は準備三次元形状情報に基づいて作成する動作モードである。そして、計測制御部１００は、リアルタイムに作成する部分と、予め作成されている準備三次元形状情報とを合成することにより三次元形状情報１１３を作成する。したがって、投光部７０による計測用パターンの投射は、撮像部７１によって撮像される範囲全体ではなく、動いている部位のみに向けて投射すればよく、部分的な投射で済む分だけ通常動作モードに比べて消費電力が抑制される。
The sub power-saving operation mode is based on the
准省電力動作モードが選択された場合、化粧時において特定部１０１は、ユーザの化粧時において撮像部７１により取得された撮像情報１１２に基づいて、動きのある部位（三次元の形状に関する情報を必要とする当該ユーザの部位）を特定する。そして、特定部１０１は、計測制御部１００に特定部位情報を伝達する。なお、動きのある部位としては、例えば、目元の部分や口元などが想定される。
When the sub power-saving operation mode is selected, the specifying
准省電力動作モードにおいて、計測制御部１００は、特定部位情報に示されている部位に向けてのみ、選択的に計測用パターンを投射するように投光部７０を制御する。
In the associate power saving operation mode, the
省電力動作モードは、化粧時において撮像される撮像情報１１２に基づいて三次元の形状に関する情報を作成することはなく、三次元の形状に関する情報はすべて準備三次元形状情報を使用する動作モードである。したがって、省電力動作モードにおいては、投光部７０が計測用パターンを投射することもない。これにより、省電力動作モードでは、准省電力モードに比べてさらに消費電力が抑制される。
The power saving operation mode is an operation mode that does not create information on the three-dimensional shape based on the
なお、ステップＳ３１では、ステップＳ３１において決定された動作モードに応じて、投光部７０による計測用パターンの投射の状態と、計測制御部１００による三次元形状情報１１３の作成方法とが変更される。すなわち、決定された動作モードへの移行が実現される。
In step S31, the state of projection of the measurement pattern by the
ステップＳ３１が実行されると、情報作成部１０３は、三次元形状情報１１３に基づいて、化粧時に撮像された撮像情報１１２（ユーザ撮像情報）をテクスチャマッピングすることにより、表示ユーザ画像を作成する。さらに、情報作成部１０３は、作成した表示ユーザ画像を、ユーザが所望する条件に応じて補正して（ステップＳ３２）、表示ユーザ画像を完成させる。
When step S31 is executed, the
ステップＳ３２において、ユーザが所望する条件とは、ステップＳ２６において入力された指示情報の一部であり、具体的には、一旦作成された表示ユーザ画像を、化粧の披露場所の光環境に補正するのか、基準となる光環境に補正するのかを指示する情報である。なお、表示部５，６に複数の画像をそれぞれ分けて表示することができる場合には、上記の両者の補正のうちのいずれか一方を実行した表示ユーザ画像をそれぞれ完成させてもよい。
In step S32, the condition desired by the user is a part of the instruction information input in step S26. Specifically, the display user image once created is corrected to the light environment of the makeup presentation place. Information indicating whether to correct the light environment as a reference. When a plurality of images can be displayed separately on the
次に、情報作成部１０３は、完成させた表示ユーザ画像と、データベース１１１から取得した様々な情報（アドバイスとなる情報）とを含む化粧支援情報１１４を作成する（ステップＳ３３）。
Next, the
化粧支援情報１１４が作成されると、補正部１０４は、化粧中にリアルタイムに取得されている撮像情報１１２に基づいて、ユーザの手ブレを検出し、検出した手ブレに応じて、化粧支援情報１１４（特に、表示ユーザ画像）の表示位置を補正する（ステップＳ３４）。そして、表示部５が補正部１０４により補正された表示位置に化粧支援情報１１４を表示する（ステップＳ３５）。
When the
ステップＳ３５が実行されると、ＣＰＵ１０は、現在化粧の対象となっている部位に対する化粧を終了するか否かを判定する（ステップＳ３６）。 If step S35 is performed, CPU10 will determine whether the makeup | decoration with respect to the site | part currently made into makeup | decoration is complete | finished (step S36).
化粧中の部位に関する化粧の終了は、ユーザが操作部４を操作することによって指示情報として入力されるものとする。すなわち、ユーザが化粧の状態に満足し、化粧の終了を入力した場合にのみステップＳ３６においてＹｅｓと判定され、当該入力がない限り、ステップＳ３６においてＮｏと判定されてステップＳ３２からの処理が繰り返される。 It is assumed that the end of the makeup relating to the part under makeup is input as instruction information when the user operates the operation unit 4. That is, only when the user is satisfied with the makeup state and inputs the end of makeup, it is determined Yes in step S36, and unless there is an input, it is determined No in step S36 and the processing from step S32 is repeated. .
なお、図１５の説明において省略したが、ステップＳ３２ないしＳ３６が実行されている間、推定部１０２は、ユーザによる塗布速度や押圧力を推定しつづけている。そして、情報作成部１０３は、ステップＳ３３において推定部１０２から伝達される推定情報に応じた化粧支援情報１１４を作成する。
Although omitted in the description of FIG. 15, while the steps S32 to S36 are being executed, the
また、終了の指示自体はユーザから入力されるが、化粧の完了を知らせる化粧支援情報１１４は、すでに説明したように、情報作成部１０３によって作成される。
Further, although the end instruction itself is input from the user, the
ステップＳ３６においてＹｅｓと判定すると、ＣＰＵ１０は、他の部位について引き続き化粧を行うか否かを指示するようにユーザに促すとともに、当該指示があるまで待機する。そして、ユーザからの指示が入力されると、当該指示が他の部位について引き続き化粧を行う旨の指示か否かを判定する（ステップＳ３７）。
If it is determined Yes in step S36, the
ユーザが他の部位についての化粧を行う旨を入力した場合には、ステップＳ３７においてＹｅｓと判定し、ステップＳ２６（図１４）からの処理を繰り返す。すなわち、新たに化粧を開始する部位に関する条件入力を受け付ける状態となる。 If the user inputs that makeup is to be performed for another part, it is determined Yes in step S37, and the process from step S26 (FIG. 14) is repeated. In other words, a condition input relating to a part where makeup is newly started is accepted.
一方、ユーザが他の部位についての化粧を行わない旨を入力した場合には、ステップＳ３７においてＮｏと判定し、投光部７０による投射、撮像部７１による撮像、および、計測制御部１００による三次元形状情報１１３の作成をそれぞれ終了してから、化粧支援処理を終了し、図１１に示す処理に戻る。ステップＳ７の化粧支援処理を終了して図１１に示す処理に戻った場合、化粧支援装置１は、ステップＳ１に戻って処理を繰り返す。
On the other hand, when the user inputs that makeup is not performed on other parts, it is determined No in step S37, and projection by the
メニュー画像５０においてボタン画像４３が操作され、入力された指示情報が「終了」となった場合、ＣＰＵ１０は、ステップＳ８においてＹｅｓと判定し、お化粧アプリを終了する。
When the
以上のように、化粧支援装置１は、ユーザを撮像して撮像情報１１２を取得する撮像部７１と、撮像部７１により取得された撮像情報１１２に基づいて、ユーザに関する三次元の形状に関する情報を取得して三次元形状情報１１３を作成する計測制御部１００と、計測制御部１００により作成された三次元形状情報１１３に基づいてユーザに施す化粧を支援するための化粧支援情報１１４を作成する情報作成部１０３と、情報作成部１０３により作成された化粧支援情報１１４を表示する表示部５，６とを備える。これにより、正確で適切な化粧を、場所を選ばず、手軽に実行することができる。
As described above, the
また、計測制御部１００は、ユーザに関する三次元の形状に関する情報を、ユーザの化粧時より前に取得して準備三次元形状情報として作成することにより、例えば、化粧時に三次元の形状に関する情報を取得することが困難な部位（側頭部など）について予め準備三次元形状情報を取得しておくことにより、化粧時においても完全な三次元形状情報１１３を作成することができる。
In addition, the
また、情報作成部１０３は、計測制御部１００により作成された準備三次元形状情報に対して、ユーザの化粧時に撮像部７１により取得された撮像情報１１２をテクスチャマッピングすることにより、化粧支援情報１１４を作成する。これにより、化粧時に三次元計測を行わなくても、化粧時に三次元の化粧支援情報１１４を表示できる。したがって、化粧時の消費電力を抑制することができる。
In addition, the
また、計測制御部１００は、ユーザの化粧時において当該ユーザに関する三次元の形状に関する情報を取得することにより、現在の形状を反映した三次元形状情報１１３を取得することができるため、化粧時の動きに追随した現実味のある自然な化粧支援情報１１４を作成することができる。
In addition, since the
また、特定部１０１は、ユーザの化粧時において撮像部７１により取得された撮像情報１１２に撮像されている部位の中から三次元の形状に関する情報を必要とするユーザの部位を特定し、計測制御部１００は、特定部１０１により特定されたユーザの部位に関する部分についてのみ三次元の形状に関する情報をユーザの化粧時に取得し、取得した当該三次元の形状に関する情報と、準備三次元形状情報とを合成することによりユーザに関する三次元形状情報１１３を作成する。これにより、化粧時に部位が変形した場合であっても、完全な（全周にわたる）三次元の形状に関する情報をリアルタイムに取得することなく、完全な三次元形状情報１１３を作成することができる。したがって、すべての部位について、三次元の形状に関する情報を取得する場合に比べて消費電力を抑制することができる。
Further, the specifying
また、特定部１０１は、ユーザの化粧時において撮像部７１により取得された撮像情報１１２に撮像されていない部位の中から三次元の形状に関する情報を必要とするユーザの部位を特定し、計測制御部１００は、特定部１０１により特定されたユーザの部位に関する部分についての準備三次元形状情報と、ユーザの化粧時に取得した当該ユーザに関する三次元の形状に関する情報とを合成して三次元形状情報１１３を作成する。これにより、化粧時に一方向からしか三次元の形状に関する情報を取得することができなくても、全周に関する三次元形状情報１１３を作成することができる。
Further, the specifying
情報作成部１０３は、操作部４により取得された視点情報に基づいてユーザに施す化粧を支援するための化粧支援情報１１４を作成することにより、一方向からの撮像であっても、様々な視点（アングル）からの見栄えを確認することができる。
The
補正部１０４がユーザの化粧時において撮像部７１により撮像された撮像情報１１２に基づいてユーザの視線を推定することにより、表示部５，６に表示される化粧支援情報１１４の表示位置を補正することにより、手ブレを補正することができ、電車内など揺れの激しい環境においても、安定した化粧を行うことができる。
The
また、推定部１０２が計測制御部１００により作成された三次元形状情報１１３に基づいてユーザの肌質を推定し、情報作成部１０３が推定部１０２により推定されたユーザの化粧時における肌質に適した化粧支援情報１１４を作成することにより、化粧時の肌質に適した化粧支援を行うことができる。
Further, the
また、推定部１０２がユーザの肌面を押圧したときの当該肌面の変化に基づいて当該肌面の弾性を推定し、情報作成部１０３が推定部１０２により推定されたユーザの化粧時における肌面の弾性に適した化粧支援情報１１４を作成することにより、化粧時の肌面の弾性に適した化粧支援を行うことができる。
Further, the elasticity of the skin surface is estimated based on the change of the skin surface when the
また、推定部１０２がユーザの化粧時におけるユーザによる押圧力を推定し、化粧支援情報１１４が推定部１０２により推定されたユーザによる押圧力に関する情報を含むことにより、ユーザによる押圧力の適否を判定して化粧支援を行うことができる。
In addition, the
また、推定部１０２がユーザの化粧時における化粧品の塗布速度を推定し、化粧支援情報１１４が推定部１０２により推定された塗布速度に関する情報を含むことにより、ユーザによる化粧品などの塗布速度の適否を判定して化粧支援を行うことができる。
In addition, the
また、推定部１０２がユーザの頬骨位置を推定し、情報作成部１０３は、推定部１０２により推定されたユーザの頬骨位置に応じて化粧支援情報１１４を作成することにより、ユーザの頬骨位置に応じて化粧支援を行うことができる。特に、頬骨位置の影響が大きいチークによる化粧時に有効である。
Further, the
また、推定部１０２が化粧時における光環境を推定することにより、現在の光環境を考慮した化粧支援が可能となる。
Further, when the
また、推定部１０２により推定された化粧時における光環境と、基準となる光環境とに基づいて、ユーザの化粧時において撮像部７１により撮像された撮像情報１１２を補正することにより、常に、基準となる光環境における見栄えを確認することができる。したがって、移動先の光環境に左右されずに安定した化粧を行うことができる。
Further, based on the light environment at the time of makeup estimated by the
また、推定部１０２により推定された化粧時における光環境と、ユーザの所望する披露場所における光環境とに基づいて、ユーザの化粧時において撮像部７１により撮像された撮像情報１１２を補正することにより、化粧時の光環境に影響されることなく、化粧を披露する場所の光環境における見栄えを確認することができる。
Further, by correcting the
また、推定部１０２が、推定した化粧時における光環境に応じて、ユーザの化粧時における顔色を推定し、情報作成部１０３が、推定されたユーザの化粧時における顔色に適した化粧支援情報１１４を作成することにより、光環境の変化に影響されることなく、そのときの顔色（健康状態など）に応じて適切な化粧支援を行うことができる。
Further, the
また、情報作成部１０３が、ユーザの所望する披露場所における光環境に適した化粧支援情報１１４を作成することにより、化粧を披露する場所の光環境に対応した適切な化粧支援を行うことができる。
In addition, the
また、情報作成部１０３が、ユーザの化粧目的に応じた化粧支援情報１１４を作成することにより、いつも同じ化粧を提案するのではなく、化粧のバリエーションが増え、汎用性が向上する。
In addition, the
また、情報作成部１０３が、ユーザが所持している物品の中から推奨物品を選択し、選択した前記推奨物品に関する情報を化粧支援情報１１４に含めることにより、状況に応じた物品を提案することができ、適切な化粧支援を実現することができる。
Further, the
また、化粧支援情報１１４が、ユーザについて、化粧後の予測画像情報を含むことにより、化粧の完成後の状態を確認してから化粧を開始することができる。したがって、失敗を抑制することができる。
In addition,
また、化粧支援情報１１４が、ユーザについて、化粧を施すべき位置に関する情報を含むことにより、どの領域に化粧を施すべきかを具体的に示すことができる。
Moreover, the makeup |
また、化粧支援情報１１４に示される化粧を施すべき位置が、化粧品を塗るときの塗り開始位置に関する情報を含むことにより、どこから塗り始めるのが適切かを具体的に示すことができる。
In addition, the position where the makeup should be applied indicated in the
また、化粧支援情報１１４に示される化粧を施すべき位置が、化粧品を塗るときの塗り終了位置に関する情報を含むことにより、どこまで塗るのが適切かを具体的に示すことができる。
Further, the position where the makeup should be applied indicated in the
また、化粧支援情報１１４に示される化粧を施すべき位置が、化粧品を塗るときの軌跡に関する情報を含むことにより、当該化粧品を塗る途中の曲げ具合なども細かく指示することができる。
Further, since the position where makeup is to be applied indicated in the
また、化粧支援情報１１４が、化粧品の塗るべき濃度に関する情報を含むことにより、塗りすぎを防止することができるとともに、効果的なグラデーションや、シェーディングを容易に実現することができるように支援することができる。
In addition, the
また、化粧支援情報１１４が、睫毛の湾曲度合いに関する情報を含むことにより、立体的な形状が特に重要な睫毛について適切な化粧支援を行うことができる。
In addition, the
また、化粧支援情報１１４が、ユーザについて、化粧の終了に関する情報を含むことにより、例えば、化粧品の塗りすぎを有効に防止することができる。
Moreover, the makeup |
また、情報作成部１０３が、ユーザの複数の部位を比較して、化粧の終了を判定することにより、他の部位とのバランスをとることができる。
Moreover, the
＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
<2. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications can be made.
例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。 For example, each process shown in the above embodiment is merely an example, and is not limited to the order and contents shown above. That is, as long as the same effect can be obtained, the order and contents may be changed as appropriate.
また、上記実施の形態に示した機能ブロック（例えば、計測制御部１００や特定部１０１、推定部１０２など）は、ＣＰＵ１０がプログラム１１０に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。
In addition, it has been described that the functional blocks (for example, the
また、化粧の対象となるユーザの部位は、ユーザの顔に限定されるものではない。例えば、爪や頭髪など、ユーザの身体における他の部位であってもよい。 Further, the user's part that is the object of makeup is not limited to the user's face. For example, it may be another part of the user's body such as a nail or a head hair.
また、筐体部２は、化粧品（ファンデーションやチークなど）や道具類（ハケやパッドなど）を収納するケースとして兼用できる構造であってもよい。
The
また、上記実施の形態では、投光部７０が不可視光によってパターンを投光することにより、化粧支援情報１１４として表示される撮像情報１１２に当該パターンの可視的な影響がでないように構成していた。しかし、例えば、投光部７０が撮像部７１の撮像タイミングを避けるタイミングで当該パターンを投光するように構成してもよい。例えば、撮像部７１のフレーム間隔の間に投光部７０が当該パターンを投光するようにしてもよい。このように構成することによっても、当該パターンの可視的な影響が撮像情報１１２に出ないようにすることができる。
Moreover, in the said embodiment, it has comprised so that the visible influence of the said pattern may not be on the
１ 化粧支援装置
１０ ＣＰＵ
１００ 計測制御部
１０１ 特定部
１０２ 推定部
１０３ 情報作成部
１０４ 補正部
１１ 記憶装置
１１０ プログラム
１１１ データベース
１１２ 撮像情報
１１２ 撮像画像
１１３ 三次元形状情報
１１４，１１４ａ，１１４ｂ 化粧支援情報
４ 操作部
５，６ 表示部
７ 計測部
７０ 投光部
７１ 撮像部
８０，８１ 画像
９０ 基準物体
９１，９２，９３，９４，９５，９６ ガイド
1
DESCRIPTION OF
Claims (34)
前記ユーザを撮像して撮像情報を取得する撮像手段と、
前記撮像手段により取得された撮像情報に基づいて、前記ユーザに関する三次元の形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、
前記三次元計測手段により作成された三次元形状情報に基づいて前記ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、
前記情報作成手段により作成された化粧支援情報を表示する表示手段と、
を備える化粧支援装置。 A makeup assisting device carried by the user when the user applies makeup to the user,
Imaging means for imaging the user and obtaining imaging information;
Three-dimensional measurement means for acquiring information on a three-dimensional shape related to the user and creating three-dimensional shape information based on the imaging information acquired by the imaging means;
Information creation means for creating makeup support information for supporting makeup to be applied to the user based on the three-dimensional shape information created by the three-dimensional measurement means;
Display means for displaying makeup support information created by the information creating means;
A makeup support apparatus comprising:
前記三次元計測手段は、前記ユーザの化粧時において前記ユーザに関する三次元の形状に関する情報を取得する化粧支援装置。 The makeup support apparatus according to claim 1,
The said three-dimensional measurement means is a makeup | decoration assistance apparatus which acquires the information regarding the three-dimensional shape regarding the said user at the time of the said user's makeup.
前記三次元計測手段は、前記ユーザに関する三次元の形状に関する情報を、前記ユーザの化粧時より前に取得して準備三次元形状情報として作成する化粧支援装置。 The makeup support apparatus according to claim 1,
The said three-dimensional measuring means is the makeup | decoration assistance apparatus which acquires the information regarding the three-dimensional shape regarding the said user before the time of the said user's makeup | decoration, and produces as preparation three-dimensional shape information.
前記情報作成手段は、前記三次元計測手段により作成された準備三次元形状情報に対して、前記ユーザの化粧時に前記撮像手段により取得された撮像情報をテクスチャマッピングすることにより、前記化粧支援情報を作成する化粧支援装置。 The makeup support system according to claim 3,
The information creation means texture-maps the imaging information acquired by the imaging means at the time of the user's makeup on the prepared 3D shape information created by the 3D measurement means, thereby obtaining the makeup support information. Makeup support device to create.
前記三次元計測手段は、前記ユーザの化粧時において前記ユーザに関する三次元の形状に関する情報を取得する化粧支援装置。 The makeup support apparatus according to claim 3 or 4,
The said three-dimensional measurement means is a makeup | decoration assistance apparatus which acquires the information regarding the three-dimensional shape regarding the said user at the time of the said user's makeup.
前記ユーザの化粧時において前記撮像手段により取得された撮像情報に基づいて、三次元の形状に関する情報を必要とする前記ユーザの部位を特定する特定手段をさらに備える化粧支援装置。 The makeup support apparatus according to claim 5,
A makeup support apparatus further comprising a specifying unit that specifies a part of the user who needs information on a three-dimensional shape based on imaging information acquired by the imaging unit during makeup of the user.
前記特定手段は、前記ユーザの化粧時において前記撮像手段により取得された撮像情報に撮像されている部位の中から前記三次元の形状に関する情報を必要とする前記ユーザの部位を特定し、
前記三次元計測手段は、前記特定手段により特定された前記ユーザの部位に関する部分についてのみ三次元の形状に関する情報を前記ユーザの化粧時に取得し、取得した当該三次元の形状に関する情報と、前記準備三次元形状情報とを合成することにより前記ユーザに関する三次元形状情報を作成する化粧支援装置。 The makeup support apparatus according to claim 6,
The specifying means specifies the part of the user that needs information on the three-dimensional shape from the parts imaged in the imaging information acquired by the imaging means at the time of makeup of the user,
The three-dimensional measuring means acquires information about the three-dimensional shape only for the part related to the user's part specified by the specifying means at the time of makeup of the user, the acquired information about the three-dimensional shape, and the preparation A makeup support apparatus that creates three-dimensional shape information about the user by combining the three-dimensional shape information.
前記特定手段は、前記ユーザの化粧時において前記撮像手段により取得された撮像情報に撮像されていない部位の中から前記三次元の形状に関する情報を必要とする前記ユーザの部位を特定し、
前記三次元計測手段は、前記特定手段により特定された前記ユーザの部位に関する部分についての前記準備三次元形状情報と、前記ユーザの化粧時に取得した前記ユーザに関する三次元の形状に関する情報とを合成して前記三次元形状情報を作成する化粧支援装置。 The makeup support apparatus according to claim 6 or 7,
The specifying unit specifies a part of the user that needs information on the three-dimensional shape from parts not captured in the imaging information acquired by the imaging unit at the time of makeup of the user,
The three-dimensional measuring unit synthesizes the prepared three-dimensional shape information about a portion related to the user's part specified by the specifying unit and information about the three-dimensional shape related to the user acquired at the time of makeup of the user. A makeup support apparatus for creating the three-dimensional shape information.
視点情報を取得する視点取得手段をさらに備え、
前記情報作成手段は、前記視点取得手段により取得された視点情報に基づいて前記ユーザに施す化粧を支援するための化粧支援情報を作成する化粧支援装置。 The makeup support apparatus according to any one of claims 1 to 8,
It further includes a viewpoint acquisition means for acquiring viewpoint information,
The information creation unit is a makeup support apparatus that creates makeup support information for supporting makeup to be applied to the user based on the viewpoint information acquired by the viewpoint acquisition unit.
前記ユーザの化粧時において前記撮像手段により撮像された撮像情報に基づいて前記ユーザの視線を推定することにより、前記表示手段に表示される化粧支援情報の表示位置を補正する化粧支援装置。 A makeup support apparatus according to any one of claims 1 to 9,
A makeup support apparatus that corrects the display position of makeup support information displayed on the display unit by estimating the user's line of sight based on image information captured by the imaging unit during the makeup of the user.
前記三次元計測手段により作成された三次元形状情報に基づいて、前記ユーザの肌質を推定する肌質推定手段をさらに備え、
前記情報作成手段は、前記肌質推定手段により推定された前記ユーザの化粧時における肌質に適した化粧支援情報を作成する化粧支援装置。 The makeup support apparatus according to any one of claims 1 to 10,
Based on the three-dimensional shape information created by the three-dimensional measuring means, further comprising a skin quality estimating means for estimating the skin quality of the user,
The information creation means is a makeup support apparatus that creates makeup support information suitable for the skin quality of the user during makeup estimated by the skin quality estimation means.
肌面を押圧したときの前記肌面の変化に基づいて前記肌面の弾性を推定する弾性推定手段をさらに備え、
前記情報作成手段は、前記弾性推定手段により推定された前記ユーザの化粧時における肌面の弾性に適した化粧支援情報を作成する化粧支援装置。 A makeup support apparatus according to any one of claims 1 to 11,
Further comprising an elasticity estimation means for estimating the elasticity of the skin surface based on a change in the skin surface when pressing the skin surface;
The makeup creating apparatus creates makeup support information suitable for the elasticity of the skin surface at the time of makeup of the user estimated by the elasticity estimating unit.
前記ユーザの化粧時における前記ユーザによる押圧力を推定する押圧力推定手段をさらに備え、
前記化粧支援情報は、前記押圧力推定手段により推定された前記ユーザによる押圧力に関する情報を含む化粧支援装置。 The makeup support apparatus according to any one of claims 1 to 12,
A pressing force estimating means for estimating a pressing force by the user at the time of makeup of the user;
The makeup support information includes makeup information including information related to the pressing force by the user estimated by the pressing force estimation means.
前記ユーザの化粧時における化粧品の塗布速度を推定する速度推定手段をさらに備え、
前記化粧支援情報は、前記速度推定手段により推定された前記塗布速度に関する情報を含む化粧支援装置。 A makeup support apparatus according to any one of claims 1 to 13,
Further comprising a speed estimation means for estimating a cosmetic application speed at the time of makeup of the user;
The makeup support information includes information on the application speed estimated by the speed estimation unit.
前記ユーザの頬骨位置を推定する頬骨位置推定手段をさらに備え、
前記情報作成手段は、前記頬骨位置推定手段により推定された前記ユーザの頬骨位置に応じて化粧支援情報を作成する化粧支援装置。 The makeup support apparatus according to any one of claims 1 to 14,
Further comprising cheekbone position estimating means for estimating the user's cheekbone position;
The information creation unit is a makeup support apparatus that creates makeup support information according to the user's cheekbone position estimated by the cheekbone position estimation unit.
化粧時における光環境を推定する光推定手段をさらに備える化粧支援装置。 The makeup support apparatus according to any one of claims 1 to 15,
A makeup support apparatus further comprising light estimation means for estimating the light environment during makeup.
前記光推定手段は、光の光線方向および光線強度を推定する化粧支援装置。 The makeup support apparatus according to claim 16,
The light estimation means is a makeup support apparatus that estimates a light ray direction and light intensity.
前記光推定手段は、光の色を推定する化粧支援装置。 The makeup support apparatus according to claim 16 or 17,
The makeup estimating device for estimating the color of light.
前記光推定手段により推定された化粧時における光環境と基準となる光環境とに基づいて、前記ユーザの化粧時において前記撮像手段により撮像された撮像情報を補正する化粧支援装置。 The makeup support apparatus according to any one of claims 16 to 18,
A makeup support apparatus that corrects imaging information captured by the imaging unit at the time of makeup of the user based on a light environment at the time of makeup estimated by the light estimation unit and a reference light environment.
前記光推定手段により推定された化粧時における光環境と前記ユーザの所望する披露場所における光環境とに基づいて、前記ユーザの化粧時において前記撮像手段により撮像された撮像情報を補正する化粧支援装置。 The makeup support apparatus according to any one of claims 16 to 18,
A makeup support apparatus that corrects imaging information captured by the imaging unit at the time of makeup by the user based on a light environment at the time of makeup estimated by the light estimation unit and a light environment at a presentation place desired by the user. .
前記光推定手段により推定された化粧時における光環境に応じて、前記ユーザの化粧時における顔色を推定する顔色推定手段をさらに備え、
前記情報作成手段は、前記顔色推定手段により推定された前記ユーザの化粧時における顔色に適した化粧支援情報を作成する化粧支援装置。 The makeup support apparatus according to any one of claims 16 to 20,
According to the light environment at the time of makeup estimated by the light estimation means, further comprising a face color estimation means for estimating the face color at the time of makeup of the user,
The makeup creating apparatus is configured to create makeup support information suitable for the face color of the user when makeup is estimated by the face color estimation unit.
前記情報作成手段は、前記ユーザの所望する披露場所における光環境に適した化粧支援情報を作成する化粧支援装置。 The makeup support apparatus according to any one of claims 1 to 21,
The makeup creation device is configured to create makeup support information suitable for a light environment in a presentation place desired by the user.
前記情報作成手段は、前記ユーザの化粧目的に応じた化粧支援情報を作成する化粧支援装置。 The makeup support apparatus according to any one of claims 1 to 22,
The information creation means is a makeup support apparatus that creates makeup support information according to the makeup purpose of the user.
前記情報作成手段は、前記ユーザが所持している物品の中から推奨物品を選択し、選択した前記推奨物品に関する情報を化粧支援情報に含める化粧支援装置。 A makeup support apparatus according to any one of claims 1 to 23,
The information creation means is a makeup support apparatus that selects recommended articles from among the articles possessed by the user and includes information on the selected recommended articles in makeup support information.
前記化粧支援情報は、前記ユーザについて、化粧後の予測画像情報を含む化粧支援装置。 A makeup support apparatus according to any one of claims 1 to 24,
The makeup support information is a makeup support apparatus including predicted image information after makeup for the user.
前記化粧支援情報は、前記ユーザについて、化粧を施すべき位置に関する情報を含む化粧支援装置。 The makeup support apparatus according to any one of claims 1 to 25,
The makeup support information is a makeup support apparatus including information regarding a position where makeup should be applied to the user.
前記化粧を施すべき位置は、化粧品を塗るときの塗り開始位置に関する情報を含む化粧支援装置。 The makeup support apparatus according to claim 26,
The makeup support device includes information on a coating start position when the cosmetic is applied.
前記化粧を施すべき位置は、化粧品を塗るときの塗り終了位置に関する情報を含む化粧支援装置。 The makeup support apparatus according to claim 26 or 27,
The position where the makeup should be applied is a makeup support apparatus that includes information on a coating end position when the cosmetic is applied.
前記化粧を施すべき位置は、化粧品を塗るときの軌跡に関する情報を含む化粧支援装置。 A makeup support apparatus according to any one of claims 26 to 28, wherein
The position where the makeup is to be applied is a makeup support apparatus including information on a locus when the cosmetic is applied.
前記化粧支援情報は、化粧品の塗るべき濃度に関する情報を含む化粧支援装置。 A makeup support apparatus according to any one of claims 1 to 29,
The makeup support information is a makeup support apparatus that includes information on the concentration to be applied to the cosmetic.
前記化粧支援情報は、睫毛の湾曲度合いに関する情報を含む化粧支援装置。 The makeup support apparatus according to any one of claims 1 to 30,
The makeup support information is a makeup support apparatus including information related to the degree of curvature of eyelashes.
前記化粧支援情報は、前記ユーザについて、化粧の終了に関する情報を含む化粧支援装置。 A makeup support apparatus according to any one of claims 1 to 31,
The makeup support information is a makeup support apparatus that includes information about the end of makeup for the user.
前記情報作成手段は、前記ユーザの複数の部位を比較することにより、前記化粧の終了を判定する化粧支援装置。 A makeup support apparatus according to claim 32, wherein
The information creation unit is a makeup support apparatus that determines completion of the makeup by comparing a plurality of parts of the user.
前記ユーザを撮像して撮像情報を取得する撮像手段と、
前記撮像手段により取得された撮像情報に基づいて、前記ユーザに関する三次元の形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、
前記三次元計測手段により作成された三次元形状情報に基づいて前記ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、
前記情報作成手段により作成された化粧支援情報を表示する表示手段と、
を備える化粧支援装置として機能させるプログラム。 A program read by a computer carried by the user when the user applies makeup to the user, and the execution of the program by the computer
Imaging means for imaging the user and obtaining imaging information;
Three-dimensional measurement means for acquiring information on a three-dimensional shape related to the user and creating three-dimensional shape information based on the imaging information acquired by the imaging means;
Information creation means for creating makeup support information for supporting makeup to be applied to the user based on the three-dimensional shape information created by the three-dimensional measurement means;
Display means for displaying makeup support information created by the information creating means;
A program for causing a makeup support apparatus to function.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014073896A JP2015197710A (en) | 2014-03-31 | 2014-03-31 | Makeup support device, and program |
| PCT/JP2015/059557 WO2015152028A1 (en) | 2014-03-31 | 2015-03-27 | Makeup assistance device and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014073896A JP2015197710A (en) | 2014-03-31 | 2014-03-31 | Makeup support device, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015197710A true JP2015197710A (en) | 2015-11-09 |
Family
ID=54240354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014073896A Pending JP2015197710A (en) | 2014-03-31 | 2014-03-31 | Makeup support device, and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2015197710A (en) |
| WO (1) | WO2015152028A1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016158729A1 (en) * | 2015-03-27 | 2016-10-06 | 株式会社メガチップス | Makeup assistance system, measurement device, portable terminal device, and program |
| US9674485B1 (en) | 2015-12-23 | 2017-06-06 | Optim Corporation | System and method for image processing |
| CN108734070A (en) * | 2017-04-24 | 2018-11-02 | 丽宝大数据股份有限公司 | Blush guidance device and method |
| CN109299636A (en) * | 2017-07-25 | 2019-02-01 | 丽宝大数据股份有限公司 | The biological information analytical equipment in signable blush region |
| US10607264B2 (en) | 2018-02-02 | 2020-03-31 | Perfect Corp. | Systems and methods for virtual application of cosmetic effects to photo albums and product promotion |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109199323B (en) | 2017-06-29 | 2021-01-26 | 京东方科技集团股份有限公司 | Skin detection device, product information determination method, device and system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6000407A (en) * | 1997-04-17 | 1999-12-14 | Galazin; Norma | Cosmetic personal color analysis method and kit using value scale, colors, seasonal color designation, and charts |
| JP2004094917A (en) * | 2002-07-08 | 2004-03-25 | Toshiba Corp | Virtual makeup device and method therefor |
| JP2004237048A (en) * | 2003-02-07 | 2004-08-26 | Makoto Dejima | Door-to-door selling support system |
| JP2005034355A (en) * | 2003-07-14 | 2005-02-10 | Kao Corp | Image processing apparatus and face image processing apparatus |
| JP2008015033A (en) * | 2006-07-03 | 2008-01-24 | Moritex Corp | Magnification imaging apparatus |
| JP2009125114A (en) * | 2007-11-20 | 2009-06-11 | Toyota Motor Corp | Makeup unit |
| JP2011008397A (en) * | 2009-06-24 | 2011-01-13 | Sony Ericsson Mobilecommunications Japan Inc | Makeup support apparatus, makeup support method, makeup support program and portable terminal device |
-
2014
- 2014-03-31 JP JP2014073896A patent/JP2015197710A/en active Pending
-
2015
- 2015-03-27 WO PCT/JP2015/059557 patent/WO2015152028A1/en active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6000407A (en) * | 1997-04-17 | 1999-12-14 | Galazin; Norma | Cosmetic personal color analysis method and kit using value scale, colors, seasonal color designation, and charts |
| JP2004094917A (en) * | 2002-07-08 | 2004-03-25 | Toshiba Corp | Virtual makeup device and method therefor |
| JP2004237048A (en) * | 2003-02-07 | 2004-08-26 | Makoto Dejima | Door-to-door selling support system |
| JP2005034355A (en) * | 2003-07-14 | 2005-02-10 | Kao Corp | Image processing apparatus and face image processing apparatus |
| JP2008015033A (en) * | 2006-07-03 | 2008-01-24 | Moritex Corp | Magnification imaging apparatus |
| JP2009125114A (en) * | 2007-11-20 | 2009-06-11 | Toyota Motor Corp | Makeup unit |
| JP2011008397A (en) * | 2009-06-24 | 2011-01-13 | Sony Ericsson Mobilecommunications Japan Inc | Makeup support apparatus, makeup support method, makeup support program and portable terminal device |
Non-Patent Citations (1)
| Title |
|---|
| 高木 佐恵子: "メイクアップ技能上達のためのアドバイスシステム", ［ONLINE］，芸術科学会論文誌VOL. 2 (2003) NO. 4, JPN6015022299, 25 December 2003 (2003-12-25), pages 156 - 164, ISSN: 0003745317 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016158729A1 (en) * | 2015-03-27 | 2016-10-06 | 株式会社メガチップス | Makeup assistance system, measurement device, portable terminal device, and program |
| US9674485B1 (en) | 2015-12-23 | 2017-06-06 | Optim Corporation | System and method for image processing |
| CN108734070A (en) * | 2017-04-24 | 2018-11-02 | 丽宝大数据股份有限公司 | Blush guidance device and method |
| JP2018185784A (en) * | 2017-04-24 | 2018-11-22 | 麗寶大數據股▲フン▼有限公司 | Blusher guide apparatus and method thereof |
| CN109299636A (en) * | 2017-07-25 | 2019-02-01 | 丽宝大数据股份有限公司 | The biological information analytical equipment in signable blush region |
| KR20190011648A (en) * | 2017-07-25 | 2019-02-07 | 칼-콤프 빅 데이터, 인크. | Body information analysis apparatus capable of indicating blush-area |
| JP2019028968A (en) * | 2017-07-25 | 2019-02-21 | 麗寶大數據股▲フン▼有限公司 | Biological information analyzer capable of marking cheek rouge region |
| KR102101337B1 (en) | 2017-07-25 | 2020-04-17 | 칼-콤프 빅 데이터, 인크. | Body information analysis apparatus capable of indicating blush-area |
| US10607264B2 (en) | 2018-02-02 | 2020-03-31 | Perfect Corp. | Systems and methods for virtual application of cosmetic effects to photo albums and product promotion |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015152028A1 (en) | 2015-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2015152028A1 (en) | Makeup assistance device and recording medium | |
| JP6675384B2 (en) | Makeup support system, measuring device, portable terminal device and program | |
| CN109690617B (en) | System and method for digital cosmetic mirror | |
| US20210177124A1 (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
| US7714912B2 (en) | Intelligent mirror | |
| US20160127710A1 (en) | Devices, systems and methods for auto-delay video presentation | |
| CN110363867B (en) | Virtual decorating system, method, device and medium | |
| KR20180108709A (en) | How to virtually dress a user's realistic body model | |
| KR20190022856A (en) | CONTROL METHOD, CONTROLLER, SMART MIRROR AND COMPUTER READABLE STORAGE MEDIUM | |
| EP3243331A1 (en) | Devices, systems and methods for auto-delay video presentation | |
| WO2010024486A1 (en) | 3d hair style simulation system and method using augmented reality | |
| KR102045219B1 (en) | Body Information Analysis Apparatus Combining with Augmented Reality and Eyebrow Shape Preview Method thereof | |
| WO2018005884A1 (en) | System and method for digital makeup mirror | |
| TW200805175A (en) | Makeup simulation system, makeup simulation device, makeup simulation method and makeup simulation program | |
| CN112741609B (en) | Electronic device, control method of electronic device, and medium | |
| WO2016086479A1 (en) | Image processing method and device | |
| JP2021144582A (en) | Makeup simulation device, makeup simulation method and program | |
| JP2018195996A (en) | Image projection apparatus, image projection method, and image projection program | |
| KR101719927B1 (en) | Real-time make up mirror simulation apparatus using leap motion | |
| JP7273752B2 (en) | Expression control program, recording medium, expression control device, expression control method | |
| JP6672414B1 (en) | Drawing program, recording medium, drawing control device, drawing control method | |
| JP6710095B2 (en) | Technical support device, method, program and system | |
| JP6738780B2 (en) | Blusher guide device and method | |
| KR102419934B1 (en) | A half mirror apparatus | |
| JP2004015080A (en) | Image display method and apparatus in beauty parlor and the like |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180213 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180227 |