JP5863930B2

JP5863930B2 - Makeup support device, makeup support method, and program

Info

Publication number: JP5863930B2
Application number: JP2014231520A
Authority: JP
Inventors: 達也竹川
Original assignee: レノボ・イノベーションズ・リミテッド（香港）
Priority date: 2014-11-14
Filing date: 2014-11-14
Publication date: 2016-02-17
Anticipated expiration: 2028-09-19
Also published as: JP2015072697A

Description

本発明は、化粧支援装置、化粧支援方法、及びプログラムに関する。 The present invention relates to a makeup support apparatus, a makeup support method, and a program.

化粧の仕上がりを支援する方法が特許文献１〜７に記載されている。
特許文献１に記載の発明は、「メイクアップアドバイスの提供方法」に関する発明である。すなわち、特許文献１に記載の発明は、「顧客の顔画像を、ネットワークを介してシミュレーションシステムに取り込み、複数のメイクパターンの中から顧客又はシステムが選択したメイクパターンにより該顔画像に仮想的にメイクアップを施したシミュレーション顔画像及びシミュレーション顔画像と同一のメイクアップを現実に実現するための商品及び／又は方法に関する情報を、顔画像を送信した顧客に対してネットワークを介して送信するメイクアップアドバイスの提供方法であって、シミュレーションシステムに記録された顧客の商品購入履歴若しくはシステム利用履歴又は顧客が問診票に入力して送信した問診入力内容に応じて、顧客又はシステムが選択可能な複数のメイクパターンをシステムが決定する」ものである。 Patent Documents 1 to 7 describe methods for supporting the finish of makeup.
The invention described in Patent Document 1 is an invention related to “a method for providing makeup advice”. That is, the invention described in Patent Document 1 states that “a customer's face image is taken into a simulation system via a network, and the face image is virtually added to the face image by a makeup pattern selected by the customer or the system from a plurality of makeup patterns. Makeup that transmits information about a product and / or a method for actually realizing the same makeup as the simulated facial image and the simulated facial image to the customer who transmitted the facial image via the network A method for providing advice, in which a customer or the system can select a plurality of items that can be selected by the customer or the system according to the customer's product purchase history or system usage history recorded in the simulation system The system determines the makeup pattern.

特許文献１に記載の発明によれば、アドバイス提供者は、顧客に対し、効率的且つ経済的にメイクアップに関する、きめ細やかなアドバイスを提供することができ、顧客は、時間や場所の制約を受けずに、気軽に、そのようなアドバイスを受けることができるとしている。 According to the invention described in Patent Document 1, an advice provider can provide detailed advice regarding makeup efficiently and economically to a customer. You can feel free to receive such advice without receiving it.

特許文献２に記載の発明は、「携帯端末装置」に関する発明である。すなわち、特許文献１に記載の発明は、「肌診断及び化粧のうち、少なくとも一方に関する評価結果が表示手段に表示される携帯端末装置であって、携帯端末装置の装置本体には、鏡が一体に設けられている」ものである。 The invention described in Patent Document 2 is an invention related to a “portable terminal device”. That is, the invention described in Patent Document 1 is “a mobile terminal device in which an evaluation result on at least one of skin diagnosis and makeup is displayed on a display unit, and a mirror is integrated in the main body of the mobile terminal device. Is provided. "

特許文献２に記載の発明によれば、肌診断評価や化粧評価を受けるときに必要となる鏡、測定手段、収納部などの機器が装置本体に設けられた構成であるので、肌診断及び化粧のうち少なくとも一方に対する評価結果を得るときに、携帯端末装置は使い勝手が良く便利になるとしている。 According to the invention described in Patent Document 2, since the apparatus main body is provided with devices such as a mirror, a measuring unit, and a storage unit that are necessary for skin diagnosis evaluation and makeup evaluation, skin diagnosis and makeup When obtaining an evaluation result for at least one of them, the mobile terminal device is convenient and convenient.

特許文献３に記載の発明は、「化粧用コンパクト」に関する発明である。すなわち、特許文献３に記載の発明は、「少なくとも化粧料を保持する保持部を有するベース部材と、ベース部材に蝶番で開閉自在に連結されベース部材を保護する蓋部材とを備えた携帯用化粧品容器としての化粧用コンパクトであって、被写体像を撮像する撮像手段と、蓋部材に設けられ、画像を表示する表示手段と、撮像手段による撮像画像を、表示手段にて表示するように制御する制御手段と、を有する」ものである。 The invention described in Patent Document 3 is an invention related to “compact compact”. That is, the invention described in Patent Document 3 states that “a portable cosmetic product including at least a base member having a holding portion for holding cosmetics, and a lid member that is connected to the base member with a hinge so as to be opened and closed and protects the base member. It is a cosmetic compact as a container, and is controlled to display on the display means an image pickup means for picking up a subject image, a display means provided on the lid member for displaying the image, and an image picked up by the image pickup means. Control means ".

すなわち、特許文献３に記載の発明によれば、化粧を効率的に仕上げるために有益な画像情報を表示するようにしたので、効率的に化粧を行なうことができる化粧用コンパクトを提供することができるとしている。 That is, according to the invention described in Patent Document 3, since useful image information is displayed in order to finish makeup efficiently, it is possible to provide a cosmetic compact capable of performing makeup efficiently. I can do it.

特許文献４に記載の発明は、「メイクアップ支援システム」に関する発明である。すなわち、「通信回線を経由するメイクアップ支援システムにおいて、通信回線を経由するユーザー端末からの顔の画像データに基づき複数のメイクアップの候補を作成し、ユーザー端末から選択された任意のメイクアップ候補に基づきメイクアップ済みの顔の画像データにアドバイスを行い、さらに、ユーザー端末からの店頭メイクアップの予約を受け、予約問合せ後に予約回答が通知され、ユーザー端末に予約の回答を行うメイクアップ支援サーバと、店頭メイクアップを行う店舗に配置され通信回線を経由する端末で、メイクアップ支援サーバの配下にあり、メイクアップ支援サーバにより選択され、メイクアップ支援サーバからの店頭メイクアップの予約問合せに対してメイクアップ支援サーバに予約回答通知を行い、メイクアップ支援サーバから、顔の画像データ、メイクアップの候補、メイクアップ済みの顔の画像データ、メイクアップ済みの顔の画像データに対する前記アドバイスを取得するメイクアップ店舗端末とを備えた」ものである。 The invention described in Patent Document 4 is an invention related to a “make-up support system”. That is, in the makeup support system via the communication line, a plurality of makeup candidates are created based on the face image data from the user terminal via the communication line, and any makeup candidate selected from the user terminal Make-up support server that advises on the image data of the face that has been made up based on the information, receives the reservation for the store makeup from the user terminal, is notified of the reservation response after the reservation inquiry, and sends the reservation response to the user terminal In response to a store inquiry request from the makeup support server that is selected by the makeup support server and is under the control of the makeup support server. Make a reservation reply notification to the makeup support server and make up From assistance server, image data of a face, in which "includes make-up candidate, Make-up of the face image data, and a make-up store terminal that obtains the advice for the image data of the face already makeup.

特許文献４に記載の発明によれば、専門家のメイクアップ業者に、自宅にいながらメイクアップの指導を受けることが可能になり、仮想的なメイクアップのみならず、さらに、店頭メイクアップアドバイスで現実の自分の顔で的確なメイクアップのアドバイスを受けることができるとしている。 According to the invention described in Patent Document 4, it becomes possible to receive a makeup instruction from an expert makeup company while at home, and not only a virtual makeup, but also an over-the-counter makeup advice. It is said that you can receive accurate makeup advice with your own real face.

特許文献５に記載の発明は、「化粧支援装置」に関する発明である。すなわち、特許文献５に記載の発明は、「化粧を施した対象者の顔を撮影する撮影手段と、撮影手段で撮影した画像データを表示する表示手段と、撮影手段で撮影した画像データを記憶する記憶手段と、記憶手段に記憶された記憶画像データと記憶手段に記憶画像データを記憶させた以降に撮影手段で撮影した新画像データとを表示手段に表示する制御手段と、を備えた」ものである。 The invention described in Patent Document 5 is an invention related to “makeup support apparatus”. That is, the invention described in Patent Document 5 stores “imaging means for photographing a face of a subject who has applied makeup, display means for displaying image data photographed by the photographing means, and image data photographed by the photographing means. And a control means for displaying on the display means the stored image data stored in the storage means and the new image data photographed by the photographing means after the storage image data is stored in the storage means. '' Is.

特許文献５に記載の発明によれば、記憶画像データと新画像データとを表示手段に表示するから、ユーザーである対象者は、表示手段の表示内容を確認するだけで、以前に施した化粧と現在施している化粧との違いを容易に認識することができるとしている。 According to the invention described in Patent Document 5, since the stored image data and the new image data are displayed on the display means, the subject person who is the user simply confirms the display contents on the display means and then applies the makeup previously applied. And can easily recognize the difference between the currently applied makeup.

特許文献６に記載の発明は、「撮像装置」に関する発明である。すなわち、特許文献６に記載の発明は、「撮影によって得られた撮影画像を表す撮像信号を出力する撮像手段と、撮影画像に基づく画像を表示する表示手段と、撮像信号に基づいて、撮影画像から顔領域を認識する顔認識手段と、撮像信号に基づいて、撮影画像の顔領域内における動きを検出する動き検出手段と、顔認識手段の認識結果と動き検出手段の検出結果に基づいて、動きのある画像部位を含む、撮影画像の一部画像が拡大表示されるように表示手段を制御する拡大表示制御手段と、を備えた」ものである。 The invention described in Patent Document 6 is an invention related to an “imaging device”. That is, the invention described in Patent Document 6 states that “an imaging unit that outputs an imaging signal representing a captured image obtained by imaging, a display unit that displays an image based on the captured image, and a captured image based on the imaging signal”. Based on the face recognition means for recognizing the face area, the motion detection means for detecting the movement in the face area of the captured image based on the imaging signal, the recognition result of the face recognition means and the detection result of the motion detection means, And an enlarged display control means for controlling the display means so that a partial image of the photographed image including the moving image part is enlarged and displayed. "

特許文献６に記載の発明によれば、注目したい顔の部位が自動的に拡大表示されるとしている。 According to the invention described in Patent Document 6, the part of the face to be noted is automatically enlarged and displayed.

特許文献７に記載の発明は、「メイクアップ用テンプレート」に関する発明である。すなわち、特許文献７に記載の発明は、「複数の整形用孔の形状が異なるテンプレートを組み合わせてなる」ものである。 The invention described in Patent Document 7 is an invention related to “makeup template”. That is, the invention described in Patent Document 7 is “combined with templates having a plurality of shaping holes having different shapes”.

特許文献７に記載の発明によれば、従来、美粧師等でなければ困難であるとされていた立体感のあるメイクアップを個人でも行うことが可能となるとしている。 According to the invention described in Patent Document 7, it is said that it is possible for an individual to make up makeup with a three-dimensional effect that was previously considered difficult unless it was a beautician or the like.

特開２００２−９２１３２号公報JP 2002-92132 A 特開２００２−２２４０４９号公報JP 2002-224049 A 特開２００３−２８９９３８号公報JP 2003-289938 A 特開２００５−４４１９５号公報JP 2005-44195 A 特開２００８−２２１５４号公報JP 2008-22154 A 特開２００８−３３７１８号公報JP 2008-33718 A 特開平１０−１０８７３０号公報JP-A-10-108730

しかしながら、上述した技術では、ある程度の慣れや器用さ、外出先での利便性や流行に対する柔軟な対応が困難であったり、リアルタイムによる確認ができないため手直しの手間を要したりするといった課題がある。 However, the above-described techniques have problems such as a certain degree of familiarity, dexterity, convenience in the place of going out, flexible response to the trend, and the need for rework because real-time confirmation is not possible. .

化粧は鏡を見ながら行うことが一般的で、眉のラインや左右のバランスなど一般人がプロメーキャップが行うような綺麗な仕上がりにすることが非常に困難であった。
そこで、好ましい眉や唇の形に形成した整形用孔があけられているメイクアップ用テンプレートがあるが、使用者の顔に当てて眉を書いたりするため、ある程度の慣れと器用さが必要とされるといった課題があった。
また、外出先での化粧直しをする場合はテンプレートを持ち歩く必要があり、利便性に欠けるといった課題もあった。
さらに化粧には流行や個人のスタイルがあるため必要に応じて複数のテンプレートを所持する必要があるといった課題もあった。 Makeup is generally performed while looking in the mirror, and it was very difficult to achieve a beautiful finish that a general person would do with makeup, such as the eyebrow line and left / right balance.
Therefore, there is a makeup template with a shaping hole formed in the shape of the preferred eyebrows and lips, but because you write the eyebrows against the user's face, you need some familiarity and dexterity There was a problem of being done.
In addition, when making makeup on the go, it is necessary to carry a template and there is a problem of lack of convenience.
In addition, there is a problem that it is necessary to possess a plurality of templates as required because makeup has a fashion and personal style.

そこで、本発明の目的は、容易かつリアルタイムに確認できる化粧支援することができる化粧支援装置、化粧支援方法、及びプログラムを提供することにある。 Accordingly, an object of the present invention is to provide a makeup support apparatus, a makeup support method, and a program that can perform makeup support that can be confirmed easily and in real time.

本発明は、顔を撮影する撮影手段と、該撮影手段で撮影した顔の画像を撮影と同時に表示する画像表示手段と、前記撮影手段により撮影された顔の全体の色味の平均値との差分をメッシュ状に閾値判定することにより、周辺と不均一な箇所を検出し、判定する判定手段とを備えたことを特徴とする。 This onset Ming, a photographing means for photographing a face, image display means for simultaneously displaying the captured image of the face taken by the imaging means, and the average value of the overall color of the face taken by the imaging means It is characterized by comprising a determination means for detecting a difference between the surroundings and a non-uniform portion by determining a threshold value in a mesh shape .

本発明によれば、容易かつリアルタイムに確認できる化粧支援することができる化粧支援装置、化粧支援方法、及びプログラムの提供を実現することができる。 ADVANTAGE OF THE INVENTION According to this invention, the provision of the makeup | decoration assistance apparatus, the makeup | decoration assistance method, and program which can perform makeup support which can be confirmed easily and in real time is realizable.

本発明に係る化粧支援装置の一実施の形態を示す構成図である。It is a block diagram which shows one Embodiment of the makeup | decoration assistance apparatus which concerns on this invention. 本構成による代表的な装置を示す図である。It is a figure which shows the typical apparatus by this structure. 図１に示した化粧支援装置の表示部１１に映し出された理想の化粧ラインＬＩと実際の化粧ラインＬＲがずれていた場合の概念図である。It is a conceptual diagram when the ideal makeup line LI projected on the display unit 11 of the makeup support apparatus shown in FIG. 1 and the actual makeup line LR are shifted. 図１に示した化粧支援装置で顔全体を映し出し左右の対称性の確認の結果、片側の眉のラインが上がっているため判定結果として×が表示されている１例である。This is an example in which the entire face is projected by the makeup support apparatus shown in FIG. 1 and, as a result of confirmation of left / right symmetry, the eyebrow line on one side is raised, so that “x” is displayed as the determination result. 図１に示した化粧支援装置で周辺と不均一な箇所（色ムラ箇所）を検出し、判定結果が×と表示されている１例である。This is an example in which the makeup support apparatus shown in FIG. 1 detects a non-uniform portion (color unevenness portion) and the determination result is displayed as “x”. 図１に示した化粧支援装置を用いてメイクアップした後の状態を示す１例である。It is an example which shows the state after making up using the makeup | decoration assistance apparatus shown in FIG. 図１に示した化粧支援装置を用いて理想ラインを更新し、それに基づいてメイクアップした後の状態を示す１例である。It is an example which shows the state after updating an ideal line using the makeup | decoration assistance apparatus shown in FIG. 1, and making up based on it.

＜特徴＞
本発明の特徴は鏡では実現不可能な化粧支援機能を、撮像素子と、表示素子と、デジタル画像技術とを用いて提供するところにある。
本化粧支援装置は、撮像素子と表示素子により鏡としての機能を実現し、デジタル画像技術を併用することで化粧支援の機能を提供するものである。
ユーザー用の化粧ラインを表示素子に表示し、ユーザーは表示部に映し出された自分の顔に対して理想の化粧ラインをトレースすることで容易に化粧を綺麗に仕上げることができる。
細部の仕上げは撮像素子の拡大機能を用いることでユーザーが装置に近づく必要なく行うことができる。また、本発明では通信機能とメモリ機能により流行や個人の好みのスタイルに応じて見本画像を容易に変更することができる。 <Features>
A feature of the present invention is that a makeup support function that cannot be realized by a mirror is provided by using an imaging device, a display device, and digital image technology.
This makeup support apparatus realizes a function as a mirror by an imaging element and a display element, and provides a makeup support function by using a digital image technology together.
The makeup line for the user is displayed on the display element, and the user can easily finish the makeup easily by tracing the ideal makeup line on his / her face projected on the display unit.
Detail finishing can be performed without the need for the user to approach the apparatus by using the enlargement function of the image sensor. Further, in the present invention, the sample image can be easily changed according to the fashion or personal preference style by the communication function and the memory function.

＜構成＞
図１は、本発明に係る化粧支援装置の一実施の形態を示す構成図であり、図２は、本構成による代表的な装置を示す。
本支援化粧装置の構成は、表示素子を用いた画像表示手段としての表示部１１、撮影手段としての撮像素子を用いたイメージセンサ部１２、重畳手段としての画像処理部１３、顔検出部１４、メモリ部１５、操作部１６、及び通信部１７で構成される。 <Configuration>
FIG. 1 is a configuration diagram showing an embodiment of a makeup support apparatus according to the present invention, and FIG. 2 shows a typical apparatus according to the present configuration.
The configuration of the support makeup apparatus includes a display unit 11 as an image display unit using a display element, an image sensor unit 12 using an image sensor as a photographing unit, an image processing unit 13 as a superimposing unit, a face detection unit 14, The memory unit 15, the operation unit 16, and the communication unit 17 are configured.

表示部１１としては、例えば液晶表示素子が用いられ、画像処理部１３で処理された画像が表示される。
イメージセンサ部１２は、ユーザーの顔を撮像した画像を画像処理部１３に出力する。
画像処理部１３は、イメージセンサ部１２からの画像データを表示部１１に出力する。
また、顔検出部１４で処理された判定結果を表示部１１に出力する。
顔検出部１４は画像処理部１３からのデータをもとに顔検出処理を行い、処理結果を表示部１１に出力する。
メモリ部１５は、例えばＲＡＭ(random access memory)が用いられ、サーバ（図示せず）から入手した見本画像やユーザーがカスタムした見本画像を記録する。
操作部１６は、電源スイッチ１６ａ、選択スイッチ１６ｂ、拡大縮小スイッチ１６ｃを有し、画像の拡大や機能選択などのユーザー操作ができる。
通信部１７はサーバなどとの通信を行う。 As the display unit 11, for example, a liquid crystal display element is used, and an image processed by the image processing unit 13 is displayed.
The image sensor unit 12 outputs an image obtained by capturing the user's face to the image processing unit 13.
The image processing unit 13 outputs the image data from the image sensor unit 12 to the display unit 11.
The determination result processed by the face detection unit 14 is output to the display unit 11.
The face detection unit 14 performs face detection processing based on the data from the image processing unit 13 and outputs the processing result to the display unit 11.
The memory unit 15 uses, for example, a RAM (random access memory), and records a sample image obtained from a server (not shown) or a sample image customized by the user.
The operation unit 16 includes a power switch 16a, a selection switch 16b, and an enlargement / reduction switch 16c, and can perform user operations such as image enlargement and function selection.
The communication unit 17 communicates with a server or the like.

＜動作＞
図１に示す構成での化粧モードの詳細を説明する。
基本的にはイメージセンサ部１２からの入力画像を表示部１１に出力することで鏡としての機能を実現する。
イメージセンサ部１２から入力された画像が顔検出部１４で処理され、自動的に理想の化粧ラインＬＩが表示部１１に映し出される（図３参照）。
ユーザーは、この化粧ラインＬＩをアイブローペンシルでトレースして実ラインＬＲを形成することにより容易に綺麗な仕上がりの化粧を行うことができる。また、必要に応じてイメージセンサ部１２に用いられている撮像素子の拡大機能により各部位の詳細を化粧支援装置の表示部１１に近づくことなく確認することができる。 <Operation>
Details of the makeup mode in the configuration shown in FIG. 1 will be described.
Basically, the function as a mirror is realized by outputting an input image from the image sensor unit 12 to the display unit 11.
An image input from the image sensor unit 12 is processed by the face detection unit 14, and an ideal makeup line LI is automatically displayed on the display unit 11 (see FIG. 3).
The user can easily make a beautifully finished makeup by tracing the makeup line LI with an eyebrow pencil to form the actual line LR. Moreover, the detail of each part can be confirmed without approaching the display part 11 of a makeup | decoration assistance apparatus by the expansion function of the image pick-up element used for the image sensor part 12 as needed.

図３は、図１に示した化粧支援装置の表示部１１に映し出された理想の化粧ラインＬＩと実際の化粧ラインＬＲがずれていた場合の概念図である。
ここでは理想ラインＬＩと実ラインＬＲとの差分があるため判定結果として×が表示されている。
判定方法としては、例えば色味やコントラストを比較し、閾値判定（任意変更可能）することが挙げられる。
差分の比較は一定間隔とユーザーの任意の時の選択ができる。また、顔の広範囲を映し出した状態では全体のバランスの確認ができる。 FIG. 3 is a conceptual diagram when the ideal makeup line LI projected on the display unit 11 of the makeup support apparatus shown in FIG. 1 is shifted from the actual makeup line LR.
Here, since there is a difference between the ideal line LI and the actual line LR, x is displayed as the determination result.
As a determination method, for example, a threshold determination (can be arbitrarily changed) is performed by comparing color and contrast.
The difference comparison can be selected at regular intervals and at any time of the user. In addition, the overall balance can be confirmed when a wide range of the face is projected.

図４は、図１に示した化粧支援装置で顔全体を映し出し左右の対称性の確認の結果、片側の眉のラインが上がっているため判定結果として×が表示されている１例である。
検出方法としては、例えば理想ラインＬＩと実ラインＬＲとの比較と同様に、対象部位の対称性を閾値判定することが挙げられる。
他にはファンデーションの均一性やシミやそばかすなどの隠し残りの確認を行うこともできる。 FIG. 4 is an example in which the face is projected by the makeup support apparatus shown in FIG. 1 and, as a result of confirmation of left / right symmetry, an x is displayed as the determination result because the eyebrow line on one side is raised.
As a detection method, for example, as in the comparison between the ideal line LI and the real line LR, the symmetry of the target part is determined as a threshold value.
In addition, it is possible to check the uniformity of the foundation and the hidden parts such as spots and freckles.

図５は、図１に示した化粧支援装置で周辺と不均一な箇所（色ムラ箇所）を検出し、判定結果が×と表示されている１例である。
具体的な検出方法としては、例えばイメージセンサ部１２で映し出された顔の全体の色味の平均値との差分をメッシュ状に閾値判定（任意変更可能）することが挙げられる。 FIG. 5 is an example in which the makeup support apparatus shown in FIG. 1 detects a nonuniform area (color unevenness area) and the determination result is displayed as “x”.
As a specific detection method, for example, a threshold value determination (can be arbitrarily changed) in a mesh shape is performed on a difference from the average color value of the entire face projected by the image sensor unit 12.

図６は、図１に示した化粧支援装置を用いてメイクアップした後の状態を示す１例である。
判定結果が○と表示されている１例である。 FIG. 6 is an example illustrating a state after makeup is applied using the makeup support apparatus illustrated in FIG. 1.
This is an example in which the determination result is displayed as ◯.

ところで、前述した通り化粧には流行や個人のスタイルがあるため、自動で判断された理想の化粧ラインが全てのユーザーに好まれるとは限らない。 By the way, as described above, since there are fashions and personal styles in makeup, the ideal makeup line determined automatically is not necessarily preferred by all users.

このような場合には、通信部１７でサーバなどと通信することにより流行の化粧スタイルの見本画像を入手することができる。
身近な友人や好みの有名人の化粧スタイルを見本画像としたい場合は、表示部１１に身近な友人の撮影画像を表示したり、通信部１７で取り込んだ有名人の画像を表示したりした後メモリ部１５に見本画像として保存することができる。
また、見本画像を表示部１１に表示させ、ユーザーが任意にラインなどをカスタムすることができ、得られた画像を見本画像としてメモリ部１５に保存することで複数のスタイルを必要に応じて変更することができる。 In such a case, a sample image of a fashionable makeup style can be obtained by communicating with a server or the like by the communication unit 17.
When it is desired to use a makeup image of a close friend or favorite celebrity as a sample image, the memory unit displays a photographed image of a close friend on the display unit 11 or displays a celebrity image captured by the communication unit 17. 15 can be stored as a sample image.
In addition, a sample image can be displayed on the display unit 11, and the user can arbitrarily customize a line and the like, and a plurality of styles can be changed as necessary by saving the obtained image as a sample image in the memory unit 15. can do.

図７は、図１に示した化粧支援装置を用いて理想ラインを更新し、それに基づいてメイクアップした後の状態を示す１例である。判定結果が○と表示されている１例である。 FIG. 7 is an example showing a state after the ideal line is updated using the makeup support apparatus shown in FIG. 1 and makeup is made based on the updated ideal line. This is an example in which the determination result is displayed as ◯.

＜化粧支援機能＞
本発明においては鏡では実現できない化粧支援機能を、撮像素子、表示素子、及びデジタル画像処理で実現することができる。
主に特徴的な支援機能は下記の５項目である。
１．理想の化粧ラインをトレースしながら化粧することにより容易に化粧の仕上がりを綺麗にする機能。
２．理想の化粧ラインと実際に化粧を施した顔の差分判定をする機能。
３．ファンデーションなどの均一性が必要なものの確認をする機能。
４．詳細部位確認のための拡大する機能。
５．流行に応じた理想の化粧ラインの更新をする機能。
６．ユーザーによる見本画像のカスタム化機能。 <Makeup support function>
In the present invention, a makeup support function that cannot be realized by a mirror can be realized by an image sensor, a display element, and digital image processing.
The main support functions are the following 5 items.
1. A function that makes it easy to clean the finish of makeup by tracing the ideal makeup line.
2. A function that determines the difference between the ideal makeup line and the actual makeup face.
3. A function to check what needs uniformity such as foundation.
4). Expanding function for detailed site confirmation.
5. A function to update the ideal makeup line according to the fashion.
6). User customization of sample images.

＜プログラム及び記憶媒体＞
以上で説明した本発明の化粧支援装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。 <Program and storage medium>
The makeup support apparatus of the present invention described above is realized by a program that causes a computer to execute processing. Examples of the computer include general-purpose computers such as personal computers and workstations, but the present invention is not limited to this.

例えば、
コンピュータに、
(1)撮影手段が顔を撮影する手順、
(2)画像表示手段が撮影手順で撮影した顔の画像を表示する手順、
(3)重畳手段が顔の画像上にトレースによる化粧を行うための理想的化粧ラインを重畳させる手順を実行させるプログラムが挙げられる。 For example,
On the computer,
(1) Procedures for photographing the face by the photographing means,
(2) A procedure for the image display means to display the face image taken in the shooting procedure,
(3) A program for causing the superimposing means to execute a procedure for superimposing an ideal makeup line for performing makeup by tracing on the face image.

これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明の化粧支援装置を実現することができる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（CD Recordable）、ＤＶＤ（Digital Versatile Disk）などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ、ＲＯＭ（Read Only Memory）、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤ（Hard Disc Drive）が挙げられる。 Accordingly, the makeup support apparatus of the present invention can be realized anywhere as long as there is a computer environment capable of executing the program.
Such a program may be stored in a computer-readable storage medium.
Here, examples of the storage medium include computer-readable storage media such as a CD-ROM (Compact Disc Read Only Memory), a flexible disk (FD), a CD-R (CD Recordable), and a DVD (Digital Versatile Disk). Semiconductor memory such as flash memory, RAM, ROM (Read Only Memory), FeRAM (ferroelectric memory), and HDD (Hard Disc Drive).

＜効果＞
１．理想の化粧ラインをトレースしながら化粧することによりリアルタイムで容易に化粧の仕上がりを綺麗にすることができる。
２．理想の化粧ラインと実際に化粧を施した顔の差分判定ができる。
３．ファンデーションなどの均一性が必要なものの確認することができる。
４．詳細部位確認のための拡大することができる。
５．流行に応じた理想の化粧ラインの更新をすることができる。
６．ユーザーによる見本画像のカスタム化をすることができる。 <Effect>
1. By applying makeup while tracing the ideal makeup line, the finish of makeup can be easily cleaned in real time.
2. It is possible to determine the difference between the ideal makeup line and the face where makeup is actually applied.
3. It is possible to confirm what needs uniformity such as foundation.
4). Can be expanded for detailed site confirmation.
5. The ideal makeup line can be updated according to the fashion.
6). The sample image can be customized by the user.

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。例えば、上述の説明では、眉毛のメークについて説明したが、本発明ではこれに限定されず、アイライナーペンシルによるアイライナーのトレースやマスカラを用いた睫毛のトレースにも適用可能である。 The above-described embodiment shows an example of a preferred embodiment of the present invention, and the present invention is not limited thereto, and various modifications can be made without departing from the scope of the invention. is there. For example, in the above description, eyebrow makeup has been described. However, the present invention is not limited to this, and the present invention can be applied to eyeliner traces using eyeliner pencils and eyelash traces using mascara.

＜他の実施の形態＞
上述した実施の形態では化粧モードとして理想の化粧ラインのトレースや全体バランスの確認、均一性の確認について述べたが必ずしもそれに限るものではない。
眉を例に挙げると眉頭や眉中、眉尾のそれぞれの部分によって、色や濃淡に差異を付けて化粧を施すこともあり、化粧のラインのみではなく色味の比較を行っても良い。 <Other embodiments>
In the above-described embodiment, the ideal makeup line trace, overall balance confirmation, and uniformity confirmation have been described as the makeup mode. However, the present invention is not limited to this.
Taking the eyebrow as an example, makeup may be applied with different colors and shades depending on the eyebrow head, middle of the eyebrow, and eyebrow tail, and the color may be compared in addition to the makeup line.

判定結果は表示ではなく音声や振動など他の方法によりユーザーに通知しても良い。
化粧モードの動作は機能に応じて動画（リアルタイム）ではなく静止画でも良い。
また、通信機能では流行の化粧スタイルの入手のみではなく、流行化粧品の紹介やカスタムした見本画像に応じた化粧品の紹介など化粧品データのやり取りを行っても良い。
さらに本実施形態の化粧モードは画像処理により実現しているため撮像素子と表示素子と同機能を有する全ての装置で実現できる。 The determination result may be notified to the user by other methods such as voice and vibration instead of display.
The operation in the makeup mode may be a still image instead of a moving image (real time) depending on the function.
In addition, the communication function may exchange cosmetic data such as introduction of trendy cosmetics and introduction of cosmetics according to a custom sample image as well as acquisition of trendy makeup styles.
Furthermore, since the makeup mode of the present embodiment is realized by image processing, it can be realized by all devices having the same functions as the imaging element and the display element.

本発明は、撮像素子と表示素子を有し、画像処理が可能な装置に利用できる。例えば携帯電話機、PHS（Personal Handy phone System）、PDA（Personal Data Assistance, Personal Digital Assistants：個人向け携帯型情報通信機器）等の装置に利用できる。 The present invention can be used for an apparatus having an image sensor and a display element and capable of image processing. For example, it can be used for devices such as mobile phones, PHS (Personal Handy phone System), PDA (Personal Data Assistance, Personal Digital Assistants).

１１表示部
１２イメージセンサ部
１３画像処理部
１４顔検出部
１５メモリ部
１６操作部
１７通信部 DESCRIPTION OF SYMBOLS 11 Display part 12 Image sensor part 13 Image processing part 14 Face detection part 15 Memory part 16 Operation part 17 Communication part

Claims

顔を撮影する撮影手段と、該撮影手段で撮影した顔の画像を撮影と同時に表示する画像表示手段と、前記撮影手段により撮影された顔の全体の色味の平均値との差分をメッシュ状に閾値判定することにより、周辺と不均一な箇所を検出し、判定する判定手段とを備えたことを特徴とする化粧支援装置。 The difference between the photographing means for photographing the face, the image display means for displaying the face image photographed by the photographing means at the same time as the photographing, and the average value of the whole color of the face photographed by the photographing means is meshed A makeup support apparatus comprising: a determination unit that detects and determines a portion that is not uniform with the periphery by determining a threshold value .

前記顔の画像上にトレースによる化粧を行うための理想的化粧ラインを重畳させる重畳手段とを備えたことを特徴とする請求項１記載の化粧支援装置。 The makeup support apparatus according to claim 1, further comprising a superimposing unit that superimposes an ideal makeup line for performing makeup by tracing on the face image.

前記理想的化粧ラインと化粧後の化粧ラインとの差に基づいて判定する判定手段を備えたことを特徴とする請求項２記載の化粧支援装置。 The makeup support apparatus according to claim 2, further comprising a determination unit that determines based on a difference between the ideal makeup line and a makeup line after makeup.

流行もしくはユーザの趣味に応じ前記理想的化粧ラインを更新するための見本画像を取り込む通信手段と、更新した見本画像を格納する記憶手段とを有することを特徴とする請求項３記載の化粧支援装置。 The makeup support apparatus according to claim 3, further comprising a communication unit that captures a sample image for updating the ideal makeup line according to a fashion or a user's taste, and a storage unit that stores the updated sample image. .

顔を撮影すると同時に、撮影した顔の画像を表示し、撮影された顔の全体の色味の平均値との差分をメッシュ状に閾値判定することにより、周辺と不均一な箇所を検出し、判定することを特徴とする化粧支援方法。 At the same time that the face is photographed, the photographed face image is displayed, the difference between the average value of the color of the whole photographed face is determined as a mesh-like threshold value, and the periphery and the non-uniform portion are detected. A makeup support method characterized by determining.

コンピュータに、
撮影手段が顔を撮影する手順、
画像表示手段が前記撮影手順で撮影した顔の画像を撮影と同時に表示する手順、
判定手段が撮影された顔の全体の色味の平均値との差分をメッシュ状に閾値判定することにより、周辺と不均一な箇所を検出し、判定する手順を実行させることを特徴とするプログラム。 On the computer,
Procedures for photographing the face by the photographing means,
A procedure in which the image display means displays an image of the face photographed in the photographing procedure simultaneously with photographing;
A program characterized in that a judgment means detects a difference from the average value of the color of the entire face photographed with a threshold value in a mesh shape, thereby detecting a peripheral and non-uniform portion and executing a judgment procedure. .