JP6078897B2 - Makeup support device and makeup support method - Google Patents
Makeup support device and makeup support method Download PDFInfo
- Publication number
- JP6078897B2 JP6078897B2 JP2016012659A JP2016012659A JP6078897B2 JP 6078897 B2 JP6078897 B2 JP 6078897B2 JP 2016012659 A JP2016012659 A JP 2016012659A JP 2016012659 A JP2016012659 A JP 2016012659A JP 6078897 B2 JP6078897 B2 JP 6078897B2
- Authority
- JP
- Japan
- Prior art keywords
- makeup
- face
- image
- facial part
- acquisition unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、顔のメイクアップ（化粧）を支援するメイクアップ支援装置およびメイクアップ支援方法に関する。 The present invention relates to a makeup support apparatus and a makeup support method that support facial makeup.
近年、顔のメイクアップの仕方（以下、単に「メイク」という）の多様化が進んでいる。無数の選択肢の中から適切なメイクを選択することは、特にメイクについての十分な知識を有さない人にとって、困難である。あらゆるメイクを実際に試して判断および比較を行うことは、膨大な時間および手間を要するからである。 In recent years, face makeup methods (hereinafter simply referred to as “makeup”) have been diversified. Choosing the right makeup from a myriad of options is difficult, especially for those who do not have sufficient knowledge about makeup. This is because it takes a lot of time and effort to actually try and make a judgment and comparison of every makeup.
そこで、メイクアップが行われたときの顔のシミュレーション画像を生成して提示する技術が、例えば、特許文献１〜特許文献３に記載されている。特許文献１〜特許文献３に記載の技術（以下「従来技術」という）は、メイクアップの対象となる顔（以下、単に「顔」という）を撮影した画像を取得する。また、従来技術は、取得した画像に対して、口紅やチーク（頬紅）等を顔に施したときのメイクの状態を示す画像を重畳して、シミュレーション画像を生成する。そして、従来技術は、生成したシミュレーション画像を、表示装置に表示させる。
Therefore, techniques for generating and presenting a simulation image of a face when makeup is performed are described in, for example,
このような従来技術では、実際にメイクアップを行うことなくメイクの良し悪しを判断することができ、より少ない時間および手間で適切なメイクを選択することが可能となる。 With such a conventional technique, it is possible to determine whether makeup is good or bad without actually performing makeup, and it is possible to select an appropriate makeup with less time and effort.
ところで、メイクアップを行う人は、他者が行っているメイクが自分にも似合うか否かを確認してみたい、といった欲求を抱くことがある。例えば、友人が化粧により非常に美しく見えた場合や、斬新なメイクをしている芸能人やモデルを雑誌やテレビで見掛けた場合である。上述の従来技術によれば、所望のメイクを指定することにより、シミュレーション画像から、かかる確認を容易に行うことができる。 By the way, a person who makes up may have a desire to check whether makeup made by others suits himself or not. For example, when a friend looks very beautiful with makeup, or when a celebrity or model with novel makeup is seen in a magazine or television. According to the above-described prior art, such confirmation can be easily performed from the simulation image by designating a desired makeup.
ところが、他者のメイクと同様のメイクを指定するためには、まず、そのメイクの詳細（肌用化粧剤の色、塗布濃度、および塗布範囲等）を特定し、更に、特定したメイクの情報を入力する操作を行わなければならない。一方で、メイクの詳細を問い合わせることは、特に、かかる相手が芸能人やモデルである場合、難しい。また、他者が行っているメイクの詳細を判断することは、特にメイクについての十分な知識を有さない人にとっては、困難である。 However, in order to specify makeup similar to that of others, first, the details of the makeup (color of skin cosmetics, application concentration, application range, etc.) are specified, and further information on the specified makeup is provided. Must be entered. On the other hand, it is difficult to inquire about the details of makeup, particularly when the other party is an entertainer or model. In addition, it is difficult to judge the details of makeup performed by others, especially for those who do not have sufficient knowledge about makeup.
したがって、従来技術は、他者のメイクを参考にしたメイクアップの支援については、適切に行うことができないおそれがある。 Therefore, the conventional technology may not be able to properly perform makeup support with reference to the makeup of others.
本発明の目的は、他者のメイクを参考にしたメイクアップの支援を適切に行うことができる、メイクアップ支援装置およびメイクアップ支援方法を提供することである。 An object of the present invention is to provide a makeup support apparatus and a makeup support method capable of appropriately performing makeup support with reference to the makeup of another person.
本発明の一態様に係るメイクアップ支援装置は、第１の顔を撮影した、第１の画像を取得する第１の画像取得部と、前記第１の画像から、前記第１の顔の顔部品の領域を取得する第１の顔部品取得部と、メイクアップが施された第２の顔を撮影した、第２の画像を取得する第２の画像取得部と、前記第２の画像から、前記第２の顔の顔部品の領域を取得する第２の顔部品取得部と、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する参考メイク取得部と、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するメイク提示部と、を有する。 A makeup support apparatus according to an aspect of the present invention includes a first image acquisition unit that acquires a first image obtained by photographing a first face, and the face of the first face from the first image. From the first image, a first face acquisition unit that acquires a region of the component, a second image acquisition unit that acquires a second image obtained by photographing the second face that has been subjected to makeup, and the second image A second facial part acquisition unit that acquires a facial part area of the second face, and for each facial part of the second face, based on the area of the facial part of the second face, From a second image, a reference makeup acquisition unit that acquires makeup that is the makeup method, and the acquired makeup is presented to the user in association with the area of the facial part of the corresponding first face And a makeup presenting section.
本発明の一態様に係るメイクアップ支援方法は、第１の顔を撮影した、第１の画像を取得するステップと、前記第１の画像から、前記第１の顔の顔部品の領域を取得するステップと、メイクアップが施された第２の顔を撮影した、第２の画像を取得するステップと、前記第２の画像から、前記第２の顔の顔部品の領域を取得するステップと、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得するステップと、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するステップと、を有する。 A makeup support method according to an aspect of the present invention includes a step of acquiring a first image obtained by photographing a first face, and acquiring a region of a facial part of the first face from the first image. A step of acquiring a second image obtained by photographing the second face to which makeup has been applied, and a step of acquiring a facial part region of the second face from the second image. Acquiring makeup that is the makeup method from the second image based on the region of the facial part of the second face for each facial part of the second face. And presenting the makeup to the user in association with the region of the facial part of the corresponding first face.
本発明の一態様に係るメイクアップ支援プログラムは、コンピュータに、第１の顔を撮影した、第１の画像を取得する処理と、前記第１の画像から、前記第１の顔の顔部品の領域を取得する処理と、メイクアップが施された第２の顔を撮影した、第２の画像を取得する処理と、前記第２の画像から、前記第２の顔の顔部品の領域を取得する処理と、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する処理と、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示する処理と、を実行させる。 The makeup support program according to an aspect of the present invention includes a process of acquiring a first image obtained by photographing a first face on a computer, and a facial part of the first face from the first image. A process of acquiring a region, a process of acquiring a second image obtained by photographing a second face with makeup, and a region of a facial part of the second face from the second image Processing for acquiring makeup that is the makeup method from the second image based on the region of the facial part of the second face for each facial part of the second face. And a process of presenting the acquired makeup to the user in association with the area of the facial part of the corresponding first face.
本発明によれば、他者のメイクを参考にしたメイクアップの支援を適切に行うことができる。 According to the present invention, makeup support with reference to the makeup of another person can be appropriately performed.
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。
(Embodiment 1)
図１は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。 FIG. 1 is a block diagram showing an example of the configuration of a makeup support apparatus according to the present embodiment.
図１において、メイクアップ支援装置１００は、第１の画像取得部１２０、第１の顔部品取得部１３０、第２の画像取得部１４０、第２の顔部品取得部１５０、参考メイク取得部１７０、およびメイク提示部１８０を有する。
In FIG. 1,
第１の画像取得部１２０は、第１の顔を撮影した、第１の画像を取得する。第１の顔は、メイクアップのシミュレーション画像を生成する対象となる顔である。
The first
第１の顔部品取得部１３０は、第１の画像から、第１の顔の顔部品の領域を取得する。
The first facial
第２の画像取得部１４０は、メイクアップが施された第２の顔を撮影した、第２の画像を取得する。第２の顔は、例えば、雑誌に掲載されたモデルの顔である。
The second
第２の顔部品取得部１５０は、第２の画像から、第２の顔の顔部品の領域を取得する。
The second facial
参考メイク取得部１７０は、第２の顔の顔部品毎に、第２の顔の顔部品の領域に基づいて、第２の画像から、メイクアップの仕方であるメイクを取得する。
The reference
メイク提示部１８０は、取得されたメイクを、対応する第１の顔の顔部品の領域に対応付けてユーザに提示する。ユーザは、例えば、第１の顔を有する本人等、第１の顔に対してメイクアップを行う人である。
メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
The
このようなメイクアップ支援装置１００は、第２の顔に施されたメイクアップのメイクを顔部品毎に取得し、取得したメイクを、第１の顔の顔部品の領域に対応付けてユーザに提示することができる。第２の顔としては、例えば、他者の顔を採用することができる。したがって、メイクアップ支援装置１００は、他者のメイクを参考にしたメイクアップの支援を、適切に行うことができる。
Such
（実施の形態２）
本発明の実施の形態２は、本発明の具体的態様の一例である。本実施の形態は、本発明を、デジタルカメラおよびタッチパネル付きディスプレイを備えた装置に適用した例である。
(Embodiment 2)
＜用語の説明＞
まず、本実施の形態において用いられる用語について説明する。
<Explanation of terms>
First, terms used in the present embodiment will be described.
「顔部品」とは、目、眉、鼻、頬（ほお）骨、唇、輪郭等、顔の印象を特徴付ける部分を指すものとする。 “Face parts” refers to parts characterizing the impression of the face, such as eyes, eyebrows, nose, cheek bones, lips, and contours.
「顔部品ＩＤ」とは、顔部品の識別情報である。 “Face part ID” is identification information of a face part.
「顔部品の領域」とは、画像上あるいは実空間上で、顔部品が占める領域を指すものとし、目尻等、顔部品の特徴点の位置を含むものとする。 The “facial part region” refers to an area occupied by the facial part on the image or real space, and includes the position of the feature point of the facial part such as the corner of the eye.
「メイク」とは、メイクアップの仕方（種類）を示し、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含むものとする。 “Makeup” indicates a method (type) of make-up, and includes at least the color, application concentration, and application range of the skin cosmetic.
「参考メイク情報」とは、メイクアップの支援を受けるユーザが参考にすべきメイクおとして選択されたメイクを示す情報である。 The “reference makeup information” is information indicating the makeup selected as the makeup to be referred to by the user who receives the makeup support.
「化粧品情報」とは、メイクを適用するための肌用化粧品に関する情報である。 “Cosmetics information” is information relating to skin cosmetics for applying makeup.
「メイク種別」とは、「ファンデーション」、「アイシャドウ」、「口紅」、および「チーク」等、少なくとも顔部品との位置関係により区別されるメイクの種類である。 “Makeup type” is a type of makeup such as “foundation”, “eyeshadow”, “lipstick”, “teak”, etc., which is distinguished by at least the positional relationship with the facial parts.
「化粧品ＩＤ」とは、肌用化粧品の識別情報であり、化粧品情報を特定可能な情報である。 “Cosmetic ID” is identification information of skin cosmetics, and is information that can specify cosmetic information.
＜メイクアップ支援装置の構成＞
次に、本実施の形態に係るメイクアップ支援装置の構成について説明する。
<Configuration of makeup support device>
Next, the configuration of the makeup support apparatus according to the present embodiment will be described.
図２は、本実施の形態に係るメイクアップ支援装置の構成の一例を示すブロック図である。 FIG. 2 is a block diagram showing an example of the configuration of the makeup support apparatus according to the present embodiment.
図２において、メイクアップ支援装置１００は、撮影部１１０、第１の画像取得部１２０、第１の顔部品取得部１３０、第２の画像取得部１４０、第２の顔部品取得部１５０、メイク情報格納部１６０、参考メイク取得部１７０、メイク提示部１８０、および表示部１９０を有する。
In FIG. 2,
撮影部１１０は、例えば、デジタルスチルカメラであり、画像の撮影を行う。
The photographing
第１の画像取得部１２０は、撮影部１１０を用いて、メイクアップ支援装置１００のユーザの顔（第１の顔。以下「ユーザの顔」という）の画像を撮影する。そして、第１の画像取得部１２０は、撮影されたユーザの顔の画像（第１の画像。以下「ユーザ画像」という）を取得し、第１の顔部品取得部１３０およびメイク提示部１８０へ出力する。
The first
第１の画像取得部１２０は、例えば、ディスプレイに「メイクアップの対象となる顔を撮影して下さい」というメッセージを表示する等、ユーザに対して顔の撮影を促すことによって、ユーザ画像の撮影を行う。なお、本実施の形態において、ユーザ画像は、ユーザの顔を正面から撮影した画像であるものとする。
The first
第１の顔部品取得部１３０は、入力されたユーザ画像から、ユーザの顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、ユーザ画像の各部分領域と、予め用意された各顔部品のテンプレート画像とのマッチングにより行われる（例えば、特許文献２参照）。そして、第１の顔部品取得部１３０は、取得した顔部品の識別情報および領域を示す情報（以下「ユーザ顔部品情報」という）を、参考メイク取得部１７０へ出力する。
The first facial
第２の画像取得部１４０は、撮影部１１０を用いて、ユーザがメイクの参考にしようとするモデルの顔（第２の顔。以下「モデルの顔」という）の画像を撮影する。モデルの顔の画像は、例えば、ファッション雑誌に掲載された写真である。そして、撮影部１１０は、撮影されたモデルの顔の画像（第２の画像。以下「モデル画像」という）を取得し、第２の顔部品取得部１５０および参考メイク取得部１７０へ出力する。
The second
第２の画像取得部１４０は、例えば、ディスプレイに「参考にしたいメイクの顔を撮影して下さい」というメッセージを表示する等、ユーザに対してモデルの顔の写真撮影を促すことによって、モデル画像の撮影を行う。なお、本実施の形態において、モデル画像は、モデルの顔を正面から撮影した写真を、正面から撮影した画像であるものとする。
The second
第２の顔部品取得部１５０は、入力されたモデル画像から、モデルの顔の顔部品の領域を取得する。顔部品の領域の取得は、例えば、モデル画像の各部分領域と、予め用意された各顔部品のテンプレート画像とのマッチングにより行われる（例えば、特許文献２参照）。そして、第２の顔部品取得部１５０は、取得した顔部品の識別情報および領域を示す情報（以下「モデル顔部品情報」という）を、参考メイク取得部１７０へ出力する。
The second facial
メイク情報格納部１６０は、メイク種別毎に、顔部品の領域との位置関係、および、メイクの色と化粧品情報との組を対応付けたメイク情報を、予め格納する。メイク情報は、例えば、メイク位置テーブル、メイク色テーブル、および化粧品テーブルを含む。また、これらの情報は、参考メイク取得部１７０から参照可能となっている。
The makeup
メイク位置テーブルは、メイク種別毎に、メイクの塗布範囲の、顔部品の領域との間の位置関係を規定するテーブルである。かかる位置関係は、言い換えると、後述の参考メイク取得１７０が画像からメイクを抽出する際の、メイクの抽出基準である。メイク色テーブルは、メイク種別とメイクの色との組み合わせ毎に、提案すべき化粧品の化粧品ＩＤを記述したテーブルである。化粧品テーブルは、化粧品ＩＤ毎に、化粧品の詳細を記述したテーブルである。
The makeup position table is a table that defines the positional relationship between the makeup application range and the facial part region for each makeup type. In other words, this positional relationship is a makeup extraction criterion when
図３は、メイク位置テーブルの一例を示す図である。 FIG. 3 is a diagram illustrating an example of the makeup position table.
図３に示すように、メイク位置テーブル５１０は、顔部品ＩＤ５１１と領域５１２との組み合わせに対応付けて、メイク種別５１３を記述している。
As shown in FIG. 3, makeup position table 510 describes
例えば、「Ｐ２」という顔部品ＩＤ５１１と「Ｒ２」という領域５１２との組み合わせには、「Ｔ２」というメイク種別５１３が対応付けられている。これは、「Ｐ２」という顔部品ＩＤ５１１の領域に対する「Ｒ２」という領域５１２に適用されたメイクが、「Ｔ２」というメイク種別５１３であることを示す。
For example, a combination of a
例えば、「Ｐ２」は、右目を示し、「Ｒ２」は、顔部品の領域の上端に隣接し、顔の長さの１パーセント以下の幅で、肌色以外の同一色で連続する領域を示しているものとする。そして、これらに対応する「Ｔ２」は、アイライナーを示しているものとする。この場合、右目の領域の上端に隣接し、顔の長さの１パーセント以下の幅で、肌色以外の同一色で連続する領域が存在する場合、当該領域がアイライナーの領域であるということを示す。 For example, “P2” indicates the right eye, and “R2” indicates a region that is adjacent to the upper end of the face part region and is continuous with the same color other than the skin color with a width of 1% or less of the face length. It shall be. And "T2" corresponding to these shall show the eyeliner. In this case, if there is a region adjacent to the upper end of the right eye region and having a width of 1% or less of the face length and continuous in the same color other than the skin color, the region is an eyeliner region. Show.
図４は、メイク色テーブルの一例を示す図である。 FIG. 4 is a diagram illustrating an example of a makeup color table.
図４に示すように、メイク色テーブル５２０は、例えば、メイク種別５２１と色５２２との組み合わせ毎に、化粧品ＩＤ５２３を記述している。メイク種別５２１は、メイク位置テーブル５１０のメイク種別５１３に対応している。
As illustrated in FIG. 4, the makeup color table 520 describes a
例えば、「Ｔ２」というメイク種別５２１と「Ｃ２」という色５２２との組み合わせには、「Ｉ２」という化粧品ＩＤ５２３が対応付けられている。これは、「Ｔ２」というメイク種別のメイクに「Ｃ２」という色を用いる場合、「Ｉ２」という化粧品ＩＤの化粧品を用いるべきであるということを表す。
For example, a combination of a
図５は、化粧品テーブルの一例を示す図である。 FIG. 5 is a diagram illustrating an example of a cosmetic table.
図５に示すように、化粧品テーブル５３０は、化粧品ＩＤ５３１毎に、会社ＩＤ５３２および品番５３３を記述している。化粧品ＩＤ５３１は、メイク色テーブル５２０の化粧品ＩＤ５２３に対応している。会社ＩＤ５３２は、肌用化粧品の製造あるいは販売をする会社の名称あるいは識別子である。品番５３３は、肌用化粧品の品番である。
As shown in FIG. 5, the cosmetic table 530 describes a
例えば、「Ｉ２」という化粧品ＩＤ５３１には、「Ｂ１」という会社ＩＤ５３２および「ｂ２３」という品番５３３が対応付けられている。これは、「Ｉ２」という化粧品ＩＤが、「Ｂ１」という会社ＩＤが示す会社の、「ｂ２３」という品番のい肌用化粧品であるということを示す。
For example, a
なお、メイクアップ支援装置１００において、図４に示すメイク色テーブル５２０と図５に示す化粧品テーブル５３０とは、１つのテーブルに統合されていてもよい。
In
図２の参考メイク取得部１７０は、モデルの顔の顔部品毎に、モデルの顔の顔部品の領域に基づいて、モデル画像から、モデルの顔に適用されたメイクを取得する。より具体的には、参考メイク取得部１７０は、顔部品毎に、メイク位置テーブル５１０（図３参照）が規定する抽出基準に基づいて、メイクアップが施された領域の有無を検出する。そして、参考メイク取得部１７０は、メイクアップが施された領域が存在する場合、当該領域をメイクの塗布範囲として取得する。更に、参考メイク取得部１７０は、当該領域に施されたメイクアップの色および塗布濃度を、モデル画像から取得する。メイクの取得の詳細については、後述する。
The reference
また、参考メイク取得部１７０は、取得したメイクを適用するのに必要な化粧品の化粧品情報を、取得する。この化粧品情報の取得は、例えば、メイク情報格納部１６０に格納された化粧品テーブル５３０（図５参照）を用いて行われる。
Further, the reference
そして、参考メイク取得部１７０は、取得したメイクを示す参考メイク情報と、取得した化粧品情報とを、メイク提示部１８０へ出力する。本実施の形態において、参考メイク情報は、少なくとも、顔の画像から、当該顔にメイクアップを施したときの画像を生成するために必要な情報を、含むものとする。
Reference
メイク提示部１８０は、参考メイク情報が示すメイクを、対応するユーザの顔の顔部品の領域に対応付けて、ユーザに提示する。より具体的には、メイク提示部１８０は、入力されたユーザ画像および参考メイク情報に基づいて、シミュレーション画像を生成し、生成したシミュレーション画像を、表示部１９０に出力する。ここで、シミュレーション画像は、入力（撮影）されたユーザ画像に、参考メイク情報が示すメイク（モデル画像から取得されたメイク）のメイクアップを施したときの画像を、重畳して得られる画像である。
The
なお、画像の重畳は、例えば、アルファ(α)ブレンド処理等の公知の画像合成処理により行われる。この場合、アルファ値（α）は、メイクの濃度に応じた値に設定される。アルファブレンド処理は、例えば、以下の式（１）〜（３）で表される。ここで、ｒ１、ｇ１、ｂ１は、撮影された画像の任意の領域のＲＧＢ値であり、ｒ２、ｇ２、ｂ２は、メイクの色のＲＧＢ値である。そして、Ｒ、Ｇ、Ｂは、シミュレーション画像の対応する領域のＲＧＢ値である。
Ｒ ＝ ｒ2×α＋ｒ1×（１−α） ・・・（１）
Ｇ ＝ ｇ2×α＋ｇ1×（１−α） ・・・（２）
Ｂ ＝ ｂ2×α＋ｂ1×（１−α） ・・・（３）
Note that image superposition is performed by, for example, a known image composition process such as an alpha (α) blend process. In this case, the alpha value (α) is set to a value corresponding to the makeup density. The alpha blend process is expressed by, for example, the following formulas (1) to (3). Here, r 1 , g 1 , and b 1 are RGB values of an arbitrary region of the captured image, and r 2 , g 2 , and b 2 are RGB values of the makeup color. R, G, and B are RGB values of the corresponding region of the simulation image.
R = r 2 × α + r 1 × (1-α) (1)
G = g 2 × α + g 1 × (1-α) (2)
B = b 2 × α + b 1 × (1-α) (3)
また、メイクのそれぞれに、顔に重ねて塗布する場合の順序（以下「塗布順序」という）が設定されており、かつ、メイクアップを施したときの画像が、濃度に応じた密度の網掛け画像であったとする。塗布順序は、例えば、チークの塗布が、ファンデーションの塗布の後にすべきものであるということを規定する。この場合、画像の重畳は、撮影された画像に対して、各メイクの画像を、塗布順序に応じた順序で上塗り処理することにより、行われてもよい。 In addition, the order in which each makeup is applied over the face (hereinafter referred to as “application order”) is set, and the image when the makeup is applied is shaded with a density corresponding to the density. Suppose that it is an image. The application sequence defines, for example, that the application of cheek should be after the application of the foundation. In this case, the superimposition of the images may be performed by overcoating the images of each makeup in the order corresponding to the application order with respect to the captured image.
また、メイク提示部１８０は、入力された化粧品情報を、更に提示する。より具体的には、メイク提示部１８０は、上記シミュレーション画像に、入力された化粧品情報を示す画像あるいはテキストを、重畳あるいは追加する。
In addition,
表示部１９０は、例えば、ディスプレイであり、メイクアップ支援装置１００のユーザに対して、入力されたシミュレーション画像および化粧品情報を表示（提示）する。
The display unit 190 is, for example, a display, and displays (presents) the input simulation image and cosmetic information to the user of the
なお、メイクアップ支援装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
Although not shown,
＜画像からのメイクの取得＞
画像からメイクを取得する手法としては、例えば、以下の手法を採用することができる。
<Acquisition of makeup from images>
As a technique for acquiring makeup from an image, for example, the following technique can be employed.
参考メイク取得部１７０は、まず、顔部品の領域の配置から、耳や首等、モデルの顔の肌の色に近似する色が表れている領域を特定する。参考メイク取得部１７０は、特定した領域の色と、顔部品の配置から推定される陰影の分布と、顔部品の種別（唇等）から推定される顔部品毎の色の分布等に基づいて、肌の色分布を推定する。参考メイク取得部１７０は、顔領域を細かく分割した分割領域毎に、推定される肌の色と、画像での実際の色との差分を算出する。そして、参考メイク取得部１７０は、算出した差分が所定の閾値以上である分割領域を、メイクアップが施された領域（以下「塗布分割領域」）と判定する。
First, the reference
参考メイク取得部１７０は、判定した塗布分割領域のうち、連続し、かつ、色が近似する複数の塗布分割領域が存在するとき、当該複数の塗布分割領域を、同一の種別のメイクアップが施された１つの領域（以下「連続塗布領域」という）として抽出する。参考メイク取得部１７０は、抽出した連続塗布領域毎に、メイク位置テーブル５１０が（図３参照）が規定する抽出基準のいずれかに合致するか否かを判定する。そして、参考メイク取得部１７０は、抽出基準に合致する連続塗布領域を、メイクの塗布範囲として取得し、当該領域の画像での色と、対応する領域について推定された肌の色とから、メイクの色および塗布濃度を取得する。
When there are a plurality of application division regions that are continuous and approximate in color among the determined application division regions, the reference
メイクの色および塗布濃度の取得は、例えば、上述のアルファブレンド処理と逆の処理を行うことにより、行われる。すなわち、上述のＲＧＢ値を画像の色、ｒ１、ｇ１、ｂ１を肌の色とし、式（１）〜（３）を用いて、メイクの色に相当するｒ２、ｇ２、ｂ２とメイクの濃度に相当するαとを算出する。但し、変数が４つであるのに対し、式は３つであるため、これら４つの変数のいずれか１つを仮定する（例えば、アルファを化粧品毎にデフォルトの値に設定する）か、複数の画像位置について演算を行い、最も確からしい値の組を求める必要がある。 Acquisition of the makeup color and the application density is performed, for example, by performing a process reverse to the alpha blend process described above. That is, the above RGB values are the image colors, r 1 , g 1 , b 1 are the skin colors, and the formulas (1) to (3) are used to express r 2 , g 2 , b corresponding to the makeup colors. 2 and α corresponding to the makeup density are calculated. However, since there are four variables and three equations, either one of these four variables is assumed (for example, alpha is set to a default value for each cosmetic product) or plural It is necessary to calculate the most probable value set by performing an operation on the image position.
このような構成を有するメイクアップ支援装置１００は、他者の顔に適用されたメイクを、その顔を撮影した画像から顔部品毎に取得し、取得したメイクを、ユーザの顔の顔部品の領域に対応付けてユーザに提示することができる。
The
＜メイクアップ支援装置の動作＞
次に、メイクアップ支援装置１００の動作について説明する。
<Operation of makeup support device>
Next, the operation of
図６は、メイクアップ支援装置１００の動作の一例を示すフローチャートである。メイクアップ支援装置１００は、例えば、タッチパネル付きディスプレイに対する操作により、シミュレーション画像の生成開始をユーザから指示される毎に、図６に示す処理を実行する。
FIG. 6 is a flowchart showing an example of the operation of
まず、ステップＳ１１００において、第１の画像取得部１２０は、撮影部１１０においてユーザの顔（第１の顔）を撮影し、ユーザ画像（第１の画像）を取得する。
First, in step S1100, the first
図７は、図６のステップＳ１１００において取得される、ユーザ画像の一例を示す図である。 FIG. 7 is a diagram illustrating an example of a user image acquired in step S1100 of FIG.
図７に示すように、ユーザ画像６１０は、ユーザの顔の画像（以下「顔画像」という）６１１を含む。ユーザは、メイクアップをしていない状態であるものとする。
As shown in FIG. 7, the
そして、図６のステップＳ１２００において、第１の顔部品取得部１３０は、ユーザ画像６１０から、ユーザの顔（第１の顔）の顔部品を取得する。この際、第１の顔部品取得部１３０は、例えば、ユーザ画像６１０を解析することにより、ユーザ画像６１０から顔の（顔部品の）特徴点を抽出する。そして、第１の顔部品取得部１３０は、同一の顔部品を構成する特徴点により形成される領域を、顔部品の領域として取得する。そして、第１の顔部品取得部１３０は、取得した顔部品の領域から、ユーザ顔部品情報を生成する。
In step S1200 of FIG. 6, the first facial
図８は、図６のステップＳ１２００において抽出される、顔の特徴点の配置の一例を示す図である。 FIG. 8 is a diagram illustrating an example of the arrangement of facial feature points extracted in step S1200 of FIG.
図８に示すように、顔画像６１１からは、複数の特徴点（記号「●」で示す）が抽出される。例えば、第１〜第４の特徴点６２１〜６２４は、右目を構成する。したがって、第１の顔部品取得部１３０は、第１〜第４の特徴点６２１〜６２４により囲まれる領域６２５を、右目の領域として取得する。
As shown in FIG. 8, a plurality of feature points (indicated by symbol “●”) are extracted from the
図９は、図６のステップＳ１２００において生成される、ユーザ顔部品情報の一例を示す図である。 FIG. 9 is a diagram showing an example of user face part information generated in step S1200 of FIG.
図９に示すように、ユーザ顔部品情報６３０は、例えば、顔部品ＩＤ６３１毎に、領域６３２および人ＩＤ６３３を記述している。領域６３２は、画像における顔部品の領域の範囲を示す情報であり、例えば、画像上に設定された座標系の座標値リストである。人ＩＤ６３３は、例えば、撮影が開始される毎に、タッチパネル付きディスプレイに対する操作等を介してユーザにより指定された値が、設定される。
As illustrated in FIG. 9, the user face
そして、図６のステップＳ１３００において、第２の画像取得部１４０は、撮影部１１０においてモデルの顔（第２の顔）を撮影し、モデル画像（第２の画像）を取得する。
Then, in step S1300 of FIG. 6, the second
図１０は、図６のステップＳ１３００において取得される、モデル画像の一例を示す図である。 FIG. 10 is a diagram illustrating an example of a model image acquired in step S1300 of FIG.
図１０に示すように、モデル画像６４０は、モデルの顔画像６４１を含む。モデルの顔には、アイブロウ６４２、アイシャドウ６４３、アイライナー６４４、チーク６４５、および口紅６４６が施されているものとする。
As illustrated in FIG. 10, the
そして、図６のステップＳ１４００において、第２の顔部品取得部１５０は、モデル画像６４０から、モデルの顔（第２の顔）の顔部品（顔の特徴点を含む）を取得し、顔部品の領域を取得する。そして、第２の顔部品取得部１５０は、取得した顔部品の領域から、モデル顔部品情報を生成する。これらの処理は、ステップ１２００で説明した処理と同様である。また、モデル顔部品情報の構成は、ユーザ顔部品情報の構成と同様である。
In step S1400 of FIG. 6, the second facial
そして、ステップＳ１５００において、参考メイク取得部１７０は、モデル画像６４０（第２の画像）から、モデルの顔に適用されたメイクを取得する。具体的には、参考メイク取得１７０は、メイク情報格納部１６０に格納されたメイク情報を参照して、モデル画像６４０およびモデル顔部品情報から、顔部品毎にメイクを取得する。また、参考メイク取得部１７０は、参考メイク取得部１７０は、取得したメイクを示す参考メイク情報と、取得したメイクに対応する化粧品情報とを、メイク提示部１８０へ出力する。
In step S1500, reference
図１１は、参考メイク情報の一例を示す図である。 FIG. 11 is a diagram illustrating an example of reference makeup information.
図１１に示すように、参考メイク情報６５０は、例えば、顔部品ＩＤ６５１に対応付けて、色６５２、濃度６５３、および範囲６５４を記述している。
As illustrated in FIG. 11, the
色６５２は、ここでは簡略化して図示しているが、具体的には、ＲＧＢ値および光沢度等である。濃度６５３は、ここでは簡略化して図示しているが、具体的には、顔画像の上に重畳する際の透過度およびグラデーションの仕方等である。範囲６５４は、ここでは簡略化して図示しているが、具体的には、顔の特徴点からの相対座標群、特徴点に対する中心点の相対位置と半径との組等である。すなわち、色６５２、濃度６５３、および範囲６５４の組は、少なくともメイクの画像化に必要な情報を含む。
Although the
なお、参考メイク情報６５０は、肌用化粧品の塗りパターンを更に記述してもよい。肌用化粧品の塗りパターンとは、例えば、アイシャドウの場合、アイホールか、アイラインか、目の下か等、顔部品に対する相対的な範囲を示す情報である。
The
そして、図６のステップＳ１６００において、メイク提示部１８０は、ユーザ画像とおよび参考メイク情報に基づいて、シミュレーション画像を生成し、表示部１９０に表示させる。この際、メイク提示部１８０は、化粧品情報についても、表示部１９０に表示させる。
Then, in step S1600 of FIG. 6,
図１２は、図６のステップＳ１６００において表示される、シミュレーション画像の一例を示す図である。 FIG. 12 is a diagram showing an example of a simulation image displayed in step S1600 of FIG.
図１２に示すように、シミュレーション画像６６０は、顔画像６１１に、アイブロウ、アイシャドウ、アイライナー、チーク、および口紅といった、顔用メイクの画像６６１〜６６５を重畳した画像となっている。
As illustrated in FIG. 12, the
また、シミュレーション画像６６０には、化粧品情報を示す情報表示エリア６６６が追加されている。すなわち、シミュレーション画像６６０には、参考メイク情報が示すメイクを適用するのに必要な肌用化粧品の化粧品情報も、表示される。ユーザは、表示されているシミュレーション画像６６０が示すメイクを気に入った場合、表示された化粧品情報に基づいて、必要な肌用化粧品を入手することができ、実際のメイクアップを容易に行うことができる。
In addition, an
このような動作により、メイクアップ支援装置１００は、ユーザの顔に、他者の顔のメイクと同様のメイクを適用したときのシミュレーション画像を、表示することができる。
By such an operation,
＜本実施の形態の効果＞
以上のように、本実施の形態に係るメイクアップ支援装置１００は、ユーザによるメイクの詳細の特定や入力操作を必要とせずに、他者の顔のメイクについてのシミュレーション画像を、ユーザに提示することができる。したがって、メイクアップ支援装置１００は、他者のメイクを参考にしたメイクアップの支援を、適切に行うことができる。
<Effects of the present embodiment>
As described above,
＜他のメイク取得手法＞
なお、参考メイク取得部１７０は、メイクアップ支援装置１００以外の装置で撮影された画像を、ユーザ画像あるいはモデル画像として取得してもよい。この場合、例えば、メイクアップ支援装置１００にインターネット等の公衆網に接続するための通信回路を設け、参考メイク取得部１７０は、かかる通信回路を介して、必要な画像を取得すればよい。
<Other makeup acquisition methods>
Note that the reference
また、参考メイク取得部１７０は、メイクのうち、色および濃度については、モデル画像における実際の色および濃度以外から取得してもよい。例えば、モデルの顔の写真と同じページに、モデルが使用した化粧品に関する情報が、テキストあるいはＱＲコード（登録商標）等の２次元コードで掲載されていることがある。このような場合、参考メイク取得部１７０は、当該ページを撮影した画像からかかる情報を抽出し、化粧品を特定し、上述のメイク情報から、色を特定すればよい。また、化粧品から、標準的な濃度を推定可能な場合がある。このような場合、参考メイク取得部１７０は、化粧品毎に標準的な濃度を記述したテーブルを参照して、特定した化粧品から、濃度を推定すればよい。
Further, the reference
また、参考メイク取得部１７０は、ノーメイクのモデルの顔の画像を更に取得し、ノーメイクの画像とメイクアップがされた画像との差分に基づいて、モデルの顔のメイクを取得してもよい。
Further, the reference
＜顔画像およびメイクのマッピング＞
また、本実施の形態では、ユーザ画像およびモデル画像のいずれも、顔を正面から撮影した画像としたが、これに限定されない。例えば、第１の画像取得部１２０および第１の顔部品取得部１３０は、顔を斜め方向から撮影した画像を取得した場合、顔画像を、公知の画像マッピング技術を適用して、顔の立体形状にマッピングし、顔を正面から見たときの画像を生成してもよい。なお、マッピングに使用する顔の立体形状は、標準的な顔の立体形状を用いてもよいし、ステレオ画像に基づいて当該ステレオ画像から取得された立体形状等を用いてもよい。
<Face image and makeup mapping>
In the present embodiment, both the user image and the model image are images obtained by photographing the face from the front, but the present invention is not limited to this. For example, when the first
また、メイクアップ支援装置１００は、顔を正面以外の方向から撮影した画像を生成して表示してもよい。例えば、第１の顔部品取得部１３０および第２の顔部品取得部１５０は、顔の特徴点を基準として、画像における２次元座標系と、顔の立体形状における３次元座標系との間の対応付けを行う。そして、参考メイク取得部１７０は、メイクの取得を、上記３次元座標系を用いて行い、取得したメイクを、上記対応付けに基づいて、上記２次元座標系にマッピングする。
Further,
＜メイクの除去＞
また、本実施の形態では、ユーザ画像に含まれるユーザの顔がノーメイクであるものとしたが、これに限定されない。例えば、第１の画像取得部１２０は、ユーザ画像に含まれるユーザの顔がメイクアップされた状態であるとき、公知の画像処理技術を用いて（例えば、特許文献４参照）、ユーザ画像から、メイクアップされていない状態のユーザの顔の画像である化粧除去画像を生成してもよい。この場合、メイク提示部１８０は、化粧除去画像に、ユーザの顔に対してメイクを適用したときのメイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成したシミュレーション画像を提示すればよい。
<Remove makeup>
Moreover, in this Embodiment, although the user's face contained in a user image shall be a no makeup, it is not limited to this. For example, when the user's face included in the user image is in a makeup state, the first
＜化粧品情報の応用＞
また、メイクアップ支援装置１００は、表示する化粧品情報に、肌用化粧品を購入することができるウェブサイトへのリンク情報を対応付けておいてもよい。この場合、メイクアップ支援装置１００は、ユーザがメイクに対する決定操作を行ったとき、通信ネットワークを介して、対応するウェブサイトを表示させることが可能となり、メイクアップを更に効果的に支援することができる。また、化粧品会社に対しては、化粧品の販売を促進させることができる。
<Application of cosmetic information>
In addition,
＜他の提示内容＞
また、メイクアップ支援装置１００は、全てのメイクアップが行われた後の顔のシミュレーション画像ではなく、メイクアップ途中の顔のシミュレーション画像を生成して表示してもよい。また、メイクアップ支援装置１００は、上述のように、各メイクに塗布順序が設定されている場合、この塗布順序に従って、メイクアップ途中の顔のシミュレーション画像を順次生成して表示してもよい。これにより、メイクアップ支援装置１００は、ユーザに対して、適切なメイクアップの順序を提示することができる。
<Other presentations>
Further,
また、メイクアップ支援装置１００は、選択したメイクの領域との対応付け、および、選択したメイクの色および濃度を、テキストによって提示してもよい。このテキストは、例えば、「両頬骨の最も高い位置を中心にした直径約４ｃｍの範囲に、Ｂ１社の品番ｂ５５のチークを、濃い目に塗布して下さい。」という内容である。ユーザによっては、テキスト情報のみからでもメイクアップが行われた顔をイメージすることができる。このようなユーザに対しては、このような提示手法によっても、メイクアップを十分に支援することが可能である。これにより、メイクアップ支援装置１００は、画像を生成および表示することなく、メイクアップ支援を行うことができる。
Further,
＜他のメイク提示手法＞
また、メイクアップ支援装置１００は、シミュレーション画像以外の手法で、メイクの提示を行ってもよい。
<Other makeup presentation methods>
In addition,
例えば、メイクアップ支援装置１００は、肌用化粧品の化粧剤を所定の薄膜（紙状媒体）に転写するプリンタに接続される。かかる薄膜は、転写された化粧剤を剥離容易に担持する。このため、薄膜上の化粧剤は、肌に押し付けられことにより、肌に容易に転写されるようになっている。
For example,
そして、メイクアップ支援装置１００は、メイク提示部１８０において、撮影された顔の実空間における領域と同じ形状および面積を薄膜に設定し、メイクを対応する領域に転写するように、プリンタに指示する。なお、薄膜は、平面状であっても、立体状であってもよい。
Then,
これにより、メイクアップ支援装置１００は、メイクを、薄膜上で、それぞれに対応する領域に対応付けて、ユーザに提示することができる。
Thus,
ユーザは、この薄膜に印刷された左右の目尻を示す点を、ユーザの左右の目尻に合わせた状態で、薄膜の全体を顔に押し付けることにより、シミュレーション画像に基づいて選択したメイクを実際に行うことができる。すなわち、ユーザは、顔部品毎に化粧剤を塗るといった作業を行うことなく、簡単かつ迅速に、流行のメイクを行うことができる。 The user actually performs the makeup selected based on the simulation image by pressing the entire thin film against the face with the points indicating the left and right corners printed on the thin film aligned with the left and right corners of the user. be able to. That is, the user can easily and quickly perform fashionable makeup without performing a task of applying a cosmetic to each facial part.
また、メイクアップ支援装置１００は、デジタルビデオカメラ等によりユーザの顔の映像を撮影し、撮影映像を構成する画像（フレーム）に対して、リアルタイムにシミュレーション画像を生成して表示してもよい。この場合、メイク提示部１８０は、映像に対応して一旦入力された参考メイク情報が示すメイクを維持しつつ、映像を構成する画像毎に、順次、シミュレーション画像を生成して表示部１９０に表示させればよい。
In addition,
＜その他の構成の変形例＞
また、参考メイク情報の提示先は、必ずしも、シミュレーション画像の顔（第１の顔）の主でなくてもよい。また、第１の顔の主と第２の顔の主とは、必ずしも別人でなくてもよい。本発明は、例えば、過去に行ったメイクを再現したいがその詳細を覚えていない、といった状況にも好適である。
<Modifications of other configurations>
Further, the presentation destination of the reference makeup information does not necessarily have to be the main face of the simulation image (first face). Also, the first face principal and the second face principal need not necessarily be different persons. The present invention is also suitable for a situation where, for example, it is desired to reproduce a makeup made in the past but the details are not remembered.
また、メイク位置テーブル、メイク色テーブル、および化粧品テーブルは、必ずしもメイクアップ支援装置１００に格納されていなくてもよい。例えば、メイクアップ支援装置１００がネットワークに接続可能である場合、メイクアップ支援装置１００は、上記テーブルが格納されたネットワーク上のサーバにアクセスして、参考メイク情報の生成および化粧品情報の取得を行えばよい。
Further, the makeup position table, the makeup color table, and the cosmetic table may not necessarily be stored in the
また、メイクアップ支援装置１００は、例えば、図２に示す機能部のうち、撮影部１１０および表示部１９０のみをユーザの所持する端末に配置し、他の装置部をネットワーク上のサーバ上に配置する等、分散配置型のシステムであってもよい。
In addition,
また、参考メイク取得部１７０は、外光を検出し、画像から、外光の影響を軽減した状態で、メイクの取得を行うようにしてもよい。
Further, the reference
また、メイクの具体的内容は、上述の例に限定されない。例えば、提示の対象となるメイクには、マスカラ、リップグロス等が含まれる。 Moreover, the specific content of makeup is not limited to the above-mentioned example. For example, makeup to be presented includes mascara, lip gloss, and the like.
本開示のメイクアップ支援装置は、第１の顔を撮影した、第１の画像を取得する第１の画像取得部と、前記第１の画像から、前記第１の顔の顔部品の領域を取得する第１の顔部品取得部と、メイクアップが施された第２の顔を撮影した、第２の画像を取得する第２の画像取得部と、前記第２の画像から、前記第２の顔の顔部品の領域を取得する第２の顔部品取得部と、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する参考メイク取得部と、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するメイク提示部と、を有する。 The makeup support apparatus according to the present disclosure includes a first image acquisition unit that acquires a first image obtained by photographing a first face, and a region of a facial part of the first face from the first image. From the first face component acquisition unit to acquire, the second image acquisition unit to acquire the second image obtained by photographing the second face subjected to makeup, and the second image, the second A second facial part acquisition unit that acquires a facial part area of the second face, and the second image for each facial part of the second face based on the area of the facial part of the second face. A reference makeup acquisition unit that acquires makeup that is the makeup method, and a makeup presentation unit that presents the acquired makeup to the user in association with the region of the facial part of the corresponding first face And having.
なお、上記メイクアップ支援装置において、前記メイクは、肌用化粧剤の色、塗布濃度、および塗布範囲を少なくとも含み、前記参考メイク取得部は、前記第２の顔の顔部品の前記領域に基づいて、前記メイクのうち少なくとも前記塗布範囲を取得してもよい。 In the makeup assisting device, the makeup includes at least a color, an application concentration, and an application range of a skin cosmetic, and the reference makeup acquisition unit is based on the region of the facial part of the second face. Then, at least the application range of the makeup may be acquired.
また、上記メイクアップ支援装置において、前記第２の顔部品取得部は、前記第２の画像から、前記第２の顔の肌の色を取得し、前記参考メイク取得部は、前記肌の色に基づいて、前記メイクを取得してもよい。 In the makeup support apparatus, the second facial part acquisition unit acquires the skin color of the second face from the second image, and the reference makeup acquisition unit acquires the skin color. The makeup may be acquired based on the above.
また、上記メイクアップ支援装置において、前記メイク提示部は、前記第１の画像に、前記第１の顔に対して前記メイクを施したときの前記メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示してもよい。 In the makeup assisting apparatus, the makeup presenting unit is obtained by superimposing an image indicating the makeup state when the makeup is applied to the first face on the first image. A simulation image may be generated and the generated simulation image may be presented.
また、上記メイクアップ支援装置において、前記第１の画像取得部は、前記第１の画像に含まれる前記第１の顔がメイクアップされた状態であるとき、前記第１の画像から、メイクアップされていない状態の前記第１の顔の画像である化粧除去画像を生成し、前記メイク提示部は、前記化粧除去画像に、前記第１の顔に対して前記メイクを施したときの前記メイクの状態を示す画像を重畳して得られるシミュレーション画像を生成し、生成した前記シミュレーション画像を提示してもよい。 In the makeup support apparatus, the first image acquisition unit may make makeup from the first image when the first face included in the first image is in a makeup state. A makeup removal image that is an image of the first face that is not applied is generated, and the makeup presenting unit applies the makeup to the makeup removal image when the makeup is applied to the first face A simulation image obtained by superimposing an image indicating the state of the above may be generated, and the generated simulation image may be presented.
また、上記メイクアップ支援装置において、前記メイク提示部は、前記メイクを施すのに必要な化粧品に関する情報を、更に提示してもよい。 In the makeup assisting apparatus, the makeup presenting unit may further present information about cosmetics necessary for applying the makeup.
本開示のメイクアップ支援方法は、第１の顔を撮影した、第１の画像を取得するステップと、前記第１の画像から、前記第１の顔の顔部品の領域を取得するステップと、メイクアップが施された第２の顔を撮影した、第２の画像を取得するステップと、前記第２の画像から、前記第２の顔の顔部品の領域を取得するステップと、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得するステップと、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するステップと、を有する。 The makeup support method of the present disclosure includes a step of acquiring a first image obtained by photographing a first face, a step of acquiring a facial part region of the first face from the first image, and A step of acquiring a second image obtained by photographing a second face to which makeup has been applied; a step of acquiring a region of a facial part of the second face from the second image; For each facial part of the face, a step of acquiring makeup that is the makeup method from the second image based on the region of the facial part of the second face, and the acquired makeup And presenting it to the user in association with the region of the face part of the corresponding first face.
本開示のメイクアップ支援プログラムは、コンピュータに、第１の顔を撮影した、第１の画像を取得する処理と、前記第１の画像から、前記第１の顔の顔部品の領域を取得する処理と、メイクアップが施された第２の顔を撮影した、第２の画像を取得する処理と、前記第２の画像から、前記第２の顔の顔部品の領域を取得する処理と、前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する処理と、取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示する処理と、を実行させる。 The makeup support program according to the present disclosure acquires, in a computer, a process of acquiring a first image obtained by photographing a first face, and a region of a facial part of the first face from the first image. Processing, processing for acquiring a second image obtained by photographing the second face subjected to makeup, processing for acquiring a region of a facial part of the second face from the second image, and For each facial part of the second face, a process for obtaining makeup that is the makeup method is obtained from the second image based on the region of the facial part of the second face. And a process of presenting the makeup to the user in association with the corresponding face part region of the first face.
本発明は、他者のメイクを参考にしたメイクアップの支援を適切に行うことができる、メイクアップ支援装置およびメイクアップ支援方法として有用である。 INDUSTRIAL APPLICABILITY The present invention is useful as a makeup support apparatus and a makeup support method that can appropriately perform makeup support with reference to the makeup of others.
１００ メイクアップ支援装置
１１０ 撮影部
１２０ 第１の画像取得部
１３０ 第１の顔部品取得部
１４０ 第２の画像取得部
１５０ 第２の顔部品取得部
１６０ メイク情報格納部
１７０ 参考メイク取得部
１８０ メイク提示部
１９０ 表示部
DESCRIPTION OF
Claims (4)
前記第１の画像から、前記第１の顔の顔部品の領域を取得する第１の顔部品取得部と、
メイクアップが施された第２の顔を撮影するとともに、前記第２の顔を斜め方向から撮影した顔画像が取得された場合には当該顔画像を顔の立体形状にマッピングし、前記第２の顔を正面から見たときの画像として生成して第２の画像を取得する第２の画像取得部と、
前記第２の画像から、前記第２の顔の顔部品の領域を取得する第２の顔部品取得部と、
前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する参考メイク取得部と、
取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するメイク提示部と、を有し、
前記参考メイク取得部は、
前記第２の画像における前記第２の顔の肌の色の分布を推定し、推定された前記肌の色の分布における前記肌の色と前記第２の画像の各部の色との差分に基づいて、前記メイクを取得する、
メイクアップ支援装置。 When a face image obtained by photographing the first face and photographing the first face from an oblique direction is acquired, the face image is mapped to a three-dimensional shape of the face, and the first face is viewed from the front. A first image acquisition unit that generates a first image and acquires the first image;
A first facial part acquisition unit that acquires a facial part region of the first face from the first image;
The second face with makeup is photographed, and when a face image obtained by photographing the second face from an oblique direction is acquired, the face image is mapped to a three-dimensional shape of the face, and the second face is obtained. A second image acquisition unit for generating a second image by generating an image when the face is viewed from the front;
A second facial part acquisition unit that acquires a facial part region of the second face from the second image;
A reference makeup acquisition unit that acquires makeup that is the way of makeup from the second image based on the region of the facial component of the second face for each facial component of the second face;
A makeup presenting unit that presents the acquired makeup to the user in association with the region of the facial part of the corresponding first face,
The reference makeup acquisition unit
Estimating the skin color distribution of the second face in the second image, and based on the difference between the skin color in the estimated skin color distribution and the color of each part of the second image Get the makeup,
Makeup support device.
請求項１に記載のメイクアップ支援装置。 Associating the two-dimensional coordinate system in the image and the three-dimensional coordinate system in the three-dimensional shape of the face with the facial feature point as a reference, and generating an image of the first face taken from a direction other than the front And further having a display unit for displaying,
The makeup support apparatus according to claim 1.
前記第１の画像から、前記第１の顔の顔部品の領域を取得する第１の顔部品取得ステップと、
メイクアップが施された第２の顔を撮影するとともに、前記第２の顔を斜め方向から撮影した顔画像が取得された場合には当該顔画像を顔の立体形状にマッピングし、前記第２の顔を正面から見たときの画像として生成して第２の画像を取得する第２の画像取得ステップと、
前記第２の画像から、前記第２の顔の顔部品の領域を取得する第２の顔部品取得ステップと、
前記第２の顔の顔部品毎に、前記第２の顔の顔部品の前記領域に基づいて、前記第２の画像から、前記メイクアップの仕方であるメイクを取得する参考メイク取得ステップと、
取得された前記メイクを、対応する前記第１の顔の前記顔部品の領域に対応付けてユーザに提示するメイク提示ステップと、を含み、
前記参考メイク取得ステップは、
前記第２の画像における前記第２の顔の肌の色の分布を推定し、推定された前記肌の色の分布における前記肌の色と前記第２の画像の各部の色との差分に基づいて、前記メイクを取得する、
メイクアップ支援方法。 When a face image obtained by photographing the first face and photographing the first face from an oblique direction is acquired, the face image is mapped to a three-dimensional shape of the face, and the first face is viewed from the front. A first image acquisition step for generating a first image and generating a first image;
A first facial part acquisition step of acquiring a region of the facial part of the first face from the first image;
The second face with makeup is photographed, and when a face image obtained by photographing the second face from an oblique direction is acquired, the face image is mapped to a three-dimensional shape of the face, and the second face is obtained. A second image acquisition step of generating a second image by generating an image when the face is viewed from the front;
A second facial part acquisition step of acquiring a region of the facial part of the second face from the second image;
A reference makeup acquisition step of acquiring makeup that is the way of makeup from the second image based on the region of the facial component of the second face for each facial component of the second face;
A makeup presenting step of presenting the acquired makeup to a user in association with a region of the facial part of the corresponding first face,
The reference makeup acquisition step includes
Estimating the skin color distribution of the second face in the second image, and based on the difference between the skin color in the estimated skin color distribution and the color of each part of the second image Get the makeup,
Makeup support method.
請求項３に記載のメイクアップ支援方法。 Associating the two-dimensional coordinate system in the image and the three-dimensional coordinate system in the three-dimensional shape of the face with the facial feature point as a reference, and generating an image of the first face taken from a direction other than the front And further including a display step for displaying.
The makeup support method according to claim 3.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016012659A JP6078897B2 (en) | 2016-01-26 | 2016-01-26 | Makeup support device and makeup support method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016012659A JP6078897B2 (en) | 2016-01-26 | 2016-01-26 | Makeup support device and makeup support method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013018279A Division JP5991536B2 (en) | 2013-02-01 | 2013-02-01 | Makeup support device, makeup support method, and makeup support program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016055203A JP2016055203A (en) | 2016-04-21 |
| JP6078897B2 true JP6078897B2 (en) | 2017-02-15 |
Family
ID=55756466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016012659A Active JP6078897B2 (en) | 2016-01-26 | 2016-01-26 | Makeup support device and makeup support method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6078897B2 (en) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4128680B2 (en) * | 1998-12-28 | 2008-07-30 | 花王株式会社 | Makeup advice system |
| JP2001216386A (en) * | 2000-02-02 | 2001-08-10 | Nippon Telegr & Teleph Corp <Ntt> | Makeup support device |
| JP4753025B2 (en) * | 2006-03-22 | 2011-08-17 | 花王株式会社 | Makeup simulation method |
| WO2008102440A1 (en) * | 2007-02-21 | 2008-08-28 | Tadashi Goino | Makeup face image creating device and method |
| JP2008257381A (en) * | 2007-04-03 | 2008-10-23 | Sony Corp | Information analyzing system, information analyzing device, information analyzing method, information analyzing program, and recording medium |
| JP2010073008A (en) * | 2008-09-19 | 2010-04-02 | Nec Corp | Makeup support apparatus, makeup support method and program |
| JP2010245721A (en) * | 2009-04-03 | 2010-10-28 | Seiko Epson Corp | Face image processing |
| JP2012181688A (en) * | 2011-03-01 | 2012-09-20 | Sony Corp | Information processing device, information processing method, information processing system, and program |
-
2016
- 2016-01-26 JP JP2016012659A patent/JP6078897B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016055203A (en) | 2016-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5991536B2 (en) | Makeup support device, makeup support method, and makeup support program | |
| JP6128309B2 (en) | Makeup support device, makeup support method, and makeup support program | |
| JP6132232B2 (en) | Makeup support device, makeup support system, and makeup support method | |
| US9681736B2 (en) | Makeup application assistance device, makeup application assistance method, and makeup application assistance program | |
| JP3984191B2 (en) | Virtual makeup apparatus and method | |
| JP6375480B2 (en) | Makeup support device, makeup support system, makeup support method, and makeup support program | |
| JP4435809B2 (en) | Virtual makeup apparatus and method | |
| KR101733512B1 (en) | Virtual experience system based on facial feature and method therefore | |
| JP2010507854A (en) | Method and apparatus for virtual simulation of video image sequence | |
| WO2015122195A1 (en) | Impression analysis device, game device, health management device, advertising support device, impression analysis system, impression analysis method, program, and program recording medium | |
| CN111783511A (en) | Beauty treatment method, device, terminal and storage medium | |
| CN113034219B (en) | Virtual dressing method, device, equipment and computer readable storage medium | |
| KR101827998B1 (en) | Virtual experience system based on facial feature and method therefore | |
| JP6128356B2 (en) | Makeup support device and makeup support method | |
| JP2013178789A (en) | Beauty simulation system | |
| JP6128357B2 (en) | Makeup support device and makeup support method | |
| JP6078897B2 (en) | Makeup support device and makeup support method | |
| JP6078896B2 (en) | Makeup support device and makeup support method | |
| JP6601747B2 (en) | Makeup support system and makeup support method | |
| JP6296305B2 (en) | Makeup support device, makeup support method, and makeup support program | |
| JP6132249B2 (en) | Makeup support device, makeup support method, and makeup support program | |
| JP2016139382A (en) | Image processing apparatus, stylus, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161227 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6078897 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |