JP2012152389A - Furniture with mirror - Google Patents
Furniture with mirror Download PDFInfo
- Publication number
- JP2012152389A JP2012152389A JP2011014369A JP2011014369A JP2012152389A JP 2012152389 A JP2012152389 A JP 2012152389A JP 2011014369 A JP2011014369 A JP 2011014369A JP 2011014369 A JP2011014369 A JP 2011014369A JP 2012152389 A JP2012152389 A JP 2012152389A
- Authority
- JP
- Japan
- Prior art keywords
- user
- unit
- face
- information
- mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
Abstract
Description
本発明は、鏡面部を有するミラー付什器に関する。 The present invention relates to a mirror-equipped fixture having a mirror surface portion.
従来から、種々の洗面化粧台が開発され市販されている。特許文献１には、使用者の画像とともに使用者に対応した情報を表示する洗面化粧台が開示されている。特許文献１に記載された洗面化粧台は、使用者を撮像し、使用者の画像により使用者を特定し、上記使用者に応じて、天気予報またはニュースなどの情報をモニタ画面に表示させることができる。 Conventionally, various vanities have been developed and marketed. Patent Document 1 discloses a vanity that displays information corresponding to a user together with the image of the user. The vanity table described in Patent Document 1 images a user, identifies the user from the user's image, and displays information such as weather forecast or news on the monitor screen according to the user. Can do.
ところで、使用者は、洗面化粧台において、自己の顔の状態を確認したり、自己の顔の状態を向上させるためにマッサージまたは化粧をしたりするというような美容行為を行うことが多い。 By the way, a user often performs a beauty act such as confirming the state of his / her face or performing massage or makeup to improve the state of his / her face on the vanity.
しかしながら、特許文献１に記載された従来の洗面化粧台は、使用者に対して、天気予報またはニュースなど美容行為とは無関係の情報を提供することができるものの、使用者の顔の美容に関する美容情報を提供することはできなかった。 However, although the conventional vanity table described in Patent Document 1 can provide the user with information unrelated to the beauty act such as weather forecast or news, the beauty related to the beauty of the user's face. Information could not be provided.
なお、上記美容情報を提供する際に使用者の顔に器具を直接接触させることは、使用者に不快感を与えたり、使用者の美容行為を阻害したりするため、好ましくない。 It should be noted that it is not preferable to bring a device into direct contact with the user's face when providing the beauty information, because it may cause discomfort to the user or obstruct the user's beauty.
本発明は上記の点に鑑みて為され、本発明の目的は、使用者の顔の美容に関する美容情報を使用者に提供することができるミラー付什器を提供することにある。 The present invention has been made in view of the above points, and an object of the present invention is to provide a mirror-equipped fixture that can provide the user with beauty information relating to the beauty of the user's face.
本発明のミラー付什器は、使用者の顔を映す鏡面部と、前記鏡面部に対向する位置に存在する前記使用者の顔の少なくとも一部を非接触で撮像する撮像部と、前記撮像部で撮像された顔画像における形状および色の少なくとも１つを特徴量として抽出する特徴抽出部と、前記特徴抽出部で抽出された前記特徴量に応じて、前記使用者の顔の美容に関する情報を美容情報として求める分析部と、前記分析部で求められた前記美容情報を提示する提示部とを備えることを特徴とする。 The mirror-equipped fixture of the present invention includes a mirror surface portion that reflects a user's face, an imaging portion that captures at least a part of the user's face that is present at a position facing the mirror surface portion, and the imaging portion. A feature extraction unit that extracts at least one of a shape and a color in the face image captured in step 1 as a feature amount, and information on the beauty of the user's face according to the feature amount extracted by the feature extraction unit. An analysis unit obtained as beauty information and a presentation unit for presenting the beauty information obtained by the analysis unit are provided.
このミラー付什器において、前記提示部は、前記美容情報に応じて前記使用者の対処方法を提示することが好ましい。 In this mirror-equipped fixture, it is preferable that the presenting unit presents a countermeasure for the user according to the beauty information.
このミラー付什器において、前記分析部は、前記美容情報として、前記使用者の顔に表われている当該使用者の疲れ度を求めることが好ましい。 In this mirror-equipped fixture, it is preferable that the analysis unit obtains the fatigue level of the user appearing on the user's face as the beauty information.
このミラー付什器において、前記分析部は、前記美容情報として、前記使用者の顔の形態に関する情報を求めることが好ましい。 In this mirror-equipped fixture, it is preferable that the analysis unit obtains information regarding the form of the user's face as the beauty information.
このミラー付什器において、前記分析部は、前記美容情報として、前記使用者の顔に存在する化粧品の状態を表わす情報を求めることが好ましい。 In this mirror-equipped fixture, the analysis unit preferably obtains information representing the state of cosmetics present on the user's face as the beauty information.
このミラー付什器において、前記分析部は、前記美容情報として、前記使用者の顔の色彩に関する情報を求めることが好ましい。 In this mirror-equipped fixture, the analysis unit preferably obtains information regarding the color of the user's face as the beauty information.
このミラー付什器において、前記撮像部は、前記使用者の歯を非接触で撮像し、前記分析部は、前記美容情報として、前記使用者の歯の汚れ状態を表わす情報を求めることが好ましい。 In this fixture with a mirror, it is preferable that the imaging unit images the user's teeth in a non-contact manner, and the analysis unit obtains information representing a dirt state of the user's teeth as the beauty information.
このミラー付什器において、前記顔画像の一部を抽出する領域抽出部を備え、前記提示部は、前記領域抽出部で抽出された部分を拡大表示することが好ましい。 This mirror-equipped fixture preferably includes a region extraction unit that extracts a part of the face image, and the presentation unit displays an enlarged portion of the portion extracted by the region extraction unit.
このミラー付什器において、複数の前記顔画像を合成して３次元顔画像を生成する画像生成部を備え、前記提示部は、前記画像生成部で生成された前記３次元顔画像を提示することが好ましい。 The mirror-equipped fixture includes an image generation unit that generates a three-dimensional face image by combining a plurality of the face images, and the presentation unit presents the three-dimensional face image generated by the image generation unit. Is preferred.
本発明によれば、顔画像を用いて使用者の顔の美容に関する美容情報を求めて提示することによって、上記美容情報を使用者に提供することができる。これにより、使用者に対して自己の顔の美容を確認させることができる。 According to the present invention, the beauty information can be provided to the user by obtaining and presenting the beauty information related to the beauty of the user's face using the face image. Thereby, the user can confirm the beauty of his / her face.
以下の実施形態１，２では、使用者の顔の美容に関する情報を美容情報として表示する洗面化粧台について説明する。 In the following first and second embodiments, a vanity table that displays information related to the beauty of the user's face as beauty information will be described.
（実施形態１）
実施形態１に係る洗面化粧台は、図２に示すように、洗面ボウル１１を有する洗面台本体１と、洗面台本体１の上方位置に配置されたキャビネット２と、キャビネット２の前面に配置された複数枚（図示例では３枚）のミラー（鏡面部）３とを備えている。また、本実施形態の洗面化粧台は、図１に示すように、使用者の顔を撮像する撮像部４と、使用者の顔画像を用いた処理を行う処理装置５と、各種情報を記憶する記憶部６と、各種情報を表示する表示部（提示部）７と、使用者が入力操作するための操作部８とを備えている。図２に示すように、キャビネット２の上方位置には、可視光を照射する照明部２１と、ＵＶＡ波長（３１５〜４００ｎｍ）の紫外線を使用者に照射するＵＶＡ照射部９とが設けられている。
(Embodiment 1)
As shown in FIG. 2, the vanity table according to Embodiment 1 is disposed on the front surface of the cabinet 2, the cabinet 2 that is disposed above the washbasin body 1, and the cabinet 2 that has the washbasin 11. And a plurality of (three in the illustrated example) mirrors (mirror surface portions) 3. In addition, as shown in FIG. 1, the vanity table of the present embodiment stores an imaging unit 4 that images a user's face, a processing device 5 that performs processing using the user's face image, and various types of information. Storage unit 6, a display unit (presentation unit) 7 for displaying various information, and an operation unit 8 for a user to perform an input operation. As shown in FIG. 2, an illuminating unit 21 that irradiates visible light and a UVA irradiating unit 9 that irradiates the user with ultraviolet rays having a UVA wavelength (315 to 400 nm) are provided at an upper position of the cabinet 2. .
本実施形態の美容情報は、使用者の顔の見た目を現状よりも向上させるための美容行為を支援する情報であり、例えば病気または虫歯など健康に関する情報とは異なる。美容情報としては、使用者の顔に表われている使用者の疲れ度と、使用者の顔の形態に関する情報と、使用者の顔に存在する化粧品の状態を表わす情報と、使用者の顔の色彩に関する情報とがある。使用者の顔の形態に関する情報としては、例えば顔のフェースライン、たるみまたはしわなどがある。使用者の顔の化粧品の状態を表わす情報としては、例えば化粧品の塗りむらまたは化粧品の落とし具合などがある。本実施形態では、化粧品は、化粧下地クリーム、日焼け止めクリームおよびファンデーションなどを含む。使用者の顔の色彩に関する情報としては、例えば顔のクマ、しみ、色むらまたは透明感などがある。 The beauty information of the present embodiment is information for supporting a beauty act for improving the appearance of the user's face, and is different from health-related information such as disease or tooth decay. Beauty information includes information about the degree of fatigue of the user appearing on the user's face, information on the form of the user's face, information indicating the state of cosmetics present on the user's face, and the user's face There is information about the color of. Examples of the information regarding the form of the user's face include a face line of the face, sagging or wrinkles. Examples of information representing the state of cosmetics on the user's face include cosmetic coating unevenness or cosmetic dropping conditions. In the present embodiment, the cosmetic includes a makeup base cream, a sunscreen cream, a foundation, and the like. Information on the color of the user's face includes, for example, facial bears, spots, uneven color, or transparency.
本実施形態の洗面化粧台は、以下に示す第１〜第４の分析モードを選択可能に有している。第１の分析モードとは、使用者の顔に表われている使用者の疲れ度を求めて表示するモードである。第２の分析モードとは、使用者の顔の形態に関する情報を求めて表示するモードである。第３の分析モードとは、使用者の顔に存在する化粧品の状態を表わす情報を求めて表示するモードである。第４の分析モードとは、使用者の顔の色彩に関する情報を求めて表示するモードである。第１〜第４の分析モードの詳細については後述する。 The vanity of this embodiment has selectable first to fourth analysis modes shown below. The first analysis mode is a mode for obtaining and displaying the degree of fatigue of the user appearing on the user's face. The second analysis mode is a mode for obtaining and displaying information related to the form of the user's face. The third analysis mode is a mode for obtaining and displaying information indicating the state of cosmetics present on the user's face. The fourth analysis mode is a mode for obtaining and displaying information related to the color of the user's face. Details of the first to fourth analysis modes will be described later.
ミラー３は、図２に示すように、使用者の顔を映すようにキャビネット２の前面に配置されている。 As shown in FIG. 2, the mirror 3 is disposed on the front surface of the cabinet 2 so as to reflect the face of the user.
撮像部４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサなどを用いたエリアセンサカメラであり、ミラー３に埋め込んで設けられている。ミラー３は、撮像部４の前方を覆う部位がマジックミラーで構成されている。撮像部４は、ミラー３に対向する位置に存在する使用者の顔を非接触で撮像する。使用者の顔が撮像された撮像画像の画像データは、撮像部４から処理装置５に出力される。 The imaging unit 4 is an area sensor camera using, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and is embedded in the mirror 3. The mirror 3 includes a magic mirror at a portion covering the front of the imaging unit 4. The imaging unit 4 images the face of the user present at a position facing the mirror 3 in a non-contact manner. Image data of a captured image obtained by capturing the user's face is output from the imaging unit 4 to the processing device 5.
図１に示す処理装置５は、コンピュータに搭載された中央処理装置（ＣＰＵ：Central Processing Unit）であり、記憶部６に格納されているプログラムに従って動作する。これにより、処理装置５は、後述の顔画像取得部５１と認証部５２と属性取得部５３と特徴抽出部５４と分析部５５と制御部５６と領域抽出部５７と画像生成部５８との各機能を実行することができる。以下、処理装置５によって実行される各機能について説明する。なお、処理装置５は、全ての機能または一部の機能を中央処理装置とは別のマイクロプロセッサ（ＭＰＵ：Micro Processing Unit）で実行してもよい。 A processing device 5 shown in FIG. 1 is a central processing unit (CPU) mounted on a computer, and operates according to a program stored in a storage unit 6. Accordingly, the processing device 5 includes a face image acquisition unit 51, an authentication unit 52, an attribute acquisition unit 53, a feature extraction unit 54, an analysis unit 55, a control unit 56, a region extraction unit 57, and an image generation unit 58, which will be described later. The function can be executed. Hereinafter, each function executed by the processing device 5 will be described. Note that the processing device 5 may execute all or some of the functions by a microprocessor (MPU: Micro Processing Unit) different from the central processing unit.
顔画像取得部５１は、撮像部４で得られた撮像画像を撮像部４から取り込む。撮像画像を取り込んだ顔画像取得部５１は、上記撮像画像から、使用者の顔部分に相当する顔画像を抽出する。つまり、顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。使用者の顔画像は記憶部６に記憶される。 The face image acquisition unit 51 captures the captured image obtained by the imaging unit 4 from the imaging unit 4. The face image acquisition unit 51 that has captured the captured image extracts a face image corresponding to the face portion of the user from the captured image. That is, the face image acquisition unit 51 acquires the user's face image from the captured image obtained by the imaging unit 4. The face image of the user is stored in the storage unit 6.
認証部５２は、顔画像取得部５１で取得された顔画像と各個人の顔画像とを照合することによって、使用者を個人認証する。各個人の顔画像は、記憶部６に予め記憶されている。なお、認証部５２は、指紋認証によって使用者を個人認証してもよい。操作部８に、使用者の指紋を入力するための指紋入力機能があればよい。具体的には、認証部５２は、使用者の指紋と各個人の指紋とを照合することによって、使用者を個人認証する。この場合、記憶部６には、各個人の指紋の情報が予め記憶されている。また、認証部５２は、顔認証または指紋認証ではなく、使用者の体重または体型などの情報から個人認証してもよい。具体的には、認証部５２は、使用者の体重（または体型）と各個人の体重（または体型）とを照合することによって、使用者を認証する。この場合、記憶部６には、各個人の体重（または体型）の情報が予め記憶されている。例えば家族などのような、限られた特定集団の場合に容易に実現することができる。 The authentication unit 52 personally authenticates the user by comparing the face image acquired by the face image acquisition unit 51 with the face image of each individual. Each individual's face image is stored in the storage unit 6 in advance. Note that the authentication unit 52 may personally authenticate the user by fingerprint authentication. The operation unit 8 only needs to have a fingerprint input function for inputting the user's fingerprint. Specifically, the authentication unit 52 authenticates the user by collating the user's fingerprint with each individual's fingerprint. In this case, fingerprint information of each individual is stored in the storage unit 6 in advance. Further, the authentication unit 52 may perform personal authentication from information such as a user's weight or body shape instead of face authentication or fingerprint authentication. Specifically, the authentication unit 52 authenticates the user by comparing the weight (or body shape) of the user with the weight (or body shape) of each individual. In this case, the storage unit 6 stores in advance information on the weight (or body shape) of each individual. For example, it can be easily realized in the case of a limited specific group such as a family.
属性取得部５３は、使用者の属性を取得する。属性取得部５３で取得される属性としては、例えば人種・性別・年齢（年代）などがある。属性取得部５３が使用者の属性を取得する手法としては、顔画像を用いてサポートベクターマシン（ＳＶＭ：Support Vector Machine）によって使用者の属性を推定する第１の手法と、使用者が操作部８を用いて使用者の属性を申告する第２の手法とがある。第１の手法と第２の手法とは、使用者による操作部８からの操作によって切換選択可能である。なお、属性取得部５３が使用者の属性を取得する手法としては、第１の手法と第２の手法の少なくともいずれか一方の手法があればよい。 The attribute acquisition unit 53 acquires user attributes. The attributes acquired by the attribute acquisition unit 53 include, for example, race, gender, age (age), and the like. The attribute acquisition unit 53 acquires a user attribute by using a first method for estimating a user attribute using a support vector machine (SVM) using a face image, and a method in which the user operates the operation unit. There is a second method for declaring user attributes using 8. The first method and the second method can be switched and selected by an operation from the operation unit 8 by the user. Note that the attribute acquisition unit 53 may acquire at least one of the first method and the second method as a method for acquiring the user's attribute.
特徴抽出部５４は、顔画像取得部５１で取得された顔画像における形状および色の少なくとも１つを特徴量として抽出する。つまり、特徴抽出部５４は、顔画像取得部５１で取得された顔画像から使用者の顔の状態を特徴付ける特徴量を抽出する。特徴抽出部５４で抽出される特徴量は、第１〜第４の分析モードによって異なる。 The feature extraction unit 54 extracts at least one of a shape and a color in the face image acquired by the face image acquisition unit 51 as a feature amount. That is, the feature extraction unit 54 extracts a feature amount that characterizes the face state of the user from the face image acquired by the face image acquisition unit 51. The feature amount extracted by the feature extraction unit 54 varies depending on the first to fourth analysis modes.
分析部５５は、特徴抽出部５４で抽出された特徴量に応じて、使用者の顔の美容に関する情報を美容情報として求める。分析部５５は、特徴抽出部５４で抽出された特徴量と閾値とを比較する比較機能と、比較結果を用いて使用者の顔の状態を判定する判定機能とを有している。また、分析部５５は、操作部８に入力された主観評価に応じて判定結果を補正する補正機能を有している。 The analysis unit 55 obtains information related to the beauty of the user's face as beauty information according to the feature amount extracted by the feature extraction unit 54. The analysis unit 55 has a comparison function that compares the feature amount extracted by the feature extraction unit 54 with a threshold value, and a determination function that determines the state of the user's face using the comparison result. The analysis unit 55 has a correction function for correcting the determination result according to the subjective evaluation input to the operation unit 8.
制御部５６は、撮像部４と表示部７とＵＶＡ照射部９との動作を制御する。制御部５６は、分析部５５で求められた美容情報を表示部７が表示するように表示部７を制御する。また、制御部５６は、美容情報に応じた使用者の対処方法を表示部７が表示するように表示部７を制御する。上述のように対処方法を表示部７に表示させる場合、制御部５６は、使用者の対処部位の画像を対処方法とともに表示部７に表示させることができる。他にも、制御部５６は、例えば口角、目尻またはしわの程度などを時系列に表示部７に表示させることができる。 The control unit 56 controls operations of the imaging unit 4, the display unit 7, and the UVA irradiation unit 9. The control unit 56 controls the display unit 7 so that the display unit 7 displays the beauty information obtained by the analysis unit 55. In addition, the control unit 56 controls the display unit 7 so that the display unit 7 displays a user's coping method according to the beauty information. When the coping method is displayed on the display unit 7 as described above, the control unit 56 can display an image of the coping site of the user on the display unit 7 together with the coping method. In addition, the control unit 56 can cause the display unit 7 to display, for example, the mouth corner, the corner of the corner of the eye, or the degree of wrinkles.
領域抽出部５７は、特徴抽出部５４で抽出された特徴点を用いて、操作部８で選択された部分を顔画像から抽出する。操作部８で選択される部分は、例えば目元または口元などである。拡大部分の位置およびサイズを正規化することによって、使用者が顔の位置を合わせる必要がない拡大鏡を提供することができる。 The region extraction unit 57 extracts the part selected by the operation unit 8 from the face image using the feature points extracted by the feature extraction unit 54. The part selected by the operation unit 8 is, for example, the eyes or the mouth. By normalizing the position and size of the magnified portion, it is possible to provide a magnifier that does not require the user to align the face.
画像生成部５８は、記憶部６の記憶されている複数の顔画像を合成して３次元顔画像を生成する。複数の顔画像は、使用者の正面顔の画像と、使用者の左顔の画像と、使用者の右顔の画像とからなる。 The image generation unit 58 combines the plurality of face images stored in the storage unit 6 to generate a three-dimensional face image. The plurality of face images include an image of the front face of the user, an image of the left face of the user, and an image of the right face of the user.
記憶部６は、撮像部４で得られた撮像画像を記憶しているともに、第１〜第４の分析モードに応じて、処理装置５の処理に必要な情報と、処理装置５の処理によって得られた情報とを記憶している。また、記憶部６は、処理装置５が画像処理を行うためのプログラムを格納している。つまり、記憶部６は、顔画像取得部５１と認証部５２と属性取得部５３と特徴抽出部５４と分析部５５と制御部５６と領域抽出部５７と画像生成部５８との各機能を処理装置５に実現させるためのプログラムを格納している。 The storage unit 6 stores the captured image obtained by the imaging unit 4 and, depending on the first to fourth analysis modes, information necessary for processing by the processing device 5 and processing by the processing device 5. The obtained information is stored. The storage unit 6 stores a program for the processing device 5 to perform image processing. That is, the storage unit 6 processes the functions of the face image acquisition unit 51, the authentication unit 52, the attribute acquisition unit 53, the feature extraction unit 54, the analysis unit 55, the control unit 56, the region extraction unit 57, and the image generation unit 58. A program for realizing the apparatus 5 is stored.
表示部７は、例えば液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイなどであり、制御部５６の指示に従って、各種情報を表示する表示機能を有している。表示部７は、ミラー３の一部を切り欠くなどして内装されている（図２参照）。表示部７は、分析部５５で求められた美容情報を表示する。また、表示部７は、美容情報に応じて使用者の対処方法を提示する。さらに、表示部７は、領域抽出部５７で抽出された部分を拡大表示する。 The display unit 7 is, for example, a liquid crystal display or an organic EL (Electro-Luminescence) display, and has a display function for displaying various types of information in accordance with instructions from the control unit 56. The display unit 7 is internally provided by cutting out a part of the mirror 3 (see FIG. 2). The display unit 7 displays the beauty information obtained by the analysis unit 55. Moreover, the display part 7 presents a user's coping method according to beauty information. Further, the display unit 7 displays the portion extracted by the region extraction unit 57 in an enlarged manner.
操作部８は、例えば複数の操作ボタンまたはタッチパネルなどであり、使用者が処理装置５に情報を入力する際に用いられる。例えば、操作部８は、第１〜第４の分析モードを使用者が選択できるように構成されている。また、操作部８は、各分析モードにおいて、複数の対処モードを使用者が選択できるように構成されている。使用者は、操作部８を操作することによって、第１〜第４の分析モードの中から所望の分析モードを選択し、さらに、複数の対処モードの中から所望の対処モードを選択することができる。さらに、操作部８は、使用者が顔画像の中から拡大表示させたい部分を選択できるように構成されている。操作部８に入力された情報は、操作部８から処理装置５に出力される。 The operation unit 8 is, for example, a plurality of operation buttons or a touch panel, and is used when a user inputs information to the processing device 5. For example, the operation unit 8 is configured so that the user can select the first to fourth analysis modes. The operation unit 8 is configured so that the user can select a plurality of handling modes in each analysis mode. The user can select a desired analysis mode from the first to fourth analysis modes by operating the operation unit 8, and can further select a desired response mode from a plurality of response modes. it can. Further, the operation unit 8 is configured so that the user can select a part that the user wants to enlarge from the face image. Information input to the operation unit 8 is output from the operation unit 8 to the processing device 5.
また、操作部８は、他の例として、使用者が非接触で操作できるように、使用者と洗面化粧台との間の空間における使用者の指の空間位置を検出し、空間位置に応じて操作内容を判断するような構成であってもよい。 Further, as another example, the operation unit 8 detects the spatial position of the user's finger in the space between the user and the vanity so that the user can operate without contact, and according to the spatial position. The operation content may be determined.
ＵＶＡ照射部９は、例えばＬＥＤ（Light Emitting Diode）などの光源９１と、ＤＭＤ（DigitalMirror Device）９２と、光源９１およびＤＭＤ９２を制御する照射制御部９３とを備えている。 The UVA irradiation unit 9 includes a light source 91 such as an LED (Light Emitting Diode), a DMD (Digital Mirror Device) 92, and an irradiation control unit 93 that controls the light source 91 and the DMD 92.
次に、第１〜第４の分析モードのそれぞれにおける処理装置５の動作について順に説明する。 Next, operation | movement of the processing apparatus 5 in each of the 1st-4th analysis mode is demonstrated in order.
まず、第１の分析モード（使用者の顔に表われている使用者の疲れ度を求めて表示するモード）について説明する。 First, the first analysis mode (a mode for obtaining and displaying the degree of fatigue of the user appearing on the user's face) will be described.
顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。属性取得部５３は、使用者の属性を取得する。 The face image acquisition unit 51 acquires a user's face image from the captured image obtained by the imaging unit 4. The attribute acquisition unit 53 acquires user attributes.
特徴抽出部５４は、顔画像取得部５１で取得された顔画像から、使用者の疲れ度を特徴付ける特徴量を抽出する。まず、特徴抽出部５４は、例えばＡＳＭ（Active Shape Model）、ＡＣＭ（Active Contour Model）またはＡＡＭ（Active Appearance Model）などの特徴点抽出手法により、顔画像に顔モデルを照合し、顔画像の特徴点を抽出する。 The feature extraction unit 54 extracts a feature amount that characterizes the fatigue level of the user from the face image acquired by the face image acquisition unit 51. First, the feature extraction unit 54 collates a face model with a face image by a feature point extraction method such as ASM (Active Shape Model), ACM (Active Contour Model), or AAM (Active Appearance Model), for example. Extract points.
具体的には、特徴抽出部５４は、図３（ｂ）に示すように顔画像（図３（ａ）参照）に顔モデルを照合する。記憶部６には、例えば人種・性別・年代ごとに顔モデルが対応して記憶されている。各属性の顔モデルは、属性が同じである複数の顔写真を用いて事前に学習された顔モデルである。学習時に用いる顔写真は、例えば世界中の大学、研究機関または企業などで管理されている顔認識用データベースなどから予め取得される。 Specifically, the feature extraction unit 54 collates the face model with the face image (see FIG. 3A) as shown in FIG. In the storage unit 6, for example, face models are stored corresponding to each race, sex, and age. The face model of each attribute is a face model learned in advance using a plurality of face photographs having the same attribute. The face photograph used at the time of learning is acquired in advance from, for example, a face recognition database managed by universities, research institutions, or companies all over the world.
続いて、特徴抽出部５４は、図３（ｃ）に示すように、例えば目または口など、顔画像における顔器官（特定部位）の特徴点を抽出する。 Subsequently, as shown in FIG. 3C, the feature extraction unit 54 extracts feature points of the facial organ (specific part) in the face image such as eyes or mouth.
特徴点を抽出した特徴抽出部５４は、図４に示す目元の画像を用いて、目尻の下がり具合を表わす角θと、目の開き具合を表わす距離Ｌとを特徴量として抽出する。また、特徴抽出部５４は、口元の画像を用いて、口の開き具合を特徴量として抽出する。さらに、特徴抽出部５４は、顔画像から目の下のクマの色情報を数値化し、特徴量として抽出する。 The feature extraction unit 54 that has extracted the feature points uses the eye image shown in FIG. 4 to extract, as feature amounts, an angle θ representing the degree of lowering of the corner of the eye and a distance L representing the degree of opening of the eyes. In addition, the feature extraction unit 54 extracts the degree of opening of the mouth as a feature amount using the mouth image. Further, the feature extraction unit 54 digitizes the color information of the bear under the eyes from the face image and extracts it as a feature amount.
分析部５５は、特徴抽出部５４で抽出された特徴量を推定式にあてはめて、使用者の顔に表われている使用者の疲れ度を求める。疲れ度の推定式は、例えば、疲れ度＝Ａ１×（目尻の下がり）＋Ａ２×（口の開き）＋Ａ３×（目の開き）＋Ａ４×（目の下のクマの色）＋Ａ５などである。Ａ１〜Ａ５は定数である。上記推定式は、例えば性別・年代ごとに予め作成されている。疲れ度は、０〜１００％で表わされる。分析部５５で求められた疲れ度の情報は、制御部５６に出力されるとともに、記憶部６に記憶される。 The analysis unit 55 applies the feature amount extracted by the feature extraction unit 54 to the estimation formula to obtain the fatigue level of the user appearing on the user's face. The formula for estimating the fatigue level is, for example, fatigue level = A1 × (lower eye corner) + A2 × (open mouth) + A3 × (open eye) + A4 × (bear color under the eyes) + A5. A1 to A5 are constants. The estimation formula is created in advance for each gender and age, for example. The degree of fatigue is represented by 0 to 100%. Information on the degree of fatigue obtained by the analysis unit 55 is output to the control unit 56 and stored in the storage unit 6.
一般的に、人に疲労の負荷が加わると、顔の筋肉がたるむと考えられている。したがって、分析部５５が使用者の疲れ度を求める際に、使用者の目尻の下がり、口の開き、目の開きおよび目の下のクマの色が用いられる。 In general, it is thought that facial muscles sag when a person is fatigued. Therefore, when the analysis unit 55 determines the degree of fatigue of the user, the color of the user's lower corner of the eye, opening of the mouth, opening of the eyes and the bear under the eyes is used.
また、分析部５５は、推定式で用いた部位のうち最も疲れ度に寄与する部位を疲れ部位として求める。分析部５５で分析された疲れ部位の情報は、制御部５６に出力されるとともに、記憶部６に記憶される。 Moreover, the analysis part 55 calculates | requires the site | part which contributes to the fatigue degree most as a fatigue | exhaustion site | part among the site | parts used by the estimation formula. Information on the fatigued part analyzed by the analysis unit 55 is output to the control unit 56 and stored in the storage unit 6.
なお、分析部５５は、推定式を用いるのではなく、例えば自己組織化マップ（ＳＯＭ：Self Organization Map）などで数段階（例えば「疲れあり」・「少し疲れあり」・「疲れなし」の３段階）に仕分けることによって、使用者の疲れ度を求めてもよい。 Note that the analysis unit 55 does not use an estimation formula, but uses, for example, a self-organization map (SOM: Self Organization Map) or the like in several stages (for example, “with fatigue”, “with little fatigue”, with “without fatigue”. The user's fatigue level may be obtained by classifying in stages).
制御部５６は、疲れ度の情報と疲れ部位の情報と顔画像の画像データとを含む制御信号を表示部７に出力する。表示部７には、図５に示すように、疲れ度と疲れ部位と顔画像とが表示される。顔画像には、疲れ部位が示されている（図５の○印）。また、制御部５６は、使用者の対処方法の映像を表示部７に表示させることができる。使用者の対処方法としては、例えばメイク支援または美顔器を用いた顔のマッサージ方法などがある。使用者の対処方法の映像データは、記憶部６に記憶されている。記憶部６には、マッサージ方法の映像データが部位ごとに記憶されている。 The control unit 56 outputs to the display unit 7 a control signal including fatigue level information, fatigue site information, and face image data. As shown in FIG. 5, the display unit 7 displays the fatigue level, the fatigued part, and the face image. In the face image, a fatigued part is shown (circle mark in FIG. 5). Further, the control unit 56 can cause the display unit 7 to display an image of the user's coping method. The user's coping method includes, for example, makeup support or a facial massage method using a facial device. Video data of the user's coping method is stored in the storage unit 6. The storage unit 6 stores massage method video data for each part.
第１の分析モードが選択されるシーンとしては、例えば使用者が朝起きて疲れ度を確認し、対処のためのメイクをして、再度、疲れ度を確認するシーンがある。他の例としては、使用者が就寝前に疲れ度を確認し、疲れ部位への対処マッサージをして、再度、疲れ度を確認するシーンがある。 As a scene in which the first analysis mode is selected, for example, there is a scene in which the user wakes up in the morning to check the fatigue level, performs makeup for coping, and checks the fatigue level again. As another example, there is a scene where the user confirms the degree of fatigue before going to bed, performs a coping massage on the fatigued part, and confirms the degree of fatigue again.
続いて、第２の分析モード（使用者の顔の形態に関する情報を求めて表示するモード）について説明する。なお、第１の分析モードと同様の機能については説明を省略する。 Next, the second analysis mode (a mode for obtaining and displaying information related to the form of the user's face) will be described. Note that description of functions similar to those in the first analysis mode is omitted.
図１に示す顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。認証部５２は、使用者を個人認証する。属性取得部５３は、使用者の属性を取得する。 The face image acquisition unit 51 illustrated in FIG. 1 acquires a user's face image from the captured image obtained by the imaging unit 4. The authentication unit 52 personally authenticates the user. The attribute acquisition unit 53 acquires user attributes.
特徴抽出部５４は、例えばＡＳＭ、ＡＣＭまたはＡＡＭなどの特徴点抽出手法により、顔画像取得部５１で取得された顔画像に顔モデルを照合し、使用者の顔のフェースラインＰ１（図６参照）を抽出する。 The feature extraction unit 54 collates the face model with the face image acquired by the face image acquisition unit 51 by a feature point extraction method such as ASM, ACM or AAM, for example, and the face line P1 of the user's face (see FIG. 6). ).
分析部５５は、今回抽出されたフェースラインＰ１と過去に抽出されたフェースラインＰ２，Ｐ３（図６参照）とを比較して、使用者の顔のフェースラインの変化を分析する。 The analysis unit 55 compares the face line P1 extracted this time with the face lines P2 and P3 (see FIG. 6) extracted in the past, and analyzes changes in the face line of the user's face.
制御部５６は、図６に示すように、今回抽出されたフェースラインＰ１と過去に抽出されたフェースラインＰ２，Ｐ３とを重ね合わせて表示するように表示部７を制御する。また、制御部５６は、表示部７がマッサージ前の顔画像とマッサージ後の顔画像とを並べて表示するように表示部７を制御してもよい。使用者は、表示部７に表示された２つの顔画像を見比べることによって、マッサージの効果を確認することができる。 As shown in FIG. 6, the control unit 56 controls the display unit 7 so that the face line P1 extracted this time and the face lines P2 and P3 extracted in the past are superimposed and displayed. Moreover, the control part 56 may control the display part 7 so that the display part 7 may display the face image before massage and the face image after massage side by side. The user can confirm the effect of the massage by comparing the two face images displayed on the display unit 7.
なお、処理装置５は、３次元の顔画像を取得することができる場合、使用者の顔の形態に関する情報として、使用者の顔のたるみまたはしわを抽出し、たるみまたはしわに関する情報を表示部７に表示させることができる。 If the processing device 5 can acquire a three-dimensional face image, the processing device 5 extracts sagging or wrinkles of the user's face as information on the form of the user's face, and displays information on the sagging or wrinkles on the display unit. 7 can be displayed.
続いて、第３の分析モード（使用者の顔に存在する化粧品の状態を表わす情報を美容情報として求めて表示するモード）について説明する。なお、第１の分析モードと同様の機能については説明を省略する。 Next, a third analysis mode (a mode in which information indicating the state of cosmetics present on the user's face is obtained and displayed as beauty information) will be described. Note that description of functions similar to those in the first analysis mode is omitted.
図１に示す顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。属性取得部５３は、使用者の属性を取得する。 The face image acquisition unit 51 illustrated in FIG. 1 acquires a user's face image from the captured image obtained by the imaging unit 4. The attribute acquisition unit 53 acquires user attributes.
特徴抽出部５４は、第１の分析モードの場合と同様に、顔画像に顔モデルを照合する。特徴抽出部５４は、使用者の目の位置を特徴点として抽出する。 As in the case of the first analysis mode, the feature extraction unit 54 collates the face model with the face image. The feature extraction unit 54 extracts the position of the user's eyes as a feature point.
その後、制御部５６は、ＵＶＡ照射部９が使用者の顔のうち目の部分以外に紫外線を照射するようにＵＶＡ照射部９を制御する。これにより、使用者の目に対する安全性を確保することができる。使用者の顔に紫外線を照射した後、制御部５６は、使用者の顔を撮像部４が撮像するように撮像部４を制御する。この場合、撮像部４では、紫外線領域を透過するフィルタが用いられ、紫外線が照射されている顔が撮像される。 Thereafter, the control unit 56 controls the UVA irradiation unit 9 so that the UVA irradiation unit 9 irradiates ultraviolet rays to the part other than the eyes of the user's face. Thereby, the safety | security with respect to a user's eyes can be ensured. After irradiating the user's face with ultraviolet rays, the control unit 56 controls the imaging unit 4 so that the imaging unit 4 images the user's face. In this case, the imaging unit 4 uses a filter that transmits the ultraviolet region, and images a face irradiated with ultraviolet rays.
顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。図７（ａ）〜（ｄ）は、化粧下地クリームを塗ったときの顔画像を示し、図７（ｅ）〜（ｈ）は、日焼け止めクリームを塗ったときの顔画像を示す。 The face image acquisition unit 51 acquires a user's face image from the captured image obtained by the imaging unit 4. FIGS. 7A to 7D show face images when a makeup base cream is applied, and FIGS. 7E to 7H show face images when a sunscreen cream is applied.
特徴抽出部５４は、コントラスト変換機能と領域抽出機能とを有している。コントラスト変換機能とは、顔画像における画素値の分布を表わした濃度ヒストグラムまたはトーンカーブを用いて、顔画像の明るさおよびコントラストを変換する機能である。領域抽出機能とは、コントラスト変換機能によって明るさおよびコントラストが変換された顔画像から、化粧品が存在する領域を抽出する機能である。化粧品が存在する領域は他の領域とは異なる色であるため、特徴抽出部５４は、予め設定された閾値と各画素値とを比較して、化粧品が存在する領域を特徴量として抽出することができる。 The feature extraction unit 54 has a contrast conversion function and a region extraction function. The contrast conversion function is a function for converting the brightness and contrast of a face image using a density histogram or tone curve representing the distribution of pixel values in the face image. The area extraction function is a function for extracting an area where cosmetics are present from a face image whose brightness and contrast are converted by the contrast conversion function. Since the region where the cosmetic is present is a different color from the other regions, the feature extraction unit 54 compares the preset threshold value with each pixel value, and extracts the region where the cosmetic is present as the feature amount. Can do.
分析部５５は、特徴抽出部５４で抽出された領域から、使用者の顔に存在する化粧品の状態を表わす情報を美容情報として求める。 The analysis unit 55 obtains information representing the state of cosmetics present on the user's face as beauty information from the region extracted by the feature extraction unit 54.
制御部５６は、特徴抽出部５４で明るさおよびコントラストが変換された顔画像と、分析部５５で求められた美容情報とを表示部７が表示するように表示部７を制御する。 The control unit 56 controls the display unit 7 so that the display unit 7 displays the face image whose brightness and contrast have been converted by the feature extraction unit 54 and the beauty information obtained by the analysis unit 55.
ところで、画像生成部５８を用いて３次元画像を生成することができる。使用者の横顔を撮像する場合、使用者が操作部８を用いて撮像タイマのボタン（例えば５秒後に撮像するためのボタン）を押し、上記ボタンを押してから撮像されるまでの間に正面顔の姿勢から右の横顔の姿勢に変更することによって、右の横顔を撮像することができる。図７（ｂ），（ｆ）は、右の横顔の顔画像を示す。左の横顔も同様の方法で撮像することができる。図７（ｄ），（ｈ）は、左の横顔の顔画像を示す。図７（ｂ）〜（ｄ），（ｆ）〜（ｈ）に示すような正面顔と右の横顔と左の横顔との３枚の顔画像ができた時点で、使用者が操作部８の３次元合成ボタンを押すことによって、画像生成部５８は３次元顔画像を生成する。使用者は、表示部７の画面上にある３次元顔画像を使用者の指で自由に角度を変えることができる。なお、図７（ａ），（ｅ）は、通常に撮像された場合の顔画像を示す。 By the way, a three-dimensional image can be generated using the image generation unit 58. When imaging a user's profile, the user presses a button of an imaging timer (for example, a button for imaging after 5 seconds) by using the operation unit 8, and the front face from when the button is pressed until imaging is performed. The right side face can be imaged by changing the posture from the right side to the right side face. FIGS. 7B and 7F show a face image of the right profile. The left profile can also be imaged in a similar manner. FIGS. 7D and 7H show the left side face image. When the three face images of the front face, the right side face, and the left side face as shown in FIGS. 7B to 7D and 7F to 7H are formed, the user operates the operation unit 8. When the three-dimensional synthesis button is pressed, the image generation unit 58 generates a three-dimensional face image. The user can freely change the angle of the three-dimensional face image on the screen of the display unit 7 with the user's finger. FIGS. 7A and 7E show face images when captured normally.
続いて、第４の分析モード（使用者の顔の色彩に関する情報を求めて表示するモード）について説明する。なお、第１の分析モードでの処理装置５と同様の機能については説明を省略する。 Next, a fourth analysis mode (a mode for obtaining and displaying information related to the color of the user's face) will be described. Note that a description of functions similar to those of the processing device 5 in the first analysis mode is omitted.
顔画像取得部５１は、撮像部４で得られた撮像画像から使用者の顔画像を取得する。 The face image acquisition unit 51 acquires a user's face image from the captured image obtained by the imaging unit 4.
特徴抽出部５４は、顔画像取得部５１で取得された顔画像の画素値の色分布を求める。この際、昼夜または照明の有無によって顔画像の各画素の画素値が異なるため、特徴抽出部５４は、カラーマーカー（色基準）を用いて顔画像の各画素の画素値を補正し、補正後の顔画像の画素値の色分布を求める。 The feature extraction unit 54 obtains the color distribution of the pixel values of the face image acquired by the face image acquisition unit 51. At this time, since the pixel value of each pixel of the face image varies depending on whether or not lighting is performed day or night, the feature extraction unit 54 corrects the pixel value of each pixel of the face image using a color marker (color reference), and after correction The color distribution of the pixel values of the face image is obtained.
分析部５５は、顔画像の画素値の色分布から、使用者の顔の色彩に関する情報を求める。 The analysis unit 55 obtains information on the color of the user's face from the color distribution of the pixel values of the face image.
制御部５６は、顔画像および分析部５５の分析結果を表示部７が表示するように表示部７を制御する。 The control unit 56 controls the display unit 7 so that the display unit 7 displays the face image and the analysis result of the analysis unit 55.
なお、第４の分析モードにおいて、均一照明を行うことができる場合、特徴抽出部５４は、画素値の補正を省略することができる。 Note that, in the fourth analysis mode, when uniform illumination can be performed, the feature extraction unit 54 can omit correction of the pixel value.
次に、本実施形態に係る洗面化粧台の使用例について図８を用いて説明する。まず、使用者は操作部８を用いて分析モードを選択する（図８のＳ１）。第１の分析モードが選択された場合、洗面化粧台の前方に立っている使用者の顔を撮像部４が撮像し、処理装置５の顔画像取得部５１が、撮像部４で得られた撮像画像から使用者の顔画像を取得する（Ｓ２）。その後、属性取得部５３が使用者の属性を取得し、特徴抽出部５４が使用者の属性に対応する顔モデルを記憶部６から読み込んで顔画像にあてはめて、顔画像から顔器官の特徴点を抽出する（Ｓ３）。その後、処理装置５は、疲れ度に寄与する特徴量を抽出する（Ｓ４）。その後、分析部５５は、疲れ度の推定式を用いて、疲れ度を求め、疲れ部位を決定する（Ｓ５）。その後、表示部７は、撮像部４で撮像された顔画像とともに、現状の疲れ度および疲れ部位を表示する（Ｓ６）。 Next, a usage example of the vanity according to the present embodiment will be described with reference to FIG. First, the user selects an analysis mode using the operation unit 8 (S1 in FIG. 8). When the first analysis mode is selected, the imaging unit 4 captures the face of the user standing in front of the vanity, and the face image acquisition unit 51 of the processing device 5 is obtained by the imaging unit 4 A user's face image is acquired from the captured image (S2). Thereafter, the attribute acquisition unit 53 acquires the user's attribute, and the feature extraction unit 54 reads the face model corresponding to the user's attribute from the storage unit 6 and applies it to the face image. Is extracted (S3). Thereafter, the processing device 5 extracts a feature amount that contributes to the degree of fatigue (S4). Then, the analysis part 55 calculates | requires a fatigue degree using the estimation formula of a fatigue degree, and determines a fatigue | exhaustion site | part (S5). Thereafter, the display unit 7 displays the current degree of fatigue and the tired part together with the face image captured by the imaging unit 4 (S6).
その後、対処モードへ切り替えるための操作が使用者によって行われた場合（Ｓ７）、対処モードに切り替わり、対処モードに応じて表示部７が対処方法を表示する（Ｓ８）。例えば、美顔器を用いたマッサージに関するアドバイスの映像が表示された場合、使用者は、表示部７に表示された映像を見ながら、美顔器を用いて疲労部位を中心に顔をマッサージすることができる。 Thereafter, when an operation for switching to the handling mode is performed by the user (S7), the mode is switched to the handling mode, and the display unit 7 displays the handling method according to the handling mode (S8). For example, when a video of advice regarding massage using a facial device is displayed, the user can massage the face around a fatigue site using the facial device while viewing the video displayed on the display unit 7. it can.
その後、操作部８の終了ボタンが押されると終了する（Ｓ９）。ステップＳ７において、使用者が対処モードへ切り替えるための操作が行われなかった場合、終了ボタンが押されると終了する（Ｓ９）。 Thereafter, when the end button of the operation unit 8 is pressed, the process ends (S9). If the user does not perform an operation for switching to the handling mode in step S7, the process ends when the end button is pressed (S9).
以上、本実施形態の洗面化粧台によれば、顔画像を用いて使用者の顔の美容に関する美容情報を求めて提示することによって、使用者に対して自己の顔の美容を把握させることができる。このときに、撮像部４が使用者の顔を非接触で撮像することができるので、使用者の行為を阻害することなく、上記美容情報を求めて提示することができる。 As described above, according to the vanity table of the present embodiment, by using the face image to obtain and present the beauty information related to the beauty of the user's face, the user can grasp the beauty of his / her face. it can. At this time, since the imaging unit 4 can image the face of the user in a non-contact manner, the beauty information can be obtained and presented without hindering the user's action.
また、本実施形態の洗面化粧台によれば、美容情報に応じて使用者の対処方法を使用者に提示することによって、使用者に対して自己の顔の美容を積極的かつ効果的に改善させることができる。 Further, according to the vanity of the present embodiment, the user's face beauty is positively and effectively improved for the user by presenting the user with a coping method according to the beauty information. Can be made.
さらに、本実施形態の洗面化粧台によれば、使用者が操作部８を用いて使用時にモードを選択することができるので、使い勝手がよい。 Furthermore, according to the vanity of this embodiment, since the user can select a mode at the time of use using the operation part 8, it is convenient.
本実施形態の洗面化粧台は、第１の分析モードの場合に、使用者に対して自己の疲れ度を知らせることができ、第２の分析モードの場合に、使用者に対して自己の顔の形態を知らせることができる。また、第３の分析モードの場合に、使用者に対して自己の顔に存在する化粧品の状態を知らせることができ、第４の分析モードの場合に、使用者に対して自己の顔の色彩に関する情報を知らせることができる。 The vanity table of the present embodiment can inform the user of his / her fatigue level in the first analysis mode, and his / her face to the user in the second analysis mode. The form of can be informed. In the third analysis mode, the user can be informed of the state of cosmetics present on his / her face. In the fourth analysis mode, the user's face color can be indicated to the user. You can inform about.
また、本実施形態の洗面化粧台によれば、撮像部４で撮像された顔画像の一部を拡大表示することができるので、使用者は、拡大部分を詳細に見ることができ、美容行為をより効果的に行うことができる。 Moreover, according to the vanity table of this embodiment, since a part of face image imaged by the imaging part 4 can be enlarged and displayed, the user can see the enlarged part in detail, and a beauty act Can be performed more effectively.
さらに、本実施形態の洗面化粧台によれば、操作部８を用いて使用者が入力した主観評価に応じて補正した美容情報を表示部７に表示させることによって、使用者は主観評価を反映した美容情報を視認することができる。 Furthermore, according to the vanity of this embodiment, the user reflects the subjective evaluation by causing the display unit 7 to display the beauty information corrected according to the subjective evaluation input by the user using the operation unit 8. The beauty information made can be visually recognized.
（実施形態２）
実施形態２に係る洗面化粧台は、使用者の歯の汚れ状態を分析するモード（第５の分析モード）を有している点で、実施形態１に係る洗面化粧台と相違する。以下、第５の分析モードについて説明する。実施形態１の洗面化粧台と同様の構成要素および第１〜第４の分析モードでの動作については、説明を省略する。
(Embodiment 2)
The vanity according to the second embodiment is different from the vanity according to the first embodiment in that it has a mode (fifth analysis mode) for analyzing the dirt state of the user's teeth. Hereinafter, the fifth analysis mode will be described. Description of the same components as in the vanity table of Embodiment 1 and the operations in the first to fourth analysis modes is omitted.
本実施形態の撮像部４は、青色光を発する青色発光源を備え、キャビネット２から取り出し可能に設けられている。本実施形態の撮像部４は、使用者によってキャビネット２から取り出された状態で、青色発光源を用いて青色光を発しながら使用者の歯を非接触で撮像する。なお、実施形態１の撮像部４と同様の機能については説明を省略する。 The imaging unit 4 of the present embodiment includes a blue light source that emits blue light, and is provided so as to be removable from the cabinet 2. The imaging unit 4 of the present embodiment images the user's teeth in a non-contact manner while emitting blue light using a blue light source while being taken out from the cabinet 2 by the user. Note that description of functions similar to those of the imaging unit 4 of the first embodiment is omitted.
本実施形態の顔画像取得部５１は、撮像部４で得られた撮像画像を使用者の顔画像として取得する。 The face image acquisition unit 51 of the present embodiment acquires the captured image obtained by the imaging unit 4 as a user's face image.
本実施形態の特徴抽出部５４は、顔画像取得部５１で取得された顔画像から、他の領域と異なる色の領域（例えばピンク色の領域）の位置および面積を特徴量として抽出する。 The feature extraction unit 54 of the present embodiment extracts the position and area of a region (for example, a pink region) of a color different from other regions from the face image acquired by the face image acquisition unit 51 as a feature amount.
本実施形態の分析部５５は、特徴抽出部５４で抽出された面積と閾値とを比較する。閾値は、予め設定されている。その後、分析部５５は、比較結果を用いて、使用者の歯の汚れ状態を表わす情報を美容情報として求める。具体的には、分析部５５は、特徴抽出部５４で抽出された領域の面積が閾値以上である場合、使用者の歯が汚れていると判定する。一方、特徴抽出部５４で抽出された領域の面積が閾値未満である場合、分析部５５は、使用者の歯は汚れていないと判定する。 The analysis unit 55 of this embodiment compares the area extracted by the feature extraction unit 54 with a threshold value. The threshold is set in advance. Then, the analysis part 55 calculates | requires the information showing the dirt state of a user's tooth | gear as beauty information using a comparison result. Specifically, the analysis unit 55 determines that the user's teeth are dirty when the area of the region extracted by the feature extraction unit 54 is greater than or equal to a threshold value. On the other hand, when the area of the region extracted by the feature extraction unit 54 is less than the threshold, the analysis unit 55 determines that the user's teeth are not dirty.
本実施形態の制御部５６は、使用者の歯が汚れていると分析部５５で判定された場合、歯の汚れている領域の位置を表示部７が表示するように表示部７を制御する。使用者の歯が汚れていないと分析部５５で判定された場合、使用者の歯が汚れていない旨のコメントを表示部７が表示するように表示部７を制御する。また、制御部５６は、使用者の対処方法として歯磨きのアドバイスの映像を表示部７に表示させることができる。歯磨きのアドバイスの映像データは、記憶部６に記憶されている。 When the analysis unit 55 determines that the user's teeth are dirty, the control unit 56 of the present embodiment controls the display unit 7 so that the display unit 7 displays the position of the region where the teeth are dirty. . When the analysis unit 55 determines that the user's teeth are not dirty, the display unit 7 is controlled so that the display unit 7 displays a comment that the user's teeth are not dirty. Further, the control unit 56 can display a video image of toothpaste advice on the display unit 7 as a countermeasure for the user. Tooth brushing advice video data is stored in the storage unit 6.
上記より、本実施形態の洗面化粧台は、第５の分析モードの場合に、使用者の歯に青色光を照射した状態で撮像された歯の画像を用いて、使用者の歯の汚れ状態を表わす情報を求めることによって、使用者に対して自己の歯の汚れ状態を知らせることができる。 From the above, in the fifth analysis mode, the vanity table of the present embodiment uses a tooth image captured in a state in which the user's teeth are irradiated with blue light, and the user's teeth are dirty. The user can be informed of the dirt status of his / her teeth.
なお、実施形態１の場合、洗面化粧台は、必ずしも第１〜第４の分析モードの全てを有していなくてもよく、第１〜第４の分析モードのうち１つ〜３つの分析モードを有しているのみであってもよい。また、実施形態２の場合、洗面化粧台は、必ずしも第１〜第５の分析モードの全てを有していなくてもよく、第１〜第５の分析モードのうち１つ〜４つの分析モードを有しているのみであってもよい。洗面化粧台は、第３の分析モードを有していない場合、ＵＶＡ照射部９を備えていなくてもよい。 In the case of Embodiment 1, the vanity table does not necessarily have all of the first to fourth analysis modes, and one to three analysis modes among the first to fourth analysis modes. You may only have. Further, in the case of Embodiment 2, the vanity table does not necessarily have all of the first to fifth analysis modes, and one to four analysis modes among the first to fifth analysis modes. You may only have. When the vanity table does not have the third analysis mode, the UVA irradiation unit 9 may not be provided.
なお、処理装置５の特徴抽出部５４は、第１の分析モードまたは第２の分析モードの場合に、属性取得部５３で取得された属性に応じて特徴量の抽出手法を変更してもよい。特徴抽出部５４が使用者の属性に応じて特徴量の抽出手法を変更することによって、特徴量の抽出精度を高めることができるので、使用者の顔の状態をさらに精度よく判定することができる。 Note that the feature extraction unit 54 of the processing device 5 may change the feature amount extraction method according to the attribute acquired by the attribute acquisition unit 53 in the first analysis mode or the second analysis mode. . Since the feature extraction unit 54 changes the feature amount extraction method according to the user's attribute, the feature amount extraction accuracy can be increased, and thus the state of the user's face can be determined with higher accuracy. .
また、特徴抽出部５４は、第１の分析モードまたは第２の分析モードの場合に、特徴量の抽出手法を個人ごとに変更してもよい。この場合、記憶部６は、特徴量を抽出する際に顔画像に照合させる顔モデルを個人ごとに記憶する。特徴抽出部５４は、認証部５２で個人認証された使用者に応じて特徴量の抽出手法を変更する。 The feature extraction unit 54 may change the feature amount extraction method for each individual in the first analysis mode or the second analysis mode. In this case, the storage unit 6 stores, for each individual, a face model to be collated with the face image when extracting the feature amount. The feature extraction unit 54 changes the feature amount extraction method according to the user who is personally authenticated by the authentication unit 52.
使用者の顔画像は、各画素の画素値が明るさおよび色ではなく熱に関する値である熱画像などであってもよい。 The user's face image may be a thermal image in which the pixel value of each pixel is a value related to heat instead of brightness and color.
なお、各実施形態ではミラー付什器として洗面化粧台について説明しているが、必ずしもミラー付什器が洗面化粧台である必要はない。各実施形態の変形例として、ミラー付什器が化粧台、姿見または風呂鏡などであってもよい。ミラー什器が化粧台、姿見または風呂鏡などであっても何ら問題はなく、各実施形態の洗面化粧台と同様の効果を得ることができる。 In each embodiment, the vanity is described as a mirror-equipped appliance, but the mirror-equipped appliance does not necessarily need to be a vanity. As a modification of each embodiment, the mirror-equipped fixture may be a dressing table, a figure or a bath mirror. There is no problem even if the mirror fixture is a dressing table, a figure or a bathroom mirror, and the same effect as the vanity table of each embodiment can be obtained.
３ ミラー（鏡面部）
４ 撮像部
５４ 特徴抽出部
５５ 分析部
５７ 領域抽出部
７ 表示部（提示部）
3 Mirror (mirror surface)
4 imaging unit 54 feature extraction unit 55 analysis unit 57 region extraction unit 7 display unit (presentation unit)
Claims (9)
前記鏡面部に対向する位置に存在する前記使用者の顔の少なくとも一部を非接触で撮像する撮像部と、
前記撮像部で撮像された顔画像における形状および色の少なくとも１つを特徴量として抽出する特徴抽出部と、
前記特徴抽出部で抽出された前記特徴量に応じて、前記使用者の顔の美容に関する情報を美容情報として求める分析部と、
前記分析部で求められた前記美容情報を提示する提示部と
を備えることを特徴とするミラー付什器。 A mirror part that reflects the user's face;
An imaging unit that images at least a part of the user's face present at a position facing the mirror surface in a non-contact manner;
A feature extraction unit that extracts at least one of a shape and a color in the face image captured by the imaging unit as a feature amount;
According to the feature amount extracted by the feature extraction unit, an analysis unit that obtains information about the beauty of the user's face as beauty information;
And a presentation unit for presenting the beauty information obtained by the analysis unit.
前記分析部は、前記美容情報として、前記使用者の歯の汚れ状態を表わす情報を求める
ことを特徴とする請求項１または２記載のミラー付什器。 The imaging unit images the user's teeth in a non-contact manner,
The said analysis part calculates | requires the information showing the stain | pollution | contamination state of the said user's tooth | gear as the said beauty information. The fixture with a mirror of Claim 1 or 2 characterized by the above-mentioned.
前記提示部は、前記領域抽出部で抽出された部分を拡大表示する
ことを特徴とする請求項１〜７のいずれか１項に記載のミラー付什器。 An area extracting unit for extracting a part of the face image;
The said presentation part enlarges and displays the part extracted by the said area | region extraction part. The fixture with a mirror of any one of Claims 1-7 characterized by the above-mentioned.
前記提示部は、前記画像生成部で生成された前記３次元顔画像を提示する
ことを特徴とする請求項１〜７のいずれか１項に記載のミラー付什器。 An image generation unit that combines the plurality of face images to generate a three-dimensional face image;
The fixture with mirror according to any one of claims 1 to 7, wherein the presentation unit presents the three-dimensional face image generated by the image generation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011014369A JP2012152389A (en) | 2011-01-26 | 2011-01-26 | Furniture with mirror |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011014369A JP2012152389A (en) | 2011-01-26 | 2011-01-26 | Furniture with mirror |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012152389A true JP2012152389A (en) | 2012-08-16 |
Family
ID=46834791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011014369A Withdrawn JP2012152389A (en) | 2011-01-26 | 2011-01-26 | Furniture with mirror |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012152389A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014149696A (en) * | 2013-02-01 | 2014-08-21 | Panasonic Corp | Makeup support apparatus, makeup support method and makeup support program |
| JP2016066383A (en) * | 2016-01-22 | 2016-04-28 | パナソニックＩｐマネジメント株式会社 | Makeup support device and makeup support method |
| JP2016129027A (en) * | 2016-01-22 | 2016-07-14 | パナソニックＩｐマネジメント株式会社 | Makeup support apparatus and makeup support method |
| WO2016199434A1 (en) * | 2015-06-12 | 2016-12-15 | パナソニックＩｐマネジメント株式会社 | Vanity |
| CN108784176A (en) * | 2017-04-27 | 2018-11-13 | 芜湖美的厨卫电器制造有限公司 | bathroom mirror and its control method |
| CN108804976A (en) * | 2017-04-27 | 2018-11-13 | 芜湖美的厨卫电器制造有限公司 | bathroom mirror and its control method |
| CN108983639A (en) * | 2017-05-31 | 2018-12-11 | 芜湖美的厨卫电器制造有限公司 | Control system, method and the bathroom mirror of bathroom atmosphere |
| CN114430663A (en) * | 2019-09-24 | 2022-05-03 | 卡西欧计算机株式会社 | Image processing apparatus, image processing method, and image processing program |
-
2011
- 2011-01-26 JP JP2011014369A patent/JP2012152389A/en not_active Withdrawn
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014149696A (en) * | 2013-02-01 | 2014-08-21 | Panasonic Corp | Makeup support apparatus, makeup support method and makeup support program |
| US10251463B2 (en) | 2013-02-01 | 2019-04-09 | Panasonic Intellectual Property Management Co., Ltd. | Makeup application assistance device, makeup application assistance method, and makeup application assistance program |
| US10292481B2 (en) | 2013-02-01 | 2019-05-21 | Panasonic Intellectual Property Management Co., Ltd. | Makeup application assistance device, makeup application assistance method, and makeup application assistance program |
| US10299568B2 (en) | 2013-02-01 | 2019-05-28 | Panasonic Intellectual Property Management Co., Ltd. | Makeup application assistance device, makeup application assistance method, and makeup application assistance program |
| WO2016199434A1 (en) * | 2015-06-12 | 2016-12-15 | パナソニックＩｐマネジメント株式会社 | Vanity |
| JP2017000521A (en) * | 2015-06-12 | 2017-01-05 | パナソニックＩｐマネジメント株式会社 | Dressing table |
| JP2016066383A (en) * | 2016-01-22 | 2016-04-28 | パナソニックＩｐマネジメント株式会社 | Makeup support device and makeup support method |
| JP2016129027A (en) * | 2016-01-22 | 2016-07-14 | パナソニックＩｐマネジメント株式会社 | Makeup support apparatus and makeup support method |
| CN108784176A (en) * | 2017-04-27 | 2018-11-13 | 芜湖美的厨卫电器制造有限公司 | bathroom mirror and its control method |
| CN108804976A (en) * | 2017-04-27 | 2018-11-13 | 芜湖美的厨卫电器制造有限公司 | bathroom mirror and its control method |
| CN108983639A (en) * | 2017-05-31 | 2018-12-11 | 芜湖美的厨卫电器制造有限公司 | Control system, method and the bathroom mirror of bathroom atmosphere |
| CN114430663A (en) * | 2019-09-24 | 2022-05-03 | 卡西欧计算机株式会社 | Image processing apparatus, image processing method, and image processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012152389A (en) | Furniture with mirror | |
| US9298883B2 (en) | Capturing data for individual physiological monitoring | |
| US8062220B2 (en) | Monitoring physiological conditions | |
| US7972266B2 (en) | Image data normalization for a monitoring system | |
| US8038615B2 (en) | Inferring wellness from physiological conditions data | |
| US8038614B2 (en) | Establishing baseline data for physiological monitoring system | |
| CN114502061A (en) | Image-based automatic skin diagnosis using deep learning | |
| TWI669103B (en) | Information processing device, information processing method and program | |
| US9992409B2 (en) | Digital mirror apparatus | |
| US20080294018A1 (en) | Privacy management for well-being monitoring | |
| JP5879562B2 (en) | Mirror device with camera, fixture with mirror | |
| US20140275948A1 (en) | Information terminal device | |
| KR102172988B1 (en) | Device and method for eyeliner-wearing guide | |
| CN108475107A (en) | Enhanced mirror | |
| CN104105953A (en) | Device and method for color calibration | |
| CN108431730A (en) | Enhanced mirror | |
| CN111796662A (en) | Makeup method based on AR technology and multifunctional makeup mirror system | |
| KR102224596B1 (en) | A system and method for automatically generating facial correction designs and application protocols for handling identifiable facial deviations | |
| JP2012014650A (en) | Mental/physical condition control apparatus | |
| JP5942138B2 (en) | Psychosomatic recovery device and psychosomatic recovery system using the same | |
| JP5399874B2 (en) | Image processing apparatus and image processing method | |
| JP6338191B2 (en) | Attribute estimation system | |
| KR20190074688A (en) | Method and system for providing skin care and color makeup information by analyzing skin using light emitting mirror | |
| JP2022056505A (en) | Skin state evaluation method | |
| JP2006014921A (en) | Bone structure check sheet for bone structure design makeup, sheet set for bone structure design makeup comprising the bone structure check sheet, and method for makeup using the sheet set |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140401 |