JP2010179012A

JP2010179012A - Complexion measuring device, complexion measuring program, makeup simulation device and makeup simulation program

Info

Publication number: JP2010179012A
Application number: JP2009026913A
Authority: JP
Inventors: Yasuo Goto; 康男後藤
Original assignee: Shiseido Co Ltd
Current assignee: Shiseido Co Ltd
Priority date: 2009-02-09
Filing date: 2009-02-09
Publication date: 2010-08-19
Anticipated expiration: 2029-02-09
Also published as: JP5227212B2

Abstract

<P>PROBLEM TO BE SOLVED: To accurately measure the completion of a user's face from an image of the user's face photographed while the influence of environmental light is eliminated. <P>SOLUTION: This complexion measuring device 1 for measuring the complexion of a user's face includes: a photographing means 14 for photographing a complexion measuring image at such a shutter speed as to eliminate the influence of environmental light and photographing a display image at such a shutter speed as to be influenced by the environmental light; a stroboscopic means 16 for emitting light interlocking with the shutter operation of the photographing means 14; a measuring means for measuring the complexion of the user's face from the complexion measuring image influenced by the stroboscopic light, which has been photographed by the photographing means 14; and a display means 13 for displaying measurement result of the measuring means together with the display image influenced by the stroboscopic light and environmental light, which is photographed by the photographing means 14. By this configuration, the above problem is solved. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラムに係り、特にユーザの顔の肌色を測定する肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラムに関する。 The present invention relates to a skin color measuring device, a skin color measuring program, a makeup simulation device, and a makeup simulation program, and in particular, a skin color measuring device, a skin color measuring program, a makeup simulation device, and a makeup simulation program for measuring the skin color of a user's face. About.

従来、ユーザの顔の肌色に合わせたファンデーションの効果検証のため、化粧品販売店等では機器によりユーザの顔の肌色の測定が行われている。ユーザの顔の肌色の測定は例えば機器をユーザの顔に接触又は近づけて行う方法（例えば特許文献１参照）やユーザの顔を撮影してユーザの顔の画像から求める方法（例えば特許文献２参照）が一般に知られている。 Conventionally, in order to verify the effect of the foundation according to the skin color of the user's face, cosmetics stores and the like have measured the skin color of the user's face with a device. The measurement of the skin color of the user's face is, for example, a method in which the device is brought into contact with or close to the user's face (see, for example, Patent Document 1), or a method in which the user's face is photographed and obtained from the user's face image ) Is generally known.

特開２００８−２８６６４９号公報JP 2008-286649 A 特開２００５−３４３５５号公報JP 2005-34355 A

店頭では、店頭で撮影した画像を利用して、肌のカウンセリングやメーキャップシミュレーション等が行われている。しかしながら、撮影したユーザの顔の画像から求める方法によるユーザの顔の肌色の測定は、化粧品販売店等における蛍光灯等の光源（環境光）の影響を避けられず、ユーザの顔の肌色を正確に測定できなかった。なお、特許文献２に記載されている技術は偏光板を透過することにより偏光面が整えられた光源の光を利用するものであって、環境光の問題を解消するものではない。 At stores, skin counseling, makeup simulation, and the like are performed using images taken at stores. However, the measurement of the skin color of the user's face by a method obtained from the photographed user's face image cannot avoid the influence of a light source (environmental light) such as a fluorescent light in a cosmetics store or the like, and the skin color of the user's face is accurately determined. Could not be measured. The technique described in Patent Document 2 uses light from a light source whose polarization plane is adjusted by transmitting through a polarizing plate, and does not solve the problem of ambient light.

本発明は、上記の点に鑑みなされたもので、環境光の影響を除去して撮影したユーザの顔の画像から正確にユーザの顔の肌色を測定することができる肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラムを提供することを目的とする。 The present invention has been made in view of the above points, and a skin color measuring apparatus and a skin color measuring program capable of accurately measuring the skin color of a user's face from an image of the user's face taken by removing the influence of ambient light An object of the present invention is to provide a makeup simulation apparatus and a makeup simulation program.

上記した課題を解決するため、本発明は、ユーザの顔の肌色を測定する肌色測定装置であって、環境光の影響を除去できるシャッタ速度で肌色測定用画像を撮影すると共に、環境光の影響を受けるシャッタ速度で表示用画像を撮影する撮影手段と、前記撮影手段のシャッタ動作に連動して発光するストロボ手段と、前記撮影手段が撮影したストロボ光の影響を受けた前記肌色測定用画像からユーザの顔の肌色を測定する測定手段と、前記測定手段による測定結果を、前記撮影手段が撮影したストロボ光及び環境光の影響を受けた前記表示用画像と共に表示する表示手段とを有する。 In order to solve the above-described problems, the present invention is a skin color measurement device that measures the skin color of a user's face, and captures an image for skin color measurement at a shutter speed capable of removing the influence of ambient light, and the influence of ambient light. A photographing means for photographing a display image at a shutter speed, a strobe means for emitting light in conjunction with a shutter operation of the photographing means, and a skin color measurement image influenced by the strobe light photographed by the photographing means. Measuring means for measuring the skin color of the user's face, and display means for displaying the measurement result by the measuring means together with the display image influenced by the strobe light and the environmental light taken by the photographing means.

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。 In addition, what applied the component, expression, or arbitrary combination of the component of this invention to a method, an apparatus, a system, a computer program, a recording medium, a data structure, etc. is also effective as an aspect of this invention.

本発明によれば、環境光の影響を除去して撮影したユーザの顔の画像から正確にユーザの顔の肌色を測定することができる。 ADVANTAGE OF THE INVENTION According to this invention, the skin color of a user's face can be measured correctly from the image of the user's face image | photographed remove | eliminating the influence of environmental light.

本発明による肌色測定装置の第１実施例の外観図である。It is an external view of 1st Example of the skin color measuring apparatus by this invention. 本発明による肌色測定装置の第２実施例の外観図である。It is an external view of 2nd Example of the skin color measuring apparatus by this invention. 本発明による肌色測定装置の第３実施例の外観図である。It is an external view of 3rd Example of the skin color measuring apparatus by this invention. 本発明による肌色測定装置の第４実施例の外観図である。It is an external view of 4th Example of the skin color measuring apparatus by this invention. 本発明による肌色測定装置の一実施例のハードウェア構成図である。It is a hardware block diagram of one Example of the skin color measuring apparatus by this invention. 本発明による肌色測定装置の他の実施例のハードウェア構成図である。It is a hardware block diagram of the other Example of the skin color measuring apparatus by this invention. 肌色測定装置の処理手順を表した一例の処理ブロック図である。It is a process block diagram of an example showing the process sequence of the skin color measuring apparatus. 肌色測定装置の処理手順を表した一例のフローチャートである。It is a flowchart of an example showing the process sequence of the skin color measuring apparatus. ストロボ光のみに影響を受けた一例の肌色測定用画像である。It is an image for skin color measurement of an example influenced only by strobe light. 環境光及びストロボ光に影響を受けた一例の表示用画像である。It is an example of a display image influenced by ambient light and strobe light. 肌色計測エリアを表す一例の表示用画像である。It is an image for a display showing an example of a skin color measurement area. 肌色分類マップの一例のイメージ図である。It is an image figure of an example of a skin color classification map. メイクアップシミュレーション装置が行う処理の概略を表した一実施例のフローチャートである。It is a flowchart of one Example showing the outline of the process which a makeup simulation apparatus performs. モニタに表示される画面の一例の遷移図である。It is a transition diagram of an example of a screen displayed on a monitor. メイクアップシミュレーション装置の処理手順を表した一例の処理ブロック図である。It is an example processing block diagram showing the processing procedure of the makeup simulation apparatus. シミュレータメインアプリが行なう処理を表す画面イメージ図である。It is a screen image figure showing the process which a simulator main application performs. メイクアップ前画像に含まれるユーザの顔のイメージ画像に、トラッキングポイントを表した一例のイメージ図である。It is an image figure of an example which represented the tracking point in the image image of the user's face contained in the image before makeup. メイクアップ処理パラメータファイルの一例の構成図である。It is a block diagram of an example of a makeup process parameter file. ファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。It is an image figure which shows the tracking point referred by foundation process. ファンデーション処理を示す一例のフローチャートである。It is a flowchart of an example which shows a foundation process. 輪郭を表した一例のイメージ画像である。It is an example image image showing an outline. ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。It is an image figure of an example showing the original image before a blurring process, and the original image after a blurring process.

次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。なお、本実施例の肌色測定装置及びメイクアップシミュレーション装置は外観及びユーザの顔の肌色を測定する処理について同様である。ここでは、肌色測定装置を中心に説明するが、メイクアップシミュレーション装置も同様である。 Next, modes for carrying out the present invention will be described based on the following embodiments with reference to the drawings. The skin color measuring apparatus and makeup simulation apparatus of the present embodiment are the same in the process of measuring the appearance and the skin color of the user's face. Although the skin color measuring device will be mainly described here, the makeup simulation device is also the same.

図１は本発明による肌色測定装置の第１実施例の外観図である。図１（Ａ）は肌色測定装置１の正面図である。図１（Ｂ）は肌色測定装置１の平面図である。図１（Ｃ）は肌色測定装置１の側面図である。 FIG. 1 is an external view of a first embodiment of a skin color measuring apparatus according to the present invention. FIG. 1A is a front view of the skin color measuring apparatus 1. FIG. 1B is a plan view of the skin color measuring apparatus 1. FIG. 1C is a side view of the skin color measuring apparatus 1.

肌色測定装置１は、本体部１０，アーム部１１，土台部１２を有する。肌色測定装置１は本体部１０がアーム部１１によって可動可能に土台部１２へ取り付けられている。本体部１０は、表示手段としてのモニタ１３，撮影手段としてのカメラ１４，照明手段としての照明１５，ストロボ手段としてのストロボ１６を有する。なお、肌色測定装置１は内蔵されたコンピュータ（図示せず）を有している。 The skin color measuring device 1 has a main body part 10, an arm part 11, and a base part 12. The skin color measuring apparatus 1 has a main body 10 attached to a base 12 so as to be movable by an arm 11. The main body 10 includes a monitor 13 as display means, a camera 14 as photographing means, illumination 15 as illumination means, and a strobe 16 as strobe means. The skin color measuring apparatus 1 has a built-in computer (not shown).

モニタ１３は液晶ディスプレイや有機ＥＬ（organic electroluminescence）ディスプレイ等である。カメラ１４はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラやＣＣＤ（Charge Coupled Device）カメラ等である。なお、カメラ１４は偏光フィルタ（図示せず）を介して撮影が可能な仕組みを有している。照明１５は冷陰極管や発光ダイオード（ＬＥＤ）等である。 The monitor 13 is a liquid crystal display, an organic EL (organic electroluminescence) display, or the like. The camera 14 is a CMOS (Complementary Metal-Oxide Semiconductor) camera, a CCD (Charge Coupled Device) camera, or the like. Note that the camera 14 has a mechanism that allows photographing through a polarizing filter (not shown). The illumination 15 is a cold cathode tube or a light emitting diode (LED).

モニタ１３，カメラ１４，照明１５，ストロボ１６は後述のようにコンピュータにより制御される。なお、ストロボ１６はユーザの顔の肌色を測定する主な測定部位である頬の部分へ効果的にストロボ光を当てる位置に設置される。ユーザや化粧品販売員等の操作を受け付ける為、モニタ１３はタッチパネルモニタとなっている。タッチパネルモニタからユーザによる操作を受け付け、モニタ１３は操作情報をコンピュータへ出力する。ユーザや化粧品販売員等の操作を受け付ける仕組みはタッチパネルモニタに限らず、操作部を別途設けてもよい。 The monitor 13, camera 14, illumination 15, and strobe 16 are controlled by a computer as will be described later. The strobe 16 is installed at a position where the strobe light is effectively applied to the cheek portion, which is the main measurement site for measuring the skin color of the user's face. The monitor 13 is a touch panel monitor for accepting operations of a user, a cosmetic salesperson, and the like. The operation by the user is accepted from the touch panel monitor, and the monitor 13 outputs the operation information to the computer. A mechanism for accepting an operation by a user, a cosmetic salesperson or the like is not limited to the touch panel monitor, and an operation unit may be separately provided.

図２は本発明による肌色測定装置の第２実施例の外観図である。なお、図２の外観図は平面図及び側面図が図１の外観図と同様であるため、平面図及び側面図の図示を省略している。図２は肌色測定装置１の正面図である。図２の肌色測定装置１は、照明１５を有していない点で図１の肌色測定装置１と異なっている。 FIG. 2 is an external view of a second embodiment of the skin color measuring apparatus according to the present invention. Note that the plan view and the side view of the external view of FIG. 2 are omitted because the plan view and the side view are the same as the external view of FIG. FIG. 2 is a front view of the skin color measuring apparatus 1. The skin color measuring apparatus 1 in FIG. 2 is different from the skin color measuring apparatus 1 in FIG.

図２の肌色測定装置１は、モニタ１３が自発光の可能な例えば有機ＥＬディスプレイである。図２の肌色測定装置１はモニタ１３の両端部分１３ａを発光させることで、両端部分１３ａが図１の照明１５の役割を果たす。図２の肌色測定装置１のその他の構成は図１の肌色測定装置１と同様であるため、説明を省略する。 The skin color measuring apparatus 1 in FIG. 2 is, for example, an organic EL display in which the monitor 13 can emit light. The skin color measuring apparatus 1 in FIG. 2 causes both end portions 13a of the monitor 13 to emit light, and the both end portions 13a serve as the illumination 15 in FIG. Since the other structure of the skin color measuring apparatus 1 of FIG. 2 is the same as that of the skin color measuring apparatus 1 of FIG. 1, description is abbreviate | omitted.

図３は本発明による肌色測定装置の第３実施例の外観図である。図３は肌色測定装置１の正面図である。図３の肌色測定装置１は、本体部１０の形状が横長となり、２枚のモニタ１３Ａ及び１３Ｂが並ぶように配置され、その２枚のモニタ１３Ａ及び１３Ｂの間にカメラ１４が配置されている点で図１の肌色測定装置１と異なっている。 FIG. 3 is an external view of a third embodiment of the skin color measuring apparatus according to the present invention. FIG. 3 is a front view of the skin color measuring apparatus 1. In the skin color measuring apparatus 1 of FIG. 3, the main body 10 has a horizontally long shape and is arranged so that two monitors 13A and 13B are arranged, and a camera 14 is arranged between the two monitors 13A and 13B. This is different from the skin color measuring apparatus 1 shown in FIG.

図３の肌色測定装置１は、カメラ１４がＣＣＤカメラ等である。カメラ１４は超小型カメラのＣＭＯＳカメラ等であってもよい。図３の肌色測定装置１は、カメラ１４の位置をモニタ１３Ａ及び１３Ｂの間に配置することにより、図１の肌色測定装置１と比較して、撮影したユーザの顔の画像における目線が自然になる。なお、図３の肌色測定装置１のその他の構成は図１の肌色測定装置１と同様であるため、説明を省略する。 In the skin color measuring apparatus 1 of FIG. 3, the camera 14 is a CCD camera or the like. The camera 14 may be a CMOS camera of a micro camera. The skin color measuring device 1 in FIG. 3 has the camera 14 positioned between the monitors 13A and 13B, so that the line of sight in the photographed user's face image is natural compared to the skin color measuring device 1 in FIG. Become. 3 is the same as that of the flesh color measuring apparatus 1 in FIG. 1, and thus the description thereof is omitted.

図４は本発明による肌色測定装置の第４実施例の外観図である。図４は肌色測定装置１の正面図である。図４の肌色測定装置１は、本体部１０の形状が横長となり、２枚のモニタ１３Ａ及び１３Ｂが並ぶように配置され、その２枚のモニタ１３Ａ及び１３Ｂの間にカメラ１４が配置され、照明１５を有していない点で図１の肌色測定装置１と異なる。 FIG. 4 is an external view of a fourth embodiment of the skin color measuring apparatus according to the present invention. FIG. 4 is a front view of the skin color measuring apparatus 1. The skin color measuring apparatus 1 in FIG. 4 has a main body 10 that is horizontally long and is arranged so that two monitors 13A and 13B are arranged, and a camera 14 is arranged between the two monitors 13A and 13B. 1 is different from the skin color measuring apparatus 1 of FIG.

図４の肌色測定装置１は、モニタ１３Ａ及び１３Ｂが、自発光の可能な例えば有機ＥＬディスプレイである。図４の肌色測定装置１はモニタ１３Ａ及び１３Ｂの両端部分１３ａ及び１３ｂを発光させることで、両端部分１３ａ及び１３ｂが図１の照明１５の役割を果たす。また、図４の肌色測定装置１は、カメラ１４が超小型カメラのＣＭＯＳカメラ等である。 The skin color measuring apparatus 1 in FIG. 4 is, for example, an organic EL display in which the monitors 13A and 13B can emit light. The skin color measuring apparatus 1 in FIG. 4 causes both end portions 13a and 13b of the monitors 13A and 13B to emit light, so that both end portions 13a and 13b serve as the illumination 15 in FIG. 4 is a CMOS camera or the like in which the camera 14 is a microminiature camera.

図４の肌色測定装置１は、カメラ１４の位置をモニタ１３Ａ及び１３Ｂの間に配置することにより、図１の肌色測定装置１と比較して、撮影したユーザの顔の画像における目線が自然になる。なお、図４の肌色測定装置１のその他の構成は図１の肌色測定装置１と同様であるため、説明を省略する。 The skin color measuring apparatus 1 in FIG. 4 has the camera 14 positioned between the monitors 13A and 13B, so that the line of sight in the photographed user's face image is natural compared to the skin color measuring apparatus 1 in FIG. Become. 4 is the same as that of the flesh color measuring apparatus 1 in FIG. 1, and thus the description thereof is omitted.

図５は本発明による肌色測定装置の一実施例のハードウェア構成図である。図５に示すハードウェア構成図は図１の肌色測定装置１の例を表している。なお、図１と同一部分については同一符号を付している。 FIG. 5 is a hardware configuration diagram of an embodiment of the skin color measuring apparatus according to the present invention. The hardware configuration diagram shown in FIG. 5 represents an example of the skin color measuring apparatus 1 of FIG. In addition, the same code | symbol is attached | subjected about the same part as FIG.

図５の肌色測定装置１は、それぞれバスＢ等で相互に接続されたモニタ１３，カメラ１４，照明１５，ストロボ１６，タッチパネルモニタ２１，メモリカードＩ／Ｆ２２，主記憶装置２４，演算処理装置２５を有する。図５のメモリカードＩ／Ｆ２２，メモリカード２３，主記憶装置２４，演算処理装置２５は、前述のコンピュータである。メモリカード２３はメモリカードＩ／Ｆ２２を介してバスＢに接続される。 The skin color measuring apparatus 1 shown in FIG. 5 includes a monitor 13, a camera 14, an illumination 15, a strobe 16, a touch panel monitor 21, a memory card I / F 22, a main storage device 24, and an arithmetic processing device 25 that are connected to each other via a bus B or the like. Have The memory card I / F 22, the memory card 23, the main storage device 24, and the arithmetic processing device 25 in FIG. 5 are the above-described computers. The memory card 23 is connected to the bus B via the memory card I / F 22.

メモリカード２３は、通電しなくても記憶が消えないフラッシュメモリと、外部との入出力を受け持つコントローラ回路とを有する。また、メモリカード２３は例えばＡＴＡ規格に準拠しており、演算処理装置２５からハードディスク等の補助記憶装置と同じように見えるものとする。メモリカード２３は例えばメモリカードの規格の一つであるコンパクトフラッシュ（Compact Flash）（登録商標）を利用できる。 The memory card 23 has a flash memory that does not lose its memory even if it is not energized, and a controller circuit that handles external input / output. Further, the memory card 23 conforms to, for example, the ATA standard, and looks like an auxiliary storage device such as a hard disk from the arithmetic processing unit 25. As the memory card 23, for example, Compact Flash (registered trademark), which is one of memory card standards, can be used.

肌色測定装置１を制御する肌色測定プログラムは肌色測定装置１を制御する各種プログラムの少なくとも一部である。肌色測定プログラムは例えばメモリカード２３の配布などによって提供される。肌色測定装置１はメモリカード２３を脱着可能であるため、メモリカード２３を取り替えることでバージョンアップやシステム変更に対応できる。 The skin color measurement program for controlling the skin color measuring device 1 is at least a part of various programs for controlling the skin color measuring device 1. The skin color measurement program is provided by distributing the memory card 23, for example. Since the skin color measuring apparatus 1 can remove the memory card 23, the memory card 23 can be replaced to cope with version upgrades and system changes.

肌色測定プログラムを記録したメモリカード２３がメモリカードＩ／Ｆに接続されたあとで電源が投入されると、肌色測定装置１はメモリカード２３から肌色測定プログラムを読み出して主記憶装置２４に格納する。そして、肌色測定装置１は主記憶装置２４に格納された肌色測定プログラムに従って、演算処理装置２５に後述のような各種処理を実現させている。モニタ１３，カメラ１４，照明１５，ストロボ１６，タッチパネルモニタ２１は後述のような演算処理装置２５による各種処理によって制御される。 When the power is turned on after the memory card 23 storing the skin color measurement program is connected to the memory card I / F, the skin color measurement device 1 reads the skin color measurement program from the memory card 23 and stores it in the main storage device 24. . The skin color measuring apparatus 1 causes the arithmetic processing unit 25 to implement various processes as described below in accordance with the skin color measuring program stored in the main storage device 24. The monitor 13, the camera 14, the illumination 15, the strobe 16, and the touch panel monitor 21 are controlled by various processes by the arithmetic processing unit 25 as described later.

図６は本発明による肌色測定装置の他の実施例のハードウェア構成図である。図６に示すハードウェア構成図は図２の肌色測定装置１の例を表している。なお、図２と同一部分については同一符号を付している。図６の肌色測定装置１は、照明１５を有していない点で図５の肌色測定装置１と異なる。図６の肌色測定装置１はモニタ１３の両端部分を発光させることで、両端部分が図１の照明１５の役割を果たす為である。図６の肌色測定装置１のその他の構成は図５の肌色測定装置１と同様であるため、説明を省略する。 FIG. 6 is a hardware configuration diagram of another embodiment of the skin color measuring apparatus according to the present invention. The hardware configuration diagram shown in FIG. 6 represents an example of the skin color measuring apparatus 1 of FIG. In addition, the same code | symbol is attached | subjected about the same part as FIG. The skin color measuring apparatus 1 in FIG. 6 is different from the skin color measuring apparatus 1 in FIG. This is because the skin color measuring apparatus 1 in FIG. 6 emits light at both ends of the monitor 13 so that both ends serve as the illumination 15 in FIG. Since the other structure of the skin color measuring apparatus 1 of FIG. 6 is the same as that of the skin color measuring apparatus 1 of FIG. 5, description is abbreviate | omitted.

なお、図３及び図４の肌色測定装置１のハードウェア構成図は、図５及び図６のハードウェア構成図と、２枚のモニタ１３Ａ及び１３Ｂを有する点で異なるが、その他の構成について同様であるため、説明を省略する。 The hardware configuration diagram of the flesh color measuring apparatus 1 in FIGS. 3 and 4 differs from the hardware configuration diagram in FIGS. 5 and 6 in that it has two monitors 13A and 13B, but the other configurations are the same. Therefore, the description is omitted.

（肌色測定装置）
次に、肌色測定装置１の処理手順について説明する。図７は、肌色測定装置の処理手順を表した一例の処理ブロック図である。図８は、肌色測定装置の処理手順を表した一例のフローチャートである。 (Skin color measuring device)
Next, the processing procedure of the skin color measuring apparatus 1 will be described. FIG. 7 is a processing block diagram of an example showing the processing procedure of the skin color measuring apparatus. FIG. 8 is a flowchart illustrating an example of the processing procedure of the skin color measuring apparatus.

図７に示した肌色測定装置１は、コンピュータ３０で肌色測定プログラムを実行することにより実現されている専用ＡＰＩ３１，縮小部３４，トリミング部３５，顔認識処理部３８，トラッキングポイントＤＢ３９，詳細部位抽出部４０，トリミング部４１，肌色分析部４３，肌色分類マップ４４，トラッキングポイントＤＢ４５及び表示制御部４６を有する。 The skin color measuring apparatus 1 shown in FIG. 7 is a dedicated API 31, a reduction unit 34, a trimming unit 35, a face recognition processing unit 38, a tracking point DB 39, and a detailed part extraction realized by executing a skin color measurement program on a computer 30. A unit 40, a trimming unit 41, a skin color analysis unit 43, a skin color classification map 44, a tracking point DB 45, and a display control unit 46.

例えばタッチパネルモニタからユーザの顔の肌色測定開始の操作を受け付けると、専用ＡＰＩ（application programming interface）３１はステップＳ１に進み、静止画撮影処理を行う。ステップＳ１の静止画撮影処理では、専用ＡＰＩ３１が、カメラ１４及びストロボ１６を制御し、肌色測定用画像３２と、表示用画像３３とを撮影する。 For example, when an operation for starting skin color measurement of the user's face is received from the touch panel monitor, a dedicated API (application programming interface) 31 proceeds to step S1 and performs still image shooting processing. In the still image shooting process in step S1, the dedicated API 31 controls the camera 14 and the strobe 16 to capture the skin color measurement image 32 and the display image 33.

具体的に、専用ＡＰＩ３１はカメラ１４のシャッタを切るときにストロボ１６が発光するように制御する。また、専用ＡＰＩ３１は肌色測定用画像３２を撮影するとき、カメラ１４のシャッタ速度を、環境光の影響を除去できるシャッタ速度（例えば１０００分の１秒）とする。 Specifically, the dedicated API 31 controls the strobe 16 to emit light when the camera 14 is released. In addition, when the dedicated API 31 captures the skin color measurement image 32, the shutter speed of the camera 14 is set to a shutter speed (for example, 1/1000 second) at which the influence of ambient light can be removed.

カメラ１４のシャッタ速度が例えば１０００分の１秒など、十分に速い場合、撮影された肌色測定用画像３２は環境光の影響が除去され、ストロボ光のみに影響を受けたものとなる。図９はストロボ光のみに影響を受けた一例の肌色測定用画像である。 When the shutter speed of the camera 14 is sufficiently high, for example, 1/1000 second, the photographed skin color measurement image 32 is affected by only the strobe light without the influence of the ambient light. FIG. 9 is an example of a skin color measurement image affected only by the strobe light.

専用ＡＰＩ３１は表示用画像３３を撮影するとき、カメラ１４のシャッタ速度を、環境光の影響を受けるシャッタ速度（例えば３００分の１秒）とする。カメラ１４のシャッタ速度が例えば３００分の１秒など、遅い場合、撮影された表示用画像３３は環境光及びストロボ光に影響を受けたものとなる。図１０は環境光及びストロボ光に影響を受けた一例の表示用画像である。 When the dedicated API 31 captures the display image 33, the shutter speed of the camera 14 is set to a shutter speed (for example, 1/300 second) that is affected by ambient light. When the shutter speed of the camera 14 is slow, such as 1/300 second, the captured display image 33 is affected by the ambient light and strobe light. FIG. 10 is an example of a display image affected by the ambient light and strobe light.

このように、ストロボ光の影響を受けた肌色測定用画像３２及び表示用画像３３はストロボ光の色味，照度のばらつきが少ないというメリットを受けることができる。カメラ１４の設定は、ストロボ光の色味，照度のばらつきが少ないというから固定化できる。例えばカメラ１４の設定は、ストロボ撮影時にグレーカードにてホワイトバランスがとれた状態で固定化する。また、カメラ１４の設定における明るさは、アイリス，ゲイン値を肌色付近の画素が飽和しない程度で固定化する。 As described above, the skin color measurement image 32 and the display image 33 affected by the strobe light can receive a merit that variations in the color and illuminance of the strobe light are small. The setting of the camera 14 can be fixed because there is little variation in the color and illuminance of the strobe light. For example, the setting of the camera 14 is fixed in a state where white balance is achieved with a gray card during flash photography. Further, the brightness in the setting of the camera 14 is fixed so that the iris and gain values do not saturate the pixels near the skin color.

ステップＳ２に進み、縮小部３４は表示用画像３３に対して縮小処理を行い、縮小画像３６を得る。顔認識処理部３８は、縮小画像３６からユーザの顔を認識するための後述するようなトラッキングポイントをＦＦＴ（高速フーリエ変換）により得て、トラッキングポイントＤＢ３９に格納する。また、顔認識処理部３８は認識したユーザの顔のトラッキングポイントから図１１に示す肌色計測エリア５０を設定する。 In step S 2, the reduction unit 34 performs a reduction process on the display image 33 to obtain a reduced image 36. The face recognition processing unit 38 obtains tracking points (to be described later) for recognizing the user's face from the reduced image 36 by FFT (Fast Fourier Transform) and stores the tracking points in the tracking point DB 39. Further, the face recognition processing unit 38 sets the skin color measurement area 50 shown in FIG. 11 from the tracking points of the recognized user's face.

図１１は肌色計測エリアを表す一例の表示用画像である。なお、肌色計測エリア５０は外部設定ファイルにより変更が可能とする。例えば肌色計測エリア５０は外部設定ファイルにより、トラブルあるいは影の部分を除く顔の肌色部分全体とすることもできる。特にほほの部分の肌色が安定しているため、図１１の肌色計測エリア５０は基準として使用することができる。顔認識処理部３８は、設定した肌色計測エリア５０の情報を、トラッキングポイントＤＢ３９に格納したトラッキングポイントに付加する。 FIG. 11 is an example display image showing a skin color measurement area. The skin color measurement area 50 can be changed by an external setting file. For example, the skin color measurement area 50 may be the entire skin color part of the face excluding troubles or shadows by an external setting file. In particular, since the skin color of the cheek portion is stable, the skin color measurement area 50 in FIG. 11 can be used as a reference. The face recognition processing unit 38 adds the information of the set skin color measurement area 50 to the tracking points stored in the tracking point DB 39.

トリミング部３５は表示用画像３３に対してトリミング処理を行い、表示用画像３７を得る。詳細部位抽出部４０はトラッキングポイントＤＢ３９に格納したトラッキングポイントに基づき、トリミングを行った表示用画像３７に含まれるユーザの顔の画像から詳細部位を抽出し、その詳細部位から顔立ち診断に用いるタイプ等の追加情報を得る。 The trimming unit 35 performs a trimming process on the display image 33 to obtain a display image 37. Based on the tracking points stored in the tracking point DB 39, the detailed part extracting unit 40 extracts a detailed part from the image of the user's face included in the trimmed display image 37, and uses the type used for the facial feature diagnosis from the detailed part. Get additional information.

詳細部位抽出部４０はトラッキングポイントＤＢ３９に格納したトラッキングポイントに追加情報を付加した新たなトラッキングポイントをトラッキングポイントＤＢ４５に格納する。 The detailed part extraction unit 40 stores a new tracking point in which additional information is added to the tracking point stored in the tracking point DB 39 in the tracking point DB 45.

ステップＳ３に進み、トリミング部４１は肌色測定用画像３２に対してトリミング処理を行い、肌色測定用画像４２を得る。肌色分析部４３はトラッキングポイントＤＢ４５に格納されたトラッキングポイント及び肌色計測エリア５０を得る。 In step S <b> 3, the trimming unit 41 performs a trimming process on the skin color measurement image 32 to obtain a skin color measurement image 42. The skin color analysis unit 43 obtains the tracking point and skin color measurement area 50 stored in the tracking point DB 45.

肌色分析部４３はトラッキングポイント及び肌色計測エリア５０に基づき、肌色測定用画像４２の肌色計測エリア（例えば、ほほの部分）５０の画像を使ってヒストグラムを作成する。また、肌色分析部４３は作成したヒストグラムに基づき、頻度の高い色から全体のｎ％分の画素の平均値を計算する。なお、肌色の分類にはＨＳＶ色空間（ＨＳＶ値）を利用する。 The skin color analysis unit 43 creates a histogram using the image of the skin color measurement area (for example, a cheek) 50 of the skin color measurement image 42 based on the tracking point and the skin color measurement area 50. Further, the skin color analysis unit 43 calculates an average value of pixels for n% of the entire color from frequently used colors based on the created histogram. Note that the HSV color space (HSV value) is used for the classification of the skin color.

ステップＳ４に進み、肌色分析部４３は肌色分類マップＤＢ４４から図１２に示す肌色分類マップを得る。図１２は肌色分類マップの一例のイメージ図である。肌色分類マップは「標準」，「明るめ」，「暗め」，「黄み」，「赤み」の代表ＨＳＶ値をモニターテストにより作成したものである。 In step S4, the skin color analysis unit 43 obtains the skin color classification map shown in FIG. FIG. 12 is an image diagram of an example of a skin color classification map. The skin color classification map is created by monitor tests of representative HSV values of “standard”, “light”, “dark”, “yellow”, and “red”.

肌色分析部４３は肌色分類マップの代表ＨＳＶ値と、ステップＳ３の肌色計算処理により求めたＨＳＶ値の位置関係を求め、図１２の肌色分類マップにプロットすることで肌色を分類する。 The skin color analysis unit 43 determines the positional relationship between the representative HSV value of the skin color classification map and the HSV value obtained by the skin color calculation process in step S3, and classifies the skin color by plotting it on the skin color classification map of FIG.

ステップＳ５に進み、表示制御部４６は、表示用画像３７，肌色分析部４３による肌色分類結果の情報に基づき、肌色分析部４３による肌色分類結果の情報と、表示用画像３７とをモニタ１３に表示させる。 In step S5, the display control unit 46 uses the display image 37 and the information on the skin color classification result obtained by the skin color analysis unit 43 to display the information on the skin color classification result obtained by the skin color analysis unit 43 and the display image 37 on the monitor 13. Display.

なお、表示制御部４６は、表示用画像３７，トラッキングポイントＤＢ４５に格納されているトラッキングポイントの追加情報，肌色分析部４３による肌色分類結果の情報に基づき、肌色分析部４３による肌色分類結果の情報と、顔立ち診断結果の情報と、表示用画像３７とをモニタ１３に表示させてもよい。 The display control unit 46 is configured to display information on the skin color classification result by the skin color analysis unit 43 based on the display image 37, additional information on the tracking points stored in the tracking point DB 45, and information on the skin color classification result by the skin color analysis unit 43. Further, the information on the facial diagnosis result and the display image 37 may be displayed on the monitor 13.

このように、肌色測定装置１は環境光の影響を除去してユーザの顔の画像を容易に撮影することができ、環境光の影響を除去して撮影したユーザの顔の画像から正確にユーザの顔の肌色を測定できる。 As described above, the skin color measurement device 1 can easily capture an image of the user's face by removing the influence of the ambient light, and can accurately capture the user from the image of the user's face taken by removing the influence of the ambient light. The skin color of the face can be measured.

（メイクアップシミュレーション装置）
前述した肌色測定装置１の肌色測定機能は、後述のメイクアップシミュレーション装置に利用できる。そこで、以下では肌色測定装置１の肌色測定機能を利用するメイクアップシミュレーション装置について説明する。 (Makeup simulation device)
The skin color measuring function of the skin color measuring apparatus 1 described above can be used in a makeup simulation apparatus described later. Therefore, hereinafter, a makeup simulation apparatus that uses the skin color measurement function of the skin color measurement apparatus 1 will be described.

本発明によるメイクアップシミュレーション装置は、鏡というメイクアップに必要不可欠なアイテムをコンセプトとし、ユーザとのインタラクティブな機能を持つ。また、本発明によるメイクアップシミュレーション装置は、ユーザがあたかも鏡を見ながら自然にメイクアップをしている気分にさせる特徴を持つ。 The makeup simulation apparatus according to the present invention is based on the concept of a mirror essential item for makeup, and has an interactive function with a user. In addition, the makeup simulation apparatus according to the present invention has a feature that makes the user feel as if they are doing makeup naturally while looking at the mirror.

メイクアップシミュレーション装置は、撮影した動画像をコンピュータで画像処理することで、動画像に含まれるユーザの顔の画像にメイクアップを施して、デジタルの鏡であるモニタ１３に表示する。なお、メイクアップシミュレーション装置は、商品情報や美容情報もモニタ１３に表示できる。 The makeup simulation apparatus performs image processing on a captured moving image by a computer, thereby applying makeup to the face image of the user included in the moving image and displaying the image on the monitor 13 which is a digital mirror. The makeup simulation apparatus can also display product information and beauty information on the monitor 13.

次に、メイクアップシミュレーション装置の処理手順について説明する。図１３はメイクアップシミュレーション装置が行う処理の概略を表した一実施例のフローチャートである。図１４は、モニタに表示される画面の一例の遷移図である。 Next, a processing procedure of the makeup simulation apparatus will be described. FIG. 13 is a flowchart of an embodiment showing an outline of processing performed by the makeup simulation apparatus. FIG. 14 is a transition diagram of an example of a screen displayed on the monitor.

例えばタッチパネルモニタからユーザの顔の肌色測定開始の操作を受け付けると、メイクアップシミュレーション装置はステップＳ１１の顔画像取り込み処理を行う。ステップＳ１１の顔画像取り込み処理は図８のステップＳ１と同様である。顔画像取り込み処理により肌色測定用画像と、表示用画像とを撮影したあと、メイクアップシミュレーション装置はモニタ１３に例えば表示用画像を含む画面イメージ６１を表示する。 For example, when an operation for starting skin color measurement of the user's face is received from the touch panel monitor, the makeup simulation apparatus performs a face image capturing process in step S11. The face image capturing process in step S11 is the same as step S1 in FIG. After the skin color measurement image and the display image are captured by the face image capturing process, the makeup simulation apparatus displays a screen image 61 including, for example, a display image on the monitor 13.

また、メイクアップシミュレーション装置はステップＳ１２に進み、図８のステップＳ２〜Ｓ５に相当する素肌色分析処理を行う。メイクアップシミュレーション装置は素肌色分析処理により、ユーザの顔の肌色を「標準」，「明るめ」，「暗め」，「黄み」，「赤み」に分類する。メイクアップシミュレーション装置は、肌色分類結果の情報と表示用画面とを含む画面イメージ６２をモニタ１３に表示する。 Further, the makeup simulation apparatus proceeds to step S12, and performs bare skin color analysis processing corresponding to steps S2 to S5 in FIG. The makeup simulation apparatus classifies the skin color of the user's face into “standard”, “lighter”, “darker”, “yellowish”, and “redness” by bare skin color analysis processing. The makeup simulation apparatus displays a screen image 62 including information on the skin color classification result and a display screen on the monitor 13.

ステップＳ１３に進み、メイクアップシミュレーション装置はステップＳ１２の肌色分類結果の情報から、お勧めＦＤ（ファンデーション）を提案する為のお勧めＦＤ提案処理を行う。お勧めＦＤ提案処理は、ステップＳ１２の素肌色分析処理により分類するユーザの顔の色ごとに、ＦＤ商品情報を関連付けてデータベース（ＤＢ）化しておくことで実現することができる。即ち、メイクアップシミュレーション装置はステップＳ１２の肌色分類結果の情報に基づき、分類されたユーザの顔の色に関連付けられたＦＤ商品情報をＤＢから取得することで、お勧めＦＤ商品情報と表示用画面とを含む画面イメージ６３をモニタ１３に表示する。 Proceeding to step S13, the makeup simulation apparatus performs a recommended FD proposal process for proposing a recommended FD (foundation) from the information of the skin color classification result of step S12. The recommended FD proposal process can be realized by associating FD product information with a database (DB) for each user face color classified by the bare skin color analysis process in step S12. That is, the makeup simulation apparatus obtains recommended FD product information and a display screen by acquiring from the DB FD product information associated with the classified face color of the user based on the skin color classification result information in step S12. Is displayed on the monitor 13.

ステップＳ１４に進み、メイクアップシミュレーション装置は肌色測定用画像を用いて立体感分析処理を行う。なお、立体感分析処理は公知の技術を利用できる。メイクアップシミュレーション装置は立体感分析結果と表示用画面とを含む画面イメージ６４をモニタ１３に表示する。 In step S14, the makeup simulation apparatus performs a stereoscopic effect analysis process using the skin color measurement image. A known technique can be used for the stereoscopic effect analysis process. The makeup simulation apparatus displays a screen image 64 including a stereoscopic effect analysis result and a display screen on the monitor 13.

ステップＳ１５に進み、メイクアップシミュレーション装置はファンデーション，プレメーキャップ，フェースカラーの何れの商品効果シミュレーションを行わせるかを選択するための画面イメージ６４をモニタ１３に表示する。画面イメージ６５は、例えばユーザの顔の動画像と、ファンデーション，プレメーキャップ，フェースカラーの何れの商品効果シミュレーションを行わせるかを選択するボタン等の仕掛けとを含む。 In step S15, the makeup simulation apparatus displays on the monitor 13 a screen image 64 for selecting which product effect simulation of foundation, pre-makeup, or face color is to be performed. The screen image 65 includes, for example, a moving image of the user's face and a device such as a button for selecting which product effect simulation of foundation, pre-makeup, or face color is to be performed.

例えばタッチパネルモニタからファンデーションの商品効果シミュレーションを選択するボタンが選択されると、ステップＳ１６に進み、メイクアップシミュレーション装置はファンデーションシミュレーション処理を行う。ファンデーションシミュレーション処理は動画像に含まれるユーザの顔にファンデーションのメイクアップを施して、モニタ１３に画面イメージ６６を表示するものである。なお、ファンデーションシミュレーション処理は公知の技術（例えば特開２００７−２１６０００号公報）を利用できる。 For example, when a button for selecting the product effect simulation of the foundation is selected from the touch panel monitor, the process proceeds to step S16, and the makeup simulation apparatus performs a foundation simulation process. In the foundation simulation process, foundation makeup is applied to the user's face included in the moving image, and the screen image 66 is displayed on the monitor 13. For the foundation simulation process, a known technique (for example, JP 2007-216000 A) can be used.

例えばタッチパネルモニタからプレメーキャップの商品効果シミュレーションを選択するボタンが選択されると、ステップＳ１７に進み、メイクアップシミュレーション装置はプレメーキャップシミュレーション処理を行う。プレメーキャップシミュレーション処理は動画像に含まれるユーザの顔にプレメーキャップを施して、モニタ１３に画面イメージ６７を表示するものである。なお、プレメーキャップシミュレーション処理は、公知の技術（例えば特開２００７−２１６０００号公報）を利用できる。 For example, when a button for selecting pre-make product effect simulation is selected from the touch panel monitor, the process proceeds to step S17, and the makeup simulation apparatus performs pre-make simulation processing. In the pre-make simulation process, pre-make-up is performed on the user's face included in the moving image, and the screen image 67 is displayed on the monitor 13. Note that a known technology (for example, Japanese Patent Application Laid-Open No. 2007-216000) can be used for the pre-makeup simulation process.

また、例えばタッチパネルモニタからフェースカラーの商品効果シミュレーションを選択するボタンが選択されると、ステップＳ１８に進み、メイクアップシミュレーション装置はフェースカラーシミュレーション処理を行う。フェースカラーシミュレーション処理は動画像に含まれるユーザの顔にフェースカラーのメイクアップを施して、モニタ１３に画面イメージ６８を表示するものである。なお、フェースカラーシミュレーション処理は公知の技術（例えば特開２００７−２１６０００号公報）を利用できる。 For example, when a button for selecting face color product effect simulation is selected from the touch panel monitor, the process proceeds to step S18, and the makeup simulation apparatus performs face color simulation processing. In the face color simulation process, face color makeup is applied to the face of the user included in the moving image, and the screen image 68 is displayed on the monitor 13. The face color simulation process can use a known technique (for example, Japanese Patent Application Laid-Open No. 2007-216000).

図１５は、メイクアップシミュレーション装置の処理手順を表した一例の処理ブロック図である。図１５のメイクアップシミュレーション装置１００は、図７に示した肌色測定装置１の構成を一部に有している。 FIG. 15 is a processing block diagram illustrating an example of a processing procedure of the makeup simulation apparatus. The makeup simulation apparatus 100 in FIG. 15 partially has the configuration of the skin color measurement apparatus 1 shown in FIG.

図１５に示すメイクアップシミュレーション装置１００は、アナログカメラ１５１，ＵＳＢキャプチャデバイス１５２，動画ファイル１５３，メイクアップカメラ１５４，ストロボ１５５，静止画システム１５６，共有メモリ１５７，シミュレータメインアプリ１５８，インターフェースアプリ１５９及び動画ファイル１６０を有する。メイクアップカメラ１５４は、図７のカメラ１４に対応する。ストロボ１５５は、図７のストロボ１６に対応する。 The makeup simulation apparatus 100 shown in FIG. 15 includes an analog camera 151, a USB capture device 152, a moving image file 153, a makeup camera 154, a strobe 155, a still image system 156, a shared memory 157, a simulator main application 158, an interface application 159, and a moving image. It has a file 160. Makeup camera 154 corresponds to camera 14 in FIG. The strobe 155 corresponds to the strobe 16 of FIG.

アナログカメラ１５１は撮影した例えばＮＴＳＣ方式の動画像をＵＳＢキャプチャデバイス１５２経由で出力する。ＵＳＢキャプチャデバイス１５２から出力された動画像は例えばＡＰＩの一例としてのＤｉｒｅｃｔＸ１６１を利用してシミュレータメインアプリ１５８に入力される。動画ファイル１５３もＤｉｒｅｃｔＸ１６１を利用してシミュレータメインアプリ１５８に入力される。 The analog camera 151 outputs, for example, a captured NTSC moving image via the USB capture device 152. The moving image output from the USB capture device 152 is input to the simulator main application 158 using, for example, DirectX 161 as an example of an API. The moving image file 153 is also input to the simulator main application 158 using the DirectX 161.

メイクアップカメラ１５４は撮影した動画像をシリアルインターフェースの一例としてのＩＥＥＥ１３９４経由で出力する。メイクアップカメラ１５４から出力された動画像は専用ＡＰＩ３１を利用してシミュレータメインアプリ１５８に入力される。シミュレータメインアプリ１５８は専用ＡＰＩ３１を利用して入力された動画像から動画像用解像度の原画像を得ると共に、前述の肌色測定用画像３２と、表示用画像３３とを得る。 The makeup camera 154 outputs the captured moving image via IEEE1394 as an example of a serial interface. The moving image output from the makeup camera 154 is input to the simulator main application 158 using the dedicated API 31. The simulator main application 158 obtains a moving image resolution original image from a moving image input using the dedicated API 31, and obtains the aforementioned skin color measurement image 32 and display image 33.

シミュレータメインアプリ１５８はＤｉｒｅｃｔＸ１６１を利用して入力された動画像及び動画ファイル１５３と、専用ＡＰＩ３１を利用して入力された動画像から得られた動画像用解像度の動画像とを原画像とし、トリミング及び縮小処理を行う。 The simulator main application 158 uses the moving image and moving image file 153 input using the DirectX 161 and the moving image having the moving image resolution obtained from the moving image input using the dedicated API 31 as an original image and trimming. And reduction processing.

シミュレータメインアプリ１５８は原画像に対してトリミングを行ってメイクアップ前画像を得る。また、シミュレータメインアプリ１５８は原画像に対して縮小処理を行って顔認識処理用画像を得る。顔認識処理部１６３は、顔認識処理用画像からユーザの顔を認識するための後述するようなトラッキングポイント１６４を、ＦＦＴにより得る。 The simulator main application 158 performs trimming on the original image to obtain a pre-makeup image. Further, the simulator main application 158 performs a reduction process on the original image to obtain a face recognition processing image. The face recognition processing unit 163 obtains a tracking point 164 to be described later for recognizing the user's face from the face recognition processing image by FFT.

メイクアップ処理部１６５は、トラッキングポイント１６４に基づき、メイクアップ前画像に含まれるユーザの顔の画像に、ファンデーション，眉，シャドウ，口紅，チークから成るメイクアップを施してメイクアップ後画像を得る。なお、メイクアップ処理部１６５は、ファンデーション処理部１６６，眉処理部１６７，シャドウ処理部１６８，口紅処理部１６９，チーク処理部１７０を有する。 Based on the tracking point 164, the makeup processing unit 165 performs makeup including foundation, eyebrows, shadows, lipstick, and teak on the user's face image included in the pre-makeup image to obtain a post-makeup image. The makeup processing unit 165 includes a foundation processing unit 166, an eyebrow processing unit 167, a shadow processing unit 168, a lipstick processing unit 169, and a cheek processing unit 170.

メイクアップ処理部１６５は、メイクアップ後画像のようにメイクアップする為の商品情報１７１をメイクアップ後画像に含ませることができる。動画サーバ１７２は、メイクアップ前画像およびメイクアップ後画像を共有メモリ１５７に書き込む。動画サーバ１７２は、メイクアップ前画像およびメイクアップ後画像を動画ファイル１６０として出力することもできる。 The makeup processing unit 165 can include product information 171 for makeup as in the image after makeup in the image after makeup. The moving image server 172 writes the pre-makeup image and the post-makeup image in the shared memory 157. The moving image server 172 can also output the pre-makeup image and the post-makeup image as a moving image file 160.

インターフェースアプリ１５９は、ＡｃｔｉｖｅＸコントローラ１８０及びＡｃｔｉｖｅＸビュアー１８１を利用している、動画コントロールオブジェクト１８２，動画表示オブジェクト１８３及びその他のコントローラ１８４を有する。なお、インターフェースアプリ１５９とシミュレータメインアプリ１５８とはＡｃｔｉｖｅＸ＆Ｓｏｃｋｅｔによる連携を図っている。 The interface application 159 includes a moving image control object 182, a moving image display object 183, and other controllers 184 that use the ActiveX controller 180 and the ActiveX viewer 181. The interface application 159 and the simulator main application 158 are linked by ActiveX & Socket.

インターフェースアプリ１５９はＡｃｔｉｖｅＸビュアー１８１を利用して、供給メモリ１５７に書き込まれているメイクアップ前画像およびメイクアップ後画像を前述したモニタ１３に表示することができる。 The interface application 159 can display the pre-makeup image and the post-makeup image written in the supply memory 157 on the monitor 13 using the ActiveX viewer 181.

また、シミュレータメインアプリ１５８は、タッチパネルモニタからユーザの顔の肌色測定開始の操作を受け付けると、専用ＡＰＩ３１を利用して静止画撮影処理を行う。静止画撮影処理では、専用ＡＰＩ３１が、メイクアップカメラ１５４及びストロボ１５５を制御し、肌色測定用画像３２と、表示用画像３３とを撮影する。 When the simulator main application 158 receives an operation for starting skin color measurement of the user's face from the touch panel monitor, the simulator main application 158 performs a still image shooting process using the dedicated API 31. In the still image shooting process, the dedicated API 31 controls the makeup camera 154 and the strobe 155 to capture the skin color measurement image 32 and the display image 33.

なお、肌色測定用画像３２と、表示用画像３３とを撮影したあとのユーザの顔の肌色を測定する処理は図７と同様であるため、説明を省略する。なお、シミュレータメインアプリ１５８は、表示用画像３７，トラッキングポイントＤＢ４５に格納されているトラッキングポイントの追加情報，肌色分析部４３による肌色分類結果の情報を、静止画システム１５６に出力する。 The process of measuring the skin color of the user's face after capturing the skin color measurement image 32 and the display image 33 is the same as in FIG. The simulator main application 158 outputs the display image 37, additional tracking point information stored in the tracking point DB 45, and skin color classification result information by the skin color analysis unit 43 to the still image system 156.

静止画システム１５６は、表示用画像３７，トラッキングポイントＤＢ４５に格納されているトラッキングポイントの追加情報，肌色分析部４３による肌色分類結果の情報に基づき、肌色分析部４３による肌色分類結果の情報と、顔立ち診断結果の情報と、表示用画像３７とをモニタ１３に表示させる。 The still image system 156 is based on the display image 37, additional information on the tracking point stored in the tracking point DB 45, information on the skin color classification result by the skin color analysis unit 43, and information on the skin color classification result by the skin color analysis unit 43; Information on the face diagnosis result and the display image 37 are displayed on the monitor 13.

図１６は、シミュレータメインアプリが行なう処理を表す画面イメージ図である。画面イメージ４００はメイクアップ前画像を表示した例を表している。画面イメージ４０１は顔認識処理用画像から得たトラッキングポイント１６４をメイクアップ前画像に重ねて表示した例を表している。また、画面イメージ４０２はトラッキングポイント１６４に基づいてメイクアップ前画像に含まれるユーザの顔にメイクアップを施したメイクアップ後画像を表示した例を表している。 FIG. 16 is a screen image diagram showing processing performed by the simulator main application. A screen image 400 represents an example of displaying a pre-makeup image. A screen image 401 represents an example in which tracking points 164 obtained from the face recognition processing image are displayed superimposed on the pre-makeup image. A screen image 402 represents an example in which a post-makeup image obtained by applying makeup to the user's face included in the pre-makeup image based on the tracking point 164 is displayed.

以下では、シミュレータメインアプリ１５８が行なう処理のうち、顔認識処理，メイクアップ処理の詳細について図面を参照しつつ説明する。なお、ファンデーション処理，眉処理，シャドウ処理，口紅処理，チーク処理等のメイクアップ処理は公知の技術（例えば特開２００７−２１６０００号公報）を利用できる。そこで、本実施例ではメイクアップ処理の一例としてファンデーション処理を例に説明する。 Hereinafter, details of the face recognition process and the makeup process among the processes performed by the simulator main application 158 will be described with reference to the drawings. For makeup processes such as foundation processing, eyebrow processing, shadow processing, lipstick processing, and cheek processing, a known technique (for example, Japanese Patent Application Laid-Open No. 2007-216000) can be used. Therefore, in this embodiment, a foundation process will be described as an example of a makeup process.

（顔認識処理）
図１７はメイクアップ前画像に含まれるユーザの顔のイメージ画像に、トラッキングポイントを表した一例のイメージ図である。シミュレータメインアプリ１５８の顔認識処理部１６３は、ユーザの顔のイメージ画像からユーザの顔を認識する為の４５点のトラッキングポイント１６４を得る。図１７のトラッキングポイント１６４は一例であって、メイクアップシミュレーション装置１００の処理能力やモニタ１３の精細度に応じて調整してもよい。 (Face recognition processing)
FIG. 17 is an image diagram of an example in which tracking points are represented in the image of the user's face included in the pre-makeup image. The face recognition processing unit 163 of the simulator main application 158 obtains 45 tracking points 164 for recognizing the user's face from the image of the user's face. The tracking point 164 in FIG. 17 is an example, and may be adjusted according to the processing capability of the makeup simulation apparatus 100 and the definition of the monitor 13.

このように、メイクアップ前画像に含まれるユーザの顔からトラッキングポイント１６４を得ることにより、メイクアップ処理部１６５はトラッキングポイント１６４と関連付けてメイクアップの施し方や色を図１８のようなメイクアップ処理パラメータファイルに設定しておくことができる。 In this way, by obtaining the tracking point 164 from the user's face included in the pre-makeup image, the makeup processing unit 165 associates the tracking point 164 with the makeup method and color as shown in FIG. It can be set in the processing parameter file.

図１８は、メイクアップ処理パラメータファイルの一例の構成図である。図１８のメイクアップ処理パラメータファイルは、目元，口元，チーク等ごとにトラッキングポイント
１６４と関連付けてメイクアップの施し方や色が設定されているものである。なお、メイクアップ処理パラメータファイルはメイクアップパターン（イメージ）毎に設定されるものである。 FIG. 18 is a configuration diagram of an example of a makeup process parameter file. The makeup process parameter file in FIG. 18 is a file in which makeup methods and colors are set in association with tracking points 164 for each eye, mouth, cheek, and the like. The makeup process parameter file is set for each makeup pattern (image).

（ファンデーション処理）
シミュレータメインアプリ１５８に含まれるファンデーション処理部１６６は図１９に示すように左右別に目尻，目頭および眉１点、眼間および鼻中心のトラッキングポイント１６４を参照し、ファンデーション処理を行う。図１９はファンデーション処理により参照されるトラッキングポイントを示すイメージ図である。 (Foundation treatment)
As shown in FIG. 19, the foundation processing unit 166 included in the simulator main application 158 refers to the right and left eye corners, one eye and one eyebrow, and the tracking points 164 between the eyes and the center of the nose to perform foundation processing. FIG. 19 is an image diagram showing tracking points referred to by the foundation process.

図２０はファンデーション処理を示す一例のフローチャートである。ファンデーション処理は、ステップＳ１０１の輪郭の生成処理，ステップＳ１０２の対象画像へのぼかし処理，ステップＳ１０３の画像の貼り付け処理で構成される。なお、ステップＳ１０１〜Ｓ１０３の処理は対象エリア分、繰り返し行われる。 FIG. 20 is a flowchart illustrating an example of the foundation process. The foundation process includes a contour generation process in step S101, a blurring process on the target image in step S102, and an image pasting process in step S103. Note that the processing of steps S101 to S103 is repeated for the target area.

ステップＳ１０１の輪郭の生成処理に進み、ファンデーション処理部１６６は図２１のイメージ画像に示す、額，鼻，頬（左右）の３種類（４箇所）の輪郭を生成する。図２１は輪郭を表した一例のイメージ画像である。なお、各輪郭のサイズ，位置等はＧＵＩでパラメータ指定するようにしてもよい。 Proceeding to the contour generation processing in step S101, the foundation processing unit 166 generates three types (four locations) of forehead, nose, and cheek (left and right) shown in the image of FIG. FIG. 21 is an example of an image representing an outline. It should be noted that the size, position, etc. of each contour may be designated by a GUI.

ステップＳ１０２の対象画像へのぼかし処理に進み、ファンデーション処理部１６６は生成した輪郭に対応する対象画像へのぼかし処理を図２２のように行なう。図２２は、ぼかし処理前の元画像と、ぼかし処理後の元画像とを表した一例のイメージ図である。対象画像へのぼかし処理により、ファンデーション処理部１６６は肌の細かい荒れ等を平滑化することができる。 Proceeding to the blurring process on the target image in step S102, the foundation processing unit 166 performs the blurring process on the target image corresponding to the generated contour as shown in FIG. FIG. 22 is an image diagram illustrating an example of an original image before blurring processing and an original image after blurring processing. By the blurring process on the target image, the foundation processing unit 166 can smooth the fine roughness of the skin.

ステップＳ１０３の画像の貼り付け処理に進み、ファンデーション処理部１６６は、ぼかし処理後の対象画像をメイクアップ前画像の額，鼻，頬（左右）の３種類（４箇所）の輪郭に貼り付け、メイクアップ後画像を得る。 Proceeding to the image pasting process in step S103, the foundation processing unit 166 pastes the target image after the blurring process on the three types (four locations) of the forehead, nose, and cheek (left and right) contours of the pre-makeup image, Get an image after makeup.

以上、本発明によれば、動画像に含まれるユーザの顔に、少ない処理負担で正確にメイクアップを施すことができる。このように、メイクアップシミュレーション装置１００は撮影した動画像に含まれるユーザの顔の画像にメイクアップを施して、デジタルの鏡であるモニタ１３に表示することができると共に、環境光の影響を除去してユーザの顔の画像を容易に撮影することができ、環境光の影響を除去して撮影したユーザの顔の画像から正確にユーザの顔の肌色を測定できる。 As described above, according to the present invention, makeup can be accurately applied to a user's face included in a moving image with a small processing load. In this way, the makeup simulation apparatus 100 can apply makeup to the image of the user's face included in the captured moving image and display it on the monitor 13 which is a digital mirror, and removes the influence of ambient light. Thus, an image of the user's face can be easily taken, and the skin color of the user's face can be accurately measured from the image of the user's face taken by removing the influence of ambient light.

なお、本発明は、具体的に開示された実施例に限定されるものでなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。 Note that the present invention is not limited to the specifically disclosed embodiments, and various modifications and changes can be made without departing from the scope of the claims.

１肌色測定装置
１０本体部
１１アーム部
１２土台部
１３，１３Ａ，１３Ｂモニタ
１３ａ，１３ｂ両端部分
１４カメラ
１５照明
１６ストロボ
２１タッチパネルモニタ
２２メモリカードＩ／Ｆ
２３メモリカード
２４主記憶装置
２５演算処理装置
３０コンピュータ
３１専用ＡＰＩ
３４縮小部
３５，４１トリミング部
３８顔認識処理部
３９，４５トラッキングポイントＤＢ
４０詳細部位抽出部
４３肌色分析部
４４肌色分類マップ
４６表示制御部
１００メイクアップシミュレーション装置 DESCRIPTION OF SYMBOLS 1 Skin color measuring apparatus 10 Main body part 11 Arm part 12 Base part 13, 13A, 13B Monitor 13a, 13b Both end part 14 Camera 15 Illumination 16 Strobe 21 Touch panel monitor 22 Memory card I / F
23 Memory Card 24 Main Storage Device 25 Arithmetic Processing Device 30 Computer 31 Dedicated API
34 Reduction unit 35, 41 Trimming unit 38 Face recognition processing unit 39, 45 Tracking point DB
40 Detailed Part Extraction Unit 43 Skin Color Analysis Unit 44 Skin Color Classification Map 46 Display Control Unit 100 Makeup Simulation Device

Claims

ユーザの顔の肌色を測定する肌色測定装置であって、
環境光の影響を除去できるシャッタ速度で肌色測定用画像を撮影すると共に、環境光の影響を受けるシャッタ速度で表示用画像を撮影する撮影手段と、
前記撮影手段のシャッタ動作に連動して発光するストロボ手段と、
前記撮影手段が撮影したストロボ光の影響を受けた前記肌色測定用画像からユーザの顔の肌色を測定する測定手段と、
前記測定手段による測定結果を、前記撮影手段が撮影したストロボ光及び環境光の影響を受けた前記表示用画像と共に表示する表示手段と
を有する肌色測定装置。 A skin color measuring device for measuring the skin color of a user's face,
A photographing means for photographing a skin color measurement image at a shutter speed capable of removing the influence of ambient light, and photographing a display image at a shutter speed affected by ambient light;
Strobe means for emitting light in conjunction with the shutter operation of the photographing means;
Measuring means for measuring the skin color of the user's face from the skin color measurement image affected by the strobe light photographed by the photographing means;
A skin color measuring apparatus comprising: display means for displaying a measurement result by the measuring means together with the display image influenced by strobe light and environmental light taken by the photographing means.

前記撮影手段は、偏光フィルタを介して前記肌色測定用画像を撮影することを特徴とする請求項１記載の肌色測定装置。 The skin color measuring apparatus according to claim 1, wherein the photographing unit captures the skin color measuring image through a polarizing filter.

ユーザの顔を照らす冷陰極管又は発光ダイオードを含む照明手段を更に有することを特徴とする請求項１記載の肌色測定装置。 2. The skin color measuring device according to claim 1, further comprising illumination means including a cold cathode tube or a light emitting diode for illuminating the face of the user.

前記表示手段は有機ＥＬ（organic electroluminescence）ディスプレイを含み、前記表示手段は前記有機ＥＬディスプレイの一部を、ユーザの顔を照らす照明手段として機能させることを特徴とする請求項１記載の肌色測定装置。 The skin color measuring apparatus according to claim 1, wherein the display means includes an organic EL (organic electroluminescence) display, and the display means causes a part of the organic EL display to function as an illumination means for illuminating a user's face. .

前記表示手段は二つのディスプレイが並べられて配置され、前記撮影手段は前記二つのディスプレイの間に配置される請求項１記載の肌色測定装置。 The skin color measuring device according to claim 1, wherein the display means is arranged with two displays arranged side by side, and the photographing means is arranged between the two displays.

撮影手段と、ストロボ手段と、表示手段と、コンピュータとを有し、ユーザの顔の肌色を測定する肌色測定装置を、
前記コンピュータが、前記撮影手段に、環境光の影響を除去できるシャッタ速度で肌色測定用画像を撮影させると共に、環境光の影響を受けるシャッタ速度で表示用画像を撮影させる撮影制御手段と、
前記コンピュータが、前記ストロボ手段に、前記撮影手段のシャッタ動作に連動して発光させるストロボ制御手段と、
前記コンピュータが、前記撮影手段が撮影したストロボ光の影響を受けた前記肌色測定用画像からユーザの顔の肌色を測定する測定手段と、
前記コンピュータが、前記表示手段に、前記測定手段による測定結果を、前記撮影手段が撮影したストロボ光及び環境光の影響を受けた前記表示用画像と共に表示させる表示制御手段と
して機能させるための肌色測定プログラム。 A skin color measuring device that includes a photographing unit, a strobe unit, a display unit, and a computer, and measures a skin color of a user's face.
A shooting control unit that causes the computer to shoot a skin color measurement image at a shutter speed capable of removing the influence of ambient light and to shoot a display image at a shutter speed affected by the ambient light;
Strobe control means for causing the computer to emit light in conjunction with the shutter operation of the photographing means;
Measuring means for measuring the skin color of the user's face from the skin color measurement image affected by the strobe light captured by the photographing means;
Skin color measurement for causing the computer to function as display control means for causing the display means to display the measurement result by the measurement means together with the display image influenced by the strobe light and the environmental light taken by the photographing means. program.

ユーザの顔の肌色を測定する肌色測定機能を有するメイクアップシミュレーション装置であって、
環境光の影響を除去できるシャッタ速度で肌色測定用画像を撮影すると共に、環境光の影響を受けるシャッタ速度で表示用画像を撮影する撮影手段と、
前記撮影手段のシャッタ動作に連動して発光するストロボ手段と、
前記撮影手段が撮影したストロボ光の影響を受けた前記肌色測定用画像からユーザの顔の肌色を測定する測定手段と、
前記測定手段による測定結果を、前記撮影手段が撮影したストロボ光及び環境光の影響を受けた前記表示用画像と共に表示する表示手段と、
前記撮影手段が撮影した前記表示用画像に含まれるユーザの顔の画像をトラッキングポイントに基づき認識し、前記表示用画像に含まれるユーザの顔の画像にメイクアップ処理を施して前記表示手段に表示させるメイクアップ処理手段と
を有するメイクアップシミュレーション装置。 A makeup simulation apparatus having a skin color measurement function for measuring a skin color of a user's face,
A photographing means for photographing a skin color measurement image at a shutter speed capable of removing the influence of ambient light, and photographing a display image at a shutter speed affected by ambient light;
Strobe means for emitting light in conjunction with the shutter operation of the photographing means;
Measuring means for measuring the skin color of the user's face from the skin color measurement image affected by the strobe light photographed by the photographing means;
Display means for displaying the measurement result by the measurement means together with the display image influenced by the strobe light and the environmental light photographed by the photographing means;
The user's face image included in the display image captured by the photographing unit is recognized based on a tracking point, and a makeup process is performed on the user's face image included in the display image and displayed on the display unit. A makeup simulation apparatus having makeup processing means.

撮影手段と、ストロボ手段と、表示手段と、コンピュータとを有し、ユーザの顔の肌色を測定する肌色測定機能を有するメイクアップシミュレーション装置を、
前記コンピュータが、前記撮影手段に、環境光の影響を除去できるシャッタ速度で肌色測定用画像を撮影させると共に、環境光の影響を受けるシャッタ速度で表示用画像を撮影させる撮影制御手段と、
前記コンピュータが、前記ストロボ手段に、前記撮影手段のシャッタ動作に連動して発光させるストロボ制御手段と、
前記コンピュータが、前記撮影手段が撮影したストロボ光の影響を受けた前記肌色測定用画像からユーザの顔の肌色を測定する測定手段と、
前記コンピュータが、前記表示手段に、前記測定手段による測定結果を、前記撮影手段が撮影したストロボ光及び環境光の影響を受けた前記表示用画像と共に表示させる表示制御手段と、
前記コンピュータが、前記撮影手段が撮影した前記表示用画像に含まれるユーザの顔の画像をトラッキングポイントに基づき認識し、前記表示用画像に含まれるユーザの顔の画像にメイクアップ処理を施して、前記表示手段に表示させるメイクアップ処理手段と
して機能させるためのメイクアップシミュレーションプログラム。 A makeup simulation apparatus having a skin color measuring function for measuring a skin color of a user's face, which includes a photographing unit, a strobe unit, a display unit, and a computer.
A shooting control unit that causes the computer to shoot a skin color measurement image at a shutter speed capable of removing the influence of ambient light and to shoot a display image at a shutter speed affected by the ambient light;
Strobe control means for causing the computer to emit light in conjunction with the shutter operation of the photographing means;
Measuring means for measuring the skin color of the user's face from the skin color measurement image affected by the strobe light captured by the photographing means;
Display control means for causing the computer to display the measurement result by the measuring means on the display means together with the display image influenced by the strobe light and the environmental light taken by the photographing means;
The computer recognizes a user's face image included in the display image captured by the photographing unit based on a tracking point, performs a makeup process on the user's face image included in the display image, A makeup simulation program for causing the display means to function as a makeup processing means.