JP7351165B2 - 画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラムに関する。

ユーザが化粧品によりメイクアップ（以下、「メイク」と呼ぶ。）した後の状態をシミュレーションするメイクシミュレーションの技術が知られている。例えば、特許文献１は、人物の顔画像にメイクパーツを重畳して表示装置に表示させるメイクシミュレーション装置を開示している。

国際公開第２０１８／１５９２３１号

ところで、化粧品の中にはパール剤やラメ剤が含まれている製品が市販されており、真珠のように様々な色を発する仕上がりや金属表面のように光を反射し光沢を放つ仕上がりを演出するために用いられている。しかしながら、従来のメイクシミュレーション画像においては、特許文献１のようにそもそも光るエフェクトがなかったり、光る部分が常に一定の光り方をするように表示されたり、上記パール剤やラメ剤による色合いや光沢が適切に表現されていないという課題がある。

本発明は、以上のような課題を解決するためのものであり、効果的なグリッター表現が可能な画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理装置は、
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部と、
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部と、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部と、を備え、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
前記ユーザの姿勢は、目周辺に設定された特徴点の位置関係の変化に基づいて算出される、
ことを特徴とする。

本発明によれば、効果的なグリッター表現ができる。

本発明の実施形態１に係るメイクシミュレーション装置の外観模式図である。 実施形態１に係る画像処理装置のタッチパネルの表示の変化を示す図である。 実施形態１に係る画像処理装置のハードウェア構成を示すブロック図である。 実施形態１に係る画像処理装置に記憶された光反射エフェクトテーブルの例を示す図である。 実施形態１に係る指示装置のハードウェア構成を示すブロック図である。 実施形態１に係るメイクシミュレーション装置の機能的な構成を示すブロック図である。 実施形態１に係る画像処理装置をユーザが使用している状態を示す図である。 実施形態１においてユーザが指示装置を顔に接触させた例を示す図である。 実施形態１における保持データの例を示す図である。 実施形態１においてユーザが指示装置を顔に接触させた場合における撮像画像の表示例、及び、顔画像に重ねてメイク画像が表示された例を示す図である。 実施形態１に係る指示装置によって実行される処理の流れを示すフローチャートである。 実施形態１に係る画像処理装置によって実行される基本画像処理の流れを示すフローチャートである。 実施形態１に係る画像処理装置によって実行されるパレットエフェクト処理の流れを示すフローチャートである。 実施形態１に係る画像処理装置においてタッチパネルの傾きと対応するエフェクト画像が選択された例を示す図である。 実施形態２に係る画像処理装置において右目の特徴点の設定例を示す図である。 実施形態２に係る画像処理装置において右目の傾きと対応するエフェクト画像が選択された例を示す図である。 実施形態２に係る画像処理装置によって実行されるメイクグリッター表示処理の流れを示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。

（実施形態１）
図１に、本発明の実施形態１に係るメイクシミュレーション装置１の外観を模式的に示す。メイクシミュレーション装置１は、ユーザが化粧品によりメイクした後の状態をコンピュータ上でシミュレーションする装置である。メイクシミュレーション装置１を用いることで、ユーザは、本物の化粧品を用いることなく気軽にメイクの練習をすることや、メイク後の状態を事前に確認することができる。

図１に示すように、メイクシミュレーション装置１は、画像処理装置１０と、指示装置３０と、を備える。画像処理装置１０は、ユーザの顔が撮像された撮像画像に対して、メイク後の状態を表す画像をシミュレーションにより生成して表示する装置である。画像処理装置１０は、メイク用のパレットを模擬した形状をしている。

図２に示すように、実施形態１に係るメイクシミュレーション装置１は、後述するタッチパネル１６の位置や角度を変化させることにより、タッチパネル１６に表示された化粧品画像のラメ感やパール感等が変化するように表示する装置である。

図３に、画像処理装置１０のハードウェア構成を示す。画像処理装置１０は、制御部１１と、記憶部１２と、操作部１３と、撮像部１４と、表示部１５と、タッチパネル１６と、通信部１７と、加速度検知部（検出部）１８と、を備える。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＣＰＵは、例えばマイクロプロセッサ等を備え、様々な処理及び演算を実行する中央演算処理部として機能する。制御部１１において、ＣＰＵは、システムバスを介して画像処理装置１０の各部に接続されており、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、画像処理装置１０全体の動作を制御する。

また、制御部１１は、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等のような画像処理用のプロセッサと、処理される画像を一時的に保存するバッファメモリと、を備える。制御部１１は、画像処理用のプロセッサにより、周知の画像処理の手法を用いて、撮像部１４により得られた撮像画像を処理する。

記憶部１２は、フラッシュメモリ、ハードディスク等の不揮発性メモリを備える。記憶部１２は、制御部１１が各種処理を行うために使用するプログラム及びデータを記憶する。記憶部１２は、図４に示すような、後述する光反射エフェクトテーブルＥを記憶する。光反射エフェクトテーブルＥは、本実施形態では、実際に表示する化粧品を所定の角度に傾けて撮像した画像から生成されたエフェクト素材を使用する。また、記憶部１２は、制御部１１が各種処理を行うことにより生成又は取得するデータを記憶する。

操作部１３は、入力キー、ボタン、スイッチ等を備え、ユーザから操作指示を受け付ける。

撮像部１４は、いわゆるカメラであって、被写体から射出された光を集光するレンズと、集光した光を受けて被写体の画像を取得するＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子から電気信号として送られた撮像データをデジタルデータに変換するＡ／Ｄ（Analog/Digital）変換器と、を備える。撮像部１４は、図１に示すように、表示部１５の近傍に配置されており、表示部１５を見ながら画像処理装置１０を使用しているユーザの顔を撮像する。

図３に戻って、表示部（第１の表示領域）１５は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示デバイスである。表示部１５は、図１に示すように、画像処理装置１０の上側の面に配置されており、撮像部１４の撮像により得られた撮像画像を表示する。表示部１５は、第１の表示部として機能する。

タッチパネル（第２の表示領域）１６は、タッチスクリーン等とも呼ばれ、画像を表示する表示装置と位置の入力を受け付ける位置入力装置とが互いに重畳して配置されたデバイスである。タッチパネル１６は、図１に示すように、画像処理装置１０の下側の面に配置されており、メイクシミュレーションにおいてユーザの顔に仮想的に塗布される化粧品を表現する化粧品画像を表示する。図２に示すように、ラメ感やパール感を有する化粧品の化粧品画像は、ラメ感やパール感を有する実際の化粧品のように、タッチスクリーンの角度の変化によってグリッターが変化するように表示される。タッチパネル１６は、第２の表示部として機能する。また、タッチパネル１６は、表示装置に画像が表示されている時に、タッチパネル１６の表面に対する接触による操作を位置入力装置により受け付ける。

通信部１７は、画像処理装置１０が指示装置３０を含む外部の機器と通信するためのインタフェースを備える。通信部１７は、例えば、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又はＵＳＢ（Universal Serial Bus）ケーブル等の有線通信を介して外部の機器と通信する。

加速度検知部１８は、機械式、振動式、半導体式等の周知の方式で加速度を検知する加速度センサを備えており、画像処理装置１０の全体に加えられる加速度を検知する。加速度検知部１８は、例えば画像処理装置１０がユーザに把持された状態で傾けられた場合のように、画像処理装置１０に加速度が加えられた場合に、その加速度を検知する。

図１に戻って、指示装置３０は、メイクシミュレーションにおいて化粧品を選択し、選択した化粧品を仮想的に塗布する顔の位置を指示するための装置である。指示装置３０は、スティック状をしており、いわゆる化粧筆（化粧ブラシ、メイクブラシ）のような、顔に化粧品を塗布するために用いられる塗布ツールを模擬する部材である。ユーザは、指示装置３０を手で把持し、画像処理装置１０に表示された化粧品画像及びユーザの顔を、指示装置３０の端部で指し示すようにして使用する。指示装置３０は、指示体として機能する。

指示装置３０は、図示を省略するが、タッチパネル１６の表面やユーザの顔等に接触する側の先端部に、取り外し可能なアタッチメント（取り付け部材）を備える。アタッチメントは、仮想的に化粧品を付着させて塗布するための部品である。アタッチメントとして、ペン状、ブラシ状等の様々な形状のものを指示装置３０に取り付けることができる。指示装置３０に取り付けられるアタッチメントに応じて、メイクシミュレーションにおける化粧品の塗布の態様が変化する。ユーザは、指示装置３０に所望の形状のアタッチメントを付け替えてメイクをシミュレーションすることができる。

図５に、指示装置３０のハードウェア構成を示す。指示装置３０は、制御部３１と、記憶部３２と、接触検知部３４と、加速度検知部３５と、通信部３７と、を備える。

制御部３１は、ＣＰＵ、ＲＯＭ及びＲＡＭを備える。ＣＰＵは、例えばマイクロプロセッサ等を備え、様々な処理及び演算を実行する中央演算処理部として機能する。制御部１１において、ＣＰＵは、システムバスを介して指示装置３０の各部に接続されており、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、指示装置３０全体の動作を制御する。

記憶部３２は、フラッシュメモリ、ハードディスク等の不揮発性メモリを備える。記憶部３２は、制御部３１が各種処理を行うために使用するプログラム及びデータを記憶する。また、記憶部３２は、制御部３１が各種処理を行うことにより生成又は取得するデータを記憶する。

接触検知部３４は、指示装置３０の端部に対する接触を検知する。接触検知部３４は、静電容量式、歪みゲージ式等の周知の方式で圧力を検知する圧力センサを備える。接触検知部３４は、指示装置３０に取り付けられたアタッチメントに、タッチパネル１６の表面やユーザの顔等の物体が接触した場合、その接触によってアタッチメントに加えられる圧力を圧力センサにより検知する。これにより、接触検知部３４は、指示装置３０の端部に対する接触を検知する。

加速度検知部３５は、機械式、振動式、半導体式等の周知の方式で加速度を検知する加速度センサを備えており、指示装置３０の全体に加えられる加速度を検知する。加速度検知部３５は、例えば指示装置３０がユーザに把持された状態で振り払われた場合のように、指示装置３０に加速度が加えられた場合に、その加速度を検知する。

通信部３７は、指示装置３０が画像処理装置１０と通信するためのインタフェースを備える。通信部３７は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又はＵＳＢケーブル等の有線通信を介して画像処理装置１０と通信する。

次に、図６を参照して、メイクシミュレーション装置１の機能的な構成について説明する。図６に示すように、画像処理装置１０は、機能的に、画像取得部１１０と、表示制御部１２０と、顔検出部（検出部）１３０と、操作受付部１４０、情報受信部１５０と、保持量設定部１６０と、接触位置特定部１７０と、を備える。制御部１１において、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより、これら各部として機能する。

また、指示装置３０は、機能的に、情報送信部３１０を備える。制御部３１において、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより、情報送信部３１０として機能する。

画像処理装置１０において、画像取得部１１０は、撮像部１４による撮像により得られた撮像画像を取得する。図７に、ユーザＵがメイクシミュレーション装置１を用いてメイクのシミュレーションを行うために、画像処理装置１０の表示部１５に向かい合っている状態を示す。撮像部１４は、図７において破線で示す視野の内側、具体的には表示部１５に向かい合っているユーザＵの顔を含む範囲を撮像する。

このように、撮像部１４の設置位置及び光軸の向きは、ユーザＵが表示部１５に向かい合っている場合にユーザＵの顔が撮像部１４の視野に含まれるように、調整されている。そのため、ユーザＵが表示部１５に向かい合っている場合、画像取得部１１０は、ユーザＵの顔が撮像された撮像画像を取得する。画像取得部１１０は、画像処理装置１０がユーザＵにより使用されている間、このような撮像部１４によりユーザＵの顔が撮像された撮像画像を継続的に取得する。画像取得部１１０は、制御部１１が撮像部１４等と協働することにより実現される。

表示制御部１２０は、画像取得部１１０により取得された撮像画像を、第１の表示部である表示部１５に表示する。例えば図７に示したように撮像部１４の視野内にユーザＵの顔が含まれている場合、表示制御部１２０は、ユーザの顔が撮像された撮像画像を表示部１５に表示する。これにより、表示制御部１２０は、表示部１５に向かい合っているユーザＵの顔の様子をリアルタイムで表示する。このように撮像されたユーザの顔画像が表示部１５に表示されることで、ユーザは、表示部１５に表示された自分の顔画像を鏡に映った顔のように見ながら、メイクをシミュレーションすることができる。

更に、表示制御部１２０は、化粧品を表現する化粧品画像を、第２の表示部であるタッチパネル１６に表示する。化粧品画像は、メイクシミュレーションにおいてユーザＵの顔に仮想的に塗布される化粧品を視覚的に表現する画像である。表示制御部１２０は、化粧品画像として、複数の化粧品を表現する画像を表示する。また、表示制御部１２０は、図２に示すように、ラメ感やパール感を有する化粧品には、後述するグリッターエフェクトを化粧品画像に重畳して表示する。

具体的に説明すると、表示制御部１２０は、例えば図７に示すように、タッチパネル１６上の表示領域を縦方向及び横方向に複数に区切ることで、複数の部分領域に分割する。そして、表示制御部１２０は、化粧品画像として、複数の部分領域のそれぞれに異なる化粧品を表現する画像を表示する。

ここで、複数の部分領域のそれぞれに表示される化粧品は、色、光沢、質感等の少なくとも１つの特徴が異なる化粧品であって、ユーザＵの顔に仮想的に塗布してメイク後の状態をシミュレーションすることが可能な化粧品である。色、光沢、質感等が異なる複数の化粧品を表現する化粧品画像がタッチパネル１６に表示されることにより、ユーザＵは、複数の化粧品のうちからメイクシミュレーションを望む化粧品を選択して使用することができる。

このような複数の化粧品を表現する化粧品画像は、記憶部１２に予め記憶されている。表示制御部１２０は、画像処理装置１０の使用時に化粧品画像を記憶部１２から読み出してタッチパネル１６に表示する。ラメ感やパール感を有する化粧品には、図４に示す光反射エフェクトテーブルＥから、画像処理装置１０のＸ軸方向（短辺方向）及びＹ軸方向（長辺方向）の傾きに応じたエフェクト画像を重畳して表示する。本実施形態では、Ｘ軸方向に２５°ずつ５段階、Ｙ軸方向に１５°ずつ９段階の画像処理装置１０の傾きに対応したエフェクト画像を有する光反射エフェクトテーブルＥが記憶部１２に記憶されている。画像処理装置１０の傾きは、加速度検知部１８によって検知され、表示制御部１２０は、これに応じたエフェクト画像を重畳表示する。

このようにユーザＵの顔が撮像された撮像画像がリアルタイムで表示部１５に表示され、且つ、化粧品画像がタッチパネル１６に表示されることにより、ユーザは、画像処理装置１０を、化粧用のパレットのように取り扱うことができる。また、画像処理装置１０を傾けることでラメ感やパール感のある化粧品の表示の変化が生じるため、ユーザは、ラメ感やパール感のある化粧品を他の化粧品と容易に区別することができる。表示制御部１２０は、制御部１１が表示部１５、タッチパネル１６等と協働することにより実現される。

図６に戻って、顔検出部１３０は、画像取得部１１０により取得された撮像画像のうちから顔画像を検出する。具体的に説明すると、顔検出部１３０は、画像取得部１１０により撮像画像が取得されると、周知の顔認識の手法を用いて、撮像画像に目、鼻、眉等の顔部位が含まれているか否かを判定する。判定の結果、撮像画像に顔部位が含まれている場合、顔検出部１３０は、撮像画像における顔部位の座標及びサイズを検出する。

また、顔検出部１３０は、検出した顔部位に基づいて顔の輪郭部分を識別し、顔全体の領域を検出する。そして、顔検出部１３０は、撮像画像における顔全体の領域を、仮想的に化粧品が塗布される対象となるバーチャルメイク領域として決定する。顔検出部１３０は、制御部１１が記憶部１２等と協働することにより実現される。

操作受付部１４０は、タッチパネル１６に化粧品画像が表示されている時に、指示装置３０がタッチパネル１６の表面に接触することによる操作を受け付ける。図７に、指示装置３０の先端部がタッチパネル１６の表面に接触した例を示す。ユーザＵは、メイクシミュレーション装置１を用いてメイク後の状態をシミュレーションする場合、図７に示すように、指示装置３０を手で把持し、その先端部を化粧品画像が表示されているタッチパネル１６の表面に接触させる。

このような指示装置３０をタッチパネル１６の表面に接触させる動作は、化粧用のパレットに収納されている化粧品を化粧筆の先端部に保持（付着）させる動作を模擬したものである。操作受付部１４０は、指示装置３０によるタッチパネル１６の表面に対する接触を検知することにより、ユーザからの操作を受け付ける。

より詳細には、操作受付部１４０は、指示装置３０がタッチパネル１６の表面に接触すると、タッチパネル１６の位置入力装置の機能により、その接触の位置座標を検知する。そして、操作受付部１４０は、タッチパネル１６に化粧品画像として表示されている複数の化粧品のうちの、検知された位置座標に表示されている化粧品を、ユーザＵの顔に仮想的に塗布される化粧品として選択する。

このように、ユーザＵは、指示装置３０を化粧筆のように用いてタッチパネル１６の表面に接触させることにより、複数の化粧品のうちから、ユーザＵの顔に仮想的に塗布する化粧品を選択する。操作受付部１４０は、制御部１１がタッチパネル１６等と協働することにより実現される。

図６に戻って、指示装置３０において、情報送信部３１０は、通信部３７を介して画像処理装置１０と通信することにより、接触情報及び加速度情報を画像処理装置１０に送信する。情報送信部３１０は、制御部３１が通信部３７等と協働することにより実現される。

第１に、情報送信部３１０は、接触検知部３４により検知された接触に関する接触情報を画像処理装置１０に送信する。ここで、接触情報は、具体的には、接触検知部３４により検知された接触の強さと、その接触の時間長と、その接触の位置の移動距離と、を示す情報である。接触の強さは、その接触の際に指示装置３０の先端部に加えられた圧力の大きさに相当し、指示装置３０の先端部に設けられている圧力センサにより検知される。接触の時間長は、指示装置３０の先端部が物体に接触を開始してから、その接触が解除されるまでの時間の長さに相当する。接触の位置の移動距離は、指示装置３０の先端部を物体に接触したまま滑らせるように移動させた場合における、その接触が開始された位置から接触が解除された位置までの距離に相当する。

より詳細には、接触検知部３４により接触が検知される場合として、主に２つの場合が挙げられる。第１の場合は、例えば図７に示したように、ユーザＵが、タッチパネル１６に表示された化粧品画像から化粧品を選択するために、指示装置３０の先端部をタッチパネル１６の表面に接触させる場合である。第２の場合は、図８に示すように、ユーザＵが、選択した化粧品を顔に仮想的に塗布するために、指示装置３０の先端部をユーザＵの顔に接触させる場合である。ユーザＵは、指示装置３０の先端部をタッチパネル１６の表面に接触させた後、図８に示すように、化粧筆を顔に当てて化粧品を塗布する動作を模擬するために、指示装置３０の先端部を顔に接触させる。

以下では、第１の場合における接触の強さ、接触の時間長及び接触の位置の移動距離を「第１の接触に関する第１の値」と呼ぶ。また、第２の場合における接触の強さ、接触の時間長及び接触の位置の移動距離を「第２の接触に関する第２の値」と呼ぶ。情報送信部３１０は、第１の接触が検知された場合、すなわち指示装置３０によるタッチパネル１６の表面への接触が検知された場合、検知された接触に関する第１の値を示す接触情報を画像処理装置１０に送信する。これに対して、情報送信部３１０は、第２の接触が検知された場合、すなわち指示装置３０によるユーザＵの顔への接触が検知された場合、検知された接触に関する第２の値を示す接触情報を画像処理装置１０に送信する。

第２に、情報送信部３１０は、加速度検知部３５により検知された加速度を示す加速度情報を画像処理装置１０に送信する。具体的に説明すると、加速度検知部３５は、指示装置３０の全体に対して加えられた加速度を検知する。情報送信部３１０は、加速度検知部３５により、指示装置３０の全体に対して予め定められた閾値よりも大きい加速度が加えられたか否かを判定する。

指示装置３０に対して閾値よりも大きい加速度が加えられる場合とは、具体的には、ユーザＵが指示装置３０に仮想的に保持されている化粧品の保持量を減らすために、手で把持している指示装置３０を空中で振る動作を行った場合である。このような動作は、化粧筆の先端部に付着した化粧品を空中に飛散させる動作を模擬したものである。情報送信部３１０は、このように指示装置３０の全体に閾値よりも大きい加速度が加えられた場合、その加速度を示す加速度情報を、予め定められた一定の時間間隔で画像処理装置１０に送信する。

画像処理装置１０において、情報受信部１５０は、通信部１７を介して指示装置３０と通信し、情報送信部３１０により送信された接触情報及び加速度情報を受信する。情報受信部１５０は、制御部１１が通信部１７等と協働することにより実現される。

保持量設定部１６０は、指示装置３０に仮想的に保持される化粧品の保持量を、第１の接触に関する第１の値に基づいて設定する。指示装置３０に仮想的に保持される化粧品の保持量は、記憶部１２に保持データ２１として記憶されている。保持量設定部１６０は、制御部１１が記憶部１２等と協働することにより実現される。

図９に、記憶部１２に記憶されている保持データ２１の例を示す。図９に示すように、保持データ２１は、指示装置３０の先端部に保持されている化粧品の種類と、その化粧品の保持量（付着量）と、を示すデータである。

保持量設定部１６０は、操作受付部１４０により操作が受け付けられた場合、保持データ２１に記憶されている化粧品の種類を更新する。例えば、操作受付部１４０により受け付けられた操作により、タッチパネル１６に表示された複数の化粧品のうちから「化粧品Ａ」の種類の化粧品が選択された場合、保持量設定部１６０は、保持データ２１に記憶されている化粧品の種類を「化粧品Ａ」に更新する。

更に、保持量設定部１６０は、情報受信部１５０が指示装置３０から接触情報又は加速度情報を受信すると、受信された接触情報又は加速度情報に基づいて、保持データ２１を更新する。

第１に、保持量設定部１６０は、情報受信部１５０が指示装置３０から接触情報を取得すると、取得された接触情報に基づいて、保持データ２１に記憶されている化粧品の保持量を設定する。具体的に説明すると、保持量設定部１６０は、情報受信部１５０がタッチパネル１６の表面への接触に関する接触情報を取得した場合、取得された接触情報により示される第１の値に応じて、保持データ２１に記憶されている保持量を設定する。また、保持量設定部１６０は、情報受信部１５０がユーザＵの顔への接触に関する接触情報を取得した場合、取得された接触情報により示される第２の値に応じて、保持データ２１に記憶されている保持量を設定する。

一般的に、ユーザＵがパレットから化粧品を付着させるために化粧筆をパレットに接触させた場合、その接触が強いほど、化粧筆により多くの量の化粧品が付着される。また、接触の時間が長いほど、そして接触状態での移動距離が長いほど、化粧筆により多くの量の化粧品が付着される。このような特徴を模擬するため、保持量設定部１６０は、情報受信部１５０がタッチパネル１６の表面への接触に関する接触情報を取得した場合、取得された接触情報により示される第１の値がより大きいほど、保持量をより大きく増加させる。

同様に、ユーザＵが顔に化粧品を塗布するために化粧筆を顔に接触させた場合、その接触が強いほど、ユーザＵの顔により多くの量の化粧品が塗布される。また、接触の時間が長いほど、そして接触状態での移動距離が長いほど、ユーザＵの顔により多くの量の化粧品が塗布される。このような特徴を模擬するため、保持量設定部１６０は、情報受信部１５０がユーザＵの顔への接触に関する接触情報を取得した場合、取得された接触情報に示される第２の値がより大きいほど、保持量をより大きく減少させる。

第２に、保持量設定部１６０は、情報受信部１５０が指示装置３０から加速度情報を取得すると、取得された加速度情報に基づいて、保持データ２１に記憶されている化粧品の保持量を更新する。具体的に説明すると、保持量設定部１６０は、情報受信部１５０により取得された加速度情報に示される加速度がより大きい場合、保持データ２１に記憶されている化粧品の保持量をより大きく減少させる。このように加速度に応じて化粧品の保持量を減少させることにより、ユーザＵは、指示装置３０を振るという自然な動作で化粧品の保持量を調整することができる。

図６に戻って、接触位置特定部１７０は、図７に示したように指示装置３０がタッチパネル１６の表面に接触することによる操作が受け付けられた後において、図１０に示したように指示装置３０がユーザＵの顔に接触した場合、画像取得部１１０により取得された撮像画像に基づいて、ユーザＵの顔における指示装置３０が接触した接触位置を特定する。接触位置特定部１７０は、制御部１１が記憶部１２等と協働することにより実現される。

具体的に説明すると、接触位置特定部１７０は、第１に、ユーザＵが指示装置３０を顔に近付けたか否かを、画像取得部１１０により取得された撮像画像に基づいて判定する。ユーザＵが指示装置３０を顔に近付けた場合、撮像部１４の視野内に指示装置３０が入るため、図１０に示すように、撮像画像に指示装置３０の画像が含まれる。接触位置特定部１７０は、撮像画像における、顔検出部１３０により検出されたユーザＵの顔領域（すなわちバーチャルメイク領域）の内側に、指示装置３０の画像が含まれているか否かを判定する。

ユーザＵの顔領域の内側に指示装置３０の画像が含まれている場合、第２に、接触位置特定部１７０は、情報受信部１５０が指示装置３０から接触情報を受信したか否かを判定する。そして、接触位置特定部１７０は、情報受信部１５０が接触情報を受信した場合、指示装置３０の先端部がユーザＵの顔に接触したと判定する。このように、接触位置特定部１７０は、画像取得部１１０により取得された撮像画像と、情報受信部１５０により受信された接触情報と、に基づいて、指示装置３０がユーザＵの顔に接触したか否かを判定する。

指示装置３０がユーザＵの顔に接触したと判定した場合、接触位置特定部１７０は、撮像画像におけるその接触位置を特定する。具体的に説明すると、接触位置特定部１７０は、撮像画像に撮像された指示装置３０の先端部の座標を接触位置として特定する。例えばユーザＵが目の周囲に指示装置３０の先端部を接触させた場合、接触位置特定部１７０は、目の周囲の位置を接触位置として特定する。これにより、接触位置特定部１７０は、指示装置３０の先端部がユーザＵの顔のどの位置に接触したかを特定し、化粧品が仮想的に塗布される位置を決定する。

表示制御部１２０は、表示部１５に表示された撮像画像における、接触位置特定部１７０により特定された接触位置に対応する部分が加工されたメイク画像を表示する。ここで、メイク画像とは、ユーザＵの顔のメイク後の状態をシミュレーションするための画像であって、化粧品がユーザＵの顔に実際に塗布された場合にどのように塗布されるかを表現する画像である。

具体的には、メイク画像は、ユーザＵの顔が撮像された撮像画像における、接触位置特定部１７０により特定された接触位置に、化粧品がユーザＵの顔に塗布された状態を表現するメイクパーツが重ねられることにより加工された画像である。例えばユーザＵが目の周囲に指示装置３０の先端部を接触させた場合、表示制御部１２０は、図１０に示すように、メイク画像として、ユーザＵの目の周囲にメイクパーツ４１が重ねられることにより加工された画像を表示する。なお、メイク画像におけるメイクパーツ４１以外の部分は、撮像画像と同じであって、撮像画像から加工が加えられていない。このようなメイク画像により、表示制御部１２０は、メイク後のユーザＵの顔の状態を表現する。

表示制御部１２０は、操作受付部１４０により受け付けられた操作により複数の化粧品のうちから選択された化粧品に対応するメイクパーツ４１を撮像画像に重ねる。言い換えると、表示制御部１２０は、ユーザＵにより選択された化粧品の色、光沢、質感等の特徴と同様の特徴を有するメイクパーツ４１を、ユーザＵの顔画像に重ねて表示する。これにより、表示制御部１２０は、ユーザＵにより選択された化粧品が実際に塗布された状態を忠実に表現する。

更に、表示制御部１２０は、メイク画像として、画像取得部１１０により取得された撮像画像における、接触位置特定部１７０により特定された接触位置に対応する部分が、第１の接触に関する第１の値と第２の接触に関する第２の値とに基づいて加工された画像を表示部１５に表示する。言い換えると、表示制御部１２０は、指示装置３０によるタッチパネル１６の表面及びユーザＵの顔への接触の強さ、接触の時間長、及び接触の位置に基づいて、メイクパーツの濃度を変化させる。ここで、メイクパーツの濃度は、メイクパーツが表示部１５に表示された際における色の濃さを意味する。

具体的に図１０に、メイクパーツ４１よりも高い濃度のメイクパーツ４２が、ユーザＵの顔が撮像された撮像画像に重ねて表示された例を示す。一般的に、ユーザＵが顔に化粧品を塗布するために化粧筆を顔に接触させた場合、その接触が強いほど、ユーザＵの顔により多くの量の化粧品が塗布される。また、接触の時間が長いほど、そして接触状態での移動距離が長いほど、ユーザＵの顔により多くの量の化粧品が塗布される。このような特徴を模擬するため、表示制御部１２０は、指示装置３０がユーザＵの顔に接触した時に情報受信部１５０が指示装置３０から取得した接触情報を参照し、接触情報により示される第２の値がより大きいほど、メイクパーツの濃度をより高くする。

更には、接触の強さ等が同じであっても、化粧筆に保持されている化粧品の量が大きいほど、ユーザＵの顔により多くの量の化粧品が塗布される。そのため、表示制御部１２０は、保持データ２１に記憶されている保持量を参照して、保持量がより大きいほど、メイクパーツの濃度をより高くする。

このように、表示制御部１２０は、指示装置３０に仮想的に保持されている化粧品の保持量と、指示装置３０によるユーザＵの顔への接触の強さ等と、のそれぞれがより大きくなると、図１０に示すように、メイクパーツ４１よりも濃度が高いメイクパーツ４２が撮像画像に重ねられたメイク画像を表示する。これにより、タッチパネル１６の表面又はユーザＵの顔に対する接触の強さ等によって実際のメイクとは異なる仕上がりになることを抑制することができる。そのため、メイク後の状態をよりリアルにシミュレーションすることができる。

以上のように構成されるメイクシミュレーション装置１において実行される処理の流れについて、図１１～図１３を参照して説明する。

まず、図１１に示すフローチャートを参照して、指示装置３０において実行される処理の流れについて説明する。図１１に示す処理は、指示装置３０の電源が投入されており、指示装置３０が正常な処理が実行可能な状態において、随時実行される。

図１１に示す処理を開始すると、指示装置３０において、制御部３１は、接触検知部３４により検知された接触に関する接触情報の送信タイミングが到来したか否か判定する（ステップＳ１１）。接触情報の送信タイミングは、予め定められた一定の時間間隔で繰り返し到来する。

接触情報の送信タイミングが到来した場合（ステップＳ１１；ＹＥＳ）、制御部３１は、情報送信部３１０として機能し、接触検知部３４により検知された指示装置３０の先端部に対する接触の強さ、接触の時間長、及び接触の位置の移動距離を示す接触情報を画像処理装置１０に送信する（ステップＳ１２）。例えば、ユーザＵが化粧品を選択するために、指示装置３０の先端部をタッチパネル１６の表面に接触させた場合、制御部３１は、その接触の強さを示す接触情報を画像処理装置１０に送信する。或いは、ユーザＵが化粧品を顔に仮想的に塗布するために、指示装置３０の先端部をユーザＵの顔に接触させた場合、制御部３１は、その接触の強さを示す接触情報を画像処理装置１０に送信する。なお、制御部３１は、接触検知部３４により検知された接触の強さの値がゼロであっても、すなわち指示装置３０の先端部に何も接触していない場合であっても、送信タイミングが到来した時点における接触の強さの値を示す接触情報を画像処理装置１０に送信する。一方で、接触情報の送信タイミングが到来していない場合（ステップＳ１１；ＮＯ）、制御部３１は、ステップＳ１２の処理をスキップする。

第２に、制御部３１は、加速度検知部３５により検知された加速度を示す加速度情報の送信タイミングが到来したか否かを判定する（ステップＳ１３）。加速度情報の送信タイミングは、予め定められた一定の時間間隔で繰り返し到来する。ここで、加速度情報の送信タイミングは、接触情報の送信タイミングと同じであっても良いし、異なっていても良い。

加速度情報の送信タイミングが到来した場合（ステップＳ１３；ＹＥＳ）、制御部３１は、情報送信部３１０として機能し、加速度検知部３５により検知された加速度を示す加速度情報を画像処理装置１０に送信する（ステップＳ１４）。ここで、制御部３１は、加速度検知部３５により検知された加速度の値がゼロであっても、すなわち指示装置３０に加速度が加えられていない場合であっても、送信タイミングが到来した時点における加速度の値を示す加速度情報を画像処理装置１０に送信する。一方で、加速度情報の送信タイミングが到来していない場合（ステップＳ１３；ＮＯ）、制御部３１は、ステップＳ１４の処理をスキップする。

その後、制御部３１は、処理をステップＳ１１に戻し、ステップＳ１１からステップＳ１４の処理を繰り返す。すなわち、制御部３１は、接触を検知した場合に接触情報を送信し、加速度を検知した場合に加速度情報を送信する処理を繰り返す。

次に、図１２に示すフローチャートを参照して、画像処理装置１０において実行される基本画像処理について説明する。基本画像処理は、画像処理装置１０の電源が投入されて正常な処理が可能な状態になると、開始する。

なお、画像処理装置１０において、制御部１１は、図１２に示す処理を実行している間、情報受信部１５０として機能し、指示装置３０から接触情報又は加速度情報が送信される毎に、送信された接触情報又は加速度情報を受信する。

図１２に示す処理を開始すると、画像処理装置１０において、制御部１１は、表示制御部１２０として機能し、タッチパネル１６に化粧品画像を表示する（ステップＳ１０１）。具体的に説明すると、制御部１１は、例えば図７に示したように、タッチパネル１６上に区分けされた複数の領域にそれぞれ異なる種類の化粧品を表現する化粧品画像をタッチパネル１６に表示する。

図１２に戻り、タッチパネル１６に化粧品画像を表示すると、制御部１１は、画像取得部１１０として機能し、撮像を開始する（ステップＳ１０２）。具体的に説明すると、制御部１１は、撮像部１４による撮像を開始し、表示部１５の正面の空間の様子を表す撮像画像を取得する。例えば図７に示したようにユーザＵが表示部１５の方を向いている場合、制御部１１は、ユーザＵの顔が撮像された撮像画像を取得する。

撮像を開始すると、制御部１１は、表示制御部１２０として機能し、撮像により得られた撮像画像を表示部１５に表示する（ステップＳ１０３）。具体的に説明すると、制御部１１は、例えば図７に示したように、表示部１５に向かい合っているユーザＵの顔画像を含む撮像画像を表示部１５に表示する。

図１２に戻り、撮像画像を表示すると、制御部１１は、タッチパネル１６の表面に対する接触を検知したか否かを判定する（ステップＳ１０４）。例えば図７に示したように、ユーザＵは、タッチパネル１６に表示された化粧品画像のうちから化粧品を選択するために、指示装置３０の先端部をタッチパネル１６の表面に接触させる。制御部１１は、このような指示装置３０によるタッチパネル１６の表面に対する接触の有無を判定する。

図１２に戻り、タッチパネル１６の表面に対する接触を検知した場合（ステップＳ１０４；ＹＥＳ）、制御部１１は、操作受付部１４０として機能し、化粧品を選択する（ステップＳ１０５）。具体的に説明すると、制御部１１は、タッチパネル１６に表示されている複数の化粧品のうちから、ステップＳ１０４で検知された接触の位置に表示されている化粧品を、メイクシミュレーションに用いられる化粧品として選択する。

化粧品を選択すると、制御部１１は、保持量設定部１６０として機能し、指示装置３０に仮想的に保持される化粧品の保持量を算出する（ステップＳ１０６）。具体的に説明すると、ステップＳ１０４で指示装置３０によるタッチパネル１６の表面に対する接触が検知された際、指示装置３０でも、接触検知部３４によりその接触が検知される。制御部１１は、ステップＳ１０４で指示装置３０によるタッチパネル１６の表面に対する接触が検知された時に指示装置３０から送信された接触情報により示される接触の強さに応じて、指示装置３０に仮想的に保持される化粧品の保持量を算出する。

保持量を算出すると、制御部１１は、保持データ２１を更新する（ステップＳ１０７）。具体的に説明すると、制御部１１は、保持データ２１に記憶されている化粧品の種類を、ステップＳ１０５で選択された化粧品の種類に更新する。また、制御部１１は、保持データ２１に記憶されている化粧品の保持量を、ステップＳ１０６で算出した保持量に更新する。

これに対して、ステップＳ１０４でタッチパネル１６の表面に対する接触を検知していない場合（ステップＳ１０４；ＮＯ）、制御部１１は、ステップＳ１０５～Ｓ１０７の処理をスキップする。

次に、制御部１１は、顔検出部１３０として機能し、撮像画像から顔領域を検出する（ステップＳ１０８）。具体的に説明すると、制御部１１は、周知の顔認識の手法を用いて、撮像部１４により得られた撮像画像のうちから、ユーザＵの目、鼻、眉等の顔部位、及び顔全体の領域を検出する。そして、制御部１１は、撮像画像における顔全体の領域をバーチャルメイク領域として決定する。

顔画像を検出すると、制御部１１は、指示装置３０がユーザＵの顔に接触したか否かを判定する（ステップＳ１０９）。具体的に説明すると、制御部１１は、ステップＳ１０８で検出された顔領域の内側に指示装置３０の画像が含まれ、且つ、指示装置３０から接触情報を取得した場合に、指示装置３０がユーザの顔に接触したと判定する。

指示装置３０がユーザＵの顔に接触していない場合（ステップＳ１０９；ＮＯ）、制御部１１は、処理をステップＳ１０３に戻す。すなわち、制御部１１は、指示装置３０によるユーザＵの顔に対する接触を検知するまで、ステップＳ１０３～Ｓ１０８の処理を繰り返す。

これに対して、指示装置３０がユーザＵの顔に接触した場合（ステップＳ１０９；ＹＥＳ）、制御部１１は、接触位置特定部１７０として機能し、撮像画像における接触位置を特定する（ステップＳ１１０）。具体的に説明すると、制御部１１は、指示装置３０においてユーザＵの顔への接触が検知されたタイミングでの、撮像画像における指示装置３０の先端部の座標を、接触位置として特定する。

接触位置を特定すると、制御部１１は、メイクパーツの濃度を設定する（ステップＳ１１１）。具体的に説明すると、制御部１１は、保持データ２１に記憶されている保持量と、ステップ１０９において指示装置３０から取得した接触情報により示される接触の強さと、のそれぞれがより大きいほど、メイクパーツの濃度をより高く設定する。

メイクパーツの濃度を設定すると、制御部１１は、表示制御部１２０として機能し、メイク画像を表示する（ステップＳ１１２）。具体的に説明すると、制御部１１は、ユーザＵの顔がリアルタイムで撮像された撮像画像におけるステップＳ１１０で特定した接触位置に、ステップＳ１１１で設定した濃度のメイクパーツを重ねることにより、メイク後のユーザＵの顔の状態を表現するメイク画像を生成する。そして、制御部は、生成されたメイク画像を表示部１５に表示する。

メイク画像を表示すると、制御部１１は、保持量設定部１６０として機能し、保持データ２１を更新する（ステップＳ１１３）。具体的に説明すると、制御部１１は、ステップ１０９において指示装置３０から取得した接触情報により示される接触の強さに基づいて、保持データ２１に記憶されている化粧品の保持量を減少させる。

保持データ２１を更新すると、制御部１１は、処理をステップＳ１０３に戻し、ステップＳ１０３からステップＳ１１３の処理を再び実行する。このように、制御部１１は、ユーザＵがメイクシミュレーション装置１を用いてメイクシミュレーションを継続している限り、ステップＳ１０３からステップＳ１１３の処理を繰り返し、ユーザＵのメイク後の状態をシミュレーションする画像を生成して表示する処理を実行する。

なお、図１２では省略したが、制御部１１は、ステップＳ１０３からステップＳ１１３の処理を実行している間、指示装置３０から加速度情報を受信したか否かを判定する。指示装置３０から加速度情報を受信すると、制御部１１は、受信した加速度情報により示される加速度が閾値よりも大きいか否かを判定する。そして、制御部１１は、取得した加速度情報により示される加速度が閾値よりも大きい場合、加速度がより大きいほど、保持データ２１に保存されている保持量をより大きく減少させる。

次に、図１３に示すフローチャートを参照して、画像処理装置１０のタッチパネル１６において実行されるパレットエフェクト処理について説明する。パレットエフェクト処理は、画像処理装置１０の電源が投入されて正常な処理が可能な状態になると、基本画像処理と平行して開始する。

パレットエフェクト処理を開始すると、画像処理装置１０において、制御部１１は、表示制御部１２０として機能し、タッチパネル１６に化粧品画像を表示する（ステップＳ２０１）。制御部１１は、このときのタッチパネル１６の姿勢（傾き、角度）を、加速度検知部１８より取得し、基準点の姿勢に設定する。本実施形態では、タッチパネル１６が床面に水平である姿勢が基準点の姿勢に設定される。

タッチパネル１６に化粧品画像を表示すると、制御部１１は、図４に示す光反射エフェクトテーブルＥの画像から基準点（０，０）のエフェクト画像を決定する。本実施形態では、図４の中央に示した画像を基準点のエフェクト画像とする（ステップＳ２０２）。

制御部１１は、タッチパネル１６の化粧品画像のうち、グリッター感を有する化粧品画像に、基準点（０，０）のエフェクト画像を重畳して表示する（ステップＳ２０３）。具体的に説明すると、制御部１１は、例えば図２の中央に示したように、グリッター感のある化粧品画像が光を反射しているように表示する。

次に、制御部１１は、タッチパネル１６の化粧品画像の表示をＯＦＦにする指示があるか否かを判定する（ステップＳ２０４）。タッチパネル１６の化粧品画像の表示をＯＦＦにする指示がある場合（ステップＳ２０４；ＹＥＳ）、制御部１１は、タッチパネル１６の表示を終了する。タッチパネル１６の化粧品画像の表示をＯＦＦにする指示がない場合（ステップＳ２０４；ＮＯ）、ステップＳ２０５に進む。

制御部１１は、加速度検知部１８を利用してタッチパネル１６の傾き（動き）の有無を判定する（ステップＳ２０５）。加速度検知部１８がタッチパネル１６の傾きを検出していない場合（ステップＳ２０５；ＮＯ）、制御部１１は、処理をステップＳ２０４に戻す。すなわち、制御部１１は、タッチパネル１６の傾きを検知するまで、光反射エフェクトテーブルＥのエフェクト画像を重畳して表示する処理を繰り返す。加速度検知部１８がタッチパネル１６の傾きを検出した場合（ステップＳ２０５；ＹＥＳ）、ステップＳ２０６に進む。

ステップＳ２０６では、制御部１１は、加速度検知部１８を利用してタッチパネル１６の基準点（０，０）に対するＸ軸及びＹ軸方向の角度を算出する。

その後、制御部１１は、算出した角度をＸ軸方向は２５°刻みで、Ｙ軸方向は１５°刻みで光反射エフェクトテーブルＥに対応する座標に換算する（ステップＳ２０７）。

ステップＳ２０８に進み、制御部１１は、図１４に示すように、換算された座標に対応するエフェクト画像を光反射エフェクトテーブルＥからセット（選択）する。

その後、制御部１１は、セットしたエフェクト画像をタッチパネル１６の所定の化粧品画像に重畳して表示し（ステップＳ２０９）、ステップＳ２０４に戻る。

以上説明したように、実施形態１に係るメイクシミュレーション装置１は、パレットエフェクト処理により、ラメ感やパール感を有する化粧品画像がタッチパネル１６の姿勢（傾き）に応じてエフェクト画像の光り方（グリッター）を変化させる（異ならせる）ことにより、ユーザＵに効果的なグリッター表現ができる。

（実施形態２）
次に、本発明の実施形態２について説明する。実施形態１と同様の構成及び機能は適宜省略する。

実施形態１では、タッチパネル１６上のラメ感やパール感のある化粧品画像が、タッチパネル１６の傾きに応じて光り方が変化した。これに対して、実施形態２では、タッチパネル１６上のラメ感やパール感のある化粧品画像だけでなく、ユーザＵの顔が撮像された撮像画像に重畳されたメイクパーツもラメ感やパール感のある化粧品についてはユーザＵの顔の姿勢にあわせて光り方が変化する（異なる）。

実施形態２に係る画像処理装置１０の機能的な構成を示す。実施形態２では、実施形態１同様に、画像処理装置１０は、機能的に、画像取得部１１０と、表示制御部１２０と、顔検出部１３０と、操作受付部１４０、情報受信部１５０と、保持量設定部１６０と、接触位置特定部１７０と、を備える。

顔検出部１３０は、ユーザＵの顔領域の検出時に、例えば図１５に示す右目の周辺に設定された１０ヶ所の特徴点Ｆの互いの位置関係の変化によって、ユーザＵの顔の姿勢（回転や傾き）を検出する。また、顔検出部１３０は、目頭の特徴点Ｆと瞼の頂点の特徴点Ｆとの距離Ａ、及びアイメイクの塗り幅を基準として、顔と画像処理装置１０ａとの距離の変化を算出する。

表示制御部１２０は、顔検出部１３０が算出した顔画像の姿勢に対応したエフェクト画像を、図１６に示すように、光反射エフェクトテーブルＥの画像から選択する。その後、表示制御部１２０は、選択したエフェクト画像を、顔と画像処理装置１０ａとの距離の変化に応じて拡大縮小を行った後、メイクパーツに重畳させる。

次に、図１７に示すフローチャートを参照して、実施形態２において行われるメイクグリッター表示処理について説明する。この処理は、画像処理装置１０の電源が投入されて正常な処理が可能な状態になると、開始する。また、説明を簡略化するため、右目についてのメイクパーツの説明のみを行う。

メイクグリッター表示処理を開始すると、画像処理装置１０において、制御部１１は、表示制御部１２０として機能し、表示部１５に撮像したユーザＵの顔画像を表示する（ステップＳ３０１）。制御部１１は、表示ＯＮ時に映った顔画像の特徴点Ｆを、基準点として設定する。実施形態１同様に、図４より、基準点のエフェクト画像（０，０）を設定する（ステップＳ３０２）。本実施形態では、ユーザＵの顔が表示部１５に対して正対している姿勢が基準点の姿勢に設定される。

次に、制御部１１は、表示部１５の表示をＯＦＦにする指示があるか否かを判定する（ステップＳ３０３）。表示部１５の表示をＯＦＦにする指示がある場合（ステップＳ３０３；ＹＥＳ）、制御部１１は、表示部１５の表示を終了する。表示部１５の表示をＯＦＦにする指示がない場合（ステップＳ３０３；ＮＯ）、ステップＳ３０４に進む。

制御部１１は、撮像部１４にユーザＵの顔画像を撮像させる。制御部１１は、顔検出部（検出部）１３０として機能し、撮像した画像から顔画像の右目の１０ヶ所の特徴点Ｆを検出する（ステップＳ３０４）。

制御部１１は、ステップＳ３０２での特徴点Ｆの位置関係と検出した顔画像の右目の１０ヶ所の特徴点Ｆの互いの位置とを比較し、顔画像の姿勢（回転角度または傾き（実施形態１同様にＸ軸方向は２５°刻み、Ｙ軸方向は１５°刻みの角度））を算出する（ステップＳ３０５）。また、制御部１１は、ステップＳ３０２での図２０に示す距離Ａと検出した顔画像での目頭から瞼の頂点の特徴点Ｆまでの距離Ａとを比較し、顔画像の拡大・縮小率を算出する（ステップＳ３０６）。

制御部１１は、基本画像処理で得られた右目のメイクパーツを読み込む（ステップＳ３０７）。また、制御部１１は、算出した回転角度に合わせたエフェクト画像を図４に示す光反射エフェクトテーブルＥの画像から選択する（ステップＳ３０８）。

その後、制御部１１は、読み込んだメイクパーツと選択したエフェクト画像とを合成する（ステップＳ３０９）。制御部１１は、合成したデータを、算出した回転角度及び拡大・縮小率に合わせて変形する（ステップＳ３１０）。

制御部１１は、変形した合成データを右目の撮像画像と合成する（ステップＳ３１０）。制御部１１は、合成した右目の画像を表示部１５に表示する（ステップＳ３１２）。その後、ステップＳ３０３に戻る。

以上説明したように、実施形態２に係るメイクシミュレーション装置１では、メイクグリッター処理により、表示制御部は、検出部が撮像画像から検出したユーザＵの顔の回転や傾き（姿勢）に応じて、ラメ感やパール感を有する化粧品を塗布した状態を示すメイク画像に含まれるエフェクト画像の光り方（グリッター）を調整する。ユーザＵの顔の回転や傾きが変化する場合には、表示制御部は、エフェクト画像の光り方を変化させる。これにより、メイクシミュレーション装置１は、ユーザＵのメイク画像の変化が実際のラメ感やパール感を有する化粧品を塗布した場合に近い効果的なグリッター表現ができる。

（変形例）
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

例えば、上記実施形態２では、表示部１５及びタッチパネル１６がエフェクト画像を表示できたが、表示部１５のみがエフェクト画像を表示できても良い。

上記実施形態では、加速度検知部１８や目の特徴点Ｆの位置関係で角度の算出を行ったが、例えば顔部分にセンサやマーカを付けて顔の向きや距離を検出しても良い。

また、上記実施形態では、画像処理装置１０は、表示部１５とタッチパネル１６とを備えており、表示部１５に撮像画像を表示し、タッチパネル１６に化粧品画像を表示した。しかしながら、本発明において、画像処理装置１０は、タッチパネル１６とは独立した表示部１５を備えていなくても良い。言い換えると、本発明に係る画像処理装置１０は、表示部として１つのタッチパネル１６のみを備える一般的なスマートフォンやタブレット端末等にも適用することができる。タッチパネル１６とは独立した表示部１５を備えていない場合、画像処理装置１０は、１つのタッチパネル１６の表示領域を２つに分割し、そのうちの第１の表示領域に撮像画像を表示し、第２の表示領域に化粧品画像を表示する。この場合、第１の表示領域が第１の表示部として機能し、第２の表示領域が第２の表示部として機能する。或いは、画像処理装置１０は、表示部を有さず、外部機器のディスプレイ等に撮像画像を表示しても良い。

上記実施形態では、タッチパネル１６の角度や顔の角度によってエフェクト画像を変化させたが、例えば光源の位置を指やキー入力等で操作して移動させることにより、タッチパネル１６の角度や顔の角度を変えずにエフェクト画像を変化させる構成としても良い。

上記実施形態１では、エフェクト画像と化粧品画像とは別の画像であったが、化粧品画像をあらかじめ合成したエフェクト画像を光反射エフェクトテーブルＥに記憶していても良い。

また、上記実施形態２では、右目のメイクに限定して説明したが、左目やリップ、チーク等についても同様にエフェクト画像を変化させても良い。また、特徴点を設定する箇所は、右目だけでなく、左目、鼻、顔の輪郭や口等であっても良い。

上記実施形態では、光反射エフェクトテーブルＥは、横方向９段階、縦方向５段階とした。しかしながら、本発明において、光反射エフェクトテーブルＥは、より細分化してグリッター表現の変化をよりリアルにしても良い。また、回転角度が大きい場合には、複数のエフェクト画像を変化する角度にあわせて順に表示させることにより、段階的にグリッター表現を変化させるとよりリアルなグリッター表現となって良い。

上記実施形態では、グリッター表現は、エフェクト画像を化粧品画像やメイクパーツに重畳させて表現したが、例えば、化粧品画像自体やメイクパーツ自体の一部分の画素の輝度を変化させる等で表現しても良い。

上記実施形態では、表示制御部１２０は、複数の化粧品を表現する化粧品画像をタッチパネル１６に表示した。しかしながら、本発明において、表示制御部１２０は、化粧品画像として１種類のみの化粧品を表現する画像を表示しても良い。また、構成をより簡略化するために、例えば指示装置３０から加速度検知部３５等を省略することも可能である。

上記実施形態では、制御部１１において、ＣＰＵがＲＯＭに記憶されたプログラムを実行することによって、図６に示した各部として機能した。しかしながら、本発明において、制御部１１は、ＣＰＵの代わりに、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、各種制御回路等の専用のハードウェアを備え、専用のハードウェアが、図６に示した各部として機能しても良い。この場合、各部の機能それぞれを個別のハードウェアで実現しても良いし、各部の機能をまとめて単一のハードウェアで実現しても良い。また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現しても良い。

なお、本発明に係る機能を実現するための構成を予め備えた画像処理装置として提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る画像処理装置として機能させることもできる。すなわち、上記実施形態で例示した画像処理装置１０による各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る塗布装置として機能させることができる。

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部と、
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部と、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部と、を備え、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整する、
ことを特徴とする画像処理装置。

（付記２）
化粧品を表現する化粧品画像を表示する表示部と、
ユーザ及び前記表示部のうちの少なくとも一方の姿勢を検出する検出部と、
前記ユーザの顔が撮像された撮像画像にメイク画像を外部機器に表示する表示制御部と、を備え、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整する、
ことを特徴とする画像処理装置。

（付記３）
前記表示制御部は、前記姿勢の変化に基づいて前記グリッター表現を変化させる、
ことを特徴とする付記１又は２に記載の画像処理装置。

（付記４）
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像において、前記化粧品が前記ユーザの顔に塗布された状態を表現するメイクパーツが重ねられた画像である、
ことを特徴とする付記１に記載の画像処理装置。

（付記５）
前記ユーザの姿勢は、目周辺に設定された特徴点の位置関係の変化に基づいて算出される、
ことを特徴とする付記１から４のいずれか１つに記載の画像処理装置。

（付記６）
複数のエフェクト画像を記憶する記憶部を更に備え、
前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現の変化は、前記メイク画像及び前記化粧品画像のうちの少なくとも一方に、前記複数のエフェクト画像を順に重畳して表示することにより表現される、
ことを特徴とする付記１から５のいずれか１つに記載の画像処理装置。

（付記７）
複数のエフェクト画像を記憶する記憶部を更に備え、
前記複数のエフェクト画像は、前記化粧品画像に予め重畳され、
前記化粧品画像のグリッター表現の変化は、前記複数のエフェクト画像を順に表示することにより表現される、
ことを特徴とする付記１から５のいずれか１つに記載の画像処理装置。

（付記８）
付記１から７のいずれか１つに記載の画像処理装置と、指示体と、を有する、
ことを特徴とするメイクシミュレーション装置。

（付記９）
ユーザの顔が撮像された撮像画像を取得し、
取得された前記撮像画像を第１の表示領域に表示し、
化粧品を表現する化粧品画像を第２の表示領域に表示し、
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出し、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示し、
検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整する、
ことを特徴とする画像処理方法。

（付記１０）
コンピュータを、
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部、
前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部、
前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部、として機能させ、
前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整する、
プログラム。

１…メイクシミュレーション装置、１０…画像処理装置、１１…制御部、１２…記憶部、１３…操作部、１４…撮像部、１５…表示部、１６…タッチパネル、１７…通信部、１８…加速度検知部、２１…保持データ、３０…指示装置、３１…制御部、３２…記憶部、３４…接触検知部、３５…加速度検知部、３７…通信部、４１，４２…メイクパーツ、１１０…画像取得部、１２０…表示制御部、１３０…顔検出部、１４０…操作受付部、１５０…情報受信部、１６０…保持量設定部、１７０…接触位置特定部、１８０…接触情報取得部、３１０…情報送信部、Ｕ…ユーザ

Claims (15)

1. ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部と、
   前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部と、
   前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部と、を備え、
   前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
   前記ユーザの姿勢は、目周辺に設定された特徴点の位置関係の変化に基づいて算出される、
   ことを特徴とする画像処理装置。
2. ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部と、
   前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部と、
   前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部と、
   複数のエフェクト画像を取得する取得部と、を備え、
   前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
   前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現の変化は、前記メイク画像及び前記化粧品画像のうちの少なくとも一方に、前記複数のエフェクト画像を順に重畳して表示することにより表現される、
   ことを特徴とする画像処理装置。
3. ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部と、
   前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部と、
   前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部と、
   複数のエフェクト画像を取得する取得部と、を備え、
   前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
   前記複数のエフェクト画像は、前記化粧品画像に予め重畳され、
   前記化粧品画像のグリッター表現の変化は、前記複数のエフェクト画像を順に表示することにより表現される、
   ことを特徴とする画像処理装置。
4. 化粧品を表現する化粧品画像を表示する表示部と、
   ユーザ及び前記表示部のうちの少なくとも一方の姿勢を検出する検出部と、
   前記ユーザの顔が撮像された撮像画像にメイク画像を外部機器に表示する表示制御部と、を備え、
   前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
   前記ユーザの姿勢は、目周辺に設定された特徴点の位置関係の変化に基づいて算出される、
   ことを特徴とする画像処理装置。
5. 化粧品を表現する化粧品画像を表示する表示部と、
   ユーザ及び前記表示部のうちの少なくとも一方の姿勢を検出する検出部と、
   前記ユーザの顔が撮像された撮像画像にメイク画像を外部機器に表示する表示制御部と、
   複数のエフェクト画像を取得する取得部と、を備え、
   前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
   前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現の変化は、前記メイク画像及び前記化粧品画像のうちの少なくとも一方に、前記複数のエフェクト画像を順に重畳して表示することにより表現される、
   ことを特徴とする画像処理装置。
6. 化粧品を表現する化粧品画像を表示する表示部と、
   ユーザ及び前記表示部のうちの少なくとも一方の姿勢を検出する検出部と、
   前記ユーザの顔が撮像された撮像画像にメイク画像を外部機器に表示する表示制御部と
   複数のエフェクト画像を取得する取得部と、を備え、
   前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
   前記複数のエフェクト画像は、前記化粧品画像に予め重畳され、
   前記化粧品画像のグリッター表現の変化は、前記複数のエフェクト画像を順に表示することにより表現される、
   ことを特徴とする画像処理装置。
7. 前記表示制御部は、前記姿勢の変化に基づいて前記グリッター表現を変化させる、
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記メイク画像は、前記第１の表示領域に表示された前記撮像画像において、前記化粧品が前記ユーザの顔に塗布された状態を表現するメイクパーツが重ねられた画像である、
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
9. 請求項１から８のいずれか１項に記載の画像処理装置と、指示体と、を有する、
   ことを特徴とするメイクシミュレーション装置。
10. ユーザの顔が撮像された撮像画像を取得し、
    取得された前記撮像画像を第１の表示領域に表示し、
    化粧品を表現する化粧品画像を第２の表示領域に表示し、
    前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出し、
    前記第１の表示領域に表示された前記撮像画像にメイク画像を表示し、
    検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
    前記ユーザの姿勢は、目周辺に設定された特徴点の位置関係の変化に基づいて算出される、
    ことを特徴とする画像処理方法。
11. ユーザの顔が撮像された撮像画像を取得し、
    取得された前記撮像画像を第１の表示領域に表示し、
    化粧品を表現する化粧品画像を第２の表示領域に表示し、
    前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出し、
    前記第１の表示領域に表示された前記撮像画像にメイク画像を表示し、
    複数のエフェクト画像を取得し、
    検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
    前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現の変化は、前記メイク画像及び前記化粧品画像のうちの少なくとも一方に、前記複数のエフェクト画像を順に重畳して表示することにより表現される、
    ことを特徴とする画像処理方法。
12. ユーザの顔が撮像された撮像画像を取得し、
    取得された前記撮像画像を第１の表示領域に表示し、
    化粧品を表現する化粧品画像を第２の表示領域に表示し、
    前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出し、
    前記第１の表示領域に表示された前記撮像画像にメイク画像を表示し、
    複数のエフェクト画像を取得し、
    検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
    前記複数のエフェクト画像は、前記化粧品画像に予め重畳され、
    前記化粧品画像のグリッター表現の変化は、前記複数のエフェクト画像を順に表示することにより表現される、
    ことを特徴とする画像処理方法。
13. コンピュータを、
    ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部、
    前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部、
    前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部、として機能させ、
    前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
    前記ユーザの姿勢は、目周辺に設定された特徴点の位置関係の変化に基づいて算出される、
    プログラム。
14. コンピュータを、
    ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部、
    前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部、
    前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部、
    複数のエフェクト画像を取得する取得部、として機能させ、
    前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
    前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現の変化は、前記メイク画像及び前記化粧品画像のうちの少なくとも一方に、前記複数のエフェクト画像を順に重畳して表示することにより表現される、
    プログラム。
15. コンピュータを、
    ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部、
    前記ユーザ及び前記第２の表示領域のうちの少なくとも一方の姿勢を検出する検出部、
    前記第１の表示領域に表示された前記撮像画像にメイク画像を表示する表示制御部、
    複数のエフェクト画像を取得する取得部、として機能させ、
    前記表示制御部は、前記検出部により検出された姿勢に基づいて、前記メイク画像及び前記化粧品画像のうちの少なくとも一方のグリッター表現を調整し、
    前記複数のエフェクト画像は、前記化粧品画像に予め重畳され、
    前記化粧品画像のグリッター表現の変化は、前記複数のエフェクト画像を順に表示することにより表現される、
    プログラム。

Images