JP6750504B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、肌の状態の定点観測を容易に行うことができるようにした情報処理装置、情報処理方法、およびプログラムに関する。

肌を撮影することによって得られた肌画像を解析し、肌の状態を測定する技術がある。測定を行う者は、撮像素子を搭載した測定器を被測定者の顔などに当て、測定部分の撮影を行うことになる。

特開２０１２−２３９７６８号公報

ユーザが自分の肌を撮影し、１人で肌の状態を測定することができれば便利である。１人で測定することができれば、ユーザは、日々の肌の状態の変化を観測するといったことを気軽に行うことができる。

肌の状態の変化を観測するためには同じ部分を繰り返し撮影する必要があるが、その部分を正確に覚えておくことは難しい。

本技術はこのような状況に鑑みてなされたものであり、肌の状態の定点観測を容易に行うことができるようにするものである。

本技術の一側面の情報処理装置は、肌の状態の測定者であるユーザの顔が写る画像を取得する取得部と、前記画像を解析し、顔の特徴点の位置を認識する認識部と、前記特徴点の位置を基準として、顔の所定の位置に定点観測ポイントを設定する設定部と、肌の状態の測定時、肌の状態の測定を行う前記ユーザの顔が写る前記画像を解析することによって認識された前記特徴点の位置を基準として前記定点観測ポイントの位置を特定し、前記定点観測ポイントの位置を表す画像を前記ユーザの顔に重ねて表示させる表示制御部とを備える。
前記表示制御部には、前記定点観測ポイントの位置を表す画像を含む、前記定点観測ポイントの案内画面を、前記定点観測ポイント毎に表示させることができる。

前記画像を撮影する撮影部をさらに設けることができる。この場合、前記取得部には、前記撮影部により撮影された前記画像を取得させることができる。

前記案内画面を表示する表示部をさらに設けることができる。

前記設定部には、前記定点観測ポイントの設定時に撮影された前記画像上で前記ユーザにより指定された位置に定点観測ポイントを設定させることができる。

前記定点観測ポイントの設定時の前記情報処理装置の角度を検出する検出部をさらに設けることができる。

前記表示制御部には、肌の状態の測定時、前記情報処理装置の角度を、前記検出部により検出された角度と同じ角度に調整することを案内する情報を表示させることができる。

前記表示制御部には、肌の状態の測定時、前記定点観測ポイントの設定時に認識された前記特徴点の位置に基づいて、前記特徴点の位置を表す情報を含む、顔の位置の調整画面を表示させることができる。

前記表示制御部には、前記特徴点の位置が変化することに応じて、前記定点観測ポイントの位置を表す画像の表示位置を変化させることができる。

前記肌画像を解析し、前記定点観測ポイントの肌の状態を測定する解析部と、前記解析部による測定の結果を表す情報を記録する記録部とをさらに設けることができる。

前記表示制御部には、前記記録部に記録された複数回の測定の結果を表す情報に基づいて、前記定点観測ポイントの肌の状態の変化を表す情報を表示させることができる。

本技術の一側面においては、肌の状態の測定者であるユーザの顔が写る画像が取得される。また、前記画像が解析され、顔の特徴点の位置が認識され、前記特徴点の位置を基準として、顔の所定の位置に定点観測ポイントが設定され、肌の状態の測定時、肌の状態の測定を行う前記ユーザの顔が写る前記画像を解析することによって認識された前記特徴点の位置を基準として前記定点観測ポイントの位置が特定され、前記定点観測ポイントの位置を表す画像が前記ユーザの顔に重ねて表示される。また、前記定点観測ポイントの肌を撮影して得られた肌画像が取得され、前記肌画像と、肌の状態の測定を行っている前記ユーザの顔が写る前記画像とが同時に表示される。

本技術によれば、ユーザは、肌の状態の定点観測を容易に行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した肌状態測定システムの構成例を示す図である。 肌測定器の外観を示す図である。 肌測定器の使用例を示す図である。 肌測定器の構成例を示すブロック図である。 情報処理装置のハードウェア構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 初期設定処理について説明するフローチャートである。 顔の向きの案内画面の例を示す図である。 定点観測ポイントの選択画面の例を示す図である。 設定情報の例を示す図である。 他の初期設定処理について説明するフローチャートである。 撮影の案内画面の例を示す図である。 特徴点の選択画面の例を示す図である。 定点観測ポイントの設定画面の例を示す図である。 測定処理について説明するフローチャートである。 角度の調整画面の例を示す図である。 顔の位置の調整画面の例を示す図である。 顔の位置の調整画面の他の例を示す図である。 定点観測ポイントの案内画面の例を示す図である。 定点観測ポイントの案内画面の他の例を示す図である。 表示画面の例を示す図である。 表示画面の他の例を示す図である。 口元の撮影中の表示画面の例を示す図である。 額の撮影中の表示画面の例を示す図である。 測定結果の例を示す図である。 定点観測結果表示処理について説明するフローチャートである。 定点観測結果の表示画面の例を示す図である。 比較表示処理について説明するフローチャートである。 顔画像の表示画面の例を示す図である。 検索処理について説明するフローチャートである。 顔画像の表示画面の例を示す図である。 改善方法提示処理について説明するフローチャートである。 顔画像の例を示す図である。 評価結果の表示例を示す図である。 評価結果の他の表示例を示す図である。 検索処理について説明するフローチャートである。 顔画像の表示例を示す図である。 人物検索処理について説明するフローチャートである。 顔画像の表示画面の例を示す図である。 髪型の合成結果の表示例を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．肌状態測定システムの構成
２．各機器の構成
３．情報処理装置の動作
４．肌状態情報を用いた分類の例
５．変形例

＜１．肌状態測定システムの構成＞
図１は、本技術を適用した肌状態測定システムの構成例を示す図である。

図１の肌状態測定システムは、情報処理装置１と肌測定器２から構成される。情報処理装置１と肌測定器２は無線LAN(Local Area Network)などの無線通信を介して接続される。情報処理装置１と肌測定器２が、USB(Universal Serial Bus)ケーブルなどを用いた有線の通信を介して接続されるようにしてもよい。

図１の肌状態測定システムは、ユーザが、主に１人で、自分の肌の状態を測定し、測定結果を確認するために用いられる。ユーザは、肌の状態の測定者であり、被測定者でもある。

情報処理装置１は、タブレット型の端末である。情報処理装置１にはLCD(Liquid Crystal Display)などのディスプレイ１１が設けられる。ディスプレイ１１のベゼル部分にはカメラ１２が設けられる。ディスプレイ面と同じ面にカメラが搭載される、スマートフォン、パーソナルコンピュータなどの他の携帯端末が情報処理装置１として用いられるようにしてもよい。

情報処理装置１は、肌測定器２により撮影された肌画像を取得し、取得した肌画像を解析してユーザの肌の状態を測定する。肌画像は、皮膚が拡大して写る画像である。情報処理装置１は、測定した肌の状態に関する情報をディスプレイ１１に表示し、ユーザに提示する。

肌測定器２は、ユーザが片手で持つことができる程度の大きさの電子機器である。肌測定器２には、撮像素子、体温センサなどの各種のセンサが設けられる。

図２は、肌測定器２の外観を示す図である。

図２のＡに示すように、肌測定器２は、側面視において略横長楕円形の筐体を有する。筐体の右端の頂部から若干ずれた位置には平面が形成され、この平面に、図２のＢに示すように略円形の孔部２１が形成される。肌測定器２の筐体の孔部２１の周り以外は、全体的に曲面により構成される。

孔部２１の奥には、孔部２１の外に向けて光を照射する発光部、反射光を受けて撮影を行う撮像素子などが設けられる。ユーザは、自分の肌の状態を測定するとき、孔部２１を測定部分に当てて撮影を行うことになる。

図３は、肌測定器２の使用例を示す図である。

図３に示すように、ユーザは、テーブルなどに置いた情報処理装置１を前にして座り、ディスプレイ１１の表示を見ながら、肌測定器２を自分の顔などに当てて肌の状態の測定を行う。この場合、情報処理装置１は、テーブル上のクレードルなどに設置される。ユーザは、情報処理装置１を一方の手で持ち、肌測定器２を他方の手で持って肌の状態の測定を行うことも可能である。

このような構成を有する肌状態測定システムを用いることによって、ユーザは、肌の状態の定点観測を行うことができる。

情報処理装置１は、ユーザが肌測定器２を使っているとき、同じ部分を撮影できるようにするための案内をディスプレイ１１に表示させる。ある部分にできたシミがどのように変化しているかといったことなどを観測するためには、ユーザは、定点観測ポイントして設定した部分を、肌測定器２を使って定期的に撮影する必要がある。

例えば、情報処理装置１は、ユーザが肌測定器２を使っているとき、カメラ１２によってユーザの顔を撮影し、ユーザの顔の画像に重ねて、あらかじめ設定された定点観測ポイントを表す情報を表示させる。ユーザは、肌測定器２を持った手をディスプレイ１１に表示される案内に従って動かすことによって、定点観測ポイントの撮影を行うことができる。

ここで、定点観測ポイントを表す情報を顔の画像に重ねて表示するためには、情報処理装置１は、ユーザの目、鼻、口などの、特徴点となる構成の位置を特定する必要がある。定点観測ポイントの位置は、顔の特徴点の位置を基準として表される。

また、顔の特徴点の位置を特定して毎回同じ位置に定点観測ポイントを表す情報を表示するためには、顔の位置と情報処理装置１の位置とが、毎回同じ関係になっている必要がある。前回の測定時と今回の測定時とでユーザの顔の向きが異なる場合、情報処理装置１は、基準となる位置を正しく認識することができず、これにより、定点観測ポイントを正しく表示することができない。

情報処理装置１は、定点観測ポイントを表す情報を表示する前、顔の位置と情報処理装置１の位置との関係を調整するための案内を表示する。顔の位置と情報処理装置１の位置との関係を調整させてからユーザの顔を撮影し、特徴点の位置を特定することによって、情報処理装置１は、毎回、ユーザの顔の画像上の同じ位置に定点観測ポイントを表す情報を表示させることが可能になる。

ディスプレイ１１に案内が表示されるため、ユーザは、自分の顔の位置と情報処理装置１の位置との関係が毎回同じ関係になるように容易に調整することができる。情報処理装置１は携帯型の装置であるため、顔の位置と情報処理装置１の位置との関係を固定させることは難しいが、ユーザは、位置の調整を容易に行うことができる。

また、ユーザは、ディスプレイ１１に表示された案内に従って手を動かすことによって、定点観測ポイントとして設定しておいた部分を肌測定器２で正しく撮影することができる。ユーザは、定点観測しようとする部分を覚えておく必要がない。

ユーザに定点観測を行わせるための情報処理装置１の一連の処理についてはフローチャートを参照して後述する。

＜２．各機器の構成＞
・肌測定器の構成
図４は、肌測定器２の構成例を示すブロック図である。

肌測定器２は、発光部３１、撮像素子３２、センサ３３、コントローラ３４、および通信部３５から構成される。

発光部３１は、肌画像の撮影時、肌に向けて可視光を照射する。また、発光部３１は、メラニン量の測定などに用いられる所定の波長の光を照射する。

撮像素子３２は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子である。撮像素子３２は、発光部３１が照射した光の反射光を検出し、光電変換などを行う。撮像素子３２は、光電変換などを行うことによって得られた肌画像のデータをコントローラ３４に出力する。

センサ３３は、肌温度を測定するセンサなどの各種のセンサである。センサ３３は、測定結果を表すセンサデータをコントローラ３４に出力する。

コントローラ３４は、通信部３５を介して情報処理装置１と通信を行い、情報処理装置１による制御に従って肌測定器２の各部を制御する。コントローラ３４は、撮像素子３２から供給された肌画像のデータと、センサ３３から供給されたセンサデータを、通信部３５から情報処理装置１に送信する。

通信部３５は、無線LANなどの所定の規格の通信モジュールである。通信部３５は、情報処理装置１と通信を行う。通信部３５は、情報処理装置１から送信されてきた情報をコントローラ３４に出力し、コントローラ３４から供給された情報を情報処理装置１に送信する。

・情報処理装置の構成
図５は、情報処理装置１のハードウェア構成例を示すブロック図である。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

CPU(Central Processing Unit)５１、ROM(Read Only Memory)５２、RAM(Random Access Memory)５３は、バス５４により相互に接続される。

バス５４には、さらに、入出力インタフェース５５が接続される。入出力インタフェース５５には、ディスプレイ１１、カメラ１２、タッチパネル５６、メモリ５７、通信部５８、角度センサ５９、およびドライブ６０が接続される。

タッチパネル５６は、ディスプレイ１１に積層して設けられる。タッチパネル５６は、ユーザによる操作を検出し、操作の内容を表す情報をCPU５１に出力する。

メモリ５７は、フラッシュメモリなどより構成される。メモリ５７は、肌の状態の測定が行われる毎に、カメラ１２により撮影された顔画像、肌測定器２により撮影された肌画像、肌の状態の測定結果を表す情報などの各種の情報を記録する。メモリ５７に記録された情報はCPU５１により適宜読み出される。

通信部５８は、無線LANなどの所定の規格の通信モジュールである。通信部５８は、肌測定器２と通信を行う。また、通信部５８は、情報処理装置１の近傍に設置されたアクセスポイントや公衆無線回線に接続し、インターネットを介して接続されるサーバなどの各種の装置との間で通信を行う。

角度センサ５９は、肌の状態の測定時などの所定のタイミングで情報処理装置１の筐体の角度を検出する。

ドライブ６０は、リムーバブルメディア６１に記録されたデータの読み出しと、リムーバブルメディア６１に対するデータの記録を行う。リムーバブルメディア６１は、情報処理装置１に設けられたスロットに装着されたメモリカード、情報処理装置１の端子に装着されたUSBメモリなどの記録媒体である。

図６は、情報処理装置１の機能構成例を示すブロック図である。図６に示す機能部のうちの少なくとも一部は、図５のCPU５１により所定のプログラムが実行されることによって実現される。

図６に示すように、情報処理装置１においては、画像取得部８１、認識部８２、肌状態解析部８３、定点観測ポイント設定部８４、情報管理部８５、測定結果分析部８６、および表示制御部８７が実現される。

画像取得部８１は、カメラ１２を制御して撮影を行う。画像取得部８１は、撮影を行うことによって得られた、情報処理装置１の前にいるユーザの顔が写る動画像または静止画像である顔画像を取得する。また、画像取得部８１は、肌の状態の測定時、肌測定器２により撮影され、通信部５８において受信された肌画像を取得する。

画像取得部８１は、顔画像を認識部８２と表示制御部８７に出力し、肌画像を肌状態解析部８３と表示制御部８７に出力する。肌測定器２から送信されてきたセンサデータも画像取得部８１により取得され、肌状態解析部８３に供給される。

認識部８２は、画像取得部８１から供給された顔画像を解析し、ユーザの顔の特徴点を認識する。特徴点の認識は、例えば、あらかじめ用意された特徴データと、顔画像の各領域から抽出した特徴データとのマッチングによって行われる。認識部８２は、顔画像上の、それぞれの特徴点の位置を特定する。

以下においては、顔画像に写る両目と口の３点を特徴点として処理を行う場合について主に説明するが、鼻、眉毛、耳などの他の構成を特徴点に含めて処理を行うようにしてもよい。特徴点として用いる構成の数、組み合わせも任意である。

また、認識部８２は、情報処理装置１から、それぞれの特徴点までの距離を特定する。認識部８２は、顔画像に写る特徴点までの距離を測定する距離センサとして機能する。

顔画像上の特徴点の位置と、それぞれの特徴点までの距離から、撮影空間（３次元空間）での顔の特徴点の位置を特定することが可能になる。認識部８２は、ユーザの顔の立体的な形状を認識することになる。認識部８２は、特徴点の位置と距離の情報を顔画像とともに出力する。認識部８２から出力された情報は、定点観測ポイント設定部８４、情報管理部８５、および表示制御部８７に供給される。

肌状態解析部８３は、画像取得部８１から供給された肌画像を解析し、肌の状態を測定する。肌の状態の測定には、適宜、肌測定器２により検出されたセンサデータも用いられる。例えば、肌の色、キメ、水分量、油分量、毛穴の状態、メラニン量、血流量、肌温度の各項目が測定される。肌状態解析部８３は、測定した肌の状態を表す情報である肌状態情報を肌画像とともに情報管理部８５に出力する。

定点観測ポイント設定部８４は、初期設定時、定点観測ポイントを設定する。肌の状態の定点観測を行う前、ユーザは、初期設定によって定点観測ポイントの設定を行う必要がある。

例えば、定点観測ポイント設定部８４は、認識部８２により特定された特徴点の位置に基づいて、ユーザの頬、額、口元の位置を特定し、それらの位置を定点観測ポイントとして設定する。また、定点観測ポイント設定部８４は、ユーザにより指定された部分を定点観測ポイントとして設定する。定点観測ポイントの指定は、例えば、ディスプレイ１１に表示された顔画像上の位置を指で直接触れることによって行われる。

後述するように、ユーザは、特徴点の位置を指定した後、定点観測ポイントとして好みの位置を任意に指定することもできる。任意に指定された定点観測ポイントの位置は、ユーザにより指定された特徴点の位置を基準として表される。定点観測ポイント設定部８４は、定点観測ポイントの位置の情報を情報管理部８５に出力する。

情報管理部８５は、認識部８２により認識された特徴点の位置と距離の情報、および顔画像をメモリ５７に記録させる。また、情報管理部８５は、肌状態解析部８３により測定された肌状態情報、および肌画像をメモリ５７に記録させる。これらの情報は、測定日時などの情報と対応付けてメモリ５７に記録される。情報管理部８５は、定点観測ポイント設定部８４により設定された定点観測ポイントの位置の情報をメモリ５７に記録させる。

情報管理部８５は、メモリ５７に記録させた各種の情報を適宜読み出し、測定結果分析部８６と表示制御部８７に出力する。例えば、情報管理部８５は、定点観測の結果を表示するとき、各回の測定によって得られた肌状態情報を測定結果分析部８６に出力する。

測定結果分析部８６は、情報管理部８５から供給された肌状態情報に基づいて、定点観測ポイントの肌の状態の変化を分析する。測定結果分析部８６は、分析結果を表示制御部８７に出力する。

表示制御部８７は、初期設定時の画面、測定結果分析部８６による分析結果などの各種の情報をディスプレイ１１に表示させる。

＜３．情報処理装置の動作＞
ここで、以上のような構成を有する情報処理装置１の処理について説明する。

・初期設定処理１
はじめに、図７のフローチャートを参照して、初期設定処理について説明する。

上述したように、初期設定処理は、定点観測ポイントを設定する処理である。定点観測ポイントの設定には、決められた部分を定点観測ポイントとして設定する処理と、ユーザ自身が顔画像上の任意の部分を指定して選択する処理とがある。

図７の処理は、決められた部分を定点観測ポイントとして設定する前者の処理である。図７の処理は、例えば、メニュー画面から初期設定を行うことが選択されたときに開始される。

ステップＳ１において、画像取得部８１は、カメラ１２を制御し、ユーザの顔の撮影を開始する。ユーザの顔が写る動画像である顔画像のデータは、認識部８２と表示制御部８７に順次供給される。

ステップＳ２において、表示制御部８７は、顔の向きの案内画面をディスプレイ１１に表示させる。

図８は、顔の向きの案内画面の例を示す図である。

図８の顔画像は、カメラ１２により取り込まれた、初期設定を行っているユーザの顔が写る動画像である。ディスプレイ１１の上方には、顔の正面を情報処理装置１に向けることを案内するメッセージが表示される。図８の案内画面に従って、ユーザは、顔の正面を情報処理装置１に向けることになる。

ステップＳ３において、画像取得部８１は、カメラ１２により撮影された顔画像を構成する所定のフレームを静止画像として取得する。例えば、画像取得部８１は、ユーザが顔の正面を情報処理装置１に向けたときのフレームを静止画像として取得する。

ステップＳ４において、角度センサ５９は、情報処理装置１の角度を検出する。角度センサ５９により検出された角度の情報は情報管理部８５に供給される。

ステップＳ５において、認識部８２は、静止画として取得された顔画像を解析し、両目と口の３点などの、顔の特徴点を認識する。また、認識部８２は、顔画像上のそれぞれの特徴点の位置と、情報処理装置１から、それぞれの特徴点までの距離を特定する。認識部８２により特定された特徴点の位置と距離の情報は、顔画像とともに、定点観測ポイント設定部８４と情報管理部８５に供給される。

ステップＳ６において、情報管理部８５は、情報処理装置１の角度の情報、特徴点の位置と距離の情報、および顔画像をメモリ５７に記録させる。メモリ５７に記録される顔画像は、例えば顔の特徴点の認識に用いられた静止画像である。

ステップＳ７において、定点観測ポイント設定部８４は、ユーザの頬、額、口元を定点観測ポイントとして設定する。それぞれの定点観測ポイントの位置は、特徴点の位置を基準として特定される。この例においては、頬、額、口元のそれぞれを定点観測ポイントとして設定することがあらかじめ決められている。

このように、ユーザは、複数の部分を定点観測ポイントとして自動的に設定させることができる。頬、額、口元、目元などの、あらかじめ決められた位置の中から、定点観測ポイントとする部分をユーザが選択することができるようにしてもよい。

図９は、定点観測ポイントの選択画面の例を示す図である。

図９の選択画面の上方には、定点観測ポイントとする部分を選択することを促すメッセージが表示されている。メッセージの下には、ボタン１０１乃至１０３が表示される。ボタン１０１乃至１０３は、それぞれ、頬、額、口元を定点観測ポイントとして設定するときに選択されるボタンである。

図９の選択画面を用いた定点観測ポイントの設定は、ユーザが、位置の制限なしに、好みの部分を任意に指定して定点観測ポイントを設定する後述する処理とは異なる。

ステップＳ８において、情報管理部８５は、定点観測ポイントの位置を表す情報をメモリ５７に記録させる。以上の処理により、初期設定処理は終了となる。

図１０は、設定情報の例を示す図である。

設定情報は、初期設定処理が行われることによってメモリ５７に記録される情報である。情報処理装置１を複数のユーザが使う場合、メモリ５７には、ユーザ毎の設定情報が記録される。

図１０に示すように、設定情報には、初期設定時の情報処理装置１の角度の情報が含まれる。また、設定情報には、特徴点１乃至３のそれぞれの顔画像上の位置の情報と、情報処理装置１から、特徴点１乃至３のそれぞれまでの距離の情報が含まれる。図１０の例においては、特徴点１乃至３は、それぞれ左目、右目、口である。

設定情報には、定点観測ポイント１乃至３のそれぞれの顔画像上の位置の情報が含まれる。情報処理装置１から定点観測ポイント１乃至３までの距離の情報が記録されるようにしてもよい。上述した例の場合、定点観測ポイント１乃至３は、それぞれ頬、額、口元である。

・初期設定処理２
次に、図１１のフローチャートを参照して、他の初期設定処理について説明する。

図１１の処理は、ユーザ自身が顔画像上の任意の部分を指定して定点観測ポイントを設定する処理である。図１１の処理は、特徴点の指定と、定点観測ポイントとする部分の指定がユーザにより行われる点を除いて、図７を参照して説明した処理と基本的に同様の処理である。

ステップＳ２１において、画像取得部８１は、カメラ１２を制御し、ユーザの顔の撮影を開始する。ユーザの顔が写る動画像である顔画像のデータは、認識部８２と表示制御部８７に供給される。

ステップＳ２２において、表示制御部８７は、撮影の案内画面をディスプレイ１１に表示させる。

図１２は、撮影の案内画面の例を示す図である。

図１２の顔画像は、カメラ１２により取り込まれた、初期設定を行っているユーザの顔が写る動画像である。ディスプレイ１１の上方には、好きな向きで撮影することを案内するメッセージが表示される。図１２の例においては、ユーザの顔は、情報処理装置１（カメラ１２）の方向を向いていない。

ユーザは、図１２の案内画面に従って、定点観測ポイントにしたい部分が写るように顔の向きを調整する。案内画面の右下には、顔の向きを決定するときに操作されるボタン１０４が表示されている。

ステップＳ２３において、画像取得部８１は、カメラ１２により撮影された顔画像を構成する、図１２のボタン１０４が操作されたタイミングのフレームを静止画像として取得する。静止画像には、好きな方向を向いているユーザの顔が写ることになる。画像取得部８１は、取得した静止画像を顔画像として認識部８２と表示制御部８７に出力する。

ステップＳ２４において、角度センサ５９は、情報処理装置１の角度を検出する。角度センサ５９により検出された角度の情報は情報管理部８５に供給される。

ステップＳ２５において、表示制御部８７は、特徴点の選択画面をディスプレイ１１に表示させる。

図１３は、特徴点の選択画面の例を示す図である。

図１３の顔画像は、例えば画像取得部８１により取得された静止画像である。ディスプレイ１１の上方には、特徴点となる、目と口の位置を指定することを案内するメッセージが表示される。

ユーザは、図１３の選択画面に従って、自分の顔画像上の、両目と口の位置を指で直接触れるなどして指定する。タッチパネル５６は、ユーザにより指定された位置を検出する。ユーザにより指定された位置を表す情報は、特徴点の位置の情報として認識部８２に供給される。

ステップＳ２６において、認識部８２は、顔画像を解析し、情報処理装置１から特徴点までの距離を特定する。ここでは、ユーザにより指定された位置に写っている対象が特徴点として処理される。特徴点の位置と、認識部８２により特定された特徴点の距離の情報は、顔画像とともに、定点観測ポイント設定部８４と情報管理部８５に供給される。

ステップＳ２７において、情報管理部８５は、情報処理装置１の角度の情報、特徴点の位置と距離の情報、および顔画像をメモリ５７に記録させる。

ステップＳ２８において、表示制御部８７は、定点観測ポイントの設定画面をディスプレイ１１に表示させる。

図１４は、定点観測ポイントの設定画面の例を示す図である。

図１４の顔画像は、例えば画像取得部８１により取得された静止画像である。ディスプレイ１１の上方には、定点観測ポイントを指定することを案内するメッセージが表示される。設定画面の右下には、定点観測ポイントの設定を終えるときに操作されるボタン１０５が表示されている。

ユーザは、図１４の画面に従って、自分の顔画像上の任意の位置を指で直接触れるなどして指定する。ユーザは、好みの位置を定点観測ポイントとして指定することができる。ユーザにより指定された位置を表す情報は定点観測ポイント設定部８４により取得される。

定点観測ポイント設定部８４は、ユーザにより指定された位置を定点観測ポイントとして設定し、定点観測ポイントの位置を表す情報を情報管理部８５に供給する。定点観測ポイントの位置は、ユーザにより指定された特徴点の位置を基準として表される。

ステップＳ２９において、情報管理部８５は、定点観測ポイントの位置を表す情報をメモリ５７に記録させる。以上の処理により、初期設定処理は終了となる。メモリ５７には、図１０の設定情報が記録される。

・測定処理
次に、図１５のフローチャートを参照して、測定処理について説明する。

図１５の処理は、定点観測ポイントの肌の状態を実際に測定する処理である。図１５の処理は、図７または図１１の初期設定処理が行われた後に行われる。

ステップＳ４１において、角度センサ５９は、情報処理装置１の角度を検出する。角度センサ５９により検出された角度の情報は表示制御部８７に供給される。

ステップＳ４２において、表示制御部８７は、角度センサ５９により検出された角度が初期設定時の角度と異なる場合、角度の調整画面をディスプレイ１１に表示させる。表示制御部８７は、メモリ５７に記録されている設定情報により表される初期設定時の角度と、角度センサ５９により検出された角度を比較することによって調整画面の表示を制御する。

図１６は、角度の調整画面の例を示す図である。

調整画面の上方には、情報処理装置１を現在の状態から傾けることを案内するメッセージが表示されている。このように、調整画面には、情報処理装置１の角度を初期設定時の角度と同じ角度に調整することを促すメッセージが表示される。

ユーザは、図１６の画面に従って、前方にある情報処理装置１の角度を調整する。これにより、情報処理装置１の角度が、初期設定時の角度と同じ角度になる。

ステップＳ４３において、画像取得部８１は、カメラ１２を制御し、ユーザの顔の撮影を開始する。ユーザの顔が写る動画像である顔画像のデータは認識部８２と表示制御部８７に供給される。

ステップＳ４４において、認識部８２は、顔画像を解析し、顔画像上の特徴点の位置と、情報処理装置１から、それぞれの特徴点までの距離を特定する。特徴点の位置と距離の特定は繰り返し行われる。特徴点の位置と距離の情報は表示制御部８７に供給される。

ステップＳ４５において、表示制御部８７は、顔の位置の調整画面をディスプレイ１１に表示させる。調整画面の表示は、設定情報に含まれる、初期設定時の特徴点の位置と距離の情報を用いて行われる。

図１７は、顔の位置の調整画面の例を示す図である。

図１７の顔画像は、カメラ１２により取り込まれた動画像である。調整画面の上方には、目と口の位置をマーカーに合わせるように、顔の位置を調整することを案内するメッセージが表示される。

調整画面の略中央には、顔画像に重ねて、縦長楕円形の破線の画像である画像Ｐ１が表示される。画像Ｐ１は、顔を収める範囲の目安になる画像である。

画像Ｐ１の内側には、顔画像に重ねて、マーカーとなる画像Ｐ１１乃至Ｐ１３が表示される。画像Ｐ１１は、初期設定時に特定された右目の位置に基づいて表示される。画像Ｐ１２は、初期設定時に特定された左目の位置に基づいて表示される。画像Ｐ１３は、初期設定時に特定された口の位置に基づいて表示される。

ユーザは、図１７の画面に従って、両目と口の３点がそれぞれ画像Ｐ１１乃至Ｐ１３の内側に収まるように顔の向きと距離を調整する。これにより、顔と情報処理装置１の位置の関係が、初期設定時の関係と同じ関係になる。

図１８は、顔の位置の調整画面の他の例を示す図である。

図１８の調整画面には、図１７の画像Ｐ１に代えて、画像Ｐ１が囲む範囲以外の範囲をグレーアウトさせる画像である画像Ｐ２が表示されている。中央の顔付近以外がグレーアウトすることにより、ユーザは、顔の位置の調整に集中することができる。

ステップＳ４６において、表示制御部８７は、定点観測ポイントの案内画面をディスプレイ１１に表示させる。案内画面の表示は、設定情報に含まれる、定点観測ポイントの位置の情報を用いて行われる。

図１９は、定点観測ポイントの案内画面の例を示す図である。

図１９の案内画面は、顔画像１１１と吹き出し１１２が並べて配置されることによって構成される。

顔画像１１１は、カメラ１２により撮影された、ユーザの顔が写る動画像である。顔画像１１１には、定点観測ポイントを表す画像Ｐ２１が重ねて表示されている。

図１９の例においては、ユーザの右頬近傍に画像Ｐ２１が表示されている。画像Ｐ２１は、赤色、青色などの目立つ色の円形の画像である。画像Ｐ２１は透過性を有しており、画像Ｐ２１の下にユーザの顔の一部が表示される。

画像Ｐ２１の表示位置は、設定情報に含まれる、定点観測ポイントの位置の情報に基づいて決定される。基準となる特徴点の位置は、撮影中の顔画像を解析することによって認識部８２により特定されている。

撮影中の顔画像を解析することによって特徴点の位置を特定し、その位置を基準として定点観測ポイントを表示するため、表示制御部８７は、定点観測ポイントを、常に、顔画像上の同じ位置に表示させることが可能になる。

吹き出し１１２には、右頬に肌測定器を当てている人物の様子を示すイラストが表示される。吹き出し１１２の吹き出し元は、顔画像１１１に表示されている画像Ｐ２１の位置である。吹き出し１１２のイラストは、定点観測ポイントに対応する範囲以外をグレーアウトする形で表示される。

顔画像１１１と吹き出し１１２の下には、吹き出し１１２に表示されるイラストの人物と同じように肌測定器２を動かすことを案内するメッセージが表示される。

ユーザは、図１９の画面に従って、例えば右手で持っている肌測定器２を右頬に当てて、定点観測ポイントとして設定しておいた右頬付近の肌の撮影を行う。

図２０は、定点観測ポイントの案内画面の他の例を示す図である。

図２０の案内画面の構成は、図１９の構成と同じである。図２０の顔画像１１１には、定点観測ポイント以外の範囲をグレーアウトさせる画像である画像Ｐ２２が重ねて表示される。また、定点観測ポイントで交差する十字の画像である画像Ｐ２３が表示される。吹き出し１１２には、右頬に肌測定器を当てている人物の様子を示すイラストが表示される。

図１５のステップＳ４７において、表示制御部８７は、定点観測ポイントをユーザの動きに追従して表示させる。ユーザが顔の向きなどを変えた場合、変更後の特徴点の位置が認識部８２により特定される。表示制御部８７は、変更後の特徴点の位置を基準として、定点観測ポイントの位置を決定し、決定した位置に、定点観測ポイントを表す画像Ｐ２１などを表示させる。

ステップＳ４８において、画像取得部８１は、肌測定器２を制御し、肌画像の撮影を開始させる。肌画像の撮影は繰り返し行われる。肌測定器２により撮影された肌画像は画像取得部８１により取得され、肌状態解析部８３と表示制御部８７に供給される。

カメラ１２により撮影された顔画像に基づいて肌測定器２の位置を認識することができる場合、ユーザが肌測定器２を定点観測ポイントに当てたときに肌画像の撮影を開始するようにしてもよい。

ステップＳ４９において、表示制御部８７は、カメラ１２により撮影された顔画像と、肌測定器２により撮影された肌画像をディスプレイ１１に同時に表示させる。

図２１は、表示画面の例を示す図である。

図２１の表示画面は、顔画像１２１と肌画像１２２から構成される。肌画像１２２は、顔画像１２１の一部に重ねて配置される。

顔画像１２１は、カメラ１２により撮影された動画像である。顔画像１２１に重ねて、定点観測ポイントを表す画像Ｐ２１が表示される。肌画像１２２は、肌測定器２により撮影された頬の肌画像である。

このように、定点観測ポイントが表示された顔画像と並べて肌画像が表示されることにより、ユーザは、肌画像が、どの部分の肌を撮影したものであるのかを直観的に認識することができる。また、ユーザは、各部分のメイクの状態などを細かく確認することができる。

ユーザの顔が写る動画像と、拡大した肌が写る動画像を表示するのではなく、それぞれの静止画像が同時に表示されるようにしてもよい。

図２２は、表示画面の他の例を示す図である。

図２２の表示画面は、顔画像１３１と、吹き出しの形にトリミングされた肌画像Ｐ１３２から構成される。肌画像Ｐ１３２の吹き出し元は、顔画像１３１に重ねて表示された、定点観測ポイントを表す画像Ｐ２１の位置である。

このような表示によっても、ユーザは、肌画像が、どの部分の肌を撮影したものであるのかを直観的に認識することができる。

図１５のステップＳ５０において、肌状態解析部８３は、画像取得部８１から供給された肌画像のうちの所定のフレームを解析し、肌の状態を測定する。肌状態解析部８３は、肌の状態を表す肌状態情報を肌画像とともに情報管理部８５に出力する。

ステップＳ５１において、情報管理部８５は、顔画像、肌画像とともに、肌状態情報をメモリ５７に記録させる。ステップＳ４６乃至Ｓ５１の処理が、それぞれの定点観測ポイントを対象として行われる。メモリ５７に記録される顔画像は、例えば顔の特徴点の認識に用いられた静止画像である。また、メモリ５７に記録される肌画像は、肌の状態の測定に用いられた静止画像である。

図２３は、定点観測ポイントである口元の撮影中の表示画面の例を示す図である。

図２３の表示画面は、顔画像１４１と吹き出し１４２が並べて配置されることによって構成される。

顔画像１４１は、ユーザが定点観測ポイントである口元に肌測定器２を当てている動画像である。顔画像１４１には、定点観測ポイントに対応する範囲以外の範囲をグレーアウトさせる画像Ｐ２２が重ねて表示される。また、顔画像１４１には、中心で交差する破線の十字の画像である画像Ｐ２３が表示される。

吹き出し１４２には、ユーザが口元に肌測定器２を当てているときに撮影された肌画像が表示される。吹き出し１４２の吹き出し元は、顔画像１４１上の口元の位置である。

図２４は、定点観測ポイントである額の撮影中の表示画面の例を示す図である。

図２４の表示画面は、定点観測ポイントが異なる点を除いて、図２３の表示画面と同じである。図２４の顔画像１４１は、ユーザが定点観測ポイントである額に肌測定器２を当てているときに撮影された動画像である。また、吹き出し１４２に表示されている肌画像は、ユーザが額に肌測定器２を当てているときに撮影された画像である。

このようにして全ての定点観測ポイントの肌の状態の測定が終わったとき、測定処理は終了となる。以上のような測定処理が、１日毎、１週間毎といったように定期的に行われる。

図２５は、測定結果の例を示す図である。

メモリ５７には、測定日時と対応付けて、測定時に撮影された顔画像のファイル名、定点観測ポイント毎の肌画像のファイル名、および、定点観測ポイント毎の肌状態情報が記録される。肌状態情報の各項目である肌の色、キメ、水分量、油分量、毛穴の状態、メラニン量、血流量、肌温度は、例えば１０段階の数値で表される。

左側に示す肌状態情報は、２０１４年１月１日に行われた測定処理によって得られた情報である。また、右側に示す肌状態情報は、２０１４年１月８日に行われた測定処理によって得られた情報である。

このように定期的に行われた測定処理の結果を分析することにより、情報処理装置１は、定点観測ポイントの肌の状態の変化を特定することが可能になる。

・定点観測結果表示処理
次に、図２６のフローチャートを参照して、定点観測結果表示処理について説明する。

図２６の処理は、図１５の測定処理が複数回行われ、肌の状態の複数回分の測定結果がメモリ５７に蓄積された後に行われる。

ステップＳ６１において、測定結果分析部８６は、比較する測定結果を選択する。比較する測定結果は、例えば、ディスプレイ１１に表示される選択画面を用いてユーザにより選択される。

例えば、直前の測定時に得られた結果と、その１回前の測定時に得られた結果を比較することが指示された場合、測定結果分析部８６は、情報管理部８５を制御し、それらの測定結果の情報をメモリ５７から読み出して取得する。測定結果の情報には、顔画像のファイル名、定点観測ポイント毎の肌画像のファイル名および肌状態情報が含まれる。

ステップＳ６２において、測定結果分析部８６は、取得した情報に基づいて、肌の状態の変化を定点観測ポイント毎に分析する。測定結果分析部８６は、分析結果の情報を、定点観測結果として表示制御部８７に出力する。

ステップＳ６３において、表示制御部８７は、測定結果分析部８６から供給された情報に基づいて、定点観測結果の表示画面をディスプレイ１１に表示させる。

図２７は、定点観測結果の表示画面の例を示す図である。

表示画面の上方にはタブ１５１乃至１５６が横に並べて表示される。それぞれのタブには、「サマリー」、「キメ」、「毛穴」、「シミ」、「色み」、「メモ」の文字が表示される。図２７の表示画面は、「毛穴」のタブであるタブ１５３が選択されている状態の画面である。タブ１５１乃至１５６の下の領域１６１の表示が、選択中のタブが変わることによって切り替えられる。

領域１６１の中央には、人物の顔のイラストＰ５１が表示される。イラストＰ５１上の定点観測ポイントを吹き出し元として、肌画像１７１乃至１７３が表示される。イラストＰ５１に代えて、カメラ１２により撮影された、定点観測結果を見ているユーザの顔画像が表示されるようにしてもよい。この場合、肌画像１７１乃至１７３は、ユーザの顔画像上の定点観測ポイントを吹き出し元にして表示される。

肌画像１７１は、定点観測ポイントである頬の肌を拡大して示す画像である。例えば、比較する測定結果のうち、新しい方の測定結果の肌画像が表示される。肌画像１７１の左上には、横方向を指す矢印のアイコン１７１Ａが表示されている。アイコン１７１Ａは、頬の肌の毛穴の状態に変化がないことを表す。

肌画像１７２は、定点観測ポイントである額の肌を拡大して示す画像である。肌画像１７２の左上には、下方向を指す矢印のアイコン１７２Ａが表示されている。アイコン１７２Ａは、額の肌の毛穴の状態が悪くなっていることを表す。

肌画像１７３は、定点観測ポイントである口元の肌を拡大して示す画像である。肌画像１７３の左上には、下方向を指す矢印のアイコン１７３Ａが表示されている。アイコン１７３Ａは、口元の肌の毛穴の状態が悪くなっていることを表す。

毛穴の状態の変化は、比較する肌状態情報に含まれる毛穴の量の情報に基づいて判定される。例えば、測定結果分析部８６は、毛穴の量を表す数値を比較し、閾値以上下がっている場合、毛穴の状態が悪くなっていると判定する。また、測定結果分析部８６は、毛穴の量を表す数値が変わらない場合、毛穴の状態に変化がないと判定する。測定結果分析部８６は、毛穴の量を表す数値が閾値以上上がっている場合、毛穴の状態がよくなっていると判定する。

領域１６１の左側には、「毛穴」の定点観測結果に関するコメントが表示される。メモリ５７には、定点観測結果を表すコメントなどのコンテンツがあらかじめ記録されている。測定結果分析部８６は、あらかじめ記録されているコンテンツの中から、分析結果に応じたコンテンツを選択し、定点観測結果の表示に用いる。

タブを切り替えることによって各項目に関する状態の変化が確認された後、定点観測結果表示処理は終了となる。

以上の一連の処理により、ユーザは、定点観測ポイントとして予め設定した部分を、正しく、かつ容易に肌測定器２を使って撮影することができる。また、ユーザは、同じ部分の肌の状態の測定結果を情報処理装置１に蓄積させておくことができる。

蓄積させておいた測定結果を分析させることにより、ユーザは、肌の状態の定点観測結果を確認することができる。

＜４．肌状態情報を用いた分類の例＞
定点観測ポイント毎の肌状態情報などを用いることにより、情報処理装置１は、各種の機能を実現することができる。

・顔画像の比較機能
顔画像の比較機能は、ユーザにより指定された条件に合う肌の状態が測定されたときの顔画像を比較可能な形で表示する機能である。

図２８のフローチャートを参照して、比較表示処理について説明する。

ステップＳ１０１において、測定結果分析部８６は、肌状態情報を比較する定点観測ポイントを選択する。測定結果分析部８６は、例えば、選択画面に対するユーザの操作に従って、頬、額、口元、目元などの複数の定点観測ポイントの中から、所定の定点観測ポイントを選択する。選択画面には、ユーザにより設定された定点観測ポイントが表示される。

ステップＳ１０２において、測定結果分析部８６は、ステップＳ１０１で選択した定点観測ポイントの肌の状態に関する比較条件を選択する。例えば、測定結果分析部８６は、ユーザの操作に従って、定点観測ポイントである目元に関して、肌の色の状態が、最も良い状態と最も悪い状態といったような条件を選択する。

ステップＳ１０３において、測定結果分析部８６は、情報管理部８５を制御し、比較条件にあう肌の状態が測定されたときの顔画像をメモリ５７から読み出して取得する。測定結果分析部８６は、取得した顔画像を表示制御部８７に出力する。

ステップＳ１０４において、表示制御部８７は、測定結果分析部８６から供給された顔画像を並べてディスプレイ１１に表示させる。

図２９は、顔画像の表示画面の例を示す図である。

図２９の表示画面には、顔画像２０１と顔画像２０２が並べて表示されている。左側の顔画像２０１は、２０１４年１月１日の測定時に撮影された顔画像である。右側の顔画像２０２は、２０１４年１月８日の測定時に撮影された顔画像である。

例えば、顔画像２０１は、定点観測ポイントである目元の肌の色の状態として、最も良い状態が測定されたときに得られた顔画像である。一方、顔画像２０２は、定点観測ポイントである目元の肌の色の状態として、最も悪い状態が測定されたときに得られた顔画像である。

このような表示から、ユーザは、目のクマ（肌の色）の状態が最も良かった時の顔画像と最も悪かった時の顔画像とを比較することができる。比較条件は上述したものに限られない。ユーザは、キメの程度などの他の比較条件を選択し、比較条件にあう肌の状態が測定されたときの顔画像を比較することもできる。

顔画像の比較機能を用いることにより、ユーザは、顔の経時変化、表情の変化、化粧の変化、マッサージ等の手入れ前後の肌の変化などを確認することができる。顔の経時変化には、輪郭の変化、たるみの変化、シワの変化、シミの変化（濃淡／大小）が含まれる。表情の変化には、口角の角度の変化、口角の位置の変化、笑い方の変化が含まれる。化粧の変化には、眉の形の変化、チークの塗布位置の変化、アイシャドー、口紅、ファンデーションなどの色みの変化が含まれる。

・顔画像の検索機能
顔画像の検索機能は、ユーザにより指定された条件に合う肌の状態が測定されたときの顔画像を検索する機能である。

図３０のフローチャートを参照して、顔画像の検索処理について説明する。

ステップＳ１１１において、測定結果分析部８６は、定点観測ポイントを選択する。測定結果分析部８６は、例えば、選択画面に対するユーザの操作に従って、複数の定点観測ポイントの中から所定の定点観測ポイントを選択する。

ステップＳ１１２において、測定結果分析部８６は、ステップＳ１０１で選択した定点観測ポイントの肌の状態に関する検索条件を選択する。例えば、測定結果分析部８６は、ユーザの操作に従って、定点観測ポイントである頬に関して、肌の色がピンク色といったような条件を選択する。メイク後の肌の状態を測定した場合、肌の色として各種の色が測定されることがある。

ステップＳ１１３において、測定結果分析部８６は、情報管理部８５を制御し、検索条件にあう肌の状態が測定されたときの顔画像をメモリ５７から読み出して取得する。測定結果分析部８６は、取得した顔画像を表示制御部８７に出力する。

ステップＳ１１４において、表示制御部８７は、測定結果分析部８６から供給された顔画像をディスプレイ１１に表示させる。

図３１は、顔画像の表示画面の例を示す図である。

図３１の表示画面には、顔画像２１１が表示されている。顔画像２１１は、２０１４年１月８日の測定時に撮影された顔画像である。

例えば、顔画像２１１は、定点観測ポイントである頬の肌の色がピンク色として測定されたときの顔画像である。

このような表示から、ユーザは、頬にピンクのメイクを施していた時の顔画像を確認することができる。検索条件は上述したものに限られない。ユーザは、肌の状態を検索のキーとして、各種の肌の状態の顔画像を確認することができる。

・改善方法の提示機能
改善方法の提示機能は、肌の状態を改善させるエクササイズのやり方をユーザに提示する機能である。提示したエクササイズをユーザが行っている場合、情報処理装置１は、ユーザが行っているエクササイズが正しいかどうかの評価を行う。

図３２のフローチャートを参照して、改善方法提示処理について説明する。

ユーザが行っているエクササイズを評価するためには、情報処理装置１は、ユーザが顔のどの部分をどのように動かしているのかを認識する必要がある。情報処理装置１は、エクササイズを評価する前、肌の状態の測定時と同様に、ユーザの顔と情報処理装置１の関係を初期設定時の関係と同じ関係に調整させる。

図３２のステップＳ１２１乃至Ｓ１２５の処理は、図１５のステップＳ４１乃至４５の処理と同様の処理である。重複する説明については適宜省略する。

ステップＳ１２１において、角度センサ５９は、情報処理装置１の角度を検出する。

ステップＳ１２２において、表示制御部８７は、角度センサ５９により検出された角度が初期設定時の角度と異なる場合、角度の調整画面をディスプレイ１１に表示させる。

ステップＳ１２３において、画像取得部８１は、カメラ１２を制御し、ユーザの顔の撮影を開始する。

ステップＳ１２４において、認識部８２は、顔画像を解析し、顔画像上の特徴点の位置と、それぞれの特徴点までの距離を特定する。特徴点の位置と、それぞれの特徴点までの距離の特定は繰り返し行われる。

ステップＳ１２５において、表示制御部８７は、顔の位置の調整画面をディスプレイ１１に表示させる。

ステップＳ１２６において、測定結果分析部８６は、所定の期間内の測定結果に基づいて、肌の状態が悪化している定点観測ポイントを選択する。

ステップＳ１２７において、表示制御部８７は、悪化している定点観測ポイントの肌の改善方法に関する情報をディスプレイ１１に表示させる。例えば、定点観測ポイントである頬の肌温度が悪化している場合、表示制御部８７は、頬の肌温度を改善させるためのエクササイズのやり方を表示させる。

メモリ５７には、顔のそれぞれの部分の肌の状態を改善させるためのエクササイズに関する情報が記録されている。表示制御部８７は、肌の状態が悪化している定点観測ポイントと、悪化している項目に応じた情報を選択し、表示させる。ユーザは、ディスプレイ１１に表示された情報を確認し、提示されたエクササイズを行う。エクササイズは、主に、顔を指先でマッサージするものである。

ステップＳ１２８において、認識部８２は、画像取得部８１から供給された顔画像を解析し、ユーザの指の動きを認識する。ユーザの指の動きは、顔画像上での指先の位置の変化によって認識される。各タイミングにおける指先の位置も、特徴点の位置を基準として表される。認識部８２により認識された指の動きを表す情報は、表示制御部８７に供給される。

ステップＳ１２９において、表示制御部８７は、認識部８２から供給された情報に基づいてユーザの指の動かし方を特定し、その動かし方が正しいか否かを評価する。エクササイズのやり方が間違っている場合、肌の状態を悪化させることもある。メモリ５７には、例えばエクササイズ毎に、正しい動かし方を表す情報と間違った動かし方を表す情報が記録されている。表示制御部８７は、ユーザが行っているエクササイズの評価をメモリ５７に記録されている情報に基づいて行う。

ステップＳ１３０において、表示制御部８７は、ユーザの指の動かし方の評価結果をディスプレイ１１に表示させる。

図３３は、エクササイズ中のユーザの顔画像の例を示す図である。

図３３の例においては、ユーザは、頬付近を両手の人差し指でマッサージしている。このような指の動かし方が認識され、正しい動かし方であるか否かが評価される。

図３４は、評価結果の表示例を示す図である。

指の動かし方が正しいとして評価された場合、図３４に示すように、指の動かし方が正しいことを表す画像Ｐ１０１が顔画像に重ねて表示される。目元に重ねて表示されている画像Ｐ１０２，Ｐ１０３は、ユーザが行っているエクササイズによって例えば肌温度が改善される部分を表す。

図３５は、評価結果の他の表示例を示す図である。

指の動かし方が間違っているとして評価された場合、図３５に示すように、指の動かし方が間違っていることを表す画像Ｐ１１１が顔画像に重ねて表示される。頬の目元に近い位置に重ねて表示されている画像Ｐ１１２，Ｐ１１３は、ユーザが行っているエクササイズによって肌温度が下がる部分を表す。

以上の処理により、ユーザは、肌の状態が悪化している定点観測ポイントのエクササイズを正しいやり方で行うことができる。

・肌の状態が悪化している部分の検索機能
図３６のフローチャートを参照して、検索処理について説明する。

図３６のステップＳ１４１乃至Ｓ１４６の処理は、図３２のステップＳ１２１乃至１２６の処理と同様の処理である。重複する説明については適宜省略する。

ステップＳ１４１において、角度センサ５９は、情報処理装置１の角度を検出する。

ステップＳ１４２において、表示制御部８７は、角度センサ５９により検出された角度が初期設定時の角度と異なる場合、角度の調整画面をディスプレイ１１に表示させる。

ステップＳ１４３において、画像取得部８１は、カメラ１２を制御し、ユーザの顔の撮影を開始する。

ステップＳ１４４において、認識部８２は、顔画像を解析し、顔画像上の特徴点の位置と、それぞれの特徴点までの距離を特定する。特徴点の位置と、それぞれの特徴点までの距離の特定は繰り返し行われる。

ステップＳ１４５において、表示制御部８７は、顔の位置の調整画面をディスプレイ１１に表示させる。

ステップＳ１４６において、測定結果分析部８６は、所定の期間の測定結果に基づいて、肌の状態が悪化している定点観測ポイントを選択する。

ステップＳ１４７において、表示制御部８７は、肌の状態が悪化している定点観測ポイントを顔画像に重ねて表示させる。

図３７は、顔画像の表示例を示す図である。

図３７の顔画像は、カメラ１２により撮影された動画像である。顔画像に重ねて、血流量の減少、肌温度の低下などの、肌の状態が悪化している定点観測ポイントを表す情報が表示される。画像Ｐ１２１乃至Ｐ１２５は、それぞれ、肌の状態が所定の期間内で悪化している定点観測ポイントを表す。画像Ｐ１２１乃至Ｐ１２５は、ユーザの顔の動きに追従して位置を変えて表示される。

以上の処理により、ユーザは、肌の状態が悪いところをまとめて確認することができる。肌の状態が悪化している定点観測ポイントを検索するのではなく、肌の状態が改善している定点観測ポイントを検索し、ユーザに提示するようにしてもよい。

・人物の検索機能
人物の検索機能は、ユーザと顔の特徴点の位置が似ている人物を検索する機能である。情報処理装置１が美容室などに置かれている場合、複数のユーザが情報処理装置１を使って肌の状態の定点観測を行うことになる。情報処理装置１には、複数の人物の顔の特徴点の位置の情報を含む設定情報が蓄積される。人物の検索は、情報処理装置１に蓄積されている設定情報を用いて行われる。

図３８のフローチャートを参照して、人物検索処理について説明する。

ステップＳ１６１において、表示制御部８７は、メモリ５７に記録されている情報を参照し、情報処理装置１をいま使用しているユーザと顔の特徴点の位置が近似する人物を検索する。

ステップＳ１６２において、表示制御部８７は、検索により特定した人物の顔画像をメモリ５７から読み出す。

ステップＳ１６３において、表示制御部８７は、情報処理装置１をいま使用しているユーザの顔画像と、メモリ５７から読み出した顔画像を並べて表示させる。

図３９は、顔画像の表示画面の例を示す図である。

図３９の表示画面には、顔画像２２１と顔画像２２２が並べて表示されている。左側の顔画像２２１は、情報処理装置１をいま使用しているユーザの顔画像である。右側の顔画像２２２は、情報処理装置１をいま使用しているユーザと特徴点の位置が近似しているとして検索された人物の顔画像である。

ユーザは、自分と顔の特徴が似ている人の肌の状態やメイクのやり方などを参考にすることができる。

・髪型のシミュレーション機能
髪型のシミュレーション機能は、カメラ１２によって撮影した顔画像の髪の部分に、あらかじめ用意された様々な髪型の画像を合成して表示する機能である。

図４０は、髪型の合成結果の表示例を示す図である。

図４０の顔画像は、カメラ１２によって撮影された動画像である。例えば、動画像の各フレームに写る髪の位置が、ユーザの顔の特徴点の位置に基づいて特定され、特定された位置に画像Ｐ１３１が合成される。画像Ｐ１３１は、複数用意されているものの中からユーザにより選択された髪型の画像である。ユーザは、画像Ｐ１３１として合成する髪型の画像を切り替えることができる。

＜５．変形例＞
顔画像を撮影するカメラが情報処理装置１に設けられるものとしたが、情報処理装置１とは別体のカメラにより顔画像が撮影されるようにしてもよい。

また、各種の情報を表示するディスプレイが情報処理装置１に設けられるものとしたが、情報処理装置１とは別体の表示装置に各種の画面が表示されるようにしてもよい。

図１の肌測定システムを用いて顔の肌の状態を測定することについて説明したが、肌の状態を測定する部分は、手、腕、足などの、顔以外の部分であってもよい。例えば手の肌の状態の定点観測を行う場合、爪、指先などが特徴点として認識される。

顔の特徴点の認識、肌状態の解析、定点観測結果の分析を含む一連の処理が、情報処理装置１により行われるものとしたが、それらの処理が、インターネットなどのネットワークに接続されたサーバにより行われるようにしてもよい。

この場合、情報処理装置１とサーバはネットワークを介して接続される。図６を参照して説明した構成は、サーバにおいて実現される。

情報処理装置１は、肌の状態の測定時、顔画像と肌画像をサーバに送信する。サーバは、情報処理装置１から送信されてきた顔画像と肌画像を受信して取得する。サーバは、顔画像を解析することによって上述した各種の画面のデータを生成し、情報処理装置１に送信する。情報処理装置１は、サーバから送信されてきたデータに基づいて、各種の画面をディスプレイ１１に表示させる。

また、サーバは、肌画像を解析して肌の状態を測定し、記録する。サーバは、定点観測の結果が要求された場合、各回の測定結果に基づいて肌の状態の変化を分析し、定点観測の結果を情報処理装置１に送信する。情報処理装置１は、サーバから送信されてきたデータに基づいて、定点観測の結果をディスプレイ１１に表示させる。

・コンピュータの構成例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図５に示されるリムーバブルメディア６１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM５２やメモリ５７に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。

（１）
肌の状態の測定者であるユーザの所定の特徴点と、肌の状態の測定部分とが写る画像を取得する取得部と、
前記画像を解析し、前記特徴点の位置を認識する認識部と、
前記認識部により認識された前記特徴点の位置を基準として、前記画像上の所定の位置に前記測定部分を表す情報を表示させる表示制御部と
を備える情報処理装置。

（２）
前記画像を撮影する撮影部をさらに備え、
前記取得部は、前記撮影部により撮影された前記画像を取得する
前記（１）に記載の情報処理装置。

（３）
前記画像と前記測定部分を表す情報を表示する表示部をさらに備える
前記（１）または（２）に記載の情報処理装置。

（４）
前記測定部分の設定時に撮影された前記画像を解析することによって前記認識部により認識された前記特徴点の位置を基準として、前記所定の位置に前記測定部分を設定する設定部をさらに備える
前記（１）乃至（３）のいずれかに記載の情報処理装置。

（５）
前記測定部分の設定時に撮影された前記画像上で前記ユーザにより指定された位置に前記測定部分を設定する設定部をさらに備える
前記（１）乃至（３）のいずれかに記載の情報処理装置。

（６）
前記測定部分の設定時の前記情報処理装置の角度を検出する検出部をさらに備える
前記（４）または（５）に記載の情報処理装置。

（７）
前記表示制御部は、前記情報処理装置の角度を、前記検出部により検出された角度と同じ角度に調整することを案内する情報を表示する
前記（６）に記載の情報処理装置。

（８）
前記表示制御部は、前記画像上の、前記測定部分の設定時に撮影された前記画像を解析することによって前記認識部により認識された前記特徴点の位置と同じ位置に、前記特徴点を表す情報を表示させる
前記（１）乃至（７）のいずれかに記載の情報処理装置。

（９）
前記表示制御部は、前記特徴点の位置が変化することに応じて、前記測定部分を表す情報の表示位置を変化させる
前記（１）乃至（８）のいずれかに記載の情報処理装置。

（１０）
前記取得部は、前記測定部分の肌を撮影して得られた肌画像を取得し、
前記表示制御部は、前記肌画像と、前記ユーザが写る前記画像とを同時に表示させる
前記（１）乃至（９）のいずれかに記載の情報処理装置。

（１１）
前記肌画像を解析し、前記測定部分の肌の状態を測定する解析部と、
前記解析部による測定の結果を表す情報を記録する記録部と
をさらに備える前記（１０）に記載の情報処理装置。

（１２）
前記表示制御部は、前記記録部に記録された複数回の測定の結果を表す情報に基づいて、前記測定部分の肌の状態の変化を表す情報を表示させる
前記（１１）に記載の情報処理装置。

（１３）
肌の状態の測定者であるユーザの所定の特徴点と、肌の状態の測定部分とが写る画像を取得し、
前記画像を解析し、前記特徴点の位置を認識し、
認識した前記特徴点の位置を基準として、前記画像上の所定の位置に前記測定部分を表す情報を表示させる
ステップを含む情報処理方法。

（１４）
肌の状態の測定者であるユーザの所定の特徴点と、肌の状態の測定部分とが写る画像を取得し、
前記画像を解析し、前記特徴点の位置を認識し、
認識した前記特徴点の位置を基準として、前記画像上の所定の位置に前記測定部分を表す情報を表示させる
ステップを含む処理をコンピュータに実行させるプログラム。

１ 情報処理装置， ２ 肌測定器， １１ ディスプレイ， １２ カメラ， ８１ 画像取得部， ８２ 認識部， ８３ 肌状態解析部， ８４ 定点観測ポイント設定部， ８５ 情報管理部， ８６ 測定結果分析部， ８７ 表示制御部

Claims (13)

1. 肌の状態の測定者であるユーザの顔が写る画像を取得する取得部と、
   前記画像を解析し、顔の特徴点の位置を認識する認識部と、
   前記特徴点の位置を基準として、顔の所定の位置に定点観測ポイントを設定する設定部と、
   肌の状態の測定時、肌の状態の測定を行う前記ユーザの顔が写る前記画像を解析することによって認識された前記特徴点の位置を基準として前記定点観測ポイントの位置を特定し、前記定点観測ポイントの位置を表す画像を前記ユーザの顔に重ねて表示させる表示制御部と
   を備え、
   前記取得部は、前記定点観測ポイントの肌を撮影して得られた肌画像を取得し、
   前記表示制御部は、前記肌画像と、肌の状態の測定を行っている前記ユーザの顔が写る前記画像とを同時に表示させる
   情報処理装置。
2. 前記表示制御部は、前記定点観測ポイントの位置を表す画像を含む、前記定点観測ポイントの案内画面を、前記定点観測ポイント毎に表示させる
   請求項１に記載の情報処理装置。
3. 前記画像を撮影する撮影部をさらに備え、
   前記取得部は、前記撮影部により撮影された前記画像を取得する
   請求項１に記載の情報処理装置。
4. 前記案内画面を表示する表示部をさらに備える
   請求項２に記載の情報処理装置。
5. 前記設定部は、前記定点観測ポイントの設定時に撮影された前記画像上で前記ユーザにより指定された位置に前記定点観測ポイントを設定する
   請求項１に記載の情報処理装置。
6. 前記定点観測ポイントの設定時の前記情報処理装置の角度を検出する検出部をさらに備える
   請求項１に記載の情報処理装置。
7. 前記表示制御部は、肌の状態の測定時、前記情報処理装置の角度を、前記検出部により検出された角度と同じ角度に調整することを案内する情報を表示する
   請求項６に記載の情報処理装置。
8. 前記表示制御部は、肌の状態の測定時、前記定点観測ポイントの設定時に認識された前記特徴点の位置に基づいて、前記特徴点の位置を表す情報を含む、顔の位置の調整画面を表示させる
   請求項１に記載の情報処理装置。
9. 前記表示制御部は、前記特徴点の位置が変化することに応じて、前記定点観測ポイントの位置を表す画像の表示位置を変化させる
   請求項１に記載の情報処理装置。
10. 前記肌画像を解析し、前記定点観測ポイントの肌の状態を測定する解析部と、
    前記解析部による測定の結果を表す情報を記録する記録部と
    をさらに備える請求項１に記載の情報処理装置。
11. 前記表示制御部は、前記記録部に記録された複数回の測定の結果を表す情報に基づいて、前記定点観測ポイントの肌の状態の変化を表す情報を表示させる
    請求項１０に記載の情報処理装置。
12. 肌の状態の測定者であるユーザの顔が写る画像を取得し、
    前記画像を解析し、顔の特徴点の位置を認識し、
    前記特徴点の位置を基準として、顔の所定の位置に定点観測ポイントを設定し、
    肌の状態の測定時、肌の状態の測定を行う前記ユーザの顔が写る前記画像を解析することによって認識された前記特徴点の位置を基準として前記定点観測ポイントの位置を特定し、
    前記定点観測ポイントの位置を表す画像を前記ユーザの顔に重ねて表示させ、
    前記定点観測ポイントの肌を撮影して得られた肌画像を取得し、
    前記肌画像と、肌の状態の測定を行っている前記ユーザの顔が写る前記画像とを同時に表示させる
    ステップを含む情報処理方法。
13. 肌の状態の測定者であるユーザの顔が写る画像を取得し、
    前記画像を解析し、顔の特徴点の位置を認識し、
    前記特徴点の位置を基準として、顔の所定の位置に定点観測ポイントを設定し、
    肌の状態の測定時、肌の状態の測定を行う前記ユーザの顔が写る前記画像を解析することによって認識された前記特徴点の位置を基準として前記定点観測ポイントの位置を特定し、
    前記定点観測ポイントの位置を表す画像を前記ユーザの顔に重ねて表示させ、
    前記定点観測ポイントの肌を撮影して得られた肌画像を取得し、
    前記肌画像と、肌の状態の測定を行っている前記ユーザの顔が写る前記画像とを同時に表示させる
    ステップを含む処理をコンピュータに実行させるプログラム。

Images