本発明者は、下瞼の形状が目元の印象に密接に関連していることに注目して鋭意検討した。その結果、瞼頬溝の三次元曲率を指標に用いることで、目元の印象を客観的且つ高精度に評価できることを見出した。以下、本発明に係る目元印象評価装置および目元印象評価方法について、図面を参照しつつ、実施形態に基づいて説明する。
図1は、本発明の実施形態に係る目元印象評価装置の機能構成を示すブロック図である。目元印象評価装置10は、被評価者の顔の形状を三次元計測によって取得した三次元顔形状データを用いて、人の目元の印象を客観的且つ高精度に評価する目元印象評価処理を行う。なお、目元印象評価処理は、リアルタイムにて三次元計測により取得した三次元顔形状データのみならず、予め顔形状の三次元計測を行い、ハードディスクやDVDといった記憶媒体に記録されている三次元顔形状データを用いて行われても良い。
目元印象評価装置10は、中央演算処理装置(CPU)11、記憶部12、三次元顔形状取得部13、表示部14および入出力インタフェース(I/F)15を備えている。CPU11、記憶部12、三次元顔形状取得部13、表示部14および入出力I/F15は、双方向に通信可能なバス16によって接続されている。
CPU11は、記憶部12に格納されている各種プログラムを実行することによって、目元印象評価値決定部M1、瞼頬溝特定部M2、基準形状決定部M3および事前三次元曲率算出部M4として機能し得る。なお、目元評価値決定部M1、瞼頬溝特定部M2、基準形状決定部M3および事前三次元曲率算出部M4は、論理回路としてハードウェア的に実現されても良い。また、基準形状決定部M3および事前三次元曲率算出部M4は、備えられていなくても良く、この場合には、他の装置によって、基準値およびモデル等が決定され、決定された基準値およびモデル等を用いて目元印象評価値が決定されれば良い。
目元印象評価値決定部M1は、瞼頬溝特定部M2によって特定された瞼頬溝から抽出された特性を用いて、被評価者の目元印象評価値、本願明細書においては、目元の印象に基づく見た目年齢を決定する。瞼頬溝から抽出される特性(瞼頬溝の特性を表す指標)としては、瞼頬溝の形状または位置、並びに瞼頬溝の形状および位置から求められる統計値が含まれる。瞼頬溝の形状および位置は、瞼頬溝の座標値によって特定可能であり、瞼頬溝から求められる統計値は、三次元曲率として抽出可能である。なお、目元印象評価値としては、評価者により被評価者の目元から受ける印象を数値化又はカテゴリ分類された値であればどのような値であってもよい。たとえば、評価者が直接観察、写真、画像等の手段により被評価者の年齢を目元の印象から目視評価(官能評価)した見た目の年齢、評価者が直接観察、写真、画像等の手段により被評価者の年代を目元の印象から目視評価した見た目年代、評価者が直接観察、写真、画像等の手段により被評価者の目の大きさ、形状等の印象を目視評価した目の印象度合といった値を用いることができる。見た目年齢は、直観的に理解しやすく、また、評価者間で値が大きく分散しないことから、より望ましい。
目元印象評価値決定部M1は、既存の顔認識技術並びに目元印象評価手法を用いて目元印象評価値を決定する。たとえば、回帰分析、ニューラルネットワーク、判別分析、サポートベクターマシン、二分木といった手法が用いられる。より具体的には、抽出された形状および位置と、予め用意されている基準形状とを対比することにより、瞼頬溝の特性値と予め用意されている基準値とを対比することにより、あるいは、予め用意されている目元印象評価値を算出するための推定モデルを用いることによって、目元印象評価値を決定することができる。基準形状を対比する手法においては、予め見た目年齢と対応付けられている複数の基準形状を用意しておき、三次元顔形状取得部13により得られた被評価者の瞼頬溝の形状と最も類似する基準形状に対応付けられている見た目年齢を目元印象評価値として決定すれば良い。なお、被評価者の瞼頬溝の形状と基準形状との類似度は、たとえば、多次元ベクトルを用いて類似度を求める既知の手法によって求めることが可能であり、この手法と回帰計算の手法とを組み合わせることで、所定の判定値(しきい値)以下となる最適な基準形状を特定することができる。
基準値を対比する手法においては、予め見た目年齢と対応付けられている複数の基準値(三次元曲率)を用意しておき、三次元顔形状取得部13により得られた被評価者の瞼頬溝の三次元曲率と最も近似する基準値に対応付けられている見た目年齢を目元印象評価値として決定すれば良い。なお、瞼頬溝上の計測点の内、最も見た目年齢と相関が高い、すなわち、複数の見た目年齢を明確に区別できる計測点における三次元曲率を基準値として採用し、対応する計測点における被評価者の瞼頬溝の三次元曲率と対比することが望ましい。ここで、複数の基準値の中からの最適な基準値の決定は、たとえば、最小二乗法を初めとする統計的手法によって実行され得る。
推定モデルを用いる手法においては、三次元顔形状取得部13により得られた三次元顔形状データから瞼頬溝上の1または複数の点(座標)を取得し、取得された1または複数の点を用いて得られた三次元曲率をパラメータとして推定モデルに代入することによって、目元印象評価値を決定することができる。
瞼頬溝特定部M2は、瞼頬溝の形状並びに位置を、三次元顔形状データから演算処理により目頭及び目尻を端点とする有限長曲線として検出する、瞼頬溝検出処理を実行する。瞼頬溝特定部M2による瞼頬溝検出処理は、以下に示すような既存の瞼頬溝検出手法によって実行され得る。たとえば、瞼頬溝形状に対応する基準テンプレートを用いて瞼頬溝の形状および位置を検出するテンプレートマッチング法に、動的輪郭モデルを用いて瞼頬溝の形状および位置を検出する手法、非線形計画法を用いて輪郭モデルを当てはめて瞼頬溝の形状および位置を検出する手法、目頭と目尻の特徴点を通る二次関数の当てはめにより瞼頬溝の形状および位置を検出する手法、エッジ検出を伴う画像処理によって瞼頬溝の形状および位置を検出する手法が用いられ得る。
基準形状決定部M3は、目元印象評価値決定部M1において用いられる推定モデルを決定する。たとえば、瞼頬溝上における複数の等分点における平均曲率を説明変数とし、サンプル対象モデルの見た目年齢を目的変数として、ステップワイズ法による変数選択手段を用いて重回帰分析を行うことで推定モデルを得ることができる。この手法は、計算コストが小さく、目元印象評価値に間隔尺度を用いることができ、且つ推定モデルに適する瞼頬溝の三次元曲率を容易に選択することができるという利点を有する。
基準形状決定部M3は、また、目元印象評価値決定部M1において用いられる基準形状または基準値を決定する。具体的には、たとえば、複数の年齢レンジにわたって、各年齢において1または複数のサンプル対象モデルから瞼頬溝形状を取得し、取得した瞼頬溝形状の平均形状を当該年齢の見た目年齢に対応する基準形状として決定すれば良い。なお、取得される瞼頬溝形状は、瞼頬溝上の複数の三次元座標値(x、y、z)によって表され得るので、算術的手法によって平均値を採り、基準形状を表す三次元座標値を得ることは容易である。また、見た目年齢と強い相関を示す瞼頬溝上の特定位置の三次元座標値に対して重み付けを行うことによって、より精度の高い目元印象評価値を得ることができる。なお、瞼頬溝特定部M2において用いられる基準テンプレートは、基準形状決定部M3によって決定された複数の基準形状の平均値から得られても良い。
事前三次元曲率算出部M4は、三次元顔形状取得部13により得られた三次元顔形状データを用いて、各計測点の全部または一部について三次元曲率を予め算出する。予め、各計測点における三次元曲率を算出しておくことで、以降の処理に要する時間を短縮することができる。以下の実施形態において、三次元曲率が用いられる(取得される)場合には、事前三次元曲率算出部M4により予め算出された三次元曲率が用いられても良く、あるいは、必要とされる都度、動的に算出されても良い。なお、各計測点の一部について三次元曲率を求める場合には、目元周りの領域に存在する計測点を対象とすることが望ましい。これら計測点の三次元曲率は、目元印象評価値の算出に際して利用される三次元曲率に該当するからである。事前三次元曲率算出部M4によって算出された三次元曲率は、記憶部12に記憶される。事前三次元曲率算出部M4は、三次元曲率を算出するための既存の手法を用いて三次元曲率を算出する。たとえば、三次元顔形状取得部13と対象者の顔形状との距離をピクセル値で表す距離画像において偏導関数から三次元曲率を算出する手法、三次元曲率を算出する計測点を原点として局所的に二次曲面を最小二乗法により当てはめ、二次曲面の偏導関数から三次元曲率を算出する手法が用いられ得る。
三次元曲率は、曲面の法曲率の最小値と最大値を用いて算出される、どのような三次元曲率であってもよい。たとえば、最小値と最大値の平均値である平均曲率、最小値と最大値の積であるガウス曲率、最小値と最大値の和と、最小値と最大値の差と、の商の逆正接で表わされるShape Indexといった、三次元曲率が用いられ得る。これらの三次元曲率の中で、平均曲率は、曲面の総合的な凹凸度合を示し、計算コストが小さいという利点を有するので、本願明細書においては、瞼頬溝の特性を表す三次元曲率として、平均曲率を用いる。
記憶部12は、基準形状121、基準値122、推定モデル123および対応テーブル124を記憶している。記憶部12は、例えば、半導体記憶素子である、不揮発性のリードオンリメモリ(ROM)、揮発性のランダムアクセスメモリ(RAM)、あるいは、磁気記録媒体であるハードディスクドライブ(HDD)として実装され得る。CPU11によって実行される各種プログラムは、ROMまたはHDDに不揮発的に格納されており、CPU11は、これら各種プログラムをRAMまたはHDD上に展開して、実行する。図面上においては、記憶部12として包括的に記載されているが、ROM、RAMおよびHDDとして別々に実装され得ることは言うまでもない。なお、半導体記憶素子、磁気記録媒体の他に、DVD、ブルーレイ等の光学式記録媒体が用いられ得る。
基準形状121は、目元印象評価値決定部M1において用いられる基準形状であり、既述のように、予め見た目年齢と対応付けて用意されている。基準形状121は、瞼頬溝の形状を代表的に表す複数の三次元座標値として記憶されていても良く、あるいは、形状を表すドットマトリクス形式の画像データとして記憶されていても良い。さらには、基準形状に対しては、形状に関する特徴量を表す1または複数の特徴ベクトルが予め対応付けられていることが望ましい。
基準値122は、目元印象評価値決定部M1において用いられる基準値であり、既述のように、予め見た目年齢と対応付けて用意されている三次元曲率である。基準値121は、三次元曲率の他に、瞼頬溝の形状を特徴付ける統計的な値として記憶されていても良い。三次元曲率が用いられている場合には、瞼頬溝上の最適な1点または複数の点について基準値としての三次元曲率が用意される。
推定モデル123は、既述の通り、予め、複数人の瞼頬溝の三次元曲率と評価者による目元印象評価とから求められた推定モデル式の他、目元印象評価値を推定するアルゴリズム並びに推定モデル式およびアルゴリズムに用いられる各種パラメータを含む。
対応テーブル124は、基準値または基準形状と、見た目年齢とを対応付けて記録する。したがって、被評価者から得られた瞼頬溝の形状または瞼頬溝の三次元曲率に最も近い基準値または基準形状が決定されると、決定された基準値または基準形状をアドレスすることによって対応する見た目年齢を得ることができる。
記憶部12には、この他にも、三次元顔形状取得部13により取得された三次元顔形状データが一時的に記憶され、また、事前三次元曲率算出部M4によって予め算出された各計測点の全部または一部についての三次元曲率が記憶され得る。
三次元顔形状取得部13は、被評価者の顔の形状を三次元空間上の点群データとして三次元的に取得するための構成である。取得された三次元顔形状データは、記憶部12に一時的に記憶される。三次元顔形状取得部13としては、たとえば、接触式三次元デジタイザ、非接触式三次元デジタイザ、2つ以上の視野の異なる二次元画像間の対応点に基づいて三次元位置情報を算出する手段といった具体的装置および技術が適用され得る。特に被評価者への負担が少ない点を考慮すると、非接触式三次元デジタイザが好ましい。三次元顔形状取得部13は、目元印象評価装置10の一部として構成されても良く、あるいは、目元印象評価装置とは別体の三次元顔形状取得装置として構成されても良い。別体の三次元顔形状取得装置として実現される場合には、入出力I/F15を介して目元印象評価装置10に接続され得る。
表示部14は、三次元顔形状取得部13によって取得された三次元顔形状データの表示、目元印象評価値の表示、あるいは、目元印象評価装置10を操作するためのユーザインタフェース(操作画面)を表示し得る。表示部14は、例えば、目元印象評価装置10に埋め込まれている液晶表示ディスプレイとして実現されても良く、あるいは、入出力I/F15を介して目元印象評価装置10に接続され得る別体の外部表示ディスプレイとして実現されても良い。
入出力I/F15は、目元印象評価装置10と、他の各種装置とを接続するために用いられる物理的および論理的なインタフェースであり、たとえば、USB端子、LAN端子、シリアルバス端子といった公知の端子として実現され得る。他の各種装置は、たとえば、目元印象評価値、評価結果およびアドバイス等を紙媒体に出力するためのプリンタ、目元印象評価値、評価結果およびアドバイス等を投写表示するためのプロジェクタが含まれ得る。
以下、目元印象評価装置10によって実行される目元印象評価値取得処理について説明する。図2は本実施形態の目元印象評価値10によって実行される目元印象評価処理の各処理ステップを示すフローチャートである。
CPU11は、三次元顔形状取得部13を介して、被評価者の三次元の顔形状を表す三次元顔形状データを取得する(ステップS10)。三次元顔形状取得部13による顔形状の計測は、被評価者の顔面の複数の計測点において三次元座標値(x,y,z)を取得することによって実行される。なお、三次元顔形状のデータの取得は、被評価者の顔面全体に対して実行されても良く、目元周りの領域に対してのみ実行されても良い。目元周りの領域は、多くの被評価者に対して汎用的に利用可能な領域として予め規定された領域であっても良く、あるいは、都度、オペレータにより設定された領域であっても良い。いずれの場合にも、三次元顔形状取得部13は、設定された領域から三次元顔形状データを取得する。CPU11は、取得した三次元顔形状データ、すなわち、三次元座標値(x,y,z)を記憶部12に格納する。取得された三次元顔形状データにおいては、顔を正面視した状態において、顔の横(幅)方向がx軸、顔の縦(高さ)方向がy軸、顔の奥行き方向(顔表面から後頭部に向かう方向)がz軸として規定されている。各座標軸の正負は、x軸においては正面視左側が正方向、y軸においては頭頂部が正方向、z軸においては顔表面側が正方向として規定されている。
本実施例においては、三次元顔形状取得部13として、非接触式三次元デジタイザ(KONICA MINOLTA社製、VIVID910)を用いる。計測条件として、MIDDLEレンズ(測定距離600mm時の測定範囲:幅198mm×高さ148mm×奥行70mm)を受光レンズとして使用し、測定モードはFINEモード(307200計測点/2.5秒)とした。計測は、イスに座った状態で頭部固定冶具により頭部が固定され、閉眼している被評価者に対して、正面から行われる。ただし、厳密に正面でなくとも概ね正面と判断される状態で計測されれば良く、場合によっては、厳密な正面方向からの計測方向のずれを補正によって三次元顔形状データからキャンセルしても良い。
CPU11は、取得した三次元顔形状データを用いて瞼頬溝の形状を特定するための瞼頬溝特定処理を実行する(ステップS12)。なお、この処理は、CPU11が瞼頬溝特定部M2として機能することにより実行される。瞼頬溝特定処理の詳細については、図3を参照して後に詳述する。CPU11は、特定された瞼頬溝形状を用いて、目元印象評価値決定処理を実行する(ステップS14)。なお、この処理は、CPU11が目元印象評価値決定部M1として機能することにより実行される。瞼頬溝特定処理の詳細については、図6を参照して後に詳述する。
目元印象評価値決定処理によって決定された目元印象評価値は、たとえば、表示部14上に表示され、あるいは、入出力I/F15を介してプリンタによって紙媒体上に印刷される。
図3〜図6を参照して、瞼頬溝特定部M2によって実行される瞼頬溝特定処理について説明する。図3は本実施形態の目元印象評価値10によって実行される瞼頬溝特定処理の各処理ステップを示すフローチャートである。図4は本実施形態の目元印象評価値10によって実行される目頭・目尻位置検出処理の各処理ステップを示すフローチャートである。図5は三次元顔形状データから左目の位置を検出する処理手順を示す説明図である。図6は目頭・目尻位置を検出する際に用いられる輪郭モデルを示す説明図である。
CPU11は、被評価者の目頭および目尻の位置を検出する目頭・目尻位置検出処理を実行する(ステップS120)。図4を参照して目頭・目尻位置検出処理について詳述する。CPU11は、取得された三次元顔形状データから左目の位置を検出する(ステップS200)。本実施形態においては、被評価者の三次元顔形状データは正面方向から計測されるため、三次元顔形状取得部13から最も近い被評価者の顔の部位は鼻となる。この結果、図5に示すように、鼻の頂点を示す鼻頂点Aはz座標が最大値となる計測点として容易に検出できる。CPU11は、三次元顔形状データを内包するバウンダリボックスBを規定し、鼻頂点Aの計測点のx座標と、バウンダリボックスBを規定する最大のx座標とを1:1に内分する座標Fxを求め、鼻頂点Aの計測点のy座標と、バウンダリボックスBを規定する最大のy座標とを1:2に内分する座標Fyを求め、(Fx−x)2+(Fy−y)2が最小となる計測点を点Cとする。すなわち、統計的に目の近傍に存在する点を特定し、当該点から正面視において眼球の頂点に該当する位置を特定することで左目の位置が特定される。なお、目の位置の特定に際しては、左目でなく、右目が用いられても良く、あるいは、両目の位置が求められても良い。すなわち、本実施形態においては、目元印象評価値は、左目の瞼頬溝形状に基づいて決定されるが、右目、あるいは、両目の瞼頬溝形状に基づいて決定されても良い。両目に基づく場合には、左右の瞼頬溝形状のばらつきを吸収してより客観的、あるいは、実際の見た目印象を反映した目元印象評価値を得ることができる。
CPU11は、三次元顔形状データとして得られた各計測点(x,y,z)の三次元曲率を算出する。本実施形態において用いられる三次元曲率は、既述の通り、曲面の法曲率の最小値と最大値の平均値である平均曲率Hである。目頭・目尻位置検出処理においては平均曲率H10が用いられる。平均曲率H10は、平均曲率Hを算出する計測点を原点としてその周辺半径10mm内の計測点に対して二次曲面(式1参照)を最小二乗法により当てはめ、算出した二次曲面の係数aijおよび式2を用いて算出される。なお、三次元曲率は、事前三次元曲率算出部M4によって予め算出されている三次元曲率が用いられても良い。なお、iは項の次数であり、jはその項における変数yの指数である。
CPU11は、平均曲率H10において、点Cを開始点として、点Cに隣接する計測点において点Cの平均曲率H10よりも小さい平均曲率H10を有する、すなわち、より凸である計測点を探索し、発見すると、点Cをその計測点に変更して探索を繰り返し実行する。点Cに隣接する計測点において、点Cの平均曲率H10よりも小さい平均曲率H10である計測点がなければ最後の点C’を左目の位置として検出する。
以下の処理においては、図6に示す輪郭モデルが用いられる。輪郭モデルは、丸、三角、四角の記号で示される、xy平面上の原点を中心とする円周上の20点と、この円の直径を7等分するx軸上の6点と、の計26点で構成されている。これら26点のうち、目頭に対応する点は三角の目頭点Dとして、目尻に対応する点は四角の目尻点Eとして表されている。
左目の位置を検出(特定)すると、CPU11は、左目の基準位置(最終的に特定された点C’)と輪郭モデルの原点位置とが重なるように三次元顔形状データまたは輪郭モデルの原点座標位置を調整する(ステップS202)。
CPU11は、x軸の回転角Rxおよびy軸の回転角Ryを−10度から+10度まで0.1度刻みでループさせる回転角Rx、Ryのループ処理を開始する(ステップS204)。このループ処理では、三次元顔形状データを回転させて輪郭モデルの当てはめ処理を行うことで、三次元顔形状データ(左目領域)に対する輪郭モデルの当てはめに最適な角度が探索される。
CPU11は、三次元顔形状データをx軸回りにRx度、y軸回りにRy度の順に回転させる(ステップS206)。開始時の回転角Rx度およびRy度は、たとえば、−10度であり、以降+10度まで、0.1度ずつ回転角Rx度およびRy度はインクリメントされる。回転後の三次元顔形状データの計測点座標は(x’,y’,z’)とする。
CPU11は、輪郭モデルの初期位置を決定する(ステップS208)。具体的には、輪郭モデルの中心は原点とされ、輪郭モデルの半径は20mmに設定される。
CPU11は、非線形計画法の一つである滑降シンプレックス法を用いて、輪郭モデルの変化パラメータの最適解を決定する(ステップS210)。具体的には、CPU11は、x軸回りにRx度回転させ、y軸回りにRy度回転させた三次元顔形状データに対する輪郭モデル当てはめの最適解を探索する。ここで、輪郭モデルの変化パラメータは、x軸方向並進値Gxと、y軸方向並進値Gyと、z軸回転値Gzと、スケール倍率Gsとする。滑降シンプレックス法にて最大化する評価値Iは、輪郭モデルの点の座標を(Jx,Jy)とし、輪郭モデルの各点において、(Jx−x’)2+(Jy−y’)2が最小となる回転後の三次元顔形状データの計測点(x’,y’,z’)を探索し、その計測点の周辺半径4mmの計測点を用いて算出した平均曲率Hの合計値とする。なお、周辺半径4mmの平均曲率Hは、既述の周辺半径10mmの平均曲率H10と同様にして求められる。
CPU11は、滑降シンプレックス法実行時の三次元顔形状データのx軸の回転角Rxおよびy軸の回転角Ryと、最適解における滑降シンプレックス法の評価値Iと、輪郭モデルの目頭点D及び目尻点Eの座標(x’,y’,z’)と、を記憶部12に記憶する(ステップS212)。
CPU11は、三次元顔形状データをy軸回りに−Ry度、x軸回りに−Rx度の順に回転させて、三次元顔形状データのx軸およびy軸まわりの回転を解除し、初期位置に戻す(ステップS214)。
CPU11は、回転角Rxおよび回転角Ryが+10度または−10度に至るまで回転角Rxおよび回転角Ryを0.1度インクリメントし、ステップS206〜ステップ216を繰り返して実行する(ステップS216:No)。
CPU11は、ループ処理が完了、すなわち、回転角Rxおよび回転角Ryが+10度または−10度に至ると(ステップS216:Yes)、評価値Iが最大の特の回転角Rx’および回転角Ry’、目頭座標、目尻座標を取得する(ステップS218)。具体的には、CPU11は、ループ処理により算出した全ての滑降シンプレックス法の評価値Iのうち、最大値である評価値I’を検出し、最大評価値I’の際の回転角Rx’と、回転角Ry’と、目頭点D及び目尻点Eの座標(x’,y’,z’)を取得する。この結果、目頭および目尻の座標位置が検出される。
CPU11は、三次元顔形状データを、x軸回りにRx’度、y軸回りにRy’度の順に回転させて(ステップS220)、本処理ルーチンを終了して、図3の処理ルーチンにリターンする。
図3に戻り説明を続ける。瞼頬溝形状特定処理では、xy平面上の二次多項式y=ax2+bx+cで表わされる放物線を瞼頬溝に当てはめる処理が行われる。CPU11は、x軸回りにRx’度、y軸回りにRy’度の順に回転させた三次元顔形状データの各計測点K、目頭点Dおよび目尻点Eをxy平面に平行投影する(ステップS122)。平行投影の結果、xy平面上の座標値で表される、各計測点K’、目頭点D’および目尻点E’が得られる。
CPU11は、放物線制御点Lの初期位置を設定する(ステップS124)。具体的には、CPU11は、目頭点D’と目尻点E’を結ぶ線分の垂直二等分線上において、当該線分との距離が|E’−D’|であるy軸負側の点を放物線制御点Lの初期位置に設定する。すなわち、垂直二等分線上の点の内、瞼頬溝が存在する側の点が放物線制御点Lの初期位置に設定される。
CPU11は、滑降シンプレックス法により、瞼頬溝形状を特定し(ステップS126)、本処理ルーチンを終了し、図2の処理ルーチンにリターンする。具体的には、CPU11は、放物線制御点Lの変化パラメータとしてx軸方向並進値Mxとy軸方向並進値Myを用いた滑降シンプレックス法により、放物線制御点Lの最適解を探索する。滑降シンプレックス法において最大値とする評価値は、放物線制御点Lと、目頭点D’と、目尻点E’とを通る放物線において、目頭点D’と、目尻点E’とを端点とする部分放物線を100等分する等分点99点において、各等分点に最も近い計測点K’に対応する投影前の計測点Kの平均曲率Hの合計値とする。
CPU11は、滑降シンプレックス法の最適解により算出した放物線において、目頭点D’と、目尻点E’とを端点とする有限曲線を瞼頬溝、すなわち瞼頬溝形状として検出する。
図2における目元印象評価値決定処理(ステップS14)について図7を参照して詳述する。図7は本実施形態に係る目元印象評価装置10によって実行される目元印象評価値決定処理の各処理ステップを示すフローチャートである。CPU11は、瞼頬溝検出処理により検出した瞼頬溝に複数の等分点を割り当てる(ステップS140)。具体的には、CPU11は、検出された瞼頬溝を示す有限曲線を等線長に100等分する等分点99点を算出する。CPU11は、算出された各等分点に関する平均曲率H’を求める(ステップS142)。等分点に関する平均曲率(三次元曲率)の算出は、検出された瞼頬溝を示す有限曲線を等線長に内分する少なくとも1つ以上の等分点を算出し、予め算出されている三次元曲率を基に、この等分点における三次元曲率を瞼頬溝の三次元曲率として等分点数だけ算出することによって実行される。この、等分点における三次元曲率を算出する処理は、既存の等分点三次元曲率算出処理のどのような技術が適用されてもよい。たとえば、等分点との距離が最短である三次元顔形状データの計測点の三次元曲率を算出する手法、等分点との距離が最短である三次元顔形状データの計測点を中心として、近傍の複数の計測点の三次元曲率の平均値を算出する手法、等分点との距離が最短である三次元顔形状データの計測点を中心として、近傍の複数の計測点の三次元曲率のうち最小値又は最大値を算出する手法が用いられ得る。
本実施形態においては、CPU11は、算出された各等分点において、瞼頬溝の法線方向に±1mmの範囲で探索しながら、各等分点における平均曲率H’を求める。具体的には、注目等分点の座標を(Nx,Ny)とするとき、(Nx−x’)2+(Ny−y’)2が最小となる回転後の三次元顔形状データの計測点(x’,y’,z’)の平均曲率Hを求め、平均曲率Hが最も大きい、すなわち最も凹である計測点の平均曲率Hを、注目等分点の平均曲率H’として算出する。この処理は、必ずしも瞼頬溝上に位置しない計測点(計測点の平均曲率)を瞼頬溝上にマッピング(あてはめ)するための処理であり、これにより、瞼頬溝検出処理により取得した瞼頬溝の位置を補正したのと同義になり、高精度に瞼頬溝の平均曲率を算出することができる。
CPU11は、取得した平均曲率をモデルに当てはめて目元印象評価値を算出し(ステップS144)、図2の処理ルーチンに戻る。具体的には、CPU11は、以下のモデル式を用いて、目元印象評価値としての見た目年齢を決定する。
見た目年齢=225.76×H37+23.17 (式3)
ここで、H37は、瞼頬溝を100等分した際の、目頭側から37番目の等分点の平均曲率である。CPU11は、被評価者の顔から取得した三次元顔形状データを用いて既述の処理を行い、目頭側から37番目の等分点の平均曲率を得た後、上記(式3)を用いて見た目年齢を決定する。
次に、見た目年齢を決定するために用いられるモデル(モデル式)の求め方について図8を用いて説明する。図8は本実施形態において用いられるモデル決定処理の各処理ステップを示すフローチャートである。
モデルの決定は、CPU11が基準形状決定部M3として機能することにより実行される。モデル決定処理では、複数の女性パネルから取得した瞼頬溝上の複数の等分点の平均曲率、評価者による官能目元評価値とが用いられる。CPU11は、三次元顔形状取得部13を介して、一人の女性パネルから三次元顔形状データを取得する(ステップS300)。CPU11は、取得した三次元顔形状データを用いて瞼頬溝を特定し、瞼頬溝上の複数の等分点に関する平均曲率Hを取得する(ステップS302)。平均曲率Hの取得手順は既述の通りであり、瞼頬溝の100等分点99点の平均曲率Hを目頭側から順にH01、H02、H03・・・H98、H99として取得する。なお、瞼頬溝上の複数の等分点に関する平均曲率Hとするのは、既述の通り、計測点は必ずしも等分点と一致せず、等分点に近接する平均曲率Hが等分点の平均曲率H’として用いられるからである。
評価者による対象女性パネルの官能目元印象評価値を設定する(ステップS304)。たとえば、複数の評価者によって対象女性パネルの目元の画像を用いて見た目年齢の評価を行い、全評価者の平均値を対象女性パネルの官能目元印象評価値(見た目年齢)として、CPU11は受け付ける。なお、対象女性パネルを直接観察しても良いが、目元以外の印象による影響を排除するため、対象女性パネルの目元のみを観察することが望ましい。
CPU11は、全ての対象女性パネルに対する処理が完了するまでステップS300〜S304を繰り返し実行し(ステップS306:No)、全ての対象女性パネルから平均曲率Hおよび官能目元印象評価値を取得すると(ステップS306:Yes)、取得した平均曲率と官能目元印象評価値とを用いてモデルを決定し(ステップS308)、本処理ルーチンを終了する。
モデルの決定に関して、具体的な検証例を用いて説明する。20代から50代の40名の女性パネルから三次元顔形状データを取得し、既述の処理によって瞼頬溝を100等分する等分点99点について、目頭側から等分点1〜99における平均曲率H’をH01〜H99として取得する。評価者は、5名の化粧品技術者が担当し、各対象女性パネルの目元の画像から見た目年齢の評価を行い、評価者5名の平均値を女性パネルの見た目年齢、すなわち、官能目元印象評価値とした。評価の結果の一例を図9に示す。図9は、見た目年齢の評価を行った対象女性パネルの目元の画像および評価者5名の見た目年齢の平均値の一例を示す説明図である。このようにして得られた評価結果は、図10に示すように、各対象女性パネルについて、見た目年齢と各等分点における平均曲率とを対応付けて記憶部12に記憶される。図10は各対象女性パネル、見た目年齢および平均曲率と対応付けたテーブルの一例を示す。
目元印象評価値を決定する際に、瞼頬溝上の全ての等分点における平均曲率を用いるとすれば、演算負荷が高くなり、時間を要することになる。そこで、瞼頬溝上の各等分点の平均曲率と見た目年齢との相関関係を求め、目元印象評価値を決定する際に最も有意となる等分点を検証した。図11は、各等分点における平均曲率と見た目年齢との相関係数を示す説明図である。図12〜14は、それぞれ、等分点1、20および37における平均曲率Hと見た目年齢との相関関係を示す相関図である。なお、各等分点における平均曲率Hi(i:等分点)の相関係数は、図10における見た目年齢ajと平均曲率rj(j:パネルNo.)とを用いて、公知の演算式によって求められる。なお、算出手順についての説明は省略する。
図11に示すように、等分点7〜50に対応する平均曲率H07〜H50の相関係数は0.5以上であり、等分点7〜50の範囲において、瞼頬溝の平均曲率と女性パネルの見た目年齢とは良好な相関関係を有していることが分かる。すなわち、目頭から1/2の距離内にある特徴点を用いることが有意であるということができる。また、等分点27〜44に対応する平均曲率H27〜H44の相関係数は0.7以上であることから、等分点27〜44の範囲において、瞼頬溝の平均曲率と女性パネルの見た目年齢とはより良好な相関関係を有していることがわかる。すなわち、目頭から1/5〜1/2の距離内にある特徴点を用いることがより有意であるということができる。特に、等分点36〜39に対応する平均曲率H36〜H39の相関係数は0.8以上であることから、等分点36〜39の範囲において、瞼頬溝の平均曲率と女性パネルの見た目年齢とは極めて良好な相関関係を有していることがわかる。すなわち、目頭から約1/3の距離内にある特徴点を用いることがより有意であるということができる。
したがって、等分点36〜39に対応する平均曲率Hと、見た目年齢とを用いてモデルを決定することが有意であることが理解される。たとえば、相関係数が最も高い平均曲率37を説明変数とし対象女性パネルの官能目元印象評価値(見た目年齢)を目的変数として単回帰分析を行うと、以下のモデル式が得られた。
見た目年齢=225.76×H37+23.17 (式3)
このモデル式から得られた見た目年齢と、評価者から得られた官能目元印象評価値(見た目年齢)との相関関係は図15に示す通りであり、得られた相関係数は0.814であった。図15はモデル式から得られた見た目年齢と、官能目元印象評価値との関係図を示す。得られた相関係数および図15の相関図から理解されるように、モデル式に基づき決定された見た目年齢と官能目元印象評価値とは非常に良好な相関関係を有している。すなわち、瞼頬溝上の等分点99点のうち、目頭側から数えて37番目の等分点の平均曲率H37を用いることで、被評価者の目元の印象を高精度に評価することが可能となる。
上記モデル式は、本実施形態においてサンプリング対象となった40名の対象女性パネルの瞼頬溝形状および官能目元印象評価値に基づき求められたモデル式であり、サンプリング対象の人数の増減によっては、具体的な係数(傾き、切片)は異なってくる。一方で、上述の様に、被評価者の目元印象評価値を決定する際には十分に有意な値を得ることができる。
モデル式としては、瞼頬溝上の等分点99点の平均曲率H01からH99までを説明変数とし、対象女性パネルから得られた官能目元印象評価値を目的変数として、有意水準が0.05であるステップワイズ法による変数選択手段を用いて重回帰分析を行い、平均曲率から見た目年齢を推定するモデル式を求めても良い。
この場合には、たとえば、相関係数の高い平均曲率から順に回帰分析が実行され、回帰係数の有意性検定により算出されるp値が有意水準を上回ったところで終了する。この場合、モデル式の係数(傾き、切片)は重回帰分析の対象となった平均曲率Hの影響を受けており、モデル式の変数としては、重回帰分析の対象となった平均曲率を用いることができる。
以上述べたように、本実施形態に係る目元印象評価装置10によれば、瞼頬溝の形状を用いて目元印象評価値、すなわち、見た目年齢を決定することができるので、被評価者の見た目年齢を正確に決定(推定)することができる。
また、瞼頬溝上の等分点のうち、中央から目頭側の等分点の相関関数は0.5以上であり、被評価者の見た目年齢を正確に決定(推定)することができる。特に、目頭から約1/3の領域の等分点の相関関数は0.8以上であり、また、たとえば37番目の等分点における平均曲率H37を用いたモデル式により算出された目元印象評価値と、評価者によって得られた官能目元印象評価値との相関係数は0.814であり、瞼頬溝の形状と目元印象評価値とは極めて高い相関関係を有している。
本実施形態においては、輪郭モデルを、閉眼時の目元における2種類の凹形状(窪み)に一致するように配置するので、個人の顔形状に影響されることなく安定した目頭・目尻位置の検出を行うことができる。すなわち、(1)円形状の上瞼および下瞼の窪み(円周上の20点)で目頭と目尻の中点の幅を、(2)直線状の眼裂(直径の6点)で、目頭と目尻の傾きを、それぞれ安定して、正確に検出することができる。
本実施形態においては、輪郭モデルの当てはめに際して、三次元顔形状データをx軸およびy軸共に、0.1度刻みにて回転させて最適な回転角度を探索しているので、三次元顔形状データ取得時における被評価者の姿勢、すなわち、顔と三次元顔形状取得部13との向き・位置関係、に左右されることなく、客観的で精度の高い評価を実行することができる。
本実施形態においては、瞼頬溝上の等分点に関する平均曲率を目元印象評価値の指標に用いているので、すなわち、正規化しているので、個人毎に瞼頬溝の形状や長さが異なっていても、同一の推定モデルを用いて目元印象を評価することができる。なお、等分点の数は99に限られず、139、109、89、79、49といったように様々な等分点を取り得る。一般的に等分点の数が多くなれば、評価精度が向上する一方で、処理時間が増大する。したがって、要求される評価精度または処理時間に応じて等分点を決定すれば良い。
上記実施形態においては、瞼頬溝のおおまかな位置を二次曲線として検出し、当該二次曲線の法線方向に探索し、最も凹である位置を求めているので、瞼頬溝の形状が二次曲線状でない場合にも、瞼頬溝の位置補正を実行することができる。
なお、モデル式に代えて、基準形状から求められた平均曲率である複数の基準値と、被評価者の瞼頬溝上の等分点あるいは特定点に関する平均曲率とを対比して、目元印象評価値が求められても良い。この場合にも、等分点36〜39の範囲のいずれかの、または、全ての等分点に関する平均曲率が用いられることが望ましい。1点のみが用いられる場合には、たとえば最小二乗法によって最も近似する基準値が特定され、対応テーブル124を用いて、特定された基準値に対応付けられている見た目年齢が目元印象評価値とされる。複数点が用いられる場合には、各等分点に関して最小二乗法によって特定された最も近似する基準値に対応付けられている見た目年齢の平均が、あるいは、各基準値に対応付けられる見た目年齢に所望の重み付けをした値の平均が目元印象評価値とされる。この場合には、処理負荷を軽減することができる。
変形例:
(1)上記実施形態においては、三次元曲率(平均曲率H)を用いて瞼頬溝形状が特定されていたが、いわゆる画像処理技術によって瞼頬溝形状を特定しても良い。図16は他の例に係る瞼頬溝形状特定処理の各処理ステップを示すフローチャートである。
この処理は、CPU11が瞼頬溝特定部M2として機能することによって実現される。CPU11は、目頭・目尻位置検出処理を行う(ステップS400)。目頭・目尻位置の検出は、上記実施形態において図4を用いて説明した処理手順によって実行される。あるいは、目の周りの領域を指定した上で、三次元顔形状データに対してエッジ抽出処理を施し、目頭および目尻の位置を検出しても良い。エッジ抽出処理は、三次元顔形状データを構成する画素の輝度値、あるいは、RGB成分を用いて実行され得る処理である。たとえば、隣接画素の輝度値の差が所定値以上の場合にはエッジ、すなわち、目頭・目尻に相当するエッジが存在すると判断可能であり、あるいは、RGB成分に基づいて無彩色であると判断される部位を目頭・目尻に相当する部位であると判断することができる。これらの処理は、当業者に良く知られた処理であるから詳細な説明は省略する。また、操作者が表示部14上において、マウスによって、あるいは、表示部14がタッチパネル式の表示部である場合には、スタイラスによって表示部14の表示画面を直接タッチすることによって、目頭および目尻の位置を特定しても良い。
CPU11は、目頭および目尻を含む領域において、エッジ抽出処理を実行して瞼頬溝の形状を特定する(ステップS402)。目頭および目尻の領域は、CPU11が、ステップS400にて検出された目頭・目尻の位置から三次元顔形状上において所定半径の領域を特定しても良く、予め、統計的に顔領域における目を含む領域を決定しておき、CPU11が、当該決定されている領域を目頭および目尻の領域に設定しても良い。あるいは、操作者が表示部14上において、目頭および目尻を含む領域を特定しても良い。
CPU11は、特定された領域においてエッジ抽出処理を実行して、瞼頬溝の形状を特定する。瞼頬溝は、周りの部位に対して凹形状を有しているので、エッジ抽出処理によって有端線として特定可能である。なお、エッジ抽出処理において、輝度値の差が所定値以上となる連続する画素をエッジ、すなわち、瞼頬溝として特定すれば、不特定な窪み等による影響は排除または抑制することができる。
この瞼頬溝形状特定処理によれば、瞼頬溝の形状の特定を直感的に行うことができると共に、目の周辺領域のみを対象として処理を実行することができる。この結果、効率の良く瞼頬溝の形状を特定することができる。また、三次元画像に代えて、被評価者の撮像画像といった二次元画像から瞼頬溝の形状を決定することも可能となり、被評価者から容易に顔形状を得ることができる。
(2)上記実施形態においては、三次元曲率(平均曲率H)を用いて目元印象評価値が決定されていたが、いわゆる画像処理技術によって特定された瞼頬溝形状と基準形状とを用いて決定しても良い。図17は他の例に係る目元印象評価値決定処理の各処理ステップを示すフローチャートである。
この処理は、CPU11が目元印象評価値決定部M1として機能することによって実現される。CPU11は、記憶部12から基準形状121を取得する(ステップS500)。なお、基準形状121には予め、基準形状の特徴を表す特徴ベクトルに関する情報が関連付けられていることが望ましい。CPU11は、三次元顔形状データから取得した瞼頬溝形状と基準形状との類似度を算出する(ステップS502)。具体的には、CPU11は、三次元顔形状データから瞼頬溝の形状に関する特徴を表す特徴ベクトルを抽出し、基準形状の特徴ベクトルと、瞼頬溝の特徴ベクトルとを用いて類似度を算出する。図形から特徴ベクトルを抽出する手法としては、対象形状を含む領域を複数の領域に分割し、各領域の画素値を数段階に量子化することによって得ることができる。類似度を算出する手法としては、コサイン類似度、マハラノビス距離、ユークリッド距離等を用いて特徴ベクトルから類似度を得ることができる。これらの手法は当業者にとって良く知られた手法であるから詳細な説明は省略する。
CPU11は、得られた類似度が所定値以下になるまでステップS500およびS502を繰り返して実行する(ステップS504:No)。すなわち、CPU11は、記憶部12から異なる基準形状を取得し、瞼頬溝形状との類似度を算出する。CPU11は、得られた類似度が所定値以下になると(ステップS504:Yes)、対応テーブル124を用いて基準形状に対応付けられている目元印象評価値を取得し、被評価者の目元印象の評価する目元印象評価値に決定する(ステップS506)。なお、より精度を高めるために、回帰計算によって最適な基準形状が特定されても良い。
この目元印象評価値決定処理によれば、特徴ベクトルの抽出精度を調整することによって、目元印象評価値の精度と処理時間とを要求に応じて優先させることができる。また、三次元画像に代えて、被評価者の撮像画像といった二次元画像から目元印象評価値を得ることも可能となり、被評価者から容易に顔形状を得ることができる。
(3)上記実施形態においては、目元印象評価装置10によって、目元印象評価値の決定に用いられる推定モデルが求められているが、目元印象評価装置10とは別の装置によって、予め推定モデルが求められ、記憶部12に格納されていても良い。この場合には、目元印象評価装置10をより簡易な構成とすることができる。
(4)上記実施形態においては、三次元顔形状データが用いられているが、変形例においても述べたように、二次元顔形状データによっても、瞼頬溝形状および目元印象評価値を決定できる処理手順が用いられる場合には、二次元顔形状データが用いられても良い。この場合には、被評価者によって提供された撮像画像から顔形状データを取得し、目元印象評価を行うことができる。
(5)上記実施形態においては、三次元曲率(平均曲率)を用いて、目元印象評価値が決定されているが、この他にも、瞼頬溝の形状から得られた統計的な特徴量と、基準形状から得られた統計的な特徴量とを用いて、類似度に基づいて目元印象評価値が決定されても良い。この場合にも、被評価者の撮像画像といった二次元画像から目元印象評価値を得ることも可能となり、被評価者から容易に顔形状を得ることができる。
以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。