WO2004025564A1

WO2004025564A1 - 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム

Info

Publication number: WO2004025564A1
Application number: PCT/JP2003/010742
Authority: WO
Inventors: Yusuke Takahashi
Original assignee: Nec Corporation
Priority date: 2002-08-30
Filing date: 2003-08-26
Publication date: 2004-03-25
Also published as: JP2004094491A; JP4238542B2

Abstract

画像中の顔の向きを推定する顔向き推定装置であって、画像を取り込む画像入力手段と、前記画像入力手段が取り込んだ画像中の顔の向きを変換する画像処理を施し、顔向き変換顔を作成する顔向き変換手段と、前記顔向き変換顔の顔の向きを評価し、前記画像中の顔の向きを推定する特定方向顔向き評価手段とを備えて構成される。

Description

明細書顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム技術分野

本発明は、入力された画像中の顔が向いている方向を推定する顔の向き推定装置おょぴその方法、並びに、顔の向き推定プログラム（以下、顔の向き推定方式と記載する）に関する。背景技術

従来、この種の技術として、特開 2 0 0 1— 2 9 1 1 0 8号公報、特開平 1 1一 2 8 1 6 6 1号公報に記載の方式が知られている。特開 2 0 0 1— 2 9 1 1 0 8号公報に記載の記載のプロック図を図 1に示す。この手法では、予め複数人の正面顔データを取得して平均顔を作成し、平均顏を 3 D モデルに張り合わせて任意の角度回転させた画像を生成して, 入力画像と最も相関度の高い角度の画像を決定することで入力画像の顔の向きを推定するように構成されている。 · また、特開 1 1一 2 8 1 6 6 1号公報記載の手法では、肌色を抽出することで、両目および口の位置と顔幅を検出し、それらの位置関係から顔の向きを推定する。

これらの従来技術の問題点は、正面方向など特殊な方向の特徴を利用することが困難で、全ての顔向き方向で同等の類似度計算を行う必要があることであり、顔向き方向の評価にテンプレートを生成する必要があることである。

その理由は、様々な顔向き方向のテンプレートとの類似度を比較することで入力画像の顔向きを推定するため、様々な顔向き画像での類似度の比較が必要なためであり、テンプレートは用いる顔データの人種（白人 ·黒人，黄色人種）による色や顔の形状の違いや、顔以外の領域（背景部分）の輝度などの影響を受けやすいことである。発明の開示

本発明は、このような事情に鑑みてなされたもので、顔向き方向を精度よく検出する顔の向き推定方式を提供することを目的とする。

本発明では以下の特徴により、上記の目的を達成している。

本発明の顔向き推定装置は、

画像中の顔の向きを推定する顔向き推定装置であって、

画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換手段と、顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段とを備える。

また、顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、照明変動除去手段は、顔向き変換手段により作成された顔向き変換顔について照明変動の影響を除去した画像を生成し、特定方向顔向き評価手段は、照明変動の影響が除去された画像を用いて、顔の向きを推定してもよい。

また、顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、照明変動除去手段は、画像について照明変動の影響を除去した画像を生成し、顔向き変換手段は、照明変動除去手段で生成した画像中の顔の向きを変換する画像処理を施し、顔向き変換顔を作成してもよいまた、特定方向顔向き評価手段は、複数の特定方向顔画像の平均を求めることにより特定方向平均顔を予め生成しておき、顔向き変換顔と特定方向平均顔との類似度により特定方向顔向き評価を行ってもよい。また、特定方向顔向き評価手段は、画像中の顔の向きを評価する方向として正面を用い、顔向き変換顔の正面顔らしさを評価する正面顔向き評価手段を備えてもよい。

また、正面顏向き評価手段は、特定方向顔向き評価手段が正面顔向き評価を顔向き変換顔の左右対称性の度合いにより正面向き評価してもよい。

また、正面顔向き評価手段は、人物の正面顔の左右対称性の度合いを評価するために、特定方向顔向き評価手段が顔とその顔を左右反転した顔との類似度を計ることで正面顔評価を行ってもよい。

また、特定方向顔向き評価手段は、画像中の顔の向きを評価する方向として真横を用い、顔向き変換顔の真横顔らしさを評価する真横顔向き評価手段を備えてもよい。

また、顔向き変換手段は、人物顔の特徴点の画像上の位置を用い、画像上の顔の向きを変更してもよい。

また、顔向き変換手段は、人物顔の特徴点として両目、口の両端、鼻の左右の穴、両眉のうち、いずれか 1つ、またはいずれかの組み合わせを用いてもよい。

また、顔向き変換手段は、人物顔の特徴点として目、口の端、鼻の穴、眉のうち、いずれか 1つ、またはいずれかの組み合わせを用いてもよい。また、顔向き変換手段は、人の顔の立体形状を記述した顔立体形状モデルに顔画像をマツビングし方向変換させてもよい。

また、顔向き変換手段は、人の顔の立体形状モデルとして複数人の顔形状の平均として記述した顔立体形状モデルを用いてもよい。

また、顔向き変換手段は、顔立体形状モデルとして楕円体を用いてもよい。

また、顔向き変換手段は、画像上の顔の向き変更を顔領域のィメージ ' ヮービングにより行ってもよい。

また、顔向き変換手段は、画像上の顔の向きを変更するヮーピング手段として予め学習画像により生成した変換パラメータを入力画像に適用することで顔向きを変更してもよい。

また、顔向き推定方向をいくつかの特定方向カテゴリーとして出力してもよい。

また、特定方向カテゴリ一として正面 ·上 '下，右 ·右上 '右下 '左 · 左上 ·左下の 9種類のうち、いずれか一種類またはその組み合わせを用いてもよレヽ。

また、特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとして出力してもよい。

本発明の顔向き推定方法は、

画像中の顔の向きを推定する顔向き推定方法であって、

画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップとを含む。

本発明の顔向き推定プログラムは、

画像中の顔の向きを推定する顔向き推定プログラムであって、コンピュータを、画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換手段と、顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段として、機能させるためのプログラムである。

以上、本発明には以下の効果がある。

第 1の効果は、正面顔の左右対称性など、特定の顔向き方向に特化した特長を用いて顏向き評価を行うことができることである。

このため、正面顔では、左右対称性を評価することでテンプレートを用いずに顔向き評価を行うことができる。その理由は、変換後の顔が特定方向の顔の特徴を最も満足する顔向き変換パラメータを探索することで顔向き推定を行うためである。図面の簡単な説明

図 1は、従来技術を説明するブロック図であり、

図 2は、 + 3 0度の方向を向いた入力顔画像を示す図であり、図 3は、一 2 0度の顔立体形状モデルの正面へ変換を示す図であり、図 4は、一 2 0度の顔立体形状モデルに入力画像をマッピングした図であり、

図 5は、マッビングを用いた顔向き方向変換の例を示す図であり、図 6は、 + 3 0度の顔立体形状モデルの正面へ変換を示す図であり、図 7は、 + 3 0度の顔立体形状モデルに入力画像をマツビングした図であり、

図 8は、マツビングを用いた顔向き方向変換の例を示す図であり、図 9は、顔の特徴点を示す図であり、左から両目、両口の端、鼻の穴、両眉の両端を示す図であり、 '

図 1 0は、本発明の第 1の実施の形態のブロック図であり、図 1 1は、本発明の第 1の実施の形態の動作を説明するためのフローチャートであり、

図 1 2は、本発明の第 1の実施の形態の動作を説明するためのフローチャートであり、

図 1 3は、本発明の第 2の実施の形態の動作を説明するためのフローチャートであり、

図 1 4は、本発明の第 3の実施の形態の動作を説明するためのフローチャートであり、

図 1 5は、 + 3 0度の顔立体形状モデルの真横への変換を示す図であ、

図 1 6は、本発明の第 5の実施の形態の動作を説明するためのフローチヤ一トであり、

図 1 7は、楕円体を用いた顔立体形状モデルを示す図であり、図 1 8は、本発明の第 8の実施の形態のプロック図であり、図 1 9は、本発明の第 9の実施の形態のプロック図であり、図 2 0は、照明変動を受けた画像の例を示す図である。発明を実施するための最良の形態

(発明の第 1の実施の形態）

以下、本発明の第 1の実施の形態による顔向き推定装置を図面を参照して説明する。

まず、本発明における顔向き推定の原理を説明する。

なお、顔の向きを表す方向の尺度として、カメラ等の撮像媒体に対して被撮影者から見て右を向いている場合は +で、左側を向いている場合は一、上を向いている場合は十、下を向いている場合は一の角度を用いることとする。特に明記しない場合、 φは左右方向、 0は上下方向の角度を表すものとする。 y、 φは φ , 0の組み合わせで表される 3次元方向とする。

例えば、正面以外の方向を向いている顔に対し一 φ分の顔向き変換を施したとき、変換後の顔が正面顔であれば、変換前の顔は φの方向を向いていることとなる。一般的に、 γ以外の方向を向いている顔に対し 7 _ Φ分の顔向き変換を施したとき、変換後の顔が yの方向を向いた顔であれば、変換前の顔は ψの方向を向いていることとなる。

この顔向き変換の方法としては、入力画像中の顔に顔立体形状モデルを当てはめて方向変換を行う方法などが用いられる。

顔立体形状モデルとは人物の顔形状を 3次元であらわしたモデルである。レンジファインダ等の計測器を用い、複数人物の顔形状を計測し、その平均を用いることで作成することができる。

顏立体形状モデルに関しては、特開 2 0 0 0— 3 2 2 5 7 7号公報「画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体」に詳しい。

しかし、このようなモデルを当てはめる方法では、入力画像中の顔向き方向おょぴ顔の位置が既知であることが要求される。

このため、本発明では、変換前の顔向き方向を φと仮定し、 ψ方向を向いた人物顔モデルを作成し、そのモデルを y方向へ（γ— φ ) の方向変換を行うことで、 γの方向の顔向き変換をおこなうこととする。

補正後の顔向き方向の角度 yとしては、任意の角度について行っても良いが、以下では特に γ ( φ， 0 ) = (0, 0)度の場合、つまり正面顔への顔向き変換について説明する。上記の顔向き変換方法の動作について、図 2に示す横に + 3 0度を向いた顔を含んだ入力画像を例に説明する。

ここでは、 Θ = 0として顔向き方向を横に限定して説明するが、縦向き方向の変化に対しても角度（φ， 0 ) の組み合わせが増えるのみで原理的には変らないため同様の処理で行うことができる。

まず、入力画像の顔の向きは未知であるため、顔の向きを φ =— 2 0 度と仮定する。この場合、図 3に示すような一 2 0度傾いた顔立体形状モデルを用意する。図 4のように、顔の特徴点として得られた両目の位置を利用してこのモデルと入力顔画像の位置あわせを行う。図 5に示したように、入力画像の画素 Ρを顔立体形状モデルに平行投影する。この処理を画像上の全ての画素 Ρに対して行うことをマツビングと呼ぶ。次に、入力画像をマツビングした顔モデルが正面を向くように + 2 0度変換を行い、平行投影により顔向き変換顔画像を生成する。しかし、 + 3 0度を向いた顔を一 2 0度向いた顔と誤って仮定しているため、正しいマツビングを行えず、得られる変換後の顔は正面顔とはならない。続いて、図 2の入力顔画像の向きを + 3 0度と仮定した場合では、得られた両目の位置を利用し、図 6の + 3 0度傾いた顔立体形状モデルに入力顔画像を図 7に示すように位置合わせすることができる。そして、図 8に示すようにマッビングした顔モデルが正面を向くように一 3 0 度変換を行い、平行投影により顔向き変換顔画像を生成する。この場合、変換後の顔は正面顔となり、正面顔評価により正面顔と判定されることで + 3 0度の仮定が正しいかの判定を行える。

このように、入力画像の顔向きを φと設定し、 φを向いた顔立体形状モデルに入力顔画像をマツビングし、一 φ変換を行い作成される顔向き変換顔が正面顔であれば、入力画像の顔向きが φとなり、入力画像中の顔の向きを判定することができる。つまり、入力画像中の顔向き方向の判定精度を顔向き変換後の顔の特定方向顔'向き顔との類似度として評価することができるため、例えば、特定の方向として正面とすると、人物の正面顔の特徴を利用した評価を行えることが特徴となる。なお、上記の説明ではマツビングでの位置合わせに用いる顔の特徴点として、両目の位置を用いて説明したが、図 9に示すように両目以外にも、口の両端、鼻の両穴、両眉の両端の位置を用いることもできる。以下、特徴点として両目の位置を用いることとして説明を行う。

次に、本発明の題の実施の形態の構成について図面を参照して詳細に説明する。ここでは以下、特定方向を正面として説明する。

図 1 0を参照すると、本発明の第 1の実施の形態は画像入力手段 1と, 顔向き変換手段 2と、特定方向顔向き評価手段 3と、顔向き出力手段 4 とを含む。

画像入力手段 1では、顔が写っている画像をデジタル情報として取得する。取得方法としては、デジタルカメラ、ビデオカメラ等の撮像デバイスを用いても、写真などをスキャナにより取り込んでもよい。

顔向き変換手段 2では、入力された画像中の顔向きを別の方向に変換する処理を施す。例えば、入力された顔画像に対し、顔向き方向をと仮定し、（γ— Φ ) 角度分変換する画像処理を施す。顔向き変換手段 2 は、例えば、図示しない記憶装置などに保存された顔立体形状モデルを参照することにより、 φ方向を向いた顔モデルを Ί方向顔へ変換する画像処理を施すことで実現できる。なおこの場合、例えば、 + 9 0度から - 9 0度の 1度毎に顏立体形状モデルを記憶装置に保存しておく。特定方向顔向き評価手段 3では、変換後の顔向きが特定方向を向いているかの評価を行う。前例では、変換された顔向きが γ方向を向いた顔かの評価を行う。顔向き変換手段 2および特定方向顔向き評価手段 3はループ構成であり、様々な顔向きにおける評価を行う。

顔向き出力手段 4では、特定方向顔向き評価手段 3での評価を用いて、特定方向の顔向き変換を行った変換量を求め、入力画像における顔向きを計算し、出力する。

以下、図 1 1に示すフローチャートを用いて第 1の実施の形態における顔向き推定の動作を説明する。画像入力手段 1では、画像を取得し（ステツプ A l )、取得した画像の両目の位置を抽出し、それぞれ（£r， El) とする（ステップ A 2 )。両目の位置の取得方法については、ユーザーが手動で与えても、特開平 1 1— 2 8 1 6 6 1号公報のように肌色領域内を目のテンプレートマッチングにより自動で抽出しても構わない。

なお、画像によって顔の位置や大きさが異なると処理が複雑になるため、左右対称な特徴点（両目）の間隔距離を用いて、大きさを揃える処理を行う。入力画像中の左右対称な顔の特徴点として、ここでは両目の位置を用いることとするが口の両端や鼻の穴の位置などを用いても構わない。例えば、 2 5 6 x 2 5 6画素サイズの画像に対し、両目の位置を被撮像者の右目の座標を（ 9 7 , 1 0 0 )、左目の座標を（ 1 6 0 ， 1 0 0 ) にするように画像を幾何学変換（平行移動 ·縮小拡大 ·回転）操作で行うことができる。

顔向き変換手段 2では、入力手段 1で得られた両目の位置を利用して, 顔立体形状モデルにより顔向きを変更する。ただし、入力画像中の顔の向きが未知であるため、顔の向きを ψと仮定し、入力画像の顔向きと最も類似する Φ方向を向いた顔立体形状モデルを以下のステップで抽出する。

まず、ある探索角 ψに対し、 Φ度向きの顔立体形状モデルを生成する (ステップ A3)。この顔立体形状モデルへと入力画像の顔の位置合わせを行い、顔立体形状モデルにマッビングする (ステップ A 4 )。そして、 0度（正面）へ一 φ度の向き捕正（ステップ A5) を行う。

特定方向顔向き評価手段 3では、顔向き補正後の顔の正面らしさ表す評価尺度として正面顔度を計算する（ステップ A6)。

正面顔度の計算方法としては、予め一人または複数人の正面画像から正面を向いた人物の顔テンプレートを作成しておき、このテンプレートと補正画像との輝度値の差分の絶対値をとることで類似度を計算することができる。計算方法としては、式（1 ) に示すように原画像とテンプレート画像との差の絶対値を総画素数で割ったものの総和を正面顔度 S1 とする方法を用いる。 … (つ

ただし、 F(x，y)、 T(x,y)はそれぞれ入力画像およびテンプレート画像の座標（x， y)における輝度値を表す関数であり、 Xnrnx, Yraaxはそれぞれ画像の横およぴ縦幅を表す定数である。

顔の向きの探索角 Φが設定角度内かの判定を行う（ステップ A7)。とり得る範囲としては真横より前向きの顔の向きが推定角度の対象となるため、設定角度は- 90度力ら + 9 0度となるが、顔向きの角度が予め限定されている場合は、限定角度内で探索を行うと良い。探索角度が範囲内の場合は、探索角度を新たに仮定し、ステップ 3 , 4， 5, 6の処理を繰り返す（ステップ A8)。

新たに仮定する角度は前回の探索角度を 1度増やしたものとする。顔向き推定角度の精度を上げたい場合は増やす幅を細かく、精度を落しても顔向き推定処理の速度をあげたい場合では、増やす幅を粗くすると良い。

顔向き出力手段 4では、設定角度内の探索終了後に、最も正面顔度が高くなる変換を行った顔向き角度を出力することで、顔向き推定を行う (ステップ A9)。

上記では顔向き方向が横向き方向のみの場合について説明したが、縦方向を加えた場合については、図 1 2に示すフローチャートを用いて本発明の動作の説明を

行う。

図 1 2において、上下方向の角度 0を制御するステップ A1 7、 A1 8 を設けたことと、 A3に代わり上下方向の角度 Θにも対応した 3Dモデル作成ステップ A 1 3を設けたこと、 A9に代わり上下方向の角度 0にも対応した顔向き方向出力ステップ A1 9を設けたこと以外は図, 1 1と同様の構成となっており、同一構成要素には同一符号を付'してある。顔向き変換手段 2では、探索範囲内の（φ , Θ )の全ての組み合わせをについて 3 Dモデルを生成する（図 1 2ステップ A 1 3 )。

特定方向顔向き評価手段 3では、正面顔度を計算することで、最も正面顔度の高い（φ， 0 )を出力することで顔向き推定を行う（ステップ A 1 9 ) o

上記の設定角度範囲内を全て探索する方法以外では、評価値があるしきい値を超えた場合に、ループ処理を打ち切りその角度を出力する方法を用いても良い。

(発明の第 2の実施形態）

次に、本発明の第 2の実施形態を図 1 3を参照して詳細に説明する。図 1 3は本発明の第 2の実施形態による顔向き推定の主要部構成を示すフローチャート図である。

図 1 3において、第 2の実施形態による顔向き推定の主要部は左右対称度を計算するステップ A 2 6を設けた以外は図 1 1に示す第 1の実施形態による顔向き推定装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。

人物の正面顔はほぼ左右対称となるため、左右対称性を計ることで正面顔度を計算することができる。正面顔の左右対称性を利用する正面顔度評価方法では、顔テンプレートを予め作成する必要がないことや、自分自身の顔のみを用いて計算するため、各個人により異なる肌の色 ·顔の形に影響を受けずに計算を行える。

特定方向顔向き評価手段 3では、計算方法として式（2 ) に示すように、左右反転させた画像と原画像との比較により左右対称の度合いにより正面顔度 S2 を計算する。これにより横向き方向の顔の向き φを推定する。（ステップ A26)

本方法を用いて横向き方向 Φを最初に推定したのち、図 1 2に示した方法を用いて上下方向の向き 0を推定することも可能である。

(発明の第 3の実施の形態）

次に、第 3の実施の形態を図 1 4を参照して詳細に説明する。以上の説明では、変換後の角度を 0度、つまり正面としたが、正面以外の角度を利用してもよく、図 1 5のように、例えば真横の 9 0度としてもよレ、。つまりこの場合では、入力画像の顔向きを φと仮定し、 φ傾いた顔立体形状モデルに入力顔画像をマッピングし、（ 9 0— φ ) 度変換を行った際に顔向き変換顔が真横顔であれば、入力画像の顔向きが Ψと判定できる。

図 1 4は本発明の第 3の実施形態による顔向き推定方法の主要部構成を示すフローチャート図である。図 1 4において、本発明の第 3の実施の形態による顔向き推定方法の主要部は顔モデルを真横へ向き補正するステップ A 3 5と顔向き変換顔の真横顔らしさ表す真横顔類似度を計算するステップ A 3 6と最も横顔らしい φを出力するステップ A 3 9 を設けた以外は図 1 1に示す第 1の実施形態による顔向き推定方法の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。

(発明の第 4の実施の形態）

次に、第 4の実施の形態を図 1 6を参照して詳細に説明する。

いままでの説明では、入力画像中の顔向き（ψ， Θ ) を求めるために、ループによる探索をおこなったが、並列に処理することもできる。図 1 6は本発明の第 4の実施の形態による顔向き推定方法の主要部構成を示すフローチャート図である。図 1 6において、第 4の実施形態による顔向き推定方法の主要部は図 1 2に示す本発明の第 1の実施の形態による顔向き推定方法の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。様々な探索角度での正面顔度評価は、様々な角度での補正画像を並列に作成し、その中から最良の角度を抽出する。例えば、 _ 9 0度から+ 9 0度までの 5度おきの角度に対しての処理を並列に行い、最も高い正面顏度を持つ角度を出力する。

(発明の第 5の実施の形態）

次に、第 5の実施の形態を図 1 7を参照して詳細に説明する。第 5の実施の形態は、第 1の実施の形態における顔立体形状モデルとして、楕円体モデルを用いる。本発明の第 1〜4の実施の形態は上記説明では、顔立体形状モデルを用いて顔向変換を行ったが、顔立体形状モデルとは人物の顔形状を 3次元であらわしたモデルであるため、情報量が多く、顔向き変換処理も複雑となり、大型コンピュータ以外では処理時間がかかり有効とならない場合がある。

このような場合では、簡略化した顔立体モデルを用いると良い。簡略化顔立体モデルとしては、図 1 7に示すような楕円体を用いる。図 1 7 の +印で示したように、楕円体の表面上に両目の位置を定義し顔立体モデルとする。これにより、処理時間を短縮することが出来る。

(発明の第 6の実施の形態）

次に、第 6の実施の形態を詳細に説明する。

本発明の第 6の実施の形態は、第 1〜 5の実施の形態における顔立体形状モデルによる顔向き変換手段に代わり、イメージ · ヮ一ビングを用いた顔向き変換を行うことを特徴とする。

ヮービングとは人の顔が動物の顔へ移行するような例で言えば、目の位置や、顔の輪郭を対応づけすることにより、画素の色だけでなく形全体が対応づけられた場所へと移動するようにワープさせる画像処理である。これにより、顔の向き変換は、物理的な立体モデルを用なくとも、画像の変換パラメータを学習画像により学習させることで行える。

例えば、人物 Aの正面向きの顔画像を ImgA0、人物 Aの +30度向きの顔画像を ImgA30 とした際に、 ImgAOの画素が ImgA30のどの画素に対応しているかを示す変換パラメータは、オプティカルフローに代表される変換ベクトルで表すことができ、この変換ベクトルを

とする。このとき、人物 Bの正面向きの顔画像を IragB0、 ImgAOの画素力 S ImgBOのどの画素に対応しているかを示す変換べクトルを

v AB とすると、人物 Bの +30度向きの顔画像 ImgB30は、 ImgAOを

( 十

変換することで求めることができる。

この変換パラメータの推定おょぴ変換画像の合成については、 D. Beymer, A. Shasnua, and T. Poggio, Exam le Based Image Analysis and Synthesis, A. I. Memo 1431, MIT, 1993に詳しい。

(発明の第 7の実施の形態）

次に、第 7の実施の形態を詳細に説明する。

本発明の第 7の実施の形態は、第 1〜6の実施の形態における顔向き推定方向の出力を特定方向のカテゴリーとして出力することを特徴とする。

第 1〜 6の実施の形態では、顔向き推定方向の出力を角度 , Θ ) として出力しているが、正確な顔向き推定が必要なく、ラフな顔向きのみでよい用途では、顔向き方向をおおまかなカテゴリーに分類し、そのカテゴリーを出力することもできる。

例えば、顔向き方向を正面，上 ·下 '右 ·右上 '右下'左 ·左上'左下の 9 つのカテゴリーに分類し、出力するとよい。カテゴリーへの分類方法としては、推定方向の角度（φ, 0 ) を以下のようなしきい値処理により行う。

正面： — 5 <=φ < = + 5 かつ — 5く =0 < = + 5 上 5 < φ < + 5 かつ + 5く 0

下 5 < φ < + 5 かつ Θ <— 5

右 Φ < 5 かつ - 5 < Θ < + 5

右上 Φく 5 かつ + 5 < Θ

右下 Φ < 5 かつ Θ < - 5

左： + 5 < かつ - 5 < Θ < + 5

左上 + 5ぐ φ かつ + 5 < Θ

左下 + 5 < φ かつ Θ <— 5

また、 9つのカテゴリーを代表する角度 ( φ ， Θ ) に対し正面顔度をそれぞれ計算し、最も高い正面顔度をもつカテゴリーを出力させると、正面顔度の計算回数がカテゴリー数となるため、計算コストを減少させることができる。上記の例では、代表方向の角度（φ， Θ ) として例えば、

正面：（0, 0)

上：（0，+10)

下：（0, -10)

右：（- 10，0)

右上：（-10， +10)

右下：（-10，- 10) ,

左：（+10, 0)

左上：（+10, +10)

左下：（+10， -10)

の 9通りの組み合わせ例を選び、これらのみを用いて顔向き方向の力テゴリー分類を行うことができる。

(発明の第 8及び第 9の実施の形態）

次に、第 8及ぴ第 9の実施の形態を図 1 8および図 1 9を参照して詳細に説明する。図 1 8およぴ図 1 9はそれぞれ第 8およぴ第 9の実施の形態による顔向き推定装置の主要部構成を示すプロック図である。

図 1 8および図 1 9において、第 8および第 9の実施の形態による顔向き推定装置の主要部は照明変動除去手段 1 0 , 1 1を設けた以外は図 1 0に示す本発明の第 1の実施の形態による顔向き推定装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第 1の実施の形態による顔向き推定装置の主要部と同様である。本発明の第 8および第 9の実施形態は、入力画像中の顔が照明方向の影響を受けている場合に用いる。

照明方向の影響とは、図 2 0に示すように、顔の向きに関わらず、照明光源の方向や光源の強度の違いにより、顔の明るさが異なるため、同 —方向を向いた顔であっても輝度値が異なることを言う。

照明変動除去は、顔画像（Xmax, Ymax) の画素を Xmax X Ymax次元のベタトル

K

とみなして作られる画像空間による方法を用いる。

ある顔向きにおける様々な照明変動を受けた N個の顔画像べクトル

^〜 •N .

が張る照明変動空間は、画像空間において凸錐体をなしている。この照明変動空間の大部分は、低次元の線形空間に含まれているため、入力画像における照明変動の成分はこれらの低次元の線形空間で近似できることが知られている。

そこで、照明変動成分を表す空間の基底べクトルを主成分分析を用いて求める。式（3 ) に示すように、画像ベクトル

Κ_λ〜Κ_Ν を並べて作成される行列 Sの共分散行列 Vを求め、 Vの固有値 σ iが大きい順に固有べクトルを M個求める。 = [ , ₂，… J

は照明変動下での平均的な顔成分を表しているため、入力画像の顔画像べクトルに含まれる照明変動成分は、 M— 1個の固有べクトル (/ = 2〜M)

を用いて近似することができる。つまり、 2〜M)

が照明変動成分を表す空間の基底べクトルとなる。入力画像の顔画像べクトノレを、固有べクトノレ

= 2〜

に射影したベタトル

L

が入力画像中の照明変動を表しており、入力画像から照明変動成分 L

を差し引くことで照明変動を除去することができる。詳しくは、「照明条件と姿勢の両者の自動補正による顔照合」電子情報通信学会信学技報

PRMU2001-162 pp. 59- 64を参照のこと。

上記の照明変動除去処理を、想定される顔向き範囲の様々な顔向き画像に対して予め行っておくことで、任意の入力画像の顔向きに対し、照明変動除去を行うことができる。

次に、第 8の実施の形態を図 1 8を参照して詳細に説明する。図 1 8 に示す実施の形態が図 1 0に示す第 1の実施の形態と異なる点は、任意顔向きでの照明変動除去手段 1 0を設けた点である。任意顔向きでの照明変動除去手段 1 0は、画像入力手段 1で取得した顔画像における照明変動除去を行う。

入力画像の照明変動成分を除去した上で顔向き変更および顔向き評価を行うことで顔向き判定を行う。

次に、第 9の実施の形態を図 1 9を参照して詳細に説明する。 . 図 1 9に示す第 9の実施の形態が図 2に示す第 1の実施の形態と異なる点は、特定顔向きでの照明変動除去手段 1 1を設けた点である。特定顔向きでの照明変動除去手段 1 1は、顔向き変換手段 2で特定方向へ顔向き変換した顔画像における照明変動除去を行う。このため、図 1 8 に示した実施の形態のように任意の顔向きに対する照明変動除去が不要となり、特定の顔向き yに対して照明変動除去を行うだけで済む。以上、本発明を説明したが、本実施の形態で開示した機能手段をコンピュータで実行可能なプログラムによって、本発明を実施することも可能である。この場合、第 1の実施の形態においては、コンピュータを顔向き変換手段 2、特定方向顔向き評価手段 3等として機能させるためのプログラムを作成し、コンピュータに備える C P U等によって当該プログラムを実行することによって、本発明が実現可能である。

Claims

請求の範囲

1 . 画像中の顔の向きを推定する顔向き推定装置であって、画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換手段と、

前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段と、を備える顔向き推定装置。

2 . 顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、

前記照明変動除去手段は、前記顔向き変換手段により作成された顔向き変換顔について照明変動の影響を除去した画像を生成し、

前記特定方向顔向き評価手段は、前記照明変動の影響が除去された画像を用いて、顔の向きを推定する、

請求項 1に記載の顔向き推定装置。

3 . 顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、

前記照明変動除去手段は、前記画像について照明変動の影響を除去した画像を生成し、

前記顔向き変換手段は、前記照明変動除去手段で生成した画像中の顔の向きを変換する画像処理を施し、顔向き変換顔を作成する、

請求項 1に記載の顔向き推定装置。

4 . 前記特定方向顔向き評価手段は、

複数の特定方向顔画像の平均を求めることにより特定方向平均顔を予め生成しておき、前記顔向き変換顔と前記特定方向平均顔との類似度により特定方向顔向き評価を行う、

請求項 1に記載の顔向き推定装置。

5 . 前記特定方向顔向き評価手段は、

前記画像中の顔の向きを評価する方向として正面を用い、前記顔向き変換顔の正面顔らしさを評価する正面顔向き評価手段を備えた、請求項 1に記載の顔向き推定装置。

6 . 前記正面顔向き評価手段は、

前記特定方向顔向き評価手段が前記正面顔向き評価を顔向き変換顔の左右対称性の度合いにより正面向き評価する、

請求項 5に記載の顔向き推定装置。

7 . 前記正面顔向き評価手段は、

人物の正面顔の左右対称性の度合いを評価するために、前記特定方向顔向き評価手段が顔とその顔を左右反転した顔との類似度を計ることで正面顔評価を行う、

請求項 6に記載の顔向き推定装置。

8 . 前記特定方向顔向き評価手段は、

前記画像中の顔の向きを評価する方向として真横を用い、前記顔向き変換顔の真横顔らしさを評価する真横顔向き評価手段を備えた、

請求項 1に記載の顔向き推定装置。

9 . 前記顔向き変換手段は、

人物顔の特徴点の画像上の位置を用い、画像上の顔の向きを変更する、請求項 1に記載の顔向き推定装置。

1 0 . 前記顔向き変換手段は、人物顔の特徴点として両目、口の両端、鼻の左右の穴、両眉のうち、いずれか 1つ、またはいずれかの組み合わせを用いる、

請求項 9に記載の顔向き推定装置。

1 1 . 前記顔向き変換手段は、人物顔の特徴点として目、口の端、鼻の穴、眉のうち、いずれか 1つ、またはいずれかの組み合わせを用いる、

請求項 9に記載の顔向き推定装置。

1 2 . 前記顔向き変換手段は、人の顔の立体形状を記述した顔立体形状モデルに顔画像をマツビングし方向変換させる、

請求項 9に記載の顔向き推定装置。

1 3 . 前記顔向き変換手段は、人の顔の立体形状モデルとして複数人の顔形状の平均として記述した顔立体形状モデルを用いる、請求項 1 2に記載の顔向き推定装置

1 4 . 前記顔向き変換手段は、前記顔立体形状モデルとして楕円体を用いる、

請求項 1 2に記載の顏向き推定装置。

1 5 . 前記顔向き変換手段は、画像上の顔の向き変更を顔領域のィメージ . ヮービングにより行う、

請求項 9に記載の顔向き推定装置。

1 6 . 前記顔向き変換手段は、

画像上の顔の向きを変更するヮービング手段として予め学習画像により生成した変換パラメータを入力画像に適用することで顔向きを変更する、

請求項 1 5に記載の顔向き推定装置。

1 7 . 顔向き推定方向をいくつかの特定方向カテゴリーとして出力する、

請求項 1に記載の顔向き推定装置。

1 8 . 前記特定方向カテゴリ一として正面 ·上 ·下 ·右 ·右上 '右下 ·左 ·左上 ·左下の 9種類のうち、いずれか一種類またはその組み合わせを用いる、

請求項 1 7に記載の顔向き推定装置。

1 9 . 前記特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとして出力する、

請求項 1 7に記載の顔向き推定装置。

2 0 . 前記特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとして出力する、

請求項 1 8に記載の顔向き推定装置。

2 1 . 画像中の顔の向きを推定する顔向き推定方法であって、画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、

前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステツプと、

を含む顔向き推定方法。

2 2 . 画像中の顔の向きを推定する顔向き推定プログラムであってコンピュータを、 .

画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換手段と、

前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段として、

機能させるための顔向き推定プログラム。