JP4063556B2 - 顔画像認識装置および方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、顔画像を用いて人物を認識する装置および方法に関する。
【０００２】
【従来の技術】
顔画像を用いて人物を認識する方法として、予め登録してある正面顔画像を用いてカメラで撮影した人物の照合・識別を行なう方法が一般的に知られている（例えば、２００１年オーム社発行（社）日本自動認識システム協会編「これでわかったバイオメトリクス」第５９頁〜第７１頁参照）。
【０００３】
更に認識の範囲を広げ、顔の位置ずれ、上下向き、左右の向きという顔画像の変形を考慮する技術が例えば特開２０００−９０１９１号公報に開示されている。この技術では、顔画像の変形要因のアフィン変換に基づくパラメータの組み合わせを予め用意し、入力された顔画像に対してすべての組み合わせの逆変換を行なった正規化顔パターンを識別器に掛けることにより、最も高い類似度を得た人物が選択される。
【０００４】
【発明が解決しようとする課題】
顔を撮影した画像を用いて人物を識別するシステムにおいて、身分証などによって得られる予め登録した顔画像と識別に用いるカメラで撮影した顔画像との間に、人物に対するカメラの向き（上下、左右等）や人物の姿勢変動或いは表情の変動、照明の変動などの種々の変動によって差異を伴うことが避けられず、これらに起因する照合精度の劣化が問題となる。
【０００５】
特に、正面顔画像のみで認識を行なう場合にこの問題が大きい。また、顔画像の変形を考慮する従来技術においては、入力画像に対して予め用意した線形変換パラメータを適用し、姿勢変動への対策を行なっているが、アフィン変換のような線形変換パラメータを適用するだけだけでは平面上での一様変形が行なわれるだけであるので、本来三次元形状の物体である顔に対しては対策が不十分である。
【０００６】
本発明の目的は、予め登録した正面顔画像に、顔が三次元形状であることを考慮した変形を適用して識別を行なうことによりロバスト性（頑健性）を改善した新規の顔画像認識装置および方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するための本発明の顔画像認識方法は、観点（人物に対するカメラの向き（上下、左右等）や人物の姿勢或いは表情、照明などのいずれかで、ユーザによって設定される）に従って撮影された観点撮影顔画像を入力し、予め登録された認識対象の人物の正面顔画像にワイヤフレームを割り付け、該観点に対応した変形パラメータをワイヤフレームを割り付けた該正面顔画像に適用することによって該正面顔画像を該観点に従って撮影されたと推定される推定顔画像に変えて登録し、上記観点撮影顔画像と登録された該推定顔画像とを照合することによって該観点撮影顔画像の人物を識別することを特徴とする。
【０００８】
本発明により、観点に対応した変形パラメータの適用によって三次元形状を考慮した精度のよい推定顔画像が認識対象の人物毎に用意されるので、ロバスト性が大幅に改善される。
【０００９】
上記目的を達成するための本発明の別の顔画像認識方法は、種々の観点に対応する複数の推定顔画像を用意しておき、色々な観点からの顔画像に対処することができるように、種々の観点に対応する複数の推定顔画像が用意されることを特徴とする。
【００１０】
上記目的を達成するための本発明の更に別の顔画像認識方法は、種々の観点に対応する複数の推定顔画像を用意しておく他、観点識別用のデータを用意しておき、まず、該データを使った照合により撮影の観点を絞り込み、複数の推定顔画像の中から絞り込んだ観点の推定顔画像のみを取り出し、該推定顔画像を使って照合識別を行なうことを特徴とする。照合識別に使う推定顔画像が絞り込まれるので、認識の処理量が低減される。
【００１１】
上記目的を達成するための本発明の更に別の顔画像認識方法は、観点識別用のデータを用意しておき、まず、該データを使って撮影の観点を絞り込み、絞り込んだ観点に対応した変形パラメータを選択し、該変形パラメータを逆に適用して撮影した観点撮影の顔画像を推定によって正面顔画像に変え、該正面顔画像を使って照合識別を行なうことを特徴とする。推定正面顔画像のみで照合識別が行なわれるだけでなく、複数の推定顔画像の用意が不要となるので、認識の処理量が低減されると同時に、登録するデータ量が大幅に低減される。
【００１２】
なお、変形パラメータは、例えば別途数人をモデルとして採用し、モデル毎に正面顔画像のワイヤフレームと観点顔画像のワイヤフレームとの間での各頂点の座標上の差分を移動ベクトルとして求め、求めた移動ベクトルをモデル数で平均した平均移動ベクトルにより生成することができる。
【００１３】
【発明の実施の形態】
以下、本発明に係る顔画像認識装置および方法を図面に示した発明の実施の形態を参照して更に詳細に説明する。
【００１４】
まず、本発明の顔画像認識装置を利用する防犯システムの例を図１示す。防犯システムの構成は、警備区域１に設置した監視カメラ２と、監視カメラ２によって撮影した人物の顔画像信号を転送するネットワーク３と、監視区域４に設置した顔画像認識装置５とからなる。顔画像認識装置５は、ネットワーク３を介して送られた顔画像と同装置の記憶装置に予め登録されている顔画像とを照合することにより、監視カメラ２によって撮影した人物の識別、判定を行なう。
【００１５】
顔画像認識装置５を運用する場合、顔画像を撮影するカメラ２の設置位置により、最も頻度の高い向きの顔画像が決定される。例えば、防犯カメラでは天井にぶら下げて設置されるため、顔を上方より撮影した画像が認識対象となる。また、入退室システムにおいては、操作盤などの横にカメラを設置した場合は、顔を斜め横方向から撮影した画像が認識対象となる。
【００１６】
また、人を捜す際に顔認識技術を用いる場合は、色々な方向の顔画像が認識対象となることが想定される。
【００１７】
本発明の第１の実施形態として、カメラの設置位置が固定されている場合について記述する。さらに、第２〜第４の実施形態として、複数の方向の顔画像が認識対象となる場合について記述する。
＜発明の実施の形態１＞
まず、１台のカメラが上方から撮影するように設置された場合に適用する例について説明する。ただし、本発明は、１台のカメラが上方に設置された場合への適用に限定されるものではなく、１台のカメラが左右、下方、斜め方向などのいずれかの方向から撮影するように設置される場合や、人物の姿勢、顔の表情などが変化する場合に適用可能であることは云うまでもない。なお、本明細書では、これらの色々な方向や場合を、それぞれ観点と云うこととすする。
【００１８】
本発明において、上方に１台のカメラが設置された場合の機能構成を図２に示す。正面顔画像読込機能110において、身分証や免許証等を作成するときに取得した認識対象の人物の正面顔画像が予め読み込まれ、その正面顔画像データ111が蓄えられる。
【００１９】
上方撮影推定機能120において、顔が三次元形状であることを考慮して前以て生成した変形パラメータ（後で詳述する）を正面顔画像データ111に適用することにより、正面顔画像はあたかも上方から撮影したように推定された画像に精度良く変化し、それによって上方推定顔画像が得られる。
【００２０】
続いて、顔特徴量抽出・登録機能130において、上方撮影推定機能120によって作成された上方推定顔画像から顔特徴量が抽出され、同顔特徴量のデータが上方顔特徴データベース131へ登録される。これらの機能120，130およびデータベース131により、観点処理機能170が構成される。
【００２１】
一方、上方撮影機能140により、上方に設置されたカメラによって認識対象の人物の顔画像が撮影される。
【００２２】
次に、照合機能150により、上方撮影機能140で撮影された顔画像と上方撮影顔特徴データベース131からの顔特徴量データとが照合され、両者の一致度を示すスコアが出力される。
【００２３】
続いて、判定・表示機能160は、照合機能150の出力したスコアを判定し、照合結果を表示する。
【００２４】
以上の結果、認識対象の人物が上方撮影機能140により撮影された場合に、ロバスト性高く対象人物を識別することが可能になる。
【００２５】
ここで、上方撮影推定機能120を中心にした正面顔画像に対する上方推定処理のフローを図３に示す。
【００２６】
まず、ステップ210で、正面顔画像読込機能110により、正面顔画像を入力し、正面顔画像データ111を蓄える。続いて、ステップ220で、蓄えた正面顔画像から目、鼻、口、などの顔器官や顔輪郭などの領域を抽出する。抽出が困難な場合は、オペレータの指定により顔器官や顔輪郭などの領域の抽出を行なう。
【００２７】
次に、ステップ230で、予め準備した各顔器官や顔輪郭などのワイヤフレームのモデルをステップ220で抽出した顔器官や顔輪郭などの領域に割り付ける。なお、ワイヤフレームは、対象とする物体（ここでは上記の顔器官など）の輪郭を複数の線分で結んで表現したモデルである。
【００２８】
続いて、ステップ240で、ステップ230で生成したワイヤフレームに上記変形パラメータを適用することにより、上方撮影を推定したワイヤフレームを生成する。
【００２９】
次いで、ステップ250で、後述するイメージモーフィングにより、ステップ230のワイヤフレーム上およびワイヤフレームの中の各画素値をステップ240の上方撮影を推定したワイヤフレームへ割り付け、上方撮影を推定した画像を作成する。ステップ260で、上方撮影を推定した上方推定顔画像を出力する。
【００３０】
なお、上述のように、本発明は、上方のみでなく、右方や左方、表情など観点を変えた各種のワイヤフレームにも適用することができる。
【００３１】
次に、本発明による、ワイヤフレームに適用する変形パラメータの作成方法について述べる。
【００３２】
推定のために用いる変形パラメータは、色々な正面顔画像に共通に適用することができる汎用のものとなるように、複数の人をモデルにし、各モデルの正面のカメラから撮影した正面顔画像と上方のカメラから撮影した上方顔画像のそれぞれのワイヤフレームから求められる。即ち、正面顔画像ワイヤフレームと上方顔画像ワイヤフレームとの差分を移動ベクトルとして求め、求めた移動ベクトルをモデル数で平均化することにより求められる。モデルの人数は、多いほど汎用性が高まるが、例えば、１０人程度で求まる。
【００３３】
図４にワイヤフレームデータおよび上方撮影を推定したワイヤフレームの変形パラメータの生成する方法のフローを示す。
【００３４】
まず、ステップ310で、モデルの正面顔画像を入力する。ステップ311で、入力したモデルの正面顔画像を両目の黒目の中心位置を合わせて正規化する。次に、ステップ312で、正面顔画像上で、目、鼻、口、眉などにワイヤフレームで表す目、鼻、口、眉を割り付ける。
【００３５】
一方、ステップ320で、別途、同一モデルの上方顔画像を入力する。ステップ321で、入力した同一モデルの上方顔画像を両目の黒目の中心位置に合わせて正規化する。次に、ステップ322で、上方顔画像上で、目、鼻、口、眉などにワイヤフレームで表す目、鼻、口、眉を割り付ける。
【００３６】
続いて、ステップ330で、ステップ322で得たワイヤフレームの各点の座標からステップ312で得たワイヤフレームの各点の座標の値の差分を取り、移動ベクトルを計算する。
【００３７】
ステップ340で、モデル全員の入力を終了していれば、ステップ350へ移る。まだ終了していなければ、ステップ310へ戻る。
【００３８】
ステップ350で、ステップ330で得たモデル数分の移動ベクトルの平均を計算する。最後に、ステップ360で、ステップ350で得た平均移動ベクトルを保存して終了する。
【００３９】
この平均移動ベクトルが正面顔画像ワイヤフレームを上方推定顔画像ワイヤフレームに変形するための変形パラメータとなる。
【００４０】
なお、以上で、複数の正面顔画像のワイヤフレーム312の平均ワイヤフレームを作成し、ステップ311に適用するようにすると、ワイヤフレーム割付の作業量を低減することが可能となる。同様に、上方顔画像のワイヤフレームにおいても平均ワイヤフレームを作成し、ステップ321に適用するようにすると、ワイヤフレーム割付の作業量を低減することが可能となる。
【００４１】
図５に正面顔画像のワイヤフレームモデルの例（図５の上部）と、平均移動ベクトル即ち変形パラメータを適用した場合の上方推定顔画像のワイヤフレームの例（図５の下部）を示す。
【００４２】
登録する正面顔画像をステップ310〜312の要領でワイヤフレームを割り付け、ワイヤとワイヤを結ぶ点（頂点）の各座標に対し、ステップ360で生成した平均移動ベクトルを適用し、式（１）により、変形後のワイヤフレームの推定を行なう。
【００４３】
Pna＝Pno−△Pn ・・・・（１）
ここで、
Pna：変形後のｎ番目のワイヤフレーム座標
Pno：変形前のｎ番目のワイヤフレーム座標
△Pn：ワイヤフレームのｎ番目の頂点座標の平均移動ベクトル
とする。
【００４４】
このようなワイヤフレームの各頂点の対応付けに続いて、ワイヤ即ちエッジの対応付けとワイヤフレームの内部の画素の対応付けとを行なうことにより、上方推定顔画像を得ることができる。この処理を行なうのが図３のステップ260によるモーフィング処理であり、そのフローを図６に示す。モーフィング処理には、例えば、特開平１０−１８７９５６号公報に開示された方法が利用される。
【００４５】
モーフィング処理は、変形後の画像の画素に原画像の画素値を割り付ける処理である。このため、変形後の画素座標と原画像の画素座標との対応付けが行なわれる。
【００４６】
ここでは、既に図５まででワイヤフレーム座標の頂点の対応付けを完了している（ステップ510）。続いて、ワイヤフレームの頂点を直線で結んだエッジの対応付けを行ない（ステップ520）、各ワイヤフレームの内部の画素に対して対応付けを行なう（ステップ530）。最後に、対応付けされた座標の画素値をマッピングし、上方推定顔画像を得る（ステップ540）。
【００４７】
ステップ520のワイヤフレームの頂点座標を結んだエッジの対応付けは、次のように行なわれる。
【００４８】
（i）原画像上のワイヤフレームの頂点Ａと頂点Ｂを結んだエッジを線分ＡＢとし、変形後画像の対応するワイヤフレームの頂点Ａ’と頂点Ｂ’を結んだ線分Ａ’Ｂ’とする。
【００４９】
（ii）線分ＡＢ、線分Ａ’Ｂ’において、同じ割合で内分する点をそれぞれ内分点Ｃ、内分点Ｃ’を求め、内分点Ｃと内分点Ｃ’がそれぞれ対応する点とする。
【００５０】
（iii）内分する割合を変化させ、線分ＡＢと線分Ａ’Ｂ’上のすべての画素について、画素の対応付けを行なう。
【００５１】
（iv）すべてのワイヤフレームのエッジについて、（i）〜（iii）を繰り返し、画素の対応付けを行なう。
【００５２】
ステップ530におけるワイヤフレーム内の座標の画素の対応付けは、例えば次のようにエッジなど既に対応付けの済んだ対応関係より推測する。
【００５３】
（i）原画像に対応付けを持たない画素ｘがあり、画素ｘから距離がＲ以内に対応付けを持つ画素ｙが１画素以上あったとする。このときの画素ｘと画素ｙの距離を距離ｘｙとする。
【００５４】
（ii）画素ｙに対応する先画像内の画素を画素ｙ’とする。
【００５５】
（iii）画素ｘに対応する先画像内の画素を画素ｘ’としたときの画素ｘ’の座標を下記の式（２）で求める。
【００５６】
画素ｘ’座標＝画素ｘの座標＋Σ（（画素ｙ’の座標−画素ｙの座標）／距離ｘｙ）／Σ（１／距離ｘｙ） ・・・・（２）
ここで、Σは画素ｘからＲ以内にあるすべての既対応付け画素の総和を示す。
【００５７】
以上の処理を全てのワイヤフレームについて実行し、画素の対応付けを行ない（ステップ530）、それぞれの画素で画素値のマッピングを行ない（ステップ540）、上方推定顔画像を得る。
【００５８】
これまでに説明した機能および方法を装置として具体化した顔画像認識装置の構成例を図７に示す。
【００５９】
図７において、1011は、図４のステップ310，320を実行して、複数のモデルの正面顔画像および上方顔画像を入力する変形パラメータ生成用画像読込部、1012は、ステップ311，312，321，322，330，350を実行して、入力した正面顔画像および上方顔画像から変形パラメータ（平均移動ベクトル）を生成する変形パラメータ生成部、1013は、ステップ360を実行して生成した変形パラメータを保存する変形パラメータ管理部、1014は、図２の機能110，111を実行して予め認識対象の人物の正面顔画像を入力してそのデータを取得する正面画像読込部、1015は、機能120を実行して、変形パラメータ管理部1013から取り出した変形パラメータを正面画像読込部1014からの正面顔画像に適用して上方推定顔画像を得る上方画像変形部、1016は、機能130を実行して、上方画像変形部1015の画像の顔特徴量を抽出して登録を行なう顔特徴量生成登録部、1017は、以上の各部の操作を行なう操作部、1018は、操作に必要な画面を表示する表示部であり、1010は、部1011〜1018からなる登録装置である。
【００６０】
また、1020は、顔特徴量生成登録部1016から送られてくる顔特徴量の登録データを保存する、データベース131となる登録データファイルである。
【００６１】
更に、1031は、機能140を実行して上方顔画像を撮影する顔画像撮影部、1032は、機能150，160を実行して、ファイル1020から読み出した顔特徴量と顔画像撮影部1031からの上方顔画像を照合して両者の一致度を判定する照合部、1033は、照合部1032の照合結果をリストとして表示するリスト表示部、1034は、以上の各部の操作を行なう操作部、1035は、操作に必要な画面を表示する表示部であり、1030は、部1031〜1035からなる照合装置である。
＜発明の実施の形態２＞
これまでは、単一の観点を扱う場合であった。続いて、複数の観点を扱う本発明の第２の実施形態について説明する。
【００６２】
図８に複数の観点の画像を扱う場合の全体の機能構成を示す。各構成機能は次のようになる。
【００６３】
正面顔画像読込機能610において、図２に示した機能110，111と同様、身分証や免許証等を作成するときに取得した認識対象の人物の正面顔画像が予め読み込まれ、その正面顔画像データ611が蓄えられる。
【００６４】
各観点毎に観点処理機能670-1，670-2，…，670-nが備えられる（nは観点数）。個々の観点処理機能670は、図２の観点処理機能170と同様であるが、変形パラメータがそれぞれの観点に対応して用意される。
【００６５】
即ち、左方、上方、右方およびその他の各観点の推定機能620により、正面顔画像データ611を用いて推定した各観点撮影の推定顔画像が作成される。
【００６６】
次いで、各観点の顔特徴量抽出・登録機能630において、観点撮影推定機能620により作成された各観点撮影の推定顔画像から顔特徴量が抽出され、各観点の顔特徴量データがそれぞれの顔特徴データベース631へ登録される。
【００６７】
一方、任意の観点撮影機能640により、任意観点の撮影を行なうカメラによって認識対象の人物の顔画像が撮影される。
【００６８】
次に、照合機能650により、観点撮影機能640で撮影された顔画像と各観点の顔特徴データベース631からの顔特徴量データとが観点毎に照合され、観点と特徴量に関する両者の一致度を示すスコアが出力される。
【００６９】
続いて、判定・表示機能660は、照合機能650の出力したスコアを判定し、照合結果を表示する。
【００７０】
以上では、観点は、顔画像認識方法を利用するユーザによって、左方、上方、右方およびその他が用意されている。
【００７１】
ここで、観点による顔画像として挙げられるものを列挙すると、例えば、
・左方より撮影した顔画像
・右方より撮影した顔画像
・上方より撮影した顔画像
・下方より撮影した顔画像
・左上方（または右上方、左下方、右下方）より撮影した顔画像
・笑顔（怒顔、泣き顔など）の顔画像
などがある。
【００７２】
このように、観点毎に正面顔画像を変形させた推定画像を用意しておくことにより、照合精度を改善することが可能となる。
【００７３】
図８を用いて説明した機能および方法を装置として具体化した顔画像認識装置の構成例を図９に示す。
【００７４】
図９において、1045は、機能620を実行する観点毎に備えられた観点毎画像変形部、1046は、機能630を実行する観点毎に備えられた顔特徴量生成登録部、1050は、データベース631となる観点毎に備えられた顔特徴量データの登録データファイル、1041は、機能640を実行して任意観点の顔画像を撮影する顔画像撮影部、1042は、機能650，660を実行して、ファイル1050から読み出した観点毎の顔特徴量と顔画像撮影部1041からの任意観点の顔画像とを照合して両者の一致度を判定する照合部である。その他の各部は、図７に示したのと同様であるので、説明を省略する。
＜発明の実施の形態３＞
ところで、図８の任意観点撮影機能640による画像に対しては、観点毎に特徴量の照合が行なわれるため、観点の数が多い場合などでは、照合の処理量が多くなり、照合に時間が掛かる場合がある。そのような場合には、観点に関して先に照合を行なって観点を絞り込み、絞り込んだ観点についてのみ特徴量の照合を行なうことにより、処理量を低減することが可能となる。
【００７５】
そのように照合を２段階に分けた実施形態を図１０に示す。まず、観点毎の顔画像撮影701において、数人のモデルのそれぞれに対し観点毎に顔画像が撮影され、観点毎の撮影顔画像がモデル毎に準備される。
【００７６】
続いて、顔特徴抽出登録機能710において、観点毎顔画像撮影701による顔画像の特徴が抽出される。特徴はテンプレートによってまとめられ、更に各観点に識別番号（ＩＤ）が付けられて、観点決定用のデータベース（ＤＢ）711へ登録される。
【００７７】
図１１に観点決定用ＤＢ711の構成の例を示す。データベースは、各テンプレートを一意に指定する番号である項番１のサブジェクトＩＤ、正面、上方、右方などの観点を一意に指定する番号である項番２の観点ＩＤ、項番３の登録テンプレート情報であるテンプレート、観点を説明する補足情報である項番４の補足観点ＩＤからなる。
【００７８】
一方、任意観点撮影機能720において、任意観点のカメラにより任意観点の顔画像721が撮影され、入力される。
【００７９】
次に、観点照合機能730において、観点決定用ＤＢ711の各データと顔画像721とが照合され、照合スコアが算出される。
【００８０】
算出された照合スコアから、観点毎の平均計算機能740において、観点毎の平均スコアが算出される。
【００８１】
観点決定機能750において、観点毎の平均スコアが判定され、事前に設定した閾値以上の観点が任意観点顔画像721の観点であると判定される。観点を超える閾値がない場合は、最大の平均スコアを出力した観点が任意観点顔画像721の観点であると判定される。
【００８２】
その後、観点による絞込み機能760において、図８に示した観点毎の顔特徴データベース631をまとめた照合対象ＤＢ761から、観点決定機能750で決定した観点に限定したデータベースが取り出され、絞込みＤＢ762が作成される。
【００８３】
最後に、照合機能770において、絞り込まれた観点の絞込みＤＢ760と任意観点の顔画像721とが照合され、照合スコアが出力される。そして、出力された照合スコアがリストアップ機能780において昇順に並べ替えられ、昇順のリスト781が作成される。
【００８４】
以上の処理により、入力画像の観点を事前に絞り込むことにより、照合に用いるデータベースを絞り込んだ観点に特徴つけた小さなデータベースすることが可能になり、照合時間を低減することが可能となる。
【００８５】
図１０を用いて説明した機能および方法を装置として具体化した顔画像認識装置の構成例を図１２に示す。
【００８６】
図１２において、1061は、機能701を実行する観点毎画像読込部、1066は、顔特徴量生成登録部1046（図９）に機能710を実行する登録部を加えた顔特徴量生成登録部、1070は、ＤＢ711である観点データファイル、1062は、機能730および機能770を実行する照合部、1063は、機能740，750，760を実行してＤＢ762を用意する観点判定部である。その他の各部は、図９に示したのと同様であるので、説明を省略する。
＜発明の実施の形態４＞
これまでの実施形態は、予め登録した正面顔画像に変形パラメータを適用して推定観点画像を作成することにより照合精度を改善することを基本としていた。これとは別に、本実施形態は、任意観点撮影の顔画像に対してその観点の変形パラメータを逆に適用して推定正面画像を作成することにより照合精度を改善することを基本とする。
【００８７】
本実施形態の機能構成を図１３に示す。任意観点の顔画像の観点を照合によって決定する機能は、図１０に示した場合と同じである。任意観点の顔画像の観点が決定した後、正面顔推定機能960において、決定した観点に応じた変形パラメータを逆に適用し（図５の逆）、推定正面画像を作成する。ワイヤフレームの座標の移動の式は次の式（３）の通りである。
【００８８】
Pna＝Pno＋△Pn ・・・・（３）
続いて、照合機能970において、正面顔推定機能960で得た推定正面顔画像と予め登録してある正面顔画像データ111（正面顔画像データ611）の正面顔データベース971とを照合し、照合スコアを出力する。そして、出力された照合スコアがリストアップ機能980において昇順に並べ替えられ、昇順のリスト981が作成される。
【００８９】
以上により、前述した実施形態と比較して、観点毎の顔特徴データベース631（図８）即ち照合対象ＤＢ761（図１０）が不要となるので、データベース容量を削減することが可能となる。
【００９０】
図１３を用いて説明した機能および方法を装置として具体化した顔画像認識装置の構成例を図１４に示す。
【００９１】
図１４において、1080は、ＤＢ971である登録データファイル、1091は、機能710を実行する顔特徴量生成登録部、1092は、機能730および機能970を実行する照合部、1093は、機能740，750を実行する観点判定部、1094は、機能960を実行する正面画像推定部である。その他の各部は、図１２に示したのと同様であるので、説明を省略する。
【００９２】
なお、以上の各実施形態で示した顔画像認識装置およびおよび方法は、図１に示した防犯システムを始め、監視システム、セキュリティシステム等に適用可能であることは云うまでもない。
【００９３】
【発明の効果】
本発明によれば、正面顔画像を登録する顔認識システムにおいて、撮影の上下、左右、斜め方向或いは顔の各種の表情などの色々な観点のそれぞれに対して顔画像を照合に適した顔画像に変形させる変形パラメータが用意されるので、どのような観点の顔画像の入力に対しても、認識精度を高く保持することが可能である。そのような高精度の顔画像認識装置を用いることにより、信頼性および確度の高い防犯システム、監視システム、セキュリティシステム等を実現することができる。
【図面の簡単な説明】
【図１】防犯システムの例を説明するための構成図。
【図２】本発明に係る顔画像認識装置および方法の第１の発明の実施の形態を説明するための機能構成図。
【図３】本発明の第１の実施形態における上方撮影顔画像を推定する処理を説明するためのフローチャート。
【図４】本発明の第１の実施形態における変形パラメータを作成する処理を説明するためのフローチャート。
【図５】本発明の第１の実施形態による、正面顔ワイヤフレームと上方撮影を想定した顔を推定したワイヤフレーム変形結果を説明するための図。
【図６】本発明の第１の実施形態におけるモーフィング処理を説明するためのフローチャート。
【図７】本発明の第１の実施形態による装置を説明するための構成図。
【図８】本発明の第２の実施形態を説明するための機能構成図。
【図９】本発明の第２の実施形態による装置を説明するための構成図。
【図１０】本発明の第３の実施形態を説明するための機能構成図。
【図１１】本発明の第３の実施形態における観点判定用のデータベースを説明するための図。
【図１２】本発明の第３の実施形態による装置を説明するための構成図。
【図１３】本発明の第４の実施形態を説明するための機能構成図。
【図１４】本発明の第４の実施形態による装置を説明するための構成図。
【符号の説明】
110…正面顔読込機能、120…上方撮影推定機能、130…顔特徴量抽出・登録機能、140…上方撮影機能、150…照合機能、160…判定・表示機能、1010…登録装置、1011…変形パラメータ生成用画像読込部、1012…変形パラメータ生成部、1013…変形パラメータ管理部、1014…正面画像読込部、1015…上方画像変形部、1016…顔特徴量生成登録部、1020…登録データファイル、1030…照合装置、1031…顔画像撮影部、1032…照合部、1033…リスト表示部。

Claims (6)

1. 任意の観点に従って撮影された観点撮影顔画像を入力し、予め登録された認識対象の人物の正面顔画像にワイヤフレームを割り付け、該任意の観点を含む複数の観点の各々に対応した変形パラメータをワイヤフレームを割り付けた該正面顔画像に適用することによって該正面顔画像を該複数の観点に従って撮影されたと推定される複数の推定顔画像に変えて登録し、上記複数の観点の観点毎の顔画像を観点識別用のデータとして予め登録し、上記観点撮影顔画像と登録された該観点識別用のデータとの照合を行なって観点毎に照合スコアの平均を取り、登録された上記複数の推定顔画像の中から該照合スコアの平均の値の高い観点の推定顔画像を選択し、上記観点撮影顔画像と該選択された推定顔画像とを照合することによって該観点撮影顔画像の人物を識別することを特徴とする顔画像認識方法。
2. 任意の観点に従って撮影された観点撮影顔画像を入力し、該任意の観点を含む複数の観点の観点毎の顔画像を観点識別用のデータとして予め登録し、上記観点撮影顔画像と登録された該観点識別用のデータとの照合を行なって観点毎に照合スコアの平均を取り、上記複数の観点の各々に対応した変形パラメータの中から該照合スコアの平均の値の高い観点に対応した変形パラメータを選択し、上記観点撮影顔画像にワイヤフレームを割り付け、ワイヤフレームを割り付けた該観点撮影顔画像に上記選択した変形パラメータを適用することによって該観点撮影顔画像を正面から撮影されたと推定される推定正面顔画像に変え、予め登録された認識対象の人物の正面顔画像と該推定正面顔画像とを照合することによって該観点撮影顔画像の人物を識別することを特徴とする顔画像認識方法。
3. 上記複数の観点の各々に対応した変形パラメータは、上記複数の観点の各々に従って撮影された複数人の観点顔画像と該複数人の正面顔画像とに対してそれぞれワイヤフレームを割り付け、上記複数の観点の観点毎及び上記複数人の人毎に該観点顔画像のワイヤフレームを構成する各頂点の座標値と該正面顔画像のワイヤフレームを構成する各頂点の座標値との差分を移動ベクトルとして求め、該移動ベクトルを該複数人で平均した観点毎の平均移動ベクトルを上記複数の観点の各々に対応した変形パラメータとすることによって予め生成されていることを特徴とする請求項１又は請求項２に記載の顔画像認識方法。
4. 任意の観点に従って撮影した観点撮影顔画像を出力する顔画像撮影部と、認識対象の人物の正面顔画像を予め読み込む正面顔画像読込部と、予め読み込んだ該正面顔画像にワイヤフレームを割り付け、該任意の観点を含む複数の観点の各々に対応した変形パラメータをワイヤフレームを割り付けた該正面顔画像に適用することによって該正面顔画像を該複数の観点に従って撮影されたと推定される複数の推定顔画像に変える観点毎画像変形部と、該複数の推定顔画像を登録する登録データファイルと、上記複数の観点の観点毎の顔画像を観点識別用のデータとして登録する観点データファイルと、上記観点撮影顔画像と該観点識別用のデータとの照合の結果である照合スコアの平均を観点毎に取り、登録された上記複数の推定顔画像の中から該照合スコアの平均の値の高い観点の推定顔画像を選択する観点判定部と、上記観点撮影顔画像と該選択された推定顔画像とを照合することによって該観点撮影顔画像の人物を識別するための照合部とを有することを特徴とする顔画像認識装置。
5. 任意の観点に従って撮影された観点撮影顔画像を出力する顔画像撮影部と、該任意の観点を含む複数の観点の観点毎の顔画像を観点識別用のデータとして登録する観点データファイルと、上記観点撮影顔画像と登録された該観点識別用のデータとの照合の結果である照合スコアの平均を観点毎に取り、上記複数の観点の各々に対応した変形パラメータの中から該照合スコアの平均の値の高い観点に対応した変形パラメータを選択する観点判定部と、上記観点撮影顔画像にワイヤフレームを割り付け、ワイヤフレームを割り付けた該観点撮影顔画像に上記選択した変形パラメータを適用することによって該観点撮影顔画像を正面から撮影されたと推定される推定正面顔画像に変える正面画像推定部と、認識対象の人物の正面顔画像を予め読み込む正面顔画像読込部と、予め読み込んだ該正面顔画像と上記推定正面顔画像とを照合することによって該観点撮影顔画像の人物を識別するための照合部とを有することを特徴とする顔画像認識装置。
6. 上記複数の観点の各々に対応した変形パラメータは、上記複数の観点の各々に従って複数人の顔を撮影して観点顔画像を観点毎に出力すると共に該複数人の正面顔を撮影して正面顔画像を出力する画像読込部と、上記複数の観点の観点毎及び上記複数人の人毎に該観点顔画像及び該正面顔画像とに対してそれぞれワイヤフレームを割り付け、該観点顔画像のワイヤフレームを構成する各頂点の座標値と該正面顔画像のワイヤフレームを構成する各頂点の座標値との差分を移動ベクトルとして求め、該移動ベクトルを該複数人で平均した観点毎の平均移動ベクトルを上記複数の観点の各々に対応した変形パラメータとする変形パラメータ生成部とによって生成されていることを特徴とする請求項４又は請求項５に記載の顔画像認識装置。

Images