JPH0520442A - 顔画像照合装置 - Google Patents

Abstract

(57)【要約】 【目的】 ロバストな顔の個人識別を実現することを可
能にする。 【構成】 画像入力手段、濃度変換手段、位置正規化処
理手段、正規化された顔画像から照合の際に必要な特徴
パタンを抽出する処理を行なう特徴抽出手段、照合処理
手段、判定処理手段、及び制御手段を具備し、個人識別
を実現する顔画像照合装置であって、前記特徴抽出手段
は、正規化された入力顔画像に空間周波数領域でのフー
リエスペクトルパタンの強度分布を求めるフーリエスペ
クトルパタンとの差分を求める差分パタン算出部６４
と、学習サンプルとして用意した顔画像のフーリエスペ
クトルパタンの集合に対してあらかじめＫＬ展開を適用
することによって用意された複数の正規直交基底画像と
入力画像の該差分パタンとでそれぞれベクトル内積計算
を行ない、それらの結果を特徴ベクトルの各成分として
出力する展開係数算出部６７とで構成されることを特徴
とする顔画像照合装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ほぼ正面から入力され
た顔画像を、あらかじめ登録された特定人物の顔画像の
標準パタンと照合することによって、同一の人物か否か
を判定する本人確認、あるいは、登録された複数人物の
標準パタンの中からもっとも入力顔画像に類似している
人物を選択する人物検索などの個人識別機能を実現する
方法に関するものである。

【０００２】

【従来の技術】正面顔画像によって個人識別を行なう方
法に関する研究の歴史は古い（文献〔１〕南、”顔の識
別技術”、計測制御、Ｖol.25、Ｎo.8、1986）が、最近
は画像の濃淡分布を特徴としてそのマッチングを行なう
という比較的シンプルな手法が再評価されてきている
（文献〔２〕Ｍ.Ｔurk and Ａ.Ｐentland,〃Ｆace reco
gnition without features〃,ＩＡＰＲ Ｗorkshop on
Ｍachine Ｖision Ａpplications，（1990）)、（文献
〔３〕小杉、"ニューラルネットを用いた顔画像識別の
一検討”、ＴＶ学会技術報告、Ｖol.14、Ｎo.50、（199
0-9）)。これは、濃淡画像から対象の線的形状を表現す
る特徴を安定に抽出することは、画像処理技術として困
難な課題であること、また、そのような線的な形状特徴
によって顔の微妙な差異をはたしてどこまで表現できる
のかが疑問と考えられること等の理由によるものであ
る。

【０００３】パタンの空間的な濃淡分布を数学的に表現
した特徴ベクトルについては、パタン認識の一般論とし
ても指摘されているように、以下の３つの条件を満足す
ることが要求される。 （１）異なるクラス（人物）間ではパタンの差異を強調
できる （２）同一クラス（人物）内のパタンの変動はできるだ
け吸収できる （３）特徴ベクトルの次元数が圧縮できる 一方、パタンの空間的な分布を表した特徴ベクトルのマ
ッチングによって識別を行なう場合には、前処理によっ
てパタンの位置や大きさをあらかじめ正規化しておく必
要がある。顔画像に対する正規化の方法としては、入力
顔画像に対する領域分割処理によって目や唇などの顔の
造作の位置を検出し、これを基準点とするアフィン変換
を施すことによって、マッチング対象とする画像領域を
自動的に切り出す方法（特願平２−２１９６７５）など
がある。このように正規化の基準点を画像処理によって
自動抽出する場合には、たとえば照明等の環境条件によ
り抽出される基準点の位置が変動することは避けられな
い。従って上記の要求条件（２）に関しては、このよう
なマッチング対象画像の位置ずれの変動に対しても、で
きるだけ影響を受けにくい性質をもつ特徴であることが
望ましい。

【０００４】

【発明が解決しようとする課題】しかしながら、顔画像
の濃淡情報のマッチングによる識別を行なう従来方法で
は、このようなパタンの自動切出し処理に伴うパタンの
位置ずれ変動の存在を考慮すると、必ずしも最良の特徴
抽出法を用いているとは言い難かった。たとえば前記文
献〔２〕の例では、多数の顔画像の標本をＫＬ展開して
求めた複数の正規直交基底画像を用いて入力顔画像を展
開することで得られる展開係数を成分とする識別用特徴
ベクトルを提案している。ＫＬ展開を用いていることに
より要求条件の（１）（３）には応えるものとなってい
るが、位置ずれなどによる入力パタンの変動に対しては
影響を受けやすいという問題があった。

【０００５】また、前記文献〔３〕の例では、顔画像を
モザイク化した濃淡パタンを特徴ベクトルとして、これ
を用いてあらかじめ学習を行なったニューラルネットに
よる識別を行なっている。濃淡パタンのモザイク化によ
る特徴抽出は要求条件（２）（３）に応える方策として
有効と思われるが、条件（１）の観点からも最適な選択
であるかについては不明であった。

【０００６】したがって、これらの特徴を用いた従来の
識別の方法では、基準点位置の自動抽出に伴う正規化パ
タンの位置ずれ変動に対して、識別安定性の低下が大き
いという問題があった。

【０００７】本発明の目的は、従来の顔画像識別で用い
られていた特徴ベクトルに関する上記の問題点を克服し
て、顔の正規化基準点の位置ずれによるパタンの変動に
よる影響が少なく、また、異なる人物の顔パタンの差異
をより低次元の特徴ベクトルによって表現できるような
特徴の抽出を行なうことにより、ロバストな顔の個人識
別を実現することが可能な技術を提供することにある。

【０００８】

【課題を解決するための手段】前記の目的を達成するた
め、本発明は、対象人物の顔画像の入力処理を行なう画
像入力手段、入力顔画像の輝度補正などの濃淡処理を行
なう濃度変換手段、入力された顔画像の位置・大きさに
関する正規化を行なう位置正規化処理手段、正規化され
た顔画像から照合の際に必要な特徴パタンを抽出する処
理を行なう特徴抽出手段、入力顔画像から抽出された特
徴パタンを登録された各人物の顔画像についてあらかじ
め用意した標準パタンと照合する照合処理手段、登録さ
れた人物の標準パタンを格納した識別辞書ファイル、照
合の結果から個人識別の判定を行なう判定処理手段、及
び各処理手段を連絡して制御する制御手段を具備し、対
象人物の顔画像を登録人物の顔画像と照合することによ
って個人識別を実現する顔画像照合装置であって、前記
特徴抽出手段は、正規化された入力顔画像に離散フーリ
エ変換を適用して空間周波数領域でのフーリエスペクト
ルパタンの強度分布を求めるフーリエスペクトルパタン
との差分を求める差分パタン算出部と、学習サンプルと
して用意した顔画像のフーリエスペクトルパタンの集合
に対してあらかじめＫＬ展開を適用することによって用
意された複数の正規直交基底画像と入力画像の該差分パ
タンとでそれぞれベクトル内積計算を行ない、それらの
結果を特徴ベクトルの各成分として出力する展開係数算
出部とで構成されることを最も主要な特徴とする。

【０００９】

【作用】前述の手段によれば、あらかじめ多数の顔画像
をフーリエスペクトルパタンに変換した標本をＫＬ展開
して正規直交基底画像を求めておくことにより、対象人
物の入力顔画像のフーリエスペクトルパタンを該正規直
交基底画像を用いて展開して得られる展開係数を成分と
した特徴ベクトルが求められる。これにより、前記文献
〔２〕の例と同様にして、ＫＬ展開を用いることによっ
て異なるクラス間のパタンの差異を低次元に圧縮された
特徴ベクトルで効率的に表現できることに加えて、フー
リエスペクトルパタンは、原パタンの平行移動に対して
不変であるというよく知られている性質によって、同一
クラス内での位置ずれなどによるパタン変動に対して、
影響を受けにくい特徴ベクトルが得られるという利点が
ある。これにより該特徴ベクトルを用いて顔画像による
個人識別を行なえば、入力条件によって影響されるパタ
ンの位置ぎめ変動に対して、よりロバストな識別が可能
となる。

【００１０】

【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。なお、実施例を説明するための全図にお
いて、同一機能を有するものは同一符号を付け、その繰
り返しの説明は省略する。

【００１１】図１は、本発明による顔画像照合装置の一
実施例の概略構成を示すブロック図であり、図２は、図
１の特徴抽出手段の機能システムの構成を示すブロック
図である。

【００１２】図１において、１は識別を行なおうとする
人物、２はテレビカメラ、３は画像入力手段、４は濃度
変換手段、５は位置正規化処理手段、６は特徴抽出手
段、７は照合処理手段、８は識別辞書ファイル、９は判
定処理手段、１０は全体の処理の進行を管理する制御手
段である。なお、ここで、画像入力手段３より制御手段
１０までの各手段は、同一計算機内に構築することも可
能な構成要素である。

【００１３】前記の特徴抽出手段６は、図２に示すよう
に、特徴抽出処理制御部６０、正規化パタンメモリ６
１、フーリエスペクトル変換部６２、フーリエスペクト
ルパタンメモリ６３、差分パタン算出部６４、平均パタ
ンファイル６５、差分パタンメモリ６６、展開係数算出
部６７、正規直交基底画像ファイル群６８、特徴ベクト
ルメモリ６９で構成されている。

【００１４】次に、本実施例の顔画像照合装置の動作を
説明する。図１のテレビカメラ２によって識別対象人物
１の正面顔を撮影する。撮影される画像は、以後の処理
に要請に応じて、モノクロ画像あるいはカラー画像等に
決定される。

【００１５】画像入力手段３では、テレビカメラ２から
送られてくる画像信号を以後の処理にあった形式のディ
ジタル画像データに変換し、これを濃度変換手段４に送
る。濃度変換手段４でこの顔画像に対して輝度値の補正
（照度値の正規化）などの濃度変換処理を施した後に、
位置正規化処理手段５では、画像中から照合の対象とな
る顔パタンの位置、傾き、及び大きさの正規化を行な
い、照合処理の対象となる顔の正規化パタンを切り出し
て特徴抽出手段６へと転送する。ここで位置正規化処理
手段５の構成としては、〔特願平２−２１９６７５〕に
示されている実施例を用いることができる。これによれ
ば、図３に一例を示すように、入力された顔画像５０か
ら抽出された左右の目と唇に対応する３領域の代表点５
１，５２，５３を基準点とするアフィン変換によって照
合領域５４の位置決めを行ない、この領域内の画像の濃
淡値を予め定められた数の格子点で標本化することによ
って、特徴抽出処理の対象となる正規化パタンが得られ
る。

【００１６】特徴抽出手段６では、位置正規化処理手段
５から送られる顔の正規化パタンに対して、照合時に標
準パタンとの照合を行なう特徴パタンを抽出する。

【００１７】ここでの処理は、図２に沿って説明する。
まず、位置正規化処理手段５で得られて特徴抽出手段６
に送られてきた正規化パタンは、正規化パタンメモリ６
１に入力される。次に、フーリエスペクトル変換部６２
は、前記の正規化パタンメモリ６１から読み出された正
規化パタンについて、離散濃淡画像に対する線形変換処
理としてよく知られている離散フーリエ変換ＤＦＴを適
用し、各空間周波数における離散的フーリエ変換値を求
め、その実部、虚部からなる複素数値の強度に相当する
フーリエスペクトルの空間周波数領域での分布をフーリ
エスペクトルパタンメモリ６３に出力する。なお、離散
画像データの離散フーリエ変換処理によってフーリエス
ペクトルを求める上記処理の具体的な計算方法について
は、（文献〔４〕Ｒosenfeld ＆ Ｋak ”ディジタル画
像処理”長尾 真監訳 近代科学社 pp.20-26）に代表
されるディジタル画像処理に関する多くの文献の中で詳
しく説明されているので、ここでは省略する。

【００１８】次に、差分パタン算出部６４は、フーリエ
スペクトルパタンメモリ６３に得られている入力顔画像
に対するフーリスペクトルパタンと、あらかじめ多数の
顔画像の学習サンプルについて空間周波数領域でのフー
リエスペクトルパタンの平均を平均パタンファイル６５
に格納していた平均パタンとの間の差分をとり、その結
果を差分パタンメモリ６６に格納する。

【００１９】次に、展開係数算出部６７は、差分パタン
メモリ６６に得られた差分パタンと、あらかじめ学習サ
ンプルによって計算され正規直交基底画像ファイル群６
８に用意された複数個（これをＬ個とする）の正規直交
基底画像の各々との間で、画像ベクトル同士の内積演算
を行なって展開係数を計算する。Ｌ個の正規直交基底画
像との演算で得られたＬ個の展開係数を特徴ベクトルメ
モリ６９の対応するアドレスに格納する。この結果、特
徴ベクトルメモリ６９に得られるＬ個の実数列を次元数
Ｌの特徴ベクトルとみなして、照合処理手段７に出力す
る。

【００２０】以上で説明した、差分パタン算出部６４と
展開係数算出部６７における処理を数学的に表現すると
以下のようになる。

【００２１】入力顔画像の正規化パタンを離散フーリエ
変換ＤＦＴにより、空間周波数面上に変換して得られる
フーリエスペクトルパタンがＮ×Ｎの配列として与えら
れる時、この要素を１列に並べて成分数Ｎ×Ｎのベクト
ルとして表現したものをＸとする。

【００２２】平均パタンファイル６５で与えられる平均
パタンは、Ｍ名の人物の学習サンプルとして用意された
顔画像の正規化パタンをそれぞれフーリエ変換したフー
リエスペクトルパタンを平均化したもので、Ｎ×Ｎ次元
ベクトルＸm（ｍ＝１，２…，Ｍ）で表された各サンプ
ルのフーリエスペクトルパタンから次の（１）式で計算
される平均ベクトルμで表される。

【００２３】

【数１】

【００２４】一方、正規直交基底画像ファイル群６８に
用意されたＬ個の正規直交基底画像は、それぞれＮ×Ｎ
の配列で与えられる画像データであるが、これを同様に
Ｎ×Ｎ次元のベクトルＵk（ｋ＝１，２，…，Ｌ）で表
すことにする。ここで、特徴ベクトルメモリ６９上の第
ｋ番目に格納される展開係数の値をｙkとする時、ｙkは
以下の（２）式に示すＮ×Ｎ次元ベクトル同士の内積と
して求められる。添字Ｔはベクトルの転置をあらわす。

【００２５】

【数２】

【００２６】なお、正規直交基底画像ファイル群６８に
用意するＬ個の正規直交基底画像は、Ｍ名の人物の学習
サンプルとして用意された顔画像の正規化パタンをそれ
ぞれフーリエ変換したフーリエスペクトルパタンの標本
集合｛Ｘm｝（ｍ＝１，２，…，Ｍ）をＫＬ展開するこ
とによって求められる。そのＮ×Ｎ次元ベクトル表現で
あるＵkは、次の（３）式によって定義される｛Ｘm｝の
標本共分散行列Ｒに対して、（４）（５）式を満足し、
大きさの順に上位Ｌ個を選んだ固有値λkに対応して求
められる固有ベクトルＵ₁，Ｕ₂，…，ＵLである。

【００２７】

【数３】

【００２８】

【数４】

【００２９】

【数５】

【００３０】なお、｛Ｘm｝の次元数はＮ×Ｎであり、
ここで正規化パタンのサイズを１２８×１２８と想定す
るとＮ＝１２８となり、（Ｎ×Ｎ）×（Ｎ×Ｎ）の巨大
な行列Ｒについて固有値問題を直接解くことは困難とな
る。しかし、一般に、標本数Ｍ＜特徴次元Ｎ²が成り立
つので、Ｒは特異行列となり、その正の固有値は高々Ｍ
個で、残りは０となる。この場合、特異値分解を用いる
ことで固有ベクトルの計算が簡略化されることが知られ
ている（文献〔５〕Ｏja ”パターン認識と部分空間
法”小川、佐藤訳 産業図書 pp.25-34）。

【００３１】以上に述べた計算手順については、前記文
献〔２〕において、｛Ｘ｝、｛Ｘm｝をそれぞれ識別対
象人物ならびに学習サンプルに対して撮影された顔画像
データそのものとした場合について用いられているＫＬ
展開の計算手順をそのまま適用することができるので、
より詳細な説明は省略する。

【００３２】次に、あらかじめ識別対象人物の標準的な
顔画像について以上に述ベた画像入力手段３から特徴抽
出手段６までと、同等の処理を行なって求めた標準パタ
ンを識別辞書ファイル８に用意しておき、照合処理手段
７では、該識別対象人物１について特徴抽出手段６によ
って求めた特徴パタンと、識別辞書ファイル８に登録さ
れた各人物の標準パタンとの間に類似性尺度を数値化す
る。具体的には、文献〔２〕における特徴ベクトルの最
小距離識別の例に代表される統計的識別関数による方
法、あるいは前記文献〔３〕のようにニューラルネット
による学習を応用する方法などが、本照合処理手段７に
おける処理に含まれる。

【００３３】判定処理手段９では、前記照合処理手段７
で計算された入力パタンと各識別対象人物の標準パタン
との間の類似性尺度のデータ群に対して、実現しようと
する識別機能の形態に即して、適当な値によるいき値処
理などによる判定処理を行ない、その結果得られる個人
識別の結果を出力する。

【００３４】以上、本発明を実施例にもとづき具体的に
説明したが、本発明は、前記実施例に限定されるもので
はなく、その要旨を逸脱しない範囲において種々変更可
能であることは言うまでもない。

【００３５】

【発明の効果】以上、説明したように、本発明によれ
ば、顔画像の正規化パタンを原パタンの平行移動に対し
て不変な性質をもつフーリエスペクトルパタンにすべて
一旦変換した後に、多数人物の顔画像のこの空間周波数
領域での標本集合をＫＬ展開することでパタンを記述す
るのに最適な正規直交基底画像群を求め、これを用いて
入力パタンを展開することにより、展開係数を成分とす
る特徴ベクトルが得られることになる。この方法によっ
て、顔の切り出しにおける正規化基準点の位置ずれによ
るパタン変動の影響が少なく、かつ、異なる人物の顔パ
タンの差異をより低い次元の特徴ベクトルとして表現し
得る特徴抽出が可能となり、該特徴を用いて識別系を設
計すれば、ロバストな顔の個人識別をより容易に実現す
ることができるようになる。

【図面の簡単な説明】

【図１】本発明の顔画像照合装置の一実施例の概略構成
を示すブロック図、

【図２】図１の特徴抽出手段の機能システムの構成を示
すブロック図、

【図３】図１の位置正規化処理手段の機能により、特徴
抽出手段の処理対象となる正規化パタンを顔画像から切
り出す方法の一例を示す図。

【符号の説明】

１…対象人物、２…テレビカメラ、３…画像入力手段、
４…濃度変換手段、５…位置正規化処理手段、６…特徴
抽出手段、７…照合処理手段、８…識別辞書ファイル、
９…判定処理手段、１０…制御手段、６０…特徴抽出処
理制御部、６１…正規化パタンメモリ、６２…フーリエ
スペクトル変換部、６３…フーリエスペクトルパタンメ
モリ、６４…差分パタン算出部、６５…平均パタンファ
イル、６６…差分パタンメモリ、６７…展開係数算出
部、６８…正規直交基底画像ファイル群、６９…特徴ベ
クトルメモリ。

Claims (1)

1. 【特許請求の範囲】 【請求項１】 対象人物の顔画像の入力処理を行なう画
   像入力手段、入力顔画像の輝度補正などの濃淡処理を行
   なう濃度変換手段、入力された顔画像の位置・大きさに
   関する正規化を行なう位置正規化処理手段、正規化され
   た顔画像から照合の際に必要な特徴パタンを抽出する処
   理を行なう特徴抽出手段、入力顔画像から抽出された特
   徴パタンを登録された各人物の顔画像についてあらかじ
   め用意した標準パタンと照合する照合処理手段、登録さ
   れた人物の標準パタンを格納した識別辞書ファイル、照
   合の結果から個人識別の判定を行なう判定処理手段、及
   び各処理手段を連絡して制御する制御手段を具備し、対
   象人物の顔画像を登録人物の顔画像と照合することによ
   って個人識別を実現する顔画像照合装置であって、前記
   特徴抽出手段は、正規化された入力顔画像に離散フーリ
   エ変換を適用して空間周波数領域でのフーリエスペクト
   ルパタンの強度分布を求めるフーリエスペクトル変換部
   と、該入力顔画像のフーリエスペクトルパタンとあらか
   じめ用意された平均パタンとの差分を求める差分パタン
   算出部と、学習サンプルとして用意した顔画像のフーリ
   エスペクトルパタンの集合に対してあらかじめＫＬ展開
   を適用することによって用意された複数の正規直交基底
   画像と入力画像の該差分パタンとでそれぞれベクトル内
   積計算を行ない、それらの結果を特徴ベクトルの各成分
   として出力する展開係数算出部とで構成されることを特
   徴とする顔画像照合装置。