JP4426029B2 - 画像照合方法および装置 - Google Patents
画像照合方法および装置 Download PDFInfo
- Publication number
- JP4426029B2 JP4426029B2 JP27196499A JP27196499A JP4426029B2 JP 4426029 B2 JP4426029 B2 JP 4426029B2 JP 27196499 A JP27196499 A JP 27196499A JP 27196499 A JP27196499 A JP 27196499A JP 4426029 B2 JP4426029 B2 JP 4426029B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- geometric transformation
- local
- transformation parameter
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力画像中の認識対象と画像データベースなどに蓄積されたモデル画像とを照合し、入力画像中の認識対象を同定する画像照合方法および装置に関する。入力画像中の認識対象に応じて、人物認証、印鑑認証、署名認証などに用いることができ、また認識対象として自動車や工業製品など任意の３次元物体も扱うこともでき、多様な画像照合・認識システムに用いることができる。
【０００２】
【従来の技術】
市場において銀行のＡＴＭでのカード利用や、パソコン通信によるオンライン・ショッピングなどのように、システムの利用者が誰であるかを正しく判定する利用者認証、個人識別が必要となるアプリケーションが増加しつつある。このような利用者認証、個人識別の手段として、従来はパスワード入力による識別方法が多く用いられてきたが、近年、設置されたカメラから人物画像を取り込み、その顔画像から、そこに写っている人物が誰であるか特定する顔画像照合・検索技術が注目を集めている。この技術を用いれば、例えば、従来、暗証番号やパスワードを用いていたマンションやビルの入室管理、パソコンやインターネットヘのログインを、顔画像で代用することが可能になる。また、犯罪捜査などにおいても、ＡＴＭに設置された監視カメラの画像を基に、不正利用者を割り出して犯人を特定することなども期待されている。
【０００３】
様々な撮影環境下において撮影され、取りこまれた入力画像を用いて、安定的かつ高精度の画像照合が実行できる顔画像照合・検索システムが実現できれば、上記で示したようなセキュリティ関連のアプリケーションでの個人認証、犯罪捜査などでの人物同定、さらには、自動受付端末、顧客管理システムでの利用者認証など、幅広い分野への応用が期待される。
【０００４】
従来の画像照合システムにおけるモデル画像と入力画像との照合処理手法の１つとして、固有空間法を拡張し、画像中から抽出した特徴的な局所領域群の画像情報を特徴空間上の点集合として投影して両者を照合するアイゲンウィンドウ法(または局所固有空間法)がある。
【０００５】
従来のアイゲンウィンドウ法による画像照合手順の概略は、次の通りである。まず、入力画像、照合用のモデル画像双方の画像領域に対し、画素値の変化に基づいて特徴点を見つけ出し、「窓」と呼ばれる局所領域画像を選択する。選択された窓画像データをＫＬ展開し、比較的高い固有値をもつ固有ベクトルで張られる特徴空間へのマッピングを行う。特徴空間内で両者を比較照合し、モデル画像中の各窓データに対して最も距離の近い入力画像中の窓データを探索する。もし、両者が同じ認識対象であれば、各々の窓画像データには特徴空間内で近いものが存在していることとなり、両者が異なる認識対象であれば、特徴空間内で対応し合うものが存在しない窓画像データが含まれている。このように特徴空間上へのマッピングにより両画像の類似・非類似が判断できる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の従来のアイゲンウィンドウ法による画像照合方法では、入力画像中の顔の姿勢（角度）やスケール（大きさ）が、モデル画像中のそれと比較して大きく変化している場合には、識別精度が極端に低下してしまうという問題があった。例えば、モデル画像としてある人物を正面から撮影したモデル画像を登録している場合において、人物認証にあたり入力される顔画像の撮影が何らかの理由で斜めに向いた状態や傾いた状態で行なわれると、入力画像とモデル画像間で生じる顔向きの違いのため、同じ人物の顔画像であるにも関わらず、両画像間の類似度として低い値が出力され、異なる人物であると誤った判定をしてしまう。
【０００７】
このような問題に対して、従来のアイゲンウィンドウ法による画像照合方法では、モデル画像として顔姿勢・スケールを変化させた多数のパターンを登録しておくという方法が考えられる。つまり、斜め方向を向いた顔画像、カメラから遠ざかった時の顔画像など多様なパターンを予め複数撮影して登録しておく。原理的には、あらゆる顔姿勢・スケールの顔画像を事前に登録すれば、安定した顔画像照合が可能である。しかしながら実際問題として、あらゆる顔姿勢・スケールに対するモデル画像を予め複数登録しておくのは実現的ではなく、また、登録データ量が大きくなってしまう。認識対象が顔である場合には、姿勢変化の自由度が高いため、顔姿勢・スケールに対するバリエーションは膨大なものになり、モデル画像の記憶容量や、認識のための処理速度などを考慮すると、上記のような方法ではやはり実用上の限界がある。
【０００８】
本発明は、このような問題を解決し、モデル画像に対して、顔姿勢・スケールが変化した場合においても、高精度な照合を維持することが可能な顔画像照合方法および装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために本発明の画像照合方法は、認識対象が含まれる入力画像と、あらかじめ登録済みの対象を含むモデル画像群を比較照合することにより、入力画像中に存在する認識対象を同定する画像照合方法であって、前記入力画像および前記モデル画像からそれぞれ複数の特徴的な局所領域を切り出す処理と、選択した局所領域の画像情報を特徴空間上の点集合に投影する処理と、一方の画像の局所領域ごとに、前記特徴空間内において最も近傍の位置に投影されている他方の画像の局所領域を探索して局所領域同士を対応づける処理と、前記対応付けられた一方の画像の局所領域と他方の画像の局所領域の配置関係に基づいて入力画像とモデル画像間の幾何変換パラメタを推定する幾何変換パラメタ推定処理と、前記推定した幾何変換パラメタを用いて前記一方の画像の局所領域の画像情報か画像全体の画像情報か画像内の局所領域の位置情報のいずれかに対して幾何変換を施し、前記対応付けられた局所領域両者の整合性を評価して照合する処理を備えることを特徴とする。
【００１０】
上記構成により、モデル画像の局所領域と入力画像の局所領域のずれを幾何変換パラメタを用いた幾何変換により調整して、両者の姿勢、カメラ距離による違いを吸収でき、照合精度を向上させることが可能となる。
【００１１】
ここで、幾何変換パラメタの推定処理を少なくとも一つは異なる複数の対応する局所領域の組について繰り返し、得られた複数の推定した幾何変換パラメタ群を基に幾何変換パラメタを決定すれば照合精度のさらなる向上が期待でき、幾何変換パラメタ群のばらつき度合いに基づいて推定幾何変換パラメタの信頼度を算出しておけば、照合処理の信頼性の目安とすることもできる。また、局所領域間の画像内相対位置と特徴空間内距離を求め、距離に応じた投票数重み付けを行なって投票空間上に投票すれば、投票結果のピークの集中度合いに基づいて入力画像とモデル画像の類似度の高さの目安とできる。
【００１２】
また、局所領域同士の対応づけにおいて、画像内の相対位置を手掛かりとして当該相対位置から一定の範囲内に存在する局所領域に絞り込んで局所領域の対応づけを行なえば処理時間の低減が期待できる。
【００１３】
次に、本発明の画像照合装置は、認識対象が含まれる入力画像と、あらかじめ登録済みの対象を含むモデル画像群を比較照合することにより、入力画像中に存在する認識対象を同定する画像照合装置であって、入力画像を入力する画像入力部と、モデル画像を登録・格納するモデル画像格納部と、前記入力画像および前記モデル画像から特徴的な局所領域を切り出す局所領域切り出し部と、選択した局所領域の画像情報を特徴空間上の点集合に投影し、一方の画像の局所領域ごとに、前記特徴空間内において最も近傍の位置に投影されている他方の画像の局所領域を探索して局所領域同士を対応づける局所領域対応付け部と、前記対応付けられた一方の画像の局所領域と他方の画像の局所領域の配置関係に基づいて入力画像とモデル画像間の幾何変換パラメタを推定する幾何変換パラメタ計算部を備えた幾何変換パラメタ推定部と、前記推定した幾何変換パラメタを用いて前記一方の画像の局所領域の画像情報か画像全体の画像情報か画像内の局所領域の位置情報のいずれかに対して幾何変換を施し、を幾何変換を施す画像幾何変換部と、前記幾何変換した局所領域を用いて局所領域相互間の整合性を評価して照合する画像照合部を備えたことを特徴とする。
【００１４】
上記構成により、モデル画像の局所領域と入力画像の局所領域のずれを幾何変換パラメタを用いた幾何変換により調整することが可能な画像照合装置が得られ、両者の姿勢、カメラ距離による違いを吸収し、照合精度の高い装置を実現することができる。
【００１５】
また、上記画像照合装置を実現する処理プログラムを記述したコンピュータ読み取り可能な記録媒体を用意すれば、パーソナルコンピュータ、ワークステーションなどのコンピュータを利用して本発明の画像照合処理装置を構築することができる。
【００１６】
【発明の実施の形態】
（実施形態１）
本発明の画像照合処理方法は、モデル画像の対応窓と入力画像の対応窓の画像内位置情報を用いて、モデル画像と入力画像の間の幾何変換関係を表す幾何変換パラメタを推定する機能と、当該推定した幾何変換パラメタを用いて、モデル画像もしくは入力画像の一方に対して適切な幾何変換処理を施す機能と、幾何変換後の修正画像を用いて画像照合する機能を備えるものである。モデル画像と入力画像関の幾何学的なずれを吸収した上で画像照合処理を実行する。ここで推定した幾何変換パラメタを用いた幾何変換処理としては幾何変換を施す対象に応じて幾通りかの方法がある。一つはモデル画像もしくは入力画像の窓画像（局所領域）の画像情報を幾何変換する処理、他にはモデル画像もしくは入力画像全体の画像情報を幾何変換する処理、他には画像内の局所領域の位置情報に対して幾何変換する処理がある。
【００１７】
以下に、本発明のアイゲンウィンドウ法を用いた顔画像照合方法による処理過程の概略を図１のフローチャートを参照しつつ説明する。
【００１８】
本発明のアイゲンウィンドウ法を用いた顔画像照合方法による処理過程は、大別して以下のステップＳ１からステップＳ８までの８つのステップからなり、用意したモデル画像から照合用のモデル窓データを作成する「モデル登録フェーズ」（モデル画像についてのステップＳ１〜Ｓ３）と、入力画像と各モデル画像の類似度を計算する「認識フェーズ」（入力画像についてのステップＳ１〜Ｓ３とステップＳ４〜Ｓ８）により構成される。
【００１９】
（１）対象領域の切り出しステップ（ステップＳ１）
画像中から認識対象である顔の位置を検出し、顔領域の画像を切り出す処理を行なう。この処理自体は、厳密にはアイゲンウィンドウ法の処理において必須ステップではないが、認識性能(識別精度・処理速度)の実効性向上には、有効なステップであり、前処理として実効しておくことが好ましい。画像中から人物の顔領域を判定して切り出す方法としては、顔部品検出による顔領域切り出し処理、肌色抽出による顔領域検出処理、輪郭（エッジ）抽出による顔領域検出処理などの画像処理方法などがあり、それら手法を適用することが可能である。
【００２０】
（２）窓画像切り出しステップ（ステップＳ２）
上記（１）対象領域の切り出しステップＳ１で切り出された画像領域に対して、各画素値に基づいて特徴点を見つけ出し、その周辺の局所領域画像を切り出す。ここでは、この選択された局所領域を「窓」と呼ぶ。この窓画像切り出し処理を顔画像に適用した場合には、結果的に目や鼻や口などの顔部品の周辺に窓画像が切り出される。
【００２１】
具体的には、画像内の各画素におけるエッジ強度を基に対象が含まれる窓（コーナー）を検出する。各画素位置における隣接画素との画素値の差の総和（エッジ強度）を計算し、当該エッジ強度に基づいて画像の一部を窓画像として切り出し、窓画像中に含まれる画素値を要素とするベクトル（以下、窓画像ベクトルと呼ぶ）に対して、その切り出し位置（以下、画像内窓位置と呼ぶ）及び画像の識別子を付与し、窓データを作成する。この処理をすべての画像データに対して行い、窓データ群を得る。なお、上記の例では窓画像切り出しのため算出するエッジ強度を隣接画素との画素値の差の総和として計算したが、エッジ強度を空間周波数における高周波成分量として算出して窓画像の切り出しを判断することもできる。
【００２２】
画像から窓画像を切り出した様子を図２に示す。なお切り出した局所領域画像に対して、照明などの撮影環境の変化に対してある程度のロバスト性を確保するため、画像明るさについて正規化処理を行っておくことが好ましい。
【００２３】
（３）窓画像圧縮処理ステップ（ステップＳ３）
上記（２）窓画像切り出しステップ（ステップＳ２）で切出された窓画像に対して、次元圧縮のための画像変換を行う。次元圧縮のための画像変換としては、ＫＬ展開(Karhunen-Loeve展開。主成分分析の一種として知られる。以下、ＫＬ展開と略記する)、ウェーブレット変換、フーリエ変換、ＤＣＴ変換などを用いることができる。
【００２４】
例えば、ＫＬ展開の場合を例に説明すると、画像から抽出した窓画像に対して、ＫＬ展開を施し、比較的高い固有値をもつ固有ベクトルで張られる特徴空間へのマッピングを行う。この固有空間への投影にあたり、まず、固有空間を作成する。顔画像の画素値を要素とする列ベクトルから構成される行列を作成し、その行列の共分散行列から固有ベクトル行列を求める。この固有ベクトル行列で定義される空間を特徴空間とする。図３に特徴空間と窓画像のマッピングの例を示す。図３の例では、モデル画像から切り出した窓画像の特徴空間への投影を示し、便宜上、Ｘ1，Ｘ2，Ｘkの３軸のみを表示している。この特徴空間への投影により、Ｎ×Ｎ[ピクセル]サイズの窓画像がもつＮ×Ｎ次元の画素値ベクトルの集合データに対して次元圧縮変換処理を施すことができ、窓群の分布状態を考慮して無駄な次元を削減することができ、特徴空間内の窓分布状態をなるべく保ったまま、より低い次元の特徴空間へ変換が可能となる。この圧縮された窓画像(以下、窓データ)と、その窓の画像内での位置(以下、窓位置)を、画像照合のパラメタとして利用する。
【００２５】
なお、上記のステップＳ１〜ステップＳ３の処理は、照合に用いる登録モデル画像および照合のために入力された入力画像の双方に対して実行するが、登録モデル画像に対するＳ１〜Ｓ３の処理は「モデル登録フェーズ」の前処理として先に実行しておくことが可能である。
【００２６】
（４）窓照合処理(対応窓選択)ステップ（ステップＳ４）
以下、Ｓ４〜Ｓ８に示す処理は、入力画像と各モデル画像の類似度を計算する「認識フェーズ」で実行される。
【００２７】
この窓照合処理ステップＳ４では、登録済みのモデル窓データと入力窓データを特徴空間内で比較照合し、モデル画像中の各窓データに対し、特徴空間内で最も距離の近い入力画像中の窓データを探索する。図４に入力画像の窓データを特徴空間に投影した例を示す。投影点は“□”で示している。この投影結果から対応する窓データを探索して対応窓情報として記憶する。また、図５に対応窓情報の組み合わせを記録したテーブルの例を示す。
【００２８】
（５）幾何変換パラメタ推定処理（ステップＳ５）
幾何変換パラメタ推定処理ステップＳ５では、窓照合(対応窓探索)処理ステップＳ４で求めたモデル窓と入力窓の組合せが記述されている対応窓情報を受け取り、その対応窓群の中から複数の組合せを選び出し、それらの画像内での位置情報を基にモデル画像・入力画像間の幾何変換を表す幾何変換パラメタの推定を行う。
【００２９】
この幾何変換パラメタの推定において、用いる幾何変換パラメタの種類と、当該幾何変換パラメタを推定するために用いる対応窓情報組み合わせの数についてバリエーションを設けることができる。
【００３０】
まず、用いる幾何変換パラメタの種類であるが、例としてはアフィン変換、相似変換、射影変換などがある。
【００３１】
アフィン変換は以下の（数１）で示される幾何変換であり、幾何変換パラメタは６つあり、つまり自由度は６である。この幾何変換パラメタを求めるには対応窓画像情報の組み合わせが最低３個必要である。
【００３２】
【数１】
【００３３】
このアフィン変換による幾何変換は、図６（ａ）に示されるような変換であり、長方形を任意の平行四辺形に変換するようなことができ、逆に任意の平行四辺形画像を調整して正しい長方形画像に変換することができる。顔画像撮影の際に歪みが発生している場合に歪みを調整する場合には有効な幾何変換である。
【００３４】
相似変換は以下の（数２）で示される幾何変換であり、幾何変換パラメタは４つあり、つまり自由度は４である。この幾何変換パラメタを求めるには対応窓画像情報の組み合わせが最低２個必要である。
【００３５】
【数２】
【００３６】
この相似変換による幾何変換は、図６（ｂ）に示されるような変換であり、対象画像の外形は変えずに画像全体の移動、回転という幾何変換である。顔画像撮影の際に傾きや位置のずれが発生している場合にそのずれを調整する場合に有効な幾何変換である。
【００３７】
射影変換は以下の（数３）で示される幾何変換であり、幾何変換パラメタは８つあり、つまり、自由度は８である。この幾何変換パラメタを求めるには対応窓画像情報の組み合わせが最低４個必要である。
【００３８】
【数３】
【００３９】
この射影変換による幾何変換は、図６（ｃ）に示されるような変換であり、長方形を任意の四角形に変換するようなことができ、逆に任意の四角形画像を調整して正しい長方形画像に変換することができる。図６（ｃ）に示した変換は、顔画像撮影が斜めから行なわれたために、遠近法に見られるような画像の傾きが発生している場合にその歪みを調整する場合には有効な幾何変換である。
【００４０】
本発明の思想は、上記以外の幾何変換にも適用可能であることは言うまでもない。以下、本実施形態１では、幾何変換パラメタとしてアフィン変換を用いる場合を例としてその推定処理を詳しく説明する。
【００４１】
正面方向を基準とした上下、左右、傾き方向の変化と、サイズの変化(カメラからの相対距離変化)がある場合の幾何変換パラメタとして、（数１）に示した回転パラメタＲと並進パラメタＴから構成される2次元のアフィン変換パラメタを推定する(ただし、ここで定義したアフィン変換式は、人物の顔面上の顔部品が同一平面上の存在し、かつ両画像間の変形量が比較的小さいという仮定に基づくものである)。
【００４２】
画像中央を原点とし、画像平面内にＸ軸(横方向)、Ｙ(縦方向)、画像平面に垂直な方向にＺ軸を設定した場合のアフィン変換式は、上記（数１）に示したものである。したがって、この場合、推定すべきアフィン変換パラメタは、回転パラメタ4つ、並進パラメタ2つの計6つのパラメタ(r[0］,r［1］,r［2］,r［3],u,v)となる。
【００４３】
幾何変換パラメタを推定するために用いる対応窓情報の組み合わせの数であるが、選択された幾何変換パラメタの自由度に応じて幾何変換パラメタの推定に最低限必要な対応窓情報の組み合わせセット数が決まる。例えば、アフィン変換であれば、自由度は６であり、３組の対応窓情報を用いて１つのアフィン変換の幾何変換パラメタを推定することができる。
【００４４】
まず、図１のステップＳ４の窓照合処理により得られた対応窓情報の中から、図７に示すような３組の対応窓を選択する。多数の対応窓から３つの対応窓を選択する方法として、図５に示したテーブルから任意ランダムに選ぶ方法、テーブル内の並びに沿って３つを選ぶ方法、対応窓情報間の距離ｄによるソート結果においてｄが小さいものから３つ選択する方法、逆に大きいものから３つ選択する方法など様々な方法が考えられる。本実施形態１では、対応窓情報に記述されている対応窓を順番に一つ取り出し、この対応窓に対して、残り２つの対応窓を重複しないようにランダムに選択するものとする。
【００４５】
次に、この選択された３つの対応窓の画像内位置(xi,yi)-(Xi,Yi)(i=1-3)の値を基に上述の（数１）の方程式を解くことにより、回転パラメタr［0］,r［1］,r[2］,r［3］の値を計算する。
【００４６】
上記処理により選択した３組の対応窓情報から１セットの幾何変換パラメタが得られる。上記処理により求められた１セットの幾何変換パラメタの値をもって、推定結果としても良いが、さらに、異なる３組の対応窓情報組合せを多数選び出して、それら対応窓情報の組合せを用いた幾何変換パラメタの推定処理を複数回繰り返し、多数の幾何変換パラメタ推定値を得て、それらの値からもっとも確からしい幾何変換パラメタの値を決めることもできる。例えば、平均値処理、ヒストグラム処理、最小二乗推定などを施して、最終的なパラメタ値を決定する方法などがある。本実施形態１では、推定して得たパラメタ値を用意された１次元投票空間に投票する方法を用いる(言い換えれば、各パラメタ毎に適当な分割数でヒストグラムを作成する)。上記の「対応窓を３組選択」→「回転パラメタの推定」→「回転パラメタの１次元投票」の処理ループを、対応窓の個数分繰返し実行した後に、各パラメタ毎に最大得票を示すピークを求め、その最大ピークに対応する値を回転パラメタの推定値として採用する。
【００４７】
また、最大ピークの得票数を全投票数で正規化したものを推定幾何変換パラメタの信頼度として採用することができる。推定した回転パラメタが不正確な場合、最終的な類似度計算に悪影響を及ぼす可能性があるため、推定幾何変換パラメタの信頼度が設定した基準値よりも低い場合には、幾何変換パラメタによる画像修正を行なわない扱いとしたり、または、幾何変換パラメタを恒等変換Ｉと設定して実質的に幾何変換を行なわない扱いとする。
【００４８】
次に、上記で推定された回転パラメタを用いて、全ての対応窓に対して並進パラメタＴを計算する。具体的には、（数１）を変形した以下の（数４）に基づいて、並進パラメタ(u,v)を求める。この操作では、推定した回転パラメタＲを用いてモデル画像内窓位置を回転変換した上で、入力画像内窓位置との相対位置を求めていることになる。
【００４９】
【数４】
【００５０】
上記投票により幾何変換パラメタを求める方法を採用すれば、対応窓情報に含まれる誤対応窓や画像内位置情報の変動や不適切な対応窓の組合わせを選択したこと等に起因する推定誤差が低減され、より高精度なパラメタ推定が可能になることが期待される。
【００５１】
（６）幾何変換パラメタによる画像補正処理（ステップＳ６）
幾何変換パラメタによる画像補正処理ステップＳ６では、第１の処理として、推定された幾何変換パラメタを用いて入力画像を幾何変換して画像補正を施す。この幾何変換による画像補正により、アフィン変換であれば図６（ａ）に示したような幾何変換が可能となる。同様に相似変換であれば図６（ｂ）に示したような幾何変換が可能となり、射影変換であれば図６（ｃ）に示したような幾何変換が可能となる。
【００５２】
次に、画像補正処理ステップＳ６では、第２の処理として、幾何変換後の修正画像から再び、窓画像を抽出して特徴空間上でマッピングおよび対応付けを行なう。つまり、図１のフローチャートに示した窓位置選択ステップＳ２に戻り、引き続き、窓画像圧縮処理ステップＳ３、窓照合処理ステップＳ４を実行し、窓画像を特徴空間上にマッピングして対応づける。
【００５３】
図８に幾何変換画像処理を行なって再度窓画像を特徴空間上にマッピングして対応づけた例を示す。この例では“□”で表わされた入力画像の窓画像が、モデル画像１の特徴空間上の投影点グループと精度良く対応づけられるものとなったことが分かる。
【００５４】
なお、推定した幾何変換パラメタを用いて幾何変換する画像は、入力画像としても良く、また、モデル画像としても良い。入力画像またはモデル画像のいずれか一方を幾何変換して他方に幾何的に合わせれば良い。
【００５５】
（７）対応窓の相対位置投票処理（ステップＳ７）
ステップＳ６で得た幾何変換による画像修正後の対応窓情報を基に、入力画像とモデル画像内での窓間の配置関係の整合性を評価する。具体的には、各対応窓毎に、２つの画像の窓位置の差分である相対位置ベクトル(△x,△y)(xは画像横方向、yは画像縦方向)を計算し、各モデル毎に用意された２次元(x,y)投票空間内の対応するポイントに一定数の投票を行う。この投票操作を対応窓の個数分繰り返す。
【００５６】
この投票により次のことが分かる。幾何変換による画像修正の結果、両画像の外形が等しくなれば、画像の差異として残っている要素は、左右上下方向など画像全体の平行移動による位置ずれである。投票対象となる相対位置ベクトルは２つの画像の窓位置の差分であるので、原理的にはすべての対応窓が等量のずれ、つまり同じ相対位置ベクトルを持っていることとなる。つまり、投票の結果、投票が一定値に集中しているほど照合精度が良く、バラツキがあるほど両画像の照合精度が悪いこととなる。
【００５７】
（８）ピーク位置検出・類似度計算処理（ステップＳ８）
上記ステップＳ７の相対位置ベクトル投票処理の後、２次元投票空間内で最大ピークを探索し、そのピーク位置に投票された得票数に基づいて類似度を定義する。上記に示したように投票が投票空間上の一点に集中しているほど照合精度が良く、両画像が一致していることとなる。図９は２次元投票空間内での相対位置ベクトルの投票の様子を示しており、図９（ａ）は投票結果の集中度合いが大きく、照合精度が高い場合を示しており、図９（ｂ）は投票結果の集中度合いが比較的小さく、照合精度が低い場合を示している。
【００５８】
なお、ピーク位置検出により相対位置ベクトルが求まれば、当該相対位置ベクトルを用いて左右上下方向など画像全体のずれを補正することが可能となる。
【００５９】
上記ステップＳ１〜Ｓ８の処理過程により、登録されている各モデル画像と入力画像の類似度を計算し、その値の大小判定や閾値処理を行うことにより、登録人物のうちの誰であるか、または登録されている人物以外の人であるのか等の認識を行う。
【００６０】
なお、上記の説明では、幾何変換パラメタとして、６自由度のアフィン変換パラメタを採用する場合を説明したが、アフィン変換以外の幾何変換であっても同様に本発明の思想を適用することができる。例えば、撮像カメラに対する認識対象の動きがＸ，Ｙ，Ｚ方向の並進運動とＺ軸まわりの回転による相似変換である場合には、並進(u,v)、スケールs，Ｚ軸まわりの回転γの4つのパラメタが推定すべき幾何変換パラメタとなる。この回転パラメタＲと並進パラメタＴは、上記の（数２）のようになる。
【００６１】
したがって、このＲ,Ｔを用いて幾何変換を表現することにより、上記で説明した方法を適用し、幾何変換パラメタs,γ,(u,v)を求めることが可能である。
【００６２】
以上、本実施形態１の画像照合方法によれば、モデル画像と入力画像間の幾何学的関係の推定を行い、その推定値に基づいて、モデル画像もしくは入力画像に適切な幾何変換処理を施し、モデル画像と入力画像関の幾何学的なずれを吸収した上で画像照合処理を実行する。その結果、従来手法では困難であった、モデル画像と入力画像間で顔姿勢・スケールが変化した場合においても、照合精度を低下させずに高い精度で照合処理を実行することが可能となる。
【００６３】
（実施形態２）
本実施形態２は、当初与えられた入力画像を用いて幾何変換パラメタを推定し、当該推定した幾何変換パラメタを用いて、撮影状態、撮影環境のパラメタを変更し、入力画像を再度撮影することにより照合に適した入力画像を得るものである。
【００６４】
本実施形態２の例として、銀行の自動預け払い機（ＡＴＭ）において本発明の画像照合方法を用いる場合の１バリエーションを説明する。
【００６５】
従来のＡＴＭでは、本人認証の手段として、キャッシュカードと４桁の暗証番号入力により行なっている。このＡＴＭでの本人認証手段として、バイオメトリックな認証方法が研究されている。その中には顔画像入力による本人認証、指紋による本人認証などがある。顔画像入力による本人認証であれば、カメラによりＡＴＭ利用者の顔画像を撮影し、あらかじめ登録している本人の顔画像と照合する。ここで、本実施形態２の画像照合方法は、以下の処理を行なう。
【００６６】
まず、ＡＴＭ利用者の顔画像をカメラにより撮影する（ステップＳ１００１）。
【００６７】
次に、入力された撮影画像と認証用の登録画像を基に、本発明の実施形態１に示したアイゲンウィンドウ法を用いた照合処理過程において幾何変換パラメタを推定する（ステップＳ１００２）。例えば、アフィン変換の幾何変換パラメタを推定する。
【００６８】
次に、推定した幾何変換パラメタを用いて撮影状態、撮影環境を調整する（ステップＳ１００３）。実施形態１では、推定した幾何変換パラメタを用いて入力画像またはモデル画像のいずれか一方を画像修正し、他方に合わせる処理を施していたが、本実施形態２では、撮影状態、撮影環境を調整して再撮影を行なう。例えば、カメラの向きや角度、フォーカスなどの調整、利用者とカメラ間の距離を補正する。また、利用者インタフェース画面を通じて利用者の立ち位置に関するガイダンスを表示して利用者の立ち位置変更を促したり、顔の角度に関するガイダンスを表示して顔の向きの変更を促したりすることも可能である。また、利用者立ち場所にターンテーブルを用意しておいて利用者の角度を調整することも可能である。
【００６９】
次に、撮影状態、撮影環境の調整後、再撮影を行なう（ステップＳ１００４）。
【００７０】
次に、再撮影した入力画像を基に、再度、図１のフローチャートに示した窓位置選択ステップＳ２に戻り、引き続き、窓画像圧縮処理ステップＳ３、窓照合処理ステップＳ４を実行し、窓画像を特徴空間上にマッピングして対応づけ、さらに、対応窓の相対位置投票処理ステップＳ７、ピーク位置検出・類似度計算処理ステップＳ８を実行して画像照合処理を実行する（ステップＳ１００５）。
【００７１】
以上、本実施形態２の画像照合方法によれば、当初与えられた入力画像を用いて幾何変換パラメタを推定し、当該幾何変換パラメタを用いて、撮影状態、撮影環境のパラメタを変更し、入力画像を再度撮影することにより照合に適した入力画像を得ることができ、照合精度を高めることができる。
【００７２】
（実施形態３）
本実施形態３の画像照合方法は、実施形態１において説明した窓照合処理ステップ（図１のステップＳ４）に関し、改良を加えたものである。
【００７３】
窓照合処理ステップでは、登録済みのモデル窓データと入力窓データを特徴空間内で比較照合し、モデル画像中の各窓データに対し、特徴空間内で最も距離の近い入力画像中の窓データを探索し、対応する窓データの組合わせを対応窓情報としてテーブルなどに記憶する。実施形態１で示した例では、対応窓を探索する場合に、一方の窓に対し、他方の全ての窓から特徴空間内で最近傍窓を探し出す方法を採用した。これに対し、本実施形態３では、画像内位置上で窓の探索範囲を限定し、一方の窓から一定範囲内に存在する窓のみを対象とし、その中から特徴空間内での最近傍窓を探し出すという方法を採る。
【００７４】
図１１は、本実施形態３の窓照合処理の基本概念を示したものである。
【００７５】
顔画像など認識対象が限定されており、直立して正面近くを向いて撮影するなど一定の撮影状態が期待できる場合には、目、鼻、眉、耳、口など切り出される窓画像は、個人差はあるものの画像内において一定の範囲にあることが十分期待できる。例えば、図１１（ａ）の一方の目の窓画像の探索にあたり、図１１（ｂ）の他方の画像上に太枠で示したある一定範囲を探索すれば目の窓画像が存在していることが十分期待できる。この性質に着目すれば、１つの窓画像の照合にあたり、他方の画像中の該当位置周辺範囲に存在する窓画像との照合により対応する窓画像の探索が可能となる。つまり他方の画像中に存在するすべての窓画像との照合処理を行なう必要がない。このように、特徴空間内での最近傍窓の探索範囲を小さくすることができるため、窓照合処理速度を向上させることができる。天地が逆転した状態で入力されたなど特別な場合を除いて、該当位置周辺範囲に対応する窓画像が存在していないことは、そもそも両画像が同じ認識対象ではないということが言える。
【００７６】
なお、特徴空間内での最近傍窓の探索範囲の設定であるが、例えば人間の顔画像の場合、各窓画像の対象となる部分、例えば目部分について、位置や大きさなど統計的なバラツキの範囲を加味した上で設定すれば良い。
【００７７】
以上、実施形態３の画像照合方法によれば、特徴空間内での最近傍窓の探索範囲を小さくすることができるため、窓照合処理速度を向上させることができる。また、それと同時に、実際は対応していない窓同士を対応窓として選択してしまう誤対応の発生を低減することが期待できるため、推定される幾何変換パラメタの精度を向上させることが可能となる。
【００７８】
（実施形態４）
本実施形態４の画像照合方法は、実施形態１において説明した対応窓の相対位置投票処理ステップ（図１のステップＳ７）に関し、改良を加えたものである。
【００７９】
対応窓の相対位置投票処理ステップでは、実施形態１で説明した幾何変換パラメタによる画像補正処理Ｓ６による画像修正の後、対応窓情報を基に入力画像とモデル画像内での窓間の配置関係の整合性を評価するため、各対応窓毎に２つの画像の窓位置の差分である相対位置ベクトルを計算し、各モデル毎に用意された２次元(x,y)投票空間内の対応するポイントに一定数の投票操作を対応窓の個数分繰り返して行なう。実施形態１では、投票処理に際し、各対応窓ごとに一定の投票数を割り当てて投票空間上の相対位置ポイントに投票していた。それに対して本実施形態４の画像照合処理方法では、対応窓の特徴空間内での距離に応じて決定された投票数を、投票空間上の画像内相対位置で示されるポイントに投票する方法を採用する。例えば、対応窓の「見え」の近さを類似度に反映させるため、対応する窓同士の特徴空間内での距離値が小さい程、投票数が大きくなるように線形関係を設定して投票数を決定する。
【００８０】
この操作により、対応窓の特徴空間内距離、つまり対応窓の「見え」の近さが大きい程、投票ポイントを高く設定して対応窓の「見え」の近さを類似度計算に反映することができる。顔の場合で考えると、たとえ窓に相当する顔部品の位置関係が一致しても、顔部品の「見え」に違いがあると、類似度が低く出力される。その結果、従来手法と比較して、本人と他人の顔造作の違いが類似度の差として現れやすくなるため、最終的な識別精度を向上させることが可能となる。特に、個人認証での他人受理率の抑制が可能となる。
【００８１】
（実施形態５）
本発明の画像照合装置の実施形態を以下に示す。本実施形態５の画像照合装置は、上記実施形態１〜４に示した本発明の画像照合方法を実施できる装置である。本装置を適用可能なプラットフォームとしては、パーソナルコンピュータ、ワークステーションに加え、銀行のＡＴＭや、入退室管理装置など多様な装置が挙げられる。
【００８２】
最初に、本実施形態５の画像照合装置の全体構成の概略と本システムによる処理流れの全体像を図面を参照しつつ説明する。
【００８３】
図１２は、本実施形態５にかかる画像照合装置の概略構成図を示している。
【００８４】
図１２に示すように、本発明の画像照合装置は、大別して、画像入力部１０、登録画像データ格納部２０、幾何変換パラメタ推定部３０、幾何変換部４０、画像照合部５０を備えている。なお、図示していないが、システム全体の制御処理に必要なコントローラ、メモリ、ユーザーインタフェースなどは装備している。
【００８５】
画像入力部１０は、画像照合を行なう入力画像を取り込む部分である。利用形態に合わせて、画像データ撮影のためのカメラ１１、ファイル入力のための画像ファイル入力部１２を備えている。また、実施形態２で説明した撮影条件、撮影環境を調整して再撮影する方法に対応できるように撮影条件環境調整部１３を備えている。撮影条件環境調整部１３は、利用形態に合わせて、カメラ１１の可動制御部、ターンテーブルなどのカメラ被写体の角度・位置調整部、照明条件などを変更する撮影環境調整部などを備えている。
【００８６】
登録画像データ格納部２０は、画像照合に用いるモデル画像を登録・格納する部分で、例えば、大容量のハードディスクなど記憶装置と制御部分を備えている。なお、実施形態１で説明したように前処理としてモデル画像から窓画像情報を抽出しておく場合には、当該モデル画像の窓画像情報を登録画像データの一部として格納する。
【００８７】
幾何変換パラメタ推定部３０は、幾何変換パラメタを推定する部分であり、幾何変換パラメタ指定部３１、窓画像切り出し部３２、窓画像圧縮部３３、窓画像対応付け部３４、幾何変換パラメタ計算部３５、推定幾何変換パラメタ評価部３６を備えている。
【００８８】
幾何変換パラメタ指定部３１は、利用形態に応じて採用する幾何変換パラメタを指定する部分であり、実施形態１で説明したように、アフィン変換、相似変換、射影変換など用いる幾何変換を指定する。もちろんデフォルトとして固定しておいても良いし、利用者が幾何変換を指定入力しても良く、また、当該画像照合装置が画像照合の過程で自動的に選定しても良い。
【００８９】
窓画像切り出し部３２は、実施形態１で説明した対象領域の切り出し処理および窓位置選択処理を実行する部分であり、利用形態に応じてエッジ検出機能、特徴点検出機能、窓画像検出機能、正規化処理機能などを備えている。
【００９０】
窓画像圧縮部３３は、窓画像に対して、次元圧縮のための画像変換を行う部分であり、利用形態に応じて窓画像に対し、ＫＬ展開、ウェーブレット変換、フーリエ変換、ＤＣＴ変換など適した画像変換を施して窓データを生成するものである。
【００９１】
窓画像対応付け部３４は、モデル窓データと入力窓データを特徴空間内で比較照合し、モデル画像中の各窓データに対して特徴空間内で最も距離の近い入力画像中の窓データを探索し、窓データを対応付けて組合わせを対応窓情報として得る部分である。窓データを特徴空間に投影する特徴空間投影処理機能、投影された各窓データ間の特徴空間内における距離を計算する特徴距離計算処理機能、距離が相互に最も近く対応し合う窓データ同士を対応づける対応窓決定処理機能、対応窓情報格納テーブルを備えている。
【００９２】
なお、利用形態として、実施形態３で説明した窓対応付け処理の改良を適用する場合には、上記の特徴距離計算処理機能において、一の窓データから特徴距離を計算する対象となる窓データの範囲を画像上での位置が一定距離内にあるもののみに制限する機能を併せ持つ。
【００９３】
幾何変換パラメタ計算部３５は、対応窓情報の中から複数の組合せを選び出し、それらの画像位置情報を基にモデル画像・入力画像間の幾何変換を表す幾何変換パラメタの計算を行う部分である。実施形態１で説明したように、採用されている幾何変換の自由度に応じて幾何変換パラメタ計算に必要な対応窓情報のセット数分、対応窓情報格納テーブルから対応窓情報を選び出す機能と、実施形態１で説明した（数１）〜（数４）などをから幾何変換パラメタを計算する機能を備えている。アフィン変換であれば、回転パラメタr［0］,r［1］,r[2］,r［3］の値と、並進パラメタ(u,v)を計算する。
【００９４】
なお、実施形態１で説明したように、推定幾何変換パラメタを評価する場合には、この幾何変換パラメタ計算部３５において、異なる組み合わせの対応窓情報セットの選定および幾何変換パラメタ計算を繰り返し、複数の幾何変換パラメタを得る。
【００９５】
推定幾何変換パラメタ評価部３６は、幾何変換パラメタ計算部３５が計算した複数の幾何変換パラメタを基にしてより確からしい幾何変換パラメタの値を評価して決定する部分である。複数の幾何変換パラメタの平均値処理、ヒストグラム処理、最小二乗推定処理などがあり、例えば、ヒストグラム処理では、幾何変換パラメタ値を１次元投票空間に投票し、最大得票を示すピークを求め、その最大ピークに対応する値を回転パラメタの推定値とする。また、最大ピークの得票数を全投票数で正規化したものを推定幾何変換パラメタの信頼度として採用することができる。
【００９６】
幾何変換部４０は、実施形態１で述べた幾何変換パラメタによる画像補正処理を実行する部分であり、得られた幾何変換パラメタを基に、画像幾何変換を施し、モデル画像と入力画像の幾何的差異を補正する。幾何変換を施す画像は、入力画像またはモデル画像のいずれか一方で良い。例えば入力画像に幾何変換を施す。
【００９７】
なお、幾何変換部４０による画像幾何変換後、再度、窓画像切り出し処理、窓画像圧縮処理、窓画像対応付け処理を行なう必要がある。上記幾何変換パラメタ推定部３０の窓画像切り出し部３２、窓画像圧縮部３３、窓画像対応付け部３４を利用しても良いし、それら構成要素と同様のものを幾何変換部４０が備えている構成でも良い。本実施形態５では、処理の流れを分かりやすく説明するため、ブロック構成図上、幾何変換部４０がそれら構成要素、窓画像切り出し部４２、窓画像圧縮部４３、窓画像対応付け部４４を備えている構成とする。
【００９８】
画像照合部５０は、幾何変換による画像修正後の対応窓情報を基に、入力画像とモデル画像内での窓間の配置関係の整合性を評価する部分であり、２つの画像の窓位置の差分である相対位置ベクトルの計算機能、相対位置ベクトルを用意された２次元(x,y)投票空間内の対応するポイントに一定数の投票を行う投票機能、２次元投票空間内で最大ピークを探索し、そのピーク位置に投票された得票数に基づいて類似度を計算する類似度計算機能を備えている。
【００９９】
本発明の画像照合装置は、以上の構成を備えている。処理の流れの概略は、図１に示したフローチャートと同様であるのでここでは、適宜省略する。
【０１００】
（実施形態６）
実施形態６にかかる画像照合装置について図面を参照しながら説明する。本実施形態６は、実施形態５に示した画像照合装置をクライアントサーバ構成で構築した例である。
【０１０１】
図１３は、画像照合装置をクライアントサーバ構成で構築したシステムの全体概略構成を示している。図１３に示すように、１００は画像照合サーバ、１０１は画像照合クライアント、１０２はネットワーク網である。画像照合サーバ１００は、登録画像格納部２０、幾何変換パラメタ推定部３０、幾何変換部４０、画像照合部５０、ネットワーク接続のための通信インタフェース７０を備えており、画像照合クライアント１０１は、画像入力部１０を備えており、それぞれ実施形態５において同じ構成名で説明したものと基本的に同じものである。また、ユーザインタフェース部６０、通信インタフェース７０を備えている。ネットワーク１０２は、データを通信できるものであれば良く、ローカルエリアネットワーク、インターネットなどのネットワーク網であり、専用線、公衆回線、有線、無線を問わない。
【０１０２】
クライアントサーバ構成の画像照合装置による処理の流れの全体像は以下の通りである。まず、利用者は、画像照合クライアント１０１のユーザインタフェースから人物認証を受ける人の顔画像を入力する。画像照合クライアント１０１は通信インタフェースを介して顔画像を発信する。発信された顔画像ネットワーク網１０２を経由して画像照合サーバ１００に通信インタフェースを介して受信される。画像照合サーバ１００において実施形態１で説明したものと同様の処理が行われ、幾何変換パラメタの推定、画像幾何変換、画像照合を実行し、人物認証の適否の回答を画像照合クライアント１０１に返信する。なお、利用形態実施形態２で説明したように顔画像の再撮影を要求する運用であれば、画像照合クライアント１０１は、必要に応じて幾何変換パラメタを手掛かりに撮影条件、環境条件を調整して顔画像を再撮影する。その際、ユーザインタフェースからガイダンスを出しても良い。
【０１０３】
なお、本実施形態６のクライアントサーバシステム構成においても、画像照合処理に先立ち、画像照合サーバ１００におけるモデル窓データ作成は前処理として行っておくことが好ましい。
【０１０４】
（実施形態７）
本発明の画像照合方法、画像照合装置は、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明の画像照合装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図１４に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０２やフレキシブルディスク２０３等の可搬型記録媒体２０１だけでなく、ネットワーク上にある記録装置内の記録媒体２００や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０４上にローディングされ、主メモリ上で実行される。
【０１０５】
【発明の効果】
以上のように本発明の画像照合方法、画像照合装置によれば、モデル画像と入力画像間の幾何学的関係の推定を行い、その推定値に基づいて、モデル画像もしくは入力画像に適切な幾何変換処理を施し、モデル画像と入力画像関の幾何学的なずれを吸収した上で画像照合処理を実行できる。その結果、従来手法では困難であった、モデル画像と入力画像間で顔姿勢・スケールが変化した場合においても、照合精度を低下させずに高い精度で照合処理を実行することが可能となる。
【０１０６】
また、本発明の画像照合方法、画像照合装置において、当初与えられた入力画像を用いて幾何変換パラメタを推定し、当該幾何変換パラメタを用いて、撮影状態、撮影環境のパラメタを変更し、入力画像を再度撮影することにより照合に適した入力画像を得ることができ、照合精度を高めることができる。
【０１０７】
さらに、特徴空間内での最近傍窓の探索範囲を小さくするという窓照合処理の改善により窓照合速度を向上させることができる。また、画像照合処理の対応窓画像の相対位置投票処理において特徴空間内での距離に応じて決定された投票数を用いた投票を行なう改善により照合精度を向上させることができる。
【図面の簡単な説明】
【図１】 本発明のアイゲンウィンドウ法を用いた画像照合方法による処理過程の概略を示すフローチャート
【図２】 本発明の画像から窓画像を切り出した様子を示す図
【図３】 本発明の特徴空間と窓画像のマッピングの例を示す図
【図４】 本発明の入力画像の窓データを特徴空間に投影した例を示す図
【図５】 本発明の対応窓情報の組み合わせを記録したテーブルの例を示す図
【図６】 幾何変換の例を示す図
【図７】 対応窓情報の中から、組の対応窓を選択する様子を説明する図
【図８】 本発明の入力画像の窓データを幾何変換画像修正後に特徴空間に投影した様子を示す図
【図９】 ２次元投票空間内での相対位置ベクトルの投票の様子を示す図
【図１０】 本発明の実施形態２の画像照合方法による処理過程の概略を示すフローチャート
【図１１】 本発明の実施形態３の窓照合処理の基本概念を示した図
【図１２】 本発明の実施形態５の画像照合装置の概略構成図
【図１３】 本発明の実施形態６のクライアントサーバ構成で構築した画像照合装置のシステム全体の概略構成図
【図１４】 本発明の実施形態７の処理プログラムを記録した記録媒体の例を示す図
【符号の説明】
１０ 画像入力部
１１ カメラ
１２ 画像ファイル入力部
１３ 撮影条件環境調整部
２０ 登録画像データ格納部
３０ 幾何変換パラメタ推定部
３１ 幾何変換パラメタ指定部
３２，４２ 窓画像切り出し部
３３，４３ 窓画像圧縮部
３４，４４ 窓画像対応付け部
３５ 幾何変換パラメタ計算部
３６ 推定幾何変換パラメタ評価部
４０ 幾何変換部
５０ 画像照合部
１００ 画像照合サーバ
１０１ 画像照合クライアント
１０２ ネットワーク網
２００ 回線先のハードディスク等の記録媒体
２０１ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
２０２ ＣＤ−ＲＯＭ
２０３ フレキシブルディスク
２０４ コンピュータ
２０５ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【発明の属する技術分野】
本発明は、入力画像中の認識対象と画像データベースなどに蓄積されたモデル画像とを照合し、入力画像中の認識対象を同定する画像照合方法および装置に関する。入力画像中の認識対象に応じて、人物認証、印鑑認証、署名認証などに用いることができ、また認識対象として自動車や工業製品など任意の３次元物体も扱うこともでき、多様な画像照合・認識システムに用いることができる。
【０００２】
【従来の技術】
市場において銀行のＡＴＭでのカード利用や、パソコン通信によるオンライン・ショッピングなどのように、システムの利用者が誰であるかを正しく判定する利用者認証、個人識別が必要となるアプリケーションが増加しつつある。このような利用者認証、個人識別の手段として、従来はパスワード入力による識別方法が多く用いられてきたが、近年、設置されたカメラから人物画像を取り込み、その顔画像から、そこに写っている人物が誰であるか特定する顔画像照合・検索技術が注目を集めている。この技術を用いれば、例えば、従来、暗証番号やパスワードを用いていたマンションやビルの入室管理、パソコンやインターネットヘのログインを、顔画像で代用することが可能になる。また、犯罪捜査などにおいても、ＡＴＭに設置された監視カメラの画像を基に、不正利用者を割り出して犯人を特定することなども期待されている。
【０００３】
様々な撮影環境下において撮影され、取りこまれた入力画像を用いて、安定的かつ高精度の画像照合が実行できる顔画像照合・検索システムが実現できれば、上記で示したようなセキュリティ関連のアプリケーションでの個人認証、犯罪捜査などでの人物同定、さらには、自動受付端末、顧客管理システムでの利用者認証など、幅広い分野への応用が期待される。
【０００４】
従来の画像照合システムにおけるモデル画像と入力画像との照合処理手法の１つとして、固有空間法を拡張し、画像中から抽出した特徴的な局所領域群の画像情報を特徴空間上の点集合として投影して両者を照合するアイゲンウィンドウ法(または局所固有空間法)がある。
【０００５】
従来のアイゲンウィンドウ法による画像照合手順の概略は、次の通りである。まず、入力画像、照合用のモデル画像双方の画像領域に対し、画素値の変化に基づいて特徴点を見つけ出し、「窓」と呼ばれる局所領域画像を選択する。選択された窓画像データをＫＬ展開し、比較的高い固有値をもつ固有ベクトルで張られる特徴空間へのマッピングを行う。特徴空間内で両者を比較照合し、モデル画像中の各窓データに対して最も距離の近い入力画像中の窓データを探索する。もし、両者が同じ認識対象であれば、各々の窓画像データには特徴空間内で近いものが存在していることとなり、両者が異なる認識対象であれば、特徴空間内で対応し合うものが存在しない窓画像データが含まれている。このように特徴空間上へのマッピングにより両画像の類似・非類似が判断できる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の従来のアイゲンウィンドウ法による画像照合方法では、入力画像中の顔の姿勢（角度）やスケール（大きさ）が、モデル画像中のそれと比較して大きく変化している場合には、識別精度が極端に低下してしまうという問題があった。例えば、モデル画像としてある人物を正面から撮影したモデル画像を登録している場合において、人物認証にあたり入力される顔画像の撮影が何らかの理由で斜めに向いた状態や傾いた状態で行なわれると、入力画像とモデル画像間で生じる顔向きの違いのため、同じ人物の顔画像であるにも関わらず、両画像間の類似度として低い値が出力され、異なる人物であると誤った判定をしてしまう。
【０００７】
このような問題に対して、従来のアイゲンウィンドウ法による画像照合方法では、モデル画像として顔姿勢・スケールを変化させた多数のパターンを登録しておくという方法が考えられる。つまり、斜め方向を向いた顔画像、カメラから遠ざかった時の顔画像など多様なパターンを予め複数撮影して登録しておく。原理的には、あらゆる顔姿勢・スケールの顔画像を事前に登録すれば、安定した顔画像照合が可能である。しかしながら実際問題として、あらゆる顔姿勢・スケールに対するモデル画像を予め複数登録しておくのは実現的ではなく、また、登録データ量が大きくなってしまう。認識対象が顔である場合には、姿勢変化の自由度が高いため、顔姿勢・スケールに対するバリエーションは膨大なものになり、モデル画像の記憶容量や、認識のための処理速度などを考慮すると、上記のような方法ではやはり実用上の限界がある。
【０００８】
本発明は、このような問題を解決し、モデル画像に対して、顔姿勢・スケールが変化した場合においても、高精度な照合を維持することが可能な顔画像照合方法および装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために本発明の画像照合方法は、認識対象が含まれる入力画像と、あらかじめ登録済みの対象を含むモデル画像群を比較照合することにより、入力画像中に存在する認識対象を同定する画像照合方法であって、前記入力画像および前記モデル画像からそれぞれ複数の特徴的な局所領域を切り出す処理と、選択した局所領域の画像情報を特徴空間上の点集合に投影する処理と、一方の画像の局所領域ごとに、前記特徴空間内において最も近傍の位置に投影されている他方の画像の局所領域を探索して局所領域同士を対応づける処理と、前記対応付けられた一方の画像の局所領域と他方の画像の局所領域の配置関係に基づいて入力画像とモデル画像間の幾何変換パラメタを推定する幾何変換パラメタ推定処理と、前記推定した幾何変換パラメタを用いて前記一方の画像の局所領域の画像情報か画像全体の画像情報か画像内の局所領域の位置情報のいずれかに対して幾何変換を施し、前記対応付けられた局所領域両者の整合性を評価して照合する処理を備えることを特徴とする。
【００１０】
上記構成により、モデル画像の局所領域と入力画像の局所領域のずれを幾何変換パラメタを用いた幾何変換により調整して、両者の姿勢、カメラ距離による違いを吸収でき、照合精度を向上させることが可能となる。
【００１１】
ここで、幾何変換パラメタの推定処理を少なくとも一つは異なる複数の対応する局所領域の組について繰り返し、得られた複数の推定した幾何変換パラメタ群を基に幾何変換パラメタを決定すれば照合精度のさらなる向上が期待でき、幾何変換パラメタ群のばらつき度合いに基づいて推定幾何変換パラメタの信頼度を算出しておけば、照合処理の信頼性の目安とすることもできる。また、局所領域間の画像内相対位置と特徴空間内距離を求め、距離に応じた投票数重み付けを行なって投票空間上に投票すれば、投票結果のピークの集中度合いに基づいて入力画像とモデル画像の類似度の高さの目安とできる。
【００１２】
また、局所領域同士の対応づけにおいて、画像内の相対位置を手掛かりとして当該相対位置から一定の範囲内に存在する局所領域に絞り込んで局所領域の対応づけを行なえば処理時間の低減が期待できる。
【００１３】
次に、本発明の画像照合装置は、認識対象が含まれる入力画像と、あらかじめ登録済みの対象を含むモデル画像群を比較照合することにより、入力画像中に存在する認識対象を同定する画像照合装置であって、入力画像を入力する画像入力部と、モデル画像を登録・格納するモデル画像格納部と、前記入力画像および前記モデル画像から特徴的な局所領域を切り出す局所領域切り出し部と、選択した局所領域の画像情報を特徴空間上の点集合に投影し、一方の画像の局所領域ごとに、前記特徴空間内において最も近傍の位置に投影されている他方の画像の局所領域を探索して局所領域同士を対応づける局所領域対応付け部と、前記対応付けられた一方の画像の局所領域と他方の画像の局所領域の配置関係に基づいて入力画像とモデル画像間の幾何変換パラメタを推定する幾何変換パラメタ計算部を備えた幾何変換パラメタ推定部と、前記推定した幾何変換パラメタを用いて前記一方の画像の局所領域の画像情報か画像全体の画像情報か画像内の局所領域の位置情報のいずれかに対して幾何変換を施し、を幾何変換を施す画像幾何変換部と、前記幾何変換した局所領域を用いて局所領域相互間の整合性を評価して照合する画像照合部を備えたことを特徴とする。
【００１４】
上記構成により、モデル画像の局所領域と入力画像の局所領域のずれを幾何変換パラメタを用いた幾何変換により調整することが可能な画像照合装置が得られ、両者の姿勢、カメラ距離による違いを吸収し、照合精度の高い装置を実現することができる。
【００１５】
また、上記画像照合装置を実現する処理プログラムを記述したコンピュータ読み取り可能な記録媒体を用意すれば、パーソナルコンピュータ、ワークステーションなどのコンピュータを利用して本発明の画像照合処理装置を構築することができる。
【００１６】
【発明の実施の形態】
（実施形態１）
本発明の画像照合処理方法は、モデル画像の対応窓と入力画像の対応窓の画像内位置情報を用いて、モデル画像と入力画像の間の幾何変換関係を表す幾何変換パラメタを推定する機能と、当該推定した幾何変換パラメタを用いて、モデル画像もしくは入力画像の一方に対して適切な幾何変換処理を施す機能と、幾何変換後の修正画像を用いて画像照合する機能を備えるものである。モデル画像と入力画像関の幾何学的なずれを吸収した上で画像照合処理を実行する。ここで推定した幾何変換パラメタを用いた幾何変換処理としては幾何変換を施す対象に応じて幾通りかの方法がある。一つはモデル画像もしくは入力画像の窓画像（局所領域）の画像情報を幾何変換する処理、他にはモデル画像もしくは入力画像全体の画像情報を幾何変換する処理、他には画像内の局所領域の位置情報に対して幾何変換する処理がある。
【００１７】
以下に、本発明のアイゲンウィンドウ法を用いた顔画像照合方法による処理過程の概略を図１のフローチャートを参照しつつ説明する。
【００１８】
本発明のアイゲンウィンドウ法を用いた顔画像照合方法による処理過程は、大別して以下のステップＳ１からステップＳ８までの８つのステップからなり、用意したモデル画像から照合用のモデル窓データを作成する「モデル登録フェーズ」（モデル画像についてのステップＳ１〜Ｓ３）と、入力画像と各モデル画像の類似度を計算する「認識フェーズ」（入力画像についてのステップＳ１〜Ｓ３とステップＳ４〜Ｓ８）により構成される。
【００１９】
（１）対象領域の切り出しステップ（ステップＳ１）
画像中から認識対象である顔の位置を検出し、顔領域の画像を切り出す処理を行なう。この処理自体は、厳密にはアイゲンウィンドウ法の処理において必須ステップではないが、認識性能(識別精度・処理速度)の実効性向上には、有効なステップであり、前処理として実効しておくことが好ましい。画像中から人物の顔領域を判定して切り出す方法としては、顔部品検出による顔領域切り出し処理、肌色抽出による顔領域検出処理、輪郭（エッジ）抽出による顔領域検出処理などの画像処理方法などがあり、それら手法を適用することが可能である。
【００２０】
（２）窓画像切り出しステップ（ステップＳ２）
上記（１）対象領域の切り出しステップＳ１で切り出された画像領域に対して、各画素値に基づいて特徴点を見つけ出し、その周辺の局所領域画像を切り出す。ここでは、この選択された局所領域を「窓」と呼ぶ。この窓画像切り出し処理を顔画像に適用した場合には、結果的に目や鼻や口などの顔部品の周辺に窓画像が切り出される。
【００２１】
具体的には、画像内の各画素におけるエッジ強度を基に対象が含まれる窓（コーナー）を検出する。各画素位置における隣接画素との画素値の差の総和（エッジ強度）を計算し、当該エッジ強度に基づいて画像の一部を窓画像として切り出し、窓画像中に含まれる画素値を要素とするベクトル（以下、窓画像ベクトルと呼ぶ）に対して、その切り出し位置（以下、画像内窓位置と呼ぶ）及び画像の識別子を付与し、窓データを作成する。この処理をすべての画像データに対して行い、窓データ群を得る。なお、上記の例では窓画像切り出しのため算出するエッジ強度を隣接画素との画素値の差の総和として計算したが、エッジ強度を空間周波数における高周波成分量として算出して窓画像の切り出しを判断することもできる。
【００２２】
画像から窓画像を切り出した様子を図２に示す。なお切り出した局所領域画像に対して、照明などの撮影環境の変化に対してある程度のロバスト性を確保するため、画像明るさについて正規化処理を行っておくことが好ましい。
【００２３】
（３）窓画像圧縮処理ステップ（ステップＳ３）
上記（２）窓画像切り出しステップ（ステップＳ２）で切出された窓画像に対して、次元圧縮のための画像変換を行う。次元圧縮のための画像変換としては、ＫＬ展開(Karhunen-Loeve展開。主成分分析の一種として知られる。以下、ＫＬ展開と略記する)、ウェーブレット変換、フーリエ変換、ＤＣＴ変換などを用いることができる。
【００２４】
例えば、ＫＬ展開の場合を例に説明すると、画像から抽出した窓画像に対して、ＫＬ展開を施し、比較的高い固有値をもつ固有ベクトルで張られる特徴空間へのマッピングを行う。この固有空間への投影にあたり、まず、固有空間を作成する。顔画像の画素値を要素とする列ベクトルから構成される行列を作成し、その行列の共分散行列から固有ベクトル行列を求める。この固有ベクトル行列で定義される空間を特徴空間とする。図３に特徴空間と窓画像のマッピングの例を示す。図３の例では、モデル画像から切り出した窓画像の特徴空間への投影を示し、便宜上、Ｘ1，Ｘ2，Ｘkの３軸のみを表示している。この特徴空間への投影により、Ｎ×Ｎ[ピクセル]サイズの窓画像がもつＮ×Ｎ次元の画素値ベクトルの集合データに対して次元圧縮変換処理を施すことができ、窓群の分布状態を考慮して無駄な次元を削減することができ、特徴空間内の窓分布状態をなるべく保ったまま、より低い次元の特徴空間へ変換が可能となる。この圧縮された窓画像(以下、窓データ)と、その窓の画像内での位置(以下、窓位置)を、画像照合のパラメタとして利用する。
【００２５】
なお、上記のステップＳ１〜ステップＳ３の処理は、照合に用いる登録モデル画像および照合のために入力された入力画像の双方に対して実行するが、登録モデル画像に対するＳ１〜Ｓ３の処理は「モデル登録フェーズ」の前処理として先に実行しておくことが可能である。
【００２６】
（４）窓照合処理(対応窓選択)ステップ（ステップＳ４）
以下、Ｓ４〜Ｓ８に示す処理は、入力画像と各モデル画像の類似度を計算する「認識フェーズ」で実行される。
【００２７】
この窓照合処理ステップＳ４では、登録済みのモデル窓データと入力窓データを特徴空間内で比較照合し、モデル画像中の各窓データに対し、特徴空間内で最も距離の近い入力画像中の窓データを探索する。図４に入力画像の窓データを特徴空間に投影した例を示す。投影点は“□”で示している。この投影結果から対応する窓データを探索して対応窓情報として記憶する。また、図５に対応窓情報の組み合わせを記録したテーブルの例を示す。
【００２８】
（５）幾何変換パラメタ推定処理（ステップＳ５）
幾何変換パラメタ推定処理ステップＳ５では、窓照合(対応窓探索)処理ステップＳ４で求めたモデル窓と入力窓の組合せが記述されている対応窓情報を受け取り、その対応窓群の中から複数の組合せを選び出し、それらの画像内での位置情報を基にモデル画像・入力画像間の幾何変換を表す幾何変換パラメタの推定を行う。
【００２９】
この幾何変換パラメタの推定において、用いる幾何変換パラメタの種類と、当該幾何変換パラメタを推定するために用いる対応窓情報組み合わせの数についてバリエーションを設けることができる。
【００３０】
まず、用いる幾何変換パラメタの種類であるが、例としてはアフィン変換、相似変換、射影変換などがある。
【００３１】
アフィン変換は以下の（数１）で示される幾何変換であり、幾何変換パラメタは６つあり、つまり自由度は６である。この幾何変換パラメタを求めるには対応窓画像情報の組み合わせが最低３個必要である。
【００３２】
【数１】
このアフィン変換による幾何変換は、図６（ａ）に示されるような変換であり、長方形を任意の平行四辺形に変換するようなことができ、逆に任意の平行四辺形画像を調整して正しい長方形画像に変換することができる。顔画像撮影の際に歪みが発生している場合に歪みを調整する場合には有効な幾何変換である。
【００３４】
相似変換は以下の（数２）で示される幾何変換であり、幾何変換パラメタは４つあり、つまり自由度は４である。この幾何変換パラメタを求めるには対応窓画像情報の組み合わせが最低２個必要である。
【００３５】
【数２】
この相似変換による幾何変換は、図６（ｂ）に示されるような変換であり、対象画像の外形は変えずに画像全体の移動、回転という幾何変換である。顔画像撮影の際に傾きや位置のずれが発生している場合にそのずれを調整する場合に有効な幾何変換である。
【００３７】
射影変換は以下の（数３）で示される幾何変換であり、幾何変換パラメタは８つあり、つまり、自由度は８である。この幾何変換パラメタを求めるには対応窓画像情報の組み合わせが最低４個必要である。
【００３８】
【数３】
この射影変換による幾何変換は、図６（ｃ）に示されるような変換であり、長方形を任意の四角形に変換するようなことができ、逆に任意の四角形画像を調整して正しい長方形画像に変換することができる。図６（ｃ）に示した変換は、顔画像撮影が斜めから行なわれたために、遠近法に見られるような画像の傾きが発生している場合にその歪みを調整する場合には有効な幾何変換である。
【００４０】
本発明の思想は、上記以外の幾何変換にも適用可能であることは言うまでもない。以下、本実施形態１では、幾何変換パラメタとしてアフィン変換を用いる場合を例としてその推定処理を詳しく説明する。
【００４１】
正面方向を基準とした上下、左右、傾き方向の変化と、サイズの変化(カメラからの相対距離変化)がある場合の幾何変換パラメタとして、（数１）に示した回転パラメタＲと並進パラメタＴから構成される2次元のアフィン変換パラメタを推定する(ただし、ここで定義したアフィン変換式は、人物の顔面上の顔部品が同一平面上の存在し、かつ両画像間の変形量が比較的小さいという仮定に基づくものである)。
【００４２】
画像中央を原点とし、画像平面内にＸ軸(横方向)、Ｙ(縦方向)、画像平面に垂直な方向にＺ軸を設定した場合のアフィン変換式は、上記（数１）に示したものである。したがって、この場合、推定すべきアフィン変換パラメタは、回転パラメタ4つ、並進パラメタ2つの計6つのパラメタ(r[0］,r［1］,r［2］,r［3],u,v)となる。
【００４３】
幾何変換パラメタを推定するために用いる対応窓情報の組み合わせの数であるが、選択された幾何変換パラメタの自由度に応じて幾何変換パラメタの推定に最低限必要な対応窓情報の組み合わせセット数が決まる。例えば、アフィン変換であれば、自由度は６であり、３組の対応窓情報を用いて１つのアフィン変換の幾何変換パラメタを推定することができる。
【００４４】
まず、図１のステップＳ４の窓照合処理により得られた対応窓情報の中から、図７に示すような３組の対応窓を選択する。多数の対応窓から３つの対応窓を選択する方法として、図５に示したテーブルから任意ランダムに選ぶ方法、テーブル内の並びに沿って３つを選ぶ方法、対応窓情報間の距離ｄによるソート結果においてｄが小さいものから３つ選択する方法、逆に大きいものから３つ選択する方法など様々な方法が考えられる。本実施形態１では、対応窓情報に記述されている対応窓を順番に一つ取り出し、この対応窓に対して、残り２つの対応窓を重複しないようにランダムに選択するものとする。
【００４５】
次に、この選択された３つの対応窓の画像内位置(xi,yi)-(Xi,Yi)(i=1-3)の値を基に上述の（数１）の方程式を解くことにより、回転パラメタr［0］,r［1］,r[2］,r［3］の値を計算する。
【００４６】
上記処理により選択した３組の対応窓情報から１セットの幾何変換パラメタが得られる。上記処理により求められた１セットの幾何変換パラメタの値をもって、推定結果としても良いが、さらに、異なる３組の対応窓情報組合せを多数選び出して、それら対応窓情報の組合せを用いた幾何変換パラメタの推定処理を複数回繰り返し、多数の幾何変換パラメタ推定値を得て、それらの値からもっとも確からしい幾何変換パラメタの値を決めることもできる。例えば、平均値処理、ヒストグラム処理、最小二乗推定などを施して、最終的なパラメタ値を決定する方法などがある。本実施形態１では、推定して得たパラメタ値を用意された１次元投票空間に投票する方法を用いる(言い換えれば、各パラメタ毎に適当な分割数でヒストグラムを作成する)。上記の「対応窓を３組選択」→「回転パラメタの推定」→「回転パラメタの１次元投票」の処理ループを、対応窓の個数分繰返し実行した後に、各パラメタ毎に最大得票を示すピークを求め、その最大ピークに対応する値を回転パラメタの推定値として採用する。
【００４７】
また、最大ピークの得票数を全投票数で正規化したものを推定幾何変換パラメタの信頼度として採用することができる。推定した回転パラメタが不正確な場合、最終的な類似度計算に悪影響を及ぼす可能性があるため、推定幾何変換パラメタの信頼度が設定した基準値よりも低い場合には、幾何変換パラメタによる画像修正を行なわない扱いとしたり、または、幾何変換パラメタを恒等変換Ｉと設定して実質的に幾何変換を行なわない扱いとする。
【００４８】
次に、上記で推定された回転パラメタを用いて、全ての対応窓に対して並進パラメタＴを計算する。具体的には、（数１）を変形した以下の（数４）に基づいて、並進パラメタ(u,v)を求める。この操作では、推定した回転パラメタＲを用いてモデル画像内窓位置を回転変換した上で、入力画像内窓位置との相対位置を求めていることになる。
【００４９】
【数４】
上記投票により幾何変換パラメタを求める方法を採用すれば、対応窓情報に含まれる誤対応窓や画像内位置情報の変動や不適切な対応窓の組合わせを選択したこと等に起因する推定誤差が低減され、より高精度なパラメタ推定が可能になることが期待される。
【００５１】
（６）幾何変換パラメタによる画像補正処理（ステップＳ６）
幾何変換パラメタによる画像補正処理ステップＳ６では、第１の処理として、推定された幾何変換パラメタを用いて入力画像を幾何変換して画像補正を施す。この幾何変換による画像補正により、アフィン変換であれば図６（ａ）に示したような幾何変換が可能となる。同様に相似変換であれば図６（ｂ）に示したような幾何変換が可能となり、射影変換であれば図６（ｃ）に示したような幾何変換が可能となる。
【００５２】
次に、画像補正処理ステップＳ６では、第２の処理として、幾何変換後の修正画像から再び、窓画像を抽出して特徴空間上でマッピングおよび対応付けを行なう。つまり、図１のフローチャートに示した窓位置選択ステップＳ２に戻り、引き続き、窓画像圧縮処理ステップＳ３、窓照合処理ステップＳ４を実行し、窓画像を特徴空間上にマッピングして対応づける。
【００５３】
図８に幾何変換画像処理を行なって再度窓画像を特徴空間上にマッピングして対応づけた例を示す。この例では“□”で表わされた入力画像の窓画像が、モデル画像１の特徴空間上の投影点グループと精度良く対応づけられるものとなったことが分かる。
【００５４】
なお、推定した幾何変換パラメタを用いて幾何変換する画像は、入力画像としても良く、また、モデル画像としても良い。入力画像またはモデル画像のいずれか一方を幾何変換して他方に幾何的に合わせれば良い。
【００５５】
（７）対応窓の相対位置投票処理（ステップＳ７）
ステップＳ６で得た幾何変換による画像修正後の対応窓情報を基に、入力画像とモデル画像内での窓間の配置関係の整合性を評価する。具体的には、各対応窓毎に、２つの画像の窓位置の差分である相対位置ベクトル(△x,△y)(xは画像横方向、yは画像縦方向)を計算し、各モデル毎に用意された２次元(x,y)投票空間内の対応するポイントに一定数の投票を行う。この投票操作を対応窓の個数分繰り返す。
【００５６】
この投票により次のことが分かる。幾何変換による画像修正の結果、両画像の外形が等しくなれば、画像の差異として残っている要素は、左右上下方向など画像全体の平行移動による位置ずれである。投票対象となる相対位置ベクトルは２つの画像の窓位置の差分であるので、原理的にはすべての対応窓が等量のずれ、つまり同じ相対位置ベクトルを持っていることとなる。つまり、投票の結果、投票が一定値に集中しているほど照合精度が良く、バラツキがあるほど両画像の照合精度が悪いこととなる。
【００５７】
（８）ピーク位置検出・類似度計算処理（ステップＳ８）
上記ステップＳ７の相対位置ベクトル投票処理の後、２次元投票空間内で最大ピークを探索し、そのピーク位置に投票された得票数に基づいて類似度を定義する。上記に示したように投票が投票空間上の一点に集中しているほど照合精度が良く、両画像が一致していることとなる。図９は２次元投票空間内での相対位置ベクトルの投票の様子を示しており、図９（ａ）は投票結果の集中度合いが大きく、照合精度が高い場合を示しており、図９（ｂ）は投票結果の集中度合いが比較的小さく、照合精度が低い場合を示している。
【００５８】
なお、ピーク位置検出により相対位置ベクトルが求まれば、当該相対位置ベクトルを用いて左右上下方向など画像全体のずれを補正することが可能となる。
【００５９】
上記ステップＳ１〜Ｓ８の処理過程により、登録されている各モデル画像と入力画像の類似度を計算し、その値の大小判定や閾値処理を行うことにより、登録人物のうちの誰であるか、または登録されている人物以外の人であるのか等の認識を行う。
【００６０】
なお、上記の説明では、幾何変換パラメタとして、６自由度のアフィン変換パラメタを採用する場合を説明したが、アフィン変換以外の幾何変換であっても同様に本発明の思想を適用することができる。例えば、撮像カメラに対する認識対象の動きがＸ，Ｙ，Ｚ方向の並進運動とＺ軸まわりの回転による相似変換である場合には、並進(u,v)、スケールs，Ｚ軸まわりの回転γの4つのパラメタが推定すべき幾何変換パラメタとなる。この回転パラメタＲと並進パラメタＴは、上記の（数２）のようになる。
【００６１】
したがって、このＲ,Ｔを用いて幾何変換を表現することにより、上記で説明した方法を適用し、幾何変換パラメタs,γ,(u,v)を求めることが可能である。
【００６２】
以上、本実施形態１の画像照合方法によれば、モデル画像と入力画像間の幾何学的関係の推定を行い、その推定値に基づいて、モデル画像もしくは入力画像に適切な幾何変換処理を施し、モデル画像と入力画像関の幾何学的なずれを吸収した上で画像照合処理を実行する。その結果、従来手法では困難であった、モデル画像と入力画像間で顔姿勢・スケールが変化した場合においても、照合精度を低下させずに高い精度で照合処理を実行することが可能となる。
【００６３】
（実施形態２）
本実施形態２は、当初与えられた入力画像を用いて幾何変換パラメタを推定し、当該推定した幾何変換パラメタを用いて、撮影状態、撮影環境のパラメタを変更し、入力画像を再度撮影することにより照合に適した入力画像を得るものである。
【００６４】
本実施形態２の例として、銀行の自動預け払い機（ＡＴＭ）において本発明の画像照合方法を用いる場合の１バリエーションを説明する。
【００６５】
従来のＡＴＭでは、本人認証の手段として、キャッシュカードと４桁の暗証番号入力により行なっている。このＡＴＭでの本人認証手段として、バイオメトリックな認証方法が研究されている。その中には顔画像入力による本人認証、指紋による本人認証などがある。顔画像入力による本人認証であれば、カメラによりＡＴＭ利用者の顔画像を撮影し、あらかじめ登録している本人の顔画像と照合する。ここで、本実施形態２の画像照合方法は、以下の処理を行なう。
【００６６】
まず、ＡＴＭ利用者の顔画像をカメラにより撮影する（ステップＳ１００１）。
【００６７】
次に、入力された撮影画像と認証用の登録画像を基に、本発明の実施形態１に示したアイゲンウィンドウ法を用いた照合処理過程において幾何変換パラメタを推定する（ステップＳ１００２）。例えば、アフィン変換の幾何変換パラメタを推定する。
【００６８】
次に、推定した幾何変換パラメタを用いて撮影状態、撮影環境を調整する（ステップＳ１００３）。実施形態１では、推定した幾何変換パラメタを用いて入力画像またはモデル画像のいずれか一方を画像修正し、他方に合わせる処理を施していたが、本実施形態２では、撮影状態、撮影環境を調整して再撮影を行なう。例えば、カメラの向きや角度、フォーカスなどの調整、利用者とカメラ間の距離を補正する。また、利用者インタフェース画面を通じて利用者の立ち位置に関するガイダンスを表示して利用者の立ち位置変更を促したり、顔の角度に関するガイダンスを表示して顔の向きの変更を促したりすることも可能である。また、利用者立ち場所にターンテーブルを用意しておいて利用者の角度を調整することも可能である。
【００６９】
次に、撮影状態、撮影環境の調整後、再撮影を行なう（ステップＳ１００４）。
【００７０】
次に、再撮影した入力画像を基に、再度、図１のフローチャートに示した窓位置選択ステップＳ２に戻り、引き続き、窓画像圧縮処理ステップＳ３、窓照合処理ステップＳ４を実行し、窓画像を特徴空間上にマッピングして対応づけ、さらに、対応窓の相対位置投票処理ステップＳ７、ピーク位置検出・類似度計算処理ステップＳ８を実行して画像照合処理を実行する（ステップＳ１００５）。
【００７１】
以上、本実施形態２の画像照合方法によれば、当初与えられた入力画像を用いて幾何変換パラメタを推定し、当該幾何変換パラメタを用いて、撮影状態、撮影環境のパラメタを変更し、入力画像を再度撮影することにより照合に適した入力画像を得ることができ、照合精度を高めることができる。
【００７２】
（実施形態３）
本実施形態３の画像照合方法は、実施形態１において説明した窓照合処理ステップ（図１のステップＳ４）に関し、改良を加えたものである。
【００７３】
窓照合処理ステップでは、登録済みのモデル窓データと入力窓データを特徴空間内で比較照合し、モデル画像中の各窓データに対し、特徴空間内で最も距離の近い入力画像中の窓データを探索し、対応する窓データの組合わせを対応窓情報としてテーブルなどに記憶する。実施形態１で示した例では、対応窓を探索する場合に、一方の窓に対し、他方の全ての窓から特徴空間内で最近傍窓を探し出す方法を採用した。これに対し、本実施形態３では、画像内位置上で窓の探索範囲を限定し、一方の窓から一定範囲内に存在する窓のみを対象とし、その中から特徴空間内での最近傍窓を探し出すという方法を採る。
【００７４】
図１１は、本実施形態３の窓照合処理の基本概念を示したものである。
【００７５】
顔画像など認識対象が限定されており、直立して正面近くを向いて撮影するなど一定の撮影状態が期待できる場合には、目、鼻、眉、耳、口など切り出される窓画像は、個人差はあるものの画像内において一定の範囲にあることが十分期待できる。例えば、図１１（ａ）の一方の目の窓画像の探索にあたり、図１１（ｂ）の他方の画像上に太枠で示したある一定範囲を探索すれば目の窓画像が存在していることが十分期待できる。この性質に着目すれば、１つの窓画像の照合にあたり、他方の画像中の該当位置周辺範囲に存在する窓画像との照合により対応する窓画像の探索が可能となる。つまり他方の画像中に存在するすべての窓画像との照合処理を行なう必要がない。このように、特徴空間内での最近傍窓の探索範囲を小さくすることができるため、窓照合処理速度を向上させることができる。天地が逆転した状態で入力されたなど特別な場合を除いて、該当位置周辺範囲に対応する窓画像が存在していないことは、そもそも両画像が同じ認識対象ではないということが言える。
【００７６】
なお、特徴空間内での最近傍窓の探索範囲の設定であるが、例えば人間の顔画像の場合、各窓画像の対象となる部分、例えば目部分について、位置や大きさなど統計的なバラツキの範囲を加味した上で設定すれば良い。
【００７７】
以上、実施形態３の画像照合方法によれば、特徴空間内での最近傍窓の探索範囲を小さくすることができるため、窓照合処理速度を向上させることができる。また、それと同時に、実際は対応していない窓同士を対応窓として選択してしまう誤対応の発生を低減することが期待できるため、推定される幾何変換パラメタの精度を向上させることが可能となる。
【００７８】
（実施形態４）
本実施形態４の画像照合方法は、実施形態１において説明した対応窓の相対位置投票処理ステップ（図１のステップＳ７）に関し、改良を加えたものである。
【００７９】
対応窓の相対位置投票処理ステップでは、実施形態１で説明した幾何変換パラメタによる画像補正処理Ｓ６による画像修正の後、対応窓情報を基に入力画像とモデル画像内での窓間の配置関係の整合性を評価するため、各対応窓毎に２つの画像の窓位置の差分である相対位置ベクトルを計算し、各モデル毎に用意された２次元(x,y)投票空間内の対応するポイントに一定数の投票操作を対応窓の個数分繰り返して行なう。実施形態１では、投票処理に際し、各対応窓ごとに一定の投票数を割り当てて投票空間上の相対位置ポイントに投票していた。それに対して本実施形態４の画像照合処理方法では、対応窓の特徴空間内での距離に応じて決定された投票数を、投票空間上の画像内相対位置で示されるポイントに投票する方法を採用する。例えば、対応窓の「見え」の近さを類似度に反映させるため、対応する窓同士の特徴空間内での距離値が小さい程、投票数が大きくなるように線形関係を設定して投票数を決定する。
【００８０】
この操作により、対応窓の特徴空間内距離、つまり対応窓の「見え」の近さが大きい程、投票ポイントを高く設定して対応窓の「見え」の近さを類似度計算に反映することができる。顔の場合で考えると、たとえ窓に相当する顔部品の位置関係が一致しても、顔部品の「見え」に違いがあると、類似度が低く出力される。その結果、従来手法と比較して、本人と他人の顔造作の違いが類似度の差として現れやすくなるため、最終的な識別精度を向上させることが可能となる。特に、個人認証での他人受理率の抑制が可能となる。
【００８１】
（実施形態５）
本発明の画像照合装置の実施形態を以下に示す。本実施形態５の画像照合装置は、上記実施形態１〜４に示した本発明の画像照合方法を実施できる装置である。本装置を適用可能なプラットフォームとしては、パーソナルコンピュータ、ワークステーションに加え、銀行のＡＴＭや、入退室管理装置など多様な装置が挙げられる。
【００８２】
最初に、本実施形態５の画像照合装置の全体構成の概略と本システムによる処理流れの全体像を図面を参照しつつ説明する。
【００８３】
図１２は、本実施形態５にかかる画像照合装置の概略構成図を示している。
【００８４】
図１２に示すように、本発明の画像照合装置は、大別して、画像入力部１０、登録画像データ格納部２０、幾何変換パラメタ推定部３０、幾何変換部４０、画像照合部５０を備えている。なお、図示していないが、システム全体の制御処理に必要なコントローラ、メモリ、ユーザーインタフェースなどは装備している。
【００８５】
画像入力部１０は、画像照合を行なう入力画像を取り込む部分である。利用形態に合わせて、画像データ撮影のためのカメラ１１、ファイル入力のための画像ファイル入力部１２を備えている。また、実施形態２で説明した撮影条件、撮影環境を調整して再撮影する方法に対応できるように撮影条件環境調整部１３を備えている。撮影条件環境調整部１３は、利用形態に合わせて、カメラ１１の可動制御部、ターンテーブルなどのカメラ被写体の角度・位置調整部、照明条件などを変更する撮影環境調整部などを備えている。
【００８６】
登録画像データ格納部２０は、画像照合に用いるモデル画像を登録・格納する部分で、例えば、大容量のハードディスクなど記憶装置と制御部分を備えている。なお、実施形態１で説明したように前処理としてモデル画像から窓画像情報を抽出しておく場合には、当該モデル画像の窓画像情報を登録画像データの一部として格納する。
【００８７】
幾何変換パラメタ推定部３０は、幾何変換パラメタを推定する部分であり、幾何変換パラメタ指定部３１、窓画像切り出し部３２、窓画像圧縮部３３、窓画像対応付け部３４、幾何変換パラメタ計算部３５、推定幾何変換パラメタ評価部３６を備えている。
【００８８】
幾何変換パラメタ指定部３１は、利用形態に応じて採用する幾何変換パラメタを指定する部分であり、実施形態１で説明したように、アフィン変換、相似変換、射影変換など用いる幾何変換を指定する。もちろんデフォルトとして固定しておいても良いし、利用者が幾何変換を指定入力しても良く、また、当該画像照合装置が画像照合の過程で自動的に選定しても良い。
【００８９】
窓画像切り出し部３２は、実施形態１で説明した対象領域の切り出し処理および窓位置選択処理を実行する部分であり、利用形態に応じてエッジ検出機能、特徴点検出機能、窓画像検出機能、正規化処理機能などを備えている。
【００９０】
窓画像圧縮部３３は、窓画像に対して、次元圧縮のための画像変換を行う部分であり、利用形態に応じて窓画像に対し、ＫＬ展開、ウェーブレット変換、フーリエ変換、ＤＣＴ変換など適した画像変換を施して窓データを生成するものである。
【００９１】
窓画像対応付け部３４は、モデル窓データと入力窓データを特徴空間内で比較照合し、モデル画像中の各窓データに対して特徴空間内で最も距離の近い入力画像中の窓データを探索し、窓データを対応付けて組合わせを対応窓情報として得る部分である。窓データを特徴空間に投影する特徴空間投影処理機能、投影された各窓データ間の特徴空間内における距離を計算する特徴距離計算処理機能、距離が相互に最も近く対応し合う窓データ同士を対応づける対応窓決定処理機能、対応窓情報格納テーブルを備えている。
【００９２】
なお、利用形態として、実施形態３で説明した窓対応付け処理の改良を適用する場合には、上記の特徴距離計算処理機能において、一の窓データから特徴距離を計算する対象となる窓データの範囲を画像上での位置が一定距離内にあるもののみに制限する機能を併せ持つ。
【００９３】
幾何変換パラメタ計算部３５は、対応窓情報の中から複数の組合せを選び出し、それらの画像位置情報を基にモデル画像・入力画像間の幾何変換を表す幾何変換パラメタの計算を行う部分である。実施形態１で説明したように、採用されている幾何変換の自由度に応じて幾何変換パラメタ計算に必要な対応窓情報のセット数分、対応窓情報格納テーブルから対応窓情報を選び出す機能と、実施形態１で説明した（数１）〜（数４）などをから幾何変換パラメタを計算する機能を備えている。アフィン変換であれば、回転パラメタr［0］,r［1］,r[2］,r［3］の値と、並進パラメタ(u,v)を計算する。
【００９４】
なお、実施形態１で説明したように、推定幾何変換パラメタを評価する場合には、この幾何変換パラメタ計算部３５において、異なる組み合わせの対応窓情報セットの選定および幾何変換パラメタ計算を繰り返し、複数の幾何変換パラメタを得る。
【００９５】
推定幾何変換パラメタ評価部３６は、幾何変換パラメタ計算部３５が計算した複数の幾何変換パラメタを基にしてより確からしい幾何変換パラメタの値を評価して決定する部分である。複数の幾何変換パラメタの平均値処理、ヒストグラム処理、最小二乗推定処理などがあり、例えば、ヒストグラム処理では、幾何変換パラメタ値を１次元投票空間に投票し、最大得票を示すピークを求め、その最大ピークに対応する値を回転パラメタの推定値とする。また、最大ピークの得票数を全投票数で正規化したものを推定幾何変換パラメタの信頼度として採用することができる。
【００９６】
幾何変換部４０は、実施形態１で述べた幾何変換パラメタによる画像補正処理を実行する部分であり、得られた幾何変換パラメタを基に、画像幾何変換を施し、モデル画像と入力画像の幾何的差異を補正する。幾何変換を施す画像は、入力画像またはモデル画像のいずれか一方で良い。例えば入力画像に幾何変換を施す。
【００９７】
なお、幾何変換部４０による画像幾何変換後、再度、窓画像切り出し処理、窓画像圧縮処理、窓画像対応付け処理を行なう必要がある。上記幾何変換パラメタ推定部３０の窓画像切り出し部３２、窓画像圧縮部３３、窓画像対応付け部３４を利用しても良いし、それら構成要素と同様のものを幾何変換部４０が備えている構成でも良い。本実施形態５では、処理の流れを分かりやすく説明するため、ブロック構成図上、幾何変換部４０がそれら構成要素、窓画像切り出し部４２、窓画像圧縮部４３、窓画像対応付け部４４を備えている構成とする。
【００９８】
画像照合部５０は、幾何変換による画像修正後の対応窓情報を基に、入力画像とモデル画像内での窓間の配置関係の整合性を評価する部分であり、２つの画像の窓位置の差分である相対位置ベクトルの計算機能、相対位置ベクトルを用意された２次元(x,y)投票空間内の対応するポイントに一定数の投票を行う投票機能、２次元投票空間内で最大ピークを探索し、そのピーク位置に投票された得票数に基づいて類似度を計算する類似度計算機能を備えている。
【００９９】
本発明の画像照合装置は、以上の構成を備えている。処理の流れの概略は、図１に示したフローチャートと同様であるのでここでは、適宜省略する。
【０１００】
（実施形態６）
実施形態６にかかる画像照合装置について図面を参照しながら説明する。本実施形態６は、実施形態５に示した画像照合装置をクライアントサーバ構成で構築した例である。
【０１０１】
図１３は、画像照合装置をクライアントサーバ構成で構築したシステムの全体概略構成を示している。図１３に示すように、１００は画像照合サーバ、１０１は画像照合クライアント、１０２はネットワーク網である。画像照合サーバ１００は、登録画像格納部２０、幾何変換パラメタ推定部３０、幾何変換部４０、画像照合部５０、ネットワーク接続のための通信インタフェース７０を備えており、画像照合クライアント１０１は、画像入力部１０を備えており、それぞれ実施形態５において同じ構成名で説明したものと基本的に同じものである。また、ユーザインタフェース部６０、通信インタフェース７０を備えている。ネットワーク１０２は、データを通信できるものであれば良く、ローカルエリアネットワーク、インターネットなどのネットワーク網であり、専用線、公衆回線、有線、無線を問わない。
【０１０２】
クライアントサーバ構成の画像照合装置による処理の流れの全体像は以下の通りである。まず、利用者は、画像照合クライアント１０１のユーザインタフェースから人物認証を受ける人の顔画像を入力する。画像照合クライアント１０１は通信インタフェースを介して顔画像を発信する。発信された顔画像ネットワーク網１０２を経由して画像照合サーバ１００に通信インタフェースを介して受信される。画像照合サーバ１００において実施形態１で説明したものと同様の処理が行われ、幾何変換パラメタの推定、画像幾何変換、画像照合を実行し、人物認証の適否の回答を画像照合クライアント１０１に返信する。なお、利用形態実施形態２で説明したように顔画像の再撮影を要求する運用であれば、画像照合クライアント１０１は、必要に応じて幾何変換パラメタを手掛かりに撮影条件、環境条件を調整して顔画像を再撮影する。その際、ユーザインタフェースからガイダンスを出しても良い。
【０１０３】
なお、本実施形態６のクライアントサーバシステム構成においても、画像照合処理に先立ち、画像照合サーバ１００におけるモデル窓データ作成は前処理として行っておくことが好ましい。
【０１０４】
（実施形態７）
本発明の画像照合方法、画像照合装置は、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明の画像照合装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図１４に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０２やフレキシブルディスク２０３等の可搬型記録媒体２０１だけでなく、ネットワーク上にある記録装置内の記録媒体２００や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０４上にローディングされ、主メモリ上で実行される。
【０１０５】
【発明の効果】
以上のように本発明の画像照合方法、画像照合装置によれば、モデル画像と入力画像間の幾何学的関係の推定を行い、その推定値に基づいて、モデル画像もしくは入力画像に適切な幾何変換処理を施し、モデル画像と入力画像関の幾何学的なずれを吸収した上で画像照合処理を実行できる。その結果、従来手法では困難であった、モデル画像と入力画像間で顔姿勢・スケールが変化した場合においても、照合精度を低下させずに高い精度で照合処理を実行することが可能となる。
【０１０６】
また、本発明の画像照合方法、画像照合装置において、当初与えられた入力画像を用いて幾何変換パラメタを推定し、当該幾何変換パラメタを用いて、撮影状態、撮影環境のパラメタを変更し、入力画像を再度撮影することにより照合に適した入力画像を得ることができ、照合精度を高めることができる。
【０１０７】
さらに、特徴空間内での最近傍窓の探索範囲を小さくするという窓照合処理の改善により窓照合速度を向上させることができる。また、画像照合処理の対応窓画像の相対位置投票処理において特徴空間内での距離に応じて決定された投票数を用いた投票を行なう改善により照合精度を向上させることができる。
【図面の簡単な説明】
【図１】 本発明のアイゲンウィンドウ法を用いた画像照合方法による処理過程の概略を示すフローチャート
【図２】 本発明の画像から窓画像を切り出した様子を示す図
【図３】 本発明の特徴空間と窓画像のマッピングの例を示す図
【図４】 本発明の入力画像の窓データを特徴空間に投影した例を示す図
【図５】 本発明の対応窓情報の組み合わせを記録したテーブルの例を示す図
【図６】 幾何変換の例を示す図
【図７】 対応窓情報の中から、組の対応窓を選択する様子を説明する図
【図８】 本発明の入力画像の窓データを幾何変換画像修正後に特徴空間に投影した様子を示す図
【図９】 ２次元投票空間内での相対位置ベクトルの投票の様子を示す図
【図１０】 本発明の実施形態２の画像照合方法による処理過程の概略を示すフローチャート
【図１１】 本発明の実施形態３の窓照合処理の基本概念を示した図
【図１２】 本発明の実施形態５の画像照合装置の概略構成図
【図１３】 本発明の実施形態６のクライアントサーバ構成で構築した画像照合装置のシステム全体の概略構成図
【図１４】 本発明の実施形態７の処理プログラムを記録した記録媒体の例を示す図
【符号の説明】
１０ 画像入力部
１１ カメラ
１２ 画像ファイル入力部
１３ 撮影条件環境調整部
２０ 登録画像データ格納部
３０ 幾何変換パラメタ推定部
３１ 幾何変換パラメタ指定部
３２，４２ 窓画像切り出し部
３３，４３ 窓画像圧縮部
３４，４４ 窓画像対応付け部
３５ 幾何変換パラメタ計算部
３６ 推定幾何変換パラメタ評価部
４０ 幾何変換部
５０ 画像照合部
１００ 画像照合サーバ
１０１ 画像照合クライアント
１０２ ネットワーク網
２００ 回線先のハードディスク等の記録媒体
２０１ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
２０２ ＣＤ−ＲＯＭ
２０３ フレキシブルディスク
２０４ コンピュータ
２０５ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
Claims (7)
- 認識対象が含まれる入力画像と、あらかじめ登録済みの対象を含むモデル画像群を比較照合することにより、入力画像中に存在する認識対象を同定する画像照合方法であって、
前記入力画像および前記モデル画像からそれぞれ複数の特徴的な局所領域を切り出す処理と、
選択した局所領域の画像情報を特徴空間上の点集合に投影する処理と、
一方の画像の局所領域ごとに、前記特徴空間内において最も近傍の位置に投影されている他方の画像の局所領域を探索して、前記入力画像の局所領域と前記モデル画像の局所領域とを対応づける処理と、
前記対応付けられた一方の画像の局所領域と他方の画像の局所領域についての各画像間の画像内位置関係に基づいて入力画像とモデル画像間の幾何変換パラメタを推定する幾何変換パラメタ推定処理と、
前記推定した幾何変換パラメタを用いて前記一方の画像の局所領域の画像情報か画像全体の画像情報か画像内の局所領域の位置情報のいずれかに対して幾何変換を施し、前記対応付けられた局所領域両者の整合性を評価して照合する処理を備えた画像照合処理方法。 - 前記幾何変換パラメタ推定処理において、前記対応付けられた局所領域による幾何変換パラメタの推定処理を少なくとも一つは異なる複数の局所領域を選択して繰り返し、得られた複数の推定した幾何変換パラメタ群を基に幾何変換パラメタを決定する請求項１に記載の画像照合処理方法。
- 前記幾何変換パラメタ群を基にした幾何変換パラメタの決定において、幾何変換パラメタ群のばらつき度合いに基づいて推定幾何変換パラメタの信頼度を算出し、前記信頼度に基づいて幾何変換パラメタを決定する請求項２に記載の画像照合処理方法。
- 前記局所領域同士を対応づける処理において、他方の画像の局所領域であって、一方の画像の局所領域の当該画像内の相対位置に対応する他方の画像における位置から一定の範囲内に存在する局所領域に絞り込んで、前記特徴空間内における局所領域の探索を実行し、局所領域の対応づけを行なう請求項１に記載の画像照合処理方法。
- 前記対応付けられた局所領域両者の整合性を評価して照合する処理において、対応付けられている局所領域間の画像内相対位置と特徴空間内距離を求め、前記特徴空間内距離に応じて投票数重み付けを行ない、投票空間上の画像内相対位置で示されるポイントに投票し、その結果得られる投票ピークへの集中度合いに基づいて、入力画像とモデル画像の類似度を計算する請求項１に記載の画像照合処理方法。
- 認識対象が含まれる入力画像と、あらかじめ登録済みの対象を含むモデル画像群を比較照合することにより、入力画像中に存在する認識対象を同定する画像照合装置であって、
入力画像を入力する画像入力部と、
モデル画像を登録・格納するモデル画像格納部と、
前記入力画像および前記モデル画像から特徴的な局所領域を切り出す局所領域切り出し部と、
選択した局所領域の画像情報を特徴空間上の点集合に投影し、一方の画像の局所領域ごとに、前記特徴空間内において最も近傍の位置に投影されている他方の画像の局所領域を探索して、前記入力画像の局所領域と前記モデル画像の局所領域とを対応づける局所領域対応付け部と、前記対応付けられた一方の画像の局所領域と他方の画像の局所領域についての各画像間の画像内位置関係に基づいて入力画像とモデル画像間の幾何変換パラメタを推定する幾何変換パラメタ計算部を備えた幾何変換パラメタ推定部と、
前記推定した幾何変換パラメタを用いて前記一方の画像の局所領域の画像情報か画像全体の画像情報か画像内の局所領域の位置情報のいずれかに対して幾何変換を施す画像幾何変換部と、
前記幾何変換した局所領域を用いて局所領域相互間の整合性を評価して照合する画像照合部とを備えた画像照合処理装置。 - 認識対象が含まれる入力画像と、あらかじめ登録済みの対象を含むモデル画像群を比較照合することにより、入力画像中に存在する認識対象を同定する画像照合装置を実現する画像照合処理プログラムを記述したコンピュータ読み取り可能な記録媒体であって、
前記入力画像および前記モデル画像からそれぞれ複数の特徴的な局所領域を切り出す処理ステップと、
選択した局所領域の画像情報を特徴空間上の点集合に投影する処理ステップと、
一方の画像の局所領域ごとに、前記特徴空間内において最も近傍の位置に投影されている他方の画像の局所領域を探索して、前記入力画像の局所領域と前記モデル画像の局所領域とを対応づける処理ステップと、
前記対応付けられた一方の画像の局所領域と他方の画像の局所領域についての各画像間の画像内位置関係に基づいて入力画像とモデル画像間の幾何変換パラメタを推定する幾何変換パラメタ推定処理ステップと、
前記推定した幾何変換パラメタを用いて前記一方の画像の局所領域の画像情報か画像全体の画像情報か画像内の局所領域の位置情報のいずれかに対して幾何変換を施し、前記対応付けられた局所領域両者の整合性を評価して照合する処理ステップとを、前記画像照合装置に実行させるための画像照合処理プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27196499A JP4426029B2 (ja) | 1999-09-27 | 1999-09-27 | 画像照合方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27196499A JP4426029B2 (ja) | 1999-09-27 | 1999-09-27 | 画像照合方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001092963A JP2001092963A (ja) | 2001-04-06 |
| JP4426029B2 true JP4426029B2 (ja) | 2010-03-03 |
Family
ID=17507274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27196499A Expired - Fee Related JP4426029B2 (ja) | 1999-09-27 | 1999-09-27 | 画像照合方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4426029B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443218A (zh) * | 2019-08-13 | 2019-11-12 | 北京百度网讯科技有限公司 | 一种人物检测方法和装置 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100473598B1 (ko) | 2002-11-04 | 2005-03-11 | 삼성전자주식회사 | 가려진 얼굴영상을 판단하는 시스템 및 방법 |
| JP4645411B2 (ja) * | 2005-10-28 | 2011-03-09 | コニカミノルタホールディングス株式会社 | 認証システム、登録システム及びプログラム |
| WO2009060975A1 (ja) | 2007-11-08 | 2009-05-14 | Nec Corporation | 特徴点配置照合装置及び画像照合装置、その方法及びプログラム |
| CN101946264B (zh) | 2008-02-19 | 2012-12-05 | 日本电气株式会社 | 模式验证设备和模式验证方法 |
| EP2387003A1 (en) | 2008-11-10 | 2011-11-16 | NEC Corporation | Image matching device, image matching method, and image matching program |
| CN102725774B (zh) * | 2010-01-08 | 2015-06-17 | 日本电气株式会社 | 相似度计算设备、相似度计算方法及程序 |
| JP5505323B2 (ja) * | 2011-01-25 | 2014-05-28 | 富士通株式会社 | 生体認証装置、生体認証装置を制御する制御プログラム、生体認証装置を制御する制御方法及び生体認証システムの制御方法 |
| EP2680223A1 (en) | 2011-02-23 | 2014-01-01 | Nec Corporation | Feature point matching device, feature point matching method, and non-temporary computer-readable medium having feature point matching program stored thereon |
| JP6217225B2 (ja) * | 2013-08-08 | 2017-10-25 | カシオ計算機株式会社 | 画像照合装置、画像照合方法及びプログラム |
| WO2015178001A1 (ja) * | 2014-05-19 | 2015-11-26 | 日本電気株式会社 | 画像照合システム、画像照合方法、およびプログラムを記憶する記録媒体 |
| JP6322593B2 (ja) * | 2015-02-24 | 2018-05-09 | 日本電信電話株式会社 | 画像照合装置、及び方法 |
| CN117036490B (zh) * | 2023-10-10 | 2024-01-19 | 长沙能川信息科技有限公司 | 摄像机预置位偏移检测方法、装置、计算机设备与介质 |
| CN117456459A (zh) * | 2023-11-03 | 2024-01-26 | 广东电网有限责任公司广州供电局 | 电力线路警示方法、装置、计算机设备和存储介质 |
-
1999
- 1999-09-27 JP JP27196499A patent/JP4426029B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443218A (zh) * | 2019-08-13 | 2019-11-12 | 北京百度网讯科技有限公司 | 一种人物检测方法和装置 |
| CN110443218B (zh) * | 2019-08-13 | 2022-01-28 | 北京百度网讯科技有限公司 | 一种人物检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001092963A (ja) | 2001-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1629415B1 (en) | Face identification verification using frontal and side views | |
| Spreeuwers | Fast and accurate 3D face recognition: using registration to an intrinsic coordinate system and fusion of multiple region classifiers | |
| JP3954484B2 (ja) | 画像処理装置およびプログラム | |
| US7925060B2 (en) | Authentication system and registration system related to facial feature information | |
| Maes et al. | Feature detection on 3D face surfaces for pose normalisation and recognition | |
| JP4443722B2 (ja) | 画像認識装置及び方法 | |
| US8184914B2 (en) | Method and system of person identification by facial image | |
| JP4426029B2 (ja) | 画像照合方法および装置 | |
| US20110091113A1 (en) | Image processing apparatus and method, and computer-readable storage medium | |
| US20070050639A1 (en) | Authentication apparatus and authentication method | |
| JP2009053916A (ja) | 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム | |
| Russ et al. | A 2D range Hausdorff approach for 3D face recognition | |
| JP4992289B2 (ja) | 認証システム、認証方法、及びプログラム | |
| JP2000306095A (ja) | 画像照合・検索システム | |
| Kose et al. | Shape and texture based countermeasure to protect face recognition systems against mask attacks | |
| JP3888676B2 (ja) | ３次元物体認識装置及びその方法 | |
| Ratan et al. | Object detection and localization by dynamic template warping | |
| WO2008056777A1 (fr) | Système d'authentification et procédé d'authentification | |
| JP4952267B2 (ja) | ３次元形状処理装置、３次元形状処理装置の制御方法、および３次元形状処理装置の制御プログラム | |
| US20070046662A1 (en) | Authentication apparatus and authentication method | |
| KR20020022295A (ko) | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 | |
| JP2006277146A (ja) | 照合方法および照合装置 | |
| US7957555B2 (en) | Method and apparatus for localizing an object part in digital image data by updating an initial position estimate based on a displacement of the object part | |
| JP2002208011A (ja) | 画像照合処理システムおよび画像照合方法 | |
| Gupta et al. | Facial range image matching using the complexwavelet structural similarity metric |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060704 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090917 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091210 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131218 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |