JP4468756B2 - 画像の相関ベース類似度を演算する類似度演算装置、認識装置、類似度演算方法、認識方法、照合用プログラム及びそれを記録した記録媒体 - Google Patents

Description

この発明は、たとえば顔画像その他の画像認識に適用可能な画像類似度演算装置およびそれを利用した画像認識装置、画像類似度演算方法およびそれを利用した画像認識方法、ならびに画像照合用コンピュータプログラムおよびそれを記録した記録媒体に関する。

特定の区域への立ち入りを制限する場合、入口での個人認証が行われる。個人認証のために従来から用いられてきた装置の一つの例は、カード読取装置である。この場合、立ち入りが許可された者に予め磁気カードのような識別カードが配布される。立ち入り制限区域に立ち入ろうとする者は、入口に配置されたカード読取装置により、識別カードに記録された識別情報を読み取らせる。読み取られた識別情報が予め登録されている識別情報と一致すれば、立ち入りが許可され、入口に設置されたゲートが開かれるか、またはドアロックが解錠される。

しかし、このようなシステムでは、カードの携行を忘れたり、カードを紛失したりすると、たとえ立ち入りが許可された者であっても、入場ができなくなる。また、カードの盗難により、セキュリティが容易に破られてしまうという問題もある。
個人認証のための従来の装置の他の例は、パスワード入力装置である。この場合、立ち入りが許可された者には、予めパスワードが教示される。立ち入り制限区域に入場しようとする者は、入口に配置されたパスワード入力装置からパスワードを入力する。その入力結果が予め登録されているパスワードと一致すれば、立ち入りが許可され、入口に設置されたゲートが開かれるか、ドアロックが解錠される。

このシステムでは、カードの携行忘れや紛失のおそれはない。しかし、立ち入りが許可されている者がパスワードを失念してしまえば、やはりその者の入場が不可能になる。また、パスワードが漏洩すれば、セキュリティが破られてしまう。
最近では、人間の生体情報（バイオメトリクスデータ）を用いた個人認証技術の開発が盛んに行われている。生体情報を用いた個人認証であれば、前述のような問題はいずれも解消される。

生体情報を用いた個人認証技術には、指紋を利用するもの、虹彩を利用するもの、顔画像を利用するものなどがある。ところが、指紋を利用する場合には、指紋を予め登録しておく必要がある。そのため、抵抗感を持つ使用者が少なくない。また、虹彩を利用した個人認証のためには、使用者は、認証時に、カメラに極近接した位置に目の位置を合わさなければならない。したがって、使用者は、個人認証手続を強く意識することになり、煩わしさを感じることになる。顔画像を利用した個人認証にはこのような欠点がなく、抵抗感の少ない個人認証システムを構築できる可能性がある。

顔画像を用いた個人認証には、顔画像を認識するために、たとえばコンピュータシステムによって構成された画像認識装置が用いられる（特許文献１および特許文献２）。この画像認識装置は、立ち入り制限区域への入場が許可されている人物の顔画像の画像データまたはその画像データの特徴量データを照合データとして予め登録した照合データ記憶手段を備えている。さらに、画像認識装置は、認識対象の人物の顔画像を撮像して画像データに変換する撮像装置と、この撮像装置が出力する画像データと照合データ記憶手段の登録データとを照合する照合手段と、この照合手段による照合結果に基づいて認識結果を出力する判定手段とを有している。

照合手段は、撮像装置によって撮像された顔画像と照合データ記憶手段に登録された照合データに対応する顔画像との類似度を演算する。判定手段は、演算された類似度を所定の認識しきい値と比較し、その類似度が認識しきい値を超える場合に、認識対象の人物が照合データ記憶手段に登録されている人物の一人と一致する旨の判定結果を出力する。
顔画像の照合のための先行技術は、たとえば、下記非特許文献１に示されている。この非特許文献１に開示された先行技術では、ブースティングアルゴリズムを用いた学習によって予め選択された複数のフィルタが用いられる。この複数のフィルタは、形状、大きさおよび位置のいずれかが異なるフィルタ領域を顔画像中に設定する。フィルタ領域内は２つの部分領域に分割され、それぞれの部分領域内の画素値の総和が求められる。そして、２つの部分領域の画素値総和の差がフィルタ応答値として求められる。このフィルタ応答値が、被照合顔画像と登録顔画像との間で近似していれば、それらは同一人物の画像ペアである可能性が高いと判断でき、フィルタ応答値が近似していなければ他人の画像ペアである可能性が高いと判断できる。

このようなフィルタがブースティングによって複数個求められ、個々のフィルタを用いた識別結果（弱仮説）を重み付けして加算することにより、画像ペアの類似度が求められる。この類似度が所定のしきい値よりも高ければ、当該画像ペアは同一人物のものであると判断され、類似度が当該しきい値以下であれば、当該画像ペアは他人のものであると判断される。
特開２００３−３４６１４９号公報 特開２００１−２６６１５１号公報 Michael J. Jonesら著、「Face Recognition Using Boosted Local Features」、２００３年、MITSUBISHI ELECTRIC RESEARCH LABORATORIES、［２００４年６月２８日検索］、インターネット＜URL: http://www.merl.com/reports/docs/TR2003-25.pdf＞ Yoav Freundら著、「A decision-theoretic generalization of on-line learning and an application to boosting」、Journal of Computer and System Sciences、１９９７年、p.119-139

しかし、フィルタ応答値の差を特徴量として画像を認識する前述の先行技術では、必ずしも類似度（同一人物らしさ）を正確に検出できない場合がある。また、認識対象人物の撮像時の照明条件、認識対象人物の姿勢およびその表情のような変動要因に対する頑健さの点でも必ずしも十分ではない。
たとえば、同一人物の画像Ｉ¹，Ｉ²のペアに関して、これらの画像中に共通に設定した第１および第２領域Ｐ₁，Ｐ₂内の各複数箇所の画素値が、図２１に示すような値をとる場合を想定する。この場合、第１領域Ｐ₁の画像が大きな変化を含んでいるのに対して、第２領域Ｐ₂の画像はノイズのような微小な変化を含んでいるに過ぎない。すなわち、第１領域Ｐ₁の方が明らかに重要な情報を含んでいる。

ところが、第１領域Ｐ₁におけるフィルタ応答値の画像Ｉ¹，Ｉ²間の差は、｜（６−１）−（７−０）｜＝２であり、第２領域Ｐ₂におけるフィルタ応答値の画像Ｉ¹，Ｉ²間の差は、｜（１−０）−（１−１）｜＝１である。フィルタ応答値は、絶対値が小さいほど同一人物らしいという意味合いを持つから、学習の過程において、フィルタ領域として、第１領域Ｐ₁は選択されずに第２領域Ｐ₂が選択されることになる。

これにより、類似度の演算が必ずしも正確に行えなくなるとともに、ノイズ等の変動に対して過敏な顔画像認識処理が行われるおそれがあり、変動に対する頑健さが不足するおそれがある。
そこで、この発明の目的は、一対の画像の類似度を正確に演算することができる画像類似度演算装置および画像類似度演算方法、ならびにこれらを利用した画像認識装置および画像認識方法を提供することである。

また、この発明の他の目的は、一対の画像の照合を正確に行うことができる装置としてコンピュータを動作させることができるコンピュータプログラムおよびそれを記録した記録媒体を提供することである。

上記の目的を達成するための請求項１記載の発明は、第１画像Ｉ^１と第２画像Ｉ^２との類似度を求めるための装置であって、前記第１画像Ｉ^１および第２画像Ｉ^２中に共通に設定可能なＴ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）のそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kおよび前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内における対応するｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
を演算する相関値演算手段と、この相関値演算手段によって求められたＴ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算手段とを含み、前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、前記相関ベース類似度演算手段は、前記相関値演算手段によって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を出力し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ （ただし、Ｈ _１ ＞Ｈ _２ ）を出力する比較手段と、前記Ｔ個の特徴領域Ａ _ｊ についての前記比較手段の出力値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
を演算する重み付け加算手段とを含むことを特徴とする画像類似度演算装置である。

この構成によれば、第１および第２画像Ｉ¹，Ｉ²中に共通に設定したＴ個の特徴領域Ａ₁〜Ａ_Tに関する第１および第２画像Ｉ¹，Ｉ²間の相関値Ｃ₁〜Ｃ_Tに基づいて第１および第２画像Ｉ¹，Ｉ²の類似度が求められる。
たとえば、前述の図２１のような画像ペアについて第１および第２領域Ｐ₁，Ｐ₂の相関値を求める場合を考える。第１領域Ｐ₁についての相関値は、１×０＋６×７＝４３であり、第２領域Ｐ₂についての相関値は、０×１＋１×１＝１である。相関値は、その値が大きいほど、同一人物らしいという意味合いを持つ。したがって、たとえば、学習によって特徴領域Ａ_jを選択するとすれば、第１領域Ｐ₁が優先的に選択されることになる。

このように、相関値を用いることで、学習によって特徴領域を決める際に、より重要な情報が含まれる領域を特徴領域として選択でき、ノイズ程度の情報しか含まない領域の優先度を低くすることができる。したがって、正確に類似度を求めることができ、かつ、変動に対して頑健な（ロバストな）画像類似度演算装置を実現できる。
「類似度」とは、第１および第２画像Ｉ¹，Ｉ２が同一対象物の画像である蓋然性（同一対象物らしさ）、または同種対象物の画像である蓋然性（同種対象物らしさ）の度合いをいう。また、「領域値」とは、領域内の画素値の平均値であってもよいし、領域内の画素値の総和であってもよい。一般に、この領域値は、部分領域の輝度に対応する。

前記Ｔ個の特徴領域は、サイズ、形状、位置および部分領域のうちの少なくともいずれか１つが異なるものであることが好ましい。部分領域ａ_kは、特徴領域Ａ_jをｐ_j個に分割（たとえば、ｐ_j個に等分）して得られる領域であることが好ましい。この場合、特徴領域Ａ_jの分割の態様が異なれば、サイズ、形状および位置が同じであっても、異なる特徴領域として取り扱われることが好ましい。

前記係数α_ｊは、α_ｊ＝β／ｐ_ｊ（βは定数。たとえば、β＝１）のように定められてもよい。ただし、ｐ_ｊがＴ個の特徴領域Ａ_１〜Ａ_Ｔに関して等しい値をとる場合（すなわち、ｐ_１＝ｐ_２＝……＝ｐ_Ｔ）には、α_ｊ＝γ（γは定数）のように定めればよい。
請求項２記載の発明は、第１画像Ｉ^１と第２画像Ｉ^２との類似度を求めるための装置であって、Ｔ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）を、前記第１画像Ｉ^１および第２画像Ｉ^２中に共通に設定する特徴領域設定手段と、この特徴領域設定手段によって設定されたＴ個の特徴領域Ａ_ｊのそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kおよび前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内における対応するｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
を演算する相関値演算手段と、この相関値演算手段によって求められたＴ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算手段とを含み、前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、前記相関ベース類似度演算手段は、前記相関値演算手段によって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を出力し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ （ただし、Ｈ _１ ＞Ｈ _２ ）を出力する比較手段と、前記Ｔ個の特徴領域Ａ _ｊ についての前記比較手段の出力値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
を演算する重み付け加算手段とを含むことを特徴とする画像類似度演算装置である。

この構成により、請求項１の発明と同様な効果を実現できる。
また、この発明では、特徴領域設定手段によって第１および第２画像Ｉ¹，Ｉ²に共通に特徴領域Ａ₁〜Ａ_Tを設定し、各特徴領域Ａ_jについて、第１および第２画像Ｉ¹，Ｉ²間の相関値Ｃ_jが求められる。したがって、たとえば、第１画像Ｉ¹を予め登録しておき、第２画像Ｉ²と照合する際に、第１画像Ｉ¹の画像データ自体を登録しておけばよい。つまり、事前の処理を少なくすることができる。

請求項３記載の発明は、第１画像Ｉ^１と第２画像Ｉ^２との類似度を求めるための装置であって、前記第１画像Ｉ^１および第２画像Ｉ^２中に共通に設定可能なＴ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）のそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kを、前記第１画像Ｉ^１の特徴量を表す照合データとして記憶した照合データ記憶手段と、前記Ｔ個の特徴領域Ａ_ｊを、前記第２画像Ｉ^２中に設定する特徴領域設定手段と、この特徴領域設定手段によって設定されたＴ個の特徴領域Ａ_ｊのそれぞれに関して、前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内におけるｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kを前記第２画像Ｉ^２の特徴量として演算する特徴量演算手段と、前記Ｔ個の特徴領域Ａ_ｊのそれぞれに関して、前記照合データ記憶手段に記憶された第１画像Ｉ^１の領域値ｘ¹ _k-と、前記特徴量演算手段によって演算された第２画像Ｉ^２の領域値ｘ² _kとに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
を演算する相関値演算手段と、この相関値演算手段によって求められたＴ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算手段とを含み、前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、前記相関ベース類似度演算手段は、前記相関値演算手段によって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を出力し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ （ただし、Ｈ _１ ＞Ｈ _２ ）を出力する比較手段と、前記Ｔ個の特徴領域Ａ _ｊ についての前記比較手段の出力値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
を演算する重み付け加算手段とを含むことを特徴とする画像類似度演算装置である。

この構成により、請求項１の発明と同様な効果を実現できる。
また、この発明では、第１画像Ｉ¹については、特徴領域Ａ₁〜Ａ_Tの各部分領域ａ_kの領域値ｘ¹ _kが照合データとして予め演算され、照合データ記憶手段に格納されている。したがって、第１および第２画像Ｉ¹，Ｉ²の類似度を演算するときの演算量を少なくすることができ、短時間の処理で類似度を演算できる。これにより、第１画像Ｉ¹を予め登録しておき、第２画像Ｉ²を当該装置に入力して類似度を求めるときの処理時間を短縮できる。

さらに、請求項１〜３の発明によれば、複数の特徴領域Ａ_１〜Ａ_Ｔについてそれぞれ求められた複数の相関値Ｃ_１〜Ｃ_Ｔを所定のしきい値θ_１〜θ_Ｔとそれぞれ比較する比較手段が設けられている。そして、複数の相関値Ｃ_１〜Ｃ_Ｔによる比較結果を表す弱識別値ｈ_１(I¹,I²)〜 ｈ_Ｔ(I¹,I²)を重み付けして加算することにより、第１および第２画像Ｉ^１，Ｉ^２の類似度が求められる。
特徴領域Ａ_１〜Ａ_Ｔに対応した弱識別値ｈ_１(I¹,I²)〜 ｈ_Ｔ(I¹,I²)にそれぞれ乗じられる重み付け係数ｗ_１〜ｗ_Ｔは、たとえば、学習によって求めることができる。これにより、第１および第２画像Ｉ^１，Ｉ^２の類似／非類似の判断に有効な特徴領域の弱識別値ほど大きく重み付けすることができるから、類似度を正確に求めることができる。

さらにまた、請求項１〜３の発明によれば、所定の一方向に関して特徴領域Ａ_ｊを分割して部分領域ａ_ｋが定められ、このような部分領域ａ_ｋに関する相関値（単方向相関値）が求められるから、変動要因に対してより頑健な構成とすることができる。これは、画像を一次元的に分割することにより、画像の特徴を抽出しやすくなるからである。より具体的には、画像中の領域を直交する２方向（ｘ方向およびｙ方向）の両方に分割（すなわち、格子状に分割）して画像の特徴を抽出する場合に比較して、その画像を第１方向（ｘ方向）についてのみ分割して特徴を抽出し、さらにその画像を第２方向（ｙ方向）についてのみ分割して特徴を抽出する方が、その画像からより多くの特徴を抽出することができる。つまり、画像の特徴をｘ方向成分およびｙ方向成分に成分分解して、抽出することができる。

前記部分領域ａ_ｋは、前記所定の一方向に直交する分割線（直線）によって特徴領域Ａ_ｊを分割して得られる領域であってもよい。
請求項４記載の発明は、請求項１ないし３のいずれかに記載の画像類似度演算装置と、この画像類似度演算装置によって演算された類似度が所定の認識しきい値を超えていれば、前記第１画像Ｉ^１と第２画像Ｉ^２とが類似している（より具体的には、同一対象または同種対象の画像である）と判断し、前記画像類似度演算装置によって演算された類似度が前記認識しきい値以下であれば、前記第１画像Ｉ^１と第２画像Ｉ^２とが非類似である（より具体的には、同一対象または同種対象の画像ではない）と判断する判断手段とを含むことを特徴とする画像認識装置である。

この構成によれば、第１および第２画像Ｉ¹，Ｉ²の類似／非類似（具体的には、同一対象または同種対象の画像か否か）を、正確に演算された類似度に基づいて判定できる。しかも、類似度の演算のための構成が変動要因に対して頑健である。よって、画像の認識を正確に行うことができ、かつ、変動要因に対して頑健な画像認識装置を実現できる。
画像認識の認識対象物は、それ自体の外観が変化する物であってもよい。外観の変化の要因の例は、対象物自身の形態の変化（動的な変化や経年変化）、照度に依存する見かけ上の変化、付属物（眼鏡や化粧など）の有無による変化を含む。このような認識対象物の例は、動物（とくに人間）の顔および動物の体格を含む。「形態」とは、形状、模様もしくは色彩、またはこれらの任意の組み合わせを含む概念を意味する。

また、認識対象物は、様々な外観を呈する同種物（一定の範囲で形態等が異なる物）であってもよい。このような認識対象物の例は、果物、空き瓶、自動車、機械部品、および航空機から見た地上の物体（建造物等）を含む。
処理対象の画像の画像データは、認識対象物を撮像して画像データを出力する撮像装置（カメラ）から入力されてもよいし、メモリ、光ディスクその他の記録媒体に記録された画像データを再生する画像再生装置から入力されてもよく、通信によって取得されてもよい。

請求項５記載の発明は、第１画像Ｉ^１と第２画像Ｉ^２との類似度をコンピュータによって求めるための方法であって、前記コンピュータにより、Ｔ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）を、前記第１画像Ｉ^１中に設定する第１特徴領域設定ステップと、前記コンピュータにより、前記Ｔ個の特徴領域Ａ_ｊを前記第２画像Ｉ^２中に設定する第２特徴領域設定ステップと、前記コンピュータにより、前記第１画像Ｉ^１に設定されたＴ個の特徴領域Ａ_ｊのそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kを演算する第１領域値演算ステップと、前記コンピュータにより、前記第２画像Ｉ^２に設定されたＴ個の特徴領域Ａ_ｊのそれぞれに関して、前記第２画像Ｉ^２中の特徴領域Ａ_ｊ内におけるｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kを演算する第２領域値演算ステップと、前記コンピュータにより、前記Ｔ個の特徴領域Ａ_ｊのそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個の部分領域ａ_ｋの領域値ｘ¹ _kおよび前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内における対応するｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
を演算する相関値演算ステップと、前記コンピュータにより、Ｔ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算ステップとを含み、前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、前記相関ベース類似度演算ステップは、前記コンピュータにより、特徴領域Ａ _ｊ に関して前記相関値演算ステップによって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を当該特徴領域Ａ _ｊ に関する識別値とし、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ を当該特徴領域Ａ _ｊ に関する識別値とする比較ステップと、前記コンピュータにより、前記Ｔ個の特徴領域Ａ _ｊ についての前記識別値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
を演算する重み付け加算ステップとを含むことを特徴とする画像類似度演算方法である。

この方法により、画像間の相関を利用することにより、第１および第２画像Ｉ^１，Ｉ^２の類似度を正確に求めることができる。

また、第１および第２画像Ｉ^１，Ｉ^２の類似／非類似の判断に有効な特徴領域ほど大きく重み付けされるように適切に係数ｗ_ｊを定めることにより、正確な類似度を求めることができる。

さらに、単方向相関値に基づいて類似度が演算されるので、変動要因に対して頑健な類似度演算が可能になる。
請求項６記載の発明は、前記コンピュータにより請求項５記載の画像類似度演算方法を実行する類似度演算ステップと、前記コンピュータにより、前記類似度演算ステップによって演算された類似度が所定の認識しきい値を超えていれば、前記第１画像Ｉ^１と第２画像Ｉ^２とが類似していると判断し、前記画像類似度演算装置によって演算された類似度が前記認識しきい値以下であれば、前記第１画像Ｉ^１と第２画像Ｉ^２とが非類似であると判断する判断ステップとを含むことを特徴とする画像認識方法である。

この方法により、正確でかつ変動要因に対して頑健な類似度演算処理によって求められた類似度を用いているため、第１および第２画像Ｉ^１，Ｉ^２の類似／非類似を正確に判断でき、かつ、変動要因による影響も少なくすることができる。
請求項７記載の発明は、第１画像Ｉ^１と第２画像Ｉ^２とを照合するための装置としてコンピュータを動作させるためのコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータを、前記第１画像Ｉ^１および第２画像Ｉ^２中に共通に設定可能なＴ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）のそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kおよび前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内における対応するｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
を演算する相関値演算手段、ならびにこの相関値演算手段によって求められたＴ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算手段として機能させるものであり、前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、前記相関ベース類似度演算手段は、前記相関値演算手段によって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を出力し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ （ただし、Ｈ _１ ＞Ｈ _２ ）を出力する比較手段と、前記Ｔ個の特徴領域Ａ _ｊ についての前記比較手段の出力値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
を演算する重み付け加算手段とを含むものであることを特徴とするコンピュータプログラムである。

このコンピュータプログラムをコンピュータ上で実行することにより、請求項１の画像類似度演算装置を構成できる。
請求項８記載の発明は、第１画像Ｉ^１と第２画像Ｉ^２とを照合するための装置としてコンピュータを動作させるためのコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータを、Ｔ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）を、前記第１画像Ｉ^１および第２画像Ｉ^２中に共通に設定する特徴領域設定手段、この特徴領域設定手段によって設定されたＴ個の特徴領域Ａ_ｊのそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kおよび前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内における対応するｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
を演算する相関値演算手段、ならびにこの相関値演算手段によって求められたＴ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算手段として機能させるものであり、前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、前記相関ベース類似度演算手段は、前記相関値演算手段によって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を出力し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ （ただし、Ｈ _１ ＞Ｈ _２ ）を出力する比較手段と、前記Ｔ個の特徴領域Ａ _ｊ についての前記比較手段の出力値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
を演算する重み付け加算手段とを含むものであることを特徴とするコンピュータプログラムである。

このコンピュータプログラムをコンピュータ上で実行することにより、請求項２の画像類似度演算装置を構成できる。
請求項９記載の発明は、第１画像Ｉ^１と第２画像Ｉ^２とを照合するための装置としてコンピュータを動作させるためのコンピュータプログラムであって、前記コンピュータは、前記第１画像Ｉ^１および第２画像Ｉ^２中に共通に設定可能なＴ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）のそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kを、前記第１画像Ｉ^１の特徴量を表す照合データとして記憶した照合データ記憶手段を含み、前記コンピュータプログラムは、前記コンピュータを、前記Ｔ個の特徴領域Ａ_ｊを、前記第２画像Ｉ^２中に設定する特徴領域設定手段、この特徴領域設定手段によって設定されたＴ個の特徴領域Ａ_ｊのそれぞれに関して、前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内におけるｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kを前記第２画像Ｉ^２の特徴量として演算する特徴量演算手段、前記Ｔ個の特徴領域Ａ_ｊのそれぞれに関して、前記照合データ記憶手段に記憶された第１画像Ｉ^１の領域値ｘ¹ _k-と、前記特徴量演算手段によって演算された第２画像Ｉ^２の領域値ｘ² _kとに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
を演算する相関値演算手段、ならびにこの相関値演算手段によって求められたＴ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算手段として機能させるものであり、前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、前記相関ベース類似度演算手段は、前記相関値演算手段によって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を出力し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ （ただし、Ｈ _１ ＞Ｈ _２ ）を出力する比較手段と、前記Ｔ個の特徴領域Ａ _ｊ についての前記比較手段の出力値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
を演算する重み付け加算手段とを含むものであることを特徴とするコンピュータプログラムである。

このコンピュータプログラムをコンピュータ上で実行することにより、請求項３の画像類似度演算装置を構成できる。

請求項１０記載の発明は、前記コンピュータを、さらに、前記重み付け加算手段によって演算された類似度が所定の認識しきい値を超えていれば、前記第１画像Ｉ^１と第２画像Ｉ^２とが類似していると判断し、前記画像類似度演算装置によって演算された類似度が前記認識しきい値以下であれば、前記第１画像Ｉ^１と第２画像Ｉ^２とが非類似であると判断する判断手段として機能させることを特徴とする請求項７ないし９のいずれかに記載のコンピュータプログラムである。

このコンピュータプログラムをコンピュータ上で実行することにより、請求項４の画像認識装置を構成できる。
請求項１１記載の発明は、請求項７ないし１０のいずれかに記載のコンピュータプログラムが記録されたコンピュータ読取可能な記録媒体である。
この記録媒体に記録されたコンピュータプログラムをコンピュータに実行させることにより、このコンピュータを前述のような画像認識装置として機能させることができる。

コンピュータプログラムは、どのような形式で記録媒体に記録されていてもよく、たとえば、圧縮した形式で記録されていてもよい。記録媒体には、磁気記録媒体、光記録媒体および光磁気記録媒体を含む任意の記録形式のものを適用できる。

以下では、この発明の実施の形態を、添付図面を参照して詳細に説明する。
図１は、この発明の一実施形態に係る個人認証システムの構成を示す図解的なブロック図である。この個人認証システムは、たとえば、立ち入り制限がされた特定の区域への入場管理のために用いられる。この個人認証システムは、当該立ち入り制限区域への入口に配置され、この入口に現れた者の顔画像を撮像する撮像装置としてのカメラ１と、このカメラ１にケーブル２を介して接続されたコンピュータ３と、入口に配置された表示器４と、入口に設置されたゲートを開閉（またはドアロックを解錠／施錠）するゲート開閉器７とを備えている。

コンピュータ３には、マンマシンインタフェースとしてのディスプレイ５および入力操作部６（たとえば、キーボードおよびマウス）が接続されている。表示器４は、たとえば、コンピュータ３からの指令信号を受けてメッセージを表示することができる二次元表示デバイスであってもよいし、たとえば、コンピュータ３によって制御される複数色のＬＥＤランプを備えたランプ表示デバイスであってもよい。ゲート開閉器７は、コンピュータ３からの制御信号に応じて、ゲートを開閉（またはドアロックを解錠／施錠）し、入口に現れた者の入場を許可したり禁止したりする。

コンピュータ３は、ＣＰＵ１０、ＲＯＭ１１およびＲＡＭ１２を備え、これらがバス１３に接続された一般的な構成のものである。バス１３には、さらに、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）１４、記録媒体の一例であるＣＤ−ＲＯＭ８に記録されたデータを読み取ることができる記録媒体読取装置としてのＣＤ−ＲＯＭドライブ１５、ディスプレイ５の制御のためのディスプレイコントローラ１６、および入力操作部６の制御のための入力部コントローラ１７（たとえば、キーボードコントローラおよびマウスコントローラ）が接続されている。また、カメラ１から生成される撮像画像に対応した画像データを受け入れるための画像入力インタフェース部１８、表示器４に制御信号を出力するための表示制御インタフェース部１９、およびゲート開閉器７に制御信号を出力するためのゲート開閉制御インタフェース部２０が、バス１３に接続されている。

当該立ち入り制限区域への立ち入りが許可された者の顔画像は、たとえば、予めカメラ１によって撮像され、その顔画像に対応した個別照合データが予めハードディスクドライブ１４内の所定の記憶領域である照合データ記憶部２５に登録される。この照合データ記憶部２５には、後述するように、各人の個別照合データを代表する代表照合データが併せて登録される。

一方、入口に現れた者の画像は、カメラ１によって撮像される。撮像された画像を表す画像データは、コンピュータ３へと伝送され、この画像データからその者の顔画像データが抽出される。この抽出された顔画像データが、ハードディスクドライブ１４の照合データ記憶部２５に予め登録されている個別照合データと照合される。この照合の結果、個別照合データの形態で登録されたいずれかの顔画像と入口に現れた者の顔画像とが符合すれば、すなわち、両顔画像の類似度が予め定める認識しきい値を超えていれば、コンピュータ３は、ゲート開閉器７によってゲートを開き（またはドアロックを解錠し）、その者の入場を許可する。

コンピュータ３によるこのような働きを実現するためのコンピュータプログラムは、たとえば、記録媒体の一例であるＣＤ−ＲＯＭ８に記録されて提供されてもよい。この場合、このＣＤ−ＲＯＭ８をＣＤ−ＲＯＭドライブ１５に装填し、所定のインストール操作を行って、当該コンピュータプログラムをコンピュータ３にインストールすることによって、コンピュータ３は、前述のような機能を実現可能となる。

インストールされたそのコンピュータプログラムをコンピュータ３上で実行すると、たとえば、図２に示すような画面がディスプレイ５に表示される。前記コンピュータプログラムの実行中のコンピュータ３は、画像認識装置として動作し、立ち入りが許可された者の顔画像を登録するための登録モードと、カメラ１によって撮像された画像から顔画像を抽出して認識処理を行う認識モードとのいずれかのモードで動作する。

前記立ち入り制限区域への立ち入りが許可された者の顔画像の個別照合データを照合データ記憶部２５に登録するときには、操作者は、入力操作部６を操作して、コンピュータ３を登録モードで動作させる。この状態で、立ち入りが許可された者がカメラ１によって撮像される。このときにカメラ１から生成される画像データがコンピュータ３へと伝送され、ＲＡＭ１２内の記憶領域（必要に応じてさらにハードディスクドライブ１４内の仮想メモリ領域）で構成される画像メモリ１２ａに格納される。さらに、その画像データから顔画像データが抽出される。この抽出された顔画像データに対応する個別照合データが照合データ記憶部２５に登録される。個別照合データは、顔画像データ自体であってもよいし、顔画像データから抽出された所定の特徴量を表す特徴量データであってもよい。

人間の顔画像は、表情によって様々に変化し、眼鏡のような付属物の有無によっても大きく変化するうえ、撮像条件（照度等）の影響も受ける。そこで、立ち入りが許可された者の個別照合データの登録時には、その者に様々な表情をさせて顔画像を撮像したり、付属物有りおよび付属物なしの状態でそれぞれ撮像を行ったり、様々な撮像条件での撮像を行ったりする。こうして、各人に対して複数枚（たとえば、５０枚〜１００枚）の顔画像が撮像され、個々の顔画像に対応した個別照合データが照合データ記憶部２５に登録される。

以下では、前述のようにして個別照合データの登録を終えた者を、「登録者」といい、個別照合データの登録をしていない者を「未登録者」という。
図３は、前記コンピュータプログラムの実行状態におけるコンピュータ３の機能的な構成を説明するためのブロック図である。コンピュータ３は、ＣＰＵ１０によって前記コンピュータプログラムを実行させることにより、このＣＰＵ１０がＲＯＭ１１およびＲＡＭ１２と協働することによって実現される複数の機能処理部を実質的に備えることになる。この複数の機能処理部は、カメラ１が生成した画像データから顔画像の領域を抽出して顔画像データを生成する顔画像検出部３０と、この顔画像検出部３０が抽出した顔画像データを予め登録された個別照合データと照合する顔認識処理部４０とを備えている。

顔画像検出部３０は、入力画像データから顔画像領域を切り出し、さらに、サイズおよび傾き（左右の傾き）を正規化した顔画像データを被照合顔画像データとして出力する。切り出される顔画像領域は、たとえば、髪型の影響を受けにくく、かつ、発話時の顎の上下動の影響を受けにくい領域である。より具体的には、たとえば、左右方向に関しては両目尻の間を含み、上下方向に関しては眉から口元までの範囲を含む矩形領域が顔画像領域として切り出される。正規化された顔画像データは、たとえば、３２画素×３２画素の正方形画像に対応する。

顔認識処理部４０は、被照合顔画像データといずれかの個別照合データとの間に一定程度以上の符合が見られれば、被照合顔画像データが当該個別照合データに対応する登録者の顔画像であると判定する。この場合、カメラ１によって撮像された者は登録者であると判定され、コンピュータ３は、ゲート開閉器７によってゲートを開き（または、ドアロックを解錠し）、その者の入場を許可する。一方、顔認識処理部４０は、被照合顔画像データと一定程度以上の符合が見られる個別照合データが照合データ記憶部２５に登録されていなければ、被照合顔画像は登録者の顔画像ではないと判定する。この場合、カメラ１によって撮像された者は未登録者であると判定され、コンピュータ３は、ゲート開閉器７によってゲートを閉状態に保持（または、ドアロックを施錠状態に保持）し、その者の入場を禁止する。

顔認識処理部４０は、被照合顔画像と照合データ（個別照合データまたは代表照合データ）に対応した顔画像との類似度（同一人物らしさ）を演算する類似度演算部４１と、照合データ記憶部２５に登録されている照合データのうちいずれの照合データを照合対象とするかを選択する照合データ選択部４２と、類似度演算部４１によって演算された類似度を所定の認識しきい値と比較することによって被照合顔画像が登録者の顔画像かどうかを判断する判断部４３（判断手段、判断ステップ）とを有している。

判断部４３は、複数の個別照合データに対して求められた類似度のうちの最高値（最高類似度）が前記認識しきい値を超えていれば、被照合顔画像の人物が登録者であると判断し、そのことを表す認識結果データを出力する。認識結果データは、当該最高類似度の個別照合データに対応する登録者を特定するための情報（たとえば、当該登録者の氏名情報や登録番号情報）を含んでいてもよい。この認識結果データを受けて、表示器４には、認識結果が表示される。この表示は、単に、登録者である旨を表す表示であってもよく、登録者の特定情報（たとえば氏名）の表示であってもよい。

一方、類似度が前記認識しきい値を超える個別照合データが存在しなければ、判断部４３は、被照合顔画像の人物が登録者でないと判断し、その旨を表す識別結果データが出力される。この場合、表示器４は、その人物の登録が確認できない旨を表示する。
類似度演算部４１は、照合データ記憶部２５に格納された照合データと、ハードディスクドライブ１４内の記憶領域で構成された照合用辞書記憶部２６に格納された照合用特徴辞書とに基づいて、被照合顔画像と登録された顔画像（照合データの形式で記憶されたもの）との類似度を演算する。照合用特徴辞書は、２つの画像の類似度を演算する際の指標となるデータ（照合用特徴データ）を一定のデータ構造で保持している。類似度演算部４１は、照合用特徴辞書に保持された照合用特徴データに基づいて、被照合顔画像データから特徴量を抽出し、かつ照合データと照合する。

図４は、照合データ記憶部２５における照合データの登録状態を説明するための図解図である。この図４には、ｍ人の登録者があり、各登録者に対してｎ枚の顔画像に対応したｎ個の個別照合データを登録した例が示されている。より具体的には、個々の登録者に対して登録番号１，２，……，ｍが付与され、この登録番号にそれぞれ対応して、登録者の名前（名前１、名前２、……、名前ｍ）と、各１個の代表照合データ（代表照合データ１、代表照合データ２、……、代表照合データｍ）と、各ｎ個の個別照合データ（個別照合データ１−１，１−２，…，１−ｎ；２−１，２−２，…，２−ｎ；……；ｍ−１，ｍ−２，…，ｍ−ｎ）が登録されている。むろん、登録者毎に個別照合データの数が異なっていても差し支えない。

各登録者の代表照合データは、当該登録者に対応したｎ個の個別照合データを代表する照合データである。より具体的には、各登録者の代表照合データは、当該登録者に対応して登録されたｎ個の個別照合データの平均値データであってもよい。
このような代表照合データは、個別照合データを照合データ記憶部２５に登録する際に、ＣＰＵ１０などの働きによって自動で生成されて照合データ記憶部２５に書き込まれてもよい。また、代表照合データは、登録される顔画像の画像データまたは個別照合データを用いた操作者の手動操作によって作成されたうえで、同じく操作者の手動操作によって照合データ記憶部２５に書き込まれてもよい。

図５は、照合データ記憶部２５における照合データの登録状態をより直感的に表した図である。この例では、９人の登録者Ａ〜Ｉに対して、各１枚の代表顔画像データが代表照合データとして登録されており、さらに、各３枚の顔画像データが個別照合データとして登録されている。この例のように、各登録者に対して複数の顔画像データを個別照合データとして登録し、この複数の顔画像データの平均値演算によって得られる代表顔画像データを代表照合データとして登録してもよい。また、画像データ自体ではなく、類似度演算部４１による類似度の演算に用いられる特徴量を予め個々の顔画像から抽出し、この特徴量を個別照合データとして照合データ記憶部２５に登録しておき、各登録者に対する個別照合データ（特徴量）の平均値を代表照合データとして照合データ記憶部２５に登録してもよい。

このように、照合データ記憶部２５は、被照合顔画像データと照合される照合データを記憶する照合データ記憶手段としての働きを有している。
図６は、顔認識処理部４０による処理の一例を説明するためのフローチャートである。被照合顔画像データが顔認識処理部４０に入力されると、照合データ選択部４２は、照合データ記憶部２５を参照して、登録者の代表照合データを順に選択する（ステップＳ１）。類似度演算部４１は、照合データ選択部４２によって選択された代表照合データに対応する代表顔画像と、被照合顔画像との類似度を演算し、ＲＡＭ１２内の代表類似度記憶領域１２ｂ（図１および図３参照）に書き込む（ステップＳ２）。 こうして、照合データ記憶部２５に登録されたすべての登録者の代表照合データに関して類似度が求まると、照合データ選択部４２は、被照合顔画像データと照合すべき個別照合データを抽出するための処理を実行する（ステップＳ３）。この処理は、端的には、被照合顔画像データと明らかに符合しないと考えられる登録者の個別照合データを照合対象から除外するための処理である。

照合対象の個別照合データを抽出するための処理内容の１つの具体例は、図７に示されている。この例では、照合データ選択部４２は、代表照合データに対して求められた前記の類似度を所定の棄却しきい値と比較する（ステップＳ１１）。照合データ選択部４２は、類似度が前記棄却しきい値を超えない代表照合データに対応する登録者については、照合対象から除外（棄却）する（ステップＳ１２）。つまり、その登録者に関して照合データ記憶部２５に登録された複数の個別照合データが一括して棄却される。これにより、類似度が棄却しきい値を超える代表照合データに対応する登録者についてのみ、その個別照合データが照合対象とされる（ステップＳ１３）。照合データ選択部４２は、全ての代表照合データに関して同様な処理を行って（ステップＳ１４）、照合対象の個別照合データの抽出を終了する。

照合対象の個別照合データを抽出するための処理の他の例は、図８に示されている。この例では、照合データ選択部４２は、代表類似度記憶領域１２ｂに記憶された全登録者の代表照合データを順位付け（ソート）し、（ステップＳ１５）、上位の所定数または所定割合の登録者については、その個別照合データを照合対象として抽出する（ステップＳ１６）。照合データ選択部４２は、残余の登録者の各複数の個別照合データについては、一括して照合対象から除外する（ステップＳ１７）。なお、この場合にも、上位所定数以内または上位所定割合以内の類似度のうち、所定の棄却しきい値を超えないものがあれば、そのような類似度に対応した登録者の個別照合データは照合対象から除外してもよい。

照合データ選択部４２は、このようにして抽出された一部の登録者の個別照合データを、類似度演算部４１による照合演算の対象として、１つずつ順次選択する（図６のステップＳ４）。類似度演算部４１は、選択された個別照合データに対応する顔画像と、被照合顔画像との類似度を演算する。こうして、照合データ選択部４２によって抽出された個別照合データのすべてに関して類似度の演算が行われる（ステップＳ５）。演算された類似度は、ＲＡＭ１２内の個別類似度記憶領域１２ｃに書き込まれる。

次に、判断部４３は、個別類似度記憶領域１２ｃを参照して、演算された類似度の最高値（最高類似度）を検索する（ステップＳ６）。そして、判断部４３は、この検索された最高類似度を所定の認識しきい値と比較する（ステップＳ７）。その結果、その最高類似度が認識しきい値を超えていれば（ステップＳ６のＹＥＳ）、判断部４３は、被照合顔画画像が登録者の顔画像であると判定し、当該最高類似度の個別照合データに対応する登録者を被照合顔画像の人物であると特定する（ステップＳ８）。一方、当該最高類似度が前記認識しきい値以下であるときには、被照合顔画像の人物は未登録であると判定する（ステップＳ９）。

このようにして、被照合顔画像データと代表照合データとの照合によって照合対象の個別照合データを絞ることができる。これにより、被照合顔画像データと個別照合データとの照合演算を大幅に削減することができ、認識処理に要する時間を大幅に短縮することができる。また、登録者一人あたりの個別照合データの数を増やして認識精度の向上を図る場合にも、認識に要する時間が大幅に増加することがない。したがって、短時間の処理で正確に顔画像を認識できるようになる。

図９は、顔認識処理部４０による処理の他の例を説明するためのフローチャートである。被照合顔画像データが顔認識処理部４０に入力されると、照合データ選択部４２は、照合データ記憶部２５を参照して、登録者の代表照合データを順に選択する（ステップＳ２１）。類似度演算部４１は、照合データ選択部４２によって選択された代表照合データに対応する代表画像と被照合顔画像との類似度を演算し、代表類似度記憶領域１２ｂに書き込む（ステップＳ２２）。

こうして、照合データ記憶部２５に登録されたすべての登録者の代表照合データに関して類似度が求まると、照合データ選択部４２は、照合すべき個別照合データを抽出するための処理を実行する。この処理は、端的には、被照合顔画像データと明らかに符合しないと考えられる登録者の個別照合データを照合対象から除外するための処理である。
より具体的には、照合データ選択部４２は、前記代表類似度記憶領域１２ｂを参照して、全登録者の代表照合データを類似度によって降順にソートする（ステップＳ２３）。さらに、照合データ選択部４２は、類似度の順序に従って、登録者を複数のグループに分ける（ステップＳ２４）。たとえば、図５の例のような照合データが照合データ記憶部２５に登録されているとすると、類似度が上位の３人を第１グループに分類し、類似度が中位の３人を第２グループに分類し、類似度が下位の３人を第３グループに分類してもよい。むろん、類似度に基づく登録者のグループ分けは、複数のグループ間で人数が等しくなるようにする必要はない。

照合データ選択部４２は、さらに、最上位のグループ（たとえば前述の第１グループ）の登録者の個別照合データを照合対象として抽出し（ステップＳ２５）、他のグループ（前述の例では第２および第３グループ）の登録者の個別照合データは、暫定的に、照合対象から除外する（ステップＳ２６）。
照合データ選択部４２は、このようにして抽出された最上位のグループの登録者の個別照合データを照合対象として、１つずつ順次選択する（ステップＳ２７）。類似度演算部４１は、選択された個別照合データに対応する顔画像と、被照合顔画像との類似度を演算する。こうして、最上位のグループの登録者の個別照合データのすべてに関して類似度の演算が行われる（ステップＳ２８）。演算された類似度は、ＲＡＭ１２内の個別類似度記憶領域１２ｃに書き込まれる。

次に、判断部４３は、個別類似度記憶領域１２ｃを参照して、演算された類似度の最大値（最高類似度）を検索する（ステップＳ２９）。そして、この検索された最高類似度を所定の認識しきい値と比較する（ステップＳ３０）。その結果、その最高類似度が認識しきい値を超えていれば（ステップＳ３０のＹＥＳ）、判断部４３は、被照合顔画像が登録者の顔画像であると判定し、当該最高類似度の個別照合データに対応する登録者を、被照合顔画像の人物であると特定する（ステップＳ３１）。

一方、当該最高類似度が前記認識しきい値以下であるときには（ステップＳ３０のＮＯ）、照合データ選択部４２は、照合データ記憶部２５に登録されている全登録者に関して個別照合データの照合が完了したかどうかを判断する（ステップＳ３２）。この判断は、登録者を代表照合データの類似度の大小によって分類した前記の全てのグループに関して照合処理を完了したかどうかの判断と等価である。いずれかの登録者についての照合処理が未完了である場合には（ステップＳ３２のＮＯ）、照合データ選択部４２は、暫定的に候補から除外していたグループ中で最も最上位のグループ（すなわち、次位のグループ。たとえば前述の例では第２グループ）に属する登録者を照合対象候補とし、ステップＳ２７からの処理を繰り返す。すなわち、当該次位のグループの登録者の個別照合データが順次選択される。

前述の場合と同様に、類似度演算部４１は、選択された個別照合データに対応する顔画像と、被照合顔画像との類似度を演算する。こうして、次位のグループの登録者の照合データのすべてに関して類似度の演算が行われる（ステップＳ２８）。
次に、判断部４３は、演算された類似度の最高値（最高類似度）を検索する（ステップＳ２９）。そして、この検索された最高類似度を前記認識しきい値と比較する（ステップＳ３０）。その結果、その最大の類似度が認識しきい値を超えていれば、当該類似度の個別照合データに対応した登録者を、被照合顔画像の人物であると特定する（ステップＳ３１）。

このようにして、認識しきい値を超える類似度を有する個別照合データが見つかるまで、同様の処理が行われる。もしも、照合データ記憶部２５に格納されたすべての個別照合データに対して照合処理を行ったにもかかわらず、類似度が前記認識しきい値を超える個別照合データが見つからなかった場合には（ステップＳ３２のＹＥＳ）、判断部４３は、被照合顔画像の人物は未登録であると判定する（ステップＳ３４）。

この図９に示した処理では、適切な認識結果が得られない場合には、一旦棄却された個別照合データが照合対象として復活させられる。これにより、登録者が認識されなくなるなどという事態を確実に回避できる。
図９の例では、被照合顔画像の人物が未登録であると判定する場合に、登録者の全てに関して個別照合データに対する照合処理が行われる。しかし、被照合顔画像データと代表照合データとの照合結果として得られる類似度が著しく低い場合には、個別照合データとの照合による認識しきい値よりも高い類似度が得られる確率は低い。したがって、代表顔画像データに対して演算された類似度が所定の棄却しきい値に達しないグループに関しては、登録者の個別照合データを照合対象として復活させないようにしてもよい。

なお、この実施形態では、一人の登録者に対して１つの代表照合データが登録される例が示されているが、一人の登録者に対して複数（２つ以上）の代表照合データが照合データ記憶部２５に登録されるようにしてもよい。たとえば、眼鏡を使用する登録者の場合に、眼鏡を装着した状態の個別照合データを代表する第１代表照合データと、眼鏡を装着していない状態の個別照合データを代表する第２代表照合データとを登録しておいてもよい。この場合にも、代表照合データに関して求められた類似度に基づいて、代表照合データごとに、対応する一群の個別照合データを照合対象とするか否かを決定すればよい。

次に、顔画像の類似度の計算について説明する。
図１０に示すように、サイズおよび傾きが正規化された第１顔画像Ｉ¹および第２顔画像Ｉ²の類似度を求める場合について説明する。第１顔画像Ｉ¹は、たとえば、照合データ記憶部２５に格納された個別照合データに対応する登録顔画像であり、第２顔画像Ｉ²は、たとえば、カメラ１によって撮像された画像から顔画像検出部３０によって抽出された被照合顔画像データに対応する。

まず、サイズ、形状、位置および後述する種類のうちの少なくともいずれか１つが異なるＴ個（Ｔは２以上の自然数）の特徴領域Ａ_j（ｊは１≦ｊ≦Ｔの自然数）を、順次、第１顔画像Ｉ¹および第２顔画像Ｉ²中に共通に設定する。特徴領域Ａ_jは、少なくとも２画素を含み、かつ、第１および第２顔画像Ｉ¹，Ｉ²と同じ大きさか、またはそれよりも小さな領域である。特徴領域Ａ_jの形状としては、矩形（正方形を含む。）、円形、鉤形など、任意の形状を選択することができ、複数の特徴領域Ａ₁〜Ａ_T間で形状が異なっていてもよい。

たとえば、特徴領域の形状を正方形とすることにし、第１および第２顔画像Ｉ¹，Ｉ²が３２画素×３２画素の正方形であるとし、さらに、特徴領域を２分割して分析（すなわち、後述の分割数ｐ_jを「２」に固定）する場合を想定すると、最小の特徴領域は２画素×２画素の大きさの正方形であり、最大の特徴領域は３２画素×３２画素の大きさの正方形であって、さらに、サイズ（正方形領域の一辺にならぶ画素数で表される。）が偶数画素の場合のみが許容される。ただし、２画素×２画素の特徴領域は小さすぎてあまり意味を持たないことが経験的にわかっているので、実際は、最小の特徴領域の大きさは４画素×４画素である。４画素×４画素の特徴領域は３２画素×３２画素の正方形領域内で２９×２９個の異なる位置をとることができ、次の大きさの６画素×６画素の特徴領域は３２画素×３２画素の正方形領域内で２７×２７個の異なる位置をとることができる。同様の考察により、３２画素×３２画素の第１および第２顔画像Ｉ¹，Ｉ²中には、合計で４４９５個の特徴領域が設定可能となる。さらに、位置およびサイズが同じ領域を横方向（水平方向）ｘに２分して分析する場合と、縦方向（垂直方向）ｙに２分して分析する場合とを区別して、別の特徴領域とみなすこととすれば、合計で８９９０個の特徴領域の設定が可能となる。これらの特徴領域の一部または全部が、類似度の計算のための特徴領域Ａ_j（ｊ＝１，２，……，Ｔ）として用いられる。

特徴領域Ａ_jが設定されると、次に、第１顔画像Ｉ¹における特徴領域Ａ_j中のｐ_j個（ｐ_jは２以上の自然数）の部分領域ａ_k（ｋは１≦ｋ≦ｐ_jの自然数）内の領域値ｘ¹ _kおよび前記第２画像Ｉ²中の当該特徴領域Ａ_j中の対応するｐ_j個の部分領域ａ_k内の領域値ｘ² _kが求められる。特徴領域Ａ_jの分割数ｐ_jは、特徴領域毎に異なる数であってもよく、特徴領域Ａ₁〜Ａ_Tで共通の値ｐ（＝ｐ₁＝ｐ₂＝……＝ｐ_T）としてもよい。

部分領域ａ_kは、たとえば、図１１(a)に示すように、特徴領域Ａ_j内を水平方向ｘに沿う水平分割線５５で垂直方向にｐ_j個に等分して得られる領域（図１１(a)ではｘ方向に長い矩形領域）であってもよい。また、部分領域ａ_kは、図１１(b)に示すように特徴領域Ａ_j内を垂直方向ｙに沿う垂直分割線５６で水平方向にｐ_j個に等分して得られる領域（図１１(b)ではｙ方向に長い矩形領域）であってもよい。また、複数の特徴領域Ａ₁ないしＡ_T間で、領域の分割方向が異なっていてもよい。以下では、領域分割の方向が異なる特徴領域は、形状および大きさならびに位置が同じであっても、異なる特徴領域として取り扱う。

部分領域ａ_k内の領域値ｘ¹ _k，ｘ² _kは、たとえば、当該部分領域ａ_k内に含まれる複数の画素のデータの平均値（平均画素値）であり、当該部分領域ａ_kの輝度値に相当する。ただし、当該部分領域ａ_kにただ一つの画素が含まれる場合（たとえば、２画素×１画素の特徴領域の場合）には、その画素のデータ自身がその部分領域ａ_kの領域値となる。特徴領域Ａ_jの各部分領域ａ_kの領域値ｘ¹ _k，ｘ² _kは、当該特徴領域Ａ_jに関する第１および第２顔画像Ｉ¹，Ｉ²の特徴量である。

ｐ_j個の部分領域ａ_kについて前述の領域値ｘ¹ _k，ｘ² _kが求まると、次に、第１および第２顔画像Ｉ¹，Ｉ²の当該特徴領域Ａ_j内の相関が求められる。より具体的には、次式により、相関値Ｃ_jが演算される。

ただし、すべての特徴領域Ａ₁〜Ａ_Tにおける分割数ｐ_jがいずれも等しい場合には、右辺の係数１／ｐ_jは省かれてもよい。
画像間の相関を求める操作は、特徴領域をｘ方向およびｙ方向の２方向について分割（すなわち、格子状に分割）して得られる部分領域を用いて行われてもよい。しかし、この実施形態では、ｘ方向またはｙ方向のいずれか一方向について特徴領域Ａ_jを分割して得られる部分領域ａ_kを用いて、相関を求める操作が行われる。以下では、このようにして求められる相関を「単方向相関」という。

このような単方向相関を求める操作が、前記複数の特徴領域Ａ₁〜Ａ_Tに関して実行され、これにより、相関値Ｃ₁，Ｃ₂，……，Ｃ_Tが求められる。
こうして求められた各特徴領域Ａ_jの相関値Ｃ_jは、特徴領域Ａ_j毎に定めた次式の弱識別器(Weak Classifier)ｈ_j(I¹,I²)にかけられる。

すなわち、各特徴領域Ａ_jに関する相関値Ｃ_jは、特徴領域Ａ_j毎に予め定めた所定のしきい値θ_jと比較される。その結果、相関値Ｃ_jがしきい値θ_jを超えていれば、第１および第２顔画像Ｉ¹，Ｉ²が同一人物の顔画像であることを表す第１識別値「＋１」（肯定的結論を表す弱仮説(Weak Hypothesis)）が生成される。一方、前記相関値Ｃ_jがしきい値θ_j以下であれば、第１および第２顔画像Ｉ¹，Ｉ²が同一人物の顔画像ではないことを表す第２識別値「−１」（否定的結論を表す弱仮説）が生成される。

前記Ｔ個の特徴領域Ａ₁〜Ａ_Tの個々についての前記弱識別器の出力値ｈ₁(I¹,I²)〜ｈ_T(I¹,I²)（弱仮説）が求められると、次に、これらは、個々の特徴領域Ａ_j毎に定めた重み付け係数ｗ_jを乗じて加算（線形結合）される。これにより、第１および第２顔画像Ｉ¹，Ｉ²の類似度（同一人物らしさ）が求められる。すなわち、類似度は、次式で与えられる。

前記単方向相関値Ｃ_jの演算に適用される特徴領域Ａ₁〜Ａ_Tの選択、弱識別器におけるしきい値θ_j、および重み付け係数ｗ_jは、事前の学習によって定められる。この学習には、たとえば、非特許文献２に記載されたブースティング学習アルゴリズム（アダブースト：AdaBoost）が適用される。

具体的には、図１２のフローチャートに示すように、予め、同一人物の異なる顔画像データのペアをポジティブサンプル（同一人物であるとの結論が正解となるサンプル）として複数個準備し、また、他人同士の顔画像データのペアをネガティブサンプル（同一人物であるとの結論が不正解となるサンプル）として複数個準備しておき、初期化処理として、これらのサンプルに一律に（均等に）ウエイト（weight）を配分する（ステップＳ５０）。

次に、正規化された顔画像データ中に特徴領域Ａ（たとえば、正方形の特徴領域）を設定し、前記第(1)式で表される単方向相関値Ｃが、全てのサンプル（ポジティブサンプルおよびネガティブサンプル）に関して演算される。この演算が、正規化された顔画像中に設定可能な全ての特徴領域Ａ（たとえば、位置、大きさおよび領域の分割方向のうちの少なくともいずれか１つが異なる正方形領域）に関して実行される（ステップＳ５１）。そして、Ｔ個の特徴領域Ａ₁〜Ａ_Tを選択し、かつＴ個の弱識別器ｈ₁(I¹,I²)〜ｈ_T(I¹,I²)を定めるためのＴ回の学習（for t=1 to T ループ）が開始される（ステップＳ５２）。

具体的には、まず、未選択の個々の特徴領域Ａ（ｔ＝１のときは全ての特徴領域Ａ）ごとに、ウエイト（ｔ＝１のときは均一なウエイト）が与えられた全ポジティブサンプルおよび全ネガティブサンプルに関し、それぞれ、単方向相関値Ｃについてのヒストグラム（ウエイトが与えられたサンプルに対応した重み付けヒストグラム）が作成される（ステップＳ５３）。このヒストグラムの例を図１３に示す。

一般に、相関値Ｃの値の比較的小さな範囲にネガティブサンプルの分布が現れ、相関値Ｃの値の比較的大きな範囲にポジティブサンプルの分布が現れる。しきい値θは、当該しきい値と相関値Ｃとを比較したときの誤識別率（エラー率）が最小となるように定められる（ステップＳ５４）。
たとえば、しきい値θを大きな値θ_Lに定めると、異なる人物の画像ペア（ネガティブサンプル）を同一人物の画像ペアであるとする誤識別（他人受入れ(False Accept)エラー、フォルスポジティブエラー）は少なくなるが、同一人物の画像ペア（ポジティブサンプル）を異なる人物の画像ペアであるとする誤識別（本人棄却(False Reject)エラー、フォルスネガティブエラー）が多くなる。逆に、しきい値θを小さな値θ_Sに定めると、異なる人物の画像ペア（ネガティブサンプル）を同一人物の画像ペアであるとする誤識別（他人受入れエラー、フォルスポジティブエラー）が多くなる反面、同一人物の画像ペア（ポジティブサンプル）を異なる人物の画像ペアであるとする誤識別（本人棄却エラー、フォルスネガティブエラー）は少なくなる。

しきい値θは、前記の誤識別が全体として最小となる値に定められる。一般的には、ポジティブサンプルの分布範囲とネガティブサンプルの分布範囲の間、またはそれらの重なり区間の値がしきい値θとされる。このしきい値θとともに、当該しきい値θに対応した誤識別率が求められる。
このようにして未選択の全ての特徴領域Ａのしきい値θを定めることによって、全特徴領域Ａに対応した弱識別器ｈが作成されることになる。

これらの弱識別器ｈのなかで最も誤識別率（エラー率）の低い弱識別器が第ｔ番目の識別器ｈ_t（ｔ＝１のときは第１の識別器ｈ₁（特徴領域Ａ₁に対応））として選択され（ステップＳ５５）、その誤識別率に応じた重み付け係数ｗ_t（ｔ＝１のときは重み付け係数ｗ₁）が定められる（ステップＳ５６）。
次いで、第ｔ弱識別器ｈ_tにより正解が得られるサンプルには小さなウエイトを与え、第ｔ弱識別器ｈ_tにより不正解となるサンプルには大きなウエイトを与えるように重みの再配分（re-weighting）を行い、これに対してステップＳ５２以降の学習を実行する（ステップＳ５７）。すなわち、未選択の全ての特徴領域（特徴領域Ａ₁〜Ａ_t以外の特徴領域Ａ）について、前記ウエイトが与えられたサンプルに対する重み付けヒストグラムが作成される（ステップＳ５３）。そして、それらの特徴領域Ａに対応した弱識別器のうちで誤識別率が最も小さくなる弱識別器が第（ｔ＋１）の識別器ｈ_t+1とされる（ステップＳ５５）。つまり、たとえば、第２の識別器ｈ₂には、第１の識別器ｈ₁が誤識別しやすいサンプルに対して高確率で正解を与える弱識別器が選択される。そして、この第（ｔ＋１）の弱識別器ｈ_t+1の誤識別率に応じた重み付け係数ｗ_t+1が定められる（ステップＳ５６）。

同様の操作を、Ｔ個の弱識別器ｈ₁〜ｈ_Tが得られるまで繰り返し、Ｔ回の学習を行うことにより、類似度の演算に適したＴ個の特徴領域Ａ₁〜Ａ_Tが選択されることになる。そして、Ｔ個の弱識別器ｈ₁〜ｈ_Tに各重み付け係数ｗ₁〜ｗ_Tを乗じて線形結合することにより、前記第(3)式による類似度演算式が得られる。
そして、前記第(3)式によって求められた類似度が所定の認識しきい値Ｒ_thと比較される。求められた類似度が認識しきい値Ｒ_thを超える場合には、第１および第２顔画像Ｉ¹，Ｉ²が同一人物の顔画像である判定され、認識しきい値Ｒ_th以下の場合には、第１および第２顔画像Ｉ¹，Ｉ²は異なる人物の顔画像であると判定される。

つまり、次式により、判定結果が与えられる。

図１４は、照合用辞書記憶部２６（図１および図３参照）の保持内容を説明するための図である。照合用辞書記憶部２６には、前記第(3)式の類似度演算式に対応した特徴領域Ａ₁〜Ａ_Tの情報が格納されている。すなわち、特徴番号１〜Ｔに対応して、特徴領域Ａ₁〜Ａ_Tを指定するための特徴領域指定情報と、各特徴領域Ａ₁〜Ａ_Tの相関値Ｃ₁〜Ｃ_Tに対して適用されるしきい値θ₁〜θ_Tと、各特徴領域Ａ₁〜Ａ_Tの弱識別器ｈ₁〜ｈ_Tに対して与えられる重み付け係数ｗ₁〜ｗ_Tとが格納されている。

特徴領域指定情報は、特徴領域の位置、形状、サイズおよび種類を指定するための情報である。図１４には、特徴領域の形状を一定形状（たとえば正方形）に固定し、かつ、特徴領域の分割数ｐ_jを一定値ｐに固定する場合の例が示されている。したがって、特徴領域指定情報として、位置、サイズおよび種類が登録されている。特徴領域の位置は、照合される２つの顔画像Ｉ¹，Ｉ²中における位置を表す。具体的には、たとえば、図１１に示すように、特徴領域が矩形形状の場合、その左下角を原点とみなし、この原点のｘ座標およびｙ座標によって、当該特徴領域の位置が表される。サイズは、たとえば正方形の特徴領域の場合における一辺の長さ（画素数）で表される。種類は、特徴領域をｘ方向（水平方向）に分割（図１１(b)参照）するか、ｙ方向（垂直方向）に分割（図１１(a)参照）するかを表す情報である。

図１５は、類似度演算部４１（図３参照）の構成例を説明するためのブロック図である。この構成例の類似度演算部４１は、照合対象の第１顔画像Ｉ¹（たとえば、代表照合データに対応した代表顔画像または個別照合データに対応した登録顔画像）および第２顔画像Ｉ²（たとえば、カメラ１で撮像された被照合顔画像）に対して共通に特徴領域Ａ_jを設定する特徴領域設定部４５（特徴領域設定手段）と、第１顔画像Ｉ¹の特徴量を演算する第１特徴量演算部４６（特徴量演算手段）と、第２顔画像Ｉ²の特徴量を演算する第２特徴量演算部４７（特徴量演算手段）とを備えている。

特徴領域設定部４５は、照合用辞書記憶部２６から特徴領域Ａ₁〜Ａ_Tを読み出し、第１および第２顔画像Ｉ¹，Ｉ²中に順次設定する（第１および第２特徴領域設定ステップ）。
第１特徴量演算部４６は、照合用辞書記憶部２６を参照し、特徴領域設定部４５によって設定された第１顔画像Ｉ¹内の特徴領域Ａ_jについて、その「種類」の情報に従って領域を分割し、その分割された部分領域ａ_k毎の領域値ｘ¹ _kを特徴量として求める（第１領域値演算ステップ）。同様に、第２特徴量演算部４７は、照合用辞書記憶部２６を参照し、特徴領域設定部４５によって設定された第２顔画像Ｉ²内の特徴領域Ａ_jについて、その「種類」の情報に従って領域を分割し、その分割された部分領域ａ_k毎の領域値ｘ² _kを特徴量として求める（第２領域値演算ステップ）。

類似度演算部４１は、さらに、第１および第２特徴量演算部４６，４７によって求められた領域値ｘ¹ _k，ｘ² _kに基づいて相関値Ｃ_jを演算する相関値演算部４８（相関値演算手段、相関値演算ステップ）と、この相関値演算部４８によって求められた相関値Ｃ_jを当該特徴領域Ａ_jに対応したしきい値θ_jと比較する比較部４９（比較手段、比較ステップ）と、この比較部４９による比較結果ｈ_j(I¹,I²)に重み付け係数ｗ_jを乗じて加算する重み付け加算部５０（重み付け加算手段、重み付け加算ステップ）とを備えている。これらの比較部４９および重み付け加算部５０は、本願発明における相関ベース類似度演算手段を構成しており、これらの働きによって相関ベース類似度演算ステップが実行される。

比較部４９は、照合用辞書記憶部２６を参照し、特徴領域Ａ_jに対応したしきい値θ_jを読み出す。そして、比較部４９は、相関値Ｃ_jがしきい値θ_jよりも大きければ第１識別値「＋１」（第１および第２顔画像が同一人物の顔画像であることを表す弱仮説）を出力する。一方、相関値Ｃ_jがしきい値θ_j以下であれば、比較部４９は、第２識別値「−１」（第１および第２顔画像が他人の顔画像であることを表す弱仮説）を出力する。

重み付け加算部５０は、比較部４９の出力値に対して特徴領域Ａ_jに対応した重み付け係数を乗じ、特徴領域Ａ₁〜Ａ_Tに関する比較部４９の出力値を線形結合して、前記(3)式で表される類似度を求めて出力する。すなわち、重み付け加算部５０は、比較部４９から与えられる特徴領域Ａ₁〜Ａ_Tについての比較結果ｈ_j(I¹,I²)に対して重み付け係数ｗ_jを乗じ、これらを加算する。

図１６は、類似度演算部４１の他の構成例を説明するためのブロック図である。この図１６において、前述の図１５に示された各部と同等の機能部分には、図１５の場合と同一の参照符号を付して示す。この図１６の構成は、照合データ記憶部２５に、顔画像の照合データ（代表照合データおよび個別照合データ）が特徴量の形式で登録されている場合に好適である。この場合、照合データ記憶部２５には、各登録顔画像について特徴領域Ａ₁〜Ａ_Tに関する特徴量が個別照合データとして記憶されている。同様に、代表照合データとしては、代表顔画像についての特徴領域Ａ₁〜Ａ_Tに関する特徴量が記憶されている。これら特徴量は、個々の照合データに対して、特徴領域Ａ₁〜Ａ_Tごとに照合データ記憶部に２５記憶されている。記憶される特徴量は、各特徴領域Ａ_jを分割して得られる部分領域ａ_kの領域値ｘ¹ _kである。

特徴領域設定部４５Ａ（特徴領域設定手段）は、照合用辞書記憶部２６を参照して、第２顔画像Ｉ²内に特徴領域Ａ₁〜Ａ_Tを順次設定する。特徴量演算部４７は、照合用辞書記憶部２６を参照して、第２顔画像Ｉ²中に設定された特徴領域Ａ_jについて、その部分領域ａ_kごとの領域値ｘ² _kを特徴量として演算する。
この演算された領域値ｘ² _kは、相関値演算部４８に与えられる。この相関値演算部４８は、照合データ記憶部２５から第１顔画像Ｉ¹の当該特徴領域Ａ_jに対応した領域値ｘ¹ _kを読み出す。そして、相関値演算部４８は、照合データ記憶部２５から読み出された領域値ｘ¹ _kと特徴量演算部４７によって演算された領域値ｘ² _kとに基づいて、相関値Ｃ_jを演算する。

比較部４９および重み付け加算部５０の働きは、図１１の構成の場合と同様である。
この構成例の場合には、第１顔画像Ｉ¹（登録顔画像または代表顔画像）については、領域値ｘ¹ _kが予め求められて、照合データとして照合データ記憶部２５に登録されている。したがって、類似度の計算のための演算量を少なくすることができる。それに応じて、演算時間を短縮できるから、顔画像の認識に要する時間を短縮できる。

次に、顔画像検出部３０（図３参照）による処理について概説する。
図１７は、顔画像検出部３０の機能的な構成を説明するための機能ブロック図である。顔画像検出部３０は、カメラ１によって撮像された入力画像から顔画像領域を抽出して、サイズおよび傾きが正規化された顔画像データ（被照合顔画像データ）を生成するものである。この顔画像検出部３０は、第１段階の処理としての粗検出処理と、第２段階の処理としての精密検出処理とを実行する。粗検出処理は、カメラ１によって撮像された画像の全領域を粗くスキャンして、顔画像が含まれている蓋然性の高い一部の領域を顔画像周辺領域として抽出し、残余の領域を棄却して精密検出処理対象から除外する処理である。すなわち、精密検出処理は、粗検出処理によって抽出された顔画像周辺領域内で、顔画像の領域を抽出して切り出す処理である。

粗検出処理の実行のために、顔画像検出部３０には、撮像画像中の部分領域を処理対象領域（粗検出ウィンドウ）として設定する粗検出ウィンドウ設定部３１と、この粗検出ウィンドウ設定部３１によって設定された粗検出ウィンドウが顔画像を内包する顔画像周辺領域であるかどうかを識別する周辺領域識別部３２と、この周辺領域識別部３２による判定のための情報を記憶した周辺領域特徴辞書３３とが備えられている。周辺領域特徴辞書３３は、図１に示すように、ハードディスクドライブ１４内の記憶領域に格納されている。

また、精密検出処理の実行のために、顔画像検出部３０には、さらに、周辺領域識別部３２によって抽出された顔画像周辺領域のなかの部分領域を処理対象領域（精密検出ウィンドウ）として設定する精密検出ウィンドウ設定部３４と、この精密検出ウィンドウ設定部３４によって設定された精密検出ウィンドウが顔画像領域に該当するかどうかを識別する顔画像識別部３５と、この顔画像識別部３５による判定のための情報を記憶した顔画像特徴辞書３６とが備えられている。顔画像特徴辞書３６は、図１に示すように、ハードディスクドライブ１４内の記憶領域に格納されている。

さらに、顔画像検出部３０は、顔画像識別部３５によって顔画像領域であると判定された精密検出ウィンドウ内の画像を正規化して出力する顔画像出力処理部３７を備えている。この顔画像出力処理部３７は、当該精密検出ウィンドウ内の画像を、一定のサイズ（たとえば３２画素×３２画素）に正規化し、かつ、当該精密ウィンドウ内の顔画像の傾きを補正して、被照合顔画像データを生成する。

撮像画像から抽出して切り出される顔画像は、たとえば、図１８の中央列の３つの画像（縦方向にならぶ３つの画像）のように、人の顔の両目尻の内側の所定形状の矩形領域（顔認識処理部４０で照合される画像と同形状の領域。たとえば、正方形領域）の画像である。つまり、撮像画像中にさまざまな大きさで含まれる顔画像が、縦横比が一定の矩形領域によって切り出される。図１８の中央列中段の顔画像は、両目尻を結ぶ線分が矩形領域の横辺にほぼ平行な場合（０degree）を示し、図１８の中央列上段の顔画像は、同列中段の画像に対して５度だけ左回転（−５degrees）されており、図１８の中央列下段の顔画像は、同列中段の画像に対して５度だけ右回転（＋５degrees）されている。

この場合、顔画像特徴辞書３６には、図１８の中央列に示されるような矩形の画像を顔画像として識別するための情報が保持されることになる。より具体的には、顔画像の特徴パターンに対応した顔画像検出フィルタに関する情報が顔画像特徴辞書３６に保持されている。顔画像検出フィルタは、たとえば、図１９に示すように、処理ウィンドウ７０内に設定された一対の矩形領域７１，７２のそれぞれに関して、それらの領域７１，７２に含まれる各複数画素の平均輝度値を求め、それらの平均輝度値の差を所定のしきい値と比較するものである。

処理ウィンドウ７０内における矩形領域７１，７２の位置、形状（縦横長）、および平均輝度値に対するしきい値は、学習によって予め定められる。この学習は、多数の画像サンプルを用いて実行される。より具体的には、処理ウィンドウ７０と同形状および同サイズの多数の画像サンプルが収集されて、ハードディスクドライブ１４（図１参照）の記憶領域内の顔画像サンプル格納部６１（図１７参照）に格納される。この場合の画像サンプルは、顔画像を含む顔画像サンプル（真サンプル）と、顔画像を含まない非顔画像サンプル（偽サンプル）とを含む。

コンピュータ３内の機能処理部である顔画像特徴計算部６３は、顔画像サンプル格納部６１に格納された画像サンプルに基づいて学習を行い、真偽のサンプルを最もよく分離することができる顔画像検出フィルタを求める。すなわち、処理ウィンドウ７０内における矩形領域７１，７２の位置およびそれら縦横長の組み合わせを様々に設定し、真偽のサンプルを最もよく分離することができる組み合わせが選択される。この場合、「真偽のサンプルを最もよく分離することができる」とは、真サンプルを偽サンプルとする誤識別および偽サンプルを真サンプルとする誤識別が最少となることを意味する。こうして選択された矩形領域７１，７２の組み合わせに対して、さらに、誤識別率が最小となるしきい値が設定されることにより、顔画像検出フィルタが得られる。この顔画像検出フィルタに関する情報が、顔画像特徴辞書３６に予め格納される。

一方、周辺領域特徴辞書３３には、図１８の中央列の顔画像のほかに、図１８の左列および右列の各３個の顔画像を顔画像周辺領域として識別するための情報が保持されることになる。図１８左列の３つの画像は、顔画像の抽出枠を、図１８中央列の３つの画像の位置からそれぞれ左方向に所定画素分（図１８の例では１画素分。−１pixel）だけシフトさせて得られる画像である。また、図１８右列の３つの画像は、顔画像の抽出枠を、図１８中央列の３つの画像の位置からそれぞれ右方向に所定画素分（図１８の例では１画素分。＋１pixel）だけシフトして得られる画像である。

周辺領域特徴辞書３３には、顔画像検出フィルタの場合と同様な周辺画像検出フィルタに関する情報が保持されている。この周辺画像検出フィルタは、顔画像検出フィルタの場合と同様な学習によって定められる。ただし、この学習には、顔画像周辺領域サンプル（真サンプル）として、図１８中央列のような顔画像のほかにその左右列に示されるような顔画像も用いられる。このような真サンプルと、顔画像を含まない偽サンプルとが、ハードディスクドライブ１４内の記憶領域である周辺領域画像サンプル格納部６２に、予め、多数格納される。

この周辺領域画像サンプル格納部６２に格納された真偽のサンプルを最もよく分離することができる周辺領域検出フィルタが、コンピュータ３内の機能処理部である周辺領域特徴計算部６４によって、顔画像検出フィルタの場合と同様な学習によって求められる。この周辺領域検出フィルタの情報が、周辺領域特徴辞書３３に予め格納されることになる。
顔画像サンプル格納部６１、周辺領域画像サンプル格納部６２、顔画像特徴計算部６３および周辺領域特徴計算部６４は、事前の学習のための構成である。すなわち、これらの機能処理部は、周辺領域特徴辞書３３および顔画像特徴辞書３６とともに、オフライン実行系５１を形成している。

一方、撮像画像中の顔画像の抽出処理は、粗検出ウィンドウ設定部３１、周辺領域識別部３２、精密検出ウィンドウ設定部３４、顔画像識別部３５および顔画像出力処理部３７によって実行される。すなわち、これらの機能処理部は、周辺領域特徴辞書３３および顔画像特徴辞書３６とともに、オンライン実行系５２を形成している。
粗検出ウィンドウ設定部３１は、処理ウィンドウ７０と相似形の様々な大きさの粗検出ウィンドウによって撮像画像の全域を走査するように、それらの粗検出ウィンドウを撮像画像中に順次設定する。より具体的には、粗検出ウィンドウ設定部３１は、図２０に示すように、撮像画像８０内の左下角のスタート位置８１から開始して、右上角のストップ位置８２に至るまで、撮像画像８０の全範囲を走査するように粗検出ウィンドウ７７を設定していく。つまり、粗検出ウィンドウ設定部３１は、最初の粗検出ウィンドウ７７をスタート位置８１に設定し、以後、右方向に所定の複数画素（たとえば、３画素）ずつ移動させながら順に粗検出ウィンドウ７７を設定していく。この粗検出ウィンドウ７７が撮像画像８０の右端に達すると、粗検出ウィンドウ設定部３１は、粗検出ウィンドウの設定位置を左端に戻し、１画素だけ上方に移動して、新たな粗検出ウィンドウ７７を設定する。以後、同様の操作が、粗検出ウィンドウ７７がストップ位置８２に達するまで繰り返される。

粗検出ウィンドウ設定部３１は、周辺領域検出フィルタによる処理が可能な最小の大きさのウィンドウを初期粗検出ウィンドウ７７として前述の操作を実行し、以後、順次、粗検出ウィンドウ７７の大きさを所定ステップずつ（たとえば、１画素ずつ）大きくしながら、同様の操作を繰り返す。最終的には、撮像画像８０と同じ大きさの粗検出ウィンドウ７７が設定される。

こうして順次設定される粗検出ウィンドウ７７内の部分画像に対して、周辺領域識別部３２は、前述の周辺領域検出フィルタによる処理を実行し、各粗検出ウィンドウ７７が顔画像周辺領域に該当するか否かを判定する。粗検出ウィンドウ７７内の画像に対して周辺領域検出フィルタを適用する際には、当該画像は、周辺領域検出フィルタのウィイドウサイズと一致するように拡大または縮小される。顔画像周辺領域である判定された粗検出ウィンドウ７７については、その位置情報および大きさの情報が生成されて、ＲＡＭ１２（図１参照）に格納される。

周辺領域検出フィルタは、前述のとおり、ウィンドウの中央に顔画像が収まっているサンプルだけでなく、左右に１画素ずつずらした顔画像サンプルをも用いて学習を行って求められている。そのため、粗検出ウィンドウ７７を３画素以下のシフト幅で撮像画像８０内でずらして順次設定していけば、顔画像が含まれる領域を精度よく抽出することができる。むろん、最大のシフト幅である３画素ずつずらして順次粗検出ウィンドウ７７を設定すれば、最短時間で顔画像周辺領域の判定を完了できる。

一般に、図１８の中央列の顔画像とともに、これらを左右にｕ画素（ただし、ｕは自然数）だけそれぞれずらした顔画像を用いた学習によって周辺領域検出フィルタが求められている場合には、２ｕ＋１画素以下のシフト幅で粗検出ウィンドウ７７をシフトしていくことができる。
精密検出ウィンドウ設定部３４は、周辺領域識別部３２によって顔画像周辺領域と判定された領域の近傍で精密検出ウィンドウを設定する。たとえば、精密検出ウィンドウ設定部３４は、顔画像周辺領域およびその左右に１画素ずつシフトした範囲で、粗検出ウィンドウ７７と同サイズの精密検出ウィンドウを設定する。この設定された精密検出ウィンドウに対して、顔画像識別部３５による処理、すなわち、顔検出フィルタによる処理が実行される。精密検出ウィンドウ内の画像に対して顔検出フィルタを適用する際には、当該画像は、顔画像検出フィルタのウィンドウサイズと一致するように拡大または縮小される。

顔識別処理部３５によって顔画像領域であると判定された精密検出ウィンドウについては、その位置およびサイズを表す情報が顔画像識別部３５によって出力される。これを受けて、顔画像出力処理部は、当該精密検出ウィンドウ内の画像に対して、サイズおよび傾きの正規化を行って、被照合顔画像データを生成する。この場合、「傾きの正規化」とは、たとえば、図１８の上段または下段のような傾きのある画像を、図１８中段のように実質的に傾きのない画像に回転することをいう。

以上、この発明の一実施形態について説明したが、この発明は他の形態で実施することもできる。たとえば、前述の実施形態では、複数人の顔画像の照合データが照合データ記憶部２５に登録される例について説明したが、ただ一人の顔画像の照合データが照合データ記憶部２５に登録されてもよい。この場合、たとえば、処理対象の画像データと代表照合データとの類似度を所定のしきい値と比較し、その類似度が当該しきい値を超えない場合には、個別照合データとの照合を行わずに認識処理を終了すればよい。これにより、照合対象の顔画像が登録人物の顔画像と明らかに異なる場合には、複数の個別照合データに関する照合処理を省くことができるので、当該照合対象の顔画像の者が未登録者であるとの判定をすみやかに下すことができる。

また、前記の実施形態では、立ち入り制限区域への入場制限のためにこの発明が適用される例について説明したが、たとえば、家庭用ロボットや接客ロボットのように対人対応の可能なロボットにこの発明の画像認識装置を組み込んで用いることもできる。これにより、ロボットは、登録されている人物の顔を短時間で正確に認識できるから、迅速かつ的確な対人対応が可能になる。たとえば、このようなロボットは、認識した人物に応じた適切な対応を優れた応答性で実行できる。

顔画像の認識は、他にも、膨大な画像データ（静止画または動画）から特定人物の顔画像を抽出したりする処理に用いることもできる。具体的には、犯罪捜査において、ビデオカメラで撮像された映像から容疑者の顔画像を抽出したりする処理に顔画像認識処理を適用できる。
さらに、前記の実施形態では、認識対象物が顔画像である場合について説明したが、既述のとおり、この発明は、顔画像以外の認識対象物の認識にも適用可能である。

その他、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。

この発明の一実施形態に係る個人認証システムの構成を示す図解的なブロック図である。 画像認識装置を構成するコンピュータに接続されたディスプレイの表示例を示す図である。 前記コンピュータプログラムの実行状態におけるコンピュータの機能的な構成を説明するためのブロック図である。 照合データ記憶部における照合データの登録状態を説明するための図解図である。 照合データ記憶部における照合データの登録状態をより直感的に表した図である。 顔認識処理部による処理の一例を説明するためのフローチャートである。 照合対象の個別照合データを抽出するための処理内容の一具体例を示すフローチャートである。 照合対象の個別照合データを抽出するための処理の他の具体例を示すフローチャートである。 顔認識処理部による処理の他の例を説明するためのフローチャートである。 一対の顔画像の類似度を求める演算を説明するための図である。 顔画像の類似度を求めるために用いられる特徴領域を説明するための図である。 学習によって類似度演算式を定めるための処理を説明するためのフローチャートである。 一対の顔画像に共通の特徴領域を設定し、当該特徴領域内における一対の顔画像の相関値を求めたときの重み付けヒストグラムの一例を示す図である。 照合用辞書記憶部の保持内容を説明するための図である。 類似度演算部の構成例を説明するためのブロック図である。 類似度演算部の他の構成例を説明するためのブロック図である。 顔画像検出部の機能的な構成を説明するための機能ブロック図である。 撮像画像から抽出される顔画像の例と、顔画像の周辺領域として検出される画像の例を示す図である。 顔画像検出処理のためのフィルタの例を示す図である。 粗検出ウィンドウによる撮像画像の走査を説明するための図である。 フィルタ処理を用いた類似度演算処理と相関値を用いた類似度演算処理との対比説明のための図である。

符号の説明

１ カメラ
２ ケーブル
３ コンピュータ
４ 表示器
５ ディスプレイ
６ 入力操作部
７ ゲート開閉器
８ ＣＤ−ＲＯＭ
１０ ＣＰＵ
１１ ＲＯＭ
１２ ＲＡＭ
１２ａ 画像メモリ
１２ｂ 代表類似度記憶領域
１２ｃ 個別類似度記憶領域
１３ バス
１４ ハードディスクドライブ
１５ ＣＤ−ＲＯＭドライブ
１６ ディスプレイコントローラ
１７ 入力部コントローラ
１８ 画像インタフェース部
１９ 表示制御インタフェース部
２０ ゲート開閉制御インタフェース部
２５ 照合データ記憶部
２６ 照合用辞書記憶部
３０ 顔画像検出部
３１ 粗検出ウィンドウ設定部
３２ 周辺領域識別部
３３ 周辺領域特徴辞書
３４ 精密検出ウィンドウ設定部
３５ 顔画像識別部
３６ 顔画像特徴辞書
３７ 顔画像出力処理部
４０ 顔認識処理部
４１ 類似度演算部
４２ 照合データ選択部
４３ 判断部
４５ 特徴領域設定部
４５Ａ 特徴領域設定部
４６ 第１特徴量演算部
４７ 第２特徴量演算部
４８ 相関値演算部
４９ 比較部
５０ 重み付け加算部
５１ オフライン実行系
５２ オンライン実行系
５５ 水平分割線
５６ 垂直分割線
６１ 顔画像サンプル格納部
６２ 周辺領域画像サンプル格納部
６３ 顔画像特徴計算部
６４ 周辺領域特徴計算部
７０ 処理ウィンドウ
７１ 矩形領域
７２ 矩形領域
７７ 粗検出ウィンドウ
８０ 撮像画像
Ａ_j 特徴領域
ａ_k 部分領域
ｘ¹ _k 領域値
ｘ² _k 領域値
Ｃ_j 相関値
Ｉ¹ 顔画像
Ｉ² 顔画像

Claims (11)

1. 第１画像Ｉ^１と第２画像Ｉ^２との類似度を求めるための装置であって、
   前記第１画像Ｉ^１および第２画像Ｉ^２中に共通に設定可能なＴ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）のそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kおよび前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内における対応するｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
   を演算する相関値演算手段と、
   この相関値演算手段によって求められたＴ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算手段とを含み、
   前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、
   前記相関ベース類似度演算手段は、
   前記相関値演算手段によって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を出力し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ （ただし、Ｈ _１ ＞Ｈ _２ ）を出力する比較手段と、前記Ｔ個の特徴領域Ａ _ｊ についての前記比較手段の出力値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
   を演算する重み付け加算手段とを含むことを特徴とする画像類似度演算装置。
2. 第１画像Ｉ^１と第２画像Ｉ^２との類似度を求めるための装置であって、
   Ｔ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）を、前記第１画像Ｉ^１および第２画像Ｉ^２中に共通に設定する特徴領域設定手段と、
   この特徴領域設定手段によって設定されたＴ個の特徴領域Ａ_ｊのそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kおよび前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内における対応するｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
   を演算する相関値演算手段と、
   この相関値演算手段によって求められたＴ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算手段とを含み、
   前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、
   前記相関ベース類似度演算手段は、
   前記相関値演算手段によって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を出力し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ （ただし、Ｈ _１ ＞Ｈ _２ ）を出力する比較手段と、前記Ｔ個の特徴領域Ａ _ｊ についての前記比較手段の出力値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
   を演算する重み付け加算手段とを含むことを特徴とする画像類似度演算装置。
3. 第１画像Ｉ^１と第２画像Ｉ^２との類似度を求めるための装置であって、
   前記第１画像Ｉ^１および第２画像Ｉ^２中に共通に設定可能なＴ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）のそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kを、前記第１画像Ｉ^１の特徴量を表す照合データとして記憶した照合データ記憶手段と、
   前記Ｔ個の特徴領域Ａ_ｊを、前記第２画像Ｉ^２中に設定する特徴領域設定手段と、
   この特徴領域設定手段によって設定されたＴ個の特徴領域Ａ_ｊのそれぞれに関して、前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内におけるｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kを前記第２画像Ｉ^２の特徴量として演算する特徴量演算手段と、
   前記Ｔ個の特徴領域Ａ_ｊのそれぞれに関して、前記照合データ記憶手段に記憶された第１画像Ｉ^１の領域値ｘ¹ _k-と、前記特徴量演算手段によって演算された第２画像Ｉ^２の領域値ｘ² _kとに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
   を演算する相関値演算手段と、
   この相関値演算手段によって求められたＴ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算手段とを含み、
   前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、
   前記相関ベース類似度演算手段は、
   前記相関値演算手段によって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を出力し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ （ただし、Ｈ _１ ＞Ｈ _２ ）を出力する比較手段と、前記Ｔ個の特徴領域Ａ _ｊ についての前記比較手段の出力値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
   を演算する重み付け加算手段とを含むことを特徴とする画像類似度演算装置。
4. 請求項１ないし３のいずれかに記載の画像類似度演算装置と、
   この画像類似度演算装置によって演算された類似度が所定の認識しきい値を超えていれば、前記第１画像Ｉ^１と第２画像Ｉ^２とが類似していると判断し、前記画像類似度演算装置によって演算された類似度が前記認識しきい値以下であれば、前記第１画像Ｉ^１と第２画像Ｉ^２とが非類似であると判断する判断手段とを含むことを特徴とする画像認識装置。
5. 第１画像Ｉ^１と第２画像Ｉ^２との類似度をコンピュータによって求めるための方法であって、
   前記コンピュータにより、Ｔ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）を、前記第１画像Ｉ^１中に設定する第１特徴領域設定ステップと、
   前記コンピュータにより、前記Ｔ個の特徴領域Ａ_ｊを前記第２画像Ｉ^２中に設定する第２特徴領域設定ステップと、
   前記コンピュータにより、前記第１画像Ｉ^１に設定されたＴ個の特徴領域Ａ_ｊのそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kを演算する第１領域値演算ステップと、
   前記コンピュータにより、前記第２画像Ｉ^２に設定されたＴ個の特徴領域Ａ_ｊのそれぞれに関して、前記第２画像Ｉ^２中の特徴領域Ａ_ｊ内におけるｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kを演算する第２領域値演算ステップと、
   前記コンピュータにより、前記Ｔ個の特徴領域Ａ_ｊのそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個の部分領域ａ_ｋの領域値ｘ¹ _kおよび前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内における対応するｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
   を演算する相関値演算ステップと、
   前記コンピュータにより、Ｔ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算ステップとを含み、
   前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、
   前記相関ベース類似度演算ステップは、
   前記コンピュータにより、特徴領域Ａ _ｊ に関して前記相関値演算ステップによって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を当該特徴領域Ａ _ｊ に関する識別値とし、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ を当該特徴領域Ａ _ｊ に関する識別値とする比較ステップと、
   前記コンピュータにより、前記Ｔ個の特徴領域Ａ _ｊ についての前記識別値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
   を演算する重み付け加算ステップとを含むことを特徴とする画像類似度演算方法。
6. コンピュータによって請求項５記載の画像類似度演算方法を実行する類似度演算ステップと、
   前記コンピュータにより、前記類似度演算ステップによって演算された類似度が所定の認識しきい値を超えていれば、前記第１画像Ｉ^１と第２画像Ｉ^２とが類似していると判断し、前記画像類似度演算装置によって演算された類似度が前記認識しきい値以下であれば、前記第１画像Ｉ^１と第２画像Ｉ^２とが非類似であると判断する判断ステップとを含むことを特徴とする画像認識方法。
7. 第１画像Ｉ^１と第２画像Ｉ^２とを照合するための装置としてコンピュータを動作させるためのコンピュータプログラムであって、
   前記コンピュータプログラムは、前記コンピュータを、
   前記第１画像Ｉ^１および第２画像Ｉ^２中に共通に設定可能なＴ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）のそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kおよび前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内における対応するｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
   を演算する相関値演算手段、ならびに
   この相関値演算手段によって求められたＴ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算手段
   として機能させるものであり、
   前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、
   前記相関ベース類似度演算手段は、
   前記相関値演算手段によって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を出力し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ （ただし、Ｈ _１ ＞Ｈ _２ ）を出力する比較手段と、
   前記Ｔ個の特徴領域Ａ _ｊ についての前記比較手段の出力値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
   を演算する重み付け加算手段とを含むものであることを特徴とするコンピュータプログラム。
8. 第１画像Ｉ^１と第２画像Ｉ^２とを照合するための装置としてコンピュータを動作させるためのコンピュータプログラムであって、
   前記コンピュータプログラムは、前記コンピュータを、
   Ｔ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）を、前記第１画像Ｉ^１および第２画像Ｉ^２中に共通に設定する特徴領域設定手段、
   この特徴領域設定手段によって設定されたＴ個の特徴領域Ａ_ｊのそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kおよび前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内における対応するｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
   を演算する相関値演算手段、ならびに
   この相関値演算手段によって求められたＴ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算手段
   として機能させるものであり、
   前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、
   前記相関ベース類似度演算手段は、
   前記相関値演算手段によって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を出力し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ （ただし、Ｈ _１ ＞Ｈ _２ ）を出力する比較手段と、
   前記Ｔ個の特徴領域Ａ _ｊ についての前記比較手段の出力値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
   を演算する重み付け加算手段とを含むものであることを特徴とするコンピュータプログラム。
9. 第１画像Ｉ^１と第２画像Ｉ^２とを照合するための装置としてコンピュータを動作させるためのコンピュータプログラムであって、
   前記コンピュータは、前記第１画像Ｉ^１および第２画像Ｉ^２中に共通に設定可能なＴ個（Ｔは２以上の自然数）の特徴領域Ａ_ｊ（ｊは１≦ｊ≦Ｔの自然数）のそれぞれに関して、前記第１画像Ｉ^１中の特徴領域Ａ_ｊ内におけるｐ_ｊ個（ｐ_ｊは２以上の自然数）の部分領域ａ_ｋ（ｋは１≦ｋ≦ｐ_ｊの自然数）の領域値ｘ¹ _kを、前記第１画像Ｉ^１の特徴量を表す照合データとして記憶した照合データ記憶手段を含み、
   前記コンピュータプログラムは、前記コンピュータを、
   前記Ｔ個の特徴領域Ａ_ｊを、前記第２画像Ｉ^２中に設定する特徴領域設定手段、
   この特徴領域設定手段によって設定されたＴ個の特徴領域Ａ_ｊのそれぞれに関して、前記第２画像Ｉ^２中の当該特徴領域Ａ_ｊ内におけるｐ_ｊ個の部分領域ａ_ｋの領域値ｘ² _kを前記第２画像Ｉ^２の特徴量として演算する特徴量演算手段、
   前記Ｔ個の特徴領域Ａ_ｊのそれぞれに関して、前記照合データ記憶手段に記憶された第１画像Ｉ^１の領域値ｘ¹ _k-と、前記特徴量演算手段によって演算された第２画像Ｉ^２の領域値ｘ² _kとに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の当該特徴領域Ａ_ｊ内の相関値
   を演算する相関値演算手段、ならびに
   この相関値演算手段によって求められたＴ個の特徴領域Ａ_ｊに関する前記相関値Ｃ_ｊに基づいて、前記第１画像Ｉ^１および第２画像Ｉ^２の類似度を演算する相関ベース類似度演算手段
   として機能させるものであり、
   前記部分領域ａ _ｋ は、所定の一方向のみに関して特徴領域Ａ _ｊ を分割して得られる領域であり、
   前記相関ベース類似度演算手段は、
   前記相関値演算手段によって求められた相関値Ｃ _ｊ を所定のしきい値θ _ｊ と比較し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ を超えていれば、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ が類似していることを表す第１弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _１ を出力し、前記相関値Ｃ _ｊ が前記しきい値θ _ｊ 以下であれば、前記第１および第２画像Ｉ ^１ ，Ｉ ^２ が非類似であることを表す第２弱識別値ｈ _ｊ (I ¹ ,I ² )＝Ｈ _２ （ただし、Ｈ _１ ＞Ｈ _２ ）を出力する比較手段と、
   前記Ｔ個の特徴領域Ａ _ｊ についての前記比較手段の出力値ｈ _ｊ (I ¹ ,I ² )を、重み付け係数ｗ _ｊ を乗じて線形結合することにより、前記第１画像Ｉ ^１ および第２画像Ｉ ^２ の類似度
   を演算する重み付け加算手段とを含むものであることを特徴とするコンピュータプログラム。
10. 前記コンピュータを、さらに、
    前記重み付け加算手段によって演算された類似度が所定の認識しきい値を超えていれば、前記第１画像Ｉ^１と第２画像Ｉ^２とが類似していると判断し、前記画像類似度演算装置によって演算された類似度が前記認識しきい値以下であれば、前記第１画像Ｉ^１と第２画像Ｉ^２とが非類似であると判断する判断手段
    として機能させることを特徴とする請求項７ないし９のいずれかに記載のコンピュータプログラム。
11. 請求項７ないし１０のいずれかに記載のコンピュータプログラムが記録されたコンピュータ読取可能な記録媒体。