JP2008501172A - 画像比較方法 - Google Patents

Abstract

検査画像と、２つ以上の基準画像を含む一組の基準画像とを比較する画像比較方法において、検査画像を１つ以上の検査領域に分割し、各検査領域について、検査領域と、１つ以上の基準画像における１つ以上の基準領域とを比較し、検査領域に最も類似する基準領域を特定し、検査領域と、検査領域に対応して特定された基準領域との比較から比較値を生成する。

Description

本発明は、画像比較方法及び画像比較装置に関する。

２つの画像を比較し、これらの２つの画像が互いにどれくらい類似しているかを比較する多くの手法が知られている。例えば、２つの画像間の平均二乗誤差を比較値として算出してもよく、この場合、平均二乗誤差が小さい程、２つの画像がより類似していることになる。画像比較は、例えば、ＭＰＥＧ２等のビデオ圧縮アルゴリズムにおける動き推定等の様々な状況で用いられる。画像比較の他の適用例としては、捕捉された画像のシーケンスを含むビデオマテリアルに存在しているオブジェクト（顔、車等）を追跡するアルゴリズムがある。以下では、一具体例として、顔追跡について説明する。

人間の顔を検出する顔検出アルゴリズムは、様々な文献で提案されており、これらには、所謂固有顔（eigenfaces）法、顔テンプレートマッチング法、変形可能なテンプレートマッチング（deformable template matching）法又はニューラルネットワーク分類法を使用する手法等がある。これらの何れの手法も完全ではなく、通常、付随した利点及び欠点を有する。何れの手法も、画像が顔を含むことを確実な信頼性を持って示すことはなく、全て確率論的な判断（probabilistic assessment）に基づいており、すなわち画像が少なくとも顔を含む可能性（likelihood）があるという画像の数学的解析に基づいている。このアルゴリズムは、通常、顔の誤検出を避けようとするために極めて高く設定された尤度の閾値（threshold likelihood value）を有する。

画像のシーケンスに亘って顔を「追跡」し、動きを判定し、対応する所謂「顔追跡（face-track）」を生成することが望まれることが多い。これにより、例えば、連続する画像において検出された顔を同じ個人にリンクすることができる。画像のシーケンスに亘って顔を追跡する一手法として、連続する画像内の２つの顔が同じ又は非常に近い位置に出現してるか否かを判定する手法がある。但し、この手法は、顔検出スキームの確率に依存する性質に起因する問題を孕んでいる。例えば、（顔検出の判定のための）確率閾値を高く設定すると、その顔の本人が顔を横に向けたり、顔の一部が隠されたり、本人が鼻を掻いたり、又は他の様々な原因により、実際には顔が存在している幾つかの画像シーケンスが、アルゴリズムによって検出されなくなる。一方、確率閾値を低く設定すると、誤検出確率が高くなり、顔ではないオブジェクトが画像のシーケンス全体に亘って追跡されてしまう虞がある。

ビデオシーケンスを処理している間顔追跡アルゴリズムは、多くの検出された顔を追跡し、対応する顔追跡を生成する。幾つかの顔追跡が実際には同じ顔に対応することは多い。上述のように、これは、例えば、顔の持ち主が頭を一方に向け、次に向きを戻したりするためである。顔追跡アルゴリズムは、横向きの顔を検出できないことがある。このため、顔の持ち主が頭を一方に向ける前の顔追跡と、顔の持ち主が頭を元に戻した後の顔追跡がそれぞれ別個になってしまうことがある。このような状況は何度も生じることがあり、これによって、特定の顔についての顔追跡が２つ以上になることもある。他の具体例として、個人がビデオシーケンス内のシーンに出たり入ったりすることによって、同じ顔についての顔追跡が出入りの回数に応じた数になってしまうこともある。ここで、多くの顔追跡アルゴリズムは、これらの複数の顔追跡が同じ顔に対応していることを判定できない。

ある顔追跡からの画像と、他の顔追跡からの画像とを比較することによって、２つの顔追跡が異なる顔に対応しているか、同じ顔に対応しているかをある程度確認できることもある。しかしながら、同じ顔の２つの画像は、スケール／ズーム、視野角／プロファイル、照明、遮蔽物の存在等によって大きく異なるように見え、したがって、２つの画像間の分散の度合いが大きいために、この手法の信頼性は低い。

本発明の一側面として、本発明に係る画像比較方法は、検査画像と、２つ以上の基準画像を含む一組の基準画像とを比較する画像比較方法において、検査画像を１つ以上の検査領域に分割するステップと、各検査領域について、検査領域と、１つ以上の基準画像における１つ以上の基準領域とを比較し、検査領域に最も類似（又は一致）する基準領域を特定する（例えば、特定された対応する基準領域によって検査領域が置き換えられると、これによって得られる画像の見た目が、検査画像の見た目と同様になる。）ステップと、検査領域と、検査領域に対応して特定された基準領域との比較から比較値を生成するステップとを有する。

本発明の実施の形態の利点として、検査画像を２つ以上の基準画像の組と比較することができる。例えば、顔追跡の場合、１つの顔追跡からの検査画像を他の顔追跡からの複数の基準画像と比較することができる。これにより、検査に用いられる基準画像では分散が大きいため、検査画像が、第２の顔追跡に存在している同じ顔に対応していることを正しく検出する可能性が高まる。

また、本発明の実施の形態では、検査画像の領域を、基準画像内の対応する領域と比較し、各領域において、検査画像に最も類似する基準画像を発見する。これにより、局所的な相異が比較に過剰な悪影響を与えることを防止できる。例えば、基準画像は、オブジェクトによって部分的に隠された顔を含む場合がある。この場合、見えている顔の一部は、検査画像に対して高い類似性を有するが、完全な画像を比較した場合、類似性は低いと判定されてしまう。したがって、検査画像をより小さい領域に区切ることによって、画像の幾つかの領域について、より高い類似性を得ることができ、この結果、類似性をより適切に判定することができる。これは、特に、幾つかの領域が１つの基準画像とよく似ており、他の領域が他の異なる基準画像と類似する場合等に有効である。

本発明のこれらの及びこの他の側面及び特徴は、添付の特許請求の範囲において定義されている。

図１〜図９ｃを用いて、国際特許出願ＰＣＴ／ＧＢ２００３／００５１８６号に開示されている技術について説明する。ここに開示する技術的特徴の詳細については、この特許文献に開示されている。国際特許出願ＰＣＴ／ＧＢ２００３／００５１８６号に開示されている特徴は、以下の説明に明示されていなくとも、本発明に基づく検出装置の（少なくとも任意の）特徴であるとみなされる。

様々な技術の目的として、以下では、人間の顔の検出及び／又は追跡（tracking）について説明する。但し、本発明の技術は、多くの異なる種類のオブジェクトの検出及び／又は追跡に適用することができる。例えば、本発明は、自動車の検出にも適用することができる。すなわち、以下の顔を用いた説明は、単に、本発明をより明瞭に開示するためのフレームワークを例示しているに過ぎない。以下の記述において用いる用語「顔」は、本発明を制限する意味で解釈されることはない。

図１は、顔検出システム及び／又は非線形編集システムとして用いる汎用コンピュータ装置のブロック図である。コンピュータ装置は、処理ユニット１０を備え、処理ユニット１０は、中央処理装置（ＣＰＵ）２０と、ランダムアクセスメモリ（ＲＡＭ）のようなメモリ３０と、ディスクドライブ４０のような不揮発性記憶装置と、他の通常の構成要素とを備える。コンピュータ装置は、ローカルエリアネットワーク又はインターネット（或いは両方）のようなネットワーク５０に接続している。また、コンピュータシステムは、キーボード６０と、マウス又は他のユーザ入力デバイス７０と、表示画面８０とを備える。当業者には、汎用コンピュータ装置がここで記載していない多くの他の従来の部品を含むことは、明らかである。

図２は、顔検出に用いるビデオカメラレコーダ（カムコーダ）のブロック図である。カムコーダ１００は、画像を電荷結合素子（ＣＣＤ）からなる画像捕捉素子１２０上に合焦点するレンズ１１０を備える。電子的な形式で得られる画像は、テープカセットのような記録媒体１４０に記録するために画像処理回路１３０によって処理される。また、画像捕捉素子１２０によって捕捉された画像は、アイピース１６０を介して見られるユーザ表示画面１５０上に表示される。

画像と関連している音を捕捉するために、１つ以上のマイクロホンが用いられる。これらのマイクロホンは、フレキシブルケーブルによってカムコーダ１００に接続され、或いはカムコーダ１００の本体に搭載されるという意味で、外部マイクロホンであるとも言える。１台以上のマイクロホンからのアナログオーディオ信号は、記録媒体１４０に記録するための適切なオーディオ信号を生成するために、オーディオ処理回路１７０によって処理される。

なお、ビデオ及びオーディオ信号は、デジタル形式又はアナログ形式の何れか、或いは両方の形式で記録媒体１４０に記録することができる。したがって、画像処理回路１３０及びオーディオ処理回路１７０は、アナログ／デジタル変換器を備えていてもよい。

カムコーダ１００のユーザは、レンズ１１０に電気的制御信号２００を送るようにレンズ制御回路１９０に作用するユーザ制御１８０によって、レンズ１１０の性能における画角を制御することができる。一般的に、フォーカス及びズームのような属性はこのように制御されるが、レンズの絞り又は他の属性は、ユーザによって操作される。

更に、２個のユーザ操作子を説明する。記録媒体１４０への記録を開始し、中止するために押しボタン２１０が設けられている。例えば、押しボタン２１０を１回押したときに記録を開始し、もう１回押したときに記録を中止することができる。或いは、押した状態を維持することにより記録を行い、又はある時間、例えば５秒間押すことにより記録を開始するようにしてもよい。これらの如何なる構成においても、始めと終わりがある各「撮影（shot）」（連続した記録期間）に対するカムコーダ１００の記録操作の確認は、技術的に非常に簡単である。

図２に示す「素晴らしい撮影マーカ（good shot marker：以下、ＧＳＭという。）」２２０は、ユーザによって操作され、これにより、ビデオ及びオーディオマテリアルに関連した「メタデータ」（関連データ）が記録媒体１４０に格納される。この特別の撮影は、ある観点で「素晴らしい（good）」と操作者によって主観的にみなされたこと（例えば、俳優が特によく演じた、ニュースリポータが各言葉を正しく発音した等）を示している。

メタデータは、記録媒体１４０上の予備領域（例えば「ユーザデータ」領域）に、用いられている特定のフォーマット及び規格に依存して、記録される。或いは、メタデータはリムーバブルメモリスティック（登録商標）のメモリ（図示せず）のような別個の記録媒体に格納することができ、或いはメタデータは、例えば無線リンク（図示せず）によって通信する外部データベース（図示せず）に格納することもできる。メタデータには、ＧＳＭの情報だけでなく、撮影条件（shot boundaries）、レンズの属性、ユーザ（例えばキーボード（図示せず））による文字情報入力、全地球測位システム受信機（図示せず）からの地理的位置情報等が含まれてもよい。

以上、メタデータを記録可能なカムコーダについて説明した。次に、このようなカムコーダに顔検出を適用する方法について説明する。

カムコーダ１００は、顔検出器構成２３０を備える。適切な構成のより詳細は、後に説明するが、顔検出器２３０は、画像処理回路１３０から画像が供給され、このような画像が１つ以上の顔を含むか否かを検出、又は検出することを試みる。顔検出器２３０は、顔検出データを、「ｙｅｓ／ｎｏ」フラグの形式で、或いは、各検出された顔内の目の位置のような顔の画像座標を含むより詳細な形式で出力することができる。この情報は、メタデータの他の形として処理し、上述したフォーマットとは異なるフォーマットで格納することができる。

後述するように、顔検出は、検出処理における他の種類のメタデータを用いることにより、助けられる。例えば、顔検出器２３０は、レンズ１１０の現在のフォーカス及びズーミング設定を示すレンズ制御回路１９０からの制御信号が供給される。これらは、画像のフォアグラウンドで表示されるあらゆる顔の予想される画像サイズの初期の表示を与えることによって、顔検出器２１３０を補佐することができる。なお、この観点では、フォーカス及びズーミングの設定は、カムコーダ１００と撮影されている個人との予想される距離、更にはレンズ１１０の倍率を表している。これらの２つの属性からの顔の大きさの平均に基づいて、得られる画像データ内における顔の予想される大きさ（画素）を算出することができる。

従来の（既知の）音声検出器２４０は、オーディオ処理回路１７０からオーディオ情報が供給され、このようなオーディオ情報内の音声の存在を検出する。音声の存在は、対応する画像に顔がある可能性を、音声を検出しないときに比して、より高い指標（indicator）で示すことができる。

最終的に、撮影境界（shot boundaries）及びユーザによって最も有益であるとみなされるそれらの撮影を示すＧＳＭ情報２２０及び撮影情報（制御２１０から）は、顔検出器２３０に供給される。

勿論、カムコーダがアナログ記録技術に基づく場合、画像及びオーディオ情報を処理するために、更なるアナログ／デジタル変換器（以下、Ａ／Ｄ変換器という。）が必要とされる。

図３は、ビデオ会議システムの構成を示している。２つのビデオ会議ステーション１１００、１１１０は、例えば、インターネット、ローカルエリア又はワイドエリアネットワーク、電話回線、高ビットレート専用回線、ＩＳＤＮ回線等であるネットワーク接続１１２０を介して接続される。各ビデオ会議ステーション１１００、１１１０は、基本的には、カメラ及び関連する送信装置１１３０と、表示及び関連する受信装置１１４０とを備える。テレビ会議システムの参加者は、カメラに撮像され、各ステーションに表示され、参加者の声は、各ステーションにおける１つ以上のマイクロホン（図３には示していない）に入力される。オーディオ及びビデオ情報は、ネットワーク１１２０を介して他方のステーションの受信機１１４０に伝送される。この他方のステーションにおいて、カメラによって撮像された画像が表示され、参加者の声は、スピーカ等の装置から再生される。

なお、ここでは、説明を簡潔にするために、２つのステーションを示しているが、２つ以上のステーションがテレビ会議システムに参加してもよい。

図４は、１つのカメラ／送信装置１１３０を１つの表示／受信装置１１４０に接続する１つのチャンネルを示している。

カメラ／送信装置１１３０は、ビデオカメラ１１５０と、上述した技術を用いた顔検出器１１６０と、画像プロセッサ１１７０と、データフォーマッタ及び送信機１１８０とを備える。マイクロホン１１９０は、参加者の声を検出する。

オーディオ、ビデオ、及び（オプションとして）メタデータ信号は、フォーマッタ及び送信機１１８０からネットワーク接続１１２０を介して表示／受信装置１１４０に送信される。また、ネットワーク接続１１２０を介して表示／受信装置１１４０から制御信号を受信してもよい。

表示／受信装置は、例えば、表示画面及び関連する電子回路を含む表示及び表示プロセッサ１２００と、ユーザ操作子１２１０と、例えばデジタル−アナログ変換器（ＤＡＣ）、増幅器及びスピーカを含むオーディオの出力構成１２２０とを備える。

包括的に言えば、顔検出器１１６０は、カメラ１１５０によって撮像された画像内の顔を検出（及び任意の機能として追跡）する。顔検出は、制御信号として画像プロセッサ１１７０に供給される。画像プロセッサは、以下に説明するように、様々な異なる手法で動作させることができるが、基本的には、画像プロセッサ１１７０は、カメラ１１５０によって撮像された画像をネットワーク１１２０を介して送信する前に処理する。この処理の主な目的は、ネットワーク接続１１２０の帯域幅又はビットレートを有効に活用することである。ここで、殆どの商業用途において、テレビ会議システムに適するネットワーク接続１１２０のコストは、ビットレートの要求に伴って高くなる。フォーマッタ及び送信機１１８０は、画像プロセッサ１１７０からの画像と、マイクロホン１１９０からの（例えば、アナログ−デジタル変換器（ＡＤＣ）を介して、変換された）オーディオ信号と、オプションとして、画像プロセッサ１１７０によって行われた処理の性質を定義するメタデータとを結合する。

図５は、更なるビデオ会議システムの構成を示す図である。ここで、顔検出器１１６０、画像プロセッサ１１７０、フォーマッタ及び送信機１１８０、表示及び表示プロセッサ１２００の処理機能は、プログラミング可能なパーソナルコンピュータ１２３０によって実現される。表示画面（１２００の一部）に表示されている画面は、顔検出及び追跡を用いたビデオ会議の１つの可能なモードを示しており、このモードでは、顔を含んでいる画像部分のみが一方の場所から他方の場所に送信され、この他方の場所において、タイル形式又はモザイク形式で表示される。

この実施例では、２段階の顔検出技術を用いる。図６は、トレーニング段階を具体的に説明する図であり、図７は、検出段階を具体的に説明する図である。

以前に提案された顔検出方法と異なり、この方法は、全体としてではなく顔の一部のモデリングに基づいている。顔の一部は、顔の特徴（所謂「選択サンプリング（selective sampling）」）の推定位置上の中心のブロック、又は顔の通常間隔でサンプリング（所謂「標準サンプリング（regular sampling）」）されたブロックである。ここでは、主に、経験的検定で良い結果が得られた標準サンプリングについて説明する。

トレーニング段階では、解析処理を、顔を含むことが知られている一組の画像に、及び（オプションとして）顔を含まないことが知られている画像（「顔でない画像（nonface images）」）の別のセットに適用する。この処理は、顔の異なる角度（例えば、正面、左側、右側）を表す顔データの複数のトレーニング用の組について繰り返すことができる。解析処理は、検定画像を後に（検出段階で）比較することができる顔及び顔でない特徴の数学的モデルを構築する。

したがって、数学的モデル（図６のトレーニング処理３１０）を構築するための基本的な手順は次の通りである。
１．同じ目位置を有するように正規化された顔の画像のセット３００の各顔を、小さいブロックに一様にサンプリングする。
２．各ブロックの属性を算出する。
３．属性を、異なる値の処理しやすい数に量子化する。
４．次に、量子化属性を、そのブロック位置に関して１つの量子化値を生成するために組み合わせる。
５．そして、１つの量子化値を、エントリとしてヒストグラム、ヒストグラムに記録する。全てのトレーニング画像の全てのブロック位置に関する累積されたヒストグラム情報３２０は、顔の特徴の数学的モデルの基礎を形成する。

上述のステップを多数の検定顔画像について繰り返すことによって、１つのそのようなヒストグラムを、各可能なブロック位置に対して作成する。そこで、８×８ブロックの配列を用いる方式では、６４個のヒストグラムを準備する。処理の後半部において、検定する量子化属性を、ヒストグラムのデータと比較する。データをモデル化するために全部のヒストグラムを用いるという事実は、例えばガウス分布又は他の分布を後にパラメータ化するか否かと仮定する必要はないことを意味する。データ記憶空間（必要ならば）を節約するために、同じヒストグラムが異なるブロック位置に対して再生利用できるように、類似しているヒストグラムを併合することができる。

検出段階で、検定画像３５０を顔検出器３４０で処理するために、検定画像３５０内の連続したウィンドウを、以下のように処理する。
６．ウィンドウを、一連のブロックのように一様にサンプリングし、そして、各ブロックに関する属性を算出して、上述のステップ１〜４のように量子化する。
７．各ブロック位置の量子化属性値の対応する「確率（probability）」を、対応するヒストグラムから調べる。すなわち、各ブロック位置のそれぞれの量子化属性を生成し、そのブロック位置に関して予め生成されたヒストグラム（異なる角度を表す複数のトレーニング用の組がある場合には、複数のヒストグラム）と比較する。ヒストグラムが「確率」データを高める方法については後述する。
８．得られる全ての確率を互いに乗算して、ウィンドウを「顔」又は「顔でない」に分類するために、閾値と比較する最終の確率を形成する。「顔」又は「顔でない」の検出結果は絶対検出よりもむしろ確率ベースの方法であることは、言うまでもない。顔を含んでいない画像を間違って「顔」として検出（所謂誤検出（false positive））してしまうことがある。また、顔を含んでいる画像を間違って「顔でない」として検出（所謂見逃し検出（false negative））してしまうこともある。あらゆる顔検出システムの目標は、誤検出の割合及び見逃し検出の割合を減らすことであるが、現在の技術では、これらの割合をゼロに減らすことは、不可能ではないとしても困難である。

上述のように、トレーニング段階において、一組の「顔でない」画像は、「顔でない」ヒストグラムの対応するセットを生成するために用いることができる。そして、顔の検出を達成するために、顔でないヒストグラムから生成される「確率」を、個々の閾値と比較し、検定ウィンドウが顔を含むためには、確率が閾値以下でなければならない。代わりに、顔でない確率に対する顔確率の比を、閾値と比較することができる。

元のトレーニングセットを例えば位置、方向、大きさ、アスペクト比、背景の風景、照明の明るさ及び周波数成分（frequency content）の変化等の「合成変化（synthetic variations）」３３０で処理することによって、特別な（extra）トレーニングデータを生成することができる。

以下、顔検出装置の更なる改善について説明する。

顔追跡
顔追跡アルゴリズムについて説明する。追跡アルゴリズムは、画像シーケンスにおいて顔検出性能を向上させることを意図している。

追跡アルゴリズムの初期の目標は、画像シーケンスの全てのフレームにおける全ての顔を検出することである。しかしながら、シーケンス内の顔が検出できないこともある。これらの環境で、追跡アルゴリズムは、見逃した顔検出全体で補間するように補佐することができる。

最終的に、顔追跡の目標は、画像シーケンスにおいて同じシーンに属しているフレームの各セットから有効なメタデータを出力できることである。このメタデータには、以下のものが含まれる。
・顔の数。
・各顔の「顔写真(Mugshot)」（個人の顔の画像を表す口語的な言葉、警察にファイルされている写真を照会する用語からきている）。
・各顔が最初に出現するフレーム番号。
・各顔が最後に出現するフレーム番号。
・各顔の識別（前のシーンで見られた顔に一致するか、顔のデータベースに一致したもの）−顔の識別には、顔の認識も必要とされる。

追跡アルゴリズムは、顔検出アルゴリズムの結果を用い、画像シーケンスの各フレーム上で、その開始位置として独立して実行される。顔検出アルゴリズムは時々顔を見逃す（検出しない）こともあるので、見逃した顔を内挿する（interpolating）方法は有効である。このために、顔の次の位置を予測するためにカルマンフィルタ（Kalman filter）を用い、顔追跡を助けるために、肌色マッチングアルゴリズム（skin colour matching algorithm）を用いた。更に、顔検出アルゴリズムは、誤検出が生じることも多いので、これらの誤検出を排除することも有益である。

このためのアルゴリズムを、図８に示す。

要約すると、入力ビデオデータ５４５（画像シーケンスを表す）が本明細書に説明する種類の検出器５４０及び肌色マッチング検出器５５０に供給される。顔検出器５４０は、各画像内で１つ以上の顔を検出することを試みる。顔が検出されると、カルマンフィルタ５６０が起動され、その顔の位置を追跡する。カルマンフィルタ５６０は、画像シーケンスにおける次の画像内で同じ顔の予測される位置を生成する。目の位置比較器５７０、５８０は、顔検出器５４０が次の画像内のその位置（或いは、その位置からある閾値距離の範囲内）で顔を検出したかを、検出する。顔が検出された場合、その検出された顔位置は、カルマンフィルタを更新するために用いられ、処理が続けられる。

顔が予測された位置で、或いは近くで検出されない場合、肌色マッチング回路５５０を用いる。肌色マッチング回路５５０は、厳密でない顔検出技術であり、その検出の閾値は顔検出器５４０よりも低く設定され、顔検出器５４０がその位置で顔があると検出することができないときでさえ、顔を検出する（顔があるとみなす）ことができる。肌色マッチング回路５５０によって「顔」が検出されると、その位置がカルマンフィルタ５６０に更新された位置として供給され、処理が続けられる。

顔検出器４５０又は肌色マッチング回路５５０によって一致が検出されないときは、カルマンフィルタを更新するために予測された位置を用いる。

これらの結果の全ては、判定基準（下記参照）に対する対象である。したがって、例えば、１つの正しい検出に基づきシーケンスを通して追跡される顔、及び予測の残り又は肌色検出の残りは、破棄する。

追跡アルゴリズムにおいて各顔を追跡するために、それぞれ独立したカルマンフィルタを用いる。

なお、追跡処理は、必ずしもビデオシーケンスを時間的に順方向に追跡する必要はない。画像データにアクセス可能であれば（すなわち、処理が実時間ではなく、又は画像データが時間的に継続する用途のためにバッファリングされている場合）、追跡処理を時間的に逆方向に行うこともできる。又は、第１の顔が検出された場合（多くの場合ビデオシーケンスの途中で検出される）、追跡処理は、時間的に順方向及び逆方向の両方について開始してもよい。更なる任意の処理として、追跡処理は、ビデオシーケンス全体に亘って、時間的に順方向及び逆方向の両方について実行し、これらの追跡の結果を組み合わせて（例えば）許容基準に適合する追跡された顔が、追跡が実行された何れの方向についても有効な結果として含ませてもよい。

追跡アルゴリズムの利点
顔追跡法は、以下のような３つの主な利点を有する。
・顔検出結果が得られないフレームにおいて、カルマンフィルタリング及び肌色追跡を用いることにより、見逃された顔を埋める（fill in）ことができる。これにより、画像シーケンス間に亘って、真の許容率を高めることができる。
・顔を連続的に追跡することにより、顔のリンクを提供できる。アルゴリズムは、将来のフレームにおいて検出された顔が同じ個人の顔であるか、他の個人の顔であるかを自動的に知ることができる。したがって、このアルゴリズムから、シーン内の顔の数やこれらの顔が存在するフレームに関する情報を含むシーンメタデータを容易に作成することができ、各顔の代表的な顔写真を作成することもできる。
・顔の誤検出は、画像間で連続することは希であるため、顔の誤検出率を低くすることができる。

図９ａ〜図９ｃは、ビデオシーケンスに適用される顔追跡を説明する図である。

具体的には、図９ａは、連続するビデオ画像（例えば、フィールド又はフレーム）８１０から構成されるビデオシーン８００を図式的に示している。

この具体例では、画像８１０は、１又は複数の顔を含んでいる。詳しくは、このシーン内の全ての画像８１０は、画像８１０の図式的表現内における左上に示す顔Ａを含んでいる。更に、一部の画像８１０は、画像８１０の図式的表現内における右下に示す顔Ｂを含んでいる。

この図９ａに示すシーンに顔追跡処理を適用したとする。顔Ａは、当然、シーン全体に亘って追跡される。１つの画像８２０においては、直接検出によっては顔は追跡されていないが、上述した色マッチング法及びカルマンフィルタリング法により、「見逃された（missing）」画像８２０の前後の両側について、検出が連続していることを示唆する。図９ｂは、検出された、各画像内に顔Ａが存在する確率を示しており、図９ｃは、顔Ｂが存在する確率を示している。顔Ａに対する追跡と、顔Ｂに対する追跡とを区別するために、各追跡には、（少なくともこのシステム内における他の追跡に関して）固有の識別番号が与えられる。

上述のシステム及びＰＣＴ／ＧＢ２００３／００５１８６に開示されたシステムでは、顔検出及び追跡において、顔が長期間に亘ってカメラから背けられた場合、又はシーンから短期間消えた場合、個人の追跡が終了する。顔がシーンに戻ると、その顔は、再び検出されるが、この場合、新たな追跡が開始され、この新たな追跡には、以前とは異なる識別（ＩＤ）番号が与えられる。

以下、所謂「顔類似（face similarity）」又は「顔照合（face matching）」技術について説明する。

顔類似の目的は、上述のような状況における、個人の同一性を維持するすることであり、これにより、（同じ個人に関連する）先の顔追跡と、後の顔追跡を互いにリンクさせることができる。この構成においては、少なくとも原理的に、各個人には、固有のＩＤ番号が割り当てられる。個人がシーンに戻るとアルゴリズムは、顔照合技術を用いて、同じ識別番号を再び割り当てるよう試みる。

顔類似法では、新たに検出した個人の複数の顔「スタンプ」（追跡された顔を代表するよう選択された画像）と、以前に検出した個人又は他の場所で検出した個人とを比較する。なお、顔スタンプは、正方形である必要はない。システムの顔検出及び追跡コンポーネントから、１人の個人に属する複数の顔スタンプが得られる。上述のように、顔追跡処理では、検出された顔を一時的にリンクし、その個人がシーンから消えるか、カメラから長時間顔を背けない限り、ビデオフレームのシーケンス中において、これらの顔の同一性を維持する。したがって、このような追跡処理内の顔検出は、同じ個人に属するものと考えられ、その追跡処理内の顔スタンプは、１人の特定の個人の顔スタンプの「組」として用いることができる。

各顔スタンプの組においては、固定された数の顔スタンプが維持される。以下、追跡処理から顔スタンプを選択する手法を説明する。次に、２つの顔スタンプセットの「類似性測定値」について説明する。続いて、顔検出と追跡システム内において、類似法をどのように用いるかを説明する。まず、図１０を用いて、総合的な追跡システムのコンテキストにおける顔類似技術（face similarity techniques）について説明する。

図１０は、上述した顔検出及び追跡システムの技術的コンテキストに顔類似機能を追加したシステムを示している。この図面には、上述のシステム及びＰＣＴ／ＧＢ２００３／００５１８６に開示された処理の概要も示されている。

第１のステージ２３００において、所謂「関心領域」ロジックは、画像内において、顔検出を行うべき領域を導出する。これらの関心領域において、顔検出２３１０が行われ、顔位置が検出される。次に、顔追跡２３２０が行われ、追跡された顔位置及びＩＤが生成される。そして、顔類似処理２３３０において、顔スタンプの組が照合される。そして、顔類似処理２３３０において、顔スタンプの組が照合される。

顔スタンプの組のためのスタンプの選択
顔スタンプの組を生成及び維持するために、追跡処理において一時的にリンクされた複数の顔スタンプから所定数（ｎ）のスタンプが選択される。選択の基準は、以下の通りである。
１．スタンプは、色追跡又はカルマン追跡からではなく、顔検出から直接生成されている必要がある。更に、スタンプは、「正面」の顔トレーニングセットから生成されたヒストグラムデータを用いて検出された場合にのみ選択される。
２．一旦、（例えば、顔追跡を構成する画像の時間順に）最初のｎ個のスタンプが集められると、既存の顔スタンプの組と、（時間順の）追跡から得られる新たな各スタンプとの類似性（以下参照）が測定される。追跡された各顔スタンプと、スタンプの組内の残りのスタンプとの類似性も測定され、保存される。新たに得られた顔スタンプが顔スタンプの組の既存の要素より類似性が低い場合、その既存の要素は、無視され、新たな顔スタンプが顔スタンプの組に含まれる。このようにしてスタンプを選択することにより、選択処理の終わりには、顔スタンプの組内に、入手可能な最大限の変化が含まれる。これにより、顔スタンプの組は、特定の個人をより明確に代表するようになる。

１つ顔スタンプの組について集められたスタンプがｎ個より少ない場合、この組は、多くの変化を含んでおらず、したがって、個人のを明確に代表するものではない可能性が高いため、この顔スタンプの組は、類似性評価には使用されない。

この技術は、顔類似アルゴリズムだけではなく、如何なる目的の如何なる用途の代表ピクチャスタンプの組の選択にも応用できる。

例えば、この技術は、所謂顔登録（face logging）にも応用できる。例えば、カメラの前を通り過ぎたことが検出され、登録された個人を表現する必要がある場合がある。この場合、幾つかのピクチャがスタンプを用いるとよい。これらのピクチャスタンプは、できるだけ多くの変化が含まれるように、互いに可能な限り異なるものであることが理想的である。これにより、人間のユーザ又は自動顔認識アルゴリズムがその個人を認識できる機会が広がる。

類似性測定値
２つの顔追跡結果が同じ個人を表しているか否かを判定するためにこれらを比較する際に用いる、新たに遭遇した個人の顔スタンプの組（セットＢ）と、以前に遭遇した個人の顔スタンプ（セットＡ）との間の類似性の基準は、セットＡの顔スタンプからセットＢの顔のスタンプがどれ程良好に再構築できるかに基づいて定められる。セットＡの顔スタンプからセットＢの顔スタンプが良好に再構築できる場合、セットＡとセットＢの両方の顔スタンプは、同じ個人のものである可能性が高いと考えられ、したがって、新たに遭遇した個人は、以前、検出された個人と同一人物であると判定できる。

この手法は、上述した構成にも適用でき、すなわち、特定の顔追跡結果を表す顔スタンプの組として用いる顔画像の選択にも適用できる。この場合、新たに遭遇した各候補顔スタンプと、その組内の既存のスタンプとの間の類似性、及び既存の組内の各スタンプ間の類似性は、後述するように、セットＢからのスタンプと、セットＡからのスタンプとの間の類似性と同様に判定できる。

セットＢ内のスタンプは、ブロックベースの手法によって、セットＡのスタンプから再構築される。この処理図を図１１に示す。

図１７には、４つの顔スタンプ２０００、２０１０、２０２０、２０３０を含む顔スタンプセットＡが示されている（勿論、４個という個数は、図面を明瞭にするために選択しただけであり、実用段階では、当業者はこの個数を任意に選択することができる）。顔スタンプセットＢからのスタンプ２０４０は、セットＡの４つのスタンプと比較される。

顔スタンプ２０４０内の重複しない各ブロック２０５０は、顔スタンプセットＡのスタンプから選択されたブロックによって置換される。ブロックは、セットＡの如何なるスタンプから、及びスタンプの元のブロック位置の近隣又は検索ウィンドウ２１００内の如何なる位置からも選択することができる。平均自乗誤差（mean squared error：ＭＳＥ）が最も小さくなるこれらの位置内のブロックが選択され、これにより、動きが推定法を用いて、再構築されているブロックが置換される（ここで好適に用いられる動き推定法は、演算負荷が軽く、且つ、明るさの変化がある場合、平均自乗誤差が最も小さくなる推定法である）。なお、ブロックは、正方形である必要はない。この実施例では、ブロック２０６０は、スタンプ２０００からの近接するブロックによって置換され、ブロック２０７０は、顔スタンプ２０１０からのブロックによって置換され、ブロック２０８０は、顔スタンプ２０２０からのブロックによって置換される。

顔スタンプを再構築する場合、各ブロックは、基準顔スタンプ（reference face stamp）内の対応する近隣のブロックによって置換することができる。オプションとして、この近隣のブロックに加えて、最良のブロック（best block）は、反転された基準顔スタンプ内の対応する近隣から選択してもよい。人間の顔は、略対称性を有しているため、このような処理を行うことができる。このようにして、顔スタンプの組内に存在するより多くの変化を利用できる。

用いられる各顔スタンプは、６４×６４のサイズを有し、これは、８×８のサイズのブロックに分割される。類似性測定のために用いられる顔スタンプは、システムの顔検出コンポーネントによって出力される顔スタンプより厳密にクロッピングされる。これは、類似性測定処理において、できるだけ多くの背景を除外するためである。

画像をクロッピングするために、例えば、高さ５０画素、幅４５画素等、縮小されたサイズが選択される（又は予め定められる）（殆どの顔が正方形でないことに対応する）。次に、このサイズの中心領域に対応する画素のグループがリサイズされ、これにより、選択された領域は、再び６４×６４ブロックに対応するようになる。この処理は、簡単な補間処理を含む。中央の非正方形領域をリサイジングして正方形のブロックに対応させることにより、リサイジングされた顔は、多少引き延ばされて見えることがある。

クロッピング領域（例えば、５０×４５画素領域）は、予め定めてもよく、又は各インスタンス内の検出された顔の属性に応じて選択してもよい。何れの場合も、６４×６４ブロックへのリサイジングは、顔スタンプがクロッピングされているか否かにかかわらず、同じ６４×６４サイズで顔スタンプが比較されることを意味する。

一旦、全体のスタンプがこのようにして再構築されると、再構築されたスタンプとセットＢからのスタンプの間で平均自乗誤差が計算される。この平均自乗誤差が低い程、この顔スタンプと、顔スタンプセットＡの間の類似度が高いと判定できる。

２つの顔スタンプの組を比較する場合、顔スタンプセットＢの各スタンプを同様に再構築し、２つの顔スタンプの組の間の類似性測定値として、結合された平均自乗誤差を用いる。

このように、このアルゴリズムは、照合すべき各個人について、複数の顔スタンプが利用可能であるという事実に基づいている。更に、このアルゴリズムは、照合すべき顔の不正確な登録に対するロバスト性を有する。

上述のシステムにおいては、類似性測定値を生成するために、既存の顔スタンプの組から新たに集められた顔スタンプの組が再構築される。他の顔スタンプの組から（ＡからＢ）顔スタンプの組を再構築することによって得られる類似性測定値は、通常、先の組から顔スタンプの組を再構築する場合（ＢからＡ）と異なる結果を示す。したがって、幾つかの状況では、既存の顔スタンプの組を新たな顔スタンプの組から再構築した場合、例えば、非常に短い追跡から既存の顔スタンプの組を集めた場合等、逆の処理を行った場合に比べて、より高い類似性測定値が導き出されることもある。したがって、同様の顔の間の併合が成功する可能性を高めるために、２つの類似性測定値を結合（例えば、平均化）してもよい。

更に可能な変形例を説明する。顔スタンプを再構築する場合、各ブロックは、基準顔スタンプからの同じサイズ、形状及び向きを有するブロックによって置換される。しかしながら、２つの顔スタンプにおいて、サブジェクトのサイズと向きが異なる場合、再構築される顔スタンプのブロックが同じサイズ、形状及び向きのブロックに対応しないため、これらの顔スタンプは、互いから良好に再構築されない。この問題は、基準顔スタンプのブロックのサイズ、形状及び向きを任意に変更できるようにすることによって解決できる。すなわち、最良のブロックは、高次の幾何学変換推定（例えば、回転、ズーム等）を用いることによって、基準顔スタンプから選択される。これに代えて、基本的な手法によって顔がスタンプを再構築する前に基準顔スタンプの全体を回転及びリサイズしてもよい。

明るさの変化に対する類似性測定値のロバスト性を高めるために、平均輝度が０となり、分散が１となるように、各顔スタンプを正規化してもよい。

オブジェクト追跡システム内の顔類似コンポーネントの使用
オブジェクト追跡により、個人がシーンから姿を消さない限り、ビデオフレームのシーケンス中において、その個人の同一性が維持される。顔類似コンポーネントの目的は、個人が一時的にシーンから消え、又はカメラから顔を背け、或いは異なるカメラによってシーンが捕捉された場合においても個人の同一が維持されるように追跡をリンクさせることである。

顔検出及びオブジェクト追跡システムの動作の間、新たな追跡が開始されるたびに、新たな顔スタンプの組の収集が開始される。新たな顔スタンプの組には、固有の（すなわち、以前に追跡された組とは異なる）ＩＤが与えられる。新たな顔スタンプの組の各スタンプが得られると、先に集められた顔スタンプの組に対する類似性測定値（Ｓ_ｉ）が算出される。以下に示すように、この類似性測定値を用いて、反復的な手法によって、先に集められた顔スタンプの組に対する、新たな顔スタンプの組の既存の要素に関する結合された類似性測定値（Ｓ_ｉ−１）が更新される。

^ｊＳ_ｉ＝０．９＊^ｊＳ_ｉ−１＋０．１＊^ｊＳ_ｉ
ここで、上付き文字ｊは、先に集められた顔スタンプの組ｊとの比較を表している。

ここで、以前に遭遇した顔スタンプの組に対する新たな顔スタンプの組の類似性がある閾値（Ｔ）を超え、新たな顔スタンプの組内の要素の数が少なくともｎ（上述の説明参照）個であった場合、新たな顔スタンプの組には、前の顔スタンプの組と同じ所定のＩＤが与えられる。次に、２つの顔スタンプの組を併合し、上述したような、同じ類似性比較法を用いて、これら２つの組に含まれる変化と同じ量の変化を可能な限り含む１つの顔スタンプの組を生成する。

新たな顔スタンプの組は、ｎ個の顔スタンプが集められる前に追跡が終了した場合、破棄される。

２つ以上の保存された顔スタンプの組について、新たな顔スタンプの組の類似性測定値が閾値Ｔを超えている場合、これは、現在の個人が、先の２人の個人に良好に一致すると考えられる。この場合、現在の個人を先の２人の個人の何れかに一致させるために、更に厳格な類似性閾値（すなわち、更に低い差分値）が必要となる。

類似性基準に加えて、他の評価基準を用いて、２つの顔スタンプの組を併合すべきか否かを決定することもできる。この評価基準は、同じ個人に属する２つの顔スタンプの組が同じ時間に重複しないという知識に基づいている。すなわち、数フレーム以上に亘るピクチャ内に同時に現れた２つの顔スタンプの組が互いに一致するとみなされることはない。これは、共存マトリクス（co-existence matrix）を用いて、１又は複数のピクチャ内に同時に存在した全ての顔スタンプの組に関する記録を維持することによって実現される。共存マトリクスは、２つの顔スタンプの組のあらゆる組合せが共存したことがある複数のフレームを保存する。このフレームの数が少なくない、例えば１０フレーム以上である場合（幾つかのフレームに亘って、追跡が顔に定まらないまま削除されることがあることを考慮している。）、２つの顔スタンプの組を同じＩＤに併合することは許可されない。ＩＤ１〜ＩＤ５が付された５人の人（追跡結果）に関する共存マトリクスの具体例を以下に示す。

マトリクスは、以下の事実を示している。
・ＩＤ１は、合計２３４フレームに出現している（但し、これらは連続していない場合もある）。ＩＤ１は、ＩＤ２又はＩＤ３と同時にショット内に現れたことは一度もなく、したがって、これらの個人は、将来、併合される可能性がある。ＩＤ１は、８７フレームに亘ってＩＤ４と共存しており、したがって、この個人と併合されることはない。また、ＩＤ１は、５フレームに亘ってＩＤ５と共存している。このフレーム数は、閾値フレーム数より少なく、したがって、これらの２つＩＤは、併合される可能性を残している。
・ＩＤ２は、合計５４フレームに出現している（但し、これらは連続していない場合もある）。ＩＤ２は、ＩＤ３のみと共存しており、したがって、この個人と併合されることはない。また、ＩＤ２は、良好に一致すれば、ＩＤ１、ＩＤ４、ＩＤ５の何れかと将来併合される可能性がある。
・ＩＤ３は、合計４３フレームに出現している（但し、これらは連続していない場合もある）。ＩＤ３は、ＩＤ２のみと共存しており、したがって、この個人と併合されることはない。また、ＩＤ２は、良好に一致すれば、ＩＤ１、ＩＤ４、ＩＤ５の何れかと将来併合される可能性がある。
・ＩＤ４は、合計１０２フレームに出現している（但し、これらは連続していない場合もある）。ＩＤ４は、ＩＤ２又はＩＤ３と同時にショット内に現れたことは一度もなく、したがって、これらの個人は、将来、併合される可能性がある。ＩＤ４は、８７フレームに亘ってＩＤ１と共存しており、したがって、この個人と併合されることはない。また、ＩＤ４は、５フレームに亘ってＩＤ５と共存している。このフレーム数は、閾値フレーム数より少なく、したがって、これらの２つＩＤは、併合される可能性を残している。
・ＩＤ５は、合計５フレームに出現している（但し、これらは連続していない場合もある）。ＩＤ５は、全てのフレームについて、ＩＤ１及びＩＤ４と共存したが、このフレーム数は閾値フレーム数より少ないので、ＩＤ５は、ＩＤ１及びＩＤ４の何れか一方と併合される可能性がある。また、ＩＤ５は、ＩＤ２及びＩＤ３と共存していないので、ＩＤ２又はＩＤ３と併合される可能性がある。

顔類似測定値が高いために２つのＩＤが併合されると、共存マトリクスは、これらの併合された２つのＩＤの共存情報を結合することによって更新される。この更新は、単に、２つのＩＤに対応する行の数値を加算し、続いて、２つのＩＤに対応する列の数値を加算することによって行われる。

例えば、ＩＤ５をＩＤ１に併合すると、上述した共存マトリクスは、以下のようになる。

次に、ＩＤ１がＩＤ２に併合されると、この共存マトリクスは、以下のようになる。

なお、以下の点に注意する必要がある。
・ＩＤ１は、他の更なる既存の人とも併合することはできない。
・この具体例では、２つのＩＤが併合された後は、小さい方のＩＤ番号を維持するとの規約がある。
・ＩＤがピクチャ内に存在している間は、ＩＤを併合することは許可されない。

顔スタンプの組を生成及び併合するための類似性検出処理において、顔スタンプは、通常、他の顔スタンプから複数回再構築する必要がある。これは、動きが推定法を用いて、各ブロックを何回か照合する必要があることを意味する。幾つかの動き推定法では、最初のステップとして、用いられる基準顔スタンプの如何にかかわらず、照合する必要があるブロックに関するある情報を計算する。動き推定は、何回か実行する必要があるため、この情報は、顔スタンプとともに保存してもよく、これにより、ブロックを照合するたびにこの情報を算出する必要がなくなり、処理時間が短縮される。

以下、例外的な（少なくとも普通ではない）照明条件の下で撮像された画像の画質を向上させることを目的とする顔検出及びオブジェクト追跡技術の改善について説明する。

照明変化に対するロバスト性を向上させる方法
照明変化に対するロバスト性を向上させる方法には、次のような方法がある。
（ａ）広範囲に亘る照明変化を含む付加的なサンプルを用いた追加的なトレーニング。
（ｂ）急峻な影の影響を減少させるためのコントラストの調整。

ヒストグラムを正規化する更なる修正により、顔検出システムのパラメータの１つを調整する必要がなくなるので、顔検出の性能が向上する。

これらの実験のための検査用のセットは、例外的な照明条件の下で撮像された画像を含んでいる。図１２に示す「小さなトレーニングセット（曲線Ａ）」のラベルが付された第１の組は、正面の顔（２０％）と、左向きの顔（２０％）と、右向きの顔（２０％）と、上向きの顔（２０％）と、下向きの顔（２０％）とを含んでいる。図１２には、上述した改善を行う前及び行った後の、この検査用の組に対する顔検出システムの性能を示している。第２の検査用の画像の組は、オフィスの周辺で撮像されたサンプル画像を含んでいる。図１３ａ及び図１３ｂは、これらのサンプル画像を示しており、これらについては後に説明する。

ヒストグラムトレーニングセットの更なるデータ
異なる照明条件に対処するためにトレーニングセットに更なる顔のサンプルを追加してもよい。これらの顔のサンプルは、好ましくは、元から用いていたトレーニングセット内の顔のサンプルより多くの照明の変化を含んでいるとよい。図１２に示すように、拡張された（結合された）トレーニングセット（曲線Ｂ）は、小さいトレーニングセット（曲線Ａ）のみを用いた場合に比べて、僅かに性能が向上している。

ヒストグラムの正規化
正面のポーズに関するヒストグラムを用いた検出のための適切な閾値は、正面以外のポーズに関するヒストグラムを用いた場合に比べて僅かに低くすることが好ましいことが見出されている。このため、各ポーズの確率マップを結合する前に、正面のポーズの確率マップにバイアスを加える必要がある。顔検出システムのヒストグラムトレーニング機能を変更する際には、この正面のバイアスを経験的に決定する必要があった。

なお、正面の確率マップ及び正面ではない向きの確率マップの両方の検出に同様の閾値を用いることができるように、このバイアスをヒストグラムトレーニング機能に組み込んでもよい。この処理は、正面のヒストグラム及び正面ではない向きのヒストグラムを互いに正規化したと表現することもできる。図１２のグラフに示す「小さいトレーニングセット」の曲線及び「結合されたトレーニングセット」の曲線は、適切な正面のバイアスを経験的に決定する前の結果を示している。曲線Ｃは、最適化されたヒストグラムを用いた場合の結果であり、これは、最適ではないバイアスを用いた場合に比べて、より良好な性能が得られることを示している。

コントラスト調整
急峻な影が存在する顔画像は、検出が難しいことが観察された。このため、影の影響を低減するための前処理を考案した。この前処理では、（検査中の画像全体より小さい）ウィンドウを入力画像内の各画素の周りにセンタリングし、ウィンドウ内の最小の画素値によって、ウィンドウの中心の画素値を平均化する。これにより、出力画像の各画素の値（Ｉｏｕｔｐｕｔ）は、以下の式の通りとなる。

Ｉ_{ｏｕｔｐｕｔ}（ｘ）＝（Ｉ_{ｉｎｐｕｔ}（ｘ）＋ ｍｉｎ（Ｗ））／２
ここで、Ｗは、画素ｘにセンタリングされたウィンドウを表す。

この具体化で用いる隣接するウィンドウのサイズは、７×７画素である。続いて、処理された画像に対して通常の顔検出を行う。これにより、図１２の曲線Ｄに示すような改善の効果が得られる。すなわち、この新規な処理により、顔検出システムの性能が著しく向上していることがわかる。（なお、「ウィンドウ」が画像全体を含む構成についても同様の検査を行ったが、この場合、上述のような有利な効果は得られなかった。）
この技術は、例えば、店舗内等の厳しい照明環境下で、例えば顔等のオブジェクトを検出する必要がある場合に特に有用であり、したがって、所謂「電子看板（デジタルサイネージ）」に適用し、広告マテリアルを表示する画面を見ている個人の顔を検出するために用いてもよい。この場合、顔の存在、顔の滞在時間、及び／又は顔の数を用いて、広告画面上に表示するマテリアルを変更することができる。

サンプル画像
ここに提案した幾つかのサンプル画像に関する修正を行った後の顔検出システムの性能を図１３ａ及び図１３ｂに示す。左側及び右側の画像は、それぞれ修正前及び修正後の顔検出の結果を示している。このように、上述した修正により、厳しい照明条件下でも、正面の顔及び正面以外の向きの顔の両方の検出が成功している。

以下、代替となる顔類似検出法及び／又は上述した技術の変形例について説明する。

顔認識は、通常、画像を正しく「位置合わせする」と性能がよくなり、すなわち、顔を類似アルゴリズムに適用する際、顔を同様のサイズ及び向きにし、又は顔のサイズ及び向きが既知であるために、アルゴリズムにおいてこれらを補償できる場合に、顔認識の性能が高くなる。

上述した顔検出アルゴリズムは、多くの場合、かなり高い性能のレベル（例えば、幾つかの実施の形態では、９０％を上回る正しい検出及び１０％を下回る誤検出）で画像又はビデオフレーム内の全ての顔の数及び位置を判定できる。しかしながら、アルゴリズムの性質のために顔の位置を高い精度で生成することはできない。したがって、ここでは、顔検出と顔認識の間の中間段階において、例えば、検出された顔の目の位置を正確に特定することによって顔位置合わせを実行する。図１４は、顔検出と顔認識（類似検出）との間で、顔認証処理中のどこで顔位置合わせを行うかを説明する概略図である。

以下、上述した顔認証技術又は後述する顔認証技術と共に用いて有益な顔位置合わせ技術について説明する。

ここでは、検出ベースの位置合わせアルゴリズム及び「固有目（eigeneyes）」ベースの位置合わせアルゴリズムの２つの顔位置合わせアルゴリズムについて説明する
検出ベースの位置合わせアルゴリズム
検出ベースの顔位置合わせアルゴリズムでは、より正確な位置特定のために、スケール、回転及びトランスレーション（平行移動）を変更しながら、顔検出アルゴリズムを繰り返し実行する。元の顔検出アルゴリズムから出力される顔ピクチャスタンプは、再び実行される顔検出アルゴリズムに入力される。

位置合わせアルゴリズムでは、顔検出アルゴリズムの更に局所限定されたバージョンを使用する。このバージョンは、顔が正しく位置合わせされていない場合に顔確率が低下するように、合成変化の範囲を狭くして、顔に関してトレーニングされる。トレーニングセットは、同じ数の顔を有するが、トランスレーション、回転及びズームの範囲はより小さい。表４に示すように位置合わせアルゴリズムのための合成変化の範囲は、元の顔検出アルゴリズムと比較される。

更に、元の顔検出アルゴリズムは、２５°右及び左を見上げた顔に関してトレーニングされるが、局所限定された検出アルゴリズムは、正面の顔だけに関してトレーニングされる。

元の顔検出アルゴリズムは、１オクターブあたり４つの異なるスケールで動作し、各スケールは、前のスケールの^４√２倍の大きさとなる。図１５は、元の顔検出アルゴリズムにおけるスケールの間隔（１オクターブあたり４スケール）を図式的に示している。

顔のサイズの分解能を高め、したがって、顔の局所限定のために、顔位置合わせアルゴリズムは、更に、それぞれの顔検出スケールの間の２つのスケールにおいて、顔検出を実行する。これは、各実行の前に、×^１２√２の積によってシフトされた元のスケールで顔検出アルゴリズムを３回実行することによって実現される。この構成を図１６に図式的に示す。図１６のスケールの各行は、（局所限定された）顔検出アルゴリズムの１つの実行を表す。最終的には、顔検出結果が最高の確率になるスケールを選択する。

元の顔検出アルゴリズムは、通常、同一平面上で最大±１２°回転した顔を検出できる。このため、顔検出アルゴリズムから出力される顔ピクチャスタンプは、同一平面上で最大±１２°回転している。これを補償するために、位置合わせアルゴリズムのための（局所限定された）顔検出アルゴリズムは、入力画像を−１２°から＋１２°まで、１．２°のステップで回転させながら実行される。最終的には、最高の確率を有する顔検出結果を選択する。図１７は、顔位置合わせアルゴリズムで用いられる一組の回転を図式的に示している。

元の顔検出アルゴリズムは、入力画像の１６×１６のウィンドウに適用される。顔検出は、（小さな頭を検出するための）元の画像サイズから、（大きな頭を検出するための）元の画像のスケールダウンされたバージョンまで、様々なスケール上で実行される。スケーリングの量によって、検出された顔の位置に関連するトランスレーション誤差が生じることがある。

顔位置合わせアルゴリズムにおいて、この誤差を補償するために、（局所限定された）顔検出アルゴリズムを実行する前に、トランスレーションの範囲に亘って、１２８×１２８画素の顔ピクチャスタンプをシフトする。図１８に図式的に示すように、シフトの範囲は、水平方向に−４画素から＋４画素まで、及び垂直方向に−４画素から＋４画素までのトランスレーションのあらゆる組合せをカバーする。（局所限定された）顔検出アルゴリズムは、トランスレートされた各画像について実行され、最終的な顔位置は、顔検出結果が最高の確率を有するトランスレーションによって決定される。

最も高い顔確率で顔が検出された全てのスケール、同一平面回転及びトランスレーション位置を発見することによって、目の位置をより正確に推定することができる。そして、最終的に、固定された目位置を有するテンプレートに顔を位置合わせする。これは、顔検出アルゴリズムからの出力である顔ピクチャスタンプに擬似変換を実行し、顔位置合わせアルゴリズムによって得られた目位置を顔テンプレートの固定された目位置に変更することによって実行される。

固有目ベースの位置合わせアルゴリズム
顔位置合わせのための固有目ベースの手法では、目の周りの顔領域についてトレーニングされた一組の固有ブロックを用いる。これらの固有ブロックは、固有目と呼ばれる。固有目は、顔検出アルゴリズムからの出力である顔ピクチャスタンプにおいて、目を探索するために使用される。この検索法は、「B. Moghaddam & A Pentland, "Probabilistic visual learning for object detection", Proceedings of the Fifth International Conference on Computer Vision, 20-23 June 1995, pp786-793」に開示されている固有顔ベースの顔検出法に用いられた技術と同様の技術を用いる。以下、この手法について詳細に説明する。

固有目画像は、両目及び鼻を含む顔の中心領域に関してトレーニングされる。図１９は、平均画像（上の画像）及び複数の固有目の組（下の４枚の画像）の具体例を示している。ここでは、目の領域及び鼻の領域の組合せを選択した。大規模な実験において、この組合せによって、最良の結果が得られることが見出された。ピクチャスタンプにおけるあらゆる可能なブロック位置について、個々の目、個々の目、鼻及び口、固有ブロックの個別のセットを含む他の領域についても検査した。しかしながら、これらの手法の何れによっても、目の位置の局所限定に関して、固有目法程の効果は得られなかった。

２６７７個の位置合わせされた正面の顔について固有ベクトル解析を実行することによって固有目を作成した。これらの画像は、異なる照明下で及び異なる表情を有する７０人の個人を元に撮像した。固有ベクトル解析は、各顔について、目及び鼻の周りの領域のみについて実行した。図１９は、これにより得られた平均の目画像及び１番目から４番目までの固有目画像を示している。合計で１０個の固有目画像を生成し、目の局所限定のために用いた。

先に述べたように、固有顔顔検出法と同様の技術を用いて、目の局所限定を実行した。この手法は、制約がない画像における顔の検索については限界があるが、制約がある探索空間においては良好に機能することが見出された（すなわち、ここでは、顔画像における目の領域の探索のためにこの手法を用いている）。以下、この手法の特徴及び従来の手法との違いについて要約する。

入力画像の領域が、目にどれ程類似しているかを定義する２つの尺度として、特徴空間からの距離（distance from feature space：ＤＦＦＳ）及び特徴空間内の距離（distance in feature space：ＤＩＦＳ）を用いる。これらを明瞭にするために、画像サブ空間における固有目を例に説明する。

固有目は、完全な画像空間のサブ空間を表す。このサブ空間によって、人間の顔の目において典型的な（平均目画像からの）変化を最適に表すことができる。

ＤＦＦＳは、固有目の加重和及び平均目画像から現在の顔の目を作成する際の再構築誤差を表す。これは、固有目によって表されている空間に直交するサブ空間におけるエネルギと等しい。

ＤＩＦＳは、各固有目画像の分散によって重み付けされた距離メトリック（所謂マハラノビス距離）を用いて、固有目サブ空間内における平均画像からの距離を表す。

そして、ＤＦＦＳとＤＩＦＳの加重和を用いて、入力画像の領域が固有目にどれくらい近いかを定義する。元の固有顔法では、全てのトレーニング画像に亘る再構築誤差の分散によってＤＦＦＳを重み付けしている。ここで元の固有顔法と異なり、画素ベースの重み付けを行う。重み付け画像は、トレーニング画像を再構築する際、各画素位置の再構築誤差の分散を見出すことによって構築される。そして、この重み付け画像を用いて、画素毎にＤＦＦＳを正規化した後、ＤＩＦＳに結合する。これによって、通常、再構築が困難な画素が、距離メトリックに望ましくない影響を与えることを防ぐことができる。

そして、顔ピクチャスタンプ内の最小の加重ＤＦＦＳ＋ＤＩＦＳが得られる位置を見出すことによって、目の位置が検出される。これは、固有目サイズの画像領域を再構築し、顔ピクチャスタンプ内の全ての画素位置において、上述したように加重ＤＦＦＳ＋ＤＩＦＳを算出することによって行われる。

更に、検出ベースの手法（上述）と同様の一組の回転及びスケールを用いて、探索範囲を拡大し、検出された顔の回転及びスケールを修正する。そして、全てのスケールに亘る最小のＤＦＦＳ＋ＤＩＦＳ、検査された回転及び画素位置を用いて、目の位置の最良の推定を得る。

所定のスケール及び同一平面回転における最適の固有目位置を発見することによって、固定された目位置を有するテンプレートに顔を位置合わせできる。これは、検出ベースの位置合わせ法と同様に、単に顔ピクチャスタンプを擬似変換することによって実行できる。これによって、顔位置合わせアルゴリズムによって得られた目位置が顔テンプレートの固定された目位置に変換される。

顔位置合わせ結果
所謂顔写真画像（mugshot image）及び所謂検査画像（test image）の２組のデータを用いて顔位置合わせアルゴリズムを検査した。メインの顔位置合わせ検査は、顔写真画像について実行した。これらは、制御された環境で捕捉された一組の静止画像である。

また、「検査」画像についても顔位置合わせを検査する。検査画像は、ソニー株式会社のデジタルカメラＳＮＣ−ＲＺ３０（商標）によって、オフィス環境で捕捉された一連の追跡された顔を含む。検査画像は、顔認識における検査セットとして用いた。認識の間、検査セット内の追跡された各顔を、顔写真画像の各顔に対して照合し、グラウンドトゥルース（ground truth）に対して、所定の閾値を満たす全ての一致を記録及び確認した。各閾値は、正検出／誤検出曲線における異なる点において生成した。

そして、顔写真画像に対する各顔位置合わせアルゴリズムからの目位置出力の目視による比較によって、この結果を評価した。この手法により、目の局所限定誤差の最大値を推定し、各顔位置合わせ技術の精度を高めることができる。

これにより得られた画像は、目の局所化結果が他の顔位置合わせ法の結果と非常に類似することを示している。実際に、目視検査によって、１２８×１２８の画素顔ピクチャスタンプにおいて測定した結果、２つの手法の間の目位置の最大の差分は、２画素であった。

顔類似
以下、上述した位置合わせ技術を利用する代替の顔類似検出技術について説明する。

この手法では、図２０に図式的に示すように、各顔スタンプ（６４×６４画素のサイズ）を各ブロックが隣のブロックと８画素分重なり合う、１６×１６画素のサイズの重なり合うブロックに分割する。

まず、平均ゼロ及び分散１を有するように各ブロックを正規化する。そして、一組の１０の固有ブロックによってこれを畳み込み、固有ブロック重み（又は属性）と呼ばれる１０個の要素を有するベクトルを生成する。固有ブロック自体は、顔画像内で出現する可能性が高い画像パターンを適切に表現できるように算出された一組の１６×１６のパターンである。固有ブロックは、オフライントレーニング処理の間に、サンプル顔画像から得られたブロックの大きな集合に対して主成分分析（principal component analysis：ＰＣＡ）を実行することによって作成される。各固有ブロックは、ゼロ平均及び単位分散を有する。各ブロックは、１０個の属性を用いて表現され、顔スタンプ内には、４９個のブロックがあるため、顔スタンプを表すために、４９０個の属性が必要である。

本発明に基づくシステムでは、追跡コンポーネントにより、１人の個人に属す複数の顔スタンプを得ることができる。この利点を活用するために、顔スタンプのセットの属性を用いて１人の個人を表す。これは、個人に関して、単に１つの顔スタンプを用いる場合に比べて、更に多くの情報を維持できることを意味する。この実施の形態では、８個の顔スタンプのための属性を用いて１人の個人を表す。１人の個人を表すために用いられる顔スタンプは、後述するように、自動的に選択される。

類似距離測定値を生成するための属性の比較
２組の顔スタンプの組間の類似距離を計算するために、顔スタンプに対応する属性間の平均二乗誤差を算出することによって、顔スタンプの一方の組を他方の組の顔スタンプのそれぞれと比較する。各組には、８個の顔スタンプがあるので、６４個の平均二乗誤差の値が得られる。２つの顔スタンプの組間の類似距離は、算出された６４個の値のうち、最小の平均二乗誤差値である。

このようにして、１つの組の顔スタンプの何れかが他の組の顔スタンプの何れかとよく似ている場合、２つの顔スタンプの組の類似性が高くなり、類似距離測定値が小さくなる。２つの顔が（少なくとも高い確率で）同じ個人に由来することを検出するように閾値を設定してもよい。

顔スタンプの組のためのスタンプの選択
顔スタンプの組を生成及び維持するために、追跡処理において一時的にリンクされた複数の顔スタンプから８つの顔スタンプが選択される。選択の基準は、以下の通りである。
１．スタンプは、色追跡又はカルマン追跡からではなく、顔検出から直接生成されている必要がある。更に、スタンプは、「正面」の顔トレーニングセットから生成されたヒストグラムデータを用いて検出された場合にのみ選択される。
２．一旦、最初の８個のスタンプが集められると、上述のように、既存の顔スタンプの組と、追跡から得られる新たな各スタンプとの間の平均二乗誤差が算出される。追跡された各顔スタンプと、スタンプの組内の残りのスタンプとの平均二乗誤差も測定され、保存される。新たに得られた顔スタンプが顔スタンプの組の既存の要素より類似性が低い場合、その既存の要素は、無視され、新たな顔スタンプが顔スタンプの組に含まれる。このようにしてスタンプを選択することにより、選択処理の終わりには、顔スタンプの組内に、入手可能な最大限の変化が含まれる。これにより、顔スタンプの組は、特定の個人をより明確に代表するようになる。

１つ顔スタンプの組について集められたスタンプが８個より少ない場合、この組は、多くの変化を含んでおらず、したがって、個人のを明確に代表するものではない可能性が高いため、この顔スタンプの組は、類似性評価には使用されない。

参考文献
１．エイチ・シュナイダーマン（H. Schneiderman）及びティー・カナデ（T. Kanade）著、「顔及び車に適用される３Ｄオブジェクト検出のための統計モデル（A statistical model for 3D object detection applied to faces and cars）」、コンピュータビジョン及びパーターン検出に関するＩＥＥＥコンファレンス２０００（IEEE Conference on Computer Vision and Pattern Detection, 2000）
２．エイチ・シュナイダーマン（H. Schneiderman）及びティー・カナデ（T. Kanade）著、「オブジェクト検出のための局所的外観及び空間的関係の確率的モデリング（Probabilistic modelling of local appearance and spatial relationships for object detection）」、コンピュータビジョン及びパーターン検出に関するＩＥＥＥコンファレンス１９９８（IEEE Conference on Computer Vision and Pattern Detection, 1998）
３．エイチ・シュナイダーマン（H. Schneiderman）著、「顔及び車に適用される３Ｄオブジェクト検出のための統計的手法」、カーネギーメロン大学（Carnegie Mellon University）ロボティクス研究科（Robotics Institute）博士論文、２０００年
４．ビー・モガダム（B. Moghaddam）及びエー・ペントランド（A Pentland）著、「オブジェクト検出のための確率的視覚学習（Probabilistic visual learning for object detection）」、１９９５年６月２０〜２３日、コンピュータビジョンに関する第五回国際会議報告書ｐｐ７８６〜７９３（Proceedings of the Fifth International Conference on Computer Vision, 20-23 June 1995, pp786-793）

顔検出装置及び／又は非線型編集装置として用いられる汎用コンピュータシステムの構成を示す図である。 顔検出に用いるビデオカメラ−レコーダ（カムコーダ）の内部構成を示す図である。 ビデオ会議システムの構成を示す図である。 ビデオ会議システムの構成をより詳細に示す図である。 ビデオ会議システムの構成をより詳細に示す図である。 トレーニング処理を説明する図である。 検出処理を説明する図である。 顔追跡アルゴリズムを説明する図である。 図９ａ〜９ｃは、ビデオシーケンスに適用される顔追跡を説明する図である。 顔検出及び追跡システムの構成を示す図である。 類似性検出技術を説明する図である。 異なるトレーニングセットに対するシステム性能を示すグラフ図である。 図１３ａ〜１３ｂは、試験結果を示す図である。 認識顔位置合わせを含む処理を図式的に示す図である。 画像スケールの選択を説明する図である。 画像スケールの選択を説明する図である。 画像回転を図式的に示す図である。 画像トランスレーションを図式的に示す。 一組の所謂固有目を図式的に示す図である。 顔のブロックへの分割を図式的に示す図である。

Claims (35)

1. 検査画像と、２つ以上の基準画像を含む一組の基準画像とを比較する画像比較方法において、
   上記検査画像を１つ以上の検査領域に分割するステップと、
   上記各検査領域について、該検査領域と、上記１つ以上の基準画像における１つ以上の基準領域とを比較し、該検査領域に最も類似する基準領域を特定するステップと、
   上記検査領域と、該検査領域に対応して特定された基準領域との比較から比較値を生成するステップとを有する画像比較方法。
2. 上記比較値は、上記検査画像が上記基準画像の組に類似しているか否かを判定するために用いられることを特徴とする請求項１記載の画像比較方法。
3. 上記検査領域は、各基準画像内に対応する探索領域を有し、該基準画像について、
   上記検査領域と比較される上記基準画像からの各基準領域は、該検査領域に対応する探索領域を超えない範囲を有し、
   上記検査領域は、上記基準画像において、上記検査画像の位置と同じ位置に位置した場合、対応する探索領域を超えない範囲を有することを特徴とする請求項１又は２記載の画像比較方法。
4. 上記探索領域は、基準画像全体より小さいことを特徴とする請求項３記載の画像比較方法。
5. 上記探索領域は、検査領域より大きいことを特徴とする請求項３又は４記載の画像比較方法。
6. 上記検査領域及び基準領域の形状は、実質的に長方形又は正方形であることを特徴とする請求項１乃至５何れか１項記載の画像比較方法。
7. 上記検査領域に対応する基準領域は、該検査領域と同じ大きさ及び形状を有することを特徴とする請求項１乃至６何れか１項記載の画像比較方法。
8. 上記検査領域を基準領域と比較するステップは、該検査領域と基準領域との間の平均二乗誤差を算出するステップを有することを特徴とする請求項１乃至７何れか１項記載の画像比較方法。
9. 上記基準領域は、上記検査領域と比較された全ての基準領域のうちで最小の平均二乗誤差を有する場合、該検査領域に最も類似すると判定されることを特徴とする請求項８記載の画像比較方法。
10. 上記各検査領域及び各基準領域を一組の固有ブロックと結合し、固有ブロック重みのそれぞれの組を生成する結合ステップと、
    上記検査画像及び各基準画像について得られた固有ブロック重みを比較し、それぞれの比較値を生成するステップとを更に有する請求項１乃至９何れか１項記載の画像比較方法。
11. 上記各検査領域及び各基準領域を一組の固有ブロックと結合するステップは、該各検査領域及び各基準領域を固有ブロックの組で畳み込むステップを有することを特徴とする請求項１０記載の画像比較方法。
12. 上記検査領域に対応する基準領域の幾何学的特性を変更し、変更された基準領域を生成するステップと、
    上記検査領域を１つ以上の基準領域と比較するステップにおいて、上記元の基準領域に加えて、上記変更された基準領域を用いるステップとを更に有する請求項１乃至１１何れか１項記載の画像比較方法。
13. 上記基準領域の幾何学的特性を変更するステップは、
    上記基準領域を回転させるステップと、上記基準領域のサイズを変更するステップとのうちの少なくとも１つを含むことを特徴とする請求項１２記載の画像比較方法。
14. 上記基準画像の幾何学的特性を変更し、変更された基準画像を生成するステップと、
    上記変更された基準画像を上記基準画像の組に含ませるステップとを更に有する請求項１乃至１３何れか１項記載の画像比較方法。
15. 上記基準画像の幾何学的特性を変更するステップは、
    上記基準画像を回転させるステップと、上記基準画像のサイズを変更するステップとのうちの少なくとも１つを含むことを特徴とする請求項１４記載の画像比較方法。
16. 上記検査画像及び各基準画像を正規化するステップを更に有することを特徴とする請求項１乃至１５何れか１項記載の画像比較方法。
17. 上記検査画像及び基準画像は、それぞれ、平均ゼロ、分散１を有するように正規化されることを特徴とする請求項１６記載の画像比較方法。
18. 動き推定を実行し、上記基準画像内のどの基準領域が、上記検査領域に最も類似するかを判定するステップを更に有する請求項１乃至１７何れか１項記載の画像比較方法。
19. 上記動き推定パラメータは、保存され、後の画像比較において再計算する必要がないことを特徴とする請求項１８記載の画像比較方法。
20. 上記動き推定を実行するステップは、
    ロバストカーネルを用いるステップと、メジアン減算を実行するステップとのうちの少なくとも１つを含むことを特徴とする請求項１８又は１９記載の画像比較方法。
21. 上記検査画像及び基準画像は、オブジェクトの画像であることを特徴とする請求項１乃至請求項２０何れか１項記載の画像比較方法。
22. オブジェクト追跡アルゴリズムを用いて上記画像のビデオシーケンスから基準画像を選択するステップを更に有し、該オブジェクト追跡アルゴリズムが、
    （ａ）少なくとも、真である所定の確率でオブジェクトの存在を検出し、
    （ｂ）検出されたオブジェクトが適切な向きを向いていると判定した場合に、基準画像を選択することを特徴とする請求項２１記載の画像比較方法。
23. 上記オブジェクトは、顔であることを特徴とする請求項２１又は２２記載の画像比較方法。
24. オブジェクト位置、オブジェクトサイズ及びオブジェクトの向きの少なくとも１つに関して上記比較処理を正規化するステップを更に有する請求項２１乃至２３何れか１項記載の画像比較方法。
25. 上記正規化するステップは、上記検査画像及び基準画像の少なくとも１つにおけるオブジェクト位置、オブジェクトサイズ及びオブジェクトの向きのうちの少なくとも一方を、他方の検査画像及び基準画像の各プロパティにより近付けるように調整することを特徴とする請求項２４記載の画像比較方法。
26. 上記基準画像を縦軸に関して反転させ、反転された基準画像を生成するステップと、
    上記反転された基準画像を上記基準画像の組に含ませるステップとを更に有する請求項１乃至２５何れか１項記載の画像比較方法。
27. 検査画像を２枚以上の基準画像を含む２組以上の基準画像の組と比較する画像比較方法において、
    請求項１乃至２６何れか１項記載の画像比較方法に基づいて、上記検査画像を上記基準画像の各組と比較し、各基準画像の組について、上記検査画像が該基準画像の組に類似するか否かを示す対応する比較値を判定するステップと、
    上記検査画像が上記基準画像の２つ以上の組に類似すると判定された場合、該基準画像の組に対応する上記比較値を比較し、該基準画像の組のうち、何れの組が該検査画像に最も類似するかを判定するステップとを有する画像比較方法。
28. ２つ以上の検査画像及び２つ以上の基準画像について、該基準画像の組と、該検査画像の組とを比較する画像比較方法において、
    請求項１乃至２７何れか１項記載の画像比較方法に基づいて、上記各検査画像を比較する上記基準画像の組と比較し、各検査画像について対応する比較値を算出するステップと、
    上記比較値を結合して類似値を生成するステップとを有する画像比較方法。
29. 上記類似値を用いて、上記検査画像の組が上記基準画像の組に類似するか否かを判定するステップを更に有する請求項２８記載の画像比較方法。
30. ２つ以上の第１の画像の組を２つ以上の第２の画像の組と比較する画像比較方法において、
    請求項２８記載の画像比較方法に基づき、上記第１の画像の組を検査画像の組として用い、上記第２の画像の組を基準画像の組として用いて、該第１の画像の組と該第２の画像の組とを比較し、第１の類似値を算出するステップと、
    請求項２８記載の画像比較方法に基づき、上記第１の画像の組を基準画像の組として用い、上記第２の画像の組を検査画像の組として用いて、該第１の画像の組と該第２の画像の組とを比較し、第２の類似値を算出するステップと、
    上記第１の類似値及び第２の類似値を用いて、上記第１の画像の組及び第２の画像の組が類似しているかを判定するステップとを有する画像比較方法。
31. 検査画像と、２つ以上の基準画像を含む一組の基準画像とを比較する画像比較装置において、
    上記検査画像を１つ以上の検査領域に分割する分割器と、
    上記検査領域と、上記１つ以上の基準画像における１つ以上の基準領域とを比較し、該検査領域に最も類似する基準領域を特定する特定器と、
    上記検査領域と、該検査領域に対応して特定された基準領域との比較から比較値を生成する生成器とを備える画像比較装置。
32. コンピュータに請求項１乃至３０何れか１項記載の画像比較方法を実行させるためのログラムコードを有するコンピュータソフトウェア。
33. 請求項３２記載のコンピュータソフトウェアを格納した提供媒体。
34. 当該提供媒体は、記録媒体であることを特徴とする請求項３３記載の提供媒体。
35. 当該提供媒体は、伝送媒体であることを特徴とする請求項３３記載の提供媒体。

Images