JP5653003B2 - オブジェクト識別装置及びオブジェクト識別方法 - Google Patents

Description

本発明は、オブジェクト識別装置及びオブジェクト識別方法に関する。

画像データ中の被写体であるオブジェクトが、別の画像中の被写体であるオブジェクトと同一のものであると識別する技術として、例えば、個人の顔を識別する顔識別技術がある。以下、本明細書では、オブジェクトの識別とは、オブジェクトの個体の違い（例えば、個人としての人物の違い）を判定することを意味する。一方、オブジェクトの検出は、個体を区別せず同じ範疇に入るものを判定する（例えば、個人を区別せず、顔を検出する）、ことを意味するものとする。
顔識別技術として、例えば非特許文献１のような方法がある。これは、顔による個人の識別問題を、差分顔と呼ばれる特徴クラスの２クラス識別問題に置き換えることによって、顔の登録・追加学習をリアルタイムに行うことを可能にしたアルゴリズムである。

例えば、一般によく知られているサポートベクターマシン（ＳＶＭ）を用いた顔識別では、ｎ人分の人物の顔を識別するために、登録された人物の顔と、それ以外の顔を識別するｎ個のＳＶＭ識別器が必要になる。人物の顔を登録する際には、ＳＶＭの学習が必要となる。ＳＶＭの学習には、登録したい人物の顔と、既に登録されている人物とその他の人物の顔データが大量に必要で、非常に計算時間がかかるため、予め計算しておく手法が一般的であった。
しかし、非特許文献１の方法によれば、個人識別の問題を、次に挙げる２クラスの識別問題に置き換えることよって、追加学習を実質的に不要にすることができる。即ち、
・ｉｎｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓ：同一人物の画像間の、照明変動、表情・向き等の変動特徴クラス
・ｅｘｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓ：異なる人物の画像間の、変動特徴クラス
の２クラスである。上記２クラスの分布は、特定の個人によらず一定であると仮定して、個人の顔識別問題を、上記２クラスの識別問題に帰着させて識別器を構成する。予め、大量の画像を準備して、同一人物間の変動特徴クラスと、異なる人物間の変動特徴クラスと、の識別を行う識別器を学習する。新たな登録者は、顔の画像（若しくは必要な特徴を抽出した結果）のみを保持すればよい。識別する際には２枚の画像から差分特徴を取り出し、上記識別器で、同一人物なのか異なる人物なのかを判定する。これにより、個人の顔登録の際にＳＶＭ等の学習が不要になり、リアルタイムで登録を行うことができる。

上記のような、オブジェクト（より具体的には、人物の顔）の識別を行う装置及び方法において、識別性能を低下させる要因として、登録用画像と認証用画像の変動が挙げられる。即ち、識別対象であるオブジェクト（人物の顔）の変動、より具体的には、照明条件、向き・姿勢、他のオブジェクトによる隠れや、表情による変動等である。上記のような変動が大きくなると、識別性能が大幅に低下してしまう。
この問題に対して、特許文献１では、部分領域ごとのパターンマッチングを複数行い、それらの結果のうち、外れ値を取り除いて、各部分領域のマッチ度を統合することによって、変動に対するロバスト性を確保している。

特開２００３−３２３６２２号公報

Ｂａｂａｃｋ Ｍｏｇｈａｄｄａｍ， Ｂｅｙｏｎｄ Ｅｉｇｅｎｆａｃｅｓ ：Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｍａｔｃｈｉｎｇ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ（Ｍ．Ｉ．Ｔ Ｍｅｄｉａ Ｌａｂｏｒａｔｏｒｙ Ｐｅｒｃｅｐｔｕａｌ Ｃｏｍｐｕｔｉｎｇ Ｓｅｃｔｉｏｎ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．４３３）， ＰｒｏｂａｂｉｌｉｓｔｉｃＶｉｓｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｏｂｊｅｃｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰａｔｔｅｒｎＡｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １９， Ｎｏ． ７， ＪＵＬＹ １９９７）

しかしながら、複数の部分領域の類似度から、単純に外れ値を取り除いたり、その重み付き平均等を取ったりするだけでは、性能的に改善の余地があると考えられる。例えば、上記複数の部分領域の設定に誤りがあった場合、特に入力画像の範囲外に部分領域が設定された場合、上記処理だけでは、誤りを十分に訂正できる可能性は低いと考えられる。人間の顔のように変動が大きく、更に撮影条件が様々な環境においても、識別性能を維持するためには、上記複数の部分領域設定に誤りがあった場合に、その誤りをある程度吸収できる処理を組み込むことが有効であると考えられる。
デジタルカメラやＷｅｂカメラ等への応用を想定すると、画像の撮影条件及びオブジェクトの変動（大きさ、向き、表情等）が、大きい場合にも識別性能が劣化しないことが望まれる。

本発明はこのような問題点に鑑みなされたもので、照明や大きさ、向き等の変動に対して、ロバスト性と識別性能を向上させることを目的とする。

そこで、本発明は、オブジェクト識別装置であって、前記オブジェクトを含む入力画像を入力する入力手段と、オブジェクトを含む登録画像を取得する取得手段と、前記入力画像に対してアフィン変換を行い、該変換された画像に部分領域を設定する第１の部分領域設定手段と、前記アフィン変換後の画像に設定された部分領域の少なくとも一部が、前記アフィン変換する前の入力画像の領域からはみ出しているか否かを判定する第１の判定手段と、前記部分領域が前記入力画像の領域からはみ出していないと判定された場合には、前記部分領域から特徴ベクトルを設定し、前記部分領域が前記入力画像の領域からはみ出していると判定された場合には、前記部分領域のうち、前記入力画像の領域からはみ出している領域に対し、乱数を設定し、該乱数が設定された前記はみ出している領域と前記入力画像からはみ出していない領域とを含む領域から特徴ベクトルを設定する第１の設定手段と、前記登録画像の特徴ベクトルと前記第１の設定手段により設定される前記部分領域の特徴ベクトルとの相関を算出し、該算出された結果に基づいて前記オブジェクトを識別する識別手段とを有することを特徴とする。
また、本発明は、オブジェクト識別方法としてもよい。

本発明によれば、照明や大きさ、向き等の変動に対して、ロバスト性と識別性能を向上させることができる。

オブジェクト識別装置のハードウェア構成の一例を示す図である。 オブジェクト識別装置の全体処理の一例を示したフローチャートである。 オブジェクト登録部の構成の一例を示す図である。 オブジェクト辞書データ生成部の構成の一例を示す図である。 特徴ベクトル抽出部で行われる処理の一例を表したフローチャートである。 オブジェクト識別部の一例を示す図である。 識別処理の一例を示したフローチャートである。 オブジェクト識別用データ生成部の構成の一例を示した図である。 オブジェクト識別演算部の構成の一例を示す図である。 オブジェクト識別演算処理の一例を示したフローチャートである。 部分領域の学習処理の一例を示したフローチャートである。 オブジェクト識別装置のハードウェア構成の一例を示す図である。 オブジェクト登録部の構成の一例を示す図である。 特徴ベクトル抽出部での処理の一例を示したフローチャートである。 オブジェクト識別部の構成の一例を示す図である。 オブジェクト識別器を弱識別器のツリー構造で構成した場合の模式図である。

以下、本発明の実施形態について図面に基づいて説明する。

≪実施形態１≫
以下、図面を参照して本発明の第１の実施形態を詳細に説明する。
図１は、オブジェクト識別装置１００のハードウェア構成の一例を示す図（その１）である。図１に示すように、オブジェクト識別装置１００は、結像光学系１、撮像部２、撮像制御部３、画像記録部４、オブジェクト登録部５、オブジェクト識別部６、を含む。またオブジェクト識別装置１００は、オブジェクト識別結果を出力する外部出力部７、各構成要素の制御・データ接続を行うためのバス８、を含む。
なお、オブジェクト登録部５、オブジェクト識別部６は、典型的には、それぞれ専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵ等）であってもよい。また、オブジェクト登録部５、オブジェクト識別部６は、単一の専用回路及び汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよい。

結像光学系１は、ズーム機構を備えた光学レンズで構成される。また、結像光学系１は、パン・チルト軸方向の駆動機構を備えてもよい。
撮像部２の映像センサとしては、典型的にはＣＣＤ又はＣＭＯＳイメージセンサが用いられ、不図示のセンサ駆動回路からの読み出し制御信号により所定の映像信号（例えば、サブサンプリング、ブロック読み出しして得られる信号）が画像データとして出力される。
撮像制御部３は、撮影者からの指示（画角調整指示、シャッター押下等）及び、オブジェクト登録部５又はオブジェクト識別部６からの情報を基に、実際に撮影が行われるタイミングを制御する。撮像制御部３は、自動露出（ＡＥ）や自動焦点（ＡＦ）の制御を行う制御装置を含んでもよい。
画像記録部４は、半導体メモリ等で構成され、撮像部２から転送された画像データを保持し、オブジェクト登録部５、オブジェクト識別部６からの要求に応じて、所定のタイミングで、画像データを転送する。

オブジェクト登録部５は、画像データから識別の対象とするオブジェクトの情報を抽出し、記録・保持する。オブジェクト登録部５のより詳細な構成及び実際に行われる処理のより具体的な内容については、後述する。
オブジェクト識別部６は、画像データ及びオブジェクト登録部５から取得したデータを基に、画像データ中のオブジェクトの識別を行う。オブジェクト識別部６に関して、より具体的な構成及び行われる処理の詳細については、後で詳しく説明する。
外部出力部７は、典型的には、ＣＲＴやＴＦＴ液晶等のモニタであり、撮像部２及び画像記録部４から取得した画像データを表示、又は、画像データにオブジェクト登録部５及びオブジェクト識別部６の結果出力を重畳表示する。また、外部出力部７は、オブジェクト登録部５及びオブジェクト識別部６の結果出力を電子データとして、外部メモリ等に出力する形式をとってもよい。
接続バス８は、上記構成要素間の制御・データ接続を行うためのバスである。

＜全体フロー＞
図２は、オブジェクト識別装置１００の全体処理の一例を示したフローチャートである。この図２を参照しながら、このオブジェクト識別装置１００が、画像からオブジェクトの識別を行う実際の処理について説明する。なお、以下では、識別するオブジェクトが人物の顔である場合について説明するが、本実施形態はこれに限るものでない。
初めに、オブジェクト識別部６は、画像記録部４から画像データを取得（画像データ入力）する（Ｓ００）。続いて、オブジェクト識別部６は、取得した画像データに対して、人の顔の検出処理を行う（Ｓ０１）。画像中から、人物の顔を検出する方法については、公知の技術を用いればよい。オブジェクト識別部６は、例えば、「特許３０７８１６６号公報」や「特開２００２−８０３２号公報」で提案されているような技術を用いることができる。
対象オブジェクトである人物の顔の検出処理をしたのち、画像中に人の顔が存在するならば（Ｓ０２でＹｅｓの場合）、オブジェクト識別部６は、オブジェクト識別処理、即ち個人の識別処理を行う。画像中に人の顔が存在しない場合（Ｓ０２でＮｏの場合）、オブジェクト識別部６は、図２に示す処理を終了する。オブジェクト識別処理（Ｓ０３）のより具体的な処理内容については、あとで詳しく説明する。

オブジェクト識別部６は、オブジェクト識別処理の結果から、登録済みの人物に該当する顔があるか判定する（Ｓ０４）。（Ｓ０１）で検出された顔と同一人物が、登録済みの人物の中にある場合（Ｓ０４でＹｅｓの場合）、オブジェクト識別部６は、（Ｓ０７）の処理に進む。検出された顔が、登録済み人物の誰とも一致しない場合（Ｓ０４でＮｏの場合）、オブジェクト識別部６は、その人物を登録するか判定する（Ｓ０５）。これは、予め設定されている場合もあるが、例えばユーザが外部インターフェースやＧＵＩ等を通じて、その場で登録するかどうか決定するようにしてもよい。登録すると判定された場合（Ｓ０５でＹｅｓの場合）、オブジェクト識別部６は、後述するオブジェクト（人物の顔）の登録処理を行う（Ｓ０６）。登録を行わない場合（Ｓ０５でＮｏの場合）、オブジェクト識別部６は、そのまま処理を続行する。（Ｓ０６）のオブジェクト登録処理後、及び（Ｓ０５）で登録を行わない場合、オブジェクト識別部６は、検出されたオブジェクト全てについて処理が終わったかどうかを判定する（Ｓ０７）。未処理のオブジェクトがある場合（Ｓ０７でＮｏの場合）、オブジェクト識別部６は、（Ｓ０３）まで戻る。検出された全てのオブジェクトについて処理が終わった場合（Ｓ０７でＹｅｓの場合）、オブジェクト識別部６は、一連のオブジェクト識別処理の結果を、外部出力部７に出力する。
以上が、本実施形態にかかるオブジェクト識別装置１００の全体の処理フローである。

＜オブジェクト登録部＞
オブジェクト登録処理について説明する。図３は、オブジェクト登録部５の構成の一例を示す図である。図３に示すように、オブジェクト登録部５は、オブジェクト辞書データ生成部２１、オブジェクト辞書データ保持部２２、オブジェクト辞書データ選択部２３、を含む。
オブジェクト辞書データ生成部２１は、画像記録部４から取得した画像データから、オブジェクトの個体を識別するために必要なオブジェクト辞書データを生成する。オブジェクト辞書データ生成部２１は、例えば、非特許文献１にあるようなｉｎｔｒａ−ｃｌａｓｓ及びｅｘｔｒａ−ｃｌａｓｓの２クラス問題を判別する場合、典型的には、人物の顔画像を辞書データとすればよい。オブジェクト辞書データ生成部２１は、オブジェクト検出処理によって検出されたオブジェクトの画像データを、大きさや向き（面内回転方向）等を正規化したのち、オブジェクト辞書データ保持部２２に格納するようにしてもよい。
ここで、オブジェクト辞書データ生成部２１は、回転方向の正規化、特に面内回転を補正するアフィン変換を行う際に、以下のようにするとよい。即ち、オブジェクト辞書データ生成部２１は、顔の傾きを補正するアフィン変換処理において、アフィン変換後の画像が、参照する元画像に対して、その領域外を参照してしまう場合、変換後の値を乱数で置き換える。通常、上記のような場合には、所定の固定値をアフィン変換後の画像に設定する場合が多い。しかしながら、固定値にすると、部分領域が、対象オブジェクトからはみ出した場合、問題になることがある。より具体的には、オブジェクト辞書データの画像と識別用データの画像とで、固定値に設定された部分が、部分領域の一部に入った場合、両者の類似度が大きくなってしまい、識別に影響を与える。このような事態を避けるため、オブジェクト辞書データ生成部２１は、アフィン変換後の画像において、参照元画像に対応点のないデータを乱数で置き換えるようにするとよい。

画像データそのものではなく、識別時に必要なデータのみを保持するようにすることによって、辞書データ量を削減することもできる。当該オブジェクトの部分領域のベクトル相関（類似度）をとって識別演算を行う場合、オブジェクト辞書データ生成部２１は、予めその部分領域のみを切り出しておけばよい。
以上のように、オブジェクト辞書データ生成部２１は、適宜必要な情報を画像から抽出し、後述する所定の変換を行った後、オブジェクトの識別を行うための特徴ベクトルとして、オブジェクト辞書データ保持部２２に格納する。オブジェクト辞書データ生成部２１で行われるより具体的な処理の内容については、あとで詳しく説明する。
オブジェクト辞書データ選択部２３は、後述するオブジェクト識別部６の要求に応じて、オブジェクト辞書データ保持部から必要なオブジェクト辞書データを読み出して、オブジェクト識別部６にオブジェクト辞書データを転送する。

＜オブジェクト辞書データ生成部＞
図４は、オブジェクト辞書データ生成部２１の構成の一例を示すブロック図である。図４に示すように、オブジェクト辞書データ生成部２１は、部分領域設定部３１、特徴ベクトル抽出部３２、特徴ベクトル変換部３３、特徴ベクトル変換用データ保持部３４、を含む。
部分領域設定部３１は、画像データに対して、特徴ベクトル抽出部３２が特徴ベクトルを抽出する位置と範囲を設定する。部分領域の位置と範囲とは、機械学習の方法を用いて予め決めておくとよい。例えば、部分領域設定部３１は、部分領域の候補を複数設定しておいて、上記複数候補から、ＡｄａＢｏｏｓｔを用いて選択するようにしてもよい。ＡｄａＢｏｏｓｔを適用して、実際に部分領域を決める方法については、後述するオブジェクト識別部の説明で詳しく述べる。部分領域設定部３１は、部分領域の数として、処理時間等に応じて予め所定の数を決めておく。部分領域設定部３１は、予め用意した学習用サンプルに対して、十分な識別性能を得られる数を計測して決める、等すればよい。

特徴ベクトル抽出部３２は、登録用のオブジェクトデータから特徴ベクトルを抽出する。オブジェクトが人物の顔である場合、特徴ベクトル抽出部３２は、典型的には、顔を含む画像から、識別に必要なデータを取り出す処理を行う。特徴ベクトル抽出部３２は、識別に必要なデータを、部分領域設定部３１によって設定された部分領域から、その輝度値を特徴ベクトルとして抽出する。また、特徴ベクトル抽出部３２は、輝度値を直接取得するのではなく、ガボアフィルタ等何らかのフィルタ演算を施した結果から特徴ベクトルを抽出してもよい。特徴ベクトル抽出部３２で行われる処理の内容については、あとで詳しく説明する。
特徴ベクトル変換部３３は、特徴ベクトル抽出部３２によって抽出された特徴ベクトルに所定の変換を施す。特徴ベクトル変換部３３は、特徴ベクトルの変換として、例えば、主成分分析（ＰＣＡ）による次元圧縮や、独立成分分析（ＩＣＡ）による次元圧縮等を行う。また、特徴ベクトル変換部３３は、フィッシャー判別分析（ＦＤＡ）による次元圧縮を行ってもよい。

特徴ベクトルの変換方法にＰＣＡを用いた場合、その基底数（特徴ベクトルの次元削減数）や、どの基底を用いるか等のパラメータを用いることになる。なお、特徴ベクトル変換部３３は、基底数の代わりに、基底ベクトルに対応する固有値の和、即ち累積寄与率を指標としてもよい。特徴ベクトル変換部３３は、これらのパラメータを、部分領域ごとに異なったものにすることもできる。実際にどのようなパラメータを設定するかは、予め学習によって決めることができる。
以上のように、特徴ベクトル変換部３３は、特徴ベクトルを変換したデータを、オブジェクト辞書データの出力として、オブジェクト辞書データ保持部２２に格納する。
特徴ベクトル変換用データ保持部３４は、特徴ベクトル変換部３３において、特徴ベクトルの変換を行う際に必要なデータを保持している。ここで、特徴ベクトルの変換に必要なデータとは、上述したような、基底数（次元削減数）等の設定情報である。

図５は、特徴ベクトル抽出部３２で行われる処理の一例を表したフローチャートである。以下、これを用いて説明する。初めに、特徴ベクトル抽出部３２は、部分領域設定部３１より部分領域の設定情報を取得する（Ｓ１０）。続いて特徴ベクトル抽出部３２は、画像記録部４からオブジェクトの画像データを取得する（Ｓ１１）。特徴ベクトル抽出部３２は、取得した画像データから、（Ｓ１０）で取得した部分領域の情報を基に、部分領域のはみ出し判定を行う（Ｓ１３）。ここで、はみ出しとは、（Ｓ１０）で取得した部分領域が、（Ｓ１１）で取得した画像の有効な範囲から外れている状態を指す。例えば、画像記録部４から取得する画像データが、オブジェクト検出の情報に基づきオブジェクト領域を切り出したものである場合、後段の処理のため、画像データに固定値ののりしろがつけられる場合がある。部分領域が、オブジェクトの境界付近に設定されている場合、上記のようなケースでは、必ず固定値が特徴ベクトルとして取得されてしまうため、後段の識別用データとの相関演算によくない影響を及ぼす可能性がある。

はみ出しがなかった場合（Ｓ１３でＮｏの場合）、特徴ベクトル抽出部３２は、画像データから特徴ベクトルを取得する（Ｓ１４）。ここで、特徴ベクトルは、典型的には部分領域の画像データから取得した輝度データをベクトル化したものであってもよい。また、特徴ベクトルは、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）変換等、所定の変換を施したものから、対応する部分領域を特徴ベクトル化するようにしてもよい。はみ出しがあった場合（Ｓ１３でＹｅｓの場合）、特徴ベクトル抽出部３２は、一旦、はみ出した領域以外から特徴ベクトルを取得する（Ｓ１５）。次に、特徴ベクトル抽出部３２は、はみ出した部分の特徴ベクトルの追加処理を行う（Ｓ１６）。（Ｓ１５）で取得した特徴ベクトルは、領域が狭いため、（Ｓ１４）で取得する特徴ベクトルに比べて次元が小さくなる。特徴ベクトル抽出部３２は、この少ない分を追加する際に、固定値ではなく、乱数を生成して、ランダムな値をはみ出し部分の特徴ベクトルとする。
乱数を特徴ベクトルとして設定することにより、上述のような、固定値が特徴ベクトルとして設定されることが回避され、後段の識別用データとの相関演算に与えるよくない影響を少なくすることができる。
以上が、特徴ベクトル抽出部で行われる一処理例の説明である。

＜オブジェクト識別部＞
オブジェクト識別処理について説明する。図６は、オブジェクト識別部６の一例を示す図である。図６に示すように、オブジェクト識別部６は、オブジェクト識別用データ生成部４１、オブジェクト辞書データ取得部４２、オブジェクト識別演算部４３、を含む。
オブジェクト識別用データ生成部４１は、画像記録部４から取得した画像データから、オブジェクトの識別に必要な情報の抽出を行う。
オブジェクト辞書データ取得部４２は、オブジェクト登録部５より、オブジェクトの識別に必要な辞書データを取得する。
オブジェクト識別演算部４３は、オブジェクト識別用データ生成部４１から取得した識別用データとオブジェクト辞書データ取得部４２から得た辞書データとから、オブジェクトの識別処理を行う。ここで行われる処理については、後で詳しく説明する。

図７は、オブジェクト識別部６で行われる識別処理の一例を示したフローチャートである。まず、オブジェクト識別部６は、オブジェクト登録部５からオブジェクト辞書データを取得する（Ｓ２０）。次に、オブジェクト識別部６は、画像記録部４よりオブジェクト画像データを取得する（Ｓ２１）。続いて、オブジェクト識別部６は、オブジェクト識別用データ生成処理を行う（Ｓ２２）。ここで行われる処理については、あとで詳しく説明する。次に、オブジェクト識別部６は、オブジェクト識別演算処理を行う（Ｓ２３）。オブジェクト識別演算処理の出力として、登録済みデータ（辞書データ）との一致をバイナリ（０ｏｒ１）で出力する場合と正規化した出力値（０〜１の実数値）で出力する場合とがある。更に登録オブジェクト（登録者）が複数（複数人）ある場合には、それぞれの登録オブジェクト（登録者）に対して、出力値を出力してもよいが、最も良く一致した登録データだけを出力してもよい。なお、オブジェクト識別演算処理のより具体的な内容についても、後で詳しく説明する。
以上が、オブジェクト識別部６における処理フロー例の説明である。

＜オブジェクト識別用データ生成部＞
図８は、オブジェクト識別用データ生成部４１の構成の一例を示した図である。図８に示すように、オブジェクト識別用データ生成部４１は、部分領域設定部５１、特徴ベクトル抽出部５２、特徴ベクトル変換部５３、特徴ベクトル変換用データ保持部５４、を含む。オブジェクト識別用データ生成部４１の構成及びそこで行われる処理は、オブジェクト辞書データ生成部２１でのそれとほぼ同じであるので、詳細は割愛する。

＜オブジェクト識別演算処理＞
オブジェクト識別演算処理について説明する。ここでは、一例として、ｉｎｔｒａ−ｃｌａｓｓ，ｅｘｔｒａ−ｃｌａｓｓの２クラス問題を、ＳＶＭ識別器を用いて判定する場合について説明する。図９は、オブジェクト識別演算部４３の構成の一例を示す図である。オブジェクト識別演算部４３は、オブジェクト識別用データ取得部６１、オブジェクト辞書データ取得部６２、変動特徴抽出部６３、ＳＶＭ識別器６４、識別結果保持部６５、識別結果統合部６６、を含む。

図１０は、オブジェクト識別演算処理の一例を示したフローチャートである。以下この図を用いて説明する。
始めに、オブジェクト識別用データ取得部６１において、オブジェクト識別用データを取得する（Ｓ３０）。続いて、オブジェクト辞書データ取得部６２で、オブジェクトの辞書データを取得する（Ｓ３１）。次に、変動特徴抽出部６３において、（Ｓ３０）及び（Ｓ３１）で取得したオブジェクト識別用データとオブジェクト辞書データから、変動特徴抽出処理を行う（Ｓ３２）。ここで、変動特徴とは、典型的には２枚の画像から抽出される、同一オブジェクト間の変動、又は、異なるオブジェクト間の変動、の何れかに属する特徴のことである。変動特徴の定義は様々なものが考えられる。ここでは一例として、変動特徴抽出部６３は、辞書データと、識別用データとで、同じ領域に対応する特徴ベクトル間で類似度（相関値、内積）を計算し、その類似度を成分とするベクトルを変動特徴ベクトルとする。上記定義によれば、変動特徴ベクトルの次元数は、部分領域数と一致する。

変動特徴抽出部６３は、（Ｓ３２）で取得した取得した変動特徴ベクトルをサポートベクターマシン（ＳＶＭ）識別器６４に投入する（Ｓ３３）。ＳＶＭ識別器６４は、同一オブジェクト間の変動（ｉｎｔｒａ−ｃｌａｓｓ）と異なるオブジェクトとの間の変動（ｅｘｔｒａ−ｃｌａｓｓ）の２クラスを識別する識別器として予め訓練しておく。一般に、部分領域の数を増やすと、それだけ変動特徴ベクトルの次元数が増え、演算時間が増加する。このため、処理時間を優先した場合、カスケード接続型のＳＶＭ識別器が有効である。この場合、ＳＶＭ識別器は、特定の部分領域ごとに訓練されたもので構成される。変動特徴抽出部６３は、変動特徴ベクトルを部分領域ごとに分割し、対応するＳＶＭ識別器に投入する。このようにすることにより、演算時間を削減することができる。ＳＶＭ識別器を１つの部分領域だけに対応させて学習するのではなく、２つ以上の部分領域の組み合わせを、ＳＶＭ識別器の入力として学習させてもよい。

一方、識別精度を重視する場合、ＳＶＭ識別器を並列に演算し、演算結果について重み付け和をとるようにするとよい。この場合でも、サポートベクター数を削減するアルゴリズムを適用することで、ある程度演算時間を短縮することは可能である。サポートベクター数を削減する方法は、「Ｂｕｒｇｅｓ， Ｃ．Ｊ．Ｃ（１９９６）． "Ｓｉｍｐｌｉｆｉｅｄ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｄｅｃｉｓｉｏｎ ｒｕｌｅｓ．" Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ （ｐｐ．７１−７７）．」に記載されているような公知の技術を用いることができる。

ＳＶＭ識別器６４は、（Ｓ３３）で算出された、辞書データとオブジェクト識別用データとの識別結果を識別結果保持部６５に保持する（Ｓ３４）。次に、例えばＳＶＭ識別器６４は、全ての辞書データについて、識別演算が終わったかどうか判定する（Ｓ３５）。まだ辞書データがある場合（Ｓ３５でＮｏの場合）には（Ｓ３１）に戻る。全ての辞書データについて識別演算が終わった場合（Ｓ３５でＹｅｓの場合）、識別結果統合部６６で識別結果統合処理を行う（Ｓ３６）。識別結果統合部６６は、例えば、最も単純には、ＳＶＭ識別器が回帰値を出力する識別器であった場合、最も値の高かった辞書データを、識別結果として出力するような処理を行う。また、識別結果統合部６６は、一致度の高かった上位オブジェクトの結果をリストとして出力してもよい。
以上が、オブジェクト識別演算処理の説明である。

＜部分領域の学習方法＞
次に、部分領域の位置と範囲の学習に、ＡｄａＢｏｏｓｔを用いた場合の手順について、説明する。
図１１は、部分領域の学習処理の一例を示したフローチャートである。まず、オブジェクト識別装置１００は、学習データを取得する（Ｓ４０）。人物の顔を扱う場合は、学習データとして、個人の識別子を表すラベルのついた顔を含む画像を多数用意する。この際、１人あたりの画像数が十分用意されていることが望ましい。照明変動や、表情の変動に頑健な部分領域及び特徴ベクトルの変換方法を学習するためには、学習データに上記変動を十分含んだサンプルを用意することが重要である。ラベルつきの顔画像から、個人の顔の変動を表すデータと、他人間の顔の変動を表すデータと、の２種類を生成することができる。次に、オブジェクト識別装置１００は、弱仮説の選択処理を行う（Ｓ４１）。ここで弱仮説とは、典型的には、登録データと識別用データとの部分領域間の類似度を算出する処理を行う。オブジェクト識別装置１００は、部分領域の位置と範囲との組み合わせの数だけ、弱仮説を用意しておく。そして、オブジェクト識別装置１００は、（Ｓ４０）で取得した学習データに対して、ＡｄａＢｏｏｓｔの枠組みに沿って、もっとも性能のよい弱仮説、即ち、位置と範囲とが最適な部分領域を選択する（Ｓ４２）。性能評価を行うためのより具体的な手順は、オブジェクト識別演算部４３の説明で述べた、変動特徴抽出処理の例のようにするとよい。即ち、オブジェクト識別装置１００は、学習データに対して、特徴ベクトルの類似度（内積）を求め、変動特徴ベクトルを生成し、ＳＶＭ識別器に入力する。オブジェクト識別装置１００は、同一ラベルの人物間（画像は異なる）と、異なるラベルの人物間とで、それぞれ正しい識別結果になっているか判定し、学習データの重み付き誤り率を求める。

もっとも性能のよい弱仮説を選択した場合、オブジェクト識別装置１００は、その弱仮説の学習データに関する識別結果を基に、学習データの重み付けを更新する（Ｓ４２）。次に、オブジェクト識別装置１００は、弱仮説数が所定数に達しているか判定する（Ｓ４３）。所定数に達している場合（Ｓ４３でＹｅｓの場合）、オブジェクト識別装置１００は、学習処理を終了する。所定数に達していない場合（Ｓ４３でＮｏの場合）、オブジェクト識別装置１００は、新たな弱仮説の選択を行う。
なお、重みつき誤り率の算出や、学習データの重み付けの更新方法等、ＡｄａＢｏｏｓｔによる学習の詳細な手順は、「Ｖｉｏｌａ ＆ Ｊｏｎｅｓ （２００１） ”Ｒａｐ
ｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ
ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．」等に記載されている方法を適宜採用すればよい。

オブジェクト識別装置１００は、弱仮説を、複数の部分領域の組み合わせから構成するようにしてもよい。即ち、オブジェクト識別装置１００は、１つの弱仮説に含まれる部分領域数を一定（所定数、例えば５個、１０個等）にする。この場合、オブジェクト識別装置１００は、１弱仮説中の部分領域数を増やすと、組み合わせの数が指数関数的に増加するので、何らかの拘束条件をつけて学習するようにするとよい。より具体的には、オブジェクト識別装置１００は、部分領域の位置関係を参照して、互いに近い位置にある部分領域が含まれないようにするようにしてもよい。
また、オブジェクト識別装置１００は、複数部分領域の組み合わせを作る際に、遺伝的アルゴリズム（ＧＡ）等の最適化手法を適用するようにしてもよい。この場合、オブジェクト識別装置１００は、弱仮説の候補は、ＡｄａＢｏｏｓｔの手続きに入る前に予め全て用意されるのではなく、弱仮説を選択しならが、動的に候補を構築していく。即ち、オブジェクト識別装置１００は、予め一部用意された弱仮説の候補（例えば、ランダムに領域候補を組み合わせる等して生成しておく）から、性能のよいものを選択しておくようにする。そして、オブジェクト識別装置１００は、その性能のよいもの同士を、組み合わせながら、新しい弱仮説の候補を生成し、性能を評価していく。このようにすることにより、弱仮説の候補を効率的に絞り込むことができる。以上のようにして、学習時間の増加を抑えるようにするとよい。
以上が、部分領域の位置と範囲とを学習する手順の説明である。

≪実施形態２≫
実施形態２は実施形態１に対して、オブジェクト登録部とオブジェクト識別部との処理内容が異なる。
より具体的には、実施形態１では、オブジェクトの属性は考えなかったのに対し、実施形態２では、オブジェクトの属性を推定し、オブジェクトの属性に応じた部分領域の設定がなされる点が異なる。
以下、より具体的に説明する。なお、重複を避けるため、以下の説明において、前実施形態と同じ部分は、省略する。図１２は、オブジェクト識別装置１００のハードウェア構成の一例を示す図（その２）である。各部の基本的な機能は実施形態１と同一であるが、以下の点が異なる。即ち、オブジェクト識別装置１００に、オブジェクト辞書データ入力部１０９と、オブジェクト辞書データ書き換え部１１０と、が追加されている。
オブジェクト辞書データ入力部１０９は、オブジェクト辞書データを外部から入力するための処理を実行し、典型的には半導体メモリ等の外部記憶装置から、オブジェクト辞書データを読み取る。オブジェクトデータ書き換え部１１０は、オブジェクト辞書データ及びオブジェクト識別用データを所定の手順に従って書き換える。オブジェクトデータ書き換え部１１０は、典型的には、オブジェクトのデータが画像であった場合、コントラストの補正や、ノイズの除去、解像度の変更等を行う。
なお、説明の便宜上、識別する対象となるオブジェクトを、画像中の人物の顔としているが、本実施形態は、人物の顔以外のオブジェクトに適用可能である。

＜オブジェクト登録部＞
図１３は、オブジェクト登録部１０５の構成の一例を示す図である。オブジェクト登録部１０５は、オブジェクト辞書データ生成部１１１、オブジェクト辞書データ保持部１１２、オブジェクト辞書データ選択部１１３、オブジェクト属性推定部１１４、を含む。実施形態１とは、オブジェクト属性推定部１１４が追加されている点が異なる。
オブジェクト属性推定部１１４は、画像記録部１０４から入力された画像データから、オブジェクトの属性を推定する処理を行う。推定を行う具体的な属性は、オブジェクトの大きさ、姿勢・向き、照明条件等が含まれる。オブジェクトが人物の顔である場合、オブジェクト属性推定部１１４は、顔の器官位置を検出する。より具体的には、オブジェクト属性推定部１１４は、目、口、鼻等構成要素の端点を検出する。端点を検出するアルゴリズムは、例えば、特許３０７８１６６号公報に記載の畳み込み神経回路網を用いた方法等を用いることができる。オブジェクト属性推定部１１４は、端点として、左右の目、口の両端点、鼻、等個人の特徴を現すと考えられる部位を予め選択しておく。オブジェクト属性推定部１１４は、顔器官の端点の位置関係を、その属性として検出する。また、他の属性として、オブジェクト属性推定部１１４は、人物の年齢、性別、表情、等の属性を推定してもよい。これらの属性推定には公知の技術を用いることができる。例えば「特開２００３−２４２４８６号公報」のような方法を用いることで、人物の属性を推定することができる。

学習データを変えることによって、上記の方法で、人物だけでなく、一般の物体についても検出することができる。それによって、人物の顔にある顔器官以外の要素、例えば、メガネや、マスク、手等、オクリュージョンとなる物体を検出することもできる。上記のようなオクリュージョンがある人物の顔として、その属性に含めて考えることができる。
オブジェクト属性推定部１１４は、属性推定に、撮像パラメータの一例であるカメラパラメータを用いるようにしてもよい。例えば、オブジェクト属性推定部１１４は、撮像制御部１０３から制御用のＡＥ、ＡＦに関するパラメータを取得することによって、照明条件等の属性を精度良く推定することが可能になる。ここで、カメラパラメータのより具体的な例として、露出条件、ホワイトバランス、ピント、オブジェクトの大きさ等があげられる。例えば、オブジェクト属性推定部１１４は、露出条件及びホワイトバランスと、肌色成分領域に対応する色成分の対応表を予め作成し、ルックアップテーブルとして保持しておくことで、撮影条件に影響されないオブジェクトの色属性を推定することができる。

また、オブジェクト属性推定部１１４は、被写体であるオブジェクトまでの距離をＡＦ等の距離測定手段を用いることによって測定し、オブジェクトの大きさを推定することができる。より詳細にはオブジェクト属性推定部１１４は、以下の式に従ってオブジェクトの大きさを推定することができる。
ｓ ＝ （ ｆ／ｄ − ｆ ）・Ｓ
ここで、ｓは、オブジェクトの画像上での大きさ（ピクセル数）である。ｆは、焦点距離である。ｄは、装置からオブジェクトまでの距離である。Ｓは、オブジェクトの実際の大きさである。但し、（ｄ＞ｆ）であるとする。

このように、オブジェクト属性推定部１１４は、撮影条件に影響されないオブジェクトの大きさを属性として推定することが可能になる。
オブジェクト属性推定部１１４で推定されたオブジェクトの属性情報は、オブジェクト辞書データ生成部１１１から出力されるオブジェクト辞書データと共に、オブジェクト辞書データ保持部１１２に格納される。
オブジェクト辞書データ生成部１１１での処理も前記実施形態と一部、異なる。図１４は、オブジェクト辞書データ生成部１１１における特徴ベクトル抽出部での処理の一例を示したフローチャートである。以下、これを用いて説明する。始めに、オブジェクト辞書データ生成部１１１は、オブジェクト属性推定部１１４からオブジェクトの属性情報を取得する（Ｓ１００）。取得するオブジェクトの属性情報は、典型的には、人物の顔の器官位置及びその端点である。次に、オブジェクト辞書データ生成部１１１は、画像記録部１０４から画像データを取得する（Ｓ１０１）。オブジェクト辞書データ生成部１１１は、（Ｓ１００）で取得したオブジェクト属性情報を用いて、オブジェクト画像データに対して、部分領域を設定する（Ｓ１０２）。

部分領域の設定は、より具体的には以下のようにする。まず、オブジェクト辞書データ生成部１１１は、属性情報として取得した、顔器官の複数端点のうち、所定の１点を基準点として設定する。更にオブジェクト辞書データ生成部１１１は、他の少なくとも２つ端点間の距離を測り、その２点間距離の所定倍の長さだけ、前記基準点から離れた所に部分領域を設定する。オブジェクト辞書データ生成部１１１は、基準点からの方向も予め定められた値を用いる。ここで、基準点となる端点、距離の基準となる２点、２点間距離の何倍かを決める定数、基準点からの方向等は、予め学習によって決めることができる。これらのパラメータの学習は、部分領域のパラメータの中に含めることによって、実施形態１で説明したＡｄａＢｏｏｓｔを用いた部分領域の選択方法によって実現することができる。部分領域が設定された後の処理は、実施形態１における特徴ベクトル抽出部の処理と同じであるので説明は割愛する。

上記のような部分領域の設定方法、即ち、顔器官の端点を基準とした方法をとる場合、はみ出し判定をして、はみ出した領域の特徴ベクトルを無相関データにすることは、特に効果的である。一般に、斜光や逆光等撮影条件が厳しい場合や、奥行き方向の回転が入った人物の顔について、その顔器官の端点を高精度に検出することは難しい。仮に端点が誤検出であった場合、部分領域の設定も誤ってしまい、結果的に部分領域が、画像の範囲外に設定されることは、十分あり得る。はみ出した領域の特徴ベクトルを固定値にすると、登録辞書データと識別用データの両方にはみ出しがあると、その部分の類似度が大きくなり、識別結果によくない影響を及ぼす。オブジェクト辞書データ生成部１１１及びオブジェクト識別用データ生成部１２１が、はみ出し領域に固定値ではない、オブジェクト辞書データとオブジェクト識別用データとで無相関になる値、より具体的には、乱数を設定する。このことによって、上記のような問題を回避できる。

オブジェクト属性推定部１１４は、オブジェクトの属性として、オクリュージョン情報を用いることもできる。オブジェクト辞書データ生成部１１１は、部分領域に設定されるはずの範囲に、メガネや、マスク等他の物体があった場合、その物体の範囲を、無相関データ、より具体的には乱数によって置き換えてしまう。このようにすることによって、例えば、たまたまマスクをしていた他人同士の口領域の類似度が極端に大きくなってしまうような状況を避けることができる。
また、オブジェクト属性推定部１１４は、属性として、表情を用いることもできる。例えば、笑った顔の頬には、しわが出やすいが、これが識別によくない影響を与えることもあり得るので、オブジェクト辞書データ生成部１１１は、上記のように無相関データに置き換えてしまってもよい。表情と、無相関データに置き換える部分領域との関係は、予め学習サンプルによって決めた、ルックアップテーブルを作成し、オブジェクト辞書データ生成部１１１がこれを参照するようにすればよい。
同様に、人物の年齢を用いて、経年変化の現れやすい領域をオブジェクト辞書データ生成部１１１が無相関データにすることにより、登録時と認証時とで時間がたっている場合の識別性能を向上させることができる。
以上が、オブジェクト登録部の説明である。

＜オブジェクト識別部＞
図１５は、オブジェクト識別部１０６の構成の一例を示す図である。オブジェクト識別部１０６は、オブジェクト識別用データ生成部１２１、オブジェクト識別演算部１２２、オブジェクト辞書データ取得部１２３、オブジェクト属性推定部１２４、を含む。実施形態１とは、オブジェクト属性推定部１２４が追加されている点が異なる。
オブジェクト属性推定部１２４の処理の内容は、オブジェクト登録部のオブジェクト属性推定部１１４と同じであるので、説明は割愛する。
オブジェクト識別用データ生成部１２１は、画像記録部１０４からの入力と共に、オブジェクト属性推定部１１４の出力を用いて、特徴ベクトル及びその変換処理を行う。この処理は、オブジェクト登録部の処理とほぼ同じになるので、説明は割愛する。
オブジェクト識別演算部１２２は、オブジェクト識別用データ生成部１２１及びオブジェクト辞書データ取得部１２３からの入力を基に、オブジェクトの識別処理を行う。オブジェクト識別演算部１２２で行われる処理のより具体的な内容については、あとで説明する。
オブジェクト辞書データ取得部１２３は、オブジェクト識別演算部１２２からのリクエストに基づいて、オブジェクト登録部１０５中のオブジェクト辞書データ保持部１１２より、オブジェクト辞書データを取得する。

＜オブジェクト識別演算処理＞
次に、オブジェクト識別演算処理の内容について説明する。
オブジェクト識別処理の全体的な処理は、実施形態１とほぼ同じである。
以下では、オブジェクト識別器として、多数の識別器（以下弱識別器と呼ぶ）をツリー状に構成したオブジェクト識別器を用いてオブジェクト識別処理を行う場合について説明する。典型的には弱識別器は、１つの部分領域に対応しているが、弱識別器を複数の部分領域に対応させてもよい。
図１６は、オブジェクト識別器を弱識別器のツリー構造で構成した場合の模式図である。図中の枠１つが１つの弱識別器を表している。以下、ツリー構造をなす各弱識別器のことをノード識別器と呼ぶことがある。識別時は、矢印の方向に沿って処理が行われる。即ち、上位にある弱識別器から処理を行って、処理が進むにつれ、下位の弱識別器で処理を行う。一般に、上位にある弱識別器は、変動に対するロバスト性が高いが、誤識別率は高い傾向にある。下位にある弱識別器ほど変動に対するロバスト性は低い一方で、変動範囲が一致したときの識別精度は高くなるように学習してある。ある特定の変動範囲（顔の奥行き方向や、表情変動、照明変動等）に特化した弱識別器系列を複数用意し、ツリー構造をとることで、全体としての対応変動範囲を確保している。図１６では、５系列の弱識別器系列がある場合について示している。また、図１６では、最終的に５つの弱識別器系列が１つのノード識別器に統合されている。この最終ノード識別器は、例えば５系列の累積スコアを比較して、最も高いスコアをもつ系列の識別結果を採用する等の処理を行ってもよい。また、１つの識別結果に統合して出力するのではなく、各系列の識別結果をベクトルとして出力するようにしてもよい。

各弱識別器は、ｉｎｔｒａ−ｃｌａｓｓ， ｅｘｔｒａ−ｃｌａｓｓの２クラス問題を判別する識別器であるが、分岐の基点にあるノード識別器は、どの弱識別器系列に進むか、分岐先を決める判定を行う。もちろん、２クラス判定を行いつつ、分岐先も決めるようにしてもよい。また、分岐先を決めず、全ての弱識別器系列で処理するようにしてもよい。また、各ノード識別器は、２クラス判定の他に、演算を打ち切るかどうか判定するようにしてもよい（打ち切り判定）。打ち切り判定は、各ノード識別器単体の判定でもよいが、他のノード識別器の出力値（判定スコア）を累積したものを閾値処理する等して判定してもよい。
以上が、オブジェクト識別演算処理の説明である。

以上、上述した各実施形態によれば、照明や大きさ、向き等の変動に対して、ロバスト性と識別性能を向上させることができる。
また、上述したように、オブジェクト識別装置１００は、部分領域の設定が、例えば、画像データの範囲外に設定された場合、登録オブジェクトの辞書データと、識別用データとで無相関になる値を設定する。このことにより、高精度な識別を行うことができる。
なお、上述したように、オブジェクト識別装置１００は、部分領域の属性が、オクリュージョンであった場合、登録オブジェクトの辞書データと、識別用データとで無相関になる値を設定するようにしてもよい。このようにすることによっても、高精度な識別を行うことができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１ 結像光学系、２ 撮像部、３ 撮像制御部、４ 画像季肋部、５ オブジェクト登録部、６ オブジェクト識別部、７ 外部出力部

Claims (10)

1. オブジェクトを含む入力画像を入力する入力手段と、
   前記オブジェクトを含む登録画像を取得する取得手段と、
   前記入力画像に対してアフィン変換を行い、該変換された画像に部分領域を設定する第１の部分領域設定手段と、
   前記アフィン変換後の画像に設定された部分領域の少なくとも一部が、前記アフィン変換する前の入力画像の領域からはみ出しているか否かを判定する第１の判定手段と、
   前記部分領域が前記入力画像の領域からはみ出していないと判定された場合には、前記部分領域から特徴ベクトルを設定し、前記部分領域が前記入力画像の領域からはみ出していると判定された場合には、前記部分領域のうち、前記入力画像の領域からはみ出している領域に対し、乱数を設定し、該乱数が設定された前記はみ出している領域と前記入力画像からはみ出していない領域とを含む領域から特徴ベクトルを設定する第１の設定手段と、
   前記登録画像の特徴ベクトルと前記第１の設定手段により設定される前記部分領域の特徴ベクトルとの相関を算出し、該算出された結果に基づいて前記オブジェクトを識別する識別手段と
   を有することを特徴とするオブジェクト識別装置。
2. 前記入力画像の前記オブジェクトの特定の部位を検出する検出手段をさらに有し、
   前記第１の設定手段は、検出された前記部位の位置に基づいて、前記部分領域を設定することを特徴とする請求項１に記載のオブジェクト識別装置。
3. 前記登録画像に対してアフィン変換を行い、該変換された画像に部分領域を設定する第２の設定手段と、
   前記アフィン変換後の画像に設定された前記部分領域の少なくとも一部が、前記アフィン変換する前の登録画像の領域からはみ出しているか否かを判定する第２の判定手段と、
   前記部分領域が前記入力画像の領域からはみ出していないと判定された場合には、前記部分領域から特徴ベクトルを設定し、前記登録画像の前記部分領域が前記登録画像の領域からはみ出していると判定された場合には、前記登録画像の前記部分領域のうち、前記登録画像の領域からはみ出している領域に対し、乱数を設定し、該乱数が設定された前記はみ出している領域と前記入力画像からはみ出していない領域とを含む領域から特徴ベクトルを設定する第２の設定手段と
   をさらに有し、
   前記識別手段は、前記登録画像及び前記入力画像それぞれの対応する前記部分領域の特徴ベクトルの相関を算出し、該算出された結果に基づいて、前記オブジェクトを識別することを特徴とする請求項１又は２に記載のオブジェクト識別装置。
4. 前記登録画像のオブジェクトの部分領域を辞書として保持する辞書保持手段をさらに有し、
   前記識別手段は、前記辞書と、前記入力画像の前記部分領域との相関を算出することを特徴とする請求項１乃至３の何れか１項に記載のオブジェクト識別装置。
5. 前記第１の設定手段は、前記入力画像の前記部分領域がオクリュージョンを含む場合に、前記入力画像の前記部分領域に対し、乱数を設定することを特徴とする請求項１乃至４の何れか１項に記載のオブジェクト識別装置。
6. 前記第２の設定手段は、前記登録画像の前記部分領域がオクリュージョンを含む場合に、前記登録画像の前記部分領域に対し、乱数を設定することを特徴とする請求項３に記載のオブジェクト識別装置。
7. 前記第１の設定手段は、前記入力画像の前記部分領域が、変化の現れやすい領域を含む場合に、前記入力画像の前記部分領域に対し、乱数を設定することを特徴とする請求項１乃至６の何れか１項に記載のオブジェクト識別装置。
8. 前記第２の設定手段は、前記登録画像の前記部分領域が、変化の現れやすい領域を含む場合に、前記登録画像の前記部分領域に対し、乱数を設定することを特徴とする請求項３に記載のオブジェクト識別装置。
9. 前記入力画像の前記部分領域の特徴ベクトルを抽出する第１の特徴ベクトル抽出手段と、
   前記登録画像の前記部分領域の特徴ベクトルを抽出する第２の特徴ベクトル抽出手段と
   をさらに有し、
   前記識別手段は、前記入力画像の前記部分領域の前記特徴ベクトルと、前記登録画像の前記部分領域の前記特徴ベクトルとに基づいて、前記登録画像の前記部分領域と、前記入力画像の前記部分領域との相関を算出することを特徴とする請求項３乃至８の何れか１項に記載のオブジェクト識別装置。
10. オブジェクトを含む入力画像を入力する入力ステップと、
    前記オブジェクトを含む登録画像を取得する取得ステップと、
    前記入力画像に対してアフィン変換を行い、該変換された画像に部分領域を設定する第１の部分領域設定ステップと、
    前記アフィン変換後の画像に設定された部分領域の少なくとも一部が、前記アフィン変換する前の入力画像の領域からはみ出しているか否かを判定する第１の判定ステップと、
    前記部分領域が前記入力画像の領域からはみ出していないと判定された場合には、前記部分領域から特徴ベクトルを設定し、前記部分領域が前記入力画像の領域からはみ出していると判定された場合には、前記部分領域のうち、前記入力画像の領域からはみ出している領域に対し、乱数を設定し、該乱数が設定された前記はみ出している領域と前記入力画像からはみ出していない領域とを含む領域から特徴ベクトルを設定する第１の設定ステップと、
    前記登録画像の特徴ベクトルと前記第１の設定ステップにおいて設定された前記部分領域の特徴ベクトルとの相関を算出し、該算出された結果に基づいて前記オブジェクトを識別する識別ステップと
    を含むことを特徴とするオブジェクト識別方法。

Images