JP6354589B2 - 物体識別装置、方法及びプログラム - Google Patents

Description

本発明は、画像中の物体を正確に識別する装置及び方法及び記憶媒体に関する。

画像内の被写体を、撮影サイズや角度の変化、オクルージョンに対して頑健に識別可能とするために、画像内の特徴的な点（特徴点）を多数検出し、各特徴点周辺の局所領域の特徴量（局所特徴量）を抽出する方式が提案されている。その代表的な方式として、特許文献１や非特許文献１には、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を用いる局所特徴量抽出装置が開示されている。

局所特徴量抽出装置は、まず画像の各画素から輝度に関する情報のみを抽出し、抽出した輝度情報から特徴的な点（特徴点）を多数検出する。それから、局所特徴量抽出装置は、検出した各特徴点に関する情報である特徴点情報を出力する。ここで、特徴点情報とは、例えば、検出された局所特徴点の座標位置やスケール、特徴点のオリエンテーション等を示すものである。そして、局所特徴量抽出装置は、検出された各特徴点の座標値、スケール、及びオリエンテーション等の特徴点情報から、特徴量抽出を行う局所領域を取得して、局所特徴量を生成（記述）する。

そして、撮影した画像内の被写体と同一の被写体が写っている画像の識別は、非特許文献１に記載されているように、撮影した画像（すなわち入力画像）から抽出される局所特徴量１を、参照する画像から生成される局所特徴量２と比較する事によって行われる。具体的には、まず、局所特徴量１を構成する各特徴点周りの情報を記載した特徴量と、局所特徴量２を構成する特徴量との全組み合わせについて、特徴空間上での距離の計算が行われる。そして、計算された距離が最も近傍である局所特徴量１及び局所特徴量２の組み合わせが、対応している特徴量であると判定される。さらに、これら対応している特徴量を生成する元となっている特徴点の組み合わせも、対応していると判定される。その後、対応していると判定された特徴点の組み合わせに関して、入力画像における特徴点の座標位置から参照画像における特徴点の座標位置へ、特定の幾何変換情報に従って移動しているかが判定される。この移動の判定に基づいて、対応している特徴点の正誤が決定される。ここで正しく対応していると判定される特徴点の数が所定の値以上であるとき、同一の被写体が写っていると判断される。

米国特許第６７１１２９３号明細書 特開２０１０−７９５４５号公報 ＷＯ２０１２／１０８０８８号公報 特開２０１０−２６６９６４号公報 特開２０１０−１２８９２５号公報 特開２００７−１１５１０９号公報

David G. Lowe著、「Distinctive image features from scale-invariant keypoints」、（米国）、International Journal of Computer Vision、60(2)、2004年11月、p. 91-110

関連する局所特徴量を利用する物体識別方式は、入力画像の輝度情報から抽出される局所特徴量と、参照画像の輝度情報から抽出される局所特徴量の対応関係に基づいて物体の識別を行っている。その結果、入力画像に写っている物体とわずかの差異しか存在しない異なる物体を写した画像を参照画像とする場合、入力画像と参照画像との間で対応する特徴点が多数存在するため、両画像を、同一物体を写した画像であると誤って識別する問題点がある。

本発明の主たる目的は、入力画像に写っている物体とわずかの差異しか存在しない異なる物体を写した参照画像に対する誤識別を抑制し、同一の物体を写した参照画像をより正確に識別する装置及び方法及び記憶媒体を提供することにある。

本発明に係る物体識別装置は、参照画像中の座標から入力画像中の対応する座標への幾何変換情報を算出し、参照画像から抽出した局所特徴量と入力画像から抽出した局所特徴量とを照合する局所特徴量照合部と、照合により一致すると判定された入力画像についての幾何変換情報に基づいて、参照画像中の差異領域を変換して、参照画像中の差異領域に対応する入力画像中の差異領域を決定する入力画像差異領域決定部と、入力画像中の差異領域を補正し、当該補正された入力画像の差異領域から特徴量を抽出する入力画像差異領域特徴量抽出部と、入力画像差異領域特徴量抽出部により抽出された特徴量と参照画像中の差異領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合部と、を備える事を特徴とする。

本発明に係る物体識別方法は、参照画像中の座標から入力画像中の対応する座標への幾何変換情報を算出し、参照画像から抽出した局所特徴量と入力画像から抽出した局所特徴量とを照合し、照合により一致すると判定された入力画像についての幾何変換情報に基づいて参照画像中の差異領域を変換し、当該変換された参照画像中の差異領域に対応する入力画像中の差異領域を決定し、入力画像中の差異領域を補正し、当該補正された入力画像の差異領域から特徴量を抽出し、入力画像の差異領域から抽出された特徴量と参照画像中の差異領域から抽出された特徴量とを照合し、照合結果を出力する事を特徴とする。

本発明に係るプログラムは、コンピュータに、参照画像中の座標から入力画像中の対応する座標への幾何変換情報を算出し、参照画像から抽出した局所特徴量と入力画像から抽出した局所特徴量とを照合する局所特徴量照合処理と、照合により一致すると判定された入力画像についての幾何変換情報に基づいて参照画像中の差異領域を変換し、当該変換された参照画像中の差異領域に対応する入力画像中の差異領域を決定する入力画像差異領域決定処理と、入力画像中の差異領域を補正し、当該補正された入力画像の差異領域から特徴量を抽出する入力画像差異領域特徴量抽出処理と、入力画像差異領域特徴量抽出処理により抽出された特徴量と参照画像中の差異領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合処理を実行させることを特徴とする。

上記のような構成を採用し、入力画像差異領域決定部が、局所特徴量照合部で算出された幾何変換情報に基づき、参照画像中の差異領域を変換して入力画像中の差異領域を決定し、入力画像差異領域特徴量抽出部が、入力画像中の差異領域から特徴量を抽出し、特徴量照合部が、入力画像中の差異領域から抽出された特徴量と参照画像中の差異領域から抽出された特徴量を照合するため、従来の局所特徴量による照合だけでは識別できなかった細かな差異を見分け、同一の物体を写した画像のみを識別する事が可能になり、本発明の目的が達成される。

さらに、本発明は、上記プログラムが格納されたコンピュータ読み取り可能な不揮発性の記憶媒体によっても実現可能である。

本発明によれば、入力画像に写っている物体とわずかの差異しか存在しない異なる物体を写した参照画像に対する誤識別を低減可能な技術を提供することができる。

第１の実施の形態に係る物体識別装置の構成例を表すブロック図である。 入力画像差異領域決定部１３の動作例を示すフローチャートである。 局所特徴量抽出部１１の構成例を表すブロック図である。 局所特徴量照合部１２の構成例を表すブロック図である。 入力画像差異領域特徴量抽出部１４の構成例を表すブロック図である。 入力画像差異領域特徴量抽出部１４の構成例を表すブロック図である。 差異領域特徴量算出部４０３の構成例を表すブロック図である。 差異領域特徴量算出部４０３の構成例を表すブロック図である。 差異領域特徴量算出部４０３の構成例を表すブロック図である。 差異領域特徴量算出部４０３の構成例を表すブロック図である。 差異領域特徴量算出部４０３の構成例を表すブロック図である。 参照画像の差異領域、入力画像の差異領域からそれぞれ文字特徴量を抽出する際の抽出対象領域の例を示したイメージ図である。 参照画像の差異領域、入力画像の差異領域からそれぞれ文字特徴量を抽出する際の抽出対象領域の例を示したイメージ図である。 特徴量照合部１５の構成例を表すブロック図である。 第１の実施の形態に係る物体識別装置の構成例を表すブロック図である。 参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係を示したイメージ図である。 参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係を示したイメージ図である。 参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係を示したイメージ図である。 参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係を示したイメージ図である。 第２の実施の形態に係る物体識別装置の構成例を表すブロック図である。 局所特徴量照合部１６の構成例を表すブロック図である。 差異領域推定部１７の構成例を表すブロック図である。 差異領域特徴量抽出部１８の構成例を表すブロック図である。 第３の実施の形態に係る物体識別装置の構成例を表すブロック図である。 差異領域推定部１９の構成例を表すブロック図である。 第４の実施の形態に係る物体識別装置の構成例を表すブロック図である。 差異領域推定部２０の構成例を表すブロック図である。 第５の実施の形態に係る物体識別装置の構成例を表すブロック図である。 差異領域推定部２１の構成例を表すブロック図である。 差異領域推定部２１の構成例を表すブロック図である。 差異領域推定部２１の構成例を表すブロック図である。 差異領域推定部２１の構成例を表すブロック図である。 第６の実施の形態に係る物体識別装置の構成例を表すブロック図である。 差異領域推定部２２の構成例を表すブロック図である。 差異領域推定部２２の構成例を表すブロック図である。 第７の実施の形態に係る物体識別装置の構成例を表すブロック図である。 差異領域推定部２３の構成例を表すブロック図である。 差異領域推定部２３の構成例を表すブロック図である。 差異領域推定部２３の構成例を表すブロック図である。 第８の実施の形態に係る物体識別装置の構成例を表すブロック図である。 差異領域推定部２４の構成例を表すブロック図である。 差異領域推定部２４の構成例を表すブロック図である。 差異領域推定部２４の構成例を表すブロック図である。 第９の実施の形態に係る物体識別装置の構成例を表すブロック図である。 差異領域推定部２５の構成例を表すブロック図である。 差異領域推定部２５の構成例を表すブロック図である。 第１０の実施の形態に係る物体識別装置の構成例を表すブロック図である。 入力画像差異領域特徴量抽出部２６の構成例を表すブロック図である。 入力画像差異領域特徴量抽出部２６の構成例を表すブロック図である。 特徴量照合部２７の構成例を表すブロック図である。 第１１の実施の形態に係る物体識別装置の構成例を表すブロック図である。 入力画像差異領域特徴量抽出部２８の構成例を表すブロック図である。 特徴量照合部２９の構成例を表すブロック図である。 特徴量照合部２９の構成例を表すブロック図である。 第１２の実施の形態に係る物体識別装置の構成例を表すブロック図である。 局所特徴量照合部３０の構成例を表すブロック図である。 特徴量照合部３１の構成例を表すブロック図である。 識別スコア統合判定部３２の構成例を表すブロック図である。 コンピュータを構成する要素の例を表すブロック構成図である。 差異領域特徴量算出部４０３の構成例を表すブロック図である。 第１３の実施の形態に係る物体識別装置の構成例を表すブロック図である。 第１４の実施の形態に係る物体識別装置の構成例を表すブロック図である。

（第１の実施の形態）
本発明の第１の実施の形態について図面を参照して説明する。

図１は本発明の第１の実施の形態に係る物体識別装置の構成を示すブロック図である。物体識別装置Ｚ１は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５で構成される。物体識別装置Ｚ１は、例えば、パーソナルコンピュータや携帯情報端末等の情報処理装置を用いて構成されることができる。そして、物体識別装置Ｚ１を構成する各部の機能は、例えば、メモリ等の記憶領域を用いたり、記憶領域に格納されているプログラムをプロセッサが展開して実行したりすることにより実現することができる。なお、後述する他の実施形態における構成要素についても同様に実現することができる。

図面および以降の説明において、データベースを「ＤＢ」と略記することがある。

局所特徴量抽出部１１は、入力画像から局所特徴量を抽出する。局所特徴量抽出部１１による処理の詳細については後述する。

局所特徴量照合部１２は、局所特徴量抽出部１１において入力画像から抽出される局所特徴量である局所特徴量１と、参照画像から抽出される局所特徴量である局所特徴量２とを照合すると共に、入力画像と参照画像の幾何的なずれを補正するための幾何変換情報を出力する。この幾何変換情報は、局所特徴量１と局所特徴量２とを照合する際に、局所特徴点の対応に関する正誤を判断するために算出される。さらに、局所特徴量照合部１２は、同一の物体を写している（すなわち、照合の結果、局所特徴量が一致する）と判定された参照画像の画像ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を局所特徴識別画像ＩＤとして出力する。局所特徴量２は、図１のように、あらかじめ複数の参照画像から抽出しておきデータベースに記憶しておいても良いし、オンザフライで参照画像から局所特徴量抽出部１１を利用して抽出しても良い。データベースに記憶しておく場合、類似する物体を写した参照画像から抽出される局所特徴量を関連付けて登録しておいても良い。局所特徴量照合部１２による処理の詳細については後述する。

入力画像差異領域決定部１３は、局所特徴量照合部１２から出力された局所特徴識別画像ＩＤに対応する参照画像、あるいはその局所特徴識別画像ＩＤに関連付いた参照画像群の差異領域に対し、局所特徴量照合部１２から受け取る幾何変換情報を利用して幾何変換を行い、入力画像差異領域情報を出力する。

ここで、差異領域とは、入力画像に写っている物体と参照画像に写っている物体とでわずかに差異が生じ得る領域である。この差異領域は画像中に複数存在しても良い。参照画像（または参照画像群）の差異領域情報は、例えば差異領域が矩形である場合、参照画像における差異領域の４隅の座標値情報であっても良い。または、差異領域情報は、差異領域を構成する参照画像中の画素群の座標値を表す情報であっても良い。入力画像に写っている物体と参照画像に写っている物体との差分が、物体中の文字列領域である場合、差異領域情報は、その文字列全体を囲う矩形の参照画像における４隅の座標値情報であっても良いし、あるいはその文字列を構成する各文字を囲う矩形の参照画像における４隅の座標値情報群であっても良いし、あるいは、その両方の情報であっても良い。

入力画像差異領域情報は、参照画像における差異領域の４隅の座標値にそれぞれ幾何変換情報を作用させることによって得られる情報である。入力画像差異領域情報は、例えば、入力画像における差異領域の４隅の座標値によって示される。あるいは、参照画像における差異領域情報がその差異領域を構成する参照画像中の画素群の座標値情報である場合、それらの画素群にそれぞれ幾何変換情報を作用させ、入力画像における差異領域を構成する画素群の座標値情報を入力画像差異領域情報としても良い。入力画像に写っている物体と参照画像に写っている物体との差分が、物体中の文字列領域である場合、入力画像差異領域情報は、その文字列全体を囲う矩形の参照画像における４隅の各座標値に、それぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の４隅の座標値情報であっても良い。あるいは、入力画像差異領域情報は、その文字列を構成する各文字を囲う矩形の参照画像における４隅の座標値にそれぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の４隅の座標値情報群であっても良い。あるいは、入力画像差異領域情報は、その両方の情報であっても良い。参照画像における差異領域情報は、事前にデータベースに登録されている。その実現方法として、参照画像における差異領域情報は、局所特徴量２をデータベースとして記憶しておく場合には、図１のように局所特徴量ＤＢに一緒に記憶されても良い。入力画像差異領域決定部１３による処理の詳細については後述する。

入力画像差異領域特徴量抽出部１４は、入力画像差異領域決定部１３で決定された入力画像差異領域情報に基づき、入力画像中の差異領域に対して補正を行い、補正後の差異領域から特徴量を抽出する。入力画像差異領域特徴量抽出部１４による処理の詳細については後述する。

特徴量照合部１５は、入力画像差異領域特徴量抽出部１４において入力画像中の差異領域から抽出された特徴量である特徴量１と、参照画像中の差異領域から抽出された特徴量である特徴量２とを照合して、入力画像及び参照画像が同一の物体を写しているか否かを判定する。特徴量照合部１５は、同一の物体を写していると判定された画像に対応する画像ＩＤを差異領域識別画像ＩＤとして出力する。特徴量２は、図１のように、あらかじめ複数の参照画像から抽出されてデータベースに記憶されても良いし、オンザフライで参照画像から抽出されても良い。データベースに記憶しておく場合、類似する物体が関連付けて登録されても良い。入力画像の差異領域から抽出される特徴量１と、参照画像の差異領域から抽出される特徴量２は、同一の処理によって抽出された特徴量、あるいは同種の特徴量である。特徴量照合部１５の詳細については後述する。

図２は、図１に示した入力画像差異領域決定部１３の動作例を説明するためのフローチャートである。図２に示すように、入力画像差異領域決定部１３は、Ｓ１３１で処理を制御するための変数ｉの初期化を行う。Ｓ１３２においては、入力画像差異領域決定部１３は、幾何変換情報を取得する。Ｓ１３３においては、入力画像差異領域決定部１３は、参照画像の差異領域情報を取得する。ここで取得される差異領域情報は、差異領域が矩形である場合、その４隅の参照画像における座標値情報であっても良いし、差異領域を構成する参照画像中の画素群の座標値を表す情報であっても良い。Ｓ１３４では、入力画像差異領域決定部１３は、Ｓ１３２において取得した幾何変換情報を、Ｓ１３３において取得した差異領域情報に作用させる。ここで、差異領域情報が、差異領域を表す４隅の座標値情報である場合は、入力画像差異領域決定部１３は、４つの座標値のうちの１つに幾何変換情報を作用させる。また、差異領域情報が、差異領域を構成する参照画像中の画素群の座標値情報である場合は、入力画像差異領域決定部１３は、画素群のうちの１つの画素に幾何変換情報を作用させる。この時点で変数ｉが所定の数Ｎ未満である場合、入力画像差異領域決定部１３は、Ｓ１３５において変数ｉの値を更新し、変数ｉの値がＮ以上になるまでＳ１３３とＳ１３４の処理を継続する。Ｓ１３５の“ｉ＋＋”とは、ｉの値に１加算することを表す。Ｓ１３３において取得する差異領域情報が、参照画像中のある１つの領域に関する情報で、かつその領域の４隅の座標値情報である場合には、入力画像差異領域決定部１３は、Ｎ＝４を設定する。差異領域情報が、差異領域を構成する参照画像中の画素群の座標値情報である場合には、入力画像差異領域決定部１３は、差異領域を構成する参照画像中の画素群の数をＮの値として設定する。また、Ｓ１３３において取得する差異領域情報が、物体中の一部の文字列を構成する各文字を囲う矩形のように、画像中に存在する複数の領域の４隅の座標値情報群である場合には、入力画像差異領域決定部１３は、その領域数をｎとするとＮ＝４×ｎを設定する。最後に、Ｓ１３６では、入力画像差異領域決定部１３は、Ｓ１３４で算出した入力画像差異領域情報を出力し、処理を終了する。

次に、図３を参照して、局所特徴量抽出部１１による処理について詳述する。図３は、局所特徴量抽出部１１の構成例を表すブロック図である。図３に示すように、局所特徴量抽出部１１は、輝度情報抽出部１０１、局所特徴点検出部１０２、局所特徴量生成部１０３で構成される事が可能である。

輝度情報抽出部１０１は、入力画像を受け取り、その入力画像の各画素から輝度に関する情報のみを抽出し出力する。ここで受け取る入力画像は、デジタルカメラやデジタルビデオカメラ、携帯電話等の撮像機器で撮影された画像や、スキャナー等を通して取り込まれた画像などである。また、画像は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）のように圧縮された画像であってもよいし、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように圧縮されていない画像であってもよい。局所特徴点検出部１０２は、画像から特徴的な点（特徴点）を多数検出し、各特徴点に関する情報である特徴点情報を出力する。ここで、特徴点情報とは、例えば、検出された局所特徴点の座標位置やスケール、特徴点のオリエンテーション、特徴点に対して割り当てられた固有のＩＤである「特徴点番号」等を示すものである。なお、局所特徴点検出部１０２は、特徴点情報を、各特徴点のオリエンテーションの方向毎に別々の特徴点情報として出力しても良い。例えば、局所特徴点検出部１０２は、各特徴点における最も主たるオリエンテーションの方向についてのみ特徴点情報を出力してもよいし、２番目以降の主たるオリエンテーションの方向についての特徴点情報も出力してもよい。

また、局所特徴点検出部１０２は、２番目以降の主たるオリエンテーションの方向についての特徴点情報も出力する場合、各特徴点におけるオリエンテーションの方向ごとに異なる特徴点番号を付与することができる。局所特徴点検出部１０２は、画像から特徴点を検出して特徴点情報を抽出する際に、例えば、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ）処理を用いることができる。具体的には、局所特徴点検出部１０２は、ＤｏＧ処理を用いてスケールスペースにおける極値探索をすることで特徴点の位置とスケールを決定することができる。さらに局所特徴点検出部１０２は、決定した特徴点の位置およびスケールと周辺領域の勾配情報とを用いて各特徴点のオリエンテーションを算出することができる。なお、局所特徴点検出部１０２は、画像から特徴点を検出して特徴点情報を抽出する際に、ＤｏＧではなく、Ｆａｓｔ−Ｈｅｓｓｉａｎ Ｄｅｔｅｃｔｏｒ等の他の手法を用いてもよい。局所特徴点検出部１０２は、その内部で検出された特徴点の中から重要な特徴点のみを選び出し、その特徴点に関する情報のみを特徴点情報として出力しても良い。

局所特徴量生成部１０３は、局所特徴点検出部１０２から出力される特徴点情報を受け取り、各特徴点に対する局所領域の特徴量である局所特徴量を生成（記述）する。なお、局所特徴量生成部１０３は、ＺＩＰやＬＺＨ等の可逆圧縮で圧縮された形式で局所特徴量を出力してもよい。局所特徴量生成部１０３は、局所特徴点検出部１０２において、検出する特徴点の重要度を決めている場合、その特徴点の重要度順に局所特徴量を生成して出力することができる。また、局所特徴量生成部１０３は、特徴点の座標位置順に局所特徴量を生成して出力してもよい。局所特徴量生成部１０３は、まず、特徴点情報に基づいて、検出された各特徴点の座標値、スケール、及びオリエンテーションから、特徴量抽出を行う局所領域を取得する。なお、１つの特徴点に対してオリエンテーションの異なる複数の特徴点情報が存在する場合、局所特徴量生成部１０３は、各特徴点情報に対して局所領域を取得することができる。次に、局所特徴量生成部１０３は、局所領域を特徴点のオリエンテーション方向に応じて回転させて正規化した後、サブ領域に分割する。例えば、局所領域を１６ブロック（４×４ブロック）に分割することができる。次に、局所特徴量生成部１０３は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。具体的には、局所特徴量生成部１０３は、各サブ領域の画素ごとに勾配方向を算出し、それを８方向に量子化して、サブ領域ごとに量子化された８方向の頻度を集計し、勾配方向ヒストグラムを生成する。この時、局所特徴量生成部１０３は、各特徴点に対して生成される１６ブロック×８方向の勾配方向ヒストグラムにより構成される特徴ベクトルを局所特徴量として出力する。局所特徴量生成部１０３は、出力される局所特徴量には、特徴点の座標位置情報を含めて出力する。

次に、図４を参照して、局所特徴量照合部１２による処理について詳述する。図４は、局所特徴量照合部１２の構成例を表すブロック図である。図４に示すように、局所特徴量照合部１２は、対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３、閾値判定部２０４で構成されることが可能である。

対応特徴点決定部２０１は、局所特徴量抽出部１１によって入力画像から抽出される局所特徴量１と、参照画像から抽出される局所特徴量２とを受け取り、対応特徴点情報を出力する。例えば、上記の局所特徴量１と局所特徴量２がそれぞれ局所特徴点周辺の勾配ヒストグラムを記述した特徴量の集合である場合、対応特徴点決定部２０１は、特徴量空間における距離計算を特徴量の全組み合わせについて行う。ここで、対応特徴点決定部２０１は、最小となる距離値が次に小さい距離値に対して十分に小さくなる場合に限り、その距離値が最小となる特徴量の組み合わせに関して、その特徴量及び特徴量記述の基になっている局所特徴点は対応していると判断する。そして、対応特徴点決定部２０１は、局所特徴点の位置情報と対応する局所特徴点の位置情報を対応特徴点情報として出力する。

誤対応点除去部２０２は、対応特徴点決定部２０１から対応特徴点情報を受け取り、それらの対応特徴点の中から、正しく対応している特徴点と誤って対応している特徴点を判別する。そして、誤対応点除去部２０２は、その判別した特徴点情報をそれぞれ出力すると共に、その判別に使用する幾何変換情報もあわせて出力する。例えば、誤対応点除去部２０２は、対応特徴点決定部２０１から受け取った対応特徴点情報に対し、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）等の手法を適用して、参照画像中の座標から入力画像中の座標への幾何変換情報を推定する。誤対応点除去部２０２は、ここで推定された幾何変換情報を、対応特徴点の参照画像側の特徴点に対しそれぞれ作用させ、それらが入力画像側の特徴点にほぼ一致する場合は正しく対応している特徴点であると判断する。逆に入力側の特徴点に一致しない場合は、誤対応点除去部２０２は、誤って対応している特徴点であると判断する。

識別スコア算出部２０３は、誤対応点除去部２０２から対応特徴点情報を受け取り、識別スコアを出力する。識別スコアは、（局所）特徴量の類似の程度を示す。出力する識別スコアは、以下のように求められてもよい。例えば、識別スコア算出部２０３は、誤対応点除去部２０２から受け取った対応特徴点情報の中から、正しく対応した特徴点の組み合わせ数をカウントする。そして、識別スコア算出部２０３は、あらかじめ用意された、正しく対応した特徴点の組み合わせの数を０から１の間のスコアにマッピングさせるためのテーブルを参照して識別スコアを出力しても良い。または、正しく対応した特徴点の組み合わせ数がｃである場合、識別スコア算出部２０３は、あらかじめ定められた特徴点の最低対応数をｍとして、ｍ／（ｃ＋ｍ）を識別スコアとして算出しても良い。

閾値判定部２０４は、識別スコア算出部２０３から出力された識別スコアを閾値処理する。識別スコアが閾値以上である場合は、閾値判定部２０４は、同一の物体を写した画像であると判定し、その参照画像のＩＤを局所特徴識別画像ＩＤとして出力する。この閾値判定部２０４が使用する閾値は、事前に決定され内部に保持された値であっても良いし、外部から与えられる値であっても良い。

次に、入力画像差異領域特徴量抽出部１４について詳述する。図５、図６は、入力画像差異領域特徴量抽出部１４の構成例を表すブロック図である。以下、各図について説明する。

図５に示すように、入力画像差異領域特徴量抽出部１４は、差異領域情報補正部４０１、補正差異領域画像生成部４０２、差異領域特徴量算出部４０３で構成される事が可能である。

差異領域情報補正部４０１は、入力画像差異領域決定部１３から入力画像差異領域情報を受け取り、入力画像差異領域の範囲を変更するようにその入力画像差異領域情報を補正する。例えば、差異領域情報補正部４０１は、入力画像の差異領域内のある点を基準にして所定の比率だけ拡大した領域を補正後の差異領域としても良い。または、差異領域情報補正部４０１は、入力画像の差異領域内のある点を基準にして所定の画素分だけ広げた領域を補正後の差異領域としても良い。ここで、基準にする点は、差異領域の重心点であっても良い。また、入力画像の差異領域が、参照画像における差異領域の４隅の座標値にそれぞれ幾何変換情報を作用させることによって得られる、入力画像における差異領域の４隅の座標値である場合、基準にする点は、その４隅で定義される矩形の対角線の交点であっても良い。例えば、入力画像差異領域決定部１３から受け取る入力画像差異領域の端にエッジが密集している等の場合、入力画像差異領域外に同種の情報が含まれていることが予測できる。この場合、差異領域情報補正部４０１は、入力画像差異領域情報の補正として、同種の情報を含んでいると予測できる方向に入力画像差異領域をずらしても良いし、もしくは入力画像差異領域を広げても良い。

補正差異領域画像生成部４０２は、入力画像と、差異領域情報補正部４０１から補正差異領域情報を受け取る。その補正差異領域情報が、入力画像における補正後の差異領域の４隅の座標値情報である場合、補正差異領域画像生成部４０２は、４隅のうち隣り合う２隅を直線で結んだ時に通過する画素を順に読み取る等して、入力画像中からその値を読み取っていく画素とその順序を決定する。この事により、補正差異領域画像生成部４０２は、差異領域画像を生成し出力する。または、差異領域情報補正部４０１から受け取る補正差異領域情報が、入力画像における補正後の差異領域を構成する画素群の座標値を表す情報である場合、補正差異領域画像生成部４０２は、その順序で入力画像を読み取り差異領域画像として出力する。

差異領域特徴量算出部４０３は、補正差異領域画像生成部４０２で生成された差異領域画像から特徴量を抽出し、その特徴量を出力する。差異領域特徴量算出部４０３の詳細については後述する。入力画像に写っている物体が湾曲しているような場合、入力画像差異領域決定部１３で算出される入力画像の差異領域が誤差を含んでしまう事がある。そのような場合においても、入力画像差異領域特徴量抽出部１４は、図５の構成を有していることにより、差異領域情報の補正を行ってから特徴量の抽出処理を行うため、正確な特徴量を抽出できる。

また、図６に示すように、入力画像差異領域特徴量抽出部１４は、差異領域画像生成部４０４と差異領域特徴量算出部４０３で構成される事も可能である。図６の差異領域画像生成部４０４は、図５で示される入力画像差異領域特徴量抽出部１４の構成要素である補正差異領域画像生成部４０２とほぼ同一であるが、補正差異領域情報の代わりに、入力画像差異領域情報が入力される点が異なっている。図６の差異領域特徴量算出部４０３は、図５で示される差異領域特徴量算出部４０３と同一であり、詳細な説明は省略する。

図７、図８、図９、図１０、図１１、図６０は、差異領域特徴量算出部４０３の構成例を表すブロック図である。以下、各図について説明する。

図７に示すように、差異領域特徴量算出部４０３は、色構成比特徴量算出部４０３０１で構成される事が可能である。色構成比特徴量算出部４０３０１は、補正差異領域画像生成部４０２で生成された差異領域画像の色ヒストグラムを特徴量として出力する。ここで生成される特徴量は、例えばＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）空間のヒストグラムであっても、ＨＳＶ（Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，Ｖａｌｕｅ）空間のヒストグラムであっても、その他の色空間におけるヒストグラムであっても良い。差異領域特徴量算出部４０３の図７の構成は、入力画像に写っている物体と参照画像に写っている物体の色に明確な差がある時に特に効果的である。

また、図８に示すように、差異領域特徴量算出部４０３は、色配置特徴量算出部４０３０２で構成される事も可能である。色配置特徴量算出部４０３０２は、補正差異領域画像生成部４０２で生成された差異領域画像の色レイアウトの情報を特徴量として出力する。ここで生成される特徴量は、差異領域画像を８×８の区画に分割し、各区画における画素値の平均値に対し２次元ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を行い、変換係数を低周波成分から順に定められた個数だけ抽出したものであっても良い。または、ここで生成される特徴量は、差異領域画像をサブブロックに分割し、サブブロック毎に算出される平均色を示す値（RGB値等）であっても良い。差異領域特徴量算出部４０３の図８の構成は、図７の構成と同様、入力画像に写っている物体と参照画像に写っている物体の色に明確な差がある時に特に効果的である。

また、図９に示すように、差異領域特徴量算出部４０３は、文字照合用特徴量算出部４０３０３で構成される事が可能である。この構成は、入力画像に写っている物体と参照画像に写っている物体との差分が物体中の文字列領域であるとすると、入力画像の差異領域が、その文字列を構成する各文字を囲う矩形の参照画像における４隅の座標値にそれぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の４隅の座標値情報群である場合に可能である。すなわち、この構成では、参照画像中の差異領域である各文字の外接矩形の４隅の座標値を幾何変換して得られる入力画像中の領域が差異領域画像として文字照合用特徴量算出部４０３０３に入力される。そして、文字照合用特徴量算出部４０３０３はその差異領域画像から特徴量抽出を行う。文字照合用特徴量算出部４０３０３は、補正差異領域画像生成部４０２で生成された差異領域画像から、例えば、各文字に外接する矩形をそれぞれ４×４に分割し、その分割領域毎に８方向の勾配ヒストグラムを構築したものを特徴量として抽出しても良い。差異領域特徴量算出部４０３の図９の構成は、入力画像に写っている物体と参照画像に写っている物体とで、一部の文字のみに差がある場合に特に効果的である。

また、図１０に示すように、差異領域特徴量算出部４０３は、二値化処理部４０３０４、文字領域検出部４０３０５、文字照合用特徴量算出部４０３０６で構成される事も可能である。

この構成は、入力画像に写っている物体と参照画像に写っている物体との差分が物体中の文字列領域であるとすると、入力画像の差異領域が、その文字列全体を囲う矩形の参照画像における４隅の各座標値に、それぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の４隅の座標値情報である場合に可能である。これに加えて、その文字列を構成する各文字を囲う矩形の参照画像における４隅の座標値にそれぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の４隅の座標値情報群があっても良い。

二値化処理部４０３０４は、補正差異領域画像生成部４０２で生成された差異領域画像に対し、あらかじめ定められた閾値、あるいは適応的に算出された閾値に基づいて二値化を行い、二値化の結果を二値化画像として出力する。適応的に閾値を算出する方法として、例えば、差異領域画像の画素値の分布に関して、ある点Ｐで分けられた２つのクラスのクラス内分散が最小＆クラス間分散が最大になるＰを閾値として自動的に算出するような判別二値化が考えられる。補正差異領域画像生成部４０２で生成された差異領域画像に文字が存在する場合、文字はその背景部とのコントラストが大きくなるよう黒あるいは白で書かれる事が多いという事を考慮すると、二値化処理部４０３０４から出力される二値化画像は、文字部が黒で背景部が白、あるいは文字部が白で背景部が黒、のいずれかの画像が出力される。ここで、入力画像に写っている物体が湾曲しているような場合、入力画像差異領域決定部１３で算出される入力画像の差異領域が誤差を含んでしまう事がある。このような場合、文字列全体を囲う矩形の参照画像における４隅の各座標値に、それぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域に対し直接判別二値化を行うと、二値化の閾値が正しく設定されず、文字領域が検出できなくなる可能性がある。しかし、図１０の構成において、入力画像の差異領域が、文字列全体を囲う矩形の参照画像における４隅の各座標値にそれぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の４隅の座標値情報に加えて次のような情報を含んでいる場合、二値化処理部４０３０４は、より正確な二値化画像を出力する事ができる。その情報とは、その文字列を構成する各文字を囲う矩形の参照画像における４隅の座標値にそれぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域の４隅の座標値情報群である。具体的には、二値化処理部４０３０４は、差分となっている文字列を構成する各文字を囲う矩形の参照画像における４隅の座標値に、それぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域に対してのみまず判別二値化を行う。次に、二値化処理部４０３０４は、そこで算出される閾値を使って、文字列全体を囲う矩形の参照画像における４隅の座標値に、幾何変換情報を作用させる事によって得られる入力画像中の領域に対し、二値化を行う。このような二値化処理にした場合、初めに閾値を決定する際に使用する領域は、文字のみが含まれている可能性の高い領域になる。このため、文字列全体を囲う矩形の参照画像における４隅の各座標値に、それぞれ幾何変換情報を作用させる事によって得られる入力画像中の領域に対し直接判別二値化を行う場合と比べて、入力画像の差異領域における誤差の影響を軽減した二値化を実現できる。さらに、閾値を決定する際に使用する領域の中で、文字が含まれている可能性の高い領域のみを選択的に利用したい場合には、各領域内の画素値の分散が高い領域のみが利用されてもよい。

文字領域検出部４０３０５は、二値化処理部４０３０４で生成された二値化画像を受け取り、画像中で文字が存在する領域の情報である文字領域情報を出力する。文字が存在する領域を検出するには、例えば、文字領域検出部４０３０５は、二値化画像中の黒画素が連結している部分を一塊として、その各連結部分に外接する矩形の４隅の座標値情報群、あるいは各連結部分を構成する画素群の座標値情報を文字領域情報として出力する。連結部分を検出する際、二値化処理部４０３０４で生成される二値化画像において黒画素が多くなっている場合、暗い背景に白い文字が書かれている可能性があるため、二値化画像における白画素と黒画素を反転した後、上記の処理が行われても良い。ここで出力される文字領域情報は、１つの連結部がほぼ１文字に相当すると考えられるため、差異領域画像中に存在する各文字に外接する矩形の４隅の情報を表すことになる。

文字照合用特徴量算出部４０３０６は、図９で示される差異領域特徴量算出部４０３の構成要素である文字照合用特徴量算出部４０３０３とほぼ同一であるが、差異領域画像に加えて文字領域情報が入力される点が異なっている。すなわち、この構成では、文字照合用特徴量算出部４０３０６は、差分となっている文字列の各文字の外接矩形の参照画像における４隅の座標値を幾何変換して得られる入力画像中の領域から特徴量抽出を行うのではない。その代りに、文字照合用特徴量算出部４０３０６は、差分の文字列全体を囲う矩形の参照画像における４隅の座標値を幾何変換して得られる入力画像中の領域から、文字領域を改めて検出し、その検出された文字領域から特徴量を算出する。差異領域特徴量算出部４０３の図１０の構成は、図９の構成と同様、入力画像に写っている物体と参照画像に写っている物体とで、一部の文字のみに差がある場合に特に効果的である。

また、図１１に示すように、差異領域特徴量算出部４０３は、画像値抽出部４０３０７で構成される事も可能である。画像値抽出部４０３０７は、補正差異領域画像生成部４０２で生成された差異領域画像の輝度値をそのまま特徴量として出力しても良い。または、補正差異領域画像生成部４０２で生成された差異領域画像の全輝度値の平均をａ、標準偏差をｓとして、差分領域画像の輝度値をｐとした時、（ｐ−ａ）／ｓのように補正した輝度値を特徴量として出力しても良い。なお、図１１に示すように、差異領域特徴量算出部４０３は、画像値抽出部４０３０７で構成される場合、差異領域の縦及び横の画素数の情報を、特徴量と一緒に出力しても良い。

また、図６０に示すように、差異領域特徴量算出部４０３は、形状特徴量算出部４０３０８で構成される事も可能である。形状特徴量算出部４０３０８は、補正差異領域画像生成部４０２で生成された差異領域画像の形状の情報を特徴量として出力する。形状特徴量算出部４０３０８は、次のような処理によって特徴量を生成しても良い。例えば、補正差異領域画像生成部４０２で生成された差異領域画像を４×４等の複数のサブブロックに分割し、その分割領域毎に複数方向の勾配ヒストグラムを構築し、そのヒストグラムを特徴量として抽出する事によって特徴量を生成しても良い。あるいは、補正差異領域画像生成部４０２で生成された差異領域画像からエッジを抽出し、各画素の値がエッジ強度を示すエッジ画像を作成し、そのエッジ画像を特徴量として抽出する事によって特徴量を生成しても良い。あるいは、上記のエッジ画像をエッジ強度に対する所定の閾値に基づいて処理で２値化する処理を行い、その２値化された画像を特徴量として抽出する事によって特徴量を生成しても良い。

差異領域特徴量算出部４０３の図６０の構成は、入力画像に写っている物体と参照画像に写っている物体の形状に明確な差がある時に特に効果的である。

なお、差異領域特徴量算出部４０３は、図７、図８、図９、図１０、図１１、図６０の構成の他に、これらを組み合わせた構成にして、それぞれ算出された特徴量を１つにまとめた特徴量にして出力する事も可能である。

図１２、図１３は、差異領域特徴量算出部４０３がそれぞれ図９、図１０の構成である場合、特徴量を抽出する対象となる領域の例を示したイメージ図である。図１２のように、入力画像の差異領域が、文字列を構成する各文字の外接矩形の参照画像における４隅の座標値を幾何変換して得られる領域である場合、入力画像に写っている物体が湾曲しているような時は、幾何変換情報を作用させて得られる領域が誤差を含む事がある。この時、特徴量を抽出する対象の領域が実際の文字部とずれてしまう。一方、図１３のように、入力画像中の領域から文字領域を改めて検出し、その検出された文字領域から特徴量を抽出する場合、幾何変換による誤差の影響を受けず、より正確な特徴量を抽出する事が可能である。さらに、差異領域情報補正部４０１による補正を行う事で、補正前の入力画像の差異領域から文字がはみ出しているような場合でも、正確に特徴量を抽出する事が可能である。

次に、特徴量照合部１５について詳述する。図１４は、特徴量照合部１５の構成例を表すブロック図である。以下、この図について説明する。図１４に示すように、特徴量照合部１５は、差異領域識別スコア算出部５０１と閾値判定部５０２で構成される事が可能である。

差異領域識別スコア算出部５０１は、入力画像の差異領域から抽出される特徴量を特徴量１として、参照画像の差異領域から抽出される特徴量を特徴量２として、それぞれ受け取る。そして、差異領域識別スコア算出部５０１は、この２つの特徴量から決定される識別スコアを差異領域識別スコアとして出力する。差異領域識別スコアは、特徴量１と特徴量２が類似している程、その値が高くなるような尺度である。例えば、差異領域識別スコア算出部５０１は、特徴量１と特徴量２の特徴量空間上での距離を計算し、その逆数を差異領域識別スコアとして出力しても良い。または、特徴量１と、複数の参照画像群からそれぞれ抽出した特徴量２を照合する場合、差異領域識別スコア算出部５０１は、差異領域識別スコアを次のように出力しても良い。まず、差異領域識別スコア算出部５０１は、特徴量の全組み合わせの中で特徴量空間上での距離の最小値を見つける。次に、差異領域識別スコア算出部５０１は、その最小値で特徴量の全組み合わせにおける特徴量空間上での距離を割った値の逆数を、差異領域識別スコアとして出力しても良い。または、差異領域識別スコア算出部５０１は、あらかじめ用意された、特徴量１と特徴量２の特徴量空間上での距離値を０〜１の間のスコアにマッピングさせるためのテーブルを参照することにより差異領域識別スコアを出力しても良い。または、入力画像の差異領域から抽出される特徴量が図１１のような輝度値あるいは平均や標準偏差を利用して補正された輝度値である場合、差異領域識別スコア算出部５０１は、差異領域識別スコアを次のように出力しても良い。差異領域識別スコア算出部５０１は、参照画像の差異領域における対応する輝度値との差分の総和や、対応する輝度値の差の２乗の総和や、対応する輝度値の差の絶対値の総和が小さいものほど大きくなるようなスコアとして差異領域識別スコアを出力しても良い。または、差異領域識別スコア算出部５０１は、対応する輝度値の正規化相互相関が１に近いほど大きくなるようなスコアとして差異領域識別スコアを出力しても良い。入力画像の差異領域から抽出される特徴量が図１１のような輝度値あるいは平均や標準偏差を利用して補正した輝度値である場合は、差異領域識別スコア算出部５０１は、差異領域識別スコアを次のように出力しても良い。まず、前記のように対応する画素の輝度値を比較する前に、差異領域識別スコア算出部５０１は、特徴量２を抽出した参照画像の差異領域と、特徴量１を抽出した入力画像の差異領域の位置が最も合うようにLucas-Kanade法等を用いて特徴量１を変換する。そして、差異領域識別スコア算出部５０１は、特徴量２と変換後の特徴量１の対応する画素の輝度値の差分の総和や、輝度値の差の２乗の総和や、輝度値の差の絶対値の総和が小さいものほど大きくなるようなスコアとして差異領域識別スコアを出力しても良い。または、入力画像の差異領域から抽出される特徴量が図６０のような形状特徴量、特に各画素の値がエッジ強度を示すエッジ画像、あるいは前記エッジ画像をエッジ強度に対する閾値処理で２値化した画像である場合、差異領域識別スコア算出部５０１は、差異領域識別スコアを次のように出力しても良い。まず、差異領域識別スコア算出部５０１は、参照画像の差異領域から抽出される特徴量である特徴量２をテンプレートとして、そのスケールや方向や位置を変化させながら、特徴量１の中で画像パターンが最も類似する領域を探索する。そして、差異領域識別スコア算出部５０１は、その時のテンプレートの画素数に対するパターンが一致した画素数の割合を差異領域識別スコアとして出力しても良い。この時、パターンの一致度を測る尺度として、対応する画素のエッジ強度の差分の絶対値の総和、対応する画素のエッジ強度の差分の２乗の総和等を用いても良いし、それ以外の尺度を用いても良い。入力画像の差異領域から抽出される特徴量が図６０のような形状特徴量、特に各画素の値がエッジ強度を示すエッジ画像、あるいは前記エッジ画像をエッジ強度に対する閾値処理で２値化した画像である場合、次のように処理しても良い。すなわち、差異領域識別スコア算出部５０１は、参照画像の差異領域から抽出される特徴量である特徴量２を全て利用するのではなく、部分的に利用しても良い。例えば、差異領域識別スコア算出部５０１は、エッジの連続性を考慮する等して輪郭に相当するエッジのみを照合に利用しても良い。具体的には、差異領域識別スコア算出部５０１は、特徴量２の中の輪郭に相当する各エッジに対し、一般化ハフ変換等の方法で特徴量１と最もフィッティングする位置を探索しても良い。または、差異領域識別スコア算出部５０１は、前記の輪郭に相当するエッジのスケールや方向や位置を変化させながら特徴量１と最も重なる位置を探索しても良いし、別の方法で探索しても良い。その時、差異領域識別スコア算出部５０１は、例えば全投票数に対する投票数の最大値の割合を差異領域識別スコアとして出力しても良い。または、入力画像の差異領域から抽出される特徴量が図９や図１０の場合、差異領域識別スコア算出部５０１は、対応する矩形毎にその類似度を算出し、それら算出された類似度を差異領域識別スコアとして出力しても良い。入力画像の差異領域から抽出される特徴量が図９や図１０の場合、対応する矩形の例を図１２、図１３の点線矢印でそれぞれ示す。図９の場合は、参照画像中における各文字の領域と、その各文字の座標位置を幾何変換して得られる入力画像中の領域が対応する矩形である。図１０の場合は、参照画像中における各文字の座標位置と、入力画像中の各文字の座標位置を比較し、その座標位置が近い文字が対応する矩形である。

閾値判定部５０２は、差異領域識別スコア算出部５０１から出力された差異領域識別スコアを閾値処理する。差異領域識別スコアが閾値以上である場合は、閾値判定部５０２は、同一の物体を写した画像であると判定し、その参照画像のＩＤを差異領域識別画像ＩＤとして出力する。この閾値判定部５０２が使用する閾値は、事前に決定され内部に保持された値であっても良いし、外部から与えられる値であっても良い。または、差異領域識別スコア算出部５０１から出力された差異領域識別スコアが、参照画像内の複数の矩形領域からそれぞれ抽出される特徴量と、その各矩形領域に対応する入力画像内の領域からそれぞれ抽出された特徴量の類似度である場合、閾値判定部５０２は次のように処理しても良い。すなわち、閾値判定部５０２は、対応する領域数に対する、類似度が閾値以上である対応領域数の割合を算出し、その割合が閾値以上である参照画像のＩＤを差異領域識別画像ＩＤとして出力しても良い。または、差異領域識別スコア算出部５０１から出力された最も高い差異領域識別スコアと、２番目に高い差異領域識別スコアの差分が閾値以上である場合、閾値判定部５０２は、最も高い差異領域識別スコアとなる参照画像のＩＤを差異領域識別画像ＩＤとして出力しても良い。または、差異領域識別スコア算出部５０１から出力された最も高い差異領域識別スコアに対する、２番目に高い差異領域識別スコアの比率が閾値以下である場合、閾値判定部５０２は、最も高い差異領域識別スコアとなる参照画像のＩＤを差異領域識別画像ＩＤとして出力しても良い。または、閾値判定部５０２は、まず、差異領域識別スコア算出部５０１から出力された差異領域識別スコアを閾値処理し、閾値以上である物に絞る。その後、最も高い差異領域識別スコアと２番目に高い差異領域識別スコアが十分に離れている場合、閾値判定部５０２は、最も高い差異領域識別スコアとなる参照画像のＩＤを差異領域識別画像ＩＤとして出力しても良い。または、入力画像差異領域特徴量抽出部１４から受け取る特徴量が、複数の特徴量を１つにまとめた特徴量である場合、閾値判定部５０２は次のように処理しても良い。すなわち、閾値判定部５０２は、まず、ある特徴量に関して差異領域識別スコア算出及び閾値判定を行う。そこで結果として出力されるＩＤに対応する参照画像に対して、別の特徴量に関して差異領域識別スコア算出及び閾値判定を行うというように、閾値判定部５０２は、段階的に照合していっても良い。

図１５は、本発明の第１の実施の形態に係る物体識別装置の実現例の１つである。図１５の物体識別装置Ｚ１’は、図１とほぼ同じだが、差異領域情報のみを格納したデータベースである差異領域情報ＤＢを設けている点が異なる。局所特徴量２がデータベースとして記憶されておらず、参照画像からオンザフライで抽出される場合、この図１５の構成で本発明の第１の実施の形態に係る物体識別装置が実現できる。

図１６、図１７、図１８、図１９は、それぞれ参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係として考えられるパターンを示したイメージ図である。

図１６は、物体が参照画像全体に表示され、差異領域が参照画像全体である場合を示している。これは、同一銘柄で味付けが異なるお菓子パッケージ等でよく見られるように、物体に刻まれている文字・模様等はほぼ同一だが、その物体の色が異なる場合等が該当する。

図１７は、物体が参照画像全体に表示され、差異領域が参照画像の一部である場合を示している。これは、同一シリーズで巻が異なる本の背表紙等でよく見られるように、ほぼ同一なのだが、物体の一部分のみ色や文字や模様が異なる場合が該当する。

図１８、図１９は、図１６、図１７とそれぞれほぼ同様だが、参照画像が画像全体ではなくその一部にしか写っていない点が異なる。このいずれのパターンにおいても、本発明の第１の実施の形態に係る物体識別装置Ｚ１’では、その差異領域の情報が事前にデータベース登録されている。その登録されている参照画像中の差異領域、及び幾何変換情報と差異領域情報を用いて決定される入力画像中の差異領域、さらにその入力画像中の差異領域を補正した領域は、それぞれ、差異がある必要最小限の領域だけを参照画像と入力画像から抽出する事ができる。このため、差異領域が物体全体の場合はもちろん、物体のほんの一部の場合であっても、画像に写った物体を正確に識別する事ができる。このことにより、従来の局所特徴量のみを使った場合に問題となっていた誤識別を抑制する事が可能となる。

以上のように、本発明の第１の実施の形態に係る物体識別装置Ｚ１あるいはＺ１’は、入力画像に写っている物体とわずかの差異しか存在しない異なる物体を写した参照画像に対する誤識別を低減することができる。その理由は、以下のとおりである。局所特徴量を照合する際に算出する、入力画像と参照画像の間の幾何変換情報に基づき、参照画像中の差異領域を変換する事によって、入力画像中の差異領域が決定される。そして、入力画像の差異領域から抽出される特徴量と参照画像の差異領域から抽出される特徴量を照合する事で、従来の局所特徴量による照合だけでは識別できなかった細かな差異を見分け、同一の物体を写した画像のみを識別する事が可能になるためである。

（第２の実施の形態）
本発明の第２の実施の形態について図面を参照して説明する。

図２０は、本発明の第２の実施の形態に係る物体識別装置の構成を示すブロック図である。図２０に示すように、第２の実施の形態に係る物体識別装置Ｚ２は、局所特徴量抽出部１１、局所特徴量照合部１６、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、差異領域推定部１７、差異領域特徴量抽出部１８、特徴量照合部１５で構成される。このように、第２の実施の形態に係る物体識別装置Ｚ２では、第１の実施の形態に係る物体識別装置の局所特徴量照合部１２が局所特徴量照合部１６に変更され、差異領域情報を格納したデータベースである差異領域情報ＤＢが差異領域推定部１７及び差異領域特徴量抽出部１８に変更されている点が異なる。局所特徴量照合部１６、差異領域推定部１７、差異領域特徴量抽出部１８の詳細については後述する。その他の構成要素については第１の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図２１は、局所特徴量照合部１６の構成例を表すブロック図である。以下、この図について説明する。図２１に示すように、局所特徴量照合部１６は、対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３、閾値判定部２０４で構成される事が可能である。これは、図４で示される、局所特徴量照合部１２と同一の構成要素であるが、誤対応点除去部２０２から出力される幾何変換情報、閾値判定部２０４から出力される局所特徴識別画像ＩＤに加え、誤対応点除去部２０２から出力される対応特徴点情報を局所特徴量照合部１６から出力している点が異なっている。なお、対応特徴点情報は、前述のとおり、参照画像と入力画像との間で、特徴点が正しく対応しているか誤って対応しているかを示した情報を含む情報である。

図２２は、差異領域推定部１７の構成を表すブロック図である。以下、この図について説明する。図２２に示すように、差異領域推定部１７は、誤対応特徴点密集度探索部７０１のみで構成される事が可能である。

誤対応特徴点密集度探索部７０１は、局所特徴量照合部１６から対応特徴点情報を受け取り、参照画像中の差異領域に関する情報である差異領域情報を出力する。局所特徴量照合部１６から受け取る対応特徴点情報は、正しく対応している特徴点と誤って対応している特徴点が判別された状態になっている。このため、このうち誤って対応している特徴点が密集している領域を画像中から探索する事によって、参照画像中の差異領域を推定する事が可能である。誤って対応している特徴点が密集している領域の探索は、例えば、次のような方法によるものでも良いし、それ以外の方法であっても良い。その方法とは、所定の大きさの矩形窓を設定し、差分画像中でこの矩形窓を動かしていき、誤って対応している特徴点の数が矩形窓内で所定の数以上である場合、その矩形窓の領域を差異領域とする、というものである。

図２３は、差異領域特徴量抽出部１８の構成例を表すブロック図である。以下、この図について説明する。図２３に示すように、差異領域特徴量抽出部１８は、差異領域画像生成部８０１、差異領域特徴量算出部４０３で構成される事が可能である。

差異領域画像生成部８０１は、図６で示される、入力画像差異領域特徴量抽出部１４の構成要素である差異領域画像生成部４０４とほぼ同一だが、以下の点で異なっている。それは、入力画像ではなく参照画像が、入力画像差異領域情報ではなく差異領域情報がそれぞれ入力される点と、入力画像差異領域情報に基づいて入力画像から生成した差異領域画像ではなく、差異領域情報に基づいて参照画像から生成した差異領域画像が出力される点である。差異領域特徴量算出部４０３は、図５や図６で示される、入力画像差異領域特徴量抽出部１４の構成要素である差異領域特徴量算出部４０３と同一であり、詳細な説明は省略する。なお、図５、図６と図２３における差異領域特徴量算出部４０３で算出する特徴量は、同一の処理で算出される特徴量である。

本発明の第２の実施の形態に係る物体識別装置Ｚ２は、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができる。このため、物体識別装置Ｚ２は、物体識別を利用した検品システムで、多数の製品の中からどこかに傷を持つ製品だけを見分ける場合のように、事前に差異領域に関する情報を登録しておく事ができない時に効果的である。そして、本発明の第２実施の形態に係る物体識別装置Ｚ２が行う参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能である。このため、図１６、図１７、図１８、図１９のいずれの場合に対しても、本発明の第２の実施の形態に係る物体識別装置Ｚ２は有効である。

（第３の実施の形態）
本発明の第３の実施の形態について図面を参照して説明する。

図２４は、本発明の第３の実施の形態に係る物体識別装置の構成を示すブロック図である。図２４に示すように、第３の実施の形態に係る物体識別装置Ｚ３は、局所特徴量抽出部１１、局所特徴量照合部１６、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部１９、差異領域特徴量抽出部１８を備えて構成される。このように、第３の実施の形態に係る物体識別装置Ｚ３は、第２の実施の形態に係る物体識別装置Ｚ２の差異領域推定部１７が差異領域推定部１９に変更されている点が異なる。差異領域推定部１９の詳細については後述する。その他の構成要素については、第２の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図２５は、差異領域推定部１９の構成例を表すブロック図である。以下、この図について説明する。図２５に示すように、差異領域推定部１９は、物体領域推定部９０１、誤対応特徴点密集度探索部９０２を備えて構成される事が可能である。

物体領域推定部９０１は、局所特徴量照合部１６から出力される局所特徴識別画像ＩＤに対応する参照画像、あるいはその局所特徴識別画像ＩＤに関連付いた参照画像群を受け取り、参照画像中で物体が存在している領域を表す情報である物体領域情報を出力する。ここで受け取る参照画像は、図２４のように、あらかじめデータベースに記憶されていても良いし、そうでなくても良い。物体領域推定部９０１における処理は、例えば、参照画像中のエッジ強度を解析することで物体領域を大まかに推定する方法でも良いし、背景領域の画像パターンをあらかじめ学習しておき背景以外の領域として物体領域を大まかに推定する方法でも良い。誤対応特徴点密集度探索部９０２は、図２２で示される、差異領域推定部１７の構成要素である誤対応特徴点密集度探索部７０１と類似しているが、局所特徴量照合部１６から受け取る対応特徴点情報に加えて、物体領域推定部９０１から出力される物体領域情報が入力される点が異なっている。誤対応特徴点密集度探索部９０２は、対応特徴点のうち、物体領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索する事によって、物体以外の領域から出現する誤った対応の特徴点の影響を受けることなく、参照画像中の差異領域を推定する事が可能である。

また、誤対応特徴点密集度探索部９０２は、参照画像中で誤って対応している特徴点が密集している領域を探索する範囲が限定されるため、探索範囲が参照画像全体である誤対応特徴点密集度探索部７０１と比べて高速な処理が可能である。

本発明の第３の実施の形態に係る物体識別装置Ｚ３は、第２の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができる。このため、物体識別装置Ｚ３は、物体識別を利用した検品システムで多数の製品の中からどこかに傷を持つ製品だけを見分ける場合のように、事前に差異領域に関する情報を登録しておく事ができない時に効果的である。そして、本発明の第３の実施の形態に係る物体識別装置Ｚ３が行う参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、物体以外の領域から出現する誤った対応の特徴点の影響を受けることなく差異領域を高精度に推定する事が可能であるため、図１８や図１９の場合に特に有効である。

（第４の実施の形態）
本発明の第４の実施の形態について図面を参照して説明する。

図２６は、本発明の第４の実施の形態に係る物体識別装置の構成を示すブロック図である。図２６に示すように、第４の実施の形態に係る物体識別装置Ｚ４は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部２０、差異領域特徴量抽出部１８を備えて構成される。

このように、第４の実施の形態に係る物体識別装置Ｚ４は、第３の実施の形態に係る物体識別装置Ｚ３の局所特徴量照合部１６及び差異領域推定部１９が、局所特徴量照合部１２及び差異領域推定部２０に変更されている点が異なる。局所特徴量照合部１２は、第１の実施の形態に係る物体識別装置Ｚ１あるいはＺ１’の局所特徴量照合部１２と同様であり、詳細な説明は省略する。差異領域推定部２０の詳細については後述する。その他の構成要素については、第３の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図２７は、差異領域推定部２０の構成例を表すブロック図である。以下、この図について説明する。図２７に示すように、差異領域推定部２０は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２００４を備えて構成される事が可能である。

変換画像生成部２００１は、入力画像と局所特徴量照合部１２から出力される幾何変換情報を受け取り、変換画像を出力する。変換画像生成部２００１は、例えば、入力画像の各画素に幾何変換情報を作用させ、入力画像の各画素を参照画像と同じ大きさの画像上に投影させていくことで、変換画像を生成する。このとき、投影先の画像において、入力画像中の画素が投影されない画素については、変換画像生成部２００１はその画素値を０等で埋めて変換画像を生成する。また、局所特徴量照合部１２から出力される幾何変換情報が、参照画像中の座標から入力画像中の座標へ変換する情報である場合、この変換画像生成部２００１で作用させる幾何変換情報は、その逆の変換を行う情報になっている必要がある。すなわち、局所特徴量照合部１２から出力される幾何変換情報が、参照画像中の座標から入力画像中の座標へ変換する３×３の行列である場合、変換画像生成部２００１で作用させる幾何変換情報は、その逆行列が用いられる。

差分画像生成部２００２は、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する参照画像、あるいはその局所特徴識別画像ＩＤに関連付いた参照画像群と、変換画像生成部２００１から出力される変換画像を受け取り、参照画像と変換画像の差分を取った画像を差分画像として出力する。なお、差分画像生成部２００２は、参照画像と変換画像の差分を取る際、例えば、両方の画像の輝度の平均値が一致するよう、一方の画像の輝度を補正してから差分を取っても良い。ここで受け取る参照画像は、図２６のように、あらかじめデータベースに記憶されていても良いし、そうでなくても良い。

物体領域推定部２００３は、差分画像生成部２００２から差分画像を受け取り、物体領域情報を推定して出力する。ここで出力される物体領域情報は、例えば、差分画像の中でその差分値が小さい領域を画像中から探索する事によって推定される事が可能である。これは、差分画像の中で差分値が小さい領域は、参照画像と変換画像で同一の物体が写っている可能性が高い領域と考えられるためである。物体領域の推定は、例えば、所定の大きさの矩形窓を設定し、差分画像中でこの矩形窓を動かしていき、矩形窓内で画素値の小さい画素が所定の数以上あった場合、その矩形窓の領域を物体領域とすることにより行われても良いし、それ以外の方法で行われても良い。

大差分領域検出部２００４は、差分画像生成部２００２から出力される差分画像と、物体領域推定部２００３から出力される物体領域情報を受け取り、差異領域情報を出力する。大差分領域検出部２００４は、差分画像内の物体領域において、その差分値が大きくなっている箇所は、参照画像と変換画像に写っている物体で差異が存在している箇所である可能性が高いと判断し、差分値が大きい箇所を画像内から探索し、その領域情報を差異領域情報として出力する。差分値が大きい箇所すなわち差異領域の探索は、例えば、所定の大きさの矩形窓を設定し、差分画像内の物体領域中でこの矩形窓を動かしていき、矩形窓内で画素値の大きい画素が所定の数以上あった場合、その矩形窓の領域を差異領域とすることにより行っても良いし、それ以外の方法であっても良い。

以上のように、本発明の第４の実施の形態において、差異領域推定部２０は、入力画像と、参照画像と、幾何変換情報とを用いて、参照画像中の差異領域を推定する。本発明の第４の実施の形態に係る物体識別装置Ｚ４は、第２あるいは３の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができる。このため、物体識別装置Ｚ４は、物体識別を利用した検品システムで多数の製品の中からどこかに傷を持つ製品だけを見分ける場合のように、事前に差異領域に関する情報を登録しておく事ができない時に効果的である。そして、本発明の第４の実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第３の実施の形態と同様、まず物体領域を推定することにより背景の影響を取り除いた上で、改めて差異領域を推定するため、差異領域を高精度に推定する事ができ、図１８や図１９の場合に特に有効である。

（第５の実施の形態）
本発明の第５の実施の形態について図面を参照して説明する。

図２８は、本発明の第５の実施の形態に係る物体識別装置の構成を示すブロック図である。図２８に示すように、第５の実施の形態に係る物体識別装置Ｚ５は、局所特徴量抽出部１１、局所特徴量照合部１６、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部２１、差異領域特徴量抽出部１８を備えて構成される。

このように、第５の実施の形態に係る物体識別装置Ｚ５は、第３の実施の形態に係る物体識別装置Ｚ３と第４の実施の形態に係る物体識別装置Ｚ４とをあわせた構成になっている。物体識別装置Ｚ５と、第３の実施の形態に係る物体識別装置Ｚ３との比較では、差異領域推定部１９が差異領域推定部２１に変更されている点が異なる。差異領域推定部２１の詳細については後述する。その他の構成要素については、第３の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図２９、図３０、図３１、図３２は、差異領域推定部２１の構成例を表すブロック図である。以下、各図について説明する。

図２９に示すように、差異領域推定部２１は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、誤対応特徴点密集度探索部９０２で構成される事が可能である。図２９の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図２７で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。また、図２９の誤対応特徴点密集度探索部９０２は、図２５で示される差異領域推定部１９の構成要素である誤対応特徴点密集度探索部９０２と同一であり、詳細な説明は省略する。すなわち、差異領域推定部２１は、差異領域推定部１９のように、参照画像だけを利用して推定した物体領域から誤対応の特徴点が密集している領域を探索するのではなく、変換した入力画像と参照画像の差分を利用して推定した物体領域から誤対応の特徴点が密集している領域を探索することで、差分領域を推定する。

また、図３０に示すように、差異領域推定部２１は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１、誤対応特徴点密集度探索部２１０２で構成される事も可能である。

図３０の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図２７で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。図３０の大差分領域検出部２１０１は、図２７で示される差異領域推定部２０の構成要素である大差分領域検出部２００４とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。

この大差分領域検出部２１０１が出力する差異候補領域情報は、大差分領域検出部２００４で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉えられた領域情報であっても良い。図３０の誤対応特徴点密集度探索部２１０２は、図２５で示される差異領域推定部１９の構成要素である誤対応特徴点密集度探索部９０２と類似しているが、物体領域情報の代わりに差異候補領域情報が入力される点が異なっている。

誤対応特徴点密集度探索部２１０２から出力される差異領域情報は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１の４つの組み合わせで推定される差異候補領域の中から、さらに誤対応特徴点密集度探索部２１０２で差異領域を絞りこむことにより求められる。このため、信頼性の高い差異領域情報が出力される。

また、図３１に示すように、差異領域推定部２１は、変換画像生成部２００１、誤対応特徴点密集度探索部２１０３、差分画像生成部２１０４、大差分領域検出部２１０５で構成される事も可能である。

図３１の変換画像生成部２００１は、図２７で示される差異領域推定部２０の構成要素である変換画像生成部２００１と同一であり、詳細な説明は省略する。図３１の誤対応特徴点密集度探索部２１０３は、図２２で示される差異領域推定部１７の構成要素である誤対応特徴点密集度探索部７０１とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。この誤対応特徴点密集度探索部２１０３が出力する差異候補領域情報は、誤対応特徴点密集度探索部７０１で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉えられた領域情報であっても良い。図３１の差分画像生成部２１０４は、図２７で示される差異領域推定部２０の構成要素である差分画像生成部２００２と類似しているが、参照画像と変換画像に加えて差異候補領域情報が入力される点が異なっている。差分画像生成部２１０４は、参照画像と変換画像の差分を取る事によって生成される差分画像から、差異候補領域情報で示される領域の画像を差分画像として出力する。図３１の大差分領域検出部２１０５は、図２７で示される差異領域推定部２０の構成要素である大差分領域検出部２００４と類似しているが、差分画像のみが入力される点が異なっている。大差分領域検出部２１０５に入力される差分画像は、誤対応特徴点密集度探索部２１０３で既に差異候補領域として推定された領域に関してのみ出力された差分画像であるため、既にこの段階で、物体領域の全体あるいはその一部を表す領域の画像となっている。大差分領域検出部２１０５から出力される差異領域情報は、誤対応特徴点密集度探索部２１０３で推定される差異候補領域の中から、さらに大差分領域検出部２１０５で差異領域を絞り込むことにより求められる。このため、信頼性の高い差異領域情報が出力される。

また、図３２に示すように、差異領域推定部２１は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１、誤対応特徴点密集度探索部２１０３、差異候補領域重複検出部２１０６で構成される事も可能である。図３２の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図２７で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。図３２の大差分領域検出部２１０１は、図３０の大差分領域検出部２１０１と同一であり、詳細な説明は省略する。また、図３２の誤対応特徴点密集度探索部２１０３は、図３１の誤対応特徴点密集度探索部２１０３と同一であり、詳細な説明は省略する。図３２の差異候補領域重複検出部２１０６は、大差分領域検出部２１０１から出力される差異候補領域情報、誤対応特徴点密集度探索部２１０３から出力される差異候補領域情報を受け取り、これらの２つの差異候補領域が重複している領域を差異領域と判断し、その差異領域情報を出力する。差異候補領域重複検出部２１０６は、大差分領域検出部２１０１と誤対応特徴点密集度探索部２１０３のいずれにおいても差異候補領域として判定された領域の情報を出力することにより、信頼性の高い差異領域情報を出力する。

以上のように、本発明の第５の実施の形態において、差異領域推定部２１は、入力画像と、参照画像と、幾何変換情報と、対応特徴点情報とを用いて、参照画像中の差異領域を推定する。本発明の第５の実施の形態に係る物体識別装置Ｚ５は、第２，３，４の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができる。このため、物体識別装置Ｚ５は、物体識別を利用した検品システムで多数の製品の中からどこかに傷を持つ製品だけを見分ける場合のように、事前に差異領域に関する情報を登録しておく事ができない時に効果的である。また、本発明の第５の実施の形態では、そして、第５の実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第２の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、本発明の第５の実施の形態では、差異領域推定部２１が図３１や図３２の構成の場合、誤対応特徴点密集度探索部２１０３の前に物体領域推定部を加える事ができる。その場合、推定された物体領域の中から誤対応特徴点密集度探索を行うことにより差異候補領域が推定される。この時、第３あるいは４の実施の形態と同様、まず背景の影響を取り除いた上で、改めて差異領域を推定する事が可能であるため、第５の実施の形態に係る物体識別装置Ｚ５は、図１８や図１９の場合に特に有効である。

（第６の実施の形態）
本発明の第６の実施の形態について図面を参照して説明する。

図３３は、本発明の第６の実施の形態に係る物体識別装置の構成を示すブロック図である。図３３に示すように、第６の実施の形態に係る物体識別装置Ｚ６は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部２２、差異領域特徴量抽出部１８を備えて構成される。このように、第６の実施の形態に係る物体識別装置は、第４の実施の形態に係る物体識別装置Ｚ４の差異領域推定部２０が差異領域推定部２２に変更されている点が異なる。差異領域推定部２２の詳細については後述する。その他の構成要素については、第４の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図３４、図３５は、差異領域推定部２２の構成例を表すブロック図である。以下、各図について説明する。

図３４に示すように、差異領域推定部２２は、テンプレートマッチング部２２０１で構成される事が可能である。テンプレートマッチング部２２０１は、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する参照画像、あるいはその局所特徴識別画像ＩＤに関連付いた参照画像群を受け取る。さらに、テンプレートマッチング部２２０１は、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する参照画像の差異領域のテンプレート画像、あるいはその局所特徴識別画像ＩＤに関連付いたテンプレート画像群も受け取り、差異領域情報を出力する。このテンプレート画像は、差異領域周辺で典型的に見られる画像パターンである。参照画像中でこのテンプレート画像を動かしていき、テンプレート画像に最も類似する領域を探すテンプレートマッチング処理を行うことによって、参照画像中の差異領域を推定する事が可能である。テンプレート画像は、図３３のように、あらかじめデータベースに記憶されていても良いし、そうでなくても良い。

また、図３５に示すように、差異領域推定部２２は、物体領域推定部９０１、テンプレートマッチング部２２０２で構成される事も可能である。図３５の物体領域推定部９０１は、図２５で示される差異領域推定部１９の構成要素である物体領域推定部９０１と同一であり、詳細な説明は省略する。テンプレートマッチング部２２０２は、図３４で示される差異領域推定部２２の構成要素であるテンプレートマッチング部２２０１と類似しているが、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する参照画像と、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する差異領域のテンプレート画像に加えて、物体領域推定部９０１から出力される物体領域情報が入力される点が異なっている。テンプレートマッチング部２２０２は、参照画像中の物体領域についてのみ、テンプレート画像を用いたテンプレートマッチングを行う事により、参照画像中の差異領域を推定する事が可能である。また、テンプレートマッチング部２２０２は、参照画像中でテンプレート画像を動かす範囲が限定されるため、テンプレート画像を動かす範囲が参照画像全体であるテンプレートマッチング部２２０１と比べて高速な処理が可能である。

以上のように、本発明の第６の実施の形態において、差異領域推定部２２は、参照画像と、差異領域周辺に見られる画像パターンを示すテンプレート画像とを用いて、参照画像中の差異領域を推定する。本発明の第６の実施の形態に係る物体識別装置Ｚ６は、第２〜５の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はない。そして、差異領域に見られる典型的な画像パターンが事前にわかれば、物体識別装置Ｚ６は、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できる。このため、このような場合に物体識別装置Ｚ６は効果的である。そして、本発明の第６の実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、差異領域推定部２２の構成が図３５の場合は、第３〜５の実施の形態と同様、まず物体領域を推定することにより背景の影響を取り除いた上で、改めて差異領域を推定する事が可能になる。このため、物体識別装置Ｚ６は、差異領域を高精度に推定する事ができ、図１８や図１９の場合に特に有効である。

（第７の実施の形態）
本発明の第７の実施の形態について図面を参照して説明する。

図３６は、本発明の第７の実施の形態に係る物体識別装置の構成を示すブロック図である。図３６に示すように、第７の実施の形態に係る物体識別装置Ｚ７は、局所特徴量抽出部１１、局所特徴量照合部１６、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部２３、差異領域特徴量抽出部１８を備えて構成される。このように、第７の実施の形態に係る物体識別装置Ｚ７は、第２の実施の形態に係る物体識別装置Ｚ２と第６の実施の形態に係る物体識別装置Ｚ６をあわせた構成になっている。物体識別装置Ｚ７と第２の実施の形態に係る物体識別装置Ｚ２との比較では、差異領域推定部１７が差異領域推定部２３に変更されている点が異なる。差異領域推定部２３の詳細については後述する。その他の構成要素については、第２の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図３７、図３８、図３９は、差異領域推定部２３の構成例を表すブロック図である。以下、各図について説明する。

図３７に示すように、差異領域推定部２３は、誤対応特徴点密集度探索部２１０３、テンプレートマッチング部２３０１で構成される事が可能である。図３７の誤対応特徴点密集度探索部２１０３は、図３１で示される差異領域推定部２１の構成要素である誤対応特徴点密集度探索部２１０３と同一であり、詳細な説明は省略する。また、図３７のテンプレートマッチング部２３０１は、図３５で示される差異領域推定部２２の構成要素であるテンプレートマッチング部２２０２と類似しているが、物体領域情報の代わりに差異候補領域情報が入力される点が異なっている。すなわち、図３７のテンプレートマッチング部２３０１は、誤対応特徴点密集度探索部２１０３で推定された参照画像中の差異候補領域についてのみ、テンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異領域を推定する。テンプレートマッチング部２３０１は、誤対応特徴点密集度探索部２１０３で推定される差異候補領域の中から、さらにテンプレートマッチングによって差異領域を絞りこむことにより、信頼性の高い差異領域情報を出力する。

また、図３８に示すように、差異領域推定部２３は、テンプレートマッチング部２３０２、誤対応特徴点密集度探索部２１０２で構成される事も可能である。図３８のテンプレートマッチング部２３０２は、図３４で示される差異領域推定部２２の構成要素であるテンプレートマッチング部２２０１とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。このテンプレートマッチング部２３０２が出力する差異候補領域情報は、テンプレートマッチング部２２０１で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉えられた領域情報であっても良い。また、図３８の誤対応特徴点密集度探索部２１０２は、図３０で示される差異領域推定部２１の構成要素である誤対応特徴点密集度探索部２１０２と同一であり、詳細な説明は省略する。すなわち、図３８の誤対応特徴点密集度探索部２１０２は、対応特徴点のうち、テンプレートマッチング部２３０２で推定された参照画像中の差異候補領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索し、差異領域を推定する。誤対応特徴点密集度探索部２１０２は、テンプレートマッチング部２３０２で推定される差異候補領域の中から、さらに差異領域を絞りこむことにより、信頼性の高い差異領域情報を出力する。

また、図３９に示すように、差異領域推定部２３は、誤対応特徴点密集度探索部２１０３、テンプレートマッチング部２３０２、差異候補領域重複検出部２１０６で構成される事も可能である。図３９の誤対応特徴点密集度探索部２１０３は、図３１で示される差異領域推定部２１の構成要素である誤対応特徴点密集度探索部２１０３と同一であり、詳細な説明は省略する。図３９のテンプレートマッチング部２３０２は、図３８で示される差異領域推定部２３の構成要素であるテンプレートマッチング部２３０２と同一であり、詳細な説明は省略する。差異候補領域重複検出部２１０６は、図３２で示される差異領域推定部２１の構成要素である差異候補領域重複検出部２１０６と同一であり、詳細な説明は省略する。図３９の構成において、差異候補領域重複検出部２１０６は、誤対応特徴点密集度探索部２１０３とテンプレートマッチング部２３０２のいずれにおいても差異候補領域として判定された領域の情報を出力することにより、信頼性の高い差異領域情報を出力する。

以上のように、本発明の第７の実施の形態において、差異領域推定部２３は、参照画像と、テンプレート画像と、対応特徴点情報とを用いて、参照画像中の差異領域を推定する。本発明の第７の実施の形態に係る物体識別装置Ｚ７は、第２〜６の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はない。そして、第６の実施の形態と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、物体識別装置Ｚ７は、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できる。このため、このような場合に物体識別装置Ｚ７は効果的である。そして、本発明の第７の実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第５の実施の形態と同様、第２の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、ここまで述べてきた本発明の第７の実施の形態は、第２の実施の形態に係る物体識別装置Ｚ２と第６の実施の形態に係る物体識別装置Ｚ６とをあわせた構成の場合である。ここで、図３６の構成は、第３の実施の形態に係る物体識別装置Ｚ３と第６の実施の形態に係る物体識別装置Ｚ６とをあわせた構成と捉えられることもできる。すなわち、差異領域推定部２３が図３７、図３８、図３９の構成の場合、誤対応特徴点密集度探索部２１０３とテンプレートマッチング部２３０２の前に物体領域推定部を加える事ができる。この構成は、背景の影響を取り除いた上で物体領域の中から差異領域を推定するため、図１８や図１９の場合に特に有効である。

（第８の実施の形態）
本発明の第８の実施の形態について図面を参照して説明する。

図４０は、本発明の第８の実施の形態である物体識別装置の構成を示すブロック図である。図４０に示すように、第８の実施の形態に係る物体識別装置Ｚ８は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部２４、差異領域特徴量抽出部１８を備えて構成される。このように、第８の実施の形態に係る物体識別装置Ｚ８は、第４の実施の形態に係る物体識別装置と第６の実施の形態に係る物体識別装置をあわせた構成になっている。物体識別装置Ｚ８は、第４の実施の形態に係る物体識別装置Ｚ４との比較では、差異領域推定部２０が差異領域推定部２４に変更されている点が異なる。差異領域推定部２４の詳細については後述する。その他の構成要素については、第４の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図４１、図４２、図４３は、差異領域推定部２４の構成例を表すブロック図である。以下、各図について説明する。

図４１に示すように、差異領域推定部２４は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１、テンプレートマッチング部２３０１で構成される事が可能である。図４１の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図２７で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。図４１の大差分領域検出部２１０１は、図３０で示される差異領域推定部２１の構成要素である大差分領域検出部２１０１と同一であり、詳細な説明は省略する。また、図４１のテンプレートマッチング部２３０１は、図３７で示される差異領域推定部２３の構成要素であるテンプレートマッチング部２３０１と同一であり、詳細な説明は省略する。すなわち、図４１のテンプレートマッチング部２３０１は、大差分領域検出部２１０１で推定された参照画像中の差異候補領域についてのみテンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異領域を推定する。テンプレートマッチング部２３０１は、大差分領域検出部２１０１で推定される差異候補領域の中から、さらに差異領域を絞り込むことにより、信頼性の高い差異領域情報を出力する。

また、図４２に示すように、差異領域推定部２４は、変換画像生成部２００１、テンプレートマッチング部２３０２、差分画像生成部２１０４、大差分領域検出部２１０５で構成される事も可能である。図４２の変換画像生成部２００１は、図２７で示される差異領域推定部２０の構成要素である変換画像生成部２００１と同一であり、詳細な説明は省略する。また、図４２のテンプレートマッチング部２３０２は、図３８で示される差異領域推定部２３の構成要素であるテンプレートマッチング部２３０２と同一であり、詳細な説明は省略する。図４２の差分画像生成部２１０４及び大差分領域検出部２１０５は、それぞれ、図３１で示される差異領域推定部２１の構成要素である差分画像生成部２１０４及び大差分領域検出部２１０５と同一であり、詳細な説明は省略する。大差分領域検出部２１０５は、テンプレートマッチング部２３０２で推定される差異候補領域の中から、さらに差異領域を絞り込むことにより、信頼性の高い差異領域情報を出力する。

また、図４３に示すように、差異領域推定部２４は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１、テンプレートマッチング部２３０２、差異候補領域重複検出部２１０６で構成される事も可能である。図４３の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図２７で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。また、図４３の大差分領域検出部２１０１は、図３０で示される差異領域推定部２１の構成要素である大差分領域検出部２１０１と同一であり、詳細な説明は省略する。また、図４３のテンプレートマッチング部２３０２は、図３８で示される差異領域推定部２３の構成要素であるテンプレートマッチング部２３０２と同一であり、詳細な説明は省略する。また、図４３の差異候補領域重複検出部２１０６は、図３２で示される差異領域推定部２１の構成要素である差異候補領域重複検出部２１０６と同一であり、詳細な説明は省略する。図４３の構成において、差異候補領域重複検出部２１０６は、大差分領域検出部２１０１とテンプレートマッチング部２３０２のいずれにおいても差異候補領域として判定された領域の情報を出力することにより、信頼性の高い差異領域情報を出力する。

以上のように、本発明の第８の実施の形態において、物体識別装置Ｚ８は、入力画像と、参照画像と、幾何変換情報と、テンプレート画像とを用いて、参照画像中の差異領域情報を推定する。本発明の第８の実施の形態に係る物体識別装置Ｚ８は、第２〜７の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はない。そして、第６や７の実施の形態と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、物体識別装置Ｚ８は、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できる。このため、このような場合に物体識別装置Ｚ８は効果的である。そして、本発明の第８の実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第５及び第７の実施の形態と同様、第２の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、本発明の第８の実施の形態では、差異領域推定部２４が図４２や図４３の構成の場合、テンプレートマッチング部２３０２の前に物体領域推定部を加える事ができる。この構成は、背景の影響を取り除いた上で物体領域の中から差異領域を推定するため、図１８や図１９の場合に特に有効である。

（第９の実施の形態）
本発明の第９の実施の形態について図面を参照して説明する。

図４４は、本発明の第９の実施の形態に係る物体識別装置の構成を示すブロック図である。図４４に示すように、第９の実施の形態に係る物体識別装置Ｚ９は、局所特徴量抽出部１１、局所特徴量照合部１６、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域推定部２５、差異領域特徴量抽出部１８で構成される。このように、第９の実施の形態に係る物体識別装置Ｚ９は、第５の実施の形態に係る物体識別装置Ｚ５と第６の実施の形態に係る物体識別装置Ｚ６をあわせた構成になっている。物体識別装置Ｚ９は、第５の実施の形態に係る物体識別装置Ｚ５との比較では、差異領域推定部２１が差異領域推定部２５に変更されている点が異なる。差異領域推定部２５の詳細については後述する。その他の構成要素については、第５の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

差異領域推定部２５は、図２２のように誤対応特徴点密集度探索部７０１のみで差異領域を推定する構成と、図２７のように変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２００４で差異領域を推定する構成と、図３４のようにテンプレートマッチング部２２０１のみで差異領域を推定する構成の組み合わせとして構成される事ができる。これら３つの差異領域を推定する構成に関して、ある１つの構成でまず差異候補領域を推定した後、別の構成でその差異候補領域をさらに絞り込んでいく構成にする場合、３つの差異領域を推定する構成は、どのような順番で構成されても良い。また、これら３つの差異領域を推定する構成に関して、各構成で差異候補領域をそれぞれ推定し、その各構成で推定された差異候補領域の重複領域が最終的な差異領域として出力されても良い。また、これら３つの差異領域を推定する構成に関して、ある１つの構成でまず差異候補領域を推定した後、その差異候補領域の中から、残り２つの各構成で差異候補領域をそれぞれ絞り込み、その２つの構成で推定された差異候補領域の重複領域が最終的な差異領域として出力されても良い。また、これら３つの差異領域を推定する構成に関して、まず２つの構成で差異候補領域をそれぞれ推定し、その２つの構成で推定された差異候補領域の重複領域の中から、残り１つの構成で差異候補領域を絞り込み、そこで絞り込まれた領域が最終的な差異領域として出力されても良い。

図４５、図４６は、差異領域推定部２５の構成例を表すブロック図である。以下、各図について説明する。

図４５に示すように、差異領域推定部２５は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１、テンプレートマッチング部２５０１、誤対応特徴点密集度探索部２１０２で構成される事が可能である。図４５の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図２７で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。図４５の大差分領域検出部２１０１は、図３０の大差分領域検出部２１０１と同一であり、詳細な説明は省略する。図４５のテンプレートマッチング部２５０１は、図３７で示される差異領域推定部２３の構成要素であるテンプレートマッチング部２３０１とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。図４５の誤対応特徴点密集度探索部２１０２は、図３０で示される差異領域推定部２１の構成要素である誤対応特徴点密集度探索部２１０２と同一であり、詳細な説明は省略する。すなわち、図４５の誤対応特徴点密集度探索部２１０２は、対応特徴点のうち、テンプレートマッチング部２５０１で推定された参照画像中の差異候補領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索し、差異領域を推定する。そして、このテンプレートマッチング部２５０１も、大差分領域検出部２１０１で推定された参照画像中の差異候補領域についてのみテンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異候補領域を推定する。誤対応特徴点密集度探索部２１０２、大差分領域検出部２１０１及びテンプレートマッチング部２５０１で推定される差異候補領域の中から、さらに誤対応特徴点密集度探索部２１０２によって差異領域を絞りこむことにより、信頼性の高い差異領域情報を出力する。

また、図４６に示すように、差異領域推定部２５は、変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３、大差分領域検出部２１０１、テンプレートマッチング部２３０２、誤対応特徴点密集度探索部２１０３、差異候補領域重複検出部２５０２で構成される事も可能である。

図４６の変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３は、図２７で示される差異領域推定部２０の構成要素である変換画像生成部２００１、差分画像生成部２００２、物体領域推定部２００３と同一であり、詳細な説明は省略する。また、図４６の大差分領域検出部２１０１は、図３０で示される差異領域推定部２１の構成要素である大差分領域検出部２１０１と同一であり、詳細な説明は省略する。また、図４６のテンプレートマッチング部２３０２は、図３８で示される差異領域推定部２３の構成要素であるテンプレートマッチング部２３０２と同一であり、詳細な説明は省略する。また、図４６の誤対応特徴点密集度探索部２１０３は、図３１で示される差異領域推定部２１の構成要素である誤対応特徴点密集度探索部２１０３と同一であり、詳細な説明は省略する。図４６の差異候補領域重複検出部２５０２は、図３２で示される差異領域推定部２１の構成要素である差異候補領域重複検出部２１０６と類似している。しかし、差異候補領域重複検出部２５０２は、大差分領域検出部２１０１、テンプレートマッチング部２３０２、誤対応特徴点密集度探索部２１０３からそれぞれ出力される３つの差異候補領域情報を受け取り、これらの３つの差異候補領域が重複している領域を差異領域と判断し、その差異領域情報を出力するという点が異なっている。差異候補領域重複検出部２５０２は、大差分領域検出部２１０１とテンプレートマッチング部２３０２と誤対応特徴点密集度探索部２１０３のいずれにおいても差異候補領域として判定された領域の情報を出力することにより、信頼性の高い差異領域情報を出力する。

なお、差異領域推定部２５は、図４５や図４６以外でも構成されることができる。例えば、まず誤対応特徴点密集度探索部２１０３によって推定された差異候補領域に対して、次にテンプレートマッチング部２５０１がさらに差異候補領域を絞り込み、最後に変換画像生成部２００１、差分画像生成部２１０４、大差分領域検出部２１０５の組み合わせが最終的な差異領域情報を推定しても良い。また、誤対応特徴点密集度探索を用いた差異候補領域の推定、テンプレートマッチングを用いた差異候補領域の推定、大差分領域検出を用いた差異候補領域の推定の処理順は、ここまで述べてきた構成例以外の順序であっても良い。

以上のように、本発明の第９の実施の形態において、差異領域推定部２５は、入力画像と、参照画像と、幾何変換情報と、対応特徴点情報と、テンプレート画像とを用いて、参照画像中の差異領域情報を推定する。本発明の第９の実施の形態に係る物体識別装置Ｚ９は、第２〜８の実施の形態と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はない。そして、第６〜８の実施の形態と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、物体識別装置Ｚ９は、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できる。このため、このような場合に物体識別装置Ｚ９は効果的である。そして、本発明の第９の実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第５、７、８の実施の形態と同様、第２の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、本発明の第９の実施の形態では、例えば、差異領域推定部２５が図４６の構成の場合、テンプレートマッチング部２３０２や誤対応特徴点密集度探索部２１０３の前に物体領域推定部を加える事ができる。その構成は、背景の影響を取り除いた上で物体領域の中から差異領域を推定するため、図１８や図１９の場合に特に有効である。

（第１０の実施の形態）
本発明の第１０の実施の形態について図面を参照して説明する。

図４７は、本発明の第１０の実施の形態に係る物体識別装置の構成例を示すブロック図である。図４７に示すように、第１０の実施の形態に係る物体識別装置Ｚ１０は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部２６、特徴量照合部２７を備えて構成される事ができる。このように、第１０の実施の形態に係る物体識別装置Ｚ１０は、第１の実施の形態に係る物体識別装置Ｚ１の入力画像差異領域特徴量抽出部１４及び特徴量照合部１５が、入力画像差異領域特徴量抽出部２６及び特徴量照合部２７に変更されている点が異なる。入力画像差異領域特徴量抽出部２６と特徴量照合部２７の詳細については後述する。その他の構成要素については、第１の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図４８、図４９は、入力画像差異領域特徴量抽出部２６の構成例を表すブロック図である。以下、各図について説明する。

図４８に示すように、入力画像差異領域特徴量抽出部２６は、差異領域情報補正部４０１、差異領域局所特徴量抽出部２６０２で構成される事が可能である。図４８の差異領域情報補正部４０１は、図５で示される入力画像差異領域特徴量抽出部１４の構成要素である差異領域情報補正部４０１と同一であり、詳細な説明は省略する。差異領域局所特徴量抽出部２６０２は、差異領域情報補正部４０１から出力される補正差異領域情報と、局所特徴量抽出部１１において入力画像から抽出される局所特徴量である局所特徴量１とを受け取り、特徴量１を抽出する。差異領域局所特徴量抽出部２６０２は、局所特徴量１を記述する際の基となっている特徴点の座標情報に基づき、補正した入力画像の差異領域内に存在する特徴点を探索し、その特徴点周辺の情報を局所特徴量として記述した特徴量を特徴量１として出力する。すなわち、ここで出力される特徴量１は、局所特徴量１の一部を切り出して生成された特徴量である。本発明の第１０の実施の形態において、特徴量照合部２７で特徴量１と照合する特徴量２は、特徴量１と同様、参照画像から抽出された局所特徴量である局所特徴量２の一部を切り出して生成した特徴量である。

また、図４９に示すように、入力画像差異領域特徴量抽出部２６は、差異領域局所特徴量抽出部２６０１で構成される事も可能である。図４９の差異領域局所特徴量抽出部２６０１は、図４８で示される入力画像差異領域特徴量抽出部２６の構成要素である差異領域局所特徴量抽出部２６０２とほぼ同一であるが、補正差異領域情報ではなく、補正前の入力画像の差異領域情報である入力画像差異領域情報が入力される点が異なっている。

図５０は、特徴量照合部２７の構成例を表すブロック図である。以下、この図について説明する。図５０に示すように、特徴量照合部２７は、対応特徴点決定部２０１、誤対応点除去部２７０１、識別スコア算出部２０３、閾値判定部２７０２で構成される事が可能である。図５０の対応特徴点決定部２０１、識別スコア算出部２０３は、図４で示される局所特徴量照合部１２の構成要素である対応特徴点決定部２０１、識別スコア算出部２０３と同一であり、詳細な説明は省略する。図５０の誤対応点除去部２７０１は、図４で示される局所特徴量照合部１２の構成要素である誤対応点除去部２０２とほぼ同一だが、幾何変換情報は出力せず、対応特徴点情報のみを出力する点が異なっている。図５０の閾値判定部２７０２は、図４で示される局所特徴量照合部１２の構成要素である閾値判定部２０４とほぼ同一だが、局所特徴識別画像ＩＤではなく差異領域識別画像ＩＤを出力する点が異なっている。

本発明の第１０の実施の形態においては、第１〜９の実施の形態とは異なり、局所特徴量の一部を切り出して生成した特徴量が差異領域の識別に使用される。このため、第１０の実施の形態では、入力画像差異領域特徴量抽出部において特徴量を生成する際は、入力画像から抽出された局所特徴量が入力されれば良く、入力画像そのものは必要とされない。そのため、局所特徴量の抽出のみをクライアント側で行い、その他の処理をサーバー側で行うようなサーバークライアントシステムとして物体識別装置Ｚ１０が構成されている場合、入力画像よりも軽量な局所特徴量のみがサーバー側に伝送されれば良い。このことにより、物体識別装置Ｚ１０は、識別結果を得るまでの処理時間を短縮させる事が可能となる。また、本発明の第１０の実施の形態における特徴量照合部は、局所特徴量照合部とほぼ同一の処理を行うが、差異領域以外から検出される特徴点の対応による影響を除外し、差異領域のみでの照合を行う事ができる。このため、画像全体から抽出された局所特徴量を全て用いる従来の方式と比べて、本発明の第１０の実施の形態における特徴量照合部は、物体内の差異をより見分ける事ができ、結果的に高精度の識別を実現可能とする。なお、本発明の第１０の実施の形態の構成例として、ここまで順番に説明してきた図４７は、第１の実施の形態を基にした構成である。そして同様に、図４７は、第２〜９の実施の形態、及び後述する第１３、１４の実施の形態をそれぞれ基にした構成にする事も可能である。すなわち、第２〜９及び第１３，１４の実施の形態の構成例における入力画像差異領域特徴量抽出部１４への入力を、入力画像ではなく局所特徴量１にして、物体識別装置Ｚ１０を構成する事も可能である。

（第１１の実施の形態）
本発明の第１１の実施の形態について図面を参照して説明する。
図５１は、本発明の第１１の実施の形態である物体識別装置の構成を示すブロック図である。図５１に示すように、第１１の実施の形態に係る物体識別装置Ｚ１１は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部２８、特徴量照合部２９を備えて構成される。このように、第１１の実施の形態に係る物体識別装置Ｚ１１は、第１の実施の形態に係る物体識別装置Ｚ１の入力画像差異領域特徴量抽出部１４及び特徴量照合部１５が、入力画像差異領域特徴量抽出部２８及び特徴量照合部２９に変更されている点が異なっている。入力画像差異領域特徴量抽出部２８、特徴量照合部２９の詳細については後述する。その他の構成要素については第１の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図５２は、入力画像差異領域特徴量抽出部２８の構成例を表すブロック図である。以下、この図について説明する。図５２に示すように、入力画像差異領域特徴量抽出部２８は、差異領域情報補正部４０１、補正差異領域画像生成部４０２、差異領域特徴量算出部４０３、差異領域画像生成部４０４で構成される事が可能である。図５２の差異領域情報補正部４０１、補正差異領域画像生成部４０２、差異領域特徴量算出部４０３は、図５で示される入力画像差異領域特徴量抽出部１４の構成要素である差異領域情報補正部４０１、補正差異領域画像生成部４０２、差異領域特徴量算出部４０３と同一であり、詳細な説明は省略する。また、図５２の差異領域画像生成部４０４は、図６で示される入力画像差異領域特徴量抽出部１４の構成要素である差異領域画像生成部４０４と同一であり、詳細な説明は省略する。すなわち、入力画像差異領域特徴量抽出部２８は、図５と図６の構成を組み合わせ、補正をした入力画像の差異領域から特徴量１ａを、補正をしない入力画像の差異領域から特徴量１ｂを、それぞれ抽出する。

図５３、図５４は、特徴量照合部２９の構成例を表すブロック図である。以下、各図について説明する。

図５３に示すように、特徴量照合部２９は、差異領域識別スコア算出部２９０１、閾値判定部２９０２、差異領域識別スコア算出部２９０３、閾値判定部５０２で構成される事が可能である。図５３の差異領域識別スコア算出部２９０１は、図１４で示される特徴量照合部１５の構成要素である差異領域識別スコア算出部５０１と同一であり、詳細な説明は省略する。図５３の閾値判定部２９０２は、図１４で示される特徴量照合部１５の構成要素である閾値判定部５０２とほぼ同一であるが、閾値判定の結果、同一の画像ではないと判定された場合、それらの画像に対する再判定指示を出力する点が異なっている。図５３の差異領域識別スコア算出部２９０３は、図１４で示される特徴量照合部１５の構成要素である差異領域識別スコア算出部５０１とほぼ同一であるが、２つの特徴量の他に閾値判定部２９０２から再判定指示を受け取る点が異なっている。差異領域識別スコア算出部２９０３は、再判定指示のあった画像に対して、再度、差異領域識別スコアを算出する。図５３の閾値判定部５０２は、図１４で示される特徴量照合部１５の構成要素である閾値判定部５０２と同一であり、詳細な説明は省略する。すなわち、特徴量照合部２９が図５３の構成の場合は、次のように処理が行われる。まず、差異領域識別スコア算出部２９０１が、補正前の入力画像の差異領域から抽出される特徴量１ｂと参照画像の差異領域から抽出される特徴量とを使って識別スコアを算出する。そして、閾値判定部２９０２が、その同一性を判定する。その段階で同一であると判定された参照画像については、閾値判定部２９０２が、その参照画像のＩＤを差異領域識別画像ＩＤとして出力する。一方、その段階で同一でないと判定された参照画像については、差異領域識別スコア算出部２９０３が、補正した入力画像の差異領域から抽出される特徴量１ａと参照画像の差異領域から抽出される特徴量とを使って再度識別スコアを算出する。そして、閾値判定部５０２が、その同一性を判定する。ここで同一であると判定されれば、閾値判定部５０２が、その参照画像のＩＤを差異領域識別画像ＩＤとして出力する。図５３における閾値判定部２９０２と閾値判定部５０２は、同一の閾値を用いて判定を行っても良いし、閾値判定部２９０２における閾値が閾値判定部５０２における閾値より緩くても良い。

また、図５４に示すように、特徴量照合部２９は、差異領域識別スコア算出部２９０１、差異領域識別スコア算出部２９０４、閾値判定部２９０５で構成される事も可能である。図５４の差異領域識別スコア算出部２９０１及び差異領域識別スコア算出部２９０４は、図１４で示される特徴量照合部１５の構成要素である差異領域識別スコア算出部５０１と同一であり、詳細な説明は省略する。図５４の閾値判定部２９０５は、図１４で示される特徴量照合部１５の構成要素である閾値判定部５０２と類似しているが、差異領域識別スコアが２つ入力される点が異なっている。閾値判定部２９０５は、差異領域識別スコア算出部２９０１と差異領域識別スコア算出部２９０４から出力される差異領域識別スコアを合成して、合成後の差異領域識別スコアに対して閾値判定部５０２と同様の処理を行う。差異領域識別スコアの合成方法は、例えば、差異領域識別スコア算出部２９０１と差異領域識別スコア算出部２９０４から出力される差異領域識別スコアの積を算出しても良いし、これらのスコアの和を算出しても良いし、２つの差異領域識別スコアのうち大きい方を選択しても良い。すなわち、特徴量照合部２９は、特徴量１ａ（第１の特徴量）及び参照画像の差異領域から抽出された特徴量（第３の特徴量）の照合と、特徴量１ｂ（第２の特徴量）及び第３の特徴量の照合とを並列に実行し、２つの照合の結果を統合した結果を照合結果として出力する。

本発明の第１１の実施の形態においては、第１の実施の形態と同様、その差異領域の情報が事前にデータベース登録されている。その登録されている参照画像中の差異領域、及び幾何変換情報と差異領域情報を用いて決定される入力画像中の差異領域、さらにその入力画像中の差異領域を補正した領域は、それぞれ、差異がある必要最小限の領域だけを参照画像と入力画像から抽出する事ができる。このため、差異領域が物体全体の場合はもちろん、物体のほんの一部の場合であっても、本発明の第１１の実施の形態に係る物体識別装置Ｚ１１は、画像に写った物体を正確に識別する事ができ、従来の局所特徴量のみを使った場合に問題となっていた誤識別を抑制する事が可能である。さらに、第１の実施の形態のように、入力画像の補正前の差異領域、あるいは補正後の差異領域のいずれかから抽出される特徴量だけを使って識別するのではなく、入力画像の補正前と補正後の差異領域からそれぞれ抽出される特徴量を両方使って識別を行う事により、物体識別装置Ｚ１１は、より正確に識別を行う事が可能である。なお、本発明の第１１の実施の形態の構成例として、ここまで順番に説明してきた図５１は、第１の実施の形態を基にした構成である。そして同様に、図５１は、第２〜１０の実施の形態、及び後述する第１３，１４の実施の形態をそれぞれ基にした構成にする事も可能である。

（第１２の実施の形態）
本発明の第１２の実施の形態について図面を参照して説明する。

図５５は、本発明の第１２の実施の形態である物体識別装置の構成例を示すブロック図である。図５５に示すように、第１２の実施の形態に係る物体識別装置Ｚ１２は、局所特徴量抽出部１１、局所特徴量照合部３０、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部３１、識別スコア統合判定部３２を備えて構成される事ができる。このように、第１２の実施の形態に係る物体識別装置Ｚ１２では、第１の実施の形態に係る物体識別装置Ｚ１の局所特徴量照合部１２及び特徴量照合部１５が、局所特徴量照合部３０及び特徴量照合部３１に変更され、識別スコア統合判定部３２が新たな構成要素として加わっている点が異なる。局所特徴量照合部３０、特徴量照合部３１、識別スコア統合判定部３２の詳細については後述する。その他の構成要素については、第１の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図５６は、局所特徴量照合部３０の構成例を表すブロック図である。以下、この図について説明する。図５６に示すように、局所特徴量照合部３０は、対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３、閾値判定部３００１で構成される事が可能である。図５６の対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３は、図４で示される局所特徴量照合部１２の構成要素である対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３と同一であり、詳細な説明は省略する。図５６の閾値判定部３００１は、図４で示される局所特徴量照合部１２の構成要素である閾値判定部２０４とほぼ同一だが、局所特徴識別画像ＩＤだけではなく、その局所特徴識別画像ＩＤに対応する参照画像あるいはそれと関連付いた参照画像群から抽出した局所特徴との識別スコアを出力している点が異なっている。この閾値判定部３００１で設定される閾値を閾値判定部２０４で設定される閾値よりも緩めにすることにより、局所特徴識別画像ＩＤと識別スコアが多数出力されるようにしても良い。

図５７は、特徴量照合部３１の構成例を表すブロック図である。以下、この図について説明する。図５７に示すように、特徴量照合部３１は、差異領域識別スコア算出部５０１、閾値判定部３１０１で構成される事が可能である。図５７の差異領域識別スコア算出部５０１は、図１４で示される特徴量照合部１５の構成要素である差異領域識別スコア算出部５０１と同一であり、詳細な説明は省略する。図５７の閾値判定部３１０１は、図１４で示される特徴量照合部１５の構成要素である閾値判定部５０２とほぼ同一だが、差異領域識別画像ＩＤだけではなく、その差異領域識別画像ＩＤに対応する参照画像あるいはそれと関連付いた参照画像群の差異領域から抽出した特徴量との差異領域識別スコアを出力している点が異なっている。この閾値判定部３１０１で設定される閾値を、閾値判定部５０２で設定される閾値よりも緩めにすることにより、差異領域識別画像ＩＤと差異領域識別スコアが多数出力されるようにしても良い。

図５８は、識別スコア統合判定部３２の構成例を表すブロック図である。以下、この図について説明する。図５８に示すように、識別スコア統合判定部３２は、識別スコア統合部３２０１、閾値判定部３２０２で構成される事が可能である。識別スコア統合部３２０１は、局所特徴量照合部３０から出力された識別スコアと、特徴量照合部３１から出力された差異領域識別スコアとを受け取り、統合スコアを出力する。この時、識別スコア統合判定部３２は、例えば同一の画像ＩＤに対応する識別スコアと差異領域識別スコアの積を求め、その値を統合スコアとして出力しても良い。図５８の閾値判定部３２０２は、図４で示される局所特徴量照合部１２の構成要素である閾値判定部２０４や図１４で示される特徴量照合部１５の構成要素である閾値判定部５０２とほぼ同一だが、識別スコア統合部３２０１で出力した統合スコアを入力として、その値が閾値以上となる画像の画像ＩＤを識別画像ＩＤとして出力する点が異なっている。

本発明の第１２の実施の形態に係る物体識別装置Ｚ１２は、第１〜１１の実施の形態とは異なり、差異領域識別スコアだけで最終的な識別結果を決定するのではなく、これらを局所特徴量による識別スコアと統合したスコアから最終的な識別結果を判定する。例えば、同一物体を写した画像が悪環境（例えば、暗い環境）で、他の類似物体は理想的な環境で撮影されているような場合、かつ、それらの類似物体がテクスチャだけでなく色味も類似している場合、差異領域から抽出した特徴量だけでは正しい識別ができない。しかし、局所特徴量による識別結果とあわせることで、同一物体に対する識別結果を相対的に上げる事ができる。なお、本発明の第１２の実施の形態の構成例として、ここまで順番に説明してきた図５５は、第１の実施の形態を基にした構成である。そして同様に、図５５は、第２〜１１の実施の形態、及び後述する第１３，１４の実施の形態をそれぞれ基にした構成にする事も可能である。すなわち、第２〜１１の実施の形態、及び第１３，１４の実施の形態の構成例において、局所特徴量照合部から識別スコアを、特徴量照合部から差異領域識別スコアを、それぞれ出力するようにし、それらを識別スコア統合判定部に入力させる事で物体識別装置Ｚ１２を構成する事が可能である。

（第１３の実施の形態）
本発明の第１３の実施の形態について図面を参照して説明する。

図６１は、本発明の第１３の実施の形態である物体識別装置の構成例を示すブロック図である。図６１に示すように、第１３の実施の形態に係る物体識別装置Ｚ１３は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域特徴量抽出部１８、差異領域推定部３３を備えて構成される。参照画像ＤＢは、複数の参照画像を格納可能なデータベースである。

このように、第１３の実施の形態に係る物体識別装置Ｚ１３は、第４の実施の形態に係る物体識別装置Ｚ４の差異領域推定部２０が、差異領域推定部３３に変更されている点が異なる。その他の構成要素については、第４の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

差異領域推定部３３は、参照画像を２枚ずつ比較することにより、参照画像中の差異領域を推定する。具体的には、差異領域推定部３３は、次のような処理を行う。まず、差異領域推定部３３は、２枚の参照画像からそれぞれの局所特徴量を抽出する。次に、差異領域推定部３３は、それらの局所特徴量を照合することにより算出される幾何変換情報を利用して、その２枚の参照画像の位置合わせを行う。次に、差異領域推定部３３は、位置が合わせられた２枚の参照画像の差分を求める。そして、差異領域推定部３３は、その差分に基づいて、差異領域の推定を行うことにより、その２枚の参照画像に対応する差異領域情報を出力する。差異領域推定部３３は、参照画像ＤＢに格納される参照画像から選択される２枚の参照画像の組み合わせ毎に差異領域情報を出力しても良い。例えば、参照画像ＤＢに参照画像Ａ，Ｂ，Ｃ，Ｄ，Ｅの５枚の参照画像が格納されている場合、差異領域推定部３３は、それら５枚の参照画像から２枚を選択する組み合わせの数である１０通りの差異領域情報を出力しても良い。

差異領域推定部３３は、上記の差異領域を推定する処理において、２枚の参照画像のそれぞれから局所特徴量を抽出し、それら局所特徴量を照合することにより対応特徴点を算出しても良い。そして、算出される対応特徴点は２枚の参照画像が一致している領域（同一の領域）を示す事から、差異領域推定部３３は、対応特徴点に外接する領域を除く領域を、各参照画像における差異領域であると推定し、この領域を差異領域情報として出力しても良い。

第１３の実施の形態における特徴量照合部１５は、図１４の第１の実施の形態における特徴量照合部１５と同様に、差異領域識別スコア算出部５０１と閾値判定部５０２で構成される事が可能である。次に、第１３の実施の形態における特徴量照合部１５の処理について説明する。特徴量照合部１５は、差異領域推定部３３が出力した差異領域情報に対して、以下のような勝ち抜き方式による処理を行っても良い。まず、特徴量照合部１５は、ある２枚の参照画像に対応する差異領域情報において、入力画像の差異領域から抽出した特徴量と、２枚の参照画像の各差異領域から抽出した特徴量とを照合し、差異領域識別スコアを算出する。そして、特徴量照合部１５は、より高い差異領域識別スコアを有する方の参照画像を選択し、選択された参照画像と、まだ処理されていない他の１枚の参照画像に対応する差異領域情報において同様の処理を繰り返す。この処理を、全ての参照画像が処理されるまで行う。そして、特徴量照合部１５は、最終的に選択された参照画像を、入力画像と同一の物体を写した画像であると判定し、この参照画像のＩＤを差異領域識別画像ＩＤとして出力する。

上記の勝ち抜き方式による具体的な処理の例を説明する。参照画像ＤＢは、参照画像Ａ，Ｂ，Ｃ，Ｄ，Ｅの５つの参照画像を格納しているものとする。まず、特徴量照合部１５は、参照画像Ａと参照画像Ｂに対応する差異領域において、入力画像の特徴量と、参照画像Ａと参照画像Ｂのそれぞれの特徴量から差異領域識別スコアを算出する。ここで、参照画像Ａが参照画像Ｂよりも高い差異領域識別スコアを有していた場合、特徴量照合部１５は、参照画像Ａと次の参照画像である参照画像Ｃに対応する差異領域において、入力画像の特徴量と、参照画像Ａと参照画像Ｃのそれぞれの特徴量から差異領域識別スコアを算出する。今度は、参照画像Ｃが参照画像Ａよりも高い差異領域識別スコアを有していた場合、特徴量照合部１５は、参照画像Ｃと次の参照画像である参照画像Ｄに対応する差異領域において、同様の処理を行う。今度は、参照画像Ｄが参照画像Ｃよりも高い差異領域識別スコアを有していた場合、特徴量照合部１５は、参照画像Ｄと次の参照画像である参照画像Ｅに対応する差異領域において、同様の処理を行う。今度は、参照画像Ｄが参照画像Ｅよりも高い差異領域識別スコアを有していた場合、全ての参照画像が処理されたことにより、特徴量照合部１５は、参照画像Ｄを、入力画像と同一の物体を写した画像であると判定する。そして、特徴量照合部１５は、参照画像ＤのＩＤを差異領域識別画像ＩＤとして出力する。

あるいは、特徴量照合部１５は、上記勝ち抜き方式の処理において最終的に選択された参照画像を必ずしも出力しなくともよい。例えば、特徴量照合部１５は、最終的に選択された参照画像と他の参照画像との組み合わせにおいて算出された、最終的に選択された参照画像の差異領域識別スコアの平均値や最小値が閾値以上であるか判定することにより、最終的に出力可否を決定しても良い。

あるいは、上記勝ち抜き方式の処理とは異なる処理を行っても良い。例えば、特徴量照合部１５は、各参照画像の全ての組み合わせにおいて、入力画像の差異領域から抽出した特徴量と、２枚の参照画像の各差異領域から抽出した特徴量とを照合し、各参照画像の差異領域識別スコアを算出する。そして、特徴量照合部１５は、どちらか一方の参照画像を択一的に選択するのではなく、差異領域識別スコアが所定の閾値以上である参照画像を全て選択する。あるいは、特徴量照合部１５は、差異領域識別スコアが所定の閾値以上であり、かつもう一方の参照画像の差異領域識別スコアとの差が所定の値以上である参照画像を全て選択してもよい。そして、特徴量照合部１５は、こうして選択された参照画像を、入力画像と同一の物体を写した画像であると判定し、これらの参照画像のＩＤを差異領域識別画像ＩＤとして出力しても良い。

あるいは、次のような処理を行っても良い。特徴量照合部１５は、各参照画像の組み合わせにおいて算出される差異領域識別スコアを保持しておく。そして、全参照画像の組み合わせに対して差異領域識別スコアが算出された時点で、特徴量照合部１５は、参照画像毎にそれらの差異領域識別スコアの平均値を算出し、算出された値を各参照画像の最終的な差異領域識別スコアとする。特徴量照合部１５は、それら最終的な差異領域識別スコアに基づいて差異領域識別画像ＩＤを出力しても良い。

差異領域推定部３３は、上記の差異領域を推定する処理において、２枚の参照画像において色が類似していない領域を差異領域であると推定しても良い。この処理は、例えば次のように行われる。まず、差異領域推定部３３は、２枚の参照画像が同じ画像サイズになるようにサイズを変更する。次に、差異領域推定部３３は、２枚の参照画像における対応する画素の色の類似度を計算する。次に、差異領域推定部３３は、色が類似していない領域を差異領域であると推定し、この領域を差異領域情報として出力する。特徴量照合部１５は、参照画像同士の比較において色が類似していない領域として検出された領域において、参照画像と同じ画像サイズに変更された入力画像と参照画像との間で照合処理を行う。この方法を用いる場合、参照画像同士あるいは参照画像と入力画像の色の類似度を計算する際は、対応する画素のみならず、その周辺画素も含めて類似する色が探索されても良い。色の類似度を計算する方法として、例えば、比較する画素におけるＲ（赤），Ｇ（緑），Ｂ（青）それぞれの輝度値の差分の２乗の和を算出する方法が利用されても良い。あるいは、Ｒ，Ｇ，Ｂの輝度値の総和でＲ，Ｇ，Ｂの輝度値をそれぞれ正規化した後、比較する画素における、正規化された値の差分の２乗の和を算出する方法が利用されても良い。

また、差異領域推定部３３は、上記の差異領域を推定する処理において、２枚の参照画像において、色ではなくエッジ成分が類似していない領域を差異領域であると推定しても良い。具体的には、差異領域推定部３３は、同じ画像サイズになるようにサイズが変更された２枚の参照画像において、それぞれの参照画像からエッジ成分を抽出し、抽出されたエッジ成分の類似度を計算する。次に、差異領域推定部３３は、エッジ成分が類似していない領域を差異領域であると推定し、この領域を差異領域情報として出力する。特徴量照合部１５は、参照画像同士の比較においてエッジ成分が類似していない領域として検出された領域において、入力画像と参照画像の照合処理を行う。

また、色やエッジ以外の特徴量を用いることにより、同様の処理が行なわれても良い。

以上のように、本発明の第１３の実施の形態に係る物体識別装置Ｚ１３は、第２〜１２の実施の形態のように入力画像と参照画像を動的に比較して差異領域を推定するのではなく、事前に参照画像間の比較を行うことによって差異領域を推定する。事前に推定された差異領域を利用することにより、本発明の第１３の実施の形態に係る物体識別装置Ｚ１３は、識別結果を得るまでの時間を第２〜１２の実施の形態よりも短縮することが可能である。

（第１４の実施の形態）
本発明の第１４の実施の形態について図面を参照して説明する。

図６２は、本発明の第１４の実施の形態である物体識別装置の構成例を示すブロック図である。図６２に示すように、第１４の実施の形態に係る物体識別装置Ｚ１４は、局所特徴量抽出部１１、局所特徴量照合部１６、入力画像差異領域決定部１３、入力画像差異領域特徴量抽出部１４、特徴量照合部１５、差異領域特徴量抽出部１８、差異領域推定部３４を備えて構成される。

このように、第１４の実施の形態に係る物体識別装置Ｚ１４は、第１３の実施の形態に係る物体識別装置Ｚ１３の局所特徴量照合部１２及び差異領域推定部３３が、局所特徴量照合部１６及び差異領域推定部３４に変更されている点が異なる。その他の構成要素については、第１３の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

差異領域推定部３４は、第１３の実施の形態における差異領域推定部３３と同様に、参照画像を２枚ずつ比較することにより、参照画像中の差異領域を推定する。この差異領域を推定する処理において、差異領域推定部３４は、局所特徴量照合部１６が出力する対応特徴点情報と、２枚の参照画像の対応特徴点情報（以下「参照画像対応特徴点情報」と称する）を使用する点が第１３の実施の形態と異なる。

具体的には、差異領域推定部３４は、次のような処理を行う。まず、差異領域推定部３４は、２枚の参照画像からそれぞれの局所特徴量を抽出する。次に、差異領域推定部３４は、それら２枚の参照画像の局所特徴量を照合することにより参照画像対応特徴点情報を算出する。次に、差異領域推定部３４は、局所特徴量照合部１６が出力する対応特徴点情報から、算出された参照画像対応特徴点情報と一致する対応特徴点情報を除外する。次に、差異領域推定部３４は、２枚の参照画像のうち除外されずに残った対応特徴点情報が多い方の参照画像を選択し、選択された参照画像において、残った対応特徴点に外接する領域を、その２枚の参照画像に対応する差異領域情報として出力する。

あるいは、差異領域推定部３４は、対応特徴点に外接する領域の情報ではなく、対応特徴点情報の中から参照画像対応特徴点情報と一致するものを除外した対応特徴点情報そのものを差異領域情報として出力しても良い。この場合、入力画像差異領域特徴量抽出部１４で使用される特徴量は、局所特徴量となる。

照合の処理においては、第１３の実施の形態と同様に、画像の比較を２枚ずつ行う。

差異領域推定部３４による、参照画像を２枚ずつ比較することにより参照画像中の差異領域を推定する方法は、第１３の実施の形態における差異領域推定部３３と同様、色やエッジ成分が類似していない領域を差異領域とする方法でもよい。この方法において、差異領域推定部３４は、入力画像と参照画像の対応特徴点情報を用いた処理を加えて行っても良い。例えば、差異領域推定部３４は、近傍に対応特徴点が存在する領域においては、算出される色やエッジの類似度の信頼度を高くし、近傍に対応特徴点が存在しない領域においては、算出される色やエッジの類似度の信頼度を低くしても良い。なお、「信頼度が高い」とは、算出される類似度を高く見積もる（例えばより大きな係数をかける）ことを示し、「信頼度が低い」とは、算出される類似度を低く見積もる（例えばより小さな係数をかける）ことを示す。

以上のように、本発明の第１４の実施の形態に係る物体識別装置Ｚ１４は、事前の差異領域の推定処理において、参照画像間の比較処理に加え、入力画像と参照画像の対応特徴点情報に基づいた処理も行う。このことにより、物体識別装置Ｚ１４は、第１３の実施の形態よりも高精度な識別を行うことが可能である。

図５９は、コンピュータを構成する要素の例を表すブロック構成図である。図５９のコンピュータ９０００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０２０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３０と、ハードディスクドライブ９０４０と、通信インタフェース９０５０とを備えている。また、取り外し可能記憶媒体９０６０が、コンピュータ９０００に着脱可能である。取り外し可能記憶媒体９０６０は、着脱可能な磁気ディスク媒体、光学ディスク媒体あるいはメモリカードなどでもよい。

前述した物体識別装置Ｚ１，Ｚ１’，Ｚ２〜Ｚ１４の構成要素は、プログラムがコンピュータ９０００のＣＰＵ９０１０において実行されることにより実現されてもよい。具体的には、これらの構成要素は、ＣＰＵ９０１０がＲＯＭ９０３０、ハードディスクドライブ９０４０あるいは取り外し可能記憶媒体９０６０からプログラムを読み込み、読み込んだプログラムを、例えば図２に示したフローチャートの手順の如くＣＰＵ９０１０が実行することにより実現されてもよい。そして、このような場合において、上述した実施形態を例に説明した本発明は、係るコンピュータプログラムを表わすコードあるいはそのコンピュータプログラムを表わすコードが格納されたコンピュータ読み取り可能な記憶媒体（例えばハードディスクドライブ９０４０や、取り外し可能記憶媒体９０６０など）によって構成されると捉えることができる。

あるいは、これらの構成要素は、専用のハードウェアで実現されてもよい。また、物体識別装置Ｚ１，Ｚ１’，Ｚ２〜Ｚ１４は、これら構成要素を備える専用のハードウェアであってもよい。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１２年１２月２８日に出願された日本特許出願特願２０１２−２８８３９７を基礎とする優先権を主張し、その開示の全てを盛り込む。

上述した実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明を以下のように限定するものではない。

（付記１） 参照画像中の座標から入力画像中の対応する座標への幾何変換情報を算出し、前記参照画像から抽出した局所特徴量と前記入力画像から抽出した局所特徴量とを照合する局所特徴量照合部と、
前記照合により一致すると判定された前記入力画像についての前記幾何変換情報に基づいて、前記参照画像中の差異領域を変換して、前記参照画像中の差異領域に対応する前記入力画像中の差異領域を決定する入力画像差異領域決定部と、
前記入力画像中の差異領域を補正し、当該補正された入力画像の差異領域から特徴量を抽出する入力画像差異領域特徴量抽出部と、
前記入力画像差異領域特徴量抽出部により抽出された特徴量と前記参照画像中の差異領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合部と、
を備える事を特徴とする物体識別装置。

（付記２） 前記入力画像差異領域特徴量抽出部は、前記入力画像の差異領域を、所定の画素分だけ広げた領域に補正し、当該補正した入力画像の差異領域から特徴量を抽出する事を特徴とする、付記１に記載の物体識別装置。

（付記３） 前記入力画像差異領域特徴量抽出部は、前記入力画像の差異領域を、当該差異領域内の基準点を基準に所定の比率だけ広げた領域に補正し、当該補正した入力画像の差異領域から特徴量を抽出する事を特徴とする、付記１に記載の物体識別装置。

（付記４） 前記入力画像差異領域特徴量抽出部は、前記入力画像の差異領域内の端にエッジが密集している領域が存在する場合、当該入力画像の差異領域を、当該エッジが密集している方向に広げた領域に補正し、当該補正した入力画像の差異領域から特徴量を抽出する事を特徴とする、付記１に記載の物体識別装置。

（付記５） 参照画像を２枚ずつ比較することにより、比較した参照画像間で違いのある領域を前記参照画像中の差異領域として算出する差異領域推定部をさらに備える事を特徴とする、付記１に記載の物体識別装置。

（付記６） 前記局所特徴量照合部は、幾何変換情報と、正しく対応している特徴点と誤って対応している特徴点を示す情報を含む対応特徴点情報を出力し、
前記差異領域推定部は、前記局所特徴量照合部が出力する対応特徴点情報に基づいて前記参照画像中の差異領域を算出する事を特徴とする、付記５に記載の物体識別装置。

（付記７） 前記入力画像差異領域特徴量抽出部は、前記入力画像差異領域決定部が決定した前記入力画像中の差異領域から抽出された特徴量である第１の特徴量と、前記入力画像差異領域特徴量抽出部により抽出された特徴量である第２の特徴量とを出力し、
前記特徴量照合部は、前記第１の特徴量と、前記参照画像中の差異領域から抽出された特徴量とを照合し、同一性がないと判定された場合、前記第２の特徴量と、前記参照画像中の差異領域から抽出された特徴量とを照合し、当該照合の結果を出力することを特徴とする、付記１〜６のいずれか１つに記載の物体識別装置。

（付記８） 前記特徴量照合部は、前記第１の特徴量及び前記参照画像中の差異領域から抽出された特徴量の照合と、前記第２の特徴量及び前記参照画像中の差異領域から抽出された特徴量の照合とを並列に実行し、前記２つの照合の結果を統合した結果を照合結果として出力することを特徴とする、付記７に記載の物体識別装置。

（付記９） 参照画像中の座標から入力画像中の対応する座標への幾何変換情報を算出し、前記参照画像から抽出した局所特徴量と前記入力画像から抽出した局所特徴量とを照合する局所特徴量照合ステップと、
前記照合により一致すると判定された前記入力画像についての前記幾何変換情報に基づいて、前記参照画像中の差異領域を変換して、前記参照画像中の差異領域に対応する前記入力画像中の差異領域を決定する入力画像差異領域決定ステップと、
前記入力画像中の差異領域を補正し、当該補正された入力画像の差異領域から特徴量を抽出する入力画像差異領域特徴量抽出ステップと、
前記入力画像差異領域特徴量抽出ステップにより抽出された特徴量と前記参照画像中の差異領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合ステップと、
を備える事を特徴とする物体識別方法。

（付記１０） コンピュータを、
参照画像中の座標から入力画像中の対応する座標への幾何変換情報を算出し、前記参照画像から抽出した局所特徴量と前記入力画像から抽出した局所特徴量とを照合する局所特徴量照合部、
前記照合により一致すると判定された前記入力画像についての前記幾何変換情報に基づいて、前記参照画像中の差異領域を変換して、前記参照画像中の差異領域に対応する前記入力画像中の差異領域を決定する入力画像差異領域決定部、
前記入力画像中の差異領域を補正し、当該補正された入力画像の差異領域から特徴量を抽出する入力画像差異領域特徴量抽出部、
前記入力画像差異領域特徴量抽出部により抽出された特徴量と前記参照画像中の差異領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合部、
として機能させるためのプログラム。

従来の局所特徴量のみを用いた物体識別では、同一銘柄でパッケージの色や一部の文字のみが異なる製品の正確な識別、同一封筒で宛名だけが異なる郵便物の正確な識別は困難である。本発明によれば、従来の局所特徴量による照合だけでは識別できなかった細かな差異を見分け、同一の物体を写した画像のみを識別する事が可能になる。本発明は、バーコードレスのＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅ）システム、検品システム、郵便物自動仕分けシステム等に適用可能である。

Ｚ１，Ｚ１’，Ｚ２，Ｚ３，Ｚ４，Ｚ５，Ｚ６，Ｚ７，Ｚ８，Ｚ９，Ｚ１０，Ｚ１１，Ｚ１２，Ｚ１３，Ｚ１４ 物体識別装置
１１ 局所特徴量抽出部
１２ 局所特徴量照合部
１３ 入力画像差異領域決定部
１４ 入力画像差異領域特徴量抽出部
１５ 特徴量照合部
１６ 局所特徴量照合部
１７ 差異領域推定部
１８ 差異領域特徴量抽出部
１９ 差異領域推定部
２０ 差異領域推定部
２１ 差異領域推定部
２２ 差異領域推定部
２３ 差異領域推定部
２４ 差異領域推定部
２５ 差異領域推定部
２６ 入力画像差異領域特徴量抽出部
２７ 特徴量照合部
２８ 入力画像差異領域特徴量抽出部
２９ 特徴量照合部
３０ 局所特徴量照合部
３１ 特徴量照合部
３２ 識別スコア統合判定部
３３ 差異領域推定部
３４ 差異領域推定部
１０１ 輝度情報抽出部
１０２ 局所特徴点検出部
１０３ 局所特徴量生成部
２０１ 対応特徴点決定部
２０２ 誤対応点除去部
２０３ 識別スコア算出部
２０４ 閾値判定部
４０１ 差異領域情報補正部
４０２ 補正差異領域画像生成部
４０３ 差異領域特徴量算出部
４０４ 差異領域画像生成部
５０１ 差異領域識別スコア算出部
５０２ 閾値判定部
７０１ 誤対応特徴点密集度探索部
８０１ 差異領域画像生成部
９０１ 物体領域推定部
９０２ 誤対応特徴点密集度探索部
２００１ 変換画像生成部
２００２ 差分画像生成部
２００３ 物体領域推定部
２００４ 大差分領域検出部
２１０１ 大差分領域検出部
２１０２ 誤対応特徴点密集度探索部
２１０３ 誤対応特徴点密集度探索部
２１０４差分画像生成部
２１０５ 大差分領域検出部
２１０６ 差異候補領域重複検出部
２２０１ テンプレートマッチング部
２２０２ テンプレートマッチング部
２３０１ テンプレートマッチング部
２３０２ テンプレートマッチング部
２５０１ テンプレートマッチング部
２５０２ 差異候補領域重複検出部
２６０１ 差異領域局所特徴量抽出部
２６０２ 差異領域局所特徴量抽出部
２７０１ 誤対応点除去部
２７０２ 閾値判定部
２９０１ 差異領域識別スコア算出部
２９０２ 閾値判定部
２９０３ 差異領域識別スコア算出部
２９０４ 差異領域識別スコア算出部
２９０５ 閾値判定部
３００１ 閾値判定部
３１０１ 閾値判定部
３２０１ 識別スコア統合部
３２０２ 閾値判定部
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ ＲＡＭ
９０３０ ＲＯＭ
９０４０ ハードディスクドライブ
９０５０ 通信インタフェース
９０６０ 取り外し可能記憶媒体
４０３０１ 色構成比特徴量算出部
４０３０２ 色配置特徴量算出部
４０３０３ 文字照合用特徴量算出部
４０３０４ 二値化処理部
４０３０５ 文字領域検出部
４０３０６ 文字照合用特徴量算出部
４０３０７ 画像値抽出部
４０３０８ 形状特徴量算出部

Claims (10)

1. 参照画像中の座標から入力画像中の対応する座標への幾何変換情報を算出し、前記参照画像から抽出した局所特徴量と前記入力画像から抽出した局所特徴量とを照合する局所特徴量照合手段と、
   前記参照画像において、前記入力画像における特徴点に一致しないと判定された特徴点が密集する領域を、前記参照画像中の差異領域として推定する差異領域推定手段と、
   前記局所特徴量照合手段により一致すると判定された前記入力画像と前記参照画像とについての前記幾何変換情報に基づいて、前記参照画像中の差異領域を変換して、前記参照画像中の差異領域に対応する前記入力画像中の差異領域を決定する入力画像差異領域決定手段と、
   前記入力画像中の差異領域を補正し、当該補正された入力画像中の差異領域から特徴量を抽出する入力画像差異領域特徴量抽出手段と、
   前記入力画像差異領域特徴量抽出手段により抽出された特徴量と前記参照画像中の差異領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段と、
   を備える事を特徴とする物体識別装置。
2. 前記入力画像差異領域特徴量抽出手段は、前記入力画像中の差異領域を、所定の画素分だけ広げた領域に補正し、当該補正した入力画像中の差異領域から特徴量を抽出する事を特徴とする、請求項１に記載の物体識別装置。
3. 前記入力画像差異領域特徴量抽出手段は、前記入力画像中の差異領域を、当該差異領域内の基準点を基準に所定の比率だけ広げた領域に補正し、当該補正した入力画像中の差異領域から特徴量を抽出する事を特徴とする、請求項１に記載の物体識別装置。
4. 前記入力画像差異領域特徴量抽出手段は、前記入力画像中の差異領域内の端にエッジが密集している領域が存在する場合、当該入力画像中の差異領域を、当該エッジが密集している方向に広げた領域に補正し、当該補正した入力画像中の差異領域から特徴量を抽出する事を特徴とする、請求項１に記載の物体識別装置。
5. 前記差異領域推定手段は、参照画像を２枚ずつ比較することにより、比較した参照画像間で違いのある領域をさらに前記参照画像中の差異領域として算出する事を特徴とする、請求項１に記載の物体識別装置。
6. 前記局所特徴量照合手段は、幾何変換情報と、正しく対応している特徴点と誤って対応している特徴点を示す情報を含む対応特徴点情報を出力し、
   前記差異領域推定手段は、前記局所特徴量照合手段が出力する対応特徴点情報に基づいて前記参照画像中の差異領域を算出する事を特徴とする、請求項５に記載の物体識別装置。
7. 前記入力画像差異領域特徴量抽出手段は、前記入力画像差異領域決定手段が決定した前記入力画像中の差異領域から抽出された特徴量である第１の特徴量と、前記入力画像差異領域特徴量抽出手段により抽出された特徴量である第２の特徴量とを出力し、
   前記特徴量照合手段は、前記第１の特徴量と、前記参照画像中の差異領域から抽出された特徴量とを照合し、同一性がないと判定された場合、前記第２の特徴量と、前記参照画像中の差異領域から抽出された特徴量とを照合し、当該照合の結果を出力することを特徴とする、請求項１から６のいずれか１つに記載の物体識別装置。
8. 前記特徴量照合手段は、前記第１の特徴量及び前記参照画像中の差異領域から抽出された特徴量の照合と、前記第２の特徴量及び前記参照画像中の差異領域から抽出された特徴量の照合とを並列に実行し、前記２つの照合の結果を統合した結果を照合結果として出力することを特徴とする、請求項７に記載の物体識別装置。
9. 参照画像中の座標から入力画像中の対応する座標への幾何変換情報を算出し、前記参照画像から抽出した局所特徴量と前記入力画像から抽出した局所特徴量とを照合し、
   前記参照画像において、前記入力画像における特徴点に一致しないと判定された特徴点が密集する領域を、前記参照画像中の差異領域として推定し、
   前記局所特徴量の照合により一致すると判定された前記入力画像と前記参照画像とについての前記幾何変換情報に基づいて前記参照画像中の差異領域を変換し、当該変換された前記参照画像中の差異領域に対応する前記入力画像中の差異領域を決定し、
   前記入力画像中の差異領域を補正し、当該補正された入力画像中の差異領域から特徴量を抽出し、
   前記入力画像中の差異領域から抽出された特徴量と前記参照画像中の差異領域から抽出された特徴量とを照合し、照合結果を出力する、
   事を特徴とする物体識別方法。
10. コンピュータに、
    参照画像中の座標から入力画像中の対応する座標への幾何変換情報を算出し、前記参照画像から抽出した局所特徴量と前記入力画像から抽出した局所特徴量とを照合する局所特徴量照合処理と、
    前記参照画像において、前記入力画像における特徴点に一致しないと判定された特徴点が密集する領域を、前記参照画像中の差異領域として推定する差異領域推定処理と、
    前記局所特徴量照合処理により一致すると判定された前記入力画像と前記参照画像とについての前記幾何変換情報に基づいて、前記参照画像中の差異領域を変換し、当該変換された前記参照画像中の差異領域に対応する前記入力画像中の差異領域を決定する入力画像差異領域決定処理と、
    前記入力画像中の差異領域を補正し、当該補正された入力画像中の差異領域から特徴量を抽出する入力画像差異領域特徴量抽出処理と、
    前記入力画像差異領域特徴量抽出処理により抽出された特徴量と前記参照画像中の差異領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合処理、
    を実行させるコンピュータプログラム。

Images