JP6055435B2 - 被写体認識装置、被写体認識方法及び被写体認識プログラム - Google Patents

Description

本発明は、複数の被写体を撮影した訓練画像群を予め学習し、別時刻、別の位置・角度で撮影されたテスト画像が訓練画像群のいずれの被写体を撮影したかを推定する被写体認識装置、被写体認識方法及び被写体認識プログラムに関する。

空間を撮像したカメラにより入力されたテスト画像が、予め被写体を撮影した訓練画像群の何れに類似するかを推定する技術は、被写体認識や検出を可能としている。例えば非特許文献１記載の方法では、被写体を撮影した訓練画像群それぞれについて、予めＳＩＦＴと呼ばれる局所特徴量を複数抽出して訓練画像に関連付けてデータベース（ＤＢ）に格納しておく。次に、撮影被写体が未知のテスト画像からも同様に複数のＳＩＦＴ特徴を抽出する。

そして、それぞれのＳＩＦＴ特徴について、或る訓練画像に関連付けて記録されている局所特徴量から、最もベクトル間距離が小さい局所特徴量を特定する処理を全てのテスト画像のＳＩＦＴ特徴に亘って実施する。そして、暫定対応点を決定した後に誤対応点を除去し、残った対応点数を記録する。この処理をデータベースに格納されている全ての訓練画像に対して行ない、対応点数が最も多かった訓練画像を、テスト画像に対応する画像とする。この処理により、テスト画像がどの被写体を撮影したかを推定することを実現している。

図５〜図７は、従来技術による誤対応点除去の例を示す説明図である。暫定対応点を決定した後の誤対応点の除去は、高速化のために次のように行う。まず、暫定対応点を構成する或る２つのＳＩＦＴ特徴間が保持するＳＩＦＴ特徴の属性情報である、図５に示す位置情報（ｘ１，ｙ１）、スケール（ｓ１）、回転量（ｒ１）の変化量（Δｘ，Δｙ，Δｓ，Δｒ）が正しい対応点では同一になると仮定する。

そして、全ての暫定対応点に亘って位置情報、スケール、局所領域の回転量から成るセルで区切られた４次元空間（変化量Δｘ，Δｙ，Δｓ，Δｒの軸で定義される４次元空間：図６参照）に投票する。この投票の結果、一定数以上の票を得た対応点のみを採用して誤対応を除去する（図７参照）。次に、一定数以上の票を得たセルに属する暫定対応点から、最小二乗法に基づきテスト画像と訓練画像間での主要な二次元アフィン変換を算出する。算出されたアフィン変換のｘ，ｙ、スケール、回転量に従わない属性情報を有する暫定対応点を誤対応として更に除去することで誤対応点除去を実現する。

D. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, Vol. 60 Issue 2, pp.91-110, November 2004.

ところで、従来の方法では、局所特徴量が保持する位置情報（ｘ，ｙ座標）、スケール、回転量等の属性情報が正しいという仮定のもとで、誤対応除去の処理において、算出されたアフィン変換のｘ，ｙ、スケール、回転量に従わない属性情報を有する暫定対応点を除去している。

しかしながら、局所特徴の属性情報のうち、特にスケール、回転量は、画像に生じたノイズや、被写体が３次元物体の時に生じる画像歪みによって誤差が生じ、結果的に、正しく誤対応を除去できなくなるという問題がある。

本発明は、このような事情に鑑みてなされたもので、局所特徴の位置情報以外の属性情報が正しく求まっていない場合でも、高速かつ精度良く誤対応点を除去し、テスト画像がどの被写体を撮影したものであるかを推定することができる被写体認識装置、被写体認識方法及び被写体認識プログラムを提供することを目的とする。

本発明は、被写体を撮像した複数の訓練画像から抽出した局所特徴量と、該局所特徴量の属性を示す属性情報とを前記訓練画像毎に関係付けて記憶する画像情報記憶部と、認識すべき被写体を撮像したテスト画像から局所特徴量と前記属性情報を抽出する局所特徴抽出部と、前記テスト画像から抽出した前記局所特徴量と、前記画像情報記憶部に記憶された前記局所特徴量とを比較して、暫定対応点を決定する暫定対応点決定部と、前記属性情報の種類の数と同一の次元数から成る所定のセルのサイズで区切られた投票空間を構築し、前記暫定対応点全てについて、前記属性情報間の変化量を算出して該当する前記セルに対して投票する弱幾何検証部と、前記投票の結果に基づき、票数が所定数以上の全てのセルに対して、前記暫定対応点を所定の幾何モデルを当て嵌め、幾何変換パラメータを推定することにより、外れ値でないインライア対応点を求める強幾何検証部と、前記インライア対応点の信頼度を算出し、該信頼度の値が所定値より低いインライア点群を棄却する信頼度推定部と、前記棄却されていないインライア対応点数の総和を前記訓練画像のスコアとして出力するスコアリング部とを備えることを特徴とする。

本発明は、棄却されていない前記インライア対応点からアフィン変換もしくはホモグラフィ変換の幾何変換行列を求めることにより、前記訓練画像上の点が前記テスト画像上のどこの点に対応するかを示す情報を出力する正対応２Ｄ幾何変換行列推定部をさらに備えたことを特徴とする。

本発明は、棄却されていない前記インライア対応点から基礎行列を算出するとともに、前記テスト画像及び前記訓練画像それぞれを撮影したカメラの焦点距離を推定し、前記基礎行列と前記テスト画像及び前記訓練画像それぞれを撮影したカメラの焦点距離とから、前記カメラの相対的な並進と回転を計算して出力する相対姿勢推定部をさらに備えたことを特徴とする。

本発明は、被写体を撮像した複数の訓練画像から抽出した局所特徴量と、該局所特徴量の属性を示す属性情報とを前記訓練画像毎に関係付けて記憶する画像情報記憶部を備えた被写体認識装置が行う被写体認識方法であって、認識すべき被写体を撮像したテスト画像から局所特徴量と前記属性情報を抽出する局所特徴抽出ステップと、前記テスト画像から抽出した前記局所特徴量と、前記画像情報記憶部に記憶された前記局所特徴量とを比較して、暫定対応点を決定する暫定対応点決定ステップと、前記属性情報の種類の数と同一の次元数から成る所定のセルのサイズで区切られた投票空間を構築し、前記暫定対応点全てについて、前記属性情報間の変化量を算出して該当する前記セルに対して投票する弱幾何検証ステップと、前記投票の結果に基づき、票数が所定数以上の全てのセルに対して、前記暫定対応点を所定の幾何モデルを当て嵌め、幾何変換パラメータを推定することにより、外れ値でないインライア対応点を求める強幾何検証ステップと、前記インライア対応点の信頼度を算出し、該信頼度の値が所定値より低いインライア点群を棄却する信頼度推定ステップと、前記棄却されていないインライア対応点数の総和を前記訓練画像のスコアとして出力するスコアリングステップとを有することを特徴とする。

本発明は、棄却されていない前記インライア対応点からアフィン変換もしくはホモグラフィ変換の幾何変換行列を求めることにより、前記訓練画像上の点が前記テスト画像上のどこの点に対応するかを示す情報を出力する正対応２Ｄ幾何変換行列推定部ステップをさらに有することを特徴とする。

本発明は、棄却されていない前記インライア対応点から基礎行列を算出するとともに、前記テスト画像及び前記訓練画像それぞれを撮影したカメラの焦点距離を推定し、前記基礎行列と前記テスト画像及び前記訓練画像それぞれを撮影したカメラの焦点距離とから、前記カメラの相対的な並進と回転を計算して出力する相対姿勢推定ステップをさらに有することを特徴とする。

本発明は、コンピュータを、前記被写体認識装置として機能させるための被写体認識プログラムである。

本発明によれば、局所特徴の位置情報以外の属性情報が正しく求まっていない場合でも、高速かつ精度良く誤対応点を除去し、精度良くテスト画像がどの被写体を撮影したかを推定することができるという効果が得られる。

本発明の第１実施形態による被写体認識装置の構成を示すブロック図である。 図１に示す被写体認識装置の処理動作を示すフローチャートである。 本発明の第２実施形態による被写体認識装置の構成を示すブロック図である。 本発明の第１実施形態による被写体認識装置の構成を示すブロック図である。 従来技術による誤対応点除去の例を示す説明図である。 従来技術による誤対応点除去の例を示す説明図である。 従来技術による誤対応点除去の例を示す説明図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による被写体認識装置を説明する。図１は同実施形態の構成を示すブロック図である。同図に示すように、被写体認識装置１は、データベース（ＤＢ）２０と、訓練部３０と認識部４０とを備えている。訓練部３０は、前処理部２と、局所特徴抽出部３と、局所特徴量、属性情報保存部４から構成する。また認識部４０は、前処理部２、局所特徴抽出部３と、暫定対応点決定部５と、弱幾何検証部６と、強幾何検証部７と、信頼度推定部８と、スコアリング部９とから構成する。前処理部２、局所特徴抽出部３は、訓練部３０と認識部４０において同一のものである。

次に、図１を参照して、図１に示す訓練部３０の動作を説明する。訓練部３０はそれぞれ異なる被写体を撮影した訓練画像群を入力する。訓練部３０に訓練画像群が入力されると、１枚１枚ずつ順次以下の処理が行われる。まず前処理部２は、入力された画像を所定のサイズに拡大縮小する。この処理において、画像ノイズを軽減するために、例えば平滑化処理を行ってもよい。

次に、局所特徴抽出部３は、拡大縮小された画像から局所特徴量、属性情報を抽出する。局所特徴としては、非特許文献１同様のＳＩＦＴでもよいし、他の局所特徴であるＳＵＲＦ、ＢＲＩＥＦ、ＢＲＩＳＫ、ＯＲＢ、ＦＲＥＡＫ等でもよい。また属性情報としては、非特許文献１同様に位置情報（ｘ，ｙ）、スケール、回転量でもよいし、参考文献１の方法によって、回転方向を３自由度分取得して、位置情報（ｘ，ｙ）、スケール、回転（ロール，ピッチ，ヨー）としてもよい。
参考文献１：J. Morel, G. Yu, "ASIFT: A New Framework for Fully Affine Invariant Image Comparison", Journal SIAM Journal on Imaging Sciences, Volume 2 Issue 2, pp. 438-469, April 2009

次に、局所特徴量、属性情報保存部４は、抽出した属性情報と局所特徴量のセットを、訓練画像毎に唯一に付与された訓練画像ＩＤに関連付けて、データベース２０に記録保存する。

次に、図２を参照して、図１に示す認識部４０の処理動作を説明する。図２は、図１に示す認識部４０の処理動作を示すフローチャートである。認識部４０は未知の被写体を撮影した画像を入力する。画像が入力されると、前処理部２は、画像を指定サイズに縮小する（ステップＳ１）。続いて、局所特徴抽出部３は、局所特徴量、属性情報を抽出する（ステップＳ２）。前処理部２と局所特徴抽出部３の処理は、訓練部３０と同様であるので詳細な説明は省略する。

次に、暫定対応点決定部５は、データベース２０から訓練画像ＩＤに関連付けられた局所特徴量群を読み出す（ステップＳ３）。続いて、訓練画像ＩＤ毎に以下の処理（ステップＳ４〜Ｓ１２）を行う。まず、暫定対応点決定部５は、抽出したテスト画像の或る局所特徴Ｆｉについてその局所特徴量と、読み出した対象訓練画像ＩＤの全局所特徴量を比較して、特徴量間の距離が最も小さくなる対象訓練画像ＩＤの局所特徴Ｆｊを決定し、ＦｉとＦｊのペアを暫定対応点Ｃｐ｛Ｆｉ，Ｆｊ｝とする（ステップＳ５）。この処理をテスト画像から抽出した全ての局所特徴に対して行なう。テスト画像の局所特徴数がＮ個の場合、暫定対応点数もＮとなる。

次に、弱幾何検証部６は、局所特徴の属性情報の数と同一の次元数から成る、所定のセルサイズで区切られた投票空間を構築する。例えば、局所特徴の属性情報が位置情報（ｘ，ｙ）、スケール、回転量であれば、４次元の投票空間を構築する。位置情報（ｘ，ｙ）、スケール、回転（ロール、ピッチ、ヨー）であれば６次元の投票空間を構築する。なお、ここで、６次元すべて使わずに、スケール、回転（ロール、ピッチ、ヨー）で４次元としてもよい。ここでは、位置情報（ｘ，ｙ）、スケール、回転量の、４次元の投票空間を構築したものとする。

次に、弱幾何検証部６は、暫定対応点全てについて、属性情報間の変化量を算出して該当セルに投票する（ステップＳ６）。この処理は例えば、或る暫定対応点Ｃｐ｛Ｆｉ，Ｆｊ｝について、Ｆｉの属性情報が位置情報（ｘ，ｙ）、スケール、回転量の順に｛１０，０，１，９０｝、同様にＦｊの属性情報が｛３０，３０，３，２００｝であれば、Ｆｉに対するＦｊの変化量は｛２０，３０，３，１１０｝となる。ここで位置、回転成分は差分量、スケール成分は変化の比により算出する。この変化量｛２０，３０，３，１１０｝から、準備した投票空間のうち値が最も近いセルを特定し、当該セルに対象の暫定対応点Ｃｐ｛Ｆｉ， Ｆｊ｝を格納する。以上の処理を全ての暫定対応点に亘って行う。

次に、票数が所定数以上の全てのセルに対して以降の処理（ステップＳ７〜Ｓ１０）を行う。ここで、所定数は後述する幾何モデル当て嵌めにおいて必要となる最小の対応点数であり、例えば幾何モデルとして訓練画像の撮像カメラとテスト画像の撮像カメラの位置関係を示す基礎行列Ｆを用いる場合は７もしくは８となる。また、例えばアフィン変換を用いる場合は３、射影変換（ホモグラフィ）を用いる場合は４となる。

まず、強幾何検証部７は、処理対象セルに属す暫定対応点群に、ロバスト推定を用いて所定の幾何モデルを当て嵌める。ここでロバスト推定とは、データのランダムサンプリングに基づいて、データに外れ値が混じっていたとしても妥当なパラメータ推定を行う方法である。ここでは、データは暫定対応点群、外れ値は誤対応点、パラメータは幾何モデルのパラメータに該当する。強幾何検証部７が行うロバスト推定では最終的に、推定された幾何モデルのパラメータと、入力した暫定対応点群のうち、外れ値ではないインライアと判定された対応点群が求まるので、当該インライアと判定された対応点群をインライア対応点群として出力する（ステップＳ８）。

次に、信頼度推定部８は、インライア対応点群の信頼度を算出し、当該信頼度値が所定値より低ければ、対象インライア点群を棄却する（ステップＳ９）。逆に所定値より大きければ受諾とし、インライア対応点数をメモリ記録し処理を終える。ここで信頼度の算出は、例えば非特許文献１に記載されている、推定した幾何変換パラメータを用いてテスト画像を訓練画像上にマッピングし、当該マッピング領域内の局所特徴点数に応じて誤対応が生じる確率を算出する方法によって実現できる。

票数が所定数以上の全セルについて処理を終えたら、スコアリング部９は、メモリ記録されたインライア対応点数の総和を算出し、対象訓練画像ＩＤのスコアとしてメモリ記録する（ステップＳ１１）。

そして、全ての訓練画像ＩＤについて処理を終えたら、最後に、訓練画像ＩＤとスコアを関連付けて出力し、認識部４０の処理を終える（ステップＳ１３）。このスコアの高い訓練画像が、テスト画像に写っている被写体の画像であると見なすことによって、被写体の認識を行うことができる。

この構成により、局所特徴の属性情報が不確かな場合でも、高速かつ正しく誤対応点を除去し、正確にテスト画像がどの被写体を撮影したかを推定することができる。

＜第２実施形態＞
次に、本発明の第２実施形態による被写体認識装置を説明する。前述した第１実施形態では、局所特徴の属性情報の変化量投票に基づく幾何検証を行い、続いて局所特徴の位置のみに基づくロバスト推定による幾何検証を行うことで、高速かつ正しく誤対応点を除去し、テスト画像がどの被写体を撮影したかを正確に推定することができる。

しかしながら、該当する訓練画像の領域、つまり被写体の領域がテスト画像上においてどこに存在するのかは不明であるといった問題がある。第２実施形態はこの問題を解決するものである。

図３は、同実施形態による被写体認識装置の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、正対応２Ｄ幾何変換行列推定部１０を備えている点である。

次に、図３に示す被写体認識装置１の動作を説明する。正対応２Ｄ幾何変換行列推定部１０は、スコアリング部９がスコア算出に用いたインライア対応点を入力する。インライア対応点はテスト画像と、対応する訓練画像間での、局所特徴の確からしい対応を示す。正対応２Ｄ幾何変換行列推定部１０は、この対応点を用いて、訓練画像に該当するテスト画像上での領域がどこかを推定する。具体的には、訓練画像からテスト画像への幾何変換をアフィン変換もしくはホモグラフィ変換として、アフィン変換もしくはホモグラフィ変換のパラメータを、最小二乗法により推定する。ここで、対応点からアフィン変換もしくはホモグラフィ変換のパラメータを例えば最小二乗法により推定する方法は、アフィン変換の場合は非特許文献１、ホモグラフィの場合は参考文献２に記載の方法と同様であるのでここでの詳細な説明は省略する。
参考文献２：Richard Hartley and Andrew Zisserman,「Multiple View Geometry in Computer Vision Second Edition」,Cambridge University Press, March 2004. pp.88~91.

最後に、正対応２Ｄ幾何変換行列推定部１０は、推定した幾何変換行列を２Ｄ幾何変換行列として出力し、処理を終える。なお、算出されたアフィン変換もしくはホモグラフィ変換は訓練画像上の或る点がテスト画像上の何処に対応するかを示す。このため、例えば訓練画像に撮影された被写体領域を示す領域として、訓練画像の四隅を用いる場合、当該四隅の点を推定したアフィン変換行列もしくはホモグラフィ変換を用いてテスト画像上の座標にそれぞれ変換することで、テスト画像上での被写体の存在領域を決定することができる。

この構成により、該当する訓練画像の領域、つまり被写体の領域がテスト画像上においてどこに存在かを決定することができる。

＜第３実施形態＞
次に、本発明の第３実施形態による被写体認識装置を説明する。第２実施形態では、インライア対応点からアフィン変換もしくはホモグラフィ変換行列を算出することで、該当する訓練画像の領域、つまり被写体の領域がテスト画像上においてどこに存在するかを推定することができる。

しかしながら、該当する訓練画像の被写体に対して、テスト画像の被写体がどのような姿勢や位置で撮影されているかは不明であるといった問題がある。第３実施形態はこの問題を解決するものである。

図４は、同実施形態による被写体認識装置の構成を示すブロック図である。この図において、図３に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図３に示す装置と異なる点は、相対姿勢推定部１１を備えている点である。

次に、図４に示す被写体認識装置１の動作を説明する。相対姿勢推定部１１は、スコアリング部９がスコア算出に用いたインライア対応点を入力する。相対姿勢推定部１１は当該インライア対応点を用いて、まず基礎行列を算出する。次に、相対姿勢推定部１１は、テスト画像、訓練画像それぞれを撮影したカメラの焦点距離を推定する。次に、基礎行列とテスト画像、訓練画像それぞれを撮影したカメラの焦点距離から、２台のカメラの相対的な並進と回転を計算する。ここで、基礎行列、焦点距離と、相対的な並進と回転の推定は、例えば参考文献３に記載の方法によって実現できる。
参考文献３：山田，金澤，金谷，菅谷，”２画像からの３次元復元の最新アルゴリズム”， 情報処理学会研究報告，ＣＶＩＭ，［コンピュータビジョンとイメージメディア］ ２００９−ＣＶＩＭ−１６８（１５），１−８，２００９−０８−２４

最後に、相対姿勢推定部１１は、推定した相対的な並進と回転を相対姿勢として出力し、処理を終える。なお、訓練画像を撮影したカメラから、テスト画像を撮影したカメラへの相対姿勢が求まれば、インライア対応点の三次元座標も算出可能となる。当該三次元座標を、相対姿勢推定部において併せて算出し、相対姿勢に加えて出力してもよい。

この構成によって、該当する訓練画像の被写体に対して、テスト画像の被写体がどのような姿勢や位置で撮影されたかを推定することができることができる。

以上説明したように、暫定対応点全てをテスト画像と訓練画像間の幾何変換を示す、所定のサイズのセルで区切られた投票空間に投票した後に、票数が所定数以上のセルに属する暫定対応点群に対して、当該暫定対応点を構成する対応点の位置座標（ｘ，ｙ）のみを用いて、所定の幾何モデルを当て嵌めることで、高速かつ正しく誤対応点を除去し、正確にテスト画像がどの被写体を撮影したかを推定することができる。

前述した実施形態における被写体認識装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

局所特徴の位置情報以外の属性情報が正しく求まっていない場合でも、高速かつ正しく誤対応点を除去し、正確にテスト画像がどの被写体を撮影したかを推定することが不可欠な用途に適用できる。

１・・・被写体認識装置、２・・・前処理部、３・・・局所特徴抽出部、４・・・局所特徴量、属性情報保存部、５・・・暫定対応点決定部、６・・・弱幾何検証部、７・・・強幾何検証部、８・・・信頼度推定部、９・・・スコアリング部、１０・・・正対応２Ｄ幾何変換行列推定部、１１・・・相対姿勢推定部、２０・・・データベース（ＤＢ）、３０・・・訓練部、４０・・・認識部

Claims (7)

1. 被写体を撮像した複数の訓練画像から抽出した局所特徴量と、該局所特徴量の属性を示す属性情報とを前記訓練画像毎に関係付けて記憶する画像情報記憶部と、
   認識すべき被写体を撮像したテスト画像から局所特徴量と前記属性情報を抽出する局所特徴抽出部と、
   前記テスト画像から抽出した前記局所特徴量と、前記画像情報記憶部に記憶された前記局所特徴量とを比較して、暫定対応点を決定する暫定対応点決定部と、
   前記属性情報の種類の数と同一の次元数から成る所定のセルのサイズで区切られた投票空間を構築し、前記暫定対応点全てについて、前記属性情報間の変化量を算出して該当する前記セルに対して投票する弱幾何検証部と、
   前記投票の結果に基づき、票数が所定数以上の全てのセルに対して、前記暫定対応点を所定の幾何モデルを当て嵌め、幾何変換パラメータを推定することにより、外れ値でないインライア対応点を求める強幾何検証部と、
   前記インライア対応点の信頼度を算出し、該信頼度の値が所定値より低いインライア点群を棄却する信頼度推定部と、
   前記棄却されていないインライア対応点数の総和を前記訓練画像のスコアとして出力するスコアリング部と
   を備えることを特徴とする被写体認識装置。
2. 棄却されていない前記インライア対応点からアフィン変換もしくはホモグラフィ変換の幾何変換行列を求めることにより、前記訓練画像上の点が前記テスト画像上のどこの点に対応するかを示す情報を出力する正対応２Ｄ幾何変換行列推定部を
   さらに備えたことを特徴とする請求項１に記載の被写体認識装置。
3. 棄却されていない前記インライア対応点から基礎行列を算出するとともに、前記テスト画像及び前記訓練画像それぞれを撮影したカメラの焦点距離を推定し、前記基礎行列と前記テスト画像及び前記訓練画像それぞれを撮影したカメラの焦点距離とから、前記カメラの相対的な並進と回転を計算して出力する相対姿勢推定部を
   さらに備えたことを特徴とする請求項１または２に記載の被写体認識装置。
4. 被写体を撮像した複数の訓練画像から抽出した局所特徴量と、該局所特徴量の属性を示す属性情報とを前記訓練画像毎に関係付けて記憶する画像情報記憶部を備えた被写体認識装置が行う被写体認識方法であって、
   認識すべき被写体を撮像したテスト画像から局所特徴量と前記属性情報を抽出する局所特徴抽出ステップと、
   前記テスト画像から抽出した前記局所特徴量と、前記画像情報記憶部に記憶された前記局所特徴量とを比較して、暫定対応点を決定する暫定対応点決定ステップと、
   前記属性情報の種類の数と同一の次元数から成る所定のセルのサイズで区切られた投票空間を構築し、前記暫定対応点全てについて、前記属性情報間の変化量を算出して該当する前記セルに対して投票する弱幾何検証ステップと、
   前記投票の結果に基づき、票数が所定数以上の全てのセルに対して、前記暫定対応点を所定の幾何モデルを当て嵌め、幾何変換パラメータを推定することにより、外れ値でないインライア対応点を求める強幾何検証ステップと、
   前記インライア対応点の信頼度を算出し、該信頼度の値が所定値より低いインライア点群を棄却する信頼度推定ステップと、
   前記棄却されていないインライア対応点数の総和を前記訓練画像のスコアとして出力するスコアリングステップと
   を有することを特徴とする被写体認識方法。
5. 棄却されていない前記インライア対応点からアフィン変換もしくはホモグラフィ変換の幾何変換行列を求めることにより、前記訓練画像上の点が前記テスト画像上のどこの点に対応するかを示す情報を出力する正対応２Ｄ幾何変換行列推定部ステップを
   さらに有することを特徴とする請求項４に記載の被写体認識方法。
6. 棄却されていない前記インライア対応点から基礎行列を算出するとともに、前記テスト画像及び前記訓練画像それぞれを撮影したカメラの焦点距離を推定し、前記基礎行列と前記テスト画像及び前記訓練画像それぞれを撮影したカメラの焦点距離とから、前記カメラの相対的な並進と回転を計算して出力する相対姿勢推定ステップを
   さらに有することを特徴とする請求項４または５に記載の被写体認識方法。
7. コンピュータを、請求項１から３のいずれか１項に記載の被写体認識装置として機能させるための被写体認識プログラム。

Images