JP5347798B2 - 物体検出装置、物体検出方法及び物体検出プログラム - Google Patents

Description

本発明は、所定空間に現れる特定の物体を検出するための物体検出装置、物体検出方法及び物体検出プログラムに関する。

ある空間中に所望の物体があるか否かを識別するための技術として、対象となる物体に予め所定形状のマーカを付しておき、その空間の背景映像におけるマーカの有無に応じて対象物体の存否を判別するマーカ検出方法が一般に知られている。
例えば、特許文献１には、マーカを含まない背景映像から特徴点を抽出し、その特徴点にもとづいて導き出される、背景映像には現れていない画像特徴によって生成されるマーカを利用したマーカ検出方法が開示されてある。
このマーカ検出方法によれば、準備段階で、このような方法で生成されたマーカと同一のパターンを対象物体に付しておき、検出段階で、所定の空間映像からこのパターンが検出された場合には対象物体はその空間に存在すると判別することができる。

国際公開第２００８／０９０９０８号パンフレット

しかしながら、このようなマーカ検出方法は、マーカを製造する手間や製造したマーカを対象物体に貼付する必要があり、対象物体の数が多い場合には一層手間やコストがかかるため、より簡便に検出し得る方法が望まれていた。

本発明の目的は、上記の事情にかんがみなされたものであり、マーカによらず特定の物体を検出することが可能な物体検出装置、物体検出方法及び物体検出プログラムの提供を目的とする。

この目的を達成するため、本発明の物体検出装置は、対象物体を含まない背景画像の特徴点を記憶する特徴記憶部と、前記対象物体の特徴点を不変量特徴空間に表した不変特徴を記憶する不変特徴記憶部と、検出対象画像の特徴点から前記対象物体を含まない背景画像の対応する特徴点を減じて得た特徴点を不変量特徴空間に表した不変特徴と、前記対象物体の特徴点を不変量特徴空間に表した不変特徴との比較を行って対象物体を検出したか否かを判定する比較手段とを備えた構成としてある。

また、本発明の物体検出方法は、対象物体を含まない背景画像の特徴点を記憶する工程と、前記対象物体の特徴点を不変量特徴空間に表した不変特徴を記憶する工程と、検出対象画像の特徴点から前記対象物体を含まない背景画像の対応する特徴点を減じて得た特徴点を不変量特徴空間に表した不変特徴と、前記対象物体の特徴点を不変量特徴空間に表した不変特徴との比較を行い、この比較によって対象物体を検出したか否かを判定する工程とを有した方法としてある。

また、本発明の物体検出プログラムは、物体検出装置を、対象物体を含まない背景画像の特徴点を記憶する手段、前記対象物体の特徴点を不変量特徴空間に表した不変特徴を記憶する手段、及び、検出対象画像の特徴点から前記対象物体を含まない背景画像の対応する特徴点を減じて得た特徴点を不変量特徴空間に表した不変特徴と、前記対象物体の特徴点を不変量特徴空間に表した不変特徴との比較を行い、この比較によって対象物体を検出したか否かを判定する手段として機能させるようにしてある。

本発明の物体検出装置、物体検出方法及び物体検出プログラムによれば、マーカによらず特定の物体を検出することができる。

本発明の第一実施形態における物体検出装置の構成を示すブロック図である。 本発明の第一実施形態における物体検出装置の詳細な構成を示すブロック図である。 映像入力部が入力する画像を示す例図である。 入力画像から抽出した特徴点を模式的に表した図である。 特徴空間に特徴点が配置された様子を示す図である。 特徴点情報の構成を示す図表である。 検出対象画像の特徴点と背景画像の特徴点との差分を示す図である。 基底数を１とした場合における特徴点の写像方法を示す説明図である。 基底数を２とした場合における特徴点の写像方法を示す説明図である。 基底数を３とした場合における特徴点の写像方法を示す説明図である。 不変特徴情報の構成を示す図表である。 本発明の第一実施形態に係る物体検出の具体例を示す第一の説明図である。 本発明の第一実施形態に係る物体検出の具体例を示す第二の説明図である。 本発明の第一実施形態に係る物体検出の具体例を示す第三の説明図である。 本発明の第一実施形態に係る物体検出の具体例を示す第四の説明図である。 本発明の第一実施形態における準備段階における処理手順を示すフローチャートである。 本発明の第一実施形態における検出段階における処理手順を示すフローチャートである。 本発明の第二実施形態における物体検出装置の詳細な構成を示すブロック図である。 不変量特徴空間に表される不変特徴の頻度分布を示す図である。 本発明の第二実施形態に係る物体検出の具体例を示す第一の説明図である。 本発明の第二実施形態に係る物体検出の具体例を示す第二の説明図である。 本発明の第二実施形態に係る物体検出の具体例を示す第三の説明図である。 本発明の第二実施形態に係る物体検出の具体例を示す第四の説明図である。 本発明の第二実施形態における準備段階における処理手順を示すフローチャートである。 本発明の第二実施形態における検出段階における処理手順を示すフローチャートである。 本発明の第三実施形態における物体検出装置の構成を示すブロック図である。 本発明の第三実施形態における物体検出装置の詳細な構成を示すブロック図である。 特異特徴の選択処理を説明するための説明図である。 本発明の第三実施形態における準備段階における処理手順を示すフローチャートである。 本発明の第三実施形態における検出段階における処理手順を示すフローチャートである。 本発明の第四実施形態における物体検出装置の詳細な構成を示すブロック図である。 本発明の第四実施形態に係る物体検出の具体例を示す説明図である。 本発明の第四実施形態における検出段階における処理手順を示すフローチャートである。

以下、本発明に係る物体検出装置、物体検出方法及び物体検出プログラムの実施形態について、図面を参照して説明する。

［物体検出装置及び物体検出方法の第一実施形態］
まず、本発明の物体検出装置及び物体検出方法の第一実施形態について、図１及び図２を参照して説明する。
図１は、本実施形態の物体検出装置の構成を示すブロック図である。
また、図２は、本実施形態の物体検出装置の詳細な構成を示すブロック図である。

図１に示すように、物体検出装置１ａは、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、比較手段４０とを備えている。

映像入力手段１０は、図２に示すように、映像入力部１１と映像記憶部１２とを有する。
映像入力部１１は、検出処理を行う前の準備段階において、対象物体を含まない検出エリアの対象映像（以下、「背景画像」という。）の入力を行う。
例えば、図３（ａ）に示すように、対象物体（以下、紙飛行機を対象物体とする。）が現れない背景を撮影した映像などが該当する。
また、映像入力部１１は、準備段階において、対象物体の画像の入力を行う。
図３（ｂ）に示すように、「対象物体の画像」とは、対象物体のみが映し出された画像であり、例えば、ブルースクリーンを背景として対象物体を撮像し、この撮像画像から青色の成分を除去したものが相当する。

映像入力部１１は、検出段階においては、対象物体を検出するエリアの対象映像を入力する。検出段階で入力された映像はディジタイズされたフレーム画像として映像記憶部１２に記憶する。フレーム画像とは、静止画フレームの一枚一枚をいう。
以下、検出段階で入力された検出エリアの画像を「検出対象画像」という。
図３（ｃ）は、この検出対象画像のうち対象物体を含む画像の例を示すものである。

映像記憶部１２は、準備段階において入力した画像（背景画像や対象物体の画像）や、検出段階において入力した画像（検出対象画像）を記憶する。
映像記憶部１２は、入力した各フレーム画像のそれぞれに付された番号（例えば、シリアル番号）を記憶することができる。この番号は、一枚のフレーム画像を一意に特定するものである。

特徴抽出手段２０は、図２に示すように、特徴抽出部２１と、特徴記憶部２２とを有する。
特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
具体的には、特徴抽出部２１は、準備段階において、映像記憶部１２から背景画像や対象物体の画像を取り出して特徴点を抽出し、その特徴点情報を特徴記憶部２２に記憶する。

例えば、図４（ａ）に示すように、背景画像からは、その画像に含まれるオブジェクトの特徴点を複数抽出し、これらの特徴点情報が背景記憶領域２２１に記憶される。
また、特徴抽出部２１は、図４（ｂ）に示すように、対象物体の画像から特徴点を抽出し、その特徴点情報を特徴記憶部２２の物体記憶領域２２２に記憶する。

さらに、特徴抽出部２１は、図４（ｃ）に示すように、検出段階において、映像記憶部１２から検出対象画像を取り出して特徴点を抽出し、その特徴点情報を特徴記憶部２２の入力記憶領域２２３に記憶する。

画像特徴としては、例えば、図形的に特徴的な特性を数値化したものを用いることができる。
これには、例えば、１９９８年ＩＥＥＥコンピュータビジョン・パターン認識会議予稿集に掲載されている方法を使用することができる。この方法は、画像中の物体形状の頂点、線状の物体の交差点、端点などを抽出することができる。そして、それらの点の画像上での位置座標情報の系列を図形的特徴とすることができる。なお、特徴点が配置された空間を特徴空間という。

また、他の方法として、例えば、Montanariによる１９７１年Communications of ACM、１４巻に掲載されている「On the option detection ｏｆ curves in noisy pictures」に記載の方法がある。
これは、基準点からの距離、相対確度を記憶するＲテーブルの内容を特徴として使用することができる。この際、基準点をすべての特徴位置に対して設定し、網羅的に特徴を抽出しておくことで、部分的な特徴の欠損に対してマーカの検出が頑健となる。
さらに、他の特徴抽出方法としては、例えば、画像上の各画素の輝度値、あるいは色差値を特徴とする方法がある。

次いで、特徴抽出部２１は、特徴点のそれぞれにシリアル番号を付与する。
図５は、図４（ｃ）に示すフレーム画像の特徴点にシリアル番号を付した例を示すものである。
同図に示すように、シリアル番号は、例えば、最も上に位置するものから順番に１，２，３，４，・・・のように付与することができる。
続いて、特徴抽出部２１は、特徴点のそれぞれの座標を求める。座標は、特徴空間にＸ軸とＹ軸を設定し、Ｙ軸からの距離をＸ座標、Ｘ軸からの距離をＹ座標とすることができる。

そして、特徴抽出部２１は、それら特徴点のシリアル番号や座標を特徴記憶部２２の各記憶領域に記憶させる。特徴記憶部２２は、それらシリアル番号や座標等を図６に示すように、「特徴点情報」として記憶することができる。
特徴点情報は、同図に示すように、「フレーム画像のシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）を項目として構成することができる。
「フレーム画像のシリアル番号」は、特徴点を抽出したフレーム画像に付された番号を示す。
「特徴点のシリアル番号」は、特徴点の１枚のフレーム画像から抽出された複数の特徴点の一つ一つに付された番号を示す。
「特徴点のｘ座標」は、特徴空間におけるその特徴点のｘ座標を示す。
「特徴点のｙ座標」は、特徴空間におけるその特徴点のｙ座標を示す。

差分抽出部２３は、検出段階において、特徴記憶部２２の入力記憶領域２２３から検出対象画像の特徴点情報を取り出すとともに、背景記憶領域２２１から背景画像の特徴点情報を取り出し、同じ座標に位置する特徴点の情報を削除する処理を行う。
図７は、検出対象画像の特徴点から背景画像の対応する特徴点を削除した後の特徴空間を模式的に表した図である。
同図に示すように、差分抽出部２３によれば、背景画像に本来存在しない物体（対象物体に限らない）の特徴点のみを抽出することができる。
そして、差分抽出部２３によって抽出された特徴点の特徴点情報は、不変特徴変換手段３０に出力される。

不変特徴変換手段３０は、図２に示すように、不変特徴変換部３１と、不変特徴記憶部３２とを有する。
不変特徴変換部３１は、特徴点を不変量特徴空間に写像することで不変特徴を取得する。
まず、不変特徴変換部３１は、準備段階において、特徴記憶部２２の物体記憶領域２２２から対象物体の特徴点を取り出し不変量特徴空間に写像する。そして、この写像処理によって得た不変特徴の不変特徴情報を不変特徴記憶部３２の物体不変記憶領域３２１に記憶する。
また、不変特徴変換部３１は、検出段階において、差分抽出部２３から出力された特徴点の情報を受け取り、特徴点を不変量特徴空間に写像する。そして、この写像処理によって取得した不変特徴の不変特徴情報を不変特徴記憶部３２の差分不変記憶領域３２２に記憶する。

ここで、特徴点の不変量特徴空間への写像処理について詳細に説明を行う。
例えば、画像の特徴的な部位として点（特徴点）を抽出しその空間（特徴空間）での位置座標情報の系列を図形的特徴とする場合、特徴空間上の特徴点から基準点を選択し、この基準点が不変量特徴空間の基準座標のところにくるように配置し、他のすべての特徴点についても、同一の変換規則で不変量特徴空間に配置することで各特徴点は不変量特徴空間へ写像される。以下、この基準点を「基底」という。そして、「基底」は、背景映像中のオブジェクトの姿勢変化に応じてその数を定めることができる。この数を「基底数」という。

そして、対象物体が幾何学的変化を伴う場合、すなわちカメラと対象物体のシーンが相対的に回転、平行移動し、剪断変形などの姿勢変化を被る場合に、予めその姿勢変化に対応する基底数にもとづいて対象物体の特徴点を不変量特徴空間に写像しておくことによって、その相対的な位置関係変化によらず、不変な特徴量を、特徴点群の位置関係から求めることができる。
具体的には、姿勢変化が平行移動のみの場合には基底数を１、拡大、縮小もしくは回転のいずれかの姿勢変化が現れる場合には基底数を２、さらにせん断変形が加わる場合には基底数を３とすることができる。

なお、本実施形態では、簡単のため、背景が遠方にある場合の幾何学的な不変特徴について説明する。また、背景が遠方にない場合などより自由度の高い不変特徴に拡張することは容易である。

以下、紙飛行機を対象物体とし、この特徴点を不変量特徴空間に写像する方法について図８〜図１０を参照しながら説明する。
まず、基底数を１とした場合における特徴点の写像方法について図８を参照して説明を行う。
図８（ａ）に示すように、対象物体のみを撮像したフレーム画像を準備する。すなわち、予め、映像入力部１１が、対象物体の画像を入力し、これを映像記憶部１２が記憶しておく。なお、各特徴点には、図８（ｂ）に示すように、シリアル番号が付されているものとする。

同図に示すように、特徴抽出部２１が、対象物体の特徴点を抽出する。
ここで、不変特徴変換部３１は、抽出した複数の特徴点の中から一つの特徴点を基底として定め、この基底が不変量特徴空間の座標（０，０）のところにくるように移動し、この移動量を求め、他のすべての特徴点についても、その移動量で不変量特徴空間に移動する。
例えば、シリアル番号１番の特徴点を基底とし、このシリアル番号１番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動する。これにより、特徴点が不変量特徴空間に写像され同図（ｃ）に示すような不変特徴を得ることができる。

そして、このように、一つの特徴点を基底として定め、この基底を不変量特徴空間の原点に移動するのに伴って、すべての特徴点を平行移動させる処理を、各特徴点を順次基底として定めるごとに行うことで、各特徴点が不変量特徴空間に写像される。
このため、検出段階で、検出対象画像の特徴点を基底数１として不変量特徴空間に写像して比較することにより、入力画像によっては対象物体が平行移動した場合であってもこれを検出することができる。

次に、基底数を２とした場合における特徴点の写像方法について図９を参照して説明する。
この場合、不変特徴変換部３１は、二つの特徴点を基底として定め、それぞれの基底が不変量特徴空間上の対応する二つの基準座標のところにくるように移動し、これに伴いすべての特徴点を相対的な位置関係を維持しながら不変量特徴空間に移動する。そして、この移動を、すべての特徴点から選択し得る２点の組み合わせからなる各基底について行う。
まず、図９（ａ）〜（ｂ）に示すように、予め対象物体の画像を入力し、その特徴点を抽出しておく。
ここで、例えば、シリアル番号１番の特徴点を第一基底、シリアル番号２番の特徴点を第二基底とする場合には、第一基底を不変量特徴空間の座標（０，０）に移動し、第二基底を座標（１，０）に移動することに伴って、同一変換規則にしたがって他のすべての特徴点を移動する。これにより、同図（ｃ）に示すような不変特徴を得ることができる。

そして、このように、二つの特徴点を基底として定め、これらの基底を不変量特徴空間の二つの基準点に移動するのに伴って、すべての特徴点を平行移動若しくは回転又は拡大・縮小させる処理を、各特徴点の組み合わせを順次基底として定めるごとに行うことで、各特徴点が不変量特徴空間に写像される。
このため、検出段階で、検出対象画像の特徴点を基底数２として不変量特徴空間に写像して比較することにより、入力画像によっては対象物体が平行移動、回転、拡大・縮小した場合であってもこれを検出することができる。

次に、基底数を３とした場合における特徴点の写像方法について図１０を参照して説明する。
この場合、不変特徴変換部３１は、三つの特徴点を基底として定め、それぞれの基底が不変量空間上の対応する三つの基準座標のところにくるように移動し、これに伴いすべての特徴点を相対的な位置関係を維持しながら不変量特徴空間に移動する。そして、この移動を、すべての特徴点から選択し得る３点の組み合わせからなる各基底について行う。
まず、図１０（ａ）〜（ｂ）に示すように、対象物体画像を準備し、特徴点を抽出する。
ここで、例えば、シリアル番号２番の特徴点を第一基底、シリアル番号３番の特徴点を第二基底、シリアル番号１番の特徴点を第三基底とする場合には、第一基底を不変量特徴空間の座標（０，０）に移動し、第二基底を座標（１，０）に移動し、第三基底を座標（０，１）に移動することに伴って、同一変換規則にしたがって他のすべての特徴点を移動する。これにより、同図（ｃ）に示すような不変特徴を得ることができる。

そして、このように、三つの特徴点を基底として定め、これらの基底を不変量特徴空間の三つの基準点に移動するのに伴って、すべての特徴点を平行移動若しくは回転又は拡大・縮小又はせん断変形させる処理を、各特徴点の組み合わせを順次基底として定めるごとに行うことで、各特徴点が不変量特徴空間に写像される。
このため、検出段階で、検出対象画像の特徴点を基底数３として不変量特徴空間に写像して比較することにより、入力画像によっては対象物体が平行移動、回転、拡大・縮小又はせん断変形した場合であってもこれを検出することができる。

このように原画像空間から、不変量特徴空間への１対１線形写像がアフィン変換として定義できる。基底を除くすべての特徴点群を、基底により特徴付けられた同一のアフィン変換を用いて不変特徴空間へ写像すると、これら特徴点群はカメラとシーンの相対的位置関係によらず不変となる。ただし、実際には、シーンから常に同じ基底を選択できるとは限らないため、特徴点群のすべての３点の順列組み合わせから基底選択を行い、各基底に対する非基底特徴点を不変量特徴空間に写像する必要がある。
これら特徴点群が物体の幾何変形（例えば、平行移動、回転、拡大・縮小、せん断変形など）に対して不変である理由は、他の物体を含む映像中で、特徴点から選択される基底により、得られる不変特徴は、常に一致するためである。

不変特徴記憶部３２の物体不変記憶領域３２１は、このような不変特徴変換を介して得た対象物体の不変特徴情報を記憶する。
また、不変特徴記憶部３２の差分不変記憶領域３２２は、同様の不変特徴変換によって得た検出対象画像と背景画像の差分にもとづく不変特徴情報を記憶する。
「不変特徴情報」は、図１１に示すように、「不変量特徴空間のシリアル番号」（ア）と「不変特徴のシリアル番号」（イ）と「不変特徴のｘ座標」（ウ）と「不変特徴のｙ座標」（エ）とを項目として構成することができる。

「不変量特徴空間のシリアル番号」は、不変量特徴空間に付された番号を示す。
「不変特徴のシリアル番号」は、複数の不変特徴のそれぞれに付された番号を示す。
「不変特徴のｘ座標」は、不変量特徴空間におけるその不変特徴のｘ座標を示す。
「不変特徴のｙ座標」は、不変量特徴空間におけるその特徴点のｙ座標を示す。

なお、本実施形態において、特徴点を不変量特徴空間へ写像する方法は、図８〜図１０に示す方法とするが、写像方法は、この方法に限るものではなく、４点以上の基底を選択して写像を行うこともできる。
また、前述した幾何学的不変量の他、物体色の不変量を用いた写像も可能である。
物体の色は、同一物体であっても撮影環境に存在する光源色に依存して、異なった色で撮影されてしまう。画像上から光源色変動の影響を分離して取り除くことができれば、実際の物体色を得ることができる。得られる実際の物体色を物体色不変量として使用してもよい。鏡面反射している箇所は光源色の影響が支配的で、輝度値が光源色成分において飽和しやすいため、これを光源色とみなして、飽和箇所に対応する色成分を不変特徴として選択しないようにしてもよい。

他にも、画像から物体色を推定する方法には、Robby T. Tan and Katsushi Ikeuchiによる、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 27、NO. 2、FEBRUARY 2005、pp.178-193に記載の「Separating Reflection Components of Textured Surfaces Using a Single Image」や、Graham D. Finlayson、Steven D. Hordley、Cheng Lu、and Mark S. Drewによる、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENT、 VOL.28、NO.1、JANUARY ２００６、pp.59-68、に記載の「On the Removal of Shadows from Images」などを使用してもよい。

また、テクスチャを不変量として用いることができる。
画像の部分領域の輝度分布に対して数値演算を施し得られた数値またはベクトルを特徴量とする。図形的不変量と同様にテクスチャ不変量はカメラと撮影対象との相対位置関係に影響を受けやすいため、この影響を受けにくい特徴量を算出し、テクスチャ不変量とする。例えば、カメラと対象の距離やズームに不変な特徴量は、注目している部分画像を極座標変換し、動径方向にパワースペクトルをとることで実装可能である。さらに、上記パワースペクトルに対して方位角方向に再度パワースペクトルを求めるとカメラの光軸周りの回転に対して不変な特徴量となる。その他、Chi-Man Pun and Moon-Chuen LeeによるIEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 25、NO. 5、MAY 2003記載の「Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification」などの方法を用いてもよい。

さらに、幾何学的不変量についても、Richard Hartley and Andrew Zissermanによる「Multiple View Geometry in Computer Vision」などに記載されているような他の幾何学的不変量を使用してもよい。同一シーンを複数のカメラで観測する場合には、同文献に記載の方法により、距離もしくは深さ方向の相対位置関係の情報を得ることが可能となるが、この場合、同一平面にない４点を基底に選択し、不変量特徴空間を３次元とすると、３次元の幾何学的不変量を作ることができる。この際には、特徴点群から選択した基底４点のうち１点を不変量空間の原点、その他の基底の特徴点を不変量空間における位置座標（１，０，０）および（０，１，０）、（０，０，１）に対応付ける変換写像を求め、その他特徴をこの変換写像を使用して不変量空間に写像するようにする。

比較手段４０は、図２に示すように、照合部４１と、判定部４２とを有する。
照合部４１は、不変特徴記憶部３２の物体不変記憶領域３２１と差分不変記憶領域３２２とからそれぞれ不変特徴情報を取り出し不変特徴の配置の照合を行う。
すなわち、「検出対象画像と背景画像の差分にもとづく不変特徴」の座標と「対象物体の不変特徴」の座標とを照合する。
そして、判定部４２は、照合の結果、対応する不変特徴の配置（座標）の一致が認められれば、対象物体を検出したと判定する。
「配置（座標）の一致」は、対応する不変特徴の全ての配置（座標）が一致する場合のみならず、各配置（座標）のうち所定数以上の一致が確認できた場合にこれを認めることもできる。

ここで、本実施形態の物体検出の具体的方法について例をあげて説明する。
最初に、検出対象画像に対象物体が含まれる場合について図１２を参照して説明する。
まず、映像入力部１１は、図１２（ａ）に示す検出対象画像を入力する。
次に、特徴抽出部２１は、検出対象画像から特徴点を抽出し、差分抽出部２３が、検出対象画像と背景画像の特徴点の差分を抽出する（図１２（ｂ））。
続いて、不変特徴変換部３１が、この差分の特徴点を不変量特徴空間に写像することで図１２（ｃ）に示す不変特徴群を得る。
そして、照合部４１は、この不変特徴の不変量特徴空間における座標Ａと、対象物体の不変特徴の不変量特徴空間における座標Ｂとを照合する。
この結果、同図に示すように、双方の不変特徴の配置は一致するため、判定部４２は、検出対象画像の中に対象物体が存在するものと判断することができる。

また、対象物体の向きや大きさが変化しても同様に検出することができる。
これは、前述したように、特徴点に対して基底を複数（この場合、基底数２とする）選択して不変特徴変換を行うことによって、平行移動のみならず拡大・縮小や回転といった幾何学的変化に対する不変のパターンを予め不変量特徴空間に取得しているからである。
このため、図１３に示すように、対象物体の向きや大きさが変化してもこれを確実に検出することができる。
なお、図１３（ｃ）に示す不変量特徴空間Ａ及び不変量特徴空間Ｂは、それぞれ元の画像の特徴点を基底数２として写像したときの不変特徴の配置を模式的に示したものである。ただし、これらの図では、簡単のため、写像する特徴点数を省略している。

また、図１４に示すように、入力した検出対象画像に対象物体以外の物体（同図では、星状の物体を示す）が現れる場合がある。
この場合も同様に、特徴抽出部２１が検出対象画像（図１４（ａ））から特徴点を抽出し、差分抽出部２３が背景画像との特徴点の差分を抽出する（図１４（ｂ））。
そして、その差分にもとづく不変特徴Ａと、対象物体の不変特徴Ｂとを照合する。
ただし、この場合、図１４（ｃ）に示すように、双方の不変特徴の配置は一致しない。
また、図１５に示すように、入力した検出対象画像に物体が一切現れない場合がある。
この場合も、特徴抽出部２１が検出対象画像（図１５（ａ））から特徴点を抽出し、差分抽出部２３が背景画像との特徴点の差分を抽出する（図１５（ｂ））。
そして、その差分にもとづく不変特徴Ａと、対象物体の不変特徴Ｂとを照合するが、図１５（ｃ）に示すように、これらは一致しない。
したがって、このような場合、判定部４２は、対象物体の検出を肯定する判定は行わない。

なお、入力した検出対象画像に対象物体（紙飛行機）と対象物体以外の物体（星形の物体）とが混在して現れる場合があるが、この場合も、対象物体の不変特徴についての照合は一致するため検出することができる。

次に、本実施形態の物体検出装置の動作（物体検出方法）について、図１６及び図１７を参照して説明する。
図１６は、物体検出方法の準備段階における手順を示すフローチャートである。
図１７は、物体検出方法の検出段階における手順を示すフローチャートである。

＜準備段階における手順＞
図１６に示すように、本実施形態の物体検出装置１ａは、映像入力手段１０の映像入力部１１が、背景画像と対象物体の画像を入力する（Ｓ１０１）。入力画像は映像記憶部１２に記憶される。
次に、特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２から画像を取り出し特徴点を抽出する（Ｓ１０２）。すなわち、背景画像の特徴点と、対象物体の特徴点を抽出する。
背景画像の特徴点情報として特徴記憶部２２の背景記憶領域２２１に記憶される（Ｓ１０３）。
また、対象物体の特徴点情報は、特徴記憶部２２の物体記憶領域２２２に記憶される。

続いて、不変特徴変換手段３０の不変特徴変換部３１は、物体記憶領域２２２から対象物体の特徴点情報を取り出し、特徴点を不変量特徴空間に写像する（Ｓ１０４）。これにより、対象物体の特徴点は不変特徴に変換される。
そして、対象物体の不変特徴情報は不変特徴記憶部３２の物体不変記憶領域３２１に記憶される（Ｓ１０５）。

＜検出段階における手順＞
図１７に示すように、本実施形態の物体検出装置１ａは、映像入力手段１０の映像入力部１１が、検出対象画像を入力する（Ｓ２０１）。入力した検出対象画像は映像記憶部１２に記憶される。
次に、特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２から検出対象画像を取り出し特徴点を抽出する（Ｓ２０２）。抽出された検出対象画像の特徴点情報は、特徴記憶部２２の入力記憶領域２２３に記憶される。
続いて、差分抽出部２３は、入力記憶領域２２３から検出対象画像の特徴点を取り出すとともに、準備段階において背景記憶領域２２１に記憶した背景画像の特徴点を取り出す。
そして、差分抽出部２３は、検出対象画像の特徴点から背景画像の対応する特徴点を削除して、特徴点の差分を求める（Ｓ２０３）。

次いで、不変特徴変換手段３０の不変特徴変換部３１は、差分として抽出された特徴点を不変量特徴空間に写像して不変特徴を取得する（Ｓ２０４）。取得した不変特徴の不変特徴情報は、不変特徴記憶部３２の差分不変記憶領域３２２に記憶される。
そして、対象物体の不変特徴との照合を行う（Ｓ２０５）。
具体的には、比較手段４０の照合部４１が、差分不変記憶領域３２２から不変特徴情報を取り出すとともに、物体不変記憶領域３２１から不変特徴情報を取り出す。そして、取り出した不変特徴情報にもとづき、これらの不変特徴の不変量特徴空間における座標の照合を行う。

照合の結果、双方の不変特徴の座標が一致した場合（Ｓ２０５：一致）、判定部４２が対象物体を検出したものと判定する（Ｓ２０６）。一方、双方の不変特徴の座標が一致しなかった場合（Ｓ２０５：不一致）、対象物体の検出は行わない。つまり、この場合、特段の処理は行わずにＳ２０７に進む。
そして、さらに物体検出を継続する場合（Ｓ２０７：ＹＥＳ）、Ｓ２０１に戻って同様の処理を繰り返し、物体検出を継続しない場合（Ｓ２０７：ＮＯ）、物体検出を終了する。

以上、説明したように、本実施形態の物体検出装置及び物体検出方法によれば、検出の際に入力した検出対象画像の特徴から背景の特徴を除外し、何らかの特徴点が残存する場合には対象物体が現れた可能性があるとし、さらにその特徴点を不変量特徴空間に写像し、これにより得た不変特徴と対象物体の特徴点を不変量特徴空間に写像して得た不変特徴とを照合するようにしている。
そして、この照合により、双方の不変特徴の座標の一致が確認された場合、対象物体の検出を認めることができる。
このため、マーカによらずとも対象物体の検出ができ、また、対象物体や背景画像の幾何学的変形にも対応して正確に物体検出を行うことができる。
したがって、利便性や信頼性に優れた物体検出装置を低コストで実現することができる。

［物体検出装置及び物体検出方法の第二実施形態］
次に、本発明の物体検出装置及び物体検出方法の第二実施形態について、図１８を参照して説明する。
図１８は、本実施形態の物体検出装置の詳細な構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、不変特徴変換部３０に特徴を有する。
具体的には、本実施形態の物体検出装置１ｂは、不変特徴変換部３０の不変特徴記憶部３２が、物体頻度記憶領域３２３と差分頻度記憶領域３２４とを有している。

すなわち、第一実施形態では不変特徴の配置（座標）が一致するか否かによって対象物体の検出を判断していたのに対し、本実施形態では、不変特徴の頻度が一致するか否かによって対象物体の検出を判断するようにしている。
他の構成要素は第一実施形態と同様である。
したがって、図１８において、図２と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。

不変特徴変換手段３０の不変特徴記憶部３２は、図１８に示すように、物体頻度記憶領域３２３と差分頻度記憶領域３２４とを有する。
物体頻度記憶領域３２３は、準備段階において求めた対象物体の不変特徴にもとづき、その頻度分布を記憶する。
具体的には、不変特徴変換部３１は、準備段階において物体不変記憶領域３２１に記憶した対象物体の不変特徴（不変特徴情報）を取り出す。
図１９（ａ）は、物体不変記憶領域３２１から取り出した対象物体の不変特徴を不変量特徴空間に表した模式図である。

次に、不変特徴変換部３１は、不変特徴が存在する不変量特徴空間に格子状のメッシュを付して複数の区画に分ける。
この区画は、図１９（ｂ）に示すように、不変量特徴空間の一部の領域を対象としても良く、全体を対象としても良い。領域を一部に絞り込むことで演算負荷の軽減を図ることができ、他方、全体を対象とすることで精度の向上を図ることができる。
続いて、不変特徴変換部３１は、図１９（ｃ）に示すように、区画ごとに不変特徴の数（頻度分布）を求める。
そして、不変特徴変換部３１は、求めた対象物体の不変特徴の頻度分布を物体頻度記憶領域３２３に記憶する。

差分頻度記憶領域３２４は、検出段階において求めた検出対象画像と背景画像との特徴点の差分にもとづく不変特徴の頻度分布を記憶する。
具体的には、不変特徴変換部３１は、差分記憶領域３２２に記憶されている不変特徴を取り出し、その頻度分布を求める。すなわち、検出対象画像の特徴点から背景画像の対応する特徴点を差し引いた後の特徴点を不変量特徴空間に写像し、これにより得た不変特徴にもとづいてその頻度分布を求める。
そして、不変特徴変換部３１は、求めた不変特徴の頻度分布情報を差分頻度記憶領域３２４に記憶する。
なお、「頻度分布情報」は、例えば、不変量特徴空間における各区画の位置座標や各区画に配置された不変特徴の数によって構成される。

このようにして、物体頻度記憶領域３２３と差分頻度記憶領域３２４に記憶されたそれぞれの不変特徴の頻度分布は、互いに照合され、一致が認められれば対象物体を検出したものと判定される。
具体的には、双方の頻度分布のうち対応する区画に配置された不変特徴数の一致（すなわち、頻度分布の一致）が認められれば、検出対象物体を検出したものと判定する。
「頻度分布の一致」は、対応する不変特徴の全ての区画の頻度が一致する場合のみならず、所定数以上の区画における頻度の一致が確認できた場合にこれを認めることもできる。

ここで、本実施形態における物体検出の具体的方法について例をあげて説明する。
最初に、検出対象画像に対象物体が含まれる場合について図２０を参照して説明する。
まず、映像入力部１１は、図２０（ａ）に示す検出対象画像を入力する。
次に、特徴抽出部２１は、検出対象画像から特徴点を抽出し、差分抽出部２３が、検出対象画像と背景画像の特徴点の差分を抽出する（図２０（ｂ））。
続いて、不変特徴変換部３１が、この差分の特徴点を不変量特徴空間に写像することで図２０（ｃ）に示す不変特徴群を得る。

次いで、不変特徴変換部３１が、その不変特徴が存在する不変量特徴空間を区分けして不変特徴の数を求めることで図２０（ｄ）に示す頻度分布を得る。
そして、照合部４１は、この不変特徴の頻度分布Ａと、対象物体の不変特徴の頻度分布Ｂとを照合する。
この結果、同図に示すように、双方の不変特徴の各区画における不変特徴数は一致するため、判定部４２は、検出対象画像の中に対象物体が存在するものと判断することができる。

なお、本実施形態においては、対象物体の向きや大きさが変化してもこれを確実に検出することができる。
これは、第一実施形態において図１３を参照しながら説明した理由と同じである。
ただし、第一実施形態の場合、座標値の完全一致が原則となるが、本実施形態の場合、座標にもとづく区画が比較基準となるため、第一実施形態に比べ一致判定の許容を広く設定することができる。

また、図２２に示すように、入力した検出対象画像に対象物体以外の物体（同図では、星状の物体を示す）が現れる場合がある。
この場合も同様に、特徴抽出部２１が検出対象画像（図２２（ａ））から特徴点を抽出し、差分抽出部２３が背景画像との特徴点の差分を抽出する（図２２（ｂ））。
次いで、不変特徴変換部３１が、その差分の特徴点を不変量特徴空間に写像して不変特徴を求める（図２２（ｃ））。
続いて、不変特徴変換部３１が、その不変特徴が存在する不変量特徴空間を区分けして不変特徴の数を求めることで図２２（ｄ）に示す頻度分布を得る。
そして、その差分にもとづく不変特徴の頻度分布Ａと、対象物体の不変特徴の頻度分布Ｂとを照合する。
ただし、この場合、同図に示すように、双方の不変特徴に頻度分布は一致しない。

また、図２３に示すように、入力した検出対象画像に物体が一切現れない場合がある。
この場合も、特徴抽出部２１が検出対象画像（図２３（ａ））から特徴点を抽出し、差分抽出部２３が背景画像との特徴点の差分を抽出する（図２３（ｂ））。
次いで、不変特徴変換部３１が、その差分の特徴点を不変量特徴空間に写像して不変特徴を求める（図２３（ｃ））。
続いて、不変特徴変換部３１が、その不変特徴が存在する不変量特徴空間を区分けして不変特徴の数を求めることで図２３（ｄ）に示す頻度分布を得る。
そして、その差分にもとづく不変特徴の頻度分布Ａと、対象物体の不変特徴の頻度分布Ｂとを照合するが、同図に示すように、これらの分布は一致しない。
したがって、このような場合、判定部４２は、対象物体の検出を肯定する判定は行わない。

なお、入力した検出対象画像に対象物体（紙飛行機）と対象物体以外の物体（星形の物体）とが混在して現れる場合があるが、この場合も、対象物体の不変特徴の頻度分布についての照合によってこれを検出することができる。
この場合、頻度の完全一致でなくても不変特徴の頻度分布の所定数以上の区画において一致が確認できた場合や、対応する頻度数が近似する場合に対象物体の検出を肯定的に認めることができる。
また、不変量特徴空間における頻度分布の区画幅を変更することによって、物体検出の精度を調整することができる。

次に、本実施形態の物体検出装置の動作（物体検出方法）について、図２４及び図２５を参照して説明する。
図２４は、物体検出方法の準備段階における手順を示すフローチャートである。
図２５は、物体検出方法の検出段階における手順を示すフローチャートである。

＜準備段階における手順＞
図２４に示すように、本実施形態の物体検出装置１ｂは、映像入力手段１０の映像入力部１１が、背景画像と対象物体の画像を入力する（Ｓ３０１）。入力画像は映像記憶部１２に記憶される。
次に、特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２から画像を取り出し特徴点を抽出する（Ｓ３０２）。すなわち、背景画像の特徴点と、対象物体の特徴点とを抽出する。
背景画像の特徴点情報は、特徴記憶部３２の背景記憶領域２２１に記憶される（Ｓ３０３）。
また、対象物体の特徴点情報は、特徴記憶部２２の物体記憶領域２２２に記憶される。

続いて、不変特徴変換手段３０の不変特徴変換部３１は、物体記憶領域２２２から対象物体の特徴点を取り出し、不変量特徴空間に写像する（Ｓ３０４）。
次いで、対象物体の不変特徴情報は、不変特徴記憶部３２の物体不変記憶領域３２１に記憶される（Ｓ３０５）。
そして、不変特徴変換部３１は、物体不変記憶領域３２１から対象物体の不変特徴を取り出しその頻度分布を求め、その頻度分布情報を不変特徴記憶部３２の物体頻度記憶領域３２３に記憶する（Ｓ３０６）。

＜検出段階における手順＞
図２５に示すように、本実施形態の物体検出装置１ｂは、映像入力手段１０の映像入力部１１が、検出対象画像を入力する（Ｓ４０１）。入力した検出対象画像は映像記憶部１２に記憶される。
次に、特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２から検出対象画像を取り出し特徴点を抽出する（Ｓ４０２）。抽出された検出対象画像の特徴点情報は、特徴記憶部２２の入力記憶領域２２３に記憶される。
続いて、差分抽出部２３は、入力記憶領域２２３から検出対象画像の特徴点を取り出すとともに、準備段階において背景記憶領域２２１に記憶した背景画像の特徴点を取り出す。
そして、差分抽出部２３は、検出対象画像の特徴点から背景画像の対応する特徴点を削除して、特徴点の差分を求める（Ｓ４０３）。

次いで、不変特徴変換手段３０の不変特徴変換部３１は、差分として抽出された特徴点を不変量特徴空間に写像して不変特徴を取得する（Ｓ４０４）。取得した不変特徴の不変特徴情報は、不変特徴記憶部３２の差分不変記憶領域３２２に記憶される。
続いて、不変特徴変換部３１は、差分不変記憶領域３２２から不変特徴を取り出して頻度分布を求め、その頻度分布情報を差分頻度記憶領域３２６に記憶する（Ｓ４０５）。
そして、対象物体の不変特徴の頻度分布との照合を行う（Ｓ４０６）。
具体的には、比較手段４０の照合部４１が、差分頻度記憶領域３２６から不変特徴の頻度分布情報を取り出すとともに、物体頻度記憶領域３２３から不変特徴の頻度分布情報を取り出す。そして、取り出した不変特徴の頻度分布情報にもとづき、これらの頻度分布が一致するか否かを照合する。

照合の結果、双方の頻度分布が一致した場合（Ｓ４０６：一致）、判定部４２が対象物体を検出したものと判定する（Ｓ４０７）。一方、双方の頻度分布が一致しなかった場合（Ｓ４０６：不一致）、対象物体の検出は行わない。つまり、この場合、特段の処理は行わずにＳ４０８に進む。
そして、さらに物体検出を継続する場合（Ｓ４０８：ＹＥＳ）、Ｓ４０１に戻って同様の処理を繰り返し、物体検出を継続しない場合（Ｓ４０８：ＮＯ）、物体検出を終了する。

以上、説明したように、本実施形態の物体検出装置及び物体検出方法によれば、第一実施形態と同様、マーカによらずに対象物体を検出することができる。
特に、本実施形態においては、対象物体の検出判定を、不変量特徴空間に現れる不変特徴の区画ごとの数が一致するか否かによって行うようにしている。
このため、座標の一致を対象物体の検出条件として求める第一実施形態に比べ、一致度に許容をもたせることができる。
このため、例えば、画像の乱れやノイズ等に起因する不変特徴座標の微細なズレを無効化することも可能である。
また、一致度の許容範囲については、不変量特徴空間における区画幅を変更することで、物体検出の精度を自在に調整することが可能である。

［物体検出装置及び物体検出方法の第三実施形態］
次に、本発明の物体検出装置及び物体検出方法の第三実施形態について、図２６及び図２７を参照して説明する。
図２６は、本実施形態の物体検出装置の構成を示すブロック図である。
また、図２７は、本実施形態の物体検出装置の詳細な構成を示すブロック図である。
本実施形態の物体検出装置１ｃは、図２６に示すように、特異特徴選択手段５０を備える点で、前述の第一実施形態及び第二実施形態と異なる。

具体的には、背景の特徴点から導き出される不変量特徴空間における不変特徴の中から不変特徴が現れなかった部分（又は不変特徴数が所定数以下の部分）を特異特徴として選択しておき、検出段階において特異特徴の部分に不変特徴が現れた場合には対象物体が現れた可能性が高いものとして物体検出をより肯定的に判定するようにしている。
つまり、本実施形態では、前述した実施形態の物体検出装置の物体検出における判定精度をより高めることを目的としている。他の構成要素は第一実施形態と同様である。
したがって、図２６及び図２７において、図１及び図２と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。

本実施形態の物体検出装置１ｃは、図２７に示すように、不変特徴変換手段３０の不変特徴記憶部３２が、背景不変記憶領域３２５と背景頻度記憶領域３２６と入力頻度記憶領域３２７とを有する。
背景不変記憶領域３２５は、準備段階において、背景画像の特徴点を不変量特徴空間に写像して得た不変特徴の情報を記憶する。
背景頻度記憶領域３２６は、準備段階において、背景不変記憶領域３２５に記憶した背景画像の不変特徴にもとづく頻度分布情報を記憶する。
入力頻度記憶領域３２７は、検出段階において、検出対象画像の特徴点を不変量特徴空間に写像して得た不変特徴の頻度分布を記憶する。
そして、この写像によって取得した不変特徴の頻度分布情報を不変特徴記憶部３２の背景頻度記憶領域３２５に記憶する。

特異特徴選択手段５０は、図２７に示すように、特異特徴選択部５１と特異特徴記憶部５２とを有する。
特異特徴選択部５１は、準備段階において、不変特徴記憶部３２の背景頻度記憶領域３２５から背景画像に関する不変特徴の頻度分布情報を取り出す。
そして、特異特徴選択部５１は、取り出した不変特徴の頻度分布情報を分析し、不変特徴数が所定数以下である区画を特異特徴として選択する。
図２８は、背景画像から導き出された特異特徴を示す模式図である。
同図に示すように、不変特徴数が「０」の区画を特異特徴として選択することができる。
このように、特異特徴選択部５１は、所定の画像から抽出した特徴点群が現れていない特徴空間の部分にもとづく不変特徴から特異特徴を選択することができる。

この特異特徴の選択は、不変量特徴空間の不変特徴の分布から大きな空白を見つける問題と同一視できるから、例えば、２００３年文書解析認識国際会議予稿集に掲載されている「An algorithm for Finding Maximal Whitespace Rectangles at Arbitrary Orientations for Document Layout Analysis」などのアルゴリズムを使用して、大きな空白領域を抽出しても良いし、得られた不変特徴を含まない矩形領域の中心を特異特徴としても良い。

その他の方法としては、不変量特徴空間を特定の大きさのメッシュ（区画）で量子化し、１次元もしくは多次元のヒストグラムを生成し、不変特徴の発生頻度が０となる区画の中心を特異特徴とするなどしても良い。頻度が０となる区画が存在しない場合、区画幅を小さくして、ヒストグラムをとり、頻度が０となる区画が現れた場合、このときの区画から特異特徴を選択するようにしてもよい。頻度が０となるメッシュが見つからない場合は、ヒストグラムを既定値で閾値処理し、規定値以下のメッシュから特異特徴を選択しても良い。

特異特徴記憶部５０は、特異特徴選択部５１で選択された背景画像に関する特異特徴の情報を記憶する。特異特徴の情報としては、各特異特徴の位置を示す座標が相当する。
そして、検出段階において、照合部４１は、不変特徴記憶部３２の入力頻度記憶領域３２６から検出対象画像の不変特徴の頻度分布情報を取り出すとともに、特異特徴記憶部５２に予め記憶した背景画像の特異特徴情報を取り出し、これらを照合する。

この結果、判定部４２は、背景画像の特異特徴部分に不変特徴が１以上現れると、何らかの物体が検出されたことを認識することができる。
これにより、他の判定方法により対象物体の検出がある程度認められている場合には、その判定をより肯定的に認めることができる。
このため、前述の実施形態に係る物体検出方法と組み合わせることで対象物体をより正確に検出することができる。
つまり、前述の実施形態の物体検出装置１ａ、１ｂに、本実施形態特有の構成を加えることで、極めて検出精度の優れた物体検出装置を実現することができる。

次に、本実施形態の物体検出装置の動作（物体検出方法）について、図２９及び図３０を参照して説明する。
図２９は、物体検出方法の準備段階における手順を示すフローチャートである。
図３０は、物体検出方法の検出段階における手順を示すフローチャートである。

＜準備段階における手順＞
図２９に示すように、本実施形態の物体検出装置１ｃは、映像入力手段１０の映像入力部１１が、背景画像と対象物体の画像を入力する（Ｓ５０１）。入力画像は映像記憶部１２に記憶される。
特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２から画像を取り出し特徴点を抽出する（Ｓ５０２）。すなわち、背景画像の特徴点と、対象物体の特徴点とを抽出する。
背景画像の特徴点情報は、特徴記憶部３２の背景記憶領域２２１に記憶される。
また、対象物体の特徴点情報は、特徴記憶部３２の物体記憶領域２２２に記憶される（Ｓ５０３）。

次に、不変特徴変換手段３０の不変特徴変換部３１は、物体記憶領域２２２から対象物体の特徴点を取り出し、特徴点を不変量特徴空間に写像する（Ｓ５０４）。これにより、対象物体の特徴点は不変特徴に変換される。
対象物体の不変特徴情報は、不変特徴記憶部３２の物体不変記憶領域３２１に記憶される（Ｓ５０５）。

不変特徴変換部３１は、物体頻度記憶領域３２１から対象物体の不変特徴を取り出して頻度分布を求め、その情報を不変特徴記憶部３２の物体頻度記憶領域３２３に記憶する（Ｓ５０６）。
また、不変特徴変換部３１は、特徴記憶部２２の背景記憶領域２２１から背景画像の特徴点を取り出し、不変量特徴空間に写像する（Ｓ５０７）。これにより、背景画像の特徴点は不変特徴に変換され、この不変特徴情報は不変特徴記憶部３２の背景不変記憶領域３２５に記憶される。
次いで、不変特徴変換部３１は、背景画像の不変特徴の頻度分布を求め、その情報を背景頻度記憶領域３２５に記憶する（Ｓ５０８）。

そして、特異特徴選択部５１は、背景頻度記憶領域３２５から背景画像の不変特徴の頻度分布を取り出して特異特徴を選択し、この特異特徴情報を特異特徴記憶部５２に記憶する（Ｓ５０９）。

＜検出段階における手順＞
図３０に示すように、本実施形態の物体検出装置１ｃは、映像入力手段１０の映像入力部１１が、検出対象画像を入力する（Ｓ６０１）。入力した画像は映像記憶部１２に記憶される。
次に、特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２から検出対象画像を取り出し特徴点を抽出する（Ｓ６０２）。抽出された特徴点の特徴点情報は、特徴記憶部２２の入力記憶領域２２３に記憶される。
続いて、差分抽出部２３は、入力記憶領域２２３から検出対象画像の特徴点を取り出すとともに、準備段階において背景記憶領域２２１に記憶した背景画像の特徴点を取り出す。
そして、差分抽出部２３は、検出対象画像の特徴点から背景画像の対応する特徴点を削除して、特徴点の差分を求める（Ｓ６０３）。

不変特徴変換手段３０の不変特徴変換部３１は、差分として抽出された特徴点を不変量特徴空間に写像して不変特徴を取得する（Ｓ６０４）。取得した不変特徴の不変特徴情報は、不変特徴記憶部３２の差分不変記憶領域３２２に記憶される。
そして、対象物体の不変特徴の頻度分布との照合を行う（Ｓ６０５）。
具体的には、比較手段４０の照合部４１が、差分頻度記憶領域３２６から不変特徴の頻度分布情報を取り出すとともに、物体頻度記憶領域３２３から不変特徴の頻度分布情報を取り出す。そして、取り出した不変特徴の頻度分布情報にもとづき、これらの頻度分布が一致するか否かを照合する。

照合の結果、双方の頻度分布が一致した場合（Ｓ６０５：一致）、さらに、特異特徴の照合を行う（Ｓ６０６）。
具体的には、照合部４１が、特異特徴記憶部５２に記憶した背景画像の特異特徴情報を取り出すとともに、入力頻度記憶領域３２７に記憶した検出対象画像に関する不変特徴の頻度情報を取り出す。
そして、背景画像の特異特徴の部分に、検出対象画像の不変特徴が１以上検出されれば、判定部４２が対象物体を検出したものと判定する（Ｓ６０７）。
一方、Ｓ６０５やＳ６０６において照合が一致しない場合、対象物体の検出は行わない、つまり、この場合、特段の処理は行わずにＳ６０８に進む。
そして、さらに物体検出を継続する場合（Ｓ６０８：ＹＥＳ）、Ｓ６０１に戻って同様の処理を繰り返し、物体検出を継続しない場合（Ｓ６０８：ＮＯ）、物体検出を終了する。

以上、説明したように、本実施形態の物体検出装置及び物体検出方法によれば、背景の特徴点から導き出される不変量特徴空間における不変特徴の中から不変特徴が現れなかった部分（又は不変特徴数が所定数以下の部分）を特異特徴として選択しておき、検出段階において特異特徴の部分に不変特徴が現れた場合には対象物体が現れた可能性が高いものとして物体検出をより肯定的に判定するようにしている。
したがって、物体検出における判定精度をより高めることができる。

［物体検出装置及び物体検出方法の第四実施形態］
次に、本発明の物体検出装置及び物体検出方法の第四実施形態について、図３１を参照して説明する。
図３１は、本実施形態の物体検出装置の詳細な構成を示すブロック図である。
本実施形態の物体検出装置１ｄは、図３１に示すように、比較手段４０が数判定部４３を備えるところに特徴を有する。
すなわち、物体そのものの検出に加え、その物体の数を検出することを目的としている。他の構成要素は第一実施形態と同様である。
したがって、図３１において、図２と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。

本実施形態の物体検出装置１ｄは、図３１に示すように、比較手段４０が数判定部４３を有する。
以下、本実施形態に係る物体の数判定の具体的な方法について図３２を参照しながら説明を行う。
ここで、映像入力部１１は、対象物体を複数含むフレーム画像（図３２（ａ））を検出対象画像として入力し、映像記憶部１２に記憶する。
特徴抽出部２１は、検出対象画像から特徴点を抽出し、差分抽出部２３が検出対象画像と背景画像の特徴点の差分を抽出する（図３２（ｂ））。
続いて、不変特徴変換部３１が、この差分の特徴点を不変量特徴空間に写像することで図３２（ｃ）に示す不変特徴群を得る。なお、本実施形態の場合、基底は１点として不変特徴変換を行う。

次に、図３２（ｄ）に示すように、不変特徴変換部３１は、これらの不変特徴が存在する不変量特徴空間をメッシュに分け、区画ごとの頻度分布を求める。
そして、比較手段４０の数判定部４３は、不変特徴記憶部３２の物体頻度記憶領域３２３に記憶した対象物体の不変特徴の頻度分布を取り出し、照合を行う。
ただし、この照合は、不変量特徴空間の原点を中心とした一定領域の範囲で行う。具体的には、単体の対象物体から抽出される各特徴点のうち最も離れた２点の特徴点情報を取り出し、この２点間におけるｘ軸方向の最大距離とｙ軸方向の最大距離を求め、それぞれの距離を不変量特徴空間の原点を基準としたｘ軸の±方向の照合範囲、ｙ軸方向の±方向の照合範囲とする。
この結果、同図に示すように、数判定部４３は、検出対象画像に関する区画ごとの不変特徴の数が、対象物体の対応する区画の不変特徴の数の2倍になることを認識することができる。
このような場合、数判定部４３は、対象物体を２個検出したものと判定することができる。

なお、本実施形態においては、対象物体が２個の例について説明したが、この数に制限するものではなく、１以上の個数であれば検出することができる。
また、対象物体が複数個、検出対象画像に現れる場合、対象物体同士は一定距離離れていることが条件となる。具体的には、単体の対象物体から抽出される各特徴点のうち最も離れた２点の特徴点間の距離分だけ、対象物体が離れていることを条件とする。
これにより、不変量特徴空間において不変特徴が重複することによって発生する数の誤差をなくすことができ、正確に対象物体の数を検出することができる。

次に、本実施形態の物体検出装置の動作（物体検出方法）について、図３３を参照して説明する。
図３３は、本実施形態の物体検出方法の手順を示すフローチャートである。
なお、本実施形態における準備段階の処理については、前述の第二実施形態又は第三実施形態と同様であるため詳細な説明は省略する。

図３３に示すように、本実施形態の物体検出装置１ｄは、映像入力手段１０の映像入力部１１が、検出対象画像を入力する（Ｓ７０１）。入力した検出対象画像は映像記憶部１２に記憶される。
次に、特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２から検出対象画像を取り出し特徴点を抽出する（Ｓ７０２）。抽出された検出対象画像の特徴点情報は、特徴記憶部２２の入力記憶領域２２３に記憶される。
続いて、差分抽出部２３は、入力記憶領域２２３から検出対象画像の特徴点を取り出すとともに、準備段階において背景記憶領域２２１に記憶した背景画像の特徴点を取り出す。
そして、差分抽出部２３は、検出対象画像の特徴点から背景画像の対応する特徴点を削除して、特徴点の差分を求める（Ｓ７０３）。

次いで、不変特徴変換手段３０の不変特徴変換部３１は、差分として抽出された特徴点を不変量特徴空間に写像して不変特徴を取得する（Ｓ７０４）。取得した不変特徴の不変特徴情報は、不変特徴記憶部３２の差分不変記憶領域３２２に記憶される。
そして、対象物体の不変特徴の頻度分布との照合を行う（Ｓ７０５）。
具体的には、比較手段４０の照合部４１が、差分頻度記憶領域３２６から不変特徴の頻度分布情報を取り出すとともに、物体頻度記憶領域３２３から不変特徴の頻度分布情報を取り出す。そして、取り出した不変特徴の頻度分布情報にもとづき、これらの頻度分布が一致するか否かを照合する。

照合の結果、双方の頻度分布が一致した場合（Ｓ７０５：ＹＥＳ）、判定部４２により、対象物体を検出したものと判定される（Ｓ７０６）。ただし、この場合、対象物体を１個検出したものと判定される。
一方、照合が一致しない場合（Ｓ７０５：ＮＯ）、対象物体の不変特徴の頻度分布を整数倍して照合を行う（Ｓ７０７）。
具体的には、数判定部４３が、物体頻度記憶領域３２３に記憶した対象物体の不変特徴の頻度分布を取り出し、各区画の頻度をともに所定の範囲で整数倍しながら繰り返し照合を行う。この照合の際に用いる整数の範囲としては、例えば、最小値が２（又は１）で、最大値は差分として現れた特徴点の数の範囲で行うことができる。

数判定部４３は、この結果、頻度分布が一致した場合（Ｓ７０７：一致）、そのときに用いた整数の個数の対象物体を検出したものと判定する（Ｓ７０８）。
一方、Ｓ７０７においても照合が一致しなかった場合（Ｓ７０７：不一致）、対象物体の検出は行わない。つまり、特段の処理は行わずにＳ７０９に進む。
そして、さらに物体検出を継続する場合（Ｓ７０９：ＹＥＳ）、Ｓ７０１に戻って同様の処理を繰り返し、物体検出を継続しない場合（Ｓ７０９：ＮＯ）、物体検出を終了する。

以上、説明したように、本実施形態の物体検出装置及び物体検出方法によれば、対象物体のみならず、その個数を検出することができる。
このため、前述の実施形態と同様の作用・効果を奏するのみならず、さらに利便性に優れた物体検出装置を実現することができる。

［物体検出プログラム］
次に、物体検出プログラムについて説明する。
上記の各実施形態におけるコンピュータ（物体検出装置）の物体検出機能は、記憶手段（例えば、ＲＯＭ（Read Only Memory）やハードディスクなど）に記憶された物体検出プログラムにより実現される。

物体検出プログラム、コンピュータの制御手段（ＣＰＵ（Central Processing Unit）など）に読み込まれることにより、コンピュータの構成各部に指令を送り、所定の処理、例えば、物体検出装置の映像入力処理、特徴抽出処理、不変特徴変換処理、特異特徴選択処理、比較処理などを行わせる。
これによって、物体検出機能は、ソフトウェアである物体検出プログラムとハードウェア資源であるコンピュータ（物体検出装置）の各構成手段とが協働することにより実現される。

なお、物体検出機能を実現するための物体検出プログラムは、コンピュータのＲＯＭやハードディスクなどに記憶される他、コンピュータが読み取り可能な記録媒体、例えば、外部記憶装置及び可搬記録媒体に格納することができる。
外部記憶装置とは、ＣＤ−ＲＯＭ（Compact disc−Read Only Memory）等の記録媒体を内蔵し、物体検出装置に外部接続されるメモリ増設装置をいう。一方、可搬記録媒体とは、記録媒体駆動装置（ドライブ装置）に装着でき、かつ、持ち運び可能な記録媒体であって、例えば、フレキシブルディスク、メモリカード、光磁気ディスク等をいう。

そして、記録媒体に記録されたプログラムは、コンピュータのＲＡＭ（Random Access Memory）等にロードされて、ＣＰＵ（制御手段）により実行される。この実行により、上述した各実施形態の物体検出装置の機能が実現される。
さらに、コンピュータで物体検出プログラムをロードする場合、他のコンピュータで保有された物体検出プログラムを、通信回線を利用して自己の有するＲＡＭや外部記憶装置にダウンロードすることもできる。このダウンロードされた物体検出プログラムも、ＣＰＵにより実行され、上記各実施形態の物体検出装置の物体検出機能を実現する。

以上説明したように、本実施形態の物体検出装置、物体検出方法及び物体検出プログラムによれば、マーカによらずとも所望の物体がその空間内に存在していることを検出することができる。
また、対象物体の姿勢変化や入力画像の歪みに対応した物体検出も可能である。
さらに、対象物体の検出をより高める構成を加えることも可能である。
また、複数の対象物体を検出することも可能である。

以上、本発明の物体検出装置、物体検出方法及び物体検出プログラムの実施形態について説明したが、本発明に係る物体検出装置、物体検出方法及び物体検出プログラムは上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、前述した各実施形態において、特徴抽出手段２０が特徴記憶部２３を有し、不変特徴変換手段３０が不変特徴記憶部３２を有する構成となっているが、これら記憶部は他の構成要素に含まれる構成であっても良く、また、記憶部が独立した構成であっても良い。また、これら記憶部が、外部の記憶装置によって実現される態様であっても良い。

本発明は、物体検出に関する発明であるため、物体を検出する装置や機器、例えば、物品管理、フィジカルセキュリティをはじめとする映像モニタリング、ロボットビジョン、複合現実感ＵＩ、コンテンツ生成応用に利用可能である。

１ 物体検出装置
１０ 映像入力手段
２０ 特徴抽出手段
２２ 特徴記憶部
２３ 差分抽出部
３０ 不変特徴変換手段
３２ 不変特徴記憶部
４０ 比較手段
４３ 数判定部
５０ 特異特徴選択手段

Claims (5)

1. 検出対象画像を入力する映像入力部と、
   入力した検出対象画像から特徴点を抽出する特徴抽出部と、
   抽出した特徴点を不変量特徴空間に表す不変特徴変換部と、
   対象物体を含まない背景画像の特徴点を記憶する特徴記憶部と、
   前記対象物体の特徴点を不変量特徴空間に表した不変特徴の配置を記憶する不変特徴記憶部と、
   検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した各不変特徴の配置の全部又は所定数以上の部分が、前記対象物体の特徴点を不変量特徴空間に表した不変特徴の配置と一致する場合に対象物体を検出したものと判定する比較手段と、を備え、
   前記背景画像の特徴点を不変量特徴空間に表した不変特徴の頻度分布のうち頻度が所定値以下の部分を特異特徴として選択する特異特徴選択手段を備える場合、
   前記比較手段は、
   検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した不変特徴が前記特異特徴の部分に現れた場合に、前記対象物体を検出したものと判定する
   ことを特徴とする物体検出装置。
2. 前記不変特徴記憶部は、
   前記対象物体の特徴点を不変量特徴空間に表した不変特徴の頻度分布を記憶し、
   前記比較手段は、
   検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した不変特徴の各頻度分布の全部又は所定数以上の部分が、前記対象物体の特徴点を不変量特徴空間に表した不変特徴の頻度分布と一致する場合に対象物体を検出したものと判定する
   ことを特徴とする請求項１記載の物体検出装置。
3. 前記比較手段は、
   検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した不変特徴の所定領域における頻度分布の全部又は所定数以上の部分が、前記対象物体の特徴点を不変量空間に表した不変特徴の各頻度に整数を乗じた頻度分布と一致する場合に当該整数の個数の対象物体を検出したものと判定する
   ことを特徴とする請求項２記載の物体検出装置。
4. 検出対象画像を入力する工程と、
   入力した検出対象画像から特徴点を抽出する工程と、
   抽出した特徴点を不変量特徴空間に表す工程と、
   対象物体を含まない背景画像の特徴点を記憶する工程と、
   前記対象物体の特徴点を不変量特徴空間に表した不変特徴の配置を記憶する工程と、
   検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した各不変特徴の配置の全部又は所定数以上の部分が、前記対象物体の特徴点を不変量特徴空間に表した不変特徴の配置と一致する場合に対象物体を検出したものと判定する比較工程と、を備え、
   前記背景画像の特徴点を不変量特徴空間に表した不変特徴の頻度分布のうち頻度が所定値以下の部分を特異特徴として選択する工程を備える場合、
   前記比較工程は、
   検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した不変特徴が前記特異特徴の部分に現れた場合に、前記対象物体を検出したものと判定する
   ことを特徴とする物体検出方法。
5. 物体検出装置を、
   検出対象画像を入力する手段、
   入力した検出対象画像から特徴点を抽出する手段、
   抽出した特徴点を不変量特徴空間に表す手段、
   対象物体を含まない背景画像の特徴点を記憶する手段、
   前記対象物体の特徴点を不変量特徴空間に表した不変特徴の配置を記憶する手段と、
   検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した各不変特徴の配置の全部又は所定数以上の部分が、前記対象物体の特徴点を不変量特徴空間に表した不変特徴の配置と一致する場合に対象物体を検出したものと判定する比較手段と、として機能させ、
   前記背景画像の特徴点を不変量特徴空間に表した不変特徴の頻度分布のうち頻度が所定値以下の部分を特異特徴として選択する特異特徴選択手段として機能させる場合、
   前記比較手段に、
   検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した不変特徴が前記特異特徴の部分に現れた場合に、前記対象物体を検出したものと判定させる
   ことを特徴とする物体検出プログラム。