JP5347798B2 - 物体検出装置、物体検出方法及び物体検出プログラム - Google Patents
物体検出装置、物体検出方法及び物体検出プログラム Download PDFInfo
- Publication number
- JP5347798B2 JP5347798B2 JP2009171839A JP2009171839A JP5347798B2 JP 5347798 B2 JP5347798 B2 JP 5347798B2 JP 2009171839 A JP2009171839 A JP 2009171839A JP 2009171839 A JP2009171839 A JP 2009171839A JP 5347798 B2 JP5347798 B2 JP 5347798B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- invariant
- target object
- image
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
例えば、特許文献1には、マーカを含まない背景映像から特徴点を抽出し、その特徴点にもとづいて導き出される、背景映像には現れていない画像特徴によって生成されるマーカを利用したマーカ検出方法が開示されてある。
このマーカ検出方法によれば、準備段階で、このような方法で生成されたマーカと同一のパターンを対象物体に付しておき、検出段階で、所定の空間映像からこのパターンが検出された場合には対象物体はその空間に存在すると判別することができる。
まず、本発明の物体検出装置及び物体検出方法の第一実施形態について、図1及び図2を参照して説明する。
図1は、本実施形態の物体検出装置の構成を示すブロック図である。
また、図2は、本実施形態の物体検出装置の詳細な構成を示すブロック図である。
映像入力部11は、検出処理を行う前の準備段階において、対象物体を含まない検出エリアの対象映像(以下、「背景画像」という。)の入力を行う。
例えば、図3(a)に示すように、対象物体(以下、紙飛行機を対象物体とする。)が現れない背景を撮影した映像などが該当する。
また、映像入力部11は、準備段階において、対象物体の画像の入力を行う。
図3(b)に示すように、「対象物体の画像」とは、対象物体のみが映し出された画像であり、例えば、ブルースクリーンを背景として対象物体を撮像し、この撮像画像から青色の成分を除去したものが相当する。
以下、検出段階で入力された検出エリアの画像を「検出対象画像」という。
図3(c)は、この検出対象画像のうち対象物体を含む画像の例を示すものである。
映像記憶部12は、入力した各フレーム画像のそれぞれに付された番号(例えば、シリアル番号)を記憶することができる。この番号は、一枚のフレーム画像を一意に特定するものである。
特徴抽出部21は、映像記憶部12からフレーム画像を取り出し、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
具体的には、特徴抽出部21は、準備段階において、映像記憶部12から背景画像や対象物体の画像を取り出して特徴点を抽出し、その特徴点情報を特徴記憶部22に記憶する。
また、特徴抽出部21は、図4(b)に示すように、対象物体の画像から特徴点を抽出し、その特徴点情報を特徴記憶部22の物体記憶領域222に記憶する。
これには、例えば、1998年IEEEコンピュータビジョン・パターン認識会議予稿集に掲載されている方法を使用することができる。この方法は、画像中の物体形状の頂点、線状の物体の交差点、端点などを抽出することができる。そして、それらの点の画像上での位置座標情報の系列を図形的特徴とすることができる。なお、特徴点が配置された空間を特徴空間という。
これは、基準点からの距離、相対確度を記憶するRテーブルの内容を特徴として使用することができる。この際、基準点をすべての特徴位置に対して設定し、網羅的に特徴を抽出しておくことで、部分的な特徴の欠損に対してマーカの検出が頑健となる。
さらに、他の特徴抽出方法としては、例えば、画像上の各画素の輝度値、あるいは色差値を特徴とする方法がある。
図5は、図4(c)に示すフレーム画像の特徴点にシリアル番号を付した例を示すものである。
同図に示すように、シリアル番号は、例えば、最も上に位置するものから順番に1,2,3,4,・・・のように付与することができる。
続いて、特徴抽出部21は、特徴点のそれぞれの座標を求める。座標は、特徴空間にX軸とY軸を設定し、Y軸からの距離をX座標、X軸からの距離をY座標とすることができる。
特徴点情報は、同図に示すように、「フレーム画像のシリアル番号」(ア)と、「特徴点のシリアル番号」(イ)と、「特徴点のx座標」(ウ)と、「特徴点のy座標」(エ)を項目として構成することができる。
「フレーム画像のシリアル番号」は、特徴点を抽出したフレーム画像に付された番号を示す。
「特徴点のシリアル番号」は、特徴点の1枚のフレーム画像から抽出された複数の特徴点の一つ一つに付された番号を示す。
「特徴点のx座標」は、特徴空間におけるその特徴点のx座標を示す。
「特徴点のy座標」は、特徴空間におけるその特徴点のy座標を示す。
図7は、検出対象画像の特徴点から背景画像の対応する特徴点を削除した後の特徴空間を模式的に表した図である。
同図に示すように、差分抽出部23によれば、背景画像に本来存在しない物体(対象物体に限らない)の特徴点のみを抽出することができる。
そして、差分抽出部23によって抽出された特徴点の特徴点情報は、不変特徴変換手段30に出力される。
不変特徴変換部31は、特徴点を不変量特徴空間に写像することで不変特徴を取得する。
まず、不変特徴変換部31は、準備段階において、特徴記憶部22の物体記憶領域222から対象物体の特徴点を取り出し不変量特徴空間に写像する。そして、この写像処理によって得た不変特徴の不変特徴情報を不変特徴記憶部32の物体不変記憶領域321に記憶する。
また、不変特徴変換部31は、検出段階において、差分抽出部23から出力された特徴点の情報を受け取り、特徴点を不変量特徴空間に写像する。そして、この写像処理によって取得した不変特徴の不変特徴情報を不変特徴記憶部32の差分不変記憶領域322に記憶する。
例えば、画像の特徴的な部位として点(特徴点)を抽出しその空間(特徴空間)での位置座標情報の系列を図形的特徴とする場合、特徴空間上の特徴点から基準点を選択し、この基準点が不変量特徴空間の基準座標のところにくるように配置し、他のすべての特徴点についても、同一の変換規則で不変量特徴空間に配置することで各特徴点は不変量特徴空間へ写像される。以下、この基準点を「基底」という。そして、「基底」は、背景映像中のオブジェクトの姿勢変化に応じてその数を定めることができる。この数を「基底数」という。
具体的には、姿勢変化が平行移動のみの場合には基底数を1、拡大、縮小もしくは回転のいずれかの姿勢変化が現れる場合には基底数を2、さらにせん断変形が加わる場合には基底数を3とすることができる。
まず、基底数を1とした場合における特徴点の写像方法について図8を参照して説明を行う。
図8(a)に示すように、対象物体のみを撮像したフレーム画像を準備する。すなわち、予め、映像入力部11が、対象物体の画像を入力し、これを映像記憶部12が記憶しておく。なお、各特徴点には、図8(b)に示すように、シリアル番号が付されているものとする。
ここで、不変特徴変換部31は、抽出した複数の特徴点の中から一つの特徴点を基底として定め、この基底が不変量特徴空間の座標(0,0)のところにくるように移動し、この移動量を求め、他のすべての特徴点についても、その移動量で不変量特徴空間に移動する。
例えば、シリアル番号1番の特徴点を基底とし、このシリアル番号1番の特徴点が不変量特徴空間で座標(0,0)のところにくるように、すべての特徴点を平行移動する。これにより、特徴点が不変量特徴空間に写像され同図(c)に示すような不変特徴を得ることができる。
このため、検出段階で、検出対象画像の特徴点を基底数1として不変量特徴空間に写像して比較することにより、入力画像によっては対象物体が平行移動した場合であってもこれを検出することができる。
この場合、不変特徴変換部31は、二つの特徴点を基底として定め、それぞれの基底が不変量特徴空間上の対応する二つの基準座標のところにくるように移動し、これに伴いすべての特徴点を相対的な位置関係を維持しながら不変量特徴空間に移動する。そして、この移動を、すべての特徴点から選択し得る2点の組み合わせからなる各基底について行う。
まず、図9(a)〜(b)に示すように、予め対象物体の画像を入力し、その特徴点を抽出しておく。
ここで、例えば、シリアル番号1番の特徴点を第一基底、シリアル番号2番の特徴点を第二基底とする場合には、第一基底を不変量特徴空間の座標(0,0)に移動し、第二基底を座標(1,0)に移動することに伴って、同一変換規則にしたがって他のすべての特徴点を移動する。これにより、同図(c)に示すような不変特徴を得ることができる。
このため、検出段階で、検出対象画像の特徴点を基底数2として不変量特徴空間に写像して比較することにより、入力画像によっては対象物体が平行移動、回転、拡大・縮小した場合であってもこれを検出することができる。
この場合、不変特徴変換部31は、三つの特徴点を基底として定め、それぞれの基底が不変量空間上の対応する三つの基準座標のところにくるように移動し、これに伴いすべての特徴点を相対的な位置関係を維持しながら不変量特徴空間に移動する。そして、この移動を、すべての特徴点から選択し得る3点の組み合わせからなる各基底について行う。
まず、図10(a)〜(b)に示すように、対象物体画像を準備し、特徴点を抽出する。
ここで、例えば、シリアル番号2番の特徴点を第一基底、シリアル番号3番の特徴点を第二基底、シリアル番号1番の特徴点を第三基底とする場合には、第一基底を不変量特徴空間の座標(0,0)に移動し、第二基底を座標(1,0)に移動し、第三基底を座標(0,1)に移動することに伴って、同一変換規則にしたがって他のすべての特徴点を移動する。これにより、同図(c)に示すような不変特徴を得ることができる。
このため、検出段階で、検出対象画像の特徴点を基底数3として不変量特徴空間に写像して比較することにより、入力画像によっては対象物体が平行移動、回転、拡大・縮小又はせん断変形した場合であってもこれを検出することができる。
これら特徴点群が物体の幾何変形(例えば、平行移動、回転、拡大・縮小、せん断変形など)に対して不変である理由は、他の物体を含む映像中で、特徴点から選択される基底により、得られる不変特徴は、常に一致するためである。
また、不変特徴記憶部32の差分不変記憶領域322は、同様の不変特徴変換によって得た検出対象画像と背景画像の差分にもとづく不変特徴情報を記憶する。
「不変特徴情報」は、図11に示すように、「不変量特徴空間のシリアル番号」(ア)と「不変特徴のシリアル番号」(イ)と「不変特徴のx座標」(ウ)と「不変特徴のy座標」(エ)とを項目として構成することができる。
「不変特徴のシリアル番号」は、複数の不変特徴のそれぞれに付された番号を示す。
「不変特徴のx座標」は、不変量特徴空間におけるその不変特徴のx座標を示す。
「不変特徴のy座標」は、不変量特徴空間におけるその特徴点のy座標を示す。
また、前述した幾何学的不変量の他、物体色の不変量を用いた写像も可能である。
物体の色は、同一物体であっても撮影環境に存在する光源色に依存して、異なった色で撮影されてしまう。画像上から光源色変動の影響を分離して取り除くことができれば、実際の物体色を得ることができる。得られる実際の物体色を物体色不変量として使用してもよい。鏡面反射している箇所は光源色の影響が支配的で、輝度値が光源色成分において飽和しやすいため、これを光源色とみなして、飽和箇所に対応する色成分を不変特徴として選択しないようにしてもよい。
画像の部分領域の輝度分布に対して数値演算を施し得られた数値またはベクトルを特徴量とする。図形的不変量と同様にテクスチャ不変量はカメラと撮影対象との相対位置関係に影響を受けやすいため、この影響を受けにくい特徴量を算出し、テクスチャ不変量とする。例えば、カメラと対象の距離やズームに不変な特徴量は、注目している部分画像を極座標変換し、動径方向にパワースペクトルをとることで実装可能である。さらに、上記パワースペクトルに対して方位角方向に再度パワースペクトルを求めるとカメラの光軸周りの回転に対して不変な特徴量となる。その他、Chi-Man Pun and Moon-Chuen LeeによるIEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 25、NO. 5、MAY 2003記載の「Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification」などの方法を用いてもよい。
照合部41は、不変特徴記憶部32の物体不変記憶領域321と差分不変記憶領域322とからそれぞれ不変特徴情報を取り出し不変特徴の配置の照合を行う。
すなわち、「検出対象画像と背景画像の差分にもとづく不変特徴」の座標と「対象物体の不変特徴」の座標とを照合する。
そして、判定部42は、照合の結果、対応する不変特徴の配置(座標)の一致が認められれば、対象物体を検出したと判定する。
「配置(座標)の一致」は、対応する不変特徴の全ての配置(座標)が一致する場合のみならず、各配置(座標)のうち所定数以上の一致が確認できた場合にこれを認めることもできる。
最初に、検出対象画像に対象物体が含まれる場合について図12を参照して説明する。
まず、映像入力部11は、図12(a)に示す検出対象画像を入力する。
次に、特徴抽出部21は、検出対象画像から特徴点を抽出し、差分抽出部23が、検出対象画像と背景画像の特徴点の差分を抽出する(図12(b))。
続いて、不変特徴変換部31が、この差分の特徴点を不変量特徴空間に写像することで図12(c)に示す不変特徴群を得る。
そして、照合部41は、この不変特徴の不変量特徴空間における座標Aと、対象物体の不変特徴の不変量特徴空間における座標Bとを照合する。
この結果、同図に示すように、双方の不変特徴の配置は一致するため、判定部42は、検出対象画像の中に対象物体が存在するものと判断することができる。
これは、前述したように、特徴点に対して基底を複数(この場合、基底数2とする)選択して不変特徴変換を行うことによって、平行移動のみならず拡大・縮小や回転といった幾何学的変化に対する不変のパターンを予め不変量特徴空間に取得しているからである。
このため、図13に示すように、対象物体の向きや大きさが変化してもこれを確実に検出することができる。
なお、図13(c)に示す不変量特徴空間A及び不変量特徴空間Bは、それぞれ元の画像の特徴点を基底数2として写像したときの不変特徴の配置を模式的に示したものである。ただし、これらの図では、簡単のため、写像する特徴点数を省略している。
この場合も同様に、特徴抽出部21が検出対象画像(図14(a))から特徴点を抽出し、差分抽出部23が背景画像との特徴点の差分を抽出する(図14(b))。
そして、その差分にもとづく不変特徴Aと、対象物体の不変特徴Bとを照合する。
ただし、この場合、図14(c)に示すように、双方の不変特徴の配置は一致しない。
また、図15に示すように、入力した検出対象画像に物体が一切現れない場合がある。
この場合も、特徴抽出部21が検出対象画像(図15(a))から特徴点を抽出し、差分抽出部23が背景画像との特徴点の差分を抽出する(図15(b))。
そして、その差分にもとづく不変特徴Aと、対象物体の不変特徴Bとを照合するが、図15(c)に示すように、これらは一致しない。
したがって、このような場合、判定部42は、対象物体の検出を肯定する判定は行わない。
図16は、物体検出方法の準備段階における手順を示すフローチャートである。
図17は、物体検出方法の検出段階における手順を示すフローチャートである。
図16に示すように、本実施形態の物体検出装置1aは、映像入力手段10の映像入力部11が、背景画像と対象物体の画像を入力する(S101)。入力画像は映像記憶部12に記憶される。
次に、特徴抽出手段20の特徴抽出部21は、映像記憶部12から画像を取り出し特徴点を抽出する(S102)。すなわち、背景画像の特徴点と、対象物体の特徴点を抽出する。
背景画像の特徴点情報として特徴記憶部22の背景記憶領域221に記憶される(S103)。
また、対象物体の特徴点情報は、特徴記憶部22の物体記憶領域222に記憶される。
そして、対象物体の不変特徴情報は不変特徴記憶部32の物体不変記憶領域321に記憶される(S105)。
図17に示すように、本実施形態の物体検出装置1aは、映像入力手段10の映像入力部11が、検出対象画像を入力する(S201)。入力した検出対象画像は映像記憶部12に記憶される。
次に、特徴抽出手段20の特徴抽出部21は、映像記憶部12から検出対象画像を取り出し特徴点を抽出する(S202)。抽出された検出対象画像の特徴点情報は、特徴記憶部22の入力記憶領域223に記憶される。
続いて、差分抽出部23は、入力記憶領域223から検出対象画像の特徴点を取り出すとともに、準備段階において背景記憶領域221に記憶した背景画像の特徴点を取り出す。
そして、差分抽出部23は、検出対象画像の特徴点から背景画像の対応する特徴点を削除して、特徴点の差分を求める(S203)。
そして、対象物体の不変特徴との照合を行う(S205)。
具体的には、比較手段40の照合部41が、差分不変記憶領域322から不変特徴情報を取り出すとともに、物体不変記憶領域321から不変特徴情報を取り出す。そして、取り出した不変特徴情報にもとづき、これらの不変特徴の不変量特徴空間における座標の照合を行う。
そして、さらに物体検出を継続する場合(S207:YES)、S201に戻って同様の処理を繰り返し、物体検出を継続しない場合(S207:NO)、物体検出を終了する。
そして、この照合により、双方の不変特徴の座標の一致が確認された場合、対象物体の検出を認めることができる。
このため、マーカによらずとも対象物体の検出ができ、また、対象物体や背景画像の幾何学的変形にも対応して正確に物体検出を行うことができる。
したがって、利便性や信頼性に優れた物体検出装置を低コストで実現することができる。
次に、本発明の物体検出装置及び物体検出方法の第二実施形態について、図18を参照して説明する。
図18は、本実施形態の物体検出装置の詳細な構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、不変特徴変換部30に特徴を有する。
具体的には、本実施形態の物体検出装置1bは、不変特徴変換部30の不変特徴記憶部32が、物体頻度記憶領域323と差分頻度記憶領域324とを有している。
他の構成要素は第一実施形態と同様である。
したがって、図18において、図2と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
物体頻度記憶領域323は、準備段階において求めた対象物体の不変特徴にもとづき、その頻度分布を記憶する。
具体的には、不変特徴変換部31は、準備段階において物体不変記憶領域321に記憶した対象物体の不変特徴(不変特徴情報)を取り出す。
図19(a)は、物体不変記憶領域321から取り出した対象物体の不変特徴を不変量特徴空間に表した模式図である。
この区画は、図19(b)に示すように、不変量特徴空間の一部の領域を対象としても良く、全体を対象としても良い。領域を一部に絞り込むことで演算負荷の軽減を図ることができ、他方、全体を対象とすることで精度の向上を図ることができる。
続いて、不変特徴変換部31は、図19(c)に示すように、区画ごとに不変特徴の数(頻度分布)を求める。
そして、不変特徴変換部31は、求めた対象物体の不変特徴の頻度分布を物体頻度記憶領域323に記憶する。
具体的には、不変特徴変換部31は、差分記憶領域322に記憶されている不変特徴を取り出し、その頻度分布を求める。すなわち、検出対象画像の特徴点から背景画像の対応する特徴点を差し引いた後の特徴点を不変量特徴空間に写像し、これにより得た不変特徴にもとづいてその頻度分布を求める。
そして、不変特徴変換部31は、求めた不変特徴の頻度分布情報を差分頻度記憶領域324に記憶する。
なお、「頻度分布情報」は、例えば、不変量特徴空間における各区画の位置座標や各区画に配置された不変特徴の数によって構成される。
具体的には、双方の頻度分布のうち対応する区画に配置された不変特徴数の一致(すなわち、頻度分布の一致)が認められれば、検出対象物体を検出したものと判定する。
「頻度分布の一致」は、対応する不変特徴の全ての区画の頻度が一致する場合のみならず、所定数以上の区画における頻度の一致が確認できた場合にこれを認めることもできる。
最初に、検出対象画像に対象物体が含まれる場合について図20を参照して説明する。
まず、映像入力部11は、図20(a)に示す検出対象画像を入力する。
次に、特徴抽出部21は、検出対象画像から特徴点を抽出し、差分抽出部23が、検出対象画像と背景画像の特徴点の差分を抽出する(図20(b))。
続いて、不変特徴変換部31が、この差分の特徴点を不変量特徴空間に写像することで図20(c)に示す不変特徴群を得る。
そして、照合部41は、この不変特徴の頻度分布Aと、対象物体の不変特徴の頻度分布Bとを照合する。
この結果、同図に示すように、双方の不変特徴の各区画における不変特徴数は一致するため、判定部42は、検出対象画像の中に対象物体が存在するものと判断することができる。
これは、第一実施形態において図13を参照しながら説明した理由と同じである。
ただし、第一実施形態の場合、座標値の完全一致が原則となるが、本実施形態の場合、座標にもとづく区画が比較基準となるため、第一実施形態に比べ一致判定の許容を広く設定することができる。
この場合も同様に、特徴抽出部21が検出対象画像(図22(a))から特徴点を抽出し、差分抽出部23が背景画像との特徴点の差分を抽出する(図22(b))。
次いで、不変特徴変換部31が、その差分の特徴点を不変量特徴空間に写像して不変特徴を求める(図22(c))。
続いて、不変特徴変換部31が、その不変特徴が存在する不変量特徴空間を区分けして不変特徴の数を求めることで図22(d)に示す頻度分布を得る。
そして、その差分にもとづく不変特徴の頻度分布Aと、対象物体の不変特徴の頻度分布Bとを照合する。
ただし、この場合、同図に示すように、双方の不変特徴に頻度分布は一致しない。
この場合も、特徴抽出部21が検出対象画像(図23(a))から特徴点を抽出し、差分抽出部23が背景画像との特徴点の差分を抽出する(図23(b))。
次いで、不変特徴変換部31が、その差分の特徴点を不変量特徴空間に写像して不変特徴を求める(図23(c))。
続いて、不変特徴変換部31が、その不変特徴が存在する不変量特徴空間を区分けして不変特徴の数を求めることで図23(d)に示す頻度分布を得る。
そして、その差分にもとづく不変特徴の頻度分布Aと、対象物体の不変特徴の頻度分布Bとを照合するが、同図に示すように、これらの分布は一致しない。
したがって、このような場合、判定部42は、対象物体の検出を肯定する判定は行わない。
この場合、頻度の完全一致でなくても不変特徴の頻度分布の所定数以上の区画において一致が確認できた場合や、対応する頻度数が近似する場合に対象物体の検出を肯定的に認めることができる。
また、不変量特徴空間における頻度分布の区画幅を変更することによって、物体検出の精度を調整することができる。
図24は、物体検出方法の準備段階における手順を示すフローチャートである。
図25は、物体検出方法の検出段階における手順を示すフローチャートである。
図24に示すように、本実施形態の物体検出装置1bは、映像入力手段10の映像入力部11が、背景画像と対象物体の画像を入力する(S301)。入力画像は映像記憶部12に記憶される。
次に、特徴抽出手段20の特徴抽出部21は、映像記憶部12から画像を取り出し特徴点を抽出する(S302)。すなわち、背景画像の特徴点と、対象物体の特徴点とを抽出する。
背景画像の特徴点情報は、特徴記憶部32の背景記憶領域221に記憶される(S303)。
また、対象物体の特徴点情報は、特徴記憶部22の物体記憶領域222に記憶される。
次いで、対象物体の不変特徴情報は、不変特徴記憶部32の物体不変記憶領域321に記憶される(S305)。
そして、不変特徴変換部31は、物体不変記憶領域321から対象物体の不変特徴を取り出しその頻度分布を求め、その頻度分布情報を不変特徴記憶部32の物体頻度記憶領域323に記憶する(S306)。
図25に示すように、本実施形態の物体検出装置1bは、映像入力手段10の映像入力部11が、検出対象画像を入力する(S401)。入力した検出対象画像は映像記憶部12に記憶される。
次に、特徴抽出手段20の特徴抽出部21は、映像記憶部12から検出対象画像を取り出し特徴点を抽出する(S402)。抽出された検出対象画像の特徴点情報は、特徴記憶部22の入力記憶領域223に記憶される。
続いて、差分抽出部23は、入力記憶領域223から検出対象画像の特徴点を取り出すとともに、準備段階において背景記憶領域221に記憶した背景画像の特徴点を取り出す。
そして、差分抽出部23は、検出対象画像の特徴点から背景画像の対応する特徴点を削除して、特徴点の差分を求める(S403)。
続いて、不変特徴変換部31は、差分不変記憶領域322から不変特徴を取り出して頻度分布を求め、その頻度分布情報を差分頻度記憶領域326に記憶する(S405)。
そして、対象物体の不変特徴の頻度分布との照合を行う(S406)。
具体的には、比較手段40の照合部41が、差分頻度記憶領域326から不変特徴の頻度分布情報を取り出すとともに、物体頻度記憶領域323から不変特徴の頻度分布情報を取り出す。そして、取り出した不変特徴の頻度分布情報にもとづき、これらの頻度分布が一致するか否かを照合する。
そして、さらに物体検出を継続する場合(S408:YES)、S401に戻って同様の処理を繰り返し、物体検出を継続しない場合(S408:NO)、物体検出を終了する。
特に、本実施形態においては、対象物体の検出判定を、不変量特徴空間に現れる不変特徴の区画ごとの数が一致するか否かによって行うようにしている。
このため、座標の一致を対象物体の検出条件として求める第一実施形態に比べ、一致度に許容をもたせることができる。
このため、例えば、画像の乱れやノイズ等に起因する不変特徴座標の微細なズレを無効化することも可能である。
また、一致度の許容範囲については、不変量特徴空間における区画幅を変更することで、物体検出の精度を自在に調整することが可能である。
次に、本発明の物体検出装置及び物体検出方法の第三実施形態について、図26及び図27を参照して説明する。
図26は、本実施形態の物体検出装置の構成を示すブロック図である。
また、図27は、本実施形態の物体検出装置の詳細な構成を示すブロック図である。
本実施形態の物体検出装置1cは、図26に示すように、特異特徴選択手段50を備える点で、前述の第一実施形態及び第二実施形態と異なる。
つまり、本実施形態では、前述した実施形態の物体検出装置の物体検出における判定精度をより高めることを目的としている。他の構成要素は第一実施形態と同様である。
したがって、図26及び図27において、図1及び図2と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
背景不変記憶領域325は、準備段階において、背景画像の特徴点を不変量特徴空間に写像して得た不変特徴の情報を記憶する。
背景頻度記憶領域326は、準備段階において、背景不変記憶領域325に記憶した背景画像の不変特徴にもとづく頻度分布情報を記憶する。
入力頻度記憶領域327は、検出段階において、検出対象画像の特徴点を不変量特徴空間に写像して得た不変特徴の頻度分布を記憶する。
そして、この写像によって取得した不変特徴の頻度分布情報を不変特徴記憶部32の背景頻度記憶領域325に記憶する。
特異特徴選択部51は、準備段階において、不変特徴記憶部32の背景頻度記憶領域325から背景画像に関する不変特徴の頻度分布情報を取り出す。
そして、特異特徴選択部51は、取り出した不変特徴の頻度分布情報を分析し、不変特徴数が所定数以下である区画を特異特徴として選択する。
図28は、背景画像から導き出された特異特徴を示す模式図である。
同図に示すように、不変特徴数が「0」の区画を特異特徴として選択することができる。
このように、特異特徴選択部51は、所定の画像から抽出した特徴点群が現れていない特徴空間の部分にもとづく不変特徴から特異特徴を選択することができる。
そして、検出段階において、照合部41は、不変特徴記憶部32の入力頻度記憶領域326から検出対象画像の不変特徴の頻度分布情報を取り出すとともに、特異特徴記憶部52に予め記憶した背景画像の特異特徴情報を取り出し、これらを照合する。
これにより、他の判定方法により対象物体の検出がある程度認められている場合には、その判定をより肯定的に認めることができる。
このため、前述の実施形態に係る物体検出方法と組み合わせることで対象物体をより正確に検出することができる。
つまり、前述の実施形態の物体検出装置1a、1bに、本実施形態特有の構成を加えることで、極めて検出精度の優れた物体検出装置を実現することができる。
図29は、物体検出方法の準備段階における手順を示すフローチャートである。
図30は、物体検出方法の検出段階における手順を示すフローチャートである。
図29に示すように、本実施形態の物体検出装置1cは、映像入力手段10の映像入力部11が、背景画像と対象物体の画像を入力する(S501)。入力画像は映像記憶部12に記憶される。
特徴抽出手段20の特徴抽出部21は、映像記憶部12から画像を取り出し特徴点を抽出する(S502)。すなわち、背景画像の特徴点と、対象物体の特徴点とを抽出する。
背景画像の特徴点情報は、特徴記憶部32の背景記憶領域221に記憶される。
また、対象物体の特徴点情報は、特徴記憶部32の物体記憶領域222に記憶される(S503)。
対象物体の不変特徴情報は、不変特徴記憶部32の物体不変記憶領域321に記憶される(S505)。
また、不変特徴変換部31は、特徴記憶部22の背景記憶領域221から背景画像の特徴点を取り出し、不変量特徴空間に写像する(S507)。これにより、背景画像の特徴点は不変特徴に変換され、この不変特徴情報は不変特徴記憶部32の背景不変記憶領域325に記憶される。
次いで、不変特徴変換部31は、背景画像の不変特徴の頻度分布を求め、その情報を背景頻度記憶領域325に記憶する(S508)。
図30に示すように、本実施形態の物体検出装置1cは、映像入力手段10の映像入力部11が、検出対象画像を入力する(S601)。入力した画像は映像記憶部12に記憶される。
次に、特徴抽出手段20の特徴抽出部21は、映像記憶部12から検出対象画像を取り出し特徴点を抽出する(S602)。抽出された特徴点の特徴点情報は、特徴記憶部22の入力記憶領域223に記憶される。
続いて、差分抽出部23は、入力記憶領域223から検出対象画像の特徴点を取り出すとともに、準備段階において背景記憶領域221に記憶した背景画像の特徴点を取り出す。
そして、差分抽出部23は、検出対象画像の特徴点から背景画像の対応する特徴点を削除して、特徴点の差分を求める(S603)。
そして、対象物体の不変特徴の頻度分布との照合を行う(S605)。
具体的には、比較手段40の照合部41が、差分頻度記憶領域326から不変特徴の頻度分布情報を取り出すとともに、物体頻度記憶領域323から不変特徴の頻度分布情報を取り出す。そして、取り出した不変特徴の頻度分布情報にもとづき、これらの頻度分布が一致するか否かを照合する。
具体的には、照合部41が、特異特徴記憶部52に記憶した背景画像の特異特徴情報を取り出すとともに、入力頻度記憶領域327に記憶した検出対象画像に関する不変特徴の頻度情報を取り出す。
そして、背景画像の特異特徴の部分に、検出対象画像の不変特徴が1以上検出されれば、判定部42が対象物体を検出したものと判定する(S607)。
一方、S605やS606において照合が一致しない場合、対象物体の検出は行わない、つまり、この場合、特段の処理は行わずにS608に進む。
そして、さらに物体検出を継続する場合(S608:YES)、S601に戻って同様の処理を繰り返し、物体検出を継続しない場合(S608:NO)、物体検出を終了する。
したがって、物体検出における判定精度をより高めることができる。
次に、本発明の物体検出装置及び物体検出方法の第四実施形態について、図31を参照して説明する。
図31は、本実施形態の物体検出装置の詳細な構成を示すブロック図である。
本実施形態の物体検出装置1dは、図31に示すように、比較手段40が数判定部43を備えるところに特徴を有する。
すなわち、物体そのものの検出に加え、その物体の数を検出することを目的としている。他の構成要素は第一実施形態と同様である。
したがって、図31において、図2と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。
以下、本実施形態に係る物体の数判定の具体的な方法について図32を参照しながら説明を行う。
ここで、映像入力部11は、対象物体を複数含むフレーム画像(図32(a))を検出対象画像として入力し、映像記憶部12に記憶する。
特徴抽出部21は、検出対象画像から特徴点を抽出し、差分抽出部23が検出対象画像と背景画像の特徴点の差分を抽出する(図32(b))。
続いて、不変特徴変換部31が、この差分の特徴点を不変量特徴空間に写像することで図32(c)に示す不変特徴群を得る。なお、本実施形態の場合、基底は1点として不変特徴変換を行う。
そして、比較手段40の数判定部43は、不変特徴記憶部32の物体頻度記憶領域323に記憶した対象物体の不変特徴の頻度分布を取り出し、照合を行う。
ただし、この照合は、不変量特徴空間の原点を中心とした一定領域の範囲で行う。具体的には、単体の対象物体から抽出される各特徴点のうち最も離れた2点の特徴点情報を取り出し、この2点間におけるx軸方向の最大距離とy軸方向の最大距離を求め、それぞれの距離を不変量特徴空間の原点を基準としたx軸の±方向の照合範囲、y軸方向の±方向の照合範囲とする。
この結果、同図に示すように、数判定部43は、検出対象画像に関する区画ごとの不変特徴の数が、対象物体の対応する区画の不変特徴の数の2倍になることを認識することができる。
このような場合、数判定部43は、対象物体を2個検出したものと判定することができる。
また、対象物体が複数個、検出対象画像に現れる場合、対象物体同士は一定距離離れていることが条件となる。具体的には、単体の対象物体から抽出される各特徴点のうち最も離れた2点の特徴点間の距離分だけ、対象物体が離れていることを条件とする。
これにより、不変量特徴空間において不変特徴が重複することによって発生する数の誤差をなくすことができ、正確に対象物体の数を検出することができる。
図33は、本実施形態の物体検出方法の手順を示すフローチャートである。
なお、本実施形態における準備段階の処理については、前述の第二実施形態又は第三実施形態と同様であるため詳細な説明は省略する。
次に、特徴抽出手段20の特徴抽出部21は、映像記憶部12から検出対象画像を取り出し特徴点を抽出する(S702)。抽出された検出対象画像の特徴点情報は、特徴記憶部22の入力記憶領域223に記憶される。
続いて、差分抽出部23は、入力記憶領域223から検出対象画像の特徴点を取り出すとともに、準備段階において背景記憶領域221に記憶した背景画像の特徴点を取り出す。
そして、差分抽出部23は、検出対象画像の特徴点から背景画像の対応する特徴点を削除して、特徴点の差分を求める(S703)。
そして、対象物体の不変特徴の頻度分布との照合を行う(S705)。
具体的には、比較手段40の照合部41が、差分頻度記憶領域326から不変特徴の頻度分布情報を取り出すとともに、物体頻度記憶領域323から不変特徴の頻度分布情報を取り出す。そして、取り出した不変特徴の頻度分布情報にもとづき、これらの頻度分布が一致するか否かを照合する。
一方、照合が一致しない場合(S705:NO)、対象物体の不変特徴の頻度分布を整数倍して照合を行う(S707)。
具体的には、数判定部43が、物体頻度記憶領域323に記憶した対象物体の不変特徴の頻度分布を取り出し、各区画の頻度をともに所定の範囲で整数倍しながら繰り返し照合を行う。この照合の際に用いる整数の範囲としては、例えば、最小値が2(又は1)で、最大値は差分として現れた特徴点の数の範囲で行うことができる。
一方、S707においても照合が一致しなかった場合(S707:不一致)、対象物体の検出は行わない。つまり、特段の処理は行わずにS709に進む。
そして、さらに物体検出を継続する場合(S709:YES)、S701に戻って同様の処理を繰り返し、物体検出を継続しない場合(S709:NO)、物体検出を終了する。
このため、前述の実施形態と同様の作用・効果を奏するのみならず、さらに利便性に優れた物体検出装置を実現することができる。
次に、物体検出プログラムについて説明する。
上記の各実施形態におけるコンピュータ(物体検出装置)の物体検出機能は、記憶手段(例えば、ROM(Read Only Memory)やハードディスクなど)に記憶された物体検出プログラムにより実現される。
これによって、物体検出機能は、ソフトウェアである物体検出プログラムとハードウェア資源であるコンピュータ(物体検出装置)の各構成手段とが協働することにより実現される。
外部記憶装置とは、CD−ROM(Compact disc−Read Only Memory)等の記録媒体を内蔵し、物体検出装置に外部接続されるメモリ増設装置をいう。一方、可搬記録媒体とは、記録媒体駆動装置(ドライブ装置)に装着でき、かつ、持ち運び可能な記録媒体であって、例えば、フレキシブルディスク、メモリカード、光磁気ディスク等をいう。
さらに、コンピュータで物体検出プログラムをロードする場合、他のコンピュータで保有された物体検出プログラムを、通信回線を利用して自己の有するRAMや外部記憶装置にダウンロードすることもできる。このダウンロードされた物体検出プログラムも、CPUにより実行され、上記各実施形態の物体検出装置の物体検出機能を実現する。
また、対象物体の姿勢変化や入力画像の歪みに対応した物体検出も可能である。
さらに、対象物体の検出をより高める構成を加えることも可能である。
また、複数の対象物体を検出することも可能である。
例えば、前述した各実施形態において、特徴抽出手段20が特徴記憶部23を有し、不変特徴変換手段30が不変特徴記憶部32を有する構成となっているが、これら記憶部は他の構成要素に含まれる構成であっても良く、また、記憶部が独立した構成であっても良い。また、これら記憶部が、外部の記憶装置によって実現される態様であっても良い。
10 映像入力手段
20 特徴抽出手段
22 特徴記憶部
23 差分抽出部
30 不変特徴変換手段
32 不変特徴記憶部
40 比較手段
43 数判定部
50 特異特徴選択手段
Claims (5)
- 検出対象画像を入力する映像入力部と、
入力した検出対象画像から特徴点を抽出する特徴抽出部と、
抽出した特徴点を不変量特徴空間に表す不変特徴変換部と、
対象物体を含まない背景画像の特徴点を記憶する特徴記憶部と、
前記対象物体の特徴点を不変量特徴空間に表した不変特徴の配置を記憶する不変特徴記憶部と、
検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した各不変特徴の配置の全部又は所定数以上の部分が、前記対象物体の特徴点を不変量特徴空間に表した不変特徴の配置と一致する場合に対象物体を検出したものと判定する比較手段と、を備え、
前記背景画像の特徴点を不変量特徴空間に表した不変特徴の頻度分布のうち頻度が所定値以下の部分を特異特徴として選択する特異特徴選択手段を備える場合、
前記比較手段は、
検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した不変特徴が前記特異特徴の部分に現れた場合に、前記対象物体を検出したものと判定する
ことを特徴とする物体検出装置。 - 前記不変特徴記憶部は、
前記対象物体の特徴点を不変量特徴空間に表した不変特徴の頻度分布を記憶し、
前記比較手段は、
検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した不変特徴の各頻度分布の全部又は所定数以上の部分が、前記対象物体の特徴点を不変量特徴空間に表した不変特徴の頻度分布と一致する場合に対象物体を検出したものと判定する
ことを特徴とする請求項1記載の物体検出装置。 - 前記比較手段は、
検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した不変特徴の所定領域における頻度分布の全部又は所定数以上の部分が、前記対象物体の特徴点を不変量空間に表した不変特徴の各頻度に整数を乗じた頻度分布と一致する場合に当該整数の個数の対象物体を検出したものと判定する
ことを特徴とする請求項2記載の物体検出装置。 - 検出対象画像を入力する工程と、
入力した検出対象画像から特徴点を抽出する工程と、
抽出した特徴点を不変量特徴空間に表す工程と、
対象物体を含まない背景画像の特徴点を記憶する工程と、
前記対象物体の特徴点を不変量特徴空間に表した不変特徴の配置を記憶する工程と、
検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した各不変特徴の配置の全部又は所定数以上の部分が、前記対象物体の特徴点を不変量特徴空間に表した不変特徴の配置と一致する場合に対象物体を検出したものと判定する比較工程と、を備え、
前記背景画像の特徴点を不変量特徴空間に表した不変特徴の頻度分布のうち頻度が所定値以下の部分を特異特徴として選択する工程を備える場合、
前記比較工程は、
検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した不変特徴が前記特異特徴の部分に現れた場合に、前記対象物体を検出したものと判定する
ことを特徴とする物体検出方法。 - 物体検出装置を、
検出対象画像を入力する手段、
入力した検出対象画像から特徴点を抽出する手段、
抽出した特徴点を不変量特徴空間に表す手段、
対象物体を含まない背景画像の特徴点を記憶する手段、
前記対象物体の特徴点を不変量特徴空間に表した不変特徴の配置を記憶する手段と、
検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した各不変特徴の配置の全部又は所定数以上の部分が、前記対象物体の特徴点を不変量特徴空間に表した不変特徴の配置と一致する場合に対象物体を検出したものと判定する比較手段と、として機能させ、
前記背景画像の特徴点を不変量特徴空間に表した不変特徴の頻度分布のうち頻度が所定値以下の部分を特異特徴として選択する特異特徴選択手段として機能させる場合、
前記比較手段に、
検出対象画像の特徴点から前記背景画像の対応する特徴点を減じたものを不変量特徴空間に表した不変特徴が前記特異特徴の部分に現れた場合に、前記対象物体を検出したものと判定させる
ことを特徴とする物体検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009171839A JP5347798B2 (ja) | 2009-07-23 | 2009-07-23 | 物体検出装置、物体検出方法及び物体検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009171839A JP5347798B2 (ja) | 2009-07-23 | 2009-07-23 | 物体検出装置、物体検出方法及び物体検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011028419A JP2011028419A (ja) | 2011-02-10 |
JP5347798B2 true JP5347798B2 (ja) | 2013-11-20 |
Family
ID=43637117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009171839A Expired - Fee Related JP5347798B2 (ja) | 2009-07-23 | 2009-07-23 | 物体検出装置、物体検出方法及び物体検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5347798B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5519556B2 (ja) * | 2011-03-09 | 2014-06-11 | Kddi株式会社 | 解析対象画像の中から参照画像に基づく物体を認識する画像解析装置、サーバ、プログラム及び方法 |
JP6372282B2 (ja) * | 2014-09-26 | 2018-08-15 | 富士通株式会社 | 画像処理装置、画像処理方法及びプログラム |
EP4266186A4 (en) * | 2020-12-16 | 2024-01-17 | Fujitsu Limited | INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING DEVICE |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4605445B2 (ja) * | 2004-08-24 | 2011-01-05 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4429298B2 (ja) * | 2006-08-17 | 2010-03-10 | 独立行政法人産業技術総合研究所 | 対象個数検出装置および対象個数検出方法 |
EP2120211B1 (en) * | 2007-01-23 | 2020-07-29 | NEC Corporation | Marker generating system and method |
-
2009
- 2009-07-23 JP JP2009171839A patent/JP5347798B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011028419A (ja) | 2011-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018133130A1 (en) | 3d marker model construction and real-time tracking using monocular camera | |
US8655076B2 (en) | Marker generating and marker detecting system, method and program | |
US9741121B2 (en) | Photograph localization in a three-dimensional model | |
JP5261501B2 (ja) | 不変の視覚場面及び物体の認識 | |
JP2006252162A (ja) | パターン認識装置及びその方法 | |
JPWO2014061372A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5468824B2 (ja) | 3次元における形状の一致を判定する方法および装置 | |
JP6172432B2 (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
JP5700221B2 (ja) | マーカ判定装置、マーカ判定検出システム、マーカ判定検出装置、マーカ、マーカ判定方法及びそのプログラム | |
JP5700220B2 (ja) | マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム | |
JP5347798B2 (ja) | 物体検出装置、物体検出方法及び物体検出プログラム | |
CN111354038A (zh) | 锚定物检测方法及装置、电子设备及存储介质 | |
JP6086491B2 (ja) | 画像処理装置およびそのデータベース構築装置 | |
JP2015045919A (ja) | 画像認識方法及びロボット | |
Martínez et al. | Object recognition for manipulation tasks in real domestic settings: A comparative study | |
JP2015184743A (ja) | 画像処理装置および物体認識方法 | |
JP6946912B2 (ja) | 推定プログラム、推定装置、及び推定方法 | |
EP3767589A1 (en) | Information processing device, information processing method, and program | |
JP5272944B2 (ja) | マーカ検出装置、マーカ生成検出システム、マーカ生成検出装置、マーカ検出方法及びマーカ検出プログラム | |
JP6085160B2 (ja) | 物体認識システム | |
US20230113384A1 (en) | Method of operating a medical imaging system, method of simulating a partial deformation of a three-dimensional model of an organ, medical imaging system and software program product | |
Badr et al. | SIFT-EST-a SIFT-based feature matching algorithm using homography estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130805 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5347798 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |