JP3688377B2 - 画像特徴追跡装置及び画像特徴追跡方法 - Google Patents
画像特徴追跡装置及び画像特徴追跡方法 Download PDFInfo
- Publication number
- JP3688377B2 JP3688377B2 JP01580696A JP1580696A JP3688377B2 JP 3688377 B2 JP3688377 B2 JP 3688377B2 JP 01580696 A JP01580696 A JP 01580696A JP 1580696 A JP1580696 A JP 1580696A JP 3688377 B2 JP3688377 B2 JP 3688377B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- feature point
- motion vector
- image feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像特徴追跡装置及び画像特徴追跡方法に関し、特に、局所相関演算を用いる画像特徴追跡装置及び画像特徴追跡方法に関する。
ビルなどでの侵入者監視システム、車両交通量の監視システム、人工衛星の追尾システム、動物の行動を長時間に渡って観察する科学観察システム等では、画像中のターゲットの動きを時々刻々追跡する画像特徴追跡技術が必要である。また、将来、自動車や移動ロボットが自律走行するためには、歩行者等の移動するターゲットを検知・追跡する画像特徴追跡技術が必要とされる。一つの物体上に複数のターゲット（例えば飛行機の左右の翼の先端と、前方の最先端と、そして尾翼先端などの特徴点）を設定し各ターゲットの動きを追跡した結果を用いて、その物体の３次元運動を計算する視覚計測技術も、将来期待される画像特徴追跡技術である。
【０００２】
【従来の技術】
従来、画像だけから物体を追跡するためには、識別しやすい専用のマークや専用の色プレートを物体に取付けていた。これらを用いれば、簡単な画像処理で高速な追跡処理を実現できる。しかし、マーク等を取付けなければならないため、適用範囲が限られていた。
【０００３】
これに対して、近年では、局所相関演算（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ）を用いた画像特徴追跡装置が実用化されている。図１２に、従来の局所相関演算を用いた画像特徴追跡装置の原理を説明する図を示す。図１２において、フレームｆはある時刻における画像フレームであり、フレームｇは次の画像フレームである。
【０００４】
この従来の画像特徴追跡装置では、始めに、フレームｆにおいて、追跡すべきターゲットの局所画像が、参照ブロックＲとして設定される。ただし、参照ブロックＲの各画素の座標は、（ｘ＝１〜ｍ，ｙ＝１〜ｎ）で表されている。参照ブロックＲは、テンプレートと称される。次に、フレームｇにおいて、同じ大きさの局所画像が候補ブロックＣとして設定される。ただし、各画素の座標は、（ｕ＋ｘ，ｖ＋ｙ）で表され、ｕ，ｖは、参照ブロックＲの位置からの相対座標である。そして、参照ブロックＲと候補ブロックＣとの相関（ｍａｔｃｈｉｎｇ）Ｄ（ｕ，ｖ）が、候補ブロックＣの位置を探索ブロックＳの範囲内（−ｐ≦ｕ≦＋ｑ，−ｐ≦ｖ≦＋ｑ）で変えながら計算される。
【０００５】
ここで、相関値が最大となる候補ブロックの位置から、両フレーム間でのターゲットの移動量を算出することができる。以上の処理を繰り返すことで、追跡処理を実現できる。なお、参照ブロックを取り出す画像を参照画像と呼び、候補ブロックを取り出す画像を探索画像と呼ぶ。局所相関演算を用いた画像特徴追跡装置は、専用のマークを用いる必要がないため、様々な用途に適用することが可能である。
【０００６】
局所相関演算は、具体的には以下の式で示される。
【０００７】
【数１】
【０００８】
ここで、Ｃ（ｕ＋ｘ，ｖ＋ｙ）、Ｒ（ｘ，ｙ）は、各ブロック内の各画素の強度を示す。このアルゴリズムでは、２つの局所画像の差の絶対値の積分和が計算されており、その積分和が小さい程、相関値が大きいとみなすことができる。従って、Ｄ（ｕ，ｖ）が最小となる場合の（ｕ，ｖ）が、ターゲットの移動量を表す。
【０００９】
追跡モードとして、固定テンプレートモードと逐次テンプレートモードが開発されている。固定テンプレートモードは、特定のパターンを追跡するために使用される。逐次テンプレートモードは、湯気の動きを把握したり、侵入者の存在を感知したりするために使用される。局所相関演算を用いた従来の画像特徴追跡装置は、固定テンプレートモードを使用している。
【００１０】
固定テンプレートモードでは、まず物体の参照画像（テンプレート画像）を取得し保存した後に、逐次入力される探索画像との相関が計算される。即ち、参照画像は特定の時刻ｆ０において取得され、候補ブロックは時刻ｆ，ｆ＋１，ｆ＋２，・・・において順次更新される。このとき、時刻ｆ０における参照画像と時刻ｆにおける候補ブロックとの相関、時刻ｆ０における参照画像と時刻ｆ＋１における候補ブロックとの相関、時刻ｆ０における参照画像と時刻ｆ＋２における候補ブロックとの相関・・・が順次的に計算される。一連の計算において、一つのテンプレートに対して相関演算（ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ）が行われるため、テンプレートに含まれる特定のパターンを追跡し続けることができる。
【００１１】
一方、逐次テンプレートモードでは、任意の物体の局所画像の瞬間的な動きベクトルが計測される。このモードでは、特定のテンプレートは設定されず、連続する２つのフレーム間で相関演算を繰り返される。即ち、時刻ｆにおける画像と時刻ｆ＋１における候補ブロックとの相関、時刻ｆ＋１における画像と時刻ｆ＋２における候補ブロックとの相関、時刻ｆ＋２における画像と時刻ｆ＋３における候補ブロックとの相関・・・が順次的に計算される。このモードを応用すれば、移動物体を検知したり、多数の動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ、オプティカルフローとも称される）を集めて、３次元運動パラメータを計算したりすることができる。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述した従来の局所相関演算を用いた画像特徴追跡装置には次のような問題点がある。
従来の局所相関演算を用いた画像特徴追跡装置は、特定の物体を追跡しようとする場合、物体が回転した時や、カメラと物体の距離が変化し物体の画像パターンが伸縮した時に、追跡が不安定化するという問題がある。
【００１３】
従来の画像特徴追跡装置において、特定の物体の追跡は、固定テンプレートモードを用いて行われている。固定テンプレートモードでは、単に固定のテンプレート画像と候補ブロックとが一致する場所を画像内で探索するだけなので、物体が回転・伸縮すると原理的に正しい探索結果が得られない。
【００１４】
本発明の目的は、上記の問題点を鑑みて、追跡すべきターゲットが回転及び伸縮する場合であっても、安定に追跡を行なえる画像特徴追跡装置及び画像特徴追跡方法を提供する。
【００１５】
【課題を解決するための手段】
上記課題を解決するために本発明では、下記の手段を講じたことを特徴とするものである。
請求項１記載の発明装置では、
特定の物体を追跡する画像特徴追跡装置であって、
物体の画像から少なくとも１つの特徴点を抽出する特徴点抽出手段と、
異なる時刻における前記物体の画像の２つのフレームの相関演算を行ない、前記特徴点の概略動きベクトルを算出する相関演算手段と、
前記特徴点抽出手段によって抽出した前記特徴点の位置に基づいて、前記相関演算手段において算出した前記概略動きベクトルを微少範囲に限定して修正する動きベクトル補正手段と
を有し、前記動きベクトル補正手段によって修正された物体の動きベクトルから、前記物体の位置を検出できることを特徴とする。
【００１６】
請求項２記載の発明装置では、
請求項１記載の画像特徴追跡装置において、前記特徴点抽出手段は、画像の画素の濃度勾配に基づいて算出した固有値によって前記特徴点を表す手段を有し、前記相関演算手段は、連続した前記２つのフレームの第１のブロック画像と第２のブロック画像との局所相関を計算する手段と、前記局所相関が最も高くなる場合の前記第２のブロック画像における特徴点の位置を前記概略動きベクトルとして算出する手段とを有し、
前記動きベクトル手段は、前記２つのフレームの画像における各々の特徴点の位置の偏差を、前記概略動きベクトルに加えて補正する手段を有することを特徴とする。
【００１８】
請求項３記載の発明装置では、
請求項１乃至２のうちいずれか１項記載の画像特徴追跡装置において、前記動きベクトル補正手段から出力された複数の前記動きベクトルに基づいて複数の前記特徴点の位置の中心を算出する手段をさらに有し、前記複数の特徴点の位置の中心を物体の代表点として前記物体の移動量が算出されることを特徴とする。
請求項４記載の発明装置では、
請求項３記載の画像特徴追跡装置において、前記動きベクトル補正手段から出力された複数の前記動きベクトルに基づいて前記物体の回転及び伸縮量を算出する手段をさらに有することを特徴とする。
【００２０】
請求項５記載の発明方法では、
特定の物体を追跡する画像特徴追跡方法であって、
（ａ）物体の画像から少なくとも１つの特徴点を抽出し、
（ｂ）異なる時刻における前記物体の画像の２つのフレームの相関演算を行ない、前記特徴点の概略動きベクトルを算出し、
（ｃ）段階（ａ）において抽出した前記特徴点の位置に基づいて、段階（ｂ）において算出した前記概略動きベクトルを微少範囲に限定して修正する
各段階を備え、前記段階（ｃ）において修正された物体の動きベクトルから、前記物体の位置を検出できることを特徴とする。
【００２１】
以上の発明は、以下のように作用する。
請求項１乃至２のうちいずれか１項記載の画像特徴追跡装置、及び請求項５記載の画像特徴追跡方法においては、逐次的に設定されたテンプレートに基づいて算出された物体の概略動きベクトルが、抽出された特徴点に基づいて微少範囲に限定して補正される。従って、追跡すべき物体が回転、伸縮、及び変形した場合でも、本装置は前記物体を安定に追跡することができる。
【００２２】
請求項３記載の画像特徴追跡装置においては、前記複数の特徴点の位置の中心を物体の代表点として前記物体の移動量が算出される。従って、追跡すべき物体が回転、伸縮、及び変形した場合でも、物体の並進量を計測することができる。
請求項４記載の画像特徴追跡装置においては、追跡すべき物体が回転、及び伸縮した場合でも、物体の並進量と回転及び伸縮量を計測することができる。
【００２４】
【発明の実施の形態】
始めに、本発明の画像特徴追跡装置及び画像特徴追跡方法の原理について説明する。図１は、本発明の画像特徴追跡装置の基本的なブロック系統図である。本発明の画像特徴追跡装置は、相関演算部１と、特徴点抽出部２と、動きベクトル補正部３とで構成される。
【００２５】
相関演算部１では、逐次テンプレートモードが使用されている。従って、相関演算部１には、時刻ｆ−１のフレームにおける画像ブロックと、時刻ｆのフレームにおける画像ブロックと、時刻ｆ−１のフレームにおける画像ブロックの位置が供給される。時刻ｆ−１のフレームにおける画像ブロックとして、物体の位置をより容易に検出するための目印となる特徴点（ｆｅａｔｕｒｅ）が使用される。
【００２６】
相関演算部１は、上記の２フレームの画像ブロックと、時刻ｆ−１のフレームにおける画像ブロックの特徴点位置とから、逐次テンプレートモードによる局所相関演算を行なって、当該特徴点の移動量を算出する。この移動量は、後で述べるように、逐次テンプレートモードの場合、量子化誤差を含むので、概略移動量として算出され、概略移動先が出力される。
【００２７】
特徴点抽出部２は、時刻ｆのフレームの画像ブロックから、各画素の特徴度（後に詳細に述べる）を算出し、特徴度の高い画素を特徴点の候補として出力する。
動きベクトル補正部３は、当該特徴点の概略移動先の近傍で特徴点を探索し、時刻ｆのフレームの画像ブロックの特徴点の位置を出力する。
【００２８】
以下に、本発明の画像特徴追跡装置の動作について詳細に説明する。
相関演算部１において、概略移動量は、逐次テンプレートモードを用いて算出される。物体が回転或いは伸縮したとき、一般的に微小時間での物体のパターン変化は微小であるので、フレーム毎にテンプレートを更新する逐次テンプレートモードは、回転・伸縮する物体の追跡にも使用できると考えられる。しかし、逐次テンプレートモードを画像特徴追跡装置の局所相関演算に使用した場合、物体を正確に追従することができなかった。発明者の解析によって、上記の問題は、逐次テンプレートモードでは、フレーム毎にテンプレートを更新することによって量子化誤差が蓄積され、追跡がはずれてしまうためであることがわかった。
【００２９】
一方、特徴点抽出部２は、物体の角などの特徴点の位置を出力することができる。どの角も、点として認識されるので、画像パターンが回転・伸縮しても影響を受けない。しかし、この特徴点の位置だけから追跡を行なう場合、複数の特徴点があると、２つのフレーム間でどの特徴点がどの特徴点に移動したかを対応付けることが難しく、安定に追跡することができない。
【００３０】
本発明の画像特徴追跡装置及び画像特徴追跡方式は、逐次テンプレートモードによる相関演算処理と、特徴点抽出処理の両方を相補的に用い、相関演算で求めた特徴点の概略移動先を特徴点抽出部が出力する特徴点位置に補正している。従って、たとえ追跡すべき物体が回転或いは伸縮しても、安定な追跡を行なえる。
【００３１】
以下に、逐次テンプレートモードによる局所相関演算の問題点を、図２を参照しながら詳細に説明する。
図２は、逐次テンプレートモードによる相関演算処理の問題点を説明する図である。特に、追跡を失敗する原因が示されている。図２は、長方形のターゲットが垂直方向に等間隔（ΔＶ＝５．３画素／フレーム）で移動するケースを示している。本図では、フレーム１からフレーム４が重ねて示されている。点線はその撮像素子の垂直方向の量子化間隔である。ターゲットは撮像素子に撮像される時、各画素は、量子化によって、画素内に含まれる物体の濃度を積分した値で表される。
【００３２】
以下に、相関演算処理の手順について説明する。
（１）フレーム１において、物体を中心に置いたテンプレート○１（○ｉは図中の丸付き数字ｉに対応する）が取り込まれる。
（２）フレーム２において、ターゲットがΔＶだけ下方に移動する。移動したターゲットの画像は、量子化によって、３つの量子化レベルに亘って中間階調を含んで表される。この移動したターゲットの画像と、現在のテンプレートとの相関が行われ、相関値が最大になるターゲットの位置が算出される。その結果、ブロック○２が得られる。フレーム毎にテンプレートの更新が行なわれるため、ブロック○２の位置で実際のターゲットの画像が取り込まれ、新たなテンプレート○３が得られる。この時点でテンプレートは前回のテンプレート○１から、
Δ e ＝Δ v −［Δ v ］ , ただし、［］は四捨五入
だけずれている。
（３）以上の演算がフレーム３及びフレーム４で繰り返されると、フレーム３（テンプレート○４）でのずれの量は、２Δｅ、フレーム４（テンプレート○５）でのずれの量は、３Δｅとなり、徐々にずれが大きくなる。
テンプレート○５は、物体を中心に置いたテンプレート○１に対し、物体が１画素だけしたにずれており、このずれのためにターゲットの正確な追従ができなくなる。
【００３３】
以上示したように、逐次テンプレートモードを相関演算処理に使用すると、量子化誤差が蓄積され、ターゲットの正確な追従ができない恐れがあることがわかった。
そこで、本発明では、上記のずれを補正するために、特徴点抽出部により物体の角（コーナー）などの特徴点を抽出して用いる。図３は、本発明によるずれの補正を説明する図である。ここでは、簡単のため、長方形のターゲットの最も上の画素（◎で示した）を特徴点とする。逐次テンプレートモードにおいて、各テンプレート内の画像の特徴点の位置を追ってみると、テンプレート○１、○２、○３ではいずれも上から２画素目に特徴点が検出されている。しかし、テンプレート○４では３画素目に検出されており、追跡が１画素ずれたことを示している。
本発明では、テンプレート○４から１画素だけテンプレートの位置を下にシフトすることによって、テンプレート○５のようにして、ずれを補正することができる。なお、上記の説明は、垂直方向について行ったが、実際には物体の動きは２次元的であるので、補正は２次元的に行なう。
【００３４】
図４は、本発明の画像特徴追跡装置の作用を説明する図である。本発明では、逐次テンプレートモードによる追跡処理と特徴点抽出処理とを相補的に用いる。逐次テンプレートモードによる追跡処理は、微小間隔でテンプレートを更新するので、対象の回転・伸縮に影響を受けない。また、特徴点抽出処理も物体の角の方向等に依存せず特徴を一つの点として出力するため、同様に回転・伸縮の影響を受けない。
さらに、逐次テンプレートモードを相関演算処理に使用するために蓄積された量子化誤差によるずれを補正することにより、本発明の画像特徴追跡装置は、図４のように追跡対象が回転・伸縮する場合であっても、安定に追跡を行なうことができる。
【００３５】
次に、本発明の画像特徴追跡装置の第１実施例について説明する。図５は、本発明の画像特徴追跡装置の第１実施例のブロック系統図である。第１実施例の画像特徴追跡装置は、相関演算ブロック１００、特徴点抽出ブロック２００、動きベクトル補正ブロック３００、及び外部回路より構成される。デマルチプレクサ１２は、カメラ１０からの画像を、画像メモリ＃１と＃２にフレームごとに交互に出力する。画像メモリ＃１と＃２は、それぞれ１フレーム分の画像を蓄える。スイッチャ１４は、２つの入力をスルー出力するモードと、入れ替えて出力するモードを有し、これらの２つのモードをフレームごとに交互に繰り返す。以上の操作によって、スイッチャ１４の２つの出力には、連続する２フレームの画像、フレームｆ−１及びフレームｆが出力される。
【００３６】
相関演算ブロック１００は、２つの画像（フレームｆ−１、フレームｆ）と、フレームｆ−１における特徴点の位置とが供給され、相関演算を実施し、特徴点の概略移動先を出力する。
一方、特徴点抽出ブロック２００は、フレームｆの画像を受け、特徴点マップ１６を出力する。特徴点マップ１６は、各画素ごとに特徴度（特徴性の強さ）を記録した２次元配列データである。
【００３７】
動きベクトル補正ブロック３００は、相関演算ブロックの出力する特徴点の概略移動先と、特徴点抽出ブロック２００の出力する特徴点マップ１６が供給され、フレームｆにおける特徴点位置を特徴点メモリ１８に出力する。この特徴点位置は画像特徴追跡装置の出力であると同時に、次のフレームにおける相関演算ブロック１００への入力となる。
【００３８】
相関演算ブロック１００は、例えば、テンプレート切り出し手段１０２、候補ブロック切り出し手段１０４、相関演算手段１０６、及び最小値検出手段１０８を有している。テンプレート切り出し手段１０２は、フレームｆ−１の画像から特徴点の位置を中心とするｍ×ｎ画素のテンプレートを切り出す。候補ブロック切り出し手段１０４は、フレームｆの画像からｍ×ｎ画素の候補ブロックを、前記中心の周りの−ｐから＋ｑの範囲をスキャンしながら順次切り出す。相関演算手段１０６において、テンプレートと候補ブロックとの相関演算を繰り返し、最小値検出手段１０８において演算結果の最小値が求められる。このとき、出力すべき概略移動先は、最小値を与える候補ブロックの位置として得られる。
【００３９】
特徴点抽出ブロック２００の構成は、特徴度演算のアルゴリズムに依存する。例えば、ここでは、以下のアルゴリズムを用いることができる。
まず、画像の各画素の濃度をＩ（ｘ，ｙ）と表現する。ｘ，ｙは、画素の水平、垂直座標である。次に、画素（ｘ，ｙ）の近傍の濃度変化の大きさと向きを表す濃度勾配ベクトルｇ（ｘ，ｙ）を以下のように定義する。
【００４０】
【数２】
【００４１】
ただし、
【００４２】
【数３】
【００４３】
例えば、物体の輪郭部分では、濃度勾配ベクトルｇ（ｘ，ｙ）の大きさは大きく、その向きは輪郭線に直交する。
続いて、画素（ｘ，ｙ）を中心とする（２ｎ＋１）×（２ｎ＋１）の局所領域に対して、領域内の各画素の濃度勾配ベクトルから、以下で定義される２×２の対称行列Ｇを計算する。
【００４４】
【数４】
【００４５】
ここで対称行列Ｇの固有値をλ1 ，λ2 とする。固有値λ1 ，λ2 は、領域内の濃度変化パターンに対応する次のような性質を有している。その性質の一例を図６を用いて説明する。図６は、固有値と特徴パターンとの関係を示す図である。パターンＡは、領域内に３６０°に渡って種々の方向を向いた濃度勾配ベクトルが存在する場合を示す。この場合、固有値λ1 ，λ2 は、共に大きな値を示す。パターンＢは、領域内に物体のコーナが含まれる場合を示す。この場合、固有値λ1 ，λ2 は、共に大きな値を示す。パターンＣは、顕著な濃度変化がない場合を示す。この場合、固有値λ1 ，λ2 は、共に小さな値となる。また、パターンＤは、直線が含まれる場合を示す。この場合、一方の固有値λ1 が大きく、他方λ2 は小さくなる。これらの濃度パターンの中で、パターンＡ及びパターンＢが高い特徴度を有するパターンとして決定されるべきである。上記の結果を得るためには、小さい方の固有値
λmin ＝ ｍｉｎ（λ1 ，λ2 ）
を特徴度とすればよい。この式に基づいて画像内の各画素の特徴度を算出することによって、特徴度の２次元分布を得ることができる。図７は、画像内の各画素の特徴度の２次元分布の一例を示す図である。図７に示すように、物体が四角い場合には、物体のコーナー付近において特徴度の極大値が生じる。従って、ピーク抽出処理によって、特徴点の座標を得ることができる。
【００４６】
以上のアルゴリズムに基づく特徴度演算ブロック２００の構成は、既に図５に示したように、フレームｆの画像を微分しＩx ，Ｉy を計算する水平・垂直方向微分手段２０２、２０４と、Ｉx 2 , Ｉy 2 を計算する２つの２乗演算手段２０６、２０８と、Ｉx Ｉy を計算する積演算手段２１０と、対称行列Ｇを計算する行列生成手段２１２と、λmin を計算する固有値（特徴度）計算手段２１４、そして特徴度のピークを抽出するピーク抽出処理手段２１６とから成る。ピーク抽出処理手段２１６では、画像と同じ大きさの２次元配列を作成し、特徴点がある位置には対応する特徴度を、特徴点がない位置には０を書き込んだ特徴点マップを生成し出力する。
【００４７】
動きベクトル補正ブロック３００は、特徴点マップ切り出し手段３０２と、最大値検出手段３０４と、ベクトル補正手段３０６により構成される。特徴点マップ切り出し手段３０２は、相関演算ブロック１００から出力される概略移動先を中心とする±１画素の範囲を特徴点マップから切り出す。範囲が±１なのは、逐次テンプレートモードの量子化誤差による位置のずれは、１演算当たり±１以内であるためである。最大値検出手段３０４は、切り出した範囲に含まれる特徴点の中から特徴度が最大の特徴点を求め、切り出した範囲の中心からの偏差を出力する。最後にベクトル補正手段３０６では、偏差を概略移動先の座標に加えた結果を出力する。
【００４８】
なお、図５に示した画像特徴追跡装置では、画像全体の特徴点マップが作成された後、特徴点の概略移動先を中心とする局所領域が切り出される。しかし、始めから概略移動先の近傍に対してのみ特徴点マップを生成することもできる。また、特徴点抽出ブロック２００内でピーク抽出処理を行なわず、動きベクトル補正ブロック３００内で特徴点マップを切り出した後に、ピーク抽出処理を行なってもよい。
【００４９】
本実施例の画像特徴追跡装置では、画像フレームの更新に同期して各処理が繰り返される。ただし、第１フレームにおいては、相関演算ブロック１００と動きベクトル補正ブロック２００は動作せず、代わりに図５において点線で示した経路に従ってすべての特徴点を特徴点メモリに転送し、特徴点メモリを初期化する。必要に応じてユーザーが指定した領域内についてのみ、特徴点を選択するようにしてもよい。
【００５０】
次に、本発明の画像特徴追跡装置及び画像特徴追跡方法の第２実施例について説明する。図８は、本発明の画像特徴追跡装置の第２実施例のブロック系統図を示す。図９は、本発明の画像特徴追跡装置の第２実施例の作用を説明する図である。
【００５１】
本発明の画像特徴追跡装置の第２実施例では、１つの物体上の複数の特徴点に対して上記追跡処理を実施し、複数の特徴点の中心の位置を出力する手段を有する。図８に示す画像特徴追跡装置の第２実施例では、図５に示す第１実施例に、複数の特徴点の中心を計算するための特徴点中心演算手段２０が追加されている。特徴点中心演算手段２０においては、複数の特徴点に対して、各特徴点位置Ｐi の平均Ｂを下記の式より求め、物体の代表点の位置として出力する。
【００５２】
【数５】
【００５３】
図９に示すように、複数の特徴点（●で示した）の中心の位置（＋で示した）は、物体上の定点である。従って、追跡すべき物体が回転或いは伸縮した場合であっても、中心の位置の並進成分のみを算出することによって、物体を正確に追跡することができる。
【００５４】
次に、本発明の画像特徴追跡装置及び画像特徴追跡方法の第３実施例について説明する。図１０は、本発明の画像特徴追跡装置の第３実施例のブロック系統図を示す。
本発明の画像特徴追跡装置の第３実施例は、複数の特徴点の追跡結果から物体の回転及び伸縮量を算出する手段を有する。従って、物体の並進量だけでなく、物体の回転量及び伸縮量を計測することが可能となる。図１０に示す画像特徴追跡装置の第３実施例では、図８に示す第２実施例に、物体の回転量及び伸縮量を演算する回転・伸縮量演算手段３０が設けられている。
【００５５】
回転量及び伸縮量の計算は、たとえば以下のように行うことができる。まず、フレーム１とフレームｆでの特徴点の位置を、以下の２つの２×ｎ行列（ｎは特徴点の個数）として表す。
【００５６】
【数６】
【００５７】
ただし、
【００５８】
【数７】
【００５９】
は、フレームｆでのｉ番目の特徴点の位置を表すベクトルであり、物体の代表点の座標で表現される。物体が回転及び伸縮された場合、行列Ａ1 から行列Ａf への変換は、２×２行列Ｑf を用いて下記の式で表すことができる。
Ａf ＝Ｑf Ａ1
上記の式を、最小２乗法を用いて解くことによって、例えば、
【００６０】
【数８】
【００６１】
により行列Ｑf を得る。ただし、Ｔは転置記号である。
ここで、行列Ｑf を、
【００６２】
【数９】
【００６３】
とすれば、
【００６４】
【数１０】
【００６５】
により、フレームｆにおける伸縮量Ｓf と回転角θf （いずれも第１フレームに対する量）を求めることができる。
次に、本発明の画像特徴追跡装置及び画像特徴追跡方法の第４実施例について説明する。図１１は、本発明の画像特徴追跡装置の第４実施例のブロック系統図を示す。
【００６６】
本発明の画像特徴追跡装置の第４実施例は、画像分解能を変化させる手段と、各分解能での画像から求めた特徴点の中心の位置を平均化する手段とを有する。単一分解能の画像だけでは、画像の形状が特定しにくく、追跡が安定化しない場合が生じる。しかし、本装置では、分解能の異なる複数の画像によって画像の形状が特定し易くなり、その複数の画像から得た追跡結果を平均化すれば、追跡を安定化させることができる。
【００６７】
図１１に示す画像特徴追跡装置の第４実施例では、図８に示す第２実施例に、間引き手段４０−１、４０−２と、物体の代表点の位置の平均化手段５０が設けられている。間引き手段４０−１、４０−２は、画像メモリ♯１、♯２からの画像データから、一部の画素を間引き、画像分解能を変化させることができる。
【００６８】
図１１に示す画像特徴追跡装置では、間引き手段４０−１、４０−２によって、間引き量を変えて画像分解能が順次変化させられ、各画像分解能において、物体の代表点の位置が算出される。それらの結果を平均化手段５０において、平均化することによって、物体の代表点の位置の精度を高めることができる。
【００６９】
【発明の効果】
上述したように、本発明によれば以下に示す効果を有する。
請求項１乃至２のうちいずれか１項記載の画像特徴追跡装置、及び請求項５記載の画像特徴追跡方法においては、逐次的に設定されたテンプレートに基づいて算出された物体の概略動きベクトルが、抽出された特徴点に基づいて微少範囲に限定して補正される。従って、追跡すべき物体が回転、伸縮、及び変形した場合でも、本装置は前記物体を安定に追跡することができる。
【００７０】
請求項３記載の画像特徴追跡装置においては、前記複数の特徴点の位置の中心を物体の代表点として前記物体の移動量が算出される。従って、追跡すべき物体が回転、伸縮、及び変形した場合でも、物体の並進量を計測することができる。
請求項４記載の画像特徴追跡装置においては、追跡すべき物体が回転、及び伸縮した場合でも、物体の並進量と回転及び伸縮量を計測することができる。
【図面の簡単な説明】
【図１】本発明の画像特徴追跡装置の基本的なブロック系統図。
【図２】逐次テンプレートモードによる相関演算処理の問題点を説明する図。
【図３】本発明によるずれの補正を説明する図。
【図４】本発明の画像特徴追跡装置の作用を説明する図。
【図５】本発明の画像特徴追跡装置の第１実施例のブロック系統図。
【図６】固有値と特徴パターンとの関係を示す図。
【図７】画像内の各画素の特徴度の２次元分布の一例を示す図。
【図８】本発明の画像特徴追跡装置の第２実施例のブロック系統図。
【図９】本発明の画像特徴追跡装置の第２実施例の作用を説明する図。
【図１０】本発明の画像特徴追跡装置の第３実施例のブロック系統図。
【図１１】本発明の画像特徴追跡装置の第４実施例のブロック系統図。
【図１２】従来の局所相関演算を用いた画像特徴追跡装置の原理を説明する図。
【符号の説明】
１ 相関演算部
２ 特徴点抽出部
３ 動きベクトル補正部
１０ カメラ
１２ デマルチプレクサ
１４ スイッチャ
１６ 特徴点マップ
１８ 特徴点メモリ
２０ 特徴点中心演算手段
３０ 回転及び伸縮量演算手段
４０−１、４０−２ 間引き手段
５０ 平均化手段
１００ 相関演算ブロック
１０２ テンプレート切り出し手段
１０４ 候補ブロック切り出し手段
１０６ 相関演算手段
１０８ 最小値検出手段
２００ 特徴点抽出ブロック
２０２ 水平方向微分手段
２０４ 垂直方向微分手段
２０６、２０８ ２乗演算手段
２１０ 積演算手段
２１２ 行列生成手段２１２
２１４ 固有値計算手段
２１６ ピーク抽出処理手段
３００ 動きベクトル補正ブロック
３０２ 特徴点マップ切り出し手段
３０４ 最大値検出手段
３０６ ベクトル補正手段
【発明の属する技術分野】
本発明は、画像特徴追跡装置及び画像特徴追跡方法に関し、特に、局所相関演算を用いる画像特徴追跡装置及び画像特徴追跡方法に関する。
ビルなどでの侵入者監視システム、車両交通量の監視システム、人工衛星の追尾システム、動物の行動を長時間に渡って観察する科学観察システム等では、画像中のターゲットの動きを時々刻々追跡する画像特徴追跡技術が必要である。また、将来、自動車や移動ロボットが自律走行するためには、歩行者等の移動するターゲットを検知・追跡する画像特徴追跡技術が必要とされる。一つの物体上に複数のターゲット（例えば飛行機の左右の翼の先端と、前方の最先端と、そして尾翼先端などの特徴点）を設定し各ターゲットの動きを追跡した結果を用いて、その物体の３次元運動を計算する視覚計測技術も、将来期待される画像特徴追跡技術である。
【０００２】
【従来の技術】
従来、画像だけから物体を追跡するためには、識別しやすい専用のマークや専用の色プレートを物体に取付けていた。これらを用いれば、簡単な画像処理で高速な追跡処理を実現できる。しかし、マーク等を取付けなければならないため、適用範囲が限られていた。
【０００３】
これに対して、近年では、局所相関演算（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ）を用いた画像特徴追跡装置が実用化されている。図１２に、従来の局所相関演算を用いた画像特徴追跡装置の原理を説明する図を示す。図１２において、フレームｆはある時刻における画像フレームであり、フレームｇは次の画像フレームである。
【０００４】
この従来の画像特徴追跡装置では、始めに、フレームｆにおいて、追跡すべきターゲットの局所画像が、参照ブロックＲとして設定される。ただし、参照ブロックＲの各画素の座標は、（ｘ＝１〜ｍ，ｙ＝１〜ｎ）で表されている。参照ブロックＲは、テンプレートと称される。次に、フレームｇにおいて、同じ大きさの局所画像が候補ブロックＣとして設定される。ただし、各画素の座標は、（ｕ＋ｘ，ｖ＋ｙ）で表され、ｕ，ｖは、参照ブロックＲの位置からの相対座標である。そして、参照ブロックＲと候補ブロックＣとの相関（ｍａｔｃｈｉｎｇ）Ｄ（ｕ，ｖ）が、候補ブロックＣの位置を探索ブロックＳの範囲内（−ｐ≦ｕ≦＋ｑ，−ｐ≦ｖ≦＋ｑ）で変えながら計算される。
【０００５】
ここで、相関値が最大となる候補ブロックの位置から、両フレーム間でのターゲットの移動量を算出することができる。以上の処理を繰り返すことで、追跡処理を実現できる。なお、参照ブロックを取り出す画像を参照画像と呼び、候補ブロックを取り出す画像を探索画像と呼ぶ。局所相関演算を用いた画像特徴追跡装置は、専用のマークを用いる必要がないため、様々な用途に適用することが可能である。
【０００６】
局所相関演算は、具体的には以下の式で示される。
【０００７】
【数１】
ここで、Ｃ（ｕ＋ｘ，ｖ＋ｙ）、Ｒ（ｘ，ｙ）は、各ブロック内の各画素の強度を示す。このアルゴリズムでは、２つの局所画像の差の絶対値の積分和が計算されており、その積分和が小さい程、相関値が大きいとみなすことができる。従って、Ｄ（ｕ，ｖ）が最小となる場合の（ｕ，ｖ）が、ターゲットの移動量を表す。
【０００９】
追跡モードとして、固定テンプレートモードと逐次テンプレートモードが開発されている。固定テンプレートモードは、特定のパターンを追跡するために使用される。逐次テンプレートモードは、湯気の動きを把握したり、侵入者の存在を感知したりするために使用される。局所相関演算を用いた従来の画像特徴追跡装置は、固定テンプレートモードを使用している。
【００１０】
固定テンプレートモードでは、まず物体の参照画像（テンプレート画像）を取得し保存した後に、逐次入力される探索画像との相関が計算される。即ち、参照画像は特定の時刻ｆ０において取得され、候補ブロックは時刻ｆ，ｆ＋１，ｆ＋２，・・・において順次更新される。このとき、時刻ｆ０における参照画像と時刻ｆにおける候補ブロックとの相関、時刻ｆ０における参照画像と時刻ｆ＋１における候補ブロックとの相関、時刻ｆ０における参照画像と時刻ｆ＋２における候補ブロックとの相関・・・が順次的に計算される。一連の計算において、一つのテンプレートに対して相関演算（ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ）が行われるため、テンプレートに含まれる特定のパターンを追跡し続けることができる。
【００１１】
一方、逐次テンプレートモードでは、任意の物体の局所画像の瞬間的な動きベクトルが計測される。このモードでは、特定のテンプレートは設定されず、連続する２つのフレーム間で相関演算を繰り返される。即ち、時刻ｆにおける画像と時刻ｆ＋１における候補ブロックとの相関、時刻ｆ＋１における画像と時刻ｆ＋２における候補ブロックとの相関、時刻ｆ＋２における画像と時刻ｆ＋３における候補ブロックとの相関・・・が順次的に計算される。このモードを応用すれば、移動物体を検知したり、多数の動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ、オプティカルフローとも称される）を集めて、３次元運動パラメータを計算したりすることができる。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述した従来の局所相関演算を用いた画像特徴追跡装置には次のような問題点がある。
従来の局所相関演算を用いた画像特徴追跡装置は、特定の物体を追跡しようとする場合、物体が回転した時や、カメラと物体の距離が変化し物体の画像パターンが伸縮した時に、追跡が不安定化するという問題がある。
【００１３】
従来の画像特徴追跡装置において、特定の物体の追跡は、固定テンプレートモードを用いて行われている。固定テンプレートモードでは、単に固定のテンプレート画像と候補ブロックとが一致する場所を画像内で探索するだけなので、物体が回転・伸縮すると原理的に正しい探索結果が得られない。
【００１４】
本発明の目的は、上記の問題点を鑑みて、追跡すべきターゲットが回転及び伸縮する場合であっても、安定に追跡を行なえる画像特徴追跡装置及び画像特徴追跡方法を提供する。
【００１５】
【課題を解決するための手段】
上記課題を解決するために本発明では、下記の手段を講じたことを特徴とするものである。
請求項１記載の発明装置では、
特定の物体を追跡する画像特徴追跡装置であって、
物体の画像から少なくとも１つの特徴点を抽出する特徴点抽出手段と、
異なる時刻における前記物体の画像の２つのフレームの相関演算を行ない、前記特徴点の概略動きベクトルを算出する相関演算手段と、
前記特徴点抽出手段によって抽出した前記特徴点の位置に基づいて、前記相関演算手段において算出した前記概略動きベクトルを微少範囲に限定して修正する動きベクトル補正手段と
を有し、前記動きベクトル補正手段によって修正された物体の動きベクトルから、前記物体の位置を検出できることを特徴とする。
【００１６】
請求項２記載の発明装置では、
請求項１記載の画像特徴追跡装置において、前記特徴点抽出手段は、画像の画素の濃度勾配に基づいて算出した固有値によって前記特徴点を表す手段を有し、前記相関演算手段は、連続した前記２つのフレームの第１のブロック画像と第２のブロック画像との局所相関を計算する手段と、前記局所相関が最も高くなる場合の前記第２のブロック画像における特徴点の位置を前記概略動きベクトルとして算出する手段とを有し、
前記動きベクトル手段は、前記２つのフレームの画像における各々の特徴点の位置の偏差を、前記概略動きベクトルに加えて補正する手段を有することを特徴とする。
【００１８】
請求項３記載の発明装置では、
請求項１乃至２のうちいずれか１項記載の画像特徴追跡装置において、前記動きベクトル補正手段から出力された複数の前記動きベクトルに基づいて複数の前記特徴点の位置の中心を算出する手段をさらに有し、前記複数の特徴点の位置の中心を物体の代表点として前記物体の移動量が算出されることを特徴とする。
請求項４記載の発明装置では、
請求項３記載の画像特徴追跡装置において、前記動きベクトル補正手段から出力された複数の前記動きベクトルに基づいて前記物体の回転及び伸縮量を算出する手段をさらに有することを特徴とする。
【００２０】
請求項５記載の発明方法では、
特定の物体を追跡する画像特徴追跡方法であって、
（ａ）物体の画像から少なくとも１つの特徴点を抽出し、
（ｂ）異なる時刻における前記物体の画像の２つのフレームの相関演算を行ない、前記特徴点の概略動きベクトルを算出し、
（ｃ）段階（ａ）において抽出した前記特徴点の位置に基づいて、段階（ｂ）において算出した前記概略動きベクトルを微少範囲に限定して修正する
各段階を備え、前記段階（ｃ）において修正された物体の動きベクトルから、前記物体の位置を検出できることを特徴とする。
【００２１】
以上の発明は、以下のように作用する。
請求項１乃至２のうちいずれか１項記載の画像特徴追跡装置、及び請求項５記載の画像特徴追跡方法においては、逐次的に設定されたテンプレートに基づいて算出された物体の概略動きベクトルが、抽出された特徴点に基づいて微少範囲に限定して補正される。従って、追跡すべき物体が回転、伸縮、及び変形した場合でも、本装置は前記物体を安定に追跡することができる。
【００２２】
請求項３記載の画像特徴追跡装置においては、前記複数の特徴点の位置の中心を物体の代表点として前記物体の移動量が算出される。従って、追跡すべき物体が回転、伸縮、及び変形した場合でも、物体の並進量を計測することができる。
請求項４記載の画像特徴追跡装置においては、追跡すべき物体が回転、及び伸縮した場合でも、物体の並進量と回転及び伸縮量を計測することができる。
【００２４】
【発明の実施の形態】
始めに、本発明の画像特徴追跡装置及び画像特徴追跡方法の原理について説明する。図１は、本発明の画像特徴追跡装置の基本的なブロック系統図である。本発明の画像特徴追跡装置は、相関演算部１と、特徴点抽出部２と、動きベクトル補正部３とで構成される。
【００２５】
相関演算部１では、逐次テンプレートモードが使用されている。従って、相関演算部１には、時刻ｆ−１のフレームにおける画像ブロックと、時刻ｆのフレームにおける画像ブロックと、時刻ｆ−１のフレームにおける画像ブロックの位置が供給される。時刻ｆ−１のフレームにおける画像ブロックとして、物体の位置をより容易に検出するための目印となる特徴点（ｆｅａｔｕｒｅ）が使用される。
【００２６】
相関演算部１は、上記の２フレームの画像ブロックと、時刻ｆ−１のフレームにおける画像ブロックの特徴点位置とから、逐次テンプレートモードによる局所相関演算を行なって、当該特徴点の移動量を算出する。この移動量は、後で述べるように、逐次テンプレートモードの場合、量子化誤差を含むので、概略移動量として算出され、概略移動先が出力される。
【００２７】
特徴点抽出部２は、時刻ｆのフレームの画像ブロックから、各画素の特徴度（後に詳細に述べる）を算出し、特徴度の高い画素を特徴点の候補として出力する。
動きベクトル補正部３は、当該特徴点の概略移動先の近傍で特徴点を探索し、時刻ｆのフレームの画像ブロックの特徴点の位置を出力する。
【００２８】
以下に、本発明の画像特徴追跡装置の動作について詳細に説明する。
相関演算部１において、概略移動量は、逐次テンプレートモードを用いて算出される。物体が回転或いは伸縮したとき、一般的に微小時間での物体のパターン変化は微小であるので、フレーム毎にテンプレートを更新する逐次テンプレートモードは、回転・伸縮する物体の追跡にも使用できると考えられる。しかし、逐次テンプレートモードを画像特徴追跡装置の局所相関演算に使用した場合、物体を正確に追従することができなかった。発明者の解析によって、上記の問題は、逐次テンプレートモードでは、フレーム毎にテンプレートを更新することによって量子化誤差が蓄積され、追跡がはずれてしまうためであることがわかった。
【００２９】
一方、特徴点抽出部２は、物体の角などの特徴点の位置を出力することができる。どの角も、点として認識されるので、画像パターンが回転・伸縮しても影響を受けない。しかし、この特徴点の位置だけから追跡を行なう場合、複数の特徴点があると、２つのフレーム間でどの特徴点がどの特徴点に移動したかを対応付けることが難しく、安定に追跡することができない。
【００３０】
本発明の画像特徴追跡装置及び画像特徴追跡方式は、逐次テンプレートモードによる相関演算処理と、特徴点抽出処理の両方を相補的に用い、相関演算で求めた特徴点の概略移動先を特徴点抽出部が出力する特徴点位置に補正している。従って、たとえ追跡すべき物体が回転或いは伸縮しても、安定な追跡を行なえる。
【００３１】
以下に、逐次テンプレートモードによる局所相関演算の問題点を、図２を参照しながら詳細に説明する。
図２は、逐次テンプレートモードによる相関演算処理の問題点を説明する図である。特に、追跡を失敗する原因が示されている。図２は、長方形のターゲットが垂直方向に等間隔（ΔＶ＝５．３画素／フレーム）で移動するケースを示している。本図では、フレーム１からフレーム４が重ねて示されている。点線はその撮像素子の垂直方向の量子化間隔である。ターゲットは撮像素子に撮像される時、各画素は、量子化によって、画素内に含まれる物体の濃度を積分した値で表される。
【００３２】
以下に、相関演算処理の手順について説明する。
（１）フレーム１において、物体を中心に置いたテンプレート○１（○ｉは図中の丸付き数字ｉに対応する）が取り込まれる。
（２）フレーム２において、ターゲットがΔＶだけ下方に移動する。移動したターゲットの画像は、量子化によって、３つの量子化レベルに亘って中間階調を含んで表される。この移動したターゲットの画像と、現在のテンプレートとの相関が行われ、相関値が最大になるターゲットの位置が算出される。その結果、ブロック○２が得られる。フレーム毎にテンプレートの更新が行なわれるため、ブロック○２の位置で実際のターゲットの画像が取り込まれ、新たなテンプレート○３が得られる。この時点でテンプレートは前回のテンプレート○１から、
Δ e ＝Δ v −［Δ v ］ , ただし、［］は四捨五入
だけずれている。
（３）以上の演算がフレーム３及びフレーム４で繰り返されると、フレーム３（テンプレート○４）でのずれの量は、２Δｅ、フレーム４（テンプレート○５）でのずれの量は、３Δｅとなり、徐々にずれが大きくなる。
テンプレート○５は、物体を中心に置いたテンプレート○１に対し、物体が１画素だけしたにずれており、このずれのためにターゲットの正確な追従ができなくなる。
【００３３】
以上示したように、逐次テンプレートモードを相関演算処理に使用すると、量子化誤差が蓄積され、ターゲットの正確な追従ができない恐れがあることがわかった。
そこで、本発明では、上記のずれを補正するために、特徴点抽出部により物体の角（コーナー）などの特徴点を抽出して用いる。図３は、本発明によるずれの補正を説明する図である。ここでは、簡単のため、長方形のターゲットの最も上の画素（◎で示した）を特徴点とする。逐次テンプレートモードにおいて、各テンプレート内の画像の特徴点の位置を追ってみると、テンプレート○１、○２、○３ではいずれも上から２画素目に特徴点が検出されている。しかし、テンプレート○４では３画素目に検出されており、追跡が１画素ずれたことを示している。
本発明では、テンプレート○４から１画素だけテンプレートの位置を下にシフトすることによって、テンプレート○５のようにして、ずれを補正することができる。なお、上記の説明は、垂直方向について行ったが、実際には物体の動きは２次元的であるので、補正は２次元的に行なう。
【００３４】
図４は、本発明の画像特徴追跡装置の作用を説明する図である。本発明では、逐次テンプレートモードによる追跡処理と特徴点抽出処理とを相補的に用いる。逐次テンプレートモードによる追跡処理は、微小間隔でテンプレートを更新するので、対象の回転・伸縮に影響を受けない。また、特徴点抽出処理も物体の角の方向等に依存せず特徴を一つの点として出力するため、同様に回転・伸縮の影響を受けない。
さらに、逐次テンプレートモードを相関演算処理に使用するために蓄積された量子化誤差によるずれを補正することにより、本発明の画像特徴追跡装置は、図４のように追跡対象が回転・伸縮する場合であっても、安定に追跡を行なうことができる。
【００３５】
次に、本発明の画像特徴追跡装置の第１実施例について説明する。図５は、本発明の画像特徴追跡装置の第１実施例のブロック系統図である。第１実施例の画像特徴追跡装置は、相関演算ブロック１００、特徴点抽出ブロック２００、動きベクトル補正ブロック３００、及び外部回路より構成される。デマルチプレクサ１２は、カメラ１０からの画像を、画像メモリ＃１と＃２にフレームごとに交互に出力する。画像メモリ＃１と＃２は、それぞれ１フレーム分の画像を蓄える。スイッチャ１４は、２つの入力をスルー出力するモードと、入れ替えて出力するモードを有し、これらの２つのモードをフレームごとに交互に繰り返す。以上の操作によって、スイッチャ１４の２つの出力には、連続する２フレームの画像、フレームｆ−１及びフレームｆが出力される。
【００３６】
相関演算ブロック１００は、２つの画像（フレームｆ−１、フレームｆ）と、フレームｆ−１における特徴点の位置とが供給され、相関演算を実施し、特徴点の概略移動先を出力する。
一方、特徴点抽出ブロック２００は、フレームｆの画像を受け、特徴点マップ１６を出力する。特徴点マップ１６は、各画素ごとに特徴度（特徴性の強さ）を記録した２次元配列データである。
【００３７】
動きベクトル補正ブロック３００は、相関演算ブロックの出力する特徴点の概略移動先と、特徴点抽出ブロック２００の出力する特徴点マップ１６が供給され、フレームｆにおける特徴点位置を特徴点メモリ１８に出力する。この特徴点位置は画像特徴追跡装置の出力であると同時に、次のフレームにおける相関演算ブロック１００への入力となる。
【００３８】
相関演算ブロック１００は、例えば、テンプレート切り出し手段１０２、候補ブロック切り出し手段１０４、相関演算手段１０６、及び最小値検出手段１０８を有している。テンプレート切り出し手段１０２は、フレームｆ−１の画像から特徴点の位置を中心とするｍ×ｎ画素のテンプレートを切り出す。候補ブロック切り出し手段１０４は、フレームｆの画像からｍ×ｎ画素の候補ブロックを、前記中心の周りの−ｐから＋ｑの範囲をスキャンしながら順次切り出す。相関演算手段１０６において、テンプレートと候補ブロックとの相関演算を繰り返し、最小値検出手段１０８において演算結果の最小値が求められる。このとき、出力すべき概略移動先は、最小値を与える候補ブロックの位置として得られる。
【００３９】
特徴点抽出ブロック２００の構成は、特徴度演算のアルゴリズムに依存する。例えば、ここでは、以下のアルゴリズムを用いることができる。
まず、画像の各画素の濃度をＩ（ｘ，ｙ）と表現する。ｘ，ｙは、画素の水平、垂直座標である。次に、画素（ｘ，ｙ）の近傍の濃度変化の大きさと向きを表す濃度勾配ベクトルｇ（ｘ，ｙ）を以下のように定義する。
【００４０】
【数２】
ただし、
【００４２】
【数３】
例えば、物体の輪郭部分では、濃度勾配ベクトルｇ（ｘ，ｙ）の大きさは大きく、その向きは輪郭線に直交する。
続いて、画素（ｘ，ｙ）を中心とする（２ｎ＋１）×（２ｎ＋１）の局所領域に対して、領域内の各画素の濃度勾配ベクトルから、以下で定義される２×２の対称行列Ｇを計算する。
【００４４】
【数４】
ここで対称行列Ｇの固有値をλ1 ，λ2 とする。固有値λ1 ，λ2 は、領域内の濃度変化パターンに対応する次のような性質を有している。その性質の一例を図６を用いて説明する。図６は、固有値と特徴パターンとの関係を示す図である。パターンＡは、領域内に３６０°に渡って種々の方向を向いた濃度勾配ベクトルが存在する場合を示す。この場合、固有値λ1 ，λ2 は、共に大きな値を示す。パターンＢは、領域内に物体のコーナが含まれる場合を示す。この場合、固有値λ1 ，λ2 は、共に大きな値を示す。パターンＣは、顕著な濃度変化がない場合を示す。この場合、固有値λ1 ，λ2 は、共に小さな値となる。また、パターンＤは、直線が含まれる場合を示す。この場合、一方の固有値λ1 が大きく、他方λ2 は小さくなる。これらの濃度パターンの中で、パターンＡ及びパターンＢが高い特徴度を有するパターンとして決定されるべきである。上記の結果を得るためには、小さい方の固有値
λmin ＝ ｍｉｎ（λ1 ，λ2 ）
を特徴度とすればよい。この式に基づいて画像内の各画素の特徴度を算出することによって、特徴度の２次元分布を得ることができる。図７は、画像内の各画素の特徴度の２次元分布の一例を示す図である。図７に示すように、物体が四角い場合には、物体のコーナー付近において特徴度の極大値が生じる。従って、ピーク抽出処理によって、特徴点の座標を得ることができる。
【００４６】
以上のアルゴリズムに基づく特徴度演算ブロック２００の構成は、既に図５に示したように、フレームｆの画像を微分しＩx ，Ｉy を計算する水平・垂直方向微分手段２０２、２０４と、Ｉx 2 , Ｉy 2 を計算する２つの２乗演算手段２０６、２０８と、Ｉx Ｉy を計算する積演算手段２１０と、対称行列Ｇを計算する行列生成手段２１２と、λmin を計算する固有値（特徴度）計算手段２１４、そして特徴度のピークを抽出するピーク抽出処理手段２１６とから成る。ピーク抽出処理手段２１６では、画像と同じ大きさの２次元配列を作成し、特徴点がある位置には対応する特徴度を、特徴点がない位置には０を書き込んだ特徴点マップを生成し出力する。
【００４７】
動きベクトル補正ブロック３００は、特徴点マップ切り出し手段３０２と、最大値検出手段３０４と、ベクトル補正手段３０６により構成される。特徴点マップ切り出し手段３０２は、相関演算ブロック１００から出力される概略移動先を中心とする±１画素の範囲を特徴点マップから切り出す。範囲が±１なのは、逐次テンプレートモードの量子化誤差による位置のずれは、１演算当たり±１以内であるためである。最大値検出手段３０４は、切り出した範囲に含まれる特徴点の中から特徴度が最大の特徴点を求め、切り出した範囲の中心からの偏差を出力する。最後にベクトル補正手段３０６では、偏差を概略移動先の座標に加えた結果を出力する。
【００４８】
なお、図５に示した画像特徴追跡装置では、画像全体の特徴点マップが作成された後、特徴点の概略移動先を中心とする局所領域が切り出される。しかし、始めから概略移動先の近傍に対してのみ特徴点マップを生成することもできる。また、特徴点抽出ブロック２００内でピーク抽出処理を行なわず、動きベクトル補正ブロック３００内で特徴点マップを切り出した後に、ピーク抽出処理を行なってもよい。
【００４９】
本実施例の画像特徴追跡装置では、画像フレームの更新に同期して各処理が繰り返される。ただし、第１フレームにおいては、相関演算ブロック１００と動きベクトル補正ブロック２００は動作せず、代わりに図５において点線で示した経路に従ってすべての特徴点を特徴点メモリに転送し、特徴点メモリを初期化する。必要に応じてユーザーが指定した領域内についてのみ、特徴点を選択するようにしてもよい。
【００５０】
次に、本発明の画像特徴追跡装置及び画像特徴追跡方法の第２実施例について説明する。図８は、本発明の画像特徴追跡装置の第２実施例のブロック系統図を示す。図９は、本発明の画像特徴追跡装置の第２実施例の作用を説明する図である。
【００５１】
本発明の画像特徴追跡装置の第２実施例では、１つの物体上の複数の特徴点に対して上記追跡処理を実施し、複数の特徴点の中心の位置を出力する手段を有する。図８に示す画像特徴追跡装置の第２実施例では、図５に示す第１実施例に、複数の特徴点の中心を計算するための特徴点中心演算手段２０が追加されている。特徴点中心演算手段２０においては、複数の特徴点に対して、各特徴点位置Ｐi の平均Ｂを下記の式より求め、物体の代表点の位置として出力する。
【００５２】
【数５】
図９に示すように、複数の特徴点（●で示した）の中心の位置（＋で示した）は、物体上の定点である。従って、追跡すべき物体が回転或いは伸縮した場合であっても、中心の位置の並進成分のみを算出することによって、物体を正確に追跡することができる。
【００５４】
次に、本発明の画像特徴追跡装置及び画像特徴追跡方法の第３実施例について説明する。図１０は、本発明の画像特徴追跡装置の第３実施例のブロック系統図を示す。
本発明の画像特徴追跡装置の第３実施例は、複数の特徴点の追跡結果から物体の回転及び伸縮量を算出する手段を有する。従って、物体の並進量だけでなく、物体の回転量及び伸縮量を計測することが可能となる。図１０に示す画像特徴追跡装置の第３実施例では、図８に示す第２実施例に、物体の回転量及び伸縮量を演算する回転・伸縮量演算手段３０が設けられている。
【００５５】
回転量及び伸縮量の計算は、たとえば以下のように行うことができる。まず、フレーム１とフレームｆでの特徴点の位置を、以下の２つの２×ｎ行列（ｎは特徴点の個数）として表す。
【００５６】
【数６】
ただし、
【００５８】
【数７】
は、フレームｆでのｉ番目の特徴点の位置を表すベクトルであり、物体の代表点の座標で表現される。物体が回転及び伸縮された場合、行列Ａ1 から行列Ａf への変換は、２×２行列Ｑf を用いて下記の式で表すことができる。
Ａf ＝Ｑf Ａ1
上記の式を、最小２乗法を用いて解くことによって、例えば、
【００６０】
【数８】
により行列Ｑf を得る。ただし、Ｔは転置記号である。
ここで、行列Ｑf を、
【００６２】
【数９】
とすれば、
【００６４】
【数１０】
により、フレームｆにおける伸縮量Ｓf と回転角θf （いずれも第１フレームに対する量）を求めることができる。
次に、本発明の画像特徴追跡装置及び画像特徴追跡方法の第４実施例について説明する。図１１は、本発明の画像特徴追跡装置の第４実施例のブロック系統図を示す。
【００６６】
本発明の画像特徴追跡装置の第４実施例は、画像分解能を変化させる手段と、各分解能での画像から求めた特徴点の中心の位置を平均化する手段とを有する。単一分解能の画像だけでは、画像の形状が特定しにくく、追跡が安定化しない場合が生じる。しかし、本装置では、分解能の異なる複数の画像によって画像の形状が特定し易くなり、その複数の画像から得た追跡結果を平均化すれば、追跡を安定化させることができる。
【００６７】
図１１に示す画像特徴追跡装置の第４実施例では、図８に示す第２実施例に、間引き手段４０−１、４０−２と、物体の代表点の位置の平均化手段５０が設けられている。間引き手段４０−１、４０−２は、画像メモリ♯１、♯２からの画像データから、一部の画素を間引き、画像分解能を変化させることができる。
【００６８】
図１１に示す画像特徴追跡装置では、間引き手段４０−１、４０−２によって、間引き量を変えて画像分解能が順次変化させられ、各画像分解能において、物体の代表点の位置が算出される。それらの結果を平均化手段５０において、平均化することによって、物体の代表点の位置の精度を高めることができる。
【００６９】
【発明の効果】
上述したように、本発明によれば以下に示す効果を有する。
請求項１乃至２のうちいずれか１項記載の画像特徴追跡装置、及び請求項５記載の画像特徴追跡方法においては、逐次的に設定されたテンプレートに基づいて算出された物体の概略動きベクトルが、抽出された特徴点に基づいて微少範囲に限定して補正される。従って、追跡すべき物体が回転、伸縮、及び変形した場合でも、本装置は前記物体を安定に追跡することができる。
【００７０】
請求項３記載の画像特徴追跡装置においては、前記複数の特徴点の位置の中心を物体の代表点として前記物体の移動量が算出される。従って、追跡すべき物体が回転、伸縮、及び変形した場合でも、物体の並進量を計測することができる。
請求項４記載の画像特徴追跡装置においては、追跡すべき物体が回転、及び伸縮した場合でも、物体の並進量と回転及び伸縮量を計測することができる。
【図面の簡単な説明】
【図１】本発明の画像特徴追跡装置の基本的なブロック系統図。
【図２】逐次テンプレートモードによる相関演算処理の問題点を説明する図。
【図３】本発明によるずれの補正を説明する図。
【図４】本発明の画像特徴追跡装置の作用を説明する図。
【図５】本発明の画像特徴追跡装置の第１実施例のブロック系統図。
【図６】固有値と特徴パターンとの関係を示す図。
【図７】画像内の各画素の特徴度の２次元分布の一例を示す図。
【図８】本発明の画像特徴追跡装置の第２実施例のブロック系統図。
【図９】本発明の画像特徴追跡装置の第２実施例の作用を説明する図。
【図１０】本発明の画像特徴追跡装置の第３実施例のブロック系統図。
【図１１】本発明の画像特徴追跡装置の第４実施例のブロック系統図。
【図１２】従来の局所相関演算を用いた画像特徴追跡装置の原理を説明する図。
【符号の説明】
１ 相関演算部
２ 特徴点抽出部
３ 動きベクトル補正部
１０ カメラ
１２ デマルチプレクサ
１４ スイッチャ
１６ 特徴点マップ
１８ 特徴点メモリ
２０ 特徴点中心演算手段
３０ 回転及び伸縮量演算手段
４０−１、４０−２ 間引き手段
５０ 平均化手段
１００ 相関演算ブロック
１０２ テンプレート切り出し手段
１０４ 候補ブロック切り出し手段
１０６ 相関演算手段
１０８ 最小値検出手段
２００ 特徴点抽出ブロック
２０２ 水平方向微分手段
２０４ 垂直方向微分手段
２０６、２０８ ２乗演算手段
２１０ 積演算手段
２１２ 行列生成手段２１２
２１４ 固有値計算手段
２１６ ピーク抽出処理手段
３００ 動きベクトル補正ブロック
３０２ 特徴点マップ切り出し手段
３０４ 最大値検出手段
３０６ ベクトル補正手段
Claims (5)
- 特定の物体を追跡する画像特徴追跡装置であって、
物体の画像から少なくとも１つの特徴点を抽出する特徴点抽出手段と、
異なる時刻における前記物体の画像の２つのフレームの相関演算を行ない、前記特徴点の概略動きベクトルを算出する相関演算手段と、
前記特徴点抽出手段によって抽出した前記特徴点の位置に基づいて、前記相関演算手段において算出した前記概略動きベクトルを微少範囲に限定して修正する動きベクトル補正手段と
を有し、前記動きベクトル補正手段によって修正された物体の動きベクトルから、前記物体の位置を検出できることを特徴とする画像特徴追跡装置。 - 前記特徴点抽出手段は、画像の画素の濃度勾配に基づいて算出した固有値によって前記特徴点を表す手段を有し、
前記相関演算手段は、連続した前記２つのフレームの第１のブロック画像と第２のブロック画像との局所相関を計算する手段と、前記局所相関が最も高くなる場合の前記第２のブロック画像における特徴点の位置を前記概略動きベクトルとして算出する手段とを有し、
前記動きベクトル手段は、前記２つのフレームの画像における各々の特徴点の位置の偏差を、前記概略動きベクトルに加えて補正する手段を有することを特徴とする請求項１記載の画像特徴追跡装置。 - 前記動きベクトル補正手段から出力された複数の前記動きベクトルに基づいて複数の前記特徴点の位置の中心を算出する手段をさらに有し、
前記複数の特徴点の位置の中心を物体の代表点として前記物体の移動量が算出されることを特徴とする請求項１乃至２のうちいずれか１項記載の画像特徴追跡装置。 - 前記動きベクトル補正手段から出力された複数の前記動きベクトルに基づいて前記物体の回転及び伸縮量を算出する手段をさらに有することを特徴とする請求項３記載の画像特徴追跡装置。
- 特定の物体を追跡する画像特徴追跡方法であって、
（ａ）物体の画像から少なくとも１つの特徴点を抽出し、
（ｂ）異なる時刻における前記物体の画像の２つのフレームの相関演算を行ない、前記特徴点の概略動きベクトルを算出し、
（ｃ）段階（ａ）において抽出した前記特徴点の位置に基づいて、段階（ｂ）において算出した前記概略動きベクトルを微少範囲に限定して修正する
各段階を備え、前記段階（ｃ）において修正された物体の動きベクトルから、前記物体の位置を検出できることを特徴とする画像特徴追跡方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01580696A JP3688377B2 (ja) | 1996-01-31 | 1996-01-31 | 画像特徴追跡装置及び画像特徴追跡方法 |
| US08/685,494 US5946041A (en) | 1996-01-31 | 1996-07-24 | Apparatus and method of tracking an image-feature using a block matching algorithm |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01580696A JP3688377B2 (ja) | 1996-01-31 | 1996-01-31 | 画像特徴追跡装置及び画像特徴追跡方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09214945A JPH09214945A (ja) | 1997-08-15 |
| JP3688377B2 true JP3688377B2 (ja) | 2005-08-24 |
Family
ID=11899095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01580696A Expired - Fee Related JP3688377B2 (ja) | 1996-01-31 | 1996-01-31 | 画像特徴追跡装置及び画像特徴追跡方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5946041A (ja) |
| JP (1) | JP3688377B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008192060A (ja) * | 2007-02-07 | 2008-08-21 | Denso Corp | 画像処理装置及び画像処理方法 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3729562B2 (ja) * | 1996-06-12 | 2005-12-21 | 松下電器産業株式会社 | 自動監視装置 |
| JP3434979B2 (ja) * | 1996-07-23 | 2003-08-11 | 富士通株式会社 | 局所領域画像追跡装置 |
| KR100255648B1 (ko) * | 1997-10-10 | 2000-05-01 | 윤종용 | 그래디언트 패턴 정합에 의한 영상 움직임 검출장치 및 그 방법 |
| US6335950B1 (en) * | 1997-10-14 | 2002-01-01 | Lsi Logic Corporation | Motion estimation engine |
| DE69934605T2 (de) * | 1999-11-29 | 2007-10-11 | Sony Corp. | Verfahren und Vorrichtung zur Bearbeitung von Videosignalen durch Charakteristischen Punkten Extraktion im komprimierten Bereich. |
| CN100336390C (zh) * | 1999-11-29 | 2007-09-05 | 索尼公司 | 提取用于浏览的合成视频选择的分级分解的方法和设备 |
| US6590999B1 (en) * | 2000-02-14 | 2003-07-08 | Siemens Corporate Research, Inc. | Real-time tracking of non-rigid objects using mean shift |
| ATE552572T1 (de) * | 2000-12-01 | 2012-04-15 | Imax Corp | Verfahren und vorrichtung zum erzeugen hochauflösender bilder |
| JP2002224982A (ja) * | 2000-12-01 | 2002-08-13 | Yaskawa Electric Corp | 薄型基板搬送用ロボットおよび薄型基板検出方法 |
| US6691947B2 (en) * | 2002-03-12 | 2004-02-17 | The Boeing Company | Repetitive image targeting system |
| CA2478671C (en) * | 2002-03-13 | 2011-09-13 | Imax Corporation | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data |
| US7636481B2 (en) * | 2002-10-09 | 2009-12-22 | Sony Corporation | Image processing apparatus, method, storage medium, and program for compressing an input image using a motion vector that is detected based on stored position information of pixels |
| DE10361327A1 (de) * | 2003-12-27 | 2005-07-21 | Leica Microsystems Heidelberg Gmbh | Verfahren zur Korrektur des Drifts bei einem optischen Gerät |
| US6942152B1 (en) * | 2004-01-21 | 2005-09-13 | The Code Corporation | Versatile graphical code reader that is configured for efficient decoding |
| EP2765533A1 (en) | 2004-07-26 | 2014-08-13 | Automotive Systems Laboratory, Inc. | Vulnerable road user protection system |
| US7715645B2 (en) * | 2004-11-17 | 2010-05-11 | Samsung Electronics Co., Ltd. | Methods to estimate noise variance from a video sequence |
| EP1977395B1 (en) * | 2006-01-27 | 2018-10-24 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
| CN102685533B (zh) * | 2006-06-23 | 2015-03-18 | 图象公司 | 对2d电影进行转换用于立体3d显示的方法和*** |
| JP4725526B2 (ja) * | 2006-08-28 | 2011-07-13 | ソニー株式会社 | 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム |
| TWI321297B (en) * | 2006-09-29 | 2010-03-01 | Ind Tech Res Inst | A method for corresponding, evolving and tracking feature points in three-dimensional space |
| KR100778116B1 (ko) * | 2006-10-02 | 2007-11-21 | 삼성전자주식회사 | 움직임벡터 보정장치 및 보정방법 |
| KR100818289B1 (ko) * | 2007-02-02 | 2008-03-31 | 삼성전자주식회사 | 비디오 영상 트레킹 방법 및 장치 |
| US8144934B2 (en) * | 2007-05-02 | 2012-03-27 | Nikon Corporation | Photographic subject tracking method, computer program product and photographic subject tracking device |
| JP6826010B2 (ja) | 2017-08-09 | 2021-02-03 | 株式会社東芝 | カメラ運動推定装置、カメラ運動推定方法及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61200789A (ja) * | 1985-03-04 | 1986-09-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画面上の物体の動きベクトル検出方式 |
| GB2231225B (en) * | 1989-04-27 | 1993-10-20 | Sony Corp | Motion dependent video signal processing |
| JP2827424B2 (ja) * | 1990-03-31 | 1998-11-25 | ソニー株式会社 | 画振れ補正装置 |
| US5389918A (en) * | 1990-10-23 | 1995-02-14 | Matsushita Electric Industrial Co., Ltd. | Image fluctuation detection apparatus |
| US5471252A (en) * | 1993-11-03 | 1995-11-28 | Matsushita Electric Industrial Corporation Of America | Method and apparatus for estimating motion vector fields by rejecting local outliers |
-
1996
- 1996-01-31 JP JP01580696A patent/JP3688377B2/ja not_active Expired - Fee Related
- 1996-07-24 US US08/685,494 patent/US5946041A/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008192060A (ja) * | 2007-02-07 | 2008-08-21 | Denso Corp | 画像処理装置及び画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5946041A (en) | 1999-08-31 |
| JPH09214945A (ja) | 1997-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3688377B2 (ja) | 画像特徴追跡装置及び画像特徴追跡方法 | |
| JP4672175B2 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
| JP4079690B2 (ja) | 物体追跡装置及び方法 | |
| US8351646B2 (en) | Human pose estimation and tracking using label assignment | |
| KR100653288B1 (ko) | 비디오 화상으로부터의 얼굴 인식 | |
| JP4926127B2 (ja) | 移動体搭載用前方撮像制御装置 | |
| CN105488811B (zh) | 一种基于深度梯度的目标跟踪方法与*** | |
| US20140071121A1 (en) | System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance | |
| JP2016516977A (ja) | 環境の３ｄモデルの生成 | |
| JPH1183530A (ja) | 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム | |
| CN108961342B (zh) | 一种光流传感器的校准方法及*** | |
| JP2006105661A (ja) | ステレオ画像による平面推定方法 | |
| JP6524529B2 (ja) | 建築限界判定装置 | |
| CN112580683B (zh) | 一种基于互相关的多传感器数据时间对齐***及其方法 | |
| JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
| Herau et al. | MOISST: Multimodal Optimization of Implicit Scene for SpatioTemporal Calibration | |
| KR100994722B1 (ko) | 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법 | |
| JP3629935B2 (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 | |
| JP2002218449A (ja) | 移動物体追跡装置 | |
| JP3448640B2 (ja) | 車両追跡方法及び車両追跡装置 | |
| JP2018116147A (ja) | 地図作成装置、地図作成方法及び地図作成用コンピュータプログラム | |
| Schleicher et al. | Real-Time wide-angle stereo visual SLAM on large environments using SIFT features correction | |
| Vidal et al. | Object Visual Tracking Using Window-Matching Techniques and Kalman Filtering | |
| JP2007257489A (ja) | 画像処理装置および画像処理方法 | |
| Nakahira et al. | Cooperative people tracking with multiple ground laser scanners |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040903 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050303 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050608 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090617 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100617 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110617 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120617 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120617 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130617 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |