JP4079690B2 - 物体追跡装置及び方法 - Google Patents
物体追跡装置及び方法 Download PDFInfo
- Publication number
- JP4079690B2 JP4079690B2 JP2002148536A JP2002148536A JP4079690B2 JP 4079690 B2 JP4079690 B2 JP 4079690B2 JP 2002148536 A JP2002148536 A JP 2002148536A JP 2002148536 A JP2002148536 A JP 2002148536A JP 4079690 B2 JP4079690 B2 JP 4079690B2
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- point
- points
- coordinates
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像中の物体を追跡する画像解析技術に関する。
【０００２】
【従来の技術】
画像監視や医用画像解析等において対象物（車両や臓器組織）の追跡を行う技術は重要である。
【０００３】
従来、特開２００１−３５７４０３号公報では、追跡する車両に対して複数の追跡点を設定してテンプレートマッチングによって各追跡点の運動を調べ、各追跡点の移動量をマッチングの残差を用いて加重平均して求めた車両全体の移動量から車両の位置を計算し、車両の位置に対してカルマンフィルタを用いて実空間上の車両位置や進行方向等の運動状態を推定して対象物の追跡を行う方法が開示されている（以下、従来方法）。
【０００４】
対象物が車両のような剛体（あるいは剛体とみなせるもの）で変形が問題にならない場合には、従来方法のようにテンプレートマッチングにより対象物の複数の点を追跡することで対象物を追跡した結果には十分な信頼性があると考えられる。
【０００５】
【発明が解決しようとする課題】
しかし、人物画像や医用分野における心臓画像等のように変形を伴う物体、すなわち非剛体が対象物である場合、対象物の変形によって対象物上の複数追跡点は異なる運動をする。そのため、従来方法では互いに空間的な矛盾を生じてしまうことがあり、追跡結果の信頼性に問題があった。
【０００６】
そこで本発明では、対象物が非剛体である場合でも、複数の追跡点について互いに空間的な矛盾無く高精度に追跡することが可能な追跡装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために本発明の物体追跡装置は、動画像の入力を受けて１画面単位の画像データを順次生成してメモリに記憶させる画像入力部と、複数の追跡点の座標の初期値を設定する追跡点指定部と、前記画像データを用いたパターンマッチングにより前記追跡点それぞれの移動先候補点の座標を求めるパターンマッチング部と、前記パターンマッチング部で求めた移動先候補点相互の位置関係と前記追跡点指定部で指定された追跡点相互の初期位置関係とが同じかどうかを調べ、異なる場合には前記移動先候補点の座標の修正を行う位置矛盾修正部とを有する。
【０００８】
本発明の物体追跡装置は、動画像の入力を受けて１画面単位の画像データを順次生成してメモリに記憶させる画像入力部と、複数の追跡点の座標の初期値を設定する追跡点指定部と、パターンマッチングにより前記追跡点それぞれの移動先候補点の座標を求めるパターンマッチング部と、前記追跡点の座標をそれぞれに対応する移動先候補点の座標に変換する共通なアフィンパラメータを求めるパラメータ計算部と、パラメータ計算部で求めたアフィンパラメータを用いて前記追跡点それぞれの移動先の座標あるいは前記追跡点で囲まれた領域の変形を計算する座標値・変形計算部とを有する。
【０００９】
本発明の物体追跡装置は、動画像の入力を受けて１画面単位の画像データを順次生成してメモリに記憶させる画像入力部と、複数の追跡点の座標の初期値を設定する追跡点指定部と、パターンマッチングにより前記追跡点それぞれの移動先候補点の座標を求めるパターンマッチング部と、前記移動先候補点の座標を用いてアフィンパラメータの観測値を計算するパラメータ計算部と、前記パラメータ計算部で求めたアフィンパラメータの観測値から、より正確なアフィンパラメータを推定するパラメータ状態推定部と、推定したアフィンパラメータを用いて前記追跡点それぞれの移動先の座標あるいは前記追跡点で囲まれた領域の変形を計算する座標値・変形計算部とを有する。
【００１０】
本発明の物体追跡装置は、動画像の入力を受けて１画面単位の画像データを順次生成してメモリに記憶させる画像入力部と、画像中で追跡すべき領域である追跡領域の位置や形状の初期値の情報を設定する追跡領域指定部と、複数のアフィンパラメータを生成し、その中から前記追跡領域の移動及び変形を最も良く表しているものを探索してアフィンパラメータの最適な観測値を求める最適パラメータ探索部と、前記最適パラメータ探索部で求めたアフィンパラメータの最適な観測値から、より正確なアフィンパラメータを推定するパラメータ状態推定部と、推定したアフィンパラメータを用いて前記追跡領域の移動先の位置及び変形を計算する座標値・変形計算部とを有する。
【００１１】
本発明の物体追跡方法は、動画像の入力を受けて１画面単位の画像データを順次生成する画像入力ステップと、複数の追跡点の座標の初期値を設定する追跡点指定ステップと、パターンマッチングにより前記追跡点のそれぞれの移動先候補点の座標を求めるパターンマッチングステップと、前記移動先候補点相互の位置関係と前記追跡点指定部で指定された前記追跡点相互の位置関係とが同じかどうかを調べ、異なる場合には移動先候補点の座標の修正を行う位置修正ステップとを有する。
【００１２】
本発明の物体追跡方法は、動画像の入力を受けて１画面単位の画像データを順次生成する画像入力ステップと、複数の追跡点の座標の初期値を設定する追跡点指定ステップと、パターンマッチングにより前記追跡点それぞれの移動先候補点の座標を求めるパターンマッチングステップと、前記追跡点それぞれの座標を前記移動先候補点の座標に変換する共通なアフィンパラメータを求めるパラメータ計算ステップと、求めたアフィンパラメータを用いて前記追跡点それぞれの移動先の座標あるいは前記追跡点で囲まれた領域の変形を計算する座標値・変形計算ステップとを有する。
【００１３】
本発明の物体追跡方法は、動画像の入力を受けて１画面単位の画像データを順次生成する画像入力ステップと、複数の追跡点の座標の初期値を設定する追跡点指定ステップと、パターンマッチングにより前記追跡点それぞれの移動先候補点の座標を求めるパターンマッチングステップと、前記移動先候補点の座標を用いてアフィンパラメータの観測値を計算するパラメータ計算ステップと、前記パラメータ計算ステップで求めたアフィンパラメータの観測値から、より正確なアフィンパラメータを推定するパラメータ状態推定ステップと、推定したアフィンパラメータを用いて前記追跡点それぞれの移動先の座標あるいは前記追跡点で囲まれた領域の変形を計算する座標値・変形計算ステップとを有する。
【００１４】
本発明の物体追跡方法は、動画像の入力を受けて１画面単位の画像データを順次生成する画像入力ステップと、画像中で追跡すべき領域である追跡領域の位置や形状の初期値の情報を設定する追跡領域指定ステップと、複数のアフィンパラメータを生成し、その中から前記追跡領域の移動及び変形を最も良く表しているものを探索してアフィンパラメータの最適な観測値を求める最適パラメータ探索ステップと、前記最適パラメータ探索部で求めたアフィンパラメータの最適な観測値から、より正確なアフィンパラメータを推定するパラメータ状態推定ステップとを有する。
【００１５】
【発明の実施の形態】
（第１の実施形態）本実施形態の物体追跡装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）から出力された動画像データ及び追跡すべき点（追跡点）の座標データを受けて、追跡点の運動を一定時間毎に追跡して、各時間毎の座標や速度等を追跡結果としてＰＣやＷＳに出力する装置である。
【００１６】
運動に伴って変形する物体である非剛体の運動を追跡する能力に優れており、特に、医用分野において心臓の画像を撮影して心臓の任意の点の運動を追跡する用途に適している。
【００１７】
尚、以下は説明を簡単にするため２次元画像の場合を例に説明するが、本装置は３次元画像を扱うことも可能である。
【００１８】
以下、図面を参照して本発明の第１の実施形態について説明する。図１は、本実施形態の物体追跡装置の構成を説明する図である。
【００１９】
図１に示すように、本実施形態の物体追跡装置は、動画像を受け取る画像入力部１０１と、入力された画像や追跡点の情報等を記憶するメモリ１０５と、本装置の使用者から複数の追跡点の入力を受ける追跡点指定部１０６と、画像のパターンマッチングにより、前述の複数の追跡点それぞれについての移動先候補点を抽出するパターンマッチング部１０２とを有する。
【００２０】
更に、移動先候補点の空間的配置の矛盾を検出して、矛盾を解消する位置矛盾修正部１０３と、移動先候補点の位置情報から、カルマンフィルタを用いて現在の画像を取得した時刻（以下、現画像）における運動状態を表す運動状態ベクトルの推定及び次の画像を取得する時刻（以下、次画像）における運動状態ベクトルの予測を行う運動状態推定部１０４と、次画像における運動状態ベクトルの予測値から、次画像における移動先候補点の抽出に用いる統計量である「重み」を作成して移動先候補点の探索範囲を指定する探索範囲設定部１０７と、ＰＣやＷＳに結果を出力する出力部１０８とを有する。
【００２１】
ここで、運動状態とは追跡点の座標、速度、加速度の情報をであり、運動状態ベクトルとはこれらの情報を各成分に持つベクトル量である。本実施形態では運動状態ベクトルには座標・速度・加速度を全て含むが、装置の設計によっては全てを含む必要は無く、例えば座標のみを運動場体ベクトルとした設計であっても構わない。
【００２２】
画像入力部１０１は、外部から動画像データの入力を受け、１画面単位で画像データとして順次メモリ１０５に記憶させる。
【００２３】
メモリ１０５は画像データ、テンプレート画像、各追跡点の情報、追跡点間の隣接関係の情報等を記憶する領域である。画像入力部１０１、パターンマッチング部１０２、位置矛盾修正部１０３、運動状態推定部１０４からアクセス可能になっている。
【００２４】
追跡点指定部１０６は外部から複数の追跡点の座標データの入力を受け、パターンマッチング部１０２に通知する。
【００２５】
パターンマッチング部１０２は各追跡点毎にテンプレートマッチングにより移動先候補点を探索する。パターンマッチング部１０２はメモリ１０５から現画像の画像データと、各追跡点のテンプレート画像とを読み出し、さらに探索範囲設定部１０７から出力された「重み」を用いて現画像において各追跡点それぞれのテンプレート画像との相関が最も高い点を探索して各追跡点の移動先候補点の座標を求める。求めた座標はメモリ１０５に記憶させておく。テンプレートマッチングに用いるテンプレート画像は、追跡点指定部１０６から座標データを通知された時にパターンマッチング部１０２が作成してメモリ１０５に記憶させておく。
【００２６】
位置矛盾修正部１０３では、各追跡点の移動先候補点の位置関係が空間的に矛盾していないかを調べる。位置矛盾修正部１０３は、メモリ１０５から追跡点の移動先候補点の座標と隣接関係の情報を読み出す。そして後述するように、隣接関係の情報が存在しない場合は隣接関係の検出を行い、隣接関係の情報が存在する場合は追跡点各点の空間的矛盾の検出を行う。空間的矛盾が検出された追跡点については、位置矛盾修正部１０３において移動先候補点の再探索を行う。全ての追跡点について矛盾の検出及び再探索が終わったら追跡点の座標をメモリ１０５に記憶させる。
【００２７】
運動状態推定部１０４では、メモリ１０５から現画像における各追跡点の移動先候補点の座標を読み出し、後述するカルマンフィルタを用いて各追跡点の現画像における運動状態ベクトルの推定及び次画像における運動状態ベクトルの予測を行う。推定した現画像の運動状態ベクトルを出力部１０８に出力するとともに、推定した現画像の運動状態ベクトル及び予測した次画像の運動状態ベクトルの両方を探索範囲設定部１０７に出力する。
【００２８】
探索範囲設定部１０７では、運動状態推定部１０４から出力された現画像及び次画像の運動状態ベクトルを用いて、パターンマッチング部１０２で次画像についてパターンマッチングを行う際に用いる「重み」を計算してパターンマッチング部１０２に出力する。本実施形態では探索範囲内の重みを１、探索範囲外の重みを０とする。
【００２９】
出力部１０８は運動状態推定部１０４から受け取った現画像の運動状態ベクトルを外部のＰＣやＷＳに出力する。
【００３０】
図２は本実施形態の物体追跡装置の動作を説明するフローチャートである。尚、ここでは追跡点の座標は動作開始時に与えられているものとする。
【００３１】
まず、外部から入力された動画像データから１画面単位で画像データを取得してメモリ１０５に記憶させる（ステップ２０１）。そして、各追跡点について移動先候補点の座標をテンプレートマッチングを用いて求める（ステップ２０２）。
【００３２】
各追跡点について求めた移動先候補点の配置が、空間的に矛盾しないかを調べる。矛盾があるものは、移動先候補点の再探索を行う（ステップ２０３）。
【００３３】
移動先候補点の座標から、後述するカルマンフィルタを利用して各追跡点の現在の画像における運動状態ベクトルの推定と次の画像における運動状態ベクトルの予測を行い、現在の画像の運動状態ベクトルの推定結果を外部に出力する（ステップ２０４）。
【００３４】
全ての画像について追跡処理が終わったら終了する（ステップ２０５）。一方、後続の画像がある場合は次の画像における運動状態ベクトルの予測値を用いて次の画像におけるテンプレートマッチングに用いる重みを計算して（ステップ２０６）、ステップ２０１を実行する。
【００３５】
図３は、前述の位置矛盾修正部１０３がステップ２０３において各追跡点の移動先候補点の空間的矛盾を検出する手法及び移動先候補点の再探索について説明する図である。
【００３６】
まず、図３（ａ）に示すように、最初の画像における追跡点間に三角パッチを張り、各追跡点の隣接関係をメモリ１０５に記憶しておく。
【００３７】
本実施形態では、各追跡点に識別番号を付けた上で、デローニ三角形生成法を用いて各追跡点を頂点とする三角パッチを張る。そして、生成された三角形の各辺毎に、辺に対面する頂点の番号を記憶する。三角形が端にある場合を除いて、各辺を共有して二つの三角形が隣接することになるので、各辺を挟んで対面する頂点は二つ存在する。位置関係の矛盾検出は、移動先候補の座標を用いて、各辺毎に記憶された二つの頂点がそれぞれ元と同じ右側または左側に存在するかどうかを検証することで行う。端の三角形については、辺の左右いずれの側に頂点が存在するかを記憶しておいて位置を検証する。
【００３８】
左右の位置の検証にはベクトルの外積を用いる。辺の始点と終点を決めておけば、始点から終点に向かうベクトル（辺ベクトル）を基準に「左右」を定義することができる。そして、辺の始点から頂点へ向かうベクトル（頂点ベクトル）と辺ベクトルとの外積を計算する。今、画像は２次元であるので、二つのベクトルの外積はＺ方向（２次元平面に対する法線方向）にのみ成分を持つベクトルである。頂点が辺ベクトルの左側にある場合にはＺ成分は正の値をとり、頂点が辺ベクトルの右側にある場合にはＺ成分は負の値をとる。
【００３９】
従って、各辺毎にメモリ１０５に記憶させておくデータは、辺ベクトルの始点及び終点の識別番号、辺を挟んで対面する頂点の識別番号、そして、頂点が辺ベクトルの左右のどちら側に存在するか（左、右）、という情報である。
【００４０】
以下、図３（ａ）の追跡点３０１・追跡点３０２・追跡点３０４を頂点に持つ三角形と追跡点３０２・追跡点３０３・追跡点３０４を頂点に持つ三角形とを例に位置関係の抽出方法を説明する。
【００４１】
追跡点３０２と追跡点３０４とを結んだ線分である辺３０５は二つの三角形の共通の辺であり、追跡点３０１と追跡点３０３は辺３０５に対面する頂点である。
【００４２】
ここで、説明用に各点の座標を設定する。追跡点３０１は（６，３）、追跡点３０２は（３，４）、追跡点３０３は（１，２）、追跡点３０４は（４，１）とする。今、２次元平面上のベクトルを考えているので、外積のＸ、Ｙ成分は０になる。従って、ここでは外積はベクトル表記しない。
【００４３】
まず、始点が追跡点３０４で終点が追跡点３０２であるベクトルと、始点が追跡点３０４で終点が追跡点３０１であるベクトルとの外積（第１の外積）を計算する。始点が追跡点３０４で終点が追跡点３０２であるベクトルは（３，４）−（４，１）＝（−１，３）で、始点が追跡点３０４で終点が追跡点３０１であるベクトルは（６，３）−（４，１）＝（２，２）だから、（−１，３）×（２，２）＝（−１）×２−３×２＝−８。
【００４４】
そして、同様に始点が追跡点３０４で終点が追跡点３０２であるベクトルと、始点が追跡点３０４で終点が追跡点３０３であるベクトルとの外積（第２の外積）を計算する。始点が追跡点３０４で終点が追跡点３０２であるベクトルは（３，４）−（４，１）＝（−１，３）で、始点が追跡点３０４で終点が追跡点３０３であるベクトルは（１，２）−（４，１）＝（−３，１）だから、（−１，３）×（−３，１）＝（−１）×１−３×（−３）＝８。
【００４５】
第１の外積は負の値であるから、追跡点３０１は始点が追跡点３０２で終点が追跡点３０４であるベクトルの右側にあることが分かる。一方、第２の外積は正の値であるから、追跡点３０３は左側にあることが分かる。
【００４６】
従って、この例では「辺の始点は追跡点３０４」「辺の終点は追跡点３０２」「追跡点３０１は右」「追跡点３０３は左」という情報が抽出結果となる。
【００４７】
そして、移動先候補点が抽出された後、記憶しておいた隣接関係に基づいて位置関係を調べる。以下、隣接関係の検証について説明する。
【００４８】
図３（ａ）では、追跡点３０２と追跡点３０４を底辺とし、追跡点３０１及び追跡点３０３を頂点とする２つの三角形の頂点は底辺を挟んで両側に１つずつ存在している。すなわち、追跡点３０１と追跡点３０３とは、追跡点３０２と追跡点３０４を通る直線を挟んで反対側に位置している。
【００４９】
一般に対象物は切断や***をすることはなく、また、対象物は追跡点の空間的な密度に比べて局所的に大きな変形をしないと仮定できるので、この関係は運動を行っている間も保たれるはずである。このような仮定は、例えば、心臓のように滑らかに変形する物体を考えれば一般的な仮定である。
【００５０】
移動先候補点を求めて図３（ａ）で検出した隣接関係を用いて各点に三角パッチを張った結果、図３（ｂ）のようになったとする。全体としては図３（ａ）と比べて変形しているが、追跡点３０２と追跡点３０４を底辺とし、追跡点３０１及び追跡点３０３を頂点とする２つの三角形に着目すると、２つの三角形の頂点は底辺を挟んで両側に１つずつ存在している。これは、図３（ａ）で検出した位置関係が保たれており、矛盾が生じていない。
【００５１】
一方、移動先候補点を求めて図３（ａ）で求めた隣接関係を用いて各点に三角パッチを張った結果、図３（ｃ）のようになったとする。追跡点３０２と追跡点３０４を底辺とし、追跡点３０１及び追跡点３０３を頂点とする２つの三角形に着目すると、２つの三角形の頂点は底辺から見て片側に存在している。これは、図３（ａ）で検出した位置関係が保たれておらず、矛盾が生じている。
【００５２】
このように矛盾が生じた場合は、追跡点の移動先候補の再探索を行う。図３（ｃ）では追跡点３０１が矛盾の原因になっているので、図３（ｄ）のように追跡点３０１が存在しても位置関係に矛盾が生じない領域内で再度パターンマッチングによる探索を行う。尚、パターンマッチングの代わりに隣接する追跡点との位置関係から移動先候補点の座標を補間しても良い（この場合はメモリ１０５上のテンプレート画像も更新する）。
【００５３】
運動状態推定部１０４におけるカルマンフィルタを用いた各追跡点の現画像及び次画像の運動状態ベクトルの推定・予測処理について説明する。
【００５４】
カルマンフィルタは一般に数１の関係式で表される線形確率システムであり、状態ベクトルの推定に用いることができる。
【００５５】
【数１】
【００５６】
ｒnはある時刻ｎにおける観測等による誤差を含んだ値（以下、観測値）を成分にもつベクトル量で、ｐnは時刻ｎにおける状態ベクトルである。Ｈnは状態ベクトルと観測値との関係を表す観測行列であり、Ｆnはｐnからｐn+1を予測する状態遷移行列である。また、観測行列Ｈnは状態ベクトルと観測値との関係を記述するものである。ωn、νnはそれぞれガウス白色雑音ベクトルで、Ｇnは状態ベクトルにガウス白色雑音ベクトルの効果を及ぼす行列である。
【００５７】
ｒnとｐnは観測値と真の値（の推定値）という関係にある。一般に真の値ｐnを観測すると何らかの誤差の影響を受けて真の値とは異なる値ｒnが観測値として得られる。カルマンフィルタを用いると観測値ｒnから真の値ｐnの推定を行うことができる。また、ｐn+1はｐnから未来の真の値を予測した値である。
【００５８】
本実施形態では、ｐnはｎ枚目の画像を取得した時刻における状態ベクトルであり、追跡点のｘ座標、ｙ座標、ｘ方向の速度成分、ｙ方向の速度成分、ｘ方向の加速度成分、ｙ方向の加速度成分を各成分に持つ運動状態ベクトルがこれに該当する。
【００５９】
一方、ｒnはｎ枚目の画像において求めた追跡点の移動先候補のｘ座標、ｙ座標を成分に持つベクトル量である。。
【００６０】
状態遷移行列Ｆnは、対象物の運動モデルから導くことができ、本実施形態では、例えば等加速度運動モデルに基づいて状態遷移行列を定めると良い。
【００６１】
以上のような線形確率システムとして対象物のトラッキングをモデル化し、順次移動先候補点の観測値からカルマンフィルタによって対象物の運動状態が推定される。ｎ枚目の画像における観測値ｒnをもとにしてｎ枚目の画像における運動状態ベクトルｐnが推定され、ｐnからｎ＋１枚目の画像における運動状態ベクトルｐn+1が予測される。
【００６２】
本実施形態の探索範囲設定部１０７では、図４のように上述のｐn+1に含まれる次画像の予測位置４０２を用いて次画像の探索範囲４０３を定める。これに限らず、追跡点の次画像における予測位置にピークを持つ関数を利用して重みを算出しても良い。また、カルマンフィルタの推定誤差共分散を用いて、探索範囲または重み関数の広がり係数を決定しても良い。
【００６３】
本実施形態の物体追跡装置はＰＣやＷＳ等に接続して使用するとしたが、この構成に限らずＬＣＤ及びポインティングデバイス等のユーザーインターフェース、また、カメラ等の画像取得手段を備えた装置として構成して、独立した物体追跡装置としても良い。また、本実施形態の物体追跡装置では、追跡点の座標をを外部から受け取るとしたが、代わりに画像からコーナー検出等により特徴点を複数個抽出して、これらの特徴点を追跡点としても良い。コーナー検出手法の一例としては、例えば特開２０００−１９４８６１が挙げられる。
【００６４】
以上、本実施形態の物体追跡装置によれば、追跡点相互の位置関係の制約を考慮しながら移動先候補点の抽出を行っているので、誤った候補位置を抽出した場合でも近隣の追跡点の情報から位置を修正でき、１点のみで追跡を行う場合に比較して追跡途中の逸脱を減少させることができる。
【００６５】
（第２の実施形態）以下、本発明第２の実施形態について説明する。本実施形態の物体追跡装置は第１の実施形態の物体追跡装置と概略は同じで、ＰＣやＷＳに接続して使用するものを想定している。また、特に適する用途も同じである。ただし、第１の実施形態と同様、この構成に限らずＬＣＤ及びポインティングデバイス等のユーザーインターフェース及びカメラ等の画像取得手段を備える独立した物体追跡装置として構成しても良い。また、追跡点の座標をを外部から受け取る代わりに、画像からコーナー検出等により特徴点を複数個抽出して、これらの特徴点を追跡点としても良い。
【００６６】
本実施形態の物体追跡装置では、対象物上の３点以上の点を追跡し、追跡点の座標からアフィンパラメータを求める。追跡点の座標にはマッチングによる誤差が含まれるため、ここで求めたアフィンパラメータにも誤差が含まれる。そこで、誤差を含んだアフィンパラメータ（以下、アフィンパラメータの観測値）を成分に持つベクトルに対してカルマンフィルタを適用してより正確なアフィンパラメータの値（以下、アフィンパラメータの真の値）を推定する。そして、推定されたアフィンパラメータの真の値を用いて追跡点の移動先の座標等を計算して追跡点の運動を追跡する。
【００６７】
尚、本実施形態では数１の状態遷移行列Ｆn及び観測行列Ｈnは対象物の運動モデルからアフィンパラメータを求めるのに適した形に求めたものを用いる。
【００６８】
本実施形態の物体追跡装置は、アフィンパラメータを用いるので追跡点を含む領域の移動、伸縮、ズレ、回転等を知ることが可能であることと、空間的にありえないようなねじれた位置関係になりにくいという利点がある。
【００６９】
図５は本実施形態の物体追跡装置の構成を説明する図である。本装置は第１の実施形態の物体追跡装置と類似する構成であるので、異なる点を中心に説明する。
【００７０】
本装置は、外部から動画像の入力を受ける画像入力部５０１と、画像データや追跡点の情報等を記憶するメモリ５０５と、外部から追跡点の座標データの入力を受ける追跡点指定部５０６と、パターンマッチングにより追跡点の移動先候補点を抽出するパターンマッチング部５０２とを有する。
【００７１】
さらに、追跡点の元の座標と移動先候補点の座標とを用いて、現画像のアフィンパラメータの観測値を算出するパラメータ計算部５０３と、カルマンフィルタを用いて現画像及び次画像の真のアフィンパラメータを推定するパラメータ状態推定部５０４と、推定された次画像の真のアフィンパラメータを用いて次画像における追跡点の移動先候補の探索範囲を設定する探索範囲設定部５０７と、推定された現画像の真のアフィンパラメータから各追跡点の移動先座標及び全追跡点を含む領域の変形量を計算する座標値・変形計算部５０８と、ＰＣやＷＳに追跡結果を出力する出力部５０９とを有する。
【００７２】
メモリ５０５は画像データ、テンプレート画像、各追跡点の情報、アフィンパラメータ等を記憶する領域である。画像入力部５０１、パターンマッチング部５０２、パラメータ計算部５０３、パラメータ状態推定部５０４はメモリ５０５に接続されていて記憶されているデータにアクセス可能になっている。パターンマッチング部５０２、パラメータ計算部５０３、パラメータ状態推定部５０４はメモリ５０５から処理に必要なデータを取得して、処理結果を記憶させる。
【００７３】
パラメータ計算部５０３は、メモリ５０５から現画像の追跡点の座標及び追跡点の移動先候補の座標を読み出して、現画像の追跡点の座標を移動先候補点の座標に変換するアフィンパラメータを求め、メモリ５０５に記憶させる。ここで求めたアフィンパラメータは、パターンマッチングにより求めた追跡点の座標を利用して計算されたもので、いわば座標の観測値に基づいて計算されたものである。そこで、ここで求めたアフィンパラメータを現画像の「アフィンパラメータの観測値」と呼ぶ。
【００７４】
パラメータ状態推定部５０４は、メモリ５０５から現画像のアフィンパラメータの観測値を読み出して、数１と同様なカルマンフィルタを用いて現画像のアフィンパラメータの真の値の推定値（真のアフィンパラメータの推定値）を成分に持つ状態ベクトル及び次画像のアフィンパラメータの予測値を成分に持つ状態ベクトルを計算する。尚、ここで用いるカルマンフィルタの状態遷移行列Ｆn及び観測行列Ｈnは、対象物の運動モデルからアフィンパラメータの計算用に導いたものである。
【００７５】
次画像のアフィンパラメータの予測値とは、次画像の追跡点の座標を次画像の追跡点の移動先候補の座標に変換するためのアフィンパラメータの予測値である。
【００７６】
そして、現画像の真のアフィンパラメータの推定値及び次画像のアフィンパラメータの予測値をメモリ５０５に記憶させるとともに、探索範囲設定部５０７にも出力する。また、現画像の真のアフィンパラメータの推定値を座標値・変形計算部５０８に出力する。
【００７７】
探索範囲設定部５０７は、パラメータ状態推定部５０４から出力された現画像の真のアフィンパラメータの推定値及び次画像のアフィンパラメータの予測値を用いて次画像におけるパターンマッチングの探索範囲を計算し、探索範囲を指定するデータをパターンマッチング部５０２に出力する。パターンマッチング部５０２はこの探索範囲のデータを参照してパターンマッチングを行う。
【００７８】
座標値・変形計算部５０８では、現画像の真のアフィンパラメータの推定値を用いて各追跡点の移動先座標と、全追跡点を含む領域の変形量を計算して出力部５０９に出力する。
【００７９】
図６は、本装置における追跡点の追跡処理の流れを説明するフローチャートである。尚、ここでは追跡点の座標は動作開始時に与えられているものとする。
【００８０】
外部から入力された動画像データから画像データを取得して順次メモリに記憶させる（ステップ６０１）。画像データを用いて各追跡点についてテンプレートマッチングを行い、各追跡点の移動先候補の座標を求める（ステップ６０２）。
【００８１】
各追跡点の座標を各追跡点の移動先候補の座標に変換するアフィンパラメータを求める（ステップ６０３）。そして、求めたアフィンパラメータに対してカルマンフィルタを適用して現画像の真のアフィンパラメータの推定値及び次画像のアフィンパラメータの予測値を求める（ステップ６０４）。
【００８２】
全ての画像について処理が終わったら終了する（ステップ６０５）。一方、後続の画像がある場合は次画像の探索範囲を設定して（ステップ６０６）、ステップ６０１を実行する。
【００８３】
パラメータ計算部５０３におけるアフィンパラメータの計算について説明する。
【００８４】
現画像における追跡点の座標を（ｘn，ｙn）、移動先候補点の座標を（ｘn+1，ｙn+1）とすると、アフィンパラメータａ、ｂ、ｃ、ｄ、ｅ、ｆは次のような関係式で表される。
【００８５】
【数２】
【００８６】
アフィンパラメータの未知数は６であるので、追跡点が３点ならば厳密解が求まり、４点以上ならば近似解（例えば、最小二乗解）を求めることができる。従って、本実施形態では追跡点を少なくとも３点指定する必要があるが、追跡点間の位置関係の矛盾を避けるには４点以上指定することが望ましい。
【００８７】
４点以上指定した場合、パターンマッチングの結果追跡点間の位置関係に矛盾が生じても、アフィンパラメータの近似解を求める際に誤差として吸収されて、矛盾が修正される効果が期待できる。
【００８８】
パラメータ計算部５０３では、数２の方程式を解いてアフィンパラメータの観測値を求める。
【００８９】
数２で表されるアフィンパラメータのうちｅ、ｆはそれぞれｘ方向、ｙ方向の移動量を表しており、ａ、ｂ、ｃ、ｄは３点以上の追跡点で形成される多角形の、伸縮、回転等の変形を表す量である。
【００９０】
パラメータ状態推定部５０４では、アフィンパラメータａ、ｂ、ｃ、ｄ、ｅ、ｆを数１の観測値ｒnの各成分としてカルマンフィルタを用いて、真のアフィンパラメータの推定値を各成分に持つ状態ベクトル及びアフィンパラメータの予測値を各成分に持つ状態ベクトルを計算する。
【００９１】
本実施形態では、各追跡点の移動を共通なアフィンパラメータで表すので、３点以上の追跡点で形成される多角形の移動量や変形を知ることができる。また、パターンマッチングの結果として移動先候補点間に空間的矛盾が生じても、追跡点が４点以上ある場合はアフィンパラメータの算出時に自動的に修正されるので、空間的にあり得ないようなねじれた位置関係になる可能性が少なくなる。さらに、アフィンパラメータに対してカルマンフィルタを適用しているので、対象物の任意の点を精度良く追跡することができる。
【００９２】
（第３の実施形態）以下、本発明第３の実施形態について説明する。本実施形態の物体追跡装置は第１、第２の実施形態の物体追跡装置と同様、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）から出力された動画像データ及び追跡すべき領域（追跡領域）の座標データを受けて、追跡領域の変形及び移動を一定時間毎に追跡してアフィンパラメータを求め、各時間毎の座標や速度等を追跡結果としてＰＣやＷＳに出力する装置である。ただし、第１、第２の実施形態と同様、この構成に限らずＬＣＤ及びポインティングデバイス等のユーザーインターフェース及びカメラ等の画像取得手段を備える独立した物体追跡装置として構成しても良い。また、追跡点の座標をを外部から受け取る代わりに、画像からコーナー検出等により特徴点を複数個抽出して、これらの特徴点で囲まれた領域を追跡領域としても良い。
【００９３】
本実施形態の物体追跡装置は非剛体の運動を追跡する能力に優れており、特に、医用分野において心臓の画像を撮影して心臓の任意の点の運動を追跡する用途に適している。
【００９４】
第２の実施形態のように追跡点の座標からアフィンパラメータを求めていたが、本実施形態の物体追跡装置では、まず各追跡点で囲まれた領域の移動・変形を最も良く表すアフィンパラメータを求める。ここで求めたアフィンパラメータには誤差が含まれると考えられる。そこで、誤差を含んだアフィンパラメータ（以下、アフィンパラメータの観測値）を成分に持つベクトルに対してカルマンフィルタを適用してより正確なアフィンパラメータの値（以下、アフィンパラメータの真の値）を推定する。そして、推定されたアフィンパラメータの真の値を用いて追跡点の移動先の座標等を計算して追跡点の運動を追跡する。
【００９５】
本実施形態の物体追跡装置は、第２の実施形態の利点に加えて、領域の移動・変形を表すアフィンパラメータを直接探索するために追跡点相互の位置関係に矛盾が生じる可能性が極めて低く、精度良く安定した探索を行えるという利点がある。
【００９６】
図７に示すように、本実施形態の物体追跡装置は、動画像を受け取る画像入力部７０１と、入力された画像や追跡領域の情報等を記憶するメモリ７０５と、本装置の使用者から追跡領域の頂点の座標の入力を受ける追跡領域指定部７０６と、画像のパターンマッチングにより使用者に指定された追跡領域についての移動・変形を表すアフィンパラメータの観測値を探索する最適パラメータ探索部７０２とを有する。
【００９７】
更に、アフィンパラメータの観測値に対してカルマンフィルタを適用して現画像の真のアフィンパラメータの推定値及び次画像のアフィンパラメータの予測値とを求めるパラメータ状態推定部７０３と、現画像の真のアフィンパラメータの推定値を用いて現画像における追跡領域の変形や座標を計算する座標値・変形計算部７０４と、次画像のアフィンパラメータの予測値を用いてアフィンパラメータの探索範囲を決定する探索範囲設定部７０７と、追跡結果をＰＣやＷＳに出力する出力部７０８とを有する。
【００９８】
画像入力部７０１は、外部から動画像データの入力を受けて１画面単位で画像データとして順次メモリ７０５に記憶させる。
【００９９】
メモリ７０５は、画像データ、アフィンパラメータ、追跡領域の初期画像（参照パターン）、追跡領域の頂点の座標等を記憶する領域である。画像入力部７０１、最適パラメータ探索部７０２、パラメータ状態推定部７０３、座標値・変形計算部７０４からアクセス可能となっている。
【０１００】
追跡点指定部７０６は外部から追跡領域の頂点の座標データの入力を受けて、最適パラメータ探索部７０２に通知する。
【０１０１】
最適パラメータ探索部７０２は、追跡点指定部７０６から追跡領域の座標が入力された場合は、メモリ７０５から現画像を読み出して追跡領域の画像を抽出して参照パターンを生成し、追跡領域の頂点の座標とともにメモリ７０５に記憶させる。そして、以後はメモリ７０５から現画像を読み出して参照パターンを様々なアフィン変換により変形させた複数の変形パターンを現画像の追跡領域の画像パターンと比較し、最も類似する変形パターンを生成したアフィンパラメータを求めて、これを現画像のアフィンパラメータの観測値としてメモリ７０５に記憶させておく。本実施形態では「相関が最大になるもの」を最も類似性が高いものとして扱う。
【０１０２】
パラメータ状態推定部７０３は、メモリ７０５から現画像のアフィンパラメータの観測値を読み出し、第２の実施形態のパラメータ状態推定部５０４と同様にアフィンパラメータを状態ベクトルとしてカルマンフィルタを用い、現画像の真のアフィンパラメータの推定値と次画像のアフィンパラメータの予測値とを求める。そして、現画像の真のアフィンパラメータの推定値と次画像のアフィンパラメータの予測値をメモリ７０５に記憶させるとともに探索範囲設定部７０７に出力する。
【０１０３】
座標値・変形計算部７０４は、メモリ７０５から現画像の真のアフィンパラメータの推定値と追跡領域の頂点の座標値を読み出して追跡領域の移動先の座標の計算を行って出力部７０８に出力する。
【０１０４】
探索範囲設定部７０７は、パラメータ状態推定部７０３から出力された現画像の真のアフィンパラメータの推定値と次画像のアフィンパラメータの予測値を用いて、次画像におけるパラメータ探索範囲を定め、最適パラメータ探索部７０２に出力する。アフィンパラメータは数２に示すように２次元の場合は６自由度であるために６次元空間内の探索となり、探索に時間を要する。そのため、次画像のアフィンパラメータの予測値を用いて探索範囲を縮減して処理の高速化を図る。
【０１０５】
図８は本装置における追跡領域の追跡処理の流れを説明するフローチャートである。尚、ここでは追跡領域の頂点の座標は動作開始時に与えられているものとする。
【０１０６】
外部から入力された動画像データから画像データを取得して順次メモリに記憶させる（ステップ７０１）。様々なアフィンパラメータを用いて参照パターンを変形させた複数の変形パターンと現画像の画像データとを比較し、最も相関が高い変形パターンを生成したアフィンパラメータを求める（ステップ７０２）。
【０１０７】
そして、求めたアフィンパラメータに対してカルマンフィルタを適用して現画像の真のアフィンパラメータの推定値及び次画像のアフィンパラメータの予測値を求める（ステップ６０３）。現画像の真のアフィンパラメータの推定値を用いて追跡領域の頂点の座標の移動先及び追跡領域の変形度などを計算して追跡結果として外部に出力する（ステップ６０４）。
【０１０８】
ステップ６０４と並行して、全ての画像について追跡処理が済んだか判定し、済んでいれば終了する（ステップ６０５）。一方、後続の画像がある場合は次画像の探索範囲を設定して（ステップ６０６）、ステップ６０１を実行する。
【０１０９】
図９は最適パラメータ探索部７０２におけるアフィンパラメータ探索を説明するための図である。初期画像９００は参照パターン９０１を抽出した画像であり、画像９１０は追跡処理途中のある時点における現画像である。
【０１１０】
参照パターン９０１にアフィンパラメータによる変換を施したものが変形パターン９０２である。そして、領域９１１は、変形パターン９０２と同じ位置に存在する画像９１０上の領域である。
【０１１１】
数２で示されているように、アフィンパラメータによる変換は図形に対して移動と変形を行う。図９においても、変換によって参照パターン９０１の位置は変形パターン９０２の位置に移動し、そして変形パターン９０２のように変形されている。
【０１１２】
アフィンパラメータ探索では、変形パターン９０２と領域９１１のパターンとの比較を行い、最も類似性が高い変形パターンを生成したアフィンパラメータを探索結果として求める。この処理は参照パターン９０１の移動先を探索していることと同等である。
【０１１３】
以上本実施形態によれば、領域の移動・変形を表すアフィンパラメータを直接探索するため、精度良く安定した探索が実現できる。
【０１１４】
【発明の効果】
以上、本発明によれば、対象物が非剛体である場合でも、複数の追跡点について互いに空間的な矛盾が無く追跡することが可能である。
【図面の簡単な説明】
【図１】 本発明第１の実施形態の物体追跡装置の構成を説明する図。
【図２】 本発明第１の実施形態の物体追跡装置による処理の流れを説明する図。
【図３】 （ａ）処理の最初に記憶される追跡点の位置関係の例。（ｂ）追跡点の移動先候補間の位置関係に矛盾が生じなかった場合の例。（ｃ）追跡点の移動先候補間の位置関係に矛盾が生じた場合の例。（ｄ）位置修正のための再探索領域の設定例。
【図４】 追跡点の次画面における予測位置と、これに基づいて設定される次画面における探索領域について説明する図。
【図５】 本発明第２の実施形態の物体追跡装置の構成を説明する図。
【図６】 本発明第２の実施形態の物体追跡装置による処理の流れを説明する図。
【図７】 本発明第３の実施形態の物体追跡装置の構成を説明する図。
【図８】 本発明第３の実施形態の物体追跡装置による処理の流れを説明する図。
【図９】 本発明第３の実施形態の物体追跡装置における、アフィンパラメータの探索の原理を説明する図。
【符号の説明】
１０１、５０１、７０１ 画像入力部
１０２、５０２ パターンマッチング部
１０３ 位置矛盾修正部
１０４ 運動状態推定部
１０５、５０５、７０５ メモリ
１０６、５０６ 追跡点指定部
１０７、５０７、７０７ 探索範囲設定部
１０８、５０９、７０８ 出力部
５０３ パラメータ計算部
５０４、７０３ パラメータ状態推定部
５０８、７０４ 座標値・変形計算部
７０２ 最適パラメータ探索部
７０６ 追跡領域指定部
【発明の属する技術分野】
本発明は、画像中の物体を追跡する画像解析技術に関する。
【０００２】
【従来の技術】
画像監視や医用画像解析等において対象物（車両や臓器組織）の追跡を行う技術は重要である。
【０００３】
従来、特開２００１−３５７４０３号公報では、追跡する車両に対して複数の追跡点を設定してテンプレートマッチングによって各追跡点の運動を調べ、各追跡点の移動量をマッチングの残差を用いて加重平均して求めた車両全体の移動量から車両の位置を計算し、車両の位置に対してカルマンフィルタを用いて実空間上の車両位置や進行方向等の運動状態を推定して対象物の追跡を行う方法が開示されている（以下、従来方法）。
【０００４】
対象物が車両のような剛体（あるいは剛体とみなせるもの）で変形が問題にならない場合には、従来方法のようにテンプレートマッチングにより対象物の複数の点を追跡することで対象物を追跡した結果には十分な信頼性があると考えられる。
【０００５】
【発明が解決しようとする課題】
しかし、人物画像や医用分野における心臓画像等のように変形を伴う物体、すなわち非剛体が対象物である場合、対象物の変形によって対象物上の複数追跡点は異なる運動をする。そのため、従来方法では互いに空間的な矛盾を生じてしまうことがあり、追跡結果の信頼性に問題があった。
【０００６】
そこで本発明では、対象物が非剛体である場合でも、複数の追跡点について互いに空間的な矛盾無く高精度に追跡することが可能な追跡装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために本発明の物体追跡装置は、動画像の入力を受けて１画面単位の画像データを順次生成してメモリに記憶させる画像入力部と、複数の追跡点の座標の初期値を設定する追跡点指定部と、前記画像データを用いたパターンマッチングにより前記追跡点それぞれの移動先候補点の座標を求めるパターンマッチング部と、前記パターンマッチング部で求めた移動先候補点相互の位置関係と前記追跡点指定部で指定された追跡点相互の初期位置関係とが同じかどうかを調べ、異なる場合には前記移動先候補点の座標の修正を行う位置矛盾修正部とを有する。
【０００８】
本発明の物体追跡装置は、動画像の入力を受けて１画面単位の画像データを順次生成してメモリに記憶させる画像入力部と、複数の追跡点の座標の初期値を設定する追跡点指定部と、パターンマッチングにより前記追跡点それぞれの移動先候補点の座標を求めるパターンマッチング部と、前記追跡点の座標をそれぞれに対応する移動先候補点の座標に変換する共通なアフィンパラメータを求めるパラメータ計算部と、パラメータ計算部で求めたアフィンパラメータを用いて前記追跡点それぞれの移動先の座標あるいは前記追跡点で囲まれた領域の変形を計算する座標値・変形計算部とを有する。
【０００９】
本発明の物体追跡装置は、動画像の入力を受けて１画面単位の画像データを順次生成してメモリに記憶させる画像入力部と、複数の追跡点の座標の初期値を設定する追跡点指定部と、パターンマッチングにより前記追跡点それぞれの移動先候補点の座標を求めるパターンマッチング部と、前記移動先候補点の座標を用いてアフィンパラメータの観測値を計算するパラメータ計算部と、前記パラメータ計算部で求めたアフィンパラメータの観測値から、より正確なアフィンパラメータを推定するパラメータ状態推定部と、推定したアフィンパラメータを用いて前記追跡点それぞれの移動先の座標あるいは前記追跡点で囲まれた領域の変形を計算する座標値・変形計算部とを有する。
【００１０】
本発明の物体追跡装置は、動画像の入力を受けて１画面単位の画像データを順次生成してメモリに記憶させる画像入力部と、画像中で追跡すべき領域である追跡領域の位置や形状の初期値の情報を設定する追跡領域指定部と、複数のアフィンパラメータを生成し、その中から前記追跡領域の移動及び変形を最も良く表しているものを探索してアフィンパラメータの最適な観測値を求める最適パラメータ探索部と、前記最適パラメータ探索部で求めたアフィンパラメータの最適な観測値から、より正確なアフィンパラメータを推定するパラメータ状態推定部と、推定したアフィンパラメータを用いて前記追跡領域の移動先の位置及び変形を計算する座標値・変形計算部とを有する。
【００１１】
本発明の物体追跡方法は、動画像の入力を受けて１画面単位の画像データを順次生成する画像入力ステップと、複数の追跡点の座標の初期値を設定する追跡点指定ステップと、パターンマッチングにより前記追跡点のそれぞれの移動先候補点の座標を求めるパターンマッチングステップと、前記移動先候補点相互の位置関係と前記追跡点指定部で指定された前記追跡点相互の位置関係とが同じかどうかを調べ、異なる場合には移動先候補点の座標の修正を行う位置修正ステップとを有する。
【００１２】
本発明の物体追跡方法は、動画像の入力を受けて１画面単位の画像データを順次生成する画像入力ステップと、複数の追跡点の座標の初期値を設定する追跡点指定ステップと、パターンマッチングにより前記追跡点それぞれの移動先候補点の座標を求めるパターンマッチングステップと、前記追跡点それぞれの座標を前記移動先候補点の座標に変換する共通なアフィンパラメータを求めるパラメータ計算ステップと、求めたアフィンパラメータを用いて前記追跡点それぞれの移動先の座標あるいは前記追跡点で囲まれた領域の変形を計算する座標値・変形計算ステップとを有する。
【００１３】
本発明の物体追跡方法は、動画像の入力を受けて１画面単位の画像データを順次生成する画像入力ステップと、複数の追跡点の座標の初期値を設定する追跡点指定ステップと、パターンマッチングにより前記追跡点それぞれの移動先候補点の座標を求めるパターンマッチングステップと、前記移動先候補点の座標を用いてアフィンパラメータの観測値を計算するパラメータ計算ステップと、前記パラメータ計算ステップで求めたアフィンパラメータの観測値から、より正確なアフィンパラメータを推定するパラメータ状態推定ステップと、推定したアフィンパラメータを用いて前記追跡点それぞれの移動先の座標あるいは前記追跡点で囲まれた領域の変形を計算する座標値・変形計算ステップとを有する。
【００１４】
本発明の物体追跡方法は、動画像の入力を受けて１画面単位の画像データを順次生成する画像入力ステップと、画像中で追跡すべき領域である追跡領域の位置や形状の初期値の情報を設定する追跡領域指定ステップと、複数のアフィンパラメータを生成し、その中から前記追跡領域の移動及び変形を最も良く表しているものを探索してアフィンパラメータの最適な観測値を求める最適パラメータ探索ステップと、前記最適パラメータ探索部で求めたアフィンパラメータの最適な観測値から、より正確なアフィンパラメータを推定するパラメータ状態推定ステップとを有する。
【００１５】
【発明の実施の形態】
（第１の実施形態）本実施形態の物体追跡装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）から出力された動画像データ及び追跡すべき点（追跡点）の座標データを受けて、追跡点の運動を一定時間毎に追跡して、各時間毎の座標や速度等を追跡結果としてＰＣやＷＳに出力する装置である。
【００１６】
運動に伴って変形する物体である非剛体の運動を追跡する能力に優れており、特に、医用分野において心臓の画像を撮影して心臓の任意の点の運動を追跡する用途に適している。
【００１７】
尚、以下は説明を簡単にするため２次元画像の場合を例に説明するが、本装置は３次元画像を扱うことも可能である。
【００１８】
以下、図面を参照して本発明の第１の実施形態について説明する。図１は、本実施形態の物体追跡装置の構成を説明する図である。
【００１９】
図１に示すように、本実施形態の物体追跡装置は、動画像を受け取る画像入力部１０１と、入力された画像や追跡点の情報等を記憶するメモリ１０５と、本装置の使用者から複数の追跡点の入力を受ける追跡点指定部１０６と、画像のパターンマッチングにより、前述の複数の追跡点それぞれについての移動先候補点を抽出するパターンマッチング部１０２とを有する。
【００２０】
更に、移動先候補点の空間的配置の矛盾を検出して、矛盾を解消する位置矛盾修正部１０３と、移動先候補点の位置情報から、カルマンフィルタを用いて現在の画像を取得した時刻（以下、現画像）における運動状態を表す運動状態ベクトルの推定及び次の画像を取得する時刻（以下、次画像）における運動状態ベクトルの予測を行う運動状態推定部１０４と、次画像における運動状態ベクトルの予測値から、次画像における移動先候補点の抽出に用いる統計量である「重み」を作成して移動先候補点の探索範囲を指定する探索範囲設定部１０７と、ＰＣやＷＳに結果を出力する出力部１０８とを有する。
【００２１】
ここで、運動状態とは追跡点の座標、速度、加速度の情報をであり、運動状態ベクトルとはこれらの情報を各成分に持つベクトル量である。本実施形態では運動状態ベクトルには座標・速度・加速度を全て含むが、装置の設計によっては全てを含む必要は無く、例えば座標のみを運動場体ベクトルとした設計であっても構わない。
【００２２】
画像入力部１０１は、外部から動画像データの入力を受け、１画面単位で画像データとして順次メモリ１０５に記憶させる。
【００２３】
メモリ１０５は画像データ、テンプレート画像、各追跡点の情報、追跡点間の隣接関係の情報等を記憶する領域である。画像入力部１０１、パターンマッチング部１０２、位置矛盾修正部１０３、運動状態推定部１０４からアクセス可能になっている。
【００２４】
追跡点指定部１０６は外部から複数の追跡点の座標データの入力を受け、パターンマッチング部１０２に通知する。
【００２５】
パターンマッチング部１０２は各追跡点毎にテンプレートマッチングにより移動先候補点を探索する。パターンマッチング部１０２はメモリ１０５から現画像の画像データと、各追跡点のテンプレート画像とを読み出し、さらに探索範囲設定部１０７から出力された「重み」を用いて現画像において各追跡点それぞれのテンプレート画像との相関が最も高い点を探索して各追跡点の移動先候補点の座標を求める。求めた座標はメモリ１０５に記憶させておく。テンプレートマッチングに用いるテンプレート画像は、追跡点指定部１０６から座標データを通知された時にパターンマッチング部１０２が作成してメモリ１０５に記憶させておく。
【００２６】
位置矛盾修正部１０３では、各追跡点の移動先候補点の位置関係が空間的に矛盾していないかを調べる。位置矛盾修正部１０３は、メモリ１０５から追跡点の移動先候補点の座標と隣接関係の情報を読み出す。そして後述するように、隣接関係の情報が存在しない場合は隣接関係の検出を行い、隣接関係の情報が存在する場合は追跡点各点の空間的矛盾の検出を行う。空間的矛盾が検出された追跡点については、位置矛盾修正部１０３において移動先候補点の再探索を行う。全ての追跡点について矛盾の検出及び再探索が終わったら追跡点の座標をメモリ１０５に記憶させる。
【００２７】
運動状態推定部１０４では、メモリ１０５から現画像における各追跡点の移動先候補点の座標を読み出し、後述するカルマンフィルタを用いて各追跡点の現画像における運動状態ベクトルの推定及び次画像における運動状態ベクトルの予測を行う。推定した現画像の運動状態ベクトルを出力部１０８に出力するとともに、推定した現画像の運動状態ベクトル及び予測した次画像の運動状態ベクトルの両方を探索範囲設定部１０７に出力する。
【００２８】
探索範囲設定部１０７では、運動状態推定部１０４から出力された現画像及び次画像の運動状態ベクトルを用いて、パターンマッチング部１０２で次画像についてパターンマッチングを行う際に用いる「重み」を計算してパターンマッチング部１０２に出力する。本実施形態では探索範囲内の重みを１、探索範囲外の重みを０とする。
【００２９】
出力部１０８は運動状態推定部１０４から受け取った現画像の運動状態ベクトルを外部のＰＣやＷＳに出力する。
【００３０】
図２は本実施形態の物体追跡装置の動作を説明するフローチャートである。尚、ここでは追跡点の座標は動作開始時に与えられているものとする。
【００３１】
まず、外部から入力された動画像データから１画面単位で画像データを取得してメモリ１０５に記憶させる（ステップ２０１）。そして、各追跡点について移動先候補点の座標をテンプレートマッチングを用いて求める（ステップ２０２）。
【００３２】
各追跡点について求めた移動先候補点の配置が、空間的に矛盾しないかを調べる。矛盾があるものは、移動先候補点の再探索を行う（ステップ２０３）。
【００３３】
移動先候補点の座標から、後述するカルマンフィルタを利用して各追跡点の現在の画像における運動状態ベクトルの推定と次の画像における運動状態ベクトルの予測を行い、現在の画像の運動状態ベクトルの推定結果を外部に出力する（ステップ２０４）。
【００３４】
全ての画像について追跡処理が終わったら終了する（ステップ２０５）。一方、後続の画像がある場合は次の画像における運動状態ベクトルの予測値を用いて次の画像におけるテンプレートマッチングに用いる重みを計算して（ステップ２０６）、ステップ２０１を実行する。
【００３５】
図３は、前述の位置矛盾修正部１０３がステップ２０３において各追跡点の移動先候補点の空間的矛盾を検出する手法及び移動先候補点の再探索について説明する図である。
【００３６】
まず、図３（ａ）に示すように、最初の画像における追跡点間に三角パッチを張り、各追跡点の隣接関係をメモリ１０５に記憶しておく。
【００３７】
本実施形態では、各追跡点に識別番号を付けた上で、デローニ三角形生成法を用いて各追跡点を頂点とする三角パッチを張る。そして、生成された三角形の各辺毎に、辺に対面する頂点の番号を記憶する。三角形が端にある場合を除いて、各辺を共有して二つの三角形が隣接することになるので、各辺を挟んで対面する頂点は二つ存在する。位置関係の矛盾検出は、移動先候補の座標を用いて、各辺毎に記憶された二つの頂点がそれぞれ元と同じ右側または左側に存在するかどうかを検証することで行う。端の三角形については、辺の左右いずれの側に頂点が存在するかを記憶しておいて位置を検証する。
【００３８】
左右の位置の検証にはベクトルの外積を用いる。辺の始点と終点を決めておけば、始点から終点に向かうベクトル（辺ベクトル）を基準に「左右」を定義することができる。そして、辺の始点から頂点へ向かうベクトル（頂点ベクトル）と辺ベクトルとの外積を計算する。今、画像は２次元であるので、二つのベクトルの外積はＺ方向（２次元平面に対する法線方向）にのみ成分を持つベクトルである。頂点が辺ベクトルの左側にある場合にはＺ成分は正の値をとり、頂点が辺ベクトルの右側にある場合にはＺ成分は負の値をとる。
【００３９】
従って、各辺毎にメモリ１０５に記憶させておくデータは、辺ベクトルの始点及び終点の識別番号、辺を挟んで対面する頂点の識別番号、そして、頂点が辺ベクトルの左右のどちら側に存在するか（左、右）、という情報である。
【００４０】
以下、図３（ａ）の追跡点３０１・追跡点３０２・追跡点３０４を頂点に持つ三角形と追跡点３０２・追跡点３０３・追跡点３０４を頂点に持つ三角形とを例に位置関係の抽出方法を説明する。
【００４１】
追跡点３０２と追跡点３０４とを結んだ線分である辺３０５は二つの三角形の共通の辺であり、追跡点３０１と追跡点３０３は辺３０５に対面する頂点である。
【００４２】
ここで、説明用に各点の座標を設定する。追跡点３０１は（６，３）、追跡点３０２は（３，４）、追跡点３０３は（１，２）、追跡点３０４は（４，１）とする。今、２次元平面上のベクトルを考えているので、外積のＸ、Ｙ成分は０になる。従って、ここでは外積はベクトル表記しない。
【００４３】
まず、始点が追跡点３０４で終点が追跡点３０２であるベクトルと、始点が追跡点３０４で終点が追跡点３０１であるベクトルとの外積（第１の外積）を計算する。始点が追跡点３０４で終点が追跡点３０２であるベクトルは（３，４）−（４，１）＝（−１，３）で、始点が追跡点３０４で終点が追跡点３０１であるベクトルは（６，３）−（４，１）＝（２，２）だから、（−１，３）×（２，２）＝（−１）×２−３×２＝−８。
【００４４】
そして、同様に始点が追跡点３０４で終点が追跡点３０２であるベクトルと、始点が追跡点３０４で終点が追跡点３０３であるベクトルとの外積（第２の外積）を計算する。始点が追跡点３０４で終点が追跡点３０２であるベクトルは（３，４）−（４，１）＝（−１，３）で、始点が追跡点３０４で終点が追跡点３０３であるベクトルは（１，２）−（４，１）＝（−３，１）だから、（−１，３）×（−３，１）＝（−１）×１−３×（−３）＝８。
【００４５】
第１の外積は負の値であるから、追跡点３０１は始点が追跡点３０２で終点が追跡点３０４であるベクトルの右側にあることが分かる。一方、第２の外積は正の値であるから、追跡点３０３は左側にあることが分かる。
【００４６】
従って、この例では「辺の始点は追跡点３０４」「辺の終点は追跡点３０２」「追跡点３０１は右」「追跡点３０３は左」という情報が抽出結果となる。
【００４７】
そして、移動先候補点が抽出された後、記憶しておいた隣接関係に基づいて位置関係を調べる。以下、隣接関係の検証について説明する。
【００４８】
図３（ａ）では、追跡点３０２と追跡点３０４を底辺とし、追跡点３０１及び追跡点３０３を頂点とする２つの三角形の頂点は底辺を挟んで両側に１つずつ存在している。すなわち、追跡点３０１と追跡点３０３とは、追跡点３０２と追跡点３０４を通る直線を挟んで反対側に位置している。
【００４９】
一般に対象物は切断や***をすることはなく、また、対象物は追跡点の空間的な密度に比べて局所的に大きな変形をしないと仮定できるので、この関係は運動を行っている間も保たれるはずである。このような仮定は、例えば、心臓のように滑らかに変形する物体を考えれば一般的な仮定である。
【００５０】
移動先候補点を求めて図３（ａ）で検出した隣接関係を用いて各点に三角パッチを張った結果、図３（ｂ）のようになったとする。全体としては図３（ａ）と比べて変形しているが、追跡点３０２と追跡点３０４を底辺とし、追跡点３０１及び追跡点３０３を頂点とする２つの三角形に着目すると、２つの三角形の頂点は底辺を挟んで両側に１つずつ存在している。これは、図３（ａ）で検出した位置関係が保たれており、矛盾が生じていない。
【００５１】
一方、移動先候補点を求めて図３（ａ）で求めた隣接関係を用いて各点に三角パッチを張った結果、図３（ｃ）のようになったとする。追跡点３０２と追跡点３０４を底辺とし、追跡点３０１及び追跡点３０３を頂点とする２つの三角形に着目すると、２つの三角形の頂点は底辺から見て片側に存在している。これは、図３（ａ）で検出した位置関係が保たれておらず、矛盾が生じている。
【００５２】
このように矛盾が生じた場合は、追跡点の移動先候補の再探索を行う。図３（ｃ）では追跡点３０１が矛盾の原因になっているので、図３（ｄ）のように追跡点３０１が存在しても位置関係に矛盾が生じない領域内で再度パターンマッチングによる探索を行う。尚、パターンマッチングの代わりに隣接する追跡点との位置関係から移動先候補点の座標を補間しても良い（この場合はメモリ１０５上のテンプレート画像も更新する）。
【００５３】
運動状態推定部１０４におけるカルマンフィルタを用いた各追跡点の現画像及び次画像の運動状態ベクトルの推定・予測処理について説明する。
【００５４】
カルマンフィルタは一般に数１の関係式で表される線形確率システムであり、状態ベクトルの推定に用いることができる。
【００５５】
【数１】
ｒnはある時刻ｎにおける観測等による誤差を含んだ値（以下、観測値）を成分にもつベクトル量で、ｐnは時刻ｎにおける状態ベクトルである。Ｈnは状態ベクトルと観測値との関係を表す観測行列であり、Ｆnはｐnからｐn+1を予測する状態遷移行列である。また、観測行列Ｈnは状態ベクトルと観測値との関係を記述するものである。ωn、νnはそれぞれガウス白色雑音ベクトルで、Ｇnは状態ベクトルにガウス白色雑音ベクトルの効果を及ぼす行列である。
【００５７】
ｒnとｐnは観測値と真の値（の推定値）という関係にある。一般に真の値ｐnを観測すると何らかの誤差の影響を受けて真の値とは異なる値ｒnが観測値として得られる。カルマンフィルタを用いると観測値ｒnから真の値ｐnの推定を行うことができる。また、ｐn+1はｐnから未来の真の値を予測した値である。
【００５８】
本実施形態では、ｐnはｎ枚目の画像を取得した時刻における状態ベクトルであり、追跡点のｘ座標、ｙ座標、ｘ方向の速度成分、ｙ方向の速度成分、ｘ方向の加速度成分、ｙ方向の加速度成分を各成分に持つ運動状態ベクトルがこれに該当する。
【００５９】
一方、ｒnはｎ枚目の画像において求めた追跡点の移動先候補のｘ座標、ｙ座標を成分に持つベクトル量である。。
【００６０】
状態遷移行列Ｆnは、対象物の運動モデルから導くことができ、本実施形態では、例えば等加速度運動モデルに基づいて状態遷移行列を定めると良い。
【００６１】
以上のような線形確率システムとして対象物のトラッキングをモデル化し、順次移動先候補点の観測値からカルマンフィルタによって対象物の運動状態が推定される。ｎ枚目の画像における観測値ｒnをもとにしてｎ枚目の画像における運動状態ベクトルｐnが推定され、ｐnからｎ＋１枚目の画像における運動状態ベクトルｐn+1が予測される。
【００６２】
本実施形態の探索範囲設定部１０７では、図４のように上述のｐn+1に含まれる次画像の予測位置４０２を用いて次画像の探索範囲４０３を定める。これに限らず、追跡点の次画像における予測位置にピークを持つ関数を利用して重みを算出しても良い。また、カルマンフィルタの推定誤差共分散を用いて、探索範囲または重み関数の広がり係数を決定しても良い。
【００６３】
本実施形態の物体追跡装置はＰＣやＷＳ等に接続して使用するとしたが、この構成に限らずＬＣＤ及びポインティングデバイス等のユーザーインターフェース、また、カメラ等の画像取得手段を備えた装置として構成して、独立した物体追跡装置としても良い。また、本実施形態の物体追跡装置では、追跡点の座標をを外部から受け取るとしたが、代わりに画像からコーナー検出等により特徴点を複数個抽出して、これらの特徴点を追跡点としても良い。コーナー検出手法の一例としては、例えば特開２０００−１９４８６１が挙げられる。
【００６４】
以上、本実施形態の物体追跡装置によれば、追跡点相互の位置関係の制約を考慮しながら移動先候補点の抽出を行っているので、誤った候補位置を抽出した場合でも近隣の追跡点の情報から位置を修正でき、１点のみで追跡を行う場合に比較して追跡途中の逸脱を減少させることができる。
【００６５】
（第２の実施形態）以下、本発明第２の実施形態について説明する。本実施形態の物体追跡装置は第１の実施形態の物体追跡装置と概略は同じで、ＰＣやＷＳに接続して使用するものを想定している。また、特に適する用途も同じである。ただし、第１の実施形態と同様、この構成に限らずＬＣＤ及びポインティングデバイス等のユーザーインターフェース及びカメラ等の画像取得手段を備える独立した物体追跡装置として構成しても良い。また、追跡点の座標をを外部から受け取る代わりに、画像からコーナー検出等により特徴点を複数個抽出して、これらの特徴点を追跡点としても良い。
【００６６】
本実施形態の物体追跡装置では、対象物上の３点以上の点を追跡し、追跡点の座標からアフィンパラメータを求める。追跡点の座標にはマッチングによる誤差が含まれるため、ここで求めたアフィンパラメータにも誤差が含まれる。そこで、誤差を含んだアフィンパラメータ（以下、アフィンパラメータの観測値）を成分に持つベクトルに対してカルマンフィルタを適用してより正確なアフィンパラメータの値（以下、アフィンパラメータの真の値）を推定する。そして、推定されたアフィンパラメータの真の値を用いて追跡点の移動先の座標等を計算して追跡点の運動を追跡する。
【００６７】
尚、本実施形態では数１の状態遷移行列Ｆn及び観測行列Ｈnは対象物の運動モデルからアフィンパラメータを求めるのに適した形に求めたものを用いる。
【００６８】
本実施形態の物体追跡装置は、アフィンパラメータを用いるので追跡点を含む領域の移動、伸縮、ズレ、回転等を知ることが可能であることと、空間的にありえないようなねじれた位置関係になりにくいという利点がある。
【００６９】
図５は本実施形態の物体追跡装置の構成を説明する図である。本装置は第１の実施形態の物体追跡装置と類似する構成であるので、異なる点を中心に説明する。
【００７０】
本装置は、外部から動画像の入力を受ける画像入力部５０１と、画像データや追跡点の情報等を記憶するメモリ５０５と、外部から追跡点の座標データの入力を受ける追跡点指定部５０６と、パターンマッチングにより追跡点の移動先候補点を抽出するパターンマッチング部５０２とを有する。
【００７１】
さらに、追跡点の元の座標と移動先候補点の座標とを用いて、現画像のアフィンパラメータの観測値を算出するパラメータ計算部５０３と、カルマンフィルタを用いて現画像及び次画像の真のアフィンパラメータを推定するパラメータ状態推定部５０４と、推定された次画像の真のアフィンパラメータを用いて次画像における追跡点の移動先候補の探索範囲を設定する探索範囲設定部５０７と、推定された現画像の真のアフィンパラメータから各追跡点の移動先座標及び全追跡点を含む領域の変形量を計算する座標値・変形計算部５０８と、ＰＣやＷＳに追跡結果を出力する出力部５０９とを有する。
【００７２】
メモリ５０５は画像データ、テンプレート画像、各追跡点の情報、アフィンパラメータ等を記憶する領域である。画像入力部５０１、パターンマッチング部５０２、パラメータ計算部５０３、パラメータ状態推定部５０４はメモリ５０５に接続されていて記憶されているデータにアクセス可能になっている。パターンマッチング部５０２、パラメータ計算部５０３、パラメータ状態推定部５０４はメモリ５０５から処理に必要なデータを取得して、処理結果を記憶させる。
【００７３】
パラメータ計算部５０３は、メモリ５０５から現画像の追跡点の座標及び追跡点の移動先候補の座標を読み出して、現画像の追跡点の座標を移動先候補点の座標に変換するアフィンパラメータを求め、メモリ５０５に記憶させる。ここで求めたアフィンパラメータは、パターンマッチングにより求めた追跡点の座標を利用して計算されたもので、いわば座標の観測値に基づいて計算されたものである。そこで、ここで求めたアフィンパラメータを現画像の「アフィンパラメータの観測値」と呼ぶ。
【００７４】
パラメータ状態推定部５０４は、メモリ５０５から現画像のアフィンパラメータの観測値を読み出して、数１と同様なカルマンフィルタを用いて現画像のアフィンパラメータの真の値の推定値（真のアフィンパラメータの推定値）を成分に持つ状態ベクトル及び次画像のアフィンパラメータの予測値を成分に持つ状態ベクトルを計算する。尚、ここで用いるカルマンフィルタの状態遷移行列Ｆn及び観測行列Ｈnは、対象物の運動モデルからアフィンパラメータの計算用に導いたものである。
【００７５】
次画像のアフィンパラメータの予測値とは、次画像の追跡点の座標を次画像の追跡点の移動先候補の座標に変換するためのアフィンパラメータの予測値である。
【００７６】
そして、現画像の真のアフィンパラメータの推定値及び次画像のアフィンパラメータの予測値をメモリ５０５に記憶させるとともに、探索範囲設定部５０７にも出力する。また、現画像の真のアフィンパラメータの推定値を座標値・変形計算部５０８に出力する。
【００７７】
探索範囲設定部５０７は、パラメータ状態推定部５０４から出力された現画像の真のアフィンパラメータの推定値及び次画像のアフィンパラメータの予測値を用いて次画像におけるパターンマッチングの探索範囲を計算し、探索範囲を指定するデータをパターンマッチング部５０２に出力する。パターンマッチング部５０２はこの探索範囲のデータを参照してパターンマッチングを行う。
【００７８】
座標値・変形計算部５０８では、現画像の真のアフィンパラメータの推定値を用いて各追跡点の移動先座標と、全追跡点を含む領域の変形量を計算して出力部５０９に出力する。
【００７９】
図６は、本装置における追跡点の追跡処理の流れを説明するフローチャートである。尚、ここでは追跡点の座標は動作開始時に与えられているものとする。
【００８０】
外部から入力された動画像データから画像データを取得して順次メモリに記憶させる（ステップ６０１）。画像データを用いて各追跡点についてテンプレートマッチングを行い、各追跡点の移動先候補の座標を求める（ステップ６０２）。
【００８１】
各追跡点の座標を各追跡点の移動先候補の座標に変換するアフィンパラメータを求める（ステップ６０３）。そして、求めたアフィンパラメータに対してカルマンフィルタを適用して現画像の真のアフィンパラメータの推定値及び次画像のアフィンパラメータの予測値を求める（ステップ６０４）。
【００８２】
全ての画像について処理が終わったら終了する（ステップ６０５）。一方、後続の画像がある場合は次画像の探索範囲を設定して（ステップ６０６）、ステップ６０１を実行する。
【００８３】
パラメータ計算部５０３におけるアフィンパラメータの計算について説明する。
【００８４】
現画像における追跡点の座標を（ｘn，ｙn）、移動先候補点の座標を（ｘn+1，ｙn+1）とすると、アフィンパラメータａ、ｂ、ｃ、ｄ、ｅ、ｆは次のような関係式で表される。
【００８５】
【数２】
アフィンパラメータの未知数は６であるので、追跡点が３点ならば厳密解が求まり、４点以上ならば近似解（例えば、最小二乗解）を求めることができる。従って、本実施形態では追跡点を少なくとも３点指定する必要があるが、追跡点間の位置関係の矛盾を避けるには４点以上指定することが望ましい。
【００８７】
４点以上指定した場合、パターンマッチングの結果追跡点間の位置関係に矛盾が生じても、アフィンパラメータの近似解を求める際に誤差として吸収されて、矛盾が修正される効果が期待できる。
【００８８】
パラメータ計算部５０３では、数２の方程式を解いてアフィンパラメータの観測値を求める。
【００８９】
数２で表されるアフィンパラメータのうちｅ、ｆはそれぞれｘ方向、ｙ方向の移動量を表しており、ａ、ｂ、ｃ、ｄは３点以上の追跡点で形成される多角形の、伸縮、回転等の変形を表す量である。
【００９０】
パラメータ状態推定部５０４では、アフィンパラメータａ、ｂ、ｃ、ｄ、ｅ、ｆを数１の観測値ｒnの各成分としてカルマンフィルタを用いて、真のアフィンパラメータの推定値を各成分に持つ状態ベクトル及びアフィンパラメータの予測値を各成分に持つ状態ベクトルを計算する。
【００９１】
本実施形態では、各追跡点の移動を共通なアフィンパラメータで表すので、３点以上の追跡点で形成される多角形の移動量や変形を知ることができる。また、パターンマッチングの結果として移動先候補点間に空間的矛盾が生じても、追跡点が４点以上ある場合はアフィンパラメータの算出時に自動的に修正されるので、空間的にあり得ないようなねじれた位置関係になる可能性が少なくなる。さらに、アフィンパラメータに対してカルマンフィルタを適用しているので、対象物の任意の点を精度良く追跡することができる。
【００９２】
（第３の実施形態）以下、本発明第３の実施形態について説明する。本実施形態の物体追跡装置は第１、第２の実施形態の物体追跡装置と同様、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）から出力された動画像データ及び追跡すべき領域（追跡領域）の座標データを受けて、追跡領域の変形及び移動を一定時間毎に追跡してアフィンパラメータを求め、各時間毎の座標や速度等を追跡結果としてＰＣやＷＳに出力する装置である。ただし、第１、第２の実施形態と同様、この構成に限らずＬＣＤ及びポインティングデバイス等のユーザーインターフェース及びカメラ等の画像取得手段を備える独立した物体追跡装置として構成しても良い。また、追跡点の座標をを外部から受け取る代わりに、画像からコーナー検出等により特徴点を複数個抽出して、これらの特徴点で囲まれた領域を追跡領域としても良い。
【００９３】
本実施形態の物体追跡装置は非剛体の運動を追跡する能力に優れており、特に、医用分野において心臓の画像を撮影して心臓の任意の点の運動を追跡する用途に適している。
【００９４】
第２の実施形態のように追跡点の座標からアフィンパラメータを求めていたが、本実施形態の物体追跡装置では、まず各追跡点で囲まれた領域の移動・変形を最も良く表すアフィンパラメータを求める。ここで求めたアフィンパラメータには誤差が含まれると考えられる。そこで、誤差を含んだアフィンパラメータ（以下、アフィンパラメータの観測値）を成分に持つベクトルに対してカルマンフィルタを適用してより正確なアフィンパラメータの値（以下、アフィンパラメータの真の値）を推定する。そして、推定されたアフィンパラメータの真の値を用いて追跡点の移動先の座標等を計算して追跡点の運動を追跡する。
【００９５】
本実施形態の物体追跡装置は、第２の実施形態の利点に加えて、領域の移動・変形を表すアフィンパラメータを直接探索するために追跡点相互の位置関係に矛盾が生じる可能性が極めて低く、精度良く安定した探索を行えるという利点がある。
【００９６】
図７に示すように、本実施形態の物体追跡装置は、動画像を受け取る画像入力部７０１と、入力された画像や追跡領域の情報等を記憶するメモリ７０５と、本装置の使用者から追跡領域の頂点の座標の入力を受ける追跡領域指定部７０６と、画像のパターンマッチングにより使用者に指定された追跡領域についての移動・変形を表すアフィンパラメータの観測値を探索する最適パラメータ探索部７０２とを有する。
【００９７】
更に、アフィンパラメータの観測値に対してカルマンフィルタを適用して現画像の真のアフィンパラメータの推定値及び次画像のアフィンパラメータの予測値とを求めるパラメータ状態推定部７０３と、現画像の真のアフィンパラメータの推定値を用いて現画像における追跡領域の変形や座標を計算する座標値・変形計算部７０４と、次画像のアフィンパラメータの予測値を用いてアフィンパラメータの探索範囲を決定する探索範囲設定部７０７と、追跡結果をＰＣやＷＳに出力する出力部７０８とを有する。
【００９８】
画像入力部７０１は、外部から動画像データの入力を受けて１画面単位で画像データとして順次メモリ７０５に記憶させる。
【００９９】
メモリ７０５は、画像データ、アフィンパラメータ、追跡領域の初期画像（参照パターン）、追跡領域の頂点の座標等を記憶する領域である。画像入力部７０１、最適パラメータ探索部７０２、パラメータ状態推定部７０３、座標値・変形計算部７０４からアクセス可能となっている。
【０１００】
追跡点指定部７０６は外部から追跡領域の頂点の座標データの入力を受けて、最適パラメータ探索部７０２に通知する。
【０１０１】
最適パラメータ探索部７０２は、追跡点指定部７０６から追跡領域の座標が入力された場合は、メモリ７０５から現画像を読み出して追跡領域の画像を抽出して参照パターンを生成し、追跡領域の頂点の座標とともにメモリ７０５に記憶させる。そして、以後はメモリ７０５から現画像を読み出して参照パターンを様々なアフィン変換により変形させた複数の変形パターンを現画像の追跡領域の画像パターンと比較し、最も類似する変形パターンを生成したアフィンパラメータを求めて、これを現画像のアフィンパラメータの観測値としてメモリ７０５に記憶させておく。本実施形態では「相関が最大になるもの」を最も類似性が高いものとして扱う。
【０１０２】
パラメータ状態推定部７０３は、メモリ７０５から現画像のアフィンパラメータの観測値を読み出し、第２の実施形態のパラメータ状態推定部５０４と同様にアフィンパラメータを状態ベクトルとしてカルマンフィルタを用い、現画像の真のアフィンパラメータの推定値と次画像のアフィンパラメータの予測値とを求める。そして、現画像の真のアフィンパラメータの推定値と次画像のアフィンパラメータの予測値をメモリ７０５に記憶させるとともに探索範囲設定部７０７に出力する。
【０１０３】
座標値・変形計算部７０４は、メモリ７０５から現画像の真のアフィンパラメータの推定値と追跡領域の頂点の座標値を読み出して追跡領域の移動先の座標の計算を行って出力部７０８に出力する。
【０１０４】
探索範囲設定部７０７は、パラメータ状態推定部７０３から出力された現画像の真のアフィンパラメータの推定値と次画像のアフィンパラメータの予測値を用いて、次画像におけるパラメータ探索範囲を定め、最適パラメータ探索部７０２に出力する。アフィンパラメータは数２に示すように２次元の場合は６自由度であるために６次元空間内の探索となり、探索に時間を要する。そのため、次画像のアフィンパラメータの予測値を用いて探索範囲を縮減して処理の高速化を図る。
【０１０５】
図８は本装置における追跡領域の追跡処理の流れを説明するフローチャートである。尚、ここでは追跡領域の頂点の座標は動作開始時に与えられているものとする。
【０１０６】
外部から入力された動画像データから画像データを取得して順次メモリに記憶させる（ステップ７０１）。様々なアフィンパラメータを用いて参照パターンを変形させた複数の変形パターンと現画像の画像データとを比較し、最も相関が高い変形パターンを生成したアフィンパラメータを求める（ステップ７０２）。
【０１０７】
そして、求めたアフィンパラメータに対してカルマンフィルタを適用して現画像の真のアフィンパラメータの推定値及び次画像のアフィンパラメータの予測値を求める（ステップ６０３）。現画像の真のアフィンパラメータの推定値を用いて追跡領域の頂点の座標の移動先及び追跡領域の変形度などを計算して追跡結果として外部に出力する（ステップ６０４）。
【０１０８】
ステップ６０４と並行して、全ての画像について追跡処理が済んだか判定し、済んでいれば終了する（ステップ６０５）。一方、後続の画像がある場合は次画像の探索範囲を設定して（ステップ６０６）、ステップ６０１を実行する。
【０１０９】
図９は最適パラメータ探索部７０２におけるアフィンパラメータ探索を説明するための図である。初期画像９００は参照パターン９０１を抽出した画像であり、画像９１０は追跡処理途中のある時点における現画像である。
【０１１０】
参照パターン９０１にアフィンパラメータによる変換を施したものが変形パターン９０２である。そして、領域９１１は、変形パターン９０２と同じ位置に存在する画像９１０上の領域である。
【０１１１】
数２で示されているように、アフィンパラメータによる変換は図形に対して移動と変形を行う。図９においても、変換によって参照パターン９０１の位置は変形パターン９０２の位置に移動し、そして変形パターン９０２のように変形されている。
【０１１２】
アフィンパラメータ探索では、変形パターン９０２と領域９１１のパターンとの比較を行い、最も類似性が高い変形パターンを生成したアフィンパラメータを探索結果として求める。この処理は参照パターン９０１の移動先を探索していることと同等である。
【０１１３】
以上本実施形態によれば、領域の移動・変形を表すアフィンパラメータを直接探索するため、精度良く安定した探索が実現できる。
【０１１４】
【発明の効果】
以上、本発明によれば、対象物が非剛体である場合でも、複数の追跡点について互いに空間的な矛盾が無く追跡することが可能である。
【図面の簡単な説明】
【図１】 本発明第１の実施形態の物体追跡装置の構成を説明する図。
【図２】 本発明第１の実施形態の物体追跡装置による処理の流れを説明する図。
【図３】 （ａ）処理の最初に記憶される追跡点の位置関係の例。（ｂ）追跡点の移動先候補間の位置関係に矛盾が生じなかった場合の例。（ｃ）追跡点の移動先候補間の位置関係に矛盾が生じた場合の例。（ｄ）位置修正のための再探索領域の設定例。
【図４】 追跡点の次画面における予測位置と、これに基づいて設定される次画面における探索領域について説明する図。
【図５】 本発明第２の実施形態の物体追跡装置の構成を説明する図。
【図６】 本発明第２の実施形態の物体追跡装置による処理の流れを説明する図。
【図７】 本発明第３の実施形態の物体追跡装置の構成を説明する図。
【図８】 本発明第３の実施形態の物体追跡装置による処理の流れを説明する図。
【図９】 本発明第３の実施形態の物体追跡装置における、アフィンパラメータの探索の原理を説明する図。
【符号の説明】
１０１、５０１、７０１ 画像入力部
１０２、５０２ パターンマッチング部
１０３ 位置矛盾修正部
１０４ 運動状態推定部
１０５、５０５、７０５ メモリ
１０６、５０６ 追跡点指定部
１０７、５０７、７０７ 探索範囲設定部
１０８、５０９、７０８ 出力部
５０３ パラメータ計算部
５０４、７０３ パラメータ状態推定部
５０８、７０４ 座標値・変形計算部
７０２ 最適パラメータ探索部
７０６ 追跡領域指定部
Claims (5)
- 動画像の入力を受けて１画面単位の画像データを順次生成してメモリに記憶させる画像入力部と、
複数の追跡点の座標の初期値を設定する追跡点指定部と、
前記画像データを用いたパターンマッチングにより前記追跡点それぞれの移動先候補点の座標を求めるパターンマッチング部と、
前記パターンマッチング部で求めた移動先候補点相互の位置関係と前記追跡点指定部で指定された追跡点相互の初期位置関係とが同じかどうかを調べ、異なる場合には前記移動先候補点の座標の修正を行う位置矛盾修正部と
を有し、
前記位置矛盾修正部は、前記追跡点間を結び他の線分と交差しない線分で囲まれた三角形のうち内部に追跡点を含まない物の各辺と頂点との関係から追跡点相互の位置関係を求め、前記位置関係を前記追跡点に対応する移動先候補点にあてはめて位置関係が同一かどうかを検出することを特徴とする物体追跡装置。 - 前記位置矛盾修正部で位置関係の同一性のチェックを受けた移動先候補点の座標を用いて前記追跡点の運動状態を推定する運動状態推定部をさらに有する、
請求項１に記載の物体追跡装置。 - 前記運動状態推定部は、カルマンフィルタを用いて推定を行うことを特徴とする請求項２に記載の物体追跡装置。
- 動画像の入力を受けて１画面単位の画像データを順次生成する画像入力ステップと、
複数の追跡点の座標の初期値を設定する追跡点指定ステップと、
パターンマッチングにより前記追跡点のそれぞれの移動先候補点の座標を求めるパターンマッチングステップと、
前記移動先候補点相互の位置関係と前記追跡点指定部で指定された前記追跡点相互の位置関係とが同じかどうかを調べ、異なる場合には移動先候補点の座標の修正を行う位置修正ステップとを有し、
前記位置修正ステップでは、
前記追跡点間を結び他の線分と交差しない線分で囲まれた三角形のうち内部に追跡点を含まない物の各辺と頂点の関係から前記追跡点の位置関係を求め、
前記位置関係を前記移動先候補点にあてはめて位置関係が同一かどうかを検出する、
ことを特徴とする物体追跡方法。 - 前記位置修正ステップにおいて位置関係の同一性のチェックを受けた前記移動先候補点の座標から、カルマンフィルタを用いて前記追跡点の運動状態を推定する運動状態推定ステップをさらに有する、
請求項４に記載の物体追跡方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002148536A JP4079690B2 (ja) | 2002-05-23 | 2002-05-23 | 物体追跡装置及び方法 |
| US10/435,259 US7403634B2 (en) | 2002-05-23 | 2003-05-12 | Object tracking apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002148536A JP4079690B2 (ja) | 2002-05-23 | 2002-05-23 | 物体追跡装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003346157A JP2003346157A (ja) | 2003-12-05 |
| JP4079690B2 true JP4079690B2 (ja) | 2008-04-23 |
Family
ID=29545241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002148536A Expired - Fee Related JP4079690B2 (ja) | 2002-05-23 | 2002-05-23 | 物体追跡装置及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7403634B2 (ja) |
| JP (1) | JP4079690B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10376236B2 (en) | 2012-11-21 | 2019-08-13 | Canon Medical Systems Corporation | Ultrasound diagnostic apparatus, image processing apparatus, and image processing method |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7194110B2 (en) * | 2002-12-18 | 2007-03-20 | Intel Corporation | Method and apparatus for tracking features in a video sequence |
| GB2409031A (en) * | 2003-12-11 | 2005-06-15 | Sony Uk Ltd | Face detection |
| US20130308939A1 (en) * | 2004-04-09 | 2013-11-21 | Immediate Response Technologies | Infrared Communication System and Method |
| CN100490755C (zh) * | 2004-06-11 | 2009-05-27 | 株式会社日立医药 | 超声波治疗装置 |
| US7580546B2 (en) | 2004-12-09 | 2009-08-25 | Electronics And Telecommunications Research Institute | Marker-free motion capture apparatus and method for correcting tracking error |
| US20080166020A1 (en) * | 2005-01-28 | 2008-07-10 | Akio Kosaka | Particle-Group Movement Analysis System, Particle-Group Movement Analysis Method and Program |
| JP4177826B2 (ja) * | 2005-03-23 | 2008-11-05 | 株式会社東芝 | 画像処理装置および画像処理方法 |
| CN101029823B (zh) * | 2006-02-28 | 2010-09-15 | 东软集团股份有限公司 | 基于车辆状态分类的车辆跟踪方法和装置 |
| WO2007144580A1 (en) * | 2006-06-16 | 2007-12-21 | Bae Systems Plc | Improvements relating to target tracking |
| JP4709101B2 (ja) | 2006-09-01 | 2011-06-22 | キヤノン株式会社 | 自動追尾カメラ装置 |
| TWI321297B (en) * | 2006-09-29 | 2010-03-01 | Ind Tech Res Inst | A method for corresponding, evolving and tracking feature points in three-dimensional space |
| JP4668220B2 (ja) * | 2007-02-20 | 2011-04-13 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP5487970B2 (ja) | 2007-11-08 | 2014-05-14 | 日本電気株式会社 | 特徴点配置照合装置及び画像照合装置、その方法及びプログラム |
| JP2009266155A (ja) * | 2008-04-30 | 2009-11-12 | Toshiba Corp | 移動体追跡装置及びその方法 |
| US8243988B1 (en) * | 2008-07-31 | 2012-08-14 | Google Inc. | Clustering images using an image region graph |
| KR20100057362A (ko) * | 2008-11-21 | 2010-05-31 | 삼성전자주식회사 | 영상의 유사도 판단 방법, 상기 방법을 기록한 기록 매체 및 상기 방법을 실행하는 장치 |
| CN101750845B (zh) * | 2008-12-12 | 2012-02-15 | 三星电机株式会社 | 自动聚焦方法 |
| US8290231B2 (en) * | 2009-01-23 | 2012-10-16 | Naveen Garg | Method and apparatus for providing measurement data of an anomaly in a medical image |
| US9405970B2 (en) * | 2009-02-02 | 2016-08-02 | Eyesight Mobile Technologies Ltd. | System and method for object recognition and tracking in a video stream |
| US8253564B2 (en) * | 2009-02-19 | 2012-08-28 | Panasonic Corporation | Predicting a future location of a moving object observed by a surveillance device |
| JP5290867B2 (ja) * | 2009-05-25 | 2013-09-18 | キヤノン株式会社 | 画像検索装置およびその方法 |
| KR101714783B1 (ko) * | 2009-12-24 | 2017-03-23 | 중앙대학교 산학협력단 | Ｇｐｕ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법 |
| JP5297415B2 (ja) * | 2010-04-30 | 2013-09-25 | キヤノン株式会社 | 眼科装置及び眼科方法 |
| JP2011250177A (ja) * | 2010-05-27 | 2011-12-08 | Toshiba Corp | カメラモジュール及び画像記録方法 |
| US20120143522A1 (en) * | 2010-12-03 | 2012-06-07 | Baker Hughes Incorporated | Integrated Solution for Interpretation and Visualization of RTCM and DTS Fiber Sensing Data |
| US9194973B2 (en) | 2010-12-03 | 2015-11-24 | Baker Hughes Incorporated | Self adaptive two dimensional filter for distributed sensing data |
| US9557239B2 (en) | 2010-12-03 | 2017-01-31 | Baker Hughes Incorporated | Determination of strain components for different deformation modes using a filter |
| US9103736B2 (en) | 2010-12-03 | 2015-08-11 | Baker Hughes Incorporated | Modeling an interpretation of real time compaction modeling data from multi-section monitoring system |
| US9437009B2 (en) * | 2011-06-20 | 2016-09-06 | University Of Southern California | Visual tracking in video images in unconstrained environments by exploiting on-the-fly context using supporters and distracters |
| JP5766564B2 (ja) * | 2011-09-15 | 2015-08-19 | 株式会社東芝 | 顔認証装置及び顔認証方法 |
| KR101381439B1 (ko) | 2011-09-15 | 2014-04-04 | 가부시끼가이샤 도시바 | 얼굴 인식 장치 및 얼굴 인식 방법 |
| US9198737B2 (en) * | 2012-11-08 | 2015-12-01 | Navigate Surgical Technologies, Inc. | System and method for determining the three-dimensional location and orientation of identification markers |
| DE102012216327B4 (de) * | 2012-09-13 | 2021-01-14 | Siemens Healthcare Gmbh | Verfahren zur Erfassung einer Bewegung eines Patienten während einer medizinischen Bildgebungsuntersuchung |
| JP6192088B2 (ja) * | 2013-02-20 | 2017-09-06 | 国立大学法人九州工業大学 | 物体検出方法および物体検出装置 |
| GB2517933A (en) | 2013-09-04 | 2015-03-11 | Imp Innovations Ltd | Method and apparatus |
| JP2015139476A (ja) * | 2014-01-27 | 2015-08-03 | 日立アロカメディカル株式会社 | 超音波画像処理装置 |
| US10235750B2 (en) | 2014-02-27 | 2019-03-19 | Agency For Science, Technology And Research | Segmentation of cardiac magnetic resonance (CMR) images using a memory persistence approach |
| JP6602141B2 (ja) * | 2015-10-05 | 2019-11-06 | キヤノン株式会社 | 画像処理装置および方法 |
| US10216263B2 (en) * | 2016-09-12 | 2019-02-26 | Microsoft Technology Licensing, Llc | Display active alignment systems utilizing test patterns for calibrating signals in waveguide displays |
| US10324291B2 (en) | 2016-09-12 | 2019-06-18 | Microsoft Technology Licensing, Llc | Display active alignment system for waveguide displays |
| CN108073599B (zh) * | 2016-11-10 | 2020-12-15 | 阿里巴巴（中国）有限公司 | 图片读取方法及装置 |
| CN106775403B (zh) * | 2016-12-14 | 2020-03-03 | 北京小米移动软件有限公司 | 获取卡顿信息的方法及装置 |
| CN108881342B (zh) * | 2017-05-11 | 2022-04-29 | 京东方科技集团股份有限公司 | 一种目标追踪方法和目标追踪*** |
| DE102018104311A1 (de) * | 2018-02-26 | 2019-08-29 | Valeo Schalter Und Sensoren Gmbh | Verfahren und System zum Abschätzen der Form eines dynamischen Objekts und zum Nachverfolgen dieses Objekts |
| CN109255801B (zh) * | 2018-08-03 | 2022-02-22 | 百度在线网络技术（北京）有限公司 | 视频中三维物体边缘追踪的方法、装置、设备及存储介质 |
| EP3671631A1 (en) * | 2018-12-19 | 2020-06-24 | Nokia Technologies Oy | Movement indication |
| CN111007495B (zh) * | 2019-12-10 | 2023-06-13 | 西安电子科技大学 | 一种基于双重融合最大熵模糊聚类jpda的目标航迹优化方法 |
| CN111179314B (zh) * | 2019-12-30 | 2023-05-02 | 北京工业大学 | 一种基于残差密集孪生网络的目标跟踪方法 |
| US20230419510A1 (en) * | 2020-10-30 | 2023-12-28 | Nec Corporation | Object tracking device, object tracking method, and recording medium |
| JP7444278B2 (ja) | 2020-10-30 | 2024-03-06 | 日本電気株式会社 | 物体追跡装置、物体追跡方法、及び、プログラム |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5214751A (en) * | 1987-06-04 | 1993-05-25 | Thomson Grand Public | Method for the temporal interpolation of images and device for implementing this method |
| US5764283A (en) * | 1995-12-29 | 1998-06-09 | Lucent Technologies Inc. | Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths |
| US5982909A (en) * | 1996-04-23 | 1999-11-09 | Eastman Kodak Company | Method for region tracking in an image sequence using a two-dimensional mesh |
| JPH11187303A (ja) * | 1997-12-22 | 1999-07-09 | Canon Inc | 画像処理装置および方法並びに記憶媒体 |
| US6724915B1 (en) * | 1998-03-13 | 2004-04-20 | Siemens Corporate Research, Inc. | Method for tracking a video object in a time-ordered sequence of image frames |
| JP2000194861A (ja) | 1998-12-28 | 2000-07-14 | Matsushita Electric Ind Co Ltd | 画像認識方法及び装置 |
| JP4226730B2 (ja) * | 1999-01-28 | 2009-02-18 | 株式会社東芝 | 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
| US6968004B1 (en) * | 1999-08-04 | 2005-11-22 | Kabushiki Kaisha Toshiba | Method of describing object region data, apparatus for generating object region data, video processing method, and video processing apparatus |
| JP3448640B2 (ja) | 2000-06-14 | 2003-09-22 | 国土交通省国土技術政策総合研究所長 | 車両追跡方法及び車両追跡装置 |
| JP3576987B2 (ja) * | 2001-03-06 | 2004-10-13 | 株式会社東芝 | 画像のテンプレートマッチング方法及び画像処理装置 |
| JP3763124B2 (ja) | 2001-05-31 | 2006-04-05 | 株式会社ミツトヨ | タッチ信号プローブの信号処理装置および信号処理方法 |
-
2002
- 2002-05-23 JP JP2002148536A patent/JP4079690B2/ja not_active Expired - Fee Related
-
2003
- 2003-05-12 US US10/435,259 patent/US7403634B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10376236B2 (en) | 2012-11-21 | 2019-08-13 | Canon Medical Systems Corporation | Ultrasound diagnostic apparatus, image processing apparatus, and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| US7403634B2 (en) | 2008-07-22 |
| JP2003346157A (ja) | 2003-12-05 |
| US20030219147A1 (en) | 2003-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4079690B2 (ja) | 物体追跡装置及び方法 | |
| Zihao Zhu et al. | Event-based visual inertial odometry | |
| Basri et al. | Visual homing: Surfing on the epipoles | |
| JP4985516B2 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| EP2202672B1 (en) | Information processing apparatus, information processing method, and computer program | |
| JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
| Saeedi et al. | Vision-based 3-D trajectory tracking for unknown environments | |
| Nickels et al. | Estimating uncertainty in SSD-based feature tracking | |
| JP5430456B2 (ja) | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 | |
| CN108051002A (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及*** | |
| CN111354043A (zh) | 一种基于多传感器融合的三维姿态估计方法及装置 | |
| JP2012518857A (ja) | 内側距離形状関係を使用する身体特徴検出及び人間姿勢推定 | |
| JP2009252112A (ja) | 画像処理装置、画像処理方法 | |
| WO1998001818A1 (en) | Method and apparatus for image registration | |
| US10460472B2 (en) | System and method for model adaptation | |
| JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
| US20080019568A1 (en) | Object tracking apparatus and method | |
| JP5494427B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
| JP4694624B2 (ja) | 画像補正装置及び方法、並びにコンピュータプログラム | |
| JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| JP7498404B2 (ja) | 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| JPH0792369B2 (ja) | 画像計測装置 | |
| US20240119620A1 (en) | Posture estimation apparatus, posture estimation method, and computer-readable recording medium | |
| Sim et al. | Learning generative models of invariant features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140215 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |