JP2007523429A - ロバストな情報融合を利用するオブジェクトのマルチモーダルコンポーネントベースドトラッキングのための方法及びシステム - Google Patents

Abstract

オブジェクトをトラッキングするための方法及びシステムが開示される。複数の画像フレームを含むビデオシーケンスが受信される。オブジェクト外観分布のサンプルベースの表示が維持される。オブジェクトが１つ以上のコンポーネントに分割される。各コンポーネントに対してサンプルベースの表示に関してその位置及び不確定性が推定される。最も主要な動きを決定するために各コンポーネントに対して可変バンド幅密度ベースの融合（Variable Bandwidth Density Based Fusion ＶＢＤＦ）が適用される。動き推定値がオブジェクトのトラックを決定するために使用される。

Description

関連出願のクロスリファレンス
本出願は２００４年２月２０日に提出された米国仮出願シリアル番号６０／５４６２３２の利益を主張し、この米国仮出願は完全に参考文献として組み込まれている。

発明の分野
本発明はオブジェクトの動きをトラッキングするためのシステム及び方法に関し、より特定すれば、ロバストな情報融合（robust information fusion）を利用するオブジェクトのマルチモーダルコンポーネントベースドトラッキング（multi-modal component-based tracking）のためのシステム及び方法に関する。

発明の背景
視覚的にオブジェクトをトラッキングする場合に遭遇する１つの問題はターゲット移動及び／又はカメラ移動による固有の変化を処理するために十分にロバストでなければならないターゲットの外観の表示を維持する能力である。テンプレートマッチングに基づく方法は成功裡にターゲットをトラッキングするためにモデルテンプレートを適合する必要がある。適合なしでは、トラッキングは外観が著しく変化しない場合に短期間にわたってしか信頼できない。

しかし、多くの適用事例では、長い期間の間にターゲットの外観は視点、照明又は遮蔽（occlusion）の変化のために構造における重大な変化を被る。モデルが以前のフレームに適合されるモーショントラッキングに基づく方法はこのような外観変化を扱うことができる。しかし、累積した動き誤差及び急速な視覚的変化によってモデルはトラッキングされるターゲットから離れていってしまう。トラッキングパフォーマンスはオブジェクト固有のサブスベース制約を課すること又はモデルの統計的表示を維持することによって改善されうる。この表示はア・プリオリに決定されるか又はオンラインで計算されうる。外観変動性は理想的にはオンラインで学習される確率分布関数としてモデル化されうる。

ビジョンベースのトラッキングの内在的特性はトラッキングターゲット及び背景の外観がたとえ徐々にではあっても絶えず変化することである。ロバストなトラッキングのための一般的な不変的なフィーチャ（feature）は見つけ難いので、現在の方法の大部分はトラッキングターゲット及び／又は背景の外観変動を取り扱う必要がある。あらゆるトラッキングスキームは、たとえこれが明示的に言及されなくても、オブジェクトの２次元（２Ｄ）画像外観の一定の表示を含む。

１つの公知の方法は３つのコンポーネント、すなわち安定したコンポーネント、移動するコンポーネント及び遮蔽コンポーネントを含む生成モデルを使用する。安定したコンポーネントは動き推定のための最も信頼できる構造物を識別し、移動するコンポーネントは外観の変動を表示する。両方ともガウス分布として示される。データ異常値の原因となる遮蔽コンポーネントは可能な強度レベル上に均等に分布される。この方法はフィーチャとして操作可能なウェーブレット係数の位相部分を使用する。

オブジェクトトラッキングは監視適用事例又は製造ライン適用事例のような多くの適用事例を有する。オブジェクトトラッキングは心臓の心筋壁運動を分析するための医療適用事例においても使用される。左心室の心筋壁運動の正確な分析は心臓機能の評価にとって極めて重要である。このタスクは心筋の速い運動及び呼吸干渉のために困難である。超音波画像シーケンスが利用される場合でさえも比較的不利である。

いくつかの方法が心筋壁トラッキングのために提案されている。モデルベースの変形可能なテンプレート、マルコフ確率場、オプティカルフロー方法及びこれらの方法の結合が２次元画像シーケンスから左心室をトラッキングするために適用されている。形状トラッキングフレームワークにモデル制約を課することは慣例である。多くのケースでは、サブスペースモデルが形状トラッキングには適している。というのも、主な形状変動を捕捉するモードの個数は制限され通常は形状を記述するために使用されるフィーチャコンポーネントの元々の個数よりもはるかに少ないからである。簡単な処理はトラッキングされた形状を主成分分析（ＰＣＡ）サブスペースの中に射影することである。しかし、このアプローチは測定不確定性を利用することができず、それゆえ完全ではない。多くの事例では、測定ノイズは本質的に異分散である（つまり異方性及び不均一性の両方である）。オブジェクトトラッキング方法のためには多重外観モデルからの動き推定値を融合する必要があり、これは効果的に不確定性を考慮に入れることができる。

発明の要旨
本発明はオブジェクトをトラッキングするためのシステム及び方法を開示する。複数の画像フレームを含むビデオシーケンスが受信される。オブジェクト外観分布のサンプルベースの表示が維持される。オブジェクトが１つ以上のコンポーネントに分割される。各コンポーネントに対して、サンプルベースの表示に関してその位置及び不確定性が推定される。最も主要な動きを決定するために各コンポーネントに対して可変バンド幅密度ベースの融合（Variable Bandwidth Density Based Fusion ＶＢＤＦ）が適用される。動き推定値がオブジェクトのトラックを決定するために使用される。

本発明はさらに複数の画像フレームを含む医療ビデオシーケンスにおける候補オブジェクトをトラッキングするための方法に関する。オブジェクトは複数のラベリングされたコントロールポイントによって表示される。各コントロールポイントに対する位置及び不確定性が推定される。多重外観モデルが維持される。各コントロールポイントは１つ以上のモデルと比較される。ＶＢＤＦ推定器が各コントロールポイントのもっともありそうな現在の位置を決定するために使用される。座標が全てのコントロールポイントにおいて連結される。コントロールポイントのセットが最もこのコントロールポイントのセットに類似しているモデルと融合される。

図面の短い記述
本発明の有利な実施例が次に詳しく記述され、同一の参照符号は同一の要素を指示しており、次のような添付図面を参照する。

図１は本発明によるオブジェクトの動きをトラッキングするためのシステムのシステムブロック線図である。

図２は本発明によるマルチモデルコンポーネントベースドトラッカ（multi-model component based tracker）を使用するオブジェクトをトラッキングするための方法を示す。

図３は本発明によるオブジェクトのトラッキングのための方法を示すフローチャートである。

図４は本発明により人間の顔がトラッキングされる画像フレームのシーケンスを示す。

図５は図４の顔トラッキング画像に対するメディアン残留誤差を示す線図を示す。

図６は本発明により人体がトラッキングされる画像フレームのシーケンスを示す。

図７は図６の人体トラッキング画像に対するメディアン残留誤差を示す線図を示す。

図８は本発明による測定及びフィルタリング処理を使用するロバストなトラッカのブロック線図を示す。

図９は単一モデルトラッキング方法を使用した結果と多重モデルトラッキング方法を使用した結果を表す多数の画像フレームを示す。

図１０は本発明の融合アプローチと直交射影アプローチとの比較を示す一連の画像フレームである。

図１１は本発明による融合方法を使用することから得られる画像シーケンスの２つのセットを例示する一連の画像を示す。

図１２は本発明によるトラッキングされたポイントとグラウンドトルース（ground truth）との間の平均距離を示す線図である。

詳細な記述
本発明はオブジェクトの動きをトラッキングするためのシステム及び方法に関する。図１は本発明によるロバストな情報融合を使用してオブジェクトのマルチモデルコンポーネントベースドトラッキング（multi-model component based tracking）のためのシステムの例示的なハイレベルブロック線図を示す。このようなシステムは例えば人物又は顔面フィーチャの運動をトラッキングするためのような監視適用事例に使用される。本発明は組み立てラインにおけるオブジェクトをトラッキングするためにも使用されうる。他の適用事例は医療適用事例のための人の器官のトラッキングのために発生されうる。本発明が他の環境でも十分に使用されうることは当業者には理解されるだろう。

本発明は１つ以上のカメラ１０２、１０４を使用して画像フレームのビデオシーケンスを得る。各カメラは異なるパースペクティブから画像を得るために異なる位置に位置決めされ、ターゲットエリアのカバー範囲を最大化する。ターゲットオブジェクトが識別され、その属性がプロセッサ１０６に関係付けられたデータベース１１０に格納される。例えば、もしターゲット（例えば人物）がダイレクトにカメラ１０２に直面しているならば、この人物は正面ビューで現れるだろう。しかし、カメラ１０４により捕捉される同一人物の画像はプロフィールビューとして現れるだろう。このデータは更なる操作が行われる必要があるかどうかを決定するためにさらに分析される。データベース１１０はオブジェクトの動きのトラッキングを助けるためにターゲットに関連付けられたコンポーネントの例を含みうる。ブースティング（boosting）のような学習技術がプロセッサ１０６によって使用され、ネガティブな例からポジティブな例を区別することができる分類子を形成する。

本発明の１つの実施形態によれば、外観変動性は時間に亘っていくつかのモデルを維持することによってモデル化される。外観モデリングは時間に亘ってピクセルの強度を監視することによって行われる。時間に亘ってオブジェクトの外観（例えばその強度）が変化する。強度におけるこれらの変化は、心内膜壁に関連付けられたコントロールポイントのようなコントロールポイントをトラッキングするために使用される。これはオブジェクト外観を特徴付ける確率密度関数のノンパラメトリック表示を提供する。

ターゲットオブジェクトを幾つかの領域に分割するコンポーネントベースのアプローチが使用され、これらのいくつかの領域は別個に処理される。トラッキングは動き推定値及びその不確定性を各モデルから独立にオプティカルフローによって得ることによって実施される。可変バンド幅密度ベースの融合（ＶＢＤＦ）として公知のロバストな融合技術は各コンポーネントに対して最終推定値を計算するために使用される。ＶＢＤＦは、変位密度関数（displacements density function）の最も重要なモードをそれらの不確定性を考慮に入れながら計算する。

ＶＢＤＦ方法は多重データソース及び動き推定値における異常値を管理する。このフレームワーク内では、遮蔽は大きな残留誤差に対する推定値不確定性によって当然処理される。アライメント誤差は推定値の共分散行列のスケールを計算するために使用され、それゆえ信頼できない変位の影響を低減する。

図２は本発明によるマルチモデルコンポーネントベースドトラッカを使用するオブジェクトをトラッキングするための方法を示す。トラッキングの間の変化をモデル化するためにオブジェクト外観の幾つかの見本（exemplar）が時間に亘って維持される。外観分布のノンパラメトリック表示に等価である各画像の各ピクセルの強度が維持される。

図２の上の列はモデルセットにおける現在の見本２０８、２１０、２１２を示し、各々はオーバーラップするコンポーネントのセットを関連付けている。コンポーネントベースのアプローチはグローバル表示よりもロバストであり、照明変化及びポーズに対する感応性がより低い。もう一つの利点は、部分的遮蔽はマッチング尤度を分析することによってコンポーネントレベルにおいて処理されうることである。

各コンポーネントは独立に処理される；その位置及び共分散行列は全てのモデルテンプレートに関して現在の画像内で推定される。例えば、画像フレーム２０２においてグレーの矩形によって示されているようなコンポーネントのうちの一つ２２０及び各モデルに関するその位置及び不確定性がＩ_newに示されている。ＶＢＤＦロバスト融合プロシージャが適用されて、矩形２０４に示されているような関連付けられた不確定性を有する最も主要な動き（つまりモード）を決定する。遮蔽又は外観変化のために各コンポーネントの推定された位置における分散に注意すべきである。現在のフレーム２０６におけるコンポーネントの位置はさらにグローバルパラメトリックモーションモデル（global parametric motion model）によって制約されている。相似変換モデル（similarity transformation model）及びそのパラメータは各コンポーネント位置に対する信頼度スコアを使用して推定される。それゆえ、信頼できるコンポーネントが大いにグローバルな動き推定に貢献する。

現在のフレーム２０６は、もし基準外観に対する残留誤差が比較的低いならばモデルセット２０８、２１０、２１２に加えられる。閾値は大きな遮蔽を有する画像が加えられないように選択される。モデル内のテンプレートの数は固定されており、それゆえ、最も古いものが捨てられる。しかし、他のスキームがどの画像をモデルセット内に維持するかを決定するために使用されうることも当業者には理解できるだろう。

ＶＢＤＦ推定器は適応カーネルバンド幅を有するノンパラメトリック密度推定に基づいている。ＶＢＤＦ推定器は、その不確定性を探究する一方で初期データ分布のノンパラメトリック推定のゆえに入力データの異常値が存在する場合に良好に作動する。ＶＢＤＦ推定器は密度関数の最も重要なモードの位置として定義される。モード計算はマルチスケール最適化フレームワークにおける可変バンド幅平均シフト技術を使用することに基づいている。

ｘ_i∈Ｒ^d，ｉ＝１．．．ｎが利用可能なｄ次元推定値であり、各々が共分散行列Ｃ_iにより与えられる関連付けられた不確定性を有するとする。密度関数の最も重要なモードはマルチスケール方式で反復的に決定される。バンド幅行列Ｈ_i＝Ｃ_i＋α²Ｉは各ポイントｘ_iに関連付けられており、ただしここでＩは単位行列であり、パラメータαは分析のスケールを決定する。位置ｘにおけるサンプルポイント密度推定器は

により定義され、ただしここでＤはｘとｘ_iとの間のマハラノビス距離を表し、

である。

位置ｘにおける可変バンド幅平均シフトベクトルは

によって与えられ、ただしここで

はデータ依存ウェイトｗ_i（ｘ）により重み付けされるバンド幅行列の調和平均を表し

であり、現在の位置ｘで計算されるデータ依存ウェイトは表現

を有し、これは

を満たすことに注意してほしい。

ポイントｘ＋ｍ（ｘ）に相応する密度は常にｘに相応する密度より高いか又は等しい。それゆえ、平均シフトベクトルを使用して現在の位置を反復的にアップデートすることは、基礎的な密度の定常的なポイントに収束する山登りプロシージャ（hill-climbing procedure）をもたらす。

ＶＢＤＦ推定器は複数のスケールにおける適応平均シフトプロシージャを反復的に適用することによって最重要モードを見つけ出す。それはポイントｘ_iの広がりに関してパラメータαを大きく選択することによって大きなスケールからスタートする。この場合、密度面は単峰形（unimodal）であり、それゆえ決定されたモードはグローバルに最も密度の高い領域に相応する。このプロシージャは、パラメータαの値を低下させ以前のスケールで決定されたモードから平均シフト反復をスタートしがなら繰り返される。最終ステップにおいて、各ポイントに関連付けられたバンド幅行列は共分散行列に等しい、すなわちＨ_i＝Ｃ_iである。

ＶＢＤＦ推定器は多重ソースモデルを処理する能力を有する情報融合のためのパワフルなツールである。これは、ローカルな近傍内のポイントが多重モーションを示しうるので、動き推定のために重要である。最も重要なモードは最も妥当なモーションに相応する。

本発明によれば、多重コンポーネントモデルは同時にトラッキングされる。多重コンポーネントモデルがいかにしてトラッキングされるかの一例をここで記述する。ｎ個のモデルＭ₀，Ｍ₁，．．．，Ｍ_nが存在すると仮定する。各画像毎に、ｃ個のコンポーネントがｘ_i,,j，ｉ＝１．．．ｃ，ｊ＝１．．．ｎにより表示されるそれらの位置とともに維持される。新しい画像が利用可能である場合、各コンポーネント及び各モデルに対する位置及び不確定性が推定される。このステップは画像相関、空間グラジエント又は時空間エネルギの正則化に基づく技術のようないくつかの技術を使用して行われる。本発明によれば、参考文献として組み込まれているD.Comaniciu, "Nonparametric information fusion for motion estimation", CVPR 2003,Vol.1, pp.59-66に記述されているロバストなオプティカルフロー技術が使用される。

結果は各コンポーネントに対する動き推定値ｘ_i,,j及びその不確定性Ｃ_i,jである。こうして、ｘ_i,,jはモデルｉに関するコンポーネントｊの位置推定値を表す。共分散行列のスケールもマッチング残留誤差から推定される。これは、個別コンポーネントが遮蔽される（occluded）場合には共分散行列のサイズを増大させる。それゆえ、遮蔽はコンポーネントレベルで取り扱われる。

ＶＢＤＦロバスト融合技術は現在のフレーム内のコンポーネントｊに対する最も妥当な位置ｘ_jを決定するために適用される。スケールに亘るモードトラッキングは結果的に

を生じ、ただしここでウェイトω_iは（５）で定義されたものである。

各コンポーネントの位置計算に続いて、重み付けされた矩形フィッティングが推定値の共分散行列により与えられるウェイトによって実行される。画像パッチは４個のパラメータにより定義される相似変換Ｔによって関係付けられると仮定する。動的コンポーネント位置ｘの相似変換は次式により特徴付けられる。

ここでｔ_x，ｔ_yは並進パラメータであり、ａ，ｂは２Ｄ回転及びスケーリングをパラメタライズする。

最小化される規準（criterion）は、基準位置

と推定された位置ｘ_j（現在のフレーム内のｊ番目のコンポーネント位置）との間のマハラノビス距離の和である。

最小化は標準重み付け最小二乗法（standard weighted least squares）によって行われる。各コンポーネントに対する共分散行列が使用されるので、高い不確定性を有するポイントの影響は低減される。

矩形がトラッキングされたコンポーネントにフィットされた後で、動的コンポーネント候補が矩形内で一様に再サンプリングされる。矩形に関する各コンポーネントの相対的位置は大きく変化しないと仮定する。もし再サンプリングされた位置とある一定のコンポーネントのオプティカルフローにより計算されたトラック位置との距離が許容可能な閾値より大きいならば、トラック位置は異常値と見なされ、再サンプリングされたポイントと置換される。もし十分なコンポーネントが低い残留誤差を有するならば、現在の画像がモデルセットに加えられる。モデルと現在のフレームとの間のメディアン残留誤差（median residual error）は予め定められた閾値Ｔ_hと比較される。

図３を参照しつつオブジェクトトラッキングのための方法のまとめをここで記述しよう。上記のように、コンポーネントｉに対するモデルＭ₀，Ｍ₁，．．．，Ｍ_nのセットが新しい画像Ｉ_fに対して得られる（ステップ３０２）。コンポーネントｉは画像フレームｊの中の位置ｘ_i,,jにある。新しい画像Ｉ_fに対して、コンポーネントｉの位置がオプティカルフロー技術を使用して画像フレームｊ内の位置

において計算される。計算は以前のフレームにおいて推定されたコンポーネントｉの位置である

からスタートする（ステップ３０４）。画像フレームのシーケンス（ｊ＝１．．．ｎ）に対して、コンポーネントｉの位置

がＶＢＤＦ推定器を使用して推定される（ステップ３０６）。コンポーネント位置は式（８）を最小化することによって計算される変換を使用して制約される（ステップ３０８）。新しい外観が、もしそのメディアン残留誤差が予め定められた閾値Ｔ_hより小さいならば、モデルセットに加えられる（ステップ３１０）。

本発明のマルチテンプレートフレームワークは形状トラッキングのコンテクストにおいて直接適用されうる。もしトラッキングされたポイントがスプラインによりモデル化される形状のコントロールポイントを表すならば、多重位置推定値のロバスト融合の利用は形状の位置推定値の信頼性を増大させる。形状スペースが学習されたサブスペース制約により制限される場合、それは比較的小さい補正を結果的に生ずる。もし輪郭が利用可能であるならば、トラッキングのために利用されるモデルテンプレートが形状間の距離に基づくモデルセットからオンラインでセレクトされる。

図４を参照して本発明の方法の適用事例をここで記述する。図４は重大なクラッタ（clutter）及び遮蔽が存在した複数の画像フレームに亘る顔トラッキング結果を示す。この例では、２０個のモデルテンプレートが使用された。コンポーネントは少なくとも５ピクセル距離であり、それらの数ｃは四角い枠により定められている。モデルセットに加えられるべき新しい画像に対する閾値Ｔ_hは強度範囲の８分の１であった。値は遮蔽が検出されるようにデータから学習された。

図４の画像フレームから分かるように、幾つかの顔の存在による重大なクラッタが存在する。さらに、トラッキングされる領域をさえぎる多重遮蔽（例えば紙）が存在する。図５はモデルアップデートのために使用される時間に亘るメディアン残留誤差を表す線図である。線図内のピークはターゲットが完全に遮蔽される画像フレームに相応する。モデルアップデートは、残留誤差が水平方向ラインによって示されている閾値Ｔ_h＝３２を通過すると行われる。

図６は本発明による人体をトラッキングするために使用される複数の画像フレームを示す。本発明は人間の腕の動きのような外観変化を処理することができ、さらに木によって遮蔽された後でトラッキングターゲット（すなわち人体）をリカバーすることができる。図７は時間に亘るメディアン残留誤差を示す線図である。ピーク７０２は人体が木によって遮蔽される時に相応し、他方でピーク７０４は人体が回転しその画像サイズが固定されたコンポーネントサイズよりも小さくなる時を表す。

本発明の方法は画像フレームのシーケンス内の心内膜壁の動きのトラッキングのような医療適用事例にも使用されうる。図８はどのように心内膜壁がトラッキングされるのかを示している。本発明の方法は２つの局面においてロバストである。すなわち、測定プロセスにおいてＶＢＤＦ融合が多重外観モデルからのマッチング結果を結合するために使用され、フィルタリングプロセスにおいて融合がノイズの異分散性を利用しながら測定、前の知識及びモデルからの情報を結合するために形状スペースにおいて実施される。

トラッキングの間の変化をモデル化するために、外観分布のノンパラメトリック表示と等価であるオブジェクト外観のいくつかの見本が時間に亘って維持される。図８は外観モデル、つまりモデルセットの中の現在の見本を示し、各々はオーバーラップするコンポーネントのセットを関連付けている。心内膜壁の形状のような形状はコントロール又はランドマークポイント（つまりコンポーネント）によって表示される。これらのポイントはユーザに示される前にスプラインによってフィットされる。コンポーネントベースのアプローチはグローバルな表示よりもロバストであり、構造的な変化に対して比較的感応性が低く、従ってノンリジッドな形状変形を取り扱うことができる。

各コンポーネントは独立に処理され、その位置及び共分散行列は全てのモデルテンプレートに関して現在の画像において推定される。例えば、コンポーネントのうちの一つが矩形８１０によって示されており、各モデルに関するその位置及び不確定性はループ８１２及び８１４のような動き推定ステージに示されている。ＶＢＤＦロバスト融合プロシージャは、関連付けられた不確定性を有する最も主要な動き（モード）を決定するために適用される。

現在のフレーム内のコンポーネントの位置はさらに事前トレーニングされた形状モデルを使用してサブスペース形状制約を課することによって適応される。ロバストな形状トラッキングは、システムダイナミクス、異分散測定ノイズ及びサブスペース形状モデルから不確定性を最適に解決することによって達成される。各コンポーネント位置における推定された信頼度を使用することによって、信頼できるコンポーネントがグローバルな形状動き推定に大いに貢献する。現在のフレームは、もし基準外観に対する残留誤差が比較的低ければモデルセットに加えられる。

図９は多重外観モデルを使用することの利点を示す。関連付けられた輪郭を有する初期フレームは図９ａに示されている。単一モデルを使用することで不正確なトラッキング結果がもたらされる（図９ｂ）。多重モデルアプローチは正確に外観変化を処理する（図９ｃ）。

フィルタリングプロセスは画像内の全てのコントロールポイントの座標を連結することによって形成されるベクトルに基づいている。典型的なトラッキングフレームワークはダイナミックプロセスにより定義される予測及びノイズの多い測定からの情報を融合する。形状トラッキングにおいて、適当な範囲内に形状全体を安定化するために付加的なグローバルな制約が必要である。

心内膜トラッキングのためには、一般的な心臓の代わりに現在の心臓の統計的形状モデルが必要とされる。ＰＣＡモデル及び初期化された輪郭が共同して現在のケースの変動を表すと仮定することによって強く適応された主コントロール分析（strongly-adapted Principal Control Analysis ＳＡ−ＰＣＡ）が適用される。ＳＡ−ＰＣＡによって、フレームワークは４個の情報ソースを取り入れる。すなわち、システムダイナミック、測定、サブスペースモデル及び初期輪郭である。

一例が図１０に本発明の融合方法と直交射影方法（orthogonal projection method）との比較のために示されている。融合方法は誤差を完全には補正しないが、補正ステップは累積するので、長いシーケンス内の後の方の画像フレームでの全体的な効果は非常に有意義になりうる。

次に非常にノイズの多い心エコー法データを使用する心臓輪郭をトラッキングするために使用される本発明の例を記述する。この例で使用されるデータは、１８フレームから９０フレームまでの長さにおいて変化するシーケンスを有する正常ならびに心筋症の様々なタイプを表す。トレーニング及び検査のための心尖部二又は四腔像（１７個のコントロールポイントを有する開いた輪郭）及び胸骨左縁短軸像（１８個のコントロールポイントを有する閉じた輪郭）の両方が利用された。ＰＣＡが実施され、３４及び３６の元々の次元の数がそれぞれ７及び８にまで低減された。外観モデルのために、２０個のテンプレートが外観変動性を捕捉するために維持される。システマティックな評価のために、検査のためのトレーニングデータを除く１８個の胸骨左縁短軸像及び１４個の心尖部二又は四腔像を有する３２個の心エコー図シーケンスのセットが使用され、これら全ては専門家による注釈付きグラウンドトルース輪郭を有する。

図１１は２つのトラッキングされたシーケンスからのスナップショットを示す。心内膜は常に最も強いエッジ上にあるわけではないことが見て取れる。時々それはぼんやりしたラインによってのみ現れ、時々それは完全に見えなくなり又は大きなノイズの中に埋もれてしまい、時々それはエッジが存在しない乳頭筋の根と交差する。異なる方法のパフォーマンスを比べるために、距離の二乗の和の平均（Mean Sum of Squared Distance ＭＳＳＤ）及び平均絶対距離（Mean Absolute Distance ＭＡＤ）が使用される。本発明の方法は（フロー（Flow）と呼ばれる）形状制約なしのトラッキングアルゴリズム及び（フローシェイプスペース（FlowShapeSpace）と呼ばれる）直交ＰＣＡ形状スペース制約を有するトラッキングアルゴリズムと比較される。図１２は２つの距離尺度を使用する比較を示す。本発明は他の２つの方法より大いにパフォーマンスが優れており、より低い平均距離及びこのような距離に対するより低い標準偏差を有する。

ロバストな情報融合を使用するオブジェクトをトラッキングするための方法の実施形態を記述してきたが、修正及び変更が上記の教示に基づいて当業者により行われうることに注意してもらいたい。それゆえ、添付された請求項により定められるような本発明の範囲及び精神から離れずに開示された本発明の特定の実施形態において変更が加えられうることを理解すべきである。従って、特許法により要求される詳細及び特徴を有する発明を記述してきたが、請求されかつ特許証により望むらくは保護されるものは添付された請求項において発表される。

本発明によるオブジェクトの動きをトラッキングするためのシステムのシステムブロック線図である。 本発明によるマルチモデルコンポーネントベースドトラッカ（multi-model component based tracker）を使用するオブジェクトをトラッキングするための方法を示す。 本発明によるオブジェクトのトラッキングのための方法を示すフローチャートである。 本発明により人間の顔がトラッキングされる画像フレームのシーケンスを示す。 図４の顔トラッキング画像に対するメディアン残留誤差を示す線図を示す。 本発明により人体がトラッキングされる画像フレームのシーケンスを示す。 図６の人体トラッキング画像に対するメディアン残留誤差を示す線図を示す。 本発明による測定及びフィルタリング処理を使用するロバストなトラッカのブロック線図を示す。 単一モデルトラッキング方法を使用した結果と多重モデルトラッキング方法を使用した結果を表す多数の画像フレームを示す。 本発明の融合アプローチと直交射影アプローチとの比較を示す一連の画像フレームである。 本発明による融合方法を使用することから得られる画像シーケンスの２つのセットを例示する一連の画像を示す。 本発明によるトラッキングされたポイントとグラウンドトルース（ground truth）との間の平均距離を示す線図である。

符号の説明

１０２ カメラ
１０４ カメラ
１０６ プロセッサ
１０８ 出力
１１０ データベース
２０２ 画像フレーム
２０４ 矩形
２０６ 現在のフレーム
２０８ 現在の見本、モデルセット
２１０ 現在の見本、モデルセット
２１２ 現在の見本、モデルセット
２２０ コンポーネント
７０２ ピーク
７０４ ピーク
８１０ 矩形
８１２ ループ
８１４ ループ

Claims (27)

1. オブジェクトをトラッキングするための方法において、該方法は次のステップを含む、すなわち、
   複数の画像フレームから成るビデオシーケンスを受信するステップ、
   オブジェクト外観分布のサンプルベースの表示を維持するステップ、
   オブジェクトを１つ以上のコンポーネントに分割するステップ、
   各コンポーネントに対して、サンプルベースの表示に関してその位置及び不確定性を推定するステップ、
   最も主要な動きを決定するために各コンポーネントに対して可変バンド幅密度ベースの融合（Variable Bandwidth Density Based Fusion ＶＢＤＦ）を適用するステップ、
   動き推定値を使用してオブジェクトのトラックを決定するステップを含む、オブジェクトをトラッキングするための方法。
2. オブジェクトのトラッキングはオブジェクトを含む各後続画像フレームにおいて実施される、請求項１記載の方法。
3. コンポーネントの相対的位置はグローバルパラメトリックモーション（global parametric motion）を使用して制約される、請求項１記載の方法。
4. コンポーネント位置に関する残留誤差はモデルテンプレートに関連して測定される、請求項１記載の方法。
5. もし残留誤差が予め定められた閾値より下であるならば、現在のフレームがモデルテンプレートに加えられる、請求項４記載の方法。
6. 高い残留誤差は、オブジェクトが少なくとも部分的に遮蔽されている（occluded）ことを指示する、請求項５記載の方法。
7. 高い残留誤差は、オブジェクトが照明条件における変化により影響を受けていることを指示する、請求項５記載の方法。
8. トラッキングされているオブジェクトは顔である、請求項１記載の方法。
9. トラッキングされているオブジェクトは人体である、請求項１記載の方法。
10. オブジェクト外観分布のサンプルベースの表示は画像フレームからオフラインで得られるモデルテンプレートを含む、請求項１記載の方法。
11. オブジェクト外観分布のサンプルベースの表示は画像フレームからオンラインで得られるモデルテンプレートを含む、請求項１記載の方法。
12. コンポーネントの相対的位置は形状モデルを使用して制約される、請求項１記載の方法。
13. 複数の画像フレームを含む医療ビデオシーケンスにおける候補オブジェクトをトラッキングするための方法において、オブジェクトは複数のラベリングされたコントロールポイントによって表示され、前記方法は次のステップを含む、すなわち、
    各コントロールポイント毎に位置及び不確定性を推定するステップ、
    多重外観モデルを維持するステップ、
    各コントロールポイントを１つ以上のモデルと比較するステップ、
    ＶＢＤＦ推定器を使用して各コントロールポイントのもっともありそうな現在の位置を決定するステップ、
    全てのコントロールポイントの座標を連結するステップ、
    コントロールポイントのセットを最もこのコントロールポイントのセットに類似しているモデルと融合するステップを含む、複数の画像フレームを含む医療ビデオシーケンスにおける候補オブジェクトをトラッキングするための方法。
14. コントロールポイントは心内膜壁の輪郭に関連付けられている、請求項１３記載の方法。
15. 方法は心内膜壁の変形可能な動きをトラッキングする、請求項１４記載の方法。
16. オブジェクトをトラッキングするためのシステムにおいて、該システムは次のものを含む、すなわち、
    画像フレームのビデオシーケンスを捕捉するための少なくとも１つのカメラ、
    該少なくとも１つのカメラに関連付けられたプロセッサを含み、該プロセッサは次のステップを実施する、すなわち、
    ｉ）オブジェクト外観分布のサンプルベースの表示を維持するステップ、
    ｉｉ）オブジェクトを１つ以上のコンポーネントに分割するステップ、
    ｉｉｉ）各コンポーネントに対して、サンプルベースの表示に関してその位置及び不確定性を推定するステップ、
    ｉｖ）最も主要な動きを決定するために各コンポーネントに対して可変バンド幅密度ベースの融合（Variable Bandwidth Density Based Fusion ＶＢＤＦ）を適用するステップ、
    ｖ）動き推定値を使用してオブジェクトのトラックを決定するステップ
    を実施する、オブジェクトをトラッキングするためのシステム。
17. オブジェクトのトラッキングはオブジェクトを含む各後続画像フレームにおいて実施される、請求項１６記載のシステム。
18. コンポーネントの相対的位置はグローバルパラメトリックモーションを使用して制約される、請求項１６記載のシステム。
19. コンポーネント位置に関する残留誤差はモデルテンプレートに関連して測定される、請求項１６記載のシステム。
20. もし残留誤差が予め定められた閾値より下であるならば、現在のフレームがモデルテンプレートに加えられる、請求項１９記載のシステム。
21. 高い残留誤差は、オブジェクトが少なくとも部分的に遮蔽されている（occluded）ことを指示する、請求項２０記載のシステム。
22. 高い残留誤差は、オブジェクトが照明条件における変化により影響を受けていることを指示する、請求項２０記載のシステム。
23. トラッキングされているオブジェクトは顔である、請求項１６記載のシステム。
24. トラッキングされているオブジェクトは人体である、請求項１６記載のシステム。
25. オブジェクト外観分布のサンプルベースの表示は画像フレームからオフラインで得られるモデルテンプレートを含む、請求項１６記載のシステム。
26. オブジェクト外観分布のサンプルベースの表示は画像フレームからオンラインで得られるモデルテンプレートを含む、請求項１６記載のシステム。
27. コンポーネントの相対的位置は形状モデルを使用して制約される、請求項１６記載のシステム。

Images