JP6095018B2 - 移動オブジェクトの検出及び追跡 - Google Patents

Description

本発明の実施形態は、一般に、情報技術に関し、より詳細には、映像内のオブジェクトの画像解析に関する。

近年、民生及び軍用の目的で、偵察、監視、災害の救援、捜索及び救助、農業情報収集並びに高速リモート・センシング・マッピングへの関心はますます高まっている。例えば、無人航空機（ＵＡＶ）は、そのセンサ・プラットフォームが小サイズで低コストであることから、そのような活動の実行のための魅力的なプラットフォームであり得る。しかしながら、ＵＡＶを監視システムにおいて用いる場合には、幾つかの重大な課題が生じる、カメラは高速で移動して不規則に回転し、かつ、ＵＡＶ機の動きは通常は滑らかではないので、背景は著しく変化する。さらに、フレームレートが非常に低い（例えば、毎秒１フレーム）ことで、地上を移動しているターゲットの検出及び追跡の難しさはますます高まり、また、オブジェクトのサイズが小さいことで、オブジェクトの検出及び追跡に関して別の課題がもたらされることになる。また、カメラの強力な照明の変化及びストライプ・ノイズが、真の移動オブジェクトを背景から区別するときに幾つかの難問を生じさせることがある。

既存の手法はまた、オブジェクト初期化の問題も含んでおり、そのうえ、高精度の重ね合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）結果を得ることも、ターゲットの回転及び拡大縮小変動を扱うことも、ターゲットと背景との間の類似した分布に対処することもできない。

特許文献１は、画像の多重ビューを同時に又は逐次的にキャプチャしてシーンの画像をキャプチャするための、多重のカメラの使用を開示する。画像シーケンスをレイヤ化された移動オブジェクトの２次元外観マップ及びマスクのグループに分解するための生成モデルの作成及び使用は、完全に透明であると判断されたスプライト・ピクセルが消去され、同時に、そのスプライトによって遮られる背景ピクセルも同様に消去されることを考慮している。

米国特許出願公開第２００７／０１０４３８３号明細書

本発明は、移動オブジェクトの視覚的監視を行うための技術を提供することを目的とする。

本発明又はその要素の１つ又は複数の実施形態は、示される方法ステップを行うためのコンピュータ使用可能プログラム・コードを有する有形のコンピュータ可読ストレージ媒体を含むコンピュータ製品の形態で実装することができる。さらに、本発明又はその要素の１つ又は複数の実施形態は、メモリと、例示的な方法ステップを行うように動作可能な、メモリに結合された少なくとも１つのプロセッサとを含む装置の形態で実装することができる。さらにまた、別の態様において、本発明又はその要素の１つ又は複数の実施形態は、本明細書において説明される方法ステップの１つ又は複数を実行するための手段の形態で実装することができ、この手段は、（ｉ）ハードウェア・モジュール、（ｉｉ）ソフトウェア・モジュール、又は（ｉｉｉ）ハードウェアとソフトウェアとの組み合わせを含むことができ、（ｉ）−（ｉｉｉ）のいずれも、本明細書で示される特定の技術を実装し、ソフトウェア・モジュールは、有形のコンピュータ可読ストレージ媒体（又は複数のそのような媒体）内に格納される。

第１の態様の観点から見ると、本発明は、１つ又は複数の移動オブジェクトの視覚的監視を行うための方法を提供し、この方法は、１つ又は複数のカメラによりキャプチャされた１つ又は複数の画像を重ね合わせることであって、１つ又は複数の画像を重ね合わせることが、２つ又はそれ以上の隣接するフレーム内の１つ又は複数の画像の領域ベースの重ね合わせを含む、１つ又は複数の画像を重ね合わせることと、１つ又は複数の画像のモーション・セグメント化を行って、１つ又は複数の画像内の１つ又は複数の移動オブジェクト及び１つ又は複数の背景領域を検出することと、１つ又は複数の移動オブジェクトの視覚的監視を容易にするように、１つ又は複数の移動オブジェクトを追跡することと、を含む。

好ましくは、本発明は、１つ又は複数の画像を重ね合わせることが、１つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせを含む方法を提供する。

好ましくは、本発明は、１つ又は複数の画像を重ね合わせることが、１つ又は複数のサブピクセル画像マッチング技術を用いることを含む方法を提供する。

好ましくは、本発明は、１つ又は複数の画像のモーション・セグメント化を行うことが、順方向及び逆方向フレーム差分を取ることを含む方法を提供する。

好ましくは、本発明は、順方向及び逆方向フレーム差分が、時間的フィルタリング及び空間的フィルタリングのうちの少なくとも一方に基づく自動動的閾値推定を含む方法を提供する。

好ましくは、本発明は、順方向及び逆方向フレーム差分が、１つ又は複数の画像特徴の独立した動きに基づいて１つ又は複数の偽の移動ピクセルを除去することを含む方法を提供する。

好ましくは、本発明は、順方向及び逆方向フレーム差分が、形態学的操作を行うことと、１つ又は複数のモーション・ピクセルを生成することとを含む方法を提供する。

好ましくは、本発明は、１つ又は複数の移動オブジェクトを追跡することが、ハイブリッド・ターゲット追跡を行うことを含む方法を提供し、ハイブリッド・ターゲット追跡は、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴トラッカ及び平均値シフトを用いることと、自動カーネル・スケール推定及び更新を用いることと、１つ又は複数の特徴軌道を用いることとを含む。

好ましくは、本発明は、１つ又は複数の移動オブジェクトを追跡することが、１つ又は複数のターゲットについての特徴マッチング及び距離行列に基づく１つ又は複数の多重ターゲット追跡アルゴリズムを用いることを含む、方法を提供する。

好ましくは、本発明は、１つ又は複数の移動オブジェクトを追跡することが、モーション・マップを生成することと、１つ又は複数の移動オブジェクトを識別することと、オブジェクト初期化及びオブジェクト確認を行うことと、モーション・マップ内の１つ又は複数のオブジェクト領域を識別することと、１つ又は複数の特徴を抽出することと、モーション・マップ内に探索領域を設定することと、モーション・マップ内の１つ又は複数の候補領域を識別することと、平均値シフト（ｍｅａｎｓｈｉｆｔ）追跡することと、１つ又は複数の候補領域内の１つ又は複数の移動オブジェクトを識別することと、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴マッチングを行うことと、アフィン変換を行うことと、Ｂｈａｔｔａｃｈａｒｙｙａ係数によって最終領域決定を行うことと、ターゲット・モデル及び軌道の情報を更新することとを含む、方法を提供する。

好ましくは、本発明は、１つ又は複数の移動オブジェクトを追跡することが、基準面ベースの重ね合わせ及び追跡を含む方法を提供する。

好ましくは、本発明は、各カメラ・ビューを１つ又は複数の他のカメラ・ビューと関連付けることをさらに含む方法を提供する。

好ましくは、本発明は、１つ又は複数のカメラによりキャプチャされた１つ又は複数の画像からパノラマ・ビューを形成することをさらに含む方法を提供する。

好ましくは、本発明は、各カメラの動きを、パノラマ・ビュー内の１つ又は複数の静止オブジェクトの映像情報に基づいて推定することをさらに含む方法を提供する。

好ましくは、本発明は、パノラマ・ビュー内の１つ又は複数の背景構造を、直線構造の検出と、ある期間にわたる１つ又は複数の移動オブジェクトの統計的解析とに基づいて推定することをさらに含む方法を提供する。

好ましくは、本発明は、自動特徴抽出をさらに含む方法を提供し、自動特徴抽出は、画像をフレーム化することと、ガウス平滑化操作を行うことと、ケニー（ｃａｎｎｙ）検出器を用いて１つ又は複数の特徴エッジを抽出することと、特徴解析のためのハフ変換を実施することと、変換空間における多重ピークの影響を低減するために最大応答ファインディング（ｆｉｎｄｉｎｇ）を決定することと、特徴の長さが特定の閾値を上回るか否か判定し、特徴の長さが閾値を上回る場合に特徴抽出及びピクセル除去を実施することとを含む。

好ましくは、本発明は、自動特徴抽出が、フレーム差分を取ることと、モーション履歴画像による検証を行うこととをさらに含む方法を提供する。

好ましくは、本発明は、外れ値除去を行って１つ又は複数の間違った移動オブジェクト・マッチを除去することをさらに含む方法を提供する。

好ましくは、本発明は、偽ブロブ・フィルタリングをさらに含む方法を提供し、偽ブロブフィルタリングは、モーション・マップを生成することと、連結成分プロセスを適用して各ブロブ・データをリンクすることと、モーション・ブロブ・テーブルを作成することと、以前に重ね合わされたフレーム内の各ブロブについて１つ又は複数の特徴を抽出することと、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法を適用して各ブロブの動きを推定し、あるブロブについて動きが生じなかった場合に該ブロブをブロブ・テーブルから削除することとを含む。

好ましくは、本発明は、時間ドメインと空間ドメインのうちの少なくとも一方の上でターゲット・モデルを更新することをさらに含む方法を提供する。

好ましくは、本発明は、パノラマ・ビューにおけるオブジェクト外観及びオブジェクト軌跡の索引を作成することをさらに含む方法を提供する。

好ましくは、本発明は、クエリと索引内のエントリとの間の類似度メトリックを決定することをさらに含む方法を提供する。

好ましくは、本発明は、システムを提供することをさらに含む方法を提供し、このシステムは、１つ又は複数の別個のソフトウェア・モジュールを含み、１つ又は複数の別個のソフトウェア・モジュールの各々は、有形のコンピュータ可読記録可能ストレージ媒体上で具体化され、１つ又は複数の別個のソフトウェア・モジュールは、ハードウェア・プロセッサ上で実行される、幾何学的重ね合わせモジュール、モーション抽出モジュール、及びオブジェクト追跡モジュールを含む。

別の態様の観点から見ると、本発明は、１つ又は複数の移動オブジェクトの視覚的監視を行うためのコンピュータ使用可能プログラム・コードを含む有形のコンピュータ可読記録可能ストレージ媒体を含むコンピュータ・プログラム製品を提供し、このコンピュータ・プログラム製品は、１つ又は複数のカメラによりキャプチャされた１つ又は複数の画像を重ね合わせるためのコンピュータ使用可能プログラム・コードであって、１つ又は複数の画像を重ね合わせることが、２つ又はそれ以上の隣接するフレーム内の１つ又は複数の画像の領域ベースの重ね合わせを含む、コンピュータ使用可能プログラム・コードと、１つ又は複数の画像のモーション・セグメント化を行って、１つ又は複数の画像内の１つ又は複数の移動オブジェクト及び１つ又は複数の背景領域を検出するためのコンピュータ使用可能プログラム・コードと、１つ又は複数の移動オブジェクトの視覚的監視を容易にするように、１つ又は複数の移動オブジェクトを追跡するためのコンピュータ使用可能プログラム・コードとを含む。

別の態様の観点から見ると、本発明は、１つ又は複数の移動オブジェクトの視覚的監視を行うためのシステムを提供し、このシステムは、メモリと、メモリに結合されたプロセッサとを含み、このプロセッサは、１つ又は複数のカメラによりキャプチャされた１つ又は複数の画像を重ね合わせることであって、１つ又は複数の画像を重ね合わせることが、２つ又はそれ以上の隣接するフレーム内の１つ又は複数の画像の領域ベースの重ね合わせを含む、１つ又は複数の画像を重ね合わせることと、１つ又は複数の画像のモーション・セグメント化を行って、１つ又は複数の画像内の１つ又は複数の移動オブジェクト及び１つ又は複数の背景領域を検出することと、１つ又は複数の移動オブジェクトの視覚的監視を容易にするように、前記１つ又は複数の移動オブジェクトを追跡することとを行うように動作可能である。

以下、添付の図面を参照して本発明の好ましい実施形態を例示をのみを目的として説明する。

本発明の好ましい実施形態によるサブピクセル位置推定を示す図である。 本発明の好ましい実施形態によるサブ領域選択を示す図である。 本発明の好ましい実施形態による順方向及び逆方向の幾何学的重ね合わせを示す図である。 本発明の好ましい実施形態による順方向及び逆方向フレーム差分を取ることを示す流れ図である。 本発明の好ましい実施形態による偽ブロブ・フィルタリングを示す流れ図である。 本発明の好ましい実施形態による多重オブジェクト追跡を示す流れ図である。 本発明の好ましい実施形態による基準面ベースの重ね合わせ及び追跡を示す図である。 本発明の好ましい実施形態による自動都市道路抽出を示す流れ図である。 本発明の好ましい態様によるオブジェクト検出及び追跡システムのアーキテクチャを示すブロック図である。 本発明の好ましい実施形態による１つ又は複数の移動オブジェクトの視覚的監視を行うための技術を示す流れ図である。 本発明の好ましい実施形態を実装することができる例示的なコンピュータ・システムのシステム図である。

本発明の原理は、視覚的監視における移動オブジェクトの検出、追跡、及び探索を含む。移動オブジェクト及び１つ又は複数の移動カメラを含む例示的な設定において、本発明の１つ又は複数の実施形態は、モーション・セグメント化（背景領域に対するモーション・ブロブ（ｂｌｏｂ））、多重オブジェクト追跡（例えば、経時的に一貫した追跡）、並びに基準面に基づく重ね合わせ及び追跡を含む。本明細書において詳述するように、本発明の１つ又は複数の実施形態は、例えば可動プラットフォーム（例えば、無人航空機（ＵＡＶ）ビデオ）に取り付けられた、多重のカメラ（例えば、互いに位置合わせされたもの）を用いて、カメラから受け取った画像から、大域的／局所的幾何学的重ね合わせ、モーション・セグメント化、移動オブジェクト追跡、基準面ベースの重ね合わせ及び追跡、並びに自動都市道路抽出に基づいてパノラマ・ビューを形成することにより、移動オブジェクトを検出、追跡、及び探索することを含む。

本明細書において説明される技術は、再帰的な幾何学的重ね合わせを含み、これは、全フレームの代わりに隣接フレームに対する領域ベースの画像重ね合わせ、サブピクセル画像マッチング技術、及びレンズの幾何学的歪みを扱うための領域ベースの幾何学的変換を含む。また、本発明の１つ又は複数の実施形態は、２方向動き検出、並びに、色及び特徴を用いたハイブリッド・ターゲット追跡を含む。２方向動き検出は、順方向及び逆方向フレーム差分を取ること、時間的及び／又は空間的フィルタリングに基づく自動動的閾値推定、並びに、特徴の独立した動きに基づく偽の移動ピクセルの除去を含む。ハイブリッド・ターゲット追跡は、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴トラッカ（ＫＬＴ）及び平均値シフト、自動カーネル・スケール推定及び更新、並びに特徴軌道のコヒーレント運動を用いた経時的に一貫した追跡を含む。

さらに、本明細書において詳述される技術は、小ターゲットのための特徴マッチング及び距離行列に基づく多重ターゲット追跡アルゴリズム、並びに、例えば、小型サイズのターゲット（例えば、既知の形状モデル無し）の検出及び追跡のための低フレームレート（１ｆ／ｓ）のＵＡＶ監視システムの実装を含む。

本明細書において記載されているように、本発明の１つ又は複数の実施形態は、映像（例えば、ＵＡＶ映像）の大域的及び局所的幾何学的重ね合わせを含む。カメラの動きの影響を低減するために、フレーム毎の映像重ね合わせプロセスが実装される。２つの画像を正確に重ね合わせる方法は、各画像内の全てのピクセルのマッチングを含むことができる。しかしながら、この高い計算量は実行可能ではない。効率的な手法は、画像内の再び見つけ出しやすい特徴点の比較的小さい集合を見つけ出し、これらの点のみを用いてフレーム毎のホモグラフィを推定することである。例示のみを目的として、１２８０×１２８０ピクセルの画像に対して、５００−６００個の特徴点を抽出することができる。

Ｈａｒｒｉｓコーナー検出器は、拡大縮小、回転及び照明の変動に対して不変であることから、画像重ね合わせ及び動き検出に適用することが可能である。本発明の１つ又は複数の実施形態において、Ｈａｒｒｉｓコーナー検出器を特徴点検出器として使用することができる。そのアルゴリズムは以下のように記述することができる。
１．画像Ｉ内のピクセルについて、そのｘ及びｙ方向の導関数Ｉｘ及びＩｙ、並びにＩｘｙ＝ＩｘＩｙを計算する。
２．窓関数Ａを適用する。すなわち、ｈｘ＝ＡＩｘ、ｈｙ＝ＡＩｙ、ｈｘｙ＝ＡＩｘｙとする。
３．

（κは定数である）を計算して、両方向における変動を測定する。
４．Ｈに閾値を適用して局所極大を求め、コーナーを得る。

窓を比較するために、本発明の１つ又は複数の実施形態は、効率的な統計学的方法である正規化相関係数を用いることを含む。実際の特徴マッチングは、その点を囲む小さな窓にわたって相関係数を最大化することにより達成される。相関係数は、次式で与えられる。

式中、
ｇ_１（ｒ，ｃ）は、テンプレート行列の個々のグレー値を表し、
ｕ_１は、テンプレート行列の平均グレー値を表し、
ｇ_２（ｒ，ｃ）は、サーチ行列の対応する部分の個々のグレー値を表し、
ｕ_２は、サーチ行列の対応する部分の平均グレー値を表し、
Ｒ、Ｃは、テンプレート行列の行及び列の数を表す。

従って、ブロックマッチング・プロセスは以下のようにして達成される。基準フレーム内の各点について、選択されたフレーム内の全ての点が検査され、その中で最も類似した点が選択される。次に、達成された相関が合理的に高いか否かが検定される。極大相関係数を有する点が候補点と採用される。

映像重ね合わせは、実時間実施を必要とする。本発明の１つ又は複数の実施形態において、ブロックマッチング・アルゴリズムは、特徴に対してのみ実施される。そのため、計算費用を著しく削減することができる。

本発明の１つ又は複数の実施形態は、対応する特徴の確認及び外れ値除去を含む。特徴ベースのブロックマッチングは、ときにはミスマッチを生じさせることがある。ミスマッチ問題を回避するために、本発明の１つ又は複数の実施形態は、順方向探索を用いて、手に余る場合のミスマッチ・データを処理して、最大勾配値を有する対応する特徴の候補を保持し、その他を除去することを含む。また、逆方向探索を使用して、同じ手法を用いて残りのミスマッチ問題を解決する。

多くの場合、類似した属性を有する一対の特徴は、マッチとして受理される。それでもなお、幾つかの偽マッチが生じることがある。従って、本発明の１つ又は複数の実施形態において、間違ったマッチを除去して重ね合わせの精度を改善するために、ランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ）外れ値除去手順が実行される。

本明細書において詳述される技術は、付加的に、粗密（ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ）特徴マッチングを含むことができる。多重解像度特徴マッチングは、探索空間及び偽マッチングを低減することができる。最も粗い解像度のレイヤにおいて特徴マッチングが実行され、探索範囲が決定される。現在の解像度のレイヤにおいて、直前のレイヤにおけるマッチング結果を初期結果として採用することができ、マッチング・プロセスは、上記式（１）を用いて実行することができる。本発明の１つ又は複数の実施形態において、探索範囲は１−３ピクセルに制限される。さらに、最高解像度のレイヤに達するまで、同じ操作を繰り返すことができる。

本明細書においてさらに説明されるように、本発明の１つ又は複数の実施形態は、正確な位置決定を含む。映像の重ね合わせ及び動き検出の目的にとっては、ピクセル・レベルの精度では十分とはいえないことがある。そのような場合には、サブピクセル位置手法が検討され、ピークに対して距離ベースの重み付け補間が決定される。特徴に対して、ピークの水平位置及び垂直位置を別々に推定することができる。また、１次元の水平及び垂直相関曲線を得ることができる。さらに、ｘ、ｙ方向における相関値が別々に補間され、ピークの正確な位置が計算される。例として、図１は、本発明の実施形態によるサブピクセル位置推定を示す図である。

本明細書において説明される技術はまた、局所的幾何学的重ね合わせも含む。例として、サブ領域の幾何学的重ね合わせを選択することができ、フレーム全体を２×２のサブ領域に分割することができる。図２は、２つの選択モデルを示す。

図２は、本発明の好ましい実施形態によるサブ領域選択を示す図である。例として、図２は、サブ領域選択モデル２０２及びサブ領域選択モデル２０４を示す。

本発明の１つ又は複数の実施形態はまた、例えば、以下のようなアフィン・ベースの局所的変換も含む。

式中、（ｘ，ｙ）は、（ｕ，ｖ）の新たに変換された座標であり、（ａ_ｊ，ｂ_ｋ）（ｊ，ｋ＝１，２，３）は、変換パラメータの集合である。さらに、各サブ領域について局所的変換パラメータを求めるために、本発明は１つ又は複数の実施形態は、最小二乗法を用いて変換パラメータを計算することを含む。

本発明の１つ又は複数の実施形態はまた、順方向／逆方向のフレーム毎の重ね合わせも含む。例えば、急速なカメラの動き、強い照明変動及び激しいストライプ・ノイズの場合には、残差の伝播を回避するために、順方向／逆方向のフレーム毎の重ね合わせを実行して多重フレーム差分を取る。図３は手法を示す。

図３は、本発明の一実施形態による順方向及び逆方向の幾何学的重ね合わせを示す図である。例として、図３は、フレーム３０２（Ｆ_ｉ−１）、フレーム３０４（Ｆ_ｉ）、及びフレーム３０６（Ｆ_ｉ＋１）を示す。基準フレームとして採用されるフレーム３０４（Ｆ_ｉ）におけるオブジェクトの動きを推定するために、前のフレーム３０２（Ｆ_ｉ−１）及び次のフレーム３０６（Ｆ_ｉ＋１）が基準フレームに幾何学的に重ね合わされる。各フレームに関する動きの推定がこのようにして実行される。

順方向／逆方向フレーム差分を取ることは、動き検出のために実施することもできる。本発明の１つ又は複数の実施形態で用いられる手法の図を図４に示す。図４は、本発明の一実施形態による順方向及び逆方向フレーム差分を取ることを示す流れ図である。ステップ４０８及び４１０において順方向／逆方向のフレーム毎の画像（例えば、フレーム４０２、フレーム４０４及びフレーム４０６）を幾何学的に重ね合わせて位置合わせした後、差分画像が計算される。位置合わせされた画像間での単純な引き算を用いる代わりに、本発明の１つ又は複数の実施形態は、ステップ４１２及び４１４において順方向／逆方向フレーム差分を取ることを用いて、モーション・ノイズを減らし、自動利得制御のような照明変動を補償する。

付加的に、ステップ４１６は、Ｉ_ＮＥＷ＝ΔＩ_{ｉ−１，ｉ} ＡＮＤ Δ_{ｉ，ｉ＋１}によって画像の算術演算を行う。ステップ４１８は、ランダムなモーション・ノイズを減らすことができる中央値フィルタリングを含む。移動オブジェクトの移動ピクセルを抽出するために、空間的フィルタリングに基づく自動動的閾値推定がステップ４２０において実行される。さらに、ステップ４２２は、前景画像内の小さい孤立スポットを除去して穴を埋めるために、形態学的操作を行うことを含み、ステップ４２４は、モーション・ピクセル（例えば、モーション・マップ）を生成することを含む。

ランダム・ノイズ及び照明変動の影響をさらに低減するために、順方向／逆方向差分画像に関して論理ＡＮＤ演算が実施され、最終差分画像を得る。

各ピクセルに関する閾値は、差分画像の統計学的特性及び空間的高頻度データの観点から、自動的に統計計算される。さらに、形態学ステップを適用して、前景画像内の小さい孤立スポットを除去し、穴を埋めることができる。

本明細書において説明されるように、本発明の１つ又は複数の実施形態はまた、動きの検証も含む。図５は、本発明の一実施形態による偽ブロブ・フィルタリングを示す流れ図である。ステップ５０２は、モーション・マップを生成することを含む。ステップ５０４は、連結成分プロセスを適用して各々のブロブ・データをリンクすることを含む。ステップ５０６は、モーション・ブロブ・テーブルを作成することを含む。ステップ５０８は、オプティカルフロー推定を行うことを含む。ステップ５１０は、変位判定を行うことを含む。変位がある場合には、プロセスはステップ５１２に進み、ステップ５１２は、後処理、例えば、データの関連付け、オブジェクト追跡、軌道維持及び軌跡データ管理を行うことを含む。変位がない場合には、プロセスはステップ５１４に進み、ステップ５１４は、偽ブロブをフィルタリングすることを含む。

従って、ブロブ・テーブルが作成された後で、ブロブ・テーブルから偽のモーション・ブロブを除去するために、各ブロブ・データが検証される。本発明の１つ又は複数の実施形態は、順方向／逆方向のフレーム毎の重ね合わせを行った後で、ＫＬＴプロセスを適用して各ブロブの動きを推定することを含む。偽ブロブは、ブロブ・テーブルから除去されることになる。このプロセス・ステップは、例えば、連結成分プロセスを適用して各ブロブ・データをリンクすることと、ブロブ・テーブルを作成することと、以前に重ね合わされたフレーム内の各ブロブについて特徴を抽出することと、ＫＬＴ法を適用して各ブロブの動きを推定することとを含むことができ、動きが生じなかった場合には、そのブロブはブロブ・テーブルから削除される。また、上記のステップを全てのブロブに対して繰り返すことができる。

これもまた本明細書において詳述されように、本発明の１つ又は複数の実施形態は、多重オブジェクト追跡を含む。図６は、本発明の一実施形態による多重オブジェクト追跡を示す流れ図である。ステップ６０２は、モーション・マップを生成することを含む。ステップ６０４は、移動ブロブを識別することを含む。ステップ６０６は、オブジェクト初期化を含み、ステップ６０８は、オブジェクト確認を含む。ステップ６１０は、オブジェクト領域を識別することを含む。ステップ６１２は、候補領域を識別することを含む。また、ステップ６１４は、平均値シフト追跡を含み、ステップ６１６は、新たな位置を識別することを含む。

付加的に、ステップ６１０においてオブジェクト領域を識別した後で、ステップ６１８において、特徴を抽出することができる。ひとたびステップ６２０において探索領域が設定されると、ステップ６２２において、移動ブロブを潜在的なオブジェクト候補として見つけ出すことができる。ステップ６２４において、ＫＴＬマッチングが行われ、ステップ６２６において、ＲＡＮＳＡＣを用いたアフィン変換に基づいて、外れ値除去が行われる。ステップ６２８において、新たな領域候補が識別される。その間に、ステップ６１４において平均値シフトが適用され、フレーム間の並進が計算される。これが、ステップ６１６において候補領域位置を与える。ステップ６２８及び６１６から、プロセスはステップ６３０に進むことができ、ステップ６３０は、Ｂｈａｔｔａｃｈａｒｙｙａ係数に基づいて最終領域位置を決定する。また、ステップ６３２は、ドリフト問題を解決するためにターゲット・モデルを更新することを含み、ステップ６３４は、軌道の更新を含む。また、移動オブジェクトを追跡するために、ＫＬＴ及び平均値シフト法の組み合わせに基づくハイブリッド追跡モデルがステップ６１８からステップ６３０に適用される。

上述のように、本明細書において説明される技術は、オブジェクト初期化を含む。順方向／逆方向フレーム差分を取ることにより得られる動き検出結果は、幾つかの正しい実の移動オブジェクト及び幾つかの偽オブジェクトを含むことがあり、また幾つかの真のオブジェクトを見逃していることがある。例えば、低フレームレート（例えば、１フレーム／秒）のＵＡＶ映像に関して、ある移動オブジェクトが２つの連続したフレーム間でいかなる重なり領域も有さないと、オブジェクト初期化のための従来方法は機能しないことになる。現在のフレームについて全ての検出結果の中から有望な移動オブジェクトを効率的に分離するために、本発明の１つ又は複数の実施形態は、距離行列を類似尺度と組み合わせて移動オブジェクトを初期化することを含む。この処理ステップは、例えば、以下を含むことができる。

探索半径が設定され、マッチング・スコア閾値と、追跡履歴の最小長さが設定される。オブジェクト（オブジェクト候補を含む）とテーブル内の全てのブロブとの間の距離行列が計算される。オブジェクト軌道の距離が事前設定値を下回る場合には、カーネル・ベースのアルゴリズムが適用され、事前設定マッチング・スコアに関してオブジェクト候補とブロブとの間のマッチが見いだされる。また、オブジェクト候補が幾つかの連続したフレーム内に出現した場合には、この候補は、初期化されてオブジェクト・テーブル内に格納されることになる。そうでない場合には、このオブジェクト候補は、偽オブジェクトであると見なされることになる。

本発明の１つ又は複数の実施形態は、以前のフレームから、以前のブロブの集合を、幾何学的重ね合わせの後で現在のフレームに射影することを含む。各オブジェクトの以前の位置に従った動きは、ＫＬＴ追跡プロセスにより推定することができる。ＫＬＴ追跡プロセスにおいて、動きのモデルは、Ｉ_ｃｕｒｒ（Ａ・ｘ＋Ｔ）＝Ｉ_ｐｒｅｖ（ｘ）のようなアフィン変換により近似的に表され、式中、Ａは２次元（２Ｄ）変換行列であり、Ｔは並進ベクトルである。

本発明の１つ又は複数の実施形態において、アフィン変換パラメータは、わずか４つの特徴点から計算することができる。これらのパラメータを決定するために、最小二乗法を用いてこれらを計算することができる。

精度推定は、例えば、多数のミスマッチ対が発生した場合に行うことができる。追跡精度の１つの尺度は、アフィン変換式の前後でのマッチした点間の二乗平均誤差（ＲＭＳＥ）である。この尺度は、不正確であると考えられるマッチを排除するための基準として用いられる。

付加的に、外れ値を排除するために、本発明の１つ又は複数の実施形態は、ＲＡＮＳＡＣアルゴリズムを実行して、ＲＭＳＥ値が所望の閾値を下回るまで反復的な方式で逐次的にミスマッチを除去することを含む。

本明細書において詳述される技術は、平均値シフト追跡及びオブジェクト表現を付加的に含む。例として、ＵＡＶ追跡システムの場合、大きな拡大縮小変動及び視野の幾何学的歪みに起因して、従来の強度ベースのターゲット表現はもはや多重オブジェクト追跡には適さないものになっている。オブジェクトを効率的に特徴付けするために、ヒストグラム・ベースの特徴空間を選択することができる。本発明の１つ又は複数の実施形態において、Ｂｈａｔｔａｃｈａｒｙｙａ係数に基づくメトリックを用いて、多重オブジェクト追跡のための基準オブジェクトと候補との間の類似尺度が定義される。基準フレーム内のオブジェクト領域ヒストグラムｑが与えられると、Ｂｈａｔｔａｃｈａｒｙｙａ係数に基づく目的関数は、

で与えられ、式中、Ｍはヒストグラムの次元であり、ｘ_０は２Ｄ中心である。

現在のフレーム内の２Ｄ中心ｘにおける候補領域ヒストグラムｐ_ｕ（ｘ）は、

として定義される。ここで、ｕ＝１，２，．．．，Ｍである。ｋ（ｘ）は、ピクセル位置を重み付けする、非負の、非増加の、区分的に微分可能なカーネル・プロファイルを表し、ｈは、ｋ（ｘ）の２Ｄバンド幅ベクトルであり、δは、クロネッカーのデルタ関数であり、各ピクセル値は、ｂ（ｘ_ｉ）によって表される。

付加的に、本発明の１つ又は複数の実施形態において、分布間の類似尺度の決定において、Ｂｈａｔｔａｃｈａｒｙｙａ距離は、

を含むことができ、式中、

であり、式中、ρ_ｘ及びρ_ｙは、それぞれターゲット分布及び候補分布を表す。

本明細書において説明される技術は、オブジェクトの位置決めを付加的に含むことができる。オブジェクトに対応する位置を１つのフレームから次のフレームへと探索するために、本発明の１つ又は複数の実施形態は、全数探索ではなく勾配上昇最適化に基づく平均値シフト追跡アルゴリズムを適用することを含む。平均値シフト法の強みは、計算の効率性及び実時間用途に適していることを含む。しかしながら例えば、特に被追跡オブジェクトがすばやく動いているときに局所極大を探求することに内在する限界のせいで、ターゲットを見失うことがある。候補領域ヒストグラムｐ_ｕ（ｘ）は、上記の式から得ることができる。

被追跡オブジェクトの新たな位置は、

として推定することができ、式中

であり、ｇ（ｘ）＝−ｋ（ｘ）であり、すなわちｋ（ｘ）の導関数である。

本発明の１つ又は複数の実施形態はまた、時間ドメイン上でのターゲット・モデル更新も含む。幾つかの状況において、ターゲット・モデル更新を行わない平均値シフト手法は、ターゲット・モデルにおける突然の変化による悪影響を受ける可能性がある。その一方で、あらゆるフレームに対してモデル更新を行うと、擾乱を受けた（ｃｌｕｔｔｅｒｅｄ）環境、オクルージョン、ランダム・ノイズなどに起因して、追跡結果の信頼性の低下をもたらす可能性がある。ターゲット・モデルを変更する１つの方法は、ターゲット分布を定期的に更新することである。

正確な追跡結果を得るために、ターゲット・モデルを動的に更新することができる。従って、本発明の１つ又は複数の実施形態は、最近の追跡結果とより古いターゲット・モデルとの両方を用いて、オブジェクト追跡のための現在のモデルに影響を及ぼす、モデル更新を含む。更新手順は、以下のように定式化される。

ここで、ｎｅｗ及びｏｌｄの上付き文字は、それぞれ、新たに得られたターゲット・モデル及び古いモデルを表す。ｓは、最近の追跡結果を表す。αは、最近の追跡結果の寄与に重み付けする（通常は、＜０．１）。ｑ及びｐは、それぞれ、ターゲット・モデル及び候補モデルを表す。

さらに、本発明の１つ又は複数の実施形態は、空間ドメイン上でのターゲット・モデル更新を含む。通常、平均値シフトに基づく追跡は、空間データの利用を欠いているので、被追跡オブジェクトの正確な境界位置を与えることはほとんどない。幸いなことに、ＫＬＴトラッカから導き出される検出結果及び動き検出結果は、平均値シフトトラッカに比べてはるかに正確な、精密な位置及びオブジェクトのサイズなどの情報を与えることができる。

各々の個別のアルゴリズムが、多重オブジェクト追跡において完璧なジョブを行うことは不可能であり得る。従って、それらのデータ間の融合を多重オブジェクト追跡手順において用いることができる。各々の方法の強みに応じて、本発明の１つ又は複数の実施形態は、以下のマージ方法を用いる。

ここで、重なりは、重なり領域の程度を表す。

図７は、本発明の一実施形態による、基準面ベースの重ね合わせ及び追跡を示す図である。例として、図７は、地理基準面（ｇｅｏ−ｒｅｆｅｒｅｎｃｅ ｐｌａｎｅ)７０２を示す。第１のフレーム７０４は、地理基準面７０２に重ね合わされ、第２のフレーム７０６は、第１の重ね合わされたフレーム及び対応するフレーム間変換パラメータＴＣｉ（図７の式７１２）から、地理基準７０２に重ね合わされる。このようにして、フレーム７０８及び７１０が、それぞれ、地理基準７０２に重ね合わされる。さらに、各オブジェクトは、ナビゲーション・データを用いて地理基準７０２へと射影される。

図８は、本発明の一実施形態による自動都市道路抽出を示す流れ図である。ステップ８０２は、画像をフレーム化することを含む。ステップ８０４は、ガウス平滑化操作を行うことを含む。また、ステップ８０６は、ケニー検出器を用いることを含み、ステップ８０８は、ハフ変換を実施することを含む。ステップ８１０は、最大応答ファインディングを決定することを含む。ステップ８１２は、ストライプの長さが事前定義された閾値を上回るか否かを判定することを含む。ストライプの長さが閾値を上回らない場合には、プロセスはステップ８１４において停止する。ストライプの長さが閾値を上回る場合には、プロセスはステップ８１６に続き、ステップ８１６は、直線抽出を行うことを含む。さらに、ステップ８１８は、ストライプ・ピクセル除去を行うことを含む（これは、例えば、ステップ８０８への復帰へと至ることができる）。

同じく図８において示されるように、ステップ８２０は、フレーム差分を取ることを含み、ステップ８２２は、モーション履歴画像（ＭＨＩ）による検証を含む（これは、例えば、ステップ８１６への復帰へと至ることができる）。付加的に、本発明の１つ又は複数の実施形態は、反復ハフ変換による道路ストライプの抽出を含むこともできる。

本明細書において詳述されるように、本発明の１つ又は複数の実施形態は、未較正のカメラからの種々の幾何学的残差を扱うことができる、サブピクセルのマッチング精度を有する再帰的幾何学的重ね合わせを含む。付加的に、本明細書において詳述される技術は、移動オブジェクトを背景から効率的に区別することができる、順方向／逆方向フレーム差分を取ることに基づく動き検出を含む。さらに、経時的な色、特徴及び強度の統計学的特性を用いて多重の小オブジェクトを検出及び追跡する、ハイブリッド・オブジェクト・トラッカを実装することができる。

図９は、本発明の一態様による、オブジェクト検出及び追跡システムのアーキテクチャを示すブロック図である。検出及び追跡システム（例えば、ＵＡＶシステム）のための例示的なソフトウェア・アーキテクチャ構成を多重のサービス上に構築して、オブジェクト探索及びインテリジェント解析のための軌跡データベースを提供することができる。図９において示されるように、本ソフトウェア・アーキテクチャは、多重のセンサ・モジュール９０４、映像ストリーミング・サービス・モジュール９０６及び追跡スート・サービス・モジュール９０８、並びに、軌跡データベース（ＤＢ）サーバ・モジュール９１０、ユーザ・インターフェース・モジュール９０２及び視覚化コンソール９１２を含むことができる。映像ストリーミング・モジュール９０６は、多重センサからイメージをキャプチャして利用できるようにする役割を果たす。取得された画像は、追跡スート・モジュール９０８により、多重オブジェクト検出及び追跡のための基礎として用いられる。追跡スート・モジュール９０８は、幾何学的重ね合わせサブモジュール９１４、モーション抽出サブモジュール９１６、オブジェクト追跡サブモジュール９１８、追跡データ・サブ・モジュール９２０及び地理座標系マッピング・サブモジュール９２２を含む。

多重センサからの実時間画像を処理することにより、データから軌跡情報への精巧な変換が達成される。軌跡ＤＢサーバ９１０は、軌跡メタデータ管理の役割を果たす。視覚化コンソール９１２は、グラフィカル・オーバーレイを作成し、これらをディスプレイ上の画像に索引付けし、ユーザにそれらを提示する。これらのオーバーレイは、例えば、クラス・タイプ、移動方向、軌道及びオブジェクト・サイズなどのような、より高水準のコンポーネントをサポートする、任意のタイプのグラフィカル情報とすることができる。ユーザ・インターフェース９０２は、データへのアクセス及びユーザによる操作を提供する。

図１０は、本発明の一実施形態による、１つ又は複数の移動オブジェクトの視覚的監視を行うための技術を示す流れ図である。ステップ１００２は、１つ又は複数のカメラによりキャプチャされた１つ又は複数の画像を重ね合わせることを含み、ここで、１つ又は複数の画像を重ね合わせることは、２つ又はそれ以上の隣接するフレーム内の１つ又は複数の画像の領域ベースの重ね合わせを含む。このステップは、例えば、追跡スート・サービス・モジュール９０８内の幾何学的重ね合わせサブモジュール９１４を用いて実行することができる。画像を重ね合わせることは、１つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせ（例えば、レンズの幾何学的歪みを扱うための領域ベースの幾何学的変換）を含むことができる。画像の重ね合わせは、サブピクセル画像マッチング技術を用いることを含むこともできる。

ステップ１００４は、１つ又は複数の画像のモーション・セグメント化を行って、１つ又は複数の画像内で１つ又は複数の移動オブジェクト及び１つ又は複数の背景領域を検出することを含む。このステップは、例えば、追跡スート・サービス・モジュール９０８内のモーション抽出サブモジュール９１６を用いて実行することができる。画像のモーション・セグメント化を行うことは、順方向及び逆方向フレーム差分を取ることを含むことができる。順方向及び逆方向フレーム差分は、例えば、時間的フィルタリング及び／又は空間的フィルタリングに基づく自動動的閾値推定、画像の特徴の独立した動きに基づいて偽の移動ピクセルを除去すること、形態学的操作を行うこと、及び、モーション・ピクセルを生成することを含むことができる。

ステップ１００６は、１つ又は複数の移動オブジェクトを追跡して１つ又は複数の移動オブジェクトの視覚的監視を促進することを含む。このステップは、例えば、追跡スート・サービス・モジュール９０８内のオブジェクト追跡サブモジュール９１８を用いて実行することができる。移動オブジェクトを追跡することは、ハイブリッド・ターゲット追跡を行うことを含むことができ、ハイブリッド・ターゲット追跡は、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴トラッカ及び平均値シフトを使用すること、自動カーネル・スケール推定を使用及び更新すること、及び、特徴軌道を使用することを含む。本発明の１つ又は複数の実施形態は、追跡のために色を使用することを含むこともできる。移動オブジェクトを追跡することは、１つ又は複数の（小さい）ターゲットについての特徴マッチング及び距離行列に基づく多重ターゲット追跡アルゴリズムを使用することを付加的に含むことができる。

また、移動オブジェクトを追跡することは、モーション・マップを生成すること、１つ又は複数の移動オブジェクト（ブロブ）を識別すること、オブジェクト初期化及びオブジェクト確認を行うこと、モーション・マップ内のオブジェクト領域を識別すること、特徴を抽出すること、モーション・マップ内に探索領域を設定すること、モーション・マップ内の候補領域を識別すること、平均値シフト追跡すること、候補領域内の移動オブジェクトを識別すること、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴マッチングを行うこと、アフィン変換を行うこと（ＲＡＮＳＡＣを用いて）、Ｂｈａｔｔａｃｈａｒｙｙａ係数によって最終領域決定を行うこと、並びに、ターゲット・モデル及び軌道情報を更新することを含むことができる。移動オブジェクトを追跡することは、基準面ベースの重ね合わせ及び追跡を付加的に含むことができる。

図１０に示された技術はまた、各カメラ・ビューを１つ又は複数の他のカメラ・ビューと関連付けること、及び、１つ又は複数のカメラによりキャプチャされた画像からパノラマ・ビューを形成することをさらに含むことができる。本発明の１つ又は複数の実施形態は、各カメラの動きをパノラマ・ビュー内の静止オブジェクトの映像情報に基づいて推定すること、並びに、パノラマ・ビュー内の１つ又は複数の背景（例えば、道路）の構造を、直線構造の検出と、ある期間にわたる移動オブジェクトの統計的解析とに基づいて推定することを付加的に含む。

さらに、図１０に示された技術は、自動特徴（例えば、道路）抽出を含み、自動特徴抽出は、画像をフレーム化すること、ガウス平滑化操作を行うこと、ケニー検出器を用いて１つ又は複数の特徴（例えば、道路）エッジを抽出すること、特徴（例えば、道路ストライプ）解析のためにハフ変換を実施すること、変換空間における多重ピークの影響を低減するために最大応答ファインディングを決定すること、特徴（例えば、道路ストライプ）の長さが特定の閾値を上回るか否か判定すること、及び、特徴の長さが閾値を上回る場合に特徴抽出及びピクセル除去を行うことを含む。自動特徴抽出は、フレーム差分を取ること、及び、モーション履歴画像による検証を行うことを付加的に含むことができる。

本発明の１つ又は複数の実施形態は、外れ値除去を行って、間違った移動オブジェクト・マッチを除去する（及び重ね合わせ精度を改善する）ことを含む。図１０において示される技術は、偽ブロブ・フィルタリングを付加的に含むことができる。偽ブロブフィルタリングは、モーション・マップを生成すること、連結成分プロセスを適用して各ブロブ・データをリンクすること、モーション・ブロブ・テーブルを作成すること、以前に重ね合わされたフレーム内の各ブロブについて特徴を抽出すること、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法を適用して各ブロブの動きを推定し、あるブロブについて動きが生じなかった場合にそのブロブをブロブ・テーブルから削除することを含む。

付加的に、本発明の１つ又は複数の実施形態は、時間ドメイン及び／又は空間ドメイン上でターゲット・モデルを更新すること、並びに、パノラマ・ビューにおけるオブジェクト外観及びオブジェクト軌跡の索引（例えば、検索可能な索引）を作成することを含むことができる。また、オブジェクト外観及び軌跡のテンプレート索引は、検索を容易にするための対応する映像セグメントを指し示すポインタと共に、テンプレート・データ・ストア内に格納することができる。さらに、本発明の１つ又は複数の実施形態は、クエリと索引内のエントリとの間の類似度メトリックを決定することを含むことができ、これは、類似度メトリックに基づいてテンプレート・データ・ストア／索引内をオブジェクト外観及び軌跡に関して検索すること、及び、クエリの類似度に基づいて人間の操作者に対して検索結果を出力すること／リスト化することを、容易にすることができる。

図１０において示される技術はまた、本明細書において説明されるように、システムを提供することを含むこともでき、このシステムは、別個のソフトウェア・モジュールを含み、別個のソフトウェア・モジュールの各々は、有形のコンピュータ可読記録可能ストレージ媒体上で各々が具体化される。全てのモジュール（又はそのいずれかのサブセット）が同じ媒体上にあってもよく、又は、例えば、各々が異なる媒体上にあってもよい。モジュールは、図面内に示されるコンポーネントのいずれか又は全てを含むことができる。１つ又は複数の実施形態において、モジュールは、例えば１つ又は複数のハードウェア・プロセッサ上で稼働できる、センサ・モジュール、映像ストリーミング・サービス・モジュール、追跡スート・サービス・モジュール（本明細書において詳述されるサブモジュールを含む）、軌跡データベース（ＤＢ）サーバ・モジュール、ユーザ・インターフェース・モジュール及び視覚化コンソール・モジュールを含む。そして次に方法ステップは、１つ又は複数のハードウェア・プロセッサ上で実行される、上述のようなシステムの別個のソフトウェア・モジュールを用いて実行することができる。さらに、コンピュータ・プログラム製品は、別個のソフトウェア・モジュールを有するシステムの提供を含めて、本明細書において説明される１つ又は複数の方法ステップを行うように実行されるよう適合されたコードを有する、有形のコンピュータ可読記録可能ストレージ媒体を含むことができる。

付加的に、図１０において示される技術は、データ処理システム内のコンピュータ可読ストレージ媒体内に格納されたコンピュータ使用可能プログラム・コードを含むことができる、コンピュータ・プログラム製品によって実装することができ、このコンピュータ使用可能プログラム・コードは、遠隔データ処理システムからネットワークを介してダウンロードされたものである。また、本発明の１つ又は複数の実施形態において、コンピュータ・プログラム製品は、サーバ型データ処理システム内のコンピュータ可読ストレージ媒体内に格納されたコンピュータ使用可能プログラム・コードを含むことができ、このコンピュータ使用可能プログラム・コードは、ネットワークを介して遠隔データ処理システムにダウンロードされ、この遠隔システムにより、コンピュータ可読ストレージ媒体内で使用される。

当業者により認識されるように、本発明の態様は、システム、方法、又はコンピュータ・プログラム製品として具体化することができる。従って、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロ・コード等を含む）、又は、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形を取ることができ、これらは全て本明細書において一般的に「回路」、「モジュール」又は「システム」と呼ぶことができる。さらに、本発明の態様は、具体化されたコンピュータ使用可能プログラム・コードを有する１つ又は複数のコンピュータ可読媒体内で具体化された、コンピュータ・プログラム製品の形を取ることができる。

本発明又はその要素の１つ又は複数の実施形態は、メモリと、例示的な方法ステップを行うように動作可能な、メモリに結合された少なくとも１つのプロセッサとを含む装置の形で実装することができる。

１つ又は複数の実施形態は、汎用コンピュータ又はワークステーション上で実行されるソフトウェアを利用することができる。図１１を参照すると、そのような実装は、例えば、プロセッサ１１０２、メモリ１１０４、並びに、例えば、ディスプレイ１１０６及びキーボード１１０８により形成される入力／出力インターフェースを使用することができる。本明細書において用いられる「プロセッサ」という用語は、例えば、ＣＰＵ（中央演算処理ユニット）及び／又は他の形態の処理回路を含む処理デバイスのような、任意の処理デバイスを含むことが意図される。さらに、「プロセッサ」という用語は、１つより多くの個々のプロセッサのことを指すことがある。「メモリ」という用語は、プロセッサ又はＣＰＵに関連付けられたメモリ、例えば、ＲＡＭ（ランダム・アクセス・メモリ）、ＲＯＭ（読み出し専用メモリ）、固定メモリ・デバイス（例えば、ハード・ドライブ）、取り外し可能メモリ・デバイス（例えば、ディスケット）、フラッシュ・メモリなどを含むことが意図される。さらに、本明細書において用いられる「入力／出力インターフェース」という語句は、例えば、処理ユニットにデータを入力するための１つ又は複数の機構（例えば、マウス）、並びに、処理ユニットに関連付けられた結果を提供するための１つ又は複数の機構（例えば、プリンタ）を含むことが意図される。プロセッサ１１０２、メモリ１１０４、並びに、ディスプレイ１１０６及びキーボード１１０８のような入力／出力インターフェースは、例えば、データ処理ユニット１１１２の一部としてバス１１１０を介して相互接続することができる。例えばバス１１１０を介した適切な相互接続を、コンピュータ・ネットワークとインターフェースするために設けることができるネットワーク・カードのようなネットワーク・インターフェース１１１４に対して設けることもでき、媒体１１１８とインターフェースするために設けることができるディスケット又はＣＤ−ＲＯＭドライブのような媒体インターフェース１１１６に対しても設けることもできる。

従って、本明細書において説明されるような本発明の方法を行うための命令又はコードを含むコンピュータ・ソフトウェアは、１つ又は複数の関連付けられたメモリ・デバイス（例えば、ＲＯＭ、固定又は取り外し可能メモリ）内に格納することができ、そして、使用の準備ができたときに、その一部又は全体が（例えば、ＲＡＭ内に）ロードされ、ＣＰＵによって実施することができる。このようなソフトウェアは、ファームウェア、常駐ソフトウェア、マイクロ・コードなどを含むことができるが、これらに限定されない。

プログラム・コードを格納し、及び／又は実行するのに適したデータ処理システムは、システム・バス１１１０を通じてメモリ要素１１０４に直接的又は間接的に結合される少なくとも１つのプロセッサ１１０２を含む。メモリ要素は、プログラム・コードの実際の実施中に使用されるローカル・メモリ、大容量記憶装置、及び、実施中に大容量記憶デバイスからコードを取り出さなければならない回数を減らすために少なくともプログラム・コードの一部の一時的な記憶域を提供するキャッシュ・メモリを含むことができる。

入力／出力すなわちＩ／Ｏデバイス（キーボード１１０８、ディスプレイ１１０６、ポインティング・デバイスなどを含むがこれらに限定されない）は、直接的に（例えばバス１１１０を介して）又は介在するＩ／Ｏコントローラ（分かりやすくするため省いた）を通じて、システムに結合することができる。

ネットワーク・インターフェース１１１４のようなネットワーク・アダプタをシステムに結合して、データ処理システムが、介在する私設ネットワークまたは公衆ネットワークを通じて他のデータ処理システム又は遠隔のプリンタ若しくは記憶デバイスに結合することを可能にすることもできる。モデム、ケーブル・モデム及びイーサネット・カードは、現在利用可能なネットワーク・アダプタ型式のうちのごく一部である。

特許請求の範囲を含めて本明細書において使用される「サーバ」は、サーバ・プログラムを実行する物理的データ処理システムを含む（例えば、図１１に示されるシステム１１１２）。そのような物理サーバは、ディスプレイ及びキーボードを含んでいてもよく、含まなくてもよいことが理解されるであろう。

上記のように、本発明の態様は、具体化コンピュータ可読プログラム・コードを有する１つ又は複数のコンピュータ可読媒体に具体化されたコンピュータ・プログラム製品の形を取ることができる。１つ又は複数のコンピュータ可読媒体のいずれの組み合わせも利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体とすることができる。コンピュータ可読ストレージ媒体は、例えば、電子的、磁気的、光学的、電磁気的、赤外線若しくは半導体のシステム、装置若しくはデバイス、又はこれらのいずれかの適切な組み合わせとすることができるが、これらに限定されるものではない。媒体ブロック１１１８は、非限定的な例である。コンピュータ可読ストレージ媒体のより具体的な例（非網羅的なリスト）として、以下のもの、即ち、１つ又は複数の配線を有する電気的接続、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク型読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又はこれらのいずれかの適切な組み合わせが挙げられる。本明細書の文脈においては、コンピュータ可読ストレージ媒体は、命令実行システム、装置若しくはデバイスによって又はそれらと関連して用いるためのプログラムを収容又は格納することが可能な、任意の有形媒体とすることができる。

コンピュータ可読信号媒体は、コンピュータ可読プログラム・コードが、例えばベースバンド内に、又は搬送波の一部として具体化された、伝搬データ信号を含むことができる。このような伝搬信号は、電磁気、光又はこれらのいずれかの適切な組み合わせを含むがそれらに限定されない、種々の異なる形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、かつ、命令実行システム、装置若しくはデバイスによって又はこれらと関連して用いるためのプログラムを通信し、伝搬し又は搬送することができる、任意のコンピュータ可読媒体とすることができる。

コンピュータ可読媒体上に具体化されたプログラム・コードは、無線、有線、光ファイバ・ケーブル、無線周波数（ＲＦ）など、又はこれらのいずれかの適切な組み合わせを含むがこれらに限定されない、任意の適切な媒体を用いて、伝送することができる。

本発明の態様のための動作を実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向型プログラミング言語、及び「Ｃ］プログラミング言語又は同様のプログラミング言語のような従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語のいずれかの組み合わせで記述することができる。プログラム・コードは、完全にユーザのコンピュータ上で実行されるか、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行されるか、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行されるか、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合がある。最後のシナリオにおいては、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）若しくは広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続されるか、又は、（例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて）外部コンピュータへの接続がなされる場合がある。

本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラム製品の流れ図及び／又はブロック図を参照して上記で説明される。流れ図及び／又はブロック図の各ブロック、及び、流れ図及び／又はブロック図におけるブロックの組み合わせは、コンピュータ・プログラム命令によって実装できることが理解されるであろう。これらのコンピュータ・プログラム命令を汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを生成し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、流れ図及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するための手段を生成するようにしてもよい。

また、これらのコンピュータ命令を、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイスを特定の様式で機能するように指令することができるコンピュータ可読媒体に格納し、それにより、そのコンピュータ可読媒体に格納された命令が、流れ図及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装する命令を含む製品を作るようにしてもよい。

また、コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイスにロードして、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイス上で一連の動作ステップを行わせて、コンピュータ実装プロセスを生成し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、流れ図及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実行するためのプロセスを提供するようにしてもよい。

図面内の流れ図及びブロック図は、本発明の種々の実施形態によるシステム、方法、及びコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、及び動作を示す。この点に関して、流れ図又はブロック図の中の各ブロックは、指定された１つ又は複数の論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装においては、ブロックに記載された機能が図に示された順序通りに行われない場合があることにも留意すべきである。例えば、逐次的に示された２つのブロックは、関与する機能に応じて、実際には、実質的に同時に実行されることもあり、ときにはブロックが逆順に実行されることもある。ブロック図及び／又は流れ図の各ブロック、及び、ブロック図及び／又は流れ図におけるブロックの組み合わせは、指定された機能又は動作を行う専用ハードウェアに基づくシステムによって、又は専用ハードウェアとコンピュータ命令との組み合わせによって、実装できることにも留意されたい。

本明細書で説明されるいずれの方法も、コンピュータ可読ストレージ媒体上で具体化される別個のソフトウェア・モジュールを含むシステムを提供する付加的なステップを含むことができ、このモジュールは、例えば、図９に示されるコンポーネントのいずれか又は全てを含むことができることに留意されたい。そして次に、この方法ステップは、１つ又は複数のハードウェア・プロセッサ１１０２上で実行されるシステムの別個のソフトウェア・モジュール及び/又はサブモジュールを用いて、上述のように実行することができる。さらに、コンピュータ・プログラム製品は、別個のソフトウェア・モジュールを有するシステムの提供を含めて、本明細書において説明される１つ又は複数の方法ステップを実行するように実装されるよう適合されたコードを有する、コンピュータ可読ストレージ媒体を含むことができる。

いずれにしても、本明細書で示されるコンポーネントは、例えば、特定用途向け集積回路（ＡＳＩＣＳ）、機能回路、関連付けられたメモリを有する適宜プログラムされた１つ又は複数の汎用デジタルコンピュータなどの、ハードウェア、ソフトウェア、又はそれらの組合せの種々の形態で実装することができることを理解されたい。本明細書で提供される本発明の教示が与えられれば、関連分野の当業者は、本発明のコンポーネントのその他の実装を企図することが可能であろう。

本明細書で用いられる用語は、特定の実施形態を説明するためのものであり、本発明を限定することを意図するものではない。本明細書で用いられる場合、単数形の不定冠詞（「ａ」、「ａｎ」）及び定冠詞（「ｔｈｅ」）は、文脈から明らかにそうではないことが示されていない限り、複数形も含むことが意図される。「含む」及び／又は「含んだ」という用語は、本明細書において用いられる場合、言及した特徴、整数、ステップ、動作、要素、及び／又はコンポーネントの存在を指定するが、１つ又は複数のその他の特徴、整数、ステップ、動作、要素、コンポーネント、及び／又はそれらの群の存在又は追加を排除するものではないこともさらに理解されるであろう。

以下の特許請求の範囲における全ての「手段又はステップと機能との組合せ（ミーンズ又はステップ・プラス・ファンクション）」要素の対応する構造、材料、動作及び均等のものは、明確に特許請求されている他の特許請求された要素と組み合わせてその機能を実行するための、いかなる構造、材料又は動作をも含むことが意図される。本発明の説明は、例証及び説明の目的で提示されたものであるが、網羅的であることを意図するものでもなく、開示された形態の発明に限定することを意図するものでもない。本発明の範囲及び思想から逸脱することのない多くの修正及び変形が当業者には明らかであろう。実施形態は、本発明の原理及び実際の適用を最も良く説明するように、及び、当業者が、企図される特定の使用に適するように種々の修正を伴う種々の実施形態について本発明を理解することを可能にするように、選択され、説明された。

本発明の少なくとも１つの実施形態は、例えば、時間及び/又は空間ドメインに基づく自動動的閾値決定のような、１つ又は複数の有益な効果を手供することができる。

上述の本発明の例示的な実施形態は、多数の異なる方式で実装することができることを認識し、理解すべきである。本明細書で提供される本発明の教示が与えられれば、関連分野の当業者は、本発明のその他の実装を企図することが可能であろう。実際、本発明の例証的な実施形態を添付の図面を参照して本明細書において説明してきたが、本発明は、それら実施形態そのものに限定されるものではなく、当業者によればその他の種々の変更及び修正を行うことができることを理解されたい。

３０２：前のフレーム
３０４：基準フレーム
３０６：次のフレーム
７０２：地理基準面
７０４、７０６、７０８、７１０：フレーム
１１１０：システム・バス
１１１２：データ処理ユニット

Claims (24)

1. １つ又は複数の移動オブジェクトの視覚的監視を行うための方法であって、
   １つ又は複数のカメラによりキャプチャされた１つ又は複数の画像を重ね合わせるステップであって、前記１つ又は複数の画像を重ね合わせるステップが、複数の隣接するフレームにおいて前記１つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせるステップを含み、前記幾何学的重ね合わせが、画像内の特徴点の集合を見つけ出し、当該特徴点の集合を用いて、ブロックマッチング・プロセスを実行し、当該ブロックマッチング・プロセスは、基準フレーム内の各特徴点について、選択されたフレーム内の全ての特徴点が検査され、その中で最も類似した特徴点を選択することによって行われる、前記重ね合わせるステップと、
   前記１つ又は複数の画像のモーション・セグメント化を行って、前記１つ又は複数の画像内の１つ又は複数の移動オブジェクト及び１つ又は複数の背景領域を検出するステップと、
   距離行列を類似尺度と組み合わせて移動オブジェクトを初期化するステップと、
   前記初期化された移動オブジェクトの視覚的監視を容易にするように、前記初期化された移動オブジェクトを追跡するステップであって、第１のフレームを地理基準面に重ね合わせること、そして第２のフレームを、前記地理的基準面に重ね合わされた前記第１のフレーム及び前記第１のフレームと前記第２のフレーム間の変換パラメータを使用して、前記地理的基準面に重ね合わせることを含む、前記追跡するステップと
   を含む、前記方法。
2. 前記１つ又は複数の画像を重ね合わせるステップが、１つ又は複数のサブピクセル画像マッチング技術を用いるステップを含む、請求項１に記載の方法。
3. 前記１つ又は複数の画像のモーション・セグメント化を行うステップが、順方向及び逆方向フレーム差分を取るステップを含む、請求項１に記載の方法。
4. 前記順方向及び逆方向フレーム差分が、
   時間的フィルタリング及び空間的フィルタリングのうちの少なくとも一方に基づく自動動的閾値推定をすること、又は、
   １つ又は複数の画像特徴の独立した動きに基づいて１つ又は複数の偽の移動ピクセルを除去すること
   を含む、請求項３に記載の方法。
5. 前記順方向及び逆方向フレーム差分が、形態学的操作をおこなうことと、１つ又は複数のモーション・ピクセルを生成することとを含む、請求項３又は４に記載の方法。
6. 前記１つ又は複数の移動オブジェクトを追跡するステップが、ハイブリッド・ターゲット追跡を行うステップを含み、
   前記ハイブリッド・ターゲット追跡を追跡するステップは、
   Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴トラッカ及び平均値シフトを用いるステップと、
   自動カーネル・スケール推定及び更新を用いるステップと、
   １つ又は複数の特徴軌道を用いるステップと
   を含む、請求項１〜５のいずれか一項に記載の方法。
7. 前記１つ又は複数の移動オブジェクトを追跡するステップが、
   １つ又は複数のターゲットについての特徴マッチング及び距離行列に基づく１つ又は複数の多重ターゲット追跡アルゴリズムを用いるステップ
   を含む、請求項１〜６のいずれか一項に記載の方法。
8. 前記１つ又は複数の移動オブジェクトを追跡するステップが、
   モーション・マップを生成するステップと、
   １つ又は複数の移動オブジェクトを識別するステップと、
   オブジェクト初期化及びオブジェクト確認を行うステップと、
   前記モーション・マップ内の１つ又は複数のオブジェクト領域を識別するステップと、
   １つ又は複数の特徴を抽出するステップと、
   前記モーション・マップ内に探索領域を設定するステップと、
   前記モーション・マップ内の１つ又は複数の候補領域を識別するステップと、
   平均値シフト追跡するステップと、
   前記１つ又は複数の候補領域内の１つ又は複数の移動オブジェクトを識別するステップと、
   Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴マッチングを行うステップと、
   アフィン変換を行うステップと、
   Ｂｈａｔｔａｃｈａｒｙｙａ係数によって最終領域決定を行うステップと、
   ターゲット・モデル及び軌道の情報を更新するステップと
   を含む、請求項１〜７のいずれか一項に記載の方法。
9. 前記１つ又は複数の移動オブジェクトを追跡するステップが、基準面ベースの重ね合わせ及び追跡を含む、請求項１〜８のいずれか一項に記載の方法。
10. 各カメラ・ビューを１つ又は複数の他のカメラ・ビューと関連付けるステップをさらに含む、請求項１〜９のいずれか一項に記載の方法。
11. １つ又は複数のカメラによりキャプチャされた前記１つ又は複数の画像からパノラマ・ビューを形成するステップをさらに含む、請求項１〜１０のいずれか一項に記載の方法。
12. 各カメラの動きを、前記パノラマ・ビュー内の１つ又は複数の静止オブジェクトの映像情報に基づいて推定するステップをさらに含む、請求項１１に記載の方法。
13. 前記パノラマ・ビュー内の１つ又は複数の背景構造を、直線構造の検出と、ある期間にわたる前記１つ又は複数の移動オブジェクトの統計的解析とに基づいて推定するステップをさらに含む、請求項１１又は１２に記載の方法。
14. 自動特徴抽出をさらに含み、前記自動特徴抽出は、
    画像をフレーム化するステップと、
    ガウス平滑化操作を行うステップと、
    ケニー検出器を用いて１つ又は複数の特徴エッジを抽出するステップと、
    特徴解析のためのハフ変換を実施するステップと、
    変換空間における多重ピークの影響を低減するために最大応答ファインディングを決定することと、
    特徴の長さが特定の閾値を上回るか否か判定し、前記特徴の前記長さが前記閾値を上回る場合に特徴抽出及びピクセル除去を行うことと
    を含む、請求項１に記載の方法。
15. 前記自動特徴抽出が、フレーム差分を取ることと、モーション履歴画像による検証とを行うこととをさらに含む、請求項１４に記載の方法。
16. 外れ値除去を行って、１つ又は複数の間違った移動オブジェクト・マッチを除去するステップをさらに含む、請求項１〜１５のいずれか一項に記載の方法。
17. 偽ブロブ・フィルタリングをさらに含み、前記偽ブロブ・フィルタリングは、
    モーション・マップを生成するステップと、
    連結成分プロセスを適用して各ブロブ・データをリンクするステップと、
    モーション・ブロブ・テーブルを作成するステップと、
    以前に重ね合わされたフレーム内の各ブロブについて１つ又は複数の特徴を抽出するステップと、
    Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法を適用して各ブロブの動きを推定し、あるブロブについて動きが生じなかった場合に該ブロブを前記ブロブ・テーブルから削除するステップと
    を含む、請求項１〜１６のいずれか一項に記載の方法。
18. 時間ドメインと空間ドメインのうちの少なくとも一方の上でターゲット・モデルを更新するステップをさらに含む、請求項１〜１７のいずれか一項に記載の方法。
19. パノラマ・ビューにおけるオブジェクト外観及びオブジェクト軌跡の索引を作成するステップをさらに含む、請求項１〜１８のいずれかに記載の方法。
20. クエリと前記索引内のエントリとの間の類似度メトリックを決定することをさらに含む、請求項１９に記載の方法。
21. 前記初期化するステップが、
    オブジェクト候補を含むオブジェクトとモーション・ブロブ・テーブル内の全てのブロブとの間の距離行列を計算するステップと、
    オブジェクト軌道の距離が事前設定値を下回る場合には、カーネル・ベースのアルゴリズムを適用するステップであって、事前設定マッチング・スコアに関してオブジェクト候補とブロブとの間のマッチが見いだされる、前記適用するステップと、
    オブジェクト候補が幾つかの連続したフレーム内に出現した場合には、当該オブジェクト候補を初期化しオブジェクト・テーブル内に格納するステップと、
    オブジェクト候補が幾つかの連続したフレーム内に出現しない場合には、当該オブジェクト候補を偽オブジェクトであると見なすステップと
    を含む、請求項１〜２０のいずれか一項に記載の方法。
22. システムを提供するステップをさらに含み、
    前記システムは、１つ又は複数の別個のソフトウェア・モジュールを備えており、前記１つ又は複数の別個のソフトウェア・モジュールの各々は、有形のコンピュータ可読記録可能ストレージ媒体上で具体化され、前記１つ又は複数の別個のソフトウェア・モジュールは、ハードウェア・プロセッサ上で実行される、幾何学的重ね合わせモジュール、モーション抽出モジュール、及びオブジェクト追跡モジュールを含む、請求項１〜２１のいずれか一項に記載の方法。
23. １つ又は複数の移動オブジェクトの視覚的監視を行うためのシステムであって、
    メモリと、
    前記メモリに結合された少なくとも１つのプロセッサと
    を備えており、前記プロセッサは、請求項１〜２２のいずれか一項に記載の方法の各ステップを実行する、前記システム。
24. コンピュータ・システムに、請求項１〜２２のいずれか一項に記載の方法を実行させる、コンピュータ・プログラム。

Images