JP6180482B2 - マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム（マルチキュー・オブジェクトの検出および分析） - Google Patents

Description

本発明の実施形態は、オブジェクト・イメージを含むシーンのビデオ・イメージ・データの分析を介した、自動化されたオブジェクトの検出および差異化に関する。

背景除去（background subtraction）（ＢＧＳ）法を使用して、動き推測アルゴリズム（motion inference algorithm）の結果として生じる分析の関数として決定されたイメージ背景と前景オブジェクトとを区別する、自動化システムが知られている。いくつかの例において、ＢＧＳモデルに関して取得された前景マスクを検出するために、適応的背景モデリングが使用される。ＢＧＳシステムは、イメージ・シーンの背景モデル内の他のオブジェクトまたはシーン・イメージ・データとは異なる移動する前景オブジェクトとして非静止オブジェクトを検出するために、ガウス・モデルの適応的混合物を使用することもできる。

従来技術のＢＧＳシステムにおける、静止オブジェクトと非静止オブジェクトとの正確な区別には問題がある。所与の期間動かずにいる非静止オブジェクトは、誤って静止オブジェクトとして扱われ、背景シーン・モデルに学習される可能性がある。これまで静止していたオブジェクトが動き始めた場合、回復問題が生じる可能性があり、オブジェクトは、実際には移動してイメージ・シーンの外に出た後に、前景内に「ゴースト」として残る。分析されたビデオ・イメージ内のノイズの多い光と影のデータは、オブジェクトの検出および追跡においてさらに他の問題を提示する可能性があり、照明条件の急な変化によって、現行のフレーム・イメージ・データが突然変化し、それによって誤った移動オブジェクト検出イベントが発生する可能性がある。

米国特許公開第２０１００３２２５１６号は、物理的空間における群衆の輻輳分析のための自動化方法およびシステムを開示する。ビデオ・イメージは、空間内の当該の領域を画定するため、および当該の領域を、それぞれに輻輳誘因（congestion contributor）が割り当てられる不規則なサブ領域のアレイに区分するために使用される。次に、各サブ領域内の動的または静的な輻輳度を特徴付けるために、第１および第２の時空間の視覚的特徴が決定され、メトリクスが計算される。メトリクスおよび輻輳誘因は、当該領域内の輻輳の全体測度の指示を生成するために使用される。

米国特許公開第２０１１０１７０７４４号は、ビデオ・データ内の自動車などのオブジェクトを検出および追跡するためのシステムおよび方法を開示する。システムおよび方法は、たとえば、キャプチャされたビデオ・データ内での背景データの検出および識別に依拠することなく、オブジェクトをカウントし、オブジェクト速度を決定し、オブジェクトの経路を追跡するために、ビデオ・データを分析する。検出システムは、時空間マップを生成するために１本または複数の走査線を使用する。時空間マップとは、走査線に対応するピクセル・データの履歴を表す、ビデオ・データのスライスの時間進行である。検出システムは、時空間マップ内の線の交差に基づいて、ビデオ・データ内のオブジェクトを検出する。検出システムはオブジェクトを検出すると、カウントの目的でこの検出を記録すること、ビデオ・データに関連するオブジェクトの指示を表示すること、オブジェクトの速度を決定することなどが可能である。

米国特許公開第２０１１０２９３１４１号は、低い固定カメラから道路を撮影したビデオで車両を検出および追跡するために使用される、交通監視システムに関する。発明者等は、交通密度またはイメージをキャプチャする低い固定カメラのアングルによって、たとえかなり閉塞されたシーンであっても、イメージ内の各個別車両についてフロントガラスの少なくとも１つの水平縁部は閉塞される可能性が最も少ないことを発見した。したがって、フロントガラスの直接検出を単独で使用して単一イメージ内の車両を検出できることが、本発明の利点である。イメージ内の異なるポイントを基準にして、複数のモデルがイメージ上に投影される。フロントガラスの一部を形成する各ポイントの確率が、イメージ内の水平縁部とそのポイントを基準にしたフロントガラス・モデルの水平縁部との相関に基づいて決定される。隣接するポイントのこの確率を使用して、イメージ内の車両を検出することができる。本発明の態様は、方法、ソフトウェア、および交通監視システムを含む。

米国特許公開第２０１００３２２５１６号 米国特許公開第２０１１０１７０７４４号 米国特許公開第２０１１０２９３１４１号

本発明の目的は、前景オブジェクトと背景モデルとを区別するための方法、システム、および、プログラムを提供することである。

本発明の第１の実施形態によれば、前景オブジェクトと背景モデルとを区別するための方法が提供される。方法は、ビデオ・データ・イメージの領域を複数の個別セルのグリッド・アレイに分割すること、それぞれのセルについて、フレーム・イメージ・データを獲得すること、それぞれのセル内の複数の異なる色のそれぞれについて色濃度を決定すること、前記色濃度のうちの他の１つよりも色濃度差分しきい値以上に濃い前記色濃度のうちの１つを有するセルを前景としてラベル付けすること、前景オブジェクトを画定するために前景としてラベル付けされたセルから前記フレーム・イメージ・データを使用することを含む。

本発明の第２の実施形態によれば、前景オブジェクトと背景モデルとを区別するための方法が提供される。方法は、ビデオ・データ・イメージの領域を複数の個別セルのグリッド・アレイに分割すること、それぞれのセルについて、フレーム・イメージ・データを獲得すること、それぞれのセルについて、当該セル内の縁部エネルギーを検出および累積し、累積された縁部エネルギーが縁部エネルギーしきい値を満たす場合に前景を示すか、または、前記累積された縁部エネルギーが前記縁部エネルギーしきい値を満たさない場合に背景を示す、縁部エネルギー前景指示出力を生成すること、前記縁部エネルギー前景指示出力の関数として、セルを前景または背景としてラベル付けすること、前景オブジェクトを画定するために前景としてラベル付けされた前記セルから前記フレーム・イメージ・データを使用することを含む。

本発明の第３の実施形態によれば、前景オブジェクトと背景モデルとを区別するための方法が提供される。方法は、ビデオ・データ・イメージの領域を複数の個別セルのグリッド・アレイに分割すること、それぞれのセルについて、フレーム・イメージ・データを獲得すること、それぞれのセルについて、当該セル内の縁部エネルギーを検出および累積すること、それぞれのセルついて、前記累積された縁部エネルギーが縁部エネルギーしきい値を満たす場合に当該セルを前景としてラベル付けすること、前景オブジェクトを画定するために前景としてラベル付けされた前記セルから前記フレーム・イメージ・データを使用することを含む。

本発明の第４の実施形態によれば、前景オブジェクトを背景モデルから区別するための方法が提供される。方法は、ビデオ・データ・イメージの領域を複数の個別セルのグリッド・アレイに分割すること、それぞれのセルについて、フレーム・イメージ・データを獲得すること、当該セルについて決定された複数の色濃度を有するセルであって、当該複数の色濃度が互いに色濃度差分しきい値を超えないセルのそれぞれについて、背景を示す第１の指示を決定することと、当該セルについて決定された複数の色濃度の１つを有するセルであって、当該複数の色濃度の１つが前記決定された色濃度の他の１つよりも色濃度差分しきい値以上大きいセルのそれぞれについて、前景を示す第２の指示を決定することと、縁部累積エネルギーしきい値よりも小さい、セル内で検出された縁部の累積されたエネルギーを有するセルのそれぞれについて、背景を示す第３の指示を決定することと、前記縁部エネルギーしきい値を満たすか、または、超える、セル内において検出された縁部の累積されたエネルギーを有するセルのそれぞれについて、前景を示す第４の指示を決定することと、前記セルに対する前記指示に組み合わせ規則を適用することに応じて、前景または背景としてラベル付けすること、前景オブジェクトを画定するために前景としてラベル付けされたセルから前記フレーム・イメージ・データを使用することを含む。

本発明の第５の実施形態によれば、上記記載のいずれかの方法に含まれる各ステップを処理ユニットに実行させるプログラムが提供される。

本発明の第６の実施形態によれば、上記記載のいずれかの方法に含まれる各ステップを実行する手段を備えるシステムが提供される。

本発明の説明は、例示および説明のために提示されたものであり、開示された形の本発明を網羅するかまたはそれに限定されることは意図されていない。当業者であれば、本発明の範囲および趣旨を逸脱することなく多くの修正および変形が明らかとなろう。

次に、本発明の好ましい実施形態を、以下の図面を参照しながら単なる例として説明する。

図２のシーンから学習した背景モデルを示すグラフィック図である。 図１と共通するシーンの写真レンダリングを示す図である。 図４のシーンから学習した前景モデルを示すグラフィック図である。 図３と共通するシーンの写真レンダリングを示す図である。 図６に写真で示されたビデオ・データ・フレームから学習した前景モデルを示すグラフィック図である。 （国際特許出願に、該当する項目はありません。） 当該の前景オブジェクトと背景モデルとを区別して分析するための、本発明の実施形態に従った方法、プロセス、またはシステムを示すブロック図である。 本発明の実施形態に従い、当該の前景オブジェクトと背景モデルとを区別して分析するために使用される、セルのグリッドまたはアレイに分割された当該の領域を示す、ビデオ・イメージ・データを示すグラフィック図である。 図１０に写真で示されたイメージ・データから決定された濃い縁部の例を示すグラフィック図である。 （国際特許出願に、該当する項目はありません。） 本発明の実施形態に従った、図８の当該セルの領域を示すグラフィック図であり、正としてラベル付けされたセルは白一色の四角で示され、負としてラベル付けされたセルは黒で示されている。 当該の前景オブジェクトと背景モデルとを区別して分析するための、本発明に従った方法、プロセス、またはシステムの他の実施形態を示すブロック図である。 本発明の実施形態のコンピュータ化された実装を示すブロック図である。

図面は必ずしもスケーリングされるものではない。図面は単なる概略図であり、本発明の特定のパラメータを描くことは意図されていない。図面は、本発明の典型的な実施形態のみを示すことが意図されているため、本発明の範囲を限定するものとみなされるべきではない。図面内で同じ番号は同じ要素を表す。

当業者であれば理解されるように、本発明の態様は、システム、方法、製品、コンピュータ・プログラム、またはコンピュータ・プログラム製品として具体化可能である。したがって、本発明の態様は、完全にハードウェア実施形態、完全にソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、あるいは、本明細書ではすべて全体として「回路」、「モジュール」、または「システム」と呼ばれることのあるソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形を取ることができる。さらに本発明の態様は、具体化されたコンピュータ読み取り可能プログラム・コードを有する１つまたは複数のコンピュータ読み取り可能媒体内に具体化された、コンピュータ・プログラム製品の形を取ることができる。

１つまたは複数のコンピュータ読み取り可能媒体の任意の組み合わせが使用可能である。コンピュータ読み取り可能媒体は、コンピュータ読み取り可能信号媒体またはコンピュータ読み取り可能記憶媒体とすることが可能である。コンピュータ読み取り可能記憶媒体は、たとえば電子、磁気、光、電磁、赤外線、または半導体のシステム、装置、またはデバイス、あるいはそれらの任意の好適な組み合わせとすることができるが、それらに限定されるものではない。コンピュータ読み取り可能記憶媒体のより特定な例（非網羅的リスト）は、１本または複数のワイヤを有する電気接続、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、またはこれらの任意の好適な組み合わせを含むものである。本願のコンテキストでは、コンピュータ読み取り可能記憶媒体は、命令実行システム、装置、またはデバイスによって、あるいはそれらに関連して使用するためのプログラムを含むかまたは記憶することが可能な、任意の有形媒体とすることができる。

コンピュータ読み取り可能信号媒体は、たとえばベースバンド内にまたは搬送波の一部として、内部にコンピュータ読み取り可能プログラム・コードが具体化された伝搬データ信号を含むことができる。こうした伝搬信号は、電磁、光、またはそれらの任意の好適な組み合わせを含むがそれらに限定されない、様々な形のうちのいずれかを取ることができる。コンピュータ読み取り可能信号媒体は、コンピュータ読み取り可能記憶媒体でなく、命令実行システム、装置、またはデバイスによって、あるいはそれらに関連して使用するためのプログラムを伝達、伝搬、または移送することが可能な、任意のコンピュータ読み取り可能媒体とすることができる。

コンピュータ読み取り可能媒体上に具体化されたプログラム・コードは、ワイヤレス、ワイヤライン、光ファイバ・ケーブル、ＲＦなど、またはそれらの任意の好適な組み合わせを含むがそれらに限定されない、任意の適切な媒体を使用して伝送可能である。

本発明の態様に関する動作を実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ（ＴＭ）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで作成可能である。（ＪａｖａおよびすべてのＪａｖａベースの商標およびロゴは、Ｏｒａｃｌｅまたはその関連会社あるいはその両方の商標または登録商標である。）プログラム・コードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロン型ソフトウェア・パッケージとして、部分的にユーザのコンピュータ上および部分的にリモート・コンピュータ上で、あるいは完全にリモート・コンピュータまたはサーバ上で、実行可能である。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介して、ユーザのコンピュータに接続可能であるか、あるいは（たとえばインターネット・サービス・プロバイダを使用するインターネットを介して）外部コンピュータへの接続が可能である。

本発明の実施形態は、本発明の実施形態に従った方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャートまたはブロック図あるいはその両方を参照しながら、以下で説明される。フローチャートまたはブロック図あるいはその両方の各ブロック、および、フローチャートまたはブロック図あるいはその両方におけるブロックの組み合わせは、コンピュータ・プログラム命令によって実装可能であることを理解されよう。これらのコンピュータ・プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行する命令が、フローチャートまたはブロック図あるいはその両方のブロック内に指定された機能／動作を実装するための手段を作成するように、汎用コンピュータ、特定用途向けコンピュータ、またはマシンを作製するための他のプログラム可能データ処理装置のプロセッサに提供可能である。

コンピュータ、他のプログラム可能データ処理装置、または他のデバイスに、特定の様式で機能するように命じることが可能な、これらのコンピュータ・プログラム命令は、コンピュータ読み取り可能媒体内に記憶された命令がフローチャートまたはブロック図あるいはその両方のブロック内に指定された機能／動作を実装する命令を含む製品を生成するように、コンピュータ読み取り可能媒体内に記憶することも可能である。

コンピュータ・プログラム命令は、コンピュータまたは他のプログラム可能装置上で実行する命令が、フローチャートまたはブロック図あるいはその両方のブロック内に指定された機能／動作を実装するためのプロセスを提供するように、コンピュータ、他のプログラム可能データ処理装置、または他のデバイス上で実行されることになる一連の動作ステップに、コンピュータ実装プロセスを生成させるために、コンピュータ、他のプログラム可能データ処理装置、または他のデバイス上にロードすることも可能である。

道路のビデオ・イメージ・データを分析する車両オブジェクト検出および差異化のための自動化システムの性能は、交通渋滞によって低下する可能性がある。いくつかの従来技術の自動化システムは、動き推測アルゴリズムからの分析結果を利用する簡単な手法で背景除去（ＢＧＳ）法を使用することができる。ＢＧＳモデルに関して取得された前景マスクをカウントすることによって、混雑を検出する際の混雑分析に有用であることがわかっている適応的背景モデリングは、車両オブジェクト輻輳を体験する交通アプリケーションでも有用な可能性がある。

ガウス・モデルの適応的混合物を使用するＢＧＳシステムは、イメージ・シーンの背景モデル内で静的イメージ・データを表す他のオブジェクトまたはシーン・イメージ・データとは異なる移動する前景オブジェクトとして車両を検出する際にも、優れた性能を明示している。しかしながら、交通渋滞条件（たとえばラッシュ・アワーの交通量によって引き起こされるイメージ内の道路上の大量の車両）において、車両は、システムが通常、道路を往来する普通であれば移動する車両オブジェクトを予測するよりは相対的に長い間停止し、動かずにいる可能性がある。こうした場合、適応的ＢＧＳシステムは、静止車両オブジェクトを徐々に背景シーン・モデル内へと学習するため、静止車両を車両として検出または識別することができない。たとえば図１は、図２のシーンから学習した背景モデルを示し、いくつかの車両が長い間動かずにいた後、徐々に背景内へと学習されており、それによって前景検出関連の交通分析方法は当該車両に関してこのシステムで失敗する。これは特に、システムを使用して、交通分析システムの一般的な適用例である、静止道路の渋滞条件を検出する場合に問題である。

図３および図４は、静止オブジェクトが動き始めた場合に生じる回復問題という、適応的ＢＧＳ前景検出に伴う別の問題を示している。左側のイメージ３はＢＧＳモデルから取得された前景イメージであり、ここで車両オブジェクトは立ち去った後も前景イメージ内に残り、「ゴースト」と呼ばれる場合がある。右側のイメージ４はオリジナルのビデオ・フレームであり、図３で前景モデル内にゴーストを作成する結果となった一時的に静的な動きのない期間後の、車両が立ち去った現在のフレームを示している。

一時的な静止オブジェクトが図１の車両によって反映されるように背景内に学習されるのを防ぐために、より遅い学習速度を使用することができる一方で、図３のゴーストによって示される回復問題を避けるために、より速い学習速度を使用することができる。したがって、いくつかの従来の適応的ＢＧＳモデルは、移動するオブジェクトを検出するための静止期間の観察および決定の関数として、学習または回復問題のうちの１つを矯正するためのトレードオフを取得するように学習速度を調整する。しかしながら、こうしたトレードオフは一般に、学習または回復問題のうちの好ましくないものに関して、結果的にエラーを増加させることになる。さらに非常に交通量の多い条件では各車両が静止している期間を決定できない場合があり、この予測不可能な特徴によって、自動化交通渋滞分析システム内で適応的ＢＧＳモデルを有効に使用することが困難になる。

図５および図６は、ビデオ・イメージ内でノイズの多い光と影のデータが分析されるという、車両の検出および追跡における別の問題を示す。左側のイメージ５は、ＢＧＳモデルから取得された前景イメージであり、右側のイメージ６はオリジナルのビデオ・フレームである。ノイズの多い光イメージ・データは、夜間イメージ中の車両のヘッドライトによって作成され、昼間の条件では高速で移動する雲が車両の影から誤った前景データを生み出す場合もある。従来技術のＢＧＳモデルは、一般に、現在のビデオ・フレーム・データと背景モデルとの差異から移動する（非静止）オブジェクトを識別するため、急速に変化する照明条件によって現在のフレーム・イメージ・データが突然変化した場合、しばしばこれらの異なる照明条件が移動オブジェクトの検出を結果として誤らせることになる。たとえば、移動する雲が車両に太陽光を当てることで突然現れる一過性の影は、移動しているか否かにかかわらずそれ自体はオブジェクトではないが、従来技術のＢＧＳモデルではそれを誤って移動オブジェクトとして識別する可能性が高い。

いくつかの従来技術の手法は、たとえば渋滞予測用に車両検出器をトレーニングするAdaboostおよび縁部ベクトル法を介して、特定の当該オブジェクトに対して所定のオブジェクト検出器を使用する。しかしながらこうした学習ベースのオブジェクト検出器は、リアルタイムで交通渋滞アプリケーションを作成および適用することが困難である。さらにこうした学習済みのオブジェクト検出器は、変形、閉塞、および多重ビューの問題を提示する。たとえば車両は、セダン車、オープンカー、オートバイ、トラック、およびバンなど、クラス内で大きく変化し、それらすべてが非常に異なるサイズおよび幾何学的イメージ属性を有する。したがって、現実世界での交通渋滞アプリケーションに関して許容可能に実行することが予測できる単一のオブジェクト検出器モデルは存在しない。さらに、学習済み検出器モデルは、１つのデータセットでトレーニングされ、異なるデータセットでテストされた場合、適合問題を有する可能性があり、こうした方法はシステムを適切に作動させるために監視または半監視されなければならない。

図７は、ビデオ・イメージ・データ内の道路シーンの例において、当該の前景車両オブジェクトと背景モデルとを区別および分析するための方法またはシステムの実施形態を示す。１０２で、ビデオ・イメージ・データ内に車両を含む可能性のある道路シーンの当該領域が、複数の個別のセルに分割され、１０３で、当該領域の個別セルのそれぞれから、およびそれぞれについて、イメージ・データが獲得される。より詳細には、セルのそれぞれが、当該の前景オブジェクトの２次元エリア・サイズよりも小さい２次元のエリア・サイズを有する。さらにセルのそれぞれはデフォルトの背景ラベルで初期化され、この例では背景を意味する「ゼロ」または負値のラベルで初期化され、これに対して「１」または正値のラベルは前景オブジェクトを意味する（すなわち、セル・データは車両オブジェクトの一部である）。（他の例では、代わりに前景オブジェクト・ラベルで初期化可能である。）

図８は、自動車、トラック、オートバイ、地上走行時の飛行機などの車両交通を搬送する道路の幅全体にわたる当該領域２０２の一例を示す。当該領域２０２は、当該の前景車両が、セル２０４の連続する２×２グループ（縦２セル×横２セル）内の少なくとも４つにわたるように選択されたサイズを有する、小さいセル２０４のグリッドまたはアレイに分割される。車両オブジェクト交通を検出するように構成された本実施形態では、セル２０４は、イメージ解像度、現在の固定視野（固定ズーム設定）でのシーン内の車両のサイズ、およびシーン内で予測される交通量の度合いと相関するように選択された、１６×１６平方ピクセル・セルである。しかしながら、様々な他のセル・サイズ（たとえば８×８平方ピクセル、３２×３２など）が実施可能であって、本例は例示的であり、本発明の実施形態の網羅的な例ではない。実施形態は、駐車場、私道、および高速道路に入る車線などの、車両オブジェクトの動きから車両交通を経験する他の当該領域エリアからのイメージ・データでも実施可能であり、さらに他の実施形態は、他のタイプの移動オブジェクト（たとえば人、動物、昆虫など）に関して、および、こうしたオブジェクトが往来できる多様なシーン・コンテキスト（歩道、公共交通機関のプラットフォーム、森林の遊歩道など）に対して、実施可能である。

本実施形態は、セル・データのマルチキュー（ＭＣＵＥ）分析を使用する。本実施形態は、従来技術で教示されたように、単にＢＧＳフレームワークにおけるフレームと背景モデルとの差異を取るだけでなく、イメージ・ピクセルの強度、縁部、色、およびセル・コンテキスト情報を決定するために、各フレームを独立に分析する。この情報を考慮および組み合わせて、堅固な移動オブジェクト検出のための複数のキューを生成することが可能である。各キューを生成するシステムはリアルタイムで動作可能であり、セルに対する前景ラベルを独立に（または他のキュー決定と組み合わせて）決定することができる。

縁部キューからのオブジェクト検出
１０４で、セルのそれぞれで検出された縁部のエネルギーが決定および累積され（組み合わせられ）、１０６で、各セルが車両の一部であるか否かを判別するために、各セルの累積された縁部エネルギーが縁部エネルギーしきい値と比較される。より詳細には、セル内の累積された縁部エネルギーが縁部エネルギーしきい値を満たす場合、セルは１０６で、前景（車両オブジェクトの一部）であることを意味する「１」（または正）とラベル付けされ、満たさない場合、１０６で、背景であることを意味する「０」（または負）とラベル付けされる。

オブジェクト交通は、一般に、当該領域内のイメージ・データに縁部を作成する。図９は、道路上の車両オブジェクトを検出する際に有用な図１０中に示されたイメージ・データから決定された濃い縁部の例を示す。一実施形態において、１０４／１０６での縁部エネルギー分析は、縁部パッチを作成するために各セルにＳｏｂｅｌオペレータを適用することを含み、セルの２進数ラベルが以下の式［１］によって決定され、
ｆ（ｃ_ｍ（ｅ））＝｛１
０［１］
上式で、ｃ_ｍはｍ番目のセルであり、Ｅ（ｘ_ｉ）はピクセルｘ_ｉでの縁部のエネルギーである。セル内の縁部エネルギーの合計が縁部エネルギーしきい値ｔｅよりも大きい場合、「１」として、したがって前景車両オブジェクト交通の一部として再ラベル付け（またはラベル付け）され、そうでない場合、背景の一部（道路、私道など）として「ゼロ」がラベル付けされたままである（あるいはラベル付けまたは再ラベル付けされる）。他の実施形態は、異なる縁部検出アルゴリズム、たとえばＣａｎｎｙまたはＰｒｅｗｉｔｔなどを使用することが可能であり、さらに当業者であれば他の実施形態も明らかとなろう。

１０６での縁部エネルギーＥ（ｘ_ｉ）の決定は、複数の異なる縁部検出プロセスの複合関数組み合わせとすることも可能であり、シーンおよびその当該オブジェクトの要件に適切なように、複数の異なる縁部検出プロセスを１０４で使用すること（さらにいくつかのアプリケーションでは、異なって重み付けすること）ができる。たとえば、複数の異なるプロセス１０４のうちのいずれかが前景と決定した場合、１０６で正／前景ラベルまたはラベルに関する意思表示（voting）が割り当てられ、複数の１０４出力のすべてが論理ＯＲに入れられて、任意の正ラベル決定入力１０４が結果として正ラベルまたは意思表示出力を生じさせる。別の方法として、複数の異なるプロセス１０４のうちの複数が出力を作成する必要があり、１０６での前景ラベル決定は、ラベルを確認するために意思表示のしきい値数（たとえば２）が必要な、意思表示集計とすることが可能であるか、あるいは、１０６で結果として対応するラベルを生じさせるために、複数のプロセス１０４のすべてが論理ＡＮＤ意思決定プロセスに同じ決定を出力しなければならない。

色キューからのオブジェクト検出
縁部エネルギー・プロセス１０４／１０６と並行した（あるいは別の）プロセスにおいて、１０８で、セルのそれぞれにおける複数の異なる色のそれぞれの濃さが決定される。１１０で、異なる色について決定された色濃度が各セル内で比較され、この比較が色オブジェクトの存在を示す（１つまたは複数の色が、色濃度差分しきい値だけ１つまたは複数の他の色よりも濃い濃度を有する）場合、セルは前景を意味する「１」または「正」としてラベル付けまたは再ラベル付けされる。あるいは、比較が実質上背景を示す灰色／モノクロ・イメージ情報を示す場合、セルは、背景を意味する「ゼロ」または「負」としてラベル付けまたは再ラベル付けされる。

本発明の実施形態に従った色コンテキスト・オブジェクト検出は、背景の道路および路地が一般に、実質上グレーあるいはモノクロであるという事実を利用する。一実施形態において、１０８／１１０での色キュー分析は、セル２０４のそれぞれの間での光の三原色（ＲＧＢ）の濃さの差異を探索する。３色チャネルの相対的な濃さの差異が、セル２０４に含まれるオブジェクトが純粋な色オブジェクトであり、実質上グレー／モノクロでないことを示唆する場合、オブジェクトは、前景車両オブジェクトの一部であることを意味する「１」または「正」としてラベル付けされる。

本発明の一実施形態において、チャネル間の濃さの差異が累積され、これが色の付いたセルであるか否かが以下の式［２］の関数として検証され、
ｆ（ｃ_ｍ（ｃ））＝｛０
１［２］
上式で、下付き文字は、色チャネルの２つのセット間での濃さの差異を示し、たとえば（Ｄ_ｒｇ＝Σ^Ｎ _ｉ＝１｜ｄ_ｒｇ｜），ｄ_ｒｇ）は赤のチャネル（「ｒ」）と緑のチャネル（「ｇ」）との間の濃さの差異を意味し、ｆ（ｃ_ｍ（ｃ））はｍ番目のセルであるｃ_ｍの色濃度差異である。式［２］は、色チャネルのうちの１つの濃度が他の２つと大幅に異なる場合、セルが前景オブジェクトであることを示唆する。所与の濃度値とは異なり、セル内の色濃度間で決定された絶対的差異は、一般に、照明の変化に対してより堅固である。式［２］によって導出された情報は、赤い車または黄色いタクシーなどの、比較的色彩豊かな車両の検出で非常に効果的である。色濃度差分しきい値（ｔ_ｃ）は、当業者であれば理解されるように、ユーザによって、またはフィードバック・プロセスおよび生成された結果と既知の値でのビデオ入力のトレーニングとの比較を介して自動的に、システムが高精度を有する動作ポイントに設定することができる。

他の実施形態において、１１０で色濃度差分を決定することは、セルに関する色ヒストグラムを構築すること、および、たとえばBhattacharyaプロセスなどの適切なメトリクスを用いてそれらの間の距離を計算することを含み、当業者であれば他の適切な色濃度決定が明らかとなろう。１１０での色濃度差分決定は、複数のプロセス１０８の出力の複合関数組み合わせとすることも可能であり、１０８で、シーンおよびその当該オブジェクトの要件に適切なように、複数の異なる色濃度差分プロセスを使用すること（さらにいくつかのアプリケーションでは、異なって重み付けすること）ができる。たとえば、複数の異なるプロセス１０８のうちのいずれかが前景と決定した場合、１１０で正／前景ラベルまたはラベルに関する意思表示が割り当てられ、複数の１０８出力のすべてが論理ＯＲに入れられて、任意の正ラベル決定入力１０８が結果として正ラベルまたは意思表示出力を生じさせる。別の方法として、複数の異なるプロセス１０８のうちの複数が出力を作成する必要があり、１１０での前景ラベル決定は、ラベルを確認するために意思表示のしきい値数（たとえば２）が必要な、意思表示集計とすることが可能であるか、あるいは、１１０で結果として対応するラベルを生じさせるために、複数のプロセス１０８のすべてが論理ＡＮＤ意思決定プロセスに同じ決定を出力しなければならない。

セル・コンテキストからの誤認警報の消去
本発明の実施形態は、隣接するセル値に関してそれらのコンテキストを考慮することによって、セル２０４内の誤った正のラベルも減少させる。この例では、隣接セルの色濃度の整合性およびオブジェクト・ブロック・コンテキストという、２つのコンテキストを考慮することができる。

隣接セルの色濃度の整合性
前述のように、１０４／１０６で、セル２０４内で決定された縁部エネルギーの関数として実行される、セル２０４のデータに対する正のオブジェクト決定／ラベルの正確さは、イメージ・データの課題によって損なわれる可能性がある。たとえば、セル内で認識可能な背景特徴によって作成されるノイズ（道路の車線マーキング、縁石など）が、背景セルに適用されることになる誤った正セル・ラベルを作成する可能性がある。また、相対的に大型の車両（トラック、バスなど）は、いくつかのセル内で縁部が認識できない大きな平坦領域を有する可能性があり、これらのセルのいくつかを背景要素として誤って検出すること、および誤った負／ゼロのラベル付けにつながる。

したがって、１１２で、１０４／１０６で縁部エネルギー・プロセスによって、隣接セルの色濃度の整合性が前景（正または１）としてラベル付けされたセルのそれぞれに適用され、ノイズの多い縁部によって誤った正が作成されることをなくす。本発明の一実施形態において、（たとえば１０８で色決定プロセスによって）正としてラベル付けされたそれぞれのセル内で独立に決定された異なる個別の色濃度が合計され、隣接する近隣セルの色濃度合計と比較される。一例では、コンテキスト隣接セルの色濃度整合性情報は、以下の式［３］に従って定量化および計算することが可能であり、
ｆ（ｃ_ｍ（ｃ１））＝｛０
１［３］
上式で、Ｖ_ｒｇｂ＝（ν_１，ν_２，ν_３）’は個別のＲＧＢチャネルそれぞれについての濃度値の合計であり、隣接セルのセット、ｍ番目のセル（ｃ_ｍ）の隣接セルの色濃度ｆ（ｃ_ｍ（ｃ１））に関係し、（ｔ_ｃ１）は色整合性しきい値である。他の実施形態では、隣接セルの色濃度の整合性プロセス１１２は、セルに関する色ヒストグラムを構築すること、および、たとえばBhattacharyaプロセスなどの適切なメトリクスを用いてそれらの間の距離を計算することを含み、当業者であれば他の適切な隣接セルの色濃度整合性プロセスが明らかとなろう。

色相関は、グレースケール領域間の差異を決定するのに常に十分ではない可能性がある。したがって本実施形態は、色相関を相対的濃度ノルムに置き換える。たとえ２つのセルのグレースケールのみが異なる場合であっても、本実施形態は、異なるノルム値によって前景および背景に関してセルを差異化することができる。より詳細には、ｆ（ｃ_ｍ（ｃ１））が大きい（色整合性しきい値（ｔ_ｃ１）よりも大きい）場合、これはセルが背景と整合しており、誤った正として消去すべきでないことを示す。これに対して、車両イメージによって占有されているセル２０４に関する値は、通常、相対的に小さなｆ（ｃ_ｍ（ｃ１））を生み出す、道路イメージ・データを含むセル２０４に関するものとは大幅に異なる。

一実施形態において、色濃度キュー・プロセス１０８／１１０によって検出／ラベル付けされた正のセルは、すでに高い精度を有するため、一般に１１２で、隣接セルの色濃度の整合性プロセスによって検証／妥当性検査される必要がないことに留意されたい。

オブジェクト・ブロック・コンテキスト
１１０および１１２で生成された正の前景セル２０４ラベルは、１１４で、正にラベル付けされたセル２０４の接続された隣接するグループによって形成されるブロックのサイズを、１つまたは複数テンプレート・フィルタと比較する、オブジェクト・ブロック・コンテキスト・プロセスを介してさらに妥当性検査される。当該ブロックがテンプレート基準を満たす場合、ブロックを形成する正にラベル付けされたセル２０４はそれぞれ前景セルとして妥当性検査され、満たさない場合、背景セルを意味するゼロまたは負の値に再ラベル付けまたはリセットされる。

図１１に示された例では、正にラベル付けされた各セル２０４のピクセル値は２５５に設定され（白一色の四角として示され）、負にラベル付けされた各セル２０４はゼロに設定される（および黒一色の四角として示される）。本発明の実施形態では、セル２０４のサイズは、当該の各前景（非静止）車両オブジェクトが任意のイメージ・フレーム内の複数の隣接セル全体にわたるように、十分小さく選択される。したがって、正にラベル付けされた各セル２０４は、他の連続する、隣接する正にラベル付けされたセル２０４全体にもわたる車両オブジェクトのイメージの一部を含むはずであり、当該の連続セルはすべてまとめて、そこに示される車両オブジェクトのサイズに対応するサイズを有するオブジェクト・ブロックを画定するはずである。

したがって、１１４で、オブジェクト・ブロック・コンテキスト・プロセスは、正にラベル付けされたセル２０４の連続するグループが、当該の非静止オブジェクトの所定のしきい値サイズ寸法よりも小さいブロックを画定しているかどうかをチェックする。図１１の例では、近隣の正にラベル付けされたセル２０４によって形成されるブロックが２つのセル２０４（たとえばブロック７０２および７０４）よりも小さい幅および高さの寸法を有する場合、このブロック内のすべてのセル２０４は誤った正として扱われ、背景（負／ゼロ）として再ラベル付けされる。この手法は、道路の車線周辺の色の差異の結果として生じる誤った前景決定をなくす際に非常に効率的であることがわかっている。

これに対して、ブロック７０６はしきい値寸法（たとえば少なくとも２つのセル２０４の高さおよび幅）を満たしているため、ブロック７０６内のそれぞれのセルは正しい正にラベル付けされたセル２０４として妥当性検査される。１１６で妥当性検査された正にラベル付けされたセル２０４を使用して、オブジェクト分析のための前景オブジェクトが画定される。

本実施形態の実装は、交通渋滞の検出の際に堅固な結果を与えることがわかっている。一例は、米国ニューヨーク州、ニューヨーク市のリンカーン・センター・プラザ周辺でキャプチャされた２日間のビデオ・イメージ・データでテストされた。当該ビデオ・データからのオブジェクト決定は、昼夜の変化または雨天条件にかかわらず優れた性能を示した。

いくつかの実施形態において、１１４でラベルを検証するために、いくつかの例ではシーン・コンテキストの関数として選択および適用された、複数の異なるブロック・マスクが提供可能である。たとえば、プロセスが、乗用車のみを含む（人または大型トラックは含まない）ことが推測される当該の交通シーン領域を監視している場合、乗用車の形状に合致する形状を有するブロック（たとえば、高さ２セル×長さ４セルのブロック）が適用可能であり、一態様では、現行のシーン解像度およびズームでは２×２ブロックのセルを占有する可能性のある歩行者による誤認警報を減少させる。

図７の実施形態では、ラベルは、縁部エネルギー・プロセス１０４／１０６／１１２および色濃度プロセス１０８／１１０ステップのそれぞれで独立に決定され、いずれのプロセスもセルが前景としてラベル付けされるべきであるものと決定できる。図１２は本発明に従った代替実施形態を示し、こうしたプロセスが組み合わされて、図７のステップおよびプロセスのうちのいくつかを使用して前景セルが決定される。より詳細には、１０４で１つまたは複数プロセスを介して決定および累積されたセルのそれぞれで検出された縁部のエネルギーが８０６で入力として使用され、１つまたは複数縁部のエネルギーしきい値とそれに応じて示される正／前景ラベルとが比較される（そのいずれかが正のラベルを示す、論理ＯＲ意思決定プロセスにおいてそれぞれが縁部エネルギーしきい値を満たす複数の累積された値の出力を１０４で組み合わせること、またはラベルを示すためにしきい値の倍数を必要とすること、または論理ＡＮＤ意思決定プロセスにおける複数の異なるプロセスのすべてを、含むことができる）。これに応じて、８０６で、累積された縁部エネルギーが縁部エネルギーしきい値を満たす場合に前景を示すか、または、縁部エネルギーしきい値を満たさない場合は背景を示す、縁部エネルギー前景指示出力がセルのそれぞれについて生成される。８０６の結果として生じる、各セル出力に関する縁部エネルギー前景ラベル指示は、８１２で、隣接セルの色濃度の整合性プロセスで検証される。

１０８でセルのそれぞれにおいて１つまたは複数プロセスを介して決定された異なる色の濃度は、８１０で各セルにおいて比較される。図７に関して一般的に論じたように、８１０で色濃度の前景指示出力が適宜生成され、決定された色濃度のうちの１つがそのセルについて決定された他の色濃度よりも色濃度差分しきい値だけ濃い場合、前景を示し、そうでない場合、色濃度前景指示出力はセルが背景であることを示す。

縁部エネルギー／妥当性検査プロセス８１２および色濃度プロセス８１０からのラベル指示出力は、８１３で、複合意思決定関数内に受信される。８１３で、意思決定関数は、色濃度前景指示出力および前景指示出力組み合わせ規則の関数としての各セルに関する色濃度前景指示出力に応答して、セルのそれぞれを前景または背景としてラベル付けする。

８１３では、様々な前景指示出力の組み合わせ規則が実施可能である。たとえば、規則は各セルについて前景指示を集計し、３つまたはそれ以上のプロセスが８１０および８１２からの入力を提供する場合は２つまたはそれ以上などのように、前景指示のしきい値数が入力として受信された場合、前景としてラベル付けすることができる。８１０および８１２からの入力のいずれかが「論理ＯＲ」規則で前景を示す場合、８１３で前景ラベルを決定することができる。別の方法として、８１３で適用された規則は、８１０および８１２からのすべての入力が、論理ＡＮＤ意思決定プロセスで前景ラベルに合意することを必要とする場合があり、入力のいずれか１つでも失敗すると結果としてデフォルトの背景ラベルとなる。（推定は、デフォルトとして背景の代わりに前景ラベルを取ることが可能であり、ユーザは必要に応じて実施形態がいずれかの決定に対して判断を誤るように自由に設計できることも理解されよう。）８１０または８１２で生成された一定のプロセス出力は異なって重み付けすることが可能であり、たとえばそれぞれの出力が前景または背景に合意しない場合、２つのプロセス８１０および８１２のうちでより重く重み付けされた方からの指示を使用して、８１３でラベルを定義することができる。

本発明の実施形態は、従来技術によって教示された適用的な背景のモデリングおよび学習ベースのオブジェクト検出器を上回る、いくつかの恩恵を与える。これらの実施形態は、ノイズの多い光または移動する雲によって作られる影などのシーンの変化によって生じる突然の照明変化に対して、より堅固である。これらの実施形態は、移動オブジェクトの決定が動き情報に依存しないため、静止および移動オブジェクトの両方の検出でさらに効率的である。

これらの実施形態は、従来技術の背景除去モデルが経験する回復問題の影響を受けない。これらは、従来技術の学習ベースのオブジェクト検出器フレームワークで必要とされるような、閉塞および多重ビューの問題を解決する必要がない。実際には、トレーニング・プロセスは不要であり、実施形態の実装は完全に監視されなくてよい。さらに、学習ベースのアルゴリズムで発生する可能性のある過適合問題もない。

所与のドメイン（市、郡、大学構内、または、輸送システムの範囲を画定する任意の他の組織エンティティ）内で、移送システムのボトルネックを識別する際には、移送最適化が有用である。本発明の実施形態は、複数の道路のそれぞれの渋滞の程度を監視することによって、たとえば移送システムによって処理される車両交通の管理を最適化し、所与の道路上での交通渋滞を減少させるために、たとえば激しい渋滞エリア内に新しい高架交差路を建築する必要性およびその場所を示すこと、あるいは、ユーザの料金（通行料金、有料道路指定、公共交通機関運賃など）の値上げ、値下げ、または差異化の適用を始動させることが可能である。実施形態を使用して、たとえば現行ルート上での現在の交通混雑を決定することに応答して代替ルートを運転者に通知するために、リアルタイムで渋滞を直接緩和するために道路ユーザに与えられる情報を決定および提供することができる。

次に図１３を参照すると、本発明の実施形態の例示的なコンピュータ化された実装は、図７または図１２の実施形態に従って処理されるビデオ・データを提供する、当該領域のビデオ・データ・ソース５４０（カメラ、記憶ユニットからアーカイブされたビデオ・データなど）と通信する、コンピュータ・システムまたは他のプログラム可能デバイス５２２を含む。命令５４２は、コンピュータ読み取り可能メモリ５３６またはコンピュータ読み取り可能記憶システム５３２、入出力（Ｉ／Ｏ）デバイス５２４、または処理ユニット（ＣＰＵ）５３８によってコンピュータ・ネットワーク・インフラストラクチャ５２６を介してアクセスされる他の有形コンピュータ読み取り可能記憶媒体の、コンピュータ読み取り可能コード内に常駐する。したがって命令は、処理ユニット（ＣＰＵ）５３８によって実装された場合、処理ユニット（ＣＰＵ）５３８に、縁部エネルギーおよび色濃度分析を含むマルチキューを使用して、図７または図１２に関して上記で説明したように当該の前景オブジェクトを区別させる。

本発明の実施形態は、加入、広告、または料金、あるいはそれらすべてに応じて、発明の実施形態の処理ステップを実行することも可能である。すなわちサービス・プロバイダは、図７または図１２の実施形態に関して上記で説明したように、コンピュータ・システム５２２が、縁部エネルギーおよび色濃度分析を含むマルチキューを使用して当該の前景オブジェクトを区別できるようにするために、コンピュータ読み取り可能プログラム・コードをコンピュータ・システム５２２に統合するよう提示することができる。サービス・プロバイダは、本発明のプロセス・ステップを１人または複数の顧客のために実行する、コンピュータ・システム５２２、ネットワーク環境５２６、またはそれらの一部などの、コンピュータ・インフラストラクチャを、作成、維持、およびサポートすることなどが可能である。その見返りとして、サービス・プロバイダは、加入または料金あるいはその両方の契約の下で顧客からの支払いを受け取ること、または、１つまたは複数の第３者機関に対する広告コンテンツの販売からの支払いを受け取ること、あるいはその両方が可能である。サービスは、（１）有形のコンピュータ読み取り可能媒体デバイス５２０または５３２から、コンピュータ・デバイス５２２などのコンピュータ・デバイス上にプログラム・コードをインストールすること、（２）１つまたは複数のコンピューティング・デバイスをコンピュータ・インフラストラクチャに追加すること、および、（３）コンピュータ・インフラストラクチャが本発明の実施形態のプロセス・ステップを実行できるようにするために、コンピュータ・インフラストラクチャの１つまたは複数の既存のシステムを組み込むことまたは修正することまたはその両方のうちの、１つまたは複数を含むことができる。

本明細書で使用される用語は、特定の実施形態を説明するためのみのものであり、本発明を限定することは意図されていない。本明細書で使用される場合、「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が特に明白に示していない限り、複数形も含むことが意図される。「含む」または「含んでいる」あるいはその両方の用語は、本明細書で使用される場合、示された機能、整数、ステップ、動作、要素、または構成要素、あるいはそれらすべての存在を指定するものであるが、１つまたは複数の他の機能、整数、ステップ、動作、要素、構成要素、またはそれらのグループ、あるいはそれらすべての存在または追加を排除するものでないことをさらに理解されよう。特許請求の範囲に含まれ、図面内に示されるような、本明細書で説明されたある例および要素は、固有の形容詞によってその他と区別するか、あるいは識別することが可能である（たとえば「第１」の要素は複数の要素のうちの他の「第２」または「第３」と区別され、「１次」は「２次」または「他」のアイテムと区別されるという具合である）。こうした識別形容詞は、一般に、混乱または不明瞭性を減らすために使用され、特許請求の範囲をいずれの特定の例示された要素または実施形態に限定するものとも解釈されることなく、あるいは、いずれの請求要素、制限、またはプロセス・ステップのいずれの先行、順序付け、またはランク付けをも暗示するものでない。

以下の特許請求の範囲におけるすべての手段またはステップならびに機能要素の対応する構造、材料、動作、および等価物は、具体的に請求された他の請求要素と共に機能を実行するための任意の構造、材料、または動作を含むことが意図される。本発明の説明は、例示および説明のために提示されたものであり、開示された形の本発明を網羅するかまたはそれに限定されることは意図されていない。当業者であれば、本発明の範囲および趣旨を逸脱することなく多くの修正および変形が明らかとなろう。実施形態は、本発明および実践応用例の原理をもっともよく説明するため、ならびに、他の当業者が企図された特定の用途に適するような様々な修正を伴う様々な実施形態に関して本発明を理解できるようにするために、選択および説明された。

Claims (17)

1. 前景オブジェクトと背景モデルとを区別するための方法であって、
   ビデオ・データ・イメージの領域を複数の個別セルのグリッド・アレイに分割すること、
   それぞれのセルについて、フレーム・イメージ・データを獲得すること、
   それぞれのセル内の複数の異なる色のそれぞれについて色濃度を決定すること、
   前記色濃度のうちの他の１つよりも色濃度差分しきい値以上に濃い前記色濃度のうちの１つを有するセルを前景としてラベル付けすること、
   前景オブジェクトを画定するために前景としてラベル付けされたセルから前記フレーム・イメージ・データを使用すること、を含み、
   前記ラベル付けされた前景セルの連続するグループによって形成されるブロックのサイズを、テンプレート・フィルタと比較すること、
   前記比較に基づいて、前記ラベル付けされた前景セルのそれぞれの前記ラベルを修正すること、
   をさらに含む、方法。
2. それぞれのセルを背景ラベルで初期化することと、
   それぞれのセルについて、当該セルの縁部エネルギーを検出および累積すること、
   背景ラベルで初期化されたセルについて、前記累積された縁部エネルギーが縁部エネルギーしきい値を満たす場合に前景としてラベル付けすること、
   累積された縁部エネルギーが縁部エネルギーしきい値を満たしたことに応じて、前記セルを前景としてラベル付けすること、
   をさらに含む、請求項１に記載の方法。
3. 前記ラベル付けされたセルの色の濃度合計を生成するために、前記セルについて決定された前記異なる色濃度を合計すること、
   前記ラベル付けされたセルの前記生成された色濃度合計と、前記ラベル付けされたセルに隣接する複数のセルのそれぞれについて決定された前記色濃度の合計とを比較すること、
   前記ラベル付けされたセルの前記生成された色濃度合計が、前記ラベル付けされたセルに隣接する複数のセルのそれぞれについて決定された前記色濃度の比較された合計よりも、色整合性しきい値だけ大きい場合、前記ラベル付けされたセルの前記ラベルを前記背景ラベルに修正することであって、前記ラベルを修正することは、前記前景オブジェクトを画定するために前景としてラベル付けされた前記セルから前記フレーム・イメージ・データを使用することに先立って実行される、修正すること、
   をさらに含む、請求項１に記載の方法。
4. 前記比較されたテンプレート・フィルタに適合しない前記ブロックの連続するグループの前記ラベル付けされた前景セルのそれぞれの前記ラベルを修正することであって、前記ラベルを修正することは、前記前景オブジェクトを画定するために前景としてラベル付けされた前記セルから前記フレーム・イメージ・データを使用することに先立って実行される、修正すること、
   をさらに含む、請求項１に記載の方法。
5. 前記テンプレートが高さおよび幅を有し、前記ブロックの連続するグループの高さが前記テンプレート高さよりも小さい場合、または、前記ブロックの連続するグループの幅が前記テンプレート幅よりも小さい場合、前記ブロックの連続するグループのうちの１つの前記ラベル付けされた前景セルのそれぞれの前記ラベルを修正する、請求項４に記載の方法。
6. 前記決定された色濃度のうちの前記異なる色が、赤、相対的緑、および青の色チャネルのうちの１つである、請求項１に記載の方法。
7. 前景オブジェクトと背景モデルとを区別するための方法であって、
   ビデオ・データ・イメージの領域を複数の個別セルのグリッド・アレイに分割すること、
   それぞれのセルについて、フレーム・イメージ・データを獲得すること、
   それぞれのセルについて、当該セル内の縁部エネルギーを検出および累積し、累積された縁部エネルギーが縁部エネルギーしきい値を満たす場合に前景を示すか、または、前記累積された縁部エネルギーが前記縁部エネルギーしきい値を満たさない場合に背景を示す、縁部エネルギー前景指示出力を生成すること、
   前記セルのそれぞれについて、当該セルに関して決定された色濃度のうちの１つが前記決定された色濃度のうちの他方よりも色濃度差分しきい値だけ濃い場合に前景を示すか、または、当該セルに関して決定された前記色濃度のうちのいずれの他方よりも前記色濃度差分しきい値だけ濃い前記決定された色濃度がない場合に背景を示す、色濃度前景指示出力を生成すること、
   前記縁部エネルギー前景指示出力および前記色濃度前景指示出力の関数として、セルを前景または背景としてラベル付けすること、
   前景オブジェクトを画定するために前景としてラベル付けされた前記セルから前記フレーム・イメージ・データを使用すること、
   を含む、方法。
8. 前記縁部エネルギー前景指示出力および前記色濃度前景指示出力の関数として、それぞれのセルを前景または背景としてラベル付けすることが、
   前記縁部エネルギー前景指示出力および前記色濃度前景指示出力の入力に、前記セルが前景であることを前記入力の両方が示す場合、前記セルのそれぞれ１つについて「正」の出力を生成する論理ＡＮＤ演算を適用すること、
   生成された「正」の出力を有する前記セルのそれぞれを前記前景セルとしてラベル付けすること、
   を含む、請求項７に記載の方法。
9. 前記縁部エネルギーしきい値を満たす累積された縁部エネルギーを有することに応答して、前景として示されるセルのそれぞれについて、
   前記ラベル付けされたセルの色の濃度合計を生成するために、前記セルについて決定された前記異なる色濃度を合計すること、
   前記ラベル付けされたセルの前記生成された色濃度合計と、前記ラベル付けされたセルに隣接する複数のセルのそれぞれについて決定された前記色濃度の合計とを比較すること、
   前記ラベル付けされたセルの前記生成された色濃度合計が、前記ラベル付けされたセルに隣接する複数のセルのそれぞれについて決定された前記色濃度の比較された合計よりも、色整合性しきい値だけ大きい場合、前記ラベル付けされたセルの前記ラベルを前記背景ラベルに修正することであって、前記ラベルを修正することは、前記前景オブジェクトを画定するために前景としてラベル付けされた前記セルから前記フレーム・イメージ・データを使用することに先立って実行される、修正すること、
   をさらに含む、請求項７に記載の方法。
10. 前記ラベル付けされた前景セルの連続するグループによって形成されるブロックのサイズを、テンプレート・フィルタと比較すること、
    前記比較されたテンプレート・フィルタに適合しない前記ブロックの連続するグループの前記ラベル付けされた前景セルのそれぞれの前記ラベルを修正することであって、前記ラベルを修正することは、前記前景オブジェクトを画定するために前景としてラベル付けされた前記セルから前記フレーム・イメージ・データを使用することに先立って実行される、修正すること、
    をさらに含む、請求項７に記載の方法。
11. 前記テンプレートが高さおよび幅を有し、前記ブロックの連続するグループの高さが前記テンプレート高さよりも小さい場合、または、前記ブロックの連続するグループの幅が前記テンプレート幅よりも小さい場合、前記ブロックの連続するグループのうちの１つの前記ラベル付けされた前景セルのそれぞれの前記ラベルを修正する、請求項１０に記載の方法。
12. 前景オブジェクトと背景モデルとを区別するための方法であって、
    ビデオ・データ・イメージの領域をグリッド・アレイに分割したセルそれぞれについて、フレーム・イメージ・データを獲得すること、
    それぞれのセルについて、複数の色濃度のうちの他の１つよりも色濃度差分しきい値以上に濃い前記色濃度のうちの１つを有するセルに対応する第１の前景指示を「正」として決定すること、
    それぞれのセルついて、前記累積された縁部エネルギーが縁部エネルギーしきい値を満たす場合に当該セルに対応する第２の前景指示を「正」として決定すること、
    それぞれのセルについて、前記第１および第２の前景指示に適用される組み合わせ規則の出力が「正」であることに応じて、当該セルを前景としてラベル付けすることであって、前記組み合わせ規則は、「論理ＯＲ」規則、「論理ＡＮＤ」規則、「重み付け比較」規則のグループから選択される、ラベル付けすることと、
    前景オブジェクトを画定するために前景としてラベル付けされた前記セルから前記フレーム・イメージ・データを使用すること、
    を含む、方法。
13. 前景オブジェクトを背景モデルから区別するための方法であって、
    ビデオ・データ・イメージの領域を複数の個別セルのグリッド・アレイに分割すること、
    それぞれのセルについて、フレーム・イメージ・データを獲得すること、
    当該セルについて決定された複数の色濃度を有するセルであって、当該複数の色濃度が互いに色濃度差分しきい値を超えないセルのそれぞれについて、背景を示す第１の指示を決定することと、
    当該セルについて決定された複数の色濃度の１つを有するセルであって、当該複数の色濃度の１つが前記決定された色濃度の他の１つよりも色濃度差分しきい値以上大きいセルのそれぞれについて、前景を示す第２の指示を決定することと、
    縁部累積エネルギーしきい値よりも小さい、セル内で検出された縁部の累積されたエネルギーを有するセルのそれぞれについて、背景を示す第３の指示を決定することと、
    前記縁部エネルギーしきい値を満たすか、または、超える、セル内において検出された縁部の累積されたエネルギーを有するセルのそれぞれについて、前景を示す第４の指示を決定することと、
    前記セルに対する前記指示に組み合わせ規則を適用することに応じて、前景または背景としてラベル付けすること、
    前景オブジェクトを画定するために前景としてラベル付けされたセルから前記フレーム・イメージ・データを使用すること、
    を含む、方法。
14. 前記決定された色濃度の合計値を有するセルであって、当該色濃度の合計値が隣接する近隣セルの色濃度の合計値を色整合性しきい値以上超えるセルそれぞれについて、背景を示す第５の指示を決定することと、
    前記決定された色濃度の合計値を有するセルであって、当該色濃度の合計値が隣接する近隣セルの色濃度の合計値を色整合性しきい値以上超えないセルそれぞれについて、前景を示す第６の指示を決定することと、
    をさらに含む、請求項１３に記載の方法。
15. 前記セルに対する前記指示に組み合わせ規則を適用することに応じて、前景または背景としてラベル付けすることが、前記第１乃至６の指示を重み付けし、重み付けに基づいてラベル付けを行う、請求項１４に記載の方法。
16. 請求項１乃至１５のいずれかに記載の方法に含まれる各ステップを処理ユニットに実行させる、プログラム。
17. 請求項１乃至１５のいずれかに記載の方法に含まれる各ステップを実行する手段を備える、システム。

Images