JP4699564B2 - 視覚背景抽出器 - Google Patents

Description

本発明は、撮像装置によってキャプチャされてそれぞれが複数のピクセルのセットによって形成される複数の関連画像の中から選択された画像内の背景を検出する方法に関する。

コンピュータビジョンにおける主要な研究分野の１つは、ビデオシーケンス内のモーショントラッキングの分野である。モーショントラッキングの目的は、シーン内の物体の動きを抽出することと、場合によっては上記シーンの画像を生成する撮像装置の動きを抽出することである。人間の眼と脳はこの種類の作業を容易に実行するが、これはコンピュータビジョンにおいては解決が困難な問題であり、以下のようないくつかの課題を含む。
− 動いている物体を静止背景又は疑似静止背景から分離すること。疑似静止背景は、撮像装置の動きに起因する僅かな見かけ上の動きを有する背景として定義される。
− 遮蔽問題（occlusion problem）を解決すること。遮蔽問題は、一時的に少なくとも部分的に視界から消えた物体を再特定することを含む。
− いわゆるゴースト物体（ghost object）をなくすこと。ゴースト物体は、画像シーケンスの最初の画像フレーム内に存在する実際には物体であるものが、誤って背景の一部であるとみなされる結果として生じる。
− 影効果（shadow effect）を特定及び除去すること。

ビデオシーケンスは、時間的に連続してキャプチャされる複数の画像Ｉから成るシーケンスによって形成される。各画像Ｉは、複数の画素、すなわちピクセルを含み、画像内の各単一のピクセルは、画像内の位置ｘ及びピクセル値Ｉ（ｘ）を有する。位置ｘは任意の数の次元を有することができる。３次元位置を有するピクセルは、３Ｄ画像化の領域においては（「体積要素」に対する）「ボクセル」としても既知であるが、本明細書全体を通して、ピクセルという表現はこのような「ボクセル」も含むものとしても理解されるものとする。したがって、画像は従来の２次元画像でもよいが、３Ｄ画像及び／又はマルチスペクトル画像でもよい。この位置ｘは有限領域に制限されてもよいし、されなくてもよい。たとえば、衛星搭載カメラのように動いている撮像装置によってキャプチャされる画像の場合は、位置ｘは有限領域には制限されない。画像のタイプに応じて、ピクセル値Ｉ（ｘ）は、単色画像の場合のようにスカラーであってもよいし、赤緑青（ＲＧＢ）成分ビデオ画像或いは色相飽和値（ＨＳＶ）画像のような多色画像の場合のように多次元であってもよい。

一般に、動いている物体を背景から分離するステップは、背景除去と称される。背景除去は、各画像内においてどのピクセルが背景に属するかを認識することと、それらのピクセルを画像から除去することとを含む。

背景除去は、医用画像形成システムのような他の用途においても使用される。医用画像を、別の患者の同じ領域の画像を使用して生成される背景と比較して、病的状態を指示する可能性のある外れ値（outlier）を示すことができる。

効率的であるために、背景除去技法は以下のようであるべきである。
− ユニバーサルである。すなわち、あらゆるタイプのビデオシーケンスを取り扱うことができる。
− ノイズに対してロバストである。
− 単純である。単純な技法は実装するのがより容易であり、シーン内容に応じて必要なパラメータ調整が少なくてすむためである。
− 高速である。計算量が可能な限り少ないことを含む。
− 形状検出が正確である。
− フットプリントが小さい。メモリのコストが減少するが、必要なメモリ空間を最小化することは重大ではない。
− 直ちに使用可能である。初期化が必要な場合は、高速な初期化のみを必要とする。
− たとえば時刻変化或いは雲に起因する段階的或いは高速な照明変化、撮像装置の動き、木の葉或いは枝のような背景物体の高頻度の動き、たとえば停車中の車に起因する背景ジオメトリの変化に適応可能である。

多数の既存の背景除去法が存在する。このような方法の概観は、M. Piccardi著「Background subtraction techniques: a review」（Proceedings of the IEEE International Conference on Systems, Man and Cybernetics, vol. 4, 2004, pages 3099-3104）、及び、R. Radke、S. Andra、O. Al-Kofahi、B. Roysam著「Image change detection algorithms: A systematic survey」（IEEE Transactions on Image Processing, 14(3): 294-307, 3 2005）によって開示されている。

背景除去に対する第１のアプローチは、いわゆる素朴なアプローチである。この素朴なアプローチに従うと、単純な背景モデルは、背景ピクセル値が経時的に一定であると仮定する。次に、背景及び前景を、たとえば米国特許第６，０６１，４７６号において開示されているように、画像内のピクセルの値を同じシーケンス内の先行する画像のピクセルの値と比較することによって認識する。画像データ内のノイズ、シーン内の照明変化、或いは動きによって、差分が生じる可能性がある。ノイズ及び大域照明は、フィルタを適用することによって、或いは照明変化を対象とする検出器を使用することによって対処される。しかしながら、特に上記の要件に留意する場合には、背景物体の動きを除くことは、より困難である。

実際には、２つの画像間の差分をとることは有効ではない。背景認識方法は、背景ピクセル値の分布においてノイズ或いは照明変化に対処することを可能にしなければならない。したがって、拡張された技法が提案されている。以下でモデルベースアプローチと称するこれらの方法は、各ピクセルの値Ｉ（ｘ）に対してモデルｍ（ｘ）を構築する。このモデルを使用して、ピクセル値を同じピクセル位置における先行する複数のピクセル値と比較する。たとえば、I. Haritaoglu、D. Harwood、L. Davis著「W⁴: Real-time surveillance of people and their activities」（IEEE Transactions on Pattern Analysis and Machine Intelligence", 22(8): 809-830, 2000）によって開示されているＷ⁴アルゴリズムは、トレーニング段階中に、最小ピクセル値及び最大ピクセル値、並びに、２つの連続する画像間の差分の最大値によって背景をモデル化する。より高度なモデルベースアプローチは、以下のステップを含む。
− 初期化：初期化の目的は、シーケンスの最初の画像からモデルパラメータの有効推定値を構築することである。
− 比較：現在のピクセル値をモデルと対比してチェックする。
− モデル更新：ピクセル値がモデルと良好に適合する場合には、パラメータ、すなわちモデルを更新する。ピクセル値がモデルとマッチしない場合には、新たな値を使用してモデルを更新することはしない。これは、そうしなければモデルが発散してしまうためである。

モデルのタイプ、比較戦略、又は更新プロセスに応じて、いくつかのカテゴリのモデルベース背景除去方法が提案されている。

第１のカテゴリのモデルベース背景除去方法では、背景ピクセルモデルは、たとえばピクセル値の加重平均のような統計的尺度に基づく予測背景ピクセル値である。このカテゴリの背景除去方法は、たとえば、米国特許第７，１３６，５２５号、米国特許第４，３５０，９９８号、国際公開第０１／１６８８５号、米国特許出願公開第２００６／０１２０６１９号、又は米国特許出願公開第２００２／００６４３８２号に開示されている。その最も単純な形式のうちの１つでは、背景ピクセルモデルは、同じピクセル位置における先行する複数のピクセル値の加重平均に基づく。ｍ_t（ｘ）が、モデルによって提供される時刻ｔにおけるピクセル位置ｘのピクセル値を表し、ｍ_t+1（ｘ）が、モデルによって提供される次の時刻ｔ＋１における同じピクセル位置ｘのピクセル値を表す場合、更新式は以下のようになる。

ここで、αは０〜１の重み係数である。モデルピクセル値ｍ_t（ｘ）によって形成される画像は、背景の推定値を構成する。

加重平均背景ピクセルモデルの計算は比較的単純であるが、状況によっては、単純な加重平均のような単一の予測ピクセル値は背景の包括的なモデルを提供しない。この理由から、第２のカテゴリのモデルベース背景除去方法、いわゆるパラメトリックモデルが使用される。パラメトリックモデルは、特定のピクセル位置における背景ピクセル値の確率密度関数（ｐｄｆ）を提供し、ｐｄｆはパラメータのセットによって特徴付けられる。たとえば、C. Wren、A. Azarbayejani、T. Darrell、A. Pentland著「Pfinder: Real-time tracking of the human body」（IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(7): 780-785, 1997）では、所与の位置における時間窓にわたるピクセル値がガウス分布していると仮定する背景モデルが開示されている。ガウス背景モデルは、米国特許出願公開第２００６／０２２２２０５においても提案されている。国際公開第０３／０３６５５７号において開示されている背景除去方法のような複雑な方法では、ピクセル位置ごとの平均ベクトル及び共分散行列を推定する。これは時として、たとえばD. Koller、J. Weber、T. Huang、J. Malik、G. Ogasawara、B. Rao、S. Russell著「Towards robust automatic traffic scene analysis in real time」（Proceedings of the International Conference on Pattern Recognition, Israel, 1994）によって開示されているように、それらの値を適合させるためのカルマンフィルタの使用と組み合わされる。しかしながら、この方法の主要な欠点は残っている。モデルの単峰性（uni-modal）によって、木の葉、ちらついているモニタ等のような動的環境の背景内に存在する動きによって引き起こされる多峰性（multi-modal）の出現を正確に取り扱うことが妨げられる。

この問題を、依然としてこのカテゴリのパラメトリックモデル内で解決するために、重みを付けして混合したガウス分布を使用して背景をモデル化することが、C. Stauffer、E. Grimson著「Adaptive background mixture models for real-time tracking」（Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 246-252, 6 1999）、及び、「Learning patterns of activity using ral-time tracking」（IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(8): 747-757, 2000）によって最初に提案された。上述の概観、及びP. Power、J. Schooneesによる論文「Understanding background mixture models for foreground segmentation」（Proc. Images and Vision Computing, Auckland, NZ, 11 2002）から分かるように、導入以来、このガウス混合モデル（ＧＭＭ）はコンピュータビジョンコミュニティの中で人気を得ている。そして、Z. Zivkovic著「Improved adaptive gaussian mixture model for background subtraction」（Proceedings of the International Conference on Pattern Recognition, 2004）、Qi Zang、R. Klette著「Robust background subtraction and maintenance」（ICPR '04: Proceedings of the 17th International Conference on Pattern Recognition, Volume 2, pages 90-93, Washington DC, USA, 2004）、D. S. Lee著「Effective Gaussian mixture learning for video background subtraction」（IEEE Transactions on Pattern Analysis and Machine Intelligence, 27(5): 827-832, May 2005）による開示、並びに、国際公開第２００５／０２４６５１号に見られるように依然として多くの関心を集めている。それにもかかわらず、ＧＭＭは、「背景は前景よりも頻繁に見える」、「その分散は著しく小さい」、という仮定に強く依存しているため、いくつかの基本的な欠点を有する。これらの仮定のいずれも、すべての時間窓に対して有効であるわけではない。さらに、A. Elgammal、R. Duraiswami、D. Harwood、L. S. Davis著「Background and Foreground Modeling Using Nonparametric Kernel Density Estimation for Visual Surveillance」（Proceedings of the IEEE, Vol. 90, No. 7, July 2002, pages 1151-1163）によって指摘されているように、高頻度の変化と低頻度の変化が背景内に存在する場、その感度を正確に調整することはできず、モデルは自身をその標的自体に適合させることもあるが、いくつかの高速の標的の検出に失敗する場合もある。最後に、特に分布のモデルパラメータの推定は、実世界のノイズの多い環境では問題となる可能性がある。

これらの問題は、第３のカテゴリの背景モデル、すなわち、いわゆるノンパラメトリックモデルによって対処されている。これらのモデルはパラメトリックモデルと非常に類似しているが、所定の確率密度関数のパラメータを推定しようとせず、代わりに、それらの基礎となる分布に関して何ら仮定を行わずに実際のピクセル値から直接にカーネル密度関数を推定する点が異なっている。これによって、関数を選択する必要と、その分布パラメータの推定とが回避される。

ノンパラメトリックカーネル密度推定方法の強みの１つは、A. Elgammal他による上述の論文、及びZ. Zivkovic及びF. van der Heijden著「Efficient adaptive density estimation per image pixel for the task of background subtraction」（Pattern Recognition Letters, 27(7): 773-780, 2006）によって開示されているように、実際に観測されたピクセル値に基づくため、パラメータ推定ステップのうちの一部を回避することができることである。この方法は、最近の履歴からサンプリングされた実際の値のセットを使用して、背景ピクセルのカーネル密度をモデル化する。したがって、新たに観測された値をピクセルモデル内に直ちに取り込むことによって、背景内の高頻度の事象に対して高速に応答することができる。しかしながら、この方法によって、様々な速さで展開しつつ同時発生する複数の事象を首尾よく取り扱うことができるかについては議論の余地がある。それは、この方法が、先入れ先出し（first-in first out）の方法でピクセルとモデルを更新するためである。実際、この方法は、ピクセルごとに２つのサブモデル、すなわち短期モデルと長期モデルを使用することが多い。

これは簡便な解決策であり得るが人為的であり、所与の状況において適切に機能するためには微調整を必要とする。ピクセルモデルを構成するサンプリング値に関するより円滑なライフスパン方針を見つけることが顕著な改善点である。

ノンパラメトリック背景ピクセルモデルにおいて、実際に観測されたピクセル値を使用することは、それによって推定するパラメータの数が低減されるという事実に加えて、確率論的な観点からも理に適っている。それは、既に観測されている値が再び観測される確率は、一度も遭遇しなかった値が観測される確率よりも高いためである。しかしながら、パラメータのセット全体、すなわちカーネル関数のパラメータは、著しい量の固定サイズカーネルを使用しない限りそのままである。実際、カーネル密度推定方法は、パラメータ推定が不正確であることに関連する問題も抱える可能性がある。

上述の方法のすべてはピクセルレベルで機能するため、空間的一貫性を得るために追加の後処理を必要とするというさらなる欠点を有する。

これらの欠点に対処するために、サンプルコンセンサス（SAmple CONsensus）、或いはＳＡＣＯＮと称される新たな背景検出方法が、H. Wang、D. Suter著「A consensus-based method for tracking: Modelling background scenario and foreground appearance」（Pattern Recognition, 40(3): 1091-1105, March 2007）によって提案されている。最も近い従来技術を構成すると思われるこの論文は、撮像装置によってキャプチャされてそれぞれが複数のピクセルのセットから形成される複数の関連画像の中から選択された画像内の背景を検出する方法を開示している。この背景検出方法は、以下のステップを含む。
− 複数の画像内の確定されたピクセル位置について、複数のアドレスを含む背景履歴を構築する。背景履歴の各アドレス内には、サンプルピクセル値が記憶される。
− 選択された画像内の上記確定されたピクセル位置に対応するピクセル値を、上記背景履歴と比較する。選択された画像の上記ピクセル値が、上記背景履歴の少なくとも所定数のサンプルピクセル値と実質的にマッチする場合は、
− 上記確定されたピクセル位置を、画像背景に属するものとして分類する。
− 上記背景履歴のサンプルピクセル値のうちの１つを、選択された画像の上記ピクセル値と置き換えることによって、上記背景履歴を更新する。

より正確には、ＳＡＣＯＮ法は、ピクセル位置ごとに、Ｎ個の背景サンプルピクセル値の履歴を保持する。これらのサンプルは単純に、モデルに適合する直近に観測されたＮ個の値である。Ｎは２０〜２００に及ぶが、著者らは、Ｎ＝２０がほとんどの実際の作業において使用されなければならない最小値であると結論付けている。しかしながら、この論文において提供されている図は、Ｎ＝６０が最良の性能をもたらすはずであることを示している。

この論文は、初期化プロセスについては一切言及していない。しかしながら、最初のＮ個のサンプルは履歴を満たすために使用されると仮定することができる。そのため、アルゴリズムが適切な結果を生成する前に、毎秒３０画像のフレームレートで１〜２秒の初期化が必要である。

この方法は単純に、確定されたピクセル位置の背景履歴内に格納されているサンプルピクセル値が、選択された画像のそのピクセル位置におけるピクセル値と実質的にマッチする回数をカウントする。本明細書全体を通じて、「実質的にマッチする」とは、サンプルピクセル値が、選択された画像のピクセル値の周辺の所与の範囲内にあることを意味する。このＳＡＣＯＮ法では、この範囲は適応的であり、サンプルピクセル値に依存する。選択された画像のピクセル値が画像背景に属するものとして分類されるために、マッチしなければならない背景履歴内のサンプルピクセル値の所定の最小数に関して、この論文は、最小数は経験的に求められ、Ｎに依存すると述べている。

この最も近い従来技術における背景履歴更新は先入れ先出し方式で実行される。すなわち、現在のピクセル値は、背景履歴内の最も古いピクセル値と置き換わる。また、ゴースト物体を除去するために、あるピクセル位置が所定の回数にわたって前景であると分類されると、当該ピクセル位置は背景に属するものとして認識される。それに従って、そのピクセル位置の背景履歴は、そのピクセル位置にける直近のＮ個のピクセル値を用いて更新される。さらに、空間的コヒーレンスを確保するために、ブロブレベルにおける追加の更新メカニズムが存在する。このメカニズムは、接続された（隣接する）前景ピクセルのセットを取り扱う。静的前景ブロブ、すなわちそのサイズ及び中心が実質的に一定である前景ブロブも背景内に組み込まれる。しかしながら、空間的コヒーレンスを提供するこのような方法は、著しい追加の計算容量を必要とし、ブロブ検出と同程度の信頼性しかない。

しかしながら、ＳＡＣＯＮ法は、いくつかの重大な欠点を提示する。それらの欠点の中でも最も重大なことは、先入れ先出し背景履歴更新メカニズムに起因して、サンプル背景ピクセル値が固定の経過時間にわたって履歴内に格納されることである。

このため、この背景検出方法の挙動は、背景展開速度及び背景履歴内のサンプル値の数に依存して大きく変化する。

したがって、本発明の目的は、より広範囲の背景展開速度に適合する背景検出方法を提供することである。

この目的を達成するために、本発明の方法では、置き換えられるサンプルピクセル値のアドレスをランダムに選択する。これによって、ライフスパン方針がより円滑になる。当該ライフスパン方針の、履歴内のサンプル値の予測される残存ライフスパンに対して誘発される指数関数的な減衰は理論的観点からより良好であると共に、履歴サイズが小さい場合であっても、より広範囲の背景展開速度に関する本技法の適切な挙動を可能にする。

その上、現行の技術水準の決定論的方法は、バイアスに対して脆弱であると共に、先行するフィルタリングによって抑制されなければならないノイズによって悪影響を受けるが、このランダム技法にはノイズ耐性が本来備わっており、それによって、ピクセル値のこのようなフィルタリングが不要となる。したがって、本発明の方法は、決定論的プロセスで求められた境界が重なり合うことが多い前景物体の境界において、より鮮鋭なセグメント化結果をもたらす。また、特にノイズの多い画像データに対処するときに、本方法のロバスト性を著しく強化するというさらなる驚くべき利点を有する。

さらに、ＳＡＣＯＮ法は現在のピクセル値とサンプルピクセル値との間に適応的な比較閾値を必要とするが、本発明の方法は、すべてのピクセル値に対して同じ固定の比較範囲を用いて非常に満足のいく結果を達成するというさらなる驚くべき利点をも有する。これによって、ＳＡＣＯＮ法の単純性及び実用性に悪影響を及ぼす、さまざまな環境状況における画像内のすべてのピクセル値に対する効率的な背景検出のための閾値パラメータの複雑なセットを推定する必要がなくなる。

有利には、本発明の方法は、上記更新ステップを実行するか否かを、所定の背景履歴更新確率を用いてランダムに決定するランダム更新選択ステップをさらに含むことができる。これによって、ノイズ耐性を増大させ、時間挙動を改善すると共に、本発明の背景検出方法のバイアスを低減しながら、必要な計算量を低減することが可能となる。

本発明のさらなる目的は、冗長な初期化をすることなく背景履歴を完成させることである。本発明の方法の特定の実施形態では、上記背景履歴を構築するステップは、上記複数の画像の中の、上記選択された画像以外の少なくとも１つの画像内の隣接する複数のピクセル位置のピクセル値を読み取ることと、これらのピクセル値を、上記背景履歴の複数のアドレス内にランダムにソートしてサンプルピクセル値として格納することとを含むことができる。これによって、単一の画像を用いて完全な背景履歴初期化を提供することができ、本方法が信頼性のある背景検出の提供を開始するのに必要な時間が大幅に短縮される。ノイズ耐性及びバイアス耐性を増大させるために、上記隣接するピクセル位置を、確定されたピクセル位置の近傍内でランダムに選択することができる。

本発明のさらなる目的は、後処理をせずに、且つ意図的に相互接続されたピクセルのブロブを規定する必要なく、或る程度の空間的コヒーレンスを提供することである。これを達成するために、本発明の背景認識方法の有利な実施形態では、上記選択された画像内の上記確定されたピクセル位置の上記ピクセル値が、上記確定されたピクセル位置の履歴内の少なくとも上記所定数のサンプルピクセル値と実質的にマッチする場合に、別の複数のアドレスを含むと共に、各アドレス内にサンプルピクセル値が格納されるように構築された、隣接するピクセルに対応する背景履歴を、隣接するピクセルの上記背景履歴内のランダムに選択されたアドレスのサンプルピクセル値を、選択された画像内の確定されたピクセル位置のピクセル値と置き換えることによって更新する。有利には、上記隣接するピクセル背景履歴は、バイアスを回避するように、上記確定されたピクセルの近傍内でランダムに選択することができる。また有利には、本方法は、バイアスを回避しながら計算動作を低減するように、隣接ピクセル履歴を更新するか否かを、所定の隣接ピクセル背景履歴更新確率を用いてランダムに決定するランダム隣接ピクセル履歴更新選択ステップをさらに含むことができる。

背景履歴は複数のサンプルピクセル値を含むため、隣接ピクセル背景履歴内に誤って挿入された無関係の情報は本方法の精度に影響しない。さらに、観測値がさらに伝播するためにはその前にマッチングする必要があるため、無関係な情報が誤って拡散することが防止される。この自然な制限によって、誤差伝播が阻止される。

また、本発明の背景認識システムが適合する背景展開速度の範囲をさらに広げるために、本方法の有利な実施形態では、上記確定されたピクセル位置に対応すると共に複数のアドレスを含む少なくとも１つの補助履歴を、各アドレス内にサンプルピクセル値が格納されるように構築し、選択された画像の上記ピクセル値が背景履歴の少なくとも上記所定数のサンプルピクセル値に実質的にマッチしない場合に、本方法は、
− 選択された画像の上記ピクセル値を、上記補助履歴と比較するステップと、
当該ピクセル値が上記補助履歴内の少なくとも別の所定数のサンプルピクセル値と実質的にマッチする場合に、
− 補助履歴を更新するか否かを、背景履歴更新確率よりも高い補助履歴更新確率を用いてランダムに決定するステップと、
更新する場合に、
− 補助履歴内のランダムに選択されたアドレスのサンプルピクセル値を、選択された画像の上記ピクセル値と置き換えることによって、上記補助履歴を更新するステップと、
を含むことができる。

これによって、現在のピクセル値と比較することができる種々の時間応答特性を有する少なくとも１つの補助画像層が提供され、背景変化とさまざまな速度における動きとを区別することが可能になる。

有利には、少なくとも１つの補助履歴を、ゴースト抑制に使用することができる。シーンのまだ見ていない部分を最初に観測したときに、対応するピクセルが誤って前景として分類され、いわゆるゴーストデータを構成する。背景層のみを有する本発明の実施形態では、上述のように空間的一貫性を確保するために、背景履歴内に隣接するピクセル値の確定されたピクセルを挿入して、これらのゴーストピクセルを漸次背景に移す。しかしながら、この空間拡散プロセスは遅くなる可能性があり、隣接するピクセルが背景物体の境界におけるように大きな相違点を呈する場合には、効果がない可能性すらある。

この問題に対処するために、選択された画像の上記ピクセル値が、上記補助履歴の少なくとも上記別の所定数のサンプルピクセル値と実質的にマッチする場合に、本方法は、
− 選択された画像のピクセル値を用いて背景履歴も更新するか否かを、補助履歴更新確率よりも低い所定の背景埋め込み確率（background seeding probability）を用いてランダムに決定するステップと、
更新する場合に、
− 背景履歴内のランダムに選択されたアドレスのサンプルピクセル値を、選択された画像の上記ピクセル値と置き換えることによって、背景履歴を更新するステップと、
をさらに含むことができる。

これらの追加のステップは、背景履歴に新たな値を埋め込み、これによって物体内部のゴースト抑制のための空間拡散プロセスを加速させることができる。

また、背景検出に対する処理要件をさらに低減するために、有利な実施形態では、本発明の背景検出方法は、上記選択された画像を複数のサブサンプリング領域に分割するステップと、各サブサンプリング領域内から１つの確定されたピクセル位置を、サブサンプリング領域全体を表すものとしてランダムに選択するステップとを含むことができる。従来の方法としては、サンプルピクセルを規則的な格子上に位置するものとして選択することが提案されていた。線形モデルを使用する場合、これはナイキスト安定性に準拠するために予備的フィルタリングを必要とする。これには、実際には原画像に存在しない新たなピクセル値を導入し、したがって場合によっては望ましくないアーチファクトが導入されてしまうという不便な点があった。サンプリングされるピクセルをランダムに選択することによって、予備的フィルタリングが不要になり、このようなフィルタリングの結果生じる場合があるこのようなアーチファクトが回避される。

有利には、本方法は、パン又はズームのような画像の動きに応じて、上記画像内の別のピクセル位置の背景履歴を、上記確定されたピクセル位置に再割当てするステップをさらに含む。これによって、画像の動きに起因する明白な背景の動き、特に、撮像装置の移動のような大きな撮像装置の動きの補償が提供される。

有利には、既存の撮像装置は内蔵運動センサを組み込んでいることが多いため、再割当てされる背景履歴のピクセル位置は、撮像装置の運動センサによって検出される動きに基づくことができる。

有利には、既存の撮像装置には、ズーム値センサを有するズーム装置を備えつけることができるため、再割当てされる背景履歴のピクセル位置は、撮像装置のズーム値に基づくことができる。

有利には、既存の撮像装置には、ブロックマッチングアルゴリズムを実行する画像プロセッサを備えつけることができるため、再割当てされる背景履歴のピクセル位置は、たとえば標準ＭＰＥＧビデオ符号化プロセスにおいて使用されるようなブロックマッチングアルゴリズムによって得られる対応に基づいて決定することができる。

また、本発明は、本発明の画像背景認識方法を実行するようにプログラムされたデータ処理装置、データ処理装置が本発明による画像背景認識方法を実行するための命令セットを含むデータ記憶媒体、データ処理装置が本発明による画像背景認識方法を実行するための命令セットを含む、磁気的形態、電磁的形態、電気的形態及び／若しくは機械的形態における信号のセット、並びに／又は、データ処理装置が本発明による画像背景認識方法を実行するための命令セットを、磁気的手段、電磁的手段、電気的手段及び／若しくは機械的手段を介して伝送するプロセスにも関する。

具体的には、本発明の画像背景認識方法を実行するようにプログラムされた上記データ処理装置は、たとえばディジタルカメラのような撮像装置に内蔵することができる。

本発明の画像背景認識方法を実行するようにプログラムされた上記データ処理装置は、撮像装置をさらに備えるビデオゲームシステム又はビデオ監視システムに属することもできる。

「データ記憶媒体」とは、少なくとも特定の時間期間にわたって読出し装置によって読出し可能なデータを含むことが可能な任意の物理的媒体として理解される。このようなデータ記憶媒体の例は、磁気テープ及びディスク、（読出し専用及び記録可能又は書換え可能）光ディスク、読出し専用メモリチップ、ランダムアクセスメモリチップ及びフラッシュメモリチップのような論理回路メモリ、並びにさらには、化学メモリ、生化学メモリ又は機械メモリのような新種の（exotic）データ記憶媒体である。

「電磁」とは、無線波からＵＶ以上までの電磁スペクトルの任意の部分として理解され、コヒーレントな形態（レーザ、メーザ）又はインコヒーレントな形態のマイクロ波、赤外線及び可視光を含む。

「物体」とは、動物及び／又は人間を含む、実世界の任意の観測可能な要素として理解される。

ここで、本発明の特定の実施形態を、以下の図面を参照して例示であって非限定的な形態で説明する。

背景履歴及び隣接ピクセルを有する確定されたピクセルを含む画像を含む画像セットの概略図である。 本発明の背景検出方法の実施形態のフローチャート図である。 確定されたピクセルのピクセル値及び背景履歴のサンプルピクセル値の図である。 図３の背景履歴のサンプルピクセル値からランダムに選択された１つを現在のピクセル値と置き換えることによって背景履歴を更新した結果として生じる、可能な代替の背景履歴のサンプルピクセル値の図である。 図３の背景履歴のサンプルピクセル値からランダムに選択された１つを現在のピクセル値と置き換えることによって背景履歴を更新した結果として生じる、可能な代替の背景履歴のサンプルピクセル値の図である。 図３の背景履歴のサンプルピクセル値からランダムに選択された１つを現在のピクセル値と置き換えることによって背景履歴を更新した結果として生じる、可能な代替の背景履歴のサンプルピクセル値を有する図である。 パンに応じた背景履歴の再割当てを示す図である。 ズームインに応じた背景履歴の再割当てを示す図である。 ズームアウトに応じた背景履歴の再割当てを示す図である。 複数のサブサンプリング領域に分割された画像の概略図である。 確定されたピクセル位置についての背景履歴及び複数の補助履歴の図である。 本発明の代替的な背景検出方法の一部のフローチャート図である。 本発明の方法の実施形態を実行するようにプログラムされたデータ処理装置が内蔵されている撮像装置を示す図である。 本発明の方法の実施形態を実行するようにプログラムされたデータ処理装置に接続されている撮像装置を示す図である。

図１は、複数の画像Ｉのセットを示す。これらの画像は、たとえば撮像装置によって連続的にキャプチャされたものである。各画像Ｉは複数のピクセルから形成され、画像Ｉ内の各単一のピクセルは、専用のピクセル位置ｘ及びピクセル値Ｉ（ｘ）を有する。理解を容易にするために、添付の図面ではピクセル位置ｘは２次元として示されているが、任意の次元数を有することができる。たとえば３Ｄ画像の場合、ピクセル位置ｘは３つの次元を有する。例示の実施形態におけるピクセル値Ｉ（ｘ）は、多色画像を得るためのＲＧＢ又はＨＳＶの３つ一組の形態にある３次元である。しかしながら、代替的な実施形態では、任意の他の次元数を有することができる。確定されたピクセル１０１は、いくつかの隣接するピクセル１０２を有する。

観測ｔに対応する選択画像Ｉ_tでは、ピクセル１０１はピクセル値Ｉ_t（ｘ）を有する。ピクセル１０１のピクセル位置ｘのために、Ｎ個のアドレス１０４−１〜１０４−Ｎを有する背景履歴１０３が存在する。履歴内には、そのピクセル位置ｘにおける背景モデルを表すサンプルピクセル値ｂ₁（ｘ）〜ｂ_N（ｘ）が格納される。ここで、図２に示されるフローチャートを参照すると、ステップ２０１において、選択画像Ｉ_t内のピクセル値Ｉ_t（ｘ）を読み取り、ステップ２０２において、このピクセル値を背景履歴１０３と比較することによって、上記の選択画像Ｉ_t内のピクセル１０１が背景に属するか否かを判断することができる。この比較ステップ２０２を、３次元空間内のサンプルピクセル値ｂ₁（ｘ）〜ｂ₆（ｘ）を含むＮ＝６個のアドレスを有する背景履歴１０３と、ピクセル値Ｉ_t（ｘ）について図３に示す。確率密度関数を推定する代わりに、ピクセル値Ｉ_t（ｘ）を背景履歴１０３内の近くのサンプルピクセル値と比較し、それによって上記背景履歴１０３内の外れ値の影響を制限する。これを達成するために、ピクセル値Ｉ_t（ｘ）を中心とする半径Ｒの球Ｓ_R,t（ｘ）を規定する。次いで濃度、すなわち、この球とサンプルピクセル値の集合｛ｂ₁（ｘ），ｂ₂（ｘ），．．．，ｂ_N（ｘ）｝との共通部分集合の集合要素の数Ｃを求める。

この濃度Ｃが最小数以上である場合、ステップ２０３において、ピクセル１０１を背景に属するものとして分類する。したがって、背景認識の精度を決定する２つのパラメータは、比較閾値を形成する半径Ｒ、及び、上記最小マッチング濃度Ｃである。実験は、Ｎ＝６個のサンプルピクセル値について、単一の固定半径Ｒ及び最小濃度＝２が優れた性能をもたらすことを示している。これらのパラメータを背景検出中に適合させる必要はなく、画像Ｉ内の種々のピクセル位置ｘごとに変更する必要もない。このモデルの感度を、最小マッチング濃度Ｃとサンプルピクセル値ｂ₁（ｘ）〜ｂ_N（ｘ）の総数Ｎとの比を用いて調整することができる。

例示の実施形態ではＮ＝６であるが、代替的な実施形態ではＮは状況に応じて種々の数とすることができる。有利には、必須ではないが、Ｎは３〜５０の範囲内にあることができる。好ましい範囲は５〜３０と考えられ、特に好ましい実施形態ではＮ＝２０である。

図２のフローチャートに戻ると、次のステップ２０４において、ピクセル値Ｉ_t（ｘ）を背景履歴１０３の更新に使用するか否かをランダムに決定する。使用する場合、次のステップ２０５において更新を行う。この背景認識方法では保守的更新方式を使用する、すなわち、比較ステップ２０２においてピクセル１０１が背景に属すると確認される場合にのみ、その現在のピクセル値Ｉ_t（ｘ）を使用してその背景履歴１０３を更新する。経時的に正確な結果を達成すると共に、シーン内に現れる新たな物体を取り扱うために、背景履歴１０３は頻繁に更新しなければならない。この方法では、ピクセル値Ｉ_t（ｘ）を背景履歴１０３内のサンプルピクセル値ｂ₁（ｘ）〜ｂ_N（ｘ）と直接比較し、サンプルピクセル値に対する平滑化効果は存在しない。そのため、いずれのサンプルピクセル値を背景履歴１０３内に保持するか、及びどのように保持するかが重要である。

ランダム更新選択ステップ２０４では、背景履歴１０３内のサンプルピクセル値を効率的に置き換えるか否かを判断するために、ランダム技法を使用する。ピクセル１０１が背景に属するものと確認された場合でも、そのピクセル値Ｉ_t（ｘ）をランダムに使用して、背景履歴１０３内のサンプルピクセル値のうちの１つと置き換える。たとえば、１６分の１のランダム履歴更新確率を用いて置き換える。次いで、更新ステップ２０５において、ピクセル値Ｉ_t（ｘ）は、背景履歴１０３のランダムに選択されたアドレス１０４−ｉ内のサンプルピクセル値に置き換わる。ここで、ｉは１〜Ｎの乱数である。これを図４ａ〜図４ｃに示す。図４ａ〜図４ｃは、図３に示す背景履歴１０３に対する３つの代替の更新を示している。図４ａでは、ピクセル値Ｉ_t（ｘ）はサンプルピクセル値ｂ₃（ｘ）に置き換わっている。図４ｂでは、ピクセル値Ｉ_t（ｘ）は代わりにｂ₂（ｘ）に置き換わっている。一方、図４ｃでは、ピクセル値Ｉ_t（ｘ）はｂ₅（ｘ）に置き換わっている。

背景履歴１０３が更新される際に、サンプルピクセル値が保持される確率は以下の通りである。

更新ステップ２０５の後、この方法を、次の画像Ｉ_t+1内のピクセル１０１のピクセル値Ｉ_t+1（ｘ）に対して再び繰り返す。すべての連続する有効な更新ごとに、背景履歴１０３内の各サンプルピクセル値の予測される残存ライフスパンは指数関数的に減衰する。

撮像システムの小さな動き及び振動、或いは背景物体のゆるやかな展開のようないくつかの状況に対応するために、ピクセル１０１の背景履歴１０３と、ピクセル１０１の空間近傍Ｎ_G（ｘ）内にあるピクセル１０２の背景履歴との間に、或る空間的一貫性を導入することが好ましい。これらのピクセル１０２は、図１に示すように直接隣接するピクセルを含む場合もあるが、より広範な空間近傍Ｎ_G（ｘ）内にあるピクセルも含む場合もある。これを達成するために、隣接ピクセル背景履歴更新選択ステップ２０６では、次の第２の更新ステップ２０７においてランダムに選択された隣接ピクセル１０２の背景履歴の更新にピクセル１０１のピクセル値Ｉ_t（ｘ）を使用するか否かを、場合によっては更新選択ステップ２０４とは異なる確率を用いてランダムに決定してもよい。先行する更新ステップ２０５のように、上記背景履歴１０３のランダムに選択されたアドレス１０４−ｉにおけるサンプルピクセル値と置き換えることによって、背景履歴１０３を更新する。

しかしながら、先行する比較ステップ２０２を実行するために、最初に背景履歴１０３を構築する必要がある。特定の時間後では、背景履歴１０３内のすべてのサンプルピクセル値ｂ₁（ｘ）〜ｂ_N（ｘ）は以前の更新に由来するものになるであろうが、画像シーケンスの始まりにおいては、ピクセル１０１についてサンプルピクセル値として利用可能な先行するピクセルは存在しない。背景履歴１０３を構築するために、たとえば複数の画像Ｉのセットの最初の画像Ｉ₁を使用して、初期化ステップ２０８を実行する。この初期化ステップ２０８において、たとえば上記最初の画像Ｉ₁内のランダムに選択された隣接ピクセル１０２のピクセル値を、ピクセル１０１の背景履歴１０３のＮ個のアドレス１０４−１〜１０４−Ｎ内の初期サンプルピクセル値ｂ₁（ｘ）〜ｂ_N（ｘ）として選択する。したがって、冗長な初期化期間なしで、シーケンス内の最初の画像Ｉ₁から完全な背景モデルを構築することができる。この初期化ステップ２０８は、最初の画像Ｉ₁内の動いている物体に応答してゴースト物体が生成されるという欠点を有するが、後の更新によってこれらは時間と共に確実に消える。

初期化ステップ２０８と第２の更新ステップ２０７とにおいて、異なるサイズの空間近傍Ｎ_G（ｘ）から得られる隣接ピクセル１０２を使用することができる。たとえば、Ｎ＝２０個のサンプルピクセル値を含む背景履歴１０３を初期化するために、上記確定されたピクセル１０１の周囲の５×５、或いは７×７ピクセルの広範な空間近傍Ｎ_G（ｘ）を選択することができる。他方で、空間的一貫性を改善する第２の更新ステップ２０７においては、３×３ピクセル、或いは４つの最も近い隣接ピクセル１０２（左、右、上及び下）のみから成る狭い空間近傍Ｎ_G（ｘ）を選択することができる。

背景に属するものとして分類された上記画像Ｉ_t内のピクセル１０１のピクセル値と、背景に属するものとして分類されなかった上記画像Ｉ_t内のピクセル１０１とを使用して、所与の画像Ｉ_tについての合成背景画像Ｂ_tを作成することができる。
背景に属するものとして分類されなかった上記画像Ｉ_t内のピクセル１０１については、好ましくは上記背景履歴１０３内のランダムに選択されたアドレス１０４−ｉのサンプルピクセル値のうちの１つを使用する。

たとえば、画像Ｉ_tを背景画像Ｂ_tと比較する影検出後処理技法において、この合成背景画像Ｂ_tを使用することができる。及び／又は、ビデオ監視における破棄される物体（abandoned object）の検出に、この合成背景画像Ｂ_tを使用することができる。ビデオ監視における破棄される物体の検出では、破棄される物体を検出するために当業者に既知の様式で現在の画像と比較される基準画像Ｒを定期的に更新するために、背景画像Ｂ_tを使用する。

実際の状況では、撮像装置もシーン内の物体も、必ずしも固定されているとは限らない。いくつかの撮像装置は、並進ベクトルのような動きパラメータ、アフィン変換のパラメータ、或いはズーム値のような軸変換のパラメータを提供する場合がある。少なくとも最小のこのような動きがステップ２０９において検出される場合、これによって、図５ａ〜図５ｃに示すように、比較ステップ２０２に先立つ動き補償ステップ２１０において、別のピクセル１０５からの背景履歴を確定されたピクセル１０１に再割当てすることが可能となる。

上記動きパラメータは、ピクセル１０５のピクセル１０１に対する相対位置を決定する。これらは、撮像装置に内蔵されている運動センサ及び／若しくはズームセンサによって、並びに／又は、画像データに直接基づいて異なる画像Ｉ内の領域間の対応を構築する技法によって、得ることができる。たとえば、多くの消費者市場のディジタルカメラは、ディジタル動き補償のための運動センサを内蔵しており、このセンサをこれらの動きパラメータを得るのに使用することができる。また、ＩＳＯ ＭＰＥＧ標準規格に準拠する符号化器は、２つの画像の領域間の１対１対応を構築するためのブロックマッチングアルゴリズムを適用しており、このアルゴリズムをこれらの動きパラメータを得るのに使用することができる

この再割当てプロセスでは、２つのピクセル位置が互いに一意に対にされる場合は、背景履歴１０３は単純に、ピクセル１０５におけるその古いロケーションからピクセル１０１におけるその新たなロケーションに再割当てされる。しかしながら、画像Ｉ_tが先行する画像Ｉ_t-1内に存在しない少なくとも１つのピクセルを含む場合は、先行する画像Ｉ_t-1内の最も近いピクセルの背景履歴からのサンプルピクセル値、又は代替的にはランダムな値を使用してその背景履歴１０３を満たすことができる。

図５ａは、撮像装置のパン動作の事例における背景履歴再割当てを示す。撮像装置が画像平面に平行な軸上で右から左に移動すると、ピクセル１０５の背景履歴を、当該ピクセルの右側にある対応するピクセル１０１に再割当てする。それによって、撮像装置が動いているという事実にもかかわらず、それらのピクセル１０１について本発明の背景検出方法の一貫した結果が得られる。しかしながら、２つの連続する画像Ｉ_t-1、Ｉ_tにおいては、大部分のピクセルは双方の画像Ｉ_t-1、Ｉ_t内に見られるシーン間の共通部分に対応するが、Ｉ_t-1のいくつかのピクセルは画像フレームから外れ、その一方で、先行する画像Ｉ_t-1内で見えていたシーンの部分に対応する他のピクセルがＩ_t内に現れる。前者の背景履歴（例示の実施例では右側の背景履歴）は破棄するか、又は、後に使用するために保存することもできる。後者の背景履歴（例示の実施例では左側の背景履歴）は瞬時に初期化するか、又は、たとえば撮像装置が以前に反対方向に移動したことがあるのであれば、以前の記憶から復元することもできる。

図５ｂは、撮像装置のクローズアップ動作、すなわちズームインの事例における背景履歴再割当てを示す。この事例では、再割当てされた背景履歴は、画像Ｉ_tの中心から遠ざかる。先行する画像Ｉのエッジに近いピクセルの背景履歴は破棄するか、又は、後に使用するために保存することもできる。シーンの所与の部分に対応するピクセル数は画像Ｉ_t内では先行する画像Ｉ_t-1と比較して増加するため、画像Ｉ_t-1内のピクセル１０５の背景履歴を、画像Ｉ_t内のいくつかのピクセル１０１に再割り当てすることができる。

図５ｃは、撮像装置の後退する動作、すなわちズームアウトの事例における背景履歴再割当てを示す。この事例では、再割当てされた背景履歴は、画像Ｉ_tの中央に向かって移動する。シーンの所与の部分に対応するピクセル数は減少するが、先行する画像Ｉ_t-1内の複数のピクセル１０５のすべての背景履歴について、再割当てされる画像Ｉ_t内の対応するピクセル１０１が見つかるわけではない。画像Ｉ_tのエッジの近くには、シーンの先行する画像Ｉ_t-1においては見えなかった部分に対応するピクセルが現れる。これらのピクセルの履歴は瞬時に初期化するか、又は、たとえば撮像装置が以前にズームインしたことがあるのであれば、以前の記憶から復元することもできる。

ブロックマッチングアルゴリズムが動いている物体を検出する場合は、画像Ｉ_t内のその対応するピクセル値Ｉ_t（ｘ）を背景履歴更新から除外することができる。

本発明の第１の実施形態では、上述の方法は、画像セットの各画像Ｉのすべてのピクセルに対して実行される。しかしながら、状況によっては、完全な鮮明度の画像を使用することよりも処理速度が重要な場合もある。本方法はあらゆるスケールにおいて良好な性能を提供するため、各画像Ｉのピクセルセットから選択されるピクセルサブセットに対して本発明の方法を実行し、画像背景を検出することも可能である。すなわち、原画像データセットをサブサンプリングすることによって、画像はより低い解像度に低減される。このサブセット内のピクセルは、ランダムに選択することができる。図５は、これをどのようにして実行することができるかの一例を示す。図６の実施形態では、シーケンスの各画像Ｉは、複数のサブサンプリング領域６０１に分割される。各サブサンプリング領域６０１において、単一の確定されたピクセル１０１が、サブサンプリング領域６０１全体を現すものとしてランダムに選択される。画像セット内の各画像Ｉについて、このランダムピクセル選択が再度実行される。

図７及び図８に示す本発明の別の代替的な実施形態では、補助履歴１０３’、１０３’’、１０３’’’及び１０３^IVのセットが、各確定されたピクセル１０１のピクセル位置ｘについて構築される。本発明の代替的な実施形態では、種々の数の補助履歴を使用することができる。

これらの補助履歴補助履歴１０３’、１０３’’、１０３’’’及び１０３^IVのそれぞれは、背景履歴１０３のように、以下のパラメータを有する。
それぞれ上記追加の履歴１０３’、１０３’’、１０３’’’又は１０３^IV内のサンプルピクセル値について、利用可能なアドレス１０４’、１０４’’、１０４’’’又は１０４^IVの数Ｎ；
現在のピクセル値Ｉ_t（ｘ）が、サンプルピクセル値と実質的にマッチするとみなされるための、当該ピクセル値Ｉ_t（ｘ）と上記補助履歴１０３’、１０３’’、１０３’’’又は１０３^IV内のサンプルピクセル値との間の最大距離Ｒ；
ピクセル値Ｉ_t（ｘ）が上記補助履歴１０３’、１０３’’、１０３’’’又は１０３^IVに属するものとみなされるために実質的にマッチしなければならない、上記補助履歴１０３’、１０３’’、１０３’’’又は１０３^IV内のサンプル値の数Ｃ；
更新について考慮する場合は、上記補助履歴１０３’、１０３’’．．．又は１０３^IVを更新するためにピクセル値Ｉ_t（ｘ）を使用する確率を規定する履歴更新確率。

例示の実施形態では、ピクセル１０１の各補助履歴１０３’、１０３’’、１０３’’’及び１０３^IVは、異なるパラメータが選択され得る場合であっても、背景履歴１０３と同じ数Ｎ、最大距離Ｒ、及び閾値濃度Ｃを有することができる。しかしながら、各補助履歴１０３’、１０３’’、１０３’’’及び１０３^IVは、背景履歴更新確率よりも高いそれぞれ異なる補助履歴更新確率によって特徴付けられる。補助履歴更新確率が増大すると、連続する画像Ｉにおける変化への適応の遅さとして定義される、各補助履歴の慣性が減少する。したがって、大きい慣性を有する履歴は、より多数の画像Ｉにわたって観測されるピクセル値を考慮に入れる。一方、小さい慣性を有する履歴は、高速で変化する値をモデル化することが可能である。たとえば、背景履歴更新確率が１／１６の場合では、例示の実施形態の補助履歴１０３’、１０３’’、１０３’’’及び１０３^IVの更新に使用される補助履歴更新確率は、それぞれ、１／８、１／４、１／２及び１とすることができる。

上述の実施形態におけるように、背景履歴１０３のアドレス１０４−１〜１０４−Ｎを、最初の画像Ｉ₁内のランダムに選択された隣接ピクセル１０２のランダムにソートされた値で満たすことによって、背景履歴１０３を初期化することができる。しかしながら、上記最初の画像Ｉ₁内のすべてのピクセルが背景に属すると仮定され得る場合は、補助履歴１０３’、１０３’’、１０３’’’及び１０３^IVのそれぞれを、ランダムな値を用いて初期化することができる。その結果、補助履歴１０３’、１０３’’、１０３’’’及び１０３^IVは、更なる情報が利用可能になるとすぐに適応する。

図８に示すように、現在のピクセル値Ｉ_t（ｘ）を、対応する履歴１０３、１０３’、１０３’’、１０３’’’及び１０３^IVと階層的に比較する。背景履歴１０３から開始して、値Ｉ_t（ｘ）を、各履歴１０３、１０３’、１０３’’、１０３’’’及び１０３^IVと対照して再帰的にチェックする。

したがって、選択画像Ｉ_tのピクセル値Ｉ_t（ｘ）が上述の比較ステップ２０２において背景履歴１０３とマッチしなかった場合は、第１の補助履歴比較ステップ２０２’において、当該ピクセル値を第１の補助履歴１０３’と比較する。当該ピクセル値が、上記第１の補助履歴１０３’のアドレス１０４’−１〜１０４’−Ｎ内に格納されている少なくともＣ個のサンプルピクセル値と実質的にマッチする場合は、たとえば上述の１／８等の第１の補助履歴更新確率を用いるランダム更新選択ステップ２０４’において、次の第１の補助履歴更新ステップ２０５’において第１の補助履歴１０３’をピクセル値Ｉ_t（ｘ）を用いて更新するか否かが検討される。第１の補助履歴更新ステップ２０５’において、上記ピクセル値Ｉ_t（ｘ）は、第１の補助履歴１０３’のランダムに選択されたアドレス１０４’−１内のサンプルピクセル値と置き換わる。

しかしながら、ピクセル値Ｉ_t（ｘ）が上記第１の補助履歴１０３’内に格納されている上記少なくともＣ個のサンプルピクセル値とマッチしない場合は、第２の補助履歴比較ステップ２０２’’において、当該ピクセル値を第２の補助履歴１０３’’と比較する。ここでも、当該ピクセル値が、上記第２の補助履歴１０３’’内に格納されている少なくともＣ個のサンプルピクセル値と実質的にマッチする場合は、上述の１／４等のより高い更新確率を用いる類似のランダム更新選択ステップ（図示せず）に進み、最終的には第２の補助履歴１０３’’の類似の更新ステップ（図示せず）に進む。ピクセル値Ｉ_t（ｘ）が上記第２の補助履歴１０３’’内に格納されている少なくともＣ個のサンプルピクセル値と実質的にマッチしない場合は、同様の手順を、たとえば上述の１／２等のさらに高い更新確率を用いて第３の補助履歴１０３’’’に対して実行する。ピクセル値Ｉ_t（ｘ）が上記第３の補助履歴１０３’’’内に格納されている少なくともＣ個のサンプルピクセル値と実質的にマッチしない場合は、同様の手順を、たとえば上述の１等のさらに高い更新確率を用いて第４の補助履歴１０３^IVに対して実行する。

本発明の方法では、例示の実施形態の４つの補助履歴１０３’、１０３’’、１０３’’’及び１０３^IVのような各補助履歴について、背景履歴１０３に関して上述したものと同じ技法を援用して、空間的一貫性の確保、画像の動き補償、且つ／又は、空間サブサンプリングによる処理時間の低減を行うこともできる。

ブロックマッチングアルゴリズムが使用されるときは、ブロックマッチングアルゴリズムによって検出される動いている物体に対応するピクセルの少なくとも１つの補助履歴を、その動きに従って再割当てすることによって、この補助履歴の一貫性を向上させることができる。

画像Ｉ_tにおいて、補助履歴とマッチしたピクセル値Ｉ_t（ｘ）を有するピクセル１０１を使用して、おそらくは背景と前景との中間にある画像層を生成することができる。

少なくとも１つの補助履歴をゴースト抑制に使用することができる。この目的のために、補助履歴にマッチしたピクセル１０１のピクセル値Ｉ_t（ｘ）を使用して、背景履歴１０３又はより低くランク付けされている補助履歴を更新することができる。これも図８に示す実施形態において例示されており、ピクセル値Ｉ_t（ｘ）が第１の補助履歴１０３’とマッチする場合は、第１の補助履歴１０３’を更新する確率よりも低い、たとえば１／２０４８等の確率を用いる別の更新選択ステップ８０１において、次の更新ステップ８０２において背景履歴１０３を上記ピクセル値Ｉ_t（ｘ）を用いて更新するか否かが決定される。これによってゴーストデータ内部に、上述の空間拡散プロセスがゴーストを除去するのを助ける小さな背景種（background seeds）が挿入される。同じ手順を使用して、ステップ２０２’’において第２の補助履歴１０３’’とマッチしたピクセル値Ｉ_t（ｘ）を用いて第１の補助履歴１０３’を更新することができ、ステップ２０２’’’において第３の補助履歴１０３’’’とマッチしたピクセル値Ｉ_t（ｘ）を用いて第２の補助履歴１０３’’を更新することができ、以下同様である。

本発明の背景検出方法を、たとえばプログラマブルコンピュータのような撮像装置に接続されるデータ処理装置を利用して実行することができる。その場合、データ処理装置は、データ記憶媒体を使用して、又は磁気的形態、電磁的形態、電気的形態及び／又は機械的形態の信号として、この背景検出方法を実行するための命令を受信することができる。

本発明のさまざまな実施形態において、乱数が広範に使用されている。これらの数は、乱数生成器によって提供することができる。しかしながら、このような乱数を決定論的なコンピュータによって提供することはできないため、真の乱数生成器と類似の特性を有する疑似乱数生成器を代わりに使用することができる。別の代替形態では、以前に生成された乱数又は疑似乱数の大きな索引リストを使用することもできる。

本発明の背景検出方法を、たとえば、ビデオ監視、専門家及び／若しくは消費者向けのディジタルスチルカメラ及び／若しくはディジタルビデオカメラ、画像キャプチャインタフェースを使用するコンピュータ及びビデオゲーム装置、衛星撮像及び地球観測システム、自動画像解析システム並びに／又は医用画像システムに適用することができる。

図９は、本発明の方法を実行するようにプログラムされているデータ処理装置９０２を内蔵しているディジタルカメラという具体的な形態にある撮像装置９０１による本発明の可能な応用形態を示している。図１０は、本発明の方法を実行するようにプログラムされているデータ処理装置９０２を有するビデオゲームシステムと、ビデオ監視又は対話のために接続されている撮像装置９０１による本発明の別の可能な応用形態を示している。

本発明を具体的な例示の実施形態を参照して説明してきたが、特許請求の範囲において記載されるような本発明のより広い範囲から逸脱することなく、これらの実施形態にさまざまな変更及び変形を行うことができることは明らかであろう。したがって、本明細書及び図面は限定ではなく例示を意図するとみなされるべきである。

Claims (19)

1. 撮像装置によってキャプチャされてそれぞれが複数のピクセルのセットによって形成される複数の関連画像の中から選択された画像内の背景を検出する方法であって、
   − 前記複数の画像内の確定されたピクセル位置について、複数のアドレスを含む背景履歴を、各アドレス内にサンプルピクセル値が格納されるように構築するステップと、
   − 前記選択された画像内の前記確定されたピクセル位置に対応するピクセル値を、前記背景履歴と比較するステップと、
   前記選択された画像の前記ピクセル値が前記背景履歴の少なくとも所定数のサンプルピクセル値に実質的にマッチする場合に、
   − 前記確定されたピクセル位置を、画像背景に属するものとして分類するステップと、
   − 前記背景履歴のサンプルピクセル値のうちの１つを、前記選択された画像の前記ピクセル値と置き換えることによって、前記背景履歴を更新するステップと、
   を含み、
   置き換えられる前記サンプルピクセル値の前記アドレスは、ランダムに選択されることを特徴とする、撮像装置によってキャプチャされてそれぞれが複数のピクセルのセットによって形成される複数の関連画像の中から選択された画像内の背景を検出する方法。
2. 前記更新するステップを実行するか否かを、所定の背景履歴更新確率を用いてランダムに決定するランダム更新選択ステップをさらに含む、請求項１に記載の方法。
3. 前記確定されたピクセル位置に対応すると共に複数のアドレスを含む少なくとも１つの補助履歴を、各アドレス内にサンプルピクセル値が格納されるように構築し、
   前記選択された画像の前記ピクセル値が前記背景履歴の少なくとも前記所定数のサンプルピクセル値に実質的にマッチしない場合に、
   − 前記選択された画像の前記ピクセル値を、前記補助履歴と比較するステップと、
   該ピクセル値が前記補助履歴内の少なくとも別の所定数の前記サンプルピクセル値と実質的にマッチする場合に、
   − 前記補助履歴を更新するか否かを、前記背景履歴更新確率係数よりも高い補助履歴更新確率係数を用いてランダムに決定するステップと、
   更新する場合に、
   − 前記補助履歴内のランダムに選択されたアドレスのサンプルピクセル値を、前記選択された画像の前記ピクセル値と置き換えることによって、前記補助履歴を更新するステップと、
   をさらに含む、請求項２に記載の方法。
4. 前記選択された画像の前記ピクセル値が、前記補助履歴の少なくとも前記別の所定数のサンプルピクセル値と実質的にマッチする場合に、
   − 前記選択された画像の前記ピクセル値を用いて前記背景履歴を更新するか否かを、前記補助履歴更新確率よりも低い所定の背景埋め込み確率を用いてランダムに決定するステップと、
   更新する場合に、
   − 前記背景履歴内のランダムに選択されたアドレスのサンプルピクセル値を、前記選択された画像の前記ピクセル値と置き換えることによって、前記背景履歴を更新するステップと、
   をさらに含む、請求項３に記載の方法。
5. 前記背景履歴を構築するステップは、
   前記複数の関連画像の中の、前記選択された画像以外の少なくとも１つの画像内の隣接する複数のピクセル位置のピクセル値を読み取ることと、
   該ピクセル値を、前記背景履歴の前記複数のアドレス内にランダムにソートしてサンプルピクセル値として格納することと、
   を含む、請求項１〜４のいずれか一項に記載の方法。
6. 前記隣接する複数のピクセル位置は、前記確定されたピクセル位置の近傍内でランダムに選択される、請求項５に記載の方法。
7. 前記選択された画像内の前記確定されたピクセル位置の前記ピクセル値が、該確定されたピクセル位置の前記背景履歴内の少なくとも前記所定数のサンプルピクセル値に実質的にマッチする場合に、
   別の複数のアドレスを含むと共に、各アドレス内にサンプルピクセル値が格納されるように構築された、隣接するピクセルに対応する背景履歴を、
   該隣接するピクセルの該背景履歴内のランダムに選択されたアドレスの前記サンプルピクセル値を、前記選択された画像内の前記確定されたピクセル位置の前記ピクセル値と置き換えることによって更新する、請求項１〜６のいずれか一項に記載の方法。
8. 前記隣接するピクセルの位置は、前記確定されたピクセル位置の近傍内でランダムに選択される、請求項７に記載の方法。
9. 隣接ピクセル履歴を更新するか否かを、所定の隣接ピクセル背景履歴更新確率を用いてランダムに決定するランダム隣接ピクセル履歴更新選択ステップをさらに含む、請求項７又は８のいずれか一項に記載の方法。
10. − 前記選択された画像を複数のサブサンプリング領域に分割するステップと、
    − 各サブサンプリング領域内から１つの確定されたピクセル位置を、サブサンプリング領域全体を表すものとしてランダムに選択するステップと、
    をさらに含む、請求項１〜９のいずれか一項に記載の方法。
11. パン又はズームのような画像の動きに応じて、別のピクセル位置の背景履歴を、前記画像内の前記確定されたピクセル位置に再割当てするステップをさらに含む、請求項１〜１０のいずれか一項に記載の方法。
12. 前記再割当てされる背景履歴の前記ピクセル位置は、前記撮像装置の運動センサによって検出される動きに基づく、請求項１１に記載の方法。
13. 前記再割当てされる背景履歴の前記ピクセル位置は、前記撮像装置のズーム値に基づく、請求項１１又は１２に記載の方法。
14. 前記再割当てされる背景履歴の前記ピクセル位置は、ブロックマッチングアルゴリズムによって得られる対応に基づいて決定される、請求項１１に記載の方法。
15. 請求項１〜１４のいずれか一項に記載の画像背景認識方法を実行するようにプログラムされた、データ処理装置。
16. 請求項１５に記載のデータ処理装置が内蔵されている、撮像装置。
17. 少なくとも１つの撮像装置と、請求項１５に記載のデータ処理装置とを備える、ビデオ監視システム。
18. 少なくとも１つの撮像装置と、請求項１５に記載のデータ処理装置とを備える、ビデオゲームシステム。
19. データ処理装置が請求項１〜１５のいずれか一項に記載の画像背景認識方法を実行するための命令セットを含む、データ記憶媒体。

Images