JP2006318474A - 画像シーケンス内のオブジェクトを追跡するための方法及び装置 - Google Patents

Abstract

【課題】オブジェクトの境界又は輪郭の推定に基づいたセグメンテーションの効率性とオブジェクトに関係した色領域の追跡のロバストネスとを併せ持ったセグメンテーションとオブジェクト追跡のための少なくとも部分的に自動化された処理を提供することにより、人間のオペレータの関与を少なくすること。
【解決手段】空間領域において、基準画像と呼ばれるシーケンス内の１つの画像の中の前記オブジェクトを該オブジェクトの輪郭の推定によりセグメント化し、色空間内で基準画像内のセグメント化されたオブジェクトのピクセルに対応する値に基づいて、シーケンス内の他画像における前記オブジェクトの輪郭を追跡する。
【選択図】図１

Description

本発明は画像シーケンス内のオブジェクトを追跡するための装置及び方法に関する。本方法は特に画像シーケンスのポストプロダクションに適用されるものである。

多くの用途において、特にポストプロダクション、ビデオコーディング、及びビデオインデクシングの分野において、画像シーケンス内のオブジェクトをセグメント化及び追跡することが必要となることがある。複雑な形状をとることもあるオブジェクトのセグメンテーションと追跡は、現在のところ完全には解決されていない画像処理における２つの問題を成している。実際、現在の解決手段は、自動化された処理によってポストプロダクション用途に必要な正確度とロバストネスを達成することができない。したがって、特に色補正専用の用途でポストプロダクションのプラットフォームにおいて使用しうるセグメンテーション及び追跡のツールは動作が遅く、使用していてうんざりする。実際、許容しうる品質を持った結果を得るためには、人間のオペレータが少なからず関与することが必要である。これらのプラットフォームでは、オブジェクトは「領域」法と呼ばれる手法を用いてセグメント化される。この領域法は、オブジェクトの測色法上の内容に基づいてオブジェクトを背景から分離するものである。オペレータは、色相、彩度、明度（ＨＳＬ）のような所定の表現空間内で、オブジェクトのすべての色を含むが背景の色は含まない領域を分離しようとする。オペレータは、選択された領域の中に自らの色を持つピクセルの−例えば強調表示された−画像上での視覚的表現に導かれて、この色領域の領域画定を逐次改善していくことにより前進する。理想的には、これらすべてのピクセルは、改善プロセスの終了時には、セグメント化すべきオブジェクトに対応する画像の領域と一致しなければならない。このプロセスをオブジェクトの境界を示す窓に限定した場合でも、色に基づいたセグメンテーションは一般にかなりの程度のオペレータの関与を必要とする遅々としたうんざりするような操作である。
アメリカ合衆国特許第６５９０９９９号 D. J. Williams and M. Shah, "A Fast Algorithm for Active Contours and Curvature Estimation", CVGIP journal: Image Understanding, volume 55 no.1, January 1992, pp.14 - 26 P. Perez, C. Hue, J. Vermaak and M. Gangnet, "Color-Based Probabilistic Tracking", in proceedings of "European Conference on Computer Vision"conference, volume 1, pp.661 - 675, 2002

本発明の課題は上記の欠点のうちの少なくとも１つを多少とも解消することである。より特定的には、本発明は、オブジェクトの境界又は輪郭の推定に基づいたセグメンテーションの有効性とオブジェクトに関係した色領域の追跡のロバストネスとを併せ持ったセグメンテーションとオブジェクト追跡のための少なくとも部分的に自動化された処理を提供することにより、人間のオペレータの関与を少なくすることを課題としている。

上記課題は、空間領域において、基準画像と呼ばれるシーケンス内の１つの画像の中の前記オブジェクトを該オブジェクトの輪郭の推定によりセグメント化するステップと、前記色空間内で前記基準画像内のセグメント化された前記オブジェクトのピクセルに対応する値に基づいて、シーケンス内の他画像における前記オブジェクトの輪郭を追跡するステップを有することを特徴とする画像シーケンス内のオブジェクトを追跡する方法により解決される。

同様に、上記課題は、空間領域において、基準画像と呼ばれるシーケンス内の１つの画像の中の前記オブジェクトを該オブジェクトの輪郭の推定によりセグメント化するための手段と、前記色空間内で前記基準画像内のセグメント化された前記オブジェクトのピクセルに対応する値に基づいて、シーケンス内の他画像における前記オブジェクトの輪郭を追跡するための手段を有することを特徴とする画像シーケンス内のオブジェクトを追跡する装置により解決される。

本発明は画像シーケンス内のオブジェクトを追跡する方法を提供する。各画像は複数のピクセル又は像点を含んでおり、各ピクセル又は像点には、色空間と呼ばれる決められた表現空間内の少なくとも１つの値が対応付けられている。本方法は、
− 空間領域において、基準画像と呼ばれるシーケンス内の１つの画像の中のオブジェクトを該オブジェクトの輪郭の推定によりセグメント化するステップ、及び
− 色空間内で基準画像内のセグメント化されたオブジェクトのピクセルに対応する値に基づいて、シーケンス内の他画像におけるオブジェクトの輪郭を追跡するステップ
を有している。

好ましくは、オブジェクトの輪郭を追跡するステップは、
− 基準画像内のセグメント化されたオブジェクトを表すオブジェクト領域を色空間内に画定するステップと、
− バウンディングボックスと呼ばれるオブジェクトの境界を示す窓を基準画像内に画定するステップと、
− シーケンス内の他画像におけるバウンディングボックスの位置を追跡するステップと、
− シーケンス内の他画像の各々における並びに色空間内のオブジェクト領域におけるバウンディングボックスの位置に基づいて、シーケンス内の他画像内でオブジェクトをセグメント化するステップを含む。

有利には、シーケンス内の他画像内でオブジェクトをセグメント化するステップは、シーケンス内の１つの画像について、バウンディングボックス内に位置する画像の各ピクセルに、該ピクセルに対応する前記少なくとも１つの値が前記色空間内に画定された前記オブジェクト領域に属するか否かを示すラベルを対応付ける。

有利には、バウンディングボックスを追跡するステップは領域の色に基づいた特定の領域粒子フィルタリングアルゴリズムを用いて実行される。

ある１つの特徴によれば、基準画像内でオブジェクトをセグメント化するステップは動的輪郭に基づいたアルゴリズムを用いて実行される。

別の特徴によれば、基準画像内でオブジェクトをセグメント化するステップはレベルセットに基づいたアルゴリズムを用いて実行される。

好ましくは、基準画像はシーケンスの第１画像であり、色空間は以下の集合、
− （赤、緑、青）、
− （色相、彩度、明度）、及び
− （色相、彩度、バリュー）
の中に包含されている。

本発明はまた画像シーケンス内のオブジェクトを追跡する装置にも関する。各画像は複数のピクセル又は像点を含んでおり、各ピクセル又は像点には、色空間と呼ばれる決められた表現空間内の少なくとも１つの値が対応付けられている。この装置は、
− 空間領域において、基準画像と呼ばれるシーケンス内の１つの画像の中の前記オブジェクトを該オブジェクトの輪郭の推定によりセグメント化するための手段と、
− 前記色空間内で前記基準画像内のセグメント化された前記オブジェクトのピクセルに対応する値に基づいて、シーケンス内の他画像における前記オブジェクトの輪郭を追跡するための手段
を有している。

本発明はまた、シーケンスを処理するための手段とオブジェクト追跡のための装置とを有する画像シーケンスのポストプロダクションのための装置にも関する。

本発明は、ソース画像と呼ばれる画像のシーケンスの中のオブジェクトをセグメント化及び追跡する方法に関する。シーケンスの各画像はピクセル又は像点を有している。各ピクセルには、色空間と呼ばれる決められた表現空間内の少なくとも１つの値（例えば、明度の値）が対応付けられている。例えば、３つの値が以下の空間、すなわち、ＲＧＢ赤緑青空間、ＨＳＬ色相・彩度・明度空間、ＨＳＶ色相・彩度・バリュー空間内の画像の各ピクセルに対応付けられている。また、本発明による方法を変えてしまうことなく、画像ピクセルに３つより多くの値が対応付けられた色空間で作業することも考えられる。以下では、記述を簡単にするために、セグメント化すべきオブジェクトは１つであると見なす。本方法は、追跡の行われるシーケンス全体を通してオブジェクトが分離している限り、複数のオブジェクトに直接的に拡張可能である。オブジェクトをセグメント化及び追跡する方法は図１及び２に示されている。これらの図では、図示されたモジュールは、物理的に区別可能な単位に相応する場合もいない場合もあり得る機能単位である。例えば、これらのモジュール又はそれらのうちの幾つかは単一のコンポーネントにまとめてもよいし、又は同一のソフトウェアのさまざまな機能を構成するものであってもよい。あるいは、逆に、あるモジュールが別々の物理的実体から構成されていてもよい。本発明による方法は２つのメインステップに分かれている：
− 少なくとも１つの基準画像（例えば、シーケンスの第１ソース画像）においてオブジェクトをセグメント化する第１のステップ１０、ただし、このセグメンテーションは画像領域又は空間領域におけるオブジェクトの輪郭の推定により行われる；
− 色空間内でオブジェクトの輪郭を追跡するステップ１１。

あるいは、セグメンテーションステップ１０はセグメンテーションマスクの生成を可能にする。このマスクは、セグメント化されたオブジェクトにピクセルが属しているか否かを表すラベル（「オブジェクト」ラベル又は「背景」ラベル）をソース画像の各ピクセルに対応付けるバイナリ画像である。ステップ１１は、図２において参照番号２１〜２４が付された複数のステップを含んでいる。これらのステップは、色空間内において、ステップ１０で得られたオブジェクトの輪郭の内側にあるピクセルに対応した値を含んだ領域を画定し、これらのピクセルを背景のピクセルから区別するものである。その後、この領域は処理されたシーケンスに沿って追跡され、シーケンスの各ソース画像におけるオブジェクトのセグメンテーションは、基準画像内で計算された色空間の領域の内側にあるピクセルを識別することにより達成される。

この混成的解決手段は、色の識別に基づくセグメンテーションよりも速く、うんざりすることの少ない空間領域でのセグメンテーションと、空間領域での動き推定によるオブジェクトの輪郭の追跡よりも形状の変化に対してロバストな色空間における追跡とを結び付けたものである。その結果として、この解決手段はセグメンテーションとオブジェクト追跡のプロセスにおけるユーザの全体的な介入を少なくし、プロセスの有効性の改善を可能にする。

本方法の第１のステップ１０は、画像内のオブジェクトと背景との間のオブジェクト境界を推定することにより、基準画像（例えば、シーケンスの第１画像）において、オブジェクトと背景を区別するものである。この境界はオブジェクトの輪郭とも呼ばれる。この目的のためには、動的輪郭（「スネーク」とも呼ばれる）又はレベルセットに基づいた画像処理アルゴリズムを使用するのが有利である。これらのアルゴリズムはオブジェクトの輪郭の近似を正確な輪郭に自動的に収束させることができる。動的輪郭法によれば、オブジェクトの輪郭の近似は、オペレータによって、制御点−ポリゴンの頂点−により画定されるパラメータつき曲線−例えば、ポリゴン−の形で与えられる。より詳細には、オペレータは、スクリーンに表示されたオブジェクトをセグメント化することを望む場合、オブジェクト外部にオブジェクト境界の近似的輪郭をプロットする。動的輪郭に基づいた画像処理アルゴリズムを使用することにより、初期近似輪郭はセグメント化すべきオブジェクトの実際の輪郭に収束する。図３は、セグメント化すべきオブジェクトの輪郭３０と、収束プロセスの開始時点における又は収束プロセスの中間段階における動的輪郭３１を示している。動的輪郭は、この動的輪郭を形成する弧の端点に相当する一定数の制御点Ｖ_ｉにより画定される。動的輪郭がポリゴンによりモデル化される場合には、これらの弧は直線分であり、制御点の集合はこれらの線分の端点を含んでいる。図３においてＶ_ｉで参照されている制御点の数は、オブジェクトの輪郭の複雑さの関数として変化する。動的輪郭は画像内のパラメータつき曲線として定義され、動的輪郭曲線それ自体と画像に依存する外力とに基づいて計算された内力の影響の下でオブジェクトの輪郭に反復的に漸近していく。内力は曲線の形状が正則性条件を満たすように束縛し、外力は画像の内容に関連して曲線の位置を最適化する。これらの力の印加はエネルギーと呼ばれる汎関数を最小化することにより現れる。エネルギー汎関数の大域的最小化を行うことにより制御点の全集合の同時収束を得ることも理論的には可能だが、動的輪郭の収束は実際には非特許文献１において初めて提案されたグリーディーアルゴリズムを援用して達成される。このアルゴリズムによれば、エネルギーの最小化は動的輪郭が安定するまで各制御点上で繰り返し実行される。図３を参照すると、Ｖ_ｉは動的輪郭の制御点の現在位置を表している。したがって、グリーディーアルゴリズムは、Ｖ_ｉの近傍に画定された探索窓Ｆ_ｉの各制御点Ｖ_ｊについて、Ｖ_ｉをＶ_ｊで置き換えることにより得られた動的輪郭のエネルギーを計算し、新しい制御点として、最小エネルギーを供給する窓Ｆ_ｉの中にある制御点を選択することにより、Ｖ_ｉをオブジェクトの輪郭に収束させるものである。この窓の内部の各点は新しい制御点の位置の候補点である。したがって、制御点はエネルギーが最小となる候補点に向かって窓内を移動する。このプロセスは動的輪郭が収束するまですべての制御点に対して順次適用される。窓のサイズは、例えば、２１ピクセル×２１ピクセルで固定してよい。他の実施形態では、窓のサイズは異なっていてよい。使用される窓のサイズは目的の用途と処理される画像の解像度とに依存する。一般に、初期近似に必要とされる正確度を適度なレベルに維持するために、窓は解像度が高いほどより大きくなる。

制御点Ｖ_ｉのエネルギーＥ（ｉ，Ｖ_ｊ）は、例えば、Ｖ_ｉの近傍における各候補点Ｖ_ｊについて、以下の３つの項の加重和又は線形結合として定義される：

− 動的輪郭の曲率が大きくなり過ぎるのを防ぐことを目的とする二次正則化項Ｅ_{ｃｕｒｖａｔｕｒｅ}（ｉ，Ｖ_ｊ）、この項は差分により曲率を近似することにより定義することができる：

− 画像の前線の方向を推定された輪郭に対して平行にすることにより動的輪郭を前線に向かって引きつける勾配項Ｅ_{ｇｒａｄｉｅｎｔ}（ｉ，Ｖ_ｊ）：この項はＶ_ｊの近傍における勾配ベクトルＧ（Ｖ_ｊ）とＶ_ｉにおける外法線ｎ_ｅｘｔ（ｉ）との関数として計算することができる：

これらの項の重み付けは、オブジェクトの輪郭の特性の関数として、ユーザにより定義される。例えば形状が非常に不規則な場合には、ユーザは正則化項の重みを減らすことができる。上記のような動的輪郭によるセグメンテーションは、オブジェクトの輪郭の検出に本質的に依存している。有利には、結果として得られるセグメンテーションの品質とロバストネスを改善するために、色分布の均一性と動的輪郭曲線の両側のテクスチャーの均一性を促進する特別な項を追加することも可能である。多くの状況において、動的輪郭法はセグメンテーションプロセスを自動化することによりセグメンテーションプロセスを容易にすることができる。また、動的輪郭の収束が速いため、プロセスは加速される。さらに、オブジェクトの輪郭を推定する際の誤差の補正は、オペレータ側で、アルゴリズムが正しく収束しなかった画像区域における動的輪郭の制御点の僅かな調整をいくつかするだけでよい。また、動的輪郭に類似したアルゴリズムを使用した方が、専ら色空間内での識別に基づいたセグメンテーションを使用するよりも効果的である。実際、オペレータは画像に対して直接に、また色空間を通して間接的に作業するので、色空間内でのセグメンテーションとソース画像における結果の視覚化との間を行ったり来たりしなくて済む。さらに、色に基づいた識別基準に加えて、オブジェクトの境界において画像内の前線の存在を考慮するので、セグメンテーションプロセスの信頼性とロバストネスが改善される。本発明に従って、局所的正確度の要求と適合しない局所的正確度の低下が輪郭において生じるとすぐに、推定された輪郭をオペレータが手動で調整する（例えば、いくつかの制御点の位置を変更することにより）ことができるように、セグメンテーションの結果をディスプレイ装置上で視覚化すると有利である。

オブジェクトを追跡するステップ１１は色空間内で実行される。色空間内でのこの追跡は、動き推定を必要とする空間領域内でのオブジェクトの追跡よりもオブジェクトの輪郭の形状の急速な変化に対してロバストである。空間領域内でのオブジェクト追跡法に比べて、色空間内での追跡はオブジェクトの形状の急速な変化と、動き推定では予測することのできない変化（非剛性オブジェクト、別の前景オブジェクトがオブジェクトを遮る、画像平面外での３Ｄ運動）とに対するロバストネスが大きいという利点を示す。

ある１つの実施形態では、色空間内でオブジェクトを追跡するステップは図２に示されている４つのステップを含む。第１のステップ２１は、基準画像において、ステップ１０で推定されたオブジェクトの輪郭に基づいて色空間をオブジェクト領域と背景領域の２つの領域に分割する。色は決められた空間（例えば、ＲＧＢ、ＨＳＶ）で表現されるので、このステップは、この色空間内にオブジェクト領域を画定するために、この空間内で、オブジェクトに属するピクセル、すなわち、セグメント化されたオブジェクトの境界を定める輪郭の内側にあるピクセルに対応した色を分離するものである。背景領域はオブジェクト領域に割り当てられていない色により画定される。色空間内のオブジェクト領域は、例えば、ステップ１０で境界が定められたオブジェクトの輪郭の内側にある点の色ヒストグラムの台により画定される。シーケンス内でのオブジェクトの追跡を色の変化と特に照明の変化とに対してよりロバストにするためには、オブジェクトの近傍における背景の色ヒストグラムの台も考慮することによって色空間内にオブジェクト領域を画定すると有利である。考え方としては、色空間内で、オブジェクトの色ヒストグラムの台により画定された領域をオブジェクトのヒストグラムの台とオブジェクトの近傍における背景のヒストグラムの台との間の分離線まで拡大するというものである。実施の手順としては、オブジェクトの色領域を、オブジェクトのヒストグラムの台までの距離がオブジェクトの近傍における背景の色ヒストグラムの台までの距離よりも短くなるような色空間の点の集合として定義する。

ステップ２２は、バウンディングボックスと呼ばれるオブジェクトの境界を示す窓を基準画像内に画定するものである。この窓により、ビデオシーケンスに沿ってずっとオブジェクトを追跡することができる。この窓は単純な幾何学形状、一般には長方形又は楕円形として画定される。形状の選択は基準ソース画像内で推定されたオブジェクトの輪郭の幾何学的パラメータの関数として自動的に行ってもよい。バウンディングボックスの寸法は、推定された輪郭までの距離が最小となることが保証されるように決定される。

次のステップ２３はシーケンスの各画像においてバウンディングボックスを追跡するものである。このステップは高い正確度を要求しない。実際、色空間内での良好な識別特性を維持するには、この窓がシーケンスに沿ってオブジェクトの外側に留まり、オブジェクトの輪郭から余りに遠く離れないようにするだけで十分である。したがって、追跡は、少数のパラメータしか必要とせず、かつ計算負荷の点でもロバストで低コストのオブジェクト追跡アルゴリズムを用いて実行することができる。「平均移動」又は「粒子フィルタリング」はこのようなアルゴリズムの例である。これらの手法では、オブジェクトは、オブジェクトの輪郭を粗く近似する、例えば長方形の、窓の内側の色分布を表す確率分布によってモデル化される。基準分布と呼ばれる色分布が基準画像において推定される。たいていの場合、窓の追跡はオブジェクトの並進成分とスケールパラメータの変化とにだけ関わっている。シーケンスの各画像において、オブジェクトの輪郭を近似する窓の位置及びサイズは、推定された窓の内側の色分布が基準分布に最も良く一致するように推定される。

「平均移動」アルゴリズムは特許文献１に記載されている。このアルゴリズムは本発明に適しており、現在画像内の窓の内側の色分布と基準分布との間の距離が最小化されるように、基準画像に続く画像においてバウンディングボックスの位置及びサイズを決定する。このアルゴリズムによれば、画像内での窓の位置は前画像において決定された窓の最終位置で初期化される。その後、窓の内側の色分布と基準分布との間のBhattacharrya係数を最大化するために、窓は繰り返し動かされる。２つの分布は窓の内側にあるｎ個のピクセル{ｘ_ｉ}_{ｉ＝１．．ｎ}に基づいて構成された色ヒストグラムにより推定される。このヒストグラムを、各ピクセルｘ_ｉにこのピクセルの色に対応する階級（又は「ビン」）のインデックスｂ（ｘ_ｉ）を対応付ける関数ｂとして定義し、さらに、特性幅ｈのカーネル関数Ｋ（ｘ）＝ｋ（‖ｘ‖^２）、例えば、

を定義すれば、色ｕに関して位置ｙを中心とした窓の内側の色分布の値は次の式によって定義される：

この式で、Ｃ_ｈは

で定義される正規化定数である。Bhattacharrya係数の最大化はオブジェクトの境界を示す窓のサイズのさまざまな値について実行され、Bhattacharrya係数の最大値を最大化するサイズが選択される。

より詳細には、「平均移動」アルゴリズムは、オブジェクトの色ｕの分布{ｑ_ｕ}_{ｕ＝１．．ｍ}と前画像において推定された窓の位置ｙ_０が与えられると、以下のステップを適用する：
１．現在画像内の窓の中心位置をｙ_０で初期化する；
２．ｙ_０を中心とした現在画像の窓の中の色分布ｐ_ｕ（ｙ_０）を推定する；

４．重みｗ_ｉを以下の式に基づいて導出する：

ここで、
− δはクロネッカーのデルタ関数であり、
− ｂはｘ_ｉに位置するピクセルにこのピクセルの色に対応する階級（又は「ビン」）の値を対応付ける関数である；
５．以下の式に従って窓の新しい位置ｙ_１を導出する：

ここで、
− ｇ（ｘ）はカーネルＫ（ｘ）＝ｋ（‖ｘ‖^２）に対応するプロフィールであり、
− ｈはカーネルＫ（ｘ）の特性幅であり、
− ｎはバウンディングボックス内のピクセルｘ_ｉの数である；
６．ｙ_１を中心とした現在画像の窓の中の新たらしい色分布ｐ_ｕ（ｙ_１）を推定する；

８．ρ（ｐ_ｕ（ｙ_０），ｑ_ｕ）＜ρ（ｐ_ｕ（ｙ_１），ｑ_ｕ）である限り、ｙ_１を（ｙ_０＋ｙ_１）／２で置き換える；
９．‖ｙ_１−ｙ_０‖＜εならば、現在画像内での窓の位置はｙ_１であり、アルゴリズムは停止する。そうでなければ、アルゴリズムがステップ１で再開し、それ以降は窓の基準位置としてｙ_０の代わりにｙ_１が使用される。

窓のサイズは、初期サイズの小数倍（例えば、初期の窓サイズの０．９、１．０、及び１．１倍）のさまざまな窓サイズで上記アルゴリズムを収束させることにより決定される。使用される窓のサイズは、収束後のBhattacharrya係数の最大値を最も大きくするサイズである。

バウンディングボックスを追跡するために粒子フィルタリング法を使用してもよい。この方法は非特許文献２により詳細に記載されている。バウンディングボックスを追跡するアルゴリズムの不正確さを回避することを可能にする有利な解決手段は、バウンディングボックスの縁部にあるオブジェクトに属する色の存在を検出することである。この状況では、窓の縁部における色とオブジェクトの色とがオーバーラップしないという制約条件が満たされるまで窓を漸進的に拡大することにより、動き推定の欠陥を修正することが可能である。また、アルゴリズムが発散した場合にオペレータが追跡を中断して、窓を正しく再配置し、追跡を続けることができるように、シーケンスに沿ったバウンディングボックスの発展を表示することも有利である。

ステップ２４は、シーケンスに沿ったバウンディングボックスの追跡と、色空間内に画定され基準画像において識別されたオブジェクト領域とに基づいて、シーケンスの各画像においてオブジェクトをセグメント化する。より詳細には、このステップは、シーケンスの各ソース画像について、ステップ２１において識別されたオブジェクト領域又は背景領域の一方におけるピクセルの色のメンバシップの関数として、各ピクセルに２つのラベル「オブジェクト」又は「背景」の一方を対応付けることにより、バウンディングボックス内に二値分類マップを構成する。有利には、クロージングやオープニングのような数学的モルフォロジ事後処理（又は後処理）をこの二値マップに施すことにより、二値マップを「きれいにする」ことができる。この後処理は小さな孤立したゾーンを除去する効果を有している。

有利には、色空間内のオブジェクト領域は周期的に更新される。オブジェクトの追跡は、オブジェクトを色空間内の近傍から区別するオブジェクト領域が不変と見なされる複数のサブシーケンスに対して行われる。この更新により、シーケンスに沿って色を変化させる照明の変化と、オブジェクトに対する相対的運動により生じるオブジェクト近傍における背景の変化を回避することが可能になる。

本発明はまた、上記の方法を実施するセグメンテーション及び追跡装置にも関係している。この装置は図４において参照番号４０で示されている。図４には、この装置の必須の構成要素しか示されていない。装置４０は、特に、ランダムアクセスメモリ４２（ＲＡＭ又は類似のコンポーネント）、読出し専用メモリ４３（ハードディスク又は類似のコンポーネント）、マイクロプロセッサや類似のコンポーネントのような処理ユニット４４、入出力インタフェース４５、及びマンマシンインタフェース４６を有している。これらの構成要素はアドレス及びデータバス４１により結合されている。読出し専用メモリ４３には本発明による方法のステップ１０及び１１を実施するアルゴリズムが格納されている。電源を投入すると、処理ユニット４４がこれらのアルゴリズムの命令をロードし、実行する。ランダムアクセスメモリ４２には、特に、器具の電源投入時にロードされる処理ユニット４４を動作させるためのプログラムと、処理される画像とが格納されている。入出力インタフェース４５は入力信号（すなわち、ソース画像のシーケンス）を受信し、本発明による方法のステップ１０及び１１によるオブジェクトの追跡の結果を出力する機能を有している。この装置のマンマシンインタフェース４６は、局所的正確度の要求と適合しない局所的正確度の低下が輪郭において生じるとすぐに、推定された輪郭をオペレータが手動で調整することができるようにする。各画像におけるセグメンテーションの結果はランダムアクセスメモリに格納され、その後の処理に備えてアーカイブされるように読出し専用メモリに転送される。マンマシンインタフェース４６は特にコントロールパネルとディスプレイスクリーンを有している。色補正専用の装置の場合には、コントロールパネルは、ライトペンと「ボール」のような色成分の利得の調整を可能にするインタフェースエレメントを有する改良キーボードである。

このオブジェクトのセグメンテーション及び追跡のための装置はまた、図５において参照番号５０で示されている画像シーケンスポストプロダクション装置において使用することもできる。この場合、装置４０により供給された情報は、ポストプロダクションの際にビデオシーケンス−例えばフィルム−を処理手段５１によって処理する際に使用される。これらの手段により、以下の処理のうちの１つを実行することが可能となる：
− 場面（例えば、顔）の中のオブジェクトのショットを変更する二次的色補正；
− 別の場面に挿入するためにある場面から特定のオブジェクトを抽出するビデオミキシング（英語では“ｃｏｍｐｏｓｉｔｉｎｇ”）；
− 特殊効果（例えば、前景オブジェクトを除去し、背景で置き換える）；及び／又は
− 映画の修復、より詳細には、フィルム上のキズから生じる画像内の劣化したゾーンの除去。

本発明はポストプロダクション用途に限定されておらず、以下のような他のさまざまな用途にも使用することができる：
− ビデオコーディング：ただ１つのフレームにおいてだけオブジェクトをコーディングし、その後は形状と位置の変化のみを伝送することにより圧縮率を改善する；
− インデクシング：画像の内容に意味的に関連する情報の抽出；
− より一般的に、画像内の各オブジェクトに適応した処理を必要とするすべての処理。

オブジェクトをセグメント化及び追跡する本発明による方法を示す。 オブジェクトを追跡するステップのブロック図を示す。 動的輪郭と推定しようとするオブジェクトの輪郭の図を示す。 オブジェクトをセグメント化及び追跡する方法を実施する装置の一例を示す。 画像シーケンスのポストプロダクションのための装置のブロック図を示す。

符号の説明

４０ オブジェクト追跡装置
４１ アドレス及びデータバス
５０ ポストプロダクション装置
５１ 処理手段

Claims (13)

1. 画像シーケンス内のオブジェクトを追跡する方法であって、各画像は複数のピクセル又は像点を含んでおり、各ピクセル又は像点には、色空間と呼ばれる決められた表現空間内の少なくとも１つの値が対応づけられており、該方法は、
   − 空間領域において、基準画像と呼ばれるシーケンス内の１つの画像の中の前記オブジェクトを該オブジェクトの輪郭の推定によりセグメント化するステップ（１０）と、
   − 前記色空間内で前記基準画像内のセグメント化された前記オブジェクトのピクセルに対応する値に基づいて、シーケンス内の他画像における前記オブジェクトの輪郭を追跡するステップ（１１）を有することを特徴とする、画像シーケンス内のオブジェクトを追跡する方法。
2. 前記オブジェクトの輪郭を追跡するステップ（１１）は、
   − 前記基準画像内のセグメント化されたオブジェクトを表すオブジェクト領域を前記色空間内に画定するステップ（２１）と、
   − バウンディングボックスと呼ばれる前記オブジェクトの境界を示す窓を前記基準画像内に画定するステップ（２２）と、
   − シーケンス内の前記他画像における前記バウンディングボックスの位置を追跡するステップ（２３）と、
   − シーケンス内の前記他画像の各々における並びに前記色空間内の前記オブジェクト領域における前記バウンディングボックスの位置に基づいて、シーケンス内の前記他画像内で前記オブジェクトをセグメント化するステップ（２４）を含む、請求項１記載の方法。
3. シーケンス内の前記他画像内で前記オブジェクトをセグメント化するステップ（２４）は、シーケンス内の１つの画像について、前記バウンディングボックス内に位置する前記画像の各ピクセルに、該ピクセルに対応する前記少なくとも１つの値が前記色空間内に画定された前記オブジェクト領域に属するか否かを示すラベルを対応付ける、請求項２記載の方法。
4. 前記領域の色に基づいた領域粒子フィルタリングアルゴリズムを用いて、前記バウンディングボックスを追跡するステップ（２３）を実行する、請求項１から３のいずれか１項記載の方法。
5. 平均移動アルゴリズムを用いて、前記バウンディングボックスを追跡するステップ（２３）を実行する、請求項１から３のいずれか１項記載の方法。
6. 動的輪郭に基づいたアルゴリズムを用いて、前記基準画像内で前記オブジェクトをセグメント化するステップ（１０）を実行する、請求項１から５のいずれか１項記載の方法。
7. レベルセットに基づいたアルゴリズムを用いて、前記基準画像内で前記オブジェクトをセグメント化するステップ（１０）を実行する、請求項１から５のいずれか１項記載の方法。
8. 前記基準画像はシーケンスの第１画像である、請求項１から７のいずれか１項記載の方法。
9. 前記色空間は以下の集合、
   − （赤、緑、青）、
   − （色相、彩度、明度）、及び
   − （色相、彩度、バリュー）
   の中に包含されている、請求項１から８のいずれか１項記載の方法。
10. 画像シーケンス内のオブジェクトを追跡する装置（４０）であって、各画像は複数のピクセル又は像点を含んでおり、各ピクセル又は像点には、色空間と呼ばれる決められた表現空間内の少なくとも１つの値が対応づけられており、該装置は、
    − 空間領域において、基準画像と呼ばれるシーケンス内の１つの画像の中の前記オブジェクトを該オブジェクトの輪郭の推定によりセグメント化するための手段（４１，４２，４３）と、
    − 前記色空間内で前記基準画像内のセグメント化された前記オブジェクトのピクセルに対応する値に基づいて、シーケンス内の他画像における前記オブジェクトの輪郭を追跡するための手段（４１，４２，４３）を有することを特徴とする、画像シーケンス内のオブジェクトを追跡する装置。
11. 請求項１から９のいずれか１項記載の追跡方法を実施する、請求項１０記載の装置。
12. 前記シーケンスを処理するための手段（５１）と請求項１０記載のオブジェクト追跡のための装置（４０）とを有することを特徴とする、画像シーケンスのポストプロダクションのための装置。
13. 前記処理手段（５１）は色補正手段である、請求項１２記載の装置。