JP2001229390A

JP2001229390A - ピクセル化されたイメージをセグメント化する方法および装置

Info

Publication number: JP2001229390A
Application number: JP2000393856A
Authority: JP
Inventors: He Hongu Ki; へホングキ; S Nic Holliman; エス．ホリマンニック
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-01-06
Filing date: 2000-12-25
Publication date: 2001-08-24
Anticipated expiration: 2020-12-25
Also published as: US20020037103A1; GB0000155D0; GB2358098A; EP1115254A2; US6819796B2; EP1115254A3; JP3862140B2

Abstract

(57)【要約】【課題】イメージまたはシーケンスのイメージの前面
領域および背景領域をセグメント化するロバストな技術
を提供する。【解決手段】画素化されたイメージをセグメント化す
る方法は、（ａ）第１の基準イメージから少なくとも１
つの第１領域を選択するステップと、（ｂ）上記少なく
とも１つの第１領域に含まれる画素の値から、上記画素
のうちの第１の所定の割合の画素が、第１の閾値の第１
の側にある値を有するような第１の閾値を得るステップ
と、（ｃ）上記イメージの各画素と非遮蔽背景のイメー
ジの対応する画素との差分として、差分イメージを形成
するステップと、（ｄ）上記差分イメージ画素の値が上
記第１の閾値の上記第１の側にあり、且つ、第１の所定
の数よりも多くの数の近隣差分イメージ画素の値が上記
第１の閾値の上記第１の側にある場合、各差分イメージ
画素を、少なくとも１つの第１タイプの領域に割り当て
るステップと、を含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ピクセル化された
イメージを、少なくとも１つの前面領域および少なくと
も１つの背景領域へとセグメント化する方法および装置
に関する。このような技術は、ビデオ圧縮の分野におい
て、データ速度を低減させるためおよび／または前面領
域の圧縮品質の向上のために使用され得る。このような
技術はまた、セグメント化された背景を、別の背景イメ
ージまたは背景シーンの別のシーケンスと置き換えるこ
とにより、新たなイメージシーケンスを構成するために
使用され得る。さらに考え得るアプリケーションは、ビ
デオ通信、ビデオ会議、テレビ放送、インターネットマ
ルチメディアアプリケーション、ＭＰＥＧ−４アプリケ
ーション、顔検出アプリケーション、およびオブザーバ
トラッキングオートステレオスコピック３Ｄディスプレ
イ等のリアルタイムビデオトラッキングシステムを含
む。このような技術の具体的な用途は、マルチメディア
アプリケーション用の、デジタルビデオカメラおよび他
のデジタルイメージ撮像・記録装置である。このような
装置の一例は、Ｓｈａｒｐ（登録商標）Ｉｎｔｅｒｎ
ｅｔＶｉｅｗＣａｍである。

【０００２】

【従来の技術】多くの公知のイメージ処理・解析アプリ
ケーションは、通常は一時的にアクティブである「前
面」オブジェクトと比較的静的な「背景」領域とを含む
イメージシーケンスに関与する。前面オブジェクトが移
動するおよび／または形を変えると、背景シーンの一部
が隠れるか、かつ／または、現れる。これらのアプリケ
ーションが、イメージを前面領域および背景領域へとセ
グメント化する能力を有するのは非常に有用である。

【０００３】Ｓｈａｒｐ（登録商標）Ｃｏｒｐｏｒａ
ｔｉｏｎＩｎｔｅｒｎｅｔＶｉｅｗＣａｍＶＮ−
ＥＺ１は、マルチメディアアプリケーション用に製造さ
れたＭＰＥＧ−４デジタルレコーダである。このレコー
ダにより、コンピュータユーザは、ホームページ、イン
ターネット放送、および電子メール通信等の自分のマル
チメディアアプリケーションに動画を取り込むことがで
きる。このレコーダは、ＭＰＥＧ−４デジタル動画圧縮
規格およびＭｉｃｒｏｓｏｆｔ（登録商標）Ａｄｖａｎ
ｃｅｄＳｔｒｅａｍｉｎｇＦｏｒｍａｔを用いて、
サイズが小さく、したがってインターネット配信のため
により実用的な動画ファイルを形成する。ビデオデータ
は、約１時間の記録時間を提供するＳｍａｒｔＭｅｄｉ
ａ^TMメモリカードに記録される。

【０００４】例えば、セグメント化が上手くいくと、前
面領域および背景領域に異なる圧縮技術を使用すること
ができる。そして、より高い圧縮比が達成され得、前面
領域において、改良された品質で、より長い記録時間が
可能になる。さらに、背景領域を他のシーンと置き換え
て、消費者をいっそう惹き付ける特殊効果を生成し得
る。

【０００５】初期のシステムは、前面オブジェクトの背
後にある均一に着色されたスクリーンまたは明るく照明
されたバッキング（ｂａｃｋｉｎｇ）等の、慎重に制御
された背景を用いることによりセグメント化を行った。
例えば、ＵＳ５８０８６８２は、公知の色によって均一
に照明された特殊背景（ｓｐｅｃｉａｌｂａｃｋｇｒ
ｏｕｎｄ）から前面オブジェクトをセグメント化するデ
ータ圧縮システムを開示している。任意の色を使用し得
るが、青が最もよく用いられる。したがって、このタイ
プの着色されたバッキングは、しばしば、ブルーバッキ
ング（ｂｌｕｅｂａｃｋｉｎｇ）と呼ばれる。その後、
前面オブジェクトは、周知のクロマキー技術を用いてセ
グメント化され得る。

【０００６】

【発明が解決しようとする課題】着色された大きなバッ
キング上において、均一な照明を実現するのは簡単な問
題ではない。ＵＳ５４２４７８１は、線形イメージ構成
システム（ｌｉｎｅａｒｉｍａｇｅｃｏｍｐｏｓｉｔ
ｉｏｎｓｙｓｔｅｍ）を開示している。このシステム
は、エッジグロー、エッジダークニング、エッジディテ
ールのロス、および他の異常等の損失を引き起こすこと
なく、非均一な輝度および／または着色されたバッキン
グの色を補正する。

【０００７】白黒イメージについて、制御された背景を
用いて、前面オブジェクトおよび背景シーンを２つの異
なる範囲のグレースケールに分離しようとすることが公
知である。通常、グレイレベルのヒストグラム内に深い
谷を見つけることにより、セグメント化が達成され得
る。ＮｏｂｕｙｕｋｉＯｔｓｕの”Ａｔｈｒｅｓｈ
ｏｌｄｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｆｒｏｍ
ｇｒｅｙ−ｌｅｖｅｌｈｉｓｔｏｇｒａｍｓ”，Ｉ
ＥＥＥＴｒａｎｓ．ｏｎＳｙｓｔｅｍｓ，Ｍａ
ｎａｎｄＣｙｂｅｒｎｅｔｉｃｓ，Ｖｏｌ．Ｓ
ＭＥ−９，Ｎｏ．１，Ｊａｎｕａｒｙ１９７９
ｐｐ．６２−６６は、背景から前面オブジェクトを
セグメント化する最適な閾値を見つける方法を開示して
いる。添付の図面の図１は、このタイプのヒストグラム
を示す。図１において、ｈ（ｔ）は画素数を示し、ｔは
画素値の振幅を示す。制御された背景は、背景画素の大
部分が比較的低いレベルを有するのに対して、前面画素
がより高い範囲を占める傾向にあるレベルを有するよう
になっている。Ｏｔｓｕは、２つの範囲の間の谷に閾値
Ｔを規定することを試みる。

【０００８】この技術にはいくつかの問題がある。例え
ば、図１は、明確に規定された谷が背景グレイレベル範
囲と前面グレイレベル範囲との間に存在することを示す
が、これは、極めて慎重に制御された背景についての場
合にのみ当てはまるものであり、いくつかの前面に当て
はまるが、決して全ての前面に当てはまるものではな
い。

【０００９】この技術が非常に慎重に制御された条件に
限定されない場合、上記の問題はより深刻になる。特
に、全てのイメージがセグメント化されない多くの場合
について、かなりの数の前面画素が閾値を下回るレベル
を有し、かなりの数の背景画素が閾値を上回るレベルを
有する。したがって、選択された任意の閾値Ｔにより、
セグメント化は不正確になる。

【００１０】イメージをセグメント化する他の技術が、
ＴＦｕｇｉｍｏｔｏらの”Ａｍｅｔｈｏｄｆｏｒ
ｒｅｍｏｖｉｎｇｂａｃｋｇｒｏｕｎｄｒｅｇｉ
ｏｎｓｆｒｏｍｍｏｖｉｎｇｉｍａｇｅｓ”，
ＳＰＩＥｖｏｌ．１６０６Ｖｉｓｕａｌｃｏｍ
ｍｕｎｉｃａｔｉｏｎｓａｎｄｉｍａｇｅｐｒｏ
ｃｅｓｓｉｎｇ１９９１，ｉｍａｇｉｎｇｐｒｏ
ｃｅｓｓｉｎｇ，ｐｐ．５９９−６０６に開示され
ている。この技術は、照明強度の変動の影響を受けない
ようにするため、画素値のレベルおよび極性の両方を利
用する。

【００１１】添付の図面の図２は、図１と同じ軸である
が、照明強度の変動の影響を示すヒストグラムである。
このような変動がない状態で、ヒストグラムに示した分
布は、縦軸を中心とした左右対称の傾斜を有する狭いピ
ークを有する。照明強度の変動が起こった場合、このピ
ークは水平方向にオフセットされる。Ｆｕｇｉｍｏｔｏ
らの技術は、ガウス分布をピークの実際の位置に適合さ
せ、定関数で曲線の残りの部分（前面画素レベルを示す
とみなされる）をシミュレートすることにより、非対称
な正および負の閾値Ｔ１およびＴ２を導き出す。ガウス
分布と定関数との交差は、処理されるイメージについて
の閾値Ｔ１およびＴ２を与える。閾値の間の全ての画素
値がノイズを示すと仮定する。

【００１２】この技術は、Ｏｔｓｕと同じ問題を生じ
る。照明強度の変動の影響は受けないかもしれないが、
現れそうな全てのイメージが正確にセグメント化される
ように閾値の選択を行うことが出来ない。

【００１３】ＵＳ５８７８１６３は、イメージングター
ゲットトラッカー、およびターゲットを背景から最適に
識別するために使用される閾値を決定する方法を開示し
ている。ターゲットは、ターゲットの内部領域および外
部領域にそれぞれ対応する２つのヒストグラムから識別
されるグレイレベル領域を占有するものとみなされてい
る。両方のヒストグラムは帰納的に平滑化されており、
その後、実際に観察された画素値からなるルックアップ
テーブルが計算される。２つの最適な閾値が選択され、
ヒストグラムセグメントの両端に設定される。尤度マッ
プは、経時的に、ターゲットの識別特性（ｓｉｇｎａｔ
ｕｒｅ）に適合される。ターゲットのグレイレベル分布
を使用して、ターゲットに含まれる、尤度が高いグレイ
レベルのバンドを通過する閾値を選択する。このタイプ
のアプリケーションには、正確なセグメント化が必ずし
も必要でない。

【００１４】これらの方法は、所望のアプリケーション
について、セグメント化の適切な結果を実現し得、通常
は計算上効率的であるが、強度または色のいずれかにつ
いてターゲットから区別し得る、慎重に制御された背景
を有するという要件は、利用可能なアプリケーションの
範囲を厳しく制限する。

【００１５】したがって、さらに興味深い課題は、一般
的なシーンの背景から前面オブジェクトをどのようにセ
グメント化するかということである。これらの方法は、
しばしば、現在のフレームと所定のフレームとの差分を
特徴付ける差分イメージの計算を必要とする。所定のフ
レームは、背景または前のフレームのあらかじめ記録さ
れたイメージか、もしくは、多くの前のフレームから生
成されたイメージのいずれかであり得る。ＵＳ５９１４
７４８は、異なる背景に対象を挿入する電子構成システ
ムを開示している。この方法は、シーケンスの各イメー
ジから、背景のあらかじめ記録されたイメージを取り去
って、異なるイメージを生成する。その後、この差分イ
メージを閾値化することにより、マスクイメージが生成
される。このマスクイメージを用いて、前面オブジェク
トをその背景からセグメント化する。この方法は、実行
するのが簡単だが、セグメント化された前面領域および
背景領域の両方において大きなアーチファクトを除去す
るために、ユーザによる手動補正を必要とし得る。

【００１６】コンピュータでの実行の点では、前面領域
および背景領域のセグメント化は、画素単位のレベルま
たはブロック毎のレベルで実行され得る。ブロック毎の
セグメント化は、イメージをブロックに分割する。これ
らブロックの各々が、多くの画素を含んでおり、これら
の画素は全て、前面画素または背景画素のいずれかに分
類されている。ピクセル単位の方法およびブロック毎の
方法は、それぞれ利点および欠点を有する。例えば、ピ
クセル単位のセグメント化は、前面オブジェクトの境界
線をより綿密に追跡し得るが、良好な接続性を有し得
ず、よりノイズの影響を受けやすい。一方で、ブロック
毎の方法は、セグメント化された前面領域および背景領
域におけるアーチファクトの数がより少ないが、境界線
近傍の性能が劣り得る。場合によっては、アプリケーシ
ョンに依存した異なる結果を生じる異なる組み合わせ
で、これら２つのアプローチを組み合わせることができ
る。

【００１７】データ圧縮システムにおいて、離散コサイ
ン変換等のブロック毎のコーディング方法およびその変
形例は、通常、データの方形ブロックに対して実行さ
れ、イメージを、所望の方形サブセグメントからなる一
時的にアクティブ／インアクティブな領域へとセグメン
ト化する。ＳａｕｅｒおよびＪｏｎｅｓの”Ｂａｙｅｓ
ｉａｎｂｌｏｃｋ−ｗｉｓｅｓｅｇｍｅｎｔａｔｉ
ｏｎｏｆｉｎｔｅｒｆｒａｍｅｄｉｆｆｅｒｅｎ
ｃｅｓｉｎｖｉｄｅｏｓｅｑｕｅｎｃｅｓ”，
ＣＶＧＩＰ：ＧｒａｐｈｉｃｓａｎｄＩｍａｇｅ
Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．５５，Ｎｏ．
２，Ｍａｒｃｈ１９９３，ｐｐ．１２９−１３
９は、一時的に動的な領域および静的な領域の差分コー
ディングのために、ビデオシーケンスのイメージを、静
的な背景および動的な前面として選択されたブロックへ
とセグメント化する、ベイズのアルゴリズムを開示して
いる。このアプリケーションにおいて、一時的にアクテ
ィブな領域は「前面」として規定され、そうでない領域
は「背景」として規定され、前面オブジェクトの一部ま
たは全体が背景領域（これらの領域上では変化が起こら
ない）となり得る。この方法は、データを、２つのレベ
ルの解像度で、ランダムフィールドとしてモデリングす
る。各画素におけるフレーム間の差分が第１の閾値であ
り、バイナリイメージを生成する。イメージデータの自
然な空間的相関関係は、マルコフのランダムフィールド
モデルによって、標準的なイジングモデル（Ｉｓｉｎｇ
ｍｏｄｅｌ）の形態のバイナリ値画素からなるこのフ
ィールド上に撮像される。第２のレベルの解像度におい
て、近接領域（ｎｅｉｇｈｂｏｕｒｓ）の間の相関関係
を示すブロックから構成されるフィールドは、また、マ
ルコフモデルによって説明される。

【００１８】ＵＳ５９１５０４４は、自動ゲイン制御を
実行するビデオカメラに関連するゲインを補正するビデ
オエンコーディングシステムを開示している。ゲイン補
正されたイメージを解析して、前面オブジェクトに対応
するブロックおよび背景シーンに対応するブロックを識
別する。この前面／背景セグメント化は、イメージのエ
ンコード方法を決定するために用いられ得、また、次の
ビデオイメージのゲイン制御補正の間にも使用され得
る。セグメント化解析は、画素レベルおよびブロックレ
ベルの両方のレベルで行われる。画素レベルにおいて、
現在のフレームと基準フレームとの間の画素差分は、変
化した画素を示す画素マスクを生成する閾値である。そ
の後、多くの前のフレームの平均値から基準フレームが
生成される。ブロックレベルは、画素レベルの結果を取
り出し、画素のブロックを前面または背景として分類す
る。これは、ブロック型圧縮スキームにとっては通常の
ことである。分類のための基準は、画素の著しい変化
は、前面オブジェクトにおいてしか起こらないはずであ
るという仮定である。閾値は、ゼロ平均ガウス分布型確
率変数モデリングに基づいて、変化した領域の最大尤度
推定値を考慮することにより生成される。ブロックレベ
ル処理を用いて各ブロックを前面または背景に属するも
のとして分類する前に、形態フィルタ（ｍｏｒｐｈｏｌ
ｏｇｉｃａｌｆｉｌｔｅｒ）を使用して、間違った前
面検出を低減する。このアプリケーションは、前面オブ
ジェクトの検出が正確であることをさほど要求しない。
主要な目的は、一時的に変化する領域を静的な領域から
分離して、それらを別々にエンコードできるようにする
ことである。

【００１９】一般に、これらの方法は、計算的に高価に
なる傾向にあり、Ｓｈａｒｐ（登録商標）Ｃｏｒｐｏ
ｒａｔｉｏｎＩｎｔｅｒｎｅｔＶｉｅｗＣａｍ等
の、限られた計算能力および記憶装置を有する、リアル
タイムアプリケーションに適し得ない。これらの方法の
ロバストは制限され得、しばしば、手動のユーザ補正を
必要とする。画素単位の方法が、セグメント化された前
面および背景の両方にアーチファクトを残す傾向がある
のに対して、ブロック毎の方法は、でこぼこな境界線を
生成する傾向がある。

【００２０】

【課題を解決するための手段】本発明の画素化されたイ
メージをセグメント化する方法は、（ａ）第１の基準イ
メージから少なくとも１つの第１領域を選択するステッ
プと、（ｂ）該少なくとも１つの第１領域に含まれる画
素の値から、該画素のうちの第１の所定の割合の画素
が、第１の閾値の第１の側にある値を有するような第１
の閾値を得るステップと、（ｃ）該イメージの各画素と
非遮蔽背景のイメージの対応する画素との差分として、
差分イメージを形成するステップと、（ｄ）該差分イメ
ージ画素の値が該第１の閾値の該第１の側にあり、且
つ、第１の所定の数よりも多くの数の近隣差分イメージ
画素の値が該第１の閾値の該第１の側にある場合、各差
分イメージ画素を、少なくとも１つの第１タイプの領域
に割り当てるステップと、を含む。

【００２１】前記第１の所定の割合が０．５〜１であっ
てもよい。

【００２２】前記第１の所定の割合が０．７５にほぼ等
しくてもよい。

【００２３】前記第１の所定の数が、近隣差分イメージ
画素の数の半分にほぼ等しくてもよい。

【００２４】前記少なくとも１つの第１領域および前記
少なくとも１つの第１タイプの領域の各々が、少なくと
も１つの背景領域を含み、前記第１の閾値の前記第１の
側が、該第１の閾値よりも小さくてもよい。

【００２５】前記第１の基準イメージが、前記非遮蔽背
景の２つのイメージの間の差分を含み、該少なくとも１
つの第１領域が、該第１の基準イメージのほぼ全体を含
んでもよい。

【００２６】前記少なくとも１つの第１領域が、自動的
に選択されてもよい。

【００２７】前記少なくとも１つの第１領域が、前記第
１の基準イメージの少なくとも１つの側部を含んでもよ
い。

【００２８】前記少なくとも１つの第１領域が、手動で
選択されてもよい。

【００２９】前記ステップ（ｄ）における前記近隣画素
がアレイ状に配置され、前記差分イメージ画素の位置が
該アレイのほぼ中心にあってもよい。

【００３０】共通の背景を有するシーケンスのイメージ
について、前記ステップ（ａ）〜（ｄ）を繰り返すこと
を特徴としてもよい。

【００３１】前記第１の基準イメージが、先行する差分
イメージであってもよい。

【００３２】前記少なくとも１つの第１領域が、前記先
行するステップ（ｄ）の、前記少なくとも１つの第１タ
イプの領域を含んでもよい。

【００３３】各ステップ（ｄ）は、前記少なくとも１つ
の第１タイプの領域に割り当てられた前記差分イメージ
画素の値を含む第１の初期ヒストグラムを形成するステ
ップを含み、前記ステップ（ｂ）は、先行するステップ
（ｄ）において形成された該第１の初期ヒストグラムと
先行するステップ（ｂ）の第１の得られたヒストグラム
の１つよりも小さな第１の所定の分画との合計を含む該
第１の得られたヒストグラムから、前記第１の閾値を得
てもよい。

【００３４】前記第１の所定の分画が１／２であっても
よい。

【００３５】本発明の画素化されたイメージをセグメン
ト化する方法は、（ｅ）第２の基準イメージから少なく
とも１つの第２領域を選択するステップと、（ｆ）該少
なくとも１つの第２領域に含まれる画素の値から、該画
素のうちの第２の所定の割合の画素が、第２の閾値の、
前記第１の側の反対の第２の側にある値を有するような
第２の閾値を得るステップと、（ｇ）前記差分イメージ
画素の値が該第２の閾値の該第２の側にあり、且つ、第
２の所定の数よりも多くの数の近隣差分イメージ画素の
値が該第２の閾値の該第２の側にある場合、前記少なく
とも１つの第１タイプの領域に割り当てられない差分イ
メージ画素の各々を、少なくとも１つの第２タイプの領
域に割り当てるステップと、を含んでもよい。

【００３６】前記第２の所定の割合が０．５〜１であっ
てもよい。

【００３７】前記第２の所定の割合が０．７５にほぼ等
しくてもよい。

【００３８】前記第２の所定の数が、近隣差分イメージ
画素の数の半分にほぼ等しくてもよい。

【００３９】前記少なくとも１つの第２領域および前記
少なくとも１つの第２タイプの領域の各々が、少なくと
も１つの前面領域を含み、前記第２の閾値の前記第２の
側が、該第２の閾値よりも大きくてもよい。

【００４０】前記少なくとも１つの第２領域が、自動的
に選択されてもよい。

【００４１】前記少なくとも１つの第２領域が、前記第
２の基準イメージの中間部分を含んでもよい。

【００４２】前記少なくとも１つの第２領域が、手動で
選択されてもよい。

【００４３】前記第２の基準イメージが前記第１の基準
イメージを含んでもよい。

【００４４】前記ステップ（ｇ）における前記近隣画素
がアレイ状に配置され、前記差分イメージ画素の位置が
該アレイのほぼ中心にあってもよい。

【００４５】共通の背景を有するシーケンスのイメージ
について、前記ステップ（ｅ）〜（ｇ）を繰り返すこと
を特徴としてもよい。

【００４６】前記第２の基準イメージが、先行する差分
イメージであってもよい。

【００４７】前記少なくとも１つの第２領域が、前記先
行するステップ（ｇ）の、前記少なくとも１つの第２タ
イプの領域を含んでもよい。

【００４８】各ステップ（ｇ）は、前記少なくとも１つ
の第２タイプの領域に割り当てられた前記差分イメージ
画素の値を含む第２の初期ヒストグラムを形成するステ
ップを含み、前記ステップ（ｆ）は、先行するステップ
（ｇ）において形成された該第２の初期ヒストグラムと
先行するステップ（ｆ）の第２の得られたヒストグラム
の１つよりも小さな第２の所定の分画との合計を含む該
第２の得られたヒストグラムから、前記第２の閾値を得
てもよい。

【００４９】前記第２の所定の分画が１／２であっても
よい。

【００５０】前記少なくとも１つの第１タイプの領域に
割り当てられず、且つ、前記少なくとも１つの第２タイ
プの領域に割り当てられない、各差分イメージ画素のう
ち、該差分イメージ画素の値が第３の閾値よりも小さい
画素を、第１タイプの画素の候補として割り当てるステ
ップを含んでもよい。

【００５１】前記第３の閾値が、前記第１の閾値と前記
第２の閾値との間の値であってもよい。

【００５２】前記第３の閾値が、前記第１および第２の
閾値の算術平均であってもよい。

【００５３】前記少なくとも１つの第１タイプの領域に
割り当てられず、且つ、前記少なくとも１つの第２タイ
プの領域に割り当てられない、各差分イメージ画素につ
いて、該差分イメージ画素の前記近隣画素のうちの、第
３の所定の数を超える数の近隣画素が、該少なくとも１
つの第１タイプの領域に割り当てられるか、または、第
１タイプの画素の候補として割り当てられる場合、該各
差分イメージ画素を該少なくとも１つの第１タイプの領
域に割り当てるステップを含んでもよい。

【００５４】前記近隣画素が１アレイの画素を含み、前
記差分イメージ画素の位置が該アレイのほぼ中心にあっ
てもよい。

【００５５】前記第３の所定の数が、近隣差分イメージ
画素の数の半分であってもよい。

【００５６】前記少なくとも１つの第１タイプの領域に
割り当てられず、且つ、前記少なくとも１つの第２タイ
プの領域に割り当てられない、各差分イメージ画素を、
該少なくとも１つの第２タイプの領域に割り当てるステ
ップを含んでもよい。

【００５７】前記イメージまたは各イメージならびに前
記背景イメージが、グレイレベルイメージであり、前記
ステップ（ｃ）が、各イメージ画素と対応する背景画素
との差分を、該各イメージ画素のグレイレベルと該対応
する背景画素のグレイレベルとの差分として形成しても
よい。

【００５８】前記ステップ（ｃ）は、前記差分イメージ
または各差分イメージに対して移動ウィンドウ平均化ス
テップを実行するステップを含んでもよい。

【００５９】前記イメージまたは各イメージならびに前
記背景イメージが、カラーイメージであり、前記ステッ
プ（ｃ）が、各イメージ画素と対応する背景画素との差
分を、該各イメージ画素の色と該対応する背景画素の色
との間の色距離として形成してもよい。

【００６０】前記色距離は、

【００６１】

【数２】（ｎは各画素の色成分の数であり、Ｉ_iはイメージ画素
のｉ番目の色成分であり、Ｂ_iは背景画素のｉ番目の色
成分であり、α_iは重み係数である）として形成されて
もよい。

【００６２】各α_iは１に等しくてもよい。

【００６３】ｎが３に等しく、Ｉ₁およびＢ₁が赤色成分
であり、Ｉ₂およびＢ₂が緑色成分であり、Ｉ₃およびＢ₃
が青色成分であってもよい。

【００６４】前記ステップ（ｃ）が色成分差分イメージ
Ｉ_i−Ｂ_iを形成し、該色成分差分イメージの各々に対し
て、移動ウィンドウ平均化ステップを実行してもよい。

【００６５】前記ウィンドウは、３×３画素のサイズを
有してもよい。

【００６６】差分イメージ画素に対応するエレメントを
有するバイナリマスクを形成するステップであって、各
エレメントは、前記対応する差分イメージ画素が前記少
なくとも１つの第１タイプの領域に割り当てられた場合
に第１の値を有し、該対応する差分イメージ画素が前記
少なくとも１つの第２タイプの領域に割り当てられた場
合に該第１の値と異なる第２の値を有することを含んで
もよい。

【００６７】前記少なくとも１つの背景領域に割り当て
られた差分イメージ画素に対応する前記イメージまたは
各イメージの各画素の値を、対応する背景イメージ画素
の値と置き換えるステップを含んでもよい。

【００６８】前記少なくとも１つの背景領域に割り当て
られた差分イメージ画素に対応する前記イメージまたは
各イメージの各画素の値を、異なる背景の対応する画素
の値と置き換えるステップを含んでもよい。

【００６９】少なくとも１つの前面領域の境界線に割り
当てられた差分イメージ画素に対応する前記イメージま
たは各イメージの各画素の値を、該イメージ画素の値と
前記対応する異なる背景画素の値との線形結合と置き換
えるステップを含むことを含んでもよい。

【００７０】前記線形結合が、対または各対の対応する
画素成分値の算術平均を含んでもよい。

【００７１】各色成分について、前記少なくとも１つの
背景領域に割り当てられた画素の色成分値と、前記非遮
蔽背景イメージの対応する画素の色成分値との差分の分
布を形成するステップと；該分布におけるピークの位置
の、所定の位置からのシフトを判定するステップと；該
シフトに基づいて、該少なくとも１つの背景領域に割り
当てられた画素の該色成分値を補正するステップとを含
んでもよい。

【００７２】本発明の画素化されたイメージをセグメン
ト化する装置は、第１の基準イメージから少なくとも１
つの第１領域を選択する手段と、該少なくとも１つの第
１領域に含まれる画素の値から、該画素のうちの第１の
所定の割合の画素が、第１の閾値の第１の側にある値を
有するような第１の閾値を得る手段と、該イメージの各
画素と非遮蔽背景のイメージの対応する画素との差分と
して、差分イメージを形成する手段と、該差分イメージ
画素の値が該第１の閾値の該第１の側にあり、且つ、第
１の所定の数よりも多くの数の近隣差分イメージ画素の
値が該第１の閾値の該第１の側にある場合、各差分イメ
ージ画素を、少なくとも１つの第１タイプの領域に割り
当てる手段と、を含む。

【００７３】本発明の画素化されたイメージをセグメン
ト化する装置は、プログラミング可能なデータプロセッ
サと、該データプロセッサを制御して、上記に記載の方
法を実行するプログラムを含む記憶媒体と、を含む。

【００７４】本発明の記憶媒体は、データプロセッサを
制御して、上記に記載の方法を実行するプログラムを含
む。

【００７５】本発明のプログラムは、データプロセッサ
を制御して、上記に記載の方法を実行する。

【００７６】本発明のイメージキャプチャデバイスは、
上記に記載の装置を含む。

【００７７】本発明の第１の局面によると、画素化され
たイメージをセグメント化する方法であって、（ａ）第
１の基準イメージから少なくとも１つの第１領域を選択
するステップと、（ｂ）上記少なくとも１つの第１領域
に含まれる画素の値から、上記画素のうちの第１の所定
の割合の画素が、第１の閾値の第１の側にある値を有す
るような第１の閾値を得るステップと、（ｃ）上記イメ
ージの各画素と非遮蔽背景のイメージの対応する画素と
の差分として、差分イメージを形成するステップと、
（ｄ）上記差分イメージ画素の値が上記第１の閾値の上
記第１の側にあり、且つ、第１の所定の数よりも多くの
数の近隣差分イメージ画素の値が上記第１の閾値の上記
第１の側にある場合、各差分イメージ画素を、少なくと
も１つの第１タイプの領域に割り当てるステップと、を
含む方法が提供される。

【００７８】上記第１の所定の割合が０．５〜１であっ
てもよい。上記第１の所定の割合が０．７５にほぼ等し
くてもよい。

【００７９】上記第１の所定の数が、近隣差分イメージ
画素の数の半分にほぼ等しくてもよい。

【００８０】上記少なくとも１つの第１領域および上記
少なくとも１つの第１タイプの領域の各々が、少なくと
も１つの背景領域を含んでもよく、上記第１の閾値の上
記第１の側が、上記第１の閾値よりも小さくてもよい。
上記第１の基準イメージが、上記非遮蔽背景のイメージ
の２つのイメージの間の差分を含んでもよく、上記少な
くとも１つの第１領域が、上記第１の基準イメージのほ
ぼ全体を含んでもよい。

【００８１】上記少なくとも１つの第１領域が、自動的
に選択されてもよい。上記少なくとも１つの第１領域
が、上記第１の基準イメージの少なくとも１つの側部を
含んでもよい。

【００８２】上記少なくとも１つの第１領域が、手動で
選択されてもよい。

【００８３】上記ステップ（ｄ）における上記近隣画素
がアレイ状に配置されてもよく、上記差分イメージ画素
の位置が上記アレイのほぼ中心にあってもよい。

【００８４】上記方法は、共通の背景を有するシーケン
スのイメージについて、上記ステップ（ａ）〜（ｄ）を
繰り返すことをふくんでもよい。上記第１の基準イメー
ジが、先行する差分イメージでありえる。上記少なくと
も１つの第１領域が、上記先行するステップ（ｄ）の、
上記少なくとも１つの第１タイプの領域を含んでもよ
い。各ステップ（ｄ）は、上記少なくとも１つの第１タ
イプの領域に割り当てられた上記差分イメージ画素の値
を含む第１の初期ヒストグラムを形成するステップを含
んでもよく、上記ステップ（ｂ）は、先行するステップ
（ｄ）において形成された上記第１の初期ヒストグラム
と先行するステップ（ｂ）の第１の得られたヒストグラ
ムの１つよりも小さな第１の所定の分画との合計を含む
上記第１の得られたヒストグラムから、上記第１の閾値
を得てもよい。上記第１の所定の分画が１／２であって
もよい。

【００８５】上記方法は、（ｅ）第２の基準イメージか
ら少なくとも１つの第２領域を選択するステップと、
（ｆ）上記少なくとも１つの第２領域に含まれる画素の
値から、上記画素のうちの第２の所定の割合の画素が、
第２の閾値の、上記第１の側の反対の第２の側にある値
を有するような第２の閾値を得るステップと、（ｇ）上
記差分イメージ画素の値が上記第２の閾値の上記第２の
側にあり、且つ、第２の所定の数よりも多くの数の近隣
差分イメージ画素の値が上記第２の閾値の上記第２の側
にある場合、上記少なくとも１つの第１タイプの領域に
割り当てられない差分イメージ画素の各々を、少なくと
も１つの第２タイプの領域に割り当てるステップとを含
んでもよい。

【００８６】上記第２の所定の割合が０．５〜１であっ
てもよい。上記第２の所定の割合が０．７５にほぼ等し
くてもよい。

【００８７】上記第２の所定の数が、近隣差分イメージ
画素の数の半分にほぼ等しくてもよい。

【００８８】上記少なくとも１つの第２領域が、自動的
に選択されてもよい。上記少なくとも１つの第２領域
が、上記第２の基準イメージの中間部分を含んでもよ
い。

【００８９】上記少なくとも１つの第２領域が、手動で
選択されてもよい。

【００９０】上記第２の基準イメージが上記第１の基準
イメージを含んでもよい。

【００９１】上記ステップ（ｇ）における上記近隣画素
がアレイ状に配置されてもよく、上記差分イメージ画素
の位置が上記アレイのほぼ中心にあってもよい。

【００９２】上記方法は、共通の背景を有するシーケン
スのイメージについて、上記ステップ（ｅ）〜（ｇ）を
繰り返すことをふくんでもよい。上記第２の基準イメー
ジが、先行する差分イメージであってもよい。上記少な
くとも１つの第２領域が、上記先行するステップ（ｇ）
の、上記少なくとも１つの第２タイプの領域を含んでも
よい。各ステップ（ｇ）は、上記少なくとも１つの第２
タイプの領域に割り当てられた上記差分イメージ画素の
値を含む第２の初期ヒストグラムを形成するステップを
含んでもよく、上記ステップ（ｆ）は、先行するステッ
プ（ｇ）において形成された上記第２の初期ヒストグラ
ムと先行するステップ（ｆ）の第２の得られたヒストグ
ラムの１つよりも小さな第２の所定の分画との合計を含
む上記第２の得られたヒストグラムから、上記第２の閾
値を得てもよい。上記第２の所定の分画が１／２であっ
てもよい。

【００９３】上記方法は、上記少なくとも１つの第１タ
イプの領域に割り当てられず、且つ、上記少なくとも１
つの第２タイプの領域に割り当てられない、各差分イメ
ージ画素のうち、上記差分イメージ画素の値が第３の閾
値よりも小さい画素を、第１タイプの画素の候補として
割り当てるステップを含んでもよい。

【００９４】上記第３の閾値が、上記第１の閾値と上記
第２の閾値との間の値であってもよい。上記第３の閾値
が、上記第１および第２の閾値の算術平均であってもよ
い。

【００９５】上記方法は、上記少なくとも１つの第１タ
イプの領域に割り当てられず、且つ、上記少なくとも１
つの第２タイプの領域に割り当てられない、各差分イメ
ージ画素について、上記差分イメージ画素の上記近隣画
素のうちの、第３の所定の数を超える数の近隣画素が、
上記少なくとも１つの第１タイプの領域に割り当てられ
るか、または、第１タイプの画素の候補として割り当て
られる場合、上記差分イメージ画素を上記少なくとも１
つの第１タイプの領域に割り当てるステップを含んでも
よい。

【００９６】上記近隣画素が１アレイの画素を含んでも
よく、上記差分イメージ画素の位置が上記アレイのほぼ
中心にあってもよい。

【００９７】上記第３の所定の数が、近隣差分イメージ
画素の数の半分であってもよい。

【００９８】上記方法は、上記少なくとも１つの第１タ
イプの領域に割り当てられず、且つ、上記少なくとも１
つの第２タイプの領域に割り当てられない、各差分イメ
ージ画素を、上記少なくとも１つの第２タイプの領域に
割り当てるステップを含んでもよい。

【００９９】上記イメージまたは各イメージならびに上
記背景イメージが、グレイレベルイメージであってもよ
く、上記ステップ（ｃ）が、各イメージ画素と対応する
背景画素との差分を、上記各イメージ画素のグレイレベ
ルと上記対応する背景画素のグレイレベルとの差分とし
て形成してもよい。

【０１００】上記ステップ（ｃ）は、上記差分イメージ
または各差分イメージに対して移動ウィンドウ平均化ス
テップを実行するステップを含んでもよい。

【０１０１】セグメント化されるイメージは色成分イメ
ージであり得、各色成分に対して移動ウィンドウ平均化
ステップが実行され得る。

【０１０２】上記イメージまたは各イメージならびに上
記背景イメージが、カラーイメージであってもよく、上
記ステップ（ｃ）が、各イメージ画素と対応する背景画
素との差分を、上記各イメージ画素の色と上記対応する
背景画素の色との間の色距離として形成してもよい。
上記色距離は、

【０１０３】

【数３】（ｎは各画素の色成分の数であり、Ｉ_iはイメージ画素
のｉ番目の色成分であり、Ｂ_iは背景画素のｉ番目の色
成分であり、α_iは重み係数である）として形成されて
もよい。各α_iは１に等しくてもよい。ｎが３に等しく
てもよく、Ｉ₁およびＢ₁が赤色成分であってもよく、Ｉ
₂およびＢ₂が緑色成分であってもよく、Ｉ₃およびＢ₃が
青色成分であってもよい。

【０１０４】上記ステップ（ｃ）が色成分差分イメージ
Ｉ_i−Ｂ_iを形成してもよく、上記色成分差分イメージの
各々に対して、移動ウィンドウ平均化ステップを実行し
てもよい。

【０１０５】上記ウィンドウは、３×３画素のサイズを
有し得る。

【０１０６】上記方法は、差分イメージ画素に対応する
エレメントを有するバイナリマスクを形成するステップ
であって、各エレメントは、上記対応する差分イメージ
画素が上記少なくとも１つの第１タイプの領域に割り当
てられた場合に第１の値を有し、上記対応する差分イメ
ージ画素が上記少なくとも１つの第２タイプの領域に割
り当てられた場合に上記第１の値と異なる第２の値を有
する、ステップを含んでもよい。

【０１０７】上記方法は、上記少なくとも１つの背景領
域に割り当てられた差分イメージ画素に対応する上記イ
メージまたは各イメージの各画素の値を、対応する背景
イメージ画素の値と置き換えるステップを含んでもよ
い。

【０１０８】上記方法は、上記少なくとも１つの背景領
域に割り当てられた差分イメージ画素に対応する上記イ
メージまたは各イメージの各画素の値を、異なる背景の
対応する画素の値と置き換えるステップを含んでもよ
い。

【０１０９】上記方法は、少なくとも１つの前面領域の
境界線に割り当てられた差分イメージ画素に対応する上
記イメージまたは各イメージの各画素の値を、上記イメ
ージ画素の値と上記対応する異なる背景画素の値との線
形結合と置き換えるステップを含んでもよい。上記線形
結合が、対または各対の対応する画素成分値の算術平均
を含んでもよい。

【０１１０】上記方法は、各色成分について、上記少な
くとも１つの背景領域に割り当てられた画素の色成分値
と、上記非遮蔽背景イメージの対応する画素の色成分値
との差分の分布を形成するステップと；上記分布におけ
るピークの位置の、所定の位置からのシフトを判定する
ステップと；上記シフトに基づいて、上記少なくとも１
つの背景領域に割り当てられた画素の上記色成分値を補
正するステップとを含んでもよい。

【０１１１】本発明の第２の局面によると、画素化され
たイメージをセグメント化する装置であって、第１の基
準イメージから少なくとも１つの第１領域を選択する手
段と、上記少なくとも１つの第１領域に含まれる画素の
値から、上記画素のうちの第１の所定の割合の画素が、
第１の閾値の第１の側にある値を有するような第１の閾
値を得る手段と、上記イメージの各画素と非遮蔽背景の
イメージの対応する画素との差分として、差分イメージ
を形成する手段と、上記差分イメージ画素の値が上記第
１の閾値の上記第１の側にあり、且つ、第１の所定の数
よりも多くの数の近隣差分イメージ画素の値が上記第１
の閾値の上記第１の側にある場合、各差分イメージ画素
を、少なくとも１つの第１タイプの領域に割り当てる手
段とを含む装置が提供される。

【０１１２】本発明の第３の局面によると、画素化され
たイメージをセグメント化する装置であって、プログラ
ミング可能なデータプロセッサと、上記データプロセッ
サを制御して、本発明の第１の局面による方法を実行す
るプログラムを含む記憶媒体とを含む装置が提供され
る。

【０１１３】本発明の第４の局面によると、データプロ
セッサを制御して、本発明の第１の局面による方法を実
行するプログラムを含む記憶媒体が提供される。

【０１１４】本発明の第５の局面によると、データプロ
セッサを制御して、本発明の第１の局面による方法を実
行するプログラムが提供される。

【０１１５】本発明の第６の局面によると、本発明の第
２または第３の局面による装置を含むイメージキャプチ
ャデバイスが提供される。

【０１１６】したがって、イメージまたはシーケンスの
イメージの前面領域および背景領域をセグメント化する
ロバストな技術を提供することができる。このことは、
画素単位の方法およびブロック毎の方法の利点を組み合
わせることにより部分的に達成され得、セグメント化さ
れた前面領域の周囲に良好な境界線が形成され、前面領
域および背景領域の両方においてアーチファクトが少な
くなる。

【０１１７】他の画素よりも確実かつ容易に分類し得る
画素を初めに識別する段階的なアプローチの使用によ
り、ロバスト性も実現される。より多くの画素が割り当
てられるにしたがって、残りの画素がより良く判定され
得る。

【０１１８】閾値の決定に使用される領域を選択するこ
とにより、上記閾値または各閾値がより正確に決定さ
れ、セグメント化が向上され得る。例えば、第１の閾値
を用いて背景画素を判定する場合、その閾値自体は背景
領域の大部分または全体から決定され得るので、前面領
域内の画素の値の影響を全くまたは実質的に受けない。
第２の閾値は、それが使用される場合、イメージのセグ
メント化の向上が達成され得るように、前面領域内の画
素値に基づいて、同様に決定され得る。各イメージは帰
納的に処理されて、向上されたセグメント化の結果、閾
値の選択が向上し、向上した閾値の選択の結果、セグメ
ント化が向上する。十分な計算能力が利用可能な場合
は、再帰的なアプローチをリアルタイムで行うことがで
きる。計算能力が十分でない場合は、そのような再帰的
アプローチは、オフラインのアプリケーションまたは非
リアルタイムのアプリケーションに限定される。

【０１１９】シーケンスのイメージを処理する場合、上
記または各閾値は、複数のまたは全ての先行するイメー
ジを利用して決定され得るので、閾値の選択を向上さ
せ、その結果、イメージのセグメント化を向上させる。
例えば、上記または各閾値を決定するためのヒストグラ
ムを形成し、各ヒストグラムは、現在のヒストグラムお
よび前のヒストグラムの一部分（例えば半分）を含み得
る場合、時間の経過に従って各再帰の影響が減少する
が、閾値の選択は、例えば比較的小さな背景領域または
前面領域を有するイメージ等の望ましくないイメージの
影響をさほど受けない（望ましくないイメージの影響を
受ける場合は、閾値の選択が歪められる）。従って、セ
グメント化の結果が、背景内のノイズおよび前面の信号
強度の統計学的特性の推定を向上させるにつれて、ロバ
スト性は自ら向上し得る。向上された推定が順に次のイ
メージのセグメント化を向上させ、従って、連続的な向
上のループが形成される。制御された背景は要求され
ず、前面オブジェクトの動的な変化に対する漸次的な変
化を含み得る一般的なシーンの背景を処理することがで
きる。

【０１２０】閾値の決定は、各閾値化演算の後のフィル
タリング処理に直接関係し得る。複雑な統計学的モデル
は要求されないので、この技術を容易に行える。

【０１２１】本発明の技術は、計算能力およびメモリ要
求の点で、計算上の効率が良い方法で実行され得、もっ
ぱら整数を用いて実行され得る単純な算術演算のみを含
む。こういった理由から、上記技術は、計算能力が制限
され、記憶装置が比較的小さな、Ｓｈａｒｐ（登録商
標）ＣｏｒｐｏｒａｔｉｏｎＭＰＥＧ−４Ｉｎｔ
ｅｒｎｅｔＶｉｅｗＣａｍまたは他のマルチメディア
アプリケーション用イメージキャプチャ・記録デバイス
等の、リアルタイムアプリケーションに非常に適してい
る。

【０１２２】本発明の技術は、例えば、ＥＰ０８７７２
７４、ＧＢ２３２４４２８、ＥＰ０９３２１１４、およ
びＧＢ２３３５９０に開示された、ビデオトラッキング
および顔検出アプリケーションにおいて使用され得る。
例えば、セグメント化された前面領域を用いて、イメー
ジ内に顔を配置するための検索領域を制限し得る。これ
は、例えば、欧州特許出願番号第９９３０６９６２．４
号および英国特許出願番号第９８１９３２３．８号に開
示されているように、リアルタイムビデオトラッキング
システムと共に使用され得る。

【０１２３】

【発明の実施の形態】以下、添付の図面を参照しつつ、
例示することにより本発明をさらに説明する。

【０１２４】図中、同じ参照符号は同じ部分を示す。

【０１２５】図３のブロック機能図は、ステップまたは
動作のシーケンスと共にデータの供給を示す、「増強」
フローチャートの形態である。この方法は、ステップ１
ａにおいて、非遮蔽（ｎｏｎ−ｏｃｃｌｕｄｅｄ）背景
イメージ１ｂ（つまり、前面オブジェクトを有さない背
景シーンのイメージ）を記録する、初期準備１で開始さ
れる。ステップ５において、背景イメージ１ｂが供給さ
れ、あらかじめ規定された関数を用いて差分イメージが
計算される。ステップ３は、第１の差分イメージが処理
されているかどうかを判定する。処理されている場合、
ステップ１ｃは、第１の差分イメージの背景領域および
前面領域の統計学的特性から、ノイズヒストグラムおよ
び／または信号ヒストグラム１ｄを計算する。

【０１２６】ステップ４によってシーケンスの次のイメ
ージが得られる場合、背景イメージ１ｂと共に、ステッ
プ５にこれが供給される。ステップ５は、次の差分イメ
ージを計算する。これを図４に示す。図４は、背景イメ
ージ１ｂ、および同じ背景を有する、前面イメージを含
むシーケンスのイメージ７を示す。ステップ５は、図４
の参照符号８に示した差分イメージを計算する。差分イ
メージは、ノイズ領域９を有する。このノイズ領域にお
いて、画素は主にまたは完全にノイズを示す値を有す
る。イメージ８はまた、前面イメージに対応する信号領
域１０を有する。この前面イメージの画素は、イメージ
画素と、背景イメージ１ｂの対応する背景画素との間の
差分を示す。

【０１２７】ステップ３は、差分イメージが第１の差分
イメージでないと判定する。制御はステップ１１に進
む。ステップ１１は、差分イメージにおける背景画素の
強力な候補を識別する。特に、各画素が順に第１の閾値
と比較される。この第１の閾値は、ステップ１ｃにおい
て判定されたノイズの統計学的特性に基づいて、ステッ
プ２４において決定される。値が第１の閾値未満であ
り、且つ、それを取り囲む近隣画素の大多数の画素の値
が第１の閾値未満である画素は、背景領域（複数のその
ような背景領域が存在する場合には、それら複数の背景
領域のうちの１つに）に割り当てられる。

【０１２８】ステップ１２は、ステップ１１において少
なくとも１つの背景領域に割り当てられなかった差分イ
メージ画素の各々を、第２の閾値と比較することによ
り、前面画素の強力な候補を識別する。なお、第２の閾
値は、ステップ１ｃにおいて判定された信号領域１０の
信号強度ヒストグラムに基づいて、ステップ２５におい
て決定される。値が第２の閾値よりも大きく、且つ、そ
れを取り囲む近隣画素の大多数の画素の値が第２の閾値
を超える値である画素は、各前面領域に割り当てられ
る。

【０１２９】その後、ステップ１３は、背景領域または
前面領域にまだ割り当てられていない画素が、少なくと
も１つの背景領域または少なくとも１つの前面領域に割
り当てられるべきかどうかを確認する。そのような画素
の各々は、第３の閾値と比較される。第３の閾値は、ス
テップ２６において、第１および第２の閾値から決定さ
れ、第１の閾値と第２の閾値との間の値を有する。レベ
ルが第３の閾値未満である画素は、背景画素候補と認め
られる。近隣画素の大部分が既に背景画素または背景画
素の候補として認められている場合、背景画素候補の各
々は、上記少なくとも１つの背景領域に割り当てられ
る。その後、残りの画素が前面画素として割り当てられ
る。

【０１３０】ステップ１１、１２、および１３の各々に
おいて、閾値化される差分イメージの全体に「空間フィ
ルタリング」を行って、どのように画素を割り当てるか
を決定することは都合がよい。しかし、各イメージのエ
ッジおよび角の近傍に存在する画素について、各画素の
近隣領域が制限される。空間フィルタリングは、イメー
ジの境界線まで全て同じ様態で行われ得るが、少なくと
もいくつかのアプリケーションにおいて、空間フィルタ
リングを、各画素が近隣画素の完全な補完を有する上記
イメージまたは各イメージの中央部分に制限するのがよ
り適切であり得る。このことにより、周辺のマージンが
フィルタリングされないまま残される。

【０１３１】例えば、イメージサイズはＭ×Ｎ画素であ
り、空間フィルタリングに使用されるウィンドウサイズ
はｍ×ｎ画素である場合、（Ｍ−ｍ＋１）×（Ｎ−ｎ＋
１）個の画素を含む中央領域に対して空間フィルタリン
グが行われ、周辺のマージンにおける画素には、適切な
より小さいウィンドウサイズを用いて空間フィルタリン
グが行われ得るか、または、空間フィルタリングが行わ
れないままであり得る。さほど正確にセグメント化を行
う必要のないアプリケーションについて、周辺のマージ
ンにおける画素の割り当ては、閾値化のみを用い、且
つ、フィルタリング処理を行うことなく決定し得る。

【０１３２】ステップ１４は、バイナリマスクを形成す
る。具体的には、このマスクは、差分イメージの画素に
対応するエレメントを含む。バイナリマスクの各画素
は、対応する差分イメージ画素が少なくとも１つの背景
領域に割り当てられた場合には、第１の値を有し、対応
する差分イメージ画素が少なくとも１つの前面領域に割
り当てられた場合には、第１の値とは異なる第２の値を
有する。したがって、バイナリマスクは、参照符号１５
に示す所望のセグメント化を示し、イメージのさらなる
処理のために使用され得る。例えば、イメージの背景領
域は、背景イメージ自身の対応する画素と置き換え得
る。あるいは、背景領域の画素は、固定されたイメージ
または一時的に変動するイメージであり得る別の背景イ
メージの対応する画素と置き換えて、特殊効果を提供し
得る。この場合、より視覚的に許容し得る方法で背景領
域および前面領域を混合するために、前面領域の境界画
素の各々を、イメージ画素の値と対応する新たな背景画
素の値との線形結合を示す値と置き換え得る。

【０１３３】ステップ１６は、シーケンスの現在のイメ
ージの解析に基づいて、信号ヒストグラムおよびノイズ
ヒストグラムを更新し、更新されたヒストグラムが、ス
テップ３に戻され、シーケンスの次のイメージのセグメ
ント化のために使用可能になる。ステップ１７は、シー
ケンスの最後のイメージが処理されたかどうかを判定す
る。判定されていない場合、制御はステップ４に戻る。
ステップ４において、次のイメージが得られ、ステップ
５およびステップ１１〜１７が繰り返される。そうでな
い場合、この方法は、ステップ１８で終了する。

【０１３４】イメージのシーケンスは、イメージ処理の
間は比較的変化されずにある実質的に静的な背景の前を
移動するオブジェクトを含むシーンのビデオシーケンス
を含み得る。

【０１３５】いくつかのアプリケーションについて、残
りの画素を識別するステップ１３は実行されなくてもよ
い。また、いくつかのアプリケーションにおいて、ステ
ップ１１および１２の両方を実行しなくてもよい。その
代わり、これらのステップのうち一方のステップを実行
すればよい。

【０１３６】例えば、イメージがオフラインで処理され
る場合、または、例えばビデオカメラからのビデオイメ
ージのシーケンスについてリアルタイムでステップを繰
り返す十分な計算能力がある場合、シーケンスの各イメ
ージについて、図３に示すステップを繰り返すことも可
能である。ステップを繰り返すことにより、現在のイメ
ージのセグメント化に基づいて、ノイズヒストグラムお
よび信号ヒストグラムを更新し得る。これにより、現在
のイメージの改良されたセグメント化が可能になり、そ
の時、現在のイメージが、信号ヒストグラムおよびノイ
ズヒストグラムを精密にするために使用され得る。各イ
メージについて、この処理を停止するための任意の適切
な基準が使用され得る。例えば、そのような「反復」
が、所定の回数行われ得る。他の可能性は、ステップの
反復を続けても、ノイズヒストグラムおよび信号ヒスト
グラムが実質的に変更されなくなるまで、上記ステップ
を繰り返すことである。

【０１３７】ステップ１１および１２の両方が実行され
るアプリケーションにおいて、ステップ１２を実行して
前面画素を識別する前に、ステップ１１を実行して背景
画素を識別することに、ある一定の利点があると考えら
れる。しかし、その逆の場合のアプリケーションもいく
つかあり得る。また、ステップ１３において、残りの画
素は、まず、閾値化および近隣画素に基づく割り当てに
よって前面画素として認められ、残りの未割り当ての画
素がデフォルトで背景画素として認められる。

【０１３８】以下、図３に示した方法において使用され
る個々の技術を、より詳細に説明する。

【０１３９】ビデオシーケンスのｎ番目のフレームは、
デジタルイメージＩⁿ（ｘ，ｙ）（ｎ＝１，
２，．．．）と表し得る（（ｘ，ｙ）は各画素の個々の
座標である）。背景イメージは、Ｂ（ｘ，ｙ）と表さ
れ、シーン内に動いているオブジェクトが無い場合に、
あらかじめキャプチャされている。各イメージＩ
ⁿ（ｘ，ｙ）において、画素が前面オブジェクトに属す
る場合、この画素は「前面画素」または「オブジェクト
画素」と呼ばれる。同様に、前面オブジェクトによって
遮られない背景内の画素は、「背景画素」と呼ばれる。

【０１４０】ステップ５は、次の式によって、差分イメ
ージＤⁿ（ｘ，ｙ）を規定する。

【０１４１】

【数４】ここで、Ｆは、Ｉⁿ（ｘ，ｙ）とＢ（ｘ，ｙ）との間の
差分を特徴付ける、ユーザ定義測定値である。簡略化の
ため、上記式における上付文字ｎを、以降の説明では省
略する。

【０１４２】例えば、Ｉ（ｘ，ｙ）とＢ（ｘ，ｙ）の両
方がグレイレベルイメージである最も簡単な場合におい
て、Ｄ（ｘ，ｙ）は、それらの直接の差分（ｄｉｒｅｃ
ｔｄｉｆｆｅｒｅｎｃｅ）、つまり、

【０１４３】

【数５】として規定され得る。

【０１４４】ノイズの無い理想的な場合において、その
ようなＤ（ｘ，ｙ）の値は、次の式によって得られる。

【０１４５】

【数６】ここで、ｓ（ｘ，ｙ）は信号の測定値であり、∈は「〜
の構成要素である」という意味を持つ。項ｓ（ｘ，ｙ）
は、オブジェクト画素と背景イメージ内の同じ位置にあ
る画素との差分測定値を示す。全ての前面画素がゼロで
ない信号値を生成している場合、その時、これらの画素
は識別され、差分測定値が０である背景画素から分離さ
れる。

【０１４６】イメージ内には常にノイズが存在し、いく
つかのオブジェクト画素が背景イメージ内の対応する画
素と同じ値を有することがあり得るので、この単純なア
プローチは、実際には機能しない。ノイズの影響を含め
るために、前の式を、次に示すように修正し得る。

【０１４７】

【数７】ここで、ノイズの項ｎ（ｘ，ｙ）は、平均値が０であり
分散がσである確率変数とみなされる。

【０１４８】背景画素からの前面画素のセグメント化を
可能にするために、信号の強度はノイズの強度よりもか
なり強い必要がある。そこで、上記式は次のように書き
直され得る。

【０１４９】

【数８】ここで、上記式においては、ｓ（ｘ，ｙ）はノイズの成
分を含むものとみなされ得る。このノイズ成分は、実際
には、実際の信号自体から分離し得ない。

【０１５０】ノイズの項ｎ（ｘ，ｙ）から信号の項ｓ
（ｘ，ｙ）を分離する最も簡単な方法は、全ての前面画
素が閾値Ｔを超える信号値を有し、且つ、全ての背景画
素が閾値Ｔを下回るノイズ値を有するような閾値Ｔを見
つけることである。そこで、バイナリマスキング関数が
次のように得られ得る。

【０１５１】

【数９】ここで、１は前面画素を示し、０は背景画素を示す。

【０１５２】例えば、背景が濃青色等の均一な色である
場合、このことは、いくつかの制限的な条件により可能
である。差分イメージＤ（ｘ，ｙ）は、後で説明する式
（３）を用いて計算され得る。前面オブジェクトが同じ
濃青色の領域を含まない場合、および、イメージングシ
ステムのノイズレベルが低い場合、差分イメージは、前
面領域について強い信号値を有し、背景領域において
は、非常に小さな値を有するはずである。そこで、これ
らの信号値およびノイズ値を分離する閾値Ｔを見つける
ことができる。

【０１５３】実際には、この過度に単純化された方法
は、一般的な背景のシーンに対して十分に機能しないか
もしれない。例えば、いくつかの前面画素は、対応する
背景画素と同様であり得、任意の所与の閾値Ｔを下回り
得る信号値を生成する。同様に、いくつかの背景画素
が、閾値Ｔを超えるノイズ値を生成し得る。この後者の
問題を引き起こし得る多くの理由が考えられる。その理
由として、イメージングシステム内に電子ノイズが存在
すること、背景における照明の変化、および／またはイ
メージングシステムのわずかな外乱が挙げられる。本発
明の方法の複数の閾値が、以下に説明するこの問題を実
質的に克服する。

【０１５４】カラーイメージは、赤（Ｒ）成分、緑
（Ｇ）成分、および青（Ｂ）成分に分解され得る。ある
いは、カラーイメージは、ＹＵＶまたはＨＳＶ等の他の
カラーフォーマットで表され得る。簡略化のために、以
下の説明では、イメージをＲＧＢフォーマットで示す
が、この技術は、他のカラーフォーマットにも有効であ
る。ＲＧＢ色成分をＹＵＶまたはＨＳＶ成分と置き換え
ることにより、全ての式を他のカラーフォーマットに適
応し得る。

【０１５５】一般に使用される、イメージＩ（ｘ，ｙ）
とＢ（ｘ，ｙ）との間の差分測定値は、次の式で表され
る色距離（ｃｏｌｏｒｄｉｓｔａｎｃｅ）である。

【０１５６】

【数１０】ここで、α、β、およびγは重み係数であり、[Ｒ_I，Ｇ
_I，Ｂ_I]および[Ｒ_B，Ｇ_B，Ｂ_B]は、それぞれイメージＩ
（ｘ，ｙ）およびＢ（ｘ，ｙ）についてのＲＧＢ色成分
である。

【０１５７】上記式において、色成分を正規化するのが
しばしば魅力的である。この正規化は、各色成分を、色
成分の合計で割ることにより達成される。例えば、Ｒ_I
成分は、次のように正規化され得る。

【０１５８】

【数１１】このような正規化されたカラーフォーマットを用いる関
数Ｆの例は、次の式によって得られる。

【０１５９】

【数１２】ここで、Ｙ_I＝Ｒ_I＋Ｇ_I＋Ｂ_Iであり、Ｙ_B＝Ｒ_B＋Ｇ_B＋
Ｂ_Bである。この正規化は、異なる照明強度による影響
を低減する際に有用であるが、Ｙ_IまたはＹ_Bの値が非常
に小さい場合には欠点がある。非常に小さな値による除
算の結果、各色成分におけるノイズの成分が非常に大き
く増幅され、したがって、いかなるセグメント化方法も
困難になる。したがって、この正規化は、注意して適用
する必要がある。

【０１６０】計算コストを低減するために、式（１）に
おいて説明した色距離測定値は、次のように概算され得
る。

【０１６１】

【数１３】重み係数は、各色成分の重要度を反映するように、あら
かじめ決定され得る。多くのアプリケーションについ
て、通常の値の組、α＝β＝γ＝１、が適切であるとわ
かっている。この結果、次のようになる。

【０１６２】

【数１４】差分測定値関数Ｆを規定する他の方法がある。例えば、
信号およびノイズの統計学的特性に基づくエントロピー
測定を使用し得る。このような方法は、よりよい差分特
性を生成し得るが、計算がより集中的になる傾向にあ
る。

【０１６３】式（３）によって説明される差分測定値関
数Ｆに基づくと、差分イメージＤ（ｘ，ｙ）は、次の式
によって得られる。

【０１６４】

【数１５】ここで、各色成分中のノイズは、平均値が０であり分散
がσである確率変数とみなされる。これらの確率変数は
また、色チャネル毎および画素毎に独立しているとみな
される。

【０１６５】理論的には、ノイズｎ_r、ｎ_g、ｎ_bの値
は、負の無限大から正の無限大へと変動し得る。現実の
コンピュータインプリメンテーションにおいて、これら
の値は、有限範囲（例えば−Ｎ〜＋Ｎ（Ｎは整数））内
の整数で示され得、通常、２５５に等しい。その時、｜
ｎ_r｜、｜ｎ_g｜および｜ｎ_b｜の値は、０からＮまでの
範囲を変動する。

【０１６６】ノイズの項を、絶対値演算子「｜｜」を用
いて｜ｎ_r｜、｜ｎ_g｜、｜ｎ_b｜と示すことについての
理由がある。このことは、イメージング平均化によるノ
イズ低減について後でおこなう説明においてより明らか
になる。これは、絶対値演算を適用する前に適用され
る。ノイズの統計学的特性は、まず、ヒストグラミング
法を用いて推定され得る。例えば、イメージＩ（ｘ，
ｙ）が背景のみを含み、且つ、Ｂ（ｘ，ｙ）が捕捉され
る時点とは異なる時に捕捉される場合、差分イメージＤ
（ｘ，ｙ）は、各画素におけるノイズ変数を示す。その
後、特定のノイズ値ｔが発生した合計回数を数えること
により、ヒストグラムｈ_n（ｔ）が構成され得る。な
お、このノイズ値ｔについて、Ｄ（ｘ，ｙ）＝｜ｎ_r｜
＋｜ｎ_g｜＋｜ｎ _b｜＝ｔである。図５の上側のグラフ
は、このようなノイズヒストグラムの一例である。

【０１６７】理論上、｜ｎ_r｜＋｜ｎ_g｜＋｜ｎ_b｜の値
は、０〜３Ｎの範囲で変動する。これは、ｈ_n（ｔ）
が、それぞれが整数カウンタ（ｉｎｔｅｇｅｒｃｏｕ
ｎｔｅｒ）である３Ｎ個のエレメントすなわちビン（ｂ
ｉｎ）を有することを意味する。しかし、３つの項全て
がその最大値であるＮに達する場合にかぎり、｜ｎ_r｜
＋｜ｎ_g｜＋｜ｎ_b｜の値は３Ｎに等しい。実際には、｜
ｎ_r｜＋｜ｎ_g｜＋｜ｎ_b｜の値は、おそらく、この最大
値３Ｎよりもかなり小さい。しばしば、Ｎ個だけのビン
からなるヒストグラムを使用するのが適切である。Ｎの
値を超える画素について、これらの画素の値は、Ｎにま
で切り捨てられ得る。計算能力および記憶装置が制限さ
れている場合、このことは有用である。

【０１６８】ノイズヒストグラムは、イメージ内の全背
景画素から計算され得る。ノイズヒストグラムはイメー
ジの複数のフレームに亘って蓄積され得、ノイズの統計
学的特性をより良く概算し得る。

【０１６９】このノイズヒストグラムは、セグメント化
の開始前に計算される必要がある。一方で、背景画素が
既に知られている場合に計算のみが行われ得る。これら
の相反する要件に対する１つの考え得る解決方法は、第
１のイメージまたは、さらに望ましくは、第１のいくつ
かのイメージが背景シーンのみを含み、ノイズヒストグ
ラムがこれらのイメージを用いてまず計算され得ること
を確実にすることである。

【０１７０】Ｓｈａｒｐ（登録商標）Ｃｏｒｐｏｒａ
ｔｉｏｎＭＰＥＧ−４ＩｎｔｅｒｎｅｔＶｉｅｗ
Ｃａｍ等のいくつかのアプリケーションについて、「タ
ーゲット」が視界内へと移動する直前にイメージの記録
を開始することによりこのことが達成され得る。ビデオ
カメラが数秒間スイッチオンされた後に、それから、タ
ーゲットは視界内に入り得る。このことにより、初めの
いくつかのイメージが背景のみを含むことが確実にな
る。

【０１７１】あるいは、上記ターゲットまたは各ターゲ
ットが、図６に示すように、背景のみを含む左側および
右側の余白の領域１９を有するイメージの中央領域にま
ず配置され得る。左側および右側の余白の領域１９を用
いて、ノイズヒストグラムを推定し得る。Ｓｈａｒｐ
（登録商標）ＩｎｔｅｒｎｅｔＶｉｅｗＣａｍ等の
アプリケーションについて、このことは、ターゲットが
中央にある場合、イメージの中央に矩形のガイドを表示
して、ユーザが単に記録を開始することにより達成され
得る。この制約は、初めのいくつかのイメージについて
のみ必要とされ得、その後ターゲットは自由に動き得
る。

【０１７２】いくつかのアプリケーションについて、計
算がオフラインで実行された場合、ノイズ特性の推定を
行う背景領域をユーザに手動で選択させることも可能で
ある。例えば、アプリケーションがパーソナルコンピュ
ータ（ＰＣ）上で実行された場合、イメージがモニタ上
に表示され得、この目的のために、ユーザがマウスポイ
ンタを用いて領域を選択し得る。

【０１７３】同様に、背景画素についての信号のヒスト
グラムｈ_s（ｔ）が構成される。やはり、このことが達
成され得る前に、前面オブジェクトを知る必要がある。
ターゲットがまず、図６に示すようにイメージの中央領
域２０に配置された場合、中央領域を用いて信号ヒスト
グラムを計算することによりこのことが可能である。あ
るいは、上で説明した手動の方法を使用して、信号ヒス
トグラムの初めの推定を行うための領域を識別し得る。

【０１７４】全てのアプリケーションについてこれらの
制約が可能でないかもしれない。一般に、この信号ヒス
トグラムの初めの推定は、動いているオブジェクトを含
む第１のイメージがセグメント化されるまで、行うこと
が出来ない。これについて、以下に説明する。

【０１７５】信号ヒストグラムおよびノイズヒストグラ
ムは、イメージをセグメント化するための閾値を決定す
る根拠を形成する。

【０１７６】差分イメージが一旦計算されると、まず、
背景画素の強力な候補が、第１の閾値Ｔ_nを用いて判定
される。ほとんどの前面画素がこの第１の閾値を超える
信号値を有し、ほとんどの背景画素が第１の閾値未満の
ノイズ値を有するようにこの閾値の値が決定される。

【０１７７】この閾値は、ノイズヒストグラムｈ
_n（ｔ）から決定される。理想的には、ノイズ値は、ヒ
ストグラムの初めのいくつかのビンのみがゼロにならな
いように、制限される。その後、閾値Ｔ_nはｔの第１の
値であり、この値を超えると、残りのビンはゼロであ
る。つまり、

【０１７８】

【数１６】となる。

【０１７９】残念なことに、通常、このような理想に近
い状況は存在しない。実際、背景は、制御された均一な
色の領域ではなく、一般的なシーンを含み得る。イメー
ジングシステムは、無視できない程度のノイズの影響を
受け得、イメージング処理の間、照明が変化し得るか、
または、イメージングシステムがイメージングプロセス
の間わずかな外乱を受け得る。この全てがノイズ項に寄
与し、ノイズ項の値がヒストグラムの全範囲を占め得
る。

【０１８０】ヒストグラムがｔの高い範囲に亘って完全
に０になり得ないのに対して、ノイズ値の大部分は、通
常、図５に示すように、ヒストグラムの初めのいくつか
のビンのまわりに集まる。残りのビンは、通常、ｔが増
大するのに従って減少する長いすそを形成する。その
後、閾値Ｔ_nは、所与の割合の背景画素よりも大きなｔ
の最小値として規定され得る。

【０１８１】次いで、この閾値Ｔ_nは、あらかじめ設定
された割合値η_n（０．５＜η_n≦１）と関連づけられ
る。それは、次の不等式を満たす最小のＴ_nとして決定
される。

【０１８２】

【数１７】ここで、Ｋ_nは背景画素の合計数であり、次の式によっ
て求められる。

【０１８３】

【数１８】その後、差分イメージは、第１の閾値Ｔ_nを用いて閾値
化されて、背景画素の強力な候補を識別する。バイナリ
マスクが次の式によって得られる。

【０１８４】

【数１９】ここで、０は、背景画素の強力な候補を示し、１は、前
面画素または上記閾値によるフィルタリングを通過した
背景画素のいずれかであり得る他の画素の候補を示す。
ここでは、背景画素の強力な候補のみに関心がある。他
の画素は、以下に説明する処理においてさらに分類され
る。Ｋ_n個の背景画素を含むイメージＩ（ｘ，ｙ）につ
いて、約η_n・Ｋ_n個の画素が、閾値Ｔ_n未満のノイズ値
を有する。残りの（１−η_n）・Ｋ_n個の画素は、この閾
値Ｔ_nを超える値を有し、この処理において、背景画素
として検出されない。

【０１８５】ここでの暗黙の仮定は、前面画素のほとん
どが第１の閾値を超える信号強度を有するということで
ある。しかし、少ない数の前面画素がこの閾値未満に減
少する信号値を有し得ることもあり得る。この単純な閾
値化方法は、それらを誤って背景画素として分類する。

【０１８６】η_nの値がより高く設定された場合、Ｔ_nの
値もより高くなり、検出されない背景画素の数がより少
なくなる。一方で、閾値Ｔ_nが大きくなるに従って、前
面画素が、誤って背景画素として分類されやすくなる。
セグメント化の目的は、動いているオブジェクトを背景
から分離することなので、理想的には、セグメント化
は、信号値が小さい場合であっても、前面オブジェクト
と背景との違いを識別できなければならない。このこと
は、セグメント化のために、より小さな閾値Ｔ_nがより
良いことを意味する。したがって、妥協が必要であり、
通常、η_nは０．７５に設定される。

【０１８７】真の背景画素は独立して存在せず、常に他
の背景画素とつながっている。画素が実際に背景画素で
ある場合、近隣画素のほとんどが背景画素であることも
あり得る。一方で、誤って背景画素として検出された前
面画素は、しばしば、背景内に小さなアーチファクトと
して現れる。この観察の結果、これらの誤って検出され
た画素を除去する以下のフィルタリング方法が行われ
る。

【０１８８】背景画素の現在の候補の各々について、小
さな近隣領域（通常、現在の画素を中心とする方形のウ
ィンドウ）が選択される。このウィンドウ内の画素の合
計数がｍである場合、約η_n・ｍ個（η_n＞０．５）の画
素が背景画素として正確に分類されることが期待され
る。ｍの値が充分大きな場合、このことは正しい。

【０１８９】背景画素が前面オブジェクトの近傍に存在
する場合、上記の小さなウィンドウは、いくつかの前面
画素を含み得る。現在の背景画素が前面オブジェクトに
隣接している場合であっても、直感的に考えて、近隣画
素の約半分が背景画素であり、約半分が前面画素であ
る。明らかなことに、このことは、ウィンドウサイズが
十分に小さい場合にのみ正しい。これは、ｍが「十分に
大きい」値である必要があるという上記要件と矛盾す
る。

【０１９０】したがって、妥協が必要である。試行錯誤
の結果、ｍの典型的な値は１００であり、したがって９
×９画素または１１×１１画素のウィンドウサイズとな
ることが示される。通常、ウィンドウサイズには奇数の
数が用いられ、現在の画素はウィンドウの中心に配置さ
れる。

【０１９１】背景画素の候補は、この近隣領域における
背景画素の割合Ψ_nに基づいて背景画素として認められ
てもよく、または、認められなくてもよい。Ψ_nが０．
５以上の場合、この候補は背景画素と認められる。そう
でない場合には、背景画素と認められない。

【０１９２】

【数２０】計算上、このプロセスは、閾値０．５での閾値化方法に
よって従ったバイナリイメージＭ_n（ｘ，ｙ）に適用さ
れた移動ウィンドウ平均化演算として実行され得る。

【０１９３】同様に、第２の閾値Ｔ_sを用いて、前面画
素の強力な候補が検出され得る。この第２の閾値Ｔ
_sは、信号ヒストグラムｈ_s（ｔ）から計算され得る。前
に示したように、信号ヒストグラムは、初めは、第１の
イメージがセグメント化されるまで、利用可能でないか
もしれない。第１のイメージについて、この閾値は、Ｔ
_nから単に推定され得、次のように得られる。

【０１９４】

【数２１】ここで、μは１よりも大きい実数である。通常、μは
１．５〜２に設定される。

【０１９５】上記式は、第１のイメージが完全にセグメ
ント化される前に、信号強度の初めの推定にのみ使用さ
れ得る。前面ターゲットの初期位置についてのさらなる
情報がある場合には、この式を使わなくても良い。前面
オブジェクトが、図６に示すように，まずイメージの中
心に配置された場合、その時例えば、イメージの中央領
域が使用され、初めの信号ヒストグラムが構成され得
る。

【０１９６】一般に、信号ヒストグラムｈ_s（ｔ）は、
セグメント化された前面オブジェクトから構成される。
セグメント化された前面オブジェクトは、第１のイメー
ジがセグメント化されてすぐに利用可能になる。次い
で、第２の閾値Ｔ_sは、次の不等式を満たすｔの最大値
として規定される。

【０１９７】

【数２２】ここで、０．５＜η_n≦１であり、Ｋ_sは前面画素の合計
数である。η_nの通常の値は０．７５である。

【０１９８】通常、閾値Ｔ_sはＴ_nよりも大きい。そうで
ない場合には、動いているオブジェクトの強度および色
は背景と類似しており、それらの差分はノイズの影響よ
りも小さい。したがって、セグメント化は非常に難しく
なる。

【０１９９】第２の閾値Ｔ_sが一旦得られると、この閾
値Ｔ_sを用いて、差分イメージを閾値化して、前面画素
の強力な候補を検出する。閾値化の後にバイナリマスク
が得られる。

【０２００】

【数２３】強力な背景画素として既に識別された画素を再び処理す
る必要はないが、これらの画素は、以下に説明するよう
にフィルタリング処理に寄与する。

【０２０１】Ｋ_s個の前面画素を含むイメージＩ（ｘ，
ｙ）について、約η_s・Ｋ_s個の画素が、閾値Ｔ_sを超え
る信号値を有する。残りの（１−η_s）・Ｋ_s個の画素
は、この閾値Ｔ_s未満の値を有し、このプロセスでは、
前面画素として検出されない。背景画素の強力な候補の
検出においてと同様、ノイズ値が第２の閾値Ｔ_sを超え
た場合、背景画素を誤って前面画素として検出すること
がある。これらの誤って検出された画素は、通常、孤立
した状態で不規則に分布しており、これまでに説明した
演算と同様の移動ウィンドウ演算を用いて除去し得る。
その基準もまた同様の基準である。初めに識別された前
面画素候補に隣接する画素のうち、少なくとも半分が前
面画素の候補である場合、初めに識別された前面画素候
補は、前面画素と認められる。そうでない場合には、前
面画素と認められない。

【０２０２】

【数２４】ここで、Ψ_Sは、現在の画素の小さな近隣領域におけ
る、前面画素の強力な候補の割合であり、近隣領域は、
通常、現在の画素を中心とする方形のウィンドウとして
選択される。そのサイズは、通常、背景画素の強力な候
補を検出するために、９×９または１１×１１に設定さ
れる。場合によって、前面オブジェクトが小さい場合
は、このウィンドウサイズは減少され得る。

【０２０３】背景画素の強力な候補としても前面画素の
強力な候補としても認められない画素は、さらなる閾値
化およびフィルタリング処理において分類され得る。第
３の閾値Ｔ_mが導入され、この閾値Ｔ_mは、次の式によっ
て得られる、閾値Ｔ_nと閾値Ｔ_sとの間の値を有する。

【０２０４】

【数２５】ここで、０＜α＜１である。通常、αの値は０．５に設
定され得る。

【０２０５】差分イメージは、第３の閾値Ｔ_mを用いて
再び閾値化される。しかし、ここでは、残りの画素のみ
を処理すればよい。新たなバイナリマスク関数は、次の
式によって得られる。

【０２０６】

【数２６】前の処理においてと同様、フィルタリング演算は「未決
定」の画素に適用される。ウィンドウ内の半数を超える
数の画素が背景画素である場合、現在の画素は、背景画
素として分類され、そうでない場合は、前面画素として
分類される。バイナリマスクは最終的に次の式によって
得られる。

【０２０７】

【数２７】ここで、Ｍ（ｘ，ｙ）は最終のバイナリマスクであり、
Ψ_mは、検証される現在の画素を中心とする方形ウィン
ドウ内の前面画素の割合である。前に述べたように、ウ
ィンドウサイズは、通常、９×９または１１×１１であ
るが、異なるサイズのオブジェクトに適合するように調
節され得る。

【０２０８】コンピュータでの実行について、異なる段
において、異なるタイプの候補を示すために、異なる値
を使用する場合、Ｍ_s、Ｍ_n、およびＭ_mの記憶装置が共
有され得る。例えば、背景画素の強力な候補を決定する
第１の処理において、背景画素の強力な候補を０と示
し、それ以外を（１の代わりに）２と示し得る。第２の
処理において、前面画素の強力な候補を１と示し、残り
の画素を３と示し得る。Ｓｈａｒｐ（登録商標）Ｉｎ
ｔｅｒｎｅｔＶｉｅｗＣａｍ等のアプリケーションに
ついて、記憶装置が制限される場合、このことは有用で
ある。

【０２０９】その後、バイナリマスクＭ（ｘ，ｙ）を使
用して、イメージを前面領域および背景領域へとセグメ
ント化し得る。セグメント化された前面領域は、さらに
処理される（例えば、データ速度を減少するために圧縮
される）。背景領域は、破棄されるか、または他のイメ
ージと置き換えられて、使用者が望む特殊効果が生成さ
れる。

【０２１０】イメージが一旦セグメント化されると、信
号ヒストグラムおよびノイズヒストグラムが、前面領域
および背景領域を用いてそれぞれ再度計算され得る。ま
た、イメージは、バイナリマスクと共にセーブされ得
る。その後、次のイメージが得られ、上のプロセスを繰
り返すことによりセグメント化される。

【０２１１】ノイズレベルが低減され得る場合、セグメ
ント化の結果が向上され得る。前に述べたように、ノイ
ズの項ｎ_r、ｎ_g、およびｎ_bは、画素毎に独立した確率
変数である。ここで、絶対値演算が適用される前、ノイ
ズの項は直接差分である。一方で、前面画素についての
信号値は、小さな近隣領域に亘って、互いに相関付けら
れる。例えば、赤成分について、直接差分イメージＤ_r
は次のように得られる。

【０２１２】

【数２８】絶対値演算が適用される前に、移動ウィンドウ平均化演
算がこのイメージに適用された場合、ウィンドウサイズ
が小さい場合には、平均化された信号がほぼ同じままで
あるが、ノイズ分散は低減される。簡略化のために、ノ
イズの項ｎ_r、ｎ_g、およびｎ_bの各々は分散σを有する
ものとする。ｎ×ｎ画素のウィンドウサイズについて、
平滑化されたイメージのノイズ分散は、σからσ／ｎへ
と低減される。通常、ウィンドウサイズは３×３に設定
され、各カラー成分におけるノイズ分散は、３分の１に
低減される。この演算は、絶対値演算子が適用される前
に、３つの色成分全てに適用されて、式（３）によって
規定された差分イメージが生成される。

【０２１３】図７は、ノイズ低減を含むように修正され
た点で図３に示した方法とは異なる方法を示す。ステッ
プ５は、サブステップ５ａ〜５ｃを含む。ステップ５ａ
が、全ての色成分またはチャネルについて直接差分イメ
ージを計算し、ステップｂが、移動ウィンドウ平均化演
算を実行して、直接色成分差分イメージの各々にノイズ
低減を提供する。その後、ステップ５ｃが、最終的な差
分イメージを生成する。

【０２１４】上で説明したように、現在のイメージがセ
グメント化された後に信号ヒストグラムおよびノイズヒ
ストグラムが再度計算されるので、これらのヒストグラ
ムは、常に信号およびノイズの最新の統計学的特性を反
映する。しかし、この方法は、前面オブジェクトのサイ
ズの影響を受け得る。いくつかの場合において、前面オ
ブジェクトが非常に大きく、イメージのほぼ全体を占
め、わずかな背景のみがイメージ内の残され得る。した
がって、ノイズのヒストグラムを計算するために、少数
の画素しか使用できず、このことが推定の精度に影響を
及ぼす。同様に、前面オブジェクトが小さい場合もあり
得、この場合、信号ヒストグラムの推定は信頼できない
かもしれない。

【０２１５】この問題は、累積的な手順を用いてヒスト
グラムを更新することにより解決され得る。例えば、信
号ヒストグラムは次のように更新され得る。

【０２１６】

【数２９】ここで、Ｈ_s ^t-1（ｘ）は、直前のフレームをセグメント
化するのに使用された前の信号ヒストグラムであり、Ｈ
_s（ｘ）は、直前のフレームのセグメント化された結果
を用いて得られた新しいヒストグラムであり、λは、通
常１／２の値を有する定数である。

【０２１７】これは、例えば次の式に示すような、減少
する重み付けで前の全てのヒストグラムから部分的に得
た、重み付けされたヒストグラムを有することに相当す
る。

【０２１８】

【数３０】同様に、ノイズヒストグラムが、この累積的な方法を用
いて計算され得る。

【０２１９】この改良された方法に要求されるさらなる
計算能力および記憶装置は、重要である必要はない。こ
れは、Ｈ_s（ｘ）の計算コストが、この手順の主要なコ
ストからなり、それは、累積的な技術が使用されるかど
うかに関わりなく要求されるからである。

【０２２０】その後、背景イメージが、セグメント化さ
れた結果に基づいて更新され得る。背景の元のイメージ
をＢ₀（ｘ，ｙ）、最新のイメージをＩ（ｘ，ｙ）、バ
イナリマスクイメージをＭ（ｘ，ｙ）と示した場合、新
たな背景イメージは次の式によって得られる。

【０２２１】

【数３１】これは、例えば照明の変化またはカメラの移動によるわ
ずかな外乱による、背景における小さな変化を克服する
ために非常に有用である。

【０２２２】図７は、背景イメージの更新を含む、図３
のステップ１６に対する修正を示す。

【０２２３】セグメント化が一旦実行されると、静的な
背景が除去され、新たな背景イメージと置き換えられ
る。新たな背景イメージは、前面オブジェクトとの大き
なコントラストを有し得、したがって、前面オブジェク
トの周囲の境界線において明瞭な切り抜き（ｃｕｔ−ｏ
ｕｔ）を有する。これは、境界画素についての平滑化演
算を適用することにより「和らげ」られ得る。

【０２２４】オブジェクト画素は、その全ての隣接画素
が前面画素である場合、オブジェクト内に存在するとみ
なされる。これらの隣接画素は、図８の参照符号２２に
示すような４個の接続された近隣画素または図８の参照
符号２３に示すような８個の接続された近隣画素として
規定され得る。オブジェクト内のオブジェクト画素に対
して、演算は要求されない。

【０２２５】少なくとも１つの隣接画素が背景画素であ
る場合、オブジェクト画素は境界線とみなされる。この
画素は、次の式によって得られる新たな画素と置き換え
られ得る。

【０２２６】

【数３２】ここで、Ｂ’（ｘ，ｙ）はユーザが選択した新たな背景
イメージであり、εは、通常１／２の値を有する定数で
ある。

【０２２７】あらかじめ記録された背景のイメージは、
前面オブジェクトが存在する現実の背景とは異なり得
る。この問題を引き起こす多くの要因のうち、最も重要
な要因が２つある：１）イメージングデバイスは、スイッチオフし得ないホ
ワイトバランス自動調節機能を有し得る。２）前面オブジェクトは、背景から入射する光を遮る。

【０２２８】これらの問題の結果、前面オブジェクトが
存在する場合、背景における強度および色が変化する。
これらの変化が著しくない場合、これらの変化を各色要
素について定数として概算し得る。つまり、これらの変
化を次のように表し得る。

【０２２９】

【数３３】ここで、Ｄ_R、Ｄ_G、およびＤ_Bは、位置（ｘ，ｙ）に関
係のない定数である。

【０２３０】これらの定数を推定するために、３つのヒ
ストグラムＨ_R、Ｈ_G、およびＨ_Bが次に示す式から計算
される。

【０２３１】

【数３４】ここで、各色成分Ｒ、Ｇ、およびＢが範囲（０，２５
５）内の値を有するものとし、各色成分Ｒ、Ｇ、および
Ｂの有する値が確実に範囲（０，５１１）内になるよう
に定数２５５が加えられる。照明の変化が無い場合、各
ヒストグラムは、２５５の位置にピークを示すはずであ
る。実際のピーク位置と２５５との間の差分は、色成分
の一定のシフトを示し、それにしたがって背景が調節さ
れ得る。

【０２３２】この背景イメージの補正は、通常、第１の
イメージがセグメント化される前の初めにのみ要求され
る。しかし、イメージング処理の間に照明の変化が起こ
る場合、この処理は、各フレームがセグメント化された
後に繰り返され得る。あるいは、この処理は、固定され
た個数のイメージがセグメント化された後に実行され
て、計算コストを低減し得る。

【０２３３】本発明の方法は、図９に示した装置等の、
任意の適切な装置上で実行され得る。プログラミングさ
れたデータプロセッサが、ＣＰＵバス３１に接続された
中央処理ユニット（ＣＰＵ）３０を含む。システムメモ
リ３２は、バス３１に接続され、データプロセッサを動
作させるためのシステムソフトウェアまたはプログラム
を全て含んでいる。

【０２３４】ビデオデジタイザ３４に接続された、Ｓｈ
ａｒｐ（登録商標）ＩｎｔｅｒｎｅｔＶｉｅｗＣａ
ｍ等のイメージングデバイス３３によって、イメージが
得られる。なお、イメージ信号がデジタルデータフォー
マットになっていない場合、ビデオデジタイザ３４はデ
ータバス３５に接続される。また、追加的な表示デバイ
ス３６がデータバス３５に接続されて、全画面内に、ま
たは、出力イメージが１つのウィンドウ内に表示される
場合には別のウィンドウ内に、入力が表示され得る。

【０２３５】あるいは、入来するイメージは他のソース
を形成し得、既に、ハードディスクまたはデータバス３
５に接続された他の記憶デバイス３７に格納され得るコ
ンピュータファイルの形態であり得る。

【０２３６】本発明のシステムは、入来するイメージを
格納するフレームバッファ３８と、背景のイメージのた
めのフレームバッファ３９と、バイナリマスクのための
フレームバッファ４０と、セグメント化処理の間に生成
された一時的なデータのために必要な場合には、他のメ
モリバッファ４１とを含む。

【０２３７】セグメント化された前面領域および背景領
域は、さらなる処理のために、バイナリマスクと共に他
の装置に送信され得るか、または、ハードディスク等の
他の記憶装置に格納され得る。

【０２３８】セグメント化された前面領域およびユーザ
が割り当てた新たな背景イメージを用いて、構成された
イメージが生成され得る。新たな構成されたイメージ
が、表示デバイス３６上の、全画面内に、または、別個
のウィンドウ内に表示された元のイメージと比較するた
めに、ウィンドウ内に表示され得る。

【０２３９】本発明によれば、ピクセル化されたイメー
ジを、前面領域と背景領域とにセグメント化する技術が
提供される。先行するイメージの背景領域および前面領
域が分析され、ノイズヒストグラムおよび信号ヒストグ
ラムが提供される。第１の閾値は、所定の割合の背景画
素がより低いノイズレベルを有するような最低のレベル
として生成される。第２の閾値は、所定の割合の前面画
素が最も高い信号レベルを有するような最高のレベルと
して生成される。イメージの各画素と非遮蔽背景イメー
ジの対応する画素との差分として、差分イメージが形成
される。差分イメージ画素の値が第１の閾値よりも小さ
く、且つ、この画素を取り囲む近隣差分イメージ画素の
大部分が背景領域に割り当てられている場合、差分イメ
ージ画素の各々は、背景画素として割り当てられる。そ
の後、残りの画素の各々は、その値が第２の閾値よりも
大きく、且つ、その近隣画素の大部分が前面領域に割り
当てられている場合に、前面領域に割り当てられる。そ
の後、残りの画素は、第１の閾値と第２の閾値との間に
ある第３の閾値との比較によって、前面画素の候補また
は背景画素の候補として割り当てられる。その後、各候
補画素は、近隣画素の大部分が既に背景領域に割り当て
られているか、または、背景画素の候補である場合に、
背景画素として割り当てられる。そうでない場合には、
各候補画素は、前面に割り当てられる。

【０２４０】

【発明の効果】したがって、本発明によれば、イメージ
またはシーケンスのイメージの前面領域および背景領域
をセグメント化するロバストな技術が提供される。

【図面の簡単な説明】

【図１】イメージをセグメント化する、第１の公知のタ
イプ技術を示すヒストグラムである。

【図２】イメージをセグメント化する、第２の公知のタ
イプ技術を示すヒストグラムである。

【図３】本発明のある実施形態を構成する、シーケンス
のイメージをセグメント化する方法の機能図である。

【図４】図３に示す方法において、異なるイメージの生
成を示す図である。

【図５】図３に示す方法において形成された、ノイズヒ
ストグラムおよび信号ヒストグラムを示す図である。

【図６】ノイズヒストグラムおよび信号のヒストグラム
の始めの計算を行なう技術を示す図である。

【図７】本発明の別の実施形態を構成する、シーケンス
のイメージをセグメント化する方法を示す機能図であ
る。

【図８】４個の接続された近隣画素および８個の接続さ
れた近隣画素を示す図である。

【図９】本発明のさらなる実施形態を構成する、シーケ
ンスのイメージをセグメント化する装置のブロック図で
ある。

【符号の説明】

３０中央処理ユニット（ＣＰＵ）３１ＣＰＵバス３２システムメモリ３３イメージングデバイス３４ビデオデジタイザ３５データバス３６表示デバイス３７記憶デバイス３８フレームバッファ３９フレームバッファ４０フレームバッファ４１メモリバッファ

Claims

【特許請求の範囲】

【請求項１】画素化されたイメージをセグメント化す
る方法であって、（ａ）第１の基準イメージから少なくとも１つの第１領
域を選択するステップと、（ｂ）該少なくとも１つの第１領域に含まれる画素の値
から、該画素のうちの第１の所定の割合の画素が、第１
の閾値の第１の側にある値を有するような第１の閾値を
得るステップと、（ｃ）該イメージの各画素と非遮蔽背景のイメージの対
応する画素との差分として、差分イメージを形成するス
テップと、（ｄ）該差分イメージ画素の値が該第１の閾値の該第１
の側にあり、且つ、第１の所定の数よりも多くの数の近
隣差分イメージ画素の値が該第１の閾値の該第１の側に
ある場合、各差分イメージ画素を、少なくとも１つの第
１タイプの領域に割り当てるステップと、を含む方法。
【請求項２】前記第１の所定の割合が０．５〜１であ
る、請求項１に記載の方法。
【請求項３】前記第１の所定の割合が０．７５にほぼ
等しい、請求項２に記載の方法。
【請求項４】前記第１の所定の数が、近隣差分イメー
ジ画素の数の半分にほぼ等しい、請求項２または３に記
載の方法。
【請求項５】前記少なくとも１つの第１領域および前
記少なくとも１つの第１タイプの領域の各々が、少なく
とも１つの背景領域を含み、前記第１の閾値の前記第１
の側が、該第１の閾値よりも小さい、前記請求項のいず
れか１つに記載の方法。
【請求項６】前記第１の基準イメージが、前記非遮蔽
背景の２つのイメージの間の差分を含み、該少なくとも
１つの第１領域が、該第１の基準イメージのほぼ全体を
含む、請求項５に記載の方法。
【請求項７】前記少なくとも１つの第１領域が、自動
的に選択される、請求項１から５のいずれか１つに記載
の方法。
【請求項８】前記少なくとも１つの第１領域が、前記
第１の基準イメージの少なくとも１つの側部を含む、請
求項７に記載の方法。
【請求項９】前記少なくとも１つの第１領域が、手動
で選択される、請求項１から５のいずれか１つに記載の
方法。
【請求項１０】前記ステップ（ｄ）における前記近隣
画素がアレイ状に配置され、前記差分イメージ画素の位
置が該アレイのほぼ中心にある、前記請求項のいずれか
１つに記載の方法。
【請求項１１】共通の背景を有するシーケンスのイメ
ージについて、前記ステップ（ａ）〜（ｄ）を繰り返す
ことを特徴とする、前記請求項のいずれか１つに記載の
方法。
【請求項１２】前記第１の基準イメージが、先行する
差分イメージである、請求項１１に記載の方法。
【請求項１３】前記少なくとも１つの第１領域が、前
記先行するステップ（ｄ）の、前記少なくとも１つの第
１タイプの領域を含む、請求項１２に記載の方法。
【請求項１４】各ステップ（ｄ）は、前記少なくとも
１つの第１タイプの領域に割り当てられた前記差分イメ
ージ画素の値を含む第１の初期ヒストグラムを形成する
ステップを含み、前記ステップ（ｂ）は、先行するステップ（ｄ）におい
て形成された該第１の初期ヒストグラムと先行するステ
ップ（ｂ）の第１の得られたヒストグラムの１つよりも
小さな第１の所定の分画との合計を含む該第１の得られ
たヒストグラムから、前記第１の閾値を得る、請求項１
３に記載の方法。
【請求項１５】前記第１の所定の分画が１／２であ
る、請求項１４に記載の方法。
【請求項１６】画素化されたイメージをセグメント化
する方法であって、（ｅ）第２の基準イメージから少なくとも１つの第２領
域を選択するステップと、（ｆ）該少なくとも１つの第２領域に含まれる画素の値
から、該画素のうちの第２の所定の割合の画素が、第２
の閾値の、前記第１の側の反対の第２の側にある値を有
するような第２の閾値を得るステップと、（ｇ）前記差分イメージ画素の値が該第２の閾値の該第
２の側にあり、且つ、第２の所定の数よりも多くの数の
近隣差分イメージ画素の値が該第２の閾値の該第２の側
にある場合、前記少なくとも１つの第１タイプの領域に
割り当てられない差分イメージ画素の各々を、少なくと
も１つの第２タイプの領域に割り当てるステップと、を
含む、前記請求項のいずれか１つに記載の方法。
【請求項１７】前記第２の所定の割合が０．５〜１で
ある、請求項１６に記載の方法。
【請求項１８】前記第２の所定の割合が０．７５にほ
ぼ等しい、請求項１７に記載の方法。
【請求項１９】前記第２の所定の数が、近隣差分イメ
ージ画素の数の半分にほぼ等しい、請求項１６または１
７に記載の方法。
【請求項２０】前記少なくとも１つの第２領域および
前記少なくとも１つの第２タイプの領域の各々が、少な
くとも１つの前面領域を含み、前記第２の閾値の前記第
２の側が、該第２の閾値よりも大きい、前記請求項１６
から１９のいずれか１つに記載の方法。
【請求項２１】前記少なくとも１つの第２領域が、自
動的に選択される、請求項１６から２０のいずれか１つ
に記載の方法。
【請求項２２】前記少なくとも１つの第２領域が、前
記第２の基準イメージの中間部分を含む、請求項２１に
記載の方法。
【請求項２３】前記少なくとも１つの第２領域が、手
動で選択される、請求項１６から２０のいずれか１つに
記載の方法。
【請求項２４】前記第２の基準イメージが前記第１の
基準イメージを含む、請求項１６から２３のいずれか１
つに記載の方法。
【請求項２５】前記ステップ（ｇ）における前記近隣
画素がアレイ状に配置され、前記差分イメージ画素の位
置が該アレイのほぼ中心にある、請求項１６から２４の
いずれか１つに記載の方法。
【請求項２６】共通の背景を有するシーケンスのイメ
ージについて、前記ステップ（ｅ）〜（ｇ）を繰り返す
ことを特徴とする、請求項１６から２５のいずれか１つ
に記載の方法。
【請求項２７】前記第２の基準イメージが、先行する
差分イメージである、請求項２６に記載の方法。
【請求項２８】前記少なくとも１つの第２領域が、前
記先行するステップ（ｇ）の、前記少なくとも１つの第
２タイプの領域を含む、請求項２７に記載の方法。
【請求項２９】各ステップ（ｇ）は、前記少なくとも
１つの第２タイプの領域に割り当てられた前記差分イメ
ージ画素の値を含む第２の初期ヒストグラムを形成する
ステップを含み、前記ステップ（ｆ）は、先行するステップ（ｇ）におい
て形成された該第２の初期ヒストグラムと先行するステ
ップ（ｆ）の第２の得られたヒストグラムの１つよりも
小さな第２の所定の分画との合計を含む該第２の得られ
たヒストグラムから、前記第２の閾値を得る、請求項２
８に記載の方法。
【請求項３０】前記第２の所定の分画が１／２であ
る、請求項２９に記載の方法。
【請求項３１】前記少なくとも１つの第１タイプの領
域に割り当てられず、且つ、前記少なくとも１つの第２
タイプの領域に割り当てられない、各差分イメージ画素
のうち、該差分イメージ画素の値が第３の閾値よりも小
さい画素を、第１タイプの画素の候補として割り当てる
ステップを含む、請求項１６から３０のいずれか１つに
記載の方法。
【請求項３２】前記第３の閾値が、前記第１の閾値と
前記第２の閾値との間の値である、請求項３１に記載の
方法。
【請求項３３】前記第３の閾値が、前記第１および第
２の閾値の算術平均である、請求項３２に記載の方法。
【請求項３４】前記少なくとも１つの第１タイプの領
域に割り当てられず、且つ、前記少なくとも１つの第２
タイプの領域に割り当てられない、各差分イメージ画素
について、該差分イメージ画素の前記近隣画素のうち
の、第３の所定の数を超える数の近隣画素が、該少なく
とも１つの第１タイプの領域に割り当てられるか、また
は、第１タイプの画素の候補として割り当てられる場
合、該各差分イメージ画素を該少なくとも１つの第１タ
イプの領域に割り当てるステップを含む、請求項３１か
ら３３のいずれか１つに記載の方法。
【請求項３５】前記近隣画素が１アレイの画素を含
み、前記差分イメージ画素の位置が該アレイのほぼ中心
にある、請求項３４に記載の方法。
【請求項３６】前記第３の所定の数が、近隣差分イメ
ージ画素の数の半分である、請求項３４または３５に記
載の方法。
【請求項３７】前記少なくとも１つの第１タイプの領
域に割り当てられず、且つ、前記少なくとも１つの第２
タイプの領域に割り当てられない、各差分イメージ画素
を、該少なくとも１つの第２タイプの領域に割り当てる
ステップを含む、請求項３４から３６のいずれか１つに
記載の方法。
【請求項３８】前記イメージまたは各イメージならび
に前記背景イメージが、グレイレベルイメージであり、
前記ステップ（ｃ）が、各イメージ画素と対応する背景
画素との差分を、該各イメージ画素のグレイレベルと該
対応する背景画素のグレイレベルとの差分として形成す
る、前記請求項のいずれか１つに記載の方法。
【請求項３９】前記ステップ（ｃ）は、前記差分イメ
ージまたは各差分イメージに対して移動ウィンドウ平均
化ステップを実行するステップを含む、前記請求項のい
ずれか１つに記載の方法。
【請求項４０】前記イメージまたは各イメージならび
に前記背景イメージが、カラーイメージであり、前記ス
テップ（ｃ）が、各イメージ画素と対応する背景画素と
の差分を、該各イメージ画素の色と該対応する背景画素
の色との間の色距離として形成する、請求項１から３７
のいずれか１つに記載の方法。
【請求項４１】前記色距離は、【数１】（ｎは各画素の色成分の数であり、Ｉ_iはイメージ画素
のｉ番目の色成分であり、Ｂ_iは背景画素のｉ番目の色
成分であり、α_iは重み係数である）として形成され
る、請求項４０に記載の方法。
【請求項４２】各α_iは１に等しい、請求項４１に記
載の方法。
【請求項４３】ｎが３に等しく、Ｉ₁およびＢ₁が赤色
成分であり、Ｉ₂およびＢ₂が緑色成分であり、Ｉ₃およ
びＢ₃が青色成分である、請求項４１または４２に記載
の方法。
【請求項４４】前記ステップ（ｃ）が色成分差分イメ
ージＩ_i−Ｂ_iを形成し、該色成分差分イメージの各々に
対して、移動ウィンドウ平均化ステップを実行する、請
求項４１から４３のいずれか１つに記載の方法。
【請求項４５】前記ウィンドウは、３×３画素のサイ
ズを有する、請求項３９または４４に記載の方法。
【請求項４６】差分イメージ画素に対応するエレメン
トを有するバイナリマスクを形成するステップであっ
て、各エレメントは、前記対応する差分イメージ画素が
前記少なくとも１つの第１タイプの領域に割り当てられ
た場合に第１の値を有し、該対応する差分イメージ画素
が前記少なくとも１つの第２タイプの領域に割り当てら
れた場合に該第１の値と異なる第２の値を有することを
含む、前記請求項のいずれか１つに記載の方法。
【請求項４７】前記少なくとも１つの背景領域に割り
当てられた差分イメージ画素に対応する前記イメージま
たは各イメージの各画素の値を、対応する背景イメージ
画素の値と置き換えるステップを含む、請求項５に記載
の方法。
【請求項４８】前記少なくとも１つの背景領域に割り
当てられた差分イメージ画素に対応する前記イメージま
たは各イメージの各画素の値を、異なる背景の対応する
画素の値と置き換えるステップを含む、請求項５に記載
の方法。
【請求項４９】少なくとも１つの前面領域の境界線に
割り当てられた差分イメージ画素に対応する前記イメー
ジまたは各イメージの各画素の値を、該イメージ画素の
値と前記対応する異なる背景画素の値との線形結合と置
き換えるステップを含むことを含む、請求項４８に記載
の方法。
【請求項５０】前記線形結合が、対または各対の対応
する画素成分値の算術平均を含む、請求項４９に記載の
方法。
【請求項５１】各色成分について、前記少なくとも１
つの背景領域に割り当てられた画素の色成分値と、前記
非遮蔽背景イメージの対応する画素の色成分値との差分
の分布を形成するステップと；該分布におけるピークの
位置の、所定の位置からのシフトを判定するステップ
と；該シフトに基づいて、該少なくとも１つの背景領域
に割り当てられた画素の該色成分値を補正するステップ
とを含む、請求項５に記載の方法。
【請求項５２】画素化されたイメージをセグメント化
する装置であって、第１の基準イメージから少なくとも１つの第１領域を選
択する手段と、該少なくとも１つの第１領域に含まれる画素の値から、
該画素のうちの第１の所定の割合の画素が、第１の閾値
の第１の側にある値を有するような第１の閾値を得る手
段と、該イメージの各画素と非遮蔽背景のイメージの対応する
画素との差分として、差分イメージを形成する手段と、該差分イメージ画素の値が該第１の閾値の該第１の側に
あり、且つ、第１の所定の数よりも多くの数の近隣差分
イメージ画素の値が該第１の閾値の該第１の側にある場
合、各差分イメージ画素を、少なくとも１つの第１タイ
プの領域に割り当てる手段と、を含む装置。
【請求項５３】画素化されたイメージをセグメント化
する装置であって、プログラミング可能なデータプロセッサと、該データプロセッサを制御して、請求項１から５１のい
ずれか１つに記載の方法を実行するプログラムを含む記
憶媒体と、を含む装置。
【請求項５４】データプロセッサを制御して、請求項
１から５１のいずれか１つに記載の方法を実行するプロ
グラムを含む記憶媒体。
【請求項５５】データプロセッサを制御して、請求項
１から５１のいずれか１つに記載の方法を実行するプロ
グラム。
【請求項５６】請求項５２または５３に記載の装置を
含むイメージキャプチャデバイス。