JP4742168B2 - ビデオ監視カメラが検出した対象物の特性を識別する方法および機器 - Google Patents

Description

本発明はビデオ監視カメラが捕らえたビデオ・シーケンス内で検出された対象物の特性を識別する方法に関するものである。また、本発明はビデオ監視システム内の対象物を追跡する方法に関するものである。更に、本発明はビデオ監視カメラが捕らえたビデオ・シーケンス内で検出された対象物の特性を識別するビデオ監視システム内の識別機器と、ビデオ監視システム内の対象物を追跡する追跡装置とを備えるビデオ監視システムに関するものである。

監視の目的では監視カメラ（ＣＣＴＶ）システムが主として用いられる。最近では、空港、公共領域、学校、高速道路、およびその他の多くの場所で監視システムが増えている。ＣＣＴＶ市場は、アナログ・システムとディジタル・ネットワーク・ビデオ・システムという２つの分野から成る。アナログ・システムに比べてネットワーク・ビデオ・システムはいくつかの利点を有する。ネットワーク・ビデオ市場のシェアが増加している最も大きな理由は、遠隔でのアクセス可能性、容易な将来の証明の統合、拡張性および柔軟性などである。
ディジタル・ネットワーク・ビデオ・システムとアナログ・システムとを分ける１つの特徴は、前者のシステムが実時間の画像処理に適していることである。これは、或る種のディジタル信号プロセッサとカメラとを統合してこれにアルゴリズムを導入すれば可能になる。

現在の実時間の監視は非常に大きな労力を要するのでコストがかかる。また人間の注意力は時間と共に急速に劣化するので、この種の仕事の支援ツールとして画像を処理するインテリジェント・ビデオ機能を用いることが望ましい。これにより、人件費が下がると共に性能が向上する。実時間の監視を容易にするのに有用なインテリジェント・ビデオ機能には、動きの検出（例えば、人のいない施設内に立ち入った人物の検出）、特定の事象の検出（例えば、車の衝突の検出）、認識（例えば、大きなあいまいなカメラ・システム内の不審な人物の動きの追跡）などである。
ネットワーク・ビデオ・カメラがこれらの機能を満足な方法で行うことができれば、アナログ・システムより優れた独特の利点を有することになるであろう。

複数のカメラを備えるビデオ監視システムで、すなわち、異なるカメラが捕らえた異なるビデオ・シーケンスまたは場面間で、人間などの剛体でない対象物を検出しまた追跡できるようにするには、次の要素を考慮に入れなければならない。すなわち、人間が剛体でないために起こる形の変化、シーケンス内の異なる視点、別の場面の間および同じ場面の中の異なる照明レベル、異なる場面の間および同じ場面の中の異なる照明の色、シーケンス内のカメラまでの異なる距離、などである。
これらの事情から、非剛性対象物を検出しまた追跡する方法の中には適用できないものがある。解像度が低くまたカメラと対象物との間に距離があるために、詳かい部分を処理する方法は全て使えない。人の衣服の生地は非常に細かいことが多いので、生地に基づく方法も使えない。

本発明の目的は、人間などの非剛性対象物を認識できるようにすることである。したがって、この方法は対象物の形の変化に敏感であってはならない。
監視カメラのユーザはカメラを較正することは望まないので、この方法はカメラの位置が既知であることに依存することはできない。このため、対象物を見る角度を考慮に入れることはできない。したがって、対象物の異なる部分の相対的サイズ（例えば、腕や足の相対的長さ）に基づく方法は使えない。

追跡の問題はすでに広く調査されているが、人物を追跡するための周知の方法はここでは使えない。なぜなら、同じ場面内の人物を追跡することと、異なる場面内の人物を認識する（異なる場面は異なるカメラから得られる）こととの間に重要な違いがあるからである。同じ場面内の人物を追跡するときは、問題は各新しいフレーム内でその人物を見つけることである。この場合は、その前のフレームからの情報が非常に有用である。照明や、見る角度や、その人物の位置は、フレーム間で全く同じか、変化してもごくわずかのはずである。場面が変わると、これらの情報は全て失われる可能性がある。したがって、異なる場面間で人物を認識する方法は普通の追跡方法以外の特徴を用いなければならない。

異なる場面間の対象物を識別しまた追跡する方法は、多数のカメラを用いる監視システムにおける支援ツールとして用いるべきである。したがって、この方法は誤って一致と判定することは許容できるが、正しく一致したものを見落としてはならない。モニタを監視している監視者は、前者の場合は正しい人物を手動で容易に認識することができるが、後者の場合は、その方法は監視者にとって何の助けにもならない。
したがって、対象物の特性を識別する方法およびシステムが必要である。この特性は異なるビデオ・シーケンス間で対象物を追跡するのに用いることができるものであり、この方法は２つの異なるビデオ・シーケンス内で起こる全ての対象物を見落とすことがないという意味で信頼できるものである。

本発明の目的は、上に述べた問題の少なくとも一部を緩和することができる、ビデオ監視システムにおける方法と、ビデオ監視システム内の機器と、ビデオ監視システムとを得ることである。
本発明の第１の態様では、これはビデオ監視カメラが捕らえたビデオ・シーケンス内の対象物の特性を識別するビデオ監視システムにおける方法により達成される。この方法は、ビデオ・シーケンス内の特定の対象物を識別するステップと、ビデオ・シーケンス内で識別された特定の対象物の色および強さの情報、すなわち、ビデオ・シーケンスの複数の画像から生じる色および強さの情報、に基づいて少なくとも２次元の色空間内に色ヒストグラムを生成するステップと、生成された色ヒストグラムに基づいて対象物の特性を識別するステップとを含む。

ビデオ・シーケンスの複数の画像に基づいて色ヒストグラムを生成することにより、対象物の種々の可能な外観を受け、これを結合して色ヒストグラムを作ることができる。これは、ビデオ・シーケンス内で対象物が向きを変えて大きく動いた場合に、多くの可能な視点から対象物を完全に記述する色ヒストグラムが得られることを意味する。これにより、ヒストグラムは画像内の空間的変化に対して不変になる。例えば対象物が人間の場合は、この人がジャケットを手に持っているか着ているかは色ヒストグラム内では関係ない。この色ヒストグラムに基づいて識別された対象物の特性は後で、例えば、同じカメラからまたは別のカメラから生じるその後のビデオ・シーケンス内の対象物を、新しいビデオ・シーケンス内の対象物の位置や視角に関わらず検出するのに用いることができる。また、色ヒストグラムは強さおよび色に基づくので、色ヒストグラムは情報がどの画像から生じたかに関係ない。すなわち、時間に関係ない。

当業者に明らかなように、色および強さの色空間から得られる任意の多次元表現を用いて任意の少なくとも２次元のヒストグラムに同じ方法を適用することができる。
本発明の或る実施の形態では、生成された色ヒストグラムに基づいて対象物の特性を識別するステップは、色ヒストグラムを正規分布などの多数の分布でモデル化するステップと、生成されモデル化された色ヒストグラムに基づいて対象物の特性を識別するステップとを含む。色ヒストグラムを多数の分布でモデル化することにより、色ヒストグラムから受けるデータの量を、対象物の特性を識別するのに管理しやすい量まで減らすことができる。

本発明の別の実施の形態では、色ヒストグラムは、期待最大化アルゴリズムなどの分布当てはめアルゴリズムを用いて多数の分布でモデル化する。分布当てはめアルゴリズムを用いることにより、色ヒストグラムの良いモデルが得られる。また、期待最大化アルゴリズムは、多数の正規分布により色ヒストグラムの良い推定を得るための比較的高速の方法である。

本発明の別の実施の形態では、この方法は更に、色ヒストグラムをデカルト座標系から極座標系に変換するステップを含む。これにより、ヒストグラム内の対象物の特性を、環境に依存する色ヒストグラムの特性から分離しやすくなる。色ヒストグラム内では、対象物の各色部分は色ヒストグラム内に或る広がりを有する斑点（ｂｌｏｂ）により表される。モデル化された色ヒストグラムを？座標およびａ座標を持つ極座標系に変換することにより、或る対象物の第１のビデオ・シーケンスと同じ対象物の第２のビデオ・シーケンスとの間の照明の強さの変化はほぼ？方向の斑点の位置の変化に変わり、シーケンス間の光の色の変化はほぼａ方向の斑点の位置の変化に変わる。画像内の環境の影響を対象物の特性から分離するときにこの知識を用いることができる。色ヒストグラムを分布でモデル化するステップの後に変換するステップを行って、変換するステップでの計算量を減らすのが好ましい。しかし、変換するステップはモデル化するステップの前に行ってもよい。

本発明の更に別の実施の形態では、対象物の特性を計算するステップは、多数の分布のパラメータに、各パラメータと対象物の特性との相関に依存して重みを付けることにより対象物の特性を計算することを含む。各パラメータと対象物の特性との相関の大きさの推定に依存して異なる重み係数を分布のパラメータに与えることにより、対象物の特性の計算値を得ることができる。

更に別の実施の形態では、分布のパラメータを計算するステップは更に、色ヒストグラムを極座標系から第２のデカルト座標系に変換するステップと、第２のデカルト座標系の原点を色ヒストグラム内の対象物の重心にするステップとを含む。これにより色ヒストグラム内の対象物を記述する内部座標系が得られるので、色ヒストグラム内の情報を分離して、これを対象物の特性と多少とも相関するパラメータ内に入れるのが容易になる。

本発明の別の実施の形態では、対象物の各色部分を色ヒストグラム内に或る広がりを有する斑点により表し、また対象物をかかる斑点のクラスタとして記述する。これにより、色ヒストグラム内の情報を分離して、これを対象物の特性と多少とも相関するパラメータ内に入れるのが容易になる。
本発明の第１の態様の別の実施の形態では、この方法は更に、複数の画像からそれぞれ生じた色および強さの情報を、各画像内で対象物を記述する画素の数に関して正規化するステップを含む。これにより、色および強さの情報は画素に中立になる。例えば、各画像を取得した異なる時間および対象物のスケールに対して不変になる。

別の実施の形態では、色空間は、強さ情報と色情報とを分離できるＹＣｂＣｒ、ＨＳＶ、ＹＵＶ色空間などの色空間である。強さ情報と色情報とを分離できる色空間を用いることにより、対象物に関係する色ヒストグラム内の特性を、ビデオ・シーケンスを捕らえたときの環境に関係する色ヒストグラム内の特性から分離することができる。
更に別の実施の形態では、色ヒストグラムはビデオ・シーケンスの全ての画像内の色および強さの情報に基づいて生成する。色ヒストグラムを生成するのに用いる画像が多いほど、ヒストグラムは対象物の時間的および空間的態様に依存しなくなる。

更に別の実施の形態では、色ヒストグラムに基づいて対象物の特性を識別するステップは、色ヒストグラムに基づいてビデオ・シーケンス内の対象物を記述するパラメータを識別するステップと、この識別されたパラメータに基づいて対象物の特性を計算するステップとを含む。ビデオ・シーケンス内の対象物を記述するパラメータを識別するステップは、色ヒストグラムの重心および色ヒストグラム分布を識別するステップと、識別された重心および識別された色ヒストグラム分布に基づいて対象物の特性を識別するパラメータを計算するステップとを含む。重心および色ヒストグラム分布の特徴は、対象物の特性を識別するのに用いることができるパラメータを計算するための、最初の良い特徴であることが分かった。

本発明の第２の態様では、ビデオ監視システム内の対象物を追跡する方法を提供する。この方法は、第１のビデオ監視カメラが捕らえた第１のビデオ・シーケンス内の追跡すべき対象物を識別するステップと、追跡すべき対象物の特性を本発明の第１の態様の方法に従って識別するステップと、第２のビデオ監視カメラが捕らえた第２のビデオ・シーケンス内の候補の対象物を識別するステップと、候補の対象物の特性を本発明の第１の態様の方法に従って識別するステップと、候補の対象物の識別された特性と追跡すべき対象物の識別された特性とを照合するステップと、候補の対象物が追跡すべき対象物と同一である確度を前記照合するステップに基づいて計算するステップとを含む。この方法により、第２のビデオ・シーケンス内の候補の対象物が、前に捕らえた第１のビデオ・シーケンス内の追跡すべき対象物と同じ対象物かどうかを自動的に検出することができる。本発明の第１の態様の方法は各ビデオ・シーケンス内の対象物の空間的な変化および時間的な変化に対して不変なので、正しく一致したものを第２の態様の方法が見落とす可能性は低い。

本発明の第３の態様では、ビデオ監視システム内の識別機器を提供する。この識別機器は、ビデオ・シーケンス内の特定の対象物を識別する対象物識別ユニットと、ビデオ・シーケンス内で識別された特定の対象物の色および強さの情報、すなわちビデオ・シーケンスの複数の画像から生じた色および強さの情報、に基づいて少なくとも２次元の色空間内に色ヒストグラムを生成する色ヒストグラム発生器と、生成された色ヒストグラムに基づいて対象物の特性を識別する対象物特性識別器とを備える。ビデオ・シーケンスの複数の画像に基づいて対象物の色ヒストグラムを生成する色ヒストグラム発生器により、対象物の種々の可能な外観を受け、これを結合して色ヒストグラムを作ることができる。これは、ビデオ・シーケンス内で対象物が向きを変えて大きく動いた場合に、多くの可能な視点から対象物を完全に記述する色ヒストグラムが得られることを意味する。これにより、ヒストグラムは画像内の空間的変化に対して不変になる。また、色ヒストグラムは強さおよび色だけに基づくので、色ヒストグラムは情報がどの画像から生じたかに無関係になる。すなわち、時間に無関係になる。

本発明の第４の態様ではビデオ監視システムを提供する。このビデオ監視システムは、共通の通信ネットワークに接続する多数のビデオ監視カメラと、本発明の第３の態様に係る、共通の通信ネットワークに接続する少なくとも１台の識別機器と、ビデオ監視システム内の対象物を追跡する、共通の通信ネットワークに接続する追跡装置とを備える。

追跡装置は、第１のビデオ監視カメラが捕らえた第１のビデオ・シーケンス内で識別された候補の対象物の識別された特性に関する情報と第２のビデオ監視カメラが捕らえた第２のビデオ・シーケンス内で識別された追跡すべき対象物の識別された特性に関する情報とを含む情報を少なくとも１台の識別機器から受ける受信器と、候補の対象物の識別された特性と追跡すべき対象物の識別された特性とを照合する照合ユニットと、照合するステップに基づいて候補の対象物が追跡すべき対象物と同一である確度を計算する計算ユニットとを備える。かかるビデオ監視システムは、第２のビデオ・シーケンス内の候補の対象物が、前に捕らえた第１のビデオ監視カメラ内の追跡すべき対象物と同じ対象物かどうかを自動的に検出することができる。少なくとも１台の識別機器がビデオ・シーケンスの複数の画像から対象物の色ヒストグラムを生成することにより、このシステムは各ビデオ・シーケンス内の対象物の空間的な変化および時間的な変化に対して不変になるので、正しく一致したものをこのシステムが見落とす可能性は低い。

本発明の好ましい実施の形態を示す添付の図面を参照して、本発明について以下に詳細に説明する。しかし、本発明は多くの異なる形で実現してよく、ここに示す実施の形態に限定されると考えてはならない。むしろ、これらの実施の形態は、この開示を十分かつ完全にして本発明の範囲を当業者に十分に伝えるために提供されるものである。各図の同じ参照番号は同じ要素を指す。

図１ａおよび図１ｂは本発明に係るビデオ監視システムを示す。このビデオ監視システムは、通信ネットワーク２０を介して監視センタ３０に接続する多数のビデオ監視カメラ１０，１２，１４を備える。ビデオ監視カメラ１０，１２，１４は画像シーケンスを生成することができる任意のディジタル・カメラおよび／または画像シーケンスを生成することができる任意のアナログ・カメラでよい。この場合、アナログ・カメラは、アナログ画像情報をディジタル画像データに変換してディジタル画像データをネットワーク２０に与える変換器に接続する。通信ネットワーク２０はディジタル画像情報を伝える任意の種類の通信ネットワークでよい。例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、または無線ローカル・エリア・ネットワーク（Ｗ−ＬＡＮ）、またはワイド・エリア・ネットワーク（ＷＡＮ）などの有線または無線のデータ通信ネットワークでよい。

図１ａに示すシステムでは、各ビデオ監視カメラ１０，１２，１４は、ビデオ監視カメラが捕らえたビデオ・シーケンス内の対象物の特性を識別するための本発明にかかる識別機器１００ａ，１００ｂ，１００ｃを備える（図２参照）。対象物の特性を識別した後、各ビデオ監視カメラは識別された特性ＩＤをネットワーク内の監視センタ３０などのノードに伝える。このため、監視センタ３０は、第１のビデオ・カメラ１０から受けた追跡すべき対象物の識別された特性および第２のビデオ・カメラ１２から受けた候補の対象物の識別された特性に基づいてビデオ監視システム内の対象物を追跡するための本発明に係る追跡装置２００を備える（図３参照）。追跡装置は、追跡すべき対象物の識別された特性と候補の対象物の識別された特性とを比較して候補の対象物が追跡すべき対象物と同一かどうかを計算する。

図１ｂに示すシステムでは、ビデオ監視カメラ１０，１２，１４内に識別機器がない。その代わりに、監視センタ３０は追跡装置２００に加えて少なくとも１台の識別機器１００を備える。このシステムでは、ビデオ監視カメラ１０，１２，１４はビデオ・シーケンスを監視センタに送り、監視センタ内に配置された識別機器内で対象物の特性を識別する。

別の実施の形態では、一部のカメラは識別機器１００を備え、一部のカメラは識別機器１００を備えない。この場合は、入力データは識別機器を備えないカメラから識別機器を備えるカメラに送る。別の形態では、監視センタ３０などの中央ノード内にも識別機器１００を備えてよい。この場合は、入力データは識別機器を備えないカメラから中央ノード内の識別機器に送ってよい。

更に別の実施の形態では、ビデオ監視システム内のカメラの少なくとも１個は追跡装置２００を備えてよい。
また追跡装置２００は、追跡すべき対象物の識別された特性を受けたカメラと同じカメラから候補の対象物の識別された特性に関する情報を受けてよい。この場合は、追跡すべき対象物の識別された特性は第１のビデオ・シーケンスから生じ、候補の対象物の識別された特性は第１のビデオ・シーケンスとは別個の第２のビデオ・シーケンスから生じる。

図２は本発明の或る実施の形態に係る識別機器１００を備えるビデオ監視カメラ１０の概要を示す。本発明の理解を助けるために、ビデオ監視カメラの標準機能の中で本発明に関係のないものは説明しない。ビデオ監視カメラ１０は、入射光を記録するための画像センサ５２（例えば、電荷結合素子（ＣＣＤ）、ＣＭＯＳセンサなど）、画像処理手段５４、ネットに接続する他のノードに通信ネットワークを介して情報を送る通信ユニット１５０、本発明の或る実施の形態に係る識別機器１００を備える。

画像処理手段５４は記録した光に関する情報を受け、この情報を、当業者に周知のＡ／Ｄ変換器および信号処理手段５６により処理する。或る実施の形態では（例えば、画像センサ５２がＣＭＯＳセンサのとき）画像センサ５２はＡ／Ｄ変換器を含むので、画像処理手段５４内にＡ／Ｄ変換器は必要ない。Ａ／Ｄ変換器および信号処理手段５６からの結果はディジタル画像データであって、１つの実施の形態では、これをスケーリング・ユニット５７および符号器５８で処理した後、ディジタル画像データを識別機器１００に送る。スケーリング・ユニット５７はディジタル画像データを処理して或るサイズの少なくとも１つの画像を作る。しかし、異なるサイズの複数の画像（全てＡ／Ｄ変換器および信号処理手段５６により与えられる同じ画像／フレームを表す）を生成してもよい。別の実施の形態ではスケーリング・ユニットの機能を符号器で行い、また更に別の実施の形態では画像センサからの画像のスケーリング、すなわちサイズ変更を行う必要は全くない。

符号器５８は本発明の実施においては随意であるが、ディジタル画像データを符号化して、複数の周知のフォーマット（連続したビデオ・シーケンスのための、制限されたビデオ・シーケンスのための、静止画像のための、または流れる画像／ビデオのための）の任意の１つを作る。例えば、画像情報を符号化して、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＪＰＥＧ、ＭＪＰＧ、ビットマップなどを作る。識別機器１００は非符号化画像を入力データとして用いてもよい。この場合は、画像データは信号処理手段５６からまたはスケーリング・ユニット５７から取り、符号器５８を通さずに識別機器１００に与える。非符号化画像は、ＢＭＰ、ＰＮＧ、ＰＰＭ、ＰＧＭ、ＰＮＭ、ＰＢＭなどの任意の非符号化画像フォーマットでよい。しかし、識別機器１００は符号化データを入力データとして用いてもよい。

本発明の或る実施の形態では、スケーリング・ユニット５７または符号器５８を通さずに、画像データを信号処理手段５６から識別機器１００に直接送ってよい。更に別の実施の形態では、符号器を通さずに画像データをスケーリング・ユニット５７から識別機器１００に送ってよい。

図２の識別機器１００は、対象物識別ユニット１０２、色ヒストグラム発生器１０４、および対象物特性識別器１０６を備える。対象物識別ユニット１０２は画像処理手段５４から受けた画像情報に基づいてビデオ・シーケンス内の対象物を識別する。対象物は対象物識別ユニット１０２内で任意の周知の対象物識別技術に従って手動または自動で識別してよい。色ヒストグラム発生器１０４は、対象物の色および強さの情報、すなわちビデオ・シーケンスの複数の画像から生じた情報、に基づいて色ヒストグラムを生成する。色ヒストグラムは色を記述するヒストグラムを意味する。

対象物特性識別器１０６は生成された色ヒストグラムに基づいて対象物の特性を識別する。色ヒストグラムを生成するときにビデオ・シーケンスの複数の画像から生じた情報を用いることにより、１つの画像だけからの情報を用いる場合に比べて、識別機器は時間的および空間的な態様（すなわち、絵の中のいつどこで対象物を識別したか）に対して敏感でなくなる。用いる画像が多くなるほど、識別機器は時間的および空間的な態様に強くなる。これは、本発明の識別機器が対象物の特性を識別できる確実性が高いことを意味する。なぜなら、この機器は異なるビデオ・シーケンス内の対象物の外観の変化に対して敏感でないからである。

本発明の或る実施の形態では、対象物の特性は種々のステップで識別することができる。例えば、まずビデオ・シーケンスの少数の画像（例えば５画像）内の色および強さの情報に基づいて特性を識別してよい。その後で、ビデオ・シーケンスの多数の画像に基づいて（例えば、後でビデオ・シーケンス内の更に多数の画像内で対象物を見たときに）対象物の特性の正確な識別を行ってよい。
本発明の或る実施の形態では、対象物特性識別器は、ヒストグラム・モデル化器１０８、ヒストグラム変換器１１０、パラメータ計算器１１２、対象物特性計算器１１４を備える。

ヒストグラム・モデル化器１０８は、生成された色ヒストグラムを多数の分布（１つの実施の形態では正規分布）でモデル化してデータ量を減らす。ヒストグラム変換器１１０は、強さを表す？および色を表すａを用いて色ヒストグラムをデカルト座標系から極座標系に変換する。これにより色ヒストグラム内の対象物の特性を環境に依存する色ヒストグラムの特性から分離しやすくなる。パラメータ計算器１１２は対象物の特性を識別する多数の分布のパラメータを計算する。

対象物特性計算器１１４は、対象物の特性を識別するために各パラメータの重要性に従ってパラメータに重みを付けることにより、計算されたパラメータに基づいて対象物の特性を計算する。各パラメータの重要性は、例えばテスト・ステップで前もってテストしてよい。カメラ１０の通信ユニット１５０は、例えばカメラ１０の中の識別機器１００が色ヒストグラムから識別した対象物の特性に関する情報を、通信ネットワーク内の別のノード内または同じカメラ内の追跡装置に伝える。

図３は本発明に係る追跡装置２００を示す。追跡装置２００は、受信器２０２、照合ユニット２０４、計算ユニット２０６、信号発生器２０８を備える。受信器２０２は、追跡すべき対象物の識別された特性に関する情報を第１の識別機器から受け、また候補の対象物の識別された特性に関する情報を第２の識別機器から受ける。または、第１および第２の識別機器は同じ識別機器でよい。照合ユニット２０４は、候補の対象物の識別された特性に関する情報と追跡すべき対象物の識別された特性に関する情報とを照合する。

計算ユニット２０６は、照合するステップに基づいて、候補の対象物が追跡すべき対象物と同一である確度を計算する。計算の結果は監視センタ内のディスプレイなどの表示ユニットに信号として送られ、ディスプレイ上に表示されて、一致／不一致が見つかったことを監視センタで働く担当者に示す。計算の結果は、候補の対象物が追跡すべき対象物と同一である確率を示す確率値でよい。信号発生器２０８は計算の結果に基づいてかかる信号を生成する。

図４は、本発明の或る実施の形態に係る、ビデオ監視カメラが捕らえたビデオ・シーケンス内の対象物の特性を識別する方法を示す。この方法は次のステップを含む。すなわち、ビデオ監視カメラが捕らえたビデオ・シーケンス内の対象物を識別するステップ３０２と、ビデオ・シーケンス内の複数の画像からの対象物の色および強さの情報に基づいて色ヒストグラムを生成するステップ３０６と、生成された色ヒストグラムに基づいて対象物の特性を識別するステップとである。

本発明の実施の形態では、生成された色ヒストグラムに基づいて対象物の特性を識別するステップは、更に次のステップの１つ以上を含む。すなわち、多数の正規分布で色ヒストグラムをモデル化するステップ３０８と、モデル化された分布をデカルト座標系から極座標系に変換するステップ３１０と、対象物の特性を識別するのに用いた分布のパラメータを計算するステップ３１２と、各パラメータと対象物の特性との相関に従って分布のパラメータに重みを付けることにより、対象物の計算されたパラメータに基づいて対象物の特性を計算するステップ３１４とである。モデル化するステップ３０８と変換するステップ３１０の順序はどちらが先でもよい。

本発明の或る実施の形態では、この方法は更に、各画像内の対象物の色および強さの情報を、各画像内で対象物を記述する画素の数により正規化するステップを含む。正規化するステップは色ヒストグラムを生成するステップ３０６の前または後に行ってよい。
本発明の或る実施の形態では、分布のパラメータを計算するステップ３１２は、色ヒストグラムを極座標系からデカルト座標系に変換するステップと、座標の原点を色ヒストグラム内の対象物の重心に移すステップと、第２のデカルト座標系内の多数の分布の位置を計算するステップとを含む。第２のデカルト座標系内の多数の分布の位置は対象物の特性を識別するパラメータとして用いる。

分布のパラメータを計算するステップ３１２は更に、色ヒストグラム内の重心および色ヒストグラム分布を識別するステップと、識別された重心および識別された色ヒストグラム分布に基づいて対象物の特性を識別するためのパラメータを計算するステップとを含む。この場合、「色ヒストグラム分布」という用語は対象物を記述する斑点のクラスタの、色ヒストグラム内への延長と解釈すべきである。ヒストグラムは多数の斑点を含むものと言ってよい。各斑点は単色の対象物の部分と定義され、対象物はかかる単色の対象物の部分のクラスタである。

図５は、本発明の或る実施の形態に係る、ビデオ監視システム内で対象物を追跡する方法を示す。この方法は、第１のビデオ監視カメラが捕らえた第１のビデオ・シーケンス内の追跡すべき対象物を識別するステップ４０２と、追跡すべき対象物の特性を図４に示す方法に従って識別するステップ４０４と、第２のビデオ監視カメラが捕らえた第２のビデオ・シーケンス内の候補の対象物を識別するステップ４０６と、候補の対象物の特性を図４に示す方法に従って識別するステップ４０８と、候補の対象物の識別された特性と追跡すべき対象物の識別された特性とを照合するステップ４１０と、照合するステップに基づいて候補の対象物が追跡すべき対象物と同一である確度を計算するステップ４１２と、候補の対象物が追跡すべき対象物と同一である確度を示す信号を生成するステップ４１４とを含む。

生成された信号は、例えば監視センタ内の監視員のスクリーンで視覚的に提示してよい。監視員はこの情報を用いて、候補の対象物と追跡すべき対象物との間に一致が実際に存在するかどうかを、２つのビデオ・シーケンス内で目で更にチェックする。
本発明の別の実施の形態では、第１のビデオ監視カメラと第２のビデオ監視カメラとは同じビデオ監視カメラでよい。この場合は、第１のビデオ・シーケンスと第２のビデオ・シーケンスとは同じカメラで捕らえた別個のビデオ・シーケンスである。

ビデオ監視カメラおよび／またはビデオ監視システム内の他のノードは、コンピュータ使用可能媒体（コンピュータ・プログラム製品をその上に記憶している）を受けるコンピュータを有してよい。コンピュータ・プログラム製品はコンピュータ読取り可能プログラム手段を含み、コンピュータはこれにより、ビデオ・シーケンス内の対象物の特性を識別する方法のステップを実行し、および／または本発明に係るビデオ監視システム内で対象物を追跡する方法のステップを実行する。

理論
本章は調査した問題の背後の基本的理論を含む。第１節は調査に用いた機器を扱い、第２節は数学を扱う。
調査の際に、研究、訓練、および確認のためにビデオ・シーケンスを作った。用いたカメラはＡｘｉｓ２０７ネットワーク・カメラおよびＡｘｉｓ２１０ネットワーク・カメラで、両方とも自動ホワイト・バランスおよび露出制御を備える。これらのカメラは２つの異なるセンサ技術を用いている。前者のカメラはディジタル・センサＣＭＯＳを用い、後者のカメラはアナログ・センサＣＣＤを用いる。これらを用いて、この応用で説明する方法を、特定のカメラまたはセンサ技術に適用される技術ではなく、より一般的な技術環境で開発した。ビデオ・シーケンスはＭＪＰＧファイルとして捕らえた。各ＭＪＰＧファイルはＪＰＧファイルのシリーズから成る。これらを分離し、ＰＰＭファイルに変換して、調査の際にデータとして用いた。しかし、本発明を実施するのに任意の種類の画像フォーマットを用いてもよかった。

以下の節ではホワイト・バランスおよび色空間の問題を詳細に説明し、またこれらの領域の数学的側面も扱う。
われわれの周囲のほとんどの光源は輻射黒体である。そのスペクトル強さはその温度に依存し、プランクの黒体輻射の法則により次式で与えられる。

ただし、Ｉはスペクトル放射輝度、？は周波数、Ｔは温度、ｈはプランクの定数、ｃは光速、ｅは自然対数の底、ｋはボルツマン定数である。

黒体輻射の為に、低温の光源は赤の方にシフトし（例えば、白熱電球）、高温の光源は青の方にシフトする（例えば、太陽）。
対象物から反射された光の色は対象物の色と入射光の色の両方に依存する。人間の脳は調整を行って周囲の光の色を補償するので、人間は入射光に関係なく対象物の正しい色を見ることができる。しかし普通のカメラはかかる調整を行わないので、画像の色は影響を受ける（例えば、その場面の入射光が青い場合は画像内の白色の対象物は青みがかることがある）。対象物の真の色を示す画像を作るにはホワイト・バランス・アルゴリズムを適用しなければならない。このアルゴリズムは場面内の白い対象物を画像内で白くし、他の全ての色も或る程度の正確さで修正する。

ネットワーク・カメラはセンサで画像を捕らえる。これらのセンサは一般にＲＧＢまたはＣＭＹＧ色空間を用いる。人間の目は光の強さに対してよりも色に対して感度が低いので、色の解像度は強さの解像度より低くてよい。そのため、画像の圧縮では色と強さとを別個に処理する方がよい。したがって、画像をＹＣｂＣｒ色空間（Ｙは強さの情報を含み、ＣｂおよびＣｒは色の情報を含む）に変換した後、これを圧縮してＪＰＥＧまたはＭＰＥＧフォーマットを作る。これにより、ＹＣｂＣｒは全ての画像処理において好ましい色空間になる。なぜなら、更に変換する必要がないからである。図６はＲＧＢ色空間に対するＹＣｂＣｒ色空間を示す。

ＹＣｂＣｒ色空間は

で定義されるＲＧＢ色空間の線形マップである。ただし、０≦Ｒ，Ｇ，Ｂ≦２５６、０≦Ｙ≦２５６、および−１２８≦Ｃｂ，Ｃｒ≦１２８である。

方法
まず、ビデオ監視カメラが捕らえた画像を前処理して、識別された対象物を正しく区分する。図７ａでは画像は識別された対象物（すなわち室内の人物）を含む。図７ｂでは対象物は区分されている。すなわち、対象物に対応しない画像の部分は削除されている。区分は、対象物を場面の残りから分離する任意の周知の区分方法により行ってよい。

追跡すべき対象物の識別された特性および候補の対象物の識別された特性に基づいて２つの異なるビデオ・シーケンス間で対象物の特性を識別しまた対象物を追跡するのに最も期待できる特徴の１つは色であることが分かった。人物の色ヒストグラムを特徴として用いると、形の変化、小さな部分的な重なり（ｏｃｃｌｕｓｉｏｎ）、方向の変化、見る位置のシフトなどの変動に対して敏感でないはずである。他方で、色ヒストグラムの特徴は照明の色および強さの変化に対して敏感なことである。したがって、色空間としてはＲＧＢより、ＹＣｂＣｒ色空間などの強さ情報と色情報とを分離することができる色空間を用いる方がよさそうである。なぜなら、ＹＣｂＣｒ色空間内では照明の強さの変化の影響と色の変化の影響とが分離されるからである。大体のところ、照明の強さはＹ軸に沿って変化し、照明の色はＣｂＣｒ平面内で変化する。この知識を用いると照明の変動を調整することができる。前に述べたように、ＹＣｂＣｒ色空間はハードウエア応用で扱うのにも適している。

３次元色空間を扱うと大量のコンピュータ容量を消費するし、また分析のための視覚化が困難なので、２次元データ（ＣｂＣｒ、ＹＣｂ、ＹＣｒ平面内の）の方が便利であろう。図８に、ＹＣｂＣｒ色空間が立方体でないことを示す。したがって、異なる照明の強さの中の単色の対象物は、Ｙ軸に平行に広がるのではなく図８に示す線に沿って広がる。これらの線に沿ってＣｂＣｒ平面上に投影するのが正しいが、簡単のためにこの明細書では近似を行い、ＹＣｂＣｒヒストグラムをそのまま３つの全ての平面上に投影したものを用いて２次元ヒストグラムを作った。

本発明に係るビデオ・シーケンス内の対象物の特性を識別するのに用いるヒストグラムを生成するには、ビデオ・シーケンスの複数の画像が必要である。ヒストグラムを生成するのに用いるビデオ・シーケンスからの画像が多いほどより多くの情報が用いられるし、またこの方法はより強くなる。対象物を見た時間の違いおよびスケールに対してこの方法を不変にするため、用いる全ての画像内の対象物を構成する画素の数でヒストグラムを割るのが好ましい。人物の異なる部分の位置を用いないので、色ヒストグラムを特徴として扱うとこの方法は画像内の空間的変化に対して不変になる。人物が例えばジャケットを手に持っているか着ているかは、色ヒストグラム内では関係ない。第１の場面内の人物のこれらの特徴は、図９ａに人物のＣｂＣｒ、ＹＣｂ、ＹＣｒヒストグラムとしてこの順に左から右に示されている。各対の第１の変数は垂直軸上に示され、各対の第２の変数は水平軸上に示されている。１２８のオフセットがＣｂおよびＣｒスケールに加えられている。

同じ人物の別の場面の特徴がＣｂＣｒ、ＹＣｂ、ＹＣｒヒストグラムとして図９ｂに示されている。これらの２つの場面での照明の色は大幅に異なる。一方の場面の照明は主として青にシフトした室外光から成り、この光で対象物を照らした。しかし赤にシフトした室内光も存在し、この光がこの場面内の白い対象物を照らしたのでカメラはこの照明にホワイト・バランスし、対象物の色は正しくなくなった。このため、図９ａと図９ｂのヒストグラムは余り似ていない。このデータを用いて人物を認識することは難しい問題である。したがって、良い結果が得られるようにカメラのホワイト・バランスが働けばよい。それには１つのタイプの光源を用いればよい。この明細書の最後の方法は１つのタイプの光源を用いて確認する。しかしテストしてみると、異なるタイプの光源でも良い結果が得られることが分かった。

図１０ａおよび図１０ｂは、２つの異なる場面における或る人物のＣｂＣｒ、ＹＣｂ、およびＹＣｒ色ヒストグラムを示す。この場合は、１つのタイプの光源を用いた。図１０ａおよび図１０ｂには、或る人物のＣｂＣｒ、ＹＣｂ、ＹＣｒヒストグラムがこの順に左から右に示されている。各対の第１の変数は垂直軸上に示され、各対の第２の変数は水平軸上に示されている。１２８のオフセットがＣｂおよびＣｒスケールに加えられている。図１０ａと図１０ｂとの間の色ヒストグラムの類似性は図９ａと図９ｂとの間に比べてはるかに大きい。複数の人物のヒストグラム（２つの異なる場面からの）の分析によると、認識する対象物が人間の場合、その人が目立たない色の衣服を着ている限り、ＣｂＣｒ平面はＹＣｂおよびＹＣｒ平面ほど認識するのに有用ではないことが分かった。その理由は、ＣｂＣｒ平面内のデータは原点の近くに集中し、また異なる色の対象物（衣服の各片）を表す斑点は重なることが多いからである。したがって、目立たない色の衣服を着た人物を認識するには、ＹＣｂおよびＹＣｒヒストグラムを特徴として用いるのが好ましい。

照合の特徴
異なるビデオ・シーケンス内の人物を認識するには、異なるビデオ・シーケンスからの特徴を互いに照合する。ヒストグラムを照合するいくつかの方法が文献に示されており、これらの方法を直接用いてよい。ヒストグラムを照合するこれらの方法の１つはヒストグラム内のビンを直接比較することである。これを行う１つの方法は、２つのヒストグラムの対応するビンの積の平方根の和であるバタチャヤ（Ｂｈａｔｔａｃｈａｒｙｙａ）係数を用いることである。この方法は、Ｄ．Ｃｏｍａｎｉｃｉｕ、Ｖ．Ｒａｍｅｓｈ、Ｐ．Ｍｅｅｒの、「核ベースの対象物の追跡（Ｋｅｒｎｅｌ−ｂａｓｅｄ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ）」、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，（２０００）、に記述されている。

円錐照合（ｃｏｎｉｃ ｍａｔｃｈｉｎｇ）は別の照合方法であって、斑点の特徴を照合する（例えば、見た目を照合する）のに用いられる。円錐照合アルゴリズムでは、類似の色を持つ画素を区分して楕円に似た形の斑点を作る。次に、或る画像内で見つけた斑点と別の画像内の斑点とを比較して、一致するかどうか調べる。この比較で用いる特徴は斑点の色、形、位置である。この照合方法は、

Ａ．Ｍｏｅの、「斑点の特徴を用いる視覚照合

、に記述されている。

本発明に用いることのできる別の照合方法は、ヒストグラムを正規分布でモデル化した後、照合する特徴としてモデルのパラメータを用いることである。この場合はデータ量が大幅に少なくなる。

期待最大化（ＥＭ）アルゴリズムなどの分布当てはめアルゴリズムでは、未知の分布を一組の正規分布によりモデル化する。ＥＭアルゴリズムは、所定の数の正規分布（クラス）とこれらのクラスの初期パラメータ推定値とを用いて開始する。そして、或る停止基準を満たすまで２つのステップを繰り返す。すなわち、現在のパラメータを用いる期待ステップ（Ｅステップ）と、新しいパラメータを見つける最大化ステップ（Ｍステップ）とである。有用な結果を得るためにＥＭアルゴリズムは集束する必要はないが、繰り返す度にモデルは一層良くなる。この論題ではこれは有用である。なぜなら、実時間で適用できる高速の方法が必要だからである。ＥＭアルゴリズムについては、「画像のモデル化および推定、統計的方法（Ｉｍａｇｅ Ｍｏｄｅｌｉｎｇ ａｎｄ Ｅｓｔｉｍａｔｉｏｎ，ａ Ｓｔａｔｉｓｔｉｃａｌ Ａｐｐｒｏａｃｈ）」、Ｌｕｎｄ Ｕｎｉｖｅｒｓｉｔｙ，２００５，ｃｈ．２．３．３ 未知の分布のためのＥＭアルゴリズム（Ｔｈｅ ＥＭ−ａｌｇｏｒｉｔｈｍ ｆｏｒ ｕｎｋｎｏｗｎ ｄｉｓｔｒｉｂｕｔｉｏｎｓ）、に詳細に記述されている。

対象物の区分された画像の背景は黒なので、テストした人物の全てのヒストグラム内のＹ＝０およびＣｂ，Ｃｒ＝０にスパイクが存在する。これらのスパイクはＥＭアルゴリズムを乱すし、また対象物に関する情報を含まないので除去する。また全てのヒストグラムは、斑点に加えて基礎となる分布も有する。したがって、長方形分布をモデルに追加する。このため、ＥＭアルゴリズムの調整を行った。またヒストグラムを処理するためにこのアルゴリズムを調整した。

長方形分布の相対度数もクラスの最適な数も手動で決定してよく、または分布をモデル化するときに任意の種類の周知の自動的方法で計算してもよい。異なる数のクラス（すなわち、異なる数の正規分布）を用いてモデル化したヒストグラムを図１１ａ−ｃに示す。これらの図はそれぞれ２つの画像から成る。すなわち、ヒストグラムを左の画像で示し、正規分布を用いてモデル化したヒストグラムを右のαρ座標の画像で示す。これについては後で説明する。変数αを垂直軸上に示す。図１１ａではＫ＝２である。ただし、Ｋはモデル化したヒストグラムで用いた正規分布の数である。図１１ｂではＫ＝３、図１１ｃではＫ＝４である。また、このアルゴリズムはヒストグラム毎に、初期パラメータ推定値に依存して２つの異なるモデルに向けて繰り返す。ほとんどのヒストグラムは１つ以上（２つが多い）の可能な正規分布モデルを有する。これらのモデルのどれを用いるかは、手動でまたは任意の種類の自動的方法で選んでよい。

初期パラメータ推定値を得るため、Ｋミーンズ（Ｋ−ｍｅａｎｓ）アルゴリズムの１繰返しを用いる。Ｋミーンズ・アルゴリズムについてはＪ．Ｂ．ＭａｃＱｕｅｅｎの、「多変量観測の分類および分析のための諸方法（Ｓｏｍｅ ｍｅｔｈｏｄｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ａｎａｌｙｓｉｓ ｏｆ ｍｕｌｔｉｖａｒｉａｔｅ ｏｂｓｅｒｖａｔｉｏｎｓ）」，ｔｈｅ ５ｔｈ Ｂｅｒｋｅｌｅｙ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍａｔｈｅｍａｔｉｃａｌ Ｓｔａｔｉｓｔｉｃｓ ａｎｄ Ｐｒｏｂａｂｉｌｉｔｙ，１９６７，ｐｐ．２８１−２９７、に記述されている。Ｋミーンズ・アルゴリズムはヒストグラム内のクラス毎に１つのクラスタ・センタをランダムに位置決めし、次にビンをその最も近くのクラスタ・センタに集める。最後に、異なるクラスタについて初期パラメータを計算する。

以下に、長方形分布を持つヒストグラムについての調整されたＥＭアルゴリズムを述べる。このアルゴリズムの中で、ｈ_ｊはヒストグラムのビンの高さ、２次元の

はビン（ＹおよびＣｂまたはＣｒ）に対応する座標、ｊ＝１，．．．，Ｈ、ただしＨは空でないビンの数、ｋ＝０，．．．，Ｋはクラス数、ただしＫは正規分布の数で、ｋ＝０は長方形分布を意味し、

は分布パラメータで、

は期待値、

は分布の観測結果

の共分散マトリックス、π_ｋは相対度数を意味し、Ψ_ｋ＝｛π_ｋ，Θ_ｋ｝である。

Ｋミーンズ・アルゴリズムの１ステップを行うと、全てのビンは分類される。初期相対度数が一定で、ｋ＝１，．．．，Ｋおよびπ_０＝Ｃ（Ｃは手動で選ぶ定数）について

の条件を有すると仮定すると、初期相対度数推定値π_ｋ ^０は次式で与えられる。

初期期待値

は異なるクラスを表すｋ＝１，．．．，Ｋについて次式で与えられる。

ｊ∈ｋは、クラスｋに分類されたビンｊを意味する。

異なる次元では分布は相関がないこと、言い換えると、初期共分散マトリックスΣ_ｋ ^０は共分散を有しないこと、および全てのクラスで共分散は同じであることを仮定すると、
Σ_ｋ ^０＝Σ
である。ただし、

であり、またｋ＝１，．．．，Ｋについて

である。

は２次元の変数

である。ただし、ｕ_ｊ ^１はＹ部分、ｕ_ｊ ^２はＣｂまたはＣｒ部分である。

ＥＭアルゴリズムは属するビンｈ＝｛ｈ_１，．．．，ｈ_Ｈ｝を持つデータ

を用いてΨ＝｛π，Θ｝を推定する。変数

は

毎にモデル選択を完了した

の或るバージョンである。

が観測されたデータ

の確度であるとし、また

が

の確度であるとすると、

である。

初期パラメータ推定値Ψ^０が与えられると、以下のステップが繰り返される。
Ｅステップ：

を評価すると、

である。ただし、

である。ベイズ（Ｂａｙｅｓ）の式を用いると、ｋ＝１，．．．，Ｋについて

および、長方形分布についての特殊のケース（ｋ＝０）

が得られる。ただし、上の２つの式においてｊ＝１，．．．，Ｈであり、ｔは繰返し回数である。ω_ｊ＝ｋはビン番号ｊをクラス番号ｋとして分類したことを意味する。

正規分布は、ｋ＝１，．．．，Ｋおよびｊ＝１，．．．，Ｈのとき次式で与えられる。

ｄ＝２は次元の数である（ＹおよびＣｂまたはＣｒ）。

は近似的に１／２５６^２に設定する。Ａが色平面の面積とすると、これは１／Ａである。この近似は結果に影響を与えないが、この式はその統計的意味を失う。

Ｍステップ：
制約付き最適化のためのラグランジュ乗法を用いて条件

の下でＱ（Ψ，Ψ^（ｔ））を最大にするΨ＝Ψ^{（ｔ＋１）}を見つけると、ｋ＝１，．．．，Ｋについて

ｋ＝１，．．．，Ｋについて

およびｋ＝１，．．．，Ｋについて

が得られる。ただしｎはヒストグラム内の画素の数である。

本発明に長方形分布を用いてヒストグラム内の雑音をモデル化して、ヒストグラム内の有用な情報から雑音を除去してよい。ヒストグラムをモデル化するとき、一般に２個から５個までの分布が適当なことが多い。しかし、これより少数または多数の分布を用いてもよい。ヒストグラムをモデル化するときに用いる分布の数をクラスとも呼ぶ。たとえば、クラスＫ＝２は２つの分布を用いたことを意味する。長方形分布をモデルに追加するときに必要なクラスの数はこれより少なかったが、ヒストグラムに対するモデルの類似性は下がった。

これは図１２に見ることができる。図１２はテストの人物のＹＣｂ内のヒストグラムと、種々の相対度数（π_０）の長方形分布を持つヒストグラムの対応する正規分布とを示す。ヒストグラムは左上の隅に示す。ここに示す種々の相対度数（π_０）の長方形分布を持つヒストグラムの対応する正規分布モデルは、π_０が図の左から右にまた上から下に増加するように並べてある。ここで、０＜＝π_０＜＝０．３５である。１２８のオフセットがＣｂに加えられている。

また問題は更に複雑になる。なぜなら、別のパラメータ（長方形分布の相対的サイズ）を手動または自動で調整しなければならないからである。したがって、この明細書では今後は長方形分布を用いず、上のアルゴリズム内の相対度数をゼロに設定する（π_０＝０）。しかし、本発明の別の実施の形態として長方形分布を用いてよい。

測定基準
この節は異なるビデオ・シーケンス内の対象物間の類似性を測る測定基準の開発を扱う。第１部はどの変数を用いるかに関する説明を含み、第２部は測定基準関数を開発する。

測定基準変数
測定基準を作るのに、パラメータ

を用いたが、いくつかの理由により、これらのパラメータを直接比較しても良い結果を得るのは難しい。異なる場面では光の強さおよび色が変わるので、ヒストグラム内の斑点の位置は変化する。このため、正規分布期待値

の値を測定基準関数への直接入力として扱うことが困難になる。

正規分布の共分散マトリックス（Σ_ｋ）および相対度数（π_ｋ）は、場面の光と、分布当てはめアルゴリズムによるヒストグラムのモデルの作り方とに依存する。これらは正規分布の次元を表す。また、斑点は座標軸の方向に広がるのではなく、図８に示す線に沿って広がる。分散および共分散はＹ、Ｃｂ、Ｃｒ軸に沿って測定するので、斑点が少し回転するとこれらは大きく変化する。したがって、共分散マトリックスを互いに比較するのは困難である。そのため、Σ_ｋもπ_ｋも認識の特徴としては不安定である。

代わりに斑点の広がりに沿う軸を持つ座標系を用いれば、共分散マトリックスは、分析するのも認識の特徴として用いるのも容易であろう。したがって、座標系をＹＣｂまたはＹＣｒから、図１３に示す座標？およびａを有して

で定義される座標系に変える。ただし、ＣはＣｂまたはＣｒを意味し、ρは度で与えられる。

新しい座標系では、照明の強さの変化はほぼρ方向の斑点の位置変化になり、また光の色の変化はほぼα方向の斑点の位置変化になる。モデルを比較するときにこの知識を用いてよい。原点はＹ＝０およびＣ＝０ではなく、Ｙ＝２５６およびＣ＝０に置く方がよい。さもないと、αは図８に示す線の方向を記述しない。しかし、これが起こるのは暗い場面の中で非常に明るい対象物を捕らえた場合（これは対象物が人間のときは起こりそうもない）だけなので多く場合は近似を行ってよく、原点をＹ＝０およびＣ＝０に置いてよい。

図１４は、ＹＣｂ内のヒストグラムを図の左に示し、座標軸としてαおよび？を持つ新しい座標系内の同じヒストグラムを図の右に示す。ただし、αは垂直軸上に示し、？は水平軸上に示す。１２８のオフセットがＣｂに加えられている。
少なくとも３つのタイプの変化が異なるビデオ・シーケンス間に現われてモデルに影響を与えるはずである。すなわち、
・ 斑点の全クラスタがρ方向およびα方向に移動する。
・ 斑点の全クラスタが回転する。
・ 斑点が互いに対して内部で移動する。
次に、場面および環境に関する変動を対象物に関係する変動から分離する。次にこれに、対象物の認識の際の重要性に関して測定基準関数内で異なる重みを与えてよい。

全クラスタの移動を測定するには、ヒストグラム内の重心（または重心）（ρ_ＣＷおよびα_ＣＷ）を用いる。これらは

で定義される。ただし、Ｈはヒストグラム内の空でないビンの数、ｈ_ｊはビン番号ｊの高さである。
重心はＹＣｒ平面またはＹＣｂ平面またはＹＣｂＣｒ空間内で直接計算してもよい。

クラスタの回転を推定するために、主な方向（すなわちクラスタの中心軸）を得る。この中心軸を得る１つの方法は主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ（ＰＣＡ））アルゴリズムである。しかしこの目的を持つ他のアルゴリズムがいくつかある。ＰＣＡについては、「画像モデル化および推定、統計的方法」、Ｌｕｎｄ Ｕｎｉｖｅｒｓｉｔｙ，２００５，ｃｈ．２．２．４ データ整理（Ｄａｔａ ｒｅｄｕｃｔｉｏｎ）、に記述されている。本発明の或る実施の形態では、このアルゴリズムはヒストグラム内の全てのサンプルが重みを有することを考慮に入れてよい。かかるアルゴリズムの一例は重み付きＰＣＡアルゴリズムである。重み付きＰＣＡについては後で説明する。

このアルゴリズムでは、ｈ_ｊは重みとして用いられるヒストグラムのビンの高さである。２次元の

はビンの２つの座標であって、

ｊ＝１，．．．，Ｈ、ただし、Ｈは空でないビンの数である。

属する重みｈ_ｊ、ｊ＝１，．．．，Ｈ、を持つデータ

の主成分は共分散マトリックスΣを対角化することにより得られる。

ただし、

はヒストグラム内の画素の数である。Λは降順の固有値λ_１≧λ_２を持つ対角マトリックスである。

は直交マトリックスで、列

はλ_ｉに属する固有ベクトルである。基準方向として用いる第１の主方向は最大の固有値に対応する

内の固有ベクトルである。あいまいな結果を確実にするため、必要であれば

の符号を変えて、

が負のρ方向を指し、

が正のα方向を指すようにする。

斑点の互いに対する内部移動を測定するため、新しい内部クラスタ座標系を用いる。この座標系を図１５に示す。基準方向を基準角φに変換する。これは正のα方向から始まって反時計回りに増加する。原点をクラスタの重心（ｃｗ）に置き、用いる軸は上のアルゴリズムから得られた２つの主方向

すなわち、内部クラスタ座標軸である。

新しい座標への変換は

で定義される。ただし、ｐ１およびｐ２は新しい座標、αおよびρは古い座標、α_ｃｗおよびρ_ｃｗはクラスタの重心のαおよびρ座標である。

は第１および第２の主方向をそれぞれ列として持つ２ｘ２マトリックスである。

の行列式は１なので、この変換のためにスケールの変更を考慮に入れる必要はない。

測定基準関数内で最終的に用いる変数は、全クラスタの重心（ρ_ｃｗおよびα_ｃｗ）、全クラスタの基準角（φ）、異なるクラスの相対度数（π_ｋ）、内部クラスタ座標系内の正規分布の位置（ｐ１_ｋおよびｐ２_ｋ）である。ただし、この場合もｋ＝１，．．．，Ｋはクラス数で、Ｋは現在のモデル内のクラスの総数である。

測定基準関数
測定基準関数内の諸変数は認識の際に必ずしも同じ重要性ではないので、その重要性に従って、比較した２つの対象物間の得られた類似度への影響に重みを付ける。したがって、全関数は重み付き副関数の和として構築する。或る実施の形態では、副関数は比較した２つのモデル内の変数間の偏差の二次関数として構築する。一次副関数ではなく二次副関数を用いて、大きな偏差の方を小さな偏差より比例的に大きく罰する。副関数は０から１まで変わる。すなわち、現在の変数の比較したモデル値間で、最大偏差の場合は０であり、１は全く偏差がないことに対応する。変数に属する重みを最終的に副関数に追加する。また、全クラスタではなく個別の斑点に接続する変数を扱う副関数を、最小数の斑点を持つモデル内の斑点の数で割る。これはある意味で全関数を０と１との間に入れるために行う。２つの同じモデルを比較した場合は後者の結果が得られる。

下の式１．１に、一般的な変数ｘの副関数ｆ（ｘ_１，ｘ_２）の構造を示す。ｘ_１はモデル１内の変数値、ｘ_２はモデル２内の変数値で、モデル１は最大数の正規分布を持つモデル（Ｋ_１はモデル１内の正規分布の数）、モデル２は最小数の正規分布を持つモデル（Ｋ_２はモデル２内の正規分布の数）である。

ただし、０≦Ｗ_ｘ≦１、Σ_ｘ∈ＵＷ_ｘ＝１、Ｕ＝｛ρ_ＣＷ，α_ＣＷ，φ，π，ｐ１，ｐ２｝は測定基準内で用いる全ての変数から成る集合である。

であり、Δｘ^ｍａｘは現在の変数の最大の可能な偏差で、Δρ_ＣＷ ^ｍａｘ＝２５６、Δα_ＣＷ ^ｍａｘ＝９０、Δφ^ｍａｘ＝１８０、Δπ^ｍａｘ＝１、Δｐｌ^ｍａｘ＝２７１、Δｐ２^ｍａｘ＝２７１である。

２つのモデル内の斑点を互いに照合するとき、最も適合する斑点の対がまず一致する。次に残りの斑点の中の最も適合する対が一致する。このようにしてそのモデル内の全ての斑点を突き合せて、他のモデルの中の斑点と一致する斑点の数が最も少なくなるまで行う。斑点を照合するのに用いる関数ｈ（ｋ_１，ｋ_２）を次のように定義する。すなわち、

ただし、ｆは式１．１で定義され、またＴ＝｛π，ｐ１，ｐ２｝は、斑点のクラスタではなく個別の斑点に接続する測定基準内の全ての変数の集合である。

これらの変数はモデルの正規分布毎に１つの値を有することに注意していただきたい。すなわち、モデル１ではπ_ｋ１，ｐ１_ｋ１，ｐ２_ｋ１であり、モデル２ではπ_ｋ２，ｐ１_ｋ２，ｐ２_ｋ２である。ただし、１≦ｋ_１≦Ｋ_１および１≦ｋ_２≦Ｋ_２である。この関数はモデル１およびモデル２内の１対の正規分布間の類似性値を与えるが、最も良い一致を決定する前に、２つのモデルの中のクラスの全ての可能な照合の組合せをテストすべきである。全ての測定基準関数の中で最も良く一致するものだけを用いる。

比較する２つのモデルの中の斑点の数が異なる場合は、

で定義される全測定基準関数の中の罰金関数ｐ（Ｋ_１，Ｋ_２，π_ｋ１）によりこれを罰する。ただし、Ｆ≦１である。ｐがないと、関数は０と１の間に広がる。ｆ（ｘ_１，ｘ_２）は式１．１と同様に構築する。Ｒ＝｛ρ_ＣＷ，α_ＣＷ，φ｝は、個別の斑点ではなく全クラスタに接続する全ての変数の集合である。ｐ（Ｋ_１，Ｋ_２，π_ｋ１）は次の式１．２により定義される。

ただし、Ｋ_１はモデル１内の正規分布の数、Ｋ_２はモデル２内の正規分布の数、Ｋ_１≧Ｋ_２、ΔＫ＝Ｋ_１−Ｋ_２である。π_ｋ１はモデル１内のクラスｋ_１の相対度数で、１≦ｋ_１≦Ｋ_１である。Ｖはモデル２内のどの斑点とも一致しなかったモデル１の中の全ての斑点から成る集合である。

ｐの構造は、同じ人物を見たにもかかわらず、２つの異なるシーケンス内で異なる数の斑点を得る確度について、実際のテストおよび分析を行った結果である。シーケンス内の異なる斑点の数がごくわずか（例えば１つ）であって残りの斑点が互いによく一致する場合は、例えば、人物が前側に大きな印をつけたセーターを着ていてそれが１つの場面にだけ見える場合でも、測定基準関数はやはり高い類似性値を与えるはずである。しかし、異なる斑点の数が２つ以上ある場合は、２つのシーケンス内に同じ人物を有する確度は小さい。そのため、ｐはΔＫの２乗に比例する。同じ人物を見たにもかかわらずシーケンス間で斑点が消える確率は、小さな斑点の場合の方が大きな斑点の場合より高い。

多数の斑点から成る人物とごく少数の斑点から成る人物とを比べたときに同じことが言える。したがって、ｐは不一致の斑点の相対度数π_ｋ１に比例し、モデル１内の斑点の数Ｋ_１に逆比例する。最後に、この式を変数Ｚ＝１０で割って適当な値を得る。Ｈ（ｋ_１，ｋ_２）は次式で定義される。

ただし、ｈ（ｋ_１，ｋ_２）は式１．２で定義されており、Ｓは２つのモデル内の斑点間に見られる最も良い一致の集合である。
式１．３はこの明細書のテスト部および確認部内で比較した対象物間の類似性を測定するのに用いられ、マットラブ（ｍａｔｌａｂ）内に実現されている。

妥当性検証
本章はビデオ・シーケンス内の対象物の特性を識別するための提案された方法およびビデオ監視システム内の対象物を追跡するための提案された方法の訓練およびテストを扱う。第１節は測定基準の重みを決定する訓練部を説明する。テストおよび結果は第２節に示す。

訓練
測定基準関数内で用いる重み（Ｗ＝｛Ｗ_ρＣＷ，Ｗ_αＣＷ，Ｗ_φ，Ｗ_π，Ｗ_ｐ１，Ｗ_ｐ２｝）を決定するため、訓練データの或る集合を用いた。この集合は、同じ照明条件の２つの異なる場面（１および２）から得た６つ（各場面から３つ）のビデオ・シーケンス（Ｌ_１，Ｌ_２，Ｍ_１，Ｍ_２，Ｎ_１，Ｎ_２）から成る。これらのビデオ・シーケンスは、それぞれ現在の場面内で行ったり来たりして歩いているテストの人物を捕らえた。３人のテストの人物（Ｌ、Ｍ、Ｎ）を用いて、それぞれ２つ（各場面から１つ）のシーケンスを作った。２つの場面でカメラの位置および視角は同じでなく、対象物までの距離と、対象物の見た部分とはシーケンス内で変わっている。ビデオ・シーケンスＬ_１からの画像を図１６ａに示し、ビデオ・シーケンスＬ_２からの画像を図１６ｂに示す。

提案された方法により、訓練シーケンス毎にヒストグラムおよび正規分布モデルを作った。テスト・シーケンスでは、モデル内に次の数の分布を用いた。すなわち、Ｌ_１ではＫ＝３、Ｌ_２ではＫ＝３、Ｍ_１ではＫ＝３、Ｍ_２ではＫ＝３、Ｎ_１ではＫ＝５、Ｎ_２ではＫ＝５で、Ｋは用いた正規分布の数である。図１７ａおよび図１７ｂに、各図の左から右に順に３つの図を示す。すなわち、Ｌ_１およびＬ_２についてのＹＣｂ内のヒストグラム、？−ａ内のヒストグラム、？−ａ内のヒストグラムのモデルである。図１７ａはＬ_１についてのヒストグラムおよびモデルを示し、図１７ｂはＬ_２についてのヒストグラムおよびモデルを示す。

提案された測定基準を用いて、６つのシーケンスの全てをあらゆる可能な組合せについて互いに比較した。測定基準関数の望ましい出力は、同じ人物を含む２つのシーケンスを比べたときは類似性値が高く、異なる人物を含む２つのシーケンスを比べたときは類似性値が低いことである。これらの結果は、重み

が変わると変わり、また重みの最適な組合せとして、同じ人物を含むシーケンス間の最低の類似性値と異なる人物を含むシーケンス間の最高の類似性値との差が最大になるものを選んだ。最適な重みを見つけるため、簡単なフォアループ（ｆｏｒｌｏｏｐ）を例えばマットラブで用いて、

の全ての可能な組合せを処理（ｌｏｏｐ ｔｈｒｏｕｇｈ）した。０≦Ｗ_ｘ∈Ｕ≦１およびΣ_ｘ∈ＵＷ_ｘ＝１という制約条件の下で０．０４の増分を用いた。ただし、Ｕ＝｛ρ_ＣＷ，α_ＣＷ，φ，π，ｐ１，ｐ２｝である。後で最適な重みＷ_ｏｐｔをこの明細書のテスト部分で用いた。

２次元データを扱うので、この最適化をＹＣｂ平面で１回とＹＣｒ平面で１回行う必要があった。その結果、

が得られた。すなわち、

ただし、

で、ＣはＣｂまたはＣｒである。

場面１および２内で比較した訓練の人物Ｌ、Ｍ、Ｎの全ての可能な組合せについての類似性値を示す類似性マトリックスＳ^ＣｂおよびＳ^Ｃｒを次のように表す。すなわち、

ただし、ＣはＣｂまたはＣｒである。

を用いると、

が得られる。Ｃｂ内の同じ人物間の最低の類似性値は０．９９９０であり、Ｃｂ内の異なる人物間の最高の類似性値は０．９７９２であって、その差は０．０１９８である。Ｃｒについての同じ値は０．９９９６および０．９８０５で、その差は０．０１９１である。

テスト
提案された認識方法をテストするため、訓練手続きと同じ手続きを行う。訓練集合の場合と同様に、８つのビデオ・シーケンスのテスト集合（Ｅ_１，Ｅ_２，Ｆ_１，Ｆ_２，Ｇ_１，Ｇ_２，Ｈ_１，Ｈ_２）を、同じ２つの場面（１および２）から捕らえた。４人のテストの人物（Ｅ，Ｆ，Ｇ，Ｈ）を用いてそれぞれ２つ（各場面から１つ）のシーケンスを作った。カメラの位置、視角、対象物までの距離、対象物の見た部分、に関する条件は訓練シーケンスの場合と同じであった。ビデオ・シーケンスＥ_１およびＥ_２からの画像を図１８ａ−ｂに示す。

訓練手続きの場合と同様に、ヒストグラムと、ヒストグラムの正規分布モデルとをテスト・シーケンス毎に作った。この訓練手続きの場合は、モデル内に次の数の分布を用いた。すなわち、Ｅ_１ではＫ＝２、Ｅ_２ではＫ＝２、Ｆ_１ではＫ＝３、Ｆ_２ではＫ＝３、Ｇ_１ではＫ＝３、Ｇ_２ではＫ＝３、Ｈ_１ではＫ＝３、Ｈ_２ではＫ＝３で、Ｋは用いた正規分布の数である。ビデオ・シーケンスＥ_１およびＥ_２のシーケンスのヒストグラムと対応するモデルとを図１９ａ−ｂに示す。各図は３つの画像から成り、左から右に、ＹＣｂ内のヒストグラム、？−ａ内のヒストグラム、？−ａ内のヒストグラムのモデルを示す。

訓練からの類似性関数および重みを用いて、８つのシーケンスを全てあらゆる可能な組合せについて互いに比較した。場面１および２の中で比較したテストの人物Ｅ，Ｆ，Ｇ，Ｈ間の類似性値を２つの類似性マトリックスで以下に示す。

ただし、ＣはＣｂまたはＣｒで、

が得られる。Ｃｂ内の同じ人物間の最低の類似性値は０．９９７１であり、Ｃｂ内の異なる人物間の最高の値は０．９９４２であって、その差は０．００２９である。Ｃｒについての同じ値は０．９９８２および０．９９８６で、その差は−０．０００４である。

ＣｂおよびＣｂ内の情報を同時に用いる簡単な方法は、Ｓ^ＣｂとＳ^Ｃｒとを加えて類似性マトリックスＳ

を得ることである。このマトリックス内の同じ人物間の最低の類似性値は０．９９７６であり、異なる人物間の最高の類似性値は０．９９６３であって、その差は０．００１３である。

図面および明細書の中で、本発明の好ましい実施の形態および例を開示した。特定の用語を用いたが、それは一般的および説明的意味で用いただけであって、制限するためではない。本発明の範囲は以下のクレーム内に設定されている。

本発明について添付の図面を参照して詳細に説明する。
本発明の或る実施の形態に係るビデオ監視システムの概要を示す。 本発明の別の実施の形態に係るビデオ監視システムの概要を示す。 本発明に係る識別機器を備えるビデオ監視カメラのブロック図を示す。 本発明に係る追跡装置のブロック図を示す。 本発明に係る対象物の特性を識別する方法の流れ図を示す。 ビデオ監視システムで対象物を追跡するための本発明に係る方法の流れ図を示す。 ＲＧＢ色空間とＹＣｂＣｒ色空間との関係を示す。 対象物を捕らえたビデオ・シーケンスの或る画像を示す。 対象物を区分した、図７ａの画像を示す。 ＹＣｂＣｒ色空間内に示す色付き対象物への変化する照明の影響を示す。 或る人物の第１の場面内のＣｂＣｒ，ＹＣｂ，ＹＣｒ色ヒストグラムを示す。 図９ａの人物の第２の場面内のＣｂＣｒ，ＹＣｂ，ＹＣｒ色ヒストグラムを示す。 別の人物の第１の場面内のＣｂＣｒ，ＹＣｂ，ＹＣｒ色ヒストグラムを示す。 図１０ａの人物の第２の場面内のＣｂＣｒ，ＹＣｂ，ＹＣｒ色ヒストグラムを示す。 或る場面内の或る人物のαρ座標内のヒストグラムを左の画像で示し、２個の正規分布でモデル化されたヒストグラムを右の画像で示す。 或る場面内の或る人物のαρ座標内のヒストグラムを左の画像で示し、３個の正規分布でモデル化されたヒストグラムを右の画像で示す。 或る場面内の或る人物のαρ座標内のヒストグラムを左の画像で示し、４個の正規分布でモデル化されたヒストグラムを右の画像で示す。 ８個の画像を含み、第１の画像は或る場面内の人物のヒストグラムを示し、他の画像は種々の相対度数（ｐ_０）の長方形分布を持つヒストグラムの対応する正規分布を示す。 ＹＣ座標系と、座標？およびａを有する座標系とを示す。 ＹＣｂ内のヒストグラムを図の左に示し、座標軸としてαおよび？を有する座標系内の同じヒストグラムを図の右に示す。 内部クラスタ座標系を示す。 或るビデオ・シーケンスからの区分された画像を示す。 別のビデオ・シーケンスからの区分された画像を示す。 図１６ａに画像で示すビデオ・シーケンスの、ＹＣｂ色空間内の１つのヒストグラム（左）と、正規分布でモデル化されたヒストグラム（中央）と、？−α座標系に変換された分布モデル（右）とを示す。 図１６ｂに画像で示すビデオ・シーケンスの、ＹＣｂ色空間内の１つのヒストグラム（左）と、正規分布でモデル化されたヒストグラム（中央）と、？−α座標系に変換された分布モデル（右）とを示す。 別のビデオ・シーケンスからの区分された画像を示す。 図１８ａとは異なるビデオ・シーケンスからの区分された画像を示す。 図１８ａに画像で示すビデオ・シーケンスの、ＹＣｂ色空間内の１つのヒストグラム（左）と、正規分布でモデル化されたヒストグラム（中央）と、？−α座標系に変換された分布モデル（右）とを示す。 図１８ｂに画像で示すビデオ・シーケンスの、ＹＣｂ色空間内の１つのヒストグラム（左）と、正規分布でモデル化されたヒストグラム（中央）と、？−α座標系に変換された分布モデル（右）とを示す。

Claims (39)

1. ビデオ監視カメラが捕らえたビデオ・シーケンス内の対象物の特性を識別するビデオ監視システムの方法であって、
   前記ビデオ・シーケンス内の特定の対象物を識別するステップ（３０２）と、
   前記ビデオ・シーケンス内で識別された前記特定の対象物の色および強さの情報、すなわち、前記ビデオ・シーケンスの複数の画像から生じた色および強さの情報、に基づいて少なくとも２次元の色空間内に色ヒストグラムを生成するステップ（３０６）と、
   前記生成された色ヒストグラムに基づいて前記対象物の特性を識別するステップ（３０８，３１０，３１２，３１４）と、
   を含むビデオ監視システムの方法。
2. 前記生成された色ヒストグラムに基づいて前記対象物の特性を識別する前記ステップは、
   前記色ヒストグラムを多数の分布でモデル化するステップ（３０８）と、
   前記生成されモデル化された色ヒストグラムに基づいて前記対象物の特性を識別するステップ（３１０，３１２，３１４）と、
   を含む請求項１記載のビデオ監視システムの方法。
3. 前記生成されモデル化された色ヒストグラムに基づいて前記対象物の特性を識別する前記ステップは更に、
   前記対象物の特性を識別するために多数の分布のパラメータを計算するステップ（３１２）と、
   前記計算されたパラメータに基づいて前記対象物の特性を計算するステップ（３１４）と、
   を含む請求項２記載のビデオ監視システムの方法。
4. 前記色ヒストグラムは、分布当てはめアルゴリズムを用いて多数の分布でモデル化する、請求項３記載のビデオ監視システムの方法。
5. 前記色ヒストグラムをデカルト座標系から極座標系に変換するステップ（３１０）、
   を更に含む請求項３、４のいずれか一項記載のビデオ監視システムの方法。
6. 前記計算されたパラメータに基づいて前記対象物の特性を計算する前記ステップ（３１４）は、
   前記多数の分布のパラメータに、各パラメータと前記対象物の特性との相関に依存して重みを付けることにより前記対象物の特性を計算する、
   ことを含む請求項３−５のいずれか一項記載のビデオ監視システムの方法。
7. 前記分布のパラメータを計算する前記ステップ（３１２）は更に、
   前記色ヒストグラムを極座標系から第２のデカルト座標系に変換するステップと、
   前記第２のデカルト座標系の原点を前記色ヒストグラム内の前記対象物の重心にするステップと、
   を含む請求項５または６記載のビデオ監視システムの方法。
8. パラメータを計算する前記ステップ（３１２）は前記第２のデカルト座標系内の前記多数の分布の位置を計算するステップを更に含み、前記第２のデカルト座標系内の前記多数の分布の前記位置は前記対象物の特性を識別するためのパラメータとして用いられる、請求項７記載のビデオ監視システムの方法。
9. 前記色ヒストグラム内で対象物の各色部分を前記色ヒストグラム内に或る広がりを有する斑点により表し、また前記対象物をかかる斑点のクラスタとして記述する、請求項１−８のいずれか一項記載のビデオ監視システムの方法。
10. 色ヒストグラム内で対象物の各色部分を前記色ヒストグラム内に或る広がりを有する斑点により表し、また前記対象物をかかる斑点のクラスタとして記述し、また前記対象物の特性を識別するのに用いる前記多数の分布のパラメータは、前記斑点のクラスタの重心（ρ_ｃｗ，α_ｃｗ）、前記斑点のクラスタの基準角（φ）、各分布の相対度数（π_ｋ）、前記座標系内の分布の位置（ρ１_ｋおよびρ２_ｋ）であり、ｋ＝１，．．．，Ｋは分布番号、Ｋはモデル内の分布の総数である、請求項３−９のいずれか一項記載のビデオ監視システムの方法。
11. 複数の画像からそれぞれ生じた色および強さの情報を各画像内で対象物を記述する前記画素の数に関して正規化するステップ（３０４）、
    を更に含む請求項１−１０のいずれか一項記載のビデオ監視システムの方法。
12. 前記色空間は、強さの情報と色の情報とを分離できる、ＹＣｂＣｒ、ＨＳＶ、またはＹＵＶ色空間などの色空間である、請求項１−１１のいずれか一項記載のビデオ監視システムの方法。
13. 前記色ヒストグラムが２次元の色平面内に生成される、請求項１−１２のいずれか一項記載のビデオ監視システムの方法。
14. 前記色ヒストグラムは前記ビデオ・シーケンスの全ての画像内の色および強さの情報に基づいて生成される、請求項１−１３のいずれか一項記載のビデオ監視システムの方法。
15. 前記対象物の特性を前記色ヒストグラムに基づいて識別する前記ステップは、
    前記ビデオ・シーケンス内の前記対象物を記述するパラメータを前記色ヒストグラムに基づいて識別するステップ（３０８，３１０，３１２）と、
    前記対象物の特性を前記識別されたパラメータに基づいて計算するステップ（３１４）と、
    を含む請求項１−１４いずれか一項記載のビデオ監視システムの方法。
16. 前記ビデオ・シーケンス内の前記対象物を記述するパラメータを識別する前記ステップ（３０８，３１０，３１２）は、
    前記色ヒストグラムの重心および色ヒストグラム分布を識別するステップと、
    前記対象物の特性を識別するためのパラメータを前記識別された重心および前記識別された色ヒストグラム分布に基づいて計算するステップと、
    を含む請求項１５記載のビデオ監視システムの方法。
17. 前記重心は期待値として、および広がりは共分散マトリックスとして識別する、請求項１６記載のビデオ監視システムの方法。
18. ビデオ監視システムで対象物を追跡する方法であって、
    第１のビデオ監視カメラが捕らえた第１のビデオ・シーケンス内の追跡すべき対象物を識別するステップ（４０２）と、
    前記追跡すべき対象物の特性を請求項１−１７のいずれか一項記載の方法に従って識別するステップ（４０４）と、
    第２のビデオ監視カメラが捕らえた第２のビデオ・シーケンス内の候補の対象物を識別するステップ（４０６）と、
    前記候補の対象物の特性を請求項１−１７のいずれか一項記載の方法に従って識別するステップ（４０８）と、
    前記候補の対象物の識別された特性と前記追跡すべき対象物の識別された特性とを照合するステップ（４１０）と、
    前記候補の対象物が前記追跡すべき対象物と同一である確度を前記照合するステップに基づいて計算するステップ（４１２）と、
    を含む対象物を追跡する方法。
19. 前記照合するステップ（４１０）は、
    前記追跡すべき対象物の生成された斑点のクラスタと前記候補の対象物の生成された斑点のクラスタとの間の移動を検出するステップと、
    前記追跡すべき対象物の生成された斑点のクラスタと前記候補の対象物の生成された斑点のクラスタとの間の回転を検出するステップと、
    前記追跡すべき対象物の生成された色ヒストグラム内の斑点と前記候補の対象物の生成された色ヒストグラム内の斑点との間の内部移動を検出するステップと、
    前記検出された移動、回転、内部移動を比較するステップと、
    を更に含む請求項１８記載の対象物を追跡する方法。
20. 前記検出された移動、回転、内部移動を比較する前記ステップは、
    前記移動、回転、内部移動を示すパラメータを比較することにより前記検出された移動、回転、内部移動を比較するステップと、
    前記候補の対象物が前記追跡すべき対象物と同一である確度を計算するために重要度に従って前記比較されたパラメータに重みを付けるステップと、
    を更に含む請求項１９記載の対象物を追跡する方法。
21. 前記方法は、
    前記候補の対象物が前記追跡すべき対象物と同一である確度を示す信号を生成するステップ（４１４）、
    を更に含む請求項１８−２０のいずれか一項記載の対象物を追跡する方法。
22. 前記候補の対象物の識別された特性と前記追跡すべき対象物の識別された特性とを照合する前記ステップ（４１０）は、
    前記追跡すべき対象物の前記色ヒストグラム内の前記多数の斑点と前記候補の対象物の前記色ヒストグラム内の前記多数の斑点とを比較するステップ、
    を更に含む請求項１８−２１のいずれか一項記載の対象物を追跡する方法。
23. 前記候補の対象物の識別された特性と前記追跡すべき対象物の識別された特性とを照合する前記ステップ（４１０）は、
    前記候補の対象物を記述する前記色ヒストグラムのパラメータと前記追跡すべき対象物を記述する前記色ヒストグラムのパラメータとを照合する、
    ことを含む請求項１８−２２のいずれか一項記載の対象物を追跡する方法。
24. ビデオ監視システム内の識別機器（１００）であって、
    ビデオ・シーケンス内の特定の対象物を識別する対象物識別ユニット（１０２）と、
    前記ビデオ・シーケンス内で識別された特定の対象物の色および強さの情報、すなわち前記ビデオ・シーケンスの複数の画像から生じた色および強さの情報、に基づいて少なくとも２次元の色空間内に色ヒストグラムを生成する色ヒストグラム発生器（１０４）と、
    前記生成された色ヒストグラムに基づいて前記対象物の特性を識別する対象物特性識別器（１０６）と、
    を含む識別機器。
25. 前記対象物特性識別器（１０６）は、
    正規分布などの多数の分布で色ヒストグラムをモデル化するヒストグラム・モデル化器（１０８）、
    を更に備える請求項２４記載の識別機器。
26. 前記対象物特性識別器（１０６）は、
    前記対象物の特性を識別するための前記多数の分布のパラメータを計算するパラメータ計算器（１１２）と、
    前記計算されたパラメータに基づいて前記対象物の特性を計算する対象物特性計算器（１１４）と、
    を更に備える請求項２５記載の識別機器。
27. 前記対象物特性識別器（１０６）は、
    前記色ヒストグラムをデカルト座標系から極座標系に変換するヒストグラム変換器（１１０）、
    を更に備える請求項２４−２６のいずれか一項記載の識別機器。
28. 前記対象物特性計算器（１１４）は、前記対象物の認識のときの各パラメータの重要性に従って前記多数の分布のパラメータに重みを付けることにより前記対象物の特性を計算する、請求項２６または２７記載の識別機器。
29. 前記ヒストグラム変換器（１１０）は更に、前記色ヒストグラムを前記極座標系から第２のデカルト座標系に変換し、また前記座標の原点を前記色ヒストグラム内の前記対象物の重心に移す、請求項２７または２８記載の識別機器。
30. 請求項２４−２９のいずれか一項記載の識別機器を備えるビデオ監視カメラ。
31. ビデオ監視システムであって、
    共通の通信ネットワーク（２０）に接続する多数のビデオ監視カメラ（１０，１２，１４）と、
    請求項２４−２９のいずれか一項に係る前記共通の通信ネットワークに接続する少なくとも１台の識別機器（１００）と、
    前記共通の通信ネットワーク（２０）に接続する、ビデオ監視システム内の対象物を追跡する追跡装置（２００）と、
    を備え、前記追跡装置は、
    第１のビデオ監視カメラ（１０）が捕らえた第１のビデオ・シーケンス内で識別された追跡すべき対象物の識別された特性に関する情報と第２のビデオ監視カメラ（１２）が捕らえた第２のビデオ・シーケンス内で識別された候補の対象物の識別された特性に関する情報とを前記少なくとも１台の識別機器（１００）から受ける受信器（２０２）と、
    前記候補の対象物の識別された特性と前記追跡すべき対象物の識別された特性とを照合する照合ユニット（２０４）と、
    前記照合するステップに基づいて前記候補の対象物が前記追跡すべき対象物と同一である確度を計算する計算ユニット（２０６）と、
    を備える、
    ビデオ監視システム。
32. 前記第１のビデオ監視カメラ（１０）と前記第２のビデオ監視カメラ（２０）とは同じビデオ監視カメラである、請求項３１記載のビデオ監視システム。
33. 前記第１のビデオ監視カメラ（１０）と前記第２のビデオ監視カメラ（２０）とは前記ビデオ監視システム内の異なるビデオ監視カメラである、請求項３１記載のビデオ監視システム。
34. 前記追跡装置（２００）は、
    前記候補の対象物が前記追跡すべき対象物と同一である確度を示す信号を生成する信号発生器（２０８）、
    を更に備える請求項３１−３３のいずれか一項記載のビデオ監視システム。
35. 少なくとも１台の識別機器（１００）から受ける前記候補の対象物の前記識別された特性に関する情報は前記候補の対象物の前記色ヒストグラムのパラメータを含み、少なくとも１台の識別機器（１００）から受ける前記追跡すべき対象物の前記識別された特性に関する情報は前記追跡すべき対象物の前記色ヒストグラムのパラメータを含み、また前記照合ユニット（２０４）は前記候補の対象物の前記色ヒストグラムのパラメータと前記追跡すべき対象物の前記色ヒストグラムのパラメータとを照合する、請求項３１−３４のいずれか一項記載のビデオ監視システム。
36. 前記追跡装置（２００）は、前記共通の通信ネットワーク（２０）を介して前記多数のビデオ監視カメラ（１０）に接続する前記システムの中央ノード（３０）に適している、請求項３１−３５のいずれか一項記載のビデオ監視システム。
37. 請求項１−１７のいずれか一項記載の方法を実行するための手段を有するビデオ監視システム内の識別機器。
38. ビデオ監視システムであって、
    共通の通信ネットワーク（２０）に接続する多数のビデオ監視カメラ（１０）と、
    請求項３７に係る少なくとも１台の識別機器と、
    ビデオ監視システム内にあってビデオ監視システム内の対象物を追跡する追跡装置（２００）と、
    を備え、
    前記追跡装置は、
    第１のビデオ監視カメラ（１０）が捕らえた第１のビデオ・シーケンス内で識別された追跡すべき対象物の識別された特性に関する情報と第２のビデオ監視カメラ（１２）が捕らえた第２のビデオ・シーケンス内で識別された候補の対象物の識別された特性に関する情報とを前記少なくとも１台の識別機器から受ける手段と、
    前記候補の対象物の識別された特性と前記追跡すべき対象物の識別された特性とを照合する手段と、
    前記照合するステップに基づいて前記候補の対象物が前記追跡すべき対象物と同一である確度を計算する手段と、
    を備える、
    ビデオ監視システム。
39. 請求項１−２３のいずれか一項記載のステップをコンピュータに実行させるコンピュータ読取り可能プログラム手段を含む、コンピュータ使用可能媒体上に記憶されるコンピュータ・プログラム製品。

Images