JP2002063577A

JP2002063577A - 画像解析システム，画像解析方法および画像解析プログラム記録媒体

Info

Publication number: JP2002063577A
Application number: JP2000246385A
Authority: JP
Inventors: Kazuhiro Otsuka; 和弘大塚; Ryuji Yamamoto; 隆二山本; Masashi Morimoto; 正志森本; Haruhiko Kojima; 治彦児島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2000-08-15
Filing date: 2000-08-15
Publication date: 2002-02-28

Abstract

(57)【要約】【課題】画像フレーム間における物体間の対応関係に
一対多，多対一などの多様性を導入し，安定した物体の
追跡と，複数の物体の合体，分離等の状態に関する情報
の出力を可能にする。【解決手段】映像を構成する各々の画像フレームにお
いて対象物が占める画像領域から対象物の位置と大きさ
を取得する。次に，近接する二つのフレームにおいて検
出された対象物について，前のフレームの対象物が後の
フレームの対象物へ移動した場合の遷移コストを，二つ
のフレーム上の対象物の組について計算し，遷移コスト
から二つのフレーム上の対象物の間の対応関係を分類
し，対象物の状態を判定する。以上の対象物の対応関係
を，複数の画像フレームからなる映像の区間内の全ての
隣接するフレーム間に対して計算した結果の情報を利用
して，個々の対象物の移動軌跡を複数の画像フレームに
渡って追跡する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，映像に表示されて
いる多くの物体を追跡する画像解析システムであって，
ビデオカメラにより得られる映像を利用して交通流や人
物の行動の遠隔監視，映像アーカイブの構築における映
像中の人物動作内容のインデクシング，スポーツ映像か
らの選手の運動状態やチーム戦略の分析などを行うため
の画像解析処理技術に関する。

【０００２】

【従来の技術】これまで，人物，車両などの動物体を撮
影した映像を入力として，映像中の物体の位置を検出
し，それぞれ複数のフレームに渡って追跡することで，
動物体の行動を記録する画像処理技術は存在している。

【０００３】代表的な技術としては，追跡を開始する段
階において対象とする物体の領域や形状，色情報などを
テンプレートとして登録し，その後の画像フレーム中に
おいてテンプレートマッチングを行い，最も合致する位
置を対象物の位置として計算し，この動作を複数のフレ
ームに渡り繰り返し実行することで，動物体の追跡を行
うものが挙げられる。

【０００４】また，特許第２６９７０７２号の「動画像
の物体追跡装置」に記載の技術では，画像フレーム上の
物体の次の画像フレーム上での位置を推定して対応付け
を決定している。特許第３０２６８５０号の「自動追尾
装置」では，対象物とその枠の色ヒストグラムを計算
し，それらの比較により代表的な特徴量を決定し，それ
を手がかりとして次フレームにおける物体の位置を探索
している。

【０００５】これらの手法は，物体が単体で存在し，そ
の形状や色の変化が少なく，また，運動も単純で予測が
容易な場合に良好は追跡性能を発揮することができる。

【０００６】

【発明が解決しようとする課題】しかしながら，サッカ
ーの試合のように複数の人物が密集して存在したり，接
触したりする場合，その映像中には，複数の選手が重な
る領域が生じる。その重なりの原因としては，３次元空
間上では離れて存在する人物が２次元の画像平面に投影
されることにより，画像上では重なって見えることに加
え，相手チームの選手のマーク行為など，実際に３次元
空間上で複数の人物が接触していることによる重なりが
考えられる。

【０００７】そのような映像に対して，従来の手法で
は，複数の人物の重なりが生じる時点で，テンプレート
のマッチングが安定かつ正確に実行できず，出力する追
跡情報も極めて精度の低いものとなってしまうという問
題があった。従来法では，そのような問題に対処するた
めに，人物の重なりというような条件を検出する時点
で，追跡処理を終了してしまうか，人手による補正を求
める入力待ちの状態に移行するなどの対策をとってい
た。このように，従来法では，複数の人物の密集が生じ
る映像に対しては，安定に追跡処理が実行できず，ま
た，複数の人物の交わりや分離などの状態の認識もでき
なかった。

【０００８】そこで本発明は，画像フレーム間における
物体間の対応関係に一対多，多対一などの多様性を導入
し，画像上での物体の移動，合体，***，消滅の状態の
判定を行うことで，安定した物体の追跡と，複数の物体
の合体，分離の状態に関する情報の出力を可能にする技
術の提供を課題とする。

【０００９】

【課題を解決するための手段】本発明は，一つ以上の対
象物を撮影した映像を入力とし，映像を構成する複数の
画像フレームに渡って対象物を追跡し，各画像フレーム
における対象物の画像の位置を含む情報を出力する多物
体追跡画像解析システムであって，映像を構成する各々
の画像フレームにおいて対象物が占める画像領域を抽出
する手段と，前記対象物が占める画像領域から対象物の
中心座標値と大きさを取得する手段と，近接する二つの
フレームにおいて検出された対象物について，前のフレ
ームの対象物が，後のフレームの対象物へ移動した場合
の遷移コストを，二つのフレーム上の対象物の組につい
て計算する手段と，該遷移コストから二つのフレーム上
の対象物の間の対応関係を分類し，対象物の出現，消
滅，および，対象物同士の合体，***などの状態を判定
する手段と，前記二つのフレーム間の対象物の対応関係
を，複数の画像フレームからなる映像の区間内の全ての
隣接するフレーム間に対して計算した結果の情報を利用
して，個々の対象物の移動軌跡を複数の画像フレームに
渡って追跡し，各画像フレームにおける対象物の位置お
よびサイズに加えて，その出現，消滅，および，対象物
同士の合体，***の状態の情報を含めて出力する手段と
を有することを特徴とする。

【００１０】また，本発明の実施様態によれば，画像フ
レームにおいて対象物が占める画像領域を抽出する手段
として，画像を構成する画素値の各々の色成分について
ヒストグラムを計算する手段と，該ヒストグラムの最大
値を示す色成分値と，該最大値をピークとする山に隣接
する谷に対応する色成分値とを計算することで，対象物
の背景領域の色成分の範囲を計算する手段と，画像中の
任意の画素を中心とする近傍領域内の画素値が該背景領
域の色成分の範囲に含まれる割合を計算する手段と，該
近傍領域内の色成分の分散の大きさと背景領域全体の色
成分の分散の大きさの比を計算する手段と，該計算され
た分散の比が一定値以下であり，かつ，該近傍領域内の
画素値が該背景領域の色成分の範囲に含まれる割合が一
定値以上の場合に，対象の画素が対象物の領域に含まれ
ると判断し，それらの画素の集合である対象物の領域を
二値画像として抽出する手段とを有することを特徴とす
る。

【００１１】また，本発明の実施様態によれば，対象物
が占める画像領域から対象物の中心座標値と大きさを取
得する手段として，対象物が占める領域を二値画像とし
て保持する画像に対して距離変化を施し，距離画像を計
算する手段と，該距離画像において，局所的な距離値の
ピークを示す座標を検出する手段と，該距離値がピーク
を示す座標を中心とする対象物領域に対して，適合する
外接四角形を計算する手段と，該外接四角形の中心位置
として対象物の中心座標を出力し，該外接四角形の幅，
高さとして対象物のサイズを計算し出力する手段とを有
することを特徴とする。

【００１２】また，本発明の実施様態によれば，前記近
接する二つのフレームにおいて検出された対象物につい
て，前のフレームの対象物が，後のフレームの対象物へ
移動した場合の遷移コストを計算する手段として，対象
物の移動の大きさに関する遷移コストとして，二つのフ
レーム上の対象物の距離を，水平方向および垂直方向そ
れぞれについて，カメラの視点移動に伴うフレーム間に
おける画像全体のずれを補正して計算し，該水平方向の
距離を対象物の幅で正規化し，該垂直方向の距離を対象
物の高さで正規化して計算する手段と，対象物の形状や
色の変化に関する遷移コストとして，一方のフレーム上
の対象物の画素値の空間分布を，他方のフレーム上の対
象物に重ね合わせ，それらの画素値の分布の誤差が最も
小さくなる値を計算する手段とを有することを特徴とす
る。

【００１３】また，本発明の実施様態によれば，前記遷
移コストを用い，二つのフレーム上の対象物の間の対応
関係を分類し，対象物の出現，消滅，および，対象物同
士の合体，***などの状態を判定する手段として，二つ
のフレーム上の個々の対象物について，遷移コストが一
定値以下の対象物の組の間に対応関係があると判断する
手段と，二つのフレーム上の対象物の間の対応関係を，
前フレームの単一の対象物が後フレームの単一の対象物
に対応する状態，前フレームの複数の対象物が後フレー
ムの単一の対象物へ対応する状態，前フレームの単一の
対象物が後フレームの複数の対象物へ対応する状態，前
フレームには存在するが後フレーム上に対応する対象物
が存在しない状態，後フレーム上に存在するが前フレー
ム上に対応する対象物が存在しない状態に分類し，前フ
レームの単一の対象物が後フレームの単一の対象物に移
動する状態を単純な移動，前フレームの複数の対象物が
後フレームの単一の対象物へ移動する状態を対象物の合
体，前フレームの単一の対象物が後フレームの複数の対
象物へ移動する状態を対象物の***，前フレームには存
在するが後フレーム上に対応する対象物が存在しない状
態を対象物の消滅と，後フレーム上に存在するが前フレ
ーム上に対応する対象物が存在しない状態を対象物の出
現として判定する手段とを有することを特徴とする。

【００１４】また，本発明の実施様態によれば，二つの
フレーム間の対象物の対応関係を，複数の画像フレーム
からなる映像の区間内の全ての隣接するフレーム間に対
して計算した結果から，個々の対象物の移動軌跡を複数
の画像フレームに渡って追跡し，その出現，消滅，およ
び，対象物同士の合体，***の状態の情報を含めて出力
する手段として，複数のフレームに渡る対象物の存在お
よびフレーム間の対象物の対応関係のデータを入力し，
それを個々の画像フレームにおいて検出された対象物を
頂点，近接フレーム間における対象物の対応関係をエッ
ジとするグラフ構造状のデータ構造として格納する手段
と，出現の直後の状態をもつ対象物を探索し，それを起
点として消滅直前の状態または合体状態が検出されるま
で，該グラフ中を探索し，対象物の移動軌跡を取得する
手段と，***の直後の状態をもつ対象物を探索し，それ
を起点として消滅直前の状態または合体状態が検出され
るまで，該グラフ中を探索し，対象物の移動軌跡を取得
する手段とを有することを特徴とする。

【００１５】前記入力映像として，複数の人間で行う球
技の試合を撮影した映像を入力したような場合，例えば
背景は競技場のフィールド領域であり，前記対象物は競
技を行う選手，審判などの人物である。

【００１６】サッカーの試合のように激しく運動する人
物を撮影する場合，映像中の人物像は，フレーム毎に著
しく形状が変化する。従来のテンプレートマッチングを
用いた追跡方法では，フレーム間において物体の形状変
化が大きい対象物の場合に，正確な追跡が困難であると
いう問題があるが，本発明では，隣接する２つのフレー
ム上の物体の全ての組み合わせについて，その移動の可
能性を遷移コストとして計算するために，物体の形状変
化が大きい対象物に対しても正確な追跡が可能であると
いう利点を有する。

【００１７】また，同じくサッカーの試合映像等の場
合，複数の人物が激しくぶつかり合ったり，密着したり
するため，映像中の人物像もまた，複数の人物像が密集
して現れる。このような密集している領域から個々の人
物の領域を分離して切り出すことは極めて困難であり，
また，ある人物の陰に別の選手が隠れる場合には，隠れ
た選手を検出することは単一の視点から撮影した画像か
らは困難である。

【００１８】以上の理由により，本発明では，複数の人
物が密集したり重なったりする場合，それらの全体の領
域を一つの人物領域として抽出する方式を用い，前後の
フレームとの対応関係を用いることにより複数の選手の
合体や分離を判定することで，複数の人物の重なりなど
へ対応することができる。一方，従来のテンプレートマ
ッチングの手法では，複数の人物の密集や重なりが生じ
た時点で正常な動作が望めない。

【００１９】また，このような複雑な対象に従来の手法
を用いる場合，人物の重なる状況を人間が判定して，追
跡の処理を制御する必要があったが，本発明では，自動
的に複数の人物の合体や***を判定することができ，そ
の点においても従来手法に対して優位性を持つ。

【００２０】以上の処理手段の各部を，ハードウェアに
よって実現することも，またコンピュータが実行するソ
フトウェアプログラムによって実現することもできる。
そのソフトウェアプログラムはコンパクトディスク，フ
ロッピー（登録商標）ディスクその他の記録媒体に記録
して提供することができる。

【００２１】

【発明の実施の形態】以下，図面を参照して本発明の実
施の形態を詳細に説明する。図１は，本発明の一実施形
態例を説明する図であって，本システムは，入力部１０
０，処理部２００，ファイルシステム３００，メモリ４
００，および表示部１０００から構成される。

【００２２】入力部１００は，撮影装置１０１，ビデオ
映像蓄積再生装置１０２，映像取り込み装置１０３から
なる。撮影装置１０１は，試合映像を撮影するカメラで
ある。ビデオ映像蓄積再生装置１０２は，撮影装置１０
１により撮影された映像を記録し，再生することができ
る装置である。ここで，撮影装置１０１とビデオ映像蓄
積再生装置１０２は同一の地点に存在する必要はなく，
通信回線等を通じて撮影装置１０１で撮影された映像を
送信し，ビデオ映像蓄積再生装置１０２で受信および記
録を行うこともできる。さらに，ビデオ映像蓄積再生装
置１０２は，一台である必要はなく，複数の装置を用い
て記録と再生とを別々の装置で実行することも可能であ
る。

【００２３】映像取り込み装置１０３は，ビデオ映像蓄
積再生装置１０２で再生される映像を計算機上に取り込
み，映像蓄積ファイルシステム３０１中にディジタルデ
ータとして蓄積を行う装置である。映像取り込み装置１
０３は，ビデオ映像蓄積再生装置１０２の出力がアナロ
グ信号の場合には，ディジタル／アナログ（Ｄ／Ａ）変
換を行う。また，撮影装置１０１やビデオ映像蓄積再生
装置１０２の出力がディジタル信号の場合には，必要に
応じて映像データのフォーマット変換を行う機能も実現
するものである。

【００２４】処理部２００は，本発明の中心的技術を実
現する部分であり，ヒストグラム計算部２０１，フィー
ルド領域抽出部２０２，人物領域抽出部２０３，人物検
出部２０４，遷移コスト計算部２０５，フレーム間対応
決定部２０６，人物遷移探索部２０７からなる。処理部
２００は，映像を入力し，映像の各画像フレームから人
物を検出し，その人物の追跡を行い，その結果として，
各フレームにおける人物の位置情報などの出力を行う。
詳細は後述する。

【００２５】ファイルシステム３００は，映像蓄積ファ
イルシステム３０１，人物色モデルファイルシステム３
０２，人物検出結果ファイルシステム３０３，トラッキ
ング出力ファイルシステム３０４からなる。

【００２６】映像蓄積ファイルシステム３０１は，映像
取り込み装置１０３より出力される映像データを蓄積
し，処理部２００からの要求に応じて任意の映像中の画
像フレームを出力することができる。人物色モデルファ
イルシステム３０２は，人物検出部２０４において検出
した人物の属性を判定する際に用いるモデルとなる人物
の色情報が格納されているファイルシステムである。

【００２７】人物検出結果ファイルシステム３０３は，
処理部２００より出力される入力映像の各画像フレーム
における人物の位置，サイズ，および，前後フレーム上
の人物との対応関係等からなるデータを格納するファイ
ルシステムである。トラッキング出力ファイルシステム
３０４は，人物遷移探索部２０７より出力される映像中
の各人物の移動軌跡情報が格納されるファイルであり，
本システムの最終出力となるものである。なお，これら
のファイルシステムは，同一または異なる固定ディスク
装置を用いて実現することができる。

【００２８】メモリ４００は，画像フレームメモリ４０
１，ヒストグラムメモリ４０２，フィールド領域画像フ
レームメモリ４０３，人物領域画像フレームメモリ４０
４，人物情報メモリ４０５，遷移コストマトリクスメモ
リ４０６，人物状態テーブルメモリ４０７，人物遷移構
造メモリ４０８からなる。これらのメモリは，処理部２
００の各処理過程において，入出力される情報を一時的
に格納するために用いられ，半導体メモリを用いて実現
することができる。

【００２９】表示部１０００は，トラッキング結果の画
像表示を行う。

【００３０】図２は，図１に示すシステムの処理例を示
す流れ図である。まず，映像中より画像フレームを読み
込み（ステップ５０１），各色成分についてヒストグラ
ムを計算し（ステップ５０２），画像フレーム中よりフ
ィールド領域を抽出し（ステップ５０３），フィールド
上に存在する人物の領域を抽出し（ステップ５０４），
人物領域から人物を検出し，その位置，サイズ情報を取
得し（ステップ５０５），さらに，現在の画像フレーム
が開始フレームでない場合には，前フレームで検出され
た人物との間の遷移コストを計算し（ステップ５０
６），現在フレームと前フレームの人物間の対応づけを
行い（ステップ５０７），その結果をファイル出力し，
さらに，最終フレームまで処理が終了した後，各フレー
ムについて得られた人物情報と対応付けの情報を入力し
（ステップ５０８），その情報を用いて人物の探索を行
い，その結果を出力する（ステップ５０９）。

【００３１】以下では，図１に示す処理部２００の動作
を具体的に説明する。処理部２００においては，まず，
映像蓄積ファイルシステム３０１に記憶されている映像
データにアクセスし，利用者の指定するフレーム区間に
ついて，利用者の指定するフレーム間隔おきに画像フレ
ームを読み込み，画像フレームメモリ４０１に記憶す
る。

【００３２】ヒストグラム計算部２０１では，画像フレ
ームメモリ４０１に蓄積された画像フレームを構成する
全ての画素について，色成分毎のヒストグラム（頻度分
布）を計算し，ヒストグラムメモリ４０２へ格納する。

【００３３】本システムで扱う映像は，カラー映像であ
り，各画素は色を表現するために，複数の値を保持して
いる。例えば，ＲＧＢ表色系（赤，緑，青）という３つ
の数値の組が計算機用の映像表示装置には用いられてい
る。ヒストグラム計算部２０１では，こうした色表現手
段の一つとしてＨＳＶ表色系（色相，彩度，輝度）を用
いることができる。

【００３４】ヒストグラム分布の計算に先駆け，予め各
色成分の値の分割幅を設定し，各色成分の最小値と最大
値の間を複数の区間に分割し，区間毎に度数を格納でき
るようなメモリ領域をヒストグラムメモリ４０２中に確
保し，各区間の値を０にリセットする。

【００３５】次に，各画素を巡回し，その色成分の値に
対応したヒストグラムの区間の値を１だけ増加させる。
ここで，各色成分毎に独立したヒストグラムを作成す
る。全画素巡回後のヒストグラムメモリ中の値からヒス
トグラム分布が得られる。例えば，図３（ａ）のような
分布が各色成分について得られ，競技場のフィールドの
色に対応する部分にはヒストグラム中において最も高い
山が形成される。

【００３６】なお，撮影時の競技場や照明条件により画
像の性質は，著しく変化するが，本発明では，ヒストグ
ラムの分割幅を調整することにより，様々な条件の映像
に対応が可能である。

【００３７】なお，ヒストグラム計算部２０１および以
後の処理において，ＨＳＶ表色系を実現例として用いて
いるが，その他，任意の表色系を用いても本発明を実施
することができる。

【００３８】フィールド領域抽出部２０２では，画像フ
レームメモリ４０１に記憶されている画像フレーム，お
よびヒストグラムメモリ４０２に格納されているヒスト
グラム分布を入力として，画像フレーム中のフィールド
領域の抽出を行い，抽出したフィールド領域を画像とし
てフィールド領域画像フレームメモリ４０３に出力す
る。ここで「フィールド」とは，映像のインタレース方
式におけるフィールドではなく，撮影された競技場にお
いて試合を行う領域のことを指すものである。

【００３９】本システムで対象とする画像は，一般に図
４のような構成をもつ。６０１はフィールド領域以外の
画像領域であり，観客席などの競技場施設に対応する領
域であり，６０２は競技が行われるフィールド領域であ
り，６０３はフィールド上に存在する人物（選手）が占
める画像領域である。

【００４０】フィールド領域抽出部２０２では，まず，
ヒストグラム分布を利用して，フィールドに対応する画
素の色の範囲を計算する。そのため，始めに，各色成分
のヒストグラム分布について，それぞれ最大の度数を示
す値を中心色成分（Ｈ_C，Ｓ _C，Ｖ_C）として取得す
る。

【００４１】次に，フィールドの色範囲の下限と上限を
各成分について求める。本発明では，ヒストグラムのピ
ークを挟んだ山をフィールドの色領域と定義し，ピーク
を挟む谷の色成分値を探索により求める（図３
（ｂ））。例えば，下限の探索は，ピーク値より色成分
値の低い方向に進みながら，分布の傾きを計算し，傾き
がゼロになった色成分値を下限値として求めることがで
きる。また，上限値も，探索方向を逆にすることにより
求められる。ここで得られた色範囲を成分毎に
（Ｈ_min，Ｈ_max），（Ｓ_min，Ｓ_max），（Ｖ_min，
Ｖ_max）と表記する。ある画素の色成分がフィールド色
領域に含まれるとは，色相Ｈ，彩度Ｓ，輝度Ｖのそれぞ
れの値が全て対応する色範囲に含まれていることを指
す。また，この条件を緩和し，例えば，色相Ｈ，彩度Ｓ
成分についてのみ条件を課すというような様々な条件の
組み合わせを用いることも可能である。

【００４２】次に，画像フレームの各画素を巡回し，各
々の画素がフィールド領域に属するか否かを判定する。
フィールド領域は，他の領域と比較してなめらかで色の
ばらつきが小さいので，局所的な色分布のばらつきと，
フィールド領域全体の色のばらつきを比較して，局所的
に一様な色分布を持ち，かつ，検出したフィールドの色
範囲へ適合する画素をフィールド領域に含まれるとして
判定する。

【００４３】そのための具体的な方法として，画像フレ
ーム中の各画素（ｉ，ｊ）を巡回し，着目する画素を含
むＮ×Ｎ画素の近傍画素の集合について，フィールド色
範囲に含まれる画素の割合ｒと，近傍の色分布とフィー
ルド上の色分布の分散の大きさの比Ｒ（分散比）を計算
する。そして，割合ｒが一定値以上であり，かつ，分散
比Ｒが一定値以下である場合に，その画素はフィールド
上に属すると判断する。その場合，フィールド領域画像
フレームメモリ４０３上の対応する座標値（ｉ，ｊ）が
１となり，フィールド外と判定された場合０と設定され
る。

【００４４】以上で，判定されたフィールド領域には，
フィールド上に存在する人物（選手）の領域が含まれ
ず，フィールド領域中の穴として残ってしまう場合があ
る。そのため，フィールド領域画像フレームメモリ４０
３に記憶されているフィールド領域画像について，整形
処理を行う。整形処理は，まず，モルフォロジフィルタ
による縮小処理により，孤立した微少領域をゴミとして
除去する。続いて，人物領域の穴を埋めるために，フィ
ールド領域画像上の各画素を巡回し，ある画素が０であ
る場合（フィールド外と設定されている）に，図５のよ
うに，上下左右のある距離離れた画素の値を取得し，そ
れらが全て１である（つまり，フィールド上である）場
合に，現在の巡回中の画素の値を１に変化させるという
処理を繰り返し行う。図５の（ａ），（ｂ），（ｃ）は
その際にチェックする近傍の画素のパターンであり，一
つまたは複数のパターンについて順次実行する。本処理
により，従来のモルフォロジフィルタの膨張処理と比較
して，領域中の大規模な穴を，高速に埋めることが可能
となる。

【００４５】以上の処理により，図４のような画像か
ら，図６のようなフィールド領域がフィールド領域画像
フレームメモリ４０３上の二値画像として得られる。

【００４６】人物領域抽出部２０３は，画像フレームメ
モリ４０１中の画像と，フィールド領域画像フレームメ
モリ４０３中のフィールド領域画像を入力とし，画像中
から人物領域を抽出し，抽出結果を画像として人物領域
フレームメモリ４０４に記録する。

【００４７】そのための具体的な方法として，以下の方
法が利用できる。フィールド領域画像上において，フィ
ールド領域に含まれる画素を巡回し，その各画素の色成
分がフィールド色範囲に含まれない場合，または，色相
成分Ｈの値のフィールド中心色からのずれ（フィールド
色分布の標準偏差で正規化）が一定値以上の場合，また
は，着目画素の近傍の画素の輝度成分Ｖのフィールド中
心色まわりの分散とフィールド色分布の分散の比が，一
定値以上の場合のいずれかの場合に，着目画素は選手領
域に属すると判断し，人物領域画像フレームメモリ４０
４中の該当座標の画素の値を１に設定する。また，そう
でない場合には，値を０に設定する。

【００４８】このような処理を全画素について実行する
と，図７のような人物領域を示す二値画像が，人物領域
画像フレームメモリ４０４に得られる。

【００４９】人物検出部２０４は，画像フレームメモリ
４０１中の画像と，人物領域画像フレームメモリ４０４
中の選手領域画像，人物色モデルファイルシステム３０
２中の人物の色モデル情報を入力とし，画像中より人物
を検出し，その位置，サイズ，属性を取得し，人物情報
メモリ４０５に格納する。

【００５０】そのための具体的な方法として，以下の方
法が利用できる。まず，人物領域画像フレームメモリ４
０４中より読み込んだ選手領域画像について，距離変換
を施し，その結果を人物領域画像フレームメモリ４０４
に書き込む。距離変換後の画像を距離画像と呼ぶ。距離
画像中の各画素値は，その画素から背景（つまり，非人
物領域）への最短距離の値を持つ。その方法には，例え
ば，「画像解析ハンドブック」（監修高木幹雄，下田陽
久，東京大学出版会）の５７６ページから５７７ページ
に記載の方法が利用できる。

【００５１】次に，距離画像について，距離値が局所的
にピークを持つような画素の集合を検出する。その方法
としては，各画素を巡回し，今着目する画素と，近傍の
画素の距離値を比較して，着目画素の距離値がいずれよ
りも大きい場合に，その画素をピークとして検出する方
法が利用できる。続いて，検出される各ピークについ
て，そのピーク画素を取り囲む人物領域に適合する外接
四角形を計算する。例えば，図８（ａ）の人物領域７０
２について，点７０３のようにピーク画素が得られ，人
物領域の外接四角形が７０１のように求められる。

【００５２】その方法の一つとして，図８（ｂ）のよう
に，ピーク画素を中心とし，その距離値の２倍の幅，高
さをもつ四角形を考え，この四角形の上，下の辺をそれ
ぞれ上方，下方に移動させ，返上の画素が人物領域に含
まれる割合を計算し，ある割合を下回る時点で，辺の移
動を停止する。また，左右の辺についても，同様の操作
を行う。その結果として得られる辺の位置を，含む四角
形を外接四角形として求め，その中心位置の座標，幅，
高さを人物情報として人物情報メモリ４０５中に格納す
る。

【００５３】さらに，人物情報メモリ４０５中に格納さ
れた人物中から，相異なる人物の外接四角形の重なりの
面積を調べ，重なりが顕著である場合，より面積の小さ
い方の人物情報を人物情報メモリ４０５から削除する。
その方法としては，重なりの面積と，大きい方の外接四
角形の面積との比が一定値以下のときに，面積の小さい
方を消去する方法が利用できる。また，重なりがある場
合に，面積の小さい方の外接四角形を消去することで，
失われる面積が他方の外接四角形の面積に占める割合を
計算し，それが一定値以下の場合に，面積の小さい方を
消去するという方法が利用できる。なお，上記の方法以
外の方法も利用可能である。

【００５４】次に，以上の処理の結果，人物情報メモリ
４０５中に存在する人物について，その属性を判定し，
属性情報も人物情報メモリ４０５に付加する。そのため
に，人物色モデルファイルシステム３０２より，予め登
録してあるモデルとなる人物の色モデルを読み込み，検
出した人物の色との比較を行い，最も適合するモデルの
属性を人物の属性として判断する。

【００５５】その一つの実現方法として，以下のような
色情報を用いる。本例では，図９のように人物領域を垂
直方向に分割し，分割された各領域中の人物領域につい
て，各色成分の平均値を計算する。こうした色の組と，
同様にして予め利用者によって属性が指定されている各
モデルの人物の色の組との平均二乗誤差を計算し，最も
この誤差の小さいモデルの属性を検出した人物の属性と
する。モデルとしては，両チームの選手，審判に加え，
フィールド上の白線や芝のハゲの領域を用意して，人物
色モデルファイルシステム３０２に登録しておくこと
で，白線やハゲのモデルに最も近いと判断された場合に
は，その人物の情報を人物情報メモリ４０５から削除す
ることができ，そうすることにより，白線やハゲなどの
領域を人物として誤検出してしまうことが減少する。

【００５６】遷移コスト計算部２０５は，現在のフレー
ム，および，前フレームについて検出され，人物情報メ
モリ４０５に記憶されている人物情報を入力として，フ
レーム間における人物の遷移コストを計算し，遷移コス
トマトリクスメモリ４０６に格納する。

【００５７】遷移コスト計算部２０５は，処理対象の映
像のフレーム範囲において，第２フレーム以上のフレー
ムについて実施するものである。遷移コストとは，前フ
レームのある人物が，現フレーム上のある人物に移動し
たと考える場合のコストであり，前フレーム上の人物数
と現フレームの人物数をそれぞれ行の数，列の数とする
マトリクス形式として遷移コストマトリクスメモリ４０
６に格納される。

【００５８】このコストとして，本例では，移動コスト
と変化コストという２種類のコストを計算し，その結果
をそれぞれ遷移コストマトリクスメモリ４０６に格納す
る。移動コストとは，フレーム間の人物の距離に関する
コストであり，変化コストとは，フレーム間における人
物の形状や色分布の変化に関するコストである。これら
のコストが小さいもの同士が実際に移動したと考える。

【００５９】移動コストの一計算方法として，以下の方
法が利用できる。前フレーム上のある人物ｉと，現フレ
ームｊとの間の移動コストＤ（ｉ，ｊ）は，人物ｉの座
標を（ｘ_i，ｙ_i），人物ｊの座標を（ｘ_j，ｙ_j），
人物ｉの幅，高さを（ｗ_i，ｈ_i），人物ｊの幅，高さ
を（ｗ_j，ｈ_j）とすると，

【００６０】

【数１】

【００６１】と計算できる。ただし，Ｖ_x，Ｖ_yは，カ
メラの視点移動によりフレーム間で生じた画像のずれ幅
である。固定視点カメラにより撮影された映像の場合，
これらを０とし，移動視点カメラにより撮影された映像
を処理対象とする場合には，平均的な移動量（単位は画
素）としてＶ_x，Ｖ_yをフレーム間のマッチング等の方
法により計算する。

【００６２】映像の撮影は，通常，フィールドの真上か
らではなく，側面から行われるため，画像上では，奥行
き方向の距離が左右方向の距離と比較して縮まって表現
される。そのため，水平方向の移動成分を人物の高さで
正規化し，垂直方向の移動成分を人物の幅を正規化する
ことによる補正によって，移動コストの精度を向上させ
ることができる。

【００６３】移動コストの計算後，以後の計算の簡略化
のために，一定値以上の移動コストの場合には，移動コ
スト，変化コストともに無限大に設定する。また，移動
コストが一定値以下の場合においても，現フレームの人
物と前フレームの人物の外接四角形の面積比を計算し，
著しく面積比が大きいか，小さい場合には，変化コスト
を無限大に設定する。これは，多くの場合，人物以外の
ゴミ領域は小さな面積として得られるため，これを識別
するための効果を有する。

【００６４】これら条件を満たした現フレームと前フレ
ームの各人物について，変化コストをテンプレートマッ
チングを用いて計算する。これは現フレームをテンプレ
ートとして，このテンプレートの中心を前フレームの人
物の領域中に当てはめたときの画像間の色成分の二乗誤
差を計算し，テンプレートの中心位置を前フレームの人
物の領域中でずらしながら，二乗誤差が最小になる位置
を探索し，最も小さい二乗誤差を変化コストとして設定
する。なお，二乗誤差以外の尺度も利用可能である。

【００６５】フレーム間対応決定部２０６では，遷移コ
ストマトリクスメモリ４０６中に記憶されている遷移コ
ストを入力とし，フレーム間の人物の対応関係を決定
し，決定された人物の対応関係を人物状態テーブルメモ
リ４０７へ格納する。また，人物状態テーブルメモリ４
０７の内容を人物検出結果ファイルシステム３０３へと
出力する。

【００６６】本発明では，現在フレームと前フレームと
の間の人物の対応関係，および，現在フレームと次フレ
ームとの間の人物の対応関係を各々，図１０のような４
つの状態に区分して認識する。現在フレームと前後のフ
レームを含めると１６通りの状態が存在することにな
る。それぞれの対応関係を識別する記号として，前フレ
ームとの関係，および，後フレームとの関係について，
それぞれ接続状態番号を用いる。

【００６７】前フレームとの対応関係において，前フレ
ームには存在しない人物の出現の場合には，接続状態番
号を１とし，また，単純な人物の移動の場合には，接続
状態番号を２と表す。前フレームで一つの人物領域が，
現フレームでは***するような場合，現フレームにおけ
る***した片割れを接続状態番号３で表す。また，前フ
レームで複数の人物領域が，現フレームにおいて一つに
合体する場合には，接続状態番号４を付与する。

【００６８】次フレームとの関係も，同様の番号を用
い，現フレームの人物が次フレームにおいては，存在し
ないような，人物が消滅する場合（フィールド領域の範
囲外への移動）には接続状態番号１を与え，現フレーム
の人物が単純に移動する場合には，２を与え，現フレー
ムの人物が***する場合には３を与え，現フレームの人
物が次フレームにおいて他の人物と合体して一つの領域
をなす場合には，接続状態番号４を与える。

【００６９】フレーム間対応決定部２０６では，以上の
ようなフレーム間の対応関係が，逐次決定されていく。
決定される人物の状態は，人物状態テーブルメモリ４０
７にテーブル形式で格納される。これを「人物状態テー
ブル」と呼ぶ。その情報は，図１１に示すように一つの
画像フレーム上で検出された個々の人物について，ＩＤ
番号，前フレームとの接続状態番号（前方接続状態番
号），次フレームとの接続状態番号（後方接続状態番
号），前フレームで対応する人物番号（前方対応人物番
号），次フレームで対応する人物番号（後方対応人物番
号）を含むものとする。

【００７０】ＩＤ番号は，人物に固有の番号であり，同
一の人物が複数のフレームに渡って存在する場合，それ
らのフレーム中の該当人物には同一の番号が付与される
とする。また，人物番号とは，一つのフレーム上で検出
された人物に対して付与される通し番号であり，人物状
態テーブルメモリ４０７中のテーブルにおいては，行番
号を指定するものである。前フレームで対応する人物番
号および次フレームで対応する人物番号とは，現フレー
ムのある人物が前フレーム，および，次フレームでどの
人物と対応しているかを示す番号である。

【００７１】なお，本発明において，図１２に示すよう
な対応関係は禁止するとする。この禁止対応関係には
（ａ）Ｚ型，（ｂ）Ｘ型が存在し，これは，二つのフレ
ームにおいて，二人の人物が並走するような場合，人物
の移動の他に，一つのフレームで隣合う二人の人物間
で，それぞれ隠し持っている別の人物（後ろに隠れてい
る）の交換が行われることはないと規定するものであ
る。図１１に示す人物状態テーブルのようなテーブル構
造を用いると，このような禁止対応関係は表現できな
い。

【００７２】映像蓄積ファイルシステム３０１より与え
られる映像データの各フレームについて，前後のフレー
ム間での人物の対応関係を決定し，人物状態テーブルメ
モリ４０７にその結果を格納するアルゴリズムとして，
本発明では以下の手法を用いることができる。

【００７３】まず，映像データについて，処理を開始す
るフレーム番号，終了するフレーム番号，および，処理
を行う間隔を示すステップ数が利用者より与えられる。
本手法では，人物状態テーブルメモリ４０７に，２フレ
ーム分の人物状態テーブルを保持する。それぞれ，第１
の人物状態テーブル，第２の人物状態テーブルと呼ぶ。

【００７４】図１３および図１４に，トラッキング処理
が進行して，人物の状態が決定していく様子を便宜的に
示す。図１３（ａ）には，あるフレーム上の一人の人物
について，人物状態テーブルの内容がどのように説明さ
れるかを示したものであり，円形の上部にＩＤ番号，円
形の左下部には前フレームとの接続状態番号（前方接続
状態番号），円形の右下部には次フレームとの接続状態
番号（後方接続状態番号）が表現される。また，未決定
の場合には，それぞれ空白となる。斜体の番号は，該当
のフレームおいて付与された番号を示し，ローマン体の
番号は，既に決定されている番号を示す。また，円形が
点線で構成される場合には，既に状態等が決定し，その
内容が出力され，人物状態テーブルからは消去されてい
ることを意味する。また，前フレームでの対応人物，お
よび，次フレームでの対応人物は，円形の左側に接続さ
れる矢印の元，および，円形の右側から伸る矢印の先と
して示される。ここで人物間の対応（接続）には，優勢
対応（強接続）と，弱接続があり，強接続は，同一人物
の移動を表し，太線で記される。これにより示される人
物が人物状態テーブルの該当欄に記憶される人物であ
る。また，弱接続にある人物は，別の人物が合体し，背
後に隠れる場合や，背後に隠れていた人物が次のフレー
ムでは出てくるようなケースを表す。

【００７５】まず，開始フレーム（フレーム１）の段階
においては，全ての人物が新たに出現したとして，第１
の人物状態テーブルの前方接続状態番号欄に１を書き込
む。また，ＩＤ番号欄には，新しいＩＤ番号を付与す
る。また，前方対応人物番号欄には，対応先がないこと
を示す−１を書き込む。この様子を図１３（ｂ）に示
す。

【００７６】次に，フレーム２の処理に移行する。その
際には，人物状態テーブルメモリ４０７に第２の人物状
態テーブルを確保する。まず，現フレーム（フレーム
２）の各人物について，前フレーム（フレーム１）の各
人物の中で最もトータルの遷移コストの小さい人物を選
択する。ここで，トータル遷移コストは，遷移コストマ
トリクスメモリ４０６中に格納されている移動コストと
変化コストを用いて，トータル遷移コスト＝移動コスト
＋ｗ×変化コストのように計算される。ここで，ｗは重
み付けの係数である。なおその際には，許容する移動コ
スト，および，変化コストに上限Ｅ１，Ｅ２を設け，こ
の条件を満たさない場合には，対応関係は存在しないも
のとする。

【００７７】この処理が終了した段階において，図１４
（ａ）のように，前フレームの一人の人物から，現フレ
ームの複数の人物へ対応関係が存在する場合がある。こ
の場合，トータルの遷移コストが最も小さい対応を優勢
対応として，前フレームの人物のＩＤ番号を現フレーム
の人物に継承し，第２の人物状態テーブルの該当人物の
欄にこのＩＤ番号を記録する。また，同時に，前フレー
ムの後方対応人物番号欄に，対応する現フレームの人物
番号を記入し，現フレームの前方対応人物番号欄に，対
応する前フレームの人物番号を記入する。また，優勢対
応ではない弱接続している現在フレームの人物について
も，前方対応人物番号欄に，対応している前フレームの
人物番号を記入する。

【００７８】次に，前フレームの人物において，現フレ
ームの人物と対応関係が確立されていない人物が存在す
る場合，その人物それぞれについて，現フレーム上の人
物の中から，遷移コストの中でも，移動コストの上限Ｅ
１の条件を満たし，かつ，最も小さい人物が存在する場
合，前フレームの後方対応人物番号欄に，現フレームの
人物番号を記入する。

【００７９】次に，これまでに現在フレームの人物でＩ
Ｄ番号が付与されていない人物について，新規のＩＤ番
号を付与し，対応する第２の人物状態テーブルの欄に記
録する。以上で確立されたフレーム間の人物の対応関係
を元に，前フレームの人物の後方接続状態番号を判定
し，第１の人物状態テーブルの該当欄に記入し，現フレ
ームの人物の前方接続状態番号を判定し，第２の人物状
態テーブルの該当欄に記入する。

【００８０】最後に，第１の人物状態テーブルに記録さ
れている前フレーム（フレーム１）の人物の状態の情報
を人物検出結果ファイルシステム３０３に出力し，第１
の人物状態テーブルの内容を消去する。

【００８１】次に，フレーム３に移り，フレーム２の場
合と同様の処理を行う。その様子を図１４（ｂ）に示
す。ここでは，フレーム３の人物の状態は，第１の人物
状態テーブルに記憶される。フレーム３の段階の処理の
結果，第２の人物状態テーブル中のフレーム２の人物の
状態情報を，人物結果ファイルシステム３０３に出力す
る。その際に，フレーム２の段階で出力した情報に追加
する形で出力が行われる。

【００８２】以上の処理を終了フレームまで，指定され
たフレームのステップ毎に実行する。終了フレームの段
階の処理においては，後方対応人物番号には−１を付与
し，後方接続状態番号には，全ての人物が消滅すると
し，１を付与し，その内容を人物結果ファイルシステム
３０３に出力する。なお，以上の手法は一例であり，こ
れ以外の手法も利用可能である。

【００８３】人物遷移探索部２０７では，人物検出結果
ファイルシステム３０３中の人物検出結果を読み込み，
人物遷移構造メモリ４０８に記憶させ，さらに，その内
容を入力として，複数フレームに渡る連続した人物の探
索を実行し，その結果をトラッキング出力ファイルシス
テム３０４に記録する。

【００８４】人物遷移探索部２０７では，本システムの
最終的な出力である，画像上において個々の人物をトラ
ッキングすることで得られる各フレームにおける位置と
サイズの情報を出力することを目標とする。

【００８５】その実現方法の一例として以下の方法が利
用できる。まず，人物検出結果ファイルシステム３０３
から，人物検出結果を読み込み，人物遷移構造メモリ４
０８にその内容を記憶させる。人物検出結果ファイルシ
ステム３０３には，フレーム間対応決定部２０６より出
力されるデータが蓄積されている。これは，映像蓄積フ
ァイルシステム３０１中の映像データの開始フレームか
ら終了フレームまで，一定のステップ毎に人物を検出
し，フレーム間の人物の対応関係を記述したデータであ
る。

【００８６】ここでは，人物遷移構造メモリ４０８中の
データ構造は，図１５のようなグラフ構造をもつ。図１
５は，横軸にフレーム番号，縦軸にＩＤ番号をとったも
のであり，各人物が頂点として表され，フレーム間の人
物の対応関係はエッジとして表される。人物遷移探索部
２０７では，この人物遷移構造メモリ４０８中のグラフ
データを用いで，個々の人物の複数フレームに渡り探索
し，人物毎の移動軌跡データを出力する。

【００８７】具体的な実現方法の一つとして，以下に示
す方法を用いることができる。まず，人物遷移構造メモ
リ４０８中のグラフデータ中において各頂点を巡回し，
前方接続状態番号が１であるものを探索する。これは新
規に出現する人物に対応し，それら各々の人物を起点と
して，次の条件に適合するかの試験を行う。

【００８８】・条件１：（後方接続状態番号が１であ
る；次フレームで消滅する）・条件２：（後方接続状態番号が４である；次フレーム
で合体する）・条件３：（現在のＩＤ番号が次フレームの対応人物の
ＩＤ番号と異なる；優勢対応ではない）・条件４：（条件１）または（（条件２）かつ（条件
３））・条件５：（条件４）に当てはまらない条件５に適合する場合には，後方対応人物へ進み，同じ
く上記の条件に適合するかの試験を行う。なお，探索の
過程で通過した人物はリストとして記憶を行う。条件４
に適合する場合には，該当人物を起点とした探索を中止
する。その場合，起点となる人物について，その後の人
物の経過の軌跡を記録した人物のリストが生成されてお
り，各フレーム毎に画像上での座標値とサイズの情報が
トラッキング出力ファイルシステム３０４へ出力され
る。

【００８９】次に，他の人物より分岐して別れた人物で
あり，かつ，前フレームの対応人物とは，優勢対応では
ない場合，つまり，次の条件６・条件６：（前方接続状態番号が３である；前フレーム
で分岐している）かつ（現在のＩＤ番号が前フレームの
対応人物のＩＤ番号と異なる；優勢対応ではない）に適
合する人物を人物遷移構造メモリ４０８中のグラフデー
タ中から探索し，適合した各々の人物について，それら
各々の人物を起点として，前述の条件４，５に適合する
かの試験を行う。この処理も前述した処理と同様であ
る。上記において，各々の人物を起点とした選手の軌跡
の探索の結果，得られた人物の移動軌跡のリストの長さ
をチェックし，軌跡の長さが極端に短いものの出力を取
り止めることにより，フィールド上のゴミなどの人物以
外のものが誤検出される回数を減少させることができ
る。

【００９０】また，各々の人物の軌跡を出力する際に
は，その人物の始点における前方接続状態番号，およ
び，終点における後方接続状態番号もあわせて出力され
る。

【００９１】以上に記述した探索処理を行うことによ
り，例えば，図１５に示したような人物の状態遷移構造
より，図１６のような各々の人物の移動軌跡が得られ，
人物間の対応関係が明確に記述できるようになる。

【００９２】なお，以上の手法では，人物検出結果ファ
イルシステム３０３を介して，人物の検出，フレーム間
の対応関係結果のデータを読み込んでいるが，人物検出
結果ファイルシステム３０３の代わりに直接，人物状態
テーブルメモリ４０７より人物遷移構造メモリ４０８へ
データを書き込むこともできる。

【００９３】表示部１０００は，トラッキング出力ファ
イルシステム３０４に記録された人物の移動軌跡に関す
るデータを読み込み，ディスプレイ装置に出力を行う。
表示の形態としては，例えば，図１６に示すような各人
物が画像上に存在する時間区間，および，出現，消滅の
時点，また，複数の人物間における合体，***などの関
連をグラフ構造で表示を行う形態を用いることができ
る。

【００９４】さらに，図１７のように，映像中の画像の
上に，検出した人物の外接四角形を表示したり（図１７
の８０１），外接四角形内の画像輝度を増加したり（図
１７の８０２），また，過去複数のフレームについて，
人物が移動した軌跡を外接四角形や矢印を重ねて表示し
たりできる（図１７の８０３）。

【００９５】また，各人物についてその名称や背番号を
人手により付与することで，人物にそれら番号，名称を
付随させて表示させることもできる（８０４）。

【００９６】さらに，出現，消滅，合体，分離が生じる
時点において，外接四角形の色を変化させて表示させる
ことで，利用者にわかりやすく人物の状態を認識させる
ことができる。

【００９７】図１に示す処理部２００の処理は，例えば
図示省略したＣＰＵとソフトウェアプログラムによって
実現することができ，そのソフトウェアプログラムは，
各種の記録媒体や通信回線を利用してインストールする
ことができる。ＣＰＵは，インストールされたソフトウ
ェアプログラムをメモリ４００にローディングし，それ
を実行することにより，前述した一連の方法を実現す
る。

【００９８】

【発明の効果】以上で説明したように，本発明では，映
像中の各画像フレームにおいて対象物を検出し，画像フ
レーム間における物体間の遷移コストを計算し，一対
多，多対一などの多様性を導入した対応付け処理を行
い，その結果を用いて，物体の移動，合体，***，消滅
の状態の判定を行うことで，サッカーの試合のように複
数の人物が密集するような映像に対しても，安定した物
体の追跡と，複数の物体の合体，分離の状態に関する情
報の出力を可能にする。

【００９９】また，従来のテンプレートマッチングを用
いた追跡方法の欠点であるフレーム間において物体の形
状変化が大きい場合にも，本発明では，フレーム間にお
ける物体間の全ての組み合わせについて移動の可能性を
検討し，遷移コストを計算するため，物体の形状変化が
大きい対象物に対しても正確な追跡が可能になる。

【図面の簡単な説明】

【図１】本発明のシステム構成例を示す図である。

【図２】図１に示すシステムの処理例を示す流れ図であ
る。

【図３】ヒストグラムとフィールド色範囲決定方法を説
明する図である。

【図４】画像フレーム上の対象を示す図である。

【図５】フィールド領域整形処理を説明する図である。

【図６】抽出されたフィールド領域を示す画像の例を示
す図である。

【図７】抽出された人物領域を示す画像の例を示す図で
ある。

【図８】人物領域とその外接四角形を示す図である。

【図９】人物の属性を判定するための色情報の取得を説
明する図である。

【図１０】人物の前後フレームとの接続関係を説明する
図である。

【図１１】人物状態テーブルに格納されるデータの例を
示す図である。

【図１２】禁止対応関係を示す図である。

【図１３】トラッキング処理の進行の様子を示す図であ
る。

【図１４】トラッキング処理の進行の様子を示す図であ
る。

【図１５】人物状態遷移構造の様子を示す図である。

【図１６】人物遷移の探索により得られる人物の遷移構
造の例を示す図である。

【図１７】人物の追跡結果の表示の一例を示す図であ
る。

【符号の説明】

１００入力部１０１撮影装置１０２ビデオ映像蓄積再生装置１０３映像取り込み装置２００処理部２０１ヒストグラム計算部２０２フィールド領域抽出部２０３人物領域抽出部２０４人物検出部２０５遷移コスト計算部２０６フレーム間対応決定部２０７人物遷移探索部３００ファイルシステム３０１映像蓄積ファイルシステム３０２人物色モデルファイルシステム３０３人物検出結果ファイルシステム３０４トラッキング出力ファイルシステム４００メモリ４０１画像フレームメモリ４０２ヒストグラムメモリ４０３フィールド領域画像フレームメモリ４０４人物領域画像フレームメモリ４０５人物情報メモリ４０６遷移コストマトリクスメモリ４０７人物状態テーブルメモリ４０８人物遷移構造メモリ１０００表示部

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/60 １５０Ｇ０６Ｔ 7/60 １５０ＪＨ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ (72)発明者森本正志東京都千代田区大手町二丁目３番１号日本電信電話株式会社内 (72)発明者児島治彦東京都千代田区大手町二丁目３番１号日本電信電話株式会社内Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB06 CB08 CB12 CB16 CC03 CD01 CE09 CE11 CE12 CH11 CH12 DA07 DA08 DB02 DB06 DB08 DB09 DC03 DC04 DC23 5C054 FC04 FC08 FC12 FC13 FC16 GB12 GB14 GB17 HA05 5L096 AA02 AA06 CA02 EA14 EA17 EA35 EA37 EA43 FA14 FA15 FA18 FA33 FA34 FA37 FA42 FA59 FA66 FA69 GA41 HA03 HA05 LA05

Claims

【特許請求の範囲】

【請求項１】映像を構成する複数の画像フレームに渡
って対象物を追跡し，各画像フレームにおける対象物の
画像の位置を含む情報を出力する画像解析システムにお
いて，映像を構成する各々の画像フレームにおいて対象
物が占める画像領域を抽出する手段と，前記対象物が占
める画像領域から対象物の位置と大きさを取得する手段
と，近接する二つのフレームにおいて検出された対象物
について，前のフレームの対象物が後のフレームの対象
物へ移動した場合の遷移コストを，二つのフレーム上の
対象物の組について計算する手段と，該遷移コストから
二つのフレーム上の対象物の間の対応関係を分類し，対
象物の状態を判定する手段と，前記二つのフレーム間の
対象物の対応関係を，複数の画像フレームからなる映像
の区間内の全ての隣接するフレーム間に対して計算した
結果の情報を利用して，個々の対象物の移動軌跡を複数
の画像フレームに渡って追跡する手段とを有することを
特徴とする画像解析システム。
【請求項２】前記画像フレームにおいて対象物が占める
画像領域を抽出する手段として，画像を構成する画素値
の各々の色成分についてヒストグラムを計算する手段
と，該ヒストグラムの最大値を示す色成分値と，該最大
値をピークとする山に隣接する谷に対応する色成分値を
計算することで，対象物の背景領域の色成分の範囲を計
算する手段と，画像中の任意の画素を中心とする近傍領
域内の画素値が前記背景領域の色成分の範囲に含まれる
割合を計算する手段と，該近傍領域内の色成分の分散の
大きさと背景領域全体の色成分の分散の大きさの比を計
算する手段と，該計算された分散の比が所定の値以下で
あり，かつ，該近傍領域内の画素値が該背景領域の色成
分の範囲に含まれる割合が所定の値以上である場合に，
対象の画素が対象物の領域に含まれると判断し，それら
の画素の集合である対象物の領域を二値画像として抽出
する手段とを有することを特徴とする請求項１記載の画
像解析システム。
【請求項３】前記対象物が占める画像領域から対象物
の位置と大きさを取得する手段として，対象物が占める
領域を二値画像として保持する画像に対して距離変化を
施し，距離画像を計算する手段と，該距離画像において
局所的な距離値のピークを示す座標を検出する手段と，
該距離値がピークを示す座標を中心とする対象物領域に
対して，適合する外接四角形を計算する手段と，該外接
四角形の中心位置として対象物の中心座標を出力し，該
外接四角形の幅，高さとして対象物のサイズを計算し出
力する手段とを有することを特徴とする請求項１または
請求項２記載の画像解析システム。
【請求項４】前記遷移コストを計算する手段として，
対象物の移動の大きさに関する遷移コストとして，二つ
のフレーム上の対象物の距離を，水平方向および垂直方
向それぞれについてカメラの視点移動に伴うフレーム間
における画像全体のずれを補正して計算し，水平方向の
距離を対象物の幅で正規化し，垂直方向の距離を対象物
の高さで正規化して計算する手段と，対象物の形状や色
の変化に関する遷移コストとして，一方のフレーム上の
対象物の画素値の空間分布を，他方のフレーム上の対象
物に重ね合わせ，それらの画素値の分布の誤差が最も小
さくなる値を計算する手段とを有することを特徴とする
請求項１から請求項３までのいずれか一項に記載の画像
解析システム。
【請求項５】前記二つのフレーム上の対象物の間の対
応関係を分類し，対象物の状態を判定する手段として，
二つのフレーム上の個々の対象物について，遷移コスト
が所定の値以下の対象物の組の間に対応関係があると判
断する手段と，二つのフレーム上の対象物の間の対応関
係を，前フレームの単一の対象物が後フレームの単一の
対象物に対応する状態，前フレームの複数の対象物が後
フレームの単一の対象物へ対応する状態，前フレームの
単一の対象物が後フレームの複数の対象物へ対応する状
態，前フレームには存在するが後フレーム上に対応する
対象物が存在しない状態，後フレーム上に存在するが前
フレーム上に対応する対象物が存在しない状態に分類
し，前フレームの単一の対象物が後フレームの単一の対
象物に移動する状態を単純な移動，前フレームの複数の
対象物が後フレームの単一の対象物へ移動する状態を対
象物の合体，前フレームの単一の対象物が後フレームの
複数の対象物へ移動する状態を対象物の***，前フレー
ムには存在するが後フレーム上に対応する対象物が存在
しない状態を対象物の消滅，後フレーム上に存在するが
前フレーム上に対応する対象物が存在しない状態を対象
物の出現として判定する手段とを有することを特徴とす
る請求項１から請求項４までのいずれか一項に記載の画
像解析システム。
【請求項６】前記個々の対象物の移動軌跡を複数の画
像フレームに渡って追跡する手段として，複数のフレー
ムに渡る対象物の存在およびフレーム間の対象物の対応
関係のデータを入力し，それを個々の画像フレームにお
いて検出された対象物を頂点，近接フレーム間における
対象物の対応関係をエッジとするグラフ構造状のデータ
構造として格納する手段と，出現の直後の状態をもつ対
象物を探索し，それを起点として消滅直前の状態または
合体状態が検出されるまで，該グラフ中を探索し，対象
物の移動軌跡を取得する手段と，***の直後の状態をも
つ対象物を探索し，それを起点として消滅直前の状態ま
たは合体状態が検出されるまで，該グラフ中を探索し，
対象物の移動軌跡を取得する手段とを有することを特徴
とする請求項１から請求項５までのいずれか一項に記載
の画像解析システム。
【請求項７】映像を構成する複数の画像フレームに渡
って対象物を追跡し，各画像フレームにおける対象物の
画像の位置を含む情報を出力する画像解析方法におい
て，映像を構成する各々の画像フレームにおいて対象物
が占める画像領域を抽出する過程と，前記対象物が占め
る画像領域から対象物の位置と大きさを取得する過程
と，近接する二つのフレームにおいて検出された対象物
について，前のフレームの対象物が後のフレームの対象
物へ移動した場合の遷移コストを，二つのフレーム上の
対象物の組について計算する過程と，該遷移コストから
二つのフレーム上の対象物の間の対応関係を分類し，対
象物の状態を判定する過程と，前記二つのフレーム間の
対象物の対応関係を，複数の画像フレームからなる映像
の区間内の全ての隣接するフレーム間に対して計算した
結果の情報を利用して，個々の対象物の移動軌跡を複数
の画像フレームに渡って追跡する過程とを有することを
特徴とする画像解析方法。
【請求項８】映像を構成する複数の画像フレームに渡
って対象物を追跡し，各画像フレームにおける対象物の
画像の位置を含む情報を出力するための画像解析プログ
ラムを記録した記録媒体であって，映像を構成する各々
の画像フレームにおいて対象物が占める画像領域を抽出
する処理と，前記対象物が占める画像領域から対象物の
位置と大きさを取得する処理と，近接する二つのフレー
ムにおいて検出された対象物について，前のフレームの
対象物が後のフレームの対象物へ移動した場合の遷移コ
ストを，二つのフレーム上の対象物の組について計算す
る処理と，該遷移コストから二つのフレーム上の対象物
の間の対応関係を分類し，対象物の状態を判定する処理
と，前記二つのフレーム間の対象物の対応関係を，複数
の画像フレームからなる映像の区間内の全ての隣接する
フレーム間に対して計算した結果の情報を利用して，個
々の対象物の移動軌跡を複数の画像フレームに渡って追
跡する処理とを，コンピュータに実行させるためのプロ
グラムを記録したことを特徴とする画像解析プログラム
記録媒体。