JP6336935B2

JP6336935B2 - 移動物体追跡装置

Info

Publication number: JP6336935B2
Application number: JP2015049665A
Authority: JP
Inventors: 豪二水戸; 黒川　高晴; 高晴黒川
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2015-03-12
Filing date: 2015-03-12
Publication date: 2018-06-06
Anticipated expiration: 2035-03-12
Also published as: JP2016170603A

Description

本発明は時系列の画像における移動物体を追跡する移動物体追跡装置に関する。

警備などの目的で、監視カメラによって周期的に撮影した時系列の画像にて人物を追跡することが行われる。その場合、人物の一部が隠れるオクルージョンや人物の運動急変などが追跡の継続性を低下させる要因となる。

そのため、下記特許文献１に記載の移動物体追跡装置においては、各人物に対して当該人物像に占める部分（パーツ）が異なる複数のテンプレートを生成し、各テンプレートを追跡する。こうすることで、オクルージョンによって一部のパーツを見失ったとしても、残りのパーツを用いて移動物体の追跡することができる。

また、下記特許文献２に記載の移動物体追跡装置においては、パーティクルフィルタを用いて各人物を追跡する。パーティクルフィルタによれば、人物の移動先であると予測される位置の周辺に当該人物の予測位置を表す多数の仮説を拡散させ、実際の撮影画像において当該人物の特徴が最も現れていた予測位置を当該人物の位置と判定する。この仮説の拡散によって、人物の運動の急変があっても高精度な追跡を維持できる。

特開２００８−２５０７７２号公報特開２０１０−４９２９６号公報

特許文献１，２の技術から、人物に複数のパーツを設定し、パーティクルフィルタによって各パーツを同時追跡することによって、転倒のようにパーツのオクルージョンや運動急変などを伴う大きな姿勢変動が生じた人物の追跡継続性の低下を防止できる。

しかしながら、各人物に複数のパーツを設定すると処理対象が増えるため計算コストと追跡精度のバランスが問題となる。すなわち、実時間で人物を追跡するには撮影周期内に全パーツのパーティクルについて処理を完了させる必要があるため、設定可能なパーティクルの総数は制限される。そして、設定可能なパーティクル数が制限される条件下で、オクルージョン等によって追跡困難となったパーツに一定数のパーティクルを設定し続ければ追跡に有効なパーティクルが減少し、人物全体での追跡精度を低下させる問題があった。

本発明は上記課題を解消するためになされたものであり、計算コストを増大させずに大きな姿勢変動を伴う移動物体を高精度に追跡できる移動物体追跡装置を提供することを目的とする。

本発明に係る移動物体追跡装置は時系列の画像における移動物体を追跡するものであって、前記移動物体を構成する複数のパーツごとにその画像特徴、過去位置、及び当該過去位置の尤もらしさを表す過去追跡信頼度を記憶する記憶手段と、前記パーツごとに、前記過去位置から現時刻における１つ以上の候補位置を算出する候補位置算出手段と、前記パーツの前記候補位置ごとに、現時刻の前記画像における画像特徴と前記記憶手段に記憶された前記画像特徴とを比較して当該候補位置の尤度を算出する尤度算出手段と、前記パーツごとに、前記尤度を用いて重み付けした前記候補位置を用いて現時刻における前記移動物体の位置を算出する位置算出手段と、を有し、前記候補位置算出手段は、前記移動物体の前記各パーツの現時刻における前記候補位置の個数を、当該パーツの前記過去追跡信頼度に応じて定める。

他の本発明に係る移動物体追跡装置においては、前記候補位置算出手段は、前記各移動物体に対して算出する前記候補位置の総数を予め定められ、前記各パーツの前記過去追跡信頼度に応じて当該総数を前記各パーツに配分する。

別の本発明に係る移動物体追跡装置は、前記パーツごとに、前記各候補位置に前記尤度を用いて重み付けして求めた当該候補位置のばらつき度合いと前記尤度の空間的な分布のピークの高さとを用いて尤度分布の鋭さ度合いを定め、当該鋭さ度合いに応じて前記過去追跡信頼度を求める追跡信頼度算出手段をさらに有し、前記候補位置算出手段は、前記複数のパーツ間における前記候補位置の個数の配分比を前記過去追跡信頼度の比に応じて定める。

さらに別の本発明に係る移動物体追跡装置は、前記記憶手段に登録された前記複数のパーツのうち前記過去追跡信頼度が予め定めた下限値を下回るロストパーツを削除し、前記位置算出手段により算出された前記移動物体の位置に対応して前記ロストパーツとは異なる新規パーツを定義し前記記憶手段に登録するパーツ設定手段をさらに有し、前記候補位置算出手段は、前記新規パーツに対し、予め定めた初期個数の候補位置を設定する。

本発明によれば、限られた数のパーティクルを移動物体の複数のパーツのうち追跡に有効なパーツに多く配分できるため、計算コストを増大させずに移動物体を高精度に追跡することができる。

本発明の実施形態に係る移動物体追跡装置の概略の構成を示すブロック図である。本発明の実施形態に係る移動物体追跡装置における記憶部及び追跡部の機能を説明するブロック図である。撮像部の配置例を示す模式図である。追跡人物情報を説明する模式図である。追跡中の或る時刻にて第１の人物Ｈ_１に設定される追跡パーツの例を示す模式図である。図５に示す追跡パーツに対応した追跡パーツ情報の例を示す模式図である。追跡中の或る時刻におけるパーティクル情報の例を示す模式図である。パーティクルの配分例を示す説明図である。尤度分布と追跡信頼度との関係性の例を示す模式図である。本発明の実施形態に係る移動物体追跡装置の動作の概略の全体フロー図である。本発明の実施形態に係る移動物体追跡装置における追跡処理の概略のフロー図である。本発明の実施形態に係る移動物体追跡装置における新規追跡人物設定処理の概略のフロー図である。

以下、本発明の好適な実施形態の一例として、固定設置したカメラにより移動物体として人物の追跡を行う移動物体追跡装置１を説明する。

［移動物体追跡装置１の構成］
図１は移動物体追跡装置１の概略の構成を示すブロック図である。移動物体追跡装置１は、撮像部２、記憶部３、追跡部４及び出力部５からなる。図２は記憶部３及び追跡部４の機能を説明するブロック図である。

撮像部２はいわゆる監視カメラであり、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、Ａ／Ｄ変換器等を含んで構成される。図３は撮像部２の配置例を示す模式図であり、例えば、監視空間の人物Ｈ_１，Ｈ_２を上方から臨むように設置される。撮像部２は追跡部４と接続され、監視空間を所定の時間間隔で撮影し、撮影した時系列の監視画像を順次、追跡部４へ出力する。以下、上記所定時間間隔で刻まれる時間の単位を時刻と称する。

記憶部３はＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等のメモリ装置からなる記憶手段であり、各種プログラムや各種データを記憶し、追跡部４との間でこれらの情報を入出力する。記憶部３に記憶される各種データには、追跡人物情報２０、追跡パーツ情報２１及びパーティクル情報２２が含まれる。

図４は追跡人物情報２０を説明する模式図である。図４（ａ）は追跡中の或る時刻における監視画像の例であり、追跡対象として２人の人物Ｈ_１，Ｈ_２が写っている。ちなみに図に示すように監視画像の水平方向、垂直方向をそれぞれｘ軸，ｙ軸とし、監視画像における位置をｘ座標，ｙ座標の組（ｘ，ｙ）で表す。図４（ｂ）は図４（ａ）の監視画像に対応した追跡人物情報２０を示しており、追跡人物情報２０は追跡対象の人物の識別番号（ＩＤ）と監視画像内での人物の推定位置２００とを対応付けたテーブル形式で記憶されている。具体的には人物Ｈ_１，Ｈ_２の追跡人物ＩＤがそれぞれ１，２であり、推定位置は例えば、人物像の重心位置や頭頂部などに定義することができる。

図５は追跡中の或る時刻にて人物Ｈ_１に設定される追跡パーツの例を示す模式図であり、図６は図５に示す追跡パーツに対応した追跡パーツ情報２１の例を示す模式図である。例えば、人物Ｈ_１には追跡パーツＩＤをｊとして追跡パーツＲ_ｊ（ｊ＝１〜１０）が設定され、図５にはその一部が示されている。追跡パーツ情報２１は追跡パーツごとにその画像特徴、過去位置、及び当該過去位置の尤もらしさを表す過去追跡信頼度などを対応付け、例えばテーブル形式で記憶されている。図６ではテンプレート画像は追跡パーツの画像特徴の一例であり、テンプレート画像に代えて、又はそれと併せて、テンプレート画像から算出される色ヒストグラムや輝度勾配等の特徴量などを画像特徴として追跡パーツ情報２１に格納することができる。なお、追跡パーツのテンプレート画像は、監視画像から追跡パーツに対応する領域を切り出した画像である。図６に示す「位置」は過去の時刻、例えば、現時刻より１時刻前の時刻におけるパーツの追跡位置（過去位置）であり、監視画像における座標（ｘ，ｙ）で表される。また、「追跡人物との相対位置」は人物の基準点（例えば人物像の重心）に対する追跡パーツの基準点の座標であり、「追跡信頼度」は過去追跡信頼度である。

図７は追跡中の或る時刻におけるパーティクル情報２２の例を示す模式図である。パーティクル情報２２は追跡人物ＩＤ、パーティクルＩＤ、追跡パーツＩＤ、並びにパーティクルの位置（ｘ，ｙ）、速度（ｖｘ，ｖｙ）及び尤度などを対応付け、例えばテーブル形式で記憶されている。

追跡部４はＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置である。追跡部４は記憶部３からプログラムを読み出して当該プログラムを実行することで後述する追跡人物設定手段４０、追跡パーツ設定手段４１、候補位置算出手段４２、位置算出手段４３、尤度算出手段４４、追跡信頼度算出手段４５、追跡終了手段４６などとして機能し、撮像部２から入力された監視画像を処理して監視空間中の人物を検出し、検出された人物をパーティクルフィルタにより追跡し、追跡結果を出力部５へ出力する。

出力部５は例えばディスプレイ装置などの表示装置であり、追跡部４から出力された人物追跡結果を表示する。

追跡人物設定手段４０は、監視画像においてまだ追跡が開始されていない人物を検出し、新たに追跡対象に加え追跡人物情報２０の推定位置として検出位置を記憶する。人物の検出は、画像の変化領域をラベリングする方法や、輝度勾配情報を用い機械学習により行う方法など、公知の手法を用いれば良いため詳細の説明は省略する。

追跡パーツ設定手段４１（パーツ設定手段）は、追跡人物設定手段４０により追跡対象に設定された人物に対し、パーティクルフィルタでの追跡を行うパーツを決定し、各パーツについて追跡パーツ情報２１を生成し記憶部３に格納する。パーツの選択は、頭部、左肩、右肩、左腰、右腰、腹部というように予め定めたものを用いる方法や、人物領域に対しブロッブ検出やコーナー検出を行い追跡に適した領域を抽出し決定する方法を用いることができる。なお、追跡信頼度は追跡パーツ設定直後においては定まっておらず、追跡開始後に追跡信頼度算出手段４５により算出され記憶部３に格納される（後述する図１１のステップＳ２３）。

また追跡パーツ設定手段４１は追跡パーツ情報２１に記憶されている追跡信頼度に基づいて追跡パーツのうち追跡継続が困難なロストパーツを判定し、ロストパーツを追跡対象から除外する追跡パーツ削除手段の機能を有する。例えば、当該判定は追跡信頼度に対する閾値処理により行うことができ、追跡パーツ設定手段４１は複数のパーツのうち追跡信頼度が予め定めた下限値を下回るものをロストパーツとして削除する。具体的には、追跡パーツ設定手段４１はロストパーツに関するパーティクル群を、パーティクル情報２２にて各パーティクルの追跡パーツＩＤから判定し、パーティクル情報２２から削除する。また、追跡パーツ設定手段４１はロストパーツに関する情報を追跡パーツ情報２１から削除する。

さらに追跡パーツ設定手段４１は追跡人物に対して、状況に応じて追跡パーツの追加を行う追跡パーツ追加手段の機能を有する。上述のように追跡継続が困難と判定されたパーツは削除される。その結果、人物の追跡を継続していくうちに追跡パーツの数が減少し、この追跡パーツ数の減少が姿勢変動や隠蔽に対するロバスト性を低下させる要因となり得る。そこで、追跡パーツ数が極端に減らないように、追跡パーツ設定手段４１は追跡パーツの数が一定数より下回った場合は追跡パーツの追加を行う。追加する追跡パーツは、現在追跡が行われているパーツを考慮し、人物に対しまんべんなく配置されるよう選ぶことが好ましい。追加された追跡パーツに対応してパーティクル群が生成される。当該パーティクル群についてのパーティクル情報２２は、追跡パーツ情報２１などに基づいて初期登録される。なお、パーティクルの速度については人物位置の移動速度に設定することができる。

候補位置算出手段４２は、追跡人物設定手段４０で設定された新規の追跡人物に対し、固定数のパーティクル（候補位置）を生成するパーティクル生成処理を行う。本実施形態では、追跡人物当たりのパーティクル数を５００個とする。候補位置算出手段４２は各パーティクルに対し、追跡パーツ設定手段４１で設定された追跡パーツの割り当てを行うと共に、各パーティクルの状態変数の初期化を行う。パーティクルの状態変数は、位置、速度、尤度、追跡パーツＩＤで構成される。この初期化ではパーティクル情報２２に、割り当てられた追跡パーツのＩＤと位置とが設定され、速度についてはまだ不明のため０が設定される。また、尤度については、パーティクル生成の直後は求まっておらず、後述する尤度算出手段４４により算出されパーティクル情報２２に格納される。新規の追跡人物におけるパーティクルへの追跡パーツの割り当ては、ランダムに行う方法や、頭部３０％、腹部２０％、左肩２０％、右肩２０％というようにパーツごとに予め定めた割合にする方法としても良い。ここで、パーティクル数は追跡人物に対して固定としているため、追跡パーツの数にかかわらず計算コストは一定となる。

また候補位置算出手段４２は追跡パーツごとに、過去位置から現時刻における１つ以上のパーティクルを算出する。すなわち、候補位置算出手段４２はサンプリング手段として機能し、入力画像に対し、パーティクルごとに追跡パーツの過去の位置を用いて動き予測を行い現在の時刻における位置を算出し、予測した結果を用いて状態変数の位置・速度を更新しパーティクル情報２２に記憶する。動き予測には例えば、等速直線運動等の運動モデルによる推定を行った後、ランダムノイズを付加するといった方法を用いることができる。

さらに、候補位置算出手段４２は配分調整手段４２０としての機能を有する。配分調整手段４２０は、追跡人物の各パーツの現時刻におけるパーティクルの個数を、当該パーツの追跡信頼度に応じて定める。例えば、配分調整手段４２０は各追跡人物に対して算出するパーティクルの総数を予め定められ、各パーツの追跡信頼度に応じて当該総数を各パーツに配分する。具体的には追跡信頼度が高いパーツほどパーティクルを多く割り当てる。例えば、複数のパーツ間におけるパーティクルの個数の配分比を追跡信頼度の比に応じて設定することができ、本実施形態では追跡人物あたり５００個のパーティクルを、追跡パーツ相互間にて追跡信頼度の比率とパーティクル数の比率とが等しくなるように配分する。図８はパーティクルの配分例を示す説明図である。図８に例示されるように、各パーツの追跡信頼度の比率と配分調整後のパーティクル数の比率とが等しくなるよう配分が行われる。

なお、追跡パーツ設定手段４１により追跡パーツが追加された場合には、パーティクルの総数を追跡パーツの総数で除した値に相当する数のパーティクルを、新規追加したパーツに配分し、残りのパーティクルを上述した追跡信頼度の比率に応じて配分することができる。例えばパーツ数が１０個になる場合は、新規パーツに全パーティクル数の１０％を割り当てる。また別の例として、新規パーツには予め定めた固定数のパーティクルを割り当てることにしても良い。

また候補位置算出手段４２は尤度算出手段４４で求めた各パーティクルの尤度と配分調整手段４２０で配分された追跡パーツごとのパーティクル数とに基づき、追跡パーツごとにパーティクルのリサンプリングを行うリサンプリング手段として機能する。リサンプリングは、尤度の低いパーティクルを削除する一方、尤度の高いパーティクルを複製することで、追跡対象が存在する可能性が高い位置の付近に多くのパーティクルを残すことを目的とした処理である。候補位置算出手段４２は追跡パーツごとに配分されたパーティクル数だけ、現在のパーティクル群から尤度に基づき選択し複製することで実現される。尤度に基づくパーティクルの選択には遺伝的アルゴリズムにおける選択操作手法を用いることができ例えば、ルーレット選択といった方法を用いることができる。候補位置算出手段４２はリサンプリング終了後、リサンプリングされたパーティクル群でパーティクル情報２２を更新する。

位置算出手段４３は追跡人物の現時刻における位置を推定する。位置算出手段４３はまず追跡パーツごとに追跡人物の位置を推定する。追跡パーツごとの人物位置推定は当該追跡パーツに関するパーティクル群を用いて行う。例えば、位置算出手段４３は各追跡パーツについて、追跡パーツ情報２１に記憶されている当該追跡パーツと追跡人物との相対位置情報を用いて、パーティクルごとに人物位置を算出し、当該人物位置についてパーティクルの尤度を重みとした加重平均を行い追跡パーツごとの人物の推定位置を算出する。

次いで位置算出手段４３は、追跡パーツごとの推定位置を統合し、追跡人物の最終的な推定位置とする。例えば、位置算出手段４３は追跡パーツごとの推定位置について各追跡パーツの追跡信頼度を重みとした加重平均を行い、追跡人物の最終的な推定位置を算出する。位置算出手段４３は最終的に求まった追跡人物の推定位置を追跡人物情報２０に記憶する。

尤度算出手段４４は各パーティクルの尤度を計算する。尤度算出手段４４はパーティクルの位置での現時刻の入力画像の特徴量を算出し、当該パーティクルに割り当てられた追跡パーツについて追跡パーツ情報２１に記憶されたテンプレートの特徴量と比較することで尤度を算出する。具体的には特徴量として色ヒストグラムや輝度勾配の類似度などを用いることができる。算出された尤度はパーティクル情報２２に記憶される。

追跡信頼度算出手段４５は各追跡パーツの信頼度（追跡信頼度）を算出する。追跡信頼度算出手段４５は追跡パーツごとに、各パーティクルに尤度を用いて重み付けして求めたパーティクル群における位置のばらつき度合いと、尤度の空間的な分布のピークの高さとに基づいて尤度分布の鋭さ度合いを評価し、当該鋭さ度合いに応じて過去追跡信頼度を定める。すなわち、追跡信頼度の算出は、追跡パーツのパーティクル群の位置と尤度により近似される尤度分布に基づき行われる。尤度の空間的な分布が単峰性で高い分布となっていれば、追跡が正しく行われている可能性が高いと考えることができる。したがって、追跡信頼度は尤度分布が単峰性で高いピークを持つ分布となっている場合に高くなるように定義することが望ましい。尤度分布が単峰性となっているかどうかは、重みとして尤度値を加味したパーティクル群のばらつき度合により評価することができる。また尤度分布の高さは、分布のピーク付近でのパーティクルの尤度値により評価することができる。

図９は尤度分布と追跡信頼度との関係性の例を示す模式図である。パーティクル群の位置は実際には監視画像に対応して２次元座標で定義されるが、図９では水平方向を座標軸とする１次元座標に単純化している。また図の垂直方向が尤度値に対応し、上に行くほど尤度値が高くなる。図９（ａ）に示す尤度分布４５０ａは単峰性でピーク値が高い分布の例であり、このような場合に追跡信頼度は高く設定される。一方、図９（ｂ）に示す尤度分布４５０ｂは単峰性であるがピーク値が低い分布の例であり、図９（ｃ）に示す尤度分布４５０ｃは多峰性の分布の例であり、これらのような場合に追跡信頼度は低く設定される。

具体的には、追跡信頼度の決め方として例えば、（方法１）追跡パーツの推定位置周囲のパーティクル群の尤度合計値を用いる方法や、（方法２）重み付きの分散と全パーティクルの尤度の合計値とを用いる方法がある。

（方法１）まず尤度を重みとした加重平均により追跡パーツの推定位置を算出し、推定位置の周囲一定範囲内（例えば、所定半径の円内）に含まれるパーティクル群の尤度の合計値ω_Ｃの、追跡パーツの全パーティクルの尤度合計値ωに対する割合ω_Ｃ／ωを単峰性に対する評価値とする。単峰性が高い分布となっている場合には、上述の推定位置にて尤度分布はピークとなり、その近傍の尤度値が高くなることから、尤度合計値の比の値ω_Ｃ／ωが大きくなる。さらに、推定位置の周囲一定範囲内の尤度の合計値は尤度分布のピークの高さを示す評価値とする。最終的に追跡信頼度を、単峰性に対する評価値と、ピークの高さを示す評価値との積とする。当該追跡信頼度は、尤度分布が単峰性で、且つ尤度分布のピークが高くなっていることを示す評価値となる。周囲一定範囲の大きさは追跡パーツの大きさに基づき決定し、追跡パーツの半径の30％といった形に決定すれば良い。

（方法２）単峰性に対する評価値を、尤度を重みとしたパーティクルの位置に対する重み付き分散値に基づく評価値とし、ピークの高さを示す評価値を全パーティクルの尤度の合計値とし、追跡信頼度を単峰性に対する評価値と、ピークの高さを示す評価値との積とする。分散値が低く、全パーティクルの尤度の合計値が高い場合は、一カ所に尤度の高いパーティクルが集中している、すなわち単峰性でピークの高さが高くなっていると考えることができる。

または、上述した方法の変形として、一定値以上の尤度値を持つパーティクルのみを選別し（すなわち、閾値切りを行った上で）、選別されたパーティクル群の位置の分散、およびパーティクルの合計数を用いて追跡信頼度を定義しても良い。一定値以上の尤度を持つパーティクル群の分散値が低く、合計数が多い場合は、一カ所に尤度の高いパーティクルが集まっていると考えることができ、尤度分布は単峰性でピークの高さが高いと考えることができる。

あるいは、計算コストの削減や、処理を簡単化する場合には、単純に全パーティクル群の尤度値の合計を追跡信頼度としても良い。ただし、この場合は単峰性であることが評価されていないため、その分精度が低下し得る。

追跡信頼度算出手段４５は上述のようにして求めた追跡信頼度を追跡パーツ情報２１に記憶する。

追跡終了手段４６は、人物が画面外への移動や構造物等の隠蔽によりカメラに映らなくなった場合、あるいは追跡が失敗した場合など、これ以上、追跡することが不可能である状況を判定し、その人物に対する追跡処理を終了する。追跡不可の判定には、追跡信頼度が一定値以上の追跡パーツがなくなったことにより判定する方法およびパーティクルの主な位置が画面外となったことにより判定する方法を組み合わせて用いる。追跡不可と判定された場合、その人物に関する情報を追跡人物情報２０、追跡パーツ情報２１、パーティクル情報２２から削除する。

［移動物体追跡装置１の動作］
以下、移動物体追跡装置１の動作を説明する。図１０は移動物体追跡装置１の動作の概略の全体フロー図である。移動物体追跡装置１の動作が開始されると、撮像部２は予め規定したフレームレート（例えば７ｆｐｓ）で監視画像を取得し、追跡部４に監視画像を出力する。追跡部４は監視画像が入力されるたびに（ステップＳ１）、ステップＳ１〜Ｓ５の一連の処理を繰り返す。

追跡部４は追跡人物情報２０に記録された人物ごとに、入力された監視画像上にて追跡処理を行い現在の位置の推定を行う（ステップＳ２）。追跡部４は追跡人物情報２０に記録された追跡対象の人物を順次、追跡処理Ｓ２の対象として選択し、全ての追跡対象人物について追跡処理Ｓ２が完了した場合は追跡部４は処理をステップＳ４に進め、一方、未処理の追跡対象人物が存在する場合は追跡処理Ｓ２を継続する（ステップＳ３）。

図１１は追跡処理Ｓ２の概略のフロー図であり、図１１を用いて当該処理をさらに詳しく説明する。

追跡部４は候補位置算出手段４２によるサンプリング手段として機能し、各追跡人物についてパーティクルのサンプリングを行う（ステップＳ２１）。追跡部４はステップＳ２１でのサンプリング結果に基づき、尤度算出手段４４により各パーティクルの尤度の算出を行う（ステップＳ２２）。さらに、追跡部４はステップＳ２２で求めたパーティクル群の尤度に基づき、追跡信頼度算出手段４５により各追跡パーツの追跡信頼度を算出する（ステップＳ２３）。

追跡終了手段４６はステップＳ２３にて算出されたパーツの追跡信頼度およびパーティクル群の位置に基づき、追跡の継続が可能かどうかを判定し（ステップＳ２４）、不可と判断した場合は追跡終了処理を行う（ステップＳ２５）。これにより、追跡不可と判定された人物についての追跡が終了され、追跡終了手段４６は追跡人物情報２０から当該人物に関する情報を削除する。

一方、ステップＳ２４にて追跡可能と判定された人物については、まず追跡継続が困難な追跡パーツがあればその削除が行われる（ステップＳ２６）。すなわち、追跡部４は追跡パーツ設定手段４１による追跡パーツ削除手段として機能し、追跡パーツ情報２１に記憶されている追跡信頼度に基づいて追跡パーツのうち追跡継続が困難なロストパーツを判定し、ロストパーツを追跡対象から除外する。

その後、追跡部４は位置算出手段４３として機能し、ステップＳ２１でサンプリングされたパーティクル群の位置およびステップＳ２３で算出された各追跡パーツの追跡信頼度に基づいて追跡人物の位置推定を行う（ステップＳ２７）。

また、追跡部４は追跡パーツ設定手段４１による追跡パーツ追加手段として機能し、追跡パーツの状況に応じて追跡パーツを追加する（ステップＳ２８）。

そして、追跡部４は配分調整手段４２０により、ステップＳ２３で算出された各追跡パーツの追跡信頼度に基づいて追跡パーツごとのパーティクル数の配分を決定する（ステップＳ２９）。この配分されたパーティクル数に基づき、追跡部４は候補位置算出手段４２により、追跡パーツごとにパーティクルのリサンプリングを行う（ステップＳ３０）。ただし、ステップＳ２８において新たに追加された追跡パーツに関するパーティクルに関しては、初回のためリサンプリングは不要である。

上述の追跡処理Ｓ２が追跡人物情報２０に登録された全ての人物に対して行われると、既に述べたように追跡部４は処理を図１０のステップＳ４に進め、追跡人物設定手段４０により、監視画像にてまだ追跡設定されていない人物の検出を行い、検出された場合は追跡人物として追加する（ステップＳ４）。

図１２は新規追跡人物設定処理Ｓ４の概略のフロー図であり、図１２を用いて当該処理をさらに詳しく説明する。

追跡人物設定手段４０は、監視画像にてまだ追跡対象として追跡人物情報２０に登録されていない人物の検出を行い、当該人物を追跡人物情報２０に追加する（ステップＳ４１）。追跡人物設定手段４０は新たに検出された人物ごとに、追跡パーツの設定（ステップＳ４２）と、パーティクル群の生成（ステップＳ４３）とを行い、全ての新規人物について追跡パーツ設定処理Ｓ４２及びパーティクル生成処理Ｓ４３が完了した場合は、追跡部４は新規追跡人物設定処理を終了し、処理を図１０のステップＳ５に進める（ステップＳ４４）。なお、ステップＳ４２では追跡パーツ設定手段４１の追跡パーツ設定機能により、新たに追跡対象となった人物に対して追跡を行うパーツの設定が行われ、ステップＳ４３では、候補位置算出手段４２のパーティクル生成機能により、新たに追跡対象となった人物に対して、ステップＳ４２で設定された追跡パーツ情報を用いてパーティクルフィルタによる追跡を行うためのパーティクル群の生成が行われる。

ステップＳ１で入力された監視画像に対し上述した処理Ｓ２〜Ｓ４により人物の追跡が完了すると、追跡部４は追跡結果を出力部５へ出力する（ステップＳ５）。例えば、追跡部４は追跡結果として全人物の推定位置を出力部５の表示装置等に表示させる。

以上述べたように、本発明は移動物体に複数のパーツを設定して各パーツをパーティクルフィルタを用いて追跡することによって移動物体を追跡するにあたり、１つの移動物体当たりの総数が予め定められているパーティクル群を、各追跡パーツにその尤度に応じて配分する。つまり、リアルタイムでの追跡を実現するには、監視画像の比較的短いフレーム周期の間に当該画像についての追跡処理を完了する必要があるので、１フレーム当たりに設定できるパーティクルの数は制限される。そこで本発明では移動物体に設定されるパーツに同じ数のパーティクルを割り当てるのでなく、追跡困難なパーツへの割り当てを減らし、その分を追跡継続見込みの高いパーツに割り当てる。ここで、いずれかのパーツが追跡できていれば移動物体の追跡精度は維持できる。よって、本発明によれば、計算量を増大させずに高精度に移動物体を追跡することができる。

１移動物体追跡装置、２撮像部、３記憶部、４追跡部、５出力部、２０追跡人物情報、２１追跡パーツ情報、２２パーティクル情報、４０追跡人物設定手段、４１追跡パーツ設定手段、４２候補位置算出手段、４３位置算出手段、４４尤度算出手段、４５追跡信頼度算出手段、４６追跡終了手段、４２０配分調整手段。

Claims

時系列の画像における移動物体を追跡する移動物体追跡装置であって、
前記移動物体を構成する複数のパーツごとにその画像特徴、過去位置、及び当該過去位置の尤もらしさを表す過去追跡信頼度を記憶する記憶手段と、
前記パーツごとに、前記過去位置から現時刻における１つ以上の候補位置を算出する候補位置算出手段と、
前記パーツの前記候補位置ごとに、現時刻の前記画像における画像特徴と前記記憶手段に記憶された前記画像特徴とを比較して当該候補位置の尤度を算出する尤度算出手段と、
前記パーツごとに、前記尤度を用いて重み付けした前記候補位置を用いて現時刻における前記移動物体の位置を算出する位置算出手段と、
を有し、
前記候補位置算出手段は、前記移動物体の前記各パーツの現時刻における前記候補位置の個数を、当該パーツの前記過去追跡信頼度に応じて定めること、
を特徴とした移動物体追跡装置。
請求項１に記載の移動物体追跡装置において、
前記候補位置算出手段は、前記各移動物体に対して算出する前記候補位置の総数を予め定められ、前記各パーツの前記過去追跡信頼度に応じて当該総数を前記各パーツに配分すること、を特徴とする移動物体追跡装置。
請求項１又は請求項２に記載の移動物体追跡装置において、
前記パーツごとに、前記各候補位置に前記尤度を用いて重み付けして求めた当該候補位置のばらつき度合いと前記尤度の空間的な分布のピークの高さとを用いて尤度分布の鋭さ度合いを定め、当該鋭さ度合いに応じて前記過去追跡信頼度を求める追跡信頼度算出手段をさらに有し、
前記候補位置算出手段は、前記複数のパーツ間における前記候補位置の個数の配分比を前記過去追跡信頼度の比に応じて定めること、
を特徴とする移動物体追跡装置。
請求項１から請求項３のいずれか１つに記載の移動物体追跡装置において、
前記記憶手段に登録された前記複数のパーツのうち前記過去追跡信頼度が予め定めた下限値を下回るロストパーツを削除し、前記位置算出手段により算出された前記移動物体の位置に対応して前記ロストパーツとは異なる新規パーツを定義し前記記憶手段に登録するパーツ設定手段をさらに有し、
前記候補位置算出手段は、前記新規パーツに対し、予め定めた初期個数の候補位置を設定すること、
を特徴とする移動物体追跡装置。