JP5687035B2 - 人物追跡装置 - Google Patents

Description

本発明は、空間内を移動する物体を追跡する移動物体追跡装置に関し、特に、空間を撮像した画像を用いて追跡処理を行う移動物体追跡装置に関する。

監視等の目的で、監視空間を撮像した監視画像を用いて人物等の位置を追跡することが行われている。追跡に際しては、追跡対象物の過去の動きからその現時刻における予測位置を求め、監視画像において予測位置と対応する部分が追跡対象物の画像特徴を有しているかを評価して現時刻における追跡対象物の位置を特定する方法が採られることがあり、そのような方法の一つにパーティクルフィルタが挙げられる（特許文献１）。

パーティクルフィルタでは、各追跡対象物に対して多数の予測位置を設定することで予測のずれを補えるため精度の高い追跡が可能である。

特開２０１０−４９２９６号公報

監視空間内には壁や什器などの物体が追跡対象物である人の進行を妨げる障害物として存在し得る。従来技術では、追跡対象物の空間内での進行を妨げる障害物の中又は障害物を跨いだ位置に予測位置が設定されて当該予測位置も追跡処理にて評価されることがあるという問題があった。つまり、実際には追跡対象物が障害物に進入したり通過したりすることはないため、これらの予測位置に対する評価は無効である。これら無効な予測位置は無駄な処理を発生させるばかりでなく、有効な予測位置が減少するため予測のずれを補う効果が稀釈されてしまい、追跡精度劣化の原因にもなるという問題があった。また、監視空間には、障害物以外にも堀などの人の行く手を阻む領域が存在し、そのような領域へは基本的には立ち入ることが困難である。よって、このような領域も障害物と同様の上記問題を生じ得る。以下、障害物を含め進行が阻害される空間領域を障害領域と称する。

本発明は上記課題を鑑みてなされたものであり、空間内に存在する障害領域周辺においても移動物体の高精度な追跡を実現することを目的とする。

本発明に係る移動物体追跡装置は、所定の空間を撮影した時系列の画像を用いて、前記空間内を移動する物体を追跡するものであって、前記空間内にて前記移動を妨げる障害領域を予め記憶すると共に、注目時刻より過去における前記物体の過去位置の情報を記憶する記憶部と、前記過去位置を用いて前記物体の動き予測を行い、前記注目時刻における当該物体の移動先候補を複数予測する位置予測部と、前記注目時刻の前記画像において前記各移動先候補との対応部分が有する前記物体の画像特徴に基づいて前記注目時刻における当該物体の移動先を判定する物***置判定部と、を有し、前記位置予測部は、前記移動先候補のうちその移動元である前記過去位置との間に前記障害領域が存在する無効な移動先候補を当該障害領域よりも前記移動元側の位置に修正する修正部を備える。

他の本発明に係る移動物体追跡装置においては、前記修正部は、前記移動元から前記無効な移動先候補への経路をその経路長を維持したままで変形し、当該無効な移動先候補を前記変形後の経路の終点に修正する。

本発明の好適な態様は、前記修正部が、前記無効な移動先候補への経路が前記障害領域に達した点にて当該経路の方向を変化させることにより前記変形を行う移動物体追跡装置である。

本発明の他の好適な態様は、前記修正部が、前記無効な移動先候補への経路の方向を前記移動元にて変化させることにより前記変形を行う移動物体追跡装置である。

別の本発明に係る移動物体追跡装置においては、前記修正部は、前記障害領域における前記移動元側の境界線上で前記無効な移動先候補から最短距離にある直近点を算出し、当該無効な移動先候補を前記直近点から所定距離内の位置に修正する。

本発明によれば、障害領域内又は障害領域を越えた領域に設定される予測位置が排除されると共に、これらの予測位置を障害領域の手前に修正することにより有効な予測位置の数を維持・確保できるので、障害領域周辺においても移動物体の高精度な追跡が可能となる。

本発明の実施形態に係る移動物体追跡装置のブロック構成図である。 三次元モデルの一例を模式的に示す斜視図である。 図２の三次元モデルに対応して作成された障害物マップの模式図である。 本発明の実施形態に係る移動物体追跡装置の追跡処理の概略のフロー図である。 予測位置設定部により時刻ごとに設定される予測位置の一例を示す模式的な平面図である。 修正処理の第１の形態に関する処理例を説明する模式的な平面図である。 修正処理の第２の形態に関する処理例を説明する模式的な平面図である。 修正処理の第３の形態に関する処理例を説明する模式的な平面図である。 修正処理の第４〜第６の形態における物***置及び現時刻の予測位置の一例を示す模式的な平面図である。 修正処理の第４〜第６の形態に関する処理例を説明する模式的な平面図である。

以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、什器が配置された部屋を監視対象の空間とし、当該監視空間内を移動する人物を追跡対象物（以下、移動物体と称する）とする。移動物体追跡装置１は監視空間を撮像した監視画像を処理して移動物体の追跡を行う。ここで、監視空間において什器が設置された領域は移動物体の進行を妨げる障害領域である。障害領域の他の例としては壁や柱や給湯器などがある。障害領域は移動せず予めその位置が判っている。なお、監視空間は屋内に限定されず屋外であってもよい。屋外の場合、家屋、塀、各種エクステリアの他、池や堀等が障害領域となる。本移動物体追跡装置１は障害領域の存在に配慮して追跡処理を行うように構成され、追跡の精度向上を図っている。

［移動物体追跡装置の構成］
図１は、実施形態に係る移動物体追跡装置１のブロック構成図である。移動物体追跡装置１は、撮像部２、設定入力部３、記憶部４、制御部５及び出力部６を含んで構成される。撮像部２、設定入力部３、記憶部４及び出力部６は制御部５に接続される。

撮像部２は監視カメラであり、監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部５へ出力される。専ら床面又は地表面等の基準面に沿って移動する人の位置、移動を把握するため、撮像部２は基本的に人を俯瞰撮影可能な高さに設置され、例えば、本実施形態では移動物体追跡装置１は屋内監視に用いられ、撮像部２は天井に設置される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。

設定入力部３は、管理者が制御部５に対して各種設定を行うための入力手段であり、例えば、タッチパネルディスプレイ等のユーザインターフェース装置である。

記憶部４は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部４は、各種プログラムや各種データを記憶し、制御部５との間でこれらの情報を入出力する。各種データには、三次元モデル４０、カメラパラメータ４１、障害物マップ４２、予測位置４３及び物***置４４が含まれる。

三次元モデル４０は、監視空間を模した仮想空間に移動物体の立体形状を近似した移動物体モデル及び／又は障害物の立体形状を近似した障害物モデルを配置した状態を記述したデータである。障害物は障害領域を形成する物体や地形である。本実施形態では、監視空間及び仮想空間をＸ，Ｙ，Ｚ軸からなる右手直交座標系で表し、鉛直上方をＺ軸の正方向に設定する。また、床面等の基準面は水平であり、Ｚ＝０で表されるＸＹ平面で定義する。仮想空間内での障害物モデルの配置は監視空間内での実際の障害物の配置に合わせる。一方、移動物体モデルの配置は任意位置に設定することができる。

移動物体モデルは、例えば、移動物体を構成する複数の構成部分毎の立体形状を表す部分モデルと、それら部分モデル相互の配置関係とを記述したデータである。移動物体追跡装置１が監視対象とする移動物体は立位の人であり、本実施形態では、例えば、人の頭部、胴部、脚部の３部分の立体形状を近似する回転楕円体をＺ軸方向に積み重ねた移動物体モデルを設定する。基準面から頭部中心までの高さをＨ、胴部の最大幅（胴部短軸直径）をＷで表す。本実施形態では説明を簡単にするため、高さＨ、幅Ｗは標準的な人物サイズとし任意の移動物体に共通とする。また、頭部中心を移動物体の代表位置とする。なお、移動物体モデルはより単純化して１つの回転楕円体で近似してもよい。

障害物モデルは、移動物体の検出・追跡処理に先だって予め障害物毎に設定される。障害物モデルは、監視空間に実在する障害物の形状・寸法のデータ、及び監視空間での障害物の配置のデータを含む。障害物の形状・寸法は監視空間に置かれる障害物を実測して取得することができるほか、例えば什器メーカー等が提供する製品の三次元データを利用することもできる。障害物の配置は実測により取得できるほか、例えばコンピュータ上で部屋の什器レイアウトを設計した場合にはその設計データを利用することもできる。このようにして得られた障害物に関するデータは、設定入力部３又は外部機器との接続インターフェース（図示せず）から制御部５に入力され、制御部５は当該入力データに基づいて記憶部４に障害物モデルを格納する。

カメラパラメータ４１は、撮像部２が監視空間を投影した監視画像を撮影する際の投影条件に関する情報を含む。例えば、実際の監視空間における撮像部２の設置位置及び撮像方向といった外部パラメータ、撮像部２の焦点距離、画角、レンズ歪みその他のレンズ特性や、撮像素子の画素数といった内部パラメータを含む。実際に計測するなどして得られたこれらのパラメータが予め設定入力部３から入力され、記憶部４に格納される。公知のピンホールカメラモデル等のカメラモデルにカメラパラメータ４１を適用した座標変換式により、三次元モデル４０を監視画像の座標系（撮像部２の撮像面；ｘｙ座標系）に投影できる。

障害物マップ４２（障害領域）は、監視空間内にて障害物が存在する領域を特定する情報である。移動物体は監視空間内にて基本的にはＸＹ平面に沿った水平移動をする。そこで本実施形態では上述のように、移動物体モデルの下端が基準面（Ｚ＝０）に接地するという拘束条件を課している。これに対応して、障害物マップ４２は障害領域を基準面のＸＹ座標系、つまり監視空間の床面座標で表す。ここで、障害物マップ４２は障害物モデルそのもの、つまり障害物の存在範囲を監視空間内の三次元座標で特定する構成とすることもできるが、本実施形態では処理を高速化するために上述のように、障害領域を監視空間の水平面座標（ＸＹ座標系）で表し、この２次元で表された障害領域を障害物マップと称する。障害物マップ４２のデータ形式は基準面（Ｚ＝０）に対応するディジタル画像データであり、監視空間を真上から見た画像に相当する。その各画素は基準面上の位置を量子化したものに相当し、基準面のＸ軸方向を例えばＮ画素、またＹ軸方向をＭ画素に量子化したＮ×Ｍ画素からなる画像データを構成する。各画素の画素値は、当該画素が障害物の存在する位置であるか否かを表す。本実施形態では、画素値が“１”である画素は障害物の存在位置であり、一方、画素値が“０”であれば、障害物が存在しない位置であると定義する。

予測位置４３（仮説）は、各時刻における移動物体の位置の予測値（予測位置）に関する情報である。確率的に移動物体の位置（物***置）を判定するために予測位置は移動物体ごとに多数（その個数をＰで表す。例えば１移動物体あたり２００個）設定される。具体的には、予測位置４３は、移動物体の識別子と、各時刻における予測位置のインデックス（０〜Ｐ−１）及びその位置座標（ＸＹＺ座標系）とを対応付けた時系列データである。

物***置４４は各時刻における移動物体の位置に関する情報であり、具体的には、移動物体の識別子と位置座標（ＸＹＺ座標系）とを対応付けた時系列データである。

なお、予測位置４３、物***置４４を監視空間の水平面座標（ＸＹ座標系）で特定する構成として処理を高速化することができる。本実施形態では、理解を容易にするために当該構成を例に説明する。

制御部５は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部４からプログラムを読み出して実行し、障害物マップ作成部５０、変化画素抽出部５１、予測位置設定部５２、予測位置修正部５３、物体領域推定部５４、尤度算出部５５、物***置算出部５６、異常判定部５７として機能する。

障害物マップ作成部５０は三次元モデル４０における全障害物モデルを監視空間の水平面に投影して障害領域を算出し、障害物マップ４２を作成して記憶部４に記憶させる。例えば、投影する水平面として床面や地面等の基準面（Ｚ＝０）を設定することができる。

変化画素抽出部５１は、撮像部２から新たに入力された監視画像から変化画素を抽出し、抽出された変化画素の情報を尤度算出部５５へ出力する。そのために変化画素抽出部５１は、新たに入力された監視画像と背景画像との差分処理を行って差が予め設定された差分閾値以上である画素を変化画素として抽出する。なお、差分処理に代えて新たに入力された監視画像と背景画像との相関処理によって変化画素を抽出してもよいし、背景画像に代えて背景モデルを学習して当該背景モデルとの差分処理によって変化画素を抽出してもよい。

予測位置設定部５２（仮説設定部）及び予測位置修正部５３は、移動物体の過去の位置情報（物***置又は予測位置）を用いて当該移動物体の動き予測を行い、移動物体の現時刻における移動先候補位置である複数の予測位置を求める位置予測部として機能する。

まず、予測位置設定部５２は、過去に判定された各移動物体の物***置又は過去に設定された各移動物体の予測位置から動き予測を行なって、新たに監視画像が入力された時刻において移動物体が存在する位置を予測し、予測された位置（予測位置）を物体領域推定部５４、尤度算出部５５及び物***置算出部５６へ出力する。上述したように予測位置は各移動物体に対してＰ個設定される。このように多数の予測位置を順次設定して確率的に移動物体の位置（物***置）を判定する方法はパーティクルフィルタなどと呼ばれ、設定される予測位置は仮説などと呼ばれる。予測位置は監視画像のｘｙ座標系で設定することもできるが、本実施形態では監視空間のＸＹＺ座標系で設定する。動き予測は過去の位置データに所定の運動モデルを適用するか、又は所定の予測フィルタを適用することで行なわれる。

本実施形態では、注目時刻より前のＴ時刻分（例えばＴ＝５）の予測位置から平均速度ベクトルを算出する。この平均速度ベクトルを１時刻前の予測位置に加算して注目時刻における新たな予測位置を予測する。予測はＰ個の予測位置それぞれに対し行ない、新たな予測位置とその元となった過去の予測位置には同一の識別子を付与して循環記憶する。なお、１時刻前の予測位置のうちその尤度が予め設定された尤度閾値より低いものは削除する。一方、この削除分を補うために、削除した個数と同数の１時刻前の新たな予測位置を１時刻前の予測された物***置を中心とする所定範囲（例えば半径ｒの円内）にランダムに設定し、これらの予測位置と対応する２時刻前以前の予測位置を過去の物***置の運動に合わせて外挿し求める。そのために過去の予測位置に加えて、過去Ｔ時刻分の物***置も記憶部４に循環記憶させる。

なお、新規の移動物体が検出された場合は、予測位置設定部５２はその検出位置を中心とする所定範囲にランダムにＰ個の予測位置を設定する。

予測位置修正部５３は、予測位置設定部５２により新たに設定された予測位置（移動先候補位置）と当該予測位置に対応する前時刻における予測位置（移動元位置）との間に障害領域が存在する場合に、移動先候補位置を移動元位置から見て当該障害領域より手前の位置に修正する。この修正により、障害領域に設定された無効な予測位置及び障害領域を跨いで設定された無効な予測位置は排除され、これらに代えて障害領域手前に有効な予測位置が設定される。

物体領域推定部５４は予測位置ごとに、監視空間内の当該予測位置に移動物体モデルを仮想的に配置した三次元モデル４０を生成する。そして、カメラパラメータ４１を用いて当該三次元モデル４０を撮像部２の撮像面に対応して仮想的に設定される投影面に投影して、監視画像にて移動物体が撮像されている領域（物体領域）を推定し、推定結果を尤度算出部５５へ出力する。物体領域推定部５４は投影の際に、三次元モデル４０にてカメラから見て移動物体モデルより手前に存在する障害物モデル又は他の移動物体モデルが物体領域の推定対象の移動物体モデルを隠蔽する効果をシミュレートし、移動物体の物体領域として隠蔽されていない部分（非隠蔽領域）を求める。

尤度算出部５５は、各予測位置に対して推定された物体領域における移動物体の特徴量を監視画像から抽出し、特徴量の抽出度合いに応じた、当該予測位置の物***置としての尤度を算出して物***置算出部５６へ出力する。下記（１）〜（４）は尤度の算出方法の例である。
（１）変化画素抽出部５１により抽出された変化画素に物体領域を重ね合わせ、変化画素が物体領域に含まれる割合（包含度）を求める。包含度は、予測位置が現に移動物体が存在する位置に近いほど高くなり、遠ざかるほど低くなりやすい。そこで、当該包含度の高さに応じた尤度を算出する。
（２）監視画像における物体領域の輪郭に対応する部分からエッジを抽出する。予測位置が現に移動物体が存在する位置に近いほど、物体領域の輪郭がエッジ位置と一致するため、エッジの抽出度（例えば抽出されたエッジ強度の和）は高くなり、一方、遠ざかるほど抽出度は低くなりやすい。そこで、エッジの抽出度の高さに応じた尤度を算出する。
（３）各移動物体の過去の物***置において監視画像から抽出された特徴量を当該移動物体の参照情報として記憶部４に記憶する。予測位置が現に移動物体が存在する位置に近いほど背景や他の移動物体の特徴量が混入しなくなるため、物体領域から抽出された特徴量と参照情報との類似度は高くなり、一方、遠ざかるほど類似度は低くなりやすい。そこで、監視画像から物体領域内の特徴量を抽出し、抽出された特徴量と参照情報との類似度を尤度として算出する。ここでの特徴量として例えば、エッジ分布、色ヒストグラム又はこれらの両方など、種々の画像特徴量を利用することができる。
（４）また上述した包含度、エッジの抽出度、類似度のうちの複数の度合いの重み付け加算値に応じて尤度を算出してもよい。

ここで物体領域推定部５４にて非隠蔽領域を物体領域として推定し尤度算出に利用することで、各対象物の隠蔽状態に適合した尤度を算出でき、追跡の信頼性向上が図られる。

物***置算出部５６は、移動物体の各予測位置、及び当該予測位置ごとに算出された尤度から当該移動物体の位置（物***置）を判定し、判定結果を記憶部４に移動物体ごとに時系列に蓄積する。なお、全ての尤度が所定の下限値（尤度下限値）未満の場合は物***置なし、つまり消失したと判定する。下記（１）〜（３）は物***置の算出方法の例である。
（１）移動物体ごとに、尤度を重みとする予測位置の重み付け平均値を算出し、これを当該移動物体の物***置とする。
（２）移動物体ごとに、最大の尤度が算出された予測位置を求め、これを物***置とする。
（３）移動物体ごとに、予め設定された尤度閾値以上の尤度が算出された予測位置の平均値を算出し、これを物***置とする。ここで、尤度閾値＞尤度下限値である。

上記尤度算出部５５及び物***置算出部５６は、画像が各移動先候補位置にて有する移動物体の画像特徴に基づき、当該移動物体の現時刻における移動先位置を判定するという物***置判定部としての機能を有する。

異常判定部５７は、記憶部４に蓄積された時系列の物***置を参照し、長時間滞留する不審な動きや通常動線から逸脱した不審な動きを異常と判定し、異常が判定されると出力部６へ異常信号を出力する。

出力部６は警告音を出力するスピーカー又はブザー等の音響出力手段、異常が判定された監視画像を表示する液晶ディスプレイ又はＣＲＴ等の表示手段などを含んでなり、異常判定部５７から異常信号が入力されると異常発生の旨を外部へ出力する。また、出力部６は通信回線を介して異常信号を警備会社の監視センタに設置されたセンタ装置へ送信する通信手段を含んでもよい。

［移動物体追跡装置の動作、及び修正処理の第１の形態］
次に、移動物体追跡装置１の追跡動作を説明する。追跡処理に先立ち、事前処理として設定入力部３からカメラパラメータ４１及び障害物モデルの各種データが入力されて記憶部４に記憶され、障害物マップ作成部５０はこれらのデータを用いて障害物マップ４２を作成する。

図２は、三次元モデル４０の一例を模式的に示す斜視図であり、Ｎ×Ｍ画素の基準面１００、カメラ位置１０１、障害物モデル１０２及び移動物体モデル１０３の配置例を示している。

図３は、図２の三次元モデル４０に対応して作成された障害物マップ４２の模式図である。図２において、白抜き部分は障害領域であり画素値“１”を設定され、斜線部分は障害物が存在しない領域であり、画素値“０”を設定される。

図４は移動物体追跡装置１の追跡処理の概略のフロー図である。

撮像部２は、監視空間を撮像するたびに監視画像を制御部５に入力する（Ｓ１）。以下、最新の監視画像が入力された時刻を現時刻、最新の監視画像を現画像と呼ぶ。

現画像は変化画素抽出部５１により背景画像と比較され、変化画素抽出部５１は変化画素を抽出する（Ｓ２）。ここで、孤立した変化画素はノイズによるものとして抽出結果から除外する。なお、背景画像が無い動作開始直後は、現画像を背景画像として記憶部４に記憶させ、便宜的に変化画素なしとする。

また、予測位置設定部５２は追跡中の各移動物体に対して動き予測に基づきＰ個の予測位置を設定する（Ｓ３）。なお、後述するステップＳ１５にて新規出現であると判定された移動物体の予測位置は動き予測不能なため出現位置を中心とする広めの範囲にＰ個の予測位置を設定する。また、後述するステップＳ１５にて消失と判定された移動物体の予測位置は削除する。

図５は、予測位置設定部５２により時刻ごとに設定される予測位置の一例を示す模式的な平面図であり、時刻（ｔ−３）から時刻ｔへ至る予測位置の変化を示している。図５において“○”印は予測位置を、また“△”印は物***置を表しており、当該“○”、“△”の中心がそれぞれ予測位置、物***置に対応する。現時刻ｔより３時刻前の時刻（ｔ−３）にはＰ個の予測位置２００が設定され、これらに基づき物***置２１０が判定された。続く時刻（ｔ−２）には予測位置群２００に対応するＰ個の予測位置２０１が設定され、これらに基づき物***置２１１が判定された。同様に時刻（ｔ−１）においてもＰ個の予測位置２０２の設定と物***置２１２の判定が行なわれ、現時刻ｔにおいて予測位置群２００、予測位置群２０１、予測位置群２０２からそれぞれに対応するＰ個の予測位置２０３が設定される。

ここで、予測位置群２０３のうち障害領域４２ａの手前に設定された予測位置２２３は移動物体が移動し得る位置であるが、障害領域４２ａ中に設定された予測位置２２１や障害領域４２ａを跨いで設定された予測位置２２２は、移動物体が達し得ない位置であり無効な設定である。多数の予測位置を設定することには予測のずれを補う効果があるが、無効な設定は予測のずれを補う効果を稀釈させ追跡結果の精度を低下させる。移動物体の移動速度が速かったり、監視画像のフレーム周期が長かったりすればこのような精度低下は一層深刻となる。

制御部５は、ステップＳ２にて変化画素が抽出されず、かつステップＳ３にて予測位置が設定されていない（追跡中の移動物体がない）場合（Ｓ４にて「ＹＥＳ」の場合）はステップＳ１に戻り、次の監視画像の入力を待つ。

一方、ステップＳ４にて「ＮＯ」の場合は、ステップＳ５〜Ｓ１５の処理を行う。制御部５は追跡中の各移動物体を順次、注目物体に設定する（Ｓ５）。続いて、制御部５は注目物体の各予測位置を順次、注目位置に設定する（Ｓ６）。但し、監視画像の視野外である予測位置は注目位置の設定対象から除外し、当該予測位置における物体領域は推定せず、尤度を０に設定する。

予測位置修正部５３は記憶部４から注目位置に対応する１時刻前の予測位置を読み出して、読み出した予測位置（移動元位置）と注目位置（移動先候補位置）とを結ぶ直線を移動物体の移動経路として算出する（Ｓ７）。

次に、予測位置修正部５３は障害物マップ４２を参照して当該経路上に障害領域が存在するか否かを判定する（Ｓ８）。障害領域があれば（Ｓ８にて「ＹＥＳ」の場合）、注目位置を移動元位置側から見て当該障害領域より手前の位置に修正する（Ｓ９）。一方、障害領域がなければ（Ｓ８にて「ＮＯ」の場合）、修正処理Ｓ９は実行されない。

図６は修正処理Ｓ９の例を説明する模式的な平面図であり、図６（ａ）は図５に示した現時刻の予測位置２２１に対する修正を例に修正処理Ｓ９を説明する図、また図６（ｂ）は修正による予測位置の空間分布の変化を示す図である。時刻（ｔ−１）の予測位置２２０は注目位置である予測位置２２１に対応する前時刻の予測位置である。予測位置修正部５３は前時刻の予測位置２２０とこれに対応して新たに設定された現時刻の予測位置２２１とを結ぶ直線２３０を移動経路として算出する。予測位置修正部５３は移動経路を表す直線上のいずれの画素が障害物マップ４２上で障害領域４２ａを表す画素値であれば、新たに設定された予測位置を修正対象と判定する。一方、移動経路を表す直線上の画素に障害領域４２ａを表す画素値を有するものがなければ、新たに設定された予測位置は修正不要と判定される。このように前時刻の予測位置との位置関係を利用して判定することにより、障害領域４２ａ内に設定された予測位置のみならず障害領域４２ａを跨いで設定された予測位置も修正対象として検出することができる。この判定処理により、図６（ａ）に示す現時刻の予測位置２２１は修正対象となる。

予測位置修正部５３は、前時刻の予測位置から注目位置へ向かう移動経路が障害領域に達した点にて移動経路の方向を変化させ、当該方向が変化した移動経路の終点を修正後の予測位置（移動先候補位置）とする。

具体的には、修正対象の判定において前時刻の予測位置２２０から順に直線２３０上の画素値を走査し、最初に障害領域４２ａを表す画素値が検出された画素を直線２３０と障害領域４２ａとの接触点２３１と判定する。接触点２３１を中心とする所定半径ρの円内で接触点２３１から続く障害領域４２ａの輪郭線上の画素（輪郭画素）を抽出し、輪郭画素を近似する直線（輪郭直線）を導出する。移動物体が障害領域４２ａを回避する運動を採ることを鑑みれば、輪郭線の形状は移動物体の大きさ程度の分解能で把握することが妥当と推察され、従って、接触点２３１の近傍の輪郭線を直線近似する際の範囲も当該分解能に応じた大きさとすることが適当である。つまり、半径ρは例えばＷ／２とすればよい。導出された輪郭直線を用いて直線２３０の障害領域４２ａへの入射角を定義しこれをφで表すと、直線２３０と輪郭直線とのなす角度θがθ＝９０°−φで算出される。予測位置修正部５３は当該θを求めると共にランダムに鋭角Δ（但しΔ≧０）を設定し接触点２３１から先の移動経路を、接触点２３１を中心にして直線２３０と角度θをなす輪郭直線の向きへ角度（θ＋Δ）だけ回転させて、予測位置２２１を予測位置２２０側の障害領域４２ａ外の領域内に修正する。これにより予測位置２２１は予測位置２４１に修正される。この修正を予測位置群２０３内の全ての修正対象に対して実施すると、図６（ｂ）に示すように、予測位置群２０３は予測位置群２５３に修正される。

前時刻の予測位置２２０から接触点２３１を経由して修正後の予測位置２４１に至るまでの移動経路長は、前時刻の予測位置２２０から修正前の予測位置２２１までの移動経路長と等しくなる。当該修正後の予測位置は、前時刻の予測位置側の障害領域外に位置し、移動物体が移動し得る範囲となることに加え、前時刻にて動き予測で得られた速度で移動可能な経路長となる点で好適である。

上述したように、障害領域４２ａ中に設定された予測位置２２１や障害領域４２ａを跨いで設定された予測位置２２２のように移動物体が達し得ない位置に設定された無効な予測位置は予測のずれを補う効果を稀釈させていた。予測位置修正部５３は、これらの無駄となっていた予測位置を移動物体が移動可能な位置に補正するので、障害物近辺においても有意な予測位置を増加させることができ、障害物近辺において追跡精度を向上させることができる。

物体領域推定部５４は、注目位置と対応する位置に移動物体モデルを配置し、さらに障害物モデルをそれぞれの設置位置に配置した三次元モデル４０を作成して、当該三次元モデル４０をカメラパラメータ４１を用いて撮像部２の撮像面に投影する。そして、物体領域推定部５４は、移動物体モデルが投影された領域を注目位置に対応する物体領域として抽出する。なお、移動物体の一部が障害物等により隠蔽されていればその隠蔽部分が欠けた物体領域、隠蔽されていなければ全身を表す物体領域が抽出される。

注目位置での物体領域が求められると、尤度算出部５５は当該注目位置に対する尤度を算出する（Ｓ１１）。

制御部５は、尤度が算出されていない予測位置が残っている場合（Ｓ１２にて「ＮＯ」の場合）、ステップＳ５〜Ｓ１１を繰り返す。Ｐ個全ての予測位置について尤度が算出されると（Ｓ１２にて「ＹＥＳ」の場合）、物***置算出部５６が注目物体の各予測位置と当該予測位置のそれぞれについて算出された尤度とを用いて注目物体の物***置を算出する（Ｓ１３）。現時刻について算出された物***置は１時刻前までに記憶部４に記憶させた注目物体の物***置と対応付けて追記される。なお、新規出現した移動物体の場合は新たな識別子を付与して登録する。また、全ての予測位置での尤度が尤度下限値未満の場合は物***置なしと判定する。

制御部５は未処理の移動物体が残っている場合（Ｓ１４にて「ＮＯ」の場合）、当該移動物体について物***置を判定する処理Ｓ５〜Ｓ１３を繰り返す。一方、全ての移動物体について物***置を判定すると、物体の新規出現と消失を判定する（Ｓ１５）。具体的には、制御部５は各物***置に対して推定された物体領域を合成して、変化画素抽出部５１により抽出された変化画素のうち合成領域外の変化画素を検出し、検出された変化画素のうち近接する変化画素同士をラベリングする。ラベルが移動物体とみなせる大きさであれば新規出現の旨をラベルの位置（出現位置）とともに記憶部４に記録する。また、物***置なしの移動物体があれば当該移動物体が消失した旨を記憶部４に記録する。以上の処理を終えると、次時刻の監視画像に対する処理を行うためにステップＳ１へ戻る。

［修正処理の第２の形態］
上述の移動物体追跡装置１の全体的な動作における予測位置の修正処理の形態はその一例であり、以下、修正処理の他の形態を説明する。

以下に説明する修正処理の第２及び第３の形態は、図５に示すように前時刻の予測位置に対応して現時刻の予測位置を設定する点において、図６を用いて説明した第１の形態と共通するが、予測位置修正部５３における予測位置の修正の仕方が異なる。

図７は修正処理Ｓ９の第２の形態を説明する模式図であり、図７（ａ）は図５に示した現時刻の予測位置２２１に対する修正を例に修正処理Ｓ９を説明する図である。また図７（ｂ）は修正による予測位置の空間分布の変化を示す図である。

本形態において予測位置修正部５３は、前時刻の予測位置から注目位置へ向かう移動経路の方向を変化させ、当該移動経路の終点を修正後の予測位置とする。具体的には、予測位置修正部５３は上述の第１の形態と同様にして、修正対象の検出、直線２３０の算出、接触点２３１の算出及び障害領域４２ａの輪郭直線の算出を行なう。さらに、前時刻の予測位置２２０から修正対象とされる現時刻の予測位置２２１までの距離Ｌ０、及び前時刻の予測位置２２０から接触点２３１までの距離Ｌ１を算出する。

前時刻の予測位置２２０から輪郭直線への垂線３００を導出し、予測位置２２０から輪郭直線と垂線３００との交点３０１までの距離をＬ２と表すと、垂線３００と直線２３０とのなす角φ０はφ０＝cos^−１｛Ｌ２／Ｌ１｝で与えられる。また、予測位置２２０を中心とする半径Ｌ０の円と輪郭直線との交点であって交点３０１から見て接触点２３１と同じ方向に位置するものと予測位置２２０とを結ぶ直線３０２を考えると、当該直線３０２が垂線３００となす角φ１はφ１＝cos^−１｛Ｌ１・cosφ０／Ｌ０｝で与えられる。

予測位置修正部５３は、ランダムに鋭角Δを設定して（但しΔ≧０）、予測位置２２０を通り垂線３００と（φ１＋Δ）の角度をなす直線３０３を、垂線３００から見て直線３０２が位置する側にて導出する。そして、直線３０３上にて予測位置２２０から距離Ｌ０に位置する点、つまり、予測位置２２０を中心とする半径Ｌ０の円と直線３０３の交点を修正後の予測位置３０４として設定する。

この修正を予測位置群２０３内の全ての修正対象に対して実施すると、図７（ｂ）に示すように、予測位置群２０３は予測位置群３０５に修正される。

この修正処理の第２の形態において、前時刻の予測位置２２０から修正後の予測位置３０４へ至る移動物体の移動経路は、前時刻の予測位置２２０から修正前の予測位置２２１までの移動経路と等しい経路長となる。当該修正後の予測位置は第１の形態と同様、前時刻の予測位置側の障害領域外に位置し、移動物体が移動し得る範囲となることに加え、前時刻にて動き予測で得られた速度で移動可能な経路長となる点で好適である。そして、この第２の形態も第１の形態と同様、従来は無駄となっていた予測位置を移動物体が移動し得る位置に補正するので、障害物近辺においても有意な予測位置を増加させることができ、障害物近辺において追跡精度を向上させることができる。

なお、前時刻の予測位置からの経路長を、修正対象となる当初の予測位置までと同じにしたままで動き予測による前時刻の予測位置からの移動物体の移動経路を変更し、当該移動経路の終点を修正後の予測位置とする構成は、上述した修正処理の第１及び第２の形態以外にも可能である。例えば、予測位置２２０からの移動経路の方向を第１の形態のように変更すると共に、当該変更した方向にて障害領域に突き当たる場合には第２の形態のように移動経路を屈折させる構成が存在する。また、角度Δは０°から９０°未満の範囲でランダムに設定されるが、乱数の発生のさせ方は一様乱数に限られず、正規分布等の非一様な分布を有するようにしてもよい。例えば、第１の形態にて、接触点２３１から予測位置２４１への経路と輪郭直線に対する法線とのなす角（反射角）が予測位置２２０から接触点２３１への入射角φと同じである方向に分布のピークを有する乱数を使用して、輪郭直線に沿った方向の移動物体の運動量保存に配慮した修正とすることができる。この他にも、移動物体の速度に応じてΔの上限や乱数の発生の仕方を変更する構成とすることもできる。例えば、第２の形態にて、移動物体の速度が速いほど移動物体は方向転換しにくいであろうことから、Δの上限を低くしてもよい。

［修正処理の第３の形態］
図８は修正処理Ｓ９の第３の形態を説明する模式図であり、図８（ａ）は図５に示した現時刻の予測位置２２１に対する修正を例に修正処理Ｓ９を説明する図である。また図８（ｂ）は修正による予測位置の空間分布の変化を示す図である。

第３の形態にて予測位置修正部５３は、障害領域の境界線のうち前時刻の予測位置から見える部分の点であり、かつ現時刻についての当初の予測位置から最短距離にある点を直近点として求め、当該直近点を中心として直前時刻での予測位置の分布範囲以下の大きさを有する領域内に、修正後の予測位置を設定する。具体的には、予測位置修正部５３は、上記第１及び第２の形態と同様にして、修正対象の検出、直線２３０の算出、接触点２３１の算出及び障害領域４２ａの輪郭直線の算出を行なう。さらに、現時刻の当初の予測位置２２１から輪郭直線への垂線４００を導出して輪郭直線と垂線４００との交点４０１を直近点として求め、交点４０１から所定半径の円内であって障害領域４２ａの外側の領域にランダムに修正後の予測位置４０２を設定する。所定半径は予測位置設定部５２にて予測位置の設定に用いた半径ｒの半分程度に設定すればよい。

これにより簡便な処理によって、前時刻の予測位置側の障害領域外に位置し、移動物体が移動し得る範囲に予測位置を修正できる。

この場合も予測位置修正部５３は、従来は無駄となっていた予測位置を移動物体が移動し得る位置に補正するので、障害物近辺においても有意な予測位置を増加させることができ、障害物近辺において追跡精度を向上させることができる。

なお、当初の予測位置が障害領域４２ａを跨いで、その外側に設定された場合には、障害領域の輪郭のうち前時刻の予測位置２２０から見える、つまり直線経路で移動物体が到達できる位置に垂線４００を引くことができない状態も存在し得る。この場合には、予測位置修正部５３は、垂線４００を求める処理とは別の処理によって、障害領域の輪郭のうち前時刻の予測位置から見え、かつ現時刻についての当初の予測位置から最短距離にある点を、上記交点４０１に代わる点として求め、これを中心として所定半径の円内に修正後の予測位置を設定する。

［修正処理の第４の形態］
上記修正処理の第１〜第３の形態においては、各時刻の予測位置の間で一意の対応付けが管理されており、予測位置設定部５２は互いに対応する過去の予測位置の動きから新たな予測位置を設定する。そのため第１〜第３の形態において予測位置修正部５３は１時刻前の予測位置から見て障害領域の手前の位置に予測位置の修正を行い、また第１、第２の形態は１時刻前の予測位置からそれに対応する現時刻の予測位置への移動経路長が修正前後で変わらないように修正を行う。

図９は、以下に説明する修正処理の第４〜第６の形態における物***置及び現時刻の予測位置の一例を示す模式的な平面図であり、時刻（ｔ−３）から時刻（ｔ−１）へ至る物***置の変化、及び現時刻ｔの予測位置を示している。図５と同様、図９にて“○”印は予測位置を、また“△”印は物***置を表している。第４〜第６の形態では、予測位置設定部５２は、１時刻前の物***置５０２を中心とする所定範囲に１時刻前のＰ個の予測位置を設定し、当該１時刻前の各予測位置を物***置の動きに合わせて移動させて現時刻の予測位置５１０を設定する。ちなみにこの方法は物***置の動きに合わせて現時刻の物***置を予測してから当該位置を中心とする所定範囲に現時刻の予測位置を設定することと等しい。

この予測位置設定方法において、修正処理の第４の形態の予測位置修正部５３は、１時刻前の物***置５０２から現時刻の各予測位置５１０への移動経路長が修正前後で変わらないように修正を行う。図１０は修正処理Ｓ９の第４〜第６の形態の例を説明する模式的な平面図である。図１０（ａ）が本第４の形態に関する図である。同図は図９に示した現時刻の予測位置５２１に対する修正を例に修正処理Ｓ９を説明する図であり、移動経路の始点となる１時刻前の位置が予測位置に代えて物***置５０２であること以外は基本的に図６を用いて説明した第１の形態と同様である。

予測位置修正部５３は、１時刻前の物***置５０２から修正対象の予測位置５２１への直線５３０と障害領域４２ａとの接触点５３１を検出するとともに、接触点５３１近傍の障害領域の境界を近似する輪郭直線と直線５３０とのなす角度θを算出する。予測位置修正部５３は鋭角の範囲でランダムに角度Δを定め、予測位置５２１を接触点５３１を中心に（θ＋Δ）だけ回転させて、予測位置５２１を物***置５０２側の障害領域４２ａ外の領域内に修正する。これにより予測位置５２１は予測位置５３２に修正される。

この場合も予測位置修正部５３は、従来は無駄となっていた予測位置を移動物体が移動し得る位置に補正するので、障害物近辺においても有意な予測位置を増加させることができ、障害物近辺において追跡精度を向上させることができる。

［修正処理の第５の形態］
図１０（ｂ）は修正処理Ｓ９の第５の形態の例を説明する模式的な平面図である。同図は図９に示した現時刻の予測位置５２１に対する修正を例に修正処理Ｓ９を説明する図であり、移動経路の始点となる１時刻前の位置が予測位置に代えて物***置５０２であること以外は基本的に図７を用いて説明した第２の形態と同様である。

予測位置修正部５３は、１時刻前の物***置５０２から修正対象の予測位置５２１までの距離Ｌ０を半径とする円上で、予測位置５２１から角度（φ１＋Δ−φ０）だけ回転させた修正後の予測位置５４０を算出する。

この場合も予測位置修正部５３は、従来は無駄となっていた予測位置を移動物体が移動し得る位置に補正するので、障害物近辺においても有意な予測位置を増加させることができ、障害物近辺において追跡精度を向上させることができる。

［修正処理の第６の形態］
図１０（ｃ）は修正処理Ｓ９の第６の形態の例を説明する模式的な平面図である。同図は図９に示した現時刻の予測位置５２１に対する修正を例に修正処理Ｓ９を説明する図であり、移動経路の始点となる１時刻前の位置が予測位置に代えて物***置５０２であること以外は基本的に図８を用いて説明した第３の形態と同様である。

予測位置修正部５３は、新たに設定された予測位置５２１から輪郭直線への垂線を導出して輪郭直線と垂線の交点５５０を直近点として求め、交点５５０から所定半径の円内であって障害領域４２ａの外側の領域にランダムに修正後の予測位置５５１を設定する。

この場合も予測位置修正部５３は、従来は無駄となっていた予測位置を移動物体が移動し得る位置に補正するので、障害物近辺においても有意な予測位置を増加させることができ、障害物近辺において追跡精度を向上させることができる。

１ 移動物体追跡装置、２ 撮像部、３ 設定入力部、４ 記憶部、５ 制御部、６ 出力部、４０ 三次元モデル、４１ カメラパラメータ、４２ 障害物マップ、４２ａ 障害領域、４３ 予測位置、４４ 物***置、５０ 障害物マップ作成部、５１ 変化画素抽出部、５２ 予測位置設定部、５３ 予測位置修正部、５４ 物体領域推定部、５５ 尤度算出部、５６ 物***置算出部、５７ 異常判定部、１００ 基準面、１０１ カメラ位置、１０２ 障害物モデル、１０３ 移動物体モデル、２００〜２０３，５１０ 予測位置群、２１０〜２１２，５００〜５０２ 物***置、２２０〜２２３，２４１，３０４，４０２，５２１，５３２，５４０，５５１ 予測位置、２３１，５３１ 接触点、４０１，５５０ 直近点。

Claims (3)

1. 所定の空間を撮影した時系列の画像を用いて、前記空間内を移動する人物を追跡する人物追跡装置であって、
   前記空間内にて前記移動を妨げる障害領域を予め記憶すると共に、注目時刻より過去における前記人物の過去位置の情報を記憶する記憶部と、
   前記過去位置を用いて前記人物の動き予測を行い、前記注目時刻における当該人物の移動先候補を複数予測する位置予測部と、
   前記注目時刻の前記画像において前記各移動先候補との対応部分が有する前記人物の画像特徴に基づいて前記注目時刻における当該人物の移動先を判定する人物位置判定部と、
   を有し、
   前記位置予測部は、前記移動先候補のうちその移動元である前記過去位置との間に前記障害領域が存在する無効な移動先候補を当該障害領域よりも前記移動元側の位置に修正する修正部を備え、
   前記修正部は、前記移動元から前記無効な移動先候補への経路をその経路長を維持したままで前記無効な移動先候補への経路が前記障害領域に達した点にて当該経路の方向をランダムに変化させることにより変形し、前記無効な移動先候補を前記変形後の経路の終点に修正すること、
   を特徴とする人物追跡装置。
2. 所定の空間を撮影した時系列の画像を用いて、前記空間内を移動する人物を追跡する人物追跡装置であって、
   前記空間内にて前記移動を妨げる障害領域を予め記憶すると共に、注目時刻より過去における前記人物の過去位置の情報を記憶する記憶部と、
   前記過去位置を用いて前記人物の動き予測を行い、前記注目時刻における当該人物の移動先候補を複数予測する位置予測部と、
   前記注目時刻の前記画像において前記各移動先候補との対応部分が有する前記人物の画像特徴に基づいて前記注目時刻における当該人物の移動先を判定する人物位置判定部と、
   を有し、
   前記位置予測部は、前記移動先候補のうちその移動元である前記過去位置との間に前記障害領域が存在する無効な移動先候補を当該障害領域よりも前記移動元側の位置に修正する修正部を備え、
   前記修正部は、前記移動元から前記無効な移動先候補への経路をその経路長を維持したままで前記無効な移動先候補への経路の方向を前記移動元にて変化させることにより変形し、前記無効な移動先候補を前記変形後の経路の終点に修正すること、
   を特徴とする人物追跡装置。
3. 所定の空間を撮影した時系列の画像を用いて、前記空間内を移動する人物を追跡する人物追跡装置であって、
   前記空間内にて前記移動を妨げる障害領域を予め記憶すると共に、注目時刻より過去における前記人物の過去位置の情報を記憶する記憶部と、
   前記過去位置を用いて前記人物の動き予測を行い、前記注目時刻における当該人物の移動先候補を複数予測する位置予測部と、
   前記注目時刻の前記画像において前記各移動先候補との対応部分が有する前記人物の画像特徴に基づいて前記注目時刻における当該人物の移動先を判定する人物位置判定部と、
   を有し、
   前記位置予測部は、前記移動先候補のうちその移動元である前記過去位置との間に前記障害領域が存在する無効な移動先候補を当該障害領域よりも前記移動元側の位置に修正する修正部を備え、
   前記修正部は、前記障害領域における前記移動元側の境界線上で前記無効な移動先候補から最短距離にある直近点を算出し、当該無効な移動先候補を前記直近点から所定距離内の位置に修正すること、を特徴とする人物追跡装置。

Images