JP2012155595A - 対象物画像判定装置 - Google Patents

Abstract

【課題】三次元空間での対象物の像の存在を判定する対象物画像判定装置において、撮像される画像毎に投影処理を行い設置物による非隠蔽部分を求めるのは処理負荷が大きい。
【解決手段】時刻毎の画像にて対象物を追跡する動作に先だって事前処理を行う。事前処理では、監視画像にて対象物が設置物により隠蔽されずに投影される推定投影領域を、空間内の各位置に対象物モデルを配置して求め、当該位置と推定投影領域とを対応付けた推定投影領域データ４２を予め記憶部４に保存する。追跡処理では対象物隠蔽推定部５３０は推定投影領域データ４２を参照し、注目対象物の予測位置での推定投影領域を取得する。尤度算出部５３１及び物***置算出部５３２は、推定投影領域の画像特徴から対象物の像の存在を判定する。
【選択図】図１

Description

本発明は、画像に基づいて当該画像に投影される空間における対象物の存在を判定する対象物画像判定装置に関し、特に什器等の設置物により画像上で隠蔽され得る対象物の存在を判定する対象物画像判定装置に関する。

侵入者検知等のため、監視空間を撮像した監視画像から人物などの監視対象物の像を抽出したり、当該像の画像特徴に基づいて監視対象物の存在を判定したり追跡したりすることが行われている。監視画像においては常に監視対象物の全体像が抽出できるとは限らず、監視空間内の什器や柱、さらには他の人物などによりその一部がしばしば隠蔽される。この隠蔽は監視対象物の抽出される大きさや色成分などの画像特徴を変動させるため、検知失敗や追跡失敗の原因となる。

特許文献１に記載の画像監視装置においては、監視対象物が構造物などの陰に隠れてその一部分しか抽出できないような場合でも監視対象物を高精度に追跡するために、物体抽出位置に監視対象物の三次元形状モデルを配置した監視空間の三次元シーンモデルを撮像装置による画像に３Ｄ／２Ｄ変換する。これにより監視画像にて監視対象物にどの程度の隠蔽が発生している可能性があるかを求め、それをもとに対象物体抽出の結果を隠蔽の程度に応じて評価することが記載されている。

特開２０００−２３１６３７号公報

しかしながら従来技術では、新たな画像が撮像されるたびに三次元のモデルから画像を生成する３Ｄ／２Ｄ変換処理（投影処理）を行わなければならない。当該投影処理は比較的大きな処理負荷を伴う。そのため、従来技術ではリアルタイムで対象物の検知や追跡を行うことが容易でないという問題点があった。

特に、魚眼レンズ等を備えた広角カメラを用いて検知や追跡を行う場合、投影処理にはレンズ歪を再現するための歪補正を含める必要があるため処理負荷が大きくなる。また、追跡にパーティクルフィルタを用いる場合、監視対象物の位置候補を多数設定して各設定に対する投影処理を行うため処理負荷が大きくなる。

本発明は上記課題を鑑みてなされたものであり、新たな画像が撮像されるたびに投影処理を行うことなく画像上での対象物の抽出状態、すなわち隠蔽状態を推定可能にし、リアルタイムで高精度に対象物の存在を判定可能とすることを目的とする。

本発明に係る対象物画像判定装置は、設置物が設置された実空間が予め定められた投影条件で投影された実写画像に基づいて前記実空間における対象物の存在を判定するものであって、前記対象物が存在していない前記実空間を模した仮想空間が前記投影条件にて投影された仮想画像内において当該仮想空間に配置された前記対象物の立体モデルが前記設置物により隠蔽されずに投影される画像領域を前記対象物の推定投影領域とし、当該立体モデルが配置された前記仮想空間内の位置と対応付けて予め記憶する記憶部と、前記実空間の前記実写画像、及び当該実空間にて前記対象物が存在し得る候補位置を入力され、当該候補位置に対応する前記推定投影領域を前記記憶部から読み出して、入力された前記実写画像における当該推定投影領域の画像特徴から前記対象物の存在を判定する対象物判定部と、を有する。

他の本発明に係る対象物画像判定装置においては、前記対象物判定部は、複数の前記対象物について前記候補位置を入力された場合に、当該候補位置から前記対象物相互の前記実写画像における前後関係を求め、当該複数の対象物のそれぞれを注目対象物に設定し、前記記憶部から読み出した当該注目対象物の前記推定投影領域に対して前記前後関係にて当該注目対象物より前に位置する前置対象物の前記推定投影領域との重複部分を除く修正処理を行ってから当該注目対象物の存在を判定する。

別の本発明に係る対象物画像判定装置においては、前記対象物判定部は、前記対象物ごとに複数の前記候補位置を入力され、前記注目対象物について当該複数の候補位置ごとに前記推定投影領域における前記画像特徴の対象物らしさの度合いを算出し、当該度合いにて前記対象物の存在する可能性に重み付けた前記複数の候補位置を用いて当該注目対象物の存在位置を判定し、前記修正処理において、前記注目対象物に対する前記前置対象物について前記存在位置が求められている場合には、当該前置対象物の前記推定投影領域として前記存在位置に対応するものを用いる。

さらに別の本発明に係る対象物画像判定装置においては、前記対象物判定部は、前記前後関係にて前から後へ向かう順序で前記注目対象物を設定する。

立体モデルに基づく画像上での対象物の抽出状態の推定処理の負荷が低減され、画像における対象物の像の存在を高速かつ高精度に判定できる。

本発明の実施形態に係る移動物体追跡装置のブロック構成図である。 三次元モデルの一例を模式的に示す斜視図である。 図２の三次元モデルから作成された推定投影領域の模式図である。 事前処理の概略のフロー図である。 図２に示す設置物モデルに対応して設定される隠蔽位置を示す模式図である。 推定投影領域の算出処理を説明する模式図である。 事前処理方法の他の例を説明するための三次元モデルの一例を模式的に示す斜視図である。 移動物体追跡装置の追跡処理の概略のフロー図である。 注目対象物の推定投影領域に対する修正処理を説明する模式図である。

以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、什器が配置された部屋等のように設置物が存在する屋内外の空間を監視対象の空間とすることができ、当該監視空間内を移動する人物を追跡対象物（以下、対象物と称する。）とする。設置物の他の例としては柱や給湯器などが挙げられる。移動物体追跡装置１は監視空間を撮像した監視画像を処理して対象物の検出・追跡を行う。設置物や、注目している対象物以外の対象物は画像処理の観点からは注目している対象物の像を隠蔽し得る遮蔽物である。移動物体追跡装置１は、遮蔽物による対象物の隠蔽状態を推定し、隠蔽状態を加味して対象物の検出・追跡を行う。

設置物は移動しない遮蔽物である。そこで、移動物体追跡装置１は予め設置物による対象物の隠蔽を推定して推定結果を二次元データとして記憶しておくことで対象物の検出・追跡を高速に行う。

他方、注目している対象物以外の対象物は移動する遮蔽物であるので、移動物体追跡装置１は対象物間で生じる隠蔽を随時推定する。その際、移動物体追跡装置１は当該推定を上述した二次元データ間の演算により行うことで対象物の検出・追跡を高速に行う。

［移動物体追跡装置の構成］
図１は、実施形態に係る移動物体追跡装置１のブロック構成図である。移動物体追跡装置１は、撮像部２、設定入力部３、記憶部４、制御部５及び出力部６を含んで構成される。撮像部２、設定入力部３、記憶部４及び出力部６は制御部５に接続される。

撮像部２は監視カメラであり、監視空間（実空間）を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像（実写画像）は順次、制御部５へ出力される。専ら床面又は地表面等の基準面に沿って移動する人の位置、移動を把握するため、撮像部２は基本的に人を俯瞰撮影可能な高さに設置され、例えば、本実施形態では移動物体追跡装置１は屋内監視に用いられ、撮像部２は天井に設置される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。

設定入力部３は管理者が制御部５に対して各種設定を行うための入力手段であり、例えば、タッチパネルディスプレイ等のユーザインターフェース装置である。

記憶部４はＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部４は各種プログラムや各種データを記憶し、制御部５との間でこれらの情報を入出力する。各種データには三次元モデル４０、カメラパラメータ４１及び推定投影領域データ４２が含まれる。

三次元モデル４０は、監視空間を模した仮想空間に対象物の立体形状を近似した対象物モデル及び／又は設置物の立体形状を近似した設置物モデルを配置した状態を記述したデータであり、追跡処理の準備段階（事前処理）で適宜作成され利用される。本実施形態では、監視空間及び仮想空間をＸ，Ｙ，Ｚ軸からなる右手直交座標系で表し、鉛直上方をＺ軸の正方向に設定する。また、床面等の基準面は水平であり、Ｚ＝０で表されるＸＹ平面で定義する。仮想空間内での設置物モデルの配置は監視空間内での実際の設置物の配置に合わせる。一方、対象物モデルの配置は任意位置に設定することができる。

対象物モデルを配置せず設置物モデルだけを配置すると対象物が存在していない実空間を模した仮想空間がシミュレートでき、ここに対象物モデルを任意配置することで、対象物の隠蔽状態をシミュレートできる。

対象物モデルは、例えば、対象物を構成する複数の構成部分毎の立体形状を表す部分モデルと、それら部分モデル相互の配置関係とを記述したデータである。移動物体追跡装置１が監視対象とする対象物は立位の人であり、本実施形態では、例えば、人の構成部分として頭部、胴部、脚部の３つが設定される。また、各構成部分の立体形状を近似的に表す部分モデルとして、長軸が鉛直方向に設定され短軸が水平方向に設定された楕円を長軸の周りに回転させて得られる回転楕円体を用いる。部分モデルの配置関係として、脚部の部分モデルの下端が基準面（Ｚ＝０）に接地するという拘束条件を課し、その脚部の部分モデルの上に胴部、頭部の部分モデルを順にＺ軸方向に積み重ねた配置を設定する。基準面から頭部中心までの高さをＨ、胴部の最大幅（胴部短軸直径）をＷで表す。本実施形態では説明を簡単にするため、高さＨ、幅Ｗは任意の対象物に共通とする。また、撮像部２との位置関係から、頭部は他の構成部分に隠蔽されにくく、監視画像に良好に現れることから、頭部中心を対象物の代表位置とする。なお、対象物モデルはより単純化して１つの回転楕円体で近似してもよい。

設置物モデルは対象物の検出・追跡処理に先だって予め、監視空間内に置かれる設置物毎に設定される。設置物モデルは、監視空間に実在する設置物の形状・寸法のデータ、及び監視空間での設置物の配置のデータを含む。設置物の形状・寸法は監視空間に置かれる設置物を実測して取得することができるほか、設置物のメーカー等が提供する製品の三次元データを利用することもできる。設置物の配置は実測により取得できるほか、例えばコンピュータ上で部屋の什器レイアウトを設計した場合にはその設計データを利用することもできる。このようにして得られた設置物に関するデータは、設定入力部３又は外部機器との接続インターフェース（図示せず）から制御部５に入力され、制御部５は当該入力データに基づいて記憶部４に設置物モデルを格納する。

図２は、三次元モデル４０の一例を模式的に示す斜視図であり、監視空間をＮ×Ｍ×Ｋの位置座標に離散化した仮想空間の基準面１００、カメラ位置１０１、対象物モデル１０２、及び設置物＃１，＃２の設置物モデル１０３，１０４の配置例を示している。

カメラパラメータ４１は、撮像部２が監視空間を投影した監視画像を撮影する際の投影条件に関する情報を含む。例えば、実際の監視空間における撮像部２の設置位置及び撮像方向といった外部パラメータ、撮像部２の焦点距離、画角、レンズ歪みその他のレンズ特性や、撮像素子の画素数といった内部パラメータを含む。実際に計測するなどして得られたこれらのパラメータが予め設定入力部３から入力され、記憶部４に格納される。公知のピンホールカメラモデル等のカメラモデルにカメラパラメータ４１を適用した座標変換式により、三次元モデル４０を監視画像の座標系（撮像部２の撮像面；ｘｙ座標系）に投影できる。このカメラパラメータ４１を用いた三次元モデル４０の投影は、移動物体追跡装置１による対象物の検出・追跡処理に先だって行われる。

推定投影領域データ４２は、監視空間に存在する対象物が監視画像にて設置物により隠蔽されずに結像される領域を推定した情報（推定投影領域）を含むデータである。具体的には、推定投影領域は、対象物モデルが配置された仮想空間を監視画像の二次元座標系（投影面）に投影した画像（仮想画像）において、対象物モデルが設置物モデルにより隠蔽されずに投影される部分である。推定投影領域は仮想空間内の各位置に対象物モデルを配置して生成され、記憶部４は推定投影領域データ４２として、仮想空間（又は監視空間）内の各位置と、当該位置に対象物モデルを配置して得られる推定投影領域とを対応付けて記憶する。推定投影領域データ４２を参照することで、監視空間内の任意の位置に存在する対象物に関して、監視画像での当該対象物の像の推定領域を得ることができる。

図３は、図２の三次元モデル４０から作成された推定投影領域の模式図である。図３には、推定投影領域を示す画像４３と、対象物モデルの位置（代表位置を通る中心軸がＮ×Ｍに離散化された基準面と交差する点のＸＹ座標（Ｘ，Ｙ））とを対応付けて示している。ここで、基準面のＸ座標は０〜Ｎ−１、Ｙ座標は０〜Ｍ−１なる整数と定義している。本実施形態では推定投影領域は、当該領域にて所定の画素値を付与された仮想画像によって表現される。具体的には、推定投影領域を表現する仮想画像４３にて、推定投影領域、つまり対象物モデルの投影像が現れる部分（図３にて白抜き部分）は画素値“１”を付与し、それ以外の部分（図３にて斜線部分）は画素値“０”を付与する。

図３に示す例では、位置（Ｘ_ｎ１，Ｙ_ｍ１）と対応して設置物＃２により下半身が隠蔽された人物の推定投影領域（画像４３−３）が推定され推定投影領域データ４２に記憶されており、位置（Ｘ_ｎ２，Ｙ_ｍ２）と対応して設置物＃１により右足が隠蔽された人物の推定投影領域（画像４３−４）が推定・記憶されている。また、位置（０，０），（Ｎ−１，０），（０，Ｍ−１），（Ｎ−１，Ｍ−１）では設置物＃１，＃２による隠蔽が生じないため、これら位置と対応付けて人物全身の推定投影領域（画像４３−１，４３−２，４３−５，４３−６）が推定・記憶されている。

制御部５は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部４からプログラムを読み出して実行し、設置物隠蔽推定部５０、変化画素抽出部５１、位置予測部５２、対象物判定部５３及び異常判定部５４として機能する。

制御部５の各機能のうち設置物隠蔽推定部５０は追跡処理の前に行われる事前処理を担い、三次元モデル４０を用いたシミュレーションを行って設置物による対象物の隠蔽を予め推定する。設置物隠蔽推定部５０は推定結果として監視空間の各位置について推定投影領域を求め、当該推定投影領域を対象物モデルの位置と対応付けて記憶部４に推定投影領域データ４２として記憶させる。

具体的には設置物隠蔽推定部５０は、監視空間を模して各設置物モデルを配置した仮想空間内の各位置に対象物モデルを単独配置した三次元モデル４０を、対象物モデルの配置位置を変えて順次生成し、生成した三次元モデル４０をカメラパラメータ４１により規定される投影条件にて監視画像の座標系に投影して上述の推定投影領域（仮想画像４３）を算出する。

変化画素抽出部５１は、撮像部２から新たに入力された監視画像から変化画素を抽出し、抽出された変化画素の情報を対象物判定部５３へ出力する。変化画素の情報は必要に応じて位置予測部５２にも出力される。変化画素の抽出は公知の背景差分処理により行われる。すなわち変化画素抽出部５１は、新たに入力された監視画像と背景画像との差分処理を行って差が予め設定された差分閾値以上である画素を変化画素として抽出する。変化画素は対象物が存在する領域に対応して抽出され得る。変化画素抽出部５１は背景画像として、監視領域に対象物が存在しない状態での監視画像を記憶部４に格納する。例えば、基本的に管理者は監視領域に対象物が存在しない状態で移動物体追跡装置１を起動するので、起動直後の監視画像から背景画像を生成することができる。なお、差分処理に代えて、新たに入力された監視画像と背景画像との相関処理によって変化画素を抽出してもよいし、背景画像に代えて背景モデルを学習して当該背景モデルとの差分処理によって変化画素を抽出してもよい。

位置予測部（仮説設定部）５２は、過去に判定された各対象物の物***置又は過去に設定された各対象物の予測位置から動き予測を行なって、新たに入力される監視画像において対象物が存在する位置を予測し、その予測された位置（予測位置）を対象物判定部５３へ出力する。

例えば、位置の予測はパーティクルフィルタなどと呼ばれる方法を用いて行うことができる。当該方法は、各対象物に対して多数（その個数をＰで表す。例えば１対象物あたり２００個）の予測位置を順次設定して確率的に対象物の位置（物***置）を判定するものであり、設定される予測位置は仮説などと呼ばれる。予測位置は監視画像のｘｙ座標系で設定することもできるが、本実施形態では監視空間のＸＹＺ座標系で設定する。動き予測は過去の物***置に所定の運動モデルを適用するか（下記（１））、又は過去の予測位置に所定の運動モデルを適用すること（下記（２））で行なわれる。

（１）物***置からの予測
注目時刻より前のＴ時刻分（例えばＴ＝５）の物***置から平均速度ベクトルを算出する。この平均速度ベクトルを１時刻前の物***置に加算して注目時刻における物***置を予測する。予測された物***置を中心とする所定範囲にランダムにＰ個の予測位置を設定する。この方法では、過去Ｔ時刻分の物***置が記憶部４に循環記憶される。

（２）予測位置からの予測
注目時刻より前のＴ時刻分（例えばＴ＝５）の予測位置から平均速度ベクトルを算出する。この平均速度ベクトルを１時刻前の予測位置に加算して注目時刻における新たな予測位置を予測する。予測はＰ個の予測位置それぞれに対し行ない、新たな予測位置とその元となった過去の予測位置には同一の識別子を付与して循環記憶する。なお、１時刻前の予測位置のうちその尤度が予め設定された尤度閾値より低いものは削除する。一方、この削除分を補うために、削除した個数と同数の１時刻前の新たな予測位置を１時刻前の予測された物***置を中心とする所定範囲にランダムに設定し、これらの予測位置と対応する２時刻前以前の予測位置を過去の物***置の運動に合わせて外挿し求める。そのために過去の予測位置に加えて、過去Ｔ時刻分の物***置も記憶部４に循環記憶させる。

なお、新規の対象物が検出された場合は、位置予測部５２は、その検出位置を中心とする所定範囲にランダムにＰ個の予測位置を設定する。

対象物判定部５３は、監視画像及び監視空間内において対象物が存在し得る候補位置を入力され、候補位置に対応する推定投影領域を記憶部４に記憶されている推定投影領域データ４２から読み出す。そして、入力された監視画像が当該推定投影領域にて有する画像特徴に基づいて当該監視画像に対象物の像が存在するかを判定し、記憶部４に記憶させる。ここで、候補位置は位置予測部５２から入力された予測位置である。また、判定結果は対象物の存在の有無及び、対象物が存在する場合におけるその存在位置（物***置）である。

対象物判定部５３は対象物隠蔽推定部５３０、尤度算出部５３１及び物***置算出部５３２を含んで構成される。対象物隠蔽推定部５３０は、予測位置が複数の対象物について入力されたときに動作し、記憶部４の推定投影領域データ４２から読み出された推定投影領域に、対象物同士による隠蔽を考慮した修正を加える。尤度算出部５３１は監視画像における予測位置に対応する推定投影領域の画像特徴の対象物らしさを表す尤度を予測位置ごとに算出する。物***置算出部５３２は各対象物の予測位置の尤度を総合判定して当該対象物の位置を算出する。

以下、対象物隠蔽推定部５３０、尤度算出部５３１及び物***置算出部５３２について説明する。

対象物隠蔽推定部５３０は、複数の対象物についての予測位置又は物***置とこれらの各位置に対応する推定投影領域とを入力され、入力された位置と投影条件とから監視画像における各対象物の前後関係を判定し、前後関係が後方の対象物の推定投影領域から前方の対象物の推定投影領域を除く修正を行い、前方の対象物による隠蔽が修正された推定投影領域（修正投影領域）を尤度算出部５３１へ出力する。なお、修正された推定投影領域は一時データであり、記憶部４の推定投影領域データ４２には当該修正は反映されない。

対象物隠蔽推定部５３０は、カメラパラメータ４１として記憶されているカメラ位置と各対象物について入力された位置との距離を算出し、当該距離が短いほど手前、当該距離が長いほど後ろであるとして対象物相互の前後関係を判定する。また、対象物隠蔽推定部５３０は複数の対象物のうちの一つを順次、注目対象物に設定し、注目対象物について推定投影領域の修正を行う。当該修正は注目対象物の推定投影領域と注目対象物より手前と判定された各対象物の推定投影領域との重複領域を、注目対象物の推定投影領域から除去することにより行われ、当該除去により残った領域を修正投影領域とする。

なお、対象物の位置を予測位置から予測する構成にて、各対象物にＰ個設定される予測位置に基づいて対象物相互の前後関係を定めることにすると、対象物間での予測位置の組合せの数が膨大となり前後関係の判定や修正処理の負荷が増加する。そこで、対象物判定部５３は、撮像部２に近い対象物から順に注目対象物に設定してその物***置を判定する。これにより、或る注目対象物について推定投影領域の修正や物***置の決定を行う際には、複数の対象物のうち当該注目対象物より前方に位置する前置対象物の物***置は既定となる。対象物隠蔽推定部５３０は、注目対象物の予測位置及び前置対象物の物***置と、それら各位置での推定投影領域とを入力され、注目対象物の各予測位置に対応する推定投影領域から前置対象物の物***置に対応する推定投影領域を除去して修正投影領域を求める。この修正処理では各予測位置の推定投影領域から除去される推定投影領域は各前置対象物について尤もらしい１つに限定される。対象物判定部５３の処理をこのように構成することで対象物隠蔽推定部５３０での判定精度を高めながら処理量を減ずることができる。

注目対象物の設定順序を決めるために用いる対象物の位置は当該対象物のＰ個の予測位置に基づいて推定される。例えば、対象物それぞれのＰ個の予測位置の平均位置を当該対象物の推定位置とすることができる。

ちなみに、相互距離が近い対象物同士では、推定された前後関係にて前方と判断された対象物の物***置よりも注目対象物の予測位置の方が撮像部２に近い場合が生じ得る。この場合には対象物隠蔽推定部５３０を、当該予測位置の推定投影領域から、前置とされた対象物の物***置に対応する推定投影領域を除去しない、つまり当該予測位置に対応する推定投影領域そのものを尤度算出部５３１へ出力する構成としてもよい。

尤度算出部５３１は、各予測位置にて対象物が監視画像上にて設置物及び他の対象物により隠蔽されない非隠蔽領域として、対象物隠蔽推定部５３０から推定投影領域又は修正投影領域を入力される。そして、当該非隠蔽領域における対象物の特徴量を監視画像から抽出し、特徴量の抽出度合いに応じた、当該予測位置の物***置としての尤度を算出して物***置算出部５３２へ出力する。下記（１）〜（４）は尤度の算出方法の例である。

（１）変化画素抽出部５１により抽出された変化画素に非隠蔽領域を重ね合わせ、変化画素が当該非隠蔽領域に含まれる割合（包含度）を求める。包含度は、予測位置が現に対象物が存在する位置に近いほど高くなり、遠ざかるほど低くなりやすい。そこで、当該包含度に基づいて尤度を算出する。

（２）監視画像における非隠蔽領域の輪郭に対応する部分からエッジを抽出する。予測位置が現に対象物が存在する位置に近いほど、非隠蔽領域の輪郭がエッジ位置と一致するため、エッジの抽出度（例えば抽出されたエッジ強度の和）は増加し、一方、遠ざかるほど抽出度は減少しやすい。そこで、エッジの抽出度に基づいて尤度を算出する。

（３）各対象物の過去の物***置において監視画像から抽出された特徴量を当該対象物の参照情報として記憶部４に記憶する。予測位置が現に対象物が存在する位置に近いほど背景や他の対象物の特徴量が混入しなくなるため、非隠蔽領域から抽出された特徴量と参照情報との類似度は高くなり、一方、遠ざかるほど類似度は低くなりやすい。そこで、監視画像から非隠蔽領域内の特徴量を抽出し、抽出された特徴量と参照情報との類似度を尤度として算出する。ここでの特徴量として例えば、エッジ分布、色ヒストグラム又はこれらの両方など、種々の画像特徴量を利用することができる。

（４）また上述した包含度、エッジの抽出度、類似度のうちの複数の度合いの重み付け加算値に応じて尤度を算出してもよい。

このように設置物隠蔽推定部５０及び対象物隠蔽推定部５３０により推定された非隠蔽領域を利用することで、各対象物の隠蔽状態に適合した尤度を算出できるので追跡の信頼性が向上する。

物***置算出部５３２は、対象物の予測位置ごとに算出された尤度で複数の予測位置を重み付けし、当該尤度によって各予測位置に対象物が存在する可能性に重み付けた複数の予測位置に基づいて当該対象物の位置（物***置）を判定し、判定結果を記憶部４に対象物ごとに時系列に蓄積する。なお、全ての尤度が所定の下限値（尤度下限値）未満の場合は物***置なし、つまり消失したと判定する。下記（１）〜（３）は物***置の算出方法の例である。
（１）対象物ごとに、尤度を重みとする予測位置の重み付け平均値を算出し、これを当該対象物の物***置とする。
（２）対象物ごとに、最大の尤度が算出された予測位置を求め、これを物***置とする。
（３）対象物ごとに、予め設定された尤度閾値以上の尤度が算出された予測位置の平均値を算出し、これを物***置とする。ここで、尤度閾値＞尤度下限値である。

異常判定部５４は、記憶部４に蓄積された時系列の物***置を参照し、長時間滞留する不審な動きや通常動線から逸脱した不審な動きを異常と判定し、異常が判定されると出力部６へ異常信号を出力する。

出力部６は、警告音を出力する音響出力手段、異常が判定された監視画像を表示する表示手段、又は通信回線を介して警備会社のセンタ装置へ送信する通信手段などを含んで構成され、異常判定部５４から異常信号が入力されると異常発生の旨を外部へ出力する。

［事前処理］
次に、制御部５が設置物隠蔽推定部５０により行う事前処理を説明する。

図４は事前処理の概略のフロー図である。事前処理が開始されると、制御部５は撮像部２から見た各設置物の背後領域を隠蔽位置として算出する（Ｓ１）。具体的には、基準面内の点のうち、カメラ位置とを結ぶ投影線上に設置物が存在する点の集合が隠蔽位置に設定される。図５は、図２に示す設置物モデル１０３，１０４に対応して設定される隠蔽位置を示す模式図である。図５において、基準面の座標系２００における撮像部２の位置が点２０１で示されており、撮像部２から見た背後領域となる領域２０２内が設置物＃１（設置物モデル１０３）の隠蔽位置、また同じく背後領域となる領域２０３内が設置物＃２（設置物モデル１０４）の隠蔽位置と判定される。

制御部５は、カメラパラメータ４１を参照し、各設置物モデルを監視画像の座標系に投影して設置物投影領域を算出する（Ｓ２）。図６は推定投影領域の算出処理を説明する模式図である。図６には、設置物モデル１０４を投影した仮想画像２１０が示されており、当該仮想画像２１０の白抜き部分が設置物＃２に対応する設置物投影領域である。

制御部５は各設置物モデルについて設置物投影領域を算出すると、続いて、基準面内の各位置（Ｘ，Ｙ）について順次、推定投影領域を求めるループ処理（Ｓ３〜Ｓ９）を開始する。当該処理では基準面内の各位置が順次、注目位置に設定され（Ｓ３）、注目位置に配置された対象物モデルだけからなる仮想空間の三次元モデルを生成し（Ｓ４）、投影処理を行って対象物投影領域を算出する（Ｓ５）。つまり、ステップＳ４，Ｓ５では、注目位置に配置した対象物モデルをカメラパラメータ４１を参照して監視画像の座標系に投影し、対象物投影領域が算出される。図６において、画像２２１は図５にて点２２０で示す注目位置（Ｘ_ｎ１，Ｙ_ｍ１）に対象物モデルを配置して投影した画像の模式図であり、仮想画像２２１の白抜き部分が対象物投影領域である。

制御部５はステップＳ１で算出した隠蔽位置を参照し、注目位置がいずれかの設置物の隠蔽位置であるか否かを調べる。注目位置を隠蔽位置とする設置物が存在する場合には（ステップＳ６にて「ＹＥＳ」の場合）、当該注目位置に対象物モデルを配置して得られた対象物投影領域から当該設置物について算出された設置物投影領域を除いた領域を推定投影領域として算出し、注目位置と対応付けて推定投影領域データ４２として記憶部４に保存する。なお、注目位置を隠蔽位置とする設置物が複数存在する場合は、それら全ての設置物投影領域を対象物投影領域から除く。

一方、注目位置を隠蔽位置とする設置物が存在しない場合には（ステップＳ６にて「ＮＯ」の場合）、当該注目位置に対象物モデルを配置して得られた対象物投影領域そのままを推定投影領域とし注目位置と対応付けて推定投影領域データ４２として記憶部４に保存する。

図５にて注目位置（Ｘ_ｎ１，Ｙ_ｍ１）は設置物＃２の隠蔽位置であるため、図６に示すように、点２２０に配置した対象物モデルの投影領域（仮想画像２２１の白抜き部分）から設置物＃２の投影領域（仮想画像２１０の白抜き部分）を除いた推定投影領域（仮想画像４３−３の白抜き部分）が算出される。

設置物隠蔽推定部５０は基準面内の位置（Ｘ，Ｙ）全てが処理済みになるまでステップＳ３〜Ｓ８を繰り返す（Ｓ９にて「ＮＯ」の場合）。一方、全ての位置について処理済みとなると（Ｓ９にて「ＹＥＳ」の場合）事前処理を終了する。

図５，図６を用いて説明した上述の事前処理は、設置物モデル及び各位置での対象物モデルを投影して二値化画像（図６の仮想画像２１０，２２１）を生成する際に三次元の仮想空間から二次元の投影面への変換を行い、推定投影領域の生成はそれら二値化画像の０又は１である画素値を用いた論理演算により行われる。すなわち、上述の事前処理では設置物モデルと対象物モデルとを別々に投影した後、設置物モデルによる対象物モデルの非隠蔽部分を計算する。

推定投影領域を生成する事前処理は上述の処理以外の方法によって行うこともできる。図７は事前処理の方法の他の例を説明するための三次元モデル４０の一例を模式的に示す斜視図であり、仮想空間の基準面１００、カメラ位置１０１、対象物モデル１０２、及び設置物＃１，＃２の設置物モデル１０３，１０４の配置例を示している。ちなみに対象物モデル１０２の配置は図５に示す例と同じとしており、仮想空間内の座標（Ｘ_ｎ１，Ｙ_ｍ１，Ｚ）に配置される。この事前処理では、設置物モデル及び対象物モデルの双方を配置した三次元モデルを監視画像を模した平面（投影面）３００に投影することにより、設置物モデルによる隠蔽部分が除去された対象物モデルの像が直接的に算出される。具体的には、カメラパラメータ４１を用いてカメラ位置１０１から投影面３００の各座標（ｘ，ｙ）を通る視線を算出する。当該視線が最初に三次元モデルと交差する点が対象物モデル上の点である場合、投影面の座標（ｘ，ｙ）の画素は推定投影領域を構成する画素と判定され、一方、視線が対象物モデルと交差しない場合や、対象物モデルと交差してもそれより手前で設置物と交差する場合は、座標（ｘ，ｙ）の画素は推定投影領域を構成しないと判定される。例えば、投影面３００上の点３１０を通る視線３１１が三次元モデルと最初に交差する点は対象物モデル１０２上の点３１２であるので、投影面３００上の点３１０は推定投影領域を構成する画素と判定される。一方、投影面３００上の点３２０を通る視線３２１は設置物モデル１０４上の点３２２にて三次元モデルと最初に交差し、さらにその先で対象物モデル１０２とも交差する。この場合、投影面３００上の点３２０は推定投影領域を構成しないと判定される。

なお、事前処理は移動物体追跡装置１とは別の装置で行い、当該装置で生成された推定投影領域データ４２を移動物体追跡装置１の記憶部４に格納する構成としてもよい。

［移動物体追跡装置１の動作］
次に、移動物体追跡装置１の追跡動作を説明する。図８は移動物体追跡装置１の追跡処理の概略のフロー図である。

撮像部２は、監視空間を撮像するたびに監視画像を制御部５に入力する（Ｓ２０）。以下、最新の監視画像が入力された時刻を現時刻、最新の監視画像を現画像と呼ぶ。

現画像は変化画素抽出部５１により背景画像と比較され、変化画素抽出部５１は変化画素を抽出する（Ｓ２１）。ここで、孤立した変化画素はノイズによるものとして抽出結果から除外する。なお、背景画像が無い動作開始直後は、現画像を背景画像として記憶部４に記憶させ、便宜的に変化画素なしとする。

また、位置予測部５２は追跡中の各対象物に対して動き予測に基づきＰ個の予測位置を設定する（Ｓ２２）。なお、後述するステップＳ３５にて新規出現であると判定された対象物の予測位置は動き予測不能なため出現位置を中心とする広めの範囲にＰ個の予測位置を設定する。また、後述するステップＳ３５にて消失と判定された対象物の予測位置は削除する。

制御部５は、ステップＳ２１にて変化画素が抽出されず、かつステップＳ２２にて予測位置が設定されていない（追跡中の対象物がない）場合（Ｓ２３にて「ＹＥＳ」の場合）はステップＳ２０に戻り、次の監視画像の入力を待つ。

一方、ステップＳ２３にて「ＮＯ」の場合は、ステップＳ２４〜Ｓ３５の処理を行う。まず、制御部５は対象物の前後関係を判定する（Ｓ２４）。具体的には、対象物ごとに予測位置の重心（平均値）とカメラ位置との距離を算出し、距離の昇順に対象物の識別子を並べた前後関係リストを作成する。

制御部５は前後関係リストの先頭から順に各対象物を順次、注目対象物に設定する（Ｓ２５）。続いて、制御部５は注目対象物の各予測位置を順次、注目位置に設定する（Ｓ２６）。但し、監視画像の視野外である予測位置は注目位置の設定対象から除外する。

対象物隠蔽推定部５３０は記憶部４に事前処理で保存されている推定投影領域データ４２から、注目位置に対応する推定投影領域を読み出す（Ｓ２７）。続いて、対象物隠蔽推定部５３０は、前後関係リストを参照して注目対象物より手前の対象物があれば（Ｓ２８にて「ＹＥＳ」の場合）、手前の対象物の物***置に対応する推定投影領域を推定投影領域データ４２から取得し（Ｓ２９）、これを注目対象物の推定投影領域から除去し注目対象物の推定投影領域を修正する処理を行う（Ｓ３０）。なお、手前に複数の対象物があれば、それら全てについて注目対象物の推定投影領域からの除外を試みてもよいし、それらのうちカメラ位置から物***置への投影線が注目対象物への投影線となす角度が幅Ｗに相当する角度未満の対象物のみに絞って除外処理を実行してもよい。一方、手前に対象物がなければ（Ｓ２８にて「ＮＯ」の場合）、注目対象物の推定投影領域に対する修正処理は行われない。

図９は注目対象物より手前の対象物による隠蔽部分を除去した推定投影領域を求める修正処理を説明する模式図である。図９は注目位置（Ｘ_ｎ１，Ｙ_ｍ１）における注目対象物Ａに対する修正処理を例示している。対象物隠蔽推定部５３０は前後関係リストを参照し、物***置（Ｘ_ｎ２，Ｙ_ｍ２）にある対象物Ｂは注目対象物Ａより手前であると判定する。そして、予測位置（Ｘ_ｎ１，Ｙ_ｍ１）に対応する注目対象物Ａの推定投影領域（画像４３−３の白抜き部分）から対象物Ｂの物***置に対応する推定投影領域（画像４３−４の白抜き部分）を除くことで、注目対象物Ａの修正された推定投影領域（画像４００の白抜き部分）を算出する。

修正処理によって、注目位置での注目対象物の推定投影領域のうち手前の対象物により隠蔽されない部分が求められると、尤度算出部５３１は当該注目位置に対する尤度を算出する（Ｓ３１）。

制御部５は、尤度が算出されていない予測位置が残っている場合（Ｓ３２にて「ＮＯ」の場合）、ステップＳ２６〜Ｓ３１を繰り返す。Ｐ個全ての予測位置について尤度が算出されると（Ｓ３２にて「ＹＥＳ」の場合）、物***置算出部５３２が注目対象物の各予測位置と当該予測位置のそれぞれについて算出された尤度とを用いて注目対象物の物***置を算出する（Ｓ３３）。現時刻について算出された物***置は１時刻前までに記憶部４に記憶させた注目対象物の物***置と対応付けて追記される。なお、新規出現した対象物の場合は新たな識別子を付与して登録する。また、全ての予測位置での尤度が尤度下限値未満の場合は物***置なしと判定する。

制御部５は未処理の対象物が残っている場合（Ｓ３４にて「ＮＯ」の場合）、当該対象物について物***置を判定する処理（ステップＳ２５〜Ｓ３３）を繰り返す。一方、全ての対象物について物***置を判定すると、物体の新規出現と消失を判定する（Ｓ３５）。具体的には、制御部５は各物***置に対応する推定投影領域を合成して、変化画素抽出部５１により抽出された変化画素のうち合成領域外の変化画素を検出し、検出された変化画素のうち近接する変化画素同士をラベリングする。ラベルが対象物とみなせる大きさであれば新規出現の旨をラベルの位置（出現位置）とともに記憶部４に記録する。また、物***置なしの対象物があれば当該対象物が消失した旨を記憶部４に記録する。以上の処理を終えると、次時刻の監視画像に対する処理を行うためにステップＳ２０へ戻る。

上記実施形態では移動物体追跡装置１は１つの撮像部２を用いて対象物の推定投影領域に基づく対象物の追跡を行った。別の実施形態として、同期制御された複数の撮像部２により撮像された監視画像を処理して対象物の推定投影領域に基づく追跡を行う構成とすることもできる。この場合、カメラパラメータ４１は各撮像部２に対して設定され、撮像部２ごとに事前処理が行われて撮像部２ごとに各位置と推定投影領域とを対応付けた推定投影領域データ４２が作成され記憶される。三次元モデル４０及び予測位置は複数の撮像部２間で共有する。前置対象物による注目対象物の隠蔽に伴う修正処理及び修正された推定投影領域を用いた尤度算出は各撮像部２の監視画像及び推定投影領域データ４２を用いて撮像部２ごとに行われる。撮像部２ごとに算出された尤度のうち同じ予測位置に関する尤度が統合されて各予測位置の統合尤度が算出され、統合尤度に基づき物***置が判定される。

上記実施形態では人物を対象物として追跡を行ったが対象物はこれに限らず、車両等の移動物体とすることもできる。

１ 移動物体追跡装置、２ 撮像部、３ 設定入力部、４ 記憶部、５ 制御部、６ 出力部、４０ 三次元モデル、４１ カメラパラメータ、４２ 推定投影領域データ、４３ 推定投影領域、５０ 設置物隠蔽推定部、５１ 変化画素抽出部、５２ 位置予測部、５３ 対象物判定部、５４ 異常判定部、１００ 基準面、１０１ カメラ位置、１０２ 対象物モデル、１０３，１０４ 設置物モデル、５３０ 対象物隠蔽推定部、５３１ 尤度算出部、５３２ 物***置算出部。

Claims (4)

1. 設置物が設置された実空間が予め定められた投影条件で投影された実写画像に基づいて前記実空間における対象物の存在を判定する対象物画像判定装置であって、
   前記対象物が存在していない前記実空間を模した仮想空間が前記投影条件にて投影された仮想画像内において当該仮想空間に配置された前記対象物の立体モデルが前記設置物により隠蔽されずに投影される画像領域を前記対象物の推定投影領域とし、当該立体モデルが配置された前記仮想空間内の位置と対応付けて予め記憶する記憶部と、
   前記実空間の前記実写画像、及び当該実空間にて前記対象物が存在し得る候補位置を入力され、当該候補位置に対応する前記推定投影領域を前記記憶部から読み出して、入力された前記実写画像における当該推定投影領域の画像特徴から前記対象物の存在を判定する対象物判定部と、
   を有することを特徴とする対象物画像判定装置。
2. 請求項１に記載の対象物画像判定装置において、
   前記対象物判定部は、
   複数の前記対象物について前記候補位置を入力された場合に、当該候補位置から前記対象物相互の前記実写画像における前後関係を求め、
   当該複数の対象物のそれぞれを注目対象物に設定し、前記記憶部から読み出した当該注目対象物の前記推定投影領域に対して前記前後関係にて当該注目対象物より前に位置する前置対象物の前記推定投影領域との重複部分を除く修正処理を行ってから当該注目対象物の存在を判定すること、
   を特徴とする対象物画像判定装置。
3. 請求項２に記載の対象物画像判定装置において、
   前記対象物判定部は、
   前記対象物ごとに複数の前記候補位置を入力され、前記注目対象物について当該複数の候補位置ごとに前記推定投影領域における前記画像特徴の対象物らしさの度合いを算出し、当該度合いにて前記対象物の存在する可能性に重み付けた前記複数の候補位置を用いて当該注目対象物の存在位置を判定し、
   前記修正処理において、前記注目対象物に対する前記前置対象物について前記存在位置が求められている場合には、当該前置対象物の前記推定投影領域として前記存在位置に対応するものを用いること、
   を特徴とする対象物画像判定装置。
4. 請求項３に記載の対象物画像判定装置において、
   前記対象物判定部は、前記前後関係にて前から後へ向かう順序で前記注目対象物を設定すること、を特徴とする対象物画像判定装置。

Images