JP6548682B2 - 対象物画像判定装置 - Google Patents

Description

本発明は、画像における対象物の像の存在を判定する対象物画像判定装置に関し、特に什器等の設置物により画像上で隠蔽され得る対象物の像の存在を判定する対象物画像判定装置に関する。

監視空間を撮像した監視画像から人物などの監視対象物の像を抽出したり、当該像の画像特徴に基づいて監視対象物の存在を判定したり追跡したりすることが行われている。監視画像においては常に監視対象物の全体像が観測できるとは限らず、監視空間内の什器や柱、さらには他の人物などによりその一部がしばしば隠蔽される。この隠蔽は監視対象物の観測される大きさや色成分などの画像特徴を変動させるため、検知失敗や追跡失敗の原因となる。

そこで、三次元のモデルを用いて隠蔽をシミュレートすることにより監視画像において隠蔽されていない監視対象物の領域（対象物可視領域）を推定し、対象物可視領域の画像特徴から対象物の像の存在を判定することにより画像特徴の変動による検知失敗や追跡失敗を防ぐことが行われている。

また、このシミュレーションにおける三次元のモデルの投影処理は処理負荷が大きくリアルタイムでの検知や追跡を困難化させるため、事前の投影処理により処理負荷の低減が図られている。

例えば、特許文献１，２に記載の対象物画像判定装置では、人物等の対象物、および監視空間の設置物それぞれについて予め三次元モデルの投影を行って、対象物モデル像および設置物モデル像それぞれと床面座標との対応関係、並びに設置物により隠蔽が生じる床面位置のマップを生成して記憶部に格納しておき、人物位置が隠蔽位置であれば、当該人物位置に対応する対象物モデル像から設置物モデル像との重複部分を除外して対象物可視領域を求める。

特開２０１２−１０８５７４号公報 特開２０１２−１５５５９５号公報

しかしながら、従来技術では、設置物ごとのモデル投影像や床面座標ごとの対応関係を格納していたため、監視空間の複雑さや広さに応じて記憶容量を増やさなければならず、また、設置物のレイアウト変更等に際して事前処理の手間が大きくなるという問題があった。

すなわち、従来技術では、床面上の隠蔽位置と二次元の設置物モデル像（いわば設置物の垂直断面）とを対応付けていたため、カメラから見て奥行き方向に凹凸のある複雑な設置物については、隠蔽位置を複数設定して隠蔽位置ごとに異なる設置物のモデル像を記憶させなくてはならなかった。

また、従来技術では、設置物ごとに設置物モデル像を記憶させていたため、設置物の数が増加すると、設置物モデル像を記憶させるための容量を増やさなければならなかった。

また、従来技術では、監視空間内での位置ごとに隠蔽の有無および設置物モデル像との対応関係を記憶させていたため、監視空間の広さに応じて隠蔽の有無および設置物モデル像との対応関係を記憶させるための容量を増やさなければならなかった。

さらに、従来技術では、立位の人物のように奥行きの幅が無視できる物体を監視対象物としており、倒れている人物（臥位の人物）のように手前と奥とで隠蔽状況が異なり得る監視対象物に対する推定精度が低下していた。

本発明は上記問題を鑑みてなされたものであり、監視空間の複雑さや広さが増しても設置物について必要な記憶容量の変わらない対象物画像判定装置を提供することを目的とする。また、本発明は、臥位の人物のように奥行きの長い監視対象物についても、その像の存在を高精度に判定できる対象物画像判定装置を提供することを別の目的とする。

（１）本発明に係る対象物画像判定装置は、撮影手段により所定の三次元空間を撮影した画像における対象物の像の存在を、前記三次元空間における所定の線形部分空間にて定義される長手方向の主軸を有した前記対象物の立体モデルを用いて判定する装置であって、前記撮影手段の視線ベクトルの前記線形部分空間に直交する成分の大きさを射影距離と定義し、前記画像の各画素に対応付けて、当該画素に対応する前記視線ベクトルの前記三次元空間内の設置物までの前記射影距離を記憶した設置物距離記憶手段と、前記対象物が存在し得る前記三次元空間内の候補位置を設定する候補設定手段と、前記候補位置での前記立体モデルを前記画像の座標系に投影したモデル像を出力するモデル像出力手段と、前記候補位置までの前記射影距離を算出するモデル距離算出手段と、前記立体モデルの前記モデル像を構成する画素のうち、当該画素に対応して前記設置物距離記憶手段に記憶されている前記射影距離が当該立体モデルの前記候補位置までの前記射影距離以上である画素を対象物可視画素と推定する可視領域推定手段と、前記画像における前記対象物可視画素の画像特徴から前記対象物の像の存在を判定する対象物判定手段と、を有する。

（２）上記（１）に記載の対象物画像判定装置において、前記線形部分空間は鉛直方向の直線であり、前記射影距離は前記視線ベクトルを水平面に正射影した像の長さで定義される水平距離である構成とすることができる。

（３）上記（１）および（２）に記載の対象物画像判定装置において、前記線形部分空間は直線であり、前記射影距離は、前記主軸に直交する第１軸及び第２軸を座標軸に有した直交座標系における前記視線ベクトルの前記第１軸及び前記第２軸各方向の成分の大きさで定義される第１距離及び第２距離であり、前記設置物距離記憶手段は、前記設置物までの前記視線ベクトルの前記第１距離及び前記第２距離を記憶し、前記モデル距離算出手段は、前記候補位置までの前記視線ベクトルの前記第１距離及び前記第２距離を算出し、前記可視領域推定手段は、前記第１距離又は前記第２距離を用いて前記対象物可視画素を推定する構成とすることができる。

（４）上記（１）に記載の対象物画像判定装置において、前記線形部分空間は水平面であり、前記射影距離は前記視線ベクトルを鉛直軸に正射影した像の長さで定義される鉛直距離である構成とすることができる。

（５）上記（１）から（４）に記載の対象物画像判定装置において、前記モデル像出力手段は、前記対象物の前記立体モデルを記憶した立体モデル記憶手段と、前記立体モデルを前記候補位置に配置して前記画像の座標系に投影し、前記モデル像を生成するモデル像生成手段と、を有する構成とすることができる。

（６）上記（１）から（４）に記載の対象物画像判定装置において、前記モデル像出力手段は、前記三次元空間内の各位置での前記対象物の前記モデル像を記憶したモデル像記憶手段と、前記モデル像記憶手段から前記候補位置に対応して記憶されている前記モデル像を読み出すモデル像読み出し手段と、を有する構成とすることができる。

本発明によれば、監視空間の複雑さや広さが増しても設置物について必要な記憶容量を増やすことなく、監視対象物の像の存在を高速かつ高精度に判定できる。また、本発明によれば、奥行きの長い監視対象物についてもその像の存在を高精度に判定できる。

本発明の実施形態に係る移動物体追跡装置のブロック構成図である。 本発明の実施形態に係る移動物体追跡装置の概略の機能ブロック図である。 モデル像出力手段の機能ブロック図である。 候補姿勢に応じたモデル距離の具体的な定義を説明するための監視空間の模式図である。 設置物による隠蔽を判断する際の立体モデルの位置を立体モデルの主軸に垂直な平面に沿った距離で表すことの意義を説明するための監視空間の模式的な断面図である。 設置物距離の具体例を説明するための模式図である。 候補姿勢が立位である場合の可視領域推定手段の処理例を説明する模式図である。 候補姿勢が臥位である場合の可視領域推定手段の処理例を説明する模式図である。 本発明の実施形態に係る移動物体追跡装置の追跡処理の概略のフロー図である。 本発明の実施形態に係る移動物体追跡装置の追跡処理の概略のフロー図である。 設置物隠蔽推定処理の概略のフロー図である。

以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、什器が配置された部屋等のように設置物が存在する屋内外の三次元空間を監視対象の空間とすることができ、当該監視空間内を移動する人物を追跡対象物（以下、対象物と称する）とする。移動物体追跡装置１は監視空間を撮像した監視画像を処理して対象物の検出・追跡を行う。什器等の監視空間内の設置物は対象物のように移動せず予めその設置位置が判っている。設置物の他の例としては柱や給湯器などがある。設置物は画像処理の観点からは対象物の像を隠蔽し得る遮蔽物である。なお、注目している対象物以外の対象物も遮蔽物となり得る。

［移動物体追跡装置１の構成］
図１は、実施形態に係る移動物体追跡装置１のブロック構成図である。移動物体追跡装置１は、撮影部２、記憶部３、画像処理部４および出力部５を含んで構成される。撮影部２、記憶部３および出力部５は画像処理部４に接続される。

撮影部２は、監視カメラであり、監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、画像処理部４へ出力される。専ら床面又は地表面等の基準面に沿って移動する人の位置、移動を把握するため、撮影部２は基本的に人を俯瞰撮影可能な高さに設置され、例えば、本実施形態では移動物体追跡装置１は屋内監視に用いられ、撮影部２は天井に設置される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。

記憶部３は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部３は、各種プログラムや各種データを記憶し、画像処理部４との間でこれらの情報を入出力する。各種データには、対象物や設置物のモデルに関するデータや、カメラパラメータが含まれる。

画像処理部４はＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、撮影部２、記憶部３および出力部５に接続される。画像処理部４は記憶部３からプログラムを読み出して実行することで後述する各手段として機能する。

出力部５は警告音を出力するスピーカー又はブザー等の音響出力手段、異常が判定された監視画像を表示する液晶ディスプレイ又はＣＲＴ等の表示手段などを含んでなり、画像処理部４からアラーム信号が入力されると異常発生の旨を外部へ出力する。また、出力部５は通信回線を介してアラーム信号を警備会社の監視センタに設置されたセンタ装置へ送信する通信手段を含んでもよい。

図２は移動物体追跡装置１の概略の機能ブロック図である。図２に示す構成において、記憶部３は設置物距離記憶手段３０として機能する。また、画像処理部４は仮説設定手段４０、モデル像出力手段４１、モデル距離算出手段４２、可視領域推定手段４３、対象物判定手段４４および異常判定手段４５として機能する。

仮説設定手段４０（候補設定手段）は、過去に判定された各対象物の物***置又は過去に設定された各対象物の候補位置から動き予測を行なって、新たに入力される監視画像において対象物が存在する位置を予測し、その予測された位置（候補位置）をモデル像出力手段４１およびモデル距離算出手段４２へ出力する。

例えば、位置の予測はパーティクルフィルタなどと呼ばれる方法を用いて行うことができる。当該方法は、各対象物に対して多数（その個数をＰで表す。例えば１対象物あたり２００個）の候補位置を順次設定して確率的に対象物の位置（物***置）を判定するものであり、設定される候補位置は仮説などと呼ばれる。候補位置は監視画像のｘｙ座標系で設定することもできるが、本実施形態では監視空間の直交座標系（ＸＹＺ座標系）で設定する。動き予測は過去の物***置に所定の運動モデルを適用するか（下記（１））、又は過去の候補位置に所定の運動モデルを適用すること（下記（２））で行なわれる。

（１）物***置からの予測
注目時刻より前のＴ時刻分（例えばＴ＝５）の物***置から平均速度ベクトルを算出する。この平均速度ベクトルを１時刻前の物***置に加算して注目時刻における物***置を予測する。予測された物***置を中心とする所定範囲にランダムにＰ個の候補位置を設定する。この方法では、過去Ｔ時刻分の物***置が記憶部３に循環記憶される。

（２）候補位置からの予測
注目時刻より前のＴ時刻分（例えばＴ＝５）の候補位置から平均速度ベクトルを算出する。この平均速度ベクトルを１時刻前の候補位置に加算して注目時刻における新たな候補位置を予測する。予測はＰ個の候補位置それぞれに対し行ない、新たな候補位置とその元となった過去の候補位置には同一の識別子を付与して循環記憶する。なお、１時刻前の候補位置のうちその尤度が予め設定された尤度閾値より低いものは削除する。一方、この削除分を補うために、削除した個数と同数の１時刻前の新たな候補位置を１時刻前の予測された物***置を中心とする所定範囲にランダムに設定し、これらの候補位置と対応する２時刻前以前の候補位置を過去の物***置の運動に合わせて外挿し求める。そのために過去の候補位置に加えて、過去Ｔ時刻分の物***置も記憶部３に循環記憶させる。

なお、新規の対象物が検出された場合は、仮説設定手段４０は、その検出位置を中心とする所定範囲にランダムにＰ個の候補位置を設定する。

また、仮説設定手段４０は候補姿勢を仮説に含める。例えば、各対象物の仮説の半数についての候補姿勢に、立っている姿勢（立位）を設定し、残りの半数についての候補姿勢に、倒れている姿勢（臥位）を設定する。

あるいは、仮説設定手段４０は、変化画素のまとまり（変化領域）の形状や移動速度の大きさ等に基づき現在の姿勢が予測できる対象物については、予測した姿勢の仮説を他の姿勢の仮説よりも多く設定することもできる。例えば、追跡中の人物のうち、その候補位置周辺に鉛直方向に長い形状の変化領域が抽出されている人物については、９割の仮説の候補姿勢に立位を設定し、残り１割の候補姿勢に臥位を設定する。

モデル像出力手段４１は、候補位置での対象物の立体モデルを監視画像の座標系に投影したモデル像を可視領域推定手段４３に出力する。図３はモデル像出力手段４１の機能ブロック図であり、モデル像出力手段４１の２種類の構成例を示している。図３に示す構成において、立体モデル記憶手段３００、カメラパラメータ記憶手段３０１およびモデル像記憶手段３０２は記憶部３により実現され、モデル像生成手段４２０およびモデル像読み出し手段４２１は画像処理部４により実現される。

図３（Ａ）に示すモデル像出力手段４１は、対象物の可視領域の推定処理の都度、立体モデルを投影してモデル像を生成する形態であり、立体モデル記憶手段３００、カメラパラメータ記憶手段３０１およびモデル像生成手段４２０でなる。立体モデル記憶手段３００は対象物の立体モデルを記憶しており、また、カメラパラメータ記憶手段３０１は撮影手段のカメラパラメータを記憶している。モデル像生成手段４２０は立体モデル記憶手段３００およびカメラパラメータ記憶手段３０１から立体モデルおよびカメラパラメータを読み出す。そして、モデル像生成手段４２０はカメラパラメータを用いて候補位置での対象物の立体モデルを監視画像の座標系に投影してモデル像を生成し出力する。

図３（Ｂ）に示すモデル像出力手段４１は、立体モデルを事前に投影したモデル像を読み出す形態であり、モデル像記憶手段３０２およびモデル像読み出し手段４２１でなる。モデル像記憶手段３０２は三次元空間内の各位置でのモデル像を記憶しており、モデル像読み出し手段４２１は候補位置に対応して記憶されているモデル像をモデル像記憶手段３０２から読み出して出力する。

あるいは、これらの中間的形態として、三次元空間内の代表位置でのモデル像を記憶しておき、候補位置の代表位置との関係に応じて代表位置でのモデル像に拡大・縮小などの変形処理を施すことによって候補位置のモデル像を生成し出力することもできる。

モデル距離算出手段４２は仮説設定手段４０から仮説として候補位置および候補姿勢を入力され、撮影手段から候補位置までの射影距離を算出し、射影距離を可視領域推定手段４３に出力する。ここで、候補姿勢ごとに、監視空間である三次元空間において立体モデルの長手方向の主軸ベクトルが定義される線形部分空間を主軸ベクトル空間と称すると、射影距離とは、撮影手段の視線ベクトルの主軸ベクトル空間に直交する成分の大きさと定義する。モデル距離算出手段４２が算出する射影距離は、撮影手段であるカメラの視点を始点とし候補位置を終点とする視線ベクトルについての距離である。この撮影手段から候補位置までの射影距離を、後述する撮影手段から設置物までの視線ベクトルについての射影距離と区別するために、モデル距離と称する。

したがってモデル距離算出手段４２は仮説設定手段４０から入力される対象物の候補姿勢に応じてモデル距離の種類を切り替える。図４は候補姿勢に応じたモデル距離の具体的な定義を説明するための監視空間の模式図であり、図４（Ａ）は透視図であり、図４（Ｂ）はＹＺ平面に沿った断面図である。以下、候補姿勢が立位の場合と、臥位の場合とを順次説明する。

（１）候補姿勢が立位の場合
立位の人の立体モデル６００の主軸６０１はＺ軸に平行な方向すなわち鉛直方向であるから、主軸ベクトルは鉛直方向の直線である一次元空間に束縛され、これが主軸ベクトル空間となる。この場合、主軸６０１に対する垂直面であるＸＹ平面が主軸ベクトル空間の直交補空間であり、このＸＹ平面上での視線ベクトルの大きさが射影距離となる。ここでは射影距離を、視線ベクトルを水平面６１０（図４の例では監視空間である部屋の床面）に正射影した像の大きさで定義する。よってモデル距離算出手段４２は鉛直な主軸６０１を有する立体モデル６００に対して撮影手段から候補位置Ｐ_１までの水平距離ｄ_ＨＭ１をモデル距離として算出する。

直交座標系ＸＹＺで表した三次元空間内における撮影手段の位置Ｃの座標を（Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃ）、立位の人の候補位置Ｐ_１の座標を（Ｘ_１，Ｙ_１，Ｚ_１）とすると、モデル距離である水平距離ｄ_ＨＭ１は次式で与えられる。
ｄ_ＨＭ１＝｛（Ｘ_１−Ｘ_Ｃ）^２＋（Ｙ_１−Ｙ_Ｃ）^２｝^１／２ ………（１）

なお、モデル像読み出し手段４２１は、立体モデル６００の厚み２Ｗ_１を考慮に入れ、候補位置Ｐ_１を立体モデル６００の主軸６０１よりも撮影手段にＷ_１だけ近い点６０２と定義してモデル距離を算出してもよい。当該定義は例えば、設置物に壁を含める場合に有効である。この例を含め、候補位置Ｐ_１と立体モデル６００との位置関係は立体モデル６００の厚みの範囲で主軸６０１から前後させて定義可能である。なぜなら、その範囲であればモデル距離と後述する設置物距離との大小関係は保たれ、後述する可視領域推定手段４３は隠蔽の有無の判定を正しく行うことができるからである。

（２）候補姿勢が臥位の場合
臥位の人の立体モデル６２０の主軸６２１はＸＹ平面に平行な方向、すなわち水平方向で方位は様々であるから、主軸ベクトルは水平面である二次元空間に束縛され、これが主軸ベクトル空間となる。この場合、鉛直軸が主軸ベクトル空間の直交補空間であり、射影距離は当該鉛直軸に視線ベクトルを正射影した像の大きさである鉛直距離で定義される。

よって、水平な主軸６２１を有する立体モデル６２０に対して、モデル距離算出手段４２は撮影手段（点Ｃ）から候補位置Ｐ_２までの視線ベクトルの鉛直距離ｄ_ＶＭ２をモデル距離として算出する。候補位置Ｐ_２の座標を（Ｘ_２，Ｙ_２，Ｚ_２）とすると、鉛直距離ｄ_ＶＭ２は次式で与えられる。
ｄ_ＶＭ２＝｜Ｚ_２−Ｚ_Ｃ｜ ………（２）

なお、モデル距離算出手段４２は、立体モデル６２０の厚み２Ｗ_２を考慮に入れ、候補位置Ｐ_２を立体モデル６２０の主軸６２１よりも撮影手段にＷ_２だけ近い点６２２と定義してモデル距離を算出してもよい。当該定義は設置物に床を含める場合に有効である。この例を含め、水平距離の場合と同様の理由により、候補位置Ｐ_２と立体モデル６２０との位置関係は立体モデル６２０の厚みの範囲で主軸６２１から前後（上下）させて定義することができる。

撮影手段の視線ベクトルをそれぞれ水平面及び鉛直軸へ正射影した像の長さである水平距離及び鉛直距離を、視線ベクトルの２種類の射影距離とすると、上述したように、モデル距離算出手段４２は射影距離の種類のうち候補姿勢に対し予め定められた少なくとも１つの指定種類について、撮影手段から候補位置までの視線ベクトルの射影距離をモデル距離として算出する。具体的には本実施形態での指定種類の射影距離は、候補姿勢が立位の場合には水平距離であり、候補姿勢が臥位の場合には鉛直距離である。

以上、候補姿勢に応じてモデル距離を計算する方法を説明した。この方法では、水平距離および鉛直距離はいずれも立体モデルの主軸に垂直な平面に沿った距離である。すなわちいずれの候補姿勢においても、立体モデルの主軸に垂直な平面に沿った距離で、設置物による隠蔽を判断する際の立体モデルの位置を捉える。この方法の意義について図５の模式図を用いつつ説明する。

図５は図４（Ａ）に示す立体モデル６００，６２０の配置例における監視空間のＹＺ平面に沿った模式的な断面図である。立体モデル６００，６２０に対応する候補位置Ｐ_１，Ｐ_２は、立体モデル６００，６２０それぞれの水平面６１０上での中央に位置している。立位の立体モデル６００には候補位置Ｐ_１との比較のための点として主軸６０１に沿った方向の位置（つまりＺ軸座標）が異なる点Ｐ_１ａ，Ｐ_１ｂを例示している。候補位置Ｐ_１が立体モデル６００の床との接地点であるのに対し、点Ｐ_１ａは立体モデル６００の高さの中央に向かう視線ベクトルと立体モデル６００の表面との交点であり、点Ｐ_１ｂは立体モデル６００の頭部に位置する。また臥位の立体モデル６２０には候補位置Ｐ_２との比較のための点として主軸６２１に沿った方向の位置（つまりＹ軸座標）が異なる点Ｐ_２ａ，Ｐ_２ｂを例示している。候補位置Ｐ_２が立体モデル６２０の長手方向の中央における床との接地点であるのに対し、点Ｐ_２ａは候補位置Ｐ_２より撮影手段に近い部位である立体モデル６２０の頭部に向かう視線ベクトルと立体モデル６２０との交点であり、点Ｐ_２ｂは候補位置Ｐ_２より撮影手段から遠い部位である立体モデル６２０の脚部に向かう視線ベクトルと立体モデル６２０との交点である。

図５に見て取れるように、カメラから対象物までの距離は視線ベクトルの向きによって変化する。換言すれば、当該距離は同一の対象物であっても監視画像における画素ごとに異なり得る。ここで、同一対象物について画素ごとに距離を計算すると処理負荷が過大となるのに対し、候補位置に関する距離を同一対象物の各画素に共通に用いれば処理負荷を軽減することができる。その一方、画素ごとに本来相違し得る距離を共通の距離に置き換えた場合、当然ながら誤差が発生し誤った隠蔽状態が推定される可能性が高くなる。

この点に関し、本発明ではカメラから候補位置までの視線ベクトルの大きさを立体モデルの主軸に直交する方向の距離で表し、当該距離を同一対象物の各画素に共通に用いることで、上述の誤差の低減を図っている。

つまり、同一の対象物の立体モデルの各点への視線ベクトルの長さの違いを、視線ベクトルの鉛直方向の成分の違いからの寄与分（鉛直差寄与分とする）と水平方向の成分の違いからの寄与分（水平差寄与分とする）とに分けると、立位の立体モデル６００では鉛直方向のサイズ（対象物である人物の背丈）より水平方向のサイズ（人物の幅）が小さいので、鉛直差寄与分より水平差寄与分が小さくなる。例えば、立体モデル６００に対する３つの視線ベクトルＣＰ_１，ＣＰ_１ａ，ＣＰ_１ｂに関し、主軸６０１に直交する方向（図５ではＹ軸方向）の成分の相違は立体モデル６００の厚み程度となり、主軸６０１に平行な方向（図５ではＺ軸方向）の成分に生じる立体モデル６００の高さ程度の相違より小さくなる。水平距離のように立体モデルの主軸に直交する方向の距離は、Ｚ軸方向の成分が除去されるので、視線ベクトルそのものの長さや視線ベクトルをＺ軸に正射影した像の長さなど、Ｚ軸方向の成分を含んで定義される距離と比較して立体モデル６００全体での差が小さい。よって、候補姿勢が立位の場合には例えば（１）式で与えられる候補位置Ｐ_１の水平距離を同一対象物の各画素に共通に用いることで上述の誤差の低減が図れる。

一方、臥位の立体モデル６２０では水平方向のサイズより鉛直方向のサイズが小さいので、水平差寄与分より鉛直差寄与分が小さくなる。例えば、立体モデル６２０に対する３つの視線ベクトルＣＰ_２，ＣＰ_２ａ，ＣＰ_２ｂに関し、主軸６２１に直交する方向（図５ではＺ軸方向）の成分の相違は立体モデル６２０の高さ（人物の厚み）程度となり、主軸６２１に平行な方向（図５ではＹ軸方向）の成分に生じる立体モデル６２０の長さ（人物の背丈）程度の相違より小さくなる。鉛直距離のように立体モデルの主軸に直交する方向の距離は、Ｙ軸方向の成分が除去されるので、視線ベクトルそのものの長さや視線ベクトルをＹ軸に正射影した像の長さなど、Ｙ軸方向の成分を含んで定義される距離と比較して立体モデル６２０全体での差が小さい。よって、候補姿勢が臥位の場合には例えば（２）式で与えられる候補位置Ｐ_２の鉛直距離を同一対象物の各画素に共通に用いることで上述の誤差の低減が図れる。

設置物距離記憶手段３０は監視画像の各画素に対応付けて、当該画素に対応する視線ベクトルの三次元空間内の設置物までの射影距離を記憶する。この構成では、設置物について必要な記憶容量は監視画像の画素数に応じて決まり、監視空間に存在する設置物の数、監視空間の複雑さや広さが増しても影響を受けない。

なお、本実施形態では候補姿勢に応じて種類が異なる射影距離を用いることとしており、この場合、設置物距離記憶手段３０は、候補姿勢が立位の場合に用いるために撮影手段と候補位置との水平距離を記憶し、かつ候補姿勢が臥位の場合に用いるために鉛直距離を記憶する。すなわち、設置物距離記憶手段３０は監視画像の各画素に対応付けて、当該画素に対応する視線ベクトルの三次元空間内の設置物までの２種類の射影距離を設置物距離として記憶する。

設置物距離記憶手段３０に記憶される撮影手段から設置物までの視線ベクトルに対応する水平距離又は鉛直距離を、上述した撮影手段から候補位置までの視線ベクトルについての水平距離又は鉛直距離であるモデル距離と区別するために、設置物距離と称する。

設置物距離記憶手段３０に格納する設置物距離は、設置物の三次元モデルを用いたシミュレーションによって予め算出されたものであってもよいし、三次元計測器などにより得た実測値に基づいて予め算出されたものであってもよい。

図６は設置物距離の具体例を説明するための模式図である。図６（Ａ）は設置物７００が存在する監視空間の透視図であり、設置物７００の表面の点Ｐ_３〜Ｐ_５が投影された撮影面７１０が示されている。設置物距離記憶手段３０に記憶される水平距離は監視画像の画素数と同数の水平距離群７２０を構成し、図６（Ｂ）は水平距離群７２０を監視画像と同じｘｙ座標系での画像の形式で模式的に表している。同様に、設置物距離記憶手段３０に記憶される鉛直距離は監視画像の画素数と同数の鉛直距離群７３０を構成し、図６（Ｃ）は鉛直距離群７３０を監視画像と同じｘｙ座標系での画像の形式で模式的に表している。

図６（Ａ）に示すように設置物７００の表面の点Ｐ_３〜Ｐ_５に対応する撮影面７１０での投影点がＱ_３〜Ｑ_５であり、当該投影点は水平距離群７２０および鉛直距離群７３０にて画素Ｑ_３〜Ｑ_５として示されている。図６（Ｂ）に示す水平距離群７２０にて画素Ｑ_３〜Ｑ_５それぞれには図６（Ａ）に示す水平距離ｄ_ＨＦ３〜ｄ_ＨＦ５が記憶される。また、図６（Ｂ）では設置物が写っていない画素Ｑ_６の水平距離をｄ_ＨＦ６と表している。図６（Ｃ）に示す鉛直距離群７３０にて画素Ｑ_３〜Ｑ_５それぞれには図６（Ａ）に示す鉛直距離ｄ_ＶＦ３〜ｄ_ＶＦ５が記憶される。また、図６（Ｃ）では設置物が写っていない画素Ｑ_７の鉛直距離をｄ_ＶＦ７と表している。

具体的には、設置物７００の表面の点Ｐ_３の三次元空間における座標を（Ｘ_３，Ｙ_３，Ｚ_３）とし、また撮影手段の位置Ｃと設置物７００の表面の点Ｐ_３とを結ぶ直線と撮影手段の撮影面７１０との交点、すなわち点Ｐ_３のｘｙ平面への投影点Ｑ_３の撮影面７１０における座標（すなわち画素位置）を（ｘ_３，ｙ_３）とすると、設置物距離記憶手段３０には画素Ｑ_３の座標（ｘ_３，ｙ_３）に対応する水平距離ｄ_ＨＦ３、鉛直距離ｄ_ＶＦ３として、
ｄ_ＨＦ３＝｛（Ｘ_３−Ｘ_Ｃ）^２＋（Ｙ_３−Ｙ_Ｃ）^２｝^１／２
ｄ_ＶＦ３＝｜Ｚ_３−Ｚ_Ｃ｜
が記憶される。

設置物７００の表面の別の２点Ｐ_４，Ｐ_５についても同様であり、画素Ｑ_４の座標（ｘ_４，ｙ_４）に対応して設置物距離記憶手段３０には水平距離ｄ_ＨＦ４、鉛直距離ｄ_ＶＦ４として、
ｄ_ＨＦ４＝｛（Ｘ_４−Ｘ_Ｃ）^２＋（Ｙ_４−Ｙ_Ｃ）^２｝^１／２
ｄ_ＶＦ４＝｜Ｚ_４−Ｚ_Ｃ｜
が記憶され、画素Ｑ_５の座標（ｘ_５，ｙ_５）に対応して設置物距離記憶手段３０には水平距離ｄ_ＨＦ５、鉛直距離ｄ_ＶＦ５として、
ｄ_ＨＦ５＝｛（Ｘ_５−Ｘ_Ｃ）^２＋（Ｙ_５−Ｙ_Ｃ）^２｝^１／２
ｄ_ＶＦ５＝｜Ｚ_５−Ｚ_Ｃ｜
が記憶される。

なお、図６（Ｂ）にて画素Ｑ_６での水平距離として例示した、対応する視線方向に設置物の無い画素の水平距離ｄ_ＨＦ６には、モデル距離よりも必ず大きくなる値を設定する。例えばｄ_ＨＦ６の値は監視空間（撮影範囲）に入り得る線分や監視空間にて設定し得る視線ベクトルの最大長以上の値とすることができる。或いは、監視空間が部屋であれば壁を設置物に準ずるものとして扱うこともでき、その場合、ｄ_ＨＦ６は撮影手段から壁までの水平距離とすることができる。

同様に、図６（Ｃ）にて画素Ｑ_７での水平距離として例示した、対応する視線方向に設置物の無い画素の鉛直距離ｄ_ＶＦ７にも、モデル距離よりも必ず大きくなる値を設定する。例えばｄ_ＶＦ７の値は監視空間（撮影範囲）に入り得る線分や監視空間にて設定し得る視線ベクトルの最大長以上の値とすることができる。或いは、床や地面を設置物に準ずるものとして扱うこともでき、その場合、ｄ_ＶＦ７は撮影手段から床までの鉛直距離とすることができる。

可視領域推定手段４３は立体モデルのモデル像を構成する画素のうち、当該画素に対応して設置物距離記憶手段３０に記憶されている設置物距離が当該立体モデルのモデル距離以上である画素を対象物可視画素と推定する。具体的には、可視領域推定手段４３はモデル像出力手段４１から仮説（すなわち候補位置および候補姿勢）に対応したモデル像を入力されるとともに、モデル距離算出手段４２から当該仮説に対応したモデル距離を入力され、当該モデル像のうちの設置物により隠蔽されていない対象物可視領域を推定する。当該推定処理では、モデル像を構成する画素のうち、当該画素に対応する設置物距離がモデル距離以上である画素が対象物可視画素とされ、設置物距離がモデル距離未満である画素が設置物により隠蔽された隠蔽画素とされる。可視領域推定手段４３は推定した対象物可視画素からなる対象物可視領域を対象物判定手段４４に出力する。

なお、上述したようにモデル距離の種類（指定種類）は候補姿勢に応じて切り替わる。可視領域推定手段４３は、指定種類がモデル距離と共通する設置物距離を設置物距離記憶手段３０から読み出して利用する。候補姿勢が立位である場合、すなわちモデル距離が水平距離である場合、可視領域推定手段４３は、モデル像を構成する各画素について、当該画素の設置物距離のうちの水平距離がモデル距離以上である画素を対象物可視領域の画素と推定し、当該設置物距離がモデル距離未満である画素を隠蔽画素と推定する。

図７は候補姿勢が立位である場合の可視領域推定手段４３の処理例を説明する模式図である。例えば、仮説設定手段４０が出力する候補位置および候補姿勢に対応してモデル像出力手段４１から、図４に示す候補位置Ｐ_１に配置した立位の立体モデル６００を撮影面ｘｙに投影したモデル像８００が可視領域推定手段４３に入力される（図７上段）。モデル像８００を構成する画素には図６に示した設置物７００の表面上の点Ｐ_３への視線方向の画素Ｑ_３および設置物の無い点への視線方向の画素Ｑ_６が含まれている。また、仮説設定手段４０が出力する候補位置および候補姿勢に対応してモデル距離算出手段４２からモデル距離ｄ_ＨＭ１が可視領域推定手段４３に入力される。

可視領域推定手段４３は、候補姿勢が立位であることに対応して、設置物距離記憶手段３０に記憶されている設置物距離のうちの水平距離群７２０から、モデル像８００を構成する画素と対応する水平距離（…，ｄ_ＨＦ６，…，ｄ_ＨＦ３，…）を読み出す（図７中段）。

可視領域推定手段４３はモデル像８００を構成する各画素について、モデル距離を当該画素の設置物距離と比較し、モデル距離が設置物距離以下である画素からなる対象物可視領域８０１を推定する（図７下段）。具体的には、画素Ｑ_６は、モデル距離ｄ_ＨＭ１が設置物距離ｄ_ＨＦ６未満であるため、対象物可視領域８０１を構成する可視画素と判定される。一方、画素Ｑ_３は、モデル距離ｄ_ＨＭ１が設置物距離ｄ_ＨＦ３より大きいため対象物可視領域８０１を構成する可視画素と判定されない。

また、候補姿勢が臥位である場合、すなわちモデル距離が鉛直距離である場合、可視領域推定手段４３は、モデル像を構成する各画素について、当該画素の設置物距離のうちの鉛直距離がモデル距離以上である画素を対象物可視領域の画素と推定し、当該設置物距離がモデル距離未満である画素を隠蔽画素と推定する。

図８は候補姿勢が臥位である場合の可視領域推定手段４３の処理例を説明する模式図である。例えば、仮説設定手段４０が出力する候補位置および候補姿勢に対応してモデル像出力手段４１から、図４に示す候補位置Ｐ_２に配置した臥位の立体モデル６２０を撮影面ｘｙに投影したモデル像８１０が可視領域推定手段４３に入力される（図８上段）。モデル像８１０を構成する画素には図６に示した設置物７００の表面上の点Ｐ_５への視線方向の画素Ｑ_５および設置物の無い点への視線方向の画素Ｑ_７が含まれている。また、仮説設定手段４０が出力する候補位置および候補姿勢に対応してモデル距離算出手段４２からモデル距離ｄ_ＶＭ２が可視領域推定手段４３に入力される。

可視領域推定手段４３は、候補姿勢が臥位であることに対応して、設置物距離記憶手段３０に記憶されている設置物距離のうちの鉛直距離群７３０から、モデル像８１０を構成する画素と対応する水平距離（…，ｄ_ＶＦ５，…，ｄ_ＶＦ７，…）を読み出す（図８中段）。

可視領域推定手段４３はモデル像８１０を構成する各画素について、モデル距離を当該画素の設置物距離と比較し、モデル距離が設置物距離以下である画素からなる対象物可視領域８１１を推定する（図８下段）。具体的には、画素Ｑ_７は、モデル距離ｄ_ＶＭ２が設置物距離ｄ_ＶＦ７未満であるため、対象物可視領域８１１を構成する可視画素と判定される。一方、画素Ｑ_５は、モデル距離ｄ_ＶＭ２が設置物距離ｄ_ＶＦ５より大きいため対象物可視領域８１１を構成する可視画素と判定されない。

対象物判定手段４４は監視画像における対象物可視画素の画像特徴から対象物の像の存在を判定する。具体的には、対象物判定手段４４は可視領域推定手段４３から対象物可視領域の情報を入力され、監視画像における対象物可視領域の画像特徴から少なくとも対象物の像の存在を判定し、判定結果を異常判定手段４５に出力する。本実施形態では異常判定手段４５はさらに対象物の状態である対象物の位置および対象物の姿勢を判定する。これらの処理は対象物判定手段４４に含まれる変化画素抽出手段４４０、尤度算出手段４４１および位置・姿勢判定手段４４２により行われる。

変化画素抽出手段４４０は、撮影部２から新たに入力された監視画像から変化画素を抽出し、抽出された変化画素の情報を尤度算出手段４４１へ出力する。変化画素の情報は必要に応じて仮説設定手段４０にも出力される。変化画素の抽出は公知の背景差分処理により行われる。すなわち変化画素抽出手段４４０は、新たに入力された監視画像と背景画像との差分処理を行って差が予め設定された差分閾値以上である画素を変化画素として抽出する。変化画素は対象物が存在する領域に対応して抽出され得る。変化画素抽出手段４４０は背景画像として、監視領域に対象物が存在しない状態での監視画像を記憶部３に格納する。例えば、基本的に管理者は監視領域に対象物が存在しない状態で移動物体追跡装置１を起動するので、起動直後の監視画像から背景画像を生成することができる。なお、差分処理に代えて、新たに入力された監視画像と背景画像との相関処理によって変化画素を抽出してもよいし、背景画像に代えて背景モデルを学習して当該背景モデルとの差分処理によって変化画素を抽出してもよい。

尤度算出手段４４１は、各仮説に対して推定された対象物可視領域における対象物の特徴量を監視画像から抽出し、特徴量の抽出度合いに応じた、当該仮説における候補位置の物***置としての尤度を算出して位置・姿勢判定手段４４２へ出力する。下記（１）〜（４）は尤度の算出方法の例である。

（１）変化画素抽出手段４４０により抽出された変化画素に対象物可視領域を重ね合わせ、変化画素が対象物可視領域に含まれる割合（包含度）を求める。包含度は、候補位置が現に対象物が存在する位置に近いほど高くなり、遠ざかるほど低くなりやすい。そこで、当該包含度に基づいて尤度を算出する。

（２）監視画像における対象物可視領域の輪郭に対応する部分からエッジを抽出する。候補位置が現に対象物が存在する位置に近いほど、対象物可視領域の輪郭がエッジ位置と一致するため、エッジの抽出度（例えば抽出されたエッジ強度の和）は増加し、一方、遠ざかるほど抽出度は減少しやすい。そこで、エッジの抽出度に基づいて尤度を算出する。

（３）各対象物の過去の物***置において監視画像から抽出された特徴量を当該対象物の参照情報として記憶部３に記憶する。候補位置が現に対象物が存在する位置に近いほど背景や他の対象物の特徴量が混入しなくなるため、対象物可視領域から抽出された特徴量と参照情報との類似度は高くなり、一方、遠ざかるほど類似度は低くなりやすい。そこで、監視画像から対象物可視領域内の特徴量を抽出し、抽出された特徴量と参照情報との類似度を尤度として算出する。ここでの特徴量として例えば、エッジ分布、色ヒストグラム又はこれらの両方など、種々の画像特徴量を利用することができる。

（４）また上述した包含度、エッジの抽出度、類似度のうちの複数の度合いの重み付け加算値に応じて尤度を算出してもよい。

このように可視領域推定手段４３により推定された対象物可視領域を利用することで、各対象物の隠蔽状態に適合した尤度を算出できるので追跡の信頼性が向上する。

位置・姿勢判定手段４４２は、対象物の各仮説、および当該仮説ごとに算出された尤度から当該対象物の位置（物***置）を判定し、判定結果を記憶部３に対象物ごとに時系列に蓄積する。なお、全ての尤度が所定の下限値（尤度下限値）未満の場合は物***置なし、つまり消失したと判定する。下記（１）〜（３）は物***置の算出方法の例である。
（１）対象物ごとに、尤度を重みとする候補位置の重み付け平均値を算出し、これを当該対象物の物***置とする。
（２）対象物ごとに、最大の尤度が算出された候補位置を求め、これを物***置とする。
（３）対象物ごとに、予め設定された尤度閾値以上の尤度が算出された候補位置の平均値を算出し、これを物***置とする。ここで、尤度閾値＞尤度下限値である。

上述のように対象物判定手段４４において尤度算出手段４４１および位置・姿勢判定手段４４２は、画像における対象物可視領域の画像特徴から対象物の像の存在を判定する機能を有する。また、対象物判定手段４４は、消失が判定されなかった場合の最高尤度の仮説に設定された候補姿勢を対象物の姿勢と判定する。

異常判定手段４５は、記憶部３に蓄積された時系列の物***置を参照し、長時間滞留する不審な動きや通常動線から逸脱した不審な動きを異常と判定し、異常が判定されると出力部５へアラーム信号を出力する。

［移動物体追跡装置１の動作］
次に、移動物体追跡装置１の追跡動作を説明する。図９，図１０は移動物体追跡装置１の追跡処理の概略のフロー図である。

画像処理部４は撮影部２が監視空間を撮像するたびに、撮影部２から監視画像を取得する（ステップＳ１）。以下、最新の監視画像が入力された時刻を現時刻、最新の監視画像を現画像と呼ぶ。

現画像は変化画素抽出手段４４０により背景画像と比較され、変化画素抽出手段４４０は変化画素を抽出する（ステップＳ２）。ここで、孤立した変化画素はノイズによるものとして抽出結果から除外する。なお、背景画像が無い動作開始直後は、現画像を背景画像として記憶部３に記憶させ、便宜的に変化画素なしとする。

また、仮説設定手段４０は追跡中の各対象物に対して動き予測に基づきＰ個の仮説（候補姿勢および候補位置）を設定する（ステップＳ３）。なお、後述するステップＳ１６にて新規出現であると判定された対象物の候補位置は動き予測不能なため出現位置を中心とする広めの範囲にＰ個の仮説を設定する。また、後述するステップＳ１６にて消失と判定された対象物の仮説は削除する。

画像処理部４は、ステップＳ２にて変化画素が抽出されず、かつステップＳ３にて仮説が設定されていない（追跡中の対象物がない）場合（ステップＳ４にて「ＹＥＳ」の場合）はステップＳ１に戻り、次の監視画像の入力を待つ。

一方、ステップＳ４にて「ＮＯ」の場合は、ステップＳ５〜Ｓ１６の処理を行う。まず、仮説設定手段４０が対象物の前後関係を判定する（ステップＳ５）。具体的には、仮説設定手段４０は候補位置の重心（平均値）とカメラ位置との距離を算出し、距離の昇順に対象物の識別子を並べた前後関係リストを作成する。

画像処理部４は前後関係リストの先頭から順に各対象物を順次、注目物体に設定する（ステップＳ６）。続いて、画像処理部４は注目物体の各仮説を順次、注目仮説に設定する（ステップＳ７）。但し、監視画像の視野外である候補位置を有する仮説は注目仮説の設定対象から除外し、当該仮説の対象物可視領域は推定せず、尤度を０に設定する。

モデル像出力手段４１は仮説設定手段４０から入力された候補姿勢および候補位置に応じた対象物モデル像を、例えば立体モデル記憶手段３００から読み出した立体モデルをカメラパラメータ記憶手段３０１から読み出したカメラパラメータを用いて監視画像の座標系に投影して生成し、可視領域推定手段４３に出力する（ステップＳ８）。なお、上述したように、モデル像出力手段４１は入力された候補姿勢および候補位置に応じた対象物モデル像をモデル像記憶手段３０２から読み出して可視領域推定手段４３に出力する構成とすることもできる。

可視領域推定手段４３はモデル像出力手段４１から入力された対象物モデル像における設置物による隠蔽を推定する（ステップＳ９）。図１１はステップＳ９の設置物隠蔽推定処理の概略のフロー図である。

モデル距離算出手段４２は仮説設定手段４０から入力された仮説が候補姿勢を立位とする立位仮説であれば（ステップＳ１００にて「ＹＥＳ」の場合）、当該仮説の候補位置について水平距離ｄ_ＨＭを算出し、これをモデル距離として可視領域推定手段４３に出力する（ステップＳ１０１）。

可視領域推定手段４３は、モデル像出力手段４１から入力された対象物モデル像内の画素を順次、注目画素に設定し（ステップＳ１０２）、設置物距離記憶手段３０に設置物距離として監視画像の各画素に対応付けて記憶されている水平距離と鉛直距離のうち、注目画素のｘｙ座標に対応する水平距離ｄ_ＨＦ（ｘ，ｙ）を読み出す（ステップＳ１０３）。

可視領域推定手段４３は設置物距離ｄ_ＨＦ（ｘ，ｙ）をモデル距離ｄ_ＨＭと比較し、設置物距離ｄ_ＨＦ（ｘ，ｙ）がモデル距離ｄ_ＨＭ以上であれば（ステップＳ１０４にて「ＹＥＳ」の場合）、注目画素は対象物可視画素、すなわち設置物により隠蔽されていない非隠蔽画素であると推定し（ステップＳ１０５）、ステップＳ１０６に進む。一方、設置物距離ｄ_ＨＦ（ｘ，ｙ）がモデル距離ｄ_ＨＭ未満であれば（ステップＳ１０４にて「ＮＯ」の場合）、注目画素は設置物により隠蔽されている隠蔽画素として扱われることになり、よって注目画素は対象物可視画素であるとは推定されずにステップＳ１０６に進む。

可視領域推定手段４３は対象物モデル像の全画素について処理が完了するまで（ステップＳ１０６にて「ＮＯ」の場合）、ステップＳ１０２〜Ｓ１０５の処理を繰り返し、全画素について当該処理が完了すると（ステップＳ１０６にて「ＹＥＳ」の場合）、図１０のステップＳ１０に処理を進める。

また、モデル距離算出手段４２は仮説設定手段４０から入力された仮説が候補姿勢を立位とする立位仮説でない場合、つまり臥位仮説である場合（ステップＳ１００にて「ＮＯ」の場合）、当該仮説の候補位置について鉛直距離ｄ_ＶＭを算出し、これをモデル距離として可視領域推定手段４３に出力する（ステップＳ１０７）。

可視領域推定手段４３は、モデル像出力手段４１から入力された対象物モデル像内の画素を順次、注目画素に設定し（ステップＳ１０８）、設置物距離記憶手段３０に設置物距離として監視画像の各画素に対応付けて記憶されている水平距離と鉛直距離のうち、注目画素のｘｙ座標に対応する鉛直距離ｄ_ＶＦ（ｘ，ｙ）を読み出す（ステップＳ１０９）。

可視領域推定手段４３は設置物距離ｄ_ＶＦ（ｘ，ｙ）をモデル距離ｄ_ＶＭと比較し、設置物距離ｄ_ＶＦ（ｘ，ｙ）がモデル距離ｄ_ＶＭ以上であれば（ステップＳ１１０にて「ＹＥＳ」の場合）、注目画素は対象物可視画素、すなわち設置物により隠蔽されていない非隠蔽画素であると推定し（ステップＳ１１１）、ステップＳ１１２に進む。一方、設置物距離ｄ_ＶＦ（ｘ，ｙ）がモデル距離ｄ_ＶＭ未満であれば（ステップＳ１１０にて「ＮＯ」の場合）、注目画素は設置物により隠蔽されている隠蔽画素として扱われることになり、よって注目画素は対象物可視画素であるとは推定されずにステップＳ１１２に進む。

可視領域推定手段４３は対象物モデル像の全画素について処理が完了するまで（ステップＳ１１２にて「ＮＯ」の場合）、ステップＳ１０８〜Ｓ１１１の処理を繰り返し、全画素について当該処理が完了すると（ステップＳ１１２にて「ＹＥＳ」の場合）、図１０のステップＳ１０に処理を進める。

可視領域推定手段４３は、前後関係リストを参照して注目物体より手前の対象物があれば（ステップＳ１０にて「ＹＥＳ」の場合）、手前の対象物の物***置に対応する対象物モデル像の領域を対象物可視領域から除くマスク処理を行って対象物可視領域を更新する（ステップＳ１１）。なお、手前に複数の対象物があれば、それら全てについてマスク処理を試みてもよいし、それらのうちカメラ位置から物***置への投影線が注目物体への投影線となす角度が幅２Ｗに相当する角度未満の対象物のみに絞って除外処理を実行してもよい。一方、手前に対象物がなければ（ステップＳ１０にて「ＮＯ」の場合）、マスク処理は行われない。

設置物及び手前の対象物による隠蔽領域を除去して、注目仮説の候補位置での対象物可視領域が求められると、尤度算出手段４４１によって当該注目仮説に対する尤度算出が行われる（ステップＳ１２）。尤度算出手段４４１は、撮影画像のうち変化画素抽出手段４４０により抽出した変化画素に対応する部分を入力され、当該部分から、注目仮説に対して推定された対象物可視領域における対象物の特徴量を抽出し、特徴量の抽出度合いに応じた、当該仮説の物***置としての尤度を算出して位置・姿勢判定手段４４２へ出力する。

画像処理部４は、尤度が算出されていない仮説が残っている場合（ステップＳ１３にて「ＮＯ」の場合）、ステップＳ７〜Ｓ１２の処理を繰り返す。Ｐ個全ての仮説について尤度が算出されると（ステップＳ１３にて「ＹＥＳ」の場合）、位置・姿勢判定手段４４２が注目物体の各仮説と当該仮説のそれぞれについて算出された尤度とを用いて注目物体の物***置を算出し、また姿勢を判定する（ステップＳ１４）。現時刻について算出された物***置は１時刻前までに記憶部３に記憶させた注目物体の物***置と対応付けて追記される。なお、新規出現した対象物の場合は新たな識別子を付与して登録する。また、全ての予測位置での尤度が尤度下限値未満の場合は物***置なしと判定する。

画像処理部４は未処理の対象物が残っている場合（ステップＳ１５にて「ＮＯ」の場合）、当該対象物について物***置を判定するステップＳ６〜Ｓ１４の処理を繰り返す。一方、全ての対象物について物***置を判定すると（ステップＳ１５にて「ＹＥＳ」の場合）、物体の新規出現と消失を判定する（ステップＳ１６）。具体的には、画像処理部４は各物***置に対して推定された対象物可視領域を合成して、変化画素抽出手段４４０により抽出された変化画素のうち合成領域外の変化画素を検出し、検出された変化画素のうち近接する変化画素同士をラベリングする。ラベルが対象物とみなせる大きさであれば新規出現の旨をラベルの位置（出現位置）とともに記憶部３に記録する。また、物***置なしの対象物があれば当該対象物が消失した旨を記憶部３に記録する。以上の処理を終えると、次時刻の監視画像に対する処理を行うためにステップＳ１へ戻る。

［変形例］
（１）上記実施形態においては、候補姿勢が立位の場合の射影距離として、撮影手段の視線ベクトルを水平面に正射影したベクトルの長さである水平距離を算出し、それぞれ当該水平距離で定義したモデル距離と設置物距離とを大小比較して隠蔽の有無を判定する例を示した。これに対し、水平距離に対応する正射影ベクトルのＸ成分もしくはＹ成分を射影距離と定義し、この定義でのモデル距離と設置物距離とを大小比較することでも隠蔽を判定することができる。

撮影手段の位置Ｃの座標を（Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃ）とし、立位の人の候補位置Ｐ_１（Ｘ_１，Ｙ_１，Ｚ_１）に対する設置物の表面の点Ｐ_３（Ｘ_３，Ｙ_３，Ｚ_３）の隠蔽の有無の判定を例に、本変形例を具体的に説明する。可視領域推定手段４３は例えば、以下の（３ａ）式〜（３ｄ）式のいずれかが成り立てば、候補位置Ｐ_１の立体モデルのモデル像の画素のうちＰ_３に対応する画素が設置物により隠蔽されない、つまり可視画素であると判定する。
|（Ｘ_１−Ｘ_Ｃ）|＞|（Ｙ_１−Ｙ_Ｃ）|、かつ（Ｘ_１−Ｘ_Ｃ）＞０の場合、
（Ｘ_１−Ｘ_Ｃ）＜（Ｘ_３−Ｘ_Ｃ）、すなわちＸ_１＜Ｘ_３ ………（３ａ）
|（Ｘ_１−Ｘ_Ｃ）|＞|（Ｙ_１−Ｙ_Ｃ）|、かつ（Ｘ_１−Ｘ_Ｃ）＜０の場合、
（Ｘ_１−Ｘ_Ｃ）＞（Ｘ_３−Ｘ_Ｃ）、すなわちＸ_１＞Ｘ_３ ………（３ｂ）
|（Ｘ_１−Ｘ_Ｃ）|＜|（Ｙ_１−Ｙ_Ｃ）|、かつ（Ｙ_１−Ｙ_Ｃ）＞０の場合、
（Ｙ_１−Ｙ_Ｃ）＜（Ｙ_３−Ｙ_Ｃ）、すなわちＹ_１＜Ｙ_３ ………（３ｃ）
|（Ｘ_１−Ｘ_Ｃ）|＜|（Ｙ_１−Ｙ_Ｃ）|、かつ（Ｙ_１−Ｙ_Ｃ）＜０の場合、
（Ｙ_１−Ｙ_Ｃ）＞（Ｙ_３−Ｙ_Ｃ）、すなわちＹ_１＞Ｙ_３ ………（３ｄ）

この場合、例えば、モデル距離算出手段４２は、撮影手段から立位の立体モデル６００の候補位置Ｐ_１までの水平距離に対応する正射影ベクトルのＸ成分（Ｘ_１−Ｘ_Ｃ）およびＹ成分（Ｙ_１−Ｙ_Ｃ）を可視領域推定手段４３に出力し、設置物距離記憶手段３０は設置物７００の表面の点Ｐ_３のＸ成分（Ｘ_３−Ｘ_Ｃ）およびＹ成分（Ｙ_３−Ｙ_Ｃ）を記憶しておき可視領域推定手段４３に出力する。この構成では、設置物距離記憶手段３０に立位に対応して記憶する設置物距離のデータ量は、水平距離を記憶する上述の実施形態と比べて２倍となるが、モデル距離の算出にて（１）式に含まれる累乗や平方根の計算が不要となり処理量が軽減できる。

ちなみに、上記実施形態における候補姿勢が臥位の場合に用いる鉛直距離は、撮影手段の視線ベクトルを立体モデル６２０の主軸６２１に直交する鉛直面に正射影したベクトルのＺ成分の大きさであり、本変形例と技術的に共通点を有する。

（２）上記変形例は、立体モデルの長手方向の主軸と、これに直交する第１軸及び第２軸とを座標軸に有した直交座標系を用いて一般化することができる。この一般化した移動物体追跡装置１の構成では、主軸の方向が一定である候補姿勢に対して、視線ベクトルの第１軸及び第２軸各方向の成分の大きさを第１距離および第２距離とし、これら第１距離および第２距離を射影距離とする。設置物距離記憶手段３０は、射影距離として、設置物までの視線ベクトルの第１距離及び第２距離を設置物距離として記憶する。またモデル距離算出手段４２は、射影距離として、候補位置までの視線ベクトルの第１距離及び第２距離をモデル距離として算出する。可視領域推定手段４３は、射影距離として、第１距離又は第２距離で表されたモデル距離と設置物距離とを大小比較して隠蔽の有無を判定し対象物可視画素を推定する。

ここで、立体モデルの主軸の向きは任意であり、鉛直であるか水平であるかは問わない。また座標軸とする第１軸、第２軸は監視空間に設定したＸＹＺ座標系の座標軸とは無関係に定め得る。

なお、上記（１）の変形例における射影距離であるＸ成分、Ｙ成分、また（２）の変形例における射影距離である第１距離、第２距離は、水平距離および鉛直距離に関して上述したように、主軸に垂直な平面上の直線に沿って測られる距離である点で共通する。よって、これら変形例は、立体モデルの主軸に垂直な平面に沿った距離で隠蔽を判断することの上述した意義を共有する。

１ 移動物体追跡装置、２ 撮影部、３ 記憶部、４ 画像処理部、５ 出力部、３０ 設置物距離記憶手段、４０ 仮説設定手段、４１ モデル像出力手段、４２ モデル距離算出手段、４３ 可視領域推定手段、４４ 対象物判定手段、４５ 異常判定手段、３００ 立体モデル記憶手段、３０１ カメラパラメータ記憶手段、３０２ モデル像記憶手段、４２０ モデル像生成手段、４２１ モデル像読み出し手段、４４０ 変化画素抽出手段、４４１ 尤度算出手段、４４２ 位置・姿勢判定手段、６００，６２０ 立体モデル、６０１，６２１ 主軸、６１０ 水平面、７００ 設置物、７１０ 撮影面。

Claims (6)

1. 撮影手段により所定の三次元空間を撮影した画像における対象物の像の存在を、前記三次元空間における所定の線形部分空間にて定義される長手方向の主軸を有した前記対象物の立体モデルを用いて判定する対象物画像判定装置であって、
   前記撮影手段の視線ベクトルの前記線形部分空間に直交する成分の大きさを射影距離と定義し、
   前記画像の各画素に対応付けて、当該画素に対応する前記視線ベクトルの前記三次元空間内の設置物までの前記射影距離を記憶した設置物距離記憶手段と、
   前記対象物が存在し得る前記三次元空間内の候補位置を設定する候補設定手段と、
   前記候補位置での前記立体モデルを前記画像の座標系に投影したモデル像を出力するモデル像出力手段と、
   前記候補位置までの前記射影距離を算出するモデル距離算出手段と、
   前記立体モデルの前記モデル像を構成する画素のうち、当該画素に対応して前記設置物距離記憶手段に記憶されている前記射影距離が当該立体モデルの前記候補位置までの前記射影距離以上である画素を対象物可視画素と推定する可視領域推定手段と、
   前記画像における前記対象物可視画素の画像特徴から前記対象物の像の存在を判定する対象物判定手段と、
   を有することを特徴とする対象物画像判定装置。
2. 前記線形部分空間は鉛直方向の直線であり、前記射影距離は前記視線ベクトルを水平面に正射影した像の長さで定義される水平距離であること、を特徴とする請求項１に記載の対象物画像判定装置。
3. 前記線形部分空間は直線であり、
   前記射影距離は、前記主軸に直交する第１軸及び第２軸を座標軸に有した直交座標系における前記視線ベクトルの前記第１軸及び前記第２軸各方向の成分の大きさで定義される第１距離及び第２距離であり、
   前記設置物距離記憶手段は、前記設置物までの前記視線ベクトルの前記第１距離及び前記第２距離を記憶し、
   前記モデル距離算出手段は、前記候補位置までの前記視線ベクトルの前記第１距離及び前記第２距離を算出し、
   前記可視領域推定手段は、前記第１距離又は前記第２距離を用いて前記対象物可視画素を推定すること、
   を特徴とする請求項１又は請求項２に記載の対象物画像判定装置。
4. 前記線形部分空間は水平面であり、前記射影距離は前記視線ベクトルを鉛直軸に正射影した像の長さで定義される鉛直距離であること、を特徴とする請求項１に記載の対象物画像判定装置。
5. 前記モデル像出力手段は、
   前記対象物の前記立体モデルを記憶した立体モデル記憶手段と、
   前記立体モデルを前記候補位置に配置して前記画像の座標系に投影し、前記モデル像を生成するモデル像生成手段と、
   を有することを特徴とする請求項１から請求項４のいずれか１つに記載の対象物画像判定装置。
6. 前記モデル像出力手段は、
   前記三次元空間内の各位置での前記対象物の前記モデル像を記憶したモデル像記憶手段と、
   前記モデル像記憶手段から前記候補位置に対応して記憶されている前記モデル像を読み出すモデル像読み出し手段と、
   を有することを特徴とする請求項１から請求項４のいずれか１つに記載の対象物画像判定装置。

Images