JP5027758B2

JP5027758B2 - 画像監視装置

Info

Publication number: JP5027758B2
Application number: JP2008210280A
Authority: JP
Inventors: 高晴黒川; 史比古高井
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2008-08-19
Filing date: 2008-08-19
Publication date: 2012-09-19
Anticipated expiration: 2028-08-19
Also published as: JP2010049297A

Description

本発明は、監視空間を撮像した監視画像から対象物体を検出する画像監視装置に関し、特に、対象物体の画像特徴を記憶して当該画像特徴を有する対象物体を、隠蔽を考慮に入れつつ検出する画像監視装置に関する。

侵入者検知等のため、監視空間を撮像した監視画像から監視対象の対象物体に関する画像を抽出し、その画像情報に基づいて対象物体の検出や追跡を行う技術が知られている。下記特許文献１は、現フレームの物体候補領域と直前フレームの物体候補領域とが、それら領域の画像特徴量の類似度に基づいて同一の物体の画像を含むかを判定し、直前フレームの物体候補領域に対応付けられる現フレームの物体候補領域を求めることで移動物体の追跡を行う技術を開示している。

すなわち、前後する時刻における移動物体像を画像特徴により対応付けるにあたり、直前時刻又は数時刻前の移動物体像の画像特徴を逐次記憶して利用する。
特開２００６−３１８０６４号公報

従来は、各時刻の監視画像に現れる１つの対象物をひとまとまりの像、すなわち２次元画像として把握・抽出することが多い。その際、基本的には、対象物体の立体的な構造は捨象されてしまう。しかし、現実には、対象物体は立体的な構造を有し、物体の移動によりカメラの撮影方向に対する物体の配置が変化すると、物体を構成する部分間で生じる隠蔽（オクルージョン）の状態が変化し、カメラが撮影した監視画像上にて物体の見え方が変わる。例えば、カメラで俯瞰撮影する場合、人物がカメラの直下から遠ざかるにつれて、頭に隠されていた胴や、胴に隠されていた脚が画像上に現れてくる。このような隠蔽状態の変化により、直前の１フレーム又は数フレームの画像特徴を記憶する従来の方法では、物体のそれまで隠れていた部分が画像に現れ、新たな画像特徴を生じることに対応できない。そのため、現時刻に撮像された監視画像内に存在する対象物体の像と、記憶されている画像特徴との対応付けが困難となり、対象物体の検出や追跡の継続ができなくなるという問題があった。

本発明は上記問題点を解決するためになされたものであり、対象物体の移動に伴って隠蔽状態が変化しても対象物体の検出や追跡の継続を好適に実現できる画像監視装置を提供することを目的とする。

本発明に係る画像監視装置は、監視空間を透視投影した監視画像についての投影条件と、監視対象となる対象物体の複数の構成部分毎の立体形状を表す部分モデルと当該部分モデル相互の配置関係とで表される前記対象物体の物体モデルと、前記対象物体の前記構成部分毎の参照画像及び参照画像隠蔽度とを記憶する記憶部と、前記監視画像、及び前記監視空間内の位置を入力され、当該位置に前記物体モデルを仮想的に配置して前記投影条件に基づき透視投影を行い、前記部分モデル毎に、その投影像のうち前記透視投影にて手前に位置する他の前記部分モデルによる隠蔽領域を除いた部分モデル可視領域と、前記隠蔽領域による当該投影像の隠蔽度とを求めると共に、前記監視画像から当該部分モデル可視領域に対応する部分を前記対象物体の前記構成部分毎の部分画像として抽出する部分画像抽出手段と、前記対象物体が存在し得る候補位置での前記部分画像と前記参照画像とを複数の前記候補位置について比較し、比較一致した候補位置に基づいて、前記対象物体が存在する物***置を判定する物体判定手段と、前記物***置での前記隠蔽度が前記参照画像隠蔽度以下である前記構成部分について、前記参照画像及び前記参照画像隠蔽度を、当該隠蔽度及び当該物***置での前記部分画像で更新する物体情報更新手段と、を有するものである。

他の本発明に係る画像監視装置においては、前記物体判定手段が、基準位置に配置した前記物体モデルにより得られる基準投影像上に、前記部分画像を前記投影条件に基づいて写像した基準部分画像と、同じく前記基準投影像上に前記参照画像を写像した基準参照画像とが互いに重複する共通領域を求め、当該共通領域において前記基準部分画像と前記基準参照画像とを比較して前記物***置を判定する。この本発明の画像監視装置の好適な態様は、前記物体判定手段が、前記候補位置と、前記参照画像の取得に際して配置された前記物体モデルの位置とのうち視点位置からの距離が遠い方を前記基準位置に設定する画像監視装置である。

別の本発明に係る画像監視装置においては、前記物体判定手段が、前記部分モデルに高さ方向に層をなして複数の水平帯状領域を設定し、前記共通領域を前記水平帯状領域と対応する複数の小領域に分割し、当該小領域毎に前記基準部分画像と前記基準参照画像とを比較する。

本発明によれば、隠蔽が少ない参照画像を保持できるので、対象物体が移動して隠蔽状態が変化しても隠蔽部分の画像情報が参照画像から失われず、対象物体の検出や追跡の精度が向上する。

また、本発明によれば、部分画像と参照画像とのいずれか一方において隠蔽されている領域を除いて比較するので、部分画像と参照画像との互いに対応する領域（共通領域）に基づく比較が行われ、対象物体の検出や追跡の精度が向上する。

また、部分画像と参照画像とのうち視点からの距離が近く解像度が高い一方の画像を、距離が遠く解像度が低い他方の画像に合わせて変換するので、解像度を揃えて比較することができる。すなわち、解像度が高い画像が有する高周波成分により生じる誤差を低減した比較が行われ、対象物体の検出や追跡の精度が向上する。

また、同一構成部分内の高さ方向に複数の異なる画像特徴が分布している対象物体をも精度良く判定できる。

以下、本発明の実施の形態（以下実施形態という）である画像監視装置１について、図面に基づいて説明する。画像監視装置１は、例えば、ビルのエントランスや金融機関のＡＴＭコーナー等の監視空間にて対象物として人を検出・追跡する。画像監視装置１はさらに、その追跡結果に基づいて、例えば、長時間滞留する不審人物を検出し、異常を報知する等の処理を行うように構成されている。

図１は、実施形態に係る画像監視装置１のブロック構成図である。画像監視装置１は、撮像部２、操作部３、記憶部４、制御部５及び出力部６を含んで構成される。

撮像部２は、監視カメラであり、監視空間内に設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は制御部５へ出力される。以下、撮像部２の撮像タイミングを時刻と称する。監視空間をＸ，Ｙ，Ｚ軸からなる直交座標系で表し、鉛直上方をＺ軸の正方向に設定すると、ＸＹ平面内での人の位置、移動を把握するため、撮像部２は基本的に人を俯瞰撮影可能な高さに設置され、例えば、本実施形態では撮像部２は、監視カメラの光軸を鉛直下方（Ｚ軸負方向）に向けて天井に設置される。

操作部３は、管理者が制御部５に対して各種設定を行うための入力手段であり、例えば、タッチパネルディスプレイ等のユーザインターフェース装置である。

記憶部４は、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶装置であり、制御部５に接続される。記憶部４は、制御部５で使用されるプログラムやデータを記憶する。これに記憶されるデータには、物体情報４０、移動軌跡４１、及び撮像条件４２が含まれる。

物体情報４０は、監視空間内に検出された対象物体に関する情報であり、対象物体ごとに識別可能に記憶される。物体情報４０は、物体モデル４００、参照画像４０１、参照画像隠蔽度４０２、参照画像取得位置４０４を含む。

物体モデル４００は、対象物体を構成する複数の構成部分毎の立体形状を表す部分モデルと、それら部分モデル相互の配置関係とを記述したデータである。画像監視装置１が監視対象とする対象物体は人であり、本実施形態では、例えば、人の構成部分として頭部、胴部、脚部の３つが設定される。また、各構成部分の立体形状を近似的に表す部分モデルとして、長軸が鉛直方向に設定され短軸が水平方向に設定された楕円を鉛直軸（Ｚ軸）の周りに回転させて得られる回転楕円体を用いる。図２には、ＸＹＺ空間内での物体モデル４００が模式的に示されている。物体モデル４００は、脚部の部分モデルの下端を床面又は地表面等の基準面（Ｚ＝０）に接地し、その脚部の部分モデルの上に胴部、頭部の部分モデルを順にＺ軸方向に積み重ねた配置関係を有する。基準面から頭部中心までの高さｈ、胴部の最大幅ｗ（胴部短軸直径）は対象物体毎に設定する。高さｈに対する頭部中心から胴部中心までの長さ、頭部中心から脚部中心までの長さ、頭部長軸半径、胴部長軸半径及び脚部長軸半径それぞれの比と、幅ｗに対する頭部短軸半径及び脚部短軸半径それぞれの比とは、各対象物体に共通の値に設定する。このようにして物体モデル４００の高さ及び幅が対象物体毎に設定され、これにより、後述する隠蔽状態の推定及び各構成部分の画像抽出が対象物体の体格差の影響を受けにくくなり、精度良い抽出処理が可能となる。なお、撮像部２との位置関係から、頭部は他の構成部分に隠蔽されにくく、監視画像に良好に現れることから、頭部中心を基準としている。

参照画像４０１は対象物体を特徴付ける画像情報である。参照画像４０１は、対象物体それぞれについて、構成部分毎に記憶される。追跡の過程で撮像部２により撮像された画像から各対象物体の各構成部分の画像（部分画像）が抽出され、当該部分画像のうち後述の処理に従い選択されたものが参照画像４０１として記憶される。以下、構成部分ｐの参照画像４０１をＦ_ｐと表す。

参照画像隠蔽度４０２は、参照画像４０１の隠蔽状態の度合いを表すデータであり、参照画像４０１のそれぞれに対応して記憶される。具体的には、構成部分ｐについて他の構成部分が存在しなければ撮像されたであろう画像のうち、他の構成部分に隠れて参照画像Ｆ_ｐに現れていない部分の割合が当該構成部分ｐの参照画像隠蔽度４０２である。以下、参照画像Ｆ_ｐの参照画像隠蔽度４０２をＥ_ｐと表す。追跡の過程で部分画像の抽出と共に推定される隠蔽度のうち、参照画像Ｆ_ｐとされる部分画像に対応するものが参照画像隠蔽度Ｅ_ｐとして記憶される。

参照画像取得位置４０４は、対象物体のそれぞれの参照画像４０１が取得されたときの当該対象物体の位置であり、参照画像４０１のそれぞれに対応して記憶される。

移動軌跡４１は、各対象物体の位置（以下、物***置）の履歴である。物***置は頭部中心の３次元座標とする。

撮像条件４２は、撮像部２が監視空間を透視投影した監視画像を撮影する際の投影条件に関する情報を含む。例えば、実際の監視空間における撮像部２の設置位置及び撮像方向といった外部パラメータ、撮像部２の焦点距離、画角、レンズ歪みその他のレンズ特性や、撮像素子の画素数といった内部パラメータを含む。実際に計測するなどして得られたこれらのパラメータが、画像監視装置１の使用に際して予め操作部３から入力され、記憶部４に格納される。

撮像条件４２は、監視空間に仮想的に置かれた物体モデル４００を撮像部２の撮像面に投影する処理に用いられる。例えば、公知のピンホールカメラモデル等のカメラモデルに撮像条件４２を適用して、監視空間の任意の位置座標を監視画像の座標系へ変換する座標変換式や、監視画像内の任意の位置座標を監視空間の座標系へ変換する座標変換式を設定できる。図２は、当該座標変換を説明する模式図であり、ＸＹＺ座標系で定義される監視空間７０に配置した物体モデル４００と撮像面７１上の投影像との間の変換を示している。

上記座標変換式を用いると、監視空間７０内の位置Ｑ0に仮想配置された物体モデル４００を撮像面７１へ投影でき（図中の矢印７３）、投影像として２次元画像７２ａを得ることができる。また、上記座標変換式を用いると、撮像面７１から監視空間７０への逆射影を行うことができ、これにより、監視画像上の２次元画像７２ａが、位置Ｑ0に置かれた物体モデル４００の表面に投影され（図中の矢印７４）、２次元画像７２ａのテクスチャが物体モデル４００の表面に貼り付けられた３次元テクスチャを得ることができる。

さらに、上記座標変換式を用いると、位置Ｑ0と対応する位置にある監視画像上の２次元画像７２ａを、監視空間７０内の別の位置Ｑ1と対応する監視画像上の位置に写像することができる。この写像は、２次元画像７２ａを位置Ｑ0に仮想配置された物体モデル４００の表面に投影し（図中の矢印７４）、この物体モデル４００を位置Ｑ1に移動又は複製した後（図中の矢印７５）、撮像面７１へ投影する（図中の矢印７６）ことで実現される。

制御部５は、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、撮像部２、記憶部４及び出力部６と接続される。制御部５は、記憶部４からプログラムを読み出して実行し、物体像抽出手段５０、追跡手段５２、異常判定手段５４として機能する。制御部５は、撮像部２から入力される監視画像を画像処理して物体の追跡、不審者の検出等を行い、不審者を検出すると異常信号を出力部６へ出力する。

物体像抽出手段５０は、撮像部２により得られた監視画像から対象物体の物体像を抽出し、抽出された物体像の情報を物体判定手段５２６へ出力する。具体的には、物体像抽出手段５０は、対象物体が映っていないと判断する監視画像を背景画像に設定し、記憶部４に格納する。そして、物体像抽出手段５０は、撮像部２から監視画像を入力されると、当該監視画像と背景画像との差分処理を行い、背景画像に存在しない像を検出し、検出した像のうち所定値以上の大きさを有する像を物体像として抽出する。ここで、所定値はノイズによる像を除去するための閾値であり、予め設定される。

追跡手段５２は、監視画像内に参照画像４０１と一致する像を同定することにより時刻毎に対象物体を検出し、移動軌跡を生成する。追跡手段５２は、位置予測手段５２０、部分画像抽出手段５２２、物体判定手段５２６及び物体情報更新手段５２８を含んで構成される。

位置予測手段５２０は、移動軌跡４１（過去の物***置）に等速運動モデル等の運動モデル、又はカルマンフィルタ等の予測フィルタを適用することにより、現時刻における物***置を予測する。位置予測手段５２０は、運動モデル又は予測フィルタにより直接的に得られる現時刻の予測位置に加え、その周りに、運動の変化による予測の誤りを吸収するために複数の予測位置をさらに設定する。その際、中心の予測位置を最頻値とする正規分布等の確率関数を設定し、確率の高い領域ほど予測位置を密に分布させることが好ましい。なお、対象物体は基準面に接地して立っているとの拘束条件から予測位置の高さには物体モデル４００の高さｈを設定する。

部分画像抽出手段５２２は、位置予測手段５２０から対象物体の位置を入力されると、監視空間７０内の当該位置に物体モデル４００を仮想的に配置し、撮像条件４２を用いて物体モデル４００を撮像部２の撮像面７１に投影する。また、部分画像抽出手段５２２は、各構成部分に対応する部分モデルの投影像と重なる監視画像の一部を当該構成部分の部分画像として抽出するとともに、構成部分間での部分モデルの投影像の重複関係から各構成部分の隠蔽度を算出する。以下、構成部分ｐに対応して抽出される部分画像をｆ_ｐ、構成部分ｐについて算出される隠蔽度をｅ_ｐと表す。

部分画像抽出手段５２２による処理が行われるのは次の３つの場合であり、それぞれの場合にて、部分画像抽出手段５２２に入力される位置には違いがある。第１の場合は、新規出現した物体の物体情報４０を生成する場合であり、この場合には、物体像抽出手段５０が物体像を抽出した位置が入力される。第２の場合は、物体の同定を行う場合であり、この場合には、位置予測手段５２０により設定された予測位置が入力される。第３の場合は、物体情報４０を更新する場合であり、この場合には、物体判定手段５２６により決定された物体の現在位置が入力される。

図３は、部分画像抽出手段５２２の処理の説明図である。図３を参照して、部分画像抽出手段５２２の処理を詳細に説明する。

まず、撮像条件４２を用いて撮像面に各部分モデルを単独で投影し、隠蔽がない場合の各構成部分の投影像の全体領域８０を演算する。これにより、頭部の全体領域８０ａ、胴部の全体領域８０ｂ、脚部の全体領域８０ｃが求められる。

次に、各構成部分について当該構成部分よりも撮像部２に近い構成部分の部分モデルを投影し、監視画像上で当該構成部分を隠蔽し得る領域である隠蔽領域８１を演算する。本実施形態では、各構成部分と撮像部２との距離は頭部・胴部・脚部の順に近く、この順序は予め設定しておくことができる。頭部の部分モデルに対しては、それより投影線上、手前の他の部分モデルはないので、隠蔽領域は存在しない。一方、胴部の部分モデルに対しては、頭部の部分モデルが手前に位置するので、その投影像が胴部に対する隠蔽領域８１ｂとなる。また、脚部の部分モデルに対しては、頭部及び胴部の部分モデルが手前に位置するので、それらの投影像が脚部に対する隠蔽領域８１ｃとなる。

なお、上記順序は、撮像部２と各部分モデルとの距離を算出して比較することによって判定してもよい。また、隠蔽領域８１はさらに当該対象物体より手前に位置する他の対象物体の部分モデルが投影された領域を減じて演算することもできる。

続いて、各構成部分の全体領域８０から当該構成部分の隠蔽領域８１との重複部分を除くことにより、監視画像上で現に当該構成部分を観測可能な領域である観測領域８２（部分モデル可視領域）を演算する。その結果、頭部に対しては隠蔽を生じていない観測領域８２ａが得られ、一方、胴部、脚部については楕円の一部が隠蔽された形状の観測領域８２ｂ，８２ｃが得られる。

部分画像抽出手段５２２は、監視画像のうち、こうして求められた各構成部分の観測領域８２と重なる部分を各構成部分毎の部分画像として抽出する。また、各構成部分について、次式に示すように、全体領域８０の面積Ｓ1から観測領域８２の面積Ｓ2を減じた値を全体領域８０の面積Ｓ1で除することで隠蔽度ｅ_ｐを算出する。
ｅ_ｐ＝（Ｓ1−Ｓ2）／Ｓ1 ………（１）

部分画像抽出手段５２２は、物体の同定を行う場合には、位置予測手段５２０から入力される予測位置を対象物体が存在し得る監視空間内の候補位置として、当該候補位置に、物体モデル４００を仮想的に配置して、部分画像ｆ_ｐ及び隠蔽度ｅ_ｐを求める。

物体判定手段５２６は、部分画像抽出手段５２２により抽出された部分画像ｆ_ｐと参照画像Ｆ_ｐとを画像特徴について構成部分ｐ毎に比較し、その比較結果を対象物体を構成する複数の構成部分について統合して統合類似度Ｕを算出する。そして、当該統合類似度Ｕが所定の判定基準を満たした場合に、候補位置に参照画像と同じ対象物体が存在すると判定する。そして、当該候補位置を対象物体の物***置と定め、当該対象物体の移動軌跡４１に追加記憶させる。

具体的には、まず、物体判定手段５２６は、部分画像抽出手段５２２により抽出された現時刻の部分画像ｆ_ｐから画像特徴量を抽出し、これと、追跡対象物体の画像情報として記憶部４に記憶されている参照画像４０１から抽出される画像特徴量とを構成部分ｐ毎に比較して、その比較結果として構成部分毎の類似度ｕ_ｐを算出する。例えば、部分画像ｆ_ｐを分析して色ヒストグラムをｈ_ｆｐを算出し、また、参照画像Ｆ_ｐを分析して色ヒストグラムをｈ_Ｆｐを算出し、例えば、次式で定義するように両者のユークリッド距離に−１を乗じた値をｕ_ｐとして用いることができる。なお、Σは色ヒストグラムの全要素に関する総和を意味する。
ｕ_ｐ≡−Σ‖ｈ_Ｆｐ−ｈ_ｆｐ‖^２………（２）

次に物体判定手段５２６は、対象物体毎に各構成部分の類似度ｕ_ｐを加算することにより、各対象物体についての上述の統合類似度Ｕを算出する。そして、統合類似度Ｕを予め定めた閾値と比較し、Ｕが閾値以上であれば、現時刻に抽出された物体像が参照画像４０１の対象物体と同一であると判定する。

構成部分毎の類似度ｕ_ｐは当該部分に関する画像部分のみを精度良く抽出した上述の部分画像ｆ_ｐを用いて算出されたものであるので、当該ｕ_ｐを統合して物体像の同定を行うことで、構成部分間で隠蔽が生じる場合であっても高精度の同定が可能となる。

ここで、物体判定手段５２６は、次式に示すように、構成部分ｐ毎に算出した信頼度ｇ_ｐで、部分類似度ｕ_ｐを重み付けし、重み付けされた構成部分ｐ毎の類似度を統合して統合類似度Ｕを算出するように構成できる。ここで次式のΣはｐについての総和、すなわち、構成部分（頭部、胴部、脚部）について合計することを意味する。こうすることで、信頼度が高い構成部分ほど同定に大きく寄与させることができ、物体像を高精度に同定できる。
Ｕ≡Σｇ_ｐｕ_ｐ ………（３）

信頼度ｇ_ｐは隠蔽度ｅｐ、参照画像隠蔽度Ｅ_ｐの関数として予め設定される。信頼度ｇ_ｐの一例は、次式で定義されるｇ_ｐである。
ｇ_ｐ≡αmax(Ｅ_ｐ，ｅ_ｐ)＋β （但し、α＞０，β≧０）………（４）

ちなみに、（４）式の信頼度ｇ_ｐを用いることで、部分類似度ｕ_ｐが部分画像ｆ_ｐと参照画像Ｆ_ｐとのうち、部分画像ｆ_ｐの隠蔽度ｅ_ｐと参照画像隠蔽度Ｅ_ｐとのいずれか高い方、すなわち情報量が少ない方の画像に対応した信頼性しか有していないことを考慮に入れた同定が行われる。

ここで、比較される部分画像ｆ_ｐと参照画像Ｆ_ｐとは、一般的には、互いに異なる物***置に置かれた物体モデルや対象物体によるものであり、画像の形状や隠蔽状態が異なる。そして、隠蔽状態が異なるもの同士を比較すると、比較結果に誤差が含まれやすい。つまり、部分画像ｆ_ｐと参照画像Ｆ_ｐとの一方のみで隠蔽されており他方で隠蔽されていない領域は、比較結果の精度を低下させる。そこで、撮像条件４２を用いて部分画像ｆ_ｐと参照画像Ｆ_ｐとを、互いに共通の位置（基準位置）に対象物体又は物体モデルが存在するとした場合の形状に座標変換して、変換後の両画像ｆ_ｐ，Ｆ_ｐ内の同じ位置を構成部分内の共通の位置に対応付ける。そして、座標変換後の部分画像ｆ_ｐ（基準部分画像）と座標変換後の参照画像Ｆ_ｐ（基準参照画像）とを互いに重ね合わせて、重複する共通領域を求め、求められた共通領域において上記比較を行う。これによって、部分画像ｆ_ｐと参照画像Ｆ_ｐとの一方のみで隠蔽されている領域を除いた比較が行われるので、比較結果の精度を向上させることができる。

図４，図５は、部分画像ｆ_ｐと参照画像Ｆ_ｐとを基準位置に配置した共通の物体モデルにより得られる基準投影像上に座標変換する具体例を説明する模式図である。

図４に示す例では、基準位置は、参照画像取得位置４０４に記憶されている物***置Ｑ_Ｒに設定される。部分画像ｆ_ｐ（像９０）を参照画像取得位置４０４（位置Ｑ_Ｒ）に置かれた物体モデルの投影像に射影して射影像９２を生成する。この像９２は参照画像Ｆ_ｐ（像９１）の位置に射影される。そして、当該射影像９２と参照画像Ｆ_ｐ（像９１）との共通領域を算出し、共通領域における射影像９２の色ヒストグラムｈ_ｆｐと参照画像Ｆ_ｐの色ヒストグラムｈ_Ｆｐを比較する。像９０から像９２への射影をより詳細に説明すると、位置Ｑ_Ｉの物体モデル４００ａの投影像である像９０を、当該物体モデルへ逆投影し（逆投影ステップ）、当該物体モデルを位置ＱRへ座標変換する（移動ステップ）。この物体モデルの座標変換は、位置Ｑ_Ｉの物体モデル４００ａにて撮像部２に向いている面が位置Ｑ_Ｒへの移動後も撮像部２に向くように、撮像部２の光軸を中心とする回転移動と光軸からの距離方向の並進移動とを合成した変換により行うのが好適である。物体モデル４００ａを位置Ｑ_Ｒに移動後、これを撮像部２の撮像面７１に投影して（投影ステップ）、射影像９２を得ることができる。これら逆投影ステップ、移動ステップ及び投影ステップは、図４（ａ）にて太い矢印で表されている。図４（ｂ）は、像９０，９２における各部分画像ｆ_ｐと、像９１における参照画像Ｆ_ｐとを模式的に示している。

図５に示す例では、基準位置は、部分画像ｆ_ｐの投影元となる物体モデル４００ｂの位置、すなわち候補位置Ｑ_Ｉに設定される。参照画像Ｆ_ｐ（像９１）を、位置Ｑ_Ｉに置かれた物体モデル４００ｂの投影像に射影して射影像９３を生成する。この像９３は部分画像ｆ_ｐ（像９０）の位置に射影される。そして、当該射影像９３と部分画像ｆ_ｐ（像９０）との共通領域を算出し、共通領域における射影像９３の色ヒストグラムｈ_Ｆｐと部分画像ｆ_ｐの色ヒストグラムｈ_ｆｐを比較する。像９１から像９３への射影は、図４に示す場合とは逆向きに行われ、その一連の逆投影ステップ、移動ステップ及び投影ステップは、図５（ａ）にて太い矢印で表されている。図５（ｂ）は、像９１，９３における各参照画像Ｆ_ｐと、像９０における部分画像ｆ_ｐとを模式的に示している。

また、部分画像ｆ_ｐと参照画像Ｆ_ｐとの比較を監視空間７０の座標系にて行うことも可能である。図６は、部分画像ｆ_ｐ及び参照画像Ｆ_ｐをそれぞれ監視空間７０に配置された物体モデル４００ａ，４００ｂに逆投影して、それら物体モデル間にて部分画像ｆ_ｐ及び参照画像Ｆ_ｐを比較する例を説明する模式図である。この場合には、部分画像ｆ_ｐ（像９０）を候補位置（位置Ｑ_Ｉ）に仮想配置した物体モデル４００ａに逆投影して３次元テクスチャ９４を算出し、参照画像Ｆ_ｐ（像９１）を参照画像取得位置４０４（位置Ｑ_Ｒ）に仮想配置した物体モデル４００ｂに逆投影して３次元テクスチャ９５を算出し、２つの物体モデル４００ａ及び４００ｂを重ね合わせて共通領域を算出し、共通領域における色ヒストグラムを比較する。図６（ａ）は像９０，９１から物体モデル４００ａ，４００ｂへの逆投影を示す模式図であり、図６（ｂ）は、部分画像ｆ_ｐに対応する３次元テクスチャ９４と参照画像Ｆ_ｐに対応する３次元テクスチャ９５との模式図である。

ここで、部分画像抽出手段５２２により抽出された部分画像ｆ_ｐと参照画像Ｆ_ｐとの間の比較誤差は解像度の違いによっても生じる。すなわち、解像度が高いものと低いものとを比較すると解像度が高い側の色ヒストグラムにのみ存在する高周波成分が比較誤差の要因となる。解像度は対象物体と撮像部２との間の距離が遠いほど低くなる。そこで、撮像条件４２及び参照画像取得位置４０４から、撮像部２と参照画像取得位置４０４の間の距離ｄ_Ｒを、撮像条件４２及び予測位置（候補位置）から撮像部２と予測位置との問の距離ｄ_Ｉをそれぞれ算出し、これら距離を比較し、距離が遠い側へ射影して上記比較を行う。すなわち、部分画像と参照画像とのうち視点からの距離が近く解像度が高い一方画像を、距離が遠く解像度が低い他方画像に合わせて変換するので、解像度を揃えて比較することができる。これにより、解像度が高い画像が有する高周波成分により生じる誤差を低減した比較が行われ、対象物体の検出や追跡の精度が向上する。

具体的には、ｄ_Ｒ≦ｄ_Ｉの場合は、図５を用いて説明したように、参照画像Ｆ_ｐを予測位置に対応した像へ射影し、ｄ_Ｒ＞ｄ_Ｉの場合は、図４を用いて説明したように、部分画像ｆ_ｐを参照画像取得位置４０４に対応した像へ射影する。これにより解像度の違いにより生じる比較誤差が低減され、比較結果の精度を向上させることができる。

ここで、対象物体には、短いスカートや短パンを着用した人物のように１つの構成部分内に複数の特徴が層をなして分布しているものもある。そこで、物体モデル４００を構成する部分モデルの表面に高さ方向に層をなして複数の水平帯状領域を設定し、当該水平帯状領域を撮像面７１に投影した投影像に対応させて、共通領域を複数の小領域に分割し、小領域ごとの色ヒストグラムを比較する。これにより、構成部分内において画像特徴が層状に分布している対象物体を精度よく判定できる。

なお、監視画像上において、物体モデル４００の高さｈ方向は、監視画像の中心と参照画像取得位置４０４に対応する点或いは予測位置に対応する点を結ぶ直線の方向として特定できる。また、上記直線は監視空間７０に仮想配置された物体モデル４００の最下端と最上端を結ぶ直線を監視画像に投影することによって求めることもできる。ちなみに、監視空間７０において、高さｈ方向は鉛直方向である。

また、小領域への分割は、小領域の高さを固定値として分割してもよいし、小領域の数を固定値として分割してもよいし、監視画像上のスケールで分割してもよいし、物体モデル４００上のスケールで分割してもよい。

物体情報更新手段５２８は、物体判定手段５２６により位置が判定された対象物体について、判定された位置において部分画像抽出手段５２２により算出された隠蔽度ｅ_ｐが参照画像隠蔽度Ｅ_ｐ以下の場合に、物体情報４０を現時刻の画像情報により更新する。逆に、隠蔽度ｅ_ｐが参照画像隠蔽度Ｅ_ｐを超えている場合は物体情報４０の更新を行わない。

物体情報４０の更新では、具体的には、参照画像４０１として記憶されている参照画像Ｆ_ｐが、判定された位置において部分画像抽出手段５２２により抽出された部分画像ｆ_ｐにより上書きされる。参照画像隠蔽度４０２に記憶されている参照画像隠蔽度Ｅ_ｐは、判定された位置において部分画像抽出手段５２２により算出された隠蔽度ｅ_ｐにより上書きされる。また、参照画像取得位置４０４の記憶内容は、判定された物***置により上書きされる。

例えば、図７のように監視画像に映る対象物体の像が像１００，１０１，１０２，１０３，１０４と順に変化した場合、最も隠蔽度が小さい像１０１に基づいた物体情報が記憶される。この場合、像１０４が得られたときに、もし一時刻前の像１０３が参照画像として記憶されていれば脚部の類似度が低下するが、本実施形態の画像監視装置１によれば、像１０１が参照画像として記憶されており、これにより類似度の低下を防ぐことができる。すなわち、過去に最も隠蔽度が小さかったときの物体情報４０が保持されるので、隠蔽状態が変化して隠蔽されている領域が広がっても、その部分の情報が参照画像４０１から失われることを防止できる。そのため、過去に取得された最大限の情報を用いて物体判定ができ、隠蔽による追跡の失敗を最小限に抑えることができる。

また、物体情報更新手段５２８は、物体像抽出手段５０により抽出された物体像の中に、物体判定手段５２６により判定された対象物体の位置のいずれにも存在しない物体像があるとき、当該物体像に関する新たな物体情報４０を作成する。一方、部分画像抽出手段５２２により物***置なしと判定された対象物体があるとき、当該対象物体の物体情報４０を削除する。

異常判定手段５４は、記憶部４に記憶されている移動軌跡４１を分析して長時間滞留している物体（不審者）が存在すれば異常と判定して出力部６に異常信号を出力する。具体的には、移動軌跡４１のそれぞれに含まれる位置データの数を計数して所定数以上（例えば１０分間相当以上）の位置データを含む移動軌跡４１があれば異常と判定する。

出力部６は、センタ装置等の外部装置と通信線により接続され、外部装置へ異常信号を送信する通信回路を備える。

次に、画像監視装置１の動作について説明する。図８は、画像監視装置１の動作の概略のフロー図である。

監視空間が無人であることを確認して管理者が電源を投入すると、画像監視装置１の各部、各手段が動作を開始し、所定の初期化が行われる（Ｓ１０）。このとき、制御部５は撮像部２からの監視画像を背景画像として記憶部４に記憶させる。

続いて、制御部５は記憶部４に撮像条件４２が設定されているかを確認し（Ｓ１５）、設定されていなければ管理者による操作部３からの撮像条件４２の入力を受け付け、入力された撮像条件４２を記憶部４に格納する（Ｓ２０）。その後、撮像部２から制御部５へ監視画像が新たに入力されるたびにＳ２５〜Ｓ７５の一連の処理が繰り返される。

まず、制御部５は撮像部２が新たに撮像した監視画像を取得し（Ｓ２５）、制御部５の物体像抽出手段５０は取得された監視画像を、記憶部４に記憶されている背景画像と比較して物体像（人物像）を抽出する（Ｓ３０）。

続く物***置判定処理において制御部５の追跡手段５２は、監視画像中に参照画像４０１が表す対象物体の像を同定することにより、対象物体の現在位置を判定する（Ｓ３５）。

図９は物***置判定処理Ｓ３５の概略のフロー図であり、これを用いて当該処理を説明する。制御部５の位置予測手段５２０は、対象物体の移動軌跡４１から当該対象物体の現在位置を予測して、各対象物体それぞれについて複数の予測位置を設定する（Ｓ３５０）。

追跡手段５２は各対象物体の予測位置（分布の中心位置）と撮像部２との距離を求め、求めた距離が近い対象物体から順に処理対象に設定し（Ｓ３５１）、処理対象の対象物体について処理Ｓ３５２〜Ｓ３８５を行う。

処理Ｓ３５２〜Ｓ３８４は、処理対象として選択された対象物体の複数の予測位置についてのループ処理となっており、予測位置が順次設定され（Ｓ３５２）、当該設定された予測位置に関して処理Ｓ３５３〜Ｓ３８０が行われる。

まず、制御部５の部分画像抽出手段５２２は、処理対象の予測位置に物体モデル４００を配置して撮像部２の撮像面７１に投影することにより各構成部分に対応する部分画像ｆ_ｐを抽出し（Ｓ３５３）、抽出した部分画像ｆ_ｐのそれぞれについて隠蔽度ｅ_ｐを算出する（Ｓ３５４）。

次に、制御部５の物体判定手段５２６は、Ｓ３５４にて算出された隠蔽度ｅ_ｐ、及び参照画像隠蔽度Ｅ_ｐを（４）式に代入して信頼度ｇ_ｐを算出する（Ｓ３５５）。

続いて、制御部５の物体判定手段５２６は、処理Ｓ３５３にて抽出された部分画像ｆ_ｐを参照画像Ｆ_ｐと比較して部分類似度ｕ_ｐを算出する（Ｓ３６０）。

図１０は、部分類似度算出処理Ｓ３６０の概略のフロー図であり、これを用いて当該処理を説明する。制御部５の物体判定手段５２６は、各構成部分を順次処理対象に設定して（Ｓ３６１）、処理対象の構成部分について処理Ｓ３６１〜Ｓ３７０を行う。

まず、制御部５の物体判定手段５２６は、参照画像取得位置４０４と撮像条件４２の一部として記憶されている撮像部２の設置位置とから両者の間の距離ｄ_Ｒを算出し（Ｓ３６２）、さらに図９の処理Ｓ３５２にて処理対象に設定された予測位置と撮像部２の位置とから両者の間の距離ｄ_Ｉを算出し（Ｓ３６３）、距離ｄ_Ｒと距離ｄ_Ｉとを比較する（Ｓ３６４）。

距離ｄ_Ｒが距離ｄ_Ｉ以下であれば（Ｓ３６４にてＹＥＳ）、部分画像ｆ_ｐの方が低解像度であるとして参照画像Ｆ_ｐを予測位置に対応した像へ射影し、（Ｓ３６５）、射影像と部分画像ｆ_ｐとの共通領域を算出する（Ｓ３６６）。

一方、距離ｄ_Ｒが距離ｄ_Ｉより大きければ（Ｓ３６４にてＮＯ）、参照画像Ｆ_ｐの方が低解像度であるとして部分画像ｆ_ｐを参照画像取得位置４０４に対応した像へ射影し、（Ｓ３６７）、射影像と参照画像Ｆ_ｐとの共通領域を算出する（Ｓ３６８）。

こうして共通領域が算出されると、共通領域において色ヒストグラムを比較して部分類似度ｕ_ｐを算出する（Ｓ３６９）。

以上の処理が全構成部分について終了すると（Ｓ３７０にてＹＥＳ）、処理は図９の処理Ｓ３８０へ進む。

図９のフローチャートに戻り、物***置判定処理の続きを説明する。

制御部５の物体判定手段５２６は、部分類似度算出処理Ｓ３６０にて算出された部分類似度ｕ_ｐを、処理Ｓ３５５にて算出された信頼度ｇ_ｐにより重み付け加算し、統合類似度Ｕを算出する（Ｓ３８０）。こうして処理対象の物体に設定された全予測位置について統合類似度Ｕが算出されると（Ｓ３８１にてＹＥＳ）、制御部５の物体判定手段５２６は、最大の統合類似度Ｕを選択し、選択した統合類似度Ｕが予め設定された基準値以上であるか否かを判定する（Ｓ３８２）。

基準値以上であれば（Ｓ３８２にてＹＥＳ）最大の統合類似度Ｕが算出された予測位置に存在する画像情報を処理対象の物体の像と同定し、当該予測位置を処理対象の物体の物***置と判定する（Ｓ３８３）。

一方、基準値未満であれば（Ｓ３８２にてＮＯ）処理対象の物体を同定せず、処理対象の物体を消失して物***置は不明と判定する（Ｓ３８４）。

以上の処理を全ての物体について終えると（Ｓ３８５にてＹＥＳ）、制御部５は処理を図８の処理Ｓ４０へ戻す。

再び図８を参照して全体処理の続きを説明する。

物***置判定処理が終わると、制御部５の物体判定手段５２６は、判定された物***置を記憶部４の移動軌跡４１に追加記憶させる（Ｓ４０）。なお、処理Ｓ３０にて抽出された物体像の中に物***置判定処理Ｓ３５にて判定された物***置に存在しない物体像があれば、当該物体像が示す物***置を新規物体の情報として移動軌跡４１に記憶させる。

続いて、制御部５の物体情報更新手段５２８は、次時刻における物***置判定処理に備えて物体情報４０の更新を行う（Ｓ４５）。

図１１は、物体情報更新処理Ｓ４５の概略のフロー図であり、これを用いて当該処理を説明する。制御部５の物体情報更新手段５２８は、物体情報４０が表す各物体を処理対象に順次、設定し（Ｓ４５０）、処理対象の物体について処理Ｓ４５１〜Ｓ４５６を行う。

まず、制御部５の物体情報更新手段５２８は、処理対象の物体が図９の処理Ｓ３８３にて物***置が判定された物体であるか否かを確認し（Ｓ４５１）、物***置が判定された物体でなければ消失物体であるとして当該物体の物体情報４０を削除する（Ｓ４５２）。

一方、物***置が判定された物体であれば、制御部５の物体情報更新手段５２８は、各構成部分を順次、処理対象に設定し（Ｓ４５３）、処理対象の構成部分ｐについて図９のＳ３５４にて算出された隠蔽度ｅ_ｐと参照画像隠蔽度Ｅ_ｐとを比較し（Ｓ４５４）、隠蔽度ｅ_ｐが参照画像隠蔽度Ｅ_ｐより小さければ（Ｓ４５４にてＹＥＳ）、処理対象の構成部分ｐについて物体情報４０の更新を行う（Ｓ４５５）。

すなわち、処理Ｓ４５５にて制御部５の物体情報更新手段５２８は、参照画像Ｆ_ｐを、判定された物***置において図９の処理Ｓ３５３にて抽出された部分画像ｆ_ｐに書き換え、参照画像隠蔽度Ｅ_ｐを隠蔽度ｅ_ｐに書き換え、参照画像取得位置４０４を、判定された物***置に書き換える。このように、隠蔽度が最も小さいときの物体情報を保持することで、隠蔽の大小によらない高精度な物体同定が可能になる。

以上の更新を全構成部分について終え（Ｓ４５６にてＹＥＳ）、さらに全対象物体について終えると（Ｓ４５７にてＹＥＳ）、処理Ｓ４５８へ移行する。

処理Ｓ４５８にて制御部５の物体情報更新手段５２８は、図８の処理Ｓ３０にて抽出された物体像の中に図９のＳ３８３にて判定された物***置のいずれにも存在しない物体像があるか否かを確認する。該当する物体像があれば、新規に出現した物体であるとして、当該物体像の画像情報から新たな物体情報４０を作成する（Ｓ４５９）。

すなわち、当該物体像内に複数の探索位置を設定し、各探索位置に物体モデル４００の全身を投影し、投影像と物体像の形状を比較する。比較の結果、最も形状が一致する探索位置を物***置に決定する。

そして、決定した物***置を部分画像抽出手段５２２に与えて部分画像の抽出と隠蔽度の算出とを行わせ、抽出された各部分画像を参照画像Ｆ_ｐ、算出された各隠蔽度を参照画像隠蔽度Ｅ_ｐ、物***置を参照画像取得位置４０４としてそれぞれ記憶部４に記憶させる。

また、このとき、物体モデル４００の高さ及び幅を、標準的な対象物体の高さ及び幅を基準とする所定範囲内で複数設定して探索を行い、最も形状が一致する高さ及び幅を新たな物体情報の物体モデル４００の高さｈ及び幅ｗとする。

こうして物体情報更新処理が終了すると、制御部５は処理を図８の処理Ｓ５５へ戻す。

再び図８を参照して全体処理の続きを説明する。

物体情報更新処理を終えると、制御部５は、全物体が消失しているか否かを確認する（Ｓ５５）。全物体が消失している場合（Ｓ５５にてＹＥＳ）、制御部５の物体像抽出手段５０は記憶部４に記憶されている背景画像を監視画像により更新する（Ｓ６０）。その後、制御部５は処理をＳ２５へ戻す。

一方、１以上の物体が存在する場合（Ｓ５５にてＮＯ）、制御部５の異常判定手段５４は、移動軌跡４１を分析して異常な移動軌跡４１を有する物体が存在するか否かを判定し（Ｓ６５）、異常があれば（Ｓ７０にてＹＥＳ）異常判定手段５４は出力部６に異常を判定された物体の位置及び監視画像を含む異常信号を出力する（Ｓ７５）。異常信号が入力された出力部６は該信号をセンタ装置へ送信する。センタ装置は異常信号に含まれる情報を表示して監視員へ異常を報知し、表示を見た監視員は不審者の排除などの対処を行う。

一方、異常が判定されない場合（Ｓ７０にてＮＯ）、処理Ｓ７５はスキップされる。

以上の処理が終了すると、制御部５は処理を再びＳ２５へ戻す。

上述の実施形態では、部分画像抽出手段５２２が隠蔽度を算出する例を示したが、これに代えて非隠蔽度を算出してもよい。非隠蔽度は、各構成部分について、当該構成部分の全体領域の面積に対する当該構成部分の観測領域の面積の比（Ｓ2／Ｓ1）として算出できる。この場合、物体情報更新手段５２８は非隠蔽度が高い場合に物体情報４０を更新すればよい。

また、上述の実施形態では、統合類似度Ｕが最大の候補位置を物***置と判定した。別の実施形態では、統合類似度Ｕが判定基準を満たした複数の候補位置を平均して、或いは統合類似度Ｕにより重み付け平均して、物***置を算出する。

また、画像特徴量は、色ヒストグラムに限らず、輝度ヒストグラム、エッジ強度のヒストグラム、エッジ方向のヒストグラム、又はテクスチャなど種々の画像特徴量を採用することができる。２以上の画像特徴量を組み合わせても良い。

本発明の実施形態に係る画像監視装置のブロック構成図である。ＸＹＺ座標系で定義される監視空間に配置した物体モデルと撮像面上の投影像との間の変換を示す模式図である。部分画像抽出手段の処理の説明図である。部分画像を参照画像と同様に参照画像取得位置に配置した物体モデルにより得られる投影像上に座標変換する具体例を説明する模式図である。参照画像を部分画像と同様に候補位置に配置した物体モデルにより得られる投影像上に座標変換する具体例を説明する模式図である。部分画像及び参照画像をそれぞれ監視空間に配置された物体モデルに逆投影して、それら物体モデル間にて部分画像及び参照画像を比較する例を説明する模式図である。監視空間内での対象物体の位置の変化に応じた投影像での隠蔽度の変化を表す模式的な監視画像である。画像監視装置の動作の概略のフロー図である。物***置判定処理の概略のフロー図である。部分類似度算出処理の概略のフロー図である。物体情報更新処理の概略のフロー図である。

符号の説明

１画像監視装置、２撮像部、３操作部、４記憶部、５制御部、６出力部、４０物体情報、４１移動軌跡、４２撮像条件、５０物体像抽出手段、５２追跡手段、５４異常判定手段、４００物体モデル、４０１参照画像、４０２参照画像隠蔽度、４０４参照画像取得位置、５２０位置予測手段、５２２部分画像抽出手段、５２６物体判定手段、５２８物体情報更新手段。

Claims

監視空間を透視投影した監視画像についての投影条件と、監視対象となる対象物体の複数の構成部分毎の立体形状を表す部分モデルと当該部分モデル相互の配置関係とで表される前記対象物体の物体モデルと、前記対象物体の前記構成部分毎の参照画像及び参照画像隠蔽度とを記憶する記憶部と、
前記監視画像、及び前記監視空間内の位置を入力され、当該位置に前記物体モデルを仮想的に配置して前記投影条件に基づき透視投影を行い、前記部分モデル毎に、その投影像のうち前記透視投影にて手前に位置する他の前記部分モデルによる隠蔽領域を除いた部分モデル可視領域と、前記隠蔽領域による当該投影像の隠蔽度とを求めると共に、前記監視画像から当該部分モデル可視領域に対応する部分を前記対象物体の前記構成部分毎の部分画像として抽出する部分画像抽出手段と、
前記対象物体が存在し得る候補位置での前記部分画像と前記参照画像とを複数の前記候補位置について比較し、比較一致した候補位置に基づいて、前記対象物体が存在する物***置を判定する物体判定手段と、
前記物***置での前記隠蔽度が前記参照画像隠蔽度以下である前記構成部分について、前記参照画像及び前記参照画像隠蔽度を、当該隠蔽度及び当該物***置での前記部分画像で更新する物体情報更新手段と、
を有することを特徴とする画像監視装置。
請求項１に記載の画像監視装置において、
前記物体判定手段は、基準位置に配置した前記物体モデルにより得られる基準投影像上に、前記部分画像を前記投影条件に基づいて写像した基準部分画像と、同じく前記基準投影像上に前記参照画像を写像した基準参照画像とが互いに重複する共通領域を求め、当該共通領域において前記基準部分画像と前記基準参照画像とを比較して前記物***置を判定すること、を特徴とする画像監視装置。
請求項２に記載の画像監視装置において、
前記物体判定手段は、前記候補位置と、前記参照画像の取得に際して配置された前記物体モデルの位置とのうち視点位置からの距離が遠い方を前記基準位置に設定すること、を特徴とする画像監視装置。
請求項２又は請求項３に記載の画像監視装置において、
前記物体判定手段は、前記部分モデルに高さ方向に層をなして複数の水平帯状領域を設定し、前記共通領域を前記水平帯状領域と対応する複数の小領域に分割し、当該小領域毎に前記基準部分画像と前記基準参照画像とを比較すること、を特徴とする画像監視装置。