以下、本発明の実施形態について説明する。
図1は、本実施形態に係る警備システム10の構成概略図である。警備システム10は、店舗、オフィス、マンション、倉庫、家屋などの各監視対象物件12に設置される警備装置14、公衆電話回線などの通信網16を介して各警備装置14と接続される警備センタ装置18、及び利用者装置20とを含んで構成される。さらに、警備システム10は、監視対象物件12の監視領域を撮影した監視画像に基づいて監視対象物件12の異常を検出するための1以上の画像処理装置としての画像センサ22、及び、画像センサ22により撮影された監視画像を記録する録画装置24を含んで構成される。画像センサ22及び録画装置24は警備装置14と通信可能に接続される。
警備装置14は、構内LANなどを介してそれ自体に接続された画像センサ22からアラーム信号を受信すると、そのアラーム信号及び警備装置14自体の識別信号、又は、監視対象物件12あるいは異常を検出した画像センサ22の識別信号を警備センタ装置18へ送信する。そのために、警備装置14は、画像センサ22と通信するための通信インターフェースと、警備センタ装置18及び利用者装置20と通信するための通信インターフェースと、それらを制御するための制御ユニットを有する。
警備センタ装置18は、いわゆるコンピュータで構成され、通信網16を介して警備装置14と通信するための通信インターフェースと、液晶ディスプレイなどの表示装置と、ブザーやLEDなどで構成される報知部を備える。警備センタ装置18は、警備装置14から通信網16を介してアラーム信号を受信すると、そのアラーム信号を送信した警備装置14が設置された監視対象物件12及び検出された異常の内容を報知部及び表示装置を通じて監視員に報知する。
利用者装置20も、いわゆるコンピュータで構成され、通信網16を介して警備装置14と通信するための通信インターフェース、液晶ディスプレイなどの表示装置、及び、キーボードやマウスなど、警備装置14を遠隔操作するための操作コマンドを入力するためのユーザインターフェースを備える。利用者装置20は、ユーザインターフェースを介して予め登録されている監視対象物件12を観察する操作がなされると、登録されている監視対象物件12に設置された警備装置14に対して、現在撮影中の監視画像又は録画装置24に記録されている監視画像を利用者装置20に送信することを要求する各種の画像要求信号を送信する。そして、警備装置14から監視画像を受信すると、利用者装置20は要求された監視画像を表示装置に表示する。
録画装置24は、HDDなどの磁気ディスク装置、DATなどの磁気テープ、DVD-RAMなどの光記録媒体のように、録画装置24に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置で構成される。録画装置24は、画像センサ22が撮影した監視画像を警備装置14から受け取り、撮影時刻と関連付けて記録する。
図2は、画像センサ22の構成概略図である。
通信部30は、画像センサ22と警備装置14との間で構内LANなどの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インターフェースであり、イーサネット(登録商標)などの各種の通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。具体的には、通信部30は、後述の信号処理部42によって侵入者が検出された場合に、侵入者を検出したことを示す侵入アラーム信号を警備装置14に出力する。
撮影部32は、CCDなどの、可視光などに感度を有する光電変換器で構成された2次元検出器と、その2次元検出器上に監視領域の像を結像する結像光学系などで構成される。撮影部32は、監視領域を撮影することによって撮影画像を取得する。本実施形態では撮影部32は、一定の時間間隔(例えば1/5秒)ごとに撮影を行うが、撮影部32の撮影方法はこれには限られない。取得された撮影画像は記憶部34に記憶される。
本実施形態では、撮影部32は魚眼レンズを含んで構成され、すなわち、撮影部32は全方位(360度)を撮影領域(監視領域)とすることができる全方位カメラである。当該全方位カメラは、例えば監視対象物件12の天井などに設置され、監視領域を下方とし、略鉛直下方向を光学中心としている。しかしながら、撮影部32は全方位カメラに限られず、単方位型のカメラ(例えば視野角が90度のカメラ)であってもよい。
なお、全方位カメラである撮影部32で撮像された撮影画像は全方位画像であり、全体として円形の像となっており、円形の中心が光学中心に対応する位置となっている。そして、撮影画像においては、監視領域の鉛直上方向が、撮影画像の径方向であって光学中心から外側へ向かう方向となり、監視領域の水平方向が撮影画像の周方向となる。
監視領域に侵入者が存在する場合、撮影部32が取得した撮影画像には、当該人物(侵入者)に相当する人領域が含まれることとなる。
記憶部34は、半導体メモリ、磁気ディスク(HDD)、又はCD-ROM、DVD-RAMなどの光ディスクドライブ及びその記録媒体で構成される、記憶手段である。記憶部34には、画像センサ22の各部を動作させるための画像処理プログラムが記憶される。また、図2に示される通り、記憶部34には、撮影部32が取得した撮影画像36、基準画像38、及び参照情報40が記憶される。
基準画像38は、監視領域内に人物が存在していないときの撮影画像36に基づいて信号処理部42により作成される。基準画像38は1枚であってもよいが、複数枚の基準画像38が作成されてもよい。例えば、信号処理部42は、撮影部32が順次取得した撮影画像36のフレーム間差分を求め、フレーム間での対応画素間の輝度差の絶対値の平均値を求める。そして、信号処理部42は、その平均値が所定の基準よりも小さい撮影画像36を基準画像38として記憶部34に記憶させる。また、基準画像38は、照明状態の変動、太陽の日周変動などの監視領域の変動に対応するために、一定周期(例えば、10分間隔)毎に更新されるのが好適である。
参照情報40は、検出対象となる人物の特徴を表す情報であり、人物の実空間における身長を示す参照身長(例えば180cm)、人物の実空間における上半身幅を示す参照上半身幅(例えば60cm)、及び、人物の身長に対する当該人物の歩幅の割合を示す歩幅割合情報を含んでいる。
歩幅割合情報は、人物の移動速度に応じた割合、特に、人物の移動速度が大きい程大きい割合を示しているのが好ましい。例えば、人物がゆっくり歩行している場合の歩幅は、身長×0.37、人物が通常の速度で歩行している場合の歩幅は、身長×0.45、人物が早歩きしている場合の歩幅は身長×0.50の如くである。すなわち、人物の移動速度範囲を規定する閾値と人物の身長に対する歩幅の割合とを対応付けた情報として歩幅割合情報を記憶する。
信号処理部42は、組み込み型のマイクロプロセッサユニットと、ROM、RAMなどのメモリと、その周辺回路とを有し、画像センサ22の各種信号処理を実行する。図2に示されるように、信号処理部42は、抽出手段44、ラベル整形手段46、追跡手段48、及び判定手段50の機能を発揮する。信号処理部42がこれらの手段を発揮することで、撮影画像36において、人物に相当する画像領域である人領域が検出される。以下、信号処理部42が有する各手段について説明する。
抽出手段44は、撮影画像36と、記憶部34に予め記憶された基準画像38とを比較して、両画像間で相違する画素を抽出し、抽出された画素と抽出されない画素とからなる二値画像(変化領域画像)を求める処理を行う。ここで「両画像間で相違する画素」とは、撮影画像36と基準画像38との間で輝度値又は色成分の差が所定値以上である撮影画像36の画素を意味し、当該画素を抽出画素と呼ぶ。
図3には、撮影画像36(a)、基準画像38(b)、及び変化領域画像39(c)の例が示されている。図3(a)の例のように、撮影画像36に人物像60が含まれている場合には、人物像60に対応する画素が抽出画素となる。
また、抽出手段44は、各抽出画素に対して識別子(ラベル)を付与するラベリング処理を行う。ラベルとしては、例えば当該変化領域画像39内でユニークな数値を用いることができる。ラベリング処理では、ある抽出画素に注目したとき、当該抽出画素に隣接している他の抽出画素からなる一塊の抽出画素群を1つの変化領域64(図3(c)参照)とみなす。なお、抽出画素に隣接する画素とは、抽出画素の上下左右方向に隣接する画素であってもよいし、斜め方向に隣接する画素まで含めてもよい。その上で、各変化領域64に対して異なるラベルを付与し、変化領域画像39の画素値として記憶する処理を行う。以下、ラベルが付与された変化領域64のことをラベル領域66と呼び、ラベル領域66を含む画像をラベル領域画像と呼ぶ。
これにより、撮影画像36において、基準画像38から変化した領域である1又は複数の変化領域64(ラベル領域66)が抽出される。本実施形態では、図3(c)に示す通り、1人の人物に対応するラベル領域66が、複数のラベル領域66a~66cに分離して抽出されるものとする。
ラベル整形手段46は、抽出手段44により抽出された各ラベル領域66から人領域を求めるために、ラベル領域66を整形する処理を実行する。本実施形態では、所定範囲内にある複数のラベル領域66を、統合した場合に人物らしい大きさあるいは形状の領域となるかどうかなどの所定の条件に基づいて、複数のラベル領域66を統合するラベル統合処理を実行する。ラベル統合処理によれば、例えば、同一人物の上半身と下半身とがそれぞれ異なるラベル領域66として抽出された場合に、当該2つのラベル領域66を統合して1人の人物の像に対応する1つのラベル領域66とすることができる。特に、本実施形態では、撮影画像36に足を開いた状態の人物を含む場合であっても、当該人物の下半身に対応するラベル領域66を、当該人物の他の部位(例えば上半身)に対応するラベル領域66と統合することができる。なお、ラベル整形手段46は、1つのラベル領域66を複数のラベル領域66に分離するラベル分離処理や、ラベル領域66を削除するラベル削除処理を行ってもよい。
例えば、ラベル分離処理は、ラベル領域66から人領域を切り出して別のラベル領域66とする処理である。具体的には、ラベル分離処理は、人領域及び影領域を含む1つのラベル領域66から人領域を切り出す処理、及び、人領域及びヘッドライトなどの光が当たった部分に相当する光領域を含む1つのラベル領域66から人領域を切り出す処理を含む。ラベル削除処理は、明らかに人物でないと判断できるラベル領域66を削除する処理である。例えば、人物のサイズに対して大きすぎる、あるいは小さすぎるラベル領域66を削除する。
なお、図2に示す通り、ラベル整形手段46は、初期統合手段52、候補領域算出手段54、及び人領域判定手段56を含むが、これらの手段により、ラベル統合処理が適切に実行される。初期統合手段52、候補領域算出手段54、及び人領域判定手段56の詳細及びラベル統合処理の詳細については後述する。
追跡手段48は、撮影部32が順次取得した撮影画像36のそれぞれから抽出され、ラベル整形手段46にて整形されたラベル領域66を時間的に追跡する処理を行う。具体的には、追跡手段48は、今回取得された撮影画像36から抽出されてラベル整形手段46により整形された、人領域に対応する各ラベル領域66と、過去に取得された撮影画像36から抽出されて、記憶部34に追跡用情報として記憶されているラベル領域66(以下「追跡ラベル領域」と記載する)とを同定する処理(同一人物に対応する人領域であると判定する処理)を行う。ここで、追跡用情報は、追跡ラベル領域に関する、追跡ID、撮影画像36上の位置、及び追跡用特徴量が関連付けられた情報である。追跡用特徴量は、追跡ラベル領域の実空間におけるサイズや形状、輝度ヒストグラム、テクスチャ情報などである。また、本実施形態では、撮影画像36上の位置としては、追跡ラベル領域の略中央最下部の位置の座標としている。
追跡手段48は、今回取得された撮影画像36のラベル領域66の追跡用特徴量及び位置と、追跡ラベル領域の追跡用特徴量及び位置とを比較する。例えば、追跡用特徴量が類似し、且つ、位置が近いもので同定する。そして、今回取得された撮影画像36のラベル領域66に対して、同定された追跡ラベル領域と同一の追跡IDを付与し、時系列に従って、今回取得された撮影画像36の当該ラベル領域66の追跡IDと、撮影画像36上の位置などを関連付けた上で記憶部34に追跡用情報として保存する。
なお、今回取得された撮影画像36のラベル領域66において、追跡ラベル領域と同定が得られなかったものについては、新規の人物が出現したものとして、当該ラベル領域66の追跡特徴量に新規の追跡IDを付与する。また、これまで追跡していた追跡ラベル領域のうち、今回取得された撮影画像36のラベル領域66と同定が得られなかったものがある場合、当該追跡ラベル領域に対応する人物が消失したものとして、当該追跡用情報を削除する。
判定手段50は、追跡ラベル領域のそれぞれについて、侵入者か否かを判定する。本実施形態では、予め定めたフレーム数(例えば、5フレーム)以上、連続して人領域として追跡されている追跡ラベル領域を侵入者であると判定する。なお、追跡ラベル領域の推定移動速度などの特徴量を求め、求めた特徴量と予め記憶された人らしい特徴量(人らしい速度など)とを比較することにより、当該追跡ラベル領域が人らしいかを更に判定し、侵入者か否かを判定してもよい。
画像センサ22の構成概要としては以上の通りである。以下、ラベル整形手段46に含まれる初期統合手段52、候補領域算出手段54、及び人領域判定手段56の詳細と共に、本実施形態におけるラベル統合処理の詳細について説明する。
初期統合手段52は、撮影画像36から抽出された、あるラベル領域66と当該ラベル領域66の周囲にある他のラベル領域66とを統合する初期統合処理を行う。初期統合処理は、統合候補となる複数のラベル領域66を仮に統合させた場合に、統合したラベル領域66が人らしいサイズの範囲内となるか否かを判定し、範囲内となる場合に当該統合候補の複数のラベル領域66を統合する処理である。
本実施形態では、初期統合手段52は、ラベル領域画像内において、人物のサイズ(参照情報40の参照身長と参照上半身幅とからなるサイズ)に相当する統合枠70(図4参照)を設定し、統合枠70の内部に収まる複数のラベル領域66を統合する。初期統合手段52は、ラベル領域画像上において統合枠70を移動させながら初期統合処理を行う。なお、本実施形態では、撮影画像36が全方位画像(円形の像)であり、監視領域の鉛直上方向が、撮影画像36の径方向であって光学中心72から外側へ向かう方向となることから、統合枠70の幅(周方向の長さ)は、光学中心72側に近づくにつれ狭くなっている。
図4の例では、人物の頭に対応するラベル領域66a(図3(c)参照)、及び、人物の上側胴体部分に対応するラベル領域66bが統合枠70の内部に収まっているため、初期統合処理において、ラベル領域66a及びラベル領域66bが統合され、1つのラベル領域66dとなっている。一方、人物が足を広げていたことで、人物の下半身に対応するラベル領域66cの幅が広がっていることに起因して、ラベル領域66cの一部が統合枠70からはみ出しているため、初期統合処理においては、ラベル領域66cは統合されない。なお、初期統合手段52は、統合枠70を用いることなく、統合したラベル領域66が人らしいサイズの範囲内となるか否かを判定してもよい。例えば、あるラベル領域66に対して、当該ラベル領域66の周囲にある他のラベル領域66を統合した場合の実空間におけるサイズ(幅、高さ)を求め、求めたサイズが参照情報40に記された人物の身長と上半身幅よりも小さいとき、これらのラベル領域66を統合するといった処理を全てのラベル領域66に対して繰り返し実行していくことで初期統合処理を実行してもよい。
候補領域算出手段54は、初期統合処理がされたラベル領域画像において、処理対象のラベル領域66である対象ラベル領域(第1変化領域)を特定した上で、当該対象ラベル領域よりも実空間で低い位置にあると推測されるラベル領域66である参照ラベル領域(第2変化領域)を特定する。図4の例では、ラベル領域66dを対象ラベル領域として特定した場合に、ラベル領域66dよりも実空間で低い位置にある、すなわちラベル領域66dの径方向内側に位置するラベル領域66cが参照ラベル領域として特定される。なお、ラベル領域66dの径方向内側に位置するラベル領域66とは、例えば、ラベル領域66dの周方向両端部それぞれと光学中心72を結ぶ直線で区切られる角度範囲内に少なくとも一部分が存在するラベル領域66である。対象ラベル領域は、人物の上半身に対応すると期待されるラベル領域66であり、参照ラベル領域は、人物の下半身に対応すると期待されるラベル領域66である。
候補領域算出手段54は、このように特定された、対象ラベル領域(本例ではラベル領域66d)と参照ラベル領域(本例ではラベル領域66c)とからなる領域を候補領域74として特定する。ラベル領域画像に複数のラベル領域66が存在する場合は、候補領域算出手段54は、各ラベル領域66を対象ラベル領域として特定した上で、それぞれの対象ラベル領域に対して上記のように候補領域を特定する処理を行う。特定した対象ラベル領域に対する参照ラベル領域が存在しない(当該対象ラベル領域よりも実空間で低い位置にあるラベル領域66が存在しない)場合は、候補領域算出手段54は、当該対象ラベルを含む候補領域を特定しない。
人領域判定手段56は、まず、候補領域算出手段54が求めた候補領域74の高さt(実空間の鉛直方向における長さ、図5参照)を求める。本実施形態では、候補領域算出手段54は、対象ラベル領域であるラベル領域66dのうち光学中心72から最も離れた画素と、参照ラベル領域であるラベル領域66cのうち光学中心72に最も近い画素との間の径方向距離を高さtとすることができる。
人領域判定手段56は、求めた高さtに基づいて、候補領域74の実空間における高さを算出する。候補領域74の実空間における高さを推定身長と呼ぶ。
撮影画像36(ラベル領域画像)中における距離から実空間における距離への変換は、撮影画像36の撮影条件情報(例えば、撮影部32の設置高さ、ズーム率(拡大率)、あるいは焦点距離など)を用いて行うことができる。具体的には、上記の撮影条件情報に基づいて、光学中心72からの距離に応じて、1ピクセルが実空間において高さ何cmに相当するのかを計算によって求めることができる。これにより、ラベル領域画像内の高さtに基づいて、実空間スケールにおける推定身長を算出することができる。
次いで、人領域判定手段56は、算出した推定身長と、参照情報40に含まれる歩幅割合情報とを用いて、当該候補領域74に対応する人物の実空間における下半身幅を算出する。
好ましくは、人領域判定手段56は、追跡手段48による追跡結果に基づいて、候補領域74に対応する人物の移動速度を算出し、人物の移動速度が大きいほど大きい歩幅の割合を示す歩幅割合情報と人物の推定身長とに基づいて、当該候補領域74に対応する人物の実空間における下半身幅を算出するようにしてもよい。当然ながら、この場合は、候補領域74に対応する人物の移動速度が大きい程、推定される下半身幅が大きくなる。
例えば、候補領域74に対応する人物の移動速度が第1の速度閾値を以下である場合には、当該人物が「ゆっくり歩行している」と判定し、当該人物の下半身幅を推定身長×0.37とする。また、候補領域74に対応する人物の移動速度が第1の速度閾値を超え、第2の速度閾値以下である場合には、当該人物が「通常の速度で歩行している」と判定し、当該人物の下半身幅を推定身長×0.45とする。また、候補領域74に対応する人物の移動速度が第2の速度閾値を超える場合には、当該人物が「早歩きしている」と判定し、当該人物の下半身幅を推定身長×0.50とする。なお、本実施形態では、人物の移動速度範囲と人物の身長に対する歩幅の割合とを対応付けた情報として、参照情報40の歩幅割合情報を記憶している。しかし、これに限らず、人領域判定手段56は、人物の移動速度に応じて動的に人物の身長に対する歩幅の割合を求め、歩幅割合情報として記憶してもよい。すなわち、人領域判定手段56は、人物の移動速度が大きいほど、人物の身長に対する歩幅の割合が大きくなるよう算出し、参照情報40の歩幅割合情報として記憶してもよい。
なお、候補領域74に対応する人物の移動速度は、対象ラベル領域及び参照ラベル領域の少なくとも一方の移動速度とすることができる。対象ラベル領域の移動速度は、順次取得された撮影画像36それぞれの取得時刻と、各撮影画像36において候補領域算出手段54が求めた候補領域74のうちの対象ラベルの位置とに基づいて算出することができる。同様に、参照ラベル領域の移動速度は、順次取得された撮影画像36それぞれの取得時刻と、各撮影画像36において候補領域算出手段54が求めた候補領域74のうちの参照ラベルの位置とに基づいて算出することができる。なお、対象ラベル領域と参照ラベル領域の両方の移動速度を考慮して、候補領域74に対応する人物の移動速度を算出してもよい。例えば、対象ラベル領域と参照ラベル領域の移動速度の平均値を候補領域74に対応する人物の移動速度としてもよい。
さらに、人領域判定手段56は、参照ラベル領域の幅lw(実空間の水平方向における長さ、図6参照)に基づいて、参照ラベル領域の実空間における水平幅を算出し、推定した下半身幅と、算出した参照ラベル領域の実空間における水平幅との比較により、対象ラベル領域と参照ラベル領域とを統合する。すなわち、当該候補領域74を1人の人物に係る人領域であると判定する。
参照ラベル領域の幅lwから実空間における水平幅の算出は、上述の撮影条件情報に基づいて行うことが出来る。本実施形態では撮影画像36が全方位画像であるため、上記の撮影条件情報に基づいて、光学中心72からの距離rlの位置において、1ピクセルが実空間において幅何cmに相当するのかを計算によって求めることができる。これにより、光学中心72からの距離rlの位置において、角度θlからなる円弧の長さ(つまり幅lw)が何画素に相当するのかを求めた上で、求めた画素数と1ピクセルの実空間におけるサイズとを乗算することにより、参照ラベル領域であるラベル領域66cの幅lwの実空間における幅を算出することができる。
人領域判定手段56は、算出した参照ラベル領域の実空間における水平幅が、人物の推定身長と歩幅割合情報とから算出した下半身幅に基づいて定められる下半身幅閾値以下である場合に、当該候補領域74に含まれる対象ラベル領域(本例ではラベル領域66d)と、参照ラベル領域(本例ではラベル領域66c)とを統合して1つのラベル領域66e(図7参照)を形成する。これにより、候補領域74が1人の人物に係る人領域であると判定される。一方、算出した参照ラベル領域の実空間における水平幅が、下半身幅閾値を超える場合は、人領域判定手段56は、当該候補領域74に含まれる対象ラベル領域と参照ラベル領域とを統合しない。
好ましくは、人領域判定手段56は、算出した推定身長と、参照情報40に含まれる参照身長との比較により、当該候補領域74が人領域であるか否かを判定し、人領域でないと判定した場合は、当該候補領域74については参照ラベル領域を統合する処理を行わないようにしてもよい。例えば、算出した推定身長が参照身長に基づいて定められる身長閾値を超える場合には、当該候補領域74は人領域に対応するものではないと判定することができる。
また、好ましくは、人領域判定手段56は、対象ラベル領域の幅uw(実空間の水平方向における長さ、図8参照)に基づいて、対象ラベル領域の実空間における水平幅を算出し、参照情報40に含まれる参照上半身幅と、算出した対象ラベル領域の実空間における水平幅との比較により、当該候補領域74が人領域であるか否かを判定し、人領域でないと判定した場合は、当該候補領域74については参照ラベル領域を統合する処理を行わないようにしてもよい。例えば、算出した水平幅が参照上半身幅に基づいて定められる上半身幅閾値を超える場合には、当該候補領域74は人領域に対応するものではないと判定することができる。
なお、対象ラベル領域が初期統合処理において複数のラベル領域66が統合されたものである場合には、当該対象ラベル領域の幅に対応する実空間における水平幅は上半身幅閾値以下となることが自明である。なぜならば、初期統合処理においては、複数のラベル領域66が人らしいサイズの範囲内である場合に当該複数のラベル領域が統合されるからである。しかしながら、対象ラベル領域が初期統合処理で統合されたものではない場合は、当該対象ラベル領域の幅に対応する実空間における水平幅は上半身幅閾値を超える場合があるため、上記のように対象ラベル領域の水平幅と参照上半身幅とを比較することが好ましい。
対象ラベル領域の幅uwから実空間における水平幅の算出は、上述の撮影条件情報に基づいて、参照ラベル領域の幅lwから実空間における水平幅を算出したのと同様の方法にて算出することができる。すなわち、上記の撮影条件情報に基づいて、光学中心72からの距離ruの位置において、1ピクセルが実空間において何cmに相当するのかを計算によって求めることができる。これにより、光学中心72からの距離ruの位置において、角度θuからなる円弧の長さ(つまり幅uw)が何画素に相当するのかを求めた上で、求めた画素数と1ピクセルの実空間におけるサイズとを乗算することにより、対象ラベル領域であるラベル領域66dの幅uwの実空間における幅を算出することができる。
また、好ましくは、人領域判定手段56は、対象ラベル領域と参照ラベル領域との間の実空間における水平方向の位置ずれ量に基づいて、候補領域74が1人の人物に対応するものであるか否かを判定するようにしてもよい。これは、対象ラベル領域が人物の上半身に対応するものであり、参照ラベル領域が人物の下半身に対応するものであるならば、対象ラベル領域と参照ラベル領域との間に水平方向の大きな位置ずれは生じ得ないからである。
具体的には、人領域判定手段56は、まず、図9に示すように、対象ラベル領域としてのラベル領域66dの第1位置としての重心位置80d、及び、参照ラベル領域としてのラベル領域66cの第2位置としての重心位置80cを求める。本実施形態では、第1位置として対象ラベル領域の重心位置80d、第2位置として参照ラベル領域の重心位置80cを求めているが、第1位置として対象ラベル領域の中心位置、第2位置として参照ラベル領域の中心位置を求めてもよい。
次いで、人領域判定手段56は、重心位置80dと重心位置80cとの間の周方向距離dを算出した上で、周方向距離dに基づいて、重心位置80dと重心位置80cとの間の実空間における水平距離を算出する。ここでも、対象ラベル領域の周方向距離dから実空間における水平距離の算出は、上述の撮影条件情報に基づいて算出することができる。
そして、人領域判定手段56は、算出した水平距離に基づいて、当該対象ラベル領域及び当該参照ラベル領域からなる候補領域74が人領域であるか否かを判定する。具体的には、算出した水平距離が予め定められた距離閾値を超える場合には、人領域判定手段56は当該候補領域74が人領域ではないと判定する。なお、光学中心72と重心位置80dとを結ぶ直線、及び光学中心72と重心位置80cとを結ぶ直線を求め、2つの直線のなす角度が所定の角度閾値以上の場合に水平距離が距離閾値を超えているとして、人領域判定手段56は当該候補領域74が人領域ではないと判定してもよい。
以上説明した通り、本実施形態によれば、ラベル領域画像から候補領域74を特定した上で、候補領域74の高さtに基づく推定身長を算出し、推定身長から当該人物の下半身幅を算出する。そして、人物の下半身に対応すると考えられる参照ラベルの幅lwに基づいて参照ラベルの実空間における水平幅が算出され、算出された下半身幅と、参照ラベルの実空間における水平幅との比較に基づいて、参照ラベルと、その他の部位に対応する他のラベル領域66と統合している。これにより、侵入者などの人物が足を開いた状態で撮影された場合であっても、撮影画像36において、当該人物に対応する複数のラベル領域66を適切に統合することができる。
以下、図10に示すフローチャートに従って、ラベル統合処理の流れを説明する。
ステップS10において、初期統合手段52は、抽出手段44が抽出したラベル領域画像に対して、初期統合処理を実行する。これにより、統合枠70(図4参照)の内部に収まる複数のラベル領域66が統合される。
ステップS12以下の各ステップは、ステップS10における初期統合処理後に残ったラベル領域66の数だけ繰り返し実行される。
ステップS12において、候補領域算出手段54は、ラベル領域画像から1つのラベル領域66を対象ラベル領域として特定する。さらに、人領域判定手段56は、特定された対象ラベル領域の幅uw(図8参照)を求めた上で、幅uwに基づいて対象ラベル領域の実空間における水平幅を算出する。
ステップS14において、人領域判定手段56は、ステップS12で算出した対象ラベル領域の水平幅が、参照情報40に含まれる参照上半身幅に基づいて定められる上半身幅閾値以下であるか否かを判定する。水平幅が上半身幅閾値を超える場合は、ステップS12で特定した対象ラベル領域は人物の上半身に対応するものではないと判定できるため、当該対象ラベル領域に対する処理を終了し、再度のステップS12で他のラベル領域66を対象ラベル領域として特定してステップS12以下の処理を行う。水平幅が上半身幅閾値以下である場合は、ステップS16に進む。
ステップS16において、候補領域算出手段54は、対象ラベル領域よりも実空間で低い位置にある参照ラベル領域を特定し、対象ラベル領域と参照ラベル領域とからなる候補領域74を特定する。人領域判定手段56は、候補領域74の高さt(図5参照)を求めた上で、高さtに基づいて候補領域74の実空間における高さである推定身長を算出する。
ステップS18において、人領域判定手段56は、ステップS16で算出した推定身長が、参照情報40に含まれる参照身長に基づいて定められる身長閾値以下であるか否かを判定する。推定身長が身長閾値を超える場合は、ステップS16で特定した候補領域74は人物に対応するものではないと判定できるため、他の対象ラベル領域についてステップS12以下の処理を行う。推定身長が身長閾値以下である場合は、ステップS20に進む。
ステップS20において、人領域判定手段56は、対象ラベル領域の重心位置と参照ラベル領域の重心位置と間の周方向距離dを求めた上で、周方向距離d(図9参照)に基づいて、対象ラベル領域の重心位置と参照ラベル領域の重心位置との間の実空間における水平距離を算出する。
ステップS22において、人領域判定手段56は、ステップS20で算出した水平距離が、予め定められた距離閾値以下であるか否かを判定する。水平距離が距離閾値を超える場合は、ステップS16で特定した候補領域74は人物に対応するものではないと判定できるため、他の対象ラベル領域についてステップS12以下の処理を行う。水平距離が距離閾値以下である場合は、ステップS24に進む。
ステップS24において、人領域判定手段56は、ステップS16で算出した推定身長と、参照情報40に含まれる歩幅割合情報とに基づいて、候補領域74に対応する人物の実空間における下半身幅を算出する。
ステップS26において、人領域判定手段56は、ステップS16で特定され参照ラベル領域の幅lw(図6参照)を求めた上で、幅lwに基づいて参照ラベル領域の実空間における水平幅を算出する。さらに、人領域判定手段56は、算出した参照ラベル領域の水平幅が、ステップS24で算出した下半身幅に基づいて定められる下半身幅閾値以下であるか否かを判定する。参照ラベル領域の水平幅が下半身幅閾値を超える場合は、人領域判定手段56は当該対象ラベル領域と当該参照ラベル領域とを統合せずに、他の対象ラベル領域についてステップS12以下の処理を行う。参照ラベル領域の水平幅が下半身幅閾値以下である場合は、ステップS28に進む。
ステップS28において、人領域判定手段56は、当該対象ラベル領域と当該参照ラベル領域とを統合する。
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。