JP7101080B2 - 画像処理装置 - Google Patents

Description

本発明は、画像内から人物に相当する画像領域（人領域）を検出する画像処理装置に関する。

従来、監視領域をカメラにて撮影して取得される撮影画像と、基準画像とを比較することで、両画像間において変化のある領域である変化領域を求め、変化領域の大きさあるいは形状などの画像特徴に基づいて「人物らしさ」を判定して、撮影画像内から侵入者などの検出対象を検出する画像処理装置がある。

このような画像処理装置において、１人の人物（侵入者など）に対応する変化領域が複数個に分離されて抽出される場合がある。例えば、侵入者の衣服の色が背景と類似して差異が少ない場合などにこのような現象が生じ得る。

このことに鑑み、従来、１人の人物に対応する複数の変化領域を統合する処理が行われていた。

例えば、特許文献１には、カメラの設置条件などを用いて、抽出された所定の変化領域の位置における人物（侵入者）の大きさに相当する画像上の範囲を求め、その範囲内に含まれる複数の変化領域の組を１人の侵入者による変化領域として統合する技術が開示されている。

特開平９－２３１３６３号公報

例えば、人物が歩行している場合など、人物が足を開いた状態で撮影される場合がある。撮影画像内の人物が足を開いている場合、当該人物の下半身に相当する変化領域の幅が、当該変化領域の位置において求めた人物の大きさに相当する範囲よりも大きく検出されることに起因して、下半身に相当する変化領域と、当該人物の他の部位（例えば上半身）に相当する変化領域とが統合されないという問題があった。

本発明の目的は、撮影画像において検出された、足を開いた状態の人物に対応する複数の変化領域を適切に統合することにある。

本発明は、人物を撮影した撮影画像から前記人物に相当する画像領域を示す人領域を求める画像処理装置であって、前記人物の身長に対する当該人物の歩幅の割合を示す歩幅割合情報と、基準画像とを予め記憶した記憶手段と、前記撮影画像と前記基準画像とを比較して前記撮影画像における前記基準画像から変化した変化領域を抽出する抽出手段と、前記変化領域のうち、第１変化領域と当該第１変化領域よりも実空間で低い位置にあると推測される第２変化領域とからなる前記人物の候補領域を求める候補領域算出手段と、前記候補領域の実空間における高さを示す推定身長を求め、当該推定身長と前記歩幅割合情報とを用いて実空間における下半身幅を推定し、当該下半身幅と前記第２変化領域の実空間における水平幅との比較により前記候補領域を１人の人物に係る前記人領域と判定する人領域判定手段と、を備えることを特徴とする画像処理装置である。

望ましくは、前記記憶手段は、前記人物の実空間における参照身長を更に記憶し、前記人領域判定手段は、前記推定身長と前記参照身長との比較により、前記候補領域が前記人領域であるか否かを判定する、ことを特徴とする。

望ましくは、前記記憶手段は、前記人物の実空間における参照上半身幅を更に記憶し、前記人領域判定手段は、前記第１変化領域の実空間における水平幅と前記参照上半身幅との比較により、前記候補領域が前記人領域であるか否かを判定する、ことを特徴とする。

望ましくは、前記人領域判定手段は、前記第１変化領域の重心位置又は中心位置のいずれか一方を示す第１位置と、前記第２変化領域の重心位置又は中心位置のいずれか一方を示す第２位置とを求め、前記第１位置と前記第２位置との間の実空間における水平距離に基づいて前記候補領域が前記人領域であるか否かを判定する、ことを特徴とする。

望ましくは、前記歩幅割合情報は、前記人物の移動速度が大きいほど大きい前記割合を示し、前記抽出手段は、順次取得した前記撮影画像のそれぞれから前記変化領域を抽出し、前記候補領域算出手段は、順次取得した前記撮影画像のそれぞれから前記候補領域を求め、前記候補領域を時間的に追跡する追跡手段を更に備え、前記人領域判定手段は、前記追跡手段による追跡結果に基づいて前記候補領域、前記第１変化領域及び前記第２変化領域の少なくとも一方の移動速度を求め、当該移動速度と前記歩幅割合情報とを用いて前記下半身幅を推定する、ことを特徴とする。

本発明によれば、撮影画像において検出された、足を開いた状態の人物に対応する複数の変化領域を適切に統合することができる。

本実施形態に係る警備システムの構成概略図である。 本実施形態に係る画像センサの構成概略図である。 撮影画像（ａ）、基準画像（ｂ）、及び、変化領域画像（ｃ）を示す図である。 初期統合処理の結果を示す図である。 候補領域の高さを示す図である。 参照ラベル領域の幅ｌｗを示す図である。 統合されたラベル領域を示す図である。 対象ラベル領域の幅ｕｗを示す図である。 対象ラベル領域の重心位置と参照ラベル領域の重心位置との水平距離を求める様子を示す図である。 ラベル統合処理の流れを示すフローチャートである。

以下、本発明の実施形態について説明する。

図１は、本実施形態に係る警備システム１０の構成概略図である。警備システム１０は、店舗、オフィス、マンション、倉庫、家屋などの各監視対象物件１２に設置される警備装置１４、公衆電話回線などの通信網１６を介して各警備装置１４と接続される警備センタ装置１８、及び利用者装置２０とを含んで構成される。さらに、警備システム１０は、監視対象物件１２の監視領域を撮影した監視画像に基づいて監視対象物件１２の異常を検出するための１以上の画像処理装置としての画像センサ２２、及び、画像センサ２２により撮影された監視画像を記録する録画装置２４を含んで構成される。画像センサ２２及び録画装置２４は警備装置１４と通信可能に接続される。

警備装置１４は、構内ＬＡＮなどを介してそれ自体に接続された画像センサ２２からアラーム信号を受信すると、そのアラーム信号及び警備装置１４自体の識別信号、又は、監視対象物件１２あるいは異常を検出した画像センサ２２の識別信号を警備センタ装置１８へ送信する。そのために、警備装置１４は、画像センサ２２と通信するための通信インターフェースと、警備センタ装置１８及び利用者装置２０と通信するための通信インターフェースと、それらを制御するための制御ユニットを有する。

警備センタ装置１８は、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インターフェースと、液晶ディスプレイなどの表示装置と、ブザーやＬＥＤなどで構成される報知部を備える。警備センタ装置１８は、警備装置１４から通信網１６を介してアラーム信号を受信すると、そのアラーム信号を送信した警備装置１４が設置された監視対象物件１２及び検出された異常の内容を報知部及び表示装置を通じて監視員に報知する。

利用者装置２０も、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インターフェース、液晶ディスプレイなどの表示装置、及び、キーボードやマウスなど、警備装置１４を遠隔操作するための操作コマンドを入力するためのユーザインターフェースを備える。利用者装置２０は、ユーザインターフェースを介して予め登録されている監視対象物件１２を観察する操作がなされると、登録されている監視対象物件１２に設置された警備装置１４に対して、現在撮影中の監視画像又は録画装置２４に記録されている監視画像を利用者装置２０に送信することを要求する各種の画像要求信号を送信する。そして、警備装置１４から監視画像を受信すると、利用者装置２０は要求された監視画像を表示装置に表示する。

録画装置２４は、ＨＤＤなどの磁気ディスク装置、ＤＡＴなどの磁気テープ、ＤＶＤ－ＲＡＭなどの光記録媒体のように、録画装置２４に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置で構成される。録画装置２４は、画像センサ２２が撮影した監視画像を警備装置１４から受け取り、撮影時刻と関連付けて記録する。

図２は、画像センサ２２の構成概略図である。

通信部３０は、画像センサ２２と警備装置１４との間で構内ＬＡＮなどの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インターフェースであり、イーサネット（登録商標）などの各種の通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。具体的には、通信部３０は、後述の信号処理部４２によって侵入者が検出された場合に、侵入者を検出したことを示す侵入アラーム信号を警備装置１４に出力する。

撮影部３２は、ＣＣＤなどの、可視光などに感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などで構成される。撮影部３２は、監視領域を撮影することによって撮影画像を取得する。本実施形態では撮影部３２は、一定の時間間隔（例えば１／５秒）ごとに撮影を行うが、撮影部３２の撮影方法はこれには限られない。取得された撮影画像は記憶部３４に記憶される。

本実施形態では、撮影部３２は魚眼レンズを含んで構成され、すなわち、撮影部３２は全方位（３６０度）を撮影領域（監視領域）とすることができる全方位カメラである。当該全方位カメラは、例えば監視対象物件１２の天井などに設置され、監視領域を下方とし、略鉛直下方向を光学中心としている。しかしながら、撮影部３２は全方位カメラに限られず、単方位型のカメラ（例えば視野角が９０度のカメラ）であってもよい。

なお、全方位カメラである撮影部３２で撮像された撮影画像は全方位画像であり、全体として円形の像となっており、円形の中心が光学中心に対応する位置となっている。そして、撮影画像においては、監視領域の鉛直上方向が、撮影画像の径方向であって光学中心から外側へ向かう方向となり、監視領域の水平方向が撮影画像の周方向となる。

監視領域に侵入者が存在する場合、撮影部３２が取得した撮影画像には、当該人物（侵入者）に相当する人領域が含まれることとなる。

記憶部３４は、半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなどの光ディスクドライブ及びその記録媒体で構成される、記憶手段である。記憶部３４には、画像センサ２２の各部を動作させるための画像処理プログラムが記憶される。また、図２に示される通り、記憶部３４には、撮影部３２が取得した撮影画像３６、基準画像３８、及び参照情報４０が記憶される。

基準画像３８は、監視領域内に人物が存在していないときの撮影画像３６に基づいて信号処理部４２により作成される。基準画像３８は１枚であってもよいが、複数枚の基準画像３８が作成されてもよい。例えば、信号処理部４２は、撮影部３２が順次取得した撮影画像３６のフレーム間差分を求め、フレーム間での対応画素間の輝度差の絶対値の平均値を求める。そして、信号処理部４２は、その平均値が所定の基準よりも小さい撮影画像３６を基準画像３８として記憶部３４に記憶させる。また、基準画像３８は、照明状態の変動、太陽の日周変動などの監視領域の変動に対応するために、一定周期（例えば、１０分間隔）毎に更新されるのが好適である。

参照情報４０は、検出対象となる人物の特徴を表す情報であり、人物の実空間における身長を示す参照身長（例えば１８０ｃｍ）、人物の実空間における上半身幅を示す参照上半身幅（例えば６０ｃｍ）、及び、人物の身長に対する当該人物の歩幅の割合を示す歩幅割合情報を含んでいる。

歩幅割合情報は、人物の移動速度に応じた割合、特に、人物の移動速度が大きい程大きい割合を示しているのが好ましい。例えば、人物がゆっくり歩行している場合の歩幅は、身長×０．３７、人物が通常の速度で歩行している場合の歩幅は、身長×０．４５、人物が早歩きしている場合の歩幅は身長×０．５０の如くである。すなわち、人物の移動速度範囲を規定する閾値と人物の身長に対する歩幅の割合とを対応付けた情報として歩幅割合情報を記憶する。

信号処理部４２は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像センサ２２の各種信号処理を実行する。図２に示されるように、信号処理部４２は、抽出手段４４、ラベル整形手段４６、追跡手段４８、及び判定手段５０の機能を発揮する。信号処理部４２がこれらの手段を発揮することで、撮影画像３６において、人物に相当する画像領域である人領域が検出される。以下、信号処理部４２が有する各手段について説明する。

抽出手段４４は、撮影画像３６と、記憶部３４に予め記憶された基準画像３８とを比較して、両画像間で相違する画素を抽出し、抽出された画素と抽出されない画素とからなる二値画像（変化領域画像）を求める処理を行う。ここで「両画像間で相違する画素」とは、撮影画像３６と基準画像３８との間で輝度値又は色成分の差が所定値以上である撮影画像３６の画素を意味し、当該画素を抽出画素と呼ぶ。

図３には、撮影画像３６（ａ）、基準画像３８（ｂ）、及び変化領域画像３９（ｃ）の例が示されている。図３（ａ）の例のように、撮影画像３６に人物像６０が含まれている場合には、人物像６０に対応する画素が抽出画素となる。

また、抽出手段４４は、各抽出画素に対して識別子（ラベル）を付与するラベリング処理を行う。ラベルとしては、例えば当該変化領域画像３９内でユニークな数値を用いることができる。ラベリング処理では、ある抽出画素に注目したとき、当該抽出画素に隣接している他の抽出画素からなる一塊の抽出画素群を１つの変化領域６４（図３（ｃ）参照）とみなす。なお、抽出画素に隣接する画素とは、抽出画素の上下左右方向に隣接する画素であってもよいし、斜め方向に隣接する画素まで含めてもよい。その上で、各変化領域６４に対して異なるラベルを付与し、変化領域画像３９の画素値として記憶する処理を行う。以下、ラベルが付与された変化領域６４のことをラベル領域６６と呼び、ラベル領域６６を含む画像をラベル領域画像と呼ぶ。

これにより、撮影画像３６において、基準画像３８から変化した領域である１又は複数の変化領域６４（ラベル領域６６）が抽出される。本実施形態では、図３（ｃ）に示す通り、１人の人物に対応するラベル領域６６が、複数のラベル領域６６ａ～６６ｃに分離して抽出されるものとする。

ラベル整形手段４６は、抽出手段４４により抽出された各ラベル領域６６から人領域を求めるために、ラベル領域６６を整形する処理を実行する。本実施形態では、所定範囲内にある複数のラベル領域６６を、統合した場合に人物らしい大きさあるいは形状の領域となるかどうかなどの所定の条件に基づいて、複数のラベル領域６６を統合するラベル統合処理を実行する。ラベル統合処理によれば、例えば、同一人物の上半身と下半身とがそれぞれ異なるラベル領域６６として抽出された場合に、当該２つのラベル領域６６を統合して１人の人物の像に対応する１つのラベル領域６６とすることができる。特に、本実施形態では、撮影画像３６に足を開いた状態の人物を含む場合であっても、当該人物の下半身に対応するラベル領域６６を、当該人物の他の部位（例えば上半身）に対応するラベル領域６６と統合することができる。なお、ラベル整形手段４６は、１つのラベル領域６６を複数のラベル領域６６に分離するラベル分離処理や、ラベル領域６６を削除するラベル削除処理を行ってもよい。

例えば、ラベル分離処理は、ラベル領域６６から人領域を切り出して別のラベル領域６６とする処理である。具体的には、ラベル分離処理は、人領域及び影領域を含む１つのラベル領域６６から人領域を切り出す処理、及び、人領域及びヘッドライトなどの光が当たった部分に相当する光領域を含む１つのラベル領域６６から人領域を切り出す処理を含む。ラベル削除処理は、明らかに人物でないと判断できるラベル領域６６を削除する処理である。例えば、人物のサイズに対して大きすぎる、あるいは小さすぎるラベル領域６６を削除する。

なお、図２に示す通り、ラベル整形手段４６は、初期統合手段５２、候補領域算出手段５４、及び人領域判定手段５６を含むが、これらの手段により、ラベル統合処理が適切に実行される。初期統合手段５２、候補領域算出手段５４、及び人領域判定手段５６の詳細及びラベル統合処理の詳細については後述する。

追跡手段４８は、撮影部３２が順次取得した撮影画像３６のそれぞれから抽出され、ラベル整形手段４６にて整形されたラベル領域６６を時間的に追跡する処理を行う。具体的には、追跡手段４８は、今回取得された撮影画像３６から抽出されてラベル整形手段４６により整形された、人領域に対応する各ラベル領域６６と、過去に取得された撮影画像３６から抽出されて、記憶部３４に追跡用情報として記憶されているラベル領域６６（以下「追跡ラベル領域」と記載する）とを同定する処理（同一人物に対応する人領域であると判定する処理）を行う。ここで、追跡用情報は、追跡ラベル領域に関する、追跡ＩＤ、撮影画像３６上の位置、及び追跡用特徴量が関連付けられた情報である。追跡用特徴量は、追跡ラベル領域の実空間におけるサイズや形状、輝度ヒストグラム、テクスチャ情報などである。また、本実施形態では、撮影画像３６上の位置としては、追跡ラベル領域の略中央最下部の位置の座標としている。

追跡手段４８は、今回取得された撮影画像３６のラベル領域６６の追跡用特徴量及び位置と、追跡ラベル領域の追跡用特徴量及び位置とを比較する。例えば、追跡用特徴量が類似し、且つ、位置が近いもので同定する。そして、今回取得された撮影画像３６のラベル領域６６に対して、同定された追跡ラベル領域と同一の追跡ＩＤを付与し、時系列に従って、今回取得された撮影画像３６の当該ラベル領域６６の追跡ＩＤと、撮影画像３６上の位置などを関連付けた上で記憶部３４に追跡用情報として保存する。

なお、今回取得された撮影画像３６のラベル領域６６において、追跡ラベル領域と同定が得られなかったものについては、新規の人物が出現したものとして、当該ラベル領域６６の追跡特徴量に新規の追跡ＩＤを付与する。また、これまで追跡していた追跡ラベル領域のうち、今回取得された撮影画像３６のラベル領域６６と同定が得られなかったものがある場合、当該追跡ラベル領域に対応する人物が消失したものとして、当該追跡用情報を削除する。

判定手段５０は、追跡ラベル領域のそれぞれについて、侵入者か否かを判定する。本実施形態では、予め定めたフレーム数（例えば、５フレーム）以上、連続して人領域として追跡されている追跡ラベル領域を侵入者であると判定する。なお、追跡ラベル領域の推定移動速度などの特徴量を求め、求めた特徴量と予め記憶された人らしい特徴量（人らしい速度など）とを比較することにより、当該追跡ラベル領域が人らしいかを更に判定し、侵入者か否かを判定してもよい。

画像センサ２２の構成概要としては以上の通りである。以下、ラベル整形手段４６に含まれる初期統合手段５２、候補領域算出手段５４、及び人領域判定手段５６の詳細と共に、本実施形態におけるラベル統合処理の詳細について説明する。

初期統合手段５２は、撮影画像３６から抽出された、あるラベル領域６６と当該ラベル領域６６の周囲にある他のラベル領域６６とを統合する初期統合処理を行う。初期統合処理は、統合候補となる複数のラベル領域６６を仮に統合させた場合に、統合したラベル領域６６が人らしいサイズの範囲内となるか否かを判定し、範囲内となる場合に当該統合候補の複数のラベル領域６６を統合する処理である。

本実施形態では、初期統合手段５２は、ラベル領域画像内において、人物のサイズ（参照情報４０の参照身長と参照上半身幅とからなるサイズ）に相当する統合枠７０（図４参照）を設定し、統合枠７０の内部に収まる複数のラベル領域６６を統合する。初期統合手段５２は、ラベル領域画像上において統合枠７０を移動させながら初期統合処理を行う。なお、本実施形態では、撮影画像３６が全方位画像（円形の像）であり、監視領域の鉛直上方向が、撮影画像３６の径方向であって光学中心７２から外側へ向かう方向となることから、統合枠７０の幅（周方向の長さ）は、光学中心７２側に近づくにつれ狭くなっている。

図４の例では、人物の頭に対応するラベル領域６６ａ（図３（ｃ）参照）、及び、人物の上側胴体部分に対応するラベル領域６６ｂが統合枠７０の内部に収まっているため、初期統合処理において、ラベル領域６６ａ及びラベル領域６６ｂが統合され、１つのラベル領域６６ｄとなっている。一方、人物が足を広げていたことで、人物の下半身に対応するラベル領域６６ｃの幅が広がっていることに起因して、ラベル領域６６ｃの一部が統合枠７０からはみ出しているため、初期統合処理においては、ラベル領域６６ｃは統合されない。なお、初期統合手段５２は、統合枠７０を用いることなく、統合したラベル領域６６が人らしいサイズの範囲内となるか否かを判定してもよい。例えば、あるラベル領域６６に対して、当該ラベル領域６６の周囲にある他のラベル領域６６を統合した場合の実空間におけるサイズ（幅、高さ）を求め、求めたサイズが参照情報４０に記された人物の身長と上半身幅よりも小さいとき、これらのラベル領域６６を統合するといった処理を全てのラベル領域６６に対して繰り返し実行していくことで初期統合処理を実行してもよい。

候補領域算出手段５４は、初期統合処理がされたラベル領域画像において、処理対象のラベル領域６６である対象ラベル領域（第１変化領域）を特定した上で、当該対象ラベル領域よりも実空間で低い位置にあると推測されるラベル領域６６である参照ラベル領域（第２変化領域）を特定する。図４の例では、ラベル領域６６ｄを対象ラベル領域として特定した場合に、ラベル領域６６ｄよりも実空間で低い位置にある、すなわちラベル領域６６ｄの径方向内側に位置するラベル領域６６ｃが参照ラベル領域として特定される。なお、ラベル領域６６ｄの径方向内側に位置するラベル領域６６とは、例えば、ラベル領域６６ｄの周方向両端部それぞれと光学中心７２を結ぶ直線で区切られる角度範囲内に少なくとも一部分が存在するラベル領域６６である。対象ラベル領域は、人物の上半身に対応すると期待されるラベル領域６６であり、参照ラベル領域は、人物の下半身に対応すると期待されるラベル領域６６である。

候補領域算出手段５４は、このように特定された、対象ラベル領域（本例ではラベル領域６６ｄ）と参照ラベル領域（本例ではラベル領域６６ｃ）とからなる領域を候補領域７４として特定する。ラベル領域画像に複数のラベル領域６６が存在する場合は、候補領域算出手段５４は、各ラベル領域６６を対象ラベル領域として特定した上で、それぞれの対象ラベル領域に対して上記のように候補領域を特定する処理を行う。特定した対象ラベル領域に対する参照ラベル領域が存在しない（当該対象ラベル領域よりも実空間で低い位置にあるラベル領域６６が存在しない）場合は、候補領域算出手段５４は、当該対象ラベルを含む候補領域を特定しない。

人領域判定手段５６は、まず、候補領域算出手段５４が求めた候補領域７４の高さｔ（実空間の鉛直方向における長さ、図５参照）を求める。本実施形態では、候補領域算出手段５４は、対象ラベル領域であるラベル領域６６ｄのうち光学中心７２から最も離れた画素と、参照ラベル領域であるラベル領域６６ｃのうち光学中心７２に最も近い画素との間の径方向距離を高さｔとすることができる。

人領域判定手段５６は、求めた高さｔに基づいて、候補領域７４の実空間における高さを算出する。候補領域７４の実空間における高さを推定身長と呼ぶ。

撮影画像３６（ラベル領域画像）中における距離から実空間における距離への変換は、撮影画像３６の撮影条件情報（例えば、撮影部３２の設置高さ、ズーム率（拡大率）、あるいは焦点距離など）を用いて行うことができる。具体的には、上記の撮影条件情報に基づいて、光学中心７２からの距離に応じて、１ピクセルが実空間において高さ何ｃｍに相当するのかを計算によって求めることができる。これにより、ラベル領域画像内の高さｔに基づいて、実空間スケールにおける推定身長を算出することができる。

次いで、人領域判定手段５６は、算出した推定身長と、参照情報４０に含まれる歩幅割合情報とを用いて、当該候補領域７４に対応する人物の実空間における下半身幅を算出する。

好ましくは、人領域判定手段５６は、追跡手段４８による追跡結果に基づいて、候補領域７４に対応する人物の移動速度を算出し、人物の移動速度が大きいほど大きい歩幅の割合を示す歩幅割合情報と人物の推定身長とに基づいて、当該候補領域７４に対応する人物の実空間における下半身幅を算出するようにしてもよい。当然ながら、この場合は、候補領域７４に対応する人物の移動速度が大きい程、推定される下半身幅が大きくなる。

例えば、候補領域７４に対応する人物の移動速度が第１の速度閾値を以下である場合には、当該人物が「ゆっくり歩行している」と判定し、当該人物の下半身幅を推定身長×０．３７とする。また、候補領域７４に対応する人物の移動速度が第１の速度閾値を超え、第２の速度閾値以下である場合には、当該人物が「通常の速度で歩行している」と判定し、当該人物の下半身幅を推定身長×０．４５とする。また、候補領域７４に対応する人物の移動速度が第２の速度閾値を超える場合には、当該人物が「早歩きしている」と判定し、当該人物の下半身幅を推定身長×０．５０とする。なお、本実施形態では、人物の移動速度範囲と人物の身長に対する歩幅の割合とを対応付けた情報として、参照情報４０の歩幅割合情報を記憶している。しかし、これに限らず、人領域判定手段５６は、人物の移動速度に応じて動的に人物の身長に対する歩幅の割合を求め、歩幅割合情報として記憶してもよい。すなわち、人領域判定手段５６は、人物の移動速度が大きいほど、人物の身長に対する歩幅の割合が大きくなるよう算出し、参照情報４０の歩幅割合情報として記憶してもよい。

なお、候補領域７４に対応する人物の移動速度は、対象ラベル領域及び参照ラベル領域の少なくとも一方の移動速度とすることができる。対象ラベル領域の移動速度は、順次取得された撮影画像３６それぞれの取得時刻と、各撮影画像３６において候補領域算出手段５４が求めた候補領域７４のうちの対象ラベルの位置とに基づいて算出することができる。同様に、参照ラベル領域の移動速度は、順次取得された撮影画像３６それぞれの取得時刻と、各撮影画像３６において候補領域算出手段５４が求めた候補領域７４のうちの参照ラベルの位置とに基づいて算出することができる。なお、対象ラベル領域と参照ラベル領域の両方の移動速度を考慮して、候補領域７４に対応する人物の移動速度を算出してもよい。例えば、対象ラベル領域と参照ラベル領域の移動速度の平均値を候補領域７４に対応する人物の移動速度としてもよい。

さらに、人領域判定手段５６は、参照ラベル領域の幅ｌｗ（実空間の水平方向における長さ、図６参照）に基づいて、参照ラベル領域の実空間における水平幅を算出し、推定した下半身幅と、算出した参照ラベル領域の実空間における水平幅との比較により、対象ラベル領域と参照ラベル領域とを統合する。すなわち、当該候補領域７４を１人の人物に係る人領域であると判定する。

参照ラベル領域の幅ｌｗから実空間における水平幅の算出は、上述の撮影条件情報に基づいて行うことが出来る。本実施形態では撮影画像３６が全方位画像であるため、上記の撮影条件情報に基づいて、光学中心７２からの距離ｒｌの位置において、１ピクセルが実空間において幅何ｃｍに相当するのかを計算によって求めることができる。これにより、光学中心７２からの距離ｒｌの位置において、角度θｌからなる円弧の長さ（つまり幅ｌｗ）が何画素に相当するのかを求めた上で、求めた画素数と１ピクセルの実空間におけるサイズとを乗算することにより、参照ラベル領域であるラベル領域６６ｃの幅ｌｗの実空間における幅を算出することができる。

人領域判定手段５６は、算出した参照ラベル領域の実空間における水平幅が、人物の推定身長と歩幅割合情報とから算出した下半身幅に基づいて定められる下半身幅閾値以下である場合に、当該候補領域７４に含まれる対象ラベル領域（本例ではラベル領域６６ｄ）と、参照ラベル領域（本例ではラベル領域６６ｃ）とを統合して１つのラベル領域６６ｅ（図７参照）を形成する。これにより、候補領域７４が１人の人物に係る人領域であると判定される。一方、算出した参照ラベル領域の実空間における水平幅が、下半身幅閾値を超える場合は、人領域判定手段５６は、当該候補領域７４に含まれる対象ラベル領域と参照ラベル領域とを統合しない。

好ましくは、人領域判定手段５６は、算出した推定身長と、参照情報４０に含まれる参照身長との比較により、当該候補領域７４が人領域であるか否かを判定し、人領域でないと判定した場合は、当該候補領域７４については参照ラベル領域を統合する処理を行わないようにしてもよい。例えば、算出した推定身長が参照身長に基づいて定められる身長閾値を超える場合には、当該候補領域７４は人領域に対応するものではないと判定することができる。

また、好ましくは、人領域判定手段５６は、対象ラベル領域の幅ｕｗ（実空間の水平方向における長さ、図８参照）に基づいて、対象ラベル領域の実空間における水平幅を算出し、参照情報４０に含まれる参照上半身幅と、算出した対象ラベル領域の実空間における水平幅との比較により、当該候補領域７４が人領域であるか否かを判定し、人領域でないと判定した場合は、当該候補領域７４については参照ラベル領域を統合する処理を行わないようにしてもよい。例えば、算出した水平幅が参照上半身幅に基づいて定められる上半身幅閾値を超える場合には、当該候補領域７４は人領域に対応するものではないと判定することができる。

なお、対象ラベル領域が初期統合処理において複数のラベル領域６６が統合されたものである場合には、当該対象ラベル領域の幅に対応する実空間における水平幅は上半身幅閾値以下となることが自明である。なぜならば、初期統合処理においては、複数のラベル領域６６が人らしいサイズの範囲内である場合に当該複数のラベル領域が統合されるからである。しかしながら、対象ラベル領域が初期統合処理で統合されたものではない場合は、当該対象ラベル領域の幅に対応する実空間における水平幅は上半身幅閾値を超える場合があるため、上記のように対象ラベル領域の水平幅と参照上半身幅とを比較することが好ましい。

対象ラベル領域の幅ｕｗから実空間における水平幅の算出は、上述の撮影条件情報に基づいて、参照ラベル領域の幅ｌｗから実空間における水平幅を算出したのと同様の方法にて算出することができる。すなわち、上記の撮影条件情報に基づいて、光学中心７２からの距離ｒｕの位置において、１ピクセルが実空間において何ｃｍに相当するのかを計算によって求めることができる。これにより、光学中心７２からの距離ｒｕの位置において、角度θｕからなる円弧の長さ（つまり幅ｕｗ）が何画素に相当するのかを求めた上で、求めた画素数と１ピクセルの実空間におけるサイズとを乗算することにより、対象ラベル領域であるラベル領域６６ｄの幅ｕｗの実空間における幅を算出することができる。

また、好ましくは、人領域判定手段５６は、対象ラベル領域と参照ラベル領域との間の実空間における水平方向の位置ずれ量に基づいて、候補領域７４が１人の人物に対応するものであるか否かを判定するようにしてもよい。これは、対象ラベル領域が人物の上半身に対応するものであり、参照ラベル領域が人物の下半身に対応するものであるならば、対象ラベル領域と参照ラベル領域との間に水平方向の大きな位置ずれは生じ得ないからである。

具体的には、人領域判定手段５６は、まず、図９に示すように、対象ラベル領域としてのラベル領域６６ｄの第１位置としての重心位置８０ｄ、及び、参照ラベル領域としてのラベル領域６６ｃの第２位置としての重心位置８０ｃを求める。本実施形態では、第１位置として対象ラベル領域の重心位置８０ｄ、第２位置として参照ラベル領域の重心位置８０ｃを求めているが、第１位置として対象ラベル領域の中心位置、第２位置として参照ラベル領域の中心位置を求めてもよい。

次いで、人領域判定手段５６は、重心位置８０ｄと重心位置８０ｃとの間の周方向距離ｄを算出した上で、周方向距離ｄに基づいて、重心位置８０ｄと重心位置８０ｃとの間の実空間における水平距離を算出する。ここでも、対象ラベル領域の周方向距離ｄから実空間における水平距離の算出は、上述の撮影条件情報に基づいて算出することができる。

そして、人領域判定手段５６は、算出した水平距離に基づいて、当該対象ラベル領域及び当該参照ラベル領域からなる候補領域７４が人領域であるか否かを判定する。具体的には、算出した水平距離が予め定められた距離閾値を超える場合には、人領域判定手段５６は当該候補領域７４が人領域ではないと判定する。なお、光学中心７２と重心位置８０ｄとを結ぶ直線、及び光学中心７２と重心位置８０ｃとを結ぶ直線を求め、２つの直線のなす角度が所定の角度閾値以上の場合に水平距離が距離閾値を超えているとして、人領域判定手段５６は当該候補領域７４が人領域ではないと判定してもよい。

以上説明した通り、本実施形態によれば、ラベル領域画像から候補領域７４を特定した上で、候補領域７４の高さｔに基づく推定身長を算出し、推定身長から当該人物の下半身幅を算出する。そして、人物の下半身に対応すると考えられる参照ラベルの幅ｌｗに基づいて参照ラベルの実空間における水平幅が算出され、算出された下半身幅と、参照ラベルの実空間における水平幅との比較に基づいて、参照ラベルと、その他の部位に対応する他のラベル領域６６と統合している。これにより、侵入者などの人物が足を開いた状態で撮影された場合であっても、撮影画像３６において、当該人物に対応する複数のラベル領域６６を適切に統合することができる。

以下、図１０に示すフローチャートに従って、ラベル統合処理の流れを説明する。

ステップＳ１０において、初期統合手段５２は、抽出手段４４が抽出したラベル領域画像に対して、初期統合処理を実行する。これにより、統合枠７０（図４参照）の内部に収まる複数のラベル領域６６が統合される。

ステップＳ１２以下の各ステップは、ステップＳ１０における初期統合処理後に残ったラベル領域６６の数だけ繰り返し実行される。

ステップＳ１２において、候補領域算出手段５４は、ラベル領域画像から１つのラベル領域６６を対象ラベル領域として特定する。さらに、人領域判定手段５６は、特定された対象ラベル領域の幅ｕｗ（図８参照）を求めた上で、幅ｕｗに基づいて対象ラベル領域の実空間における水平幅を算出する。

ステップＳ１４において、人領域判定手段５６は、ステップＳ１２で算出した対象ラベル領域の水平幅が、参照情報４０に含まれる参照上半身幅に基づいて定められる上半身幅閾値以下であるか否かを判定する。水平幅が上半身幅閾値を超える場合は、ステップＳ１２で特定した対象ラベル領域は人物の上半身に対応するものではないと判定できるため、当該対象ラベル領域に対する処理を終了し、再度のステップＳ１２で他のラベル領域６６を対象ラベル領域として特定してステップＳ１２以下の処理を行う。水平幅が上半身幅閾値以下である場合は、ステップＳ１６に進む。

ステップＳ１６において、候補領域算出手段５４は、対象ラベル領域よりも実空間で低い位置にある参照ラベル領域を特定し、対象ラベル領域と参照ラベル領域とからなる候補領域７４を特定する。人領域判定手段５６は、候補領域７４の高さｔ（図５参照）を求めた上で、高さｔに基づいて候補領域７４の実空間における高さである推定身長を算出する。

ステップＳ１８において、人領域判定手段５６は、ステップＳ１６で算出した推定身長が、参照情報４０に含まれる参照身長に基づいて定められる身長閾値以下であるか否かを判定する。推定身長が身長閾値を超える場合は、ステップＳ１６で特定した候補領域７４は人物に対応するものではないと判定できるため、他の対象ラベル領域についてステップＳ１２以下の処理を行う。推定身長が身長閾値以下である場合は、ステップＳ２０に進む。

ステップＳ２０において、人領域判定手段５６は、対象ラベル領域の重心位置と参照ラベル領域の重心位置と間の周方向距離ｄを求めた上で、周方向距離ｄ（図９参照）に基づいて、対象ラベル領域の重心位置と参照ラベル領域の重心位置との間の実空間における水平距離を算出する。

ステップＳ２２において、人領域判定手段５６は、ステップＳ２０で算出した水平距離が、予め定められた距離閾値以下であるか否かを判定する。水平距離が距離閾値を超える場合は、ステップＳ１６で特定した候補領域７４は人物に対応するものではないと判定できるため、他の対象ラベル領域についてステップＳ１２以下の処理を行う。水平距離が距離閾値以下である場合は、ステップＳ２４に進む。

ステップＳ２４において、人領域判定手段５６は、ステップＳ１６で算出した推定身長と、参照情報４０に含まれる歩幅割合情報とに基づいて、候補領域７４に対応する人物の実空間における下半身幅を算出する。

ステップＳ２６において、人領域判定手段５６は、ステップＳ１６で特定され参照ラベル領域の幅ｌｗ（図６参照）を求めた上で、幅ｌｗに基づいて参照ラベル領域の実空間における水平幅を算出する。さらに、人領域判定手段５６は、算出した参照ラベル領域の水平幅が、ステップＳ２４で算出した下半身幅に基づいて定められる下半身幅閾値以下であるか否かを判定する。参照ラベル領域の水平幅が下半身幅閾値を超える場合は、人領域判定手段５６は当該対象ラベル領域と当該参照ラベル領域とを統合せずに、他の対象ラベル領域についてステップＳ１２以下の処理を行う。参照ラベル領域の水平幅が下半身幅閾値以下である場合は、ステップＳ２８に進む。

ステップＳ２８において、人領域判定手段５６は、当該対象ラベル領域と当該参照ラベル領域とを統合する。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

１０ 警備システム、１２ 監視対象物件、１４ 警備装置、１６ 通信網、１８ 警備センタ装置、２０ 利用者装置、２２ 画像センサ、２４ 録画装置、３０ 通信部、３２ 撮影部、３４ 記憶部、３６ 撮影画像、３８ 基準画像、４０ 参照情報、４２ 信号処理部、４４ 抽出手段、４６ ラベル整形手段、４８ 追跡手段、５０ 判定手段、５２ 初期統合手段、５４ 候補領域算出手段、５６ 人領域判定手段。

Claims (5)

1. 人物を撮影した撮影画像から前記人物に相当する画像領域を示す人領域を求める画像処理装置であって、
   前記人物の身長に対する当該人物の歩幅の割合を示す歩幅割合情報と、基準画像とを予め記憶した記憶手段と、
   前記撮影画像と前記基準画像とを比較して前記撮影画像における前記基準画像から変化した変化領域を抽出する抽出手段と、
   前記変化領域のうち、第１変化領域と当該第１変化領域よりも実空間で低い位置にあると推測される第２変化領域とからなる前記人物の候補領域を求める候補領域算出手段と、
   前記候補領域の実空間における高さを示す推定身長を求め、当該推定身長と前記歩幅割合情報とを用いて実空間における下半身幅を推定し、当該下半身幅と前記第２変化領域の実空間における水平幅との比較により前記候補領域を１人の人物に係る前記人領域と判定する人領域判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記記憶手段は、前記人物の実空間における参照身長を更に記憶し、
   前記人領域判定手段は、前記推定身長と前記参照身長との比較により、前記候補領域が前記人領域であるか否かを判定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記記憶手段は、前記人物の実空間における参照上半身幅を更に記憶し、
   前記人領域判定手段は、前記第１変化領域の実空間における水平幅と前記参照上半身幅との比較により、前記候補領域が前記人領域であるか否かを判定する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記人領域判定手段は、前記第１変化領域の重心位置又は中心位置のいずれか一方を示す第１位置と、前記第２変化領域の重心位置又は中心位置のいずれか一方を示す第２位置とを求め、前記第１位置と前記第２位置との間の実空間における水平距離に基づいて前記候補領域が前記人領域であるか否かを判定する、
   ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記歩幅割合情報は、前記人物の移動速度が大きいほど大きい前記割合を示し、
   前記抽出手段は、順次取得した前記撮影画像のそれぞれから前記変化領域を抽出し、
   前記候補領域算出手段は、順次取得した前記撮影画像のそれぞれから前記候補領域を求め、
   前記候補領域を時間的に追跡する追跡手段を更に備え、
   前記人領域判定手段は、前記追跡手段による追跡結果に基づいて前記候補領域、前記第１変化領域及び前記第２変化領域の少なくとも一方の移動速度を求め、当該移動速度と前記歩幅割合情報とを用いて前記下半身幅を推定する、
   ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
   

Images