JP7221092B2

JP7221092B2 - 画像処理装置及び画像処理プログラム

Info

Publication number: JP7221092B2
Application number: JP2019044946A
Authority: JP
Inventors: 庸平澤井
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2019-03-12
Filing date: 2019-03-12
Publication date: 2023-02-13
Anticipated expiration: 2039-03-12
Also published as: JP2020149221A

Description

本発明は、撮影画像内から移動体の画像領域を示す移動体領域を検出する画像処理装置及び画像処理プログラムに関する。

従来、所定領域（監視領域）をカメラで撮影して取得した撮影画像から、移動体を検出する処理が行われている。例えば、監視領域内に人物などの移動体が侵入してきた場合に、撮影画像から当該人物が抽出される。

撮影画像から移動体を検出する処理としては、撮影画像と、背景画像（監視領域に移動体が存在しない画像）との間の背景差分領域を抽出する背景差分処理が行われるのが一般的である。しかし、背景差分処理では、扉の開閉や荷物の移動などが生じた場合、背景差分領域として抽出され続けるため、本来検出したい移動体の検出精度が落ちてしまう。したがって、背景差分処理の処理結果に加え、さらに、撮影画像と、過去に撮影された撮影画像である過去画像（例えば１～数フレーム前の画像）との間のフレーム間差分領域を抽出するフレーム間差分処理の処理結果も考慮して移動体を検出する場合がある。例えば、背景差分領域として抽出され、かつ、フレーム間差分領域として抽出された画素領域に基づいて、移動体を検出する。

例えば、特許文献１には、撮影画像と背景画像との間の背景差分処理、及び、撮影画像と、当該撮影画像と時間的に隣り合う過去画像との間のフレーム間差分処理によって、撮影画像から検出対象を検出する画像センサが開示されている。

特開２０１５－４６８１１号公報

監視領域に、移動速度が極端に遅い移動体（低速移動体）が存在する場合、撮影画像と過去画像とで、移動体の位置がほぼ変わらない場合がある。この場合、フレーム間差分処理は、撮影画像と過去画像との間のフレーム間差分領域を抽出するものであるから、フレーム間差分処理において、低速移動体がフレーム間差分領域として抽出されない場合がある。このように、従来、フレーム間差分処理によって、撮影画像から低速移動体を適切に検出できない場合があった。

本発明の目的は、フレーム間差分処理の結果を用いて撮影画像から低速移動体を検出することにある。

本発明は、所定領域を順次撮影した撮影画像のうちの対象画像から低速移動体の画像領域を示す低速移動体領域を検出する画像処理装置であって、前記所定領域の背景を撮影した背景画像と前記対象画像との間の背景差分処理によって抽出された背景差分領域を含む判定領域を求め、前記対象画像の撮影時刻を含む差分期間内に撮影された各前記撮影画像間のフレーム間差分処理によって、複数のフレーム間差分領域を求める差分処理手段と、前記判定領域内にて、前記対象画像と他の前記撮影画像との間の前記フレーム間差分領域の面積である第１面積から、前記複数のフレーム間差分領域を蓄積した蓄積差分画像における前記フレーム間差分領域の面積である第２面積への面積増加率が増加率閾値以上である場合、該判定領域に前記低速移動体領域が有ると判定する低速移動体判定手段と、を備えることを特徴とする画像処理装置である。

望ましくは、前記低速移動体領域が有ると判定された前記蓄積差分画像における前記判定領域内の前記フレーム間差分領域に基づいて、前記背景差分領域を整形するラベル整形手段と、をさらに備えることを特徴とする。

望ましくは、前記フレーム間差分処理によって、安定判定期間、前記フレーム間差分領域として抽出されなかった画像領域を安定領域と判定し、前記低速移動体領域が有ると判定された判定領域外の画像領域であって、前記安定領域と判定された画像領域を用いて前記背景画像を更新する背景画像更新手段をさらに備えることを特徴とする。

望ましくは、前記差分処理手段は、前記判定領域の面積に占める前記第１面積の割合が小さいほど、前記差分期間を大きい値に設定する、ことを特徴とする。

望ましくは、前記判定領域内の前記背景差分領域の面積を示す第３面積を求め、前記第１面積と前記第３面積との差が面積差閾値以下である場合、前記判定領域に前記低速移動体領域が無いと判定する、ことを特徴とする。

また、本発明は、所定領域を順次撮影した撮影画像のうちの対象画像から低速移動体の画像領域を示す低速移動体領域を検出するための画像処理プログラムであって、コンピュータを、前記所定領域の背景を撮影した背景画像と前記対象画像との間の背景差分処理によって抽出された背景差分領域を含む判定領域を求め、前記対象画像の撮影時刻を含む差分期間内に撮影された各前記撮影画像間のフレーム間差分処理によって、複数のフレーム間差分領域を求める差分処理手段と、前記判定領域内にて、前記対象画像と他の前記撮影画像との間の前記フレーム間差分領域の面積である第１面積から、前記複数のフレーム間差分領域を蓄積した蓄積差分画像における前記フレーム間差分領域の面積である第２面積への面積増加率が増加率閾値以上である場合、該判定領域に前記低速移動体領域が有ると判定する低速移動体判定手段と、として機能させることを特徴とする画像処理プログラムである。

本発明によれば、フレーム間差分処理の結果を用いて撮影画像から低速移動体を検出することができる。

本実施形態に係る警備システムの構成概略図である。本実施形態に係る画像センサの構成概略図である。対象画像（ａ）、背景画像（ｂ）、及び、背景差分画像（ｃ）を示す図である。複数の撮影画像と、複数のフレーム間差分画像を示す図である。対象フレーム間差分画像（ａ）、及び、蓄積差分画像（ｂ）を示す図である。移動体の速度が速い場合における、複数の撮影画像と、複数のフレーム間差分画像を示す図である。移動体の速度が速い場合における、対象フレーム間差分画像（ａ）、及び、蓄積差分画像（ｂ）を示す図である。移動体の速度が速い場合における、対象フレーム間差分画像（ａ）、及び、背景差分画像（ｂ）を示す図である。背景差分画像（ａ）、蓄積差分画像（ｂ）、及び、更新された判定領域を示す図である。本実施形態に係る低速移動体検出処理の流れを示すフローチャートである。

以下、本発明の実施形態について説明する。

図１は、本実施形態に係る警備システム１０の構成概略図である。警備システム１０は、店舗、オフィス、マンション、倉庫、家屋などの各監視対象物件１２に設置される警備装置１４、公衆電話回線などの通信網１６を介して各警備装置１４と接続される警備センタ装置１８、及び利用者装置２０とを含んで構成される。さらに、警備システム１０は、監視対象物件１２の監視領域を撮影した監視画像に基づいて監視対象物件１２の異常を検出するための１以上の画像処理装置としての画像センサ２２、及び、画像センサ２２により撮影された監視画像を記録する録画装置２４を含んで構成される。画像センサ２２及び録画装置２４は警備装置１４と通信可能に接続される。

警備装置１４は、構内ＬＡＮなどを介してそれ自体に接続された画像センサ２２からアラーム信号を受信すると、そのアラーム信号及び警備装置１４自体の識別信号、又は、監視対象物件１２あるいは異常を検出した画像センサ２２の識別信号を警備センタ装置１８へ送信する。そのために、警備装置１４は、画像センサ２２と通信するための通信インターフェースと、警備センタ装置１８及び利用者装置２０と通信するための通信インターフェースと、それらを制御するための制御ユニットを有する。

警備センタ装置１８は、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インターフェースと、液晶ディスプレイなどの表示装置と、ブザーやＬＥＤなどで構成される報知部を備える。警備センタ装置１８は、警備装置１４から通信網１６を介してアラーム信号を受信すると、そのアラーム信号を送信した警備装置１４が設置された監視対象物件１２及び検出された異常の内容を報知部及び表示装置を通じて監視員に報知する。

利用者装置２０も、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インターフェース、液晶ディスプレイなどの表示装置、及び、キーボードやマウスなど、警備装置１４を遠隔操作するための操作コマンドを入力するためのユーザインターフェースを備える。利用者装置２０は、ユーザインターフェースを介して予め登録されている監視対象物件１２を観察する操作がなされると、登録されている監視対象物件１２に設置された警備装置１４に対して、現在撮影中の監視画像又は録画装置２４に記録されている監視画像を利用者装置２０に送信することを要求する各種の画像要求信号を送信する。そして、警備装置１４から監視画像を受信すると、利用者装置２０は要求された監視画像を表示装置に表示する。

録画装置２４は、ＨＤＤなどの磁気ディスク装置、ＤＡＴなどの磁気テープ、ＤＶＤ－ＲＡＭなどの光記録媒体のように、録画装置２４に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置で構成される。録画装置２４は、画像センサ２２が撮影した監視画像を警備装置１４から受け取り、撮影時刻と関連付けて記録する。

図２は、画像センサ２２の構成概略図である。画像センサ２２は、所定領域（監視領域）を撮影して撮影画像を取得した上で、撮影画像から移動体を示す移動体領域を検出する。本実施形態では、画像センサ２２は、撮影画像の中から、移動体のうち、特に人物（侵入者）を示す移動体領域を検出する。特に、本実施形態に係る画像センサ２２は、移動速度が極端に遅い低速移動体を示す低速移動体領域を検出可能となっている。以下、画像センサ２２の詳細について説明する。

通信部３０は、画像センサ２２と警備装置１４との間で構内ＬＡＮなどの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インターフェースであり、イーサネット（登録商標）などの各種の通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。具体的には、通信部３０は、後述の信号処理部４２によって人物が検出された場合に、人物を検出したことを示すアラーム信号を警備装置１４に出力する。

撮影部３２は、ＣＣＤなどの、可視光などに感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などで構成される。撮影部３２としては、例えば、単方位カメラあるいは全方位カメラを利用することができる。撮影部３２は、監視領域を順次撮影することによって撮影画像を順次取得する。本実施形態では、撮影部３２は、一定の時間間隔（例えば１／５秒）毎に撮影を行うが、撮影部３２の撮影方法はこれには限られない。取得された撮影画像は記憶部３４に記憶される。

記憶部３４は、半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなどの光ディスクドライブ及びその記録媒体で構成される。記憶部３４には、画像センサ２２の各部を動作させるための画像処理プログラムが記憶される。また、図２に示される通り、記憶部３４には、撮影部３２が順次取得した複数の撮影画像３６、背景画像３８、及び参照情報４０が記憶される。

背景画像３８は、監視領域の背景を撮影した画像であり、監視領域内に人物が存在していないときの撮影画像３６に基づいて、後述の背景画像更新手段５４により作成あるいは更新される。背景画像３８の更新処理の詳細については後述する。

参照情報４０は、検出対象（本実施形態では人物）の特徴を表す情報であり、本実施形態では、人物の標準的な身長を示す参照身長（例えば１８０ｃｍ）、人物の標準的な幅を示す参照身幅（例えば６０ｃｍ）、及び、人物の標準的な移動速度を示す参照移動速度を示す情報を含んでいる。

信号処理部４２は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像センサ２２の各種信号処理を実行する。図２に示されるように、信号処理部４２は、差分処理手段４４、低速移動体判定手段４６、ラベル整形手段４８、追跡手段５０、侵入者判定手段５２、及び、背景画像更新手段５４としての機能を発揮する。信号処理部４２がこれらの手段を発揮することで、撮影画像３６において、人物（侵入者）を示す画像領域である移動体領域が検出される。特に、本実施形態では、極端に移動速度が低い低速移動体としての人物を示す低速移動体領域が検出される。以下、信号処理部４２が有する各手段について説明する。

差分処理手段４４は、撮影画像３６と、記憶部３４に予め記憶された背景画像３８とを比較して、両画像間で相違する画素を抽出し、抽出された画素を第１の値（例えば１）とし、抽出されない画素を第２の値（例えば０）とする二値画像である背景差分画像を求める背景差分処理を行う。ここで「両画像間で相違する画素」とは、撮影画像３６と背景画像３８との間で輝度値又は色成分の差が所定値以上である撮影画像３６の画素を意味する。差分処理手段４４は、順次取得される複数の撮影画像３６それぞれと、背景画像３８との間で背景差分処理を行う。

図３には、低速移動体領域を検出する対象となる撮影画像３６である対象画像３６ａ（ａ）、背景画像３８（ｂ）、及び背景差分画像６０（ｃ）の例が示されている。ちなみに、対象画像３６ａは、記憶部３４に記憶された複数の撮影画像３６のうち、必ずしも最新の撮影画像３６でなくてもよい。図３（ａ）の例のように、対象画像３６ａに人物が含まれている場合には、背景差分処理により、図３（ｃ）に示されるように、当該人物に対応する画素群からなる背景差分領域６２が抽出される。なお、背景差分領域６２に含まれる画素を背景差分抽出画素と呼ぶ。

差分処理手段４４は、背景差分画像６０において、抽出した背景差分領域６２を含む判定領域６６を求める。後述するように判定領域６６は、低速移動体領域の有無を判定するための領域である。本実施形態では、差分処理手段４４は、背景差分領域６２の外接矩形を判定領域６６とする。なお、本実施形態では、判定領域６６として背景差分領域６２の外接矩形としているが、これに限らず、検出したい低速移動体が差分期間内に移動し得る範囲を加味した上限範囲として余裕を持たせてもよい。当該余裕は、検出したい低速移動体の特性に応じて予め定めておくのが好適である。このような判定領域の設定は高速移動体の影響を排除する意図がある。判定領域６６を示す情報としては、例えば判定領域６６の対頂点の座標が保持される。

また、差分処理手段４４は、各背景差分抽出画素に対して識別子（ラベル）を付与するラベリング処理を行う。ラベルとしては、例えば、背景差分画像６０内でユニークな数値を用いることができる。ラベリング処理では、ある背景差分抽出画素に注目したとき、当該画素に隣接している他の背景差分抽出画素からなる一塊の画素群を１つの背景差分領域６２とみなす。なお、背景差分抽出画素に隣接する画素とは、背景差分抽出画素の上下左右方向に隣接する画素であってもよいし、斜め方向に隣接する画素まで含めてもよい。その上で、各背景差分領域６２に対して異なるラベルを付与し、背景差分画像６０の画素値として記憶する処理を行う。以下、ラベルが付与された背景差分領域６２のことをラベル領域６４と呼ぶ場合がある。

さらに、差分処理手段４４は、異なる時点に撮影された２つの撮影画像３６を比較して、両画像間で相違する画素を抽出し、抽出された画素を第１の値（例えば１）とし、抽出されなかった画素を第２の値（例えば０）とする二値画像であるフレーム間差分画像を求めるフレーム間差分処理を行う。ここで、差分処理手段４４は、対象画像３６ａの撮影時刻を含む差分期間内に撮影された各撮影画像３６間でフレーム間差分処理を行い、複数のフレーム間差分画像を求める。なお、差分期間については後に詳細に説明する。本実施形態では、差分処理手段４４は、対象画像３６ａの撮影時刻から過去の差分期間に撮影された各撮影画像３６間でフレーム間差分処理を行うが、フレーム間差分処理の対象となる撮影画像３６としては、対象画像３６ａよりも未来に撮影された撮影画像３６が含まれていてもよい。

図４には、複数の撮影画像３６と、複数のフレーム間差分画像６８－１～６８－４（以下、包括してフレーム間差分画像６８と記載する場合がある）が示されている。図４の例では、対象画像３６ａから５フレーム分が差分期間内に撮影された撮影画像３６となっている。図４の例では、複数の撮影画像３６に極端に移動速度が遅い人物が含まれており、各撮影画像３６に含まれる人物に対応する画素と、その１フレーム前の撮影画像３６の人物に対応する画素とが一部重複している。

差分処理手段４４は、対象画像３６ａとその１フレーム前の撮影画像３６－１との間のフレーム間差分画像６８－１、撮影画像３６－１とその１フレーム前の撮影画像３６－２との間のフレーム間差分画像６８－２、撮影画像３６－２とその１フレーム前の撮影画像３６－３との間のフレーム間差分画像６８－３、及び、撮影画像３６－３とその１フレーム前の撮影画像３６－４との間のフレーム間差分画像６８－４を求める。

上述のように、各撮影画像３６に含まれる人物に対応する画素と、その１フレーム前の撮影画像３６の人物に対応する画素とが一部重複しているから、各フレーム間差分画像６８においては、一方の撮影画像３６で人物に対応する画素であったが他方の撮影画像３６で人物に対応する画素でなくなった画素、一方の撮影画像３６で人物に対応する画素ではなかったが他方の撮影画像３６で人物に対応する画素となった画素が抽出される。このように抽出された画素をフレーム間差分抽出画素と呼び、フレーム間差分抽出画素の集合をフレーム間差分領域７０と呼ぶ。

また、本実施形態では、複数のフレーム間差分画像６８のうち、対象画像３６ａと他の撮影画像３６との間のフレーム間差分画像６８を対象フレーム間差分画像６８ａと呼ぶ。

低速移動体判定手段４６は、複数のフレーム間差分画像６８を用いて、対象画像３６ａから低速移動体を検出する低速移動体検出処理を行う。

低速移動体判定手段４６は、背景差分画像６０において求めた判定領域６６を対象フレーム間差分画像６８ａ内に適用する。図５（ａ）には、対象フレーム間差分画像６８ａに適用された判定領域６６が示されている。その上で、低速移動体判定手段４６は、対象フレーム間差分画像６８ａにおける、判定領域６６内のフレーム間差分領域７０の面積である第１面積Ｓ_１を求める。第１面積Ｓ_１は、換言すれば、対象フレーム間差分画像６８ａにおける、判定領域６６内にあるフレーム間差分抽出画素の数である。

また、低速移動体判定手段４６は、差分処理手段４４によるフレーム間差分処理によって求められた複数のフレーム間差分画像６８内のフレーム間差分領域７０を蓄積した（足し合わせた）蓄積差分画像を求める。図４の例では、対象フレーム間差分画像６８ａ、フレーム間差分画像６８－２～６８－４のそれぞれのフレーム間差分領域７０を足し合わせて蓄積差分画像を求める。図５（ｂ）には、そのようにして求められた蓄積差分画像８０が示されている。蓄積差分画像８０に含まれる、複数のフレーム間差分画像６８のフレーム間差分領域７０を足し合わせた領域を蓄積フレーム間差分領域７２と呼ぶ。

その上で、低速移動体判定手段４６は、蓄積差分画像８０に判定領域６６を適用し、蓄積差分画像８０における、判定領域６６内の蓄積フレーム間差分領域７２の面積である第２面積Ｓ_２を求める。

監視領域に侵入した人物が低速で移動している場合、各撮影画像３６における人物に対応する画素の位置が少しずつ異なるから、各フレーム間差分画像６８におけるフレーム間差分領域７０の位置も少しずつ異なる。したがって、各フレーム間差分画像６８におけるフレーム間差分領域７０を足し合わせていくと、蓄積フレーム間差分領域７２の面積が徐々に増えていくことになる。よって、判定領域６６内についてみると、対象フレーム間差分画像６８ａにおけるフレーム間差分領域７０の面積である第１面積Ｓ_１に比して、蓄積差分画像８０における蓄積フレーム間差分領域７２の面積である第２面積Ｓ_２の方が大きくなる。

ここで、監視領域に侵入した人物の移動速度が速い場合、換言すれば、当該人物が低速移動体でない場合を考える。図６には、図４同様、複数の撮影画像３６と、複数のフレーム間差分画像６８が示されている。図６の例では、複数の撮影画像３６に極端に移動速度が速い人物が含まれており、各撮影画像３６に含まれる人物に対応する画素と、その１フレーム前の撮影画像３６の人物に対応する画素が重複していない。

この場合、各フレーム間差分画像６８においては、一方の撮影画像３６で人物に対応する画素の全てと、他方の撮影画像３６で人物に対応する画素の全ての両方がフレーム間差分領域７０として抽出される。

図６の例において、判定領域６６が適用された対象フレーム間差分画像６８ａが図７（ａ）に示され、判定領域６６が適用された蓄積差分画像８０が図７（ｂ）に示されている。監視領域に侵入した人物の移動速度が速い場合、各撮影画像３６における人物に対応する画素の位置は重複しない。したがって、図７（ｂ）に示される通り、各フレーム間差分画像６８におけるフレーム間差分領域７０を足し合わせると、蓄積フレーム間差分領域７２としては、各撮影画像３６における人物に対応する画素領域が重複せずに並ぶだけである。この場合、判定領域６６内についてみると、対象フレーム間差分画像６８ａにおけるフレーム間差分領域７０の面積である第１面積Ｓ_１と、蓄積差分画像８０における蓄積フレーム間差分領域７２の面積である第２面積Ｓ_２は同等となる。

以上の通りであるので、低速移動体判定手段４６は、第１面積Ｓ_１から第２面積Ｓ_２への面積増加率ΔＳ［％］を求め、求めた面積増加率ΔＳが所定の増加率閾値以上である場合に、判定領域６６内に低速移動体領域が有ると判定する。換言すれば、低速移動体判定手段４６は、第１面積Ｓ_１から第２面積Ｓ_２への面積増加率ΔＳ［％］が所定の増加率閾値未満である場合は、判定領域６６内に低速移動体領域が無いと判定する。ここで、面積増加率ΔＳは、以下の式で求められる。
ΔＳ＝（（Ｓ_２－Ｓ_１）／Ｓ_１）×１００
なお、上記の式の分母をＳ_１の代わりに後述するＳ_３を用いて増加率ΔＳを算出してもよい。

監視領域に侵入した人物の速度がかなり小さい場合、各フレーム間差分画像６８におけるフレーム間差分領域７０の面積がかなり小さくなる。差分期間が一定であれば、各フレーム間差分画像６８におけるフレーム間差分領域７０の面積が小さいほど、蓄積差分画像８０における蓄積フレーム間差分領域７２の面積（つまり第２面積Ｓ_２）が小さくなる。これは、低速移動体が判定領域６６内にあると判定されにくくなる方向に作用する。ここで、差分期間が長い程、蓄積処理の対象となるフレーム間差分画像６８の数が増えるから、第２面積Ｓ_２をより大きくすることができる。

したがって、本実施形態では、低速移動体判定手段４６によって対象フレーム間差分画像６８ａにおける判定領域６６内のフレーム間差分領域７０の面積（つまり第１面積Ｓ_１）が算出された場合に、差分処理手段４４は、対象フレーム間差分画像６８ａの判定領域６６の面積に占める第１面積Ｓ_１の割合が小さいほど、差分期間を大きい値に設定するようにしてもよい。単に第１面積Ｓ_１の大きさに応じて差分期間を変更しないのは、撮影画像３６における人物に対応する画素領域の大きさを考慮したからである。その上で、差分処理手段４４は、設定した差分期間内に撮影された各撮影画像３６間のフレーム間差分画像６８を求め、低速移動体判定手段４６は、新たに求められた複数のフレーム間差分画像６８を用いて、上述の低速移動体判定処理を行う。

また、上述のように、監視領域に侵入した人物の移動速度が速い場合、各撮影画像３６に含まれる人物に対応する画素と、その１フレーム前の撮影画像３６の人物に対応する画素とが重複しないから、図８（ａ）に再度示す通り（図６も参照）、対象フレーム間差分画像６８ａにおけるフレーム間差分領域７０としては、対象画像３６ａにおける人物に対応する画素領域と、撮影画像３６－１における人物に対応する画素領域とが重複せずに並ぶだけである。このとき、対象フレーム間差分画像６８ａにおける判定領域６６内のフレーム間差分領域７０の面積（つまり第１面積Ｓ_１）と、図８（ｂ）に示す背景差分画像６０における判定領域６６内の背景差分領域６２の面積である第３面積Ｓ_３は同等となる。

したがって、低速移動体判定手段４６は、背景差分画像６０における判定領域６６内の背景差分領域６２の面積である第３面積Ｓ_３を求め、第１面積Ｓ_１と第３面積Ｓ_３との差が所定の面積差閾値以下である場合には、監視領域に侵入した人物の移動速度が速い、つまり、判定領域６６内に低速移動体領域が無い、と判定するようにしてもよい。

図２に戻り、ラベル整形手段４８は、差分処理手段４４の背景差分処理により抽出された各ラベル領域６４を整形するラベル整形処理を実行する。例えば、所定範囲内にある複数のラベル領域６４を、統合した場合に人物らしい大きさあるいは形状の領域となるかどうかなどの所定の条件に基づいて、複数のラベル領域６４を統合するラベル統合処理を実行する。ラベル統合処理によれば、例えば、同一人物の上半身と下半身とがそれぞれ異なるラベル領域６４として抽出された場合に、当該２つのラベル領域６４を統合して１人の人物の像に対応する１つのラベル領域６４とすることができる。

また、例えば、ラベル整形手段４８は、ラベル領域６４から人領域を切り出して別のラベル領域６４とするラベル分離処理を行ってもよい。ラベル分離処理は、人領域及び影領域を含む１つのラベル領域６４から人領域を切り出す処理などを含む。

また、例えば、ラベル整形手段４８は、ラベル領域６４を削除するラベル削除処理を行ってもよい。ラベル削除処理は、明らかに人物でないと判断できるラベル領域６４を削除する処理である。例えば、人物のサイズに対して大きすぎる、あるいは小さすぎるラベル領域６４を削除する。

また、差分期間に含まれる複数の撮影画像３６において、例えばレンズフレアなどによって、一様なノイズが重畳される場合がある。この場合、図９（ａ）に示す通り、背景差分画像６０に含まれる背景差分領域６２には、当該ノイズに対応する画素が含まれてしまい、背景差分領域６２の面積が大きくなり、また、その外形も人らしくなくなってしまう場合がある。

このような場合、ラベル整形手段４８は、上述のラベル統合処理、ラベル分離処理、及びラベル削除処理に先立って、蓄積差分画像８０における、低速移動体領域があると判定された判定領域６６内の蓄積フレーム間差分領域７２（図９（ｂ）参照）に基づいて、背景差分領域６２を整形するようにしてもよい。本実施形態では、ラベル整形手段４８は、背景差分画像６０の元の判定領域６６（図９（ａ）参照）内において背景差分領域６２として抽出され、かつ、蓄積差分画像８０に適用された元の判定領域６６（図９（ｂ）参照）内において蓄積フレーム間差分領域７２として抽出された画素領域を更新後背景差分領域６２’とする。また、更新後背景差分領域６２’に合わせて、判定領域６６も更新するようにしてもよい。具体的には、更新後背景差分領域６２’の外接矩形を更新後判定領域６６’としてもよい。更新後判定領域６６’は、判定領域６６よりも小さい面積とすることが可能であり、これにより、後述の背景画像更新手段５４による背景画像更新処理において、背景画像３８として用いることのできる画像領域をより大きく取ることができる。

追跡手段５０は、撮影部３２が順次取得した複数の撮影画像３６のそれぞれから抽出され、ラベル整形手段４８にて整形されたラベル領域６４を時間的に追跡する処理を行う。具体的には、追跡手段５０は、今回取得された撮影画像３６から抽出されてラベル整形手段４８により整形された、各ラベル領域６４と、過去に取得された撮影画像３６から抽出されて、記憶部３４に追跡用情報として記憶されているラベル領域６４（以下「追跡ラベル領域」と記載する）とを同定する処理（同一人物に対応するラベル領域６４であると判定する処理）を行う。ここで、追跡用情報は、追跡ラベル領域に関する、追跡ＩＤ、撮影画像３６上の位置、及び追跡用特徴量が関連付けられた情報である。追跡用特徴量は、追跡ラベル領域の実空間におけるサイズや形状、輝度ヒストグラム、テクスチャ情報などである。

追跡手段５０は、今回取得された撮影画像３６のラベル領域６４の追跡用特徴量及び位置と、追跡ラベル領域の追跡用特徴量及び位置とを比較することで、今回取得された撮影画像３６のラベル領域６４と追跡ラベル領域とを同定する。例えば、追跡用特徴量が類似し、且つ、位置が近いもので同定する。そして、今回取得された撮影画像３６のラベル領域６４に対して、同定された追跡ラベル領域と同一の追跡ＩＤを付与し、時系列に従って、今回取得された撮影画像３６の当該ラベル領域６４の追跡ＩＤと、撮影画像３６上の位置などを関連付けた上で記憶部３４に追跡用情報として保存する。

なお、今回取得された撮影画像３６のラベル領域６４において、追跡ラベル領域と同定が得られなかったものについては、新規の人物が出現したものとして、当該ラベル領域６４の追跡用特徴量に新規の追跡ＩＤを付与する。また、これまで追跡していた追跡ラベル領域のうち、今回取得された撮影画像３６のラベル領域６４と同定が得られなかったものがある場合、当該追跡ラベル領域に対応する人物が消失したものとして、当該追跡用情報を削除する。

侵入者判定手段５２は、上述の各手段の処理結果に基づいて、対象画像３６ａに含まれるラベル領域６４のそれぞれについて、移動体である人物（侵入者）に対応するものであるか否かを判定する。

侵入者判定手段５２は、移動体と判定されたラベル領域６４が人らしいか否かを判定する。例えば、ラベル領域６４の推定サイズ（推定高さあるいは推定幅）を求め、参照情報４０に含まれる人物の標準的なサイズと比較することにより当該ラベル領域６４が人らしいか否かを判定する。

また、侵入者判定手段５２は、追跡手段５０の追跡処理の結果から、ラベル領域６４の移動量に基づいてラベル領域６４の推定速度を求め、参照情報４０に含まれる人物の標準的な移動速度との比較結果をも考慮して、当該ラベル領域６４が人らしいか否かを判定するようにしてもよい。この際、低速移動体判定手段４６にてラベル領域６４が低速移動体領域であると判定されている場合、当該判定結果を考慮して、当該ラベル領域６４が人らしいか否かを判定するようにしてもよい。例えば、ラベル領域６４の移動量が標準的な移動速度よりも遅かったとしても、低速移動体領域と判定されているならば、（低速で移動する）人らしいと判定するようにしてもよい。あるいは、標準的な移動速度として設定した値を低速移動体領域と判定されたラベル領域６４については小さい値に変更してもよい。

上述の処理により、ラベル領域６４が人らしいと判定された場合に、侵入者判定手段５２は、対象画像３６ａに人物（侵入者）が含まれると判定し、通信部３０からアラーム信号を出力させる。ここで、さらに、侵入者判定手段５２は、予め定めたフレーム数（例えば、５フレーム）以上、同一の追跡ＩＤが付与されたラベル領域６４が連続して人らしいと判定された場合に、通信部３０からアラーム信号を出力するようにしてもよい。

背景画像更新手段５４は、撮影画像３６を用いて背景画像３８を作成あるいは更新する。背景画像更新手段５４は、監視領域に移動体が全く存在しないときの撮影画像３６をそのまま背景画像３８としてもよいが、撮影画像３６のうち、移動体領域以外の部分を用いて背景画像３８を部分的に更新することもできる。

本実施形態における背景画像更新手段５４は、差分処理手段４４によるフレーム間差分処理、及び、低速移動体判定手段４６による低速移動体判定処理の結果に基づいて、背景画像３８を更新する。具体的には、まず、背景画像更新手段５４は、差分処理手段４４によるフレーム間差分処理によって、所定の安定判定期間、フレーム間差分領域７０として抽出されない画像領域を安定領域として判定する。その上で、低速移動体判定手段４６による低速移動体判定処理により低速移動体領域が有ると判定された判定領域６６外の画像領域であり、かつ、上記安定領域であると判定された画像領域を用いて、背景画像３８を更新する。換言すれば、背景画像更新手段５４は、低速移動体領域が有ると判定された判定領域６６は、背景画像３８の更新には用いないようにする。

なお、背景画像３８は、照明状態の変動、太陽の日周変動などの監視領域の変動に対応するために、一定周期（例えば、１０分間隔）毎に更新されるのが好適である。

本実施形態に係る警備システム１０の構成は以上の通りである。以下、図１０に示すフローチャートに従って、低速移動体判定処理（一部差分処理手段４４による処理を含む）の流れについて説明する。

ステップＳ１０において、差分処理手段４４は、撮影画像３６と背景画像３８とを比較して、背景差分画像６０を求める背景差分処理を行う。

ステップＳ１２において、差分処理手段４４は、ステップＳ１０で求めた背景差分画像６０において、背景差分領域６２の外接矩形を判定領域６６に設定する。

ステップＳ１４において、差分処理手段４４は、対象画像３６ａと、他の撮影画像３６との間でフレーム間差分処理を行って、対象フレーム間差分画像６８ａを求める。

ステップＳ１６において、低速移動体判定手段４６は、ステップＳ１２で求めた判定領域６６内の背景差分領域６２の面積である第３面積Ｓ_３を算出する。

ステップＳ１８において、低速移動体判定手段４６は、ステップＳ１４で求めた対象フレーム間差分画像６８ａに、ステップＳ１２で求めた判定領域６６を適用する。さらに、低速移動体判定手段４６は、対象フレーム間差分画像６８ａにおける、判定領域６６内のフレーム間差分領域７０の面積である第１面積Ｓ_１を求める。

ステップＳ２０において、低速移動体判定手段４６は、ステップＳ１８で求めた第１面積Ｓ_１とステップＳ１６で求めた第３面積Ｓ_３とが同等であるか、つまり、第１面積Ｓ_１と第３面積Ｓ_３との差が所定の面積差閾値以下であるか否かを判定する。第１面積Ｓ_１と第３面積Ｓ_３との差が所定の面積差閾値以下である場合、ステップＳ２２に進み、ステップＳ２２において、低速移動体判定手段４６は、当該判定領域６６内に低速移動体領域は無い、と判定する。第１面積Ｓ_１と第３面積Ｓ_３との差が所定の面積差閾値以下ではない場合、ステップＳ２４に進む。

ステップＳ２４において、差分処理手段４４は、対象画像３６ａの撮影時刻を含む差分期間を設定する。具体的には、差分処理手段４４は、ステップＳ１８で求めた、対象フレーム間差分画像６８ａの判定領域６６の面積に占める第１面積Ｓ_１の割合が小さいほど、差分期間を大きい値に設定する。

ステップＳ２６において、差分処理手段４４は、ステップＳ２４で設定された差分期間内に撮影された各撮影画像３６間でフレーム間差分処理を行い、複数のフレーム間差分画像６８を求める。

ステップＳ２８において、低速移動体判定手段４６は、ステップＳ２６で求めた複数のフレーム間差分画像６８内のフレーム間差分領域７０を蓄積した蓄積差分画像８０を生成する。

ステップＳ３０において、低速移動体判定手段４６は、ステップＳ２８で生成した蓄積差分画像８０に、ステップＳ１２で求めた判定領域６６を適用し、蓄積差分画像８０における、判定領域６６内の蓄積フレーム間差分領域７２の面積である第２面積Ｓ_２を求める。

ステップＳ３２において、低速移動体判定手段４６は、第１面積Ｓ_１から第２面積Ｓ_２への面積増加率ΔＳ［％］を求める。上述のように、面積増加率ΔＳは、
ΔＳ＝（（Ｓ_２－Ｓ_１）／Ｓ_１）×１００
で求められる。

ステップＳ３４において、低速移動体判定手段４６は、ステップＳ３２で求めた面積増加率ΔＳが所定の増加率閾値以上であるか否かを判定する。面積増加率ΔＳが増加率閾値以上である場合、ステップＳ３６に進み、ステップＳ３６において、低速移動体判定手段４６は、当該判定領域６６内に低速移動体領域が有る、と判定する。一方、面積増加率ΔＳが増加率閾値未満である場合、ステップＳ２２に進み、ステップＳ２２において、低速移動体判定手段４６は、当該判定領域６６内に低速移動体領域は無い、と判定する。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

１０警備システム、１２監視対象物件、１４警備装置、１６通信網、１８警備センタ装置、２０利用者装置、２２画像センサ、２４録画装置、３０通信部、３２撮影部、３４記憶部、３６撮影画像、３６ａ対象画像、３８背景画像、４０参照情報、４２信号処理部、４４差分処理手段、４６低速移動体判定手段、４８ラベル整形手段、５０追跡手段、５２侵入者判定手段、５４背景画像更新手段、６０背景差分画像、６２背景差分領域、６２’ 更新後背景差分領域、６４ラベル領域、６６判定領域、６６’ 更新後判定領域、６８フレーム間差分画像、６８ａ対象フレーム間差分画像、７０フレーム間差分領域、７２蓄積フレーム間差分領域、８０蓄積差分画像。

Claims

所定領域を順次撮影した撮影画像のうちの対象画像から低速移動体の画像領域を示す低速移動体領域を検出する画像処理装置であって、
前記所定領域の背景を撮影した背景画像と前記対象画像との間の背景差分処理によって抽出された背景差分領域を含む判定領域を求め、前記対象画像の撮影時刻を含む差分期間内に撮影された各前記撮影画像間のフレーム間差分処理によって、複数のフレーム間差分領域を求める差分処理手段と、
前記判定領域内にて、前記対象画像と他の前記撮影画像との間の前記フレーム間差分領域の面積である第１面積から、前記複数のフレーム間差分領域を蓄積した蓄積差分画像における前記フレーム間差分領域の面積である第２面積への面積増加率が増加率閾値以上である場合、該判定領域に前記低速移動体領域が有ると判定する低速移動体判定手段と、
を備えることを特徴とする画像処理装置。
前記低速移動体領域が有ると判定された前記蓄積差分画像における前記判定領域内の前記フレーム間差分領域に基づいて、前記背景差分領域を整形するラベル整形手段と、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
前記フレーム間差分処理によって、安定判定期間、前記フレーム間差分領域として抽出されなかった画像領域を安定領域と判定し、前記低速移動体領域が有ると判定された判定領域外の画像領域であって、前記安定領域と判定された画像領域を用いて前記背景画像を更新する背景画像更新手段
をさらに備えることを特徴とする請求項１又は２に記載の画像処理装置。
前記差分処理手段は、前記判定領域の面積に占める前記第１面積の割合が小さいほど、前記差分期間を大きい値に設定する、
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記判定領域内の前記背景差分領域の面積を示す第３面積を求め、前記第１面積と前記第３面積との差が面積差閾値以下である場合、前記判定領域に前記低速移動体領域が無いと判定する、
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
所定領域を順次撮影した撮影画像のうちの対象画像から低速移動体の画像領域を示す低速移動体領域を検出するための画像処理プログラムであって、
コンピュータを、
前記所定領域の背景を撮影した背景画像と前記対象画像との間の背景差分処理によって抽出された背景差分領域を含む判定領域を求め、前記対象画像の撮影時刻を含む差分期間内に撮影された各前記撮影画像間のフレーム間差分処理によって、複数のフレーム間差分領域を求める差分処理手段と、
前記判定領域内にて、前記対象画像と他の前記撮影画像との間の前記フレーム間差分領域の面積である第１面積から、前記複数のフレーム間差分領域を蓄積した蓄積差分画像における前記フレーム間差分領域の面積である第２面積への面積増加率が増加率閾値以上である場合、該判定領域に前記低速移動体領域が有ると判定する低速移動体判定手段と、
として機能させることを特徴とする画像処理プログラム。