以下、本発明の実施形態について説明する。
図1は、本実施形態に係る警備システム10の構成概略図である。警備システム10は、店舗、オフィス、マンション、倉庫、家屋などの各監視対象物件12に設置される警備装置14、公衆電話回線などの通信網16を介して各警備装置14と接続される警備センタ装置18、及び、利用者装置20とを含んで構成される。さらに、警備システム10は、監視対象物件12の監視空間を撮影した撮影画像に基づいて、監視対象物件12内の監視空間から検出対象である移動体(本実施形態では人物像)が存在するか否かを監視(検出)するための1以上の画像センサ22(画像処理装置)、及び、画像センサ22により撮影された撮影画像を記録する録画装置24を含んで構成される。画像センサ22及び録画装置24は警備装置14と通信可能に接続される。
警備装置14は、構内LANなどを介してそれ自体に接続された画像センサ22からアラーム信号を受信すると、そのアラーム信号及び警備装置14自体の識別信号、又は、監視対象物件12あるいは異常を検出した画像センサ22の識別信号を警備センタ装置18へ送信する。そのために、警備装置14は、画像センサ22と通信するための通信インタフェース、警備センタ装置18及び利用者装置20と通信するための通信インタフェース、及び、それらを制御するための制御ユニットを有する。
警備装置14は、複数の警備モードで動作可能となっていてよい。例えば、監視空間の監視を行う警備セットモードと、監視空間の監視を行わない警備解除モードで動作可能となっていてよい。
警備センタ装置18は、いわゆるコンピュータで構成され、通信網16を介して警備装置14と通信するための通信インタフェースと、液晶ディスプレイなどの表示装置と、ブザーやLEDなどで構成される報知部を備える。警備センタ装置18は、警備装置14から通信網16を介してアラーム信号を受信すると、そのアラーム信号を送信した警備装置14が設置された監視対象物件12及び検出された異常の内容を報知部及び表示装置を通じて監視員に報知する。
利用者装置20も、いわゆるコンピュータで構成され、通信網16を介して警備装置14と通信するための通信インタフェース、液晶ディスプレイなどの表示装置、及び、キーボートやマウスなど、警備装置14を遠隔操作するための操作コマンドを入力するためのユーザインターフェースを備える。利用者装置20は、ユーザインターフェースを介して予め登録されている監視対象物件12を観察する操作がなされると、登録されている監視対象物件12に設置された警備装置14に対して、現在撮影中の撮影画像又は録画装置24に記録されている撮影画像を利用者装置20に送信することを要求する各種の画像要求信号を送信する。そして、警備装置14から撮影画像を受信すると、利用者装置20は表示部に要求された撮影画像を表示する。
録画装置24は、HDDなどの磁気ディスク装置、DATなどの磁気テープ、DVD-RAMなどの光記録媒体のように、録画装置24に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置で構成される。録画装置24は、画像センサ22が撮影した撮影画像を警備装置14から受け取り、撮影時刻と関連付けて記録する。
図2は、画像処理装置としての画像センサ22の構成概略図である。
通信部30は、画像センサ22と警備装置14との間で構内LANなどの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インタフェースであり、イーサネット(登録商標)などの各種の通信インタフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。具体的には、通信部30は、後述の信号処理部50によって移動体(侵入者)が検出された場合に、侵入者を検出したことを示す侵入アラーム信号を警備装置14に出力する。
撮影部32は、監視対象物件12における監視空間を撮影して撮影画像を取得する。本実施形態に係る撮影部32は固定カメラであり、一定の画角で所定の監視空間を撮影する。
また、撮影部32は、監視空間を可視光で撮影する昼間モードと、監視空間に近赤外光照明を当てて撮影する夜間モードの2つの撮影モードを有し、撮影モードを切り替えることで複数の方法で撮影画像を取得することができる。詳しくは、昼間モードでは、近赤外光をカットするようにIRカットフィルタが結像光学系の光路内に挿入され、撮影部32の2次元検出器は可視光画像を取得する。一方、夜間モードでは、IRカットフィルタは結像光学系の光路外へ外され、2次元検出器は近赤外画像を取得する。なお、可視光画像を取得する可視カメラと、近赤外光画像を取得する近赤外線カメラを別個に設ける方式、積層型構造を有する有機薄膜へ加える電圧を変えることにより光電変換器の感度波長域を制御する方式などにより、昼間モードのときは可視画像の撮影を行い、夜間モードのときは近赤外画像の撮影を行うようにしてもよい。このように、撮影部32は、CCDなどの、可視光や赤外光などに感度を有する光電変換器、光電変換器上に監視空間の像を結像する結像光学系、結像光学系に設けられるIRカットフィルタ(赤外線カットフィルタ)、あるいは撮影対象物の温度を検出するための赤外線イメージセンサなどを含んで構成される。
本実施形態では、撮影部32は、一定の時間間隔(例えば1/5秒)ごとに撮影を行って撮影画像を取得するが、撮影部32の撮影間隔はこれには限られない。取得された撮影画像は記憶部38に記憶される。なお、本実施形態では、撮影部32が画像センサ22に含まれているが、撮影部32は画像センサ22の外部に設けられてもよい。
照度センサ34は、例えばフォトダイオードなどを含んで構成される。照度センサ34は、監視空間の照度(明るさ)を検出し、検出した照度を示す照度信号を後述の信号処理部50へ出力する。なお、照度センサ34として、公知の様々なセンサを使用することができる。
照明部36は、例えば近赤外線LEDなどを含んで構成される。照明部36は、撮影部32の撮影モードが夜間モードである場合に、監視空間に向けて近赤外光を照射する。一方、撮影部32の撮影モードが昼間モードである場合には、照明部36は消灯される。
記憶部38は、半導体メモリ、磁気ディスク(HDD)、又は、CD-ROM・DVD-RAMなどの光ディスクドライブ及びその記録媒体で構成される。記憶部38には、画像センサ22の各部を動作させるための画像処理プログラムが記憶される。また、図2に示される通り、記憶部38には、撮影部32が取得した撮影画像40が記憶される。さらに、記憶部38には、以下に説明する背景画像42、基準画像44、安定画像46、及び信頼度画像48が記憶される。
撮影画像40は、撮影部32が監視空間を順次撮影することで取得される画像である。記憶部38には、数十フレーム(画像)分の撮影画像40が記憶され、新たな撮影画像40が撮影された場合には、記憶部38に記憶された複数の撮影画像40のうち最も取得時刻が古い撮影画像40を削除した上で最新の撮影画像40が記憶される。
背景画像42は、移動体に相当する像を含まない画像であり、記憶部38に記憶された1又は複数の撮影画像40に基づいて、信号処理部50により作成あるいは選択される。例えば、信号処理部50は、時系列的に隣接する2つの撮影画像40の差分を求め、両画像間での対応画素間の輝度差の絶対値の平均値を求める。両画像の双方に移動体が存在していない場合は、当該両画像間の輝度差の絶対値の平均値はかなり小さくなる。したがって、信号処理部50は、その平均値が所定の基準よりも小さくなった2つの撮影画像40のいずれかを背景画像42として選択する。
背景画像42は、照明状態の変動、太陽の日周変動などによる監視空間の明るさの変動に対応するために更新される。本実施形態では、新たに取得された撮影画像40に含まれる複数の画素の平均輝度値が、既に記憶されている背景画像42に含まれる複数の画素の平均輝度値との差が所定値よりも大きくなった場合に、背景画像42が更新される。当該所定は、管理者などによって予め設定される。なお、本明細書において種々の「所定値」が登場するが、それらも管理者などによって予め設定される。なお、平均輝度値の比較ではなく、新たな撮影画像40を撮影したときの露光量を既に記憶されている背景画像42の露光量と比較することで、背景画像42を更新するか否か決定してもよい。また、照度センサ34が検出した監視空間の照度に基づいて、背景画像42を更新するか否か決定してもよい。あるいは、一定周期(例えば、10分間隔)毎に背景画像42を更新するようにしてもよい。
複数の背景画像42が記憶部38に記憶されてもよいし、1つの背景画像42が記憶部38に記憶されてもよい。
基準画像44は、撮影部32が撮影した撮影画像40のうち、検出対象の移動体が監視空間に存在しないときに撮影された画像である。つまり、基準画像44は、移動体に相当する像を含まない撮影画像40である。管理者などが複数の撮影画像40を目視して確認することで、複数の撮影画像40に中から基準画像44が選択される。あるいは、画像センサ22の立ち上げ時(監視空間の監視開始時)においては、監視空間に移動体が存在しないことが多いことから、画像センサ22の立ち上げ時に撮影した撮影画像40を基準画像44とするようにしてもよい。または、画像センサ22の立ち上げ後の所定時間内にフレーム間差分を行い、差分がない、つまり移動体が存在しない画像を基準画像44とするようにしてもよい。図3に、本実施形態における基準画像44が示されている。
比較画像としての安定画像46は、複数の撮影画像40に基づいて作成あるいは選択される画像である。安定画像46の詳細については、後述の安定画像抽出手段52の処理の説明と共に説明する。また、信頼度画像48は、基準画像44を基にして作成される画像である。信頼度画像48の詳細については、後述の信頼度設定手段54の処理の説明と共に説明する。
なお、本実施形態では、撮影画像40、背景画像42、基準画像44、安定画像46、及び信頼度画像48は、画像センサ22内の記憶部38に記憶されているが、これらの画像は、画像センサ22の外部に設けられた記憶部であって、画像センサ22からアクセス可能な記憶部に記憶されてもよい。
信号処理部50は、組み込み型のマイクロプロセッサユニット、ROM・RAMなどのメモリ、及び、その周辺回路を有し、画像センサ22における各種信号処理を実行する。図2に示されるように、信号処理部50は、安定画像抽出手段52、信頼度設定手段54、監視状況判定手段56、及び、移動体検出手段58の機能を発揮する。信号処理部50がこれらの手段を発揮することで、監視空間が移動体の監視が可能な状況であるか否かを高精度に判定した上で、撮影画像40から移動体が検出される。以下、信号処理部50が有する各手段について説明する。
安定画像抽出手段52は、複数の撮影画像40に基づいて、安定画像46を抽出して記憶部38に記憶させる。本実施形態では、安定画像抽出手段52は、撮影画像40のうち、背景画像42との間における差分抽出処理(以下「背景差分処理」と記載する)の結果において差分が少なく(差分量が所定量未満であり)、且つ、撮影画像40の前後に撮像された他の撮影画像40との間における差分抽出処理(以下「フレーム間差分処理」と記載する)の結果において差分が少ない(差分量が所定量未満である)画像を安定画像46として抽出する。望ましくは、複数の撮影画像40のうち、上記条件を満たし、さらに、背景画像42との間における比較、及び、他フレーム画像との間における比較において、照明変動が起きていない撮影画像40を安定画像46として抽出するようにしてもよい。なお、照明変動が起きているか否かは、比較する両画像の平均輝度値(各画像に含まれる複数の画素の輝度値の平均)、あるいは、露光量の差に基づいて判定可能である。
図4に、本実施形態における安定画像46の例が示されている。図3に示した基準画像44に比して、太陽の光による柱の影が出たり、柱の前にある物体が移動していたり、机の上のペンがなくなったりしている、すなわち、監視空間の環境変化が起きているが、上述のように背景画像42は逐次更新され、図4に示す画像に近い画像が背景画像42として記憶され得るため、図4に示すような画像のような基準画像44との間で差異のある画像も安定画像46として抽出され得る。
また、安定画像抽出手段52は、所定時間の間に撮像された複数の撮影画像40の間で互いにフレーム間差分処理を行い、その結果、所定時間継続して変化が少ない(変化量が所定量未満である)場合に、当該複数の撮影画像40のいずれかを安定画像46としてもよい。
また、安定画像抽出手段52は、1枚の撮影画像40を安定画像46とするのではなく、撮影画像40を複数の画像領域に分け、1枚の撮影画像40から、背景差分処理又はフレーム間差分処理において変化が少ないと判定された画像領域のみを抽出する処理を複数の撮影画像40に対して実行し、複数の撮影画像40から抽出された変化が少ない画像領域を組み合わせて安定画像46を作成するようにしてもよい。
安定画像46は、後述の信頼度設定手段54における信頼度設定処理のために用いられる。後述のように、安定画像抽出手段52は、信頼度設定手段54による信頼度(後述)の更新の度に、新たな安定画像46を抽出する。
信頼度設定手段54は、基準画像44と安定画像46とに基づいて、基準画像44の画像領域毎の信頼度を設定する。ここで、画像領域とは、予め定められた基準画像44内の一定の領域である。図3において、画像領域60の一例が示されている。また、図4にも、安定画像46における画像領域60が示されている。図3及び図4の例では、一点鎖線で区切られた矩形の領域が画像領域60となっている。1つの画像領域は、複数の画素から構成されてもよいし、1つの画素であってもよい。また、画像領域が複数の画素から構成される場合、画像領域60は矩形でなくてもよい。
本実施形態では、まず、信頼度設定手段54は、全画像領域60の初期信頼度を中央値に設定する。例えば、信頼度が0~255までの値を取るのであれば、信頼度設定手段54は、全画像領域60の初期信頼度を128に設定する。なお、信頼度は数値である必要はない。一例として、複数のランクで信頼度が示されてもよい。例えば、一番信頼度が高いランクであるランクAから一番信頼度が低いランクEまでの5段階のランクで信頼度が表されてもよい。また、全画像領域60の初期信頼度を最低値(本実施形態では0)又は、最高値としてもよい。
信頼度設定手段54は、基準画像44からエッジを抽出し、基準画像44から抽出したエッジのエッジ特徴量に応じて、各画像領域60の初期信頼度を設定してもよい。ここで、エッジとは、隣接するいずれかの画素との間において画素値の差が所定値以上である画素を意味し、エッジの特徴量(エッジ特徴量)とは、当該画素値の差の大きさを意味する。例えば、画像領域60に含まれる基準画像44のエッジ特徴量が大きい程、初期信頼度を高く設定してもよい。また、抽出されたエッジの形状から、基準画像44に含まれる物体を検出し、より大きい物体が検出された画像領域60の初期信頼度をより高く設定するようにしてもよい。
次に、信頼度設定手段54は、基準画像44と安定画像46とを比較し、画像領域60毎に、基準画像44と安定画像46とが類似しているか否か、具体的には、類似しているか相違しているかを判定する。本実施形態では、画像領域60毎に、基準画像44と安定画像46との間の各画素について正規化相関を行い、相関値が予め設定した第1閾値以上の場合は、当該画像領域60が類似していると判定し、相関値が予め設定した第2閾値未満である場合は、当該画像領域60が相違していると判定し、相関値が第2閾値以上且つ第2閾値未満である場合には、当該画像領域60は類似にも相違にも該当しない中間状態である判定する。ここでの正規化相関とは、基準画像44と安定画像46とにおいて、対応する各画素の画素値(輝度値や色値)が近似しているか否かに基づいて相関値を算出する処理である。なお、相関値は各画素の画素値を比較するのではなく、相関値を求める画素の周囲近傍の画素の画素値も考慮して、相関値を算出してもよい。また、本実施形態では、第1閾値と第2閾値が異なる値であるが、第1閾値と第2閾値は同じであってもよい。この場合、中間状態と判定される場合が無く、各画像領域60は類似か相違(この場合は非類似と表現してもよい)のいずれかに判定される。
基準画像44と安定画像46の各画像領域60が類似、相違、中間状態のいずれかであるか(以下、これらをまとめて「類否」と記載する)は、画像領域60に含まれる複数の画素の平均輝度値あるいは分散輝度値から判定するようにしてもよい。この場合、両画像の平均輝度値あるいは分散輝度値の差が所定値未満である場合に当該画像領域60が類似していると判断し、両画像の平均輝度値あるいは分散輝度値の差が所定値以上である場合に当該画像領域60が相違していると判断する。
また、基準画像44及び安定画像46からそれぞれエッジを抽出し、画像領域60に含まれるエッジの位置の比較によって、当該画像領域60の類否を判定するようにしてもよい。
そして、信頼度設定手段54は、類似していると判定された画像領域60の信頼度を上げ、相違していると判定された画像領域60の信頼度を下げる処理を行う。類似にも相違にも該当しない中間状態と判定された画像領域60の信頼度は変更しない。類似していると判定された場合における信頼度の上昇量、及び、相違していると判定された場合における信頼度の下降量は予め定められていてよい。上昇量と下降量は同じであってもよいし、互いに異なっていてもよい。なお、画像領域60の信頼度が既に最高値(本実施形態では256)である場合に、さらに当該画像領域60において基準画像44と安定画像46が類似していると判定された場合は、信頼度はそれ以上は上がらないものとする。また、画像領域60の信頼度が既に最低値である場合に、さらに当該画像領域60において基準画像44と安定画像46が相違していると判定された場合は、信頼度はそれ以上は下がらないものとする。なお、基準画像44と類似しているか判定した安定画像46よりも短時間前に撮影された撮影画像40をフレーム間差分し、差分が抽出された画像領域60の信頼度については、変更しないようにしてもよい。また、信頼度は、撮影モード毎に設定してもよい。つまり、昼間モードで撮影した安定画像46と比較して設定した信頼度と夜間モードで撮影した安定画像46と比較して設定した信頼度とをそれぞれ設定してもよい。
信頼度設定手段54は、各画像領域60における基準画像44と安定画像46との類否判定、及び、各画像領域60の信頼度の増減を間欠的に繰り返していく。上述の通り、安定画像抽出手段52は、信頼度の更新の度に新たな安定画像46を抽出するから、信頼度設定手段54による信頼度の更新処理においては、基準画像44は、毎回異なる安定画像46と比較されることとなる。このように、信頼度設定手段54は、基準画像44とそれぞれ異なる安定画像46とを順次比較することで得られる基準画像44と複数の安定画像46との複数の類否に応じて、各画像領域60の信頼度を累積的に更新していく。
なお、本実施形態では、上述のように、安定画像抽出手段52は複数の撮影画像40に基づいて安定画像46を抽出していたが、安定画像抽出手段52は、信頼度設定手段54による信頼度の更新処理のタイミングで取得された1枚の撮影画像40を安定画像46としてもよい。この場合、安定画像抽出手段52は、背景差分処理及びフレーム間差分処理により、信頼度の更新処理のタイミングで取得された撮影画像40が安定画像46となり得るかを判定し(すなわち背景画像42と他フレーム画像との間で変化が少ないか否か判定し)、安定画像46となり得ると判定した場合は、当該撮影画像40を安定画像46とする。当該撮影画像40が安定画像46になり得ないと判定された場合は、安定画像抽出手段52は、次に撮影された撮影画像40が安定画像46となり得るか否かを試みる。
本実施形態では、信頼度設定手段54は、10分毎に各画像領域60の信頼度を更新するが、信頼度の更新タイミングはこれには限られない。例えば、新たに撮影された撮影画像40とその直前に撮影された撮影画像40とのフレーム間差分処理により、差分が所定値未満となったタイミングで信頼度を更新するようにしてもよい。あるいは、監視空間の環境が変化したタイミングで信頼度を更新するようにしてもよい。監視空間の環境変化は、例えば、新たに撮影された撮影画像40とその直前に撮影された撮影画像40との間での平均輝度値や露光量の比較に基づいて判定することができる。照度センサ34の検出結果に基づいて監視空間の環境変化を判定してもよい。また、監視空間の環境変化が起こりにくい時間帯(例えば深夜など)においては、その他の時間帯に比して更新間隔を長くしてもよい。なお、信頼度の更新は定期的に行わず、後述する監視状況判定手段56による判定が行われる前に、信頼度の設定又は更新を行ってもよい。つまり、監視状況判定手段56による判定が行われる際、その判定の前に、記憶部38に記憶した安定画像46を用いて、信頼度を設定してもよい。
監視空間の環境が異なる各安定画像46と、基準画像44とを比較することで、基準画像44の画像領域60のうち、監視空間の環境変化に影響を受けにくい画像領域60、及び、監視空間の環境変化を受けやすい画像領域60を特定することができる。つまり、信頼度は、監視空間の環境変化を受けにくい度合いを示す指標である。ここでの監視空間の環境変化とは、監視空間内にある、移動しても監視状況に影響を及ぼさないような小物(例えば文房具や小さいダンボールなど)の移動などが挙げられるが、光や影など(太陽光の差込や照明の消点灯、影の発生など)を含んでもよい。
上述の処理により、基準画像44に対して、各画像領域60に信頼度が設定された画像が信頼度画像48であり、信頼度画像48は記憶部38に記憶される。図5に、信頼度画像48の例が示されている。図5の例において、網掛けで示された画像領域60が、比較的信頼度が低い領域である。なお、上述の通り、信頼度は複数の段階で表現され得るが、図5においては、簡単のため、複数の画像領域60を信頼度が高い領域と低い領域の2つに分け、信頼度が高い画像領域60を網掛け無しで表し、信頼度が低い画像領域60を網掛け有りで表している。図3に示された基準画像44と、図4に示された安定画像46を比較して、太陽の光による柱の影が出た画像領域60、柱の前にある物体の移動前及び移動後の位置を含む画像領域60、太陽が現れた窓を含む画像領域60、及び、ペンがなくなった机の上を含む画像領域60が、信頼度が低い画像領域60となっている。
望ましくは、信頼度設定手段54は、信頼度の更新処理において上述の類否の判定に加えて、基準画像44及び安定画像46からそれぞれエッジを抽出し、各画像領域60について、基準画像44から抽出されたエッジの特徴量、及び、基準画像44と安定画像46との類似度の少なくとも一方に応じて信頼度を設定する。
本実施形態では、基準画像44と安定画像46とが類似であると判定された画像領域60の更新信頼度は、以下の式1で算出される。
更新信頼度=現在の信頼度+(当該画像領域60に含まれる基準画像44のエッジ特徴量×係数A×基準画像44と安定画像46との当該画像領域60の類似度)・・・(式1)
画像領域60に含まれる基準画像44のエッジ特徴量とは、当該画像領域60に含まれる複数のエッジ画素(エッジに相当する画素)のエッジ特徴量の合計値である。すなわち、画像領域60に含まれるエッジがよりはっきりしている程、あるいは、エッジとされた画素が多い程(例えばエッジの長さが長い程)、エッジ特徴量が大きくなる。
式1によれば、画像領域60に含まれる基準画像44のエッジ特徴量が大きい程、基準画像44と安定画像46とが類似している場合に信頼度が大きく上がることになる。これは、物体の輪郭に相当する画素はエッジ特徴量が大きくなる傾向があり、基準画像44のエッジ特徴量が大きい画像領域60において、基準画像44と安定画像46とが類似している場合、当該画像領域60において両画像間で物体の移動がなかったことがより明確であり、そのような画像領域60は信頼度が高いと言えるからである。
また、基準画像44と安定画像46との当該画像領域60の類似度が大きい程、基準画像44と安定画像46とが類似している場合に信頼度が大きく上がることになる。なお、ここでの類似度は、上述の正規化相関により算出してもよいし、基準画像44及び安定画像46から抽出されたエッジのみ(例えば両画像におけるエッジ位置の一致度合)に基づいて算出してもよい。なお、上記(式1)では、エッジ特徴量と、係数A、類似度を用いて、更新信頼度を設定しているが、いずれか一つ、又は二つを用いて信頼度を設定してもよい。
一方、本実施形態では、基準画像44と安定画像46とが非類似(相違)であると判定された画像領域60の更新信頼度は、以下の式2で算出される。
更新信頼度=現在の信頼度-係数B・・・(式2)
式2が示す通り、本実施形態では、基準画像44と安定画像46とが非類似であると判定された画像領域60については、信頼度が一定値(係数B)分下がることとなる。なお、基準画像44と安定画像46とが非類似であると判定された場合にも、画像領域60に含まれる基準画像44のエッジ特徴量や、基準画像44と安定画像46との類似度に応じて信頼度を下げるようにしてもよい。例えば、エッジ特徴量が大きい程、信頼度が大きく下がり、類似度が小さい程、信頼度が大きく下がるようにしてもよい。
ちなみに、式1に含まれる係数Aと式2に含まれる係数Bは、予め定められていてよい。係数Aと係数Bとは同じ値であってもよいし、互いに異なる値であってもよい。
また、信頼度設定手段54は、各画像領域60について、現在の信頼度が高い程、基準画像44と安定画像46とが非類似である場合の信頼度の減少量を小さくするようにしてもよい。換言すれば、現在の信頼度が低い程、基準画像44と安定画像46とが非類似である場合の信頼度の減少量を大きくするようにしてもよい。
基準画像44から抽出されたエッジをより重要視し、信頼度設定手段54は、画像領域60のうち、基準画像44においてエッジが存在しない画像領域60については、信頼度を最低値(本実施形態では0)に固定し、当該画像領域60の信頼度を更新しないようにしてもよい。特に、画像領域60を1つの画素とした場合は、信頼度設定手段54は、基準画像44から抽出されたエッジ画素のみについて信頼度を設定してもよい。なお、エッジ画素が連なる場合、連なっているエッジ画素を1つの画像領域60として信頼度を設定してもよい。
上述の通り、信頼度設定手段54は、各画像領域60の信頼度を累積的に更新していくが、画像領域60毎に区別された信頼度の更新履歴を記憶部38に記憶するようにしてもよい。信頼度の更新履歴により、各画像領域60の信頼度の時間変化を把握することができる。ここで、信頼度設定手段54は、信頼度の時間変化において、増減を繰り返す画像領域60については、その他(つまり信頼度の増加と減少を繰り返さない、換言すれば信頼度が概ね増加又は減少の傾向にある)画像領域60よりも、基準画像44と安定画像46とが非類似である場合の信頼度の減少量を大きくするようにしてもよい。例えば、植栽の枝あるいは葉などの揺れが生じている画像領域60、あるいは、照明の消点灯により影の発生・消滅を繰り返す画像領域60は、信頼度の時間変化において増加と減少を繰り返すことになる。このような画像領域60は、基準画像44と特定の安定画像46との比較では類似していると判定され得て、信頼度が一時上がることもあるが、複数の安定画像46を比較してみれば画像の変化があり、すなわち、信頼度を低くすべき画像領域60である。したがって、信頼度の時間変化において、増加と減少を繰り返す画像領域60については、信頼度をより下げるべく、基準画像44と安定画像46とが非類似である場合の信頼度の減少量を大きくするとよい。
監視状況判定手段56は、判定対象の撮影画像40(例えば新たに取得された撮影画像40)である対象画像と、信頼度画像48とが似ていない度合いを示す評価値を求め、当該評価値に基づいて、監視空間が移動体の存在を監視できる状況にあるか否かを判定する。
具体的には、まず、監視状況判定手段56は、画像領域60毎に、対象画像と、信頼度画像48(画像の内容としては基準画像44と同じ)との相違度を算出する。相違度の算出方法としては、後述するエッジ消失数から判定する。
次に、監視状況判定手段56は、信頼度設定手段54によって画像領域60毎に設定された信頼度に基づいて、各画像領域60の重みを設定する。具体的には、信頼度が高い程重みを大きくし、信頼度が低い程重みを小さくする。これにより、比較的信頼度が高い高信頼度画像領域の重みよりも、高信頼度画像領域よりも信頼度が低い低信頼度画像領域の重みが小さく設定される。
その上で、画像領域60毎に相違度と重みとの積を算出し、複数の画像領域60から得られた複数の積を合計することで評価値を算出する。監視状況判定手段56は、算出した評価値が所定値以上である場合は、監視空間が移動体の存在を監視できない状況にある(すなわち監視困難な状況である)と判定し、算出した評価値が所定値未満である場合は、監視空間が移動体の存在を監視できる状況であると判定する。監視状況判定手段56は、監視空間が移動体の存在を監視できる状況ではないと判定した場合、警備センタ装置18に通知する。
上述のように、監視状況判定手段56は、対象画像と信頼度画像48(基準画像44)との相違度を示す評価値に基づいて、監視空間が監視可能な状況であるか否かを判定するが、当該評価値の算出過程において、信頼度の低い画像領域60ついては、重みが小さいから、対象画像と信頼度画像48との間の類似度があまり考慮されない(究極的には無視される)。つまり、監視空間において、環境変化を受けやすい領域をあまり考慮せずに上記評価値が算出される。したがって、監視空間が本来監視可能な状況であるにも関わらず、対象画像と信頼度画像48との間で、監視空間内の環境変化に起因した類似していない箇所が有ったとしても、監視状況判定手段56は、監視空間が監視可能な状況である、と正しく判定することができる。なお、相違度と重みとの積を算出することなく(重みを設定することなく)、低信頼度画像領域の判定結果は無視して、高信頼度画像領域の判定結果のみを用いて、評価値を算出してもよい。この場合も、低信頼度画像領域の重みよりも高信頼度画像領域の重みを大きくして評価値を算出しているといえる。
例えば、図6に示すような対象画像40aを判定する場合、図3に示した基準画像44(信頼度画像48)に比して、太陽の光による柱の影が発生し、柱の前にある物体が無くなっており、机の上にあったペンに代えて箱が置かれている。対象画像40aが示す監視空間は、本来、移動体の監視可能な状況である。しかしながら、従来の方法、すなわち信頼度を用いずに、単に対象画像40aと信頼度画像48との相違度に基づく判定方法を用いたとすると、両画像では差異があることから、監視空間が監視可能な状況ではないと判定される虞があった。
本実施形態によれば、図7に示すように、網掛けで示した画像領域は低信頼度画像領域であり、その信頼度が低く、すなわち重みが小さい。したがって、当該低信頼度画像領域はあまり考慮されずに(究極的には無視されて)、対象画像40aと信頼度画像48との相違度を示す評価値が算出される。したがって、監視状況判定手段56は、監視状況に問題を生じさせない監視空間の環境変化が生じた場合であっても、監視空間が監視可能な状況であると、正しく判定することができる。
一方、図8には、撮影部32と監視空間との間に遮蔽物が設置された状態で撮影された対象画像40bが示されている。対象画像40bが示す監視空間は、本当に移動体の監視が不可能な状況である。本実施形態では、網掛けの無い高信頼度画像領域は十分考慮して対象画像40aと信頼度画像48との相違度を示す評価値が算出される。したがって、対象画像40bと、図3の基準画像44とを比較してみると、高信頼度画像領域の中でも差異がある画像領域60(例えば図9の画像領域60a)があるので、そのような画像領域60における差異に基づいて、監視状況判定手段56は、対象画像40bに基づいて、監視空間が移動体の監視が不可能な状況である、と正しく判定することができる。なお、対象画像40bにおいては、遮蔽物によって監視空間が移動体の監視が不可能な状況となった例であるが、本実施形態によれば、例えば、画像センサ22にスプレーなどの塗料が塗られるといった遮蔽物以外の要因によって監視空間が監視不可能な状況となった場合であっても検出することができる。
望ましくは、監視状況判定手段56は、対象画像及び信頼度画像48からそれぞれエッジを抽出し、対象画像から抽出されたエッジの位置と、信頼度画像48から抽出されたエッジの位置との比較に基づいて、上記評価値を算出するようにしてもよい。なお、図7の対象画像40aにおいては、太陽光や小物の移動などによる環境変化が生じた場合であっても、監視空間が監視可能な状況であると判定する例であるが、本実施形態によれば、それ以外の要因による環境の変化があっても監視可能な状況であると検出することができる。例えば、画像センサ22にタバコなどの煙が当たり、一時的に撮影画像40が曇る場合であっても、煙による曇りであるため撮影画像からエッジは抽出される。そのため、高信頼度画像領域において対象画像から抽出したエッジと信頼度画像48から抽出したエッジとを比較することで、高信頼度画像領域の類似度は高くなるため、監視空間が監視可能な状況であると判定することができる。なお、タバコの煙などによるヤニや油分などが画像センサ22に付くことで所定時間、撮影画像40が曇る場合は、ヤニなどの物体が付着することで、エッジが抽出されなくなるため、監視不可能な状況であると判定することができる。
本実施形態では、監視状況判定手段56は、まず、信頼度設定手段54が設定した信頼度に応じて、各画像領域60を複数の信頼度ランクに分類する。例えば、低信頼度画像領域(信頼度が0~110)、中信頼度画像領域(信頼度が111~180)、及び、高信頼度画像領域(信頼度が181~255)に分類する。さらに、各画像領域60において、信頼度画像48においてはエッジ画素であったが、対象画像の対応する画素においてはエッジ画素ではなくなっている画素の数であるエッジ消失数(相違度)を求める。
その上で、画像領域60毎に、信頼度画像48に含まれるエッジ画素の画素数に対する、信頼度画像48においてエッジ画素であったが、対象画像の対応する画素においてはエッジ画素ではなくなった画素数の割合である不一致率(評価値)を求める。具体的には、本実施形態では、不一致率は以下の式3で算出される。
不一致率=(低信頼度画像領域におけるエッジ消失数×1+中信頼度画像領域におけるエッジ消失数×2+高信頼度画像領域におけるエッジ消失数×3)/信頼度画像48から抽出されたエッジ画素の総数×6・・・(式3)
式3でも、低信頼度画像領域におけるエッジ消失数に対しては小さい係数(1)が掛けられ、信頼度がより大きい画像領域60にはより大きい係数が掛けられているから、上記不一致率も各画像領域60の信頼度に応じた重みを考慮して算出されていると言える。
監視状況判定手段56は、算出した不一致率を評価値として用い、不一致率が所定値以上である場合は監視空間が監視不可能な状況であると判定し、不一致率が所定値未満である場合は監視空間が監視可能な状況であると判定する。なお、上記方法では、信頼度画像48には存在していなかった位置に対象画像において新たに現れたエッジについては判定に用いない。なお、小物の移動・出現などにより不一致率が上がってしまうが、新たに現れたエッジについてもエッジ消失数として不一致率の算出に用いても良い。
例えば、光や影などに起因する監視空間の環境変化があった場合など、信頼度画像48(基準画像44)に対して、対象画像の全体あるいは大部分の輝度が一様に変化するが、エッジの抽出は精度良く行うことができる。したがって、エッジを用いて評価値を算出することで、監視状況判定手段56の処理の精度を向上させることができる。
なお、不一致率の算出において、本実施形態では、低信頼度画像領域及び中信頼度画像領域におけるエッジ消失数を考慮していたが、高信頼度画像領域におけるエッジ消失数のみに基づいて不一致率を算出してもよい。その場合は、不一致率は、例えば以下の式4で算出される。
不一致率=高信頼度画像領域におけるエッジ消失数/信頼度画像48から抽出されたエッジ画素の総数・・・(式4)
式4は、式3において低信頼度画像領域及び中信頼度画像領域の重みを0(最低)とし、高信頼度画像領域の重みを最大としたものと見ることもできる。また、エッジ消失数と重みとの積から不一致率を算出せずともよい。例えば、低信頼度画像領域のエッジ消失数よりも高信頼度画像領域のエッジ消失数の重みを大きくして(低信頼度画像領域は無視して)、エッジ消失数から評価値を算出してもよい。
また、監視状況判定手段56は、信頼度画像48からエッジを抽出し、信頼度画像48におけるエッジが存在しない領域、又は、エッジに相当する画素(エッジ画素)の数が所定値未満の領域である均質領域を検出し、均質領域の周囲近傍領域以外の領域よりも、均質領域の周囲近傍における、信頼度画像48と対象画像とのエッジの位置の比較結果を重視して、評価値を算出するようにしてもよい。ちなみに、均質領域、その周囲近傍領域、及び、周囲近傍領域以外の領域とは、上述の画像領域60とは異なる概念である。この場合、例えば、1つの画像領域60を周囲近傍領域とそれ以外の2つの分割画像領域に分け、信頼度設定手段54が当該画像領域60に設定した重みに対して、周囲近傍領域に対応する分割画像領域の重みを大きくし、周囲近傍領域以外の領域に対応する分割画像領域の重みを小さくした上で、上述の処理にて評価値の算出を行う。つまり、床や壁、柱、机などの監視空間の環境変化に影響を受けにくい物体のエッジや、障害物が設置された場合に撮影できなくなる可能性の高い物体のエッジを重視して評価値の算出を行う。これにより、床や壁等と色形が似ている障害物が、床や壁と重なるように設置されたとしても、精度良く監視困難な状況であると判定することができる。
また、監視状況判定手段56は、信頼度画像48において設定された信頼度自体に基づいて、監視空間が監視可能な状況であるか否かを判定するようにしてもよい。具体的には、信頼度画像48において、複数の画像領域60の信頼度の平均が所定値未満の場合、監視空間が移動体の存在を監視できない状況であると判定するようにしてもよい。
あるいは、監視状況判定手段56は、信頼度設定手段54が記憶部38に記憶した信頼度の更新履歴に基づいて、監視空間が監視可能な状況であるか否かを判定するようにしてもよい。具体的には、複数の画像領域60の信頼度の平均が下降傾向にある場合、監視空間が移動体の存在を監視できない状況であると判定するようにしてもよい。ここで、信頼度の平均が下降傾向にあるとは、所定回数の更新において連続して信頼度の平均が下がった場合のみならず、途中の更新で信頼度の平均が少し上がる場合があるものの、所定回数の更新において所定量信頼度の平均が下がった場合も含む概念である。
本実施形態では、相違度はエッジ消失数(画像領域毎に対象画像と信頼度画像とが一致しているか不一致か)から算出するが、これに限られない。例えば、対象画像と信頼度画像48とを比較して差分(平均輝度値などの差分)を抽出し、抽出した差分の値に応じて、相違度を求めてもよい。例えば、差分がない場合は、相違度を0と判定し、差分が大きければ大きいほど、相違度を高くするよう求めても良い。
本実施形態では、監視状況判定手段56は、監視空間が監視可能な状況であるか否かを間欠的に(例えば所定間隔で)判定するが、判定を行うタイミングはこれには限られない。例えば、撮影画像40が取得される度に判定を行うようにしてもよい。また、例えば、警備装置14の警備モードが変更されたタイミングで、監視空間が移動体の存在を監視できる状況にあるか否かを判定してもよい。また、撮影部32の撮影モードが昼間モードと夜間モードとの間で変更されたタイミングで、監視空間が移動体の存在を監視できる状況にあるか否かを判定してもよい。さらに、信頼度設定手段54の信頼度の更新処理の結果、高信頼度画像領域(信頼度が所定値以上の画像領域60)であった信頼度が所定量下がったタイミングで、監視空間が移動体の存在を監視できる状況にあるか否かを判定してもよい。
監視状況判定手段56は、信頼度設定手段54による信頼度の更新処理が行われた回数に応じて、監視空間の状況判定を行うか否かを決定してもよい。例えば、信頼度設定手段54による信頼度の更新処理が所定回数(例えば10回)以上行われている場合は、監視状況判定手段56は監視空間の状況判定を行うが、信頼度の更新処理の回数が所定回数未満である場合には監視空間の状況判定を行わないようにしてもよい。また、信頼度画像48の複数の画像領域60の信頼度の平均が所定値以上である、あるいは、信頼度が所定値以上の画像領域60が所定数存在する場合に監視空間の状況判定を行い、それ以外の場合には、監視空間の状況判定を行わないようにしてもよい。
移動体検出手段58は、監視状況判定手段56により、監視空間が移動体の存在を監視できる状況であると判定した場合に、対象画像と背景画像42とを比較することで、対象画像から移動体を検出する。対象画像と背景画像42との比較による移動体の検出処理については、従来技術を用いてよいため、ここでは詳細な説明は省略する。対象画像から移動体が検出されると、通信部30から侵入アラーム信号が警備装置14へ送信される。
以下、図10に示すフローチャートに従って、信頼度設定手段54による信頼度設定処理の流れを説明する。
ステップS10において、信頼度設定手段54は、基準画像44の全画像領域60に対して初期信頼度を設定する。本実施形態では、上述の通り、信頼度設定手段54は、全画像領域60の初期信頼度を中央値に設定する。
ステップS12において、信頼度設定手段54は、信頼度の設定(更新)対象となる1つの画像領域60を選択する。
ステップS14において、信頼度設定手段54は、ステップS12で選択した画像領域60について、基準画像44と安定画像46とを比較し、ステップS16においてその類否を判定する。
ステップS16で類似すると判定された場合、ステップS18において、信頼度設定手段54は、当該画像領域60の信頼度を増加させる。一方、ステップS16で相違すると判定された場合、ステップS20において、信頼度設定手段54は、当該画像領域60の信頼度を減少させる。増加方法及び減少方法は上述の通りである。
ステップS22において、信頼度設定手段54は、基準画像44に含まれる全ての画像領域60についてのステップS14~ステップS20の処理が終了したか否かを判定する。未処理の画像領域60が有る場合は、ステップS12に戻り、信頼度設定手段54は、再度のステップS12において未処理の画像領域60を選択し、ステップS14以下の処理を繰り返す。
基準画像44に含まれる全ての画像領域60についての処理が終了した場合は、ステップS24に進み、ステップS24において、信頼度設定手段54は、各画像領域60についての信頼度が更新された信頼度画像48を記憶部38に記憶させる。
以下、図11に示すフローチャートに従って、監視状況判定手段56による監視状況判定処理の流れを説明する。
ステップS30において、監視状況判定手段56は、警備装置14の警備モードが監視空間の監視を行う警備セットモードに変更されたか否かを判定する。警備モードが警備セットモードに変更されるまで待機し、警備セットモードに変更された場合はステップS32に進む。
ステップS32において、監視状況判定手段56は、信頼度設定手段54により、信頼度画像48の信頼度が所定回数以上更新されているか否かを判定する。信頼度画像48の信頼度の更新回数が所定回数未満である場合、監視状況判定手段56は、ステップS34以下の処理を行わずに監視状況判定処理を終了する。信頼度画像48の信頼度の更新回数が所定回数以上である場合は、ステップS34に進む。
ステップS34において、監視状況判定手段56は、信頼度設定手段54により設定された各画像領域60の信頼度を考慮しつつ、対象画像と信頼度画像48との相違度を示す評価値を算出する。具体的には、上述の通り、監視状況判定手段56は、各画像領域60について、信頼度が高い程重み大きく設定し、信頼度が低い程重みを小さく設定した上で、画像領域60毎に相違度と重みとの積を算出し、複数の画像領域60から得られた複数の積を合計することで評価値を算出する。
ステップS36において、監視状況判定手段56は、ステップS34で算出した評価値が所定値未満であるか否かを判定する。評価値が所定値以上である場合は、ステップS38において、監視状況判定手段56は、監視空間が移動体の存在を監視できる状況でないと判定する。一方、評価値が所定値未満である場合は、ステップS40において、監視状況判定手段56は、監視空間が移動体の存在を監視できる状況であると判定する。
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。