JP4117073B2 - Monitoring device - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動きのある背景中において監視対象物を検出して監視する技術に係り、特に、洋上、木立の中など、監視対象以外についても動きのある画像から、特定の監視対象物を検出して監視する技術に関する。
【０００２】
【従来の技術】
カメラ等を用いて対象を撮影し、撮影した画像を用いて、監視対象物を監視することが一般に行なわれている。この場合、監視を行うためには、撮影された画像から対象物の画像を検出し、その変化を抽出することが必要である。
【０００３】
この種の監視装置として、例えば、背景と現フレームの差分を二値化して侵入物を検出する技術がある（特開平７−１２９７７９号公報）。また、背景と現フレームの差分の移動速度を検証して侵入物を検出する技術がある（特開平５−２８４５０１号公報）。
【０００４】
この他に、フレームをあらかじめ幾つかの領域に分割してそれぞれの領域に応じた処理する技術がある（特開平１０−１３６３４１号公報）。
【０００５】
【発明が解決しようとする課題】
しかし、例えば、特開平７−１２９７７９号公報に開示される技術では、これを桟橋などの洋上施設の監視に用いると、固定背景画像と現フレームの波の揺らぎが差分となって誤検知してしまう。すなわち、固定背景による背景差分では、波等の実際の背景における揺らぎを誤検知することが多いという問題がある。また、検出すべき侵入物が背景の波の揺らぎと同様の様々な速度の成分を持つ場合、特開平５−２８４５０１号公報に開示される技術で、差分の移動速度を求めても、侵入物と波とを区別することは困難となる。
【０００６】
本発明の目的は、波や木々の揺らぎのように、時間的に揺らぎを持つ背景において、監視対象を、精度よく検出することができる監視装置を提供することにある。
【０００７】
また、本発明の他の目的は、監視対象から、検出すべき画像を精度よく抽出することができる監視装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の第１の目的を達成するための第１の態様として、
対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
最新に取り込まれた現フレームの画像とそれより前に取り込まれた前フレームの画像とを比較して両者の輝度値差が所定しきい値よりも小さい領域がある場合、前記記憶される第１の背景画像の当該領域を現フレームの対応する領域の輝度値に置き換えて前記第１の背景画像を更新する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記検出された画素集合が対象領域での検出対象であるかを判定して、判定結果を出力する手段とを備えること
を特徴とする監視装置が提供される。
【０００９】
また、本発明の第２の目的を達成するための第２の態様として、
対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記画素集合に対応する領域の輝度値パターンを、現フレームから切出して、一致度を調べる演算を行うためのテンプレートとして記憶する手段と、
現フレームの少なくとも一部の領域について、前記テンプレートとの一致度を調べる演算を順次行って、予め定めた値以上の一致度を有する輝度値パターンの有無を検出する手段と、
予め定めた値以上の一致度を有する輝度値パターンが検出されたとき、当該輝度値パターンについて、検出対象であると判定する手段とを備えること
を特徴とする監視装置が提供される。
【００１０】
【発明の実施の形態】
本発明の実施の形態について図面を参照して説明する。以下では、洋上施設について監視する場合を例として説明するが、本発明はこれに限られない。
【００１１】
図２は本発明の監視装置を用いた洋上施設監視システムの一例である。この例では、洋上１０に、施設２６が設けられ、施設２６と岸壁２５とが連絡橋２７により連結されている。本発明の監視装置は、ＴＶカメラ２０００と、監視装置２１００と、表示装置２２００と、報知装置２３００と、操作装置２４００とを備えている。監視装置２１００は、例えば、後述するハードウエア論理回路等により構成される。もちろん、コンピュータを用いてソフトウエアにより対応する機能を実現することにより構成することもできる。ＴＶカメラ２０００は、岸壁２５に設置されて、洋上施設２６を監視している。なお、ＴＶカメラ２０００は、連絡路２７や洋上施設２６上に設置されていてもよい。
【００１２】
ＴＶカメラ２０００により撮影された画像は、表示装置２２００の表示画面２２１０において、例えば、図３に示すように表示される。すなわち、洋上に洋上施設３０と船舶３１とがあり、洋上施設３０上には侵入物３２が存在する。本発明の監視装置は、常に揺らいでいる波３４を無視して、侵入物３２や、時には船舶３１を検出するものである。なお、表示画面２２１０内に表示されている枠は、揺らぎ観測窓３３である。この観測窓３３は、画面２２１０の洋上に設置されることにより、波の揺らぎを観測して検出パラメータの自動調整を行う処理に用いられる。これについては後記する。
【００１３】
本発明では、監視対象を撮像した画像をフレーム単位で時系列に取込み、最新のフレームである現フレームの画像と第１の背景画像（動的背景）の輝度値差をもとに侵入物候補を、例えば、画素集合として検出する。前記検出された画素集合が対象領域での検出対象であるかを判定して、判定結果を出力する。
【００１４】
第１の背景画像は、最新に取り込まれた現フレームの画像とそれより前に取り込まれた前フレームの画像とを比較して両者の輝度値差が所定しきい値よりも小さい領域がある場合、記憶される第１の背景画像の当該領域を現フレームの対応する領域の輝度値に置き換えることで更新される。これにより、動的背景は、現フレームの監視対象の背景において生ずる揺らぎ、例えば、波の揺らぎを反映するほど迅速に更新される。更新に係るパラメータは、監視対象の画像中の揺らぎを生ずる領域、例えば、洋上を示す画像領域に、観測窓を設定して、この窓において観測される揺らぎの程度を表わす値に対応して定められる。具体的には、それによって、しきい値を定めて、最適化することができる。これにより、侵入物の大きさや動きが波の変化の大きさよりも大きい場合は、背景差分で検出されることになる。
【００１５】
次に、侵入候補をフレーム毎に追跡する。追跡は、複数のフレームにおいてそれぞれ検出された画素集合について、複数のフレーム間で同一の画素集合を対応付けることによって行う。侵入物候補は、所定時間追跡されると侵入物と判定される。
【００１６】
一方、検出された侵入物を含む画像をテンプレートとして登録しておく。前記動的背景は迅速に更新するので、動きの少ない侵入物は速やかに前記動的背景に取り込まれ、現フレームとの差分が出なくなることがある。この場合は、既に登録してあるテンプレートで現フレームにパターンマッチング処理することで差分のでない画像を検出することができる。また、追跡を再開できる。
【００１７】
さらに、背景中にある固定的な物体の画像、例えば、洋上の施設自体を含む画像をテンプレートとして登録してしまうと、洋上施設自体を侵入物として検出してしまう。これを防ぐために前記侵入者のテンプレートで検出された場所と同じ位置における第２の背景画像（静的背景）をテンプレートとして一致度を計算する。この時、前記静的背景テンプレートとの一致度が低ければ、侵入物が存在して洋上施設の一部を隠していると見做せる。洋上施設は固定的なものであるから前記静的背景は洋上施設そのものの画像である。
【００１８】
この他に、現フレームと静的背景の輝度値差を累積して、恒常的に変動の激しい部分とそうでない部分を判定して、それに応じて、侵入物候補の検出を行うためのしきい値を変えることができる。
【００１９】
以下、これらを実現するための各種実施の形態について、図面を参照して説明する。
【００２０】
本発明の第１の実施の形態の構成の概要について、図１を参照して説明する。本発明の監視装置は、ＴＶカメラ２０００の画像をアナログ−デジタル変換して現フレームとして取り込む手段として機能する画像入力回路２１１０と、前フレームなど過去の数フレームを時系列的に記憶する手段として機能するフレーム遅延回路２１２０と、時系列の数フレームを用いて第１の背景画像（以下、動的背景という。動的背景については後述する。）を作成更新する手段および動的は畏敬を記憶するとして機能する動的背景更新回路２１３０と、現フレームと前記動的背景の輝度値の差分を二値化して画素集合を侵入物候補として検出する、画素集合検出手段として機能する差分回路２１４０と、前記侵入物候補をフレーム間に亘って対応付け位置を追跡する、画素集合追跡手段として機能する差分追跡回路２１５０と、所定時間以上追跡できたことを条件に前記侵入物候補を侵入物と判定して報知する手段として機能する侵入物判定報知回路２１６０とを有する。
【００２１】
なお、静的背景更新回路２１７０、差分蓄積回路２１８０およびパターン更新回路２１９０は、本実施の形態では使用しないので、後述する他の実施の形態に関する説明において述べる。したがって、本実施の形態では、これらは省略してもよい。
【００２２】
まず、フレーム遅延回路２１２０の構成と動作を説明する。図４はフレーム遅延回路２１２０の構成の一例を示す図である。フレーム遅延回路２１２０は、画像入力回路２１１０のフレームを書き込み、読み出し可能なフレームメモリ群２１２１と、書き込むべきフレームメモリを選択する書込カウンタ２１２２と、フレームメモリ群２１２１から読み出すべきフレームメモリを選択する読出カウンタ２１２３とを有する。
【００２３】
フレームメモリ群２１２１は、フレームメモリ２１２１ａ〜２１２１ｉを有する。各フレームメモリ２１２１ａ〜２１２１ｉは並列に接続され、入力側が画像入力回路２１１０に、出力側が動的背景更新回路２１３０（図１参照）に接続される。書込カウンタ２１２２は、フレームメモリ群２１２１のフレームメモリ２１２１ａ〜２１２１ｉの個数分計数して、再び初期値に戻るという循環的カウンタである。画像入力回路２１１０のフレームをフレームメモリ群２１２１に書き込むたびにカウントする。このためフレームメモリ群２１２１にはエンドレスでフレームメモリ数分の時系列フレームが保持される。読出カウンタ２１２３も循環的カウンタで、フレームメモリ群２１２１のフレームメモリ数通りの数を示せる。初期値は、書込カウンタ２１２２に等しい値で、読み出し時に１減ずると前フレームが読み出せ、さらに、１減ずると前々フレームが読み出せる。フレームメモリ群２１２１のフレームメモリ数は必要に応じて増減して構成できる。
【００２４】
次に、動的背景の概念とこれを実現するための動的背景更新回路２１３０の構成とについて説明する。図５は動的背景更新回路２１３０の一実施例を示す図である。動的背景更新回路２１３０は、現フレームと前フレームあるいは数フレーム前のフレームとの輝度値差を計算する差分回路２１３１と、前記輝度値差をあるしきい値で二値化する二値化回路２１３２と、前記輝度値差の小さい領域を現フレームで置き換える背景合成回路２１３３と背景保持メモリ２１３４と、二値化しきい値調整回路２１３５とを有する。
【００２５】
動的背景は、背景保持メモリ２１３４に保持される。初期値として、最初は現フレームが保持される。そして、次の撮像サイクルから、差分回路２１３１で、現フレームと前フレームあるいは更に前のフレームとの輝度値差を求める。この輝度値差について、二値化回路２１３２で、あるしきい値により二値化する。二値化することで、監視画面がフレーム間で差の大きかった領域と大きくなかった領域とに二分されることになる。この二分結果を背景合成回路２１３３で用いる。すなわち、フレーム間の差の大きい領域は現在の背景を維持し、フレーム間の差の大きくなかった領域は現フレームに更新する。こうして合成した動的背景は、背景保持メモリ２１３４に保持される。そして、二値化回路２１３２のあるしきい値は、しきい値調整回路２１３５で自動調整される。
【００２６】
ここで、しきい値調整回路２１３５の動作について説明する。図６(a)は、観測窓３３の現フレームの波の画像である。図６(b)は、前フレームの波の画像である。図６(c)は、差分を二値化したものである。図６(c)の白い部分が差の大きな場所である。この白い部分の面積が所定の範囲に収まるように、二値化しきい値を自動調整し、二値化回路２１３２のしきい値として用いる。二値化しきい値の自動調整に際し、しきい値調整回路２１３５は、例えば、次のように行うことができる。白画素数を計数し、その計数値が予め定めた範囲内に収まるかを判定する。そして、上限オーバー、下限オーバー等の場合、それぞれ、しきい値を上げて、または、下げて、再び、白画素数の計数、計数値の判定等を行う。このようにして、最終的に、白画素の計数値が所定範囲内となったとき、その時のしきい値を二値化回路２１３２のしきい値とする。
【００２７】
以上説明した動作によって作成更新される動的背景は、波の変動を反映する。しかし、波よりも大きな輝度値の変化については、反映しないものとなる。
【００２８】
次に、差分回路２１４０の動作を説明する。差分回路２１４０は、現フレームと動的背景更新回路２１３０の輝度値の差分を求め、それを二値化するものである。図７(a)は現フレームの画像である。図７(b)は差分回路２１４０の出力の二値画像である。動的背景は先に説明したように波の揺らぎは現フレームとほぼ同じなので差はあまり出ないが、動きのある侵入物や航行中の船舶は差が現れる。差分回路２１４０は、差分を求める他、差分出力に含まれる二値画像について、ある程度の大きさを有する同一輝度値の画素分布（画素集合）を抽出して侵入物候補とし、その侵入物候補についての外接矩形の座標と中心座標を求め、次段の差分追跡回路２１５０に出力する。
【００２９】
ここで、画素集合についての外接矩形と中心座標の算出は、例えば、次のように行うことができる。まず、白い画素の縮小処理を行う。これにより、図７(b)において点在するような小さな面積の白画素の集合を消す。次に、縮小した白画素を元の大きさとなるように拡大処理する。この時、一旦、消えた白画素は拡大されないので、ある程度の面積を有する画素集合のみが残ることとなる。すなわち、所定の大きさの白がその固まりが抽出されることとなる。次に、抽出された白画素の集合について、x、y両軸方向での最小値と最大値を求め、それらを含む外接矩形を設定する処理を行う。ついで、当該外接矩形の中心を求める。
【００３０】
次に、差分追跡回路２１５０の動作を説明する。差分追跡回路２１５０は、差分回路２１４０で検出された侵入物候補について、それぞれの中心座標を記憶すると共に、フレーム間での侵入物候補の移動を対応付けてその移動軌跡を求める演算と、求められた移動軌跡を記憶する。
【００３１】
図８(a)は前々フレームと前フレームの侵入物候補の対応付けを示す図である。物体８１と物体８２とは前々フレームで検出された侵入物候補であり、物体８３と物体８４は前フレームで検出された侵入物候補である。差分追跡回路２１５０は、物体８１の中心座標と物体８３乃至物体８４の中心座標との距離を求め、最近傍の物体、すなわち、物体８３を物体８１と対応付ける。同様に、物体８２の中心座標と物体８３乃至物体８４の中心座標との距離を求め、最近傍の物体、すなわち、物体８４を物体８２と対応付ける。
【００３２】
図８(b)は前フレームと現フレームの侵入物候補の対応付けを示す図である。物体８３と物体８４とは前フレームで検出された侵入物候補であり、物体８５と物体８６とは現フレームで検出された侵入物候補である。差分追跡回路２１５０は、図８(a)で説明したのと同様な手順で、物体８３と物体８５とを、および、物体８４と物体８６とをそれぞれ対応付ける。
【００３３】
結局、図８(c)に示すように、物体８１と物体８２とは、それぞれ軌跡８７と軌跡８８とを描いて追跡される。この追跡結果は、侵入物判定報知回路２１６０に送られる。
【００３４】
侵入物判定報知回路２１６０は、このようにして、侵入物候補が所定フレーム数あるいは所定時間以上に追跡された場合には、侵入物が存在すると判定して、その旨を報知する信号を出力する。報知後も、該侵入物に対応付けられる物体は、侵入物として、追跡され続ける。なお、侵入物が存在する旨を報知する信号は、報知装置２３００に送られ、例えば、メッセージ、ブザー等の音響、光の点滅等を発生させる。これにより、オペレータ等に、侵入物の存在を報せる。この時、表示装置２２０においても、同様の事態を報知する表示を行うようにすることができる。
【００３５】
以上説明したように、本発明の第１の実施の形態に係る監視装置は、画面の中に波や木の葉などの揺らぐものがあっても、これらを検出して誤報を出すことなく、侵入物を検出して報知することができる。
【００３６】
次に、本発明の監視装置の第２の実施の形態について、図１を参照して説明する。本実施の形態に係る監視装置は、画像入力回路２１１０と、フレーム遅延回路２１２０と、動的背景更新回路２１３０と、過去から現フレームまでの数枚の時系列フレームを加算平均化して第１の背景画像（以下、静的背景という）を作成更新する手段、および、第１の背景画像を記憶する手段として機能する静的背景更新回路２１７０と、現フレームと前記静的背景の輝度値差分を蓄積して波など常に揺らいでいる領域と施設など揺らぎの無い領域を識別するための手段として機能する差分蓄積回路２１８０と、揺らぎのある領域か否かで差分パラメータを変える差分回路２１４０と、差分追跡回路２１５０と、侵入物判定報知回路２１６０とを有する。
【００３７】
まず、静的背景の概要と静的背景更新回路２１７０の動作とを説明する。静的背景更新回路２１７０の動作初期の静的背景は、現フレームそのものである。次サイクルで画像入力回路２１１０が現フレームを出力すると、静的背景更新回路２１７０は、前記静的背景と前記現フレームとを所定の割合で重み付き平均値を計算し、これを新たに更新された静的背景とする。例えば、現フレームと静的背景を１対３１の割合で平均化するときは、現フレームに静的背景の輝度値を３１倍にしたものを加え、輝度値の平均を処理前後で合わせるために、前記現フレームと前記３１倍の静的背景の和を３２で除したものを新たな静的背景とする。上記の処理を繰り返すことで、静的背景は、波など揺らぎのある領域は平滑化されて、時間的にも空間的にも輝度値変化のない領域となる。一方、静止した洋上施設は、コントラストの良いくっきりとした領域となる。
【００３８】
次に、差分蓄積回路２１８０の動作について説明する。差分蓄積回路２１８０の差分蓄積画像の初期値は、全画素０あるいは２５５の画像である。画像入力サイクル毎に現フレームと静的背景の輝度値差分を前記差分蓄積画像と所定の割合で加算平均し、新たな差分蓄積画像とする。こうして得られる差分蓄積画像を所定のしきい値で二値化すると、現フレームにおいて揺らぎのある領域と揺らぎの無い領域とに分離できる。
【００３９】
図９(a)は現フレームである。差分蓄積画像を二値化したものが図９(b)である。ここでは、白領域が揺らぎのある領域で、黒領域が揺らぎの無い領域である。差分回路２１４０で差分画像を二値化する際に、前記揺らぎの無い領域はしきい値を低くして、侵入物候補の検出感度を高く維持しつつ、前記揺らぎのある領域はしきい値を幾分高くして、波による誤報を少なくできる。
【００４０】
、差分蓄積回路２１８０の出力で、該当位置が揺らぎのある箇所であると判定したときは、差分回路２１４０における二値化しきい値を上げることで差分を検出しにくくして、波による誤報を抑制する。一方、差分蓄積回路２１８０の出力で、該当位置が揺らぎのない箇所であると判定したときは、差分回路２１４０における二値化しきい値を下げて差分を検出しやすくして、侵入物の検出取りこぼしを減らす。
【００４１】
次に、本発明の監視装置の第３の実施の形態について図１を参照して説明する。本実施の形態に係る監視装置は、画像入力回路２１１０と、フレーム遅延回路２１２０と、動的背景更新回路２１３０と、侵入物体のモデル輝度値パターン（以後テンプレートと表記する）を更新するとともに、更新したモデルパターンを保持し、差分回路２１４０が該侵入物を見失ったときに、輝度値パターンマッチング処理で該侵入物を検出する、輝度値パターン有無検出手段として機能するパターン更新検出回路２１９０と、差分回路２１４０と、差分追跡回路２１５０と、侵入物判定報知回路２１６０とを有する。
【００４２】
図１０は移動と静止を繰り返す侵入物と差分画像とテンプレートとの対応を示す図である。図１０(b-1)は移動中の侵入物の画像の一例を示す。図１０(b-2)は静止した直後の侵入物、図１０(b-3)はしばらく静止している侵入物、図１０(b-4)は再び動きだした侵入物、図１０(b-5)は移動中の侵入物である。図１０(a-1)乃至図１０(a-5)は、それぞれ図１０(b-1)乃至図１０(b-5)の侵入物に対応して、差分回路２１４０による差分画像である。図１０(a-1)、同(a-2)、同(a-4)および同(a-5)のように、侵入物は、それが移動中あるいは静止直後の場合には、差分が現れ、差分追跡回路２１５０による追跡が可能である。しかし、侵入物が静止状態を続けると、動的背景に侵入物が取込まれ、図１０(a-3)のように差分が消滅する。すなわち、侵入物を見失うこととなる。そこで、この消滅期間中においても侵入物を検出し続けるために、パターン更新検出回路２１９０が設けられる。
【００４３】
ここで、パターン更新検出回路２１９０の機能について説明する。図１１は更新検出回路２１９０の構成を示す図である。更新検出回路２１９０は、差分回路２１４０から出力される差分と、差分追跡回路２１５０から出力される追跡情報を基に、現フレームから侵入物の領域を切り出す領域切出し回路２１９１と、侵入物領域の輝度値パターンをテンプレートとして登録するテンプレート更新回路２１９２と、差分追跡不可能なときは前サイクルまでに登録していたテンプレートでパターンマッチング処理して現フレーム内から差分消滅で見失った侵入物を検出する一致度計算回路２１９３とを有する。
【００４４】
領域切出し回路２１９１は、侵入物として検出された画素集合について、外接矩形を求め、その外接矩形内の輝度値パターンを現フレームから切り出す。テンプレート更新回路２１９２は、前記差分追跡回路２１５０により差分追跡可能な時は、現フレームの切出された輝度値パターンを、追跡されている侵入物のテンプレートとして更新登録する。
【００４５】
図１０を参照して、パターン更新検出回路２１９０の動作について説明する。図１０(c-1)乃至図１０(c-5)は、それぞれ図１０(b-1)乃至図１０(b-5)の侵入物に対応するテンプレートである。図１０(c-1)と図１０(c-2)と図１０(c-4)と図１０(c-5)は、それぞれ差分を表わす、図１０(a-1)と図１０(a-2)と図１０(a-4)と図１０(a-5)の領域で現フレームから切り出したテンプレートである。図１０(c-3)は、差分が消滅する以前のフレームのテンプレート図１０(c-2)をそのまま保持している。
【００４６】
以上の動作をまとめると、図１０において、侵入物(b-1)と(b-2)は、差分回路２１４０において、それぞれ差分(a-1)と(a-2)によって検出される。また、領域切り出し回路２１９１によって侵入物(b-1)と(b-2)の領域が切り出され、テンプレート更新回路２１９２により、侵入物(b-1)と(b-2)をテンプレート(c-1)と(c-2)として登録される。一方、侵入物(b-3)は、一致度計算回路２１９３により、テンプレート(c-3)とのパターンマッチングによって検出される。そして、侵入物(b-4)と(b-5)は、それぞれ差分(a-4)と(a-5)によって検出されると共に、侵入物(b-4)と(b-5)とを切出してテンプレート(c-4)と(c-5)として登録される。
【００４７】
次に、一致度計算回路２１９３によるパターンマッチング処理を説明する。図１２はパターンマッチング処理を説明する図である。現フレーム１２０１内に探査枠１２０２を設け、探査枠１２０２の原点すなわち左上角をPとする。探査枠１２０２内からテンプレート１２０３に類似の物体１２０４を検出することが目的である。探査枠１２０２は、フレーム全体に設定することもできるが、侵入物がそれほど移動していないので、最も最近検知された位置を中心とする一定の範囲の広さに設定する。この広さを絞ることで、無駄な探査を省いて、能率良く探査を行なうことが可能となる。この時、現フレームは、図１１における領域切出し回路２１９１を介して入力される。もちろん、現フレームの画像を一致度計算回路２１９３に直接入力させるようにしてもよい。なお、探査を領域切出し回路２１９１において、比較すべき画像の走査および切出しを行い、一致度の計算を一致度計算回路２１９３において行うようにしてもよい。
【００４８】
一致度計算回路２１９３は、テンプレート１２０３と等しい大きさの走査枠１２０５（原点O）を探査枠１２０２内で走査して、現フレームで走査枠１２０５の囲む部分とテンプレート１２０３の輝度値パターンの一致度あるいは不一致度を計算する。このような計算によってテンプレート１２０３に類似の物体を検出する処理をパターンマッチング処理という。一致度の計算法としては、正規化相関演算があり、相関値をR(j,i)とすると、（１）式、（２）式、（３）式および（４）式で表現される。
【００４９】
【数１】

【００５０】
【数２】

【００５１】
【数３】

【００５２】
【数４】

【００５３】
ここで、探査枠１２０２の輝度値パターンをf(J,I)、テンプレート１２０３の輝度値パターンをg(X,Y)とし、PからOへの移動量を(j,i)で表している。Nはテンプレート１２０３内の画素数である。R(j,i)は相関係数と等しく、テンプレート１２０３の輝度値パターンと走査枠１２０５内の輝度値パターンが完全に一致したときは最大値１．０をとる。通常は、０．７以上の値で類似物体が検出されたと判断できる。不一致度の計算としては、fとgの輝度値差の絶対値を走査枠１２０５内で累積したときに値が所定の値よりも小さければ、類似物体が検出されたと判断する。
【００５４】
以上説明したように、本実施の形態に係る監視装置は、画面の中に波や木の葉などの揺らぐものがあっても、これらを検出して誤報を出すことなく、侵入物を検出して報知することができると共に、侵入物がしばらく静止状態に入っても追跡し続けることができる。
【００５５】
次に、本発明の監視装置の第４の実施の形態について図１を参照して説明する。本実施の形態の監視装置は、画像入力回路２１１０と、フレーム遅延回路２１２０と、動的背景更新回路２１３０と、静的背景更新回路２１７０と、パターン更新検出回路２１９０と、差分回路２１４０と、差分追跡回路２１５０と、侵入物判定報知回路２１６０とを有する。静的背景更新回路２１７０とパターン更新検出回路２１９０以外の回路の動作は、第３の実施の形態と同様であり、静的背景更新回路２１７０の動作は第２の実施の形態と同様である。
【００５６】
ここで、第４の実施の形態に係る監視装置の動作を特徴付けるパターン更新検出回路２１９０の構成と動作について説明する。図１１は更新検出回路２１９０の構成を示す図である。差分回路２１４０の差分と差分追跡回路２１５０の追跡情報とを基に、侵入物の領域の輝度値パターンを切り出す領域切出し回路２１９１と、差分追跡可能な時は現フレームの侵入物領域の輝度値パターンをテンプレートとして登録するテンプレート更新回路２１９２と、差分追跡不可能なときは前サイクルまでに登録していたテンプレートでパターンマッチング処理して現フレーム内から差分消滅で見失った侵入物を検出すると共に、該テンプレートと該侵入物の検出位置で、静的背景更新回路１７による静的背景画像との不一致度を計算する一致度計算回路２１９３とを有する。
【００５７】
第４の実施の形態では、第３の実施の形態と同様にパターンマッチング処理で侵入物を検出した後に、同じテンプレートで該静的背景上の同一領域で一致度を計算する。先に説明したように、前記静的背景は監視すべき設備そのものの画像と考えられるから、侵入物が存在する領域では該テンプレートに対して一致度が低くなる。このチェックを入れることで、設備の一部を侵入者として登録して侵入者を誤検知することを防げる。
【００５８】
すなわち、パターン更新検出回路２１９０は、侵入物が検出された領域について、テンプレートと静的背景の輝度値パターンとをパターンマッチング処理で一致度を計算し、前記テンプレートと追跡中物体の輝度値パターンの一致度が所定の値より高くかつ、前記テンプレートと前記静的背景の輝度値パターンの一致度が所定の値より低い場合は、前記パターンマッチング処理によって前記侵入物体が検出できたとして物体追跡を継続する。ここで、二つの一致度の差が所定の値よりも大きい場合は、パターンマッチング処理によって前記侵入物体が検出できたとして物体追跡を続行し、二つの一致度の差が所定の値よりも小さい場合は、侵入物体を見失ったとして追跡を中止することもできる。
【００５９】
パターンマッチングで物体が検出された場合、差分回路２１４０にて差分で検出された物体と同様に、中心座標を求め、差分追跡回路２１５０に記憶し、前後のフレームで検出された物体との距離計算を行い、距離の最小の物からフレーム間の対応付けを行う。この動作の結果、差分あるいはパターンマッチングで物体が検出され、差分追跡回路２１５０で物体追跡されることになる。
【００６０】
次に、コンピュータとビデオキャプチャボードを使った、本発明の第５の実施の形態に係る監視装置について説明する。本実施の形態は、基本的には、ソフトウエアの如何により、上述した第１の実施の形態〜第４の実施の形態のすべての機能について実現することが可能である。すなわち、ソフトウエアによる手順の実行により、第１の実施の形態〜第４の実施の形態の各種機能を実現する手段が実現される。もちろん、第１の実施の形態〜第４の実施の形態に対応するように機能させることもできる。また、第１の実施の形態〜第４の実施の形態において用いられる各種回路と、第５の実施の形態で用いられるコンピュータとを混在させ、機能を分担するように構成してもよい。
【００６１】
図１３は第５の実施の形態のハードウェア構成を示す図である。第５の実施の形態に係る監視装置は、中央演算装置（ＣＰＵ）２１０１とメモリ２１０２とユーザインタフェース２１０３とを有するコンピュータと、画像メモリ２１０４と、ビデオキャプチャボード２１０５と、TVカメラ２０００と、通信ボード２１０７とで構成される。なお、中央演算装置２１０１が実行するプログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体によって提供される。
【００６２】
中央演算装置２１０１は、メモリ２１０２のプログラムを実行し、演算に必要な記憶部はメモリ２１０２に確保するものとする。ユーザインタフェース２１０３は、モニター等の出力装置と、キーボード等の入力装置から成る。ビデオキャプチャボード２１０５は、TVカメラ２０００のアナログ画像信号をデジタルデータに変換して画像メモリ２１０４に格納する。中央演算装置２１０１は、画像メモリ２１０４をアクセスして所定の画像を処理し、結果を画像メモリ２１０４に格納する。通信ボード２１０７は、シリアルポートあるいはパラレルポートを備え、外部機器とデータのやり取りをする。侵入者の有無等の検出結果は通信ボード２１０７を介して外部機器に伝送する。また、外部機器から通信ボード２１０７を介して中央演算装置２１０１を制御できる。
【００６３】
次に、図１４のフローチャートによって第５の実施の形態の監視装置の動作について説明する。
【００６４】
まず、監視装置の電源投入あるいは割り込み指令によって（Ｓ）よりスタートする。また、画角に応じたパラメータ設定と、メモリ配列やポインタなどの変数を初期化する（ステップ１４０１）。
【００６５】
次に、中央演算装置２１０１は、画像を取り込んで、画像メモリ２１０４に格納する（ステップ１４０２）。ここで、画像メモリ２１０４には、時系列のフレームを複数枚格納する（ステップ１４０３）。ただし、最初は、ステップ１４０２で得た画像をコピーして初期化する。動的背景と静的背景も画像メモリ２１０４に保持するが、最初はステップ１４０２で得た画像をコピーして初期化する。
【００６６】
ステップ１４０４以降が監視サイクルで、ステップ１４１６を経て再びステップ１４０４に戻る。
【００６７】
監視サイクルにおいて、中央演算装置２１０１は、TVカメラ２０００からの最新画像を画像メモリ２１０４に格納する（ステップ１４０４）。画像メモリ２１０４には、ストック画像として数フレーム分の画像保持領域が確保してあり、その一箇所に最新画像を格納する。ストック画像は、ストック画像保持領域ポインタで管理し、最新画像を更新するたびに、該画像保持領域ポインタを更新する。画像保持領域ポインタは、ストック数分のサイクルカウンタで、常に最新の画像の格納領域を示している。 TVカメラ２０００からの最新画像を得るたびに最古の画像保持領域に上書きする。
【００６８】
中央演算装置２１０１は、画像メモリ２１０４に記憶されている最新画像と動的背景画像の差分を画素毎にとり、所定のしきい値で二値化し、二値物体を検出する（ステップ１４０５）。また、ステップ１４０５の該二値物体の大きさをチェックして、侵入者として判定しうる大きさの場合はステップ１４０７に進み、該二値物体が大きすぎる場合はステップ１４０２にて再び画像入力して背景などを初期化する（ステップ１４０６）。
【００６９】
（ステップ１４０７）前フレームで検出した二値物体と現フレームで検出した二値物体を距離計算で照合する。照合については、既に図８を参照して説明したものと同じアルゴリズムによって行なう。ここで、フレーム間で照合可能な物体は（１）を経てステップ１４０９に進み、照合できない物体は（２）を経てステップ１４１２に進む（ステップ１４０８）。
【００７０】
次に、二値物体のフレーム間の対応付けを基に物体の移動を追跡する（ステップ１４０９）。追跡中の物体の輝度値パターンをテンプレート登録する（ステップ１４１０）。追跡方法については、既に述べた方法と同じである。また、テンプレート登録の詳細についても、図１０を参照して既に説明したものと同じである。
【００７１】
次に、差分による二値物体のフレーム間対応付けが不可能なときは、パターンマッチングによってフレーム間の物体対応付けを行う（ステップ１４１１）。パターンマッチングの詳細は、図１２を参照して既に説明した方法と同じである。。
【００７２】
物体を所定フレーム数に亘って追跡できた場合は、また、パターンマッチングにより物体を検知できたとき、侵入者ありと判定する（ステップ１４１２）。
【００７３】
次に、ステップ１４１３〜１４１６において、本実施の形態において用いる各種画像データの生成および更新についての処理を行う。
【００７４】
まず、波の荒れ具合でパラメータを自動更新して動的背景を更新する（ステップ１４１３）。これについては後述する。
【００７５】
既に用意されている静的背景と最新画像の輝度値分布を所定の割合で画素毎に平均化する（ステップ１４１４）。この処理で侵入物や波など動きのあるものはぼやけ、洋上施設など固定しているものはS-N比があがり、コントラストがよくなる。この処理に関するアルゴリズムは、既に述べた通りである。
【００７６】
最新画像と静的背景の輝度値の差を画素毎に一定期間蓄積する（ステップ１４１５）。ステップ１４１５による差分蓄積画像は、波など常に変動する部分の蓄積値が大きくなり、波などの変動する領域を自動判定できる（ステップ１４１６）。差分蓄積およびそれに基づく領域自動検出の手法については、既に図９を参照して説明した通りである。
【００７７】
このような処理を経てステップ１４０４に戻り、監視処理を引き続き行う。
【００７８】
次に、動的背景更新処理について、図１５を参照して説明する。図１５で（Ｓ）よりスタートする。
【００７９】
中央演算装置２１０１は、ストック画像領域から所定のフレームを選択し、最新画像と輝度値差を画素毎に算出し差分画像を作る（ステップ１５０１）。前記差分画像を所定のしきい値で二値化して二値画像を作成する（ステップ１５０２）。二値化することで、監視画面がフレーム間で差の大きかった領域と大きくなかった領域とに二分されることになる。なお、ここで用いられるしきい値は、次のステップにおいて設定される。
【００８０】
図３の窓３３を波あるいは木の葉など常に揺らぐ領域上に設け、窓３３の領域内で該二値画像の物体面積を求め、前記物体面積が所定の範囲より大きい場合はステップ１５０２で用いたしきい値の値を大きくし、前記物体面積が所定の範囲より小さい場合はステップ１５０２で用いたしきい値の値を小さくして前記しきい値を更新する（ステップ１５０３）。これは、図５を参照して述べた手法と基本的に同じである。
【００８１】
ここで、最新画像から、変化の少ない領域に相当する前記二値画像が得られた領域について切出して、その部分について動的背景を更新する（ステップ１５０４）。これは部分的な更新であって、ステップ１５０２による二値画像の物体以外の部分を最新画像で置き換える。変化が大きい領域については、動的背景を更新しない。
【００８２】
以上説明した本実施の形態によれば、画面の中に波や木の葉などの揺らぐものがあってもこれらを検出して誤報を出すことなく、侵入物を検出して報知することができると共に、侵入物がしばらく静止状態に入っても追跡し続けることができる。
【００８３】
なお、以上に述べた各実施の形態において、画像をフレーム単位で扱っているが、これに限定されない。その他の単位で扱うことも可能である。
【００８４】
【発明の効果】
本発明の第１の態様によれば、波や木々の揺らぎのように、時間的に揺らぎをもつ背景において、監視対象を、精度よく検出することができる。
【００８５】
また、本発明の第２の態様によれば、監視対象から、検出すべき画像を精度よく抽出することができる。
【図面の簡単な説明】
【図１】 本発明による監視装置の機能構成の概要を示すブロック図である。
【図２】 本発明による監視装置を用いた洋上施設監視システムの一例を示す説明図である。
【図３】 本発明による監視装置の処理画像の一例を示す説明図である。
【図４】 本発明による監視装置のフレーム遅延回路の一例を示すブロック図である。
【図５】 本発明による監視装置の動的背景更新回路の一例を示すブロック図である。
【図６】 本発明による監視装置の基準波形観測窓の処理画像の一例を示す説明図である。
【図７】 本発明による監視装置の現フレームと差分画像を示す説明図である。
【図８】 本発明による監視装置の差分追跡の一例を示す説明図である。
【図９】 本発明による監視装置の現フレームと差分差分蓄積画像を二値化した画像を示す説明図である。
【図１０】 本発明による監視装置の侵入物と差分画像とテンプレートの対応を示す説明図である。
【図１１】 本発明による監視装置のパターン更新検出回路の一例を示すブロック図である。
【図１２】 本発明による監視装置の一致度計算回路の動作を説明する説明図である。
【図１３】 本発明による監視装置の第５の実施の形態のハードウェア構成の一例を示すブロック図である。
【図１４】 本発明による監視装置の第５の実施の形態の動作のフローチャートである。
【図１５】 本発明による監視装置の動的背景更新処理のフローチャートである。
【符号の説明】
２０００…ＴＶカメラ、２１００…監視装置、２１１０…画像入力回路、２１２０…フレーム遅延回路、２１３０…動的背景更新回路、２１４０…差分回路、２１５０…差分追跡回路、２１６０…侵入物判定報知回路、２１７０…静的背景更新回路、２１８０…差分蓄積回路、２１９０…パターン更新検出回路、２２００…表示装置。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for detecting and monitoring a monitoring object in a moving background, and in particular, detects a specific monitoring object from an image that moves other than the monitoring object such as offshore or in a grove. And monitoring technology.
[0002]
[Prior art]
In general, an object is photographed using a camera or the like, and a monitored object is monitored using the photographed image. In this case, in order to perform monitoring, it is necessary to detect an image of the object from the captured image and extract the change.
[0003]
As this type of monitoring device, for example, there is a technique for binarizing the difference between the background and the current frame to detect an intruder (Japanese Patent Laid-Open No. 7-129779). There is also a technique for detecting an intruder by verifying the moving speed of the difference between the background and the current frame (Japanese Patent Application Laid-Open No. 5-284501).
[0004]
In addition to this, there is a technique for dividing a frame into several areas in advance and processing according to each area (Japanese Patent Laid-Open No. 10-136341).
[0005]
[Problems to be solved by the invention]
However, for example, in the technique disclosed in Japanese Patent Application Laid-Open No. 7-12979, when this is used for monitoring offshore facilities such as a jetty, the fluctuation of the wave of the fixed background image and the current frame is erroneously detected as a difference. End up. That is, there is a problem that the background difference due to the fixed background often erroneously detects fluctuations in the actual background such as waves. In addition, when the intruder to be detected has various speed components similar to the background wave fluctuation, the intruder can be obtained even if the moving speed of the difference is obtained by the technique disclosed in Japanese Patent Laid-Open No. 5-284501. It is difficult to distinguish between waves and waves.
[0006]
An object of the present invention is to provide a monitoring apparatus capable of accurately detecting a monitoring target in a background having fluctuations in time such as waves and fluctuations of trees.
[0007]
Another object of the present invention is to provide a monitoring apparatus that can accurately extract an image to be detected from a monitoring target.
[0008]
[Means for Solving the Problems]
As a first aspect for achieving the first object of the present invention,
In a monitoring device that monitors a target area based on an image of the target area,
Means for capturing captured images in a time series in units of frames;
Means for storing a first background image that is generated and updated based on the captured image;
When the latest captured image of the current frame is compared with the image of the previous frame captured before that and there is a region where the difference in luminance value between them is smaller than a predetermined threshold, the first stored Updating the first background image by replacing the area of the background image with the luminance value of the corresponding area of the current frame;
Means for binarizing a luminance value difference between the first background image and the current frame image with a predetermined threshold value to detect a pixel set;
Means for determining whether the detected pixel set is a detection target in a target region and outputting a determination result.
A monitoring device is provided.
[0009]
In addition, as a second aspect for achieving the second object of the present invention,
In a monitoring device that monitors a target area based on an image of the target area,
Means for capturing captured images in a time series in units of frames;
Means for storing a first background image that is generated and updated based on the captured image;
Means for binarizing a luminance value difference between the first background image and the current frame image with a predetermined threshold value to detect a pixel set;
Means for storing a luminance value pattern of a region corresponding to the pixel set as a template for performing an operation of cutting out a current frame and checking a matching degree;
Means for sequentially detecting the degree of coincidence with the template for at least a part of the current frame, and detecting the presence or absence of a luminance value pattern having a degree of coincidence equal to or greater than a predetermined value;
Means for determining that a luminance value pattern having a degree of coincidence equal to or greater than a predetermined value is to be detected with respect to the luminance value pattern;
A monitoring device is provided.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings. Below, the case where the offshore facility is monitored is described as an example, but the present invention is not limited to this.
[0011]
FIG. 2 is an example of an offshore facility monitoring system using the monitoring device of the present invention. In this example, a facility 26 is provided on the ocean 10, and the facility 26 and the quay 25 are connected by a connecting bridge 27. The monitoring device of the present invention includes a TV camera 2000, a monitoring device 2100, a display device 2200, a notification device 2300, and an operation device 2400. The monitoring device 2100 is configured by, for example, a hardware logic circuit described later. Of course, it can also be configured by realizing a corresponding function by software using a computer. The TV camera 2000 is installed on the quay 25 and monitors the offshore facility 26. The TV camera 2000 may be installed on the communication path 27 or the offshore facility 26.
[0012]
An image taken by the TV camera 2000 is displayed on the display screen 2210 of the display device 2200, for example, as shown in FIG. That is, there are an offshore facility 30 and a ship 31 on the ocean, and an intruder 32 exists on the offshore facility 30. The monitoring device of the present invention detects the intruder 32 and sometimes the ship 31 while ignoring the wave 34 that is constantly fluctuating. Note that the frame displayed in the display screen 2210 is the fluctuation observation window 33. This observation window 33 is installed on the ocean of the screen 2210, and is used for processing for automatically adjusting detection parameters by observing wave fluctuations. This will be described later.
[0013]
In the present invention, an image obtained by capturing an image of a monitoring target is captured in time series in units of frames, and an intruder candidate is based on a difference in luminance value between the current frame image, which is the latest frame, and the first background image (dynamic background). Are detected as a pixel set, for example. It is determined whether the detected pixel set is a detection target in the target region, and a determination result is output.
[0014]
The first background image has a region in which the difference between the brightness values of the current background image captured most recently and the previous frame image captured before that is smaller than a predetermined threshold value. The update is performed by replacing the area of the stored first background image with the luminance value of the corresponding area of the current frame. As a result, the dynamic background is updated quickly enough to reflect fluctuations occurring in the background of the monitoring target of the current frame, for example, wave fluctuations. The parameters related to the update are determined corresponding to a value representing the degree of fluctuation observed in this window by setting an observation window in an area where fluctuation occurs in the image to be monitored, for example, an image area showing the ocean. It is done. Specifically, the threshold value can be determined and optimized thereby. As a result, if the size or movement of the intruder is larger than the magnitude of the wave change, it is detected by the background difference.
[0015]
Next, intrusion candidates are tracked for each frame. The tracking is performed by associating the same pixel set between the plurality of frames for the pixel sets detected in the plurality of frames. An intruder candidate is determined to be an intruder when it is tracked for a predetermined time.
[0016]
On the other hand, an image including the detected intruder is registered as a template. Since the dynamic background is updated quickly, an intruder with little movement may be quickly taken into the dynamic background and no difference from the current frame may occur. In this case, a non-difference image can be detected by performing pattern matching processing on the current frame using a template that has already been registered. In addition, tracking can be resumed.
[0017]
Furthermore, if an image of a fixed object in the background, for example, an image including an offshore facility itself is registered as a template, the offshore facility itself is detected as an intruder. In order to prevent this, the degree of coincidence is calculated using the second background image (static background) at the same position as the location detected by the intruder template as a template. At this time, if the degree of coincidence with the static background template is low, it can be regarded that an intruder exists and hides a part of the offshore facility. Since the offshore facility is fixed, the static background is an image of the offshore facility itself.
[0018]
In addition, the threshold for accumulating the luminance value difference between the current frame and the static background to determine the part that is constantly fluctuating and the part that is not, and detecting the intruder candidate accordingly. You can change the value.
[0019]
Hereinafter, various embodiments for realizing these will be described with reference to the drawings.
[0020]
The outline of the configuration of the first embodiment of the present invention will be described with reference to FIG. The monitoring apparatus of the present invention functions as an image input circuit 2110 that functions as means for taking an image of the TV camera 2000 from analog to digital and capturing it as a current frame, and means for storing several past frames such as the previous frame in time series. And a means for creating and updating a first background image (hereinafter referred to as a dynamic background. The dynamic background will be described later) by using a frame delay circuit 2120 and a number of time-series frames, and dynamic stores a reverence A dynamic background update circuit 2130 that functions as a pixel value, a difference circuit 2140 that functions as a pixel set detection unit that binarizes the difference between the luminance values of the current frame and the dynamic background and detects a pixel set as an intruder candidate, A difference tracking circuit 2150 functioning as a pixel set tracking means for tracking the corresponding position of the intruder candidate across frames; The intruder candidate on the condition that can be tracked over between determined to the intruder and a penetration was determined reporting circuit 2160 that functions as a means for notifying.
[0021]
Note that the static background update circuit 2170, the difference accumulation circuit 2180, and the pattern update circuit 2190 are not used in this embodiment, and will be described in the description of other embodiments to be described later. Therefore, these may be omitted in the present embodiment.
[0022]
First, the configuration and operation of the frame delay circuit 2120 will be described. FIG. 4 is a diagram illustrating an example of the configuration of the frame delay circuit 2120. The frame delay circuit 2120 writes a frame of the image input circuit 2110 and can read the frame memory group 2121; a write counter 2122 that selects a frame memory to be written; and a read that selects a frame memory to be read from the frame memory group 2121 And a counter 2123.
[0023]
The frame memory group 2121 includes frame memories 2121a to 2121i. The frame memories 2121a to 2121i are connected in parallel, with the input side connected to the image input circuit 2110 and the output side connected to the dynamic background update circuit 2130 (see FIG. 1). The write counter 2122 is a cyclic counter that counts the number of frame memories 2121a to 2121i in the frame memory group 2121 and returns to the initial value again. Each time a frame of the image input circuit 2110 is written to the frame memory group 2121, the frame is counted. Therefore, the frame memory group 2121 holds endless time-series frames for the number of frame memories. The read counter 2123 is also a cyclic counter and can indicate the number of frame memories in the frame memory group 2121. The initial value is a value equal to the write counter 2122. If the initial value is reduced by 1 at the time of reading, the previous frame can be read, and if the initial value is further decreased, the previous frame can be read. The number of frame memories in the frame memory group 2121 can be increased or decreased as necessary.
[0024]
Next, the concept of the dynamic background and the configuration of the dynamic background update circuit 2130 for realizing this will be described. FIG. 5 is a diagram illustrating an example of the dynamic background update circuit 2130. A dynamic background update circuit 2130 includes a difference circuit 2131 for calculating a luminance value difference between the current frame and the previous frame or a frame several frames before, and a binarization circuit for binarizing the luminance value difference with a certain threshold value. 2132, a background composition circuit 2133 that replaces the region having the small luminance value difference with the current frame, a background holding memory 2134, and a binarization threshold value adjustment circuit 2135.
[0025]
The dynamic background is held in the background holding memory 2134. As an initial value, the current frame is initially held. Then, from the next imaging cycle, the difference circuit 2131 obtains the luminance value difference between the current frame and the previous frame or the previous frame. This luminance value difference is binarized by a binarization circuit 2132 with a certain threshold value. By binarizing, the monitoring screen is divided into two areas: the area where the difference between frames is large and the area where the difference is not large. This binary result is used in the background synthesis circuit 2133. That is, the area where the difference between frames is large maintains the current background, and the area where the difference between frames is not large is updated to the current frame. The synthesized dynamic background is held in the background holding memory 2134. A threshold value of the binarization circuit 2132 is automatically adjusted by the threshold adjustment circuit 2135.
[0026]
Here, the operation of the threshold adjustment circuit 2135 will be described. FIG. 6A is an image of a wave in the current frame of the observation window 33. FIG. 6B is a wave image of the previous frame. FIG. 6C shows the difference binarized. The white part in FIG. 6 (c) is a place with a large difference. The binarization threshold value is automatically adjusted so that the area of the white portion falls within a predetermined range and used as the threshold value of the binarization circuit 2132. In the automatic adjustment of the binarization threshold, the threshold adjustment circuit 2135 can be performed as follows, for example. The number of white pixels is counted, and it is determined whether the counted value falls within a predetermined range. When the upper limit is exceeded, the lower limit is exceeded, etc., the threshold value is increased or decreased, and the number of white pixels is counted again, the count value is determined, and the like. Thus, when the count value of the white pixel finally falls within the predetermined range, the threshold value at that time is set as the threshold value of the binarization circuit 2132.
[0027]
The dynamic background created and updated by the operation described above reflects wave fluctuations. However, a change in luminance value larger than the wave is not reflected.
[0028]
Next, the operation of the difference circuit 2140 will be described. The difference circuit 2140 obtains the difference between the luminance values of the current frame and the dynamic background update circuit 2130 and binarizes it. FIG. 7A shows an image of the current frame. FIG. 7B is a binary image output from the difference circuit 2140. As explained above, the dynamic background is almost the same as the current frame, so there is not much difference. However, there are differences in moving intruders and navigating ships. In addition to obtaining the difference, the difference circuit 2140 extracts a pixel distribution (pixel set) of the same luminance value having a certain size from the binary image included in the difference output to obtain an intruder candidate. The coordinates and center coordinates of the circumscribed rectangle are obtained and output to the difference tracking circuit 2150 in the next stage.
[0029]
Here, the circumscribed rectangle and the center coordinates for the pixel set can be calculated as follows, for example. First, white pixel reduction processing is performed. As a result, a set of white pixels having a small area scattered in FIG. 7B is deleted. Next, the reduced white pixels are enlarged so as to have the original size. At this time, the white pixels that have once disappeared are not enlarged, so that only a pixel set having a certain area remains. That is, the mass of white having a predetermined size is extracted. Next, for the set of extracted white pixels, a minimum value and a maximum value in both the x and y axis directions are obtained, and a circumscribed rectangle including them is set. Next, the center of the circumscribed rectangle is obtained.
[0030]
Next, the operation of the difference tracking circuit 2150 will be described. The difference tracking circuit 2150 stores the center coordinates of the intruder candidate detected by the difference circuit 2140 and calculates the movement trajectory by associating the movement of the intruder candidate between frames. The movement trajectory is stored.
[0031]
FIG. 8A is a diagram illustrating the association between the previous frame and the previous frame intruder candidates. The object 81 and the object 82 are intruder candidates detected in the previous frame, and the object 83 and the object 84 are intruder candidates detected in the previous frame. The difference tracking circuit 2150 obtains the distance between the center coordinates of the object 81 and the center coordinates of the objects 83 to 84, and associates the nearest object, that is, the object 83 with the object 81. Similarly, the distance between the center coordinates of the object 82 and the center coordinates of the objects 83 to 84 is obtained, and the nearest object, that is, the object 84 is associated with the object 82.
[0032]
FIG. 8B is a diagram showing the association between the previous frame and the current frame intruder candidates. The object 83 and the object 84 are intruder candidates detected in the previous frame, and the object 85 and the object 86 are intruder candidates detected in the current frame. The difference tracking circuit 2150 associates the object 83 and the object 85, and the object 84 and the object 86 with the same procedure as described with reference to FIG.
[0033]
Eventually, as shown in FIG. 8C, the object 81 and the object 82 are traced by drawing a trajectory 87 and a trajectory 88, respectively. The tracking result is sent to the intruder determination notification circuit 2160.
[0034]
In this way, when the intruder candidate is tracked for a predetermined number of frames or for a predetermined time or more, the intruder determination notifying circuit 2160 determines that an intruder exists and outputs a signal to notify that fact. . Even after the notification, the object associated with the intruder continues to be tracked as an intruder. In addition, the signal which alert | reports that an intruding object exists is sent to the alerting | reporting apparatus 2300, For example, the sound of a message, a buzzer, etc., the blink of light, etc. are generated. As a result, the presence of the intruder can be reported to the operator or the like. At this time, the display device 220 can also display to notify the same situation.
[0035]
As described above, the monitoring apparatus according to the first embodiment of the present invention detects an intruder even if there are things that fluctuate, such as waves and leaves, on the screen without generating a false alarm. Can be detected and notified.
[0036]
Next, a second embodiment of the monitoring device of the present invention will be described with reference to FIG. The monitoring apparatus according to the present embodiment adds and averages the image input circuit 2110, the frame delay circuit 2120, the dynamic background update circuit 2130, and several time-series frames from the past to the current frame, A means for creating and updating a background image (hereinafter referred to as a static background), a static background update circuit 2170 functioning as means for storing a first background image, and a luminance value difference between the current frame and the static background. A difference accumulation circuit 2180 that functions as a means for discriminating a region that is constantly fluctuating, such as a wave, and a region that is not fluctuating, such as a facility, a difference circuit 2140 that changes a difference parameter depending on whether or not there is a fluctuation, and a difference A tracking circuit 2150 and an intruder determination notification circuit 2160 are included.
[0037]
First, the outline of the static background and the operation of the static background update circuit 2170 will be described. The static background in the initial operation of the static background update circuit 2170 is the current frame itself. When the image input circuit 2110 outputs the current frame in the next cycle, the static background update circuit 2170 calculates a weighted average value of the static background and the current frame at a predetermined ratio, and this is newly updated. A static background. For example, when averaging the current frame and the static background at a ratio of 1:31, add the current frame with the static background brightness value multiplied by 31 to match the average brightness value before and after processing. A new static background is obtained by dividing the sum of the current frame and 31 times the static background by 32. By repeating the above processing, the static background is smoothed in a region with fluctuations such as a wave, and becomes a region in which the luminance value does not change in time and space. On the other hand, a stationary offshore facility is a clear area with good contrast.
[0038]
Next, the operation of the difference accumulation circuit 2180 will be described. The initial value of the difference accumulation image of the difference accumulation circuit 2180 is an image of all pixels 0 or 255. In each image input cycle, the luminance value difference between the current frame and the static background is added and averaged with the difference accumulation image at a predetermined ratio to obtain a new difference accumulation image. When the difference accumulation image obtained in this way is binarized with a predetermined threshold, it can be separated into a region with fluctuation and a region without fluctuation in the current frame.
[0039]
FIG. 9A shows the current frame. FIG. 9B shows a binarized difference accumulation image. Here, the white area is an area with fluctuation, and the black area is an area without fluctuation. When the difference image is binarized by the difference circuit 2140, the threshold value is set to be low for the region without fluctuation and the detection sensitivity of the intruder candidate is kept high, while the threshold value is set for the region with fluctuation. It can be raised somewhat to reduce the false alarms caused by waves.
[0040]
When the output of the difference accumulation circuit 2180 determines that the corresponding position is a portion with fluctuation, the difference threshold 2140 raises the binarization threshold value to make it difficult to detect the difference and suppress the false alarm due to the wave. To do. On the other hand, when it is determined by the output of the difference accumulation circuit 2180 that the corresponding position is a place where there is no fluctuation, the binarization threshold value in the difference circuit 2140 is lowered to make it easier to detect the difference and the detection of the intruder is missed. Reduce.
[0041]
Next, a third embodiment of the monitoring apparatus of the present invention will be described with reference to FIG. The monitoring apparatus according to the present embodiment updates and updates the image input circuit 2110, the frame delay circuit 2120, the dynamic background update circuit 2130, and the model luminance value pattern (hereinafter referred to as a template) of the intruding object. A pattern update detection circuit 2190 that functions as a luminance value pattern presence / absence detection unit that holds the model pattern and detects the intruder in the luminance value pattern matching process when the difference circuit 2140 loses sight of the intruder. A circuit 2140, a difference tracking circuit 2150, and an intruder determination notification circuit 2160 are included.
[0042]
FIG. 10 is a diagram illustrating correspondence between an intruder that repeatedly moves and stops, a difference image, and a template. FIG. 10 (b-1) shows an example of the image of the moving intruder. Fig. 10 (b-2) is an intruder immediately after it has stopped, Fig. 10 (b-3) is an intruder that has been stationary for a while, Fig. 10 (b-4) is an intruder that has started moving again, Fig. 10 (b- 5) is a moving intruder. FIGS. 10 (a-1) to 10 (a-5) are difference images by the difference circuit 2140 corresponding to the intruders in FIGS. 10 (b-1) to 10 (b-5), respectively. As shown in Fig. 10 (a-1), (a-2), (a-4), and (a-5), the intruder has a difference when it is moving or just after stationary. Appears and can be tracked by the difference tracking circuit 2150. However, if the intruder remains stationary, the intruder is taken into the dynamic background, and the difference disappears as shown in FIG. 10 (a-3). That is, the intruder is lost. Therefore, a pattern update detection circuit 2190 is provided in order to continue to detect intruders even during this extinction period.
[0043]
Here, the function of the pattern update detection circuit 2190 will be described. FIG. 11 is a diagram showing the configuration of the update detection circuit 2190. Based on the difference output from the difference circuit 2140 and the tracking information output from the difference tracking circuit 2150, the update detection circuit 2190 includes an area extraction circuit 2191 that extracts an intruder area from the current frame, and the brightness of the intruder area. A template update circuit 2192 for registering a value pattern as a template, and a pattern matching process using a template registered up to the previous cycle when difference tracking is not possible, and detecting an intruder that is lost due to difference disappearance from the current frame Degree calculation circuit 2193.
[0044]
The area extraction circuit 2191 obtains a circumscribed rectangle for the pixel set detected as an intruder, and extracts a luminance value pattern in the circumscribed rectangle from the current frame. When the difference tracking circuit 2150 can track the difference, the template update circuit 2192 updates and registers the extracted brightness value pattern of the current frame as a template of the tracked intruder.
[0045]
The operation of the pattern update detection circuit 2190 will be described with reference to FIG. FIGS. 10 (c-1) to 10 (c-5) are templates corresponding to the intruders in FIGS. 10 (b-1) to 10 (b-5), respectively. 10 (c-1), FIG. 10 (c-2), FIG. 10 (c-4), and FIG. 10 (c-5) represent the difference, respectively, and FIG. 10 (a-1) and FIG. -2), a template cut out from the current frame in the areas of FIGS. 10 (a-4) and 10 (a-5). FIG. 10 (c-3) retains the template diagram 10 (c-2) of the frame before the difference disappears.
[0046]
Summarizing the above operations, intruders (b-1) and (b-2) are detected by difference (a-1) and (a-2) in difference circuit 2140 in FIG. Further, the areas of the intruders (b-1) and (b-2) are cut out by the area cutout circuit 2191, and the intruders (b-1) and (b-2) are converted into the template (c- Registered as 1) and (c-2). On the other hand, the intruder (b-3) is detected by the matching degree calculation circuit 2193 by pattern matching with the template (c-3). Intruders (b-4) and (b-5) are detected by differences (a-4) and (a-5), respectively, and intruders (b-4) and (b-5) And are registered as templates (c-4) and (c-5).
[0047]
Next, pattern matching processing by the coincidence degree calculation circuit 2193 will be described. FIG. 12 is a diagram for explaining the pattern matching process. A search frame 1202 is provided in the current frame 1201, and the origin of the search frame 1202, that is, the upper left corner is P. The purpose is to detect an object 1204 similar to the template 1203 from within the search frame 1202. The search frame 1202 can be set for the entire frame, but since the intruder has not moved so much, the search frame 1202 is set to have a certain range with the most recently detected position as the center. By narrowing down this area, it is possible to efficiently perform exploration without unnecessary exploration. At this time, the current frame is input via the area extraction circuit 2191 in FIG. Of course, the image of the current frame may be directly input to the coincidence calculation circuit 2193. It should be noted that the exploration may be performed in the region cutout circuit 2191 by scanning and cutting out the images to be compared, and the coincidence degree calculation may be carried out in the coincidence degree calculation circuit 2193.
[0048]
The coincidence calculation circuit 2193 scans the scanning frame 1205 (origin O) having the same size as the template 1203 within the search frame 1202, and the degree of coincidence between the portion surrounded by the scanning frame 1205 in the current frame and the luminance value pattern of the template 1203. Alternatively, the inconsistency is calculated. Processing for detecting an object similar to the template 1203 by such calculation is referred to as pattern matching processing. As a method of calculating the degree of coincidence, there is a normalized correlation calculation. When the correlation value is R (j, i), it is expressed by the formulas (1), (2), (3), and (4). .
[0049]
[Expression 1]

[0050]
[Expression 2]

[0051]
[Equation 3]

[0052]
[Expression 4]

[0053]
Here, the luminance value pattern of the search frame 1202 is f (J, I), the luminance value pattern of the template 1203 is g (X, Y), and the amount of movement from P to O is represented by (j, i). . N is the number of pixels in the template 1203. R (j, i) is equal to the correlation coefficient, and takes a maximum value of 1.0 when the luminance value pattern of the template 1203 and the luminance value pattern in the scanning frame 1205 completely match. Usually, it can be determined that a similar object is detected with a value of 0.7 or more. In calculating the degree of inconsistency, if the absolute value of the luminance value difference between f and g is accumulated in the scanning frame 1205 and the value is smaller than a predetermined value, it is determined that a similar object has been detected.
[0054]
As described above, the monitoring apparatus according to the present embodiment detects and notifies an intruder without detecting a false alarm even if there are things that fluctuate, such as waves or leaves, on the screen. And can keep track of the intruder even if it is stationary for a while.
[0055]
Next, a fourth embodiment of the monitoring apparatus of the present invention will be described with reference to FIG. The monitoring apparatus according to the present embodiment includes an image input circuit 2110, a frame delay circuit 2120, a dynamic background update circuit 2130, a static background update circuit 2170, a pattern update detection circuit 2190, a difference circuit 2140, and a difference A tracking circuit 2150 and an intruder determination notification circuit 2160 are included. The operations of the circuits other than the static background update circuit 2170 and the pattern update detection circuit 2190 are the same as those of the third embodiment, and the operation of the static background update circuit 2170 is the same as that of the second embodiment.
[0056]
Here, the configuration and operation of the pattern update detection circuit 2190 characterizing the operation of the monitoring apparatus according to the fourth embodiment will be described. FIG. 11 is a diagram showing the configuration of the update detection circuit 2190. Based on the difference of the difference circuit 2140 and the tracking information of the difference tracking circuit 2150, an area extraction circuit 2191 for extracting the luminance value pattern of the intruder area, and the luminance value pattern of the intruder area of the current frame when the difference tracking is possible A template update circuit 2192 for registering as a template, and when the difference cannot be traced, a pattern matching process is performed on the template registered up to the previous cycle to detect an intruder lost in the difference from the current frame, and the A coincidence degree calculation circuit 2193 for calculating a degree of inconsistency between the template and the static background image by the static background update circuit 17 at the detection position of the intruder.
[0057]
In the fourth embodiment, in the same manner as in the third embodiment, after an intruder is detected by pattern matching processing, the matching degree is calculated in the same region on the static background using the same template. As described above, since the static background is considered as an image of the facility itself to be monitored, the degree of coincidence with the template is low in the area where the intruder exists. By checking this check, it is possible to prevent a part of the facility from being registered as an intruder and erroneously detecting the intruder.
[0058]
That is, the pattern update detection circuit 2190 calculates the degree of coincidence of the template and the luminance value pattern of the static background for the region where the intruder is detected by pattern matching processing, and calculates the luminance value pattern of the template and the object being tracked. If the degree of coincidence is higher than a predetermined value and the degree of coincidence between the template and the luminance value pattern of the static background is lower than a predetermined value, object tracking is continued assuming that the intruding object has been detected by the pattern matching process. To do. Here, when the difference between the two matching degrees is larger than a predetermined value, the object tracking is continued assuming that the intruding object can be detected by the pattern matching process, and the difference between the two matching degrees is smaller than the predetermined value. In this case, it is possible to stop tracking because the sight of the intruding object is lost.
[0059]
When an object is detected by pattern matching, the center coordinates are obtained and stored in the difference tracking circuit 2150 in the same manner as the object detected by the difference in the difference circuit 2140, and the distance between the object detected in the previous and subsequent frames is calculated. The frame is associated with the object having the smallest distance. As a result of this operation, an object is detected by difference or pattern matching, and the object is tracked by the difference tracking circuit 2150.
[0060]
Next, a monitoring apparatus according to the fifth embodiment of the present invention using a computer and a video capture board will be described. This embodiment can be basically realized for all the functions of the first to fourth embodiments described above depending on software. That is, means for realizing various functions of the first to fourth embodiments is realized by executing a procedure by software. Of course, it can be made to function so as to correspond to the first embodiment to the fourth embodiment. In addition, various circuits used in the first to fourth embodiments and a computer used in the fifth embodiment may be mixed to share functions.
[0061]
FIG. 13 illustrates a hardware configuration according to the fifth embodiment. A monitoring apparatus according to the fifth embodiment includes a computer having a central processing unit (CPU) 2101, a memory 2102, and a user interface 2103, an image memory 2104, a video capture board 2105, a TV camera 2000, and a communication board. 2107. Note that the program executed by the central processing unit 2101 is provided by a recording medium such as a CD-ROM.
[0062]
The central processing unit 2101 executes a program in the memory 2102 and reserves a storage unit necessary for the calculation in the memory 2102. The user interface 2103 includes an output device such as a monitor and an input device such as a keyboard. The video capture board 2105 converts the analog image signal of the TV camera 2000 into digital data and stores it in the image memory 2104. The central processing unit 2101 accesses the image memory 2104 to process a predetermined image, and stores the result in the image memory 2104. The communication board 2107 includes a serial port or a parallel port, and exchanges data with external devices. Detection results such as the presence or absence of an intruder are transmitted to an external device via the communication board 2107. Further, the central processing unit 2101 can be controlled from an external device via the communication board 2107.
[0063]
Next, the operation of the monitoring apparatus according to the fifth embodiment will be described with reference to the flowchart of FIG.
[0064]
First, the process starts from (S) when the monitoring device is turned on or an interrupt command is issued. Also, parameter settings according to the angle of view and variables such as memory array and pointer are initialized (step 1401).
[0065]
Next, the central processing unit 2101 captures an image and stores it in the image memory 2104 (step 1402). Here, a plurality of time-series frames are stored in the image memory 2104 (step 1403). However, first, the image obtained in step 1402 is copied and initialized. The dynamic background and the static background are also stored in the image memory 2104. Initially, the image obtained in step 1402 is copied and initialized.
[0066]
Step 1404 and subsequent steps are a monitoring cycle, and the process returns to step 1404 again through step 1416.
[0067]
In the monitoring cycle, the central processing unit 2101 stores the latest image from the TV camera 2000 in the image memory 2104 (step 1404). In the image memory 2104, an image holding area for several frames is secured as a stock image, and the latest image is stored in one place. The stock image is managed by a stock image holding area pointer, and the image holding area pointer is updated every time the latest image is updated. The image holding area pointer is a cycle counter corresponding to the number of stocks and always indicates the storage area of the latest image. Every time the latest image from the TV camera 2000 is obtained, the oldest image holding area is overwritten.
[0068]
The central processing unit 2101 takes the difference between the latest image and the dynamic background image stored in the image memory 2104 for each pixel, binarizes it with a predetermined threshold value, and detects a binary object (step 1405). Also, the size of the binary object in step 1405 is checked, and if the size can be determined as an intruder, the process proceeds to step 1407. If the binary object is too large, the image is input again in step 1402. The background and the like are initialized (step 1406).
[0069]
(Step 1407) The binary object detected in the previous frame and the binary object detected in the current frame are collated by distance calculation. The matching is performed by the same algorithm as already described with reference to FIG. Here, an object that can be collated between frames proceeds to step 1409 via (1), and an object that cannot be collated proceeds to step 1412 via (2) (step 1408).
[0070]
Next, the movement of the object is traced based on the correspondence between the frames of the binary object (step 1409). The luminance value pattern of the object being tracked is registered as a template (step 1410). The tracking method is the same as the method already described. The details of template registration are also the same as those already described with reference to FIG.
[0071]
Next, when it is impossible to associate the binary objects with the frames by the difference, the objects are associated with each other by pattern matching (step 1411). The details of the pattern matching are the same as those already described with reference to FIG. .
[0072]
If the object can be tracked over a predetermined number of frames, and if the object can be detected by pattern matching, it is determined that there is an intruder (step 1412).
[0073]
Next, in steps 1413 to 1416, processing for generating and updating various image data used in the present embodiment is performed.
[0074]
First, the dynamic background is updated by automatically updating the parameters according to the roughness of the waves (step 1413). This will be described later.
[0075]
The luminance value distribution of the static background already prepared and the latest image is averaged for each pixel at a predetermined ratio (step 1414). In this process, moving objects such as intruders and waves are blurred, and those that are fixed such as offshore facilities increase the SN ratio and improve the contrast. The algorithm relating to this processing is as described above.
[0076]
The difference between the brightness values of the latest image and the static background is accumulated for a certain period for each pixel (step 1415). In the accumulated difference image in step 1415, the accumulated value of a part that constantly fluctuates, such as a wave, becomes large, and a fluctuating region such as a wave can be automatically determined (step 1416). The method of difference accumulation and region automatic detection based thereon is as already described with reference to FIG.
[0077]
After such processing, the process returns to step 1404 to continue monitoring processing.
[0078]
Next, the dynamic background update process will be described with reference to FIG. Starting from (S) in FIG.
[0079]
The central processing unit 2101 selects a predetermined frame from the stock image area, calculates a luminance value difference from the latest image for each pixel, and creates a difference image (step 1501). The difference image is binarized with a predetermined threshold value to create a binary image (step 1502). By binarizing, the monitoring screen is divided into two areas: the area where the difference between frames is large and the area where the difference is not large. The threshold value used here is set in the next step.
[0080]
The window 33 shown in FIG. 3 is provided on a region that constantly fluctuates, such as a wave or a leaf, and the object area of the binary image is obtained within the region of the window 33. If the object area is larger than a predetermined range, step 1502 is used. The value is increased, and if the object area is smaller than the predetermined range, the threshold value used in step 1502 is decreased and the threshold value is updated (step 1503). This is basically the same as the method described with reference to FIG.
[0081]
Here, the region where the binary image corresponding to the region with little change is extracted from the latest image, and the dynamic background is updated for that portion (step 1504). This is a partial update, and a part other than the object of the binary image in step 1502 is replaced with the latest image. The dynamic background is not updated for areas with large changes.
[0082]
According to the present embodiment described above, even if there are things that fluctuate such as waves and leaves on the screen, it is possible to detect and notify intruders without detecting these and reporting false alarms, Even if an intruder enters a stationary state for a while, it can continue to be tracked.
[0083]
In each embodiment described above, images are handled in units of frames, but the present invention is not limited to this. It is also possible to handle in other units.
[0084]
【The invention's effect】
According to the first aspect of the present invention, it is possible to accurately detect a monitoring target in a background having fluctuations in time such as waves and fluctuations of trees.
[0085]
Moreover, according to the 2nd aspect of this invention, the image which should be detected can be accurately extracted from the monitoring object.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an outline of a functional configuration of a monitoring apparatus according to the present invention.
FIG. 2 is an explanatory diagram showing an example of an offshore facility monitoring system using the monitoring device according to the present invention.
FIG. 3 is an explanatory diagram showing an example of a processed image of the monitoring apparatus according to the present invention.
FIG. 4 is a block diagram showing an example of a frame delay circuit of the monitoring apparatus according to the present invention.
FIG. 5 is a block diagram showing an example of a dynamic background update circuit of the monitoring apparatus according to the present invention.
FIG. 6 is an explanatory diagram showing an example of a processed image of a reference waveform observation window of the monitoring apparatus according to the present invention.
FIG. 7 is an explanatory diagram showing a current frame and a difference image of the monitoring apparatus according to the present invention.
FIG. 8 is an explanatory diagram showing an example of difference tracking of the monitoring device according to the present invention.
FIG. 9 is an explanatory diagram showing an image obtained by binarizing a current frame and a difference difference accumulation image of the monitoring device according to the present invention.
FIG. 10 is an explanatory diagram showing correspondence between an intruder, a difference image, and a template of the monitoring device according to the present invention.
FIG. 11 is a block diagram showing an example of a pattern update detection circuit of the monitoring apparatus according to the present invention.
FIG. 12 is an explanatory diagram for explaining the operation of the coincidence calculation circuit of the monitoring apparatus according to the present invention.
FIG. 13 is a block diagram illustrating an example of a hardware configuration of a monitoring device according to a fifth embodiment of the present invention.
FIG. 14 is a flowchart of the operation of the fifth embodiment of the monitoring apparatus according to the present invention.
FIG. 15 is a flowchart of dynamic background update processing of the monitoring apparatus according to the present invention.
[Explanation of symbols]
2000 ... TV camera, 2100 ... monitoring device, 2110 ... image input circuit, 2120 ... frame delay circuit, 2130 ... dynamic background update circuit, 2140 ... difference circuit, 2150 ... difference tracking circuit, 2160 ... intruder determination notification circuit, 2170 ... static background update circuit, 2180 ... difference accumulation circuit, 2190 ... pattern update detection circuit, 2200 ... display device.

Claims (10)

対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
最新に取り込まれた現フレームの画像とそれより前に取り込まれた前フレームの画像とを比較して両者の輝度値差が所定しきい値よりも小さい領域がある場合、前記記憶される第１の背景画像の当該領域を現フレームの対応する領域の輝度値に置き換えて前記第１の背景画像を更新する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記検出された画素集合が対象領域での検出対象であるかを判定して、判定結果を出力する手段と、を備え、
前記第１の背景画像を更新する手段は、フレーム内に観測窓を設定し、該フレーム内での現フレームと前フレームの輝度値差に応じて前記しきい値を変化させることを特徴とする監視装置。In a monitoring device that monitors a target area based on an image of the target area,
Means for capturing captured images in a time series in units of frames;
Means for storing a first background image that is generated and updated based on the captured image;
When the latest captured image of the current frame is compared with the image of the previous frame captured before that and there is a region where the difference in luminance value between them is smaller than a predetermined threshold, the first stored Updating the first background image by replacing the area of the background image with the luminance value of the corresponding area of the current frame;
Means for binarizing a luminance value difference between the first background image and the current frame image with a predetermined threshold value to detect a pixel set;
Means for determining whether the detected pixel set is a detection target in a target region, and outputting a determination result ;
Means for updating the first background image, sets the observation window in the frame, characterized in that changing the threshold value in accordance with the luminance value difference between the current and previous frames within the frame Monitoring device. 対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
最新に取り込まれた現フレームの画像とそれより前に取り込まれた前フレームの画像とを比較して両者の輝度値差が所定しきい値よりも小さい領域がある場合、前記記憶される第１の背景画像の当該領域を現フレームの対応する領域の輝度値に置き換えて前記第１の背景画像を更新する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記検出された画素集合が対象領域での検出対象であるかを判定して、判定結果を出力する手段と、
時系列の複数フレームの画像を加算して平均化して第２の背景画像を生成すると共に更新して記憶する手段と、
現フレームの画像と前記第２の背景画像との輝度値差を累積する手段と、を備え、
前記画素集合を検出する手段は、前記所定のしきい値を、前記輝度値差の累積の大きい領域では、他の領域より高く設定することを特徴とする監視装置。In a monitoring device that monitors a target area based on an image of the target area,
Means for capturing captured images in a time series in units of frames;
Means for storing a first background image that is generated and updated based on the captured image;
When the latest captured image of the current frame is compared with the image of the previous frame captured before that and there is a region where the difference in luminance value between them is smaller than a predetermined threshold, the first stored Updating the first background image by replacing the area of the background image with the luminance value of the corresponding area of the current frame;
Means for binarizing a luminance value difference between the first background image and the current frame image with a predetermined threshold value to detect a pixel set;
It means for the detected pixel set is determined whether a detection target in the target region, and outputs the determination result,
Means for adding and averaging images of a plurality of time-series frames to generate and update and store a second background image;
Means for accumulating a luminance value difference between an image of a current frame and the second background image;
The monitoring device characterized in that the means for detecting the pixel set sets the predetermined threshold value higher in the region where the accumulated luminance value difference is larger than in other regions . 請求項１または２のいずれか一項に記載の監視装置において、
複数のフレームにおいてそれぞれ検出された画素集合について、複数のフレーム間で同一の画素集合を対応付けて画素集合の追跡を行なう手段をさらに備え、
前記検出対象であるかを判定する手段は、追跡が行えた画素集合について、検出対象であると判定することを特徴とする監視装置。In the monitoring apparatus according to claim 1 or 2 ,
The pixel set detected in each of the plurality of frames further comprises means for tracking the pixel set by associating the same pixel set between the plurality of frames,
The monitoring apparatus according to claim 1, wherein the means for determining whether the pixel is a detection target determines that the pixel set that has been tracked is a detection target. 請求項３に記載の監視装置において、
前記画素集合の追跡を行う手段により追跡されている画素集合に対応する領域の輝度値パターンを、現フレームから切出して、パターンマッチング処理を行うためのテンプレートとして記憶する手段と、
前記画素集合の追跡を行う手段において追跡が行えなくなった場合に、現フレームの少なくとも一部の領域について、前記テンプレートとの一致度を調べる演算を順次行って、予め定めた値以上の一致度を有する輝度値パターンの有無を検出する手段とをさらに備え、
前記検出対象であるかを判定する手段は、予め定めた値以上の一致度を有する輝度値パターンが検出されたとき、当該輝度値パターンについて、検出対象であると判定することを特徴とする監視装置。The monitoring device according to claim 3 ,
Means for extracting a luminance value pattern of an area corresponding to the pixel set being tracked by the means for tracking the pixel set from a current frame and storing it as a template for performing pattern matching processing;
When the tracking of the pixel set cannot be performed, the calculation for checking the degree of coincidence with the template is sequentially performed for at least a part of the current frame to obtain a degree of coincidence equal to or higher than a predetermined value. Means for detecting the presence or absence of a luminance value pattern having,
The means for determining whether or not to be a detection target determines that the luminance value pattern is a detection target when a luminance value pattern having a matching degree equal to or higher than a predetermined value is detected. apparatus. 対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
最新に取り込まれた現フレームの画像とそれより前に取り込まれた前フレームの画像とを比較して両者の輝度値差が所定しきい値よりも小さい領域がある場合、前記記憶される第１の背景画像の当該領域を現フレームの対応する領域の輝度値に置き換えて前記第１の背景画像を更新する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記検出された画素集合が対象領域での検出対象であるかを判定して、判定結果を出力する手段と、
複数のフレームにおいてそれぞれ検出された画素集合について、複数のフレーム間で同一の画素集合を対応付けて画素集合の追跡を行なう手段と、
前記画素集合の追跡を行う手段により追跡されている画素集合に対応する領域の輝度値パターンを、現フレームから切出して、パターンマッチング処理を行うためのテンプレートとして記憶する手段と、
現フレームの少なくとも一部の領域について、前記テンプレートとの一致度を調べる演算を順次行って、予め定めた値以上の一致度を有する輝度値パターンの有無を検出する手段と、備え、
前記輝度値パターンの有無を検出する手段は、前記画素集合の追跡を行う手段において追跡が行えなくなった場合に、その検出を行い、
前記検出対象であるかを判定する手段は、追跡が行えた画素集合について、検出対象であると判定し、前記画素集合の追跡を行う手段において追跡が行えなくなった場合に、予め定めた値以上の一致度を有する輝度値パターンが検出されたとき、当該輝度値パターンについて、検出対象であると判定することを特徴とする監視装置。 In a monitoring device that monitors a target area based on an image of the target area,
Means for capturing captured images in time series in units of frames; means for storing a first background image generated and updated based on the captured images;
When the latest captured image of the current frame is compared with the image of the previous frame captured before that and there is a region where the difference in luminance value between them is smaller than a predetermined threshold, the first stored Updating the first background image by replacing the area of the background image with the luminance value of the corresponding area of the current frame;
Means for binarizing a luminance value difference between the first background image and the current frame image with a predetermined threshold value to detect a pixel set;
Means for determining whether the detected pixel set is a detection target in a target region, and outputting a determination result;
Means for tracking the pixel set by associating the same pixel set between the plurality of frames for each pixel set detected in the plurality of frames;
Means for extracting a luminance value pattern of an area corresponding to the pixel set being tracked by the means for tracking the pixel set from a current frame and storing it as a template for performing pattern matching processing;
Means for sequentially detecting the degree of coincidence with the template for at least a part of the current frame, and detecting the presence or absence of a luminance value pattern having a degree of coincidence equal to or higher than a predetermined value;
Means for detecting the presence or absence of the luminance value pattern, when it becomes impossible to perform tracking in the means for performing tracking of the pixel group, it has rows of the detection,
The means for determining whether the pixel is a detection target is determined to be a detection target for a pixel set that can be tracked, and when the tracking is not possible in the unit that tracks the pixel set, a predetermined value or more When a brightness value pattern having a degree of coincidence is detected, it is determined that the brightness value pattern is a detection target . 請求項５に記載の監視装置において、
前記第１の背景画像を更新する手段は、フレーム内に観測窓を設定し、該フレーム内での現フレームと前フレームの輝度値差に応じて前記しきい値を変化させることを特徴とする監視装置。The monitoring device according to claim 5 ,
The means for updating the first background image sets an observation window in a frame, and changes the threshold value in accordance with a luminance value difference between the current frame and the previous frame in the frame. Monitoring device. 請求項５および６のいずれか一項に記載の監視装置において、
時系列の複数フレームの画像を加算して平均化して第２の背景画像を生成すると共に更新して記憶する手段と、
現フレームの画像と前記第２の背景画像との輝度値差を累積する手段とをさらに備え、
前記画素集合を検出する手段は、前記所定のしきい値を、前記輝度値差の累積の大きい領域では、他の領域より高く設定することを特徴とする監視装置。The monitoring device according to any one of claims 5 and 6 ,
Means for adding and averaging images of a plurality of time-series frames to generate and update and store a second background image;
Means for accumulating a luminance value difference between an image of a current frame and the second background image;
The monitoring device characterized in that the means for detecting the pixel set sets the predetermined threshold value higher in the region where the accumulated luminance value difference is larger than in other regions. 対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記画素集合に対応する領域の輝度値パターンを、現フレームから切出して、一致度を調べる演算を行うためのテンプレートとして記憶する手段と、
現フレームの少なくとも一部の領域について、前記テンプレートとの一致度を調べる演算を順次行って、予め定めた値以上の一致度を有する輝度値パターンの有無を検出する手段と、
予め定めた値以上の一致度を有する輝度値パターンが検出されたとき、当該輝度値パターンについて、検出対象であると判定する手段と、
現フレームの画像と前記第２の背景画像との輝度値差を累積する手段と、を備え、
前記画素集合を検出する手段は、前記所定のしきい値を、前記輝度値差の累積の大きい領域では、他の領域より高く設定することを特徴とする監視装置。In a monitoring device that monitors a target area based on an image of the target area,
Means for capturing captured images in a time series in units of frames;
Means for storing a first background image that is generated and updated based on the captured image;
Means for binarizing a luminance value difference between the first background image and the current frame image with a predetermined threshold value to detect a pixel set;
Means for storing a luminance value pattern of a region corresponding to the pixel set as a template for performing an operation of cutting out a current frame and checking a matching degree;
Means for sequentially detecting the degree of coincidence with the template for at least a part of the current frame, and detecting the presence or absence of a luminance value pattern having a degree of coincidence equal to or greater than a predetermined value;
Means for determining that the luminance value pattern is a detection target when a luminance value pattern having a degree of coincidence equal to or greater than a predetermined value is detected ;
Means for accumulating a luminance value difference between an image of a current frame and the second background image;
The monitoring device characterized in that the means for detecting the pixel set sets the predetermined threshold value higher in the region where the accumulated luminance value difference is larger than in other regions . 対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記画素集合に対応する領域の輝度値パターンを、現フレームから切出して、一致度を調べる演算を行うためのテンプレートとして記憶する手段と、
現フレームの少なくとも一部の領域について、前記テンプレートとの一致度を調べる演算を順次行って、予め定めた値以上の一致度を有する輝度値パターンの有無を検出する手段と、
予め定めた値以上の一致度を有する輝度値パターンが検出されたとき、当該輝度値パターンについて、検出対象であると判定する手段と、
時系列の複数フレームの画像を加算して平均化して第２の背景画像を生成すると共に更新して記憶する手段と、を備え、
前記輝度値パターンの有無を検出する手段は、検出した輝度値パターンの領域における前記第２の背景画像の輝度値パターンと前記テンプレートとの一致度を演算し、
前記検出対象であると判定する手段は、前記テンプレートと前記現フレーム画像の輝度値パターンとの一致度が所定の値より高く、かつ、前記テンプレートと前記第２の背景画像の輝度値パターンとの一致度が所定の値より低い場合、当該現フレームの輝度値パターンが検出対象であると判定することを特徴とする監視装置。 In a monitoring device that monitors a target area based on an image of the target area,
Means for capturing captured images in a time series in units of frames;
Means for storing a first background image that is generated and updated based on the captured image;
Means for binarizing a luminance value difference between the first background image and the current frame image with a predetermined threshold value to detect a pixel set;
Means for storing a luminance value pattern of a region corresponding to the pixel set as a template for performing an operation of cutting out a current frame and checking a matching degree;
Means for sequentially detecting the degree of coincidence with the template for at least a part of the current frame, and detecting presence / absence of a luminance value pattern having a degree of coincidence equal to or higher than a predetermined value;
Means for determining that the luminance value pattern is a detection target when a luminance value pattern having a degree of coincidence equal to or greater than a predetermined value is detected;
And means for storing Update to generate a second background image and the image addition to the averaging of a plurality of frames of the time series,
The means for detecting the presence or absence of the luminance value pattern calculates a degree of coincidence between the luminance value pattern of the second background image and the template in the detected luminance value pattern region,
The means for determining that the object is a detection target has a matching degree between the template and the luminance value pattern of the current frame image higher than a predetermined value, and the template and the luminance value pattern of the second background image A monitoring apparatus, wherein when the degree of coincidence is lower than a predetermined value, the luminance value pattern of the current frame is determined to be a detection target. 請求項９に記載の監視装置において、
現フレームの画像と前記第２の背景画像との輝度値差を累積する手段をさらに備え、
前記画素集合を検出する手段は、前記所定のしきい値を、前記輝度値差の累積の大きい領域では、他の領域より高く設定することを特徴とする監視装置。The monitoring device according to claim 9 , wherein
Means for accumulating a luminance value difference between an image of a current frame and the second background image;
The monitoring device characterized in that the means for detecting the pixel set sets the predetermined threshold value higher in the region where the accumulated luminance value difference is larger than in other regions.

Images