JP4117073B2 - 監視装置 - Google Patents
監視装置 Download PDFInfo
- Publication number
- JP4117073B2 JP4117073B2 JP32822698A JP32822698A JP4117073B2 JP 4117073 B2 JP4117073 B2 JP 4117073B2 JP 32822698 A JP32822698 A JP 32822698A JP 32822698 A JP32822698 A JP 32822698A JP 4117073 B2 JP4117073 B2 JP 4117073B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance value
- current frame
- pixel set
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動きのある背景中において監視対象物を検出して監視する技術に係り、特に、洋上、木立の中など、監視対象以外についても動きのある画像から、特定の監視対象物を検出して監視する技術に関する。
【０００２】
【従来の技術】
カメラ等を用いて対象を撮影し、撮影した画像を用いて、監視対象物を監視することが一般に行なわれている。この場合、監視を行うためには、撮影された画像から対象物の画像を検出し、その変化を抽出することが必要である。
【０００３】
この種の監視装置として、例えば、背景と現フレームの差分を二値化して侵入物を検出する技術がある（特開平７−１２９７７９号公報）。また、背景と現フレームの差分の移動速度を検証して侵入物を検出する技術がある（特開平５−２８４５０１号公報）。
【０００４】
この他に、フレームをあらかじめ幾つかの領域に分割してそれぞれの領域に応じた処理する技術がある（特開平１０−１３６３４１号公報）。
【０００５】
【発明が解決しようとする課題】
しかし、例えば、特開平７−１２９７７９号公報に開示される技術では、これを桟橋などの洋上施設の監視に用いると、固定背景画像と現フレームの波の揺らぎが差分となって誤検知してしまう。すなわち、固定背景による背景差分では、波等の実際の背景における揺らぎを誤検知することが多いという問題がある。また、検出すべき侵入物が背景の波の揺らぎと同様の様々な速度の成分を持つ場合、特開平５−２８４５０１号公報に開示される技術で、差分の移動速度を求めても、侵入物と波とを区別することは困難となる。
【０００６】
本発明の目的は、波や木々の揺らぎのように、時間的に揺らぎを持つ背景において、監視対象を、精度よく検出することができる監視装置を提供することにある。
【０００７】
また、本発明の他の目的は、監視対象から、検出すべき画像を精度よく抽出することができる監視装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の第１の目的を達成するための第１の態様として、
対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
最新に取り込まれた現フレームの画像とそれより前に取り込まれた前フレームの画像とを比較して両者の輝度値差が所定しきい値よりも小さい領域がある場合、前記記憶される第１の背景画像の当該領域を現フレームの対応する領域の輝度値に置き換えて前記第１の背景画像を更新する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記検出された画素集合が対象領域での検出対象であるかを判定して、判定結果を出力する手段とを備えること
を特徴とする監視装置が提供される。
【０００９】
また、本発明の第２の目的を達成するための第２の態様として、
対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記画素集合に対応する領域の輝度値パターンを、現フレームから切出して、一致度を調べる演算を行うためのテンプレートとして記憶する手段と、
現フレームの少なくとも一部の領域について、前記テンプレートとの一致度を調べる演算を順次行って、予め定めた値以上の一致度を有する輝度値パターンの有無を検出する手段と、
予め定めた値以上の一致度を有する輝度値パターンが検出されたとき、当該輝度値パターンについて、検出対象であると判定する手段とを備えること
を特徴とする監視装置が提供される。
【００１０】
【発明の実施の形態】
本発明の実施の形態について図面を参照して説明する。以下では、洋上施設について監視する場合を例として説明するが、本発明はこれに限られない。
【００１１】
図２は本発明の監視装置を用いた洋上施設監視システムの一例である。この例では、洋上１０に、施設２６が設けられ、施設２６と岸壁２５とが連絡橋２７により連結されている。本発明の監視装置は、ＴＶカメラ２０００と、監視装置２１００と、表示装置２２００と、報知装置２３００と、操作装置２４００とを備えている。監視装置２１００は、例えば、後述するハードウエア論理回路等により構成される。もちろん、コンピュータを用いてソフトウエアにより対応する機能を実現することにより構成することもできる。ＴＶカメラ２０００は、岸壁２５に設置されて、洋上施設２６を監視している。なお、ＴＶカメラ２０００は、連絡路２７や洋上施設２６上に設置されていてもよい。
【００１２】
ＴＶカメラ２０００により撮影された画像は、表示装置２２００の表示画面２２１０において、例えば、図３に示すように表示される。すなわち、洋上に洋上施設３０と船舶３１とがあり、洋上施設３０上には侵入物３２が存在する。本発明の監視装置は、常に揺らいでいる波３４を無視して、侵入物３２や、時には船舶３１を検出するものである。なお、表示画面２２１０内に表示されている枠は、揺らぎ観測窓３３である。この観測窓３３は、画面２２１０の洋上に設置されることにより、波の揺らぎを観測して検出パラメータの自動調整を行う処理に用いられる。これについては後記する。
【００１３】
本発明では、監視対象を撮像した画像をフレーム単位で時系列に取込み、最新のフレームである現フレームの画像と第１の背景画像（動的背景）の輝度値差をもとに侵入物候補を、例えば、画素集合として検出する。前記検出された画素集合が対象領域での検出対象であるかを判定して、判定結果を出力する。
【００１４】
第１の背景画像は、最新に取り込まれた現フレームの画像とそれより前に取り込まれた前フレームの画像とを比較して両者の輝度値差が所定しきい値よりも小さい領域がある場合、記憶される第１の背景画像の当該領域を現フレームの対応する領域の輝度値に置き換えることで更新される。これにより、動的背景は、現フレームの監視対象の背景において生ずる揺らぎ、例えば、波の揺らぎを反映するほど迅速に更新される。更新に係るパラメータは、監視対象の画像中の揺らぎを生ずる領域、例えば、洋上を示す画像領域に、観測窓を設定して、この窓において観測される揺らぎの程度を表わす値に対応して定められる。具体的には、それによって、しきい値を定めて、最適化することができる。これにより、侵入物の大きさや動きが波の変化の大きさよりも大きい場合は、背景差分で検出されることになる。
【００１５】
次に、侵入候補をフレーム毎に追跡する。追跡は、複数のフレームにおいてそれぞれ検出された画素集合について、複数のフレーム間で同一の画素集合を対応付けることによって行う。侵入物候補は、所定時間追跡されると侵入物と判定される。
【００１６】
一方、検出された侵入物を含む画像をテンプレートとして登録しておく。前記動的背景は迅速に更新するので、動きの少ない侵入物は速やかに前記動的背景に取り込まれ、現フレームとの差分が出なくなることがある。この場合は、既に登録してあるテンプレートで現フレームにパターンマッチング処理することで差分のでない画像を検出することができる。また、追跡を再開できる。
【００１７】
さらに、背景中にある固定的な物体の画像、例えば、洋上の施設自体を含む画像をテンプレートとして登録してしまうと、洋上施設自体を侵入物として検出してしまう。これを防ぐために前記侵入者のテンプレートで検出された場所と同じ位置における第２の背景画像（静的背景）をテンプレートとして一致度を計算する。この時、前記静的背景テンプレートとの一致度が低ければ、侵入物が存在して洋上施設の一部を隠していると見做せる。洋上施設は固定的なものであるから前記静的背景は洋上施設そのものの画像である。
【００１８】
この他に、現フレームと静的背景の輝度値差を累積して、恒常的に変動の激しい部分とそうでない部分を判定して、それに応じて、侵入物候補の検出を行うためのしきい値を変えることができる。
【００１９】
以下、これらを実現するための各種実施の形態について、図面を参照して説明する。
【００２０】
本発明の第１の実施の形態の構成の概要について、図１を参照して説明する。本発明の監視装置は、ＴＶカメラ２０００の画像をアナログ−デジタル変換して現フレームとして取り込む手段として機能する画像入力回路２１１０と、前フレームなど過去の数フレームを時系列的に記憶する手段として機能するフレーム遅延回路２１２０と、時系列の数フレームを用いて第１の背景画像（以下、動的背景という。動的背景については後述する。）を作成更新する手段および動的は畏敬を記憶するとして機能する動的背景更新回路２１３０と、現フレームと前記動的背景の輝度値の差分を二値化して画素集合を侵入物候補として検出する、画素集合検出手段として機能する差分回路２１４０と、前記侵入物候補をフレーム間に亘って対応付け位置を追跡する、画素集合追跡手段として機能する差分追跡回路２１５０と、所定時間以上追跡できたことを条件に前記侵入物候補を侵入物と判定して報知する手段として機能する侵入物判定報知回路２１６０とを有する。
【００２１】
なお、静的背景更新回路２１７０、差分蓄積回路２１８０およびパターン更新回路２１９０は、本実施の形態では使用しないので、後述する他の実施の形態に関する説明において述べる。したがって、本実施の形態では、これらは省略してもよい。
【００２２】
まず、フレーム遅延回路２１２０の構成と動作を説明する。図４はフレーム遅延回路２１２０の構成の一例を示す図である。フレーム遅延回路２１２０は、画像入力回路２１１０のフレームを書き込み、読み出し可能なフレームメモリ群２１２１と、書き込むべきフレームメモリを選択する書込カウンタ２１２２と、フレームメモリ群２１２１から読み出すべきフレームメモリを選択する読出カウンタ２１２３とを有する。
【００２３】
フレームメモリ群２１２１は、フレームメモリ２１２１ａ〜２１２１ｉを有する。各フレームメモリ２１２１ａ〜２１２１ｉは並列に接続され、入力側が画像入力回路２１１０に、出力側が動的背景更新回路２１３０（図１参照）に接続される。書込カウンタ２１２２は、フレームメモリ群２１２１のフレームメモリ２１２１ａ〜２１２１ｉの個数分計数して、再び初期値に戻るという循環的カウンタである。画像入力回路２１１０のフレームをフレームメモリ群２１２１に書き込むたびにカウントする。このためフレームメモリ群２１２１にはエンドレスでフレームメモリ数分の時系列フレームが保持される。読出カウンタ２１２３も循環的カウンタで、フレームメモリ群２１２１のフレームメモリ数通りの数を示せる。初期値は、書込カウンタ２１２２に等しい値で、読み出し時に１減ずると前フレームが読み出せ、さらに、１減ずると前々フレームが読み出せる。フレームメモリ群２１２１のフレームメモリ数は必要に応じて増減して構成できる。
【００２４】
次に、動的背景の概念とこれを実現するための動的背景更新回路２１３０の構成とについて説明する。図５は動的背景更新回路２１３０の一実施例を示す図である。動的背景更新回路２１３０は、現フレームと前フレームあるいは数フレーム前のフレームとの輝度値差を計算する差分回路２１３１と、前記輝度値差をあるしきい値で二値化する二値化回路２１３２と、前記輝度値差の小さい領域を現フレームで置き換える背景合成回路２１３３と背景保持メモリ２１３４と、二値化しきい値調整回路２１３５とを有する。
【００２５】
動的背景は、背景保持メモリ２１３４に保持される。初期値として、最初は現フレームが保持される。そして、次の撮像サイクルから、差分回路２１３１で、現フレームと前フレームあるいは更に前のフレームとの輝度値差を求める。この輝度値差について、二値化回路２１３２で、あるしきい値により二値化する。二値化することで、監視画面がフレーム間で差の大きかった領域と大きくなかった領域とに二分されることになる。この二分結果を背景合成回路２１３３で用いる。すなわち、フレーム間の差の大きい領域は現在の背景を維持し、フレーム間の差の大きくなかった領域は現フレームに更新する。こうして合成した動的背景は、背景保持メモリ２１３４に保持される。そして、二値化回路２１３２のあるしきい値は、しきい値調整回路２１３５で自動調整される。
【００２６】
ここで、しきい値調整回路２１３５の動作について説明する。図６(a)は、観測窓３３の現フレームの波の画像である。図６(b)は、前フレームの波の画像である。図６(c)は、差分を二値化したものである。図６(c)の白い部分が差の大きな場所である。この白い部分の面積が所定の範囲に収まるように、二値化しきい値を自動調整し、二値化回路２１３２のしきい値として用いる。二値化しきい値の自動調整に際し、しきい値調整回路２１３５は、例えば、次のように行うことができる。白画素数を計数し、その計数値が予め定めた範囲内に収まるかを判定する。そして、上限オーバー、下限オーバー等の場合、それぞれ、しきい値を上げて、または、下げて、再び、白画素数の計数、計数値の判定等を行う。このようにして、最終的に、白画素の計数値が所定範囲内となったとき、その時のしきい値を二値化回路２１３２のしきい値とする。
【００２７】
以上説明した動作によって作成更新される動的背景は、波の変動を反映する。しかし、波よりも大きな輝度値の変化については、反映しないものとなる。
【００２８】
次に、差分回路２１４０の動作を説明する。差分回路２１４０は、現フレームと動的背景更新回路２１３０の輝度値の差分を求め、それを二値化するものである。図７(a)は現フレームの画像である。図７(b)は差分回路２１４０の出力の二値画像である。動的背景は先に説明したように波の揺らぎは現フレームとほぼ同じなので差はあまり出ないが、動きのある侵入物や航行中の船舶は差が現れる。差分回路２１４０は、差分を求める他、差分出力に含まれる二値画像について、ある程度の大きさを有する同一輝度値の画素分布（画素集合）を抽出して侵入物候補とし、その侵入物候補についての外接矩形の座標と中心座標を求め、次段の差分追跡回路２１５０に出力する。
【００２９】
ここで、画素集合についての外接矩形と中心座標の算出は、例えば、次のように行うことができる。まず、白い画素の縮小処理を行う。これにより、図７(b)において点在するような小さな面積の白画素の集合を消す。次に、縮小した白画素を元の大きさとなるように拡大処理する。この時、一旦、消えた白画素は拡大されないので、ある程度の面積を有する画素集合のみが残ることとなる。すなわち、所定の大きさの白がその固まりが抽出されることとなる。次に、抽出された白画素の集合について、x、y両軸方向での最小値と最大値を求め、それらを含む外接矩形を設定する処理を行う。ついで、当該外接矩形の中心を求める。
【００３０】
次に、差分追跡回路２１５０の動作を説明する。差分追跡回路２１５０は、差分回路２１４０で検出された侵入物候補について、それぞれの中心座標を記憶すると共に、フレーム間での侵入物候補の移動を対応付けてその移動軌跡を求める演算と、求められた移動軌跡を記憶する。
【００３１】
図８(a)は前々フレームと前フレームの侵入物候補の対応付けを示す図である。物体８１と物体８２とは前々フレームで検出された侵入物候補であり、物体８３と物体８４は前フレームで検出された侵入物候補である。差分追跡回路２１５０は、物体８１の中心座標と物体８３乃至物体８４の中心座標との距離を求め、最近傍の物体、すなわち、物体８３を物体８１と対応付ける。同様に、物体８２の中心座標と物体８３乃至物体８４の中心座標との距離を求め、最近傍の物体、すなわち、物体８４を物体８２と対応付ける。
【００３２】
図８(b)は前フレームと現フレームの侵入物候補の対応付けを示す図である。物体８３と物体８４とは前フレームで検出された侵入物候補であり、物体８５と物体８６とは現フレームで検出された侵入物候補である。差分追跡回路２１５０は、図８(a)で説明したのと同様な手順で、物体８３と物体８５とを、および、物体８４と物体８６とをそれぞれ対応付ける。
【００３３】
結局、図８(c)に示すように、物体８１と物体８２とは、それぞれ軌跡８７と軌跡８８とを描いて追跡される。この追跡結果は、侵入物判定報知回路２１６０に送られる。
【００３４】
侵入物判定報知回路２１６０は、このようにして、侵入物候補が所定フレーム数あるいは所定時間以上に追跡された場合には、侵入物が存在すると判定して、その旨を報知する信号を出力する。報知後も、該侵入物に対応付けられる物体は、侵入物として、追跡され続ける。なお、侵入物が存在する旨を報知する信号は、報知装置２３００に送られ、例えば、メッセージ、ブザー等の音響、光の点滅等を発生させる。これにより、オペレータ等に、侵入物の存在を報せる。この時、表示装置２２０においても、同様の事態を報知する表示を行うようにすることができる。
【００３５】
以上説明したように、本発明の第１の実施の形態に係る監視装置は、画面の中に波や木の葉などの揺らぐものがあっても、これらを検出して誤報を出すことなく、侵入物を検出して報知することができる。
【００３６】
次に、本発明の監視装置の第２の実施の形態について、図１を参照して説明する。本実施の形態に係る監視装置は、画像入力回路２１１０と、フレーム遅延回路２１２０と、動的背景更新回路２１３０と、過去から現フレームまでの数枚の時系列フレームを加算平均化して第１の背景画像（以下、静的背景という）を作成更新する手段、および、第１の背景画像を記憶する手段として機能する静的背景更新回路２１７０と、現フレームと前記静的背景の輝度値差分を蓄積して波など常に揺らいでいる領域と施設など揺らぎの無い領域を識別するための手段として機能する差分蓄積回路２１８０と、揺らぎのある領域か否かで差分パラメータを変える差分回路２１４０と、差分追跡回路２１５０と、侵入物判定報知回路２１６０とを有する。
【００３７】
まず、静的背景の概要と静的背景更新回路２１７０の動作とを説明する。静的背景更新回路２１７０の動作初期の静的背景は、現フレームそのものである。次サイクルで画像入力回路２１１０が現フレームを出力すると、静的背景更新回路２１７０は、前記静的背景と前記現フレームとを所定の割合で重み付き平均値を計算し、これを新たに更新された静的背景とする。例えば、現フレームと静的背景を１対３１の割合で平均化するときは、現フレームに静的背景の輝度値を３１倍にしたものを加え、輝度値の平均を処理前後で合わせるために、前記現フレームと前記３１倍の静的背景の和を３２で除したものを新たな静的背景とする。上記の処理を繰り返すことで、静的背景は、波など揺らぎのある領域は平滑化されて、時間的にも空間的にも輝度値変化のない領域となる。一方、静止した洋上施設は、コントラストの良いくっきりとした領域となる。
【００３８】
次に、差分蓄積回路２１８０の動作について説明する。差分蓄積回路２１８０の差分蓄積画像の初期値は、全画素０あるいは２５５の画像である。画像入力サイクル毎に現フレームと静的背景の輝度値差分を前記差分蓄積画像と所定の割合で加算平均し、新たな差分蓄積画像とする。こうして得られる差分蓄積画像を所定のしきい値で二値化すると、現フレームにおいて揺らぎのある領域と揺らぎの無い領域とに分離できる。
【００３９】
図９(a)は現フレームである。差分蓄積画像を二値化したものが図９(b)である。ここでは、白領域が揺らぎのある領域で、黒領域が揺らぎの無い領域である。差分回路２１４０で差分画像を二値化する際に、前記揺らぎの無い領域はしきい値を低くして、侵入物候補の検出感度を高く維持しつつ、前記揺らぎのある領域はしきい値を幾分高くして、波による誤報を少なくできる。
【００４０】
、差分蓄積回路２１８０の出力で、該当位置が揺らぎのある箇所であると判定したときは、差分回路２１４０における二値化しきい値を上げることで差分を検出しにくくして、波による誤報を抑制する。一方、差分蓄積回路２１８０の出力で、該当位置が揺らぎのない箇所であると判定したときは、差分回路２１４０における二値化しきい値を下げて差分を検出しやすくして、侵入物の検出取りこぼしを減らす。
【００４１】
次に、本発明の監視装置の第３の実施の形態について図１を参照して説明する。本実施の形態に係る監視装置は、画像入力回路２１１０と、フレーム遅延回路２１２０と、動的背景更新回路２１３０と、侵入物体のモデル輝度値パターン（以後テンプレートと表記する）を更新するとともに、更新したモデルパターンを保持し、差分回路２１４０が該侵入物を見失ったときに、輝度値パターンマッチング処理で該侵入物を検出する、輝度値パターン有無検出手段として機能するパターン更新検出回路２１９０と、差分回路２１４０と、差分追跡回路２１５０と、侵入物判定報知回路２１６０とを有する。
【００４２】
図１０は移動と静止を繰り返す侵入物と差分画像とテンプレートとの対応を示す図である。図１０(b-1)は移動中の侵入物の画像の一例を示す。図１０(b-2)は静止した直後の侵入物、図１０(b-3)はしばらく静止している侵入物、図１０(b-4)は再び動きだした侵入物、図１０(b-5)は移動中の侵入物である。図１０(a-1)乃至図１０(a-5)は、それぞれ図１０(b-1)乃至図１０(b-5)の侵入物に対応して、差分回路２１４０による差分画像である。図１０(a-1)、同(a-2)、同(a-4)および同(a-5)のように、侵入物は、それが移動中あるいは静止直後の場合には、差分が現れ、差分追跡回路２１５０による追跡が可能である。しかし、侵入物が静止状態を続けると、動的背景に侵入物が取込まれ、図１０(a-3)のように差分が消滅する。すなわち、侵入物を見失うこととなる。そこで、この消滅期間中においても侵入物を検出し続けるために、パターン更新検出回路２１９０が設けられる。
【００４３】
ここで、パターン更新検出回路２１９０の機能について説明する。図１１は更新検出回路２１９０の構成を示す図である。更新検出回路２１９０は、差分回路２１４０から出力される差分と、差分追跡回路２１５０から出力される追跡情報を基に、現フレームから侵入物の領域を切り出す領域切出し回路２１９１と、侵入物領域の輝度値パターンをテンプレートとして登録するテンプレート更新回路２１９２と、差分追跡不可能なときは前サイクルまでに登録していたテンプレートでパターンマッチング処理して現フレーム内から差分消滅で見失った侵入物を検出する一致度計算回路２１９３とを有する。
【００４４】
領域切出し回路２１９１は、侵入物として検出された画素集合について、外接矩形を求め、その外接矩形内の輝度値パターンを現フレームから切り出す。テンプレート更新回路２１９２は、前記差分追跡回路２１５０により差分追跡可能な時は、現フレームの切出された輝度値パターンを、追跡されている侵入物のテンプレートとして更新登録する。
【００４５】
図１０を参照して、パターン更新検出回路２１９０の動作について説明する。図１０(c-1)乃至図１０(c-5)は、それぞれ図１０(b-1)乃至図１０(b-5)の侵入物に対応するテンプレートである。図１０(c-1)と図１０(c-2)と図１０(c-4)と図１０(c-5)は、それぞれ差分を表わす、図１０(a-1)と図１０(a-2)と図１０(a-4)と図１０(a-5)の領域で現フレームから切り出したテンプレートである。図１０(c-3)は、差分が消滅する以前のフレームのテンプレート図１０(c-2)をそのまま保持している。
【００４６】
以上の動作をまとめると、図１０において、侵入物(b-1)と(b-2)は、差分回路２１４０において、それぞれ差分(a-1)と(a-2)によって検出される。また、領域切り出し回路２１９１によって侵入物(b-1)と(b-2)の領域が切り出され、テンプレート更新回路２１９２により、侵入物(b-1)と(b-2)をテンプレート(c-1)と(c-2)として登録される。一方、侵入物(b-3)は、一致度計算回路２１９３により、テンプレート(c-3)とのパターンマッチングによって検出される。そして、侵入物(b-4)と(b-5)は、それぞれ差分(a-4)と(a-5)によって検出されると共に、侵入物(b-4)と(b-5)とを切出してテンプレート(c-4)と(c-5)として登録される。
【００４７】
次に、一致度計算回路２１９３によるパターンマッチング処理を説明する。図１２はパターンマッチング処理を説明する図である。現フレーム１２０１内に探査枠１２０２を設け、探査枠１２０２の原点すなわち左上角をPとする。探査枠１２０２内からテンプレート１２０３に類似の物体１２０４を検出することが目的である。探査枠１２０２は、フレーム全体に設定することもできるが、侵入物がそれほど移動していないので、最も最近検知された位置を中心とする一定の範囲の広さに設定する。この広さを絞ることで、無駄な探査を省いて、能率良く探査を行なうことが可能となる。この時、現フレームは、図１１における領域切出し回路２１９１を介して入力される。もちろん、現フレームの画像を一致度計算回路２１９３に直接入力させるようにしてもよい。なお、探査を領域切出し回路２１９１において、比較すべき画像の走査および切出しを行い、一致度の計算を一致度計算回路２１９３において行うようにしてもよい。
【００４８】
一致度計算回路２１９３は、テンプレート１２０３と等しい大きさの走査枠１２０５（原点O）を探査枠１２０２内で走査して、現フレームで走査枠１２０５の囲む部分とテンプレート１２０３の輝度値パターンの一致度あるいは不一致度を計算する。このような計算によってテンプレート１２０３に類似の物体を検出する処理をパターンマッチング処理という。一致度の計算法としては、正規化相関演算があり、相関値をR(j,i)とすると、（１）式、（２）式、（３）式および（４）式で表現される。
【００４９】
【数１】
【００５０】
【数２】
【００５１】
【数３】
【００５２】
【数４】
【００５３】
ここで、探査枠１２０２の輝度値パターンをf(J,I)、テンプレート１２０３の輝度値パターンをg(X,Y)とし、PからOへの移動量を(j,i)で表している。Nはテンプレート１２０３内の画素数である。R(j,i)は相関係数と等しく、テンプレート１２０３の輝度値パターンと走査枠１２０５内の輝度値パターンが完全に一致したときは最大値１．０をとる。通常は、０．７以上の値で類似物体が検出されたと判断できる。不一致度の計算としては、fとgの輝度値差の絶対値を走査枠１２０５内で累積したときに値が所定の値よりも小さければ、類似物体が検出されたと判断する。
【００５４】
以上説明したように、本実施の形態に係る監視装置は、画面の中に波や木の葉などの揺らぐものがあっても、これらを検出して誤報を出すことなく、侵入物を検出して報知することができると共に、侵入物がしばらく静止状態に入っても追跡し続けることができる。
【００５５】
次に、本発明の監視装置の第４の実施の形態について図１を参照して説明する。本実施の形態の監視装置は、画像入力回路２１１０と、フレーム遅延回路２１２０と、動的背景更新回路２１３０と、静的背景更新回路２１７０と、パターン更新検出回路２１９０と、差分回路２１４０と、差分追跡回路２１５０と、侵入物判定報知回路２１６０とを有する。静的背景更新回路２１７０とパターン更新検出回路２１９０以外の回路の動作は、第３の実施の形態と同様であり、静的背景更新回路２１７０の動作は第２の実施の形態と同様である。
【００５６】
ここで、第４の実施の形態に係る監視装置の動作を特徴付けるパターン更新検出回路２１９０の構成と動作について説明する。図１１は更新検出回路２１９０の構成を示す図である。差分回路２１４０の差分と差分追跡回路２１５０の追跡情報とを基に、侵入物の領域の輝度値パターンを切り出す領域切出し回路２１９１と、差分追跡可能な時は現フレームの侵入物領域の輝度値パターンをテンプレートとして登録するテンプレート更新回路２１９２と、差分追跡不可能なときは前サイクルまでに登録していたテンプレートでパターンマッチング処理して現フレーム内から差分消滅で見失った侵入物を検出すると共に、該テンプレートと該侵入物の検出位置で、静的背景更新回路１７による静的背景画像との不一致度を計算する一致度計算回路２１９３とを有する。
【００５７】
第４の実施の形態では、第３の実施の形態と同様にパターンマッチング処理で侵入物を検出した後に、同じテンプレートで該静的背景上の同一領域で一致度を計算する。先に説明したように、前記静的背景は監視すべき設備そのものの画像と考えられるから、侵入物が存在する領域では該テンプレートに対して一致度が低くなる。このチェックを入れることで、設備の一部を侵入者として登録して侵入者を誤検知することを防げる。
【００５８】
すなわち、パターン更新検出回路２１９０は、侵入物が検出された領域について、テンプレートと静的背景の輝度値パターンとをパターンマッチング処理で一致度を計算し、前記テンプレートと追跡中物体の輝度値パターンの一致度が所定の値より高くかつ、前記テンプレートと前記静的背景の輝度値パターンの一致度が所定の値より低い場合は、前記パターンマッチング処理によって前記侵入物体が検出できたとして物体追跡を継続する。ここで、二つの一致度の差が所定の値よりも大きい場合は、パターンマッチング処理によって前記侵入物体が検出できたとして物体追跡を続行し、二つの一致度の差が所定の値よりも小さい場合は、侵入物体を見失ったとして追跡を中止することもできる。
【００５９】
パターンマッチングで物体が検出された場合、差分回路２１４０にて差分で検出された物体と同様に、中心座標を求め、差分追跡回路２１５０に記憶し、前後のフレームで検出された物体との距離計算を行い、距離の最小の物からフレーム間の対応付けを行う。この動作の結果、差分あるいはパターンマッチングで物体が検出され、差分追跡回路２１５０で物体追跡されることになる。
【００６０】
次に、コンピュータとビデオキャプチャボードを使った、本発明の第５の実施の形態に係る監視装置について説明する。本実施の形態は、基本的には、ソフトウエアの如何により、上述した第１の実施の形態〜第４の実施の形態のすべての機能について実現することが可能である。すなわち、ソフトウエアによる手順の実行により、第１の実施の形態〜第４の実施の形態の各種機能を実現する手段が実現される。もちろん、第１の実施の形態〜第４の実施の形態に対応するように機能させることもできる。また、第１の実施の形態〜第４の実施の形態において用いられる各種回路と、第５の実施の形態で用いられるコンピュータとを混在させ、機能を分担するように構成してもよい。
【００６１】
図１３は第５の実施の形態のハードウェア構成を示す図である。第５の実施の形態に係る監視装置は、中央演算装置（ＣＰＵ）２１０１とメモリ２１０２とユーザインタフェース２１０３とを有するコンピュータと、画像メモリ２１０４と、ビデオキャプチャボード２１０５と、TVカメラ２０００と、通信ボード２１０７とで構成される。なお、中央演算装置２１０１が実行するプログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体によって提供される。
【００６２】
中央演算装置２１０１は、メモリ２１０２のプログラムを実行し、演算に必要な記憶部はメモリ２１０２に確保するものとする。ユーザインタフェース２１０３は、モニター等の出力装置と、キーボード等の入力装置から成る。ビデオキャプチャボード２１０５は、TVカメラ２０００のアナログ画像信号をデジタルデータに変換して画像メモリ２１０４に格納する。中央演算装置２１０１は、画像メモリ２１０４をアクセスして所定の画像を処理し、結果を画像メモリ２１０４に格納する。通信ボード２１０７は、シリアルポートあるいはパラレルポートを備え、外部機器とデータのやり取りをする。侵入者の有無等の検出結果は通信ボード２１０７を介して外部機器に伝送する。また、外部機器から通信ボード２１０７を介して中央演算装置２１０１を制御できる。
【００６３】
次に、図１４のフローチャートによって第５の実施の形態の監視装置の動作について説明する。
【００６４】
まず、監視装置の電源投入あるいは割り込み指令によって（Ｓ）よりスタートする。また、画角に応じたパラメータ設定と、メモリ配列やポインタなどの変数を初期化する（ステップ１４０１）。
【００６５】
次に、中央演算装置２１０１は、画像を取り込んで、画像メモリ２１０４に格納する（ステップ１４０２）。ここで、画像メモリ２１０４には、時系列のフレームを複数枚格納する（ステップ１４０３）。ただし、最初は、ステップ１４０２で得た画像をコピーして初期化する。動的背景と静的背景も画像メモリ２１０４に保持するが、最初はステップ１４０２で得た画像をコピーして初期化する。
【００６６】
ステップ１４０４以降が監視サイクルで、ステップ１４１６を経て再びステップ１４０４に戻る。
【００６７】
監視サイクルにおいて、中央演算装置２１０１は、TVカメラ２０００からの最新画像を画像メモリ２１０４に格納する（ステップ１４０４）。画像メモリ２１０４には、ストック画像として数フレーム分の画像保持領域が確保してあり、その一箇所に最新画像を格納する。ストック画像は、ストック画像保持領域ポインタで管理し、最新画像を更新するたびに、該画像保持領域ポインタを更新する。画像保持領域ポインタは、ストック数分のサイクルカウンタで、常に最新の画像の格納領域を示している。 TVカメラ２０００からの最新画像を得るたびに最古の画像保持領域に上書きする。
【００６８】
中央演算装置２１０１は、画像メモリ２１０４に記憶されている最新画像と動的背景画像の差分を画素毎にとり、所定のしきい値で二値化し、二値物体を検出する（ステップ１４０５）。また、ステップ１４０５の該二値物体の大きさをチェックして、侵入者として判定しうる大きさの場合はステップ１４０７に進み、該二値物体が大きすぎる場合はステップ１４０２にて再び画像入力して背景などを初期化する（ステップ１４０６）。
【００６９】
（ステップ１４０７）前フレームで検出した二値物体と現フレームで検出した二値物体を距離計算で照合する。照合については、既に図８を参照して説明したものと同じアルゴリズムによって行なう。ここで、フレーム間で照合可能な物体は（１）を経てステップ１４０９に進み、照合できない物体は（２）を経てステップ１４１２に進む（ステップ１４０８）。
【００７０】
次に、二値物体のフレーム間の対応付けを基に物体の移動を追跡する（ステップ１４０９）。追跡中の物体の輝度値パターンをテンプレート登録する（ステップ１４１０）。追跡方法については、既に述べた方法と同じである。また、テンプレート登録の詳細についても、図１０を参照して既に説明したものと同じである。
【００７１】
次に、差分による二値物体のフレーム間対応付けが不可能なときは、パターンマッチングによってフレーム間の物体対応付けを行う（ステップ１４１１）。パターンマッチングの詳細は、図１２を参照して既に説明した方法と同じである。。
【００７２】
物体を所定フレーム数に亘って追跡できた場合は、また、パターンマッチングにより物体を検知できたとき、侵入者ありと判定する（ステップ１４１２）。
【００７３】
次に、ステップ１４１３〜１４１６において、本実施の形態において用いる各種画像データの生成および更新についての処理を行う。
【００７４】
まず、波の荒れ具合でパラメータを自動更新して動的背景を更新する（ステップ１４１３）。これについては後述する。
【００７５】
既に用意されている静的背景と最新画像の輝度値分布を所定の割合で画素毎に平均化する（ステップ１４１４）。この処理で侵入物や波など動きのあるものはぼやけ、洋上施設など固定しているものはS-N比があがり、コントラストがよくなる。この処理に関するアルゴリズムは、既に述べた通りである。
【００７６】
最新画像と静的背景の輝度値の差を画素毎に一定期間蓄積する（ステップ１４１５）。ステップ１４１５による差分蓄積画像は、波など常に変動する部分の蓄積値が大きくなり、波などの変動する領域を自動判定できる（ステップ１４１６）。差分蓄積およびそれに基づく領域自動検出の手法については、既に図９を参照して説明した通りである。
【００７７】
このような処理を経てステップ１４０４に戻り、監視処理を引き続き行う。
【００７８】
次に、動的背景更新処理について、図１５を参照して説明する。図１５で（Ｓ）よりスタートする。
【００７９】
中央演算装置２１０１は、ストック画像領域から所定のフレームを選択し、最新画像と輝度値差を画素毎に算出し差分画像を作る（ステップ１５０１）。前記差分画像を所定のしきい値で二値化して二値画像を作成する（ステップ１５０２）。二値化することで、監視画面がフレーム間で差の大きかった領域と大きくなかった領域とに二分されることになる。なお、ここで用いられるしきい値は、次のステップにおいて設定される。
【００８０】
図３の窓３３を波あるいは木の葉など常に揺らぐ領域上に設け、窓３３の領域内で該二値画像の物体面積を求め、前記物体面積が所定の範囲より大きい場合はステップ１５０２で用いたしきい値の値を大きくし、前記物体面積が所定の範囲より小さい場合はステップ１５０２で用いたしきい値の値を小さくして前記しきい値を更新する（ステップ１５０３）。これは、図５を参照して述べた手法と基本的に同じである。
【００８１】
ここで、最新画像から、変化の少ない領域に相当する前記二値画像が得られた領域について切出して、その部分について動的背景を更新する（ステップ１５０４）。これは部分的な更新であって、ステップ１５０２による二値画像の物体以外の部分を最新画像で置き換える。変化が大きい領域については、動的背景を更新しない。
【００８２】
以上説明した本実施の形態によれば、画面の中に波や木の葉などの揺らぐものがあってもこれらを検出して誤報を出すことなく、侵入物を検出して報知することができると共に、侵入物がしばらく静止状態に入っても追跡し続けることができる。
【００８３】
なお、以上に述べた各実施の形態において、画像をフレーム単位で扱っているが、これに限定されない。その他の単位で扱うことも可能である。
【００８４】
【発明の効果】
本発明の第１の態様によれば、波や木々の揺らぎのように、時間的に揺らぎをもつ背景において、監視対象を、精度よく検出することができる。
【００８５】
また、本発明の第２の態様によれば、監視対象から、検出すべき画像を精度よく抽出することができる。
【図面の簡単な説明】
【図１】 本発明による監視装置の機能構成の概要を示すブロック図である。
【図２】 本発明による監視装置を用いた洋上施設監視システムの一例を示す説明図である。
【図３】 本発明による監視装置の処理画像の一例を示す説明図である。
【図４】 本発明による監視装置のフレーム遅延回路の一例を示すブロック図である。
【図５】 本発明による監視装置の動的背景更新回路の一例を示すブロック図である。
【図６】 本発明による監視装置の基準波形観測窓の処理画像の一例を示す説明図である。
【図７】 本発明による監視装置の現フレームと差分画像を示す説明図である。
【図８】 本発明による監視装置の差分追跡の一例を示す説明図である。
【図９】 本発明による監視装置の現フレームと差分差分蓄積画像を二値化した画像を示す説明図である。
【図１０】 本発明による監視装置の侵入物と差分画像とテンプレートの対応を示す説明図である。
【図１１】 本発明による監視装置のパターン更新検出回路の一例を示すブロック図である。
【図１２】 本発明による監視装置の一致度計算回路の動作を説明する説明図である。
【図１３】 本発明による監視装置の第５の実施の形態のハードウェア構成の一例を示すブロック図である。
【図１４】 本発明による監視装置の第５の実施の形態の動作のフローチャートである。
【図１５】 本発明による監視装置の動的背景更新処理のフローチャートである。
【符号の説明】
２０００…ＴＶカメラ、２１００…監視装置、２１１０…画像入力回路、２１２０…フレーム遅延回路、２１３０…動的背景更新回路、２１４０…差分回路、２１５０…差分追跡回路、２１６０…侵入物判定報知回路、２１７０…静的背景更新回路、２１８０…差分蓄積回路、２１９０…パターン更新検出回路、２２００…表示装置。
【発明の属する技術分野】
本発明は、動きのある背景中において監視対象物を検出して監視する技術に係り、特に、洋上、木立の中など、監視対象以外についても動きのある画像から、特定の監視対象物を検出して監視する技術に関する。
【０００２】
【従来の技術】
カメラ等を用いて対象を撮影し、撮影した画像を用いて、監視対象物を監視することが一般に行なわれている。この場合、監視を行うためには、撮影された画像から対象物の画像を検出し、その変化を抽出することが必要である。
【０００３】
この種の監視装置として、例えば、背景と現フレームの差分を二値化して侵入物を検出する技術がある（特開平７−１２９７７９号公報）。また、背景と現フレームの差分の移動速度を検証して侵入物を検出する技術がある（特開平５−２８４５０１号公報）。
【０００４】
この他に、フレームをあらかじめ幾つかの領域に分割してそれぞれの領域に応じた処理する技術がある（特開平１０−１３６３４１号公報）。
【０００５】
【発明が解決しようとする課題】
しかし、例えば、特開平７−１２９７７９号公報に開示される技術では、これを桟橋などの洋上施設の監視に用いると、固定背景画像と現フレームの波の揺らぎが差分となって誤検知してしまう。すなわち、固定背景による背景差分では、波等の実際の背景における揺らぎを誤検知することが多いという問題がある。また、検出すべき侵入物が背景の波の揺らぎと同様の様々な速度の成分を持つ場合、特開平５−２８４５０１号公報に開示される技術で、差分の移動速度を求めても、侵入物と波とを区別することは困難となる。
【０００６】
本発明の目的は、波や木々の揺らぎのように、時間的に揺らぎを持つ背景において、監視対象を、精度よく検出することができる監視装置を提供することにある。
【０００７】
また、本発明の他の目的は、監視対象から、検出すべき画像を精度よく抽出することができる監視装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の第１の目的を達成するための第１の態様として、
対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
最新に取り込まれた現フレームの画像とそれより前に取り込まれた前フレームの画像とを比較して両者の輝度値差が所定しきい値よりも小さい領域がある場合、前記記憶される第１の背景画像の当該領域を現フレームの対応する領域の輝度値に置き換えて前記第１の背景画像を更新する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記検出された画素集合が対象領域での検出対象であるかを判定して、判定結果を出力する手段とを備えること
を特徴とする監視装置が提供される。
【０００９】
また、本発明の第２の目的を達成するための第２の態様として、
対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記画素集合に対応する領域の輝度値パターンを、現フレームから切出して、一致度を調べる演算を行うためのテンプレートとして記憶する手段と、
現フレームの少なくとも一部の領域について、前記テンプレートとの一致度を調べる演算を順次行って、予め定めた値以上の一致度を有する輝度値パターンの有無を検出する手段と、
予め定めた値以上の一致度を有する輝度値パターンが検出されたとき、当該輝度値パターンについて、検出対象であると判定する手段とを備えること
を特徴とする監視装置が提供される。
【００１０】
【発明の実施の形態】
本発明の実施の形態について図面を参照して説明する。以下では、洋上施設について監視する場合を例として説明するが、本発明はこれに限られない。
【００１１】
図２は本発明の監視装置を用いた洋上施設監視システムの一例である。この例では、洋上１０に、施設２６が設けられ、施設２６と岸壁２５とが連絡橋２７により連結されている。本発明の監視装置は、ＴＶカメラ２０００と、監視装置２１００と、表示装置２２００と、報知装置２３００と、操作装置２４００とを備えている。監視装置２１００は、例えば、後述するハードウエア論理回路等により構成される。もちろん、コンピュータを用いてソフトウエアにより対応する機能を実現することにより構成することもできる。ＴＶカメラ２０００は、岸壁２５に設置されて、洋上施設２６を監視している。なお、ＴＶカメラ２０００は、連絡路２７や洋上施設２６上に設置されていてもよい。
【００１２】
ＴＶカメラ２０００により撮影された画像は、表示装置２２００の表示画面２２１０において、例えば、図３に示すように表示される。すなわち、洋上に洋上施設３０と船舶３１とがあり、洋上施設３０上には侵入物３２が存在する。本発明の監視装置は、常に揺らいでいる波３４を無視して、侵入物３２や、時には船舶３１を検出するものである。なお、表示画面２２１０内に表示されている枠は、揺らぎ観測窓３３である。この観測窓３３は、画面２２１０の洋上に設置されることにより、波の揺らぎを観測して検出パラメータの自動調整を行う処理に用いられる。これについては後記する。
【００１３】
本発明では、監視対象を撮像した画像をフレーム単位で時系列に取込み、最新のフレームである現フレームの画像と第１の背景画像（動的背景）の輝度値差をもとに侵入物候補を、例えば、画素集合として検出する。前記検出された画素集合が対象領域での検出対象であるかを判定して、判定結果を出力する。
【００１４】
第１の背景画像は、最新に取り込まれた現フレームの画像とそれより前に取り込まれた前フレームの画像とを比較して両者の輝度値差が所定しきい値よりも小さい領域がある場合、記憶される第１の背景画像の当該領域を現フレームの対応する領域の輝度値に置き換えることで更新される。これにより、動的背景は、現フレームの監視対象の背景において生ずる揺らぎ、例えば、波の揺らぎを反映するほど迅速に更新される。更新に係るパラメータは、監視対象の画像中の揺らぎを生ずる領域、例えば、洋上を示す画像領域に、観測窓を設定して、この窓において観測される揺らぎの程度を表わす値に対応して定められる。具体的には、それによって、しきい値を定めて、最適化することができる。これにより、侵入物の大きさや動きが波の変化の大きさよりも大きい場合は、背景差分で検出されることになる。
【００１５】
次に、侵入候補をフレーム毎に追跡する。追跡は、複数のフレームにおいてそれぞれ検出された画素集合について、複数のフレーム間で同一の画素集合を対応付けることによって行う。侵入物候補は、所定時間追跡されると侵入物と判定される。
【００１６】
一方、検出された侵入物を含む画像をテンプレートとして登録しておく。前記動的背景は迅速に更新するので、動きの少ない侵入物は速やかに前記動的背景に取り込まれ、現フレームとの差分が出なくなることがある。この場合は、既に登録してあるテンプレートで現フレームにパターンマッチング処理することで差分のでない画像を検出することができる。また、追跡を再開できる。
【００１７】
さらに、背景中にある固定的な物体の画像、例えば、洋上の施設自体を含む画像をテンプレートとして登録してしまうと、洋上施設自体を侵入物として検出してしまう。これを防ぐために前記侵入者のテンプレートで検出された場所と同じ位置における第２の背景画像（静的背景）をテンプレートとして一致度を計算する。この時、前記静的背景テンプレートとの一致度が低ければ、侵入物が存在して洋上施設の一部を隠していると見做せる。洋上施設は固定的なものであるから前記静的背景は洋上施設そのものの画像である。
【００１８】
この他に、現フレームと静的背景の輝度値差を累積して、恒常的に変動の激しい部分とそうでない部分を判定して、それに応じて、侵入物候補の検出を行うためのしきい値を変えることができる。
【００１９】
以下、これらを実現するための各種実施の形態について、図面を参照して説明する。
【００２０】
本発明の第１の実施の形態の構成の概要について、図１を参照して説明する。本発明の監視装置は、ＴＶカメラ２０００の画像をアナログ−デジタル変換して現フレームとして取り込む手段として機能する画像入力回路２１１０と、前フレームなど過去の数フレームを時系列的に記憶する手段として機能するフレーム遅延回路２１２０と、時系列の数フレームを用いて第１の背景画像（以下、動的背景という。動的背景については後述する。）を作成更新する手段および動的は畏敬を記憶するとして機能する動的背景更新回路２１３０と、現フレームと前記動的背景の輝度値の差分を二値化して画素集合を侵入物候補として検出する、画素集合検出手段として機能する差分回路２１４０と、前記侵入物候補をフレーム間に亘って対応付け位置を追跡する、画素集合追跡手段として機能する差分追跡回路２１５０と、所定時間以上追跡できたことを条件に前記侵入物候補を侵入物と判定して報知する手段として機能する侵入物判定報知回路２１６０とを有する。
【００２１】
なお、静的背景更新回路２１７０、差分蓄積回路２１８０およびパターン更新回路２１９０は、本実施の形態では使用しないので、後述する他の実施の形態に関する説明において述べる。したがって、本実施の形態では、これらは省略してもよい。
【００２２】
まず、フレーム遅延回路２１２０の構成と動作を説明する。図４はフレーム遅延回路２１２０の構成の一例を示す図である。フレーム遅延回路２１２０は、画像入力回路２１１０のフレームを書き込み、読み出し可能なフレームメモリ群２１２１と、書き込むべきフレームメモリを選択する書込カウンタ２１２２と、フレームメモリ群２１２１から読み出すべきフレームメモリを選択する読出カウンタ２１２３とを有する。
【００２３】
フレームメモリ群２１２１は、フレームメモリ２１２１ａ〜２１２１ｉを有する。各フレームメモリ２１２１ａ〜２１２１ｉは並列に接続され、入力側が画像入力回路２１１０に、出力側が動的背景更新回路２１３０（図１参照）に接続される。書込カウンタ２１２２は、フレームメモリ群２１２１のフレームメモリ２１２１ａ〜２１２１ｉの個数分計数して、再び初期値に戻るという循環的カウンタである。画像入力回路２１１０のフレームをフレームメモリ群２１２１に書き込むたびにカウントする。このためフレームメモリ群２１２１にはエンドレスでフレームメモリ数分の時系列フレームが保持される。読出カウンタ２１２３も循環的カウンタで、フレームメモリ群２１２１のフレームメモリ数通りの数を示せる。初期値は、書込カウンタ２１２２に等しい値で、読み出し時に１減ずると前フレームが読み出せ、さらに、１減ずると前々フレームが読み出せる。フレームメモリ群２１２１のフレームメモリ数は必要に応じて増減して構成できる。
【００２４】
次に、動的背景の概念とこれを実現するための動的背景更新回路２１３０の構成とについて説明する。図５は動的背景更新回路２１３０の一実施例を示す図である。動的背景更新回路２１３０は、現フレームと前フレームあるいは数フレーム前のフレームとの輝度値差を計算する差分回路２１３１と、前記輝度値差をあるしきい値で二値化する二値化回路２１３２と、前記輝度値差の小さい領域を現フレームで置き換える背景合成回路２１３３と背景保持メモリ２１３４と、二値化しきい値調整回路２１３５とを有する。
【００２５】
動的背景は、背景保持メモリ２１３４に保持される。初期値として、最初は現フレームが保持される。そして、次の撮像サイクルから、差分回路２１３１で、現フレームと前フレームあるいは更に前のフレームとの輝度値差を求める。この輝度値差について、二値化回路２１３２で、あるしきい値により二値化する。二値化することで、監視画面がフレーム間で差の大きかった領域と大きくなかった領域とに二分されることになる。この二分結果を背景合成回路２１３３で用いる。すなわち、フレーム間の差の大きい領域は現在の背景を維持し、フレーム間の差の大きくなかった領域は現フレームに更新する。こうして合成した動的背景は、背景保持メモリ２１３４に保持される。そして、二値化回路２１３２のあるしきい値は、しきい値調整回路２１３５で自動調整される。
【００２６】
ここで、しきい値調整回路２１３５の動作について説明する。図６(a)は、観測窓３３の現フレームの波の画像である。図６(b)は、前フレームの波の画像である。図６(c)は、差分を二値化したものである。図６(c)の白い部分が差の大きな場所である。この白い部分の面積が所定の範囲に収まるように、二値化しきい値を自動調整し、二値化回路２１３２のしきい値として用いる。二値化しきい値の自動調整に際し、しきい値調整回路２１３５は、例えば、次のように行うことができる。白画素数を計数し、その計数値が予め定めた範囲内に収まるかを判定する。そして、上限オーバー、下限オーバー等の場合、それぞれ、しきい値を上げて、または、下げて、再び、白画素数の計数、計数値の判定等を行う。このようにして、最終的に、白画素の計数値が所定範囲内となったとき、その時のしきい値を二値化回路２１３２のしきい値とする。
【００２７】
以上説明した動作によって作成更新される動的背景は、波の変動を反映する。しかし、波よりも大きな輝度値の変化については、反映しないものとなる。
【００２８】
次に、差分回路２１４０の動作を説明する。差分回路２１４０は、現フレームと動的背景更新回路２１３０の輝度値の差分を求め、それを二値化するものである。図７(a)は現フレームの画像である。図７(b)は差分回路２１４０の出力の二値画像である。動的背景は先に説明したように波の揺らぎは現フレームとほぼ同じなので差はあまり出ないが、動きのある侵入物や航行中の船舶は差が現れる。差分回路２１４０は、差分を求める他、差分出力に含まれる二値画像について、ある程度の大きさを有する同一輝度値の画素分布（画素集合）を抽出して侵入物候補とし、その侵入物候補についての外接矩形の座標と中心座標を求め、次段の差分追跡回路２１５０に出力する。
【００２９】
ここで、画素集合についての外接矩形と中心座標の算出は、例えば、次のように行うことができる。まず、白い画素の縮小処理を行う。これにより、図７(b)において点在するような小さな面積の白画素の集合を消す。次に、縮小した白画素を元の大きさとなるように拡大処理する。この時、一旦、消えた白画素は拡大されないので、ある程度の面積を有する画素集合のみが残ることとなる。すなわち、所定の大きさの白がその固まりが抽出されることとなる。次に、抽出された白画素の集合について、x、y両軸方向での最小値と最大値を求め、それらを含む外接矩形を設定する処理を行う。ついで、当該外接矩形の中心を求める。
【００３０】
次に、差分追跡回路２１５０の動作を説明する。差分追跡回路２１５０は、差分回路２１４０で検出された侵入物候補について、それぞれの中心座標を記憶すると共に、フレーム間での侵入物候補の移動を対応付けてその移動軌跡を求める演算と、求められた移動軌跡を記憶する。
【００３１】
図８(a)は前々フレームと前フレームの侵入物候補の対応付けを示す図である。物体８１と物体８２とは前々フレームで検出された侵入物候補であり、物体８３と物体８４は前フレームで検出された侵入物候補である。差分追跡回路２１５０は、物体８１の中心座標と物体８３乃至物体８４の中心座標との距離を求め、最近傍の物体、すなわち、物体８３を物体８１と対応付ける。同様に、物体８２の中心座標と物体８３乃至物体８４の中心座標との距離を求め、最近傍の物体、すなわち、物体８４を物体８２と対応付ける。
【００３２】
図８(b)は前フレームと現フレームの侵入物候補の対応付けを示す図である。物体８３と物体８４とは前フレームで検出された侵入物候補であり、物体８５と物体８６とは現フレームで検出された侵入物候補である。差分追跡回路２１５０は、図８(a)で説明したのと同様な手順で、物体８３と物体８５とを、および、物体８４と物体８６とをそれぞれ対応付ける。
【００３３】
結局、図８(c)に示すように、物体８１と物体８２とは、それぞれ軌跡８７と軌跡８８とを描いて追跡される。この追跡結果は、侵入物判定報知回路２１６０に送られる。
【００３４】
侵入物判定報知回路２１６０は、このようにして、侵入物候補が所定フレーム数あるいは所定時間以上に追跡された場合には、侵入物が存在すると判定して、その旨を報知する信号を出力する。報知後も、該侵入物に対応付けられる物体は、侵入物として、追跡され続ける。なお、侵入物が存在する旨を報知する信号は、報知装置２３００に送られ、例えば、メッセージ、ブザー等の音響、光の点滅等を発生させる。これにより、オペレータ等に、侵入物の存在を報せる。この時、表示装置２２０においても、同様の事態を報知する表示を行うようにすることができる。
【００３５】
以上説明したように、本発明の第１の実施の形態に係る監視装置は、画面の中に波や木の葉などの揺らぐものがあっても、これらを検出して誤報を出すことなく、侵入物を検出して報知することができる。
【００３６】
次に、本発明の監視装置の第２の実施の形態について、図１を参照して説明する。本実施の形態に係る監視装置は、画像入力回路２１１０と、フレーム遅延回路２１２０と、動的背景更新回路２１３０と、過去から現フレームまでの数枚の時系列フレームを加算平均化して第１の背景画像（以下、静的背景という）を作成更新する手段、および、第１の背景画像を記憶する手段として機能する静的背景更新回路２１７０と、現フレームと前記静的背景の輝度値差分を蓄積して波など常に揺らいでいる領域と施設など揺らぎの無い領域を識別するための手段として機能する差分蓄積回路２１８０と、揺らぎのある領域か否かで差分パラメータを変える差分回路２１４０と、差分追跡回路２１５０と、侵入物判定報知回路２１６０とを有する。
【００３７】
まず、静的背景の概要と静的背景更新回路２１７０の動作とを説明する。静的背景更新回路２１７０の動作初期の静的背景は、現フレームそのものである。次サイクルで画像入力回路２１１０が現フレームを出力すると、静的背景更新回路２１７０は、前記静的背景と前記現フレームとを所定の割合で重み付き平均値を計算し、これを新たに更新された静的背景とする。例えば、現フレームと静的背景を１対３１の割合で平均化するときは、現フレームに静的背景の輝度値を３１倍にしたものを加え、輝度値の平均を処理前後で合わせるために、前記現フレームと前記３１倍の静的背景の和を３２で除したものを新たな静的背景とする。上記の処理を繰り返すことで、静的背景は、波など揺らぎのある領域は平滑化されて、時間的にも空間的にも輝度値変化のない領域となる。一方、静止した洋上施設は、コントラストの良いくっきりとした領域となる。
【００３８】
次に、差分蓄積回路２１８０の動作について説明する。差分蓄積回路２１８０の差分蓄積画像の初期値は、全画素０あるいは２５５の画像である。画像入力サイクル毎に現フレームと静的背景の輝度値差分を前記差分蓄積画像と所定の割合で加算平均し、新たな差分蓄積画像とする。こうして得られる差分蓄積画像を所定のしきい値で二値化すると、現フレームにおいて揺らぎのある領域と揺らぎの無い領域とに分離できる。
【００３９】
図９(a)は現フレームである。差分蓄積画像を二値化したものが図９(b)である。ここでは、白領域が揺らぎのある領域で、黒領域が揺らぎの無い領域である。差分回路２１４０で差分画像を二値化する際に、前記揺らぎの無い領域はしきい値を低くして、侵入物候補の検出感度を高く維持しつつ、前記揺らぎのある領域はしきい値を幾分高くして、波による誤報を少なくできる。
【００４０】
、差分蓄積回路２１８０の出力で、該当位置が揺らぎのある箇所であると判定したときは、差分回路２１４０における二値化しきい値を上げることで差分を検出しにくくして、波による誤報を抑制する。一方、差分蓄積回路２１８０の出力で、該当位置が揺らぎのない箇所であると判定したときは、差分回路２１４０における二値化しきい値を下げて差分を検出しやすくして、侵入物の検出取りこぼしを減らす。
【００４１】
次に、本発明の監視装置の第３の実施の形態について図１を参照して説明する。本実施の形態に係る監視装置は、画像入力回路２１１０と、フレーム遅延回路２１２０と、動的背景更新回路２１３０と、侵入物体のモデル輝度値パターン（以後テンプレートと表記する）を更新するとともに、更新したモデルパターンを保持し、差分回路２１４０が該侵入物を見失ったときに、輝度値パターンマッチング処理で該侵入物を検出する、輝度値パターン有無検出手段として機能するパターン更新検出回路２１９０と、差分回路２１４０と、差分追跡回路２１５０と、侵入物判定報知回路２１６０とを有する。
【００４２】
図１０は移動と静止を繰り返す侵入物と差分画像とテンプレートとの対応を示す図である。図１０(b-1)は移動中の侵入物の画像の一例を示す。図１０(b-2)は静止した直後の侵入物、図１０(b-3)はしばらく静止している侵入物、図１０(b-4)は再び動きだした侵入物、図１０(b-5)は移動中の侵入物である。図１０(a-1)乃至図１０(a-5)は、それぞれ図１０(b-1)乃至図１０(b-5)の侵入物に対応して、差分回路２１４０による差分画像である。図１０(a-1)、同(a-2)、同(a-4)および同(a-5)のように、侵入物は、それが移動中あるいは静止直後の場合には、差分が現れ、差分追跡回路２１５０による追跡が可能である。しかし、侵入物が静止状態を続けると、動的背景に侵入物が取込まれ、図１０(a-3)のように差分が消滅する。すなわち、侵入物を見失うこととなる。そこで、この消滅期間中においても侵入物を検出し続けるために、パターン更新検出回路２１９０が設けられる。
【００４３】
ここで、パターン更新検出回路２１９０の機能について説明する。図１１は更新検出回路２１９０の構成を示す図である。更新検出回路２１９０は、差分回路２１４０から出力される差分と、差分追跡回路２１５０から出力される追跡情報を基に、現フレームから侵入物の領域を切り出す領域切出し回路２１９１と、侵入物領域の輝度値パターンをテンプレートとして登録するテンプレート更新回路２１９２と、差分追跡不可能なときは前サイクルまでに登録していたテンプレートでパターンマッチング処理して現フレーム内から差分消滅で見失った侵入物を検出する一致度計算回路２１９３とを有する。
【００４４】
領域切出し回路２１９１は、侵入物として検出された画素集合について、外接矩形を求め、その外接矩形内の輝度値パターンを現フレームから切り出す。テンプレート更新回路２１９２は、前記差分追跡回路２１５０により差分追跡可能な時は、現フレームの切出された輝度値パターンを、追跡されている侵入物のテンプレートとして更新登録する。
【００４５】
図１０を参照して、パターン更新検出回路２１９０の動作について説明する。図１０(c-1)乃至図１０(c-5)は、それぞれ図１０(b-1)乃至図１０(b-5)の侵入物に対応するテンプレートである。図１０(c-1)と図１０(c-2)と図１０(c-4)と図１０(c-5)は、それぞれ差分を表わす、図１０(a-1)と図１０(a-2)と図１０(a-4)と図１０(a-5)の領域で現フレームから切り出したテンプレートである。図１０(c-3)は、差分が消滅する以前のフレームのテンプレート図１０(c-2)をそのまま保持している。
【００４６】
以上の動作をまとめると、図１０において、侵入物(b-1)と(b-2)は、差分回路２１４０において、それぞれ差分(a-1)と(a-2)によって検出される。また、領域切り出し回路２１９１によって侵入物(b-1)と(b-2)の領域が切り出され、テンプレート更新回路２１９２により、侵入物(b-1)と(b-2)をテンプレート(c-1)と(c-2)として登録される。一方、侵入物(b-3)は、一致度計算回路２１９３により、テンプレート(c-3)とのパターンマッチングによって検出される。そして、侵入物(b-4)と(b-5)は、それぞれ差分(a-4)と(a-5)によって検出されると共に、侵入物(b-4)と(b-5)とを切出してテンプレート(c-4)と(c-5)として登録される。
【００４７】
次に、一致度計算回路２１９３によるパターンマッチング処理を説明する。図１２はパターンマッチング処理を説明する図である。現フレーム１２０１内に探査枠１２０２を設け、探査枠１２０２の原点すなわち左上角をPとする。探査枠１２０２内からテンプレート１２０３に類似の物体１２０４を検出することが目的である。探査枠１２０２は、フレーム全体に設定することもできるが、侵入物がそれほど移動していないので、最も最近検知された位置を中心とする一定の範囲の広さに設定する。この広さを絞ることで、無駄な探査を省いて、能率良く探査を行なうことが可能となる。この時、現フレームは、図１１における領域切出し回路２１９１を介して入力される。もちろん、現フレームの画像を一致度計算回路２１９３に直接入力させるようにしてもよい。なお、探査を領域切出し回路２１９１において、比較すべき画像の走査および切出しを行い、一致度の計算を一致度計算回路２１９３において行うようにしてもよい。
【００４８】
一致度計算回路２１９３は、テンプレート１２０３と等しい大きさの走査枠１２０５（原点O）を探査枠１２０２内で走査して、現フレームで走査枠１２０５の囲む部分とテンプレート１２０３の輝度値パターンの一致度あるいは不一致度を計算する。このような計算によってテンプレート１２０３に類似の物体を検出する処理をパターンマッチング処理という。一致度の計算法としては、正規化相関演算があり、相関値をR(j,i)とすると、（１）式、（２）式、（３）式および（４）式で表現される。
【００４９】
【数１】
【数２】
【数３】
【数４】
ここで、探査枠１２０２の輝度値パターンをf(J,I)、テンプレート１２０３の輝度値パターンをg(X,Y)とし、PからOへの移動量を(j,i)で表している。Nはテンプレート１２０３内の画素数である。R(j,i)は相関係数と等しく、テンプレート１２０３の輝度値パターンと走査枠１２０５内の輝度値パターンが完全に一致したときは最大値１．０をとる。通常は、０．７以上の値で類似物体が検出されたと判断できる。不一致度の計算としては、fとgの輝度値差の絶対値を走査枠１２０５内で累積したときに値が所定の値よりも小さければ、類似物体が検出されたと判断する。
【００５４】
以上説明したように、本実施の形態に係る監視装置は、画面の中に波や木の葉などの揺らぐものがあっても、これらを検出して誤報を出すことなく、侵入物を検出して報知することができると共に、侵入物がしばらく静止状態に入っても追跡し続けることができる。
【００５５】
次に、本発明の監視装置の第４の実施の形態について図１を参照して説明する。本実施の形態の監視装置は、画像入力回路２１１０と、フレーム遅延回路２１２０と、動的背景更新回路２１３０と、静的背景更新回路２１７０と、パターン更新検出回路２１９０と、差分回路２１４０と、差分追跡回路２１５０と、侵入物判定報知回路２１６０とを有する。静的背景更新回路２１７０とパターン更新検出回路２１９０以外の回路の動作は、第３の実施の形態と同様であり、静的背景更新回路２１７０の動作は第２の実施の形態と同様である。
【００５６】
ここで、第４の実施の形態に係る監視装置の動作を特徴付けるパターン更新検出回路２１９０の構成と動作について説明する。図１１は更新検出回路２１９０の構成を示す図である。差分回路２１４０の差分と差分追跡回路２１５０の追跡情報とを基に、侵入物の領域の輝度値パターンを切り出す領域切出し回路２１９１と、差分追跡可能な時は現フレームの侵入物領域の輝度値パターンをテンプレートとして登録するテンプレート更新回路２１９２と、差分追跡不可能なときは前サイクルまでに登録していたテンプレートでパターンマッチング処理して現フレーム内から差分消滅で見失った侵入物を検出すると共に、該テンプレートと該侵入物の検出位置で、静的背景更新回路１７による静的背景画像との不一致度を計算する一致度計算回路２１９３とを有する。
【００５７】
第４の実施の形態では、第３の実施の形態と同様にパターンマッチング処理で侵入物を検出した後に、同じテンプレートで該静的背景上の同一領域で一致度を計算する。先に説明したように、前記静的背景は監視すべき設備そのものの画像と考えられるから、侵入物が存在する領域では該テンプレートに対して一致度が低くなる。このチェックを入れることで、設備の一部を侵入者として登録して侵入者を誤検知することを防げる。
【００５８】
すなわち、パターン更新検出回路２１９０は、侵入物が検出された領域について、テンプレートと静的背景の輝度値パターンとをパターンマッチング処理で一致度を計算し、前記テンプレートと追跡中物体の輝度値パターンの一致度が所定の値より高くかつ、前記テンプレートと前記静的背景の輝度値パターンの一致度が所定の値より低い場合は、前記パターンマッチング処理によって前記侵入物体が検出できたとして物体追跡を継続する。ここで、二つの一致度の差が所定の値よりも大きい場合は、パターンマッチング処理によって前記侵入物体が検出できたとして物体追跡を続行し、二つの一致度の差が所定の値よりも小さい場合は、侵入物体を見失ったとして追跡を中止することもできる。
【００５９】
パターンマッチングで物体が検出された場合、差分回路２１４０にて差分で検出された物体と同様に、中心座標を求め、差分追跡回路２１５０に記憶し、前後のフレームで検出された物体との距離計算を行い、距離の最小の物からフレーム間の対応付けを行う。この動作の結果、差分あるいはパターンマッチングで物体が検出され、差分追跡回路２１５０で物体追跡されることになる。
【００６０】
次に、コンピュータとビデオキャプチャボードを使った、本発明の第５の実施の形態に係る監視装置について説明する。本実施の形態は、基本的には、ソフトウエアの如何により、上述した第１の実施の形態〜第４の実施の形態のすべての機能について実現することが可能である。すなわち、ソフトウエアによる手順の実行により、第１の実施の形態〜第４の実施の形態の各種機能を実現する手段が実現される。もちろん、第１の実施の形態〜第４の実施の形態に対応するように機能させることもできる。また、第１の実施の形態〜第４の実施の形態において用いられる各種回路と、第５の実施の形態で用いられるコンピュータとを混在させ、機能を分担するように構成してもよい。
【００６１】
図１３は第５の実施の形態のハードウェア構成を示す図である。第５の実施の形態に係る監視装置は、中央演算装置（ＣＰＵ）２１０１とメモリ２１０２とユーザインタフェース２１０３とを有するコンピュータと、画像メモリ２１０４と、ビデオキャプチャボード２１０５と、TVカメラ２０００と、通信ボード２１０７とで構成される。なお、中央演算装置２１０１が実行するプログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体によって提供される。
【００６２】
中央演算装置２１０１は、メモリ２１０２のプログラムを実行し、演算に必要な記憶部はメモリ２１０２に確保するものとする。ユーザインタフェース２１０３は、モニター等の出力装置と、キーボード等の入力装置から成る。ビデオキャプチャボード２１０５は、TVカメラ２０００のアナログ画像信号をデジタルデータに変換して画像メモリ２１０４に格納する。中央演算装置２１０１は、画像メモリ２１０４をアクセスして所定の画像を処理し、結果を画像メモリ２１０４に格納する。通信ボード２１０７は、シリアルポートあるいはパラレルポートを備え、外部機器とデータのやり取りをする。侵入者の有無等の検出結果は通信ボード２１０７を介して外部機器に伝送する。また、外部機器から通信ボード２１０７を介して中央演算装置２１０１を制御できる。
【００６３】
次に、図１４のフローチャートによって第５の実施の形態の監視装置の動作について説明する。
【００６４】
まず、監視装置の電源投入あるいは割り込み指令によって（Ｓ）よりスタートする。また、画角に応じたパラメータ設定と、メモリ配列やポインタなどの変数を初期化する（ステップ１４０１）。
【００６５】
次に、中央演算装置２１０１は、画像を取り込んで、画像メモリ２１０４に格納する（ステップ１４０２）。ここで、画像メモリ２１０４には、時系列のフレームを複数枚格納する（ステップ１４０３）。ただし、最初は、ステップ１４０２で得た画像をコピーして初期化する。動的背景と静的背景も画像メモリ２１０４に保持するが、最初はステップ１４０２で得た画像をコピーして初期化する。
【００６６】
ステップ１４０４以降が監視サイクルで、ステップ１４１６を経て再びステップ１４０４に戻る。
【００６７】
監視サイクルにおいて、中央演算装置２１０１は、TVカメラ２０００からの最新画像を画像メモリ２１０４に格納する（ステップ１４０４）。画像メモリ２１０４には、ストック画像として数フレーム分の画像保持領域が確保してあり、その一箇所に最新画像を格納する。ストック画像は、ストック画像保持領域ポインタで管理し、最新画像を更新するたびに、該画像保持領域ポインタを更新する。画像保持領域ポインタは、ストック数分のサイクルカウンタで、常に最新の画像の格納領域を示している。 TVカメラ２０００からの最新画像を得るたびに最古の画像保持領域に上書きする。
【００６８】
中央演算装置２１０１は、画像メモリ２１０４に記憶されている最新画像と動的背景画像の差分を画素毎にとり、所定のしきい値で二値化し、二値物体を検出する（ステップ１４０５）。また、ステップ１４０５の該二値物体の大きさをチェックして、侵入者として判定しうる大きさの場合はステップ１４０７に進み、該二値物体が大きすぎる場合はステップ１４０２にて再び画像入力して背景などを初期化する（ステップ１４０６）。
【００６９】
（ステップ１４０７）前フレームで検出した二値物体と現フレームで検出した二値物体を距離計算で照合する。照合については、既に図８を参照して説明したものと同じアルゴリズムによって行なう。ここで、フレーム間で照合可能な物体は（１）を経てステップ１４０９に進み、照合できない物体は（２）を経てステップ１４１２に進む（ステップ１４０８）。
【００７０】
次に、二値物体のフレーム間の対応付けを基に物体の移動を追跡する（ステップ１４０９）。追跡中の物体の輝度値パターンをテンプレート登録する（ステップ１４１０）。追跡方法については、既に述べた方法と同じである。また、テンプレート登録の詳細についても、図１０を参照して既に説明したものと同じである。
【００７１】
次に、差分による二値物体のフレーム間対応付けが不可能なときは、パターンマッチングによってフレーム間の物体対応付けを行う（ステップ１４１１）。パターンマッチングの詳細は、図１２を参照して既に説明した方法と同じである。。
【００７２】
物体を所定フレーム数に亘って追跡できた場合は、また、パターンマッチングにより物体を検知できたとき、侵入者ありと判定する（ステップ１４１２）。
【００７３】
次に、ステップ１４１３〜１４１６において、本実施の形態において用いる各種画像データの生成および更新についての処理を行う。
【００７４】
まず、波の荒れ具合でパラメータを自動更新して動的背景を更新する（ステップ１４１３）。これについては後述する。
【００７５】
既に用意されている静的背景と最新画像の輝度値分布を所定の割合で画素毎に平均化する（ステップ１４１４）。この処理で侵入物や波など動きのあるものはぼやけ、洋上施設など固定しているものはS-N比があがり、コントラストがよくなる。この処理に関するアルゴリズムは、既に述べた通りである。
【００７６】
最新画像と静的背景の輝度値の差を画素毎に一定期間蓄積する（ステップ１４１５）。ステップ１４１５による差分蓄積画像は、波など常に変動する部分の蓄積値が大きくなり、波などの変動する領域を自動判定できる（ステップ１４１６）。差分蓄積およびそれに基づく領域自動検出の手法については、既に図９を参照して説明した通りである。
【００７７】
このような処理を経てステップ１４０４に戻り、監視処理を引き続き行う。
【００７８】
次に、動的背景更新処理について、図１５を参照して説明する。図１５で（Ｓ）よりスタートする。
【００７９】
中央演算装置２１０１は、ストック画像領域から所定のフレームを選択し、最新画像と輝度値差を画素毎に算出し差分画像を作る（ステップ１５０１）。前記差分画像を所定のしきい値で二値化して二値画像を作成する（ステップ１５０２）。二値化することで、監視画面がフレーム間で差の大きかった領域と大きくなかった領域とに二分されることになる。なお、ここで用いられるしきい値は、次のステップにおいて設定される。
【００８０】
図３の窓３３を波あるいは木の葉など常に揺らぐ領域上に設け、窓３３の領域内で該二値画像の物体面積を求め、前記物体面積が所定の範囲より大きい場合はステップ１５０２で用いたしきい値の値を大きくし、前記物体面積が所定の範囲より小さい場合はステップ１５０２で用いたしきい値の値を小さくして前記しきい値を更新する（ステップ１５０３）。これは、図５を参照して述べた手法と基本的に同じである。
【００８１】
ここで、最新画像から、変化の少ない領域に相当する前記二値画像が得られた領域について切出して、その部分について動的背景を更新する（ステップ１５０４）。これは部分的な更新であって、ステップ１５０２による二値画像の物体以外の部分を最新画像で置き換える。変化が大きい領域については、動的背景を更新しない。
【００８２】
以上説明した本実施の形態によれば、画面の中に波や木の葉などの揺らぐものがあってもこれらを検出して誤報を出すことなく、侵入物を検出して報知することができると共に、侵入物がしばらく静止状態に入っても追跡し続けることができる。
【００８３】
なお、以上に述べた各実施の形態において、画像をフレーム単位で扱っているが、これに限定されない。その他の単位で扱うことも可能である。
【００８４】
【発明の効果】
本発明の第１の態様によれば、波や木々の揺らぎのように、時間的に揺らぎをもつ背景において、監視対象を、精度よく検出することができる。
【００８５】
また、本発明の第２の態様によれば、監視対象から、検出すべき画像を精度よく抽出することができる。
【図面の簡単な説明】
【図１】 本発明による監視装置の機能構成の概要を示すブロック図である。
【図２】 本発明による監視装置を用いた洋上施設監視システムの一例を示す説明図である。
【図３】 本発明による監視装置の処理画像の一例を示す説明図である。
【図４】 本発明による監視装置のフレーム遅延回路の一例を示すブロック図である。
【図５】 本発明による監視装置の動的背景更新回路の一例を示すブロック図である。
【図６】 本発明による監視装置の基準波形観測窓の処理画像の一例を示す説明図である。
【図７】 本発明による監視装置の現フレームと差分画像を示す説明図である。
【図８】 本発明による監視装置の差分追跡の一例を示す説明図である。
【図９】 本発明による監視装置の現フレームと差分差分蓄積画像を二値化した画像を示す説明図である。
【図１０】 本発明による監視装置の侵入物と差分画像とテンプレートの対応を示す説明図である。
【図１１】 本発明による監視装置のパターン更新検出回路の一例を示すブロック図である。
【図１２】 本発明による監視装置の一致度計算回路の動作を説明する説明図である。
【図１３】 本発明による監視装置の第５の実施の形態のハードウェア構成の一例を示すブロック図である。
【図１４】 本発明による監視装置の第５の実施の形態の動作のフローチャートである。
【図１５】 本発明による監視装置の動的背景更新処理のフローチャートである。
【符号の説明】
２０００…ＴＶカメラ、２１００…監視装置、２１１０…画像入力回路、２１２０…フレーム遅延回路、２１３０…動的背景更新回路、２１４０…差分回路、２１５０…差分追跡回路、２１６０…侵入物判定報知回路、２１７０…静的背景更新回路、２１８０…差分蓄積回路、２１９０…パターン更新検出回路、２２００…表示装置。
Claims (10)
- 対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
最新に取り込まれた現フレームの画像とそれより前に取り込まれた前フレームの画像とを比較して両者の輝度値差が所定しきい値よりも小さい領域がある場合、前記記憶される第１の背景画像の当該領域を現フレームの対応する領域の輝度値に置き換えて前記第１の背景画像を更新する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記検出された画素集合が対象領域での検出対象であるかを判定して、判定結果を出力する手段と、を備え、
前記第１の背景画像を更新する手段は、フレーム内に観測窓を設定し、該フレーム内での現フレームと前フレームの輝度値差に応じて前記しきい値を変化させることを特徴とする監視装置。 - 対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
最新に取り込まれた現フレームの画像とそれより前に取り込まれた前フレームの画像とを比較して両者の輝度値差が所定しきい値よりも小さい領域がある場合、前記記憶される第１の背景画像の当該領域を現フレームの対応する領域の輝度値に置き換えて前記第１の背景画像を更新する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記検出された画素集合が対象領域での検出対象であるかを判定して、判定結果を出力する手段と、
時系列の複数フレームの画像を加算して平均化して第２の背景画像を生成すると共に更新して記憶する手段と、
現フレームの画像と前記第２の背景画像との輝度値差を累積する手段と、を備え、
前記画素集合を検出する手段は、前記所定のしきい値を、前記輝度値差の累積の大きい領域では、他の領域より高く設定することを特徴とする監視装置。 - 請求項１または２のいずれか一項に記載の監視装置において、
複数のフレームにおいてそれぞれ検出された画素集合について、複数のフレーム間で同一の画素集合を対応付けて画素集合の追跡を行なう手段をさらに備え、
前記検出対象であるかを判定する手段は、追跡が行えた画素集合について、検出対象であると判定することを特徴とする監視装置。 - 請求項３に記載の監視装置において、
前記画素集合の追跡を行う手段により追跡されている画素集合に対応する領域の輝度値パターンを、現フレームから切出して、パターンマッチング処理を行うためのテンプレートとして記憶する手段と、
前記画素集合の追跡を行う手段において追跡が行えなくなった場合に、現フレームの少なくとも一部の領域について、前記テンプレートとの一致度を調べる演算を順次行って、予め定めた値以上の一致度を有する輝度値パターンの有無を検出する手段とをさらに備え、
前記検出対象であるかを判定する手段は、予め定めた値以上の一致度を有する輝度値パターンが検出されたとき、当該輝度値パターンについて、検出対象であると判定することを特徴とする監視装置。 - 対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
最新に取り込まれた現フレームの画像とそれより前に取り込まれた前フレームの画像とを比較して両者の輝度値差が所定しきい値よりも小さい領域がある場合、前記記憶される第１の背景画像の当該領域を現フレームの対応する領域の輝度値に置き換えて前記第１の背景画像を更新する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記検出された画素集合が対象領域での検出対象であるかを判定して、判定結果を出力する手段と、
複数のフレームにおいてそれぞれ検出された画素集合について、複数のフレーム間で同一の画素集合を対応付けて画素集合の追跡を行なう手段と、
前記画素集合の追跡を行う手段により追跡されている画素集合に対応する領域の輝度値パターンを、現フレームから切出して、パターンマッチング処理を行うためのテンプレートとして記憶する手段と、
現フレームの少なくとも一部の領域について、前記テンプレートとの一致度を調べる演算を順次行って、予め定めた値以上の一致度を有する輝度値パターンの有無を検出する手段と、備え、
前記輝度値パターンの有無を検出する手段は、前記画素集合の追跡を行う手段において追跡が行えなくなった場合に、その検出を行い、
前記検出対象であるかを判定する手段は、追跡が行えた画素集合について、検出対象であると判定し、前記画素集合の追跡を行う手段において追跡が行えなくなった場合に、予め定めた値以上の一致度を有する輝度値パターンが検出されたとき、当該輝度値パターンについて、検出対象であると判定することを特徴とする監視装置。 - 請求項５に記載の監視装置において、
前記第１の背景画像を更新する手段は、フレーム内に観測窓を設定し、該フレーム内での現フレームと前フレームの輝度値差に応じて前記しきい値を変化させることを特徴とする監視装置。 - 請求項５および６のいずれか一項に記載の監視装置において、
時系列の複数フレームの画像を加算して平均化して第２の背景画像を生成すると共に更新して記憶する手段と、
現フレームの画像と前記第２の背景画像との輝度値差を累積する手段とをさらに備え、
前記画素集合を検出する手段は、前記所定のしきい値を、前記輝度値差の累積の大きい領域では、他の領域より高く設定することを特徴とする監視装置。 - 対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記画素集合に対応する領域の輝度値パターンを、現フレームから切出して、一致度を調べる演算を行うためのテンプレートとして記憶する手段と、
現フレームの少なくとも一部の領域について、前記テンプレートとの一致度を調べる演算を順次行って、予め定めた値以上の一致度を有する輝度値パターンの有無を検出する手段と、
予め定めた値以上の一致度を有する輝度値パターンが検出されたとき、当該輝度値パターンについて、検出対象であると判定する手段と、
現フレームの画像と前記第２の背景画像との輝度値差を累積する手段と、を備え、
前記画素集合を検出する手段は、前記所定のしきい値を、前記輝度値差の累積の大きい領域では、他の領域より高く設定することを特徴とする監視装置。 - 対象領域を撮像した画像に基づいて該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段と、
前記取り込まれた画像に基づいて生成され、更新される第１の背景画像を記憶する手段と、
前記第１の背景画像と現フレームの画像との輝度値差を所定のしきい値で二値化して画素集合を検出する手段と、
前記画素集合に対応する領域の輝度値パターンを、現フレームから切出して、一致度を調べる演算を行うためのテンプレートとして記憶する手段と、
現フレームの少なくとも一部の領域について、前記テンプレートとの一致度を調べる演算を順次行って、予め定めた値以上の一致度を有する輝度値パターンの有無を検出する手段と、
予め定めた値以上の一致度を有する輝度値パターンが検出されたとき、当該輝度値パターンについて、検出対象であると判定する手段と、
時系列の複数フレームの画像を加算して平均化して第２の背景画像を生成すると共に更新して記憶する手段と、を備え、
前記輝度値パターンの有無を検出する手段は、検出した輝度値パターンの領域における前記第２の背景画像の輝度値パターンと前記テンプレートとの一致度を演算し、
前記検出対象であると判定する手段は、前記テンプレートと前記現フレーム画像の輝度値パターンとの一致度が所定の値より高く、かつ、前記テンプレートと前記第２の背景画像の輝度値パターンとの一致度が所定の値より低い場合、当該現フレームの輝度値パターンが検出対象であると判定することを特徴とする監視装置。 - 請求項９に記載の監視装置において、
現フレームの画像と前記第２の背景画像との輝度値差を累積する手段をさらに備え、
前記画素集合を検出する手段は、前記所定のしきい値を、前記輝度値差の累積の大きい領域では、他の領域より高く設定することを特徴とする監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32822698A JP4117073B2 (ja) | 1998-11-18 | 1998-11-18 | 監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32822698A JP4117073B2 (ja) | 1998-11-18 | 1998-11-18 | 監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000156852A JP2000156852A (ja) | 2000-06-06 |
| JP4117073B2 true JP4117073B2 (ja) | 2008-07-09 |
Family
ID=18207860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32822698A Expired - Fee Related JP4117073B2 (ja) | 1998-11-18 | 1998-11-18 | 監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4117073B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282622B2 (en) | 2016-12-09 | 2019-05-07 | Hitachi Kokusai Electric Inc. | Marine intrusion detection system and method |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3997062B2 (ja) * | 2001-05-30 | 2007-10-24 | 株式会社日立製作所 | 画像監視装置 |
| JP4315138B2 (ja) * | 2004-09-13 | 2009-08-19 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US7982774B2 (en) * | 2004-09-13 | 2011-07-19 | Sony Corporation | Image processing apparatus and image processing method |
| DE102004062275A1 (de) * | 2004-12-23 | 2006-07-13 | Aglaia Gmbh | Verfahren und Vorrichtung zum Ermitteln eines Kalibrierparameters einer Stereokamera |
| JP2006273083A (ja) * | 2005-03-29 | 2006-10-12 | Fujitsu Ten Ltd | 盗難検知装置 |
| JP2006311099A (ja) * | 2005-04-27 | 2006-11-09 | Matsushita Electric Ind Co Ltd | 自動追尾装置及び自動追尾方法 |
| SG159501A1 (en) | 2006-08-31 | 2010-03-30 | Sony Corp | Image-processing apparatus, image processing method and image processing program |
| JP5230404B2 (ja) * | 2008-12-25 | 2013-07-10 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
| JP5202551B2 (ja) * | 2009-01-23 | 2013-06-05 | 株式会社日立国際電気 | パラメータ設定方法及び該方法を用いた監視装置 |
| JP5630298B2 (ja) * | 2011-02-01 | 2014-11-26 | 大日本印刷株式会社 | 移動物体検出装置 |
| KR101677171B1 (ko) * | 2015-04-24 | 2016-11-17 | 국방과학연구소 | 픽셀 기반의 배경추정을 통한 이동물체 분할 방법 |
-
1998
- 1998-11-18 JP JP32822698A patent/JP4117073B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282622B2 (en) | 2016-12-09 | 2019-05-07 | Hitachi Kokusai Electric Inc. | Marine intrusion detection system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000156852A (ja) | 2000-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5241782B2 (ja) | カメラ異常検出装置を有する監視カメラシステム | |
| JP5280503B2 (ja) | 画像表示方法、共有ボードシステム | |
| JP4668921B2 (ja) | 画像中のオブジェクト検出 | |
| KR101350777B1 (ko) | 영상감시장치 및 영상감시시스템 | |
| CN101615295B (zh) | 图像处理***和图像处理方法 | |
| JP4117073B2 (ja) | 監視装置 | |
| CN106851049B (zh) | 一种基于视频分析的场景变更检测方法及装置 | |
| US7460689B1 (en) | System and method of detecting, recognizing, and tracking moving targets | |
| US7982774B2 (en) | Image processing apparatus and image processing method | |
| CN112291551A (zh) | 一种基于图像处理的视频质量检测方法、存储设备及移动终端 | |
| CN111898610B (zh) | 卡片缺角检测方法、装置、计算机设备及存储介质 | |
| CN114758300A (zh) | 场景恶意遮挡的判断方法、装置、设备及可读存储介质 | |
| CN111753587B (zh) | 一种倒地检测方法及装置 | |
| JP4776324B2 (ja) | 監視端末装置 | |
| Gil-Jiménez et al. | Automatic control of video surveillance camera sabotage | |
| JP2004282368A (ja) | 移動体監視装置 | |
| WO2020095644A1 (ja) | 変状検出装置、変状検出方法、及びコンピュータ読み取り可能な記録媒体 | |
| Perner | Motion tracking of animals for behavior analysis | |
| JPH0514891A (ja) | 画像監視装置 | |
| JP2000341679A (ja) | 画像認識装置及び監視装置 | |
| CN111985331B (zh) | 预防商业秘密被窃照的检测方法及装置 | |
| JP2004295416A (ja) | 画像処理装置 | |
| JPH05300516A (ja) | 動画処理装置 | |
| Oberti et al. | Performance evaluation criterion for characterizing video-surveillance systems | |
| JPH057363A (ja) | 画像監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050629 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050629 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050629 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080421 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |