JP2005284652A - 動きベクトルを用いた映像監視方法及び装置 - Google Patents
動きベクトルを用いた映像監視方法及び装置 Download PDFInfo
- Publication number
- JP2005284652A JP2005284652A JP2004096704A JP2004096704A JP2005284652A JP 2005284652 A JP2005284652 A JP 2005284652A JP 2004096704 A JP2004096704 A JP 2004096704A JP 2004096704 A JP2004096704 A JP 2004096704A JP 2005284652 A JP2005284652 A JP 2005284652A
- Authority
- JP
- Japan
- Prior art keywords
- block
- motion
- pattern
- maximum
- chain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】カメラの映像を監視して、監視対象の異常な行動や動き、ルール違反の行動などを自動的に検出して、アラームを発するのに十分な検出精度を備えた映像監視システムを提供すること。
【解決手段】監視カメラの映像画面全体をm×m個のブロックに分割し、各ブロック内の動き量を計算し、映像画面中で動き量が最大であるブロックを見出し、1つのフレームと次フレームにおける動き最大ブロックが時間的連鎖関係にあることを検出し、フレームの推移に伴って時間的連鎖ブロックが次々に連らなって形成する連鎖ブロックパターンを検出し、連鎖ブロックパターンを監視対象の正常パターンと比較して、連鎖ブロックパターンが正常パターンに適合しない場合はアラーム信号を発し、適合する場合は監視動作の1サイクルを終了することを特徴とする、動きベクトルを用いた映像監視方法。
【選択図】 図1
【解決手段】監視カメラの映像画面全体をm×m個のブロックに分割し、各ブロック内の動き量を計算し、映像画面中で動き量が最大であるブロックを見出し、1つのフレームと次フレームにおける動き最大ブロックが時間的連鎖関係にあることを検出し、フレームの推移に伴って時間的連鎖ブロックが次々に連らなって形成する連鎖ブロックパターンを検出し、連鎖ブロックパターンを監視対象の正常パターンと比較して、連鎖ブロックパターンが正常パターンに適合しない場合はアラーム信号を発し、適合する場合は監視動作の1サイクルを終了することを特徴とする、動きベクトルを用いた映像監視方法。
【選択図】 図1
Description
本発明は、動きベクトルを用いて映像の動きの変化や特徴をとらえ、監視カメラの映像からリアルタイムに、あるいは監視映像蓄積装置の大量の映像から、異常な動き、ルール違反などの画像を抽出する方法と装置に関する。
映像カメラの小型化、高性能化、低価格化とともに映像記憶装置においても、ビデオ録画装置からHDD内蔵映像蓄積装置へと大容量化、低価格化が進み、これらの技術を用いた映像監視システムが急速に普及してきている。
これらの技術により、監視のためのリアルタイムの映像利用や、長時間の映像記録が簡単にできるようになってきた。しかし、膨大な監視映像デ−タを簡単に取得できるようにはなったが、危険な行為、安全を損なう行動や動作、挙動不審な人物の動き、規則違反の行動、交通違反などの画像をリアルタイムに見つけてアラームを発する方法や装置、あるいは大量に記録した映像からこれらの問題画像を人手と時間をかけずに抽出する方法や装置の開発は、カメラや記録装置の進歩に比べて遅れている。
一方、画像認識技術を用いた監視システムは、一般に画像データを画素レベルで処理しなければならないことや、複雑なアルゴリズムによる画像処理と認識・判定をリアルタイムで行わなければならないために、処理時間とコストがかかる問題がある。
映像監視システムでは、タイムコ−ドを同時記録しておき、その時間を指定して必要な画像を取り出すことができるが、一方でその現象が起った時間を特定することが困難な場合が多く、短い時間に問題の画像を抽出することが困難であった。
特許文献1及び非特許文献1では、カメラの映像画面をいくつかのブロックに分割し、各ブロック中の動きベクトルの大きさを用いて特定シ−ンを抽出する技術が開示されている(以下「開示技術」という)。開示技術によれば、映像の動きの情報を統計的に解析して映像の動き量の変化や特徴を特徴パラメータとして把握し、基準画像の特徴パラメータと検索対象画像の特徴パラメータとを比較することより、シーンの類似度を判定することが可能である。
しかし、上記の方法は、検索対象画像の各ブロックと、予め登録した基準画像とを比較して、その類似度を判定することによる検索が前提となっており、この方法の検出精度は、監視画像中の異常行動や動き、ルール違反の行動などを検出しアラームを発するためには十分とはいえない。
「非特許文献1」では、類似シーンの検出率は、再現率および適合率に分けて定義されている。例えば、野球の投球シーンにおける再現率および適合率はつぎのように定義されている。
再現率=(正確に投球シーンを判定した数)/(実際の投球シーン数)
適合率=(正確に投球シーンを判定した数)/(検索で判定された投球シーン数)
再現率=(正確に投球シーンを判定した数)/(実際の投球シーン数)
適合率=(正確に投球シーンを判定した数)/(検索で判定された投球シーン数)
「非特許文献1」によれば、現在の技術レベルでは、野球の投球シーンの場合の再現率は最高で92.86%、同じく適合率は74.59%が得られているが、このレベルは監視画像の場合の検出精度としては十分ではない。
エンターテイメントにおける特定シーン検索の場合には誤検出の弊害は少ないが、監視システムの場合は、検出率、再現率ともに高度であることが要求される。前記の特定シーン抽出方法や装置の誤検出率が高い理由は次のように考えられる。
開示技術では、カメラ入力画像をいくつかのブロックに分割し、各ブロックの動き量を多数のフレームについて平均して統合化するため、各画面の特徴が時間的に平準化され、誤りのシーンを抽出しやすい。また、入力画像をいくつかのブロック領域に分割しても、各ブロック個別の動き量に関する特徴量の許容範囲(平均値と標準偏差の上限と下限)を設定しており、各ブロック領域相互の関係の特徴量は抽出されていない。このような理由で、上記の技術は、概括的なシーンの抽出には適するが、高い検出精度を要求される監視システムには十分でないと思われる。
本発明が解決しようとする課題は、カメラの映像を監視して、監視対象の異常な動き、ルール違反の行動などを自動的に検出して、アラームを発するのに十分な検出精度を備えた映像監視システムを提供することである。
上記の課題は、以下に述べる動きベクトルを用いた映像監視方法により解決することができる。すなわち、
監視カメラの映像出力信号を前処理して、カメラ映像画面全体をm×m個のブロック(mは10≧m≧2、望ましくは10≧m≧4である整数)に分割し、各ブロック内の動きベクトルの大きさの総和を求めて各ブロックの動き量を計算し、カメラ映像画面の予め設定した領域内にあるブロックであって、動き量が当該画面中最大であるブロック(以下「動き最大ブロック」という)を見出し、1つのフレーム中の動き最大ブロックの座標(行番号,列番号)が(N,M)であるとき、次フレームにおける動き最大ブロックの座標が(N,M)または(M±1,N±1)であることをもって、当該2個のフレームにおける動き最大ブロック同士が時間的連鎖関係にあること(かかるブロックを「時間的連鎖ブロック」という)を検出し、k個(k≧3)のフレームの推移に伴って時間的連鎖ブロックが次々に連らなって形成するパターン(以下「連鎖ブロックパターン」という)を検出し、連鎖ブロックパターンが、監視対象物体が正常行動時に描くものとして予め設定したブロックの移動パターン(以下「正常パターン」という)に適合するか否か判別し、連鎖ブロックパターンが正常パターンに適合しない場合はアラーム信号を発し、連鎖ブロックパターンが無事、予め設定した監視対象物体の出現・消失領域に至ったときは、監視動作の1サイクルを終了することを特徴とする、動きベクトルを用いた映像監視方法である。
図1は、本発明に係る動きベクトルを用いた映像監視方法における動作を説明するフローチャーチである。
図1冒頭の「映像信号前処理」のステップ(S1)では、カメラ映像出力信号を前処理し、1フレームのカメラ映像画面をm×m個のブロックに分割する。ここにmは10≧m≧2、望ましくは10≧m≧4の整数である。本発明では、処理時間を短縮するため、動きの有無を判定する単位としてのブロックのサイズをかなり大きめに設定する。例えば16×16画素からなるいわゆるマクロブロックを単位とする場合は、1フレーム当たり1350回もの判定が必要であるのに対して、本発明では1フレームの分割数を100以下にしようとする(10≧m≧2)。ただし、この分割数が過少でブロックサイズが過大であると映像の細部が無視されるので、実用的には100〜16程度が適当である(m≧4)。
次いで、「ブロックの動きベクトル算出」ステップ(S2)において、例えば5×5のブロックに分割した各ブロック内各点の動きベクトルを算出する。動きベクトルを算出する単位領域としては、16×16画素からなるいわゆるマクロブロックも一候補であるが、これに限られない。また、このステップにおける動きベクトルの算出方法は、映像圧縮データ生成の際のMPEG2と同じ方法・条件を用いることもあるが、必ずしもこれに限られず、映像圧縮データ生成のMPEG2の装置または規格・条件の制約を受けない。
上記の各ブロックは複数の動きベクトルを含むので、これを「ブロックの動き量算出」ステップ(S3)において、当該ブロック自体の動き量に変換する。すなわち、下記数1により各ブロック内のそれぞれの動きベクトルの大きさ(絶対値)の総和を計算して、各ブロックの「動き量」を求める。
数1中のMは動き量、Viは動きベクトルである。添え字iの上限nは1ブロック中の動きベクトル計算単位の数で、例えば1フレームの画面を5×5個の大型ブロックに分割し、16×16画素の領域を動きベクトル計算単位とする場合は、n=54である。
各ブロックの動き量が把握されたなら、次に「動き量最大ブロックの探索」ステップ(S4)において、1フレームの画面中で動き量が最大値を示すブロックを図6に示すサーチ・テーブルを用いて探索し、特定する。
続いて、「最大ブロック判別」ステップ(S5)において、上で見出された動き量最大ブロックが、カメラ映像画面中に予め設定された監視対象物体の出現・消失予定領域(図5に示す映像画面外郭の斜線部分)内にあるか否かを判別する。もし領域外であれば当該動き最大ブロックは、この後に検討する連鎖ブロックパターンの出発点としては不適当(完全なパターンを描けない)であるから、ここまでの処理を中断して、制御を最初の「映像信号前処理」ステップ(S1)へ戻す。
当該の動き最大ブロックが適格性を有することが判明したならば、これを出発点として「時間的連鎖ブロック検出」ステップ(S6)を実行する。「時間的連鎖ブロック」の概念は次のようである。すなわち、1フレームの画面を構成するブロックのうち動き最大のブロックが或る位置に存在したとする。次フレームに入れ替わっても、次フレーム中の動き最大ブロックが前フレームの動き最大ブロックと空間的に近い位置に存在するときは、それら2つのフレームにおける動き最大のブロック同士は時間的連鎖をなすと考え、このような時間的連鎖関係にある1組のブロックを「時間的連鎖ブロック」と呼ぶ。上記の空間的に近い位置とは、たとえば図4において、Aブロックに対するブロックF,B,G,C,D,H,E,I の関係である。これらはAブロックについての時間的連鎖ブロックの候補である(同時に、異なるフレームの動き最大ブロックなら、Aブロックに対する時間的連鎖ブロックになる)。
時間とともにフレームが次々と推移するにつれて、時間的連鎖ブロックの空間的な連なりが形成され、その連なりがパターンを描く。これを「時間的連鎖ブロックパターン」と呼ぶ。図5は時間的連鎖ブロックの動きを示す領域を示している。丸数字はフレーム番号を示し、その位置は各フレームにおける動き量が最大値を示すブロックの位置である。×は動き量が最大値を示さないブロックの位置である。図中の黒い矢印は時間的連鎖ブロックパターンの一例を示している。「監視物体の異常状態・ルール違反判定」ステップ(S7)では、先ずこの時間的連鎖ブロックパターンを検出し、次いで当該パターンが「正常パターン」か否かを判定する。正常パターンは、監視対象の通常の動き方、カメラの位置等から予め定められている。もし、時間的連鎖ブロックパターンが正常パターンから外れる場合は、監視対象物体の異常状態、ルール違反等、何らかの異常が起きている恐れがあるのでアラームを発する。
時間的連鎖ブロックパターンが正常であるならば、このシステムは1サイクルの監視動作を終了し、次の監視サイクルを開始する。
本発明の映像監視方法によれば、監視TVカメラの映像中の、監視対象の動きの変化を鋭敏に検出し、何らかの異常発生の兆候を捉えてアラームを発することができる。これにより、横断歩道や繁華街およびビル内等に設置され、人や車の流れを撮影するTVカメラの大量の映像の中から、交通事故や事件の発生等の異常事態を自動的に検出して知らせることが可能になるから、事故の発生に迅速な対応ができ、事件等の発生には早期解決のための支援提供が可能になる。
本発明の映像監視方法では、動きベクトルを取り込む個所は映像圧縮装置または映像出力のいずれにも限定されず、映像圧縮装置とは無関係に構成することができる。
本発明の映像監視方法は、フレームの変化に伴う動きの領域の位置的変化・時間的変化、動きの途切れ、動きの大きさなどの特徴を統合的に把握した動き領域の判定条件を採用しているため、移動物体を正確に捉えることができ、精度の高い映像監視システムを構築できる。
本発明によって提供されるものは、移動物体の検出精度と処理速度の両立を目指した統合化ブロック応用の映像監視方法である。
この発明を実施するための最良の形態として、上記の映像監視方法に基づく映像監視装置を挙げることができる。すなわち、
監視カメラと、当該カメラの映像出力信号を前処理して、カメラ映像画面全体をm×m個のブロック(mは10≧m≧2、望ましくは10≧m≧5である整数)に分割する映像信号前処理部と、ブロック内各点の動きベクトルを計算する動きベクトル算出部と、
各ブロック内の動きベクトルの総和を求めて各ブロックの動き量を計算する動き量算出部と、カメラ映像画面中動き量が最大であるブロック(以下「動き最大ブロック」という)を見出す動き最大ブロック検出部と、前記動き最大ブロックが、カメラ映像画面中に予め設定した監視対象物体の出現・消失予定領域内にあるか否かを判別し、当該領域外の場合は制御を映像信号前処理部に戻す動き最大ブロック判別部と、1つのフレーム中の動き最大ブロックの座標(行番号,列番号)が(N,M)であるとき、次フレームにおける動き最大ブロックの座標が(N,M)または(M±1,N±1)であることをもって、当該2つのフレームにおける動き最大ブロック同士が時間的連鎖関係にあること(かかる1組のブロックを「時間的連鎖ブロック」という)を検出する時間的連鎖ブロック検出部と、k個(k≧3)のフレームの推移に伴って時間的連鎖ブロックが次々に連らなって形成されるパターン(以下「連鎖ブロックパターン」という)を検出する連鎖ブロックパターン検出部と、連鎖ブロックパターンが、監視対象物体が正常行動時に描くものとして予め設定したブロックの移動パターン(以下「正常パターン」という)に適合するか否か判別し、連鎖ブロックパターンが正常パターンに適合しない場合はアラーム信号を発する連鎖ブロックパターン適合性判定部と、連鎖ブロックパターンが再び前記監視対象物体の出現・消失予定領域に到達したときは、監視動作の1サイクルを終了する監視動作制御部とを備えることを特徴とする動きベクトルを用いた映像監視装置である。
各ブロック内の動きベクトルの総和を求めて各ブロックの動き量を計算する動き量算出部と、カメラ映像画面中動き量が最大であるブロック(以下「動き最大ブロック」という)を見出す動き最大ブロック検出部と、前記動き最大ブロックが、カメラ映像画面中に予め設定した監視対象物体の出現・消失予定領域内にあるか否かを判別し、当該領域外の場合は制御を映像信号前処理部に戻す動き最大ブロック判別部と、1つのフレーム中の動き最大ブロックの座標(行番号,列番号)が(N,M)であるとき、次フレームにおける動き最大ブロックの座標が(N,M)または(M±1,N±1)であることをもって、当該2つのフレームにおける動き最大ブロック同士が時間的連鎖関係にあること(かかる1組のブロックを「時間的連鎖ブロック」という)を検出する時間的連鎖ブロック検出部と、k個(k≧3)のフレームの推移に伴って時間的連鎖ブロックが次々に連らなって形成されるパターン(以下「連鎖ブロックパターン」という)を検出する連鎖ブロックパターン検出部と、連鎖ブロックパターンが、監視対象物体が正常行動時に描くものとして予め設定したブロックの移動パターン(以下「正常パターン」という)に適合するか否か判別し、連鎖ブロックパターンが正常パターンに適合しない場合はアラーム信号を発する連鎖ブロックパターン適合性判定部と、連鎖ブロックパターンが再び前記監視対象物体の出現・消失予定領域に到達したときは、監視動作の1サイクルを終了する監視動作制御部とを備えることを特徴とする動きベクトルを用いた映像監視装置である。
図2は本発明の一実施例としての映像監視装置の構成図である。図2において参照符号11はカメラ、12は映像信号前処理部、13は動きベクトル算出部、14は動き量算出部、15は動き量最大ブロック探索部、16は動き量最大ブロック判定部、17は時間的連鎖ブロック検出部、18は監視物体の異常状態・ルール違反判定部である。
カメラ11の映像出力を映像信号前処理部12でPフレーム(Pは自然数)の間隔で取り込み、1フレームの画面を例えば5×5=25個の大形ブロックに分割し、各大形ブロック内の動きベクトルの大きさ(絶対値)を求める。動きベクトルの大きさ(絶対値)はMPEG2の画像圧縮装置と同じ方法で求める。
すなわち、16×16画素からなるブロック(マクロブロック:以下「MB」という)を単位として、動く物体の移動距離すなわち動きベクトルを計算する。下記数式2 の値を最小とするMB内座標(a,b)により算出したスカラー値を動きベクトルの大きさ(絶対値)とする。なお、1画面を25個の大形ブロックに分割する場合(上例)は、1個の大形ブロック中に54個のMBが存在することになる。
数2においてXは画素の値(例えば明るさ)、添え字i及びa、j及びbはそれぞれMB内の垂直、水平座標位置、kはフレーム番号を表す。数2の式は、フレーム番号がkであるMB内の座標位置がi、jである画素の値と、フレーム番号がk−1であるMB内の座標位置が(i±a、j±b)である画素の値との差分を全ての(a、b)について求め、その絶対値を全て座標位置について合計し、動きベクトルの量(大きさ)を与える。
さらに、各MBついて求めた動きベクトルの大きさ(絶対値)の、前記大形ブロック内での総和を前記の数1により求める。このようにして大形ブロック内で求めた動きベクトルの総和を「動き量」と定義する。
1画面(1フレーム)の中で動き量の最大値を示すブロックを探索する機能の「サーチ・テーブル」を持つ動き量最大ブロック探索部15により、動き量の最大値を示すブロックを見出す。図6にサーチ・テーブルを示す。このテーブルは、左から右へ順にブロック番号、フレーム番号、行番号(R)、列番号(C)、動き量(Y)、最大値フラグをもって構成されている。
図6により動き量の最大値を求める手順を説明する。以下の説明においてY1、Y2、Y3、……は、図6のテーブルの上から1番目、2番目、3番目……の動き量Yの値を示す。例えば、
Y2−Y1>0 ならば Y2が最大値を示すものとしてフラグを1とする。
Y2−Y1<0 ならば フラグを入れない(0とする)。
Y3−Max値(フラグ1の値)>0ならばY2 のフラグを0としY3のフラグを1とする。
こうして、動き量の最大値を示すブロック番号を見出すことができる。
Y2−Y1>0 ならば Y2が最大値を示すものとしてフラグを1とする。
Y2−Y1<0 ならば フラグを入れない(0とする)。
Y3−Max値(フラグ1の値)>0ならばY2 のフラグを0としY3のフラグを1とする。
こうして、動き量の最大値を示すブロック番号を見出すことができる。
サーチ・テーブル図6における最大値を示すブロックの「最大値フラグ」項目にフラグ1が立つ。逆にサーチ・テーブル図6の「最大値フラグ」が1となっているブロック番号を検索することができるので、その行番号と列番号を読み取れば動き量最大値を示すブロックの行番号と列番号を特定することができる。
上で動き量が最大であるブロックを求めたが、次に、当該ブロックが予め設定した「監視対象物体の出現・消失領域」(図5参照)に属するか否かを動き量最大ブロック判定部16において判定する。その理由は、後述する連鎖動ブロックパターンが、この領域以外の場所から出発すると完全なパターンを描くことができないので、そのような事態を防止するためである。この判定結果がYESであれば、次項の時間的連鎖動ブロック検出部17へ進む。この際、「動き量が最大であるブロック」の大きさを予め設定した動き量の範囲、例えば、車の速度に基づく動き量の範囲とか、人の速度による動き量の範囲などで区分し、次の時間的連鎖ブロック検出部17へ進む。
時間的連鎖ブロックの概念は次のようである。1つのフレーム中の動き量最大ブロックの座標(行番号、列番号)が(N,M)であるとき、次フレームにおける動き量最大ブロックの座標が(N,M)または(N±1,M±1)であるならば、これら2つのフレームにおける動き量最大ブロックは時間的連鎖性を有すると考え、かかる1組の動き量最大ブロックを「時間的連鎖ブロック」と呼ぶ。
取り込んだPフレームに亘り、まず、図6のサーチ・テーブルをフラグ1をキーとして検索し、図7の連鎖ブロック・テーブルを作成する。連鎖ブロックテーブルは、フラグ、フレーム番号、ブロック番号、行番号R、列番号C、動き量Yから構成される。
フレームごとに最大値を示したブロック番号、レコード(行番号、列番号、動き量)が分かっているので、連鎖データであるかどうかを判別しながら図7の連鎖ブロック・テーブルを作って行く。直前のフレームにおいて動き量最大ブロックの座標(行番号、列番号)が(M,N)であるとする。次フレームになったとき動き量最大ブロックの座標が(N,M)または(N±1,M±1)に等しいかどうかを判別をする。成立すれば、該当のブロックが同一ブロックか、または隣接のブロックであるかが判断されるので、該当のブロック番号、行番号、列番号、動き量を連鎖ブロック・テーブル図7に転記する。成立しなければ該当のブロックの、行番号R、列番号C、動き量には"0"と入力する(「ブロック番号」のみを入力する)。
k個(k≧3)のフレームの推移に伴って時間的連鎖ブロックが次々に連らなって一つのパターンが形成される。これを「連鎖ブロックパターン」と呼ぶ。監視物体異常状態、ルール違反判定部18では、連鎖ブロックパターンが、監視対象物体が正常行動時、またはルール遵守時に描くものとして予め設定したブロックの移動パターン(以下「正常パターン」という)に適合するか否か判別し、連鎖ブロックパターンが正常パターンに適合しない場合はアラーム信号を発する。
動く物体がものかげに入ったり、事故や事件等の発生で停止する場合や、停車禁止の場所での停止などで、連鎖ブロックテーブルの動き量が"0"になるこよがありうる。これらの場合、動き量"0"が例えば5フレーム以内で連続する場合は、単に動く物体がものかげに入った場合、すなわち正常とし、5フレーム以上動き量"0"が連続する場合は、異常、ルール違反の発生と判定する補助的論理を設ける。
図5は、時間的連鎖ブロックの動きを示している。丸数字の番号はフレーム番号で、各フレームの動き量最大のブロックを示す。×は各フレーム内の動きの最大値を示さないブロックである。破線は交差点の俯瞰図をイメージしたものである。図5に示すように最大値を示すブロックの時間的変化が隣り合う(斜め隣も含む)関係にある経過を示すとき、このブロックを「時間的連鎖動ブロック」という。図8に示すように、この「時間的連鎖動ブロック」の領域パターンが、予め設定した交通規則適合の基準ブロック領域パターンとの比較によって、パターンと一致していれば、物体や人物の動きが正常、または、ルールに合致していると判定し、パターンと一致しなければ車や人の動きが異常、または、ルールに合致していないと判定する。
本発明は、種々の場所でいろいろの目的に添った現象を監視するために、カメラ入力画像を分析、演算して目的とする画像を短時間に的確に取り出そうとするものである。したがって、次のような多くの分野での利用が期待される。
(1)道路の監視システムとして、交通事故や車の流れの異常現象の抽出。
(2)繁華街での事故、事件の監視と防犯。
(3)ビル内の監視カメラとして、人の出入りや、出入口やエレベ−タでの事故の監視、および夜間の防犯、防災 の監視。
(4)工場の連続運転(発電、原発、溶鉱炉、石油精製)の事故監視。
(5)個人住宅の防犯、防災の監視。
(1)道路の監視システムとして、交通事故や車の流れの異常現象の抽出。
(2)繁華街での事故、事件の監視と防犯。
(3)ビル内の監視カメラとして、人の出入りや、出入口やエレベ−タでの事故の監視、および夜間の防犯、防災 の監視。
(4)工場の連続運転(発電、原発、溶鉱炉、石油精製)の事故監視。
(5)個人住宅の防犯、防災の監視。
11 カメラ
12 映像信号前処理部
13 動きベクトル算出部
14 動き量算出部
15 動き量最大ブロック探索部
16 動き量最大ブロック判定部
17 時間的連鎖ブロック検出部
18 監視物体の異常状態・ルール違反判定部
12 映像信号前処理部
13 動きベクトル算出部
14 動き量算出部
15 動き量最大ブロック探索部
16 動き量最大ブロック判定部
17 時間的連鎖ブロック検出部
18 監視物体の異常状態・ルール違反判定部
Claims (2)
- 監視カメラの映像出力信号を前処理して、カメラ映像画面全体をm×m個のブロック(mは10≧m≧2、望ましくは10≧m≧5である整数)に分割し、
各ブロック内の動きベクトルの大きさの総和を求めて各ブロックの動き量を計算し、
カメラ映像画面中動き量が最大であるブロック(以下「動き量最大ブロック」という)を見出し、
当該動き量最大ブロックが、カメラ映像画面中に予め設定した監視対象物体の出現・消失予定領域内にあるか否かを判別し、領域外の場合は前記前処理のステップに戻り、
1つのフレーム中の動き量最大ブロックの座標(行番号,列番号)が(N,M)であるとき、次フレームにおける動き量最大ブロックの座標が(N,M)または(M±1,N±1)であることをもって、当該2個のフレームにおける動き量最大ブロック同士が時間的連鎖関係にあること(かかる1組のブロックを「時間的連鎖ブロック」という)を検出し、
k個(k≧3)のフレームの推移に伴って時間的連鎖ブロックが次々に連らなって形成されるパターン(以下「連鎖ブロックパターン」という)を検出し、
連鎖ブロックパターンが、監視対象物体が正常行動時に描くものとして予め設定したブロックの移動パターン(以下「正常パターン」という)に適合するか否か判別し、
連鎖ブロックパターンが正常パターンに適合しない場合はアラーム信号を発し、適合する場合は監視動作の1サイクルを終了して次サイクルを開始することを特徴とする、動きベクトルを用いた映像監視方法。 - 監視カメラと、
当該カメラの映像出力信号を前処理して、カメラ映像画面全体をm×m個のブロック(mは10≧m≧2、望ましくは10≧m≧5である整数)に分割する映像信号前処理部と、
ブロック内各点の動きベクトルを計算する動きベクトル算出部と、
各ブロック内の動きベクトルの総和を求めて各ブロックの動き量を計算する動き量算出部と、
カメラ映像画面中動き量が最大であるブロック(以下「動き量最大ブロック」という)を見出す動き最大ブロック検出部と、
前記動き量最大ブロックが、カメラ映像画面中に予め設定した監視対象物体の出現・消失予定領域内にあるか否かを判別し、当該領域外の場合は制御を映像信号前処理部に戻す動き量最大ブロック判別部と、
1つのフレーム中の動き量最大ブロックの座標(行番号,列番号)が(N,M)であるとき、次フレームにおける動き量最大ブロックの座標が(N,M)または(M±1,N±1)であることをもって、当該2つのフレームにおける動き量最大ブロック同士が時間的連鎖関係にあること(かかる1組のブロックを「時間的連鎖ブロック」という)を検出する時間的連鎖ブロック検出部と、
k個(k≧3)のフレームの推移に伴って時間的連鎖ブロックが次々に連らなって形成されるパターン(以下「連鎖ブロックパターン」という)を検出する連鎖ブロックパターン検出部と、
連鎖ブロックパターンが、監視対象物体が正常行動時に描くものとして予め設定したブロックの移動パターン(以下「正常パターン」という)に適合するか否か判別し、連鎖ブロックパターンが正常パターンに適合しない場合はアラーム信号を発し、適合する場合は監視動作の1サイクルを終了して次サイクルを開始する、連鎖ブロックパターン適合性判定部とを備えることを特徴とする、動きベクトルを用いた映像監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004096704A JP2005284652A (ja) | 2004-03-29 | 2004-03-29 | 動きベクトルを用いた映像監視方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004096704A JP2005284652A (ja) | 2004-03-29 | 2004-03-29 | 動きベクトルを用いた映像監視方法及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005284652A true JP2005284652A (ja) | 2005-10-13 |
Family
ID=35182967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004096704A Pending JP2005284652A (ja) | 2004-03-29 | 2004-03-29 | 動きベクトルを用いた映像監視方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005284652A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8515124B2 (en) | 2010-02-04 | 2013-08-20 | Electronics And Telecommunications Research Institute | Method and apparatus for determining fake image |
KR101436283B1 (ko) | 2014-03-28 | 2014-08-29 | 주식회사 성우음향정보통신 | 영상분석 서버를 통한 미래 발생범죄 예측 시스템 |
KR101513215B1 (ko) * | 2014-03-28 | 2015-04-17 | 주식회사 로보티어 | 객체 행동패턴 cctv 영상 분석서버 |
CN108846491A (zh) * | 2018-08-08 | 2018-11-20 | 中链科技有限公司 | 基于区块链的车辆事故处理方法及装置 |
CN110379173A (zh) * | 2019-07-24 | 2019-10-25 | 南京邮电大学 | 一种基于共享单车多模态数据的非机动车交通违规行为识别方法 |
WO2019244341A1 (ja) * | 2018-06-22 | 2019-12-26 | 日本電気株式会社 | 処理装置、処理方法及びプログラム |
KR102061915B1 (ko) * | 2018-11-26 | 2020-01-02 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 분류 방법 |
KR20200100489A (ko) * | 2019-02-18 | 2020-08-26 | 이노뎁 주식회사 | 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법 |
JP2020170252A (ja) * | 2019-04-01 | 2020-10-15 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
-
2004
- 2004-03-29 JP JP2004096704A patent/JP2005284652A/ja active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8515124B2 (en) | 2010-02-04 | 2013-08-20 | Electronics And Telecommunications Research Institute | Method and apparatus for determining fake image |
KR101436283B1 (ko) | 2014-03-28 | 2014-08-29 | 주식회사 성우음향정보통신 | 영상분석 서버를 통한 미래 발생범죄 예측 시스템 |
KR101513215B1 (ko) * | 2014-03-28 | 2015-04-17 | 주식회사 로보티어 | 객체 행동패턴 cctv 영상 분석서버 |
JPWO2019244341A1 (ja) * | 2018-06-22 | 2021-07-26 | 日本電気株式会社 | 処理装置、処理方法及びプログラム |
JP7056737B2 (ja) | 2018-06-22 | 2022-04-19 | 日本電気株式会社 | 処理装置、処理方法及びプログラム |
WO2019244341A1 (ja) * | 2018-06-22 | 2019-12-26 | 日本電気株式会社 | 処理装置、処理方法及びプログラム |
CN108846491A (zh) * | 2018-08-08 | 2018-11-20 | 中链科技有限公司 | 基于区块链的车辆事故处理方法及装置 |
KR102061915B1 (ko) * | 2018-11-26 | 2020-01-02 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 분류 방법 |
WO2020171388A3 (ko) * | 2019-02-18 | 2020-10-22 | 이노뎁 주식회사 | 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법 |
KR102177494B1 (ko) | 2019-02-18 | 2020-11-11 | 이노뎁 주식회사 | 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법 |
KR20200100489A (ko) * | 2019-02-18 | 2020-08-26 | 이노뎁 주식회사 | 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법 |
JP2020170252A (ja) * | 2019-04-01 | 2020-10-15 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
CN110379173A (zh) * | 2019-07-24 | 2019-10-25 | 南京邮电大学 | 一种基于共享单车多模态数据的非机动车交通违规行为识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230300466A1 (en) | Video surveillance system and video surveillance method | |
JP4966012B2 (ja) | 監視ビデオの変化をサーチするためのシステム及び方法 | |
US11776274B2 (en) | Information processing apparatus, control method, and program | |
KR102195706B1 (ko) | 침입 탐지방법 및 그 장치 | |
KR101541272B1 (ko) | 사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법 | |
JP2005284652A (ja) | 動きベクトルを用いた映像監視方法及び装置 | |
JP7314973B2 (ja) | 映像監視装置、映像監視方法及びプログラム | |
KR101572366B1 (ko) | 지능형 영상 감시 시스템을 위한 납치 상황 인식 방법 | |
KR102046591B1 (ko) | 영상 감시 시스템 및 영상 감시방법 | |
JP5758165B2 (ja) | 物品検出装置および静止人物検出装置 | |
JP6253950B2 (ja) | 画像監視システム | |
JP2006285399A (ja) | 交差点における車両の動きを監視するための映像監視方法及び装置 | |
JPH06266774A (ja) | 映像データ保存装置 | |
KR20100077662A (ko) | 지능형 영상감시 시스템 및 영상감시 방법 | |
CN113537165B (zh) | 一种行人打闹的检测方法和*** | |
KR102407202B1 (ko) | 지능형 영상 분석 장치 및 방법 | |
Foggia et al. | A Method for Detecting Long Term Left Baggage based on Heat Map. | |
KR20030040434A (ko) | 지원 또는 증거 자료를 필요로 하는 사건을 검출하기 위한영상 기반 방법 및 장치 | |
WO2020139071A1 (en) | System and method for detecting aggressive behaviour activity | |
JP6954416B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR101212466B1 (ko) | 영상 감시 방법 | |
JPH03280688A (ja) | 画像監視装置 | |
Cho et al. | Performance Evaluation of Video Based Obstacle Detection Algorithm for Railway Level Crossing |