JP2001325672A - 侵入者監視システム - Google Patents
侵入者監視システムInfo
- Publication number
- JP2001325672A JP2001325672A JP2000143551A JP2000143551A JP2001325672A JP 2001325672 A JP2001325672 A JP 2001325672A JP 2000143551 A JP2000143551 A JP 2000143551A JP 2000143551 A JP2000143551 A JP 2000143551A JP 2001325672 A JP2001325672 A JP 2001325672A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- moving object
- intruder
- difference
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
背景の輝度は必ずしも一定ではなく、しきい値を固定値
とすれば、最適な移動物体領域の取得が行えない。ま
た、距離の近い移動物体領域同士をマッピングする方法
では、移動物体領域の形状に凹凸や穴を多く含む場合、
適切なマッピングが行えない。 【解決手段】 撮影手段で撮影した空間範囲への侵入者
を監視するシステムであって、撮像結果のうち、基準と
なるリファレンスフレームと逐次更新されるカレントフ
レームとの画像情報の差分であるフレーム差分を算出す
る手段と、カレントフレームの更新毎にリファレンスフ
レームとカレントフレームとの画像情報の差分に応じて
マスク抽出用しきい値を決定する手段と、フレーム差分
がマスク抽出用しきい値を越える領域を移動物体領域と
判定する移動物体判定手段と、前記移動物体領域の情報
に基づいて侵入者の判定を行う侵入者判定手段とを備え
る。
Description
り取得した撮影画像から、画像を解析し、侵入者(物)
を検知することを可能とする侵入者監視システムの構成
に関する。
内や廊下、ホール等において設置された監視カメラから
画像を取得し、デジタル解析処理を行うことで、侵入者
(移動物体)の検知を可能とするものである。
ない通常状態の撮影画像をリファレンスフレームとし、
これに対して、逐次撮影され取得される画像をカレント
フレームとし、このリファレンスフレームとカレントフ
レームの差分データを抽出する。この抽出された差分デ
ータは画像情報に変化が生じていることを意味するもの
であり、抽出された差分データに対して、予め与えられ
た固定しきい値により比較処理を行い、抽出された差分
データの中から移動物体領域を取得する。
体領域のマッピングを行う。マッピングは距離の近い移
動物体領域を同一の対象物として関連づけることによ
り、移動物体領域の動作の解析を行うための前提処理で
あり、この関連付けられた移動物体領域が連続的に出現
しているか否かを解析することで、侵入者の判定を行う
ようにしている。
動物体領域の抽出処理において、侵入者と背景の輝度は
必ずしも一定とは限らないので、しきい値を固定値とし
ている場合には、最適な移動物体領域の取得が行えない
という問題がある。
ピングする方法では、移動物体領域の形状に凹凸や穴を
多く含む場合には、適切なマッピングが行えないといっ
た問題もある。
データ(対象物)が、連続的(連続時間)に出現してい
るかどうかのみを判定する処理であれば、植物やカーテ
ンの揺れ等を誤検知する傾向がある。
物体領域の最適な取得と、精度の高い侵入者判定を可能
とした侵入者監視システムを提供することを目的とす
る。
め、請求項1記載の発明は、撮像手段によってフレーム
単位で得られた画像に基づいて、前記撮像手段で撮像し
た空間範囲への侵入者を監視するシステムであって、前
記撮像手段による撮像結果のうち、基準となるリファレ
ンスフレームと、逐次更新されるカレントフレームとの
画像情報の差分であるフレーム差分を算出するフレーム
差分検出手段と、前記カレントフレームの更新毎に、前
記リファレンスフレームと前記カレントフレームとの画
像情報の差分に応じてマスク抽出用しきい値を決定する
しきい値決定手段と、前記フレーム差分が前記マスク抽
出用しきい値を越える領域を移動物体領域と判定する移
動物体判定手段と、前記移動物体領域の情報に基づいて
侵入者の判定を行う侵入者判定手段と、を備えることを
特徴とする。
載の侵入者監視システムにおいて、前記フレーム差分検
出手段が、前記リファレンスフレームと前記カレントフ
レームとのそれぞれについて背景領域を検出する背景検
出手段と、前記リファレンスフレームと前記カレントフ
レームとのそれぞれについて、それぞれの局所的画像情
報を前記背景領域の画像情報の平均値を用いて正規化
し、それによって正規化リファレンスフレームと正規化
カレントフレームとを得る正規化手段と、前記正規化リ
ファレンスフレームと前記正規化カレントフレームとの
差分として前記差分フレームを得る手段と、を備えるこ
とを特徴とする。
載の侵入者監視システムにおいて、前記侵入者判定手段
が、前記リファレンスフレームにおける第1の移動物体
領域と、前記カレントフレームにおける第2の移動物体
領域とについて所定の種類の特性量を算出する特性量算
出手段と、前記第1と第2の移動物体領域のそれぞれに
ついての前記特性量の相互関係に基づいて、前記第1と
第2の移動物体領域の対応関係を判定する対応関係判定
手段とを備え、前記特性量が、前記第1と第2の移動物
体領域の相対距離のほかに、少なくとも、前記第1と第
2の移動物体領域のそれぞれの空間サイズの相対関係
と、前記第1と第2の移動物体領域の光学的性質の相対
関係とのうちの一方を含むことを特徴とする。
載の侵入者監視システムにおいて、前記侵入者判定手段
が、さらに、前記対応関係判定手段によって、各移動物
体領域の時間的連鎖を特定する連鎖特定手段と、前記時
間的連鎖において、前記移動物体領域の移動の連続性と
直進性とをパラメータとして、当該時間的連鎖が侵入者
に相当するものであるか否かを判定するマルチパラメー
タ型判定手段とを備えることを特徴とする。
いし請求項4のいずれかに記載の侵入者監視システムに
おいて、さらに、過去の複数の連続フレームにおける共
通の背景領域を抽出する手段と、前記複数の連続フレー
ムに共通の背景領域以外の局所的画像情報を、各フレー
ムにおける前記共通背景領域の画像情報を用いて正規化
する手段と、前記正規化された共通の背景領域以外の画
像情報の分散が所定の値より下回る場合に、前記カレン
トフレームを新たなリファレンスフレームとして更新す
ることを特徴とする。
実施の形態について説明する。この実施の形態のシステ
ムは、屋内に取り付けられた固定監視カメラによってそ
の屋内の状況を監視し、監視カメラで得られた画像デー
タをデジタル処理することによって、侵入者などが発見
されると、警報を出すシステムとして構成されている。
なお、以下の説明においては、本発明に係る画像監視シ
ステムの処理手順を(1)移動物体領域の抽出処理、
(2)移動物体領域のマッピング処理、(3)侵入判定
処理、(4)リファレンス更新処理の4つの処理に分け
て説明する。
概略構成について説明する。監視カメラ1によって撮影
された画像(デジタル)情報は、インターフェース(I
/F)を介して画像処理装置2(PC等で構成される)
に取り込まれ、逐次メモリ4(ディスク)内に保存され
る。このうち侵入者がいないと判断されている状態の画
像情報をリファレンスフレームとし、時々刻々取得され
る最新の画像情報をカレントフレームとする。各フレー
ムの各部における局所的画像情報は、マトリクス配列さ
れたそれぞれの画素における検出輝度を所定のデータ長
のデジタル情報として保持している。また、リファレン
スフレームの初期画像情報は既にメモリ4に記憶されて
いるとして以下の説明を行う。そして、画像処理装置2
はMPU3を具備しており、取り込まれた画像情報を解
析し、通信I/F6・7を介して警報装置8に対して警
報命令を発するよう構成している。
まず、ステップs1において、メモリ4から初期リファ
レンスフレームy0(図17(a)に示す)の読み込み
を行うと共に、前処理を行う。前処理は、一般の画像処
理において行われる画像平滑化操作であり、各フレーム
を複数のブロックに分割し、各ブロックに属する画素の
輝度を当該ブロックに属する画素の輝度平均値で置き換
えるなどの平滑化を行って雑音を除去する処理や、フレ
ーム端の無効領域を省く等の処理である。このようにし
てブロック単位で前処理されたリファレンスフレームy
0をリファレンスフレームy0Bとする(図17(c)
に示す)。
おいても、各ブロックはフレームの各部の局所的画像情
報を表現しており、局所エリアが画素単位から画素ブロ
ック単位に変わっているだけである。
ループ処理を開始する。ループ処理内では、まず、ステ
ップs2において、カレントフレームy1(図17
(b)に示す)を監視カメラ1またはその撮像出力をバ
ッファするメモリ領域から読込むとともに、同様の平滑
化を含む前処理を行う。そして、このようにしてブロッ
ク単位で前処理されたカレントフレームy1をカレント
フレームy1Bとする(図17(d)に示す)。この時
点で前処理されたリファレンスフレームy0Bとカレン
トフレームy1Bが取得される。そして、次にステップ
s3を行う。
する。ステップs3は移動物体領域の抽出処理であり、
図2に示すようにs31〜s34よりなる処理であり、
まず、ステップs31(=処理手順sA)において背景
領域を求める。処理手順sAは背景領域抽出フローであ
り、図3に示すように、まず、リファレンスフレームy
0の画素(ピクセル)毎に、輝度が0であるかどうか
(y0==0であるかどうか)の判定を行う(ステップ
sA1)。y0==0である場合には、指標値Dyに
1.0をセットし(ステップsA2)、y0==0でな
い場合には、y1/y0より求まる値を指標値Dyにセ
ットする(ステップsA3)。したがって、この指標値
Dyは、同じ画素について、リファレンスフレームの画
素値y0に対するカレントフレームの画素値y1の相対
値を表現している。したがって、仮にカレントフレーム
の画素値y1とリファレンスフレームの画素値y0が同
一であれば指標値Dyは基準値「1」であり、指標値D
yの基準値「1」からのずれが、当該画素につき、リフ
ァレンスフレームの輝度からのカレントフレームの輝度
の統計的変動を表現していることになる。
毎(例えば16×16ピクセル等)に指標値Dyの標準
偏差SDを求める。標準偏差SDは各ブロック内の指標
値Dyのばらつき度合いを示すものであるので、標準偏
差SDの小さいブロックはリファレンスフレームy0に
対してカレントフレームy1の画像情報の変化(輝度の
変化)が小さいことを意味する。
おいては0.005)をセットし(ステップsA5)、
標準偏差SDのヒストグラムを指標値SB刻みに0.0
1から1.0まで作成し(ステップsA6)、ヒストグ
ラムの累積頻度を求める(ステップsA7)。累積頻度
が小さい方から例えば70%を越えるインデックスを臨
界インデックスidxにセットし(ステップsA8)、
臨界インデックスidxに指標値SB(0.005)を
乗算し、しきい値STを取得する(ステップsA9)。
これはフレームの全面積の70%程度までが背景領域と
考えられる経験に基づくもので、累積頻度が何%を越え
るまでを背景領域と設定するかは環境により適宜変更す
ればよい。
理において、ブロックの標準偏差SDと,しきい値ST
との比較処理を行い(ステップsA10)、標準偏差S
Dがしきい値STを下回る場合には、当該ブロックを背
景領域と判断し、bkフラグに1をセットする(ステッ
プsA11)。標準偏差SDがしきい値STを上回る場
合には、当該ブロックが背景領域でないと判断し、bk
フラグに0をセットする(ステップsA12)。以上の
処理によりカレントフレームy1におけるブロック単位
での背景領域が決定される。
リファレンスフレームy0Bとカレントフレームy1B
を正規化し、そのフレーム差分Meを抽出する(ステッ
プs32(=処理手順sB))。
あり、図4に示すように、リファレンスフレーム及びカ
レントフレームのそれぞれにつき、まず背景領域の平均
値y0m、y1mを求める(ステップsB1)。平均値
y0mはリファレンスフレームy0の中で、前述した処
理手順sAにおいて背景領域(bkフラグ=1)と判断
されたブロックにおける輝度の平均値であり、次式の数
1で与えられる。ただし、式数1におけるNはbk
[i]=1を満たすiの個数である。なお、平均値y1
mは次式においてy0mをy1m、y0Bをy1Bに置
き換えたものとなる。
ック毎に平均値y0mで除算することにより正規化し、
カレントフレームy1Bをブロック毎に平均値y1mで
除算することにより正規化し、次式の数2で与えられる
差分の絶対値であるフレーム差分Meを求める(ステッ
プsB2)。数2中のパラメータkは、リファレンスフ
レームy0Bとカレントフレームy1Bの全てのブロッ
クに対してフレーム差分Meを算出することを意味す
る。図18(a)はフレーム差分Meで表現された画像
である。
しきい値THを求める(ステップs33(=処理手順s
C))。
フローであり、図5のフローチャートに示すように、フ
レーム差分Meのヒストグラムを作成し(ステップsC
1)、累積頻度を算出する(ステップsC2)。次に、
累積頻度の何%程度を移動物体領域として抽出するかの
指標である固定のしきい値Tfでフィルタリングを行い
(ステップsC3)、マスク抽出用しきい値THを得る
(ステップsC4)。
まり輝度変動が小さなブロックからブロック数をカウン
トしていった累積頻度分布のカーブにおいて、その傾斜
(累積頻度分布に微分フィルタを施したもの)が当該固
定しきい値Tfに到達するようなフレーム差分Meの値
を、マスク抽出用しきい値THとする。
述した処理手順sBで求めたブロック毎のフレーム差分
Meと、処理手順sCで求めたマスク抽出用しきい値T
Hを比較し、フレーム差分Meがマスク抽出用しきい値
THを上回るブロックを移動物体領域(以下、適宜マス
クと称す)と判断する。図18(b)は抽出されたマス
クを示す画像情報である。
領域を抽出する手段と、処理手順sBで説明したフレー
ム差分を算出する手段と、フレーム差分のうち、マスク
抽出用しきい値を越える領域を移動物体領域と判定する
システムにおいて、マスク抽出用しきい値は、リファレ
ンスフレームとカレントフレームの輝度差分に応じて決
定する、つまり、処理手順sCで説明したように、フレ
ーム差分Meのヒストグラムから、逐次マスク抽出用し
きい値THを決定するようにしているので、侵入者や背
景の輝度の変化に影響を受けず、移動物体領域の抽出を
従来に比べて確実に行うことが可能となった。
規化はリファレンスフレームとカレントフレームのブロ
ック毎の輝度を背景領域の輝度平均値で除算する処理と
したので、従来のようにフレーム全体ではなく、背景領
域のみの輝度平均値で正規化を行うため、蛍光灯のフリ
ッカ、日照条件の変化等の輝度変化に影響を受けず、移
動物体領域の安定した抽出処理を可能とした。
ータを処理する機能の側面から表したものを図6に示
す。
ピング処理(ステップs4)を行う。マッピング処理と
は、侵入者が動いた軌跡を得るため、カレントフレーム
y1のマスクと過去のマスクとの対応をとる処理であ
り、図7に示すように、マスク同士の距離、面積比、輝
度比をもとに評価される。
(b)はカレントフレームのマスクを示す一例であり、
1フレーム前にはA1・A3の2つのマスク、カレント
フレームにはB1・B2・B3の3つのマスクが存在し
ている。
ーム前のマスクAj(j=1,2,・・・)及びカレン
トフレームのマスクBi(i=1,2,・・・)の属性
を表したデータベースであり、それぞれのマスクAj、
Biに対して、中心座標、面積、輝度の属性を持たせて
いる。このデータベースはメモリ4の中に更新可能に記
憶されている。各マスクに対してこのような属性を持た
せた上で、図10に示すフローチャートを用いてステッ
プs4(移動物体領域のマッピング処理)を説明する。
クAjに対してそれぞれループ処理され、さらに、各マ
スクAjに対して、カレントフレームの各マスクBiの
総当たりのループ処理を行う。まず、ステップs41に
おいて、1フレーム前のマスクAjとカレントフレーム
のマスクBiとの間の距離Dis、面積比Ara、輝度
比Yraを求める。距離Disは、マスクAj・Biの
中心(重心)座標Aj_c、Bi_c間の通常の距離で
あり、面積比Araは、マスクAj・Biの面積Aj_
a、Bi_aのうち、小なるものを大なるもので除した
値(比)であり、輝度比Yraは、マスクAj・Biの
輝度Aj_y、Bi_yのうち、小なるものを大なるも
ので除した値(比)である。
s41で求めた距離Dis、面積比Ara、輝度比Yr
aについて判定処理を行う。本実施形態では、Ara≧
0.1、かつ、Dis≦DL、かつ、Yra>0.5を
満たす場合、つまり、マスク間の距離が予め設定された
値DLより小さく、面積比Araが0.1以上で、輝度
比Yraが0.5以上である場合に、マスクAjとマス
クBiとが相互に関連付けられる候補として、フラグf
g(i,j)に1をセットする(ステップs43)。一
方、上記条件を満たさない場合には、マスク同士は関連
がないと判断し、フラグfg(i,j)に0をセットす
る(ステップs44)。
の下限値は、本実施形態ではそれぞれ0.1及び0.5
としているが、この設定値は特に限定されるものではな
く、最適なマッピング(関連付け)が行える値に適宜変
更されるものである。
jとマスクBiの類似度F(i,j)を求める。類似度
F(i,j)は、マスクAj,Bi間の距離及び面積比
から算出されるもので、距離が近く、面積比が大きい程
類似度Fが大きくなる。そして、類似度Fが大きいほ
ど、マスクAj,Biの関連性が強いことを意味する。
一般的には、距離については減少関数であり、かつ面積
比については増加関数となっているような類似度関数を
使用することができる。
を全てのカレントマスクBiに対して処理した後、フラ
グfg(i,j)に1がセットされたiに対して、即
ち、ステップs42において距離、面積比、輝度比から
マッピングの候補に上げられたマスクの中で、類似度F
が最大となるマスクBiを、マスクAjが移動した後の
マスクとしてマッピングする(ステップs46)。
従来に比べて最適なマッピング処理が行える。つまり、
従来は距離の近いマスク同士をマッピングするという単
純な処理を行っていたため、マスクに凹凸や穴を多数含
む場合には、マスクの凹凸や穴の相対的な動きによって
マスクの中心位置が変動するために、移動前後のマスク
の中心間距離の信頼性が低くなり、誤認識をする可能性
があった。また、距離だけをパラメータとしている場
合、複数のマスクが隣接して存在する状態においてマッ
ピングを行うのは困難となる。そこで、本発明は独立し
た3つのパラメータ(距離、面積比、輝度比)を用いる
ことで、定量的、且つ、精度の高いマッピング処理を可
能としているのである。
イズを表現する特性量の1態様であり、輝度比はマスク
の光学的性質(光の反射率など)を表現する特性量の1
態様であるため、一般的には、マスク間の距離のほか
に、マスク間の空間サイズの類似度と、光学的性質の類
似度とを考慮してマスクのマッピングを行っていること
になる。
クに対してはマッピングされた過去のマスクと同一の番
号を振る。番号が振られ、移動物体と認識された対象を
ラベルと呼ぶ。図18(c)は1フレーム前のラベルを
示し、図18(d)はマッピング後のマスクを示してお
り、同一の番号が振られたマスクに対しては同一の輝度
で表示している。
域(マスク)に番号を付与してラベルを生成した後、ス
テップs5においてフレーム内にラベルが存在するか否
かの判定を行う。ラベルが1つでも存在する、つまり過
去のマスクと関連付けされ(マッピングされ)たマスク
が存在する場合には、ステップs6において各ラベルの
重心計算及び軌跡を求め、過去の軌跡に相当する時間的
連鎖を基に進入判定を行う。
移動ベクトルの直進性と、移動ベクトルの連続数により
判定される。この判定処理について図12のフローチャ
ートを用いて説明する。まず、ステップs61(=処理
手順sD)において、進入判定の為のパラメータである
Dm(移動物体の直進性を示す)、Lm(同じく移動物
体の直進性を示す)、len(過去数秒間でのラベルの
連続数を示す)を計算する。
図13に示す。まず、ステップsD1において、予め設
定された時間幅(例えば3秒間)における過去のラベル
の連続数を求め連続数lenにセットする。ラベルの連
続数とは、同一の番号が振られたマスク、つまり同一の
ラベルが過去の連続したフレームで出現している回数で
ある。
ルVi及び動きベクトルの差分ベクトルDiを求める。
動きベクトルViは図14に示すように、過去の連続し
たラベルの重心座標Cn(n=1,2,,)を結ぶベク
トルである(図18(e)にラベルの軌跡を示す)。
トルViの絶対値の平均値VA(つまり、各マスクの重
心間の平均距離)を求める。そして、平均値VAと所定
の基準値Epの比較処理(ステップsD4)を行う。基
準値Epはパラメータ計算を行う前段階で、隣接するフ
レーム間での移動量が平均的に小さなマスクに対して
は、計算処理をキャンセルさせるためのものであり、平
均値VAが基準値Epを下回る場合には、そのマスクは
著しく低速で動いているものに相当するため、侵入者と
の判断から除外する。
は、ステップsD5において、次のような判定処理を行
う。動きベクトルVi(i=1,2,・・・)のうち、
絶対値の最大のものをmax(|vi|)で表せば、最
大絶対値の0.1倍よりも絶対値の小さいベクトルを|
Vi|<max(|Vi|)×0.1で表すことがで
き、このような条件を満たす動きベクトルViの数が、
全ての動きベクトルの数(len−1)の例えば50%
より少ないか否かの判定を行う。
量と比較して、細かい動きをしているベクトルがかなり
多い場合に、ラベルを侵入者判定から除外するためのも
のであり、風に揺れる植物やカーテンのように、比較的
速い動きがある一方で低速度の動きが多頻度で生じてお
り、速度分布内における低速度側への偏りが顕著な物体
を誤検知するのを防ぐ処理である。
m,Lmの算出を行う(ステップsD6)。指標値Dm
は差分ベクトルDiをステップsD3で求めた動きベク
トルの絶対値の平均値VAで正規化したもののうち、
1.0よりも小さいものの数を、全ての差分ベクトルの
数(len−2)で除算した値であり、Lmは軌跡の始
点から終点までの距離VLを、動きベクトルViの絶対
値の総和で除算した値である。
分ベクトルDiのうち、絶対値の小さいベクトルが占め
る割合に基づいており、速度の変動が大きい程小さく、
等速度で一定方向に動く程大きな値を持つ。一方、指標
値Lmは動きベクトルViの大きさに基づいており、直
進する程大きな値を持つ。
いて、侵入判定を行う。具体的には上記ステップs61
で求めた指標値Dm,Lm及び連続数lenを用いて、
指標値Dm,Lmと固定しきい値との比較処理を行い、
条件を満たせば(例えばDm≧0.5、かつ、Lm≧
0.5)直進性が高いと判断でき、かつ、同一ラベルの
過去の連続数lenが一定数ならば、侵入判定条件を満
たしていると判定し、ALARMフラグに1をセットす
る(ステップs63)。条件を満たさない場合には、A
LARMフラグに0をセットする(ステップs64)。
ャートのステップs7において、アラームを出力するか
否かの判定、つまり、ALARMフラグに1がセットさ
れているかの判定を行い、ALARMフラグ=1であれ
ば、アラームを出力する(ステップs8)。
体領域の連続性に加えて、細動の非混在性(ステップs
D5の判定)、等速度性(Dm判定)、および直進性
(Lm判定)をパラメータとして侵入判定を行うので、
誤検知を防止して精度の高い侵入者判定を行うことを可
能としている。特に、従来は植物やカーテンの揺れ等を
誤検知する傾向にあったが、本アルゴリズムによればラ
ンダムな動きをして、直進性のない移動物体領域を侵入
者とは判断しないので、侵入者判定の精度向上が図れ
た。
存在しない正常な状態であり、次にリファレンス更新処
理に移行する。
を受ける為、常に一定の輝度とは限らない。従って環境
の変化に応じて適時リファレンスフレームを更新するこ
とによって、上述した移動物体領域抽出処理をさらに適
切に行うことができる。また、リファレンスフレームと
カレントフレームのフレーム差分に基づいて輝度変化を
検知する方法では、リファレンスフレームは侵入者を含
まない背景画像のみからなると仮定している。そこで、
侵入者を含まないフレームを安定して判別し、リファレ
ンスフレームを更新することが望ましい。
す。まず、移動物体領域(マスク)の抽出処理がされた
カレントフレームを含む過去のM枚のフレームを取得す
る(ステップs91)。ただし、数Mは2以上の所定の
整数である。次に、図16(a)にも示すように、取得
したM枚のフレームから共通の背景領域を抽出する(ス
テップs92)。
のフレームのそれぞれの背景領域の論理積に相当する領
域であり、M枚のフレームのいずれにおいても背景領域
に属する領域である。
たステップsB2)と同様に、図16(b)に示すよう
に、M枚のフレームをそれぞれ背景領域の輝度平均値y
1m、y2m、・・・、yMmで割って正規化処理(ス
テップs93)を行う。
向に、ブロック毎の輝度分散の計算処理を行う。つま
り、ステップs93で正規化された共通背景以外の領域
において、過去の連続するM枚のフレーム間において、
同一のブロックの集合に対して輝度分散を求めるのであ
る(ステップs94)。共通背景領域は他の領域に対し
て変動が小さく、分散値も小さいと考えられるので計算
を省略できる。
域に属する各ブロック)の輝度分散に固定しきい値を上
回る分散値がなければ、変動のないフレームが連続して
いると判断して(ステップs95)、カレントフレーム
によってリファレンスフレームを置き換え、リファレン
ス更新処理を行う(全体フローチャートステップs1
0)。
ける共通背景領域の輝度平均値で正規化を行うため、侵
入者がいないにも関わらず輝度変化が生じているために
リファレンスフレームの更新がされないといった問題を
解決でき、侵入者を含まないフレームを安定して判別
し、リファレンスフレームを更新することが可能となっ
た。また、共通背景以外の領域のみにおいて時間方向の
輝度分散を求めるため、全領域を対象とする場合よりも
計算量を削減できるのである。
定のカラー成分の大きさなど、他の情報を利用すること
もできる。
て、リファレンスフレームとカレントフレームとのそれ
ぞれの移動物体領域につき、相対距離のほかに、空間サ
イズの相対関係と光学的性質の相対関係とのうちの一方
を含めるだけでも従来より適切なマッピングを行うこと
ができる。
あたって、その移動の連続性のほか、その移動の速度分
布内における低速度側への偏りの程度、等速度性および
直進性のうちの少なくともひとつを含めるだけでも、従
来より適切な侵入者判定が可能である。
明は、撮像手段によってフレーム単位で得られた画像に
基づいて、前記撮像手段で撮像した空間範囲への侵入者
を監視するシステムであって、前記撮像手段による撮像
結果のうち、基準となるリファレンスフレームと、逐次
更新されるカレントフレームとの画像情報の差分である
フレーム差分を算出するフレーム差分検出手段と、前記
カレントフレームの更新毎に、前記リファレンスフレー
ムと前記カレントフレームとの画像情報の差分に応じて
マスク抽出用しきい値を決定するしきい値決定手段と、
前記フレーム差分が前記マスク抽出用しきい値を越える
領域を移動物体領域と判定する移動物体判定手段と、前
記移動物体領域の情報に基づいて侵入者の判定を行う侵
入者判定手段とを備えるので、侵入者や背景の輝度の変
化に影響を受けず、移動物体領域の抽出を確実に行うこ
とが可能となる。
載の侵入者監視システムにおいて、前記フレーム差分検
出手段が、前記リファレンスフレームと前記カレントフ
レームとのそれぞれについて背景領域を検出する背景検
出手段と、前記リファレンスフレームと前記カレントフ
レームとのそれぞれについて、それぞれの局所的画像情
報を前記背景領域の画像情報の平均値を用いて正規化
し、それによって正規化リファレンスフレームと正規化
カレントフレームとを得る正規化手段と、前記正規化リ
ファレンスフレームと前記正規化カレントフレームとの
差分として前記差分フレームを得る手段とを備えるの
で、蛍光灯のフリッカ、日照条件の変化等の輝度変化に
より影響を受けずに移動物体領域の抽出を行うことが可
能となる。
載の侵入者監視システムにおいて、前記侵入者判定手段
が、前記リファレンスフレームにおける第1の移動物体
領域と、前記カレントフレームにおける第2の移動物体
領域とについて所定の種類の特性量を算出する特性量算
出手段と、前記第1と第2の移動物体領域のそれぞれに
ついての前記特性量の相互関係に基づいて、前記第1と
第2の移動物体領域の対応関係を判定する対応関係判定
手段とを備え、前記特性量が、前記第1と第2の移動物
体領域の相対距離のほかに、少なくとも、前記第1と第
2の移動物体領域のそれぞれの空間サイズの相対関係
と、前記第1と第2の移動物体領域の光学的性質の相対
関係とのうちの一方を含むので、定量的、且つ、精度の
高いマッピング処理が可能となる。
載の侵入者監視システムにおいて、前記侵入者判定手段
が、さらに、前記対応関係判定手段によって、各移動物
体領域の時間的連鎖を特定する連鎖特定手段と、前記時
間的連鎖において、前記移動物体領域の移動の連続性と
直進性とをパラメータとして、当該時間的連鎖が侵入者
に相当するものであるか否かを判定するマルチパラメー
タ型判定手段とを備えるので、誤検知を防止して精度の
高い侵入者判定を行うことを可能としている。特に、従
来は植物やカーテンの揺れ等を誤検知する傾向にあった
が、本アルゴリズムによればランダムな動きをして、直
進性のない移動物体領域を侵入者とは判断しないので、
侵入者判定の精度向上が図れる。
いし請求項4のいずれかに記載の侵入者監視システムに
おいて、さらに、過去の複数の連続フレームにおける共
通の背景領域を抽出する手段と、前記複数の連続フレー
ムに共通の背景領域以外の局所的画像情報を、各フレー
ムにおける前記共通背景領域の画像情報を用いて正規化
する手段と、正規化された共通の背景領域以外の画像情
報の分散が所定の値より下回る場合に、前記カレントフ
レームを新たなリファレンスフレームとして更新するの
で、侵入者がいないにも関わらず輝度変化が生じている
ためにリファレンスフレームの更新がされないといった
問題を解決できた。また、侵入者を含まないフレームを
安定して判別し、リファレンスフレームを更新すること
が可能となった。さらに、共通背景領域のみにおいて時
間方向の輝度分散を求めるため、全領域を対象とする場
合よりも計算量を削減でき処理の効率化が図れる。
チャートである。
る。
る。
ントフレームに対して移動物体領域が抽出されるまでに
作用する手段を表す図である。
示す図である。
ントフレームのマスクを示す一実施例図である。
(b)はカレントフレームのマスクの属性を示す図であ
る。
る。
を示す図である。
ある。
背景領域に対して行われる画像処理を示す図である。
力されたリファレンスフレームとカレントフレームの画
像及び前処理後の状態を示す図である。
されるフレーム差分、移動物体領域等を示す図である。
Claims (5)
- 【請求項1】 撮像手段によってフレーム単位で得られ
た画像に基づいて、前記撮像手段で撮像した空間範囲へ
の侵入者を監視するシステムであって、 (a) 前記撮像手段による撮像結果のうち、基準となる
リファレンスフレームと、逐次更新されるカレントフレ
ームとの画像情報の差分であるフレーム差分を算出する
フレーム差分検出手段と、 (b) 前記カレントフレームの更新毎に、前記リファレ
ンスフレームと前記カレントフレームとの画像情報の差
分に応じてマスク抽出用しきい値を決定するしきい値決
定手段と、 (c) 前記フレーム差分が前記マスク抽出用しきい値を
越える領域を移動物体領域と判定する移動物体判定手段
と、 (d) 前記移動物体領域の情報に基づいて侵入者の判定
を行う侵入者判定手段と、 を備えることを特徴とする侵入者監視システム。 - 【請求項2】 請求項1記載の侵入者監視システムにお
いて、 前記フレーム差分検出手段が、 (a-1) 前記リファレンスフレームと前記カレントフレ
ームとのそれぞれについて背景領域を検出する背景検出
手段と、 (a-1) 前記リファレンスフレームと前記カレントフレ
ームとのそれぞれについて、それぞれの局所的画像情報
を前記背景領域の画像情報の平均値を用いて正規化し、
それによって正規化リファレンスフレームと正規化カレ
ントフレームとを得る正規化手段と、 (a-3) 前記正規化リファレンスフレームと前記正規化
カレントフレームとの差分として前記差分フレームを得
る手段と、を備えることを特徴とする侵入者監視システ
ム。 - 【請求項3】 請求項1記載の侵入者監視システムにお
いて、 前記侵入者判定手段が、 (d-1) 前記リファレンスフレームにおける第1の移動
物体領域と、前記カレントフレームにおける第2の移動
物体領域とについて所定の種類の特性量を算出する特性
量算出手段と、 (d-2) 前記第1と第2の移動物体領域のそれぞれにつ
いての前記特性量の相互関係に基づいて、前記第1と第
2の移動物体領域の対応関係を判定する対応関係判定手
段と、を備え、 前記特性量が、 前記第1と第2の移動物体領域の相対距離のほかに、 少なくとも、 前記第1と第2の移動物体領域のそれぞれの空間サイズ
の相対関係と、 前記第1と第2の移動物体領域の光学的性質の相対関係
と、 のうちの一方を含むことを特徴とする侵入者監視システ
ム。 - 【請求項4】 請求項3記載の侵入者監視システムにお
いて、 前記侵入者判定手段が、さらに、 (d-3) 前記対応関係判定手段によって、各移動物体領
域の時間的連鎖を特定する連鎖特定手段と、 (d-4) 前記時間的連鎖において、 前記移動物体領域の移動の連続性と直進性とをパラメー
タとして、当該時間的連鎖が侵入者に相当するものであ
るか否かを判定するマルチパラメータ型判定手段と、を
備えることを特徴とする侵入者監視システム。 - 【請求項5】 請求項1ないし請求項4のいずれかに記
載の侵入者監視システムにおいて、 さらに、 (e) 過去の複数の連続フレームにおける共通の背景領
域を抽出する手段と、 (f) 前記複数の連続フレームに共通の背景領域以外の
局所的画像情報を、各フレームにおける前記共通背景領
域の画像情報を用いて正規化する手段と、 (g) 前記正規化された共通の背景領域以外の画像情報
の分散が所定の値より下回る場合に、前記カレントフレ
ームを新たなリファレンスフレームとして更新すること
を特徴とする侵入者監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000143551A JP4789223B2 (ja) | 2000-05-16 | 2000-05-16 | 侵入者監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000143551A JP4789223B2 (ja) | 2000-05-16 | 2000-05-16 | 侵入者監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001325672A true JP2001325672A (ja) | 2001-11-22 |
JP4789223B2 JP4789223B2 (ja) | 2011-10-12 |
Family
ID=18650355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000143551A Expired - Lifetime JP4789223B2 (ja) | 2000-05-16 | 2000-05-16 | 侵入者監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4789223B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004079681A1 (ja) * | 2003-03-07 | 2004-09-16 | Quality Labs. Corporation | 監視装置 |
JP2006203444A (ja) * | 2005-01-19 | 2006-08-03 | Inc Corp | 背景画像生成装置及び背景画像生成プログラム |
JP2007140718A (ja) * | 2005-11-16 | 2007-06-07 | Nippon Telegr & Teleph Corp <Ntt> | 特異映像検出装置、特異映像検出方法およびプログラム |
JPWO2006085500A1 (ja) * | 2005-02-09 | 2008-06-26 | 松下電器産業株式会社 | 監視カメラ装置、それを用いた監視システムおよび監視画像伝送方法 |
JP2008197866A (ja) * | 2007-02-13 | 2008-08-28 | Mitsubishi Electric Corp | 侵入者検知装置 |
JP2009002914A (ja) * | 2007-06-25 | 2009-01-08 | Nippon Telegr & Teleph Corp <Ntt> | 施設被災監視装置及び施設被災監視方法 |
KR100950734B1 (ko) | 2003-05-13 | 2010-03-31 | 엘지전자 주식회사 | 댁내 경보시스템에서의 이상상태 자동인식방법 및 인터넷냉장고 |
JP2011004353A (ja) * | 2009-06-22 | 2011-01-06 | Canon Inc | 画像処理装置、画像処理方法 |
US8045757B2 (en) | 2006-06-15 | 2011-10-25 | Sony Corporation | Image monitoring system and object area tracking method |
CN111882550A (zh) * | 2020-07-31 | 2020-11-03 | 上海眼控科技股份有限公司 | 冰雹检测方法、装置、计算机设备和可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05205175A (ja) * | 1992-01-24 | 1993-08-13 | Hitachi Ltd | 物体検出装置 |
JPH06274625A (ja) * | 1993-03-18 | 1994-09-30 | Toshiba Corp | 監視画像の移動物体追跡方法 |
JPH06290255A (ja) * | 1993-03-31 | 1994-10-18 | Ohkura Electric Co Ltd | 画像の動きベクトル検出方法 |
JPH08106534A (ja) * | 1994-10-06 | 1996-04-23 | Hitachi Ltd | 移動物体検出装置 |
JPH09319978A (ja) * | 1996-05-31 | 1997-12-12 | Hitachi Ltd | 侵入物体監視装置 |
JPH1021408A (ja) * | 1996-07-04 | 1998-01-23 | Canon Inc | 画像抽出装置および方法 |
JPH10187996A (ja) * | 1996-12-24 | 1998-07-21 | Nec Corp | 背景画像生成方法および背景画像生成装置 |
-
2000
- 2000-05-16 JP JP2000143551A patent/JP4789223B2/ja not_active Expired - Lifetime
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05205175A (ja) * | 1992-01-24 | 1993-08-13 | Hitachi Ltd | 物体検出装置 |
JPH06274625A (ja) * | 1993-03-18 | 1994-09-30 | Toshiba Corp | 監視画像の移動物体追跡方法 |
JPH06290255A (ja) * | 1993-03-31 | 1994-10-18 | Ohkura Electric Co Ltd | 画像の動きベクトル検出方法 |
JPH08106534A (ja) * | 1994-10-06 | 1996-04-23 | Hitachi Ltd | 移動物体検出装置 |
JPH09319978A (ja) * | 1996-05-31 | 1997-12-12 | Hitachi Ltd | 侵入物体監視装置 |
JPH1021408A (ja) * | 1996-07-04 | 1998-01-23 | Canon Inc | 画像抽出装置および方法 |
JPH10187996A (ja) * | 1996-12-24 | 1998-07-21 | Nec Corp | 背景画像生成方法および背景画像生成装置 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004079681A1 (ja) * | 2003-03-07 | 2004-09-16 | Quality Labs. Corporation | 監視装置 |
KR100950734B1 (ko) | 2003-05-13 | 2010-03-31 | 엘지전자 주식회사 | 댁내 경보시스템에서의 이상상태 자동인식방법 및 인터넷냉장고 |
JP2006203444A (ja) * | 2005-01-19 | 2006-08-03 | Inc Corp | 背景画像生成装置及び背景画像生成プログラム |
JP4596929B2 (ja) * | 2005-01-19 | 2010-12-15 | 株式会社インク | 背景画像生成装置及び背景画像生成プログラム |
JPWO2006085500A1 (ja) * | 2005-02-09 | 2008-06-26 | 松下電器産業株式会社 | 監視カメラ装置、それを用いた監視システムおよび監視画像伝送方法 |
JP2007140718A (ja) * | 2005-11-16 | 2007-06-07 | Nippon Telegr & Teleph Corp <Ntt> | 特異映像検出装置、特異映像検出方法およびプログラム |
JP4641492B2 (ja) * | 2005-11-16 | 2011-03-02 | 日本電信電話株式会社 | 特異映像検出装置、特異映像検出方法およびプログラム |
US8045757B2 (en) | 2006-06-15 | 2011-10-25 | Sony Corporation | Image monitoring system and object area tracking method |
JP2008197866A (ja) * | 2007-02-13 | 2008-08-28 | Mitsubishi Electric Corp | 侵入者検知装置 |
JP2009002914A (ja) * | 2007-06-25 | 2009-01-08 | Nippon Telegr & Teleph Corp <Ntt> | 施設被災監視装置及び施設被災監視方法 |
JP2011004353A (ja) * | 2009-06-22 | 2011-01-06 | Canon Inc | 画像処理装置、画像処理方法 |
CN111882550A (zh) * | 2020-07-31 | 2020-11-03 | 上海眼控科技股份有限公司 | 冰雹检测方法、装置、计算机设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4789223B2 (ja) | 2011-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6754367B1 (en) | Method and apparatus for automatically detecting intrusion object into view of image pickup device | |
KR100601933B1 (ko) | 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템 | |
KR100659781B1 (ko) | 씨씨디 영상에서의 연기 검출방법 및 장치 | |
US7660439B1 (en) | Method and system for flow detection and motion analysis | |
JP3423861B2 (ja) | 移動物体の監視方法および装置 | |
US20060056702A1 (en) | Image processing apparatus and image processing method | |
EP2549759B1 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras | |
WO2005036456A2 (en) | Method and apparatus for foreground segmentation of video sequences | |
KR20160089165A (ko) | 이동 물체 탐지 시스템 및 방법 | |
JP2010015469A (ja) | 静止領域検出方法とその装置、プログラム及び記録媒体 | |
JP2001325672A (ja) | 侵入者監視システム | |
CN111582166B (zh) | 基于高斯建模和YoLo V3目标检测的遗留物检测方法 | |
CN111259723A (zh) | 行动识别装置、行动识别方法 | |
JPH0844874A (ja) | 画像変化検出装置 | |
JP4926602B2 (ja) | 煙検出装置 | |
JP7125843B2 (ja) | 障害検知システム | |
JPH09293141A (ja) | 移動物体検出装置 | |
JPH07249128A (ja) | 車両用画像処理装置 | |
JP7092616B2 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
JP3736836B2 (ja) | 物体検出方法及び物体検出装置及びプログラム | |
KR20030018487A (ko) | 영상을 이용한 출입 이동 물체 계수 방법 및 장치 | |
JP2000023141A (ja) | 移動物体監視装置 | |
JP2005018565A (ja) | 画像モニタリング装置 | |
JP2002032759A (ja) | 監視装置 | |
Wang et al. | A dynamic Hidden Markov Random Field Model for foreground and shadow segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070510 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101102 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110705 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110715 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4789223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |