JP2001325672A - 侵入者監視システム - Google Patents

Abstract

(57)【要約】 【課題】 移動物体領域の抽出処理において、侵入者と
背景の輝度は必ずしも一定ではなく、しきい値を固定値
とすれば、最適な移動物体領域の取得が行えない。ま
た、距離の近い移動物体領域同士をマッピングする方法
では、移動物体領域の形状に凹凸や穴を多く含む場合、
適切なマッピングが行えない。 【解決手段】 撮影手段で撮影した空間範囲への侵入者
を監視するシステムであって、撮像結果のうち、基準と
なるリファレンスフレームと逐次更新されるカレントフ
レームとの画像情報の差分であるフレーム差分を算出す
る手段と、カレントフレームの更新毎にリファレンスフ
レームとカレントフレームとの画像情報の差分に応じて
マスク抽出用しきい値を決定する手段と、フレーム差分
がマスク抽出用しきい値を越える領域を移動物体領域と
判定する移動物体判定手段と、前記移動物体領域の情報
に基づいて侵入者の判定を行う侵入者判定手段とを備え
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、監視カメラ等によ
り取得した撮影画像から、画像を解析し、侵入者（物）
を検知することを可能とする侵入者監視システムの構成
に関する。

【０００２】

【従来の技術】侵入者監視システムは、一般にビルの室
内や廊下、ホール等において設置された監視カメラから
画像を取得し、デジタル解析処理を行うことで、侵入者
（移動物体）の検知を可能とするものである。

【０００３】解析処理の処理手順は、まず、侵入者のい
ない通常状態の撮影画像をリファレンスフレームとし、
これに対して、逐次撮影され取得される画像をカレント
フレームとし、このリファレンスフレームとカレントフ
レームの差分データを抽出する。この抽出された差分デ
ータは画像情報に変化が生じていることを意味するもの
であり、抽出された差分データに対して、予め与えられ
た固定しきい値により比較処理を行い、抽出された差分
データの中から移動物体領域を取得する。

【０００４】次に、連続するフレーム間において移動物
体領域のマッピングを行う。マッピングは距離の近い移
動物体領域を同一の対象物として関連づけることによ
り、移動物体領域の動作の解析を行うための前提処理で
あり、この関連付けられた移動物体領域が連続的に出現
しているか否かを解析することで、侵入者の判定を行う
ようにしている。

【０００５】

【発明が解決しようとする課題】しかしながら、上記移
動物体領域の抽出処理において、侵入者と背景の輝度は
必ずしも一定とは限らないので、しきい値を固定値とし
ている場合には、最適な移動物体領域の取得が行えない
という問題がある。

【０００６】また、距離の近い移動物体領域同士をマッ
ピングする方法では、移動物体領域の形状に凹凸や穴を
多く含む場合には、適切なマッピングが行えないといっ
た問題もある。

【０００７】また、移動物体領域として抽出された画像
データ（対象物）が、連続的（連続時間）に出現してい
るかどうかのみを判定する処理であれば、植物やカーテ
ンの揺れ等を誤検知する傾向がある。

【０００８】そこで、本発明は上記問題点に鑑み、移動
物体領域の最適な取得と、精度の高い侵入者判定を可能
とした侵入者監視システムを提供することを目的とす
る。

【０００９】

【課題を解決するための手段】上記課題を解決するた
め、請求項１記載の発明は、撮像手段によってフレーム
単位で得られた画像に基づいて、前記撮像手段で撮像し
た空間範囲への侵入者を監視するシステムであって、前
記撮像手段による撮像結果のうち、基準となるリファレ
ンスフレームと、逐次更新されるカレントフレームとの
画像情報の差分であるフレーム差分を算出するフレーム
差分検出手段と、前記カレントフレームの更新毎に、前
記リファレンスフレームと前記カレントフレームとの画
像情報の差分に応じてマスク抽出用しきい値を決定する
しきい値決定手段と、前記フレーム差分が前記マスク抽
出用しきい値を越える領域を移動物体領域と判定する移
動物体判定手段と、前記移動物体領域の情報に基づいて
侵入者の判定を行う侵入者判定手段と、を備えることを
特徴とする。

【００１０】また、請求項２記載の発明は、請求項１記
載の侵入者監視システムにおいて、前記フレーム差分検
出手段が、前記リファレンスフレームと前記カレントフ
レームとのそれぞれについて背景領域を検出する背景検
出手段と、前記リファレンスフレームと前記カレントフ
レームとのそれぞれについて、それぞれの局所的画像情
報を前記背景領域の画像情報の平均値を用いて正規化
し、それによって正規化リファレンスフレームと正規化
カレントフレームとを得る正規化手段と、前記正規化リ
ファレンスフレームと前記正規化カレントフレームとの
差分として前記差分フレームを得る手段と、を備えるこ
とを特徴とする。

【００１１】また、請求項３記載の発明は、請求項１記
載の侵入者監視システムにおいて、前記侵入者判定手段
が、前記リファレンスフレームにおける第１の移動物体
領域と、前記カレントフレームにおける第２の移動物体
領域とについて所定の種類の特性量を算出する特性量算
出手段と、前記第１と第２の移動物体領域のそれぞれに
ついての前記特性量の相互関係に基づいて、前記第１と
第２の移動物体領域の対応関係を判定する対応関係判定
手段とを備え、前記特性量が、前記第１と第２の移動物
体領域の相対距離のほかに、少なくとも、前記第１と第
２の移動物体領域のそれぞれの空間サイズの相対関係
と、前記第１と第２の移動物体領域の光学的性質の相対
関係とのうちの一方を含むことを特徴とする。

【００１２】また、請求項４記載の発明は、請求項３記
載の侵入者監視システムにおいて、前記侵入者判定手段
が、さらに、前記対応関係判定手段によって、各移動物
体領域の時間的連鎖を特定する連鎖特定手段と、前記時
間的連鎖において、前記移動物体領域の移動の連続性と
直進性とをパラメータとして、当該時間的連鎖が侵入者
に相当するものであるか否かを判定するマルチパラメー
タ型判定手段とを備えることを特徴とする。

【００１３】また、請求項５記載の発明は、請求項１な
いし請求項４のいずれかに記載の侵入者監視システムに
おいて、さらに、過去の複数の連続フレームにおける共
通の背景領域を抽出する手段と、前記複数の連続フレー
ムに共通の背景領域以外の局所的画像情報を、各フレー
ムにおける前記共通背景領域の画像情報を用いて正規化
する手段と、前記正規化された共通の背景領域以外の画
像情報の分散が所定の値より下回る場合に、前記カレン
トフレームを新たなリファレンスフレームとして更新す
ることを特徴とする。

【００１４】

【発明の実施の形態】以下、図面を参照しつつ本発明の
実施の形態について説明する。この実施の形態のシステ
ムは、屋内に取り付けられた固定監視カメラによってそ
の屋内の状況を監視し、監視カメラで得られた画像デー
タをデジタル処理することによって、侵入者などが発見
されると、警報を出すシステムとして構成されている。
なお、以下の説明においては、本発明に係る画像監視シ
ステムの処理手順を（１）移動物体領域の抽出処理、
（２）移動物体領域のマッピング処理、（３）侵入判定
処理、（４）リファレンス更新処理の４つの処理に分け
て説明する。

【００１５】図１９を用いて侵入者監視システムの全体
概略構成について説明する。監視カメラ１によって撮影
された画像（デジタル）情報は、インターフェース（Ｉ
／Ｆ）を介して画像処理装置２（ＰＣ等で構成される）
に取り込まれ、逐次メモリ４（ディスク）内に保存され
る。このうち侵入者がいないと判断されている状態の画
像情報をリファレンスフレームとし、時々刻々取得され
る最新の画像情報をカレントフレームとする。各フレー
ムの各部における局所的画像情報は、マトリクス配列さ
れたそれぞれの画素における検出輝度を所定のデータ長
のデジタル情報として保持している。また、リファレン
スフレームの初期画像情報は既にメモリ４に記憶されて
いるとして以下の説明を行う。そして、画像処理装置２
はＭＰＵ３を具備しており、取り込まれた画像情報を解
析し、通信Ｉ／Ｆ６・７を介して警報装置８に対して警
報命令を発するよう構成している。

【００１６】図１の全体フローチャートで示すように、
まず、ステップｓ１において、メモリ４から初期リファ
レンスフレームｙ０（図１７（ａ）に示す）の読み込み
を行うと共に、前処理を行う。前処理は、一般の画像処
理において行われる画像平滑化操作であり、各フレーム
を複数のブロックに分割し、各ブロックに属する画素の
輝度を当該ブロックに属する画素の輝度平均値で置き換
えるなどの平滑化を行って雑音を除去する処理や、フレ
ーム端の無効領域を省く等の処理である。このようにし
てブロック単位で前処理されたリファレンスフレームｙ
０をリファレンスフレームｙ０Ｂとする（図１７（ｃ）
に示す）。

【００１７】なお、このようなブロック化を行った後に
おいても、各ブロックはフレームの各部の局所的画像情
報を表現しており、局所エリアが画素単位から画素ブロ
ック単位に変わっているだけである。

【００１８】次に逐次更新されるカレントフレーム毎の
ループ処理を開始する。ループ処理内では、まず、ステ
ップｓ２において、カレントフレームｙ１（図１７
（ｂ）に示す）を監視カメラ１またはその撮像出力をバ
ッファするメモリ領域から読込むとともに、同様の平滑
化を含む前処理を行う。そして、このようにしてブロッ
ク単位で前処理されたカレントフレームｙ１をカレント
フレームｙ１Ｂとする（図１７（ｄ）に示す）。この時
点で前処理されたリファレンスフレームｙ０Ｂとカレン
トフレームｙ１Ｂが取得される。そして、次にステップ
ｓ３を行う。

【００１９】（１）移動物体領域の抽出処理 図２乃至図４を参照しながらステップｓ３について説明
する。ステップｓ３は移動物体領域の抽出処理であり、
図２に示すようにｓ３１〜ｓ３４よりなる処理であり、
まず、ステップｓ３１（＝処理手順ｓＡ）において背景
領域を求める。処理手順ｓＡは背景領域抽出フローであ
り、図３に示すように、まず、リファレンスフレームｙ
０の画素（ピクセル）毎に、輝度が０であるかどうか
（ｙ０＝＝０であるかどうか）の判定を行う（ステップ
ｓＡ１）。ｙ０＝＝０である場合には、指標値Ｄｙに
１．０をセットし（ステップｓＡ２）、ｙ０＝＝０でな
い場合には、ｙ１／ｙ０より求まる値を指標値Ｄｙにセ
ットする（ステップｓＡ３）。したがって、この指標値
Ｄｙは、同じ画素について、リファレンスフレームの画
素値ｙ０に対するカレントフレームの画素値ｙ１の相対
値を表現している。したがって、仮にカレントフレーム
の画素値ｙ１とリファレンスフレームの画素値ｙ０が同
一であれば指標値Ｄｙは基準値「１」であり、指標値Ｄ
ｙの基準値「１」からのずれが、当該画素につき、リフ
ァレンスフレームの輝度からのカレントフレームの輝度
の統計的変動を表現していることになる。

【００２０】次に、ステップｓＡ４において、ブロック
毎（例えば１６×１６ピクセル等）に指標値Ｄｙの標準
偏差ＳＤを求める。標準偏差ＳＤは各ブロック内の指標
値Ｄｙのばらつき度合いを示すものであるので、標準偏
差ＳＤの小さいブロックはリファレンスフレームｙ０に
対してカレントフレームｙ１の画像情報の変化（輝度の
変化）が小さいことを意味する。

【００２１】次に別の指標値ＳＢに刻み値（本実施例に
おいては０．００５）をセットし（ステップｓＡ５）、
標準偏差ＳＤのヒストグラムを指標値ＳＢ刻みに０．０
１から１．０まで作成し（ステップｓＡ６）、ヒストグ
ラムの累積頻度を求める（ステップｓＡ７）。累積頻度
が小さい方から例えば７０％を越えるインデックスを臨
界インデックスｉｄｘにセットし（ステップｓＡ８）、
臨界インデックスｉｄｘに指標値ＳＢ（０．００５）を
乗算し、しきい値ＳＴを取得する（ステップｓＡ９）。
これはフレームの全面積の７０％程度までが背景領域と
考えられる経験に基づくもので、累積頻度が何％を越え
るまでを背景領域と設定するかは環境により適宜変更す
ればよい。

【００２２】そして、全てのブロックに対するループ処
理において、ブロックの標準偏差ＳＤと，しきい値ＳＴ
との比較処理を行い（ステップｓＡ１０）、標準偏差Ｓ
Ｄがしきい値ＳＴを下回る場合には、当該ブロックを背
景領域と判断し、ｂｋフラグに１をセットする（ステッ
プｓＡ１１）。標準偏差ＳＤがしきい値ＳＴを上回る場
合には、当該ブロックが背景領域でないと判断し、ｂｋ
フラグに０をセットする（ステップｓＡ１２）。以上の
処理によりカレントフレームｙ１におけるブロック単位
での背景領域が決定される。

【００２３】再び処理手順ｓ３（図２）において、前記
リファレンスフレームｙ０Ｂとカレントフレームｙ１Ｂ
を正規化し、そのフレーム差分Ｍｅを抽出する（ステッ
プｓ３２（＝処理手順ｓＢ））。

【００２４】処理手順ｓＢはフレーム差分算出フローで
あり、図４に示すように、リファレンスフレーム及びカ
レントフレームのそれぞれにつき、まず背景領域の平均
値ｙ０ｍ、ｙ１ｍを求める（ステップｓＢ１）。平均値
ｙ０ｍはリファレンスフレームｙ０の中で、前述した処
理手順ｓＡにおいて背景領域（ｂｋフラグ＝１）と判断
されたブロックにおける輝度の平均値であり、次式の数
１で与えられる。ただし、式数１におけるＮはｂｋ
［ｉ］＝１を満たすｉの個数である。なお、平均値ｙ１
ｍは次式においてｙ０ｍをｙ１ｍ、ｙ０Ｂをｙ１Ｂに置
き換えたものとなる。

【００２５】

【数１】

【００２６】次に、リファレンスフレームｙ０Ｂをブロ
ック毎に平均値ｙ０ｍで除算することにより正規化し、
カレントフレームｙ１Ｂをブロック毎に平均値ｙ１ｍで
除算することにより正規化し、次式の数２で与えられる
差分の絶対値であるフレーム差分Ｍｅを求める（ステッ
プｓＢ２）。数２中のパラメータｋは、リファレンスフ
レームｙ０Ｂとカレントフレームｙ１Ｂの全てのブロッ
クに対してフレーム差分Ｍｅを算出することを意味す
る。図１８（ａ）はフレーム差分Ｍｅで表現された画像
である。

【００２７】

【数２】

【００２８】再び処理手順ｓ３において、マスク抽出用
しきい値ＴＨを求める（ステップｓ３３（＝処理手順ｓ
Ｃ））。

【００２９】処理手順ｓＣはマスク抽出用しきい値決定
フローであり、図５のフローチャートに示すように、フ
レーム差分Ｍｅのヒストグラムを作成し（ステップｓＣ
１）、累積頻度を算出する（ステップｓＣ２）。次に、
累積頻度の何％程度を移動物体領域として抽出するかの
指標である固定のしきい値Ｔｆでフィルタリングを行い
（ステップｓＣ３）、マスク抽出用しきい値ＴＨを得る
（ステップｓＣ４）。

【００３０】つまり、フレーム差分Ｍｅの小さな値、つ
まり輝度変動が小さなブロックからブロック数をカウン
トしていった累積頻度分布のカーブにおいて、その傾斜
（累積頻度分布に微分フィルタを施したもの）が当該固
定しきい値Ｔｆに到達するようなフレーム差分Ｍｅの値
を、マスク抽出用しきい値ＴＨとする。

【００３１】再び、処理手順ｓ３（図２）において、前
述した処理手順ｓＢで求めたブロック毎のフレーム差分
Ｍｅと、処理手順ｓＣで求めたマスク抽出用しきい値Ｔ
Ｈを比較し、フレーム差分Ｍｅがマスク抽出用しきい値
ＴＨを上回るブロックを移動物体領域（以下、適宜マス
クと称す）と判断する。図１８（ｂ）は抽出されたマス
クを示す画像情報である。

【００３２】このように、処理手順ｓＡで説明した背景
領域を抽出する手段と、処理手順ｓＢで説明したフレー
ム差分を算出する手段と、フレーム差分のうち、マスク
抽出用しきい値を越える領域を移動物体領域と判定する
システムにおいて、マスク抽出用しきい値は、リファレ
ンスフレームとカレントフレームの輝度差分に応じて決
定する、つまり、処理手順ｓＣで説明したように、フレ
ーム差分Ｍｅのヒストグラムから、逐次マスク抽出用し
きい値ＴＨを決定するようにしているので、侵入者や背
景の輝度の変化に影響を受けず、移動物体領域の抽出を
従来に比べて確実に行うことが可能となった。

【００３３】また、処理手順ｓＢで説明したように、正
規化はリファレンスフレームとカレントフレームのブロ
ック毎の輝度を背景領域の輝度平均値で除算する処理と
したので、従来のようにフレーム全体ではなく、背景領
域のみの輝度平均値で正規化を行うため、蛍光灯のフリ
ッカ、日照条件の変化等の輝度変化に影響を受けず、移
動物体領域の安定した抽出処理を可能とした。

【００３４】以上の移動物体領域の抽出処理についてデ
ータを処理する機能の側面から表したものを図６に示
す。

【００３５】（２）移動物体領域のマッピング処理 全体フローチャートにおいて、次に移動物体領域のマッ
ピング処理（ステップｓ４）を行う。マッピング処理と
は、侵入者が動いた軌跡を得るため、カレントフレーム
ｙ１のマスクと過去のマスクとの対応をとる処理であ
り、図７に示すように、マスク同士の距離、面積比、輝
度比をもとに評価される。

【００３６】図８（ａ）は１フレーム前のマスク、図８
（ｂ）はカレントフレームのマスクを示す一例であり、
１フレーム前にはＡ１・Ａ３の２つのマスク、カレント
フレームにはＢ１・Ｂ２・Ｂ３の３つのマスクが存在し
ている。

【００３７】図９（ａ）及び（ｂ）は、それぞれ１フレ
ーム前のマスクＡｊ（ｊ＝１，２，・・・）及びカレン
トフレームのマスクＢｉ（ｉ＝１，２，・・・）の属性
を表したデータベースであり、それぞれのマスクＡｊ、
Ｂｉに対して、中心座標、面積、輝度の属性を持たせて
いる。このデータベースはメモリ４の中に更新可能に記
憶されている。各マスクに対してこのような属性を持た
せた上で、図１０に示すフローチャートを用いてステッ
プｓ４（移動物体領域のマッピング処理）を説明する。

【００３８】マッピング処理は、１フレーム前の各マス
クＡｊに対してそれぞれループ処理され、さらに、各マ
スクＡｊに対して、カレントフレームの各マスクＢｉの
総当たりのループ処理を行う。まず、ステップｓ４１に
おいて、１フレーム前のマスクＡｊとカレントフレーム
のマスクＢｉとの間の距離Ｄｉｓ、面積比Ａｒａ、輝度
比Ｙｒａを求める。距離Ｄｉｓは、マスクＡｊ・Ｂｉの
中心（重心）座標Ａｊ＿ｃ、Ｂｉ＿ｃ間の通常の距離で
あり、面積比Ａｒａは、マスクＡｊ・Ｂｉの面積Ａｊ＿
ａ、Ｂｉ＿ａのうち、小なるものを大なるもので除した
値（比）であり、輝度比Ｙｒａは、マスクＡｊ・Ｂｉの
輝度Ａｊ＿ｙ、Ｂｉ＿ｙのうち、小なるものを大なるも
ので除した値（比）である。

【００３９】次に、ステップｓ４２において、ステップ
ｓ４１で求めた距離Ｄｉｓ、面積比Ａｒａ、輝度比Ｙｒ
ａについて判定処理を行う。本実施形態では、Ａｒａ≧
０．１、かつ、Ｄｉｓ≦ＤＬ、かつ、Ｙｒａ＞０．５を
満たす場合、つまり、マスク間の距離が予め設定された
値ＤＬより小さく、面積比Ａｒａが０．１以上で、輝度
比Ｙｒａが０．５以上である場合に、マスクＡｊとマス
クＢｉとが相互に関連付けられる候補として、フラグｆ
ｇ（ｉ，ｊ）に１をセットする（ステップｓ４３）。一
方、上記条件を満たさない場合には、マスク同士は関連
がないと判断し、フラグｆｇ（ｉ，ｊ）に０をセットす
る（ステップｓ４４）。

【００４０】なお、上記面積比Ａｒａ及び輝度比Ｙｒａ
の下限値は、本実施形態ではそれぞれ０．１及び０．５
としているが、この設定値は特に限定されるものではな
く、最適なマッピング（関連付け）が行える値に適宜変
更されるものである。

【００４１】次に、ステップｓ４５において、マスクＡ
ｊとマスクＢｉの類似度Ｆ（ｉ，ｊ）を求める。類似度
Ｆ（ｉ，ｊ）は、マスクＡｊ，Ｂｉ間の距離及び面積比
から算出されるもので、距離が近く、面積比が大きい程
類似度Ｆが大きくなる。そして、類似度Ｆが大きいほ
ど、マスクＡｊ，Ｂｉの関連性が強いことを意味する。
一般的には、距離については減少関数であり、かつ面積
比については増加関数となっているような類似度関数を
使用することができる。

【００４２】以上のステップｓ４１〜ｓ４５までの処理
を全てのカレントマスクＢｉに対して処理した後、フラ
グｆｇ（ｉ，ｊ）に１がセットされたｉに対して、即
ち、ステップｓ４２において距離、面積比、輝度比から
マッピングの候補に上げられたマスクの中で、類似度Ｆ
が最大となるマスクＢｉを、マスクＡｊが移動した後の
マスクとしてマッピングする（ステップｓ４６）。

【００４３】このようなマッピング処理を行うことで、
従来に比べて最適なマッピング処理が行える。つまり、
従来は距離の近いマスク同士をマッピングするという単
純な処理を行っていたため、マスクに凹凸や穴を多数含
む場合には、マスクの凹凸や穴の相対的な動きによって
マスクの中心位置が変動するために、移動前後のマスク
の中心間距離の信頼性が低くなり、誤認識をする可能性
があった。また、距離だけをパラメータとしている場
合、複数のマスクが隣接して存在する状態においてマッ
ピングを行うのは困難となる。そこで、本発明は独立し
た３つのパラメータ（距離、面積比、輝度比）を用いる
ことで、定量的、且つ、精度の高いマッピング処理を可
能としているのである。

【００４４】ここにおいて、面積比はマスクの空間的サ
イズを表現する特性量の１態様であり、輝度比はマスク
の光学的性質（光の反射率など）を表現する特性量の１
態様であるため、一般的には、マスク間の距離のほか
に、マスク間の空間サイズの類似度と、光学的性質の類
似度とを考慮してマスクのマッピングを行っていること
になる。

【００４５】そして、このようにマッピングされたマス
クに対してはマッピングされた過去のマスクと同一の番
号を振る。番号が振られ、移動物体と認識された対象を
ラベルと呼ぶ。図１８（ｃ）は１フレーム前のラベルを
示し、図１８（ｄ）はマッピング後のマスクを示してお
り、同一の番号が振られたマスクに対しては同一の輝度
で表示している。

【００４６】（３）侵入判定処理 全体フローチャートのステップｓ４において移動物体領
域（マスク）に番号を付与してラベルを生成した後、ス
テップｓ５においてフレーム内にラベルが存在するか否
かの判定を行う。ラベルが１つでも存在する、つまり過
去のマスクと関連付けされ（マッピングされ）たマスク
が存在する場合には、ステップｓ６において各ラベルの
重心計算及び軌跡を求め、過去の軌跡に相当する時間的
連鎖を基に進入判定を行う。

【００４７】進入判定は図１１に示すように、マスクの
移動ベクトルの直進性と、移動ベクトルの連続数により
判定される。この判定処理について図１２のフローチャ
ートを用いて説明する。まず、ステップｓ６１（＝処理
手順ｓＤ）において、進入判定の為のパラメータである
Ｄｍ（移動物体の直進性を示す）、Ｌｍ（同じく移動物
体の直進性を示す）、ｌｅｎ（過去数秒間でのラベルの
連続数を示す）を計算する。

【００４８】パラメータ計算フロー（処理手順ｓＤ）を
図１３に示す。まず、ステップｓＤ１において、予め設
定された時間幅（例えば３秒間）における過去のラベル
の連続数を求め連続数ｌｅｎにセットする。ラベルの連
続数とは、同一の番号が振られたマスク、つまり同一の
ラベルが過去の連続したフレームで出現している回数で
ある。

【００４９】次に、ステップｓＤ２において動きベクト
ルＶｉ及び動きベクトルの差分ベクトルＤｉを求める。
動きベクトルＶｉは図１４に示すように、過去の連続し
たラベルの重心座標Ｃｎ（ｎ＝１，２，，）を結ぶベク
トルである（図１８（ｅ）にラベルの軌跡を示す）。

【００５０】次に、ステップｓＤ３において、動きベク
トルＶｉの絶対値の平均値ＶＡ（つまり、各マスクの重
心間の平均距離）を求める。そして、平均値ＶＡと所定
の基準値Ｅｐの比較処理（ステップｓＤ４）を行う。基
準値Ｅｐはパラメータ計算を行う前段階で、隣接するフ
レーム間での移動量が平均的に小さなマスクに対して
は、計算処理をキャンセルさせるためのものであり、平
均値ＶＡが基準値Ｅｐを下回る場合には、そのマスクは
著しく低速で動いているものに相当するため、侵入者と
の判断から除外する。

【００５１】平均値ＶＡが基準値Ｅｐより大きい場合に
は、ステップｓＤ５において、次のような判定処理を行
う。動きベクトルＶｉ（ｉ＝１，２，・・・）のうち、
絶対値の最大のものをｍａｘ（｜ｖｉ｜）で表せば、最
大絶対値の０．１倍よりも絶対値の小さいベクトルを｜
Ｖｉ｜＜ｍａｘ（｜Ｖｉ｜）×０．１で表すことがで
き、このような条件を満たす動きベクトルＶｉの数が、
全ての動きベクトルの数（ｌｅｎ−１）の例えば５０％
より少ないか否かの判定を行う。

【００５２】この判定は、隣接フレーム間の最大の動き
量と比較して、細かい動きをしているベクトルがかなり
多い場合に、ラベルを侵入者判定から除外するためのも
のであり、風に揺れる植物やカーテンのように、比較的
速い動きがある一方で低速度の動きが多頻度で生じてお
り、速度分布内における低速度側への偏りが顕著な物体
を誤検知するのを防ぐ処理である。

【００５３】そして、この条件を満たす場合、指標値Ｄ
ｍ，Ｌｍの算出を行う（ステップｓＤ６）。指標値Ｄｍ
は差分ベクトルＤｉをステップｓＤ３で求めた動きベク
トルの絶対値の平均値ＶＡで正規化したもののうち、
１．０よりも小さいものの数を、全ての差分ベクトルの
数（ｌｅｎ−２）で除算した値であり、Ｌｍは軌跡の始
点から終点までの距離ＶＬを、動きベクトルＶｉの絶対
値の総和で除算した値である。

【００５４】以上のように定義された指標値Ｄｍは、差
分ベクトルＤｉのうち、絶対値の小さいベクトルが占め
る割合に基づいており、速度の変動が大きい程小さく、
等速度で一定方向に動く程大きな値を持つ。一方、指標
値Ｌｍは動きベクトルＶｉの大きさに基づいており、直
進する程大きな値を持つ。

【００５５】そして、図１２に示すステップｓ６２にお
いて、侵入判定を行う。具体的には上記ステップｓ６１
で求めた指標値Ｄｍ，Ｌｍ及び連続数ｌｅｎを用いて、
指標値Ｄｍ，Ｌｍと固定しきい値との比較処理を行い、
条件を満たせば（例えばＤｍ≧０．５、かつ、Ｌｍ≧
０．５）直進性が高いと判断でき、かつ、同一ラベルの
過去の連続数ｌｅｎが一定数ならば、侵入判定条件を満
たしていると判定し、ＡＬＡＲＭフラグに１をセットす
る（ステップｓ６３）。条件を満たさない場合には、Ａ
ＬＡＲＭフラグに０をセットする（ステップｓ６４）。

【００５６】以上の侵入判定処理終了後、基本フローチ
ャートのステップｓ７において、アラームを出力するか
否かの判定、つまり、ＡＬＡＲＭフラグに１がセットさ
れているかの判定を行い、ＡＬＡＲＭフラグ＝１であれ
ば、アラームを出力する（ステップｓ８）。

【００５７】このように本実施形態においては、移動物
体領域の連続性に加えて、細動の非混在性（ステップｓ
Ｄ５の判定）、等速度性（Ｄｍ判定）、および直進性
（Ｌｍ判定）をパラメータとして侵入判定を行うので、
誤検知を防止して精度の高い侵入者判定を行うことを可
能としている。特に、従来は植物やカーテンの揺れ等を
誤検知する傾向にあったが、本アルゴリズムによればラ
ンダムな動きをして、直進性のない移動物体領域を侵入
者とは判断しないので、侵入者判定の精度向上が図れ
た。

【００５８】ＡＬＡＲＭフラグ＝０であれば、侵入者が
存在しない正常な状態であり、次にリファレンス更新処
理に移行する。

【００５９】（４）リファレンス更新処理 監視カメラから入力されるフレームは日照変化等の影響
を受ける為、常に一定の輝度とは限らない。従って環境
の変化に応じて適時リファレンスフレームを更新するこ
とによって、上述した移動物体領域抽出処理をさらに適
切に行うことができる。また、リファレンスフレームと
カレントフレームのフレーム差分に基づいて輝度変化を
検知する方法では、リファレンスフレームは侵入者を含
まない背景画像のみからなると仮定している。そこで、
侵入者を含まないフレームを安定して判別し、リファレ
ンスフレームを更新することが望ましい。

【００６０】図１５にリファレンス更新処理フローを示
す。まず、移動物体領域（マスク）の抽出処理がされた
カレントフレームを含む過去のＭ枚のフレームを取得す
る（ステップｓ９１）。ただし、数Ｍは２以上の所定の
整数である。次に、図１６（ａ）にも示すように、取得
したＭ枚のフレームから共通の背景領域を抽出する（ス
テップｓ９２）。

【００６１】ここにおいて、共通の背景領域とは、Ｍ枚
のフレームのそれぞれの背景領域の論理積に相当する領
域であり、Ｍ枚のフレームのいずれにおいても背景領域
に属する領域である。

【００６２】そして、前述した正規化処理（図４で示し
たステップｓＢ２）と同様に、図１６（ｂ）に示すよう
に、Ｍ枚のフレームをそれぞれ背景領域の輝度平均値ｙ
１ｍ、ｙ２ｍ、・・・、ｙＭｍで割って正規化処理（ス
テップｓ９３）を行う。

【００６３】次に、図１６（ｃ）で示すように、時間方
向に、ブロック毎の輝度分散の計算処理を行う。つま
り、ステップｓ９３で正規化された共通背景以外の領域
において、過去の連続するＭ枚のフレーム間において、
同一のブロックの集合に対して輝度分散を求めるのであ
る（ステップｓ９４）。共通背景領域は他の領域に対し
て変動が小さく、分散値も小さいと考えられるので計算
を省略できる。

【００６４】そして、共通ブロック（共通背景以外の領
域に属する各ブロック）の輝度分散に固定しきい値を上
回る分散値がなければ、変動のないフレームが連続して
いると判断して（ステップｓ９５）、カレントフレーム
によってリファレンスフレームを置き換え、リファレン
ス更新処理を行う（全体フローチャートステップｓ１
０）。

【００６５】このように、過去の複数枚のフレームにお
ける共通背景領域の輝度平均値で正規化を行うため、侵
入者がいないにも関わらず輝度変化が生じているために
リファレンスフレームの更新がされないといった問題を
解決でき、侵入者を含まないフレームを安定して判別
し、リファレンスフレームを更新することが可能となっ
た。また、共通背景以外の領域のみにおいて時間方向の
輝度分散を求めるため、全領域を対象とする場合よりも
計算量を削減できるのである。

【００６６】なお、画像情報としては輝度のほかに、特
定のカラー成分の大きさなど、他の情報を利用すること
もできる。

【００６７】また、マスクのマッピングを行うにあたっ
て、リファレンスフレームとカレントフレームとのそれ
ぞれの移動物体領域につき、相対距離のほかに、空間サ
イズの相対関係と光学的性質の相対関係とのうちの一方
を含めるだけでも従来より適切なマッピングを行うこと
ができる。

【００６８】移動物体領域が侵入者か否かを判定するに
あたって、その移動の連続性のほか、その移動の速度分
布内における低速度側への偏りの程度、等速度性および
直進性のうちの少なくともひとつを含めるだけでも、従
来より適切な侵入者判定が可能である。

【００６９】

【発明の効果】以上説明したように、請求項１記載の発
明は、撮像手段によってフレーム単位で得られた画像に
基づいて、前記撮像手段で撮像した空間範囲への侵入者
を監視するシステムであって、前記撮像手段による撮像
結果のうち、基準となるリファレンスフレームと、逐次
更新されるカレントフレームとの画像情報の差分である
フレーム差分を算出するフレーム差分検出手段と、前記
カレントフレームの更新毎に、前記リファレンスフレー
ムと前記カレントフレームとの画像情報の差分に応じて
マスク抽出用しきい値を決定するしきい値決定手段と、
前記フレーム差分が前記マスク抽出用しきい値を越える
領域を移動物体領域と判定する移動物体判定手段と、前
記移動物体領域の情報に基づいて侵入者の判定を行う侵
入者判定手段とを備えるので、侵入者や背景の輝度の変
化に影響を受けず、移動物体領域の抽出を確実に行うこ
とが可能となる。

【００７０】また、請求項２記載の発明は、請求項１記
載の侵入者監視システムにおいて、前記フレーム差分検
出手段が、前記リファレンスフレームと前記カレントフ
レームとのそれぞれについて背景領域を検出する背景検
出手段と、前記リファレンスフレームと前記カレントフ
レームとのそれぞれについて、それぞれの局所的画像情
報を前記背景領域の画像情報の平均値を用いて正規化
し、それによって正規化リファレンスフレームと正規化
カレントフレームとを得る正規化手段と、前記正規化リ
ファレンスフレームと前記正規化カレントフレームとの
差分として前記差分フレームを得る手段とを備えるの
で、蛍光灯のフリッカ、日照条件の変化等の輝度変化に
より影響を受けずに移動物体領域の抽出を行うことが可
能となる。

【００７１】また、請求項３記載の発明は、請求項１記
載の侵入者監視システムにおいて、前記侵入者判定手段
が、前記リファレンスフレームにおける第１の移動物体
領域と、前記カレントフレームにおける第２の移動物体
領域とについて所定の種類の特性量を算出する特性量算
出手段と、前記第１と第２の移動物体領域のそれぞれに
ついての前記特性量の相互関係に基づいて、前記第１と
第２の移動物体領域の対応関係を判定する対応関係判定
手段とを備え、前記特性量が、前記第１と第２の移動物
体領域の相対距離のほかに、少なくとも、前記第１と第
２の移動物体領域のそれぞれの空間サイズの相対関係
と、前記第１と第２の移動物体領域の光学的性質の相対
関係とのうちの一方を含むので、定量的、且つ、精度の
高いマッピング処理が可能となる。

【００７２】また、請求項４記載の発明は、請求項３記
載の侵入者監視システムにおいて、前記侵入者判定手段
が、さらに、前記対応関係判定手段によって、各移動物
体領域の時間的連鎖を特定する連鎖特定手段と、前記時
間的連鎖において、前記移動物体領域の移動の連続性と
直進性とをパラメータとして、当該時間的連鎖が侵入者
に相当するものであるか否かを判定するマルチパラメー
タ型判定手段とを備えるので、誤検知を防止して精度の
高い侵入者判定を行うことを可能としている。特に、従
来は植物やカーテンの揺れ等を誤検知する傾向にあった
が、本アルゴリズムによればランダムな動きをして、直
進性のない移動物体領域を侵入者とは判断しないので、
侵入者判定の精度向上が図れる。

【００７３】また、請求項５記載の発明は、請求項１な
いし請求項４のいずれかに記載の侵入者監視システムに
おいて、さらに、過去の複数の連続フレームにおける共
通の背景領域を抽出する手段と、前記複数の連続フレー
ムに共通の背景領域以外の局所的画像情報を、各フレー
ムにおける前記共通背景領域の画像情報を用いて正規化
する手段と、正規化された共通の背景領域以外の画像情
報の分散が所定の値より下回る場合に、前記カレントフ
レームを新たなリファレンスフレームとして更新するの
で、侵入者がいないにも関わらず輝度変化が生じている
ためにリファレンスフレームの更新がされないといった
問題を解決できた。また、侵入者を含まないフレームを
安定して判別し、リファレンスフレームを更新すること
が可能となった。さらに、共通背景領域のみにおいて時
間方向の輝度分散を求めるため、全領域を対象とする場
合よりも計算量を削減でき処理の効率化が図れる。

【図面の簡単な説明】

【図１】本発明に係る侵入者監視システムの全体フロー
チャートである。

【図２】移動物体領域の抽出処理フローを示す図であ
る。

【図３】背景領域の抽出処理フローを示す図である。

【図４】フレーム差分抽出処理フローを示す図である。

【図５】マスク抽出用しきい値決定フローを示す図であ
る。

【図６】入力データであるリファレンスフレームとカレ
ントフレームに対して移動物体領域が抽出されるまでに
作用する手段を表す図である。

【図７】移動物体領域のマッピングに用いられる要素を
示す図である。

【図８】（ａ）は１フレーム前のマスク、（ｂ）はカレ
ントフレームのマスクを示す一実施例図である。

【図９】（ａ）は１フレーム前のマスクの属性データ、
（ｂ）はカレントフレームのマスクの属性を示す図であ
る。

【図１０】マッピング処理フローを示す図である。

【図１１】侵入判定処理に用いられる要素を示す図であ
る。

【図１２】侵入判定処理フローを示す図である。

【図１３】パラメータ計算フローを示す図である。

【図１４】過去連続フレームにおけるマスクの移動状態
を示す図である。

【図１５】リファレンス更新判定処理フローを示す図で
ある。

【図１６】リファレンス更新判定処理において、共通の
背景領域に対して行われる画像処理を示す図である。

【図１７】本発明に係る侵入監視システムにおいて、入
力されたリファレンスフレームとカレントフレームの画
像及び前処理後の状態を示す図である。

【図１８】本発明に係る侵入監視システムにおいて生成
されるフレーム差分、移動物体領域等を示す図である。

【図１９】侵入者監視システムの全体図である。

【符号の説明】

Ｍｅ フレーム差分 ＴＨ マスク抽出用しきい値 ｙ０ リファレンスフレーム ｙ０Ｂ リファレンスフレームのブロック単位での輝度 ｙ１ カレントフレーム ｙ１Ｂ カレントフレームのブロック単位での輝度

フロントページの続き Ｆターム(参考） 5B057 AA19 BA30 DA08 DA15 DB02 DB09 DC03 DC06 DC08 DC14 DC19 DC33 DC36 5C054 AA01 CC03 CG06 FC12 FF02 FF06 HA18 5C084 AA02 AA07 AA14 BB05 BB32 CC17 DD11 EE01 GG41 GG43 GG52 GG56 GG57 GG78 HH12 5L096 BA02 CA04 DA03 EA12 FA32 FA33 FA35 FA52 FA59 FA60 FA62 FA66 FA67 GA08 GA10 GA19 GA34 GA51

Claims (5)

【特許請求の範囲】
1. 【請求項１】 撮像手段によってフレーム単位で得られ
   た画像に基づいて、前記撮像手段で撮像した空間範囲へ
   の侵入者を監視するシステムであって、 (a) 前記撮像手段による撮像結果のうち、基準となる
   リファレンスフレームと、逐次更新されるカレントフレ
   ームとの画像情報の差分であるフレーム差分を算出する
   フレーム差分検出手段と、 (b) 前記カレントフレームの更新毎に、前記リファレ
   ンスフレームと前記カレントフレームとの画像情報の差
   分に応じてマスク抽出用しきい値を決定するしきい値決
   定手段と、 (c) 前記フレーム差分が前記マスク抽出用しきい値を
   越える領域を移動物体領域と判定する移動物体判定手段
   と、 (d) 前記移動物体領域の情報に基づいて侵入者の判定
   を行う侵入者判定手段と、 を備えることを特徴とする侵入者監視システム。
2. 【請求項２】 請求項１記載の侵入者監視システムにお
   いて、 前記フレーム差分検出手段が、 (a-1) 前記リファレンスフレームと前記カレントフレ
   ームとのそれぞれについて背景領域を検出する背景検出
   手段と、 (a-1) 前記リファレンスフレームと前記カレントフレ
   ームとのそれぞれについて、それぞれの局所的画像情報
   を前記背景領域の画像情報の平均値を用いて正規化し、
   それによって正規化リファレンスフレームと正規化カレ
   ントフレームとを得る正規化手段と、 (a-3) 前記正規化リファレンスフレームと前記正規化
   カレントフレームとの差分として前記差分フレームを得
   る手段と、を備えることを特徴とする侵入者監視システ
   ム。
3. 【請求項３】 請求項１記載の侵入者監視システムにお
   いて、 前記侵入者判定手段が、 (d-1) 前記リファレンスフレームにおける第１の移動
   物体領域と、前記カレントフレームにおける第２の移動
   物体領域とについて所定の種類の特性量を算出する特性
   量算出手段と、 (d-2) 前記第１と第２の移動物体領域のそれぞれにつ
   いての前記特性量の相互関係に基づいて、前記第１と第
   ２の移動物体領域の対応関係を判定する対応関係判定手
   段と、を備え、 前記特性量が、 前記第１と第２の移動物体領域の相対距離のほかに、 少なくとも、 前記第１と第２の移動物体領域のそれぞれの空間サイズ
   の相対関係と、 前記第１と第２の移動物体領域の光学的性質の相対関係
   と、 のうちの一方を含むことを特徴とする侵入者監視システ
   ム。
4. 【請求項４】 請求項３記載の侵入者監視システムにお
   いて、 前記侵入者判定手段が、さらに、 (d-3) 前記対応関係判定手段によって、各移動物体領
   域の時間的連鎖を特定する連鎖特定手段と、 (d-4) 前記時間的連鎖において、 前記移動物体領域の移動の連続性と直進性とをパラメー
   タとして、当該時間的連鎖が侵入者に相当するものであ
   るか否かを判定するマルチパラメータ型判定手段と、を
   備えることを特徴とする侵入者監視システム。
5. 【請求項５】 請求項１ないし請求項４のいずれかに記
   載の侵入者監視システムにおいて、 さらに、 (e) 過去の複数の連続フレームにおける共通の背景領
   域を抽出する手段と、 (f) 前記複数の連続フレームに共通の背景領域以外の
   局所的画像情報を、各フレームにおける前記共通背景領
   域の画像情報を用いて正規化する手段と、 (g) 前記正規化された共通の背景領域以外の画像情報
   の分散が所定の値より下回る場合に、前記カレントフレ
   ームを新たなリファレンスフレームとして更新すること
   を特徴とする侵入者監視システム。