JP2007108965A - 変化領域計算方法、変化領域計算装置、変化領域計算プログラム - Google Patents

Abstract

【課題】画面内に常に動きがある場合、照明変動がある場合においても、安定的に背景の変化を把握する技術を提供する。
【解決手段】撮影した映像の画像列１１の各画像に対して特徴を抽出する特徴抽出フィルタ処理１２、予め定めた枚数分の前記特徴抽出処理結果画像から特徴を抽出する複数フレーム第１処理１３、複数フレーム第１処理１３で用いた枚数とは異なる枚数を用いて特徴抽出処理結果画像から特徴を抽出する複数フレーム第２処理１４、複数フレーム第１処理１３、及び複数フレーム第２処理１４の結果を比較して変化抽出結果１６を計算する画像比較処理１５を有する変化領域計算方法を用いる。
【選択図】 図１

Description

本発明は、画像列から変化を抽出する技術に関するものである。

固定された監視カメラにおいて、撮影画像内にほとんど動きや変動がない場合には、物体が置かれたことを確認することは容易である。例えば、撮影画像がほぼ常に一定と考えられる場合は、その画像を背景としてメモリ上に持ち、現在の画像と比較すればよい（例えば、特許文献１参照。）。背景が変化する場合は、明るさ変動に追従２種類又はそれ以上の異なる時間前の画像を利用して、古い方を背景と考えて差を比較する方法がある（例えば、特許文献２参照。）。

また、背景画像の照明変動による変化を予測しながら画像を生成して、これを現在の画像と比較する方法（例えば、特許文献３参照。）、照明変動の影響を除去するフィルタを行うことで、背景の比較を容易にした方法もある（例えば、特許文献４参照。）。

これらの方法は、撮影画像内に動きがほとんどない場合にのみ適用可能である。

カメラが固定であるが撮影画像内に多少動く物体がある場合は、変化抽出の感度を変化させる方法があるが（例えば、特許文献５参照。）、動きの継続時間が監視期間と比較して短いことが前提となっている。また、照明変動の影響がないことを仮定している。
特開２０００−３３１２５３号公報 特公平７−１０１９３７号公報 特開２０００−３３１２５４号公報 特開平１０−９７６８７号公報 特許第３５９４８８９号公報

画面内に常に動きがある場合、照明変動がある場合においても、安定的に背景の変化を把握する技術を提供する。

そこで上記課題を解決するために、請求項１に記載の発明は、映像から変化情報を得る変化領域計算装置における変化領域計算方法であって、撮影した映像の画像列の各画像から特徴を抽出する特徴抽出フィルタ処理と、予め定めた枚数分の前記特徴抽出処理結果画像から特徴を抽出する複数フレーム第１処理と、前記複数フレーム第１処理で用いた枚数とは異なる枚数の前記特徴抽出処理結果画像から特徴を抽出する複数フレーム第２処理と、前記複数フレーム第１処理、及び前記複数フレーム第２処理の結果を比較して変化抽出結果を計算する画像比較処理と、を有することを特徴とする。

また、請求項２に記載の発明は、前記特徴抽出フィルタ処理は、画像の画素値をそのまま利用する、画像の画素値を予め定めたテーブル若しくは計算式によって変換する、近傍の画素値を利用して、平滑化処理を行う、１次微分処理する、若しくは２次微分処理する、近傍領域の分散値を計算する、若しくは平均値を計算する、又は、マルチバンド画像において、バンド間の比を計算する、画像を縮小する、若しくはこれらを複数組み合わせて行う、ことを特徴とする。

また、請求項３に記載の発明は、前記複数フレーム第１処理、又は複数フレーム第２処理は、前記画像の各点毎に予め定めた枚数分の特徴抽出フィルタ処理によって得られた結果の平均値、中央値、最頻値、分散値、又はその他の統計的特徴量を利用することを特徴とする。

また、請求項４に記載の発明は、前記複数フレーム第１処理、又は複数フレーム第２処理は、画像の各点又はブロックに、変化又は動きを検出し、変化あり又は動き有りと判定された場合はその点、ブロック、又は該当する画像全体においては複数フレーム処理から除外することを特徴とする。

また、請求項５に記載の発明は、前記画像比較処理は、複数フレーム第１処理及び複数フレーム第２処理によって得られた結果の差分、比率、又は相関係数計算を各点毎、各点の近傍領域、又はブロック毎に行ってこれを変化度合いとして出力することを特徴とする。

また、請求項６に記載の発明は、映像から変化情報を得る変化領域計算装置であって、撮影した映像の画像列の各画像から特徴を抽出する特徴抽出フィルタ処理手段と、予め定めた枚数分の前記特徴抽出処理結果画像から特徴を抽出する複数フレーム第１処理手段と、前記複数フレーム第１処理手段で用いた枚数とは異なる枚数の前記特徴抽出処理結果画像から特徴を抽出する複数フレーム第２処理手段と、前記複数フレーム第１処理手段、及び前記複数フレーム第２処理手段の結果を比較して変化抽出結果を計算する画像比較処理手段と、を有することを特徴とする。

また、請求項７に記載の発明は、前記請求項１〜５いずれかに記載の変化領域計算方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。

請求項１〜７に記載の発明によれば、画面内に常に動きがある場合、照明変動がある場合においても、安定的に背景の変化を把握する技術を提供することができる。

以下、図面を用いて実施形態について説明する。

図１は変化抽出手順の説明図である。図１に示すように、変化抽出手順は画像列１１について、特徴抽出フィルタ処理１２、複数フレーム処理１３、１４、及び画像比較処理１５を行い、変化抽出結果１６を得る。

画像列１１は、カメラから入力された映像、又は蓄積された映像を、１枚毎の画像に分けたものである。同じカメラで、例えば秒３０枚、１５枚、３枚等、又は１分毎、１０分毎、１時間毎等の間隔で得られているとするが、時間間隔は概ね一致していればよい。画像の大きさ（画素数、分解能）、カラー、マルチバンドであるか濃淡画像であるか、各画素毎のデジタル化階調（例えば８ビット、１２ビット、２４ビット）等はすべて一致しているとする。

特徴抽出フィルタ処理１２は、画像列１１の各画像について、予め定めた特徴抽出処理を行う。

この特徴抽出処理には様々な方法が考えられる。

最も単純には、画素値をそのまま出力する方法がある。

画素値を予め定めたテーブルで変換して出力してもよい。変換テーブルは、例えば対数変換、画素値がγ補正されている場合はγ補正を元に戻す処理でもよい。

その他の計算式を指定することも可能である。

予め定めた近傍において平均、重み付け平均、分散値を計算することもできる。

また、ＪＰＥＧ等で圧縮されている場合などでは、画質の改善処理、平滑化処理を行う方法が考えられる。

また、画素値を１次微分してもよい。例えば、画像を２次元関数ｆ（ｘ，ｙ）と考えると、１次微分は、

などが考えられる。

２次微分としては、

又はヘッセ行列の行列式、対角和などが考えられる。

さらに、平均、平滑化を用いた後に画像を縮小することも可能である。この場合、入力画像と以下で行われる処理のサイズは異なってくる。

以上の処理を、さらに複数組み合わせて行ってもよい。例えば、画像の各点の画素値に予め定めた固定値ｋを加え、対数変換を施し、予め定めたσを用いたガウス関数を用いた平滑化処理を行い、１次微分処理（グラジエント計算）を行い、さらにその後、ｎ画素毎に間引いて画像を縮小を行う方法がある。これを式で示すと、入力画像をｆ、出力結果をｇとすると、

となる。ここで、＊は畳み込み処理であり、この場合はガウス関数Ｇ_σで平滑化することを示している。

画像がカラーである場合、各画素値には３つの値（通常は、赤、緑、青）が割り当てられている。画像がマルチバンドである場合は、例えば赤、緑、青に加え、近赤外、赤外帯域での画像が記録されている場合がある。この時の値の数をｎとする（カラー画像の場合はｎ＝３）。このように、画素毎に複数の値が割り当てられている場合（ｎ＞１）は、これらの画素毎に２つの値を選択し、その比率又は対数変換後の差分の値を計算し、画素毎に値を得ておく方法がある（この場合は、画素毎に

個の数値が割り当てられる）。さらに、予め定めた計算式またはテーブルを用いて演算を行うことができる。

画像がカラー、マルチバンドである場合は、以上の処理の方法に加え、平均、平滑化、縮小等の処理を組み合わせて処理することができる。

複数フレーム第１処理１３、複数フレーム第２処理１４は、それぞれ特徴抽出フィルタ処理の結果を利用して、処理を行う過程である。基本的に、複数フレーム第１処理１３より、複数フレーム第２処理１４の方が長い時間（多い枚数）の処理であるとする。

これらの複数フレーム第１処理１３、複数フレーム第２処理１４は、同じ方法であって、特徴抽出フィルタ処理１２の出力を必要枚数分利用する。処理する枚数、及びその方法は、予め定められているとする。

実際に利用するフレーム数は、状況に応じて外部から設定できるようにしておいてもよい。適切な処理枚数は、例えば複数フレーム第１処理１３では１０秒、複数フレーム第２処理１４では１分、又は複数フレーム処理１では３０秒、複数フレーム第２処理１４では３分、などが設定できることとする。

ここで複数フレーム第１処理１３、複数フレーム第２処理１４の具体的方法例を説明する。

最も単純な方法としては、各点毎にあらかじめ定めた枚数分の特徴抽出フィルタ処理結果の平均を計算する方法がある。平均値の計算以外には、中央値、最頻値、分散値、または外れ値を除去した平均・中央値・分散値を用いる方法も考えられる。

さらに、動き検知、変化検知を併用して、動きがあった時・場所の結果を除外する方法もある。ここで言う動き検知、変化検知は、いわゆる直接的な２枚又は少数の画像の比較処理である。

最も単純には、２枚の画像の画素の差の絶対値が予め定めた、または動的に定めたしきい値以上である場合は、動きありと判断する。近傍の点での相関値がしきい値以下の場合に変化ありと判断する方法もある。

別の方法としては、特徴フィルタ処理された結果の２枚を使って同様の処理をする方法も考えられる。

いずれの場合も、２枚の画像（または同じ次元の情報を持つデータ）が動きありと判断された点、その近傍、予め定めたブロック、又はその時の画像全体において、複数フレーム第１処理１３、複数フレーム第２処理１４の処理を行わないものとする。

以上の結果得られるものは、例えば特徴抽出フィルタ処理１２が画素値をそのまま出力する方法で、複数フレーム第１処理１３、複数フレーム第２処理１４において平均値または中央値または最頻値を計算する場合、この結果は概ね背景画像といえる画像になる。背景に変化が発生すると、処理枚数が異なるために少ない枚数分の平均では、変化が反映した背景が得られ、多い枚数分の平均計算結果では変化前の背景が得られることになる。

特徴抽出フィルタ処理１２が画素値を直接出力する方法で、複数フレーム第１処理１３、複数フレーム第２処理１４において分散値を計算する場合は、例えば対象とする点または領域で常に小さな動きがあれば分散は大きくなり、安定すると小さくなる。したがって、処理対象の状況によっては多い枚数分の分散値と、少ない枚数分の分散値には違いが発生する場合がある。

画像の各点の画素値に予め定めた固定値ｋを加え、対数変換を施し、予め定めたσを用いたガウス関数を用いた平滑化処理を行い、１次微分処理（グラジエント計算）を行う方法を利用し、複数フレーム第１処理１３、複数フレーム第２処理１４において平均値または中央値または最頻値を計算する場合、結果は各点毎にベクトル値となる。この結果は、いわゆる一般的な画像とは言えないが、背景が持つ特徴は基本的に含まれた結果となる。

画像比較処理１５は、複数フレーム第１処理１３、複数フレーム第２処理１４において得られた結果を比較して、異なる領域を見つけ出す処理である。

最も単純には、複数フレーム第１処理１３の結果と複数フレーム第２処理１４の結果の差、差の絶対値、差の２乗、比、対数変換後の差、その絶対値、又は２乗等を点毎に計算する。各点毎に予め定めた近傍における相関値を計算してもよい。予め画像をブロック分けし、そのブロック毎に差の絶対値の差、対数変換後の差の絶対値、対数変換後の差の２乗の合計、相関値を計算することもできる。その他、各点又はブロック毎に近傍での重み付けを行うこともできる。

以上の結果からは、各点毎又は各領域毎に変化の度合いが検出される。この結果を直接変化度合いを計算した結果とみなすことができる。

さらに、これを変化の有無の領域に分けることも可能である。基本的には、上記の結果をしきい値処理する。

最も単純な例としては、予めしきい値を決めておき、各点毎に変化検出結果がしきい値より大きいか小さいかを調べる。この場合は各点毎に変化有無が割り当てられるが、これを塊として処理するため、結果について孤立点除去、モルフォロジーによる穴埋め処理等をおこない、この結果を変化領域とする方法がある。

他の例としては、予め画像をブロック毎に分割し、各ブロック内での相関値又は差の２乗の総和等が規定値数以上であれば、変化とみなす方法がある。各ブロック内で差の絶対値がしきい値以上の点が規定数以上ある場合に、変化とみなす方法もある。

この他にも、具体的に変化の有無を判断する方法には様々な方法が考えられるが、２枚の画像（実際には２つの同様な次元を持つデータ）の比較方法は様々なものが知られているため、ここでは指定しない。

以上の出力結果が、変化抽出結果１６である。

次に、具体的な処理の流れと途中経過例を、図２を用いて説明する。

図２において、２１は特徴抽出フィルタ処理結果群、２２は複数フレーム第１処理結果、２３は複数フレーム第２処理結果、２４は変化抽出結果である。特徴抽出フィルタ処理結果群２１は、特徴抽出フィルタ処理１２によって得られる結果である。この例では、説明を簡単にするため、画像の輝度をそのまま利用する方法を用いて説明している。画素値を直接利用しない場合は、いわゆる画像とは異なる結果が得られる。上ほど古い時間、一番下が最新の結果であるとする。この例では、監視カメラで得られる映像には、常に人が写っていること、途中で人が物を置き去ったことを示している。

複数フレーム第１処理結果２２は本例では４枚のフレーム（特徴抽出フィルタ処理結果）を利用、複数フレーム第２処理結果２３は７枚のフレームを利用していることを想定している。ここでは、各点において平均値を選択して画像を生成する例を示している。

複数フレーム第１処理結果２２は、短い時間の平均となるため、置き去りにされた物体をすぐに反映される。一方、複数フレーム第２処理結果２３は長い時間の平均となるため、物がおき去られても長時間経過しなければ置き去りにされた物体が反映されない。このため、２枚の複数フレーム処理結果には相違が発生する。

変化抽出結果２４は、複数フレーム第１処理結果２２と複数フレーム第２処理結果２３との差分である。比較的最近発生した変動のみを捕らえ、行き来する人の影響は受けない結果が得られる。

特徴抽出フィルタ処理１２において、画素値を直接出力する処理は、屋内など照明変動がほとんどない場合に利用すると、背景画像が自動的に生成でき、見かけ上わかりやすいというメリットがある。しかし屋外のように照明変動によって明るさが大きく変化する場合は、背景画像自体が明るさの変動による影響を受けてしまい、画像比較処理において得られる変化抽出結果も照明変動の影響を受けてしまうことになる。

ここで、特徴抽出フィルタ処理１２の具体的例として、除去すべき照明変動の影響、高周波ノイズの影響をフィルタを工夫して軽減しておく方法が考えられる。

例えば、画像の各点の画素値に予め定めた固定値ｋを加え、対数変換を施し、予め定めたσを用いたガウス関数を用いた平滑化処理を行い、１次微分処理（グラジエント計算）を行う方法では、処理は高周波ノイズと照明による低周波変動を吸収するため、結果は照明変動の影響が極めて少ないものとなる。

この結果を利用して、複数フレーム第１処理１３、複数フレーム第２処理１４において平均または中央値または最頻値を計算する。結果は各点毎にベクトル値となる。この結果について近傍またはブロック内で相関値演算または差分２乗和を行いった結果は、変化抽出結果が照明変動・高周波ノイズの影響を受けにくいものになることが期待できる（例えば、特許第３５９４８８９号参照。）。

なお、このように、特徴抽出フィルタ処理１２において、画素値を直接利用するのではなく、１次微分または２次微分を計算したり、マルチバンド画像の場合は画素値の比率計算を行うと、結果は見かけ上、元の画像とは異なったものになる。

例えば、ソーベル微分処理を行うと、画像は“エッジ画像”になる。グラジエント処理を行った場合は点毎にベクトル値が、ヘッセ行列の場合には点毎に４つの値が割り当てられる。従って、例えば複数フレーム処理結果で平均を用いた場合も、その結果はいわゆる「画像」ではなく、背景画像を反映した処理結果となる。しかし、複数フレーム処理１および２において同じ処理を実施していれば、結果は同等のデータとなるため、これらを画像比較処理１５で比較することができる。

また、動きがある場合はその情報を利用して、動きが検知された時、その点または領域または画像を複数フレーム処理で処理しないこととすると、より安定に背景画像の情報を抽出できることになる。

なお、以上は２種類の複数フレーム処理を用いて処理を説明した。２種類の複数フレーム処理を利用する場合は、ある移動後一定時間以上経過した物体を抽出できる。例えば３種類の複数フレーム処理を行う場合は、２種類の時間について一定時間以上経過したか否かを判定できることから、例えばある一定時間長の間のみ発生した変化を捉えることができるようになる。

上記実施形態によれば、道路、駅など、常に何らかの動きがありうる場所に設置したカメラを利用して、その中で発生した落下物、不審物、または逆に持ち去りを、基本的には２種類の複数フレーム処理の結果の差を利用することによって把握できる。また、特徴フィルタ処理において、画像に発生する照明変動等を予め除去しておくことによって、屋外においても安定な処理を行うことができる。

上記各処理を行い変化抽出結果を得る変化抽出装置の構成例について説明する。

変化抽出装置は、画像列を入力する入力部、特徴抽出フィルタ処理、複数フレーム処理、及び画像比較処理に必要なプログラムを記録する記録部、情報を出力する出力部、並びに特徴抽出フィルタ処理、複数フレーム処理、及び画像比較処理を行う制御部を備える構成にすることができる。

例えば、ＣＰＵを用いて制御部を実現し、上記各処理の処理結果である特徴量を書き込み次の処理で必要なときにこれらを読み出すメモリ、出力部であるディスプレイ、入力部である画像列入力装置、記憶部であるハードディスクがこのＣＰＵに接続される。ハードディスクには特徴抽出フィルタ処理プログラム、複数フレーム処理プログラム、及び画像比較処理プログラム、並びにオペレーティングシステムが記憶されている。プログラムはＣＤ−ＲＯＭドライブを介してＣＤ−ＲＯＭからインストールことが可能である。

変化抽出手順の説明図。 変化抽出手順の具体例を示す図。

符号の説明

１１ 画像列
１２ 特徴抽出フィルタ処理
１３ 複数フレーム第１処理
１４ 複数フレーム第２処理
１５ 画像比較処理
１６ 変化抽出結果
２１ 特徴抽出フィルタ処理結果群
２２ 複数フレーム第１処理
２３ 複数フレーム第２処理
２４ 変化抽出結果

Claims (7)

1. 映像から変化情報を得る変化領域計算装置における変化領域計算方法であって、
   撮影した映像の画像列の各画像から特徴を抽出する特徴抽出フィルタ処理と、
   予め定めた枚数分の前記特徴抽出処理結果画像から特徴を抽出する複数フレーム第１処理と、
   前記複数フレーム第１処理で用いた枚数とは異なる枚数の前記特徴抽出処理結果画像から特徴を抽出する複数フレーム第２処理と、
   前記複数フレーム第１処理、及び前記複数フレーム第２処理の結果を比較して変化抽出結果を計算する画像比較処理と、を有することを特徴とする変化領域計算方法。
2. 前記特徴抽出フィルタ処理は、
   画像の画素値をそのまま利用する、
   画像の画素値を予め定めたテーブル若しくは計算式によって変換する、
   近傍の画素値を利用して、平滑化処理を行う、１次微分処理する、若しくは２次微分処理する、
   近傍領域の分散値を計算する、若しくは平均値を計算する、
   又は、マルチバンド画像において、バンド間の比を計算する、画像を縮小する、若しくはこれらを複数組み合わせて行う、ことを特徴とする請求項１に記載の変化領域計算方法。
3. 前記複数フレーム第１処理、又は複数フレーム第２処理は、
   前記画像の各点毎に予め定めた枚数分の特徴抽出フィルタ処理によって得られた結果の平均値、中央値、最頻値、分散値、又はその他の統計的特徴量を利用することを特徴とする請求項１又は２に記載の変化領域計算方法。
4. 前記複数フレーム第１処理、又は複数フレーム第２処理は、
   画像の各点又はブロックに、変化又は動きを検出し、変化あり又は動き有りと判定された場合はその点、ブロック、又は該当する画像全体においては複数フレーム処理から除外することを特徴とする請求項３に記載の変化領域計算方法。
5. 前記画像比較処理は、
   複数フレーム第１処理及び複数フレーム第２処理によって得られた結果の差分、比率、又は相関係数計算を各点毎、各点の近傍領域、又はブロック毎に行ってこれを変化度合いとして出力することを特徴とする請求項１〜４いずれかに記載の変化領域計算方法。
6. 映像から変化情報を得る変化領域計算装置であって、
   撮影した映像の画像列の各画像から特徴を抽出する特徴抽出フィルタ処理手段と、
   予め定めた枚数分の前記特徴抽出処理結果画像から特徴を抽出する複数フレーム第１処理手段と、
   前記複数フレーム第１処理手段で用いた枚数とは異なる枚数の前記特徴抽出処理結果画像から特徴を抽出する複数フレーム第２処理手段と、
   前記複数フレーム第１処理手段、及び前記複数フレーム第２処理手段の結果を比較して変化抽出結果を計算する画像比較処理手段と、を有することを特徴とする変化領域計算装置。
7. 前記請求項１〜５いずれかに記載の変化領域計算方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする変化領域計算プログラム。