JP5505936B2 - 画像処理ユニット、および画像処理プログラム - Google Patents

Description

この発明は、ビデオカメラ等の撮像装置が撮像している撮像エリアのフレーム画像を処理して、このフレーム画像に撮像されている物体を検出する画像処理ユニット、および画像処理プログラムに関する。

従来、ビデオカメラ等の撮像装置を利用して、不審者の侵入や、不審物の放置を監視する監視システムが実用化されている。この種の監視システムでは、撮像装置の撮像エリアを、不審者の侵入や、不審物の放置を監視する監視対象エリアに合わせている。また、撮像装置で撮像している監視対象エリアのフレーム画像を処理し、撮像されている物体（不審者や不審物等）を検出する画像処理ユニットを備えている。上位装置は、画像処理ユニットにおける物体の検出結果に応じて、係員に対して物体の検出を通知する報知や、検出した物体が撮像されているフレーム画像を表示器に表示する等の処理を行う。

画像処理ユニットは、入力されたフレーム画像の画素毎に、背景モデルを用いて、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定する。また、この判定結果に基づいて、背景が撮像されている背景領域と、物体が撮像されている前景領域と、で区別した２値化画像を生成する。この２値化画像における前景領域が、物体が撮像されている領域であり、その大きさや形状から物体の種別等を推定することも行われている。

画像処理ユニットは、上述した２値化画像の生成に用いる背景モデルを、監視対象エリア内の明るさの変化等の環境変化に対応させるために、撮像装置が撮像しているフレーム画像を用いて更新している。このため、フレーム画像に物体が撮像されていると、この物体が撮像されている前景領域に位置する画素ついては、撮像されている物体の影響を受けた背景モデルに更新される。その結果、物体を背景として誤検出したり、反対に、背景を物体として誤検出することになる。

そこで、フレーム画像において、物体が静止する可能性が高い画像領域については、作成する背景モデルに与える影響を小さくするために、他の画像領域よりも学習率を小さくする（更新頻度を小さくする）方法、学習率の異なる２つの背景モデルを利用する方法等が提案されている（非特許文献１、２等参照）。

Arslan Basharat, Alexei Gritai, Mubarak Shah.Learning object motion patterns for anomaly detection and improved object detection. Computer Vision and Pattern Recognition,pp1-8,2008. Fatih Porikli, Yuri Ivanov, Tetsugi Haga. Robust adandoned object detection using durl foregrounds.EURASIP Journal on Advances in Signal Processing,2008.

しかしながら、非特許文献１、２等で提案されている従来の手法は、フレーム画像に撮像されている背景でない物体が静止している場合、この物体を背景としてみなした背景モデルに更新されるまでの時間を延ばしているにすぎない。したがって、この物体が静止している時間が、この物体を背景としてみなした背景モデルに更新されるまでの時間よりも長くなると、撮像されている物体の影響を受けた背景モデルに更新される。

また、フレーム画像において、物体が撮像されている領域については、背景モデルの更新を行わないように制限することも考えられる。しかし、この場合には、静止している物体が撮像されている間、この領域については背景モデルが更新されない。したがって、この間における監視対象エリア内の明るさの変化等の環境変化に対応することができず、物体が移動したときに、背景が撮像されているにもかかわらず、新たな物体が撮像されていると誤検出することがある。

この発明の目的は、入力されているフレーム画像に撮像されている物体の影響を抑え、且つ撮像エリア内の明るさの変化等の環境変化に応じたモデルの更新を適性に行うことで、フレーム画像に撮像されている物体の検出精度の向上を図った画像処理ユニット、および画像処理プログラムを提供することにある。

この発明の画像処理ユニットは、上記課題を解決し、その目的を達するために以下のように構成している。

画像入力部には、ビデオカメラ等の撮像装置で撮像している撮像エリアのフレーム画像が入力される。確率モデル記憶部は、フレーム画像の画素毎に、過去における、その画素の画素値の頻度をモデル化した確率モデルを記憶する。この確率モデルは、例えば、ガウス分布の密度関数である。また、予測モデル記憶部は、フレーム画像の画素毎に、その画素の画素値の時系列推移をモデル化した予測モデルを記憶する。この予測モデルは、例えば、指数平滑法によるモデルである。

また、２値化画像生成部は、画像入力部に入力されたフレーム画像の画素毎に、確率モデル記憶部に記憶している該当する画素の確率モデルなどに基づいて、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定し、その判定結果を割り当てた２値化画像を生成する。物体検出部は、２値化画像生成部が生成した２値化画像から撮像エリア内に位置する物体を検出する。

さらに、モデル更新部は、２値化画像生成部が背景画素であると判定した画素については、その画素の画素値を用いて、当該画素にかかる確率モデル、および予測モデルを更新する。したがって、背景画素については、確率モデル、および予測モデルの更新が適性に行える。また、モデル更新部は、２値化画像生成部が前景画素であると判定した画素については、その画素と確率モデル、および予測モデルが類似し、且つ２値化画像生成部が背景画素であると判定した画素の画素値を用いて、当該画素にかかる確率モデル、および予測モデルを更新する。したがって、フレーム画像において物体が撮像されている前景領域の画素についても、監視対象エリア内の明るさの変化等の環境変化に対応した確率モデル、および予測モデルの更新が行える。これにより、フレーム画像に撮像されている物体の検出精度の向上が図れる。

また、２値化画像生成部は、画像入力部に入力されたフレーム画像の画素毎に、確率モデル記憶部に記憶している該当する画素の確率モデル、および予測モデル記憶部に記憶している該当する画素の予測モデルに基づいて、背景画素または前景画素のいずれであるかを判定する構成としてもよい。この場合には、例えば、２値化画像生成部は、フレーム画像の画素毎に、確率モデル記憶部に記憶している該当する画素の確率モデルに基づいて背景画素である第１の尤度を算出し、且つ予測モデル記憶部に記憶している該当する画素の予測モデルに基づいて背景画素である第２の尤度を算出し、算出した第１の尤度、および第２の尤度を統合して、背景画素または前景画素のいずれであるかを判定する構成とすればよい。

この発明によれば、入力されているフレーム画像に撮像されている物体の影響を抑え、且つ撮像エリア内の明るさの変化等の環境変化に応じたモデルの更新が適性に行えるので、フレーム画像に撮像されている物体の検出精度を向上できる。

画像処理ユニットの主要部の構成を示すブロック図である。 画像処理ユニットの動作を示すフローチャートである。 フレーム画像の各画素を示す画素番号を説明する図である。 前景領域を確定する手法を説明する図である。 フレーム画像の各画素にかかる確率モデル、および予測モデルの更新を説明する図である。

以下、この発明の実施形態である画像処理ユニットについて説明する。

図１は、この画像処理ユニットの主要部の構成を示すブロック図である。画像処理ユニット１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。

制御部２は、画像処理ユニット１本体各部の動作を制御する。

画像入力部３は、ビデオカメラ１０が撮像しているフレーム画像が入力される。ビデオカメラ１０は、例えばフレーム画像を１秒間に３０フレーム出力する。ビデオカメラ１０は、不審者の侵入や、不審物の放置等を監視する監視対象エリアが撮像エリア内に収まるように設置している。

画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、このフレーム画像に撮像されている物体（背景でない物体）を検出する。また、この画像処理部４は、画像入力部３に入力されたフレーム画像を用いて、後述する確率モデル、および予測モデルを更新するモデル更新処理を行う。画像処理部４は、確率モデル、および予測モデルを記憶するメモリ４ａを有している。このメモリ４ａが、この発明で言う確率モデル記憶部、および予測モデル記憶部に相当する。

なお、画像処理部４は、画像入力部３に入力されたフレーム画像に対する画像処理等を実行するマイコンを備えている。この発明にかかる画像処理プログラムは、このマイコンを動作させるプログラムであり、予め画像処理部４にインストールしている。

入出力部５は、図示していない上位装置との間におけるデータの入出力を制御する。入出力部５は、画像処理部４で物体が検出されたときに、その旨を上位装置（不図示）に通知する信号を出力する。入出力部５は、物体の検出を通知する信号を出力する構成であってもよいし、物体を検出したフレーム画像とともに、物体の検出を通知する信号を出力する構成であってもよい。

なお、上位装置は、画像処理ユニット１の入出力部５から出力された信号によって、監視対象エリア内に位置する物体の検出が通知されたときに、その旨を音声等で出力して、周辺にいる係員等に通知する構成であってもよいし、さらには、物体を検出したフレーム画像が送信されてきている場合に、そのフレーム画像を表示器に表示する構成であってもよい。

次に、この画像処理ユニット１の動作について説明する。図２は、画像処理ユニットの動作を示すフローチャートである。まず、画像処理ユニットの動作の概略を説明し、その後、各動作について詳細に説明する。

画像処理ユニット１はビデオカメラ１０が撮像したフレーム画像が画像入力部３に入力されると（ｓ１）、画像処理部４が入力されたフレーム画像を取り込む。画像処理部４は、フレーム画像の画素毎に、メモリ４ａに記憶している確率モデルで背景尤度（この発明で言う第１の尤度）を算出する（ｓ２）。また、画像処理部４は、今回入力されたフレーム画像の画素毎に、メモリ４ａに記憶している予測モデルで背景尤度（この発明で言う第２の尤度）を算出する（ｓ３）。

確率モデルは、フレーム画像の画素毎に、過去に入力されたフレーム画像における画素値の発生頻度を、混合ガウス分布を利用してモデル化したものである。また、予測モデルは、フレーム画像の画素毎に、過去に入力されたフレーム画像における画素値の時系列推移をモデル化したものである。したがって、予測モデルは、次に入力されるフレーム画像における画素値の推定に利用できる。

画像処理部４は、今回入力されたフレーム画像について、画素毎にｓ２で算出した確率モデルでの背景尤度と、ｓ３で算出した予測モデルでの背景尤度とを用いて、背景が撮像されている画素（以下、背景画素と言う。）であるか、または、背景でない物体が撮像されている画素（以下、前景画素と言う。）であるかを決定する（ｓ４）。ｓ４では、マルコフ確率場に基づくエネルギー関数を定義し、その最小化問題を、グラフカットを利用して解くことで、背景画素、または前景画素のいずれであるかを判定し、決定する。このｓ４にかかる処理により、フレーム画像において、背景が撮像されている背景領域と、前景（物体）が撮像されている前景領域とを区分した２値化画像を生成する。画像処理部４は、この２値化画像における前景領域の大きさや形状から、撮像されている物体の種別等を推定する物体検出処理を行う（ｓ５）。

さらに、画像処理部４は、フレーム画像の画素毎に、確率モデル、および予測モデルを更新するための画素を選定する（ｓ６）。画像処理部４は、フレーム画像の画素毎に、ｓ６で選定した画素の画素値を利用して、その画素についてメモリ４ａに記憶している確率モデル、および予測モデルを更新する（ｓ７）。ｓ６では、背景と判定した画素については、その画素を選定する。前景と判定した画素については、その画素の周辺画素の中から、今回、背景画素と判定された画素であって、確率モデルおよび予測モデルが類似する画素を選定する。

一般に、背景画素の画素値は、草木の揺れなどにともなって周期的に変化する。また、日照変化等による明るさは、急激に変化せず、徐々に変化する。

以下、上述したｓ２〜ｓ７の動作について詳細に説明する。

ここでは、画像入力部３に入力されるフレーム画像を、図３に示すように主走査方向（図３における左右方向）にｎ画素、副走査方向（図３における上下方向）にｍ画素の画像として説明する。また、主走査方向にＮ番目、副走査方向にＭ番目である画素の画素番号ｉを、
ｉ＝ｎ×（Ｍ−１）＋Ｎ
とする。また、時刻ｔにおいて、画像入力部３に入力されたフレーム画像の各画素ｉの画素値をｘi^tで表す。

なお、以下の説明では、任意の画素について説明するときには、添え字ｉを省略することもある。

画素ｉについて、時刻ｔにおけるｋ番目のガウス分布が持つ重みｗk^t、平均値μk^t、分散共分散行列Σk^tとした場合、確率モデルによる背景尤度は

で算出する。ここでηは、

で表されるガウス分布の密度関数である。

確率モデルの更新は、画素値ｘ^tに対して、Ｋ個の分布の中からマッチする分布を探す。画素値ｘ^tが各分布の平均値γδ以内であれば、その分布にマッチしていると判定する。δは、この分布の標準偏差であり、γは、例えばγ＝2.5に設定すればよい。

また、Ｋ個のガウス分布の重みをｗk^tは、

で更新する。（３）式において、αは学習率であり、この値が大きいと新たな観測画素値ｘ^tにマッチする分布の重みがすぐに大きくなる。すなわち、新たな確率モデルが比較的早い段階で構築される。

また、Ｍk^tは、マッチした分布については１、それ以外の分布を０にする。画像処理部４は、各分布の重みを更新した後、重みの総和が１になるように正規化する。

マッチする分布が見つかった場合、その分布の平均値μ^tを、

で更新するとともに、分散値δ^tを、

で更新する。（４）式、（５）式におけるρは、学習率であり、

で表される。

また、ｙ^tは、確率モデルを更新するための画素値であり、後述するように、前景と判定した画素と、背景と判定した画素で異なるため、ここではｘ^tと区別した表記にしている。

また、画像処理部４は、マッチする分布がみつからなかった場合、新たにガウス分布ηk+1を作成する。ここで、

とする。また、Ｗは、新たな分布に対して予め設定しておく重みである。

さらに、画像処理部４は、ガウス分布の照合度ｗ／δを計算し、その照合度が最小であるガウス分布の重みが、予め定めた閾値以下であれば、その分布を削除し、残りの分布が持つ重みの総和が１になるように、正規化する。

次に、予測モデルについて説明する。画像入力部３に入力されたフレーム画像の各画素の観測画素値の予測モデルは、指数平滑法により更新する。指数平滑法は、公知のように、時系列データから将来値を予測するのに利用される、時系列分析手法である。ここでは、過去の観測画素値の傾向をモデル化するためと、次時刻での観測画素値を予測するのに用いる。

時刻ｔにおける、移動平均値ｍ^t、観測値ｙ^tを用いて、時系列データを逐次的に平滑化する定数型モデルは、

で表される。ここで、β（０＜β＜１）は、平滑化係数であり、βが１に近いほど、直前値を重視した予測になる。

時系列データに傾向がない定数型モデルの場合は、以下に示す（９）式において、ｍ^tが時刻ｔ＋１での有効な予測値となるが、データに上昇、あるいは下降傾向がある場合、その傾向を予測することはできない。ここでは、このような傾向も考慮し、直線型傾向モデルを利用している。この直線型モデルは、時刻ｔにおける傾向の推定値ｒ^tが導入されており、直線型傾向モデルの予測値ｚ^tは、

により、予測することができる。

上記の予測モデルを利用した背景尤度評価について説明する。上記の予測モデルを画素単位で利用した場合、予測誤りが生じる可能性が高いので、ここでは、注目画素（予測対象の画素）と、この注目画素の周辺に位置する複数の画素を用い、空間的な情報を考慮して、背景尤度を算出する。

具体的には、注目画素ｉと、４近傍画素の集合をＲとし、背景尤度Ｑ（ｘ^t）を、

により算出する。ここで、φ（ｘ^t，ｚ^t）は、予測誤差を許容する閾値ｔｈにより、

で定義している。

また、予測モデルは、観測値ｙ^tにより更新が行われる。ここでは、確率モデル更新と同様に、画素が前景、または背景のどちらに判定されたかによって、利用する画素値を異ならせている。詳細については後述する。

確率モデルで算出した背景尤度、および予測モデルで算出した背景尤度を統合し、最終的な物体領域を確定する。具体的には、マルコフ確率場に基づくエネルギー関数を定義し、その最小化問題を解くことにより、各画素に対する２値のラベルの最適な割り当てを決定する。２値のラベルベクトルをＬ（ｌ1〜ｌN）とすると、エネルギー関数Ｅ（Ｌ）は、

で表すことができる。

ここで、νは全画素の集合であり、ν，εは近傍画素の集合である。また、Ｇ（ｌi）はペナルティ項であり、Ｈ（ｌi，ｌj）は平滑項であり、

により算出される。

ここでは、このエネルギー関数Ｅ（Ｌ）を最小化するためにグラフカットを利用する。具体的には、図４に示す、画像の各画素に対応するノードＳｏｕｒｃｅ（ｓ）と、特別なノードＳｉｎｋ（ｔ）を作成する。ここでは、ノードｓを前景、ノードｔを背景としている。ノード間は、エッジで接続し、各エッジには次のようなコストｕ（ｉ，ｊ）を与える。

画像処理部４が上述の処理で前景画素と判定した画素については、その観測画素値で確率モデル、および予測モデルを更新すると、物体が静止した際に、その物体による画素値を徐々に背景として学習する。この画像処理ユニット１は、このような画素の学習率を小さくするのではなく、全く学習しないようにすることで、静止した物体が背景に溶け込むのを防止する。

また、物体静止中に生じた明るさ等の周辺環境の変化を、静止物体周辺の画素については確率モデル、および予測モデルの変化を学習し更新しているが、静止物体に遮蔽された画素については、確率モデル、および予測モデルの更新がされないと、この静止物体が移動したときに、背景を物体として誤検出する可能性が高くなる。そこで、画像処理部４は、背景画素と判定された画素の情報を利用して、前景画素と判定された画素の確率モデル、および予測モデルの更新を行う。

具体的には、前景画素と判定された画素の集合をＦ、背景と判定された画素の集合をＢとし、確率モデルの更新のために用いる時刻ｔでの画素ｉの画素値ｙi^tは、

で算出される。ここでｃは集合Ｂに属し、背景画素と判定された画素の中から、

を満足する画素を探索する。

Θは、各画素の確率モデルと、予測モデルから構成されるパラメータ集合であり、ここでは
Θ＝（μ1^t，ｍ^t，ｒ^t）
とした。

これらは、確率分布の内、これまでに観測された画素値の分布を表す分布の平均値μ1^tと、予測モデルの移動平均値と、傾向の推定値である。画像処理部４は、前景画素と判定された画素ｉについて、この画素ｉの確率モデルおよび予測モデルのそれぞれに対して、それらと類似した確率モデル、および予測モデルを持つ背景画素と判定された画素を探索する。そして、探索した画素を利用することで、物体により遮蔽された背景領域のモデルの更新を行う。モデルが類似しているかどうかは、ｆ（Θi，Θj）により評価すればよい。

このように、確率モデル、および予測モデルの更新処理では、前景画素と判定された画素については、その画素の画素値を直接利用するのではなく、背景画素と判定された画素の中で、類似した確率モデル、および予測モデルを持つ画素の画素値を利用して更新する。例えば、画像入力部３に入力されたフレーム画像が、図５（Ａ）に示す背景画像であれば、画像処理部４は、フレーム画像の各画素について、その画素の画素値により、確率モデル、および予測モデルを算出し、更新する。一方、画像入力部３に入力されたフレーム画像が、図５（Ｂ）に示す物体（車両）を撮像している画像であれば、画像処理部４は、背景が撮像されている領域に位置する画素については、その画素の画素値により、確率モデル、および予測モデルを算出し、更新する。一方、画像処理部４は、車両が撮像されている領域に位置する画素については、背景領域に位置する画素であって、且つ、その画素と確率モデル、および予測モデルが類似する画素の画素値を用いて、確率モデル、および予測モデルを更新する。

したがって、入力されているフレーム画像に撮像されている物体の影響を抑え、且つ撮像エリア内の明るさの変化等の環境変化に応じたモデル（確率モデル、および予測モデル）の更新が適性に行える。これにより、フレーム画像に撮像されている物体の検出精度の向上が図れる。

１…画像処理ユニット
２…制御部
３…画像入力部
４…画像処理部
４ａ…メモリ
５…入出力部
１０…ビデオカメラ

Claims (6)

1. 撮像装置が撮像している撮像エリアのフレーム画像を入力する画像入力部と、
   前記フレーム画像の画素毎に、過去における、その画素の画素値の頻度をモデル化した確率モデルを記憶する確率モデル記憶部と、
   前記フレーム画像の画素毎に、その画素の画素値の時系列推移をモデル化した予測モデルを記憶する予測モデル記憶部と、
   前記画像入力部に入力された前記フレーム画像の画素毎に、前記確率モデル記憶部に記憶している該当する画素の確率モデルに基づいて、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定し、その判定結果を割り当てた２値化画像を生成する２値化画像生成部と、
   前記２値化画像生成部が生成した２値化画像から前記撮像エリア内に位置する物体を検出する物体検出部と、
   前記２値化画像生成部が背景画素であると判定した画素については、その画素の画素値を用いて、当該画素にかかる確率モデル、および予測モデルを更新し、前記２値化画像生成部が前景画素であると判定した画素については、その画素と前記確率モデル、および前記予測モデルが類似し、且つ前記２値化画像生成部が背景画素であると判定した画素の画素値を用いて、当該画素にかかる確率モデル、および予測モデルを更新するモデル更新部と、を備えている画像処理ユニット。
2. 前記２値化画像生成部は、前記画像入力部に入力された前記フレーム画像の画素毎に、前記確率モデル記憶部に記憶している該当する画素の確率モデル、および前記予測モデル記憶部に記憶している該当する画素の予測モデルに基づいて、背景画素または前景画素のいずれであるかを判定する、請求項１に記載の画像処理ユニット。
3. 前記２値化画像生成部は、前記画像入力部に入力された前記フレーム画像の画素毎に、前記確率モデル記憶部に記憶している該当する画素の確率モデルに基づいて背景画素である第１の尤度を算出し、且つ前記予測モデル記憶部に記憶している該当する画素の予測モデルに基づいて背景画素である第２の尤度を算出し、算出した前記第１の尤度、および前記第２の尤度を統合して、背景画素または前景画素のいずれであるかを判定する、請求項２に記載の画像処理ユニット。
4. 前記確率モデルは、ガウス分布の密度関数である、請求項１〜３のいずれかに記載の画像処理ユニット。
5. 前記予測モデルは、指数平滑法によるモデルである、請求項１〜４のいずれかに記載の画像処理ユニット。
6. 画像入力部に入力される、撮像装置が撮像している撮像エリアのフレーム画像について、確率モデル記憶部が前記フレーム画像の画素毎に、過去における、その画素の画素値の頻度をモデル化した確率モデルを記憶し、且つ、予測モデル記憶部が、前記フレーム画像の画素毎に、その画素の画素値の時系列推移をモデル化した予測モデルを記憶しておき、
   前記画像入力部に入力された前記フレーム画像の画素毎に、前記確率モデル記憶部に記憶している該当する画素の確率モデルに基づいて、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定し、その判定結果を割り当てた２値化画像を生成する２値化画像生成ステップと、
   前記２値化画像生成ステップで生成した２値化画像から前記撮像エリア内に位置する物体を検出する物体検出ステップと、
   前記２値化画像生成ステップで背景画素であると判定した画素については、その画素の画素値を用いて、当該画素にかかる確率モデル、および予測モデルを更新し、前記２値化画像生成ステップで前景画素であると判定した画素については、その画素と前記確率モデル、および前記予測モデルが類似し、且つ前記２値化画像生成ステップで背景画素であると判定した画素の画素値を用いて、当該画素にかかる確率モデル、および予測モデルを更新するモデル更新ステップと、をコンピュータに実行させる画像処理プログラム。

Images