JP2011123742A - 侵入物体検知装置 - Google Patents

侵入物体検知装置 Download PDF

Info

Publication number
JP2011123742A
JP2011123742A JP2009281889A JP2009281889A JP2011123742A JP 2011123742 A JP2011123742 A JP 2011123742A JP 2009281889 A JP2009281889 A JP 2009281889A JP 2009281889 A JP2009281889 A JP 2009281889A JP 2011123742 A JP2011123742 A JP 2011123742A
Authority
JP
Japan
Prior art keywords
pixel
background
value
intruding object
background model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009281889A
Other languages
English (en)
Other versions
JP5388829B2 (ja
Inventor
Yoshi Marukawa
佳 丸川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2009281889A priority Critical patent/JP5388829B2/ja
Publication of JP2011123742A publication Critical patent/JP2011123742A/ja
Application granted granted Critical
Publication of JP5388829B2 publication Critical patent/JP5388829B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】監視空間内での急激な照度変動が生じても、その照度変動を侵入物体として誤検出することを防止できる侵入物体検知装置を提供する。
【解決手段】侵入物体検知装置1は、監視空間を撮像して監視画像を生成する撮像部10と、複数の監視画像の各画素における画素値の出現確率分布を表す背景モデル、及び背景モデルを代表する画素値を代表画素値として記憶する記憶部23と、監視画像の注目画素の画素値を、注目画素に対応する背景モデルの代表画素値にて置換することにより合成背景画像を生成する背景合成部242と、監視画像の注目画素及び注目画素の近傍に位置する複数の画素を含む局所領域を設定し、局所領域における監視画像と局所領域における合成背景画像の相関値を注目画素の相関値として算出する相関値算出部243と、相関値が所定の閾値以下となる画素に基づいて監視空間に侵入物体が存在するか否かを判定する侵入物体検出部244とを有する。
【選択図】図2

Description

本発明は、監視空間を撮影した監視画像からその監視空間への侵入物体を検知する侵入物体検知装置に関する。特に、監視画像内に、急激な照度変動が生じる屋外等の環境下で使用される侵入物体検知装置に関する。
従来より、監視空間を撮影した監視画像から監視空間へ侵入する移動物体を検出するために、画素値の統計的な特徴量を用いて、背景と前景を切り分ける方法がある(例えば、特許文献1を参照)。このような方法では、例えば、過去に観測され、蓄積された監視画像内の各画素の画素値などの統計情報に基づいて作成された、「背景モデル」と呼ばれるモデルを使用する。背景モデルは、画素ごとに、「この画素はこの輝度となることが多い若しくは少ない」ということを表す各輝度の出現度合いの組からなる。そして、背景と前景の切り分けを行う画像における注目画素の画素値が、対応する背景モデルにおいて出現度合いが高ければ、その注目画素は背景であると判定され、出現度合いが低ければ、その注目画素は前景であると判定される。特許文献1には、画素ごとに過去の観測結果に基づく出現頻度を保持することで、背景の画素値の分布範囲を学習し、背景の画素値の分布範囲から外れる現フレームの画素を移動物体が写っている画素と判定する方法が開示されている。これにより、特許文献1に開示の技術は、屋外等において背景の明るさが緩やかに変化することで背景領域内の画素の画素値に変動が生じても、監視画像中に写った動物体の像を背景から分離し、抽出することができる。
特開平05−035874号公報
しかしながら、屋外等において監視空間の照度が緩やかにばかり変動するとは限らない。例えば、雲の動きや草木の動きと太陽の位置関係によっては、監視空間の一部または全体において照度が急激に変動することがある。他方、監視空間内に侵入した物体によっても、監視画像上の画素値は急激に変動する可能性が高い。そのため、急激な照度変動を取り込むように背景モデルを作成しようとすると、侵入物体による画素値変動も背景モデルに含まれてしまい、その結果、侵入物体の検知精度が低下してしまう。
また、屋外等に設定された監視空間では、急激な照度変動と同時に、監視空間内の草木または旗の揺れなど、背景構造物の形状変化が生じることもある。このような場合、急激な照度変動による画素値の変化に、背景構造物の変形による画素値の変化も加わる。そのため、画素値の変動幅が大きくなり、その画素値が背景モデルにより表される画素値の分布範囲から外れる可能性が高くなってしまう。その結果として、従来技術では、背景構造物の変形を侵入物体として誤検出してしまうおそれがあった。
そこで、本発明の目的は、監視空間内での急激な照度変動が生じても、その照度変動を侵入物体として誤検出することを防止できる侵入物体検知装置を提供することにある。
かかる課題を解決するための本発明は、監視空間を撮像した監視画像から、侵入物体を検出する侵入物体検知装置が提供される。係る侵入物体検知装置は、監視空間を撮像して監視画像を生成する撮像部と、複数の監視画像の各画素における画素値の出現確率分布を表す背景モデル、及び背景モデルごとに出現確率が略極大値を示す1以上の画素値を代表画素値として記憶する記憶部と、監視画像の注目画素の画素値を、注目画素に対応する背景モデルの代表画素値にて置換することにより合成背景画像を生成する背景合成部と、監視画像の注目画素及び注目画素の近傍に位置する複数の画素を含む局所領域を設定し、局所領域における監視画像と局所領域における合成背景画像の相関値を注目画素の相関値として算出する相関値算出部と、相関値が所定の閾値以下となる画素を検出し、検出された画素を用いて監視空間に侵入物体が存在するか否かを判定する侵入物体検出部とを有する。
また、記憶部は、背景モデルとして出現確率分布の互いに異なる一部の分布範囲を表す複数の部分背景モデル、及び代表画素値として部分背景モデルごとに分布範囲にて略極大値を示す画素値を記憶し、背景合成部は、監視画像の注目画素に対応する部分背景モデルの代表画素値のうち、注目画素の画素値に最も近い代表画素値にて置換を行うことが好ましい。
さらに、かかる侵入物体検知装置は、部分背景モデルが表す出現確率分布の信頼度を求め、信頼度が所定の基準を満たすときに部分背景モデルの代表画素値に信頼性があると判定する信頼性判定部をさらに有し、背景合成部は、信頼性判定部により信頼性があると判定された代表画素値の中から置換に用いる代表画素値を選択することが好ましい。
また、かかる侵入物体検知装置は、監視画像の各画素の画素値と、その画素に対応する部分背景モデルのそれぞれとの距離を算出し、それら距離のうちの最小値を決定する背景差分部をさらに有することが好ましい。この場合において、相関値算出部は、画素値と部分背景モデルとの距離の最小値が所定の距離閾値を超える画素についてのみ、相関値を算出することが好ましい。
本発明にかかる侵入物体検知装置は、監視空間内での急激な照度変動が生じても、その照度変動を侵入物体として誤検出することを防止できるという格別の効果を奏する。
本発明を適用した侵入物体検知装置を利用する画像監視システムの全体システム構成を示す図である。 本発明の一実施形態にかかる侵入物体検知装置の概略構成図である。 一つの画素に対する背景モデルの一例を示す図である。 図3に示した背景モデルの各パラメータを含むテーブルの一例を示す図である。 監視画像と合成背景画像の関係を示す概念図である。 侵入物体検出処理の全体動作を示すフローチャートである。 背景合成処理のフローチャートである。 正規化相関値算出処理のフローチャートである。 侵入物体存在判定処理のフローチャートである。
以下、本発明にかかる侵入物体検知装置を用いた屋外用画像監視システムについて図を参照しつつ説明する。
本発明を適用した侵入物体検知装置は、監視空間である庭を撮影した監視画像と、監視画像の各画素における、背景に相当する画素値の出現確率を表す背景モデルから、監視空間内に侵入した侵入物体である侵入者を検知する。特に、この侵入物体検知装置は、監視画像の各画素を背景モデルが表す背景に相当する画素値範囲の代表値で近似した合成背景画像を作成するとともに、複数の画素を含む局所領域単位での監視画像と合成背景画像の一致度合いを調べることで、照度変動及び背景構造物の形状変化による侵入物体の誤検出を防ぐ。
図1は、本発明を適用した画像監視システム1000の全体システム構成を示す図である。図1に示すように、画像監視システム1000は、少なくとも一つの侵入物体検知装置1と、コントローラ3と警備センタ装置5とを有する。そして侵入物体検知装置1とコントローラ3とは、監視空間またはその近傍に設置され、無線または有線のローカルエリアネットワーク2により接続される。一方警備センタ装置5は、遠隔地にある警備センタに設置され、公衆電話回線などの広域通信ネットワーク4を介してコントローラ3と接続される。
そして侵入物体検知装置1が、監視空間内に侵入した侵入物体を検知すると、侵入物体を検知したことを示す検知信号を、ローカルエリアネットワーク2を通じてコントローラ3へ送信する。コントローラ3は、侵入物体検知装置1から検知信号を受信すると、検知信号及び侵入物体が検知された監視空間を特定する識別コードなどの情報を警備センタ装置5へ送信する。なお、侵入物体が検知された監視空間を特定する識別コードは、例えば、侵入物体検知装置1または対応する監視空間若しくはコントローラ3の識別コードなどとすることができる。
図2に、侵入物体検知装置1の概略構成を示す。侵入物体検知装置1は、例えば、画像センサとして構成され、撮像装置10と制御装置20とを有する。
撮像装置10は、侵入物体の検知を行う監視空間を撮影し、監視画像を取得する。そのために、撮像装置10は、CCD、C−MOSセンサなどの光電変換器で構成された2次元検出器と、その2次元検出器上に監視空間の像を結像する結像光学系などで構成される。また撮像装置10は、NTSCタイプのカメラでもよく、あるいはハイビジョン対応などの高解像度タイプのデジタルカメラでもよい。撮像装置10は固定設置され、視野は一定に保たれる。そして撮像装置10は、一定の時間間隔(例えば1/5秒)ごとに撮影を行い、監視画像を取得する。なお、以下では、便宜上、撮像装置10が監視画像を取得する時間間隔で刻まれる時間の単位を時刻と称する。
監視画像は、各画素が例えば0〜255の画素値を有するデジタル画像データとして表現される。なお、撮像装置10は、監視画像をカラー画像として作成してもよい。
撮像装置10は、監視画像を取得する度に、その監視画像を制御装置20へ送信する。
制御装置20は、画像インターフェース部21と、通信部22と、記憶部23と、画像処理部24とを有する。
画像インターフェース部21は、撮像装置10と制御装置20とを接続するためのインターフェースであり、IEEE1394、USB2.0、NTSC、イーサネット(登録商標)などの規格に準じる通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。そして画像インターフェース部21は、撮像装置10から監視画像を受信し、その監視画像を制御装置20の各部へ出力する。
通信部22は、侵入物体検知装置1をローカルエリアネットワーク2に接続するためのインターフェースであり、イーサネット(登録商標)、IEEE1394b、IEEE802.11などの通信規格に準じる通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。そして通信部22は、画像処理部24から受け取った検知信号、侵入物体が検知された監視空間の識別コードなどをローカルエリアネットワーク2を介してコントローラ3へ送信する。
記憶部23は、半導体メモリ、磁気ディスク(HDD)、またはCD−ROM、DVD−RAMなどの光ディスクドライブおよびその記録媒体により構成される。そして記憶部23は、制御装置20の動作を制御するソフトウェア、パラメータ、制御装置20の各種処理で使用される情報、背景モデルを規定する各パラメータなどを記憶する。そして、記憶部23は、制御装置20の各部からの要求に応じて、必要な情報を提供する。
画像処理部24は、デジタル信号プロセッサ、マイクロコントロールユニットまたは数値演算プロセッサなどの演算装置及びその周辺回路を有する。そして画像処理部24は、監視画像を解析することにより、監視空間内に侵入物体が存在するか否かを判定する。そして画像処理部24は、監視空間内に侵入物体が存在すると判定すると、そのことを示す検知信号等を通信部22へ出力する。
そのために、画像処理部24は、背景モデル作成部240と、信頼性判定部241と、背景合成部242と、相関値算出部243と、侵入物体検出部244とを有する。画像処理部24が有するこれらの各部は、画像処理部24が有する演算装置上で動作するソフトウェアモジュールとして実装される。
背景モデル作成部240は、背景モデルを作成または更新する。背景モデルは、監視画像の各画素において撮像される画素値の分布を表す統計情報である。背景モデルは、過去に撮像された複数の監視画像を、画素ごとに統計分析することで作成される。監視空間に侵入物体が存在しないときの監視画像が背景モデルの作成に用いられ、または出現頻度の低い画素値の情報が淘汰されることで、背景モデルは背景の画素値の分布を表す。本実施形態において、各背景モデルは複数の正規分布の和で一つの分布を表す混合正規分布によりモデル化される。各背景モデルは画素値ごとの出現確率分布を表すことになる。具体的には、背景モデルは、次式により表される。
Figure 2011123742
ここでxは、注目画素の画素値であり、P(x|B)は、注目画素が背景Bであるときに注目画素の画素値がxとして観測される確率である。またN(x;mi2 i)は、画素値xの確率密度を表す、確率に関する画素値の平均値がmi、分散がσ2 iであるi番目(i=1,2,...,K)の正規分布である。この正規分布N(x;mi2 i)は、注目画素の画素値の出現確率分布の互いに異なる一部(部分分布)を表すものであるため、以下では、この正規分布N(x;mi2 i)を部分背景モデルと呼ぶ。またwiは、i番目の正規分布に対する重み係数であり、w1からwKまでの総和が1となるように設定される。そしてKは、注目画素の背景モデルに含まれる正規分布の総数を表し、1以上の整数に設定される。
図3に、背景モデルの一例を示す。図3において、監視画像300の画素301に対する背景モデル310は、横軸が画素値で縦軸が出現確率を表すグラフにより表現される。この例では、背景モデル310は、3個の部分背景モデル311〜313を有し、各部分背景モデル311〜313は、それぞれ、画素値m1〜m3を中心とする正規分布となっている。画素301に背景が写っている場合、画素301の画素値は、これら部分背景モデル311〜313に従った出現確率で現れる。したがって、図3に示されるように、画素301に背景が写っている場合、画素301の画素値は、m3となる確率が最も高い。一方、ある時点において取得された監視画像中の画素301の画素値が、各部分背景モデル311〜313の何れについても低い出現確率となっている場合には、画素301には、監視空間に侵入した侵入物体など、背景以外の物が写っている可能性が高いことになる。
背景モデル作成部240は、背景モデルの更新について、例えば、島田、有田、谷口、「混合ガウス分布による動的背景モデルの分布数増減法」、MIRU2006、2006年、に開示されているオンラインEM法を用いた背景モデルの作成または更新方法を利用できる。具体的には、背景モデル作成部240は、以下の手順に従って背景モデルを更新する。
まず、注目する画素について、K個の部分背景モデルを準備する。部分背景モデルの一つには、平均値として最初の監視画像の画素値を初期設定し、分散及び重みとして予め定められた一定値をそれぞれ初期設定する。残り(K-1)個の部分背景モデルには、平均値として最初の監視画像の画素値に一定のオフセット値またはランダム値を加算または減算した値を初期設定し、分散として上記一定値を初期設定し、重みとして、上記の一つの部分背景モデルに設定される重みに対して極めて小さな値を初期設定する。
ここで、時刻tにおいて新たな監視画像が得られると、背景モデル作成部240は、重み係数wiを、以下に示す(2)式に従って更新する。
Figure 2011123742
ここで、M0iは0または1の何れかの値を取る変数である。そして背景モデル作成部240は、i番目の部分背景モデルN(xt;mii 2)について、miとxtとのマハラノビス距離の絶対値が一定値以下であれば、変数M0iを1に設定し、そうでないならば0に設定する。この一定値は、例えば、2.5に設定される。なお、更新後においても、wi(i=1,2,...,K)の総和が1となるように更新される。また、αは学習率であり、この値を大きくするほど新たに取得された画素値を背景モデルに反映させ易くなる。
次に、変数M0iの値が1であるN(xt;mii 2)について、背景モデル作成部240は、新たに取得された画素値xtを用いて、平均mi、分散σi 2を、それぞれ下記の(3)、(4)式にしたがって更新する。
Figure 2011123742
ここで、βは、N(xt;mii 2)にαを乗算したものである。
背景モデル作成部240は、各画素について、上記の(2)〜(4)式に従って部分背景モデルの各パラメータを更新することにより、各画素の部分背景モデルを更新する。なお、背景モデル作成部240は、各画素について、部分背景モデルの数を増減させてもよい。この場合、背景モデル作成部240は、上記の「混合ガウス分布による動的背景モデルの分布数増減法」に開示されている方法に従って、部分背景モデルの数を変更できる。
次に、背景モデル作成部240は、背景モデルが表す分布の特徴を代表する画素値、すなわち、背景が取り得る画素値範囲を代表する画素値である代表画素値γiを決定する。背景モデル作成部240は、各部分背景モデルN(xt;mii 2)の平均値miを代表画素値γi(部分代表画素値)に設定する。例えば、背景モデルが表す分布において、出現確率が極大値を示す1以上の画素値が代表画素値に設定される。
背景モデル作成部240は、新たな監視画像が取得される度に、背景モデルを更新する。あるいは、背景モデル作成部240は、一定の間隔(例えば、1秒間、10秒間あるいは1分間)で取得された監視画像を用いて背景モデルを更新してもよい。また、背景モデル作成部240は、最新の監視画像に対して侵入物体が検出されている場合、その最新の監視画像を背景モデルの更新に使用しないようにしてもよい。
背景モデル作成部240は、更新した各画素の背景モデルに含まれる部分背景モデルを規定する各パラメータmi、σi 2、重み係数wi及び代表画素値γiを記憶部23に記憶する。
信頼性判定部241は、各部分背景モデルの代表画素値について、真に背景を表しているという信頼性を有しているか否かを判定し、その判定結果を対応する代表画素値に関連付けて記憶部23に記憶する。
代表画素値が部分背景モデルごとに設定されている本例の場合、部分背景モデルの信頼性の有無が代表画素値の信頼性の有無となる。信頼性判定部241は、注目する画素のi番目の部分背景モデルN(xt;mii 2)の信頼性の有無を、以下の何れかの判定基準の少なくとも一つに従って判定する。
(1)信頼性判定部241は、部分背景モデルN(xt;mii 2)に対する選出回数を、その部分背景モデルが背景に相当する画素の出現確率を表すことの確からしさを示す信頼度とし、その選出回数が多いほど、信頼性が高いと判定する。この場合、背景モデルが作成されたときに各部分背景モデルに対する選出回数は0に初期化される。そして信頼性判定部241は、背景モデルが更新される度に、背景モデルの更新に用いられた画素値とのマハラノビス距離が最も近い部分背景モデルの平均値を決定し、その平均値に対応する部分背景モデルに対する選出回数を1インクリメントする。そして信頼性判定部241は、部分背景モデルN(xt;mii 2)について、対応する選出回数が所定の閾値Tr1以上であれば、その部分背景モデルN(xt;mii 2)は信頼性を有すると判定する。一方、対応する選出回数が所定の閾値Tr1未満であれば、信頼性判定部241は、部分背景モデルN(xt;mii 2)は信頼性を有さないと判定する。なお選出回数は、直近の一定期間(例えば、1分間あるいは10分間)に取得された監視画像に限定してカウントされてもよい。これにより、監視空間の環境条件が時間的に変化することにより、背景に相当する画素値が変動する場合でも、信頼性判定部241は、各部分背景モデルの信頼性を正確に評価できる。
ここで、注目画素に、建造物など変形しない構造物が写っている場合、注目画素の画素値は定常的に所定の値となる。一方、注目画素に、植栽または旗のような変形する物体が写っている場合、注目画素の画素値は、反復的に異なる複数の値となる。また、注目画素に、侵入物体が写っている場合、注目画素の画素値は一時的な値となる。そのため、背景に相当する画素値の出現頻度は高くなる。一方、侵入物体に相当する画素値の出現頻度は低くなる。出現頻度が高い画素値の分布を表す部分背景モデルほど、多く選出されるのであるから、選出回数が多い部分背景モデルほど、真に背景を現している信頼性が高いと推定される。
なお、閾値Tr1は、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に設定される。例えば、その滞在期間の上限値が10秒間であれば、閾値Tr1は、10秒間に取得される監視画像の数、例えば50に設定される。
(2)信頼性判定部241は、部分背景モデルN(xt;mii 2)に対応する重み係数wiを信頼度とし、重み係数wiが所定の閾値Tr2よりも大きければ、その部分背景モデルN(xt;mii 2)は信頼性を有すると判定し、一方、重み係数wiが所定の閾値Tr2以下であれば、その部分背景モデルN(xt;mii 2)は信頼性を有さないと判定する。
重み係数wiは、(2)式から明らかなように、対応する部分背景モデルN(xt;mii 2)にマッチする画素値の出現頻度が高いほど大きな値となる。そして重み係数の総和は1に設定される。そのため、重み係数wiは、部分背景モデルN(xt;mii 2)が監視画像の注目画素に現れる事前確率に相当する。従って、対応する重み係数が大きい部分背景モデルほど、真に背景を表している信頼性が高いと推定される。
なお、閾値Tr2は、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に相当する事前確率に設定される。例えば、閾値Tr2は、0.2に設定される。あるいは、閾値Tr2は、注目画素に写る背景を部分的に表すに足る事前確率に相当する値、例えば、0.3に設定されてもよい。
(3)信頼性判定部241は、部分背景モデルN(xt;mii 2)について、wii 2を信頼度とし、wii 2が所定の閾値Tr3よりも大きければ、その部分背景モデルN(xt;mii 2)は信頼性を有すると判定し、一方、wii 2が所定の閾値Tr3以下であれば、その部分背景モデルN(xt;mii 2)は信頼性を有さないと判定する。
分散σi 2が小さいほど、対応する部分背景モデルN(xt;mii 2)に相当する画素値のバラツキは小さいので、その部分背景モデルN(xt;mii 2)が注目画素に写る背景の特定の構造物に相当する画素値を表している可能性は高い。したがって、wii 2が大きい部分背景モデルほど、真に背景を表している信頼性が高いと推定される。
なお、閾値Tr3は、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に相当する事前確率と、実験的に定められる画素値のバラツキの上限に相当する分散値との比、例えば、0.03に設定される。あるいは、閾値Tr3は、注目画素に写る背景を部分的に表すに足る事前確率に相当する値と、実験的に定められる画素値のバラツキの下限に相当する分散値との比に設定されてもよい。
(4)信頼性判定部241は、部分背景モデルN(xt;mii 2)に対応する重み係数wiを信頼度とし、その重み係数wiを大きい方から順に足し合わせた合計値を所定の選出閾値Tsと比較する。そしてj番目の重み係数wjを足し合わせたときに、その合計値が選出閾値Tsを最初に超えた場合、信頼性判定部241は、そのj番目に大きい重み係数wjに対応する部分背景モデルN(xt;mjj 2)及びwjよりも大きい重み係数に対応する部分背景モデルは信頼性を有すると判定する。一方、重み係数wjよりも小さい重み係数に対応する部分背景モデルは選出される可能性が小さく、背景に相当する画素値を表していない可能性が高い。そこで信頼性判定部241は、重み係数wjよりも小さい重み係数に対応する部分背景モデルは信頼性を有さないと判定する。
なお、閾値Tsは、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に相当する事前確率0.2を1.0から減じた値、すなわち0.8に設定される。
信頼性判定部241は、上記の判定基準のうち、何れか一つに従って、各部分背景モデルの信頼性の有無を判定する。あるいは、信頼性判定部241は、上記の判定基準のうち、二つ以上の判定基準に従って各部分背景モデルの信頼性の有無を判定してもよい。この場合、信頼性判定部241は、二つ以上の判定基準のうち、何れか一つでも信頼性が無いと判定された部分背景モデルについては、信頼性が無いとする。
信頼性判定部241は、各部分背景モデルに対する信頼性判定結果を、対応する部分背景モデルと関連付けて記憶部23に記憶する。
図4は、記憶部23に記憶された、図3に示した背景モデル310の各パラメータを含むテーブルの一例を示す図である。
背景モデルテーブル400には、左の列から順に、部分背景モデルの識別番号、平均値mi、分散値σi 2、対応する重み係数wi、代表画素値γi及び部分背景モデルに対する信頼性判定結果を表す判定フラグが含まれる。なお、判定フラグは、例えば、信頼性有りと判定された部分背景モデルに対して'1'に設定され、信頼性無しと判定された部分背景モデルに対して'0'に設定される。また各行には、一つの部分背景モデルのパラメータが含まれる。例えば、行401を参照すると、識別番号1の部分背景モデルについて、平均値m1=180、分散値σ1 2=100、重み係数w1=0.5、代表画素値γ1=180、信頼性有りであることが示されている。
背景合成部242は、監視画像から侵入物体を検出する際の基準となる合成背景画像を生成する。背景合成部242は、監視画像の各画素を、当該画素の背景モデルに含まれる何れかの部分背景モデルの代表画素値で置換することにより合成背景画像を生成する。このようにして生成される合成背景画像は、処理対象の監視画像取得時における監視空間内の構造物の形状に応じた背景を近似した画像となる。
背景合成部242は、監視画像の各画素の画素値を、当該画素値に最も近い代表画素値で置換することにより、合成背景画像を作成する。
具体的には、背景合成部242は、次式に従って注目する画素の画素値xと部分背景モデルN(x;mii 2)とのマハラノビス距離di(i=1,2,...,K)、及びその最小距離Dを算出し、注目する画素の画素値xを、最小距離Dが算出された部分背景モデルの代表画素値で置換する。
Figure 2011123742
ここで関数min(d1,d2,..,dK)は、変数d1,d2,..,dKのうちの最小値を出力する関数である。なおKは、注目する画素の背景モデルに含まれる部分背景モデルの総数を表す。
監視画像の画素値と代表画素値の距離は、L2距離として算出することもできるが、L2距離をσiにより正規化したマハラノビス距離として算出することにより、個々の部分背景モデルが表す部分分布の広がりの違いが加味される。換言すると、部分背景モデルとその代表画素値を正規分布とその平均値に設定することで分布状態を加味したより正確な近似が可能となっているのである。
例えば、注目する画素の背景モデルが図4の背景モデルテーブル400で表され、当該画素の画素値との距離が最小となる部分背景モデルの識別番号が'1'である場合、背景合成部242は、合成背景画像における当該画素の画素値を、識別番号'1'に対応する代表画素値である'180'とする。
なお、背景合成部242は、(5)式において、記憶部23に記憶されている背景モデルテーブルの判定フラグを参照することにより、信頼性有りと判定されている部分背景モデルと画素値xとのマハラノビス距離diのみを関数min()の変数とすることが好ましい。これにより、距離Dによって観測された画素値と背景に相当する画素値との距離が正確に表わされる可能性が高くなる。
背景合成部242は、作成した合成背景画像を相関値算出部243へ渡す。
相関値算出部243は、監視画像の画素ごとに、当該画素を含む局所領域を設定し、局所領域における監視画像と合成背景画像の正規化相関値を算出し、各画素の正規化相関値Cを侵入物体検出部244へ通知する。
注目する画素の正規化相関値Cは、次式により算出される。
Figure 2011123742
ここでRは、局所領域を表す。局所領域は、局所的な背景の構造、例えば、草木の葉、幹などの形状が表される程度の大きさに設定される。例えば、局所領域Rは、注目画素を中心とするL×L画素の矩形領域、直径L画素の円形領域、あるいは縦L画素、横L画素の十字型領域(ただし、Lは、例えば3または5)とすることができる。また局所領域Rでは、縦方向と横方向のサイズが異なっていてもよい。xijは、監視画像上の局所領域Rに含まれる画素の画素値を表し、Axは、監視画像上の局所領域R内に含まれる画素の平均画素値を表す。またbijは、合成背景画像上の局所領域Rに含まれる画素の画素値を表し、Abは、合成背景画像上の局所領域R内に含まれる画素の平均画素値を表す。
この正規化相関値Cの値域は、-1〜1であり、監視画像と合成背景画像の同一領域内の画素値パターンが似ているほど、正規化相関値Cの値は1に近づく。逆に、監視画像と合成背景画像の同一領域内の画素値パターンが異なるほど、正規化相関値Cの値は小さくなり、両画像の同一領域内の画素値パターンが反転している場合に正規化相関値Cの値は-1となる。
このようにして算出される正規化相関値Cは、急激な照度変動の影響を受けずに侵入物体と背景とを切り分けることを可能にする。以下、このことについて説明する。
監視空間内に急激な照度変動がないときに撮像された監視画像において、背景が写っている画素に対しては、その画素値と近い代表画素値が存在する。つまり、合成背景画像において当該画素は高い精度で近似される。そのため、急激な照度変動がないときに撮像された監視画像において背景が写っている局所領域では高い正規化相関値が算出される。
他方、急激な照度変動がないときに撮像された監視画像において侵入物体が写っている画素に対しては、その画素値と近い代表画素値が存在する可能性は低い。つまり、合成背景画像において当該画素の近似精度は低い。そのため、急激な照度変動がないときに撮像された監視画像において侵入物体が写っている局所領域では低い正規化相関値が算出される。
一方、急激な照度変動が生じたときに撮像された監視画像において、その照度変動の影響を受けた画素が何れの代表画素値からも遠くなることがある。そのため、急激な照度変動が生じた部分では、画素単位でみると、合成背景画像の近似精度は低くなり得る。
ただし、照度変動が生じた部分に対応する監視画像上の領域では、一様に画素値が変動する。例えば、日が当たっていた部分に急激に日が当たらなくなると、その部分に対応する監視画像上の領域内の各画素の値が、それまでと比較してほぼ同程度だけ低くなる。すなわち、照度変動が生じた部分に対応する領域内でも、背景が写っている限り、画素値パターン(近傍画素との画素値の相対関係)は、合成背景画像において再現される。そのため、照度変動が生じたとしても、背景が写っている局所領域では、高い正規化相関値が算出されるのである。他方、侵入物体が写っている局所領域では、合成背景画像上で画素値パターンは再現されないため、低い正規化相関値が算出される。
図5を参照しつつ、この様子を説明する。図5において、画像500は監視画像であり、部分画像510は、監視画像500において背景が写っている一部領域を拡大表示したものである。この部分は急に暗くなったものとする。また画像520は、監視画像500に基づいて作成された合成背景画像であり、部分画像530は、合成背景画像520中の部分画像510に対応する領域を拡大表示したものである。
部分画像510中の画素511に対応する背景モデル550が、3個の部分背景モデル551〜553によって構成されている。このとき、画素511の画素値xと各部分背景モデルの平均値m1〜m3とのマハラノビス距離のうち、部分背景モデル551の平均値m1とのマハラノビス距離が最も近い。そのため、合成背景画像520において画素511と対応する画素531の画素値は、部分背景モデル551の代表画素値γ1(=m1)に設定される。このように、画素531には画素511より輝度の高い画素値が設定されるが、近傍の画素でも同程度だけ輝度の高い画素が設定される。これは、近傍の画素の背景モデルも背景モデル550と同じ環境で生成されているためである。その結果、部分画像530は、部分画像510よりも全体的に明るくなるものの、背景である木などの画素値パターンは、部分画像510と部分画像530とで互いに類似している。そのため、部分画像530の局所領域532と部分画像510の局所領域512との正規化相関値(つまり、画素511の正規化相関値)は高い値となる。
一方、監視画像500上に写っている侵入者像515は、合成背景画像520上で再現されていない。そのため、侵入者像515内の各画素についての正規化相関値は他の画素よりも低くなる。従って、各画素についての正規化相関値を画像540として表せば、画像540上では侵入者像515に対応する領域545に含まれる画素の正規化相関値と、他の画素の正規化相関値は大きく異なることになる。
なお、(7)式のVの値が0または実質的に0であることを表す閾値Tv以下である場合、相関値算出部243は、正規化相関値Cを-1とする。Vの値が非常に小さいということは、対応する局所領域内の画素値の分散も非常に小さいので、その局所領域にほぼ一様で明るさの変化が少ない構造が写っていることになる。そのため、相関値算出部243は正規化相関値C自体に信頼性がないと推定し、そのような正規化相関値Cを持つ画素に侵入物体が写っていても、侵入物体を検知し損ねないように、その局所領域における正規化相関値Cも相関が無いこと(侵入物体が存在すること)に対応する値に設定するものである。
侵入物体検出部244は、各画素の正規化相関値Cに基づいて、監視空間内に侵入物体が存在するか否かを判定する。そして侵入物体検出部244は、監視空間内に存在する侵入物体を検知した場合、通信部22を介して、侵入物体を検知したことを示す検知信号をコントローラ3へ出力する。
上記のように、正規化相関値Cが低いほど、その画素には背景以外のもの、例えば侵入物体が写っている可能性が高い。そこで侵入物体検出部244は、正規化相関値Cが所定の閾値Tc以下となる画素を侵入物体候補画素として検出し、侵入物体候補画素に基づいて侵入物体の存在を判定する。なお、所定の閾値Tcは、例えば、0.7に予め設定される。
侵入物体検出部244は、侵入物体候補画素に対してラベリング処理を行い、互いに近接した侵入物体候補画素群を一つの侵入物体候補領域として連結する。そして侵入物体検出部244は、互いに独立した侵入物体候補領域、すなわち、互いに連結されない侵入物体候補領域ごとに異なるラベルを付す。なお、ラベリング処理は公知の技術であるので、ここでは詳細な説明は省略する。
侵入物体検出部244は、侵入物体候補領域ごとに、面積、すなわち、その領域に含まれる画素数を算出する。そして、侵入物体検出部244は、算出した面積が検出対象として想定される侵入物体の大きさに相当する面積範囲内であれば、その領域は侵入物体に相当するものとする。
上記面積は、侵入物体候補領域の侵入物体らしさを表す属性情報の一つである。属性情報には、他にも、侵入物体候補領域の縦横比、輝度分散値などのテクスチャ情報若しくは色情報、複数の監視画像に渡って検出された侵入物体候補領域をトラッキングすることで求められる移動速度などを含めることができる。なお、本実施形態においては、様々な公知の属性情報を利用でき、その算出方法も公知であるので、属性情報の算出方法の詳細な説明は省略する。
また上記面積範囲は、属性情報が、侵入物体が写っている領域から算出される属性情報に相当する値の範囲に含まれるか否かを判定するために予め設定される属性基準値の一つである。侵入物体検出部244は、属性情報がその属性情報に対応する属性基準値の範囲内であれば侵入物体が存在すると判定する。例えば、侵入物体候補領域の縦横比が属性情報であれば、それに対応する属性基準値は1/3:1〜3:1の範囲と設定される。
なお、侵入物体検出部244は、属性情報が属性基準値の範囲内か否か判定するために、様々な公知の方法を利用することができる。例えば、侵入物体検出部244は、特開2001−243475号公報に開示されるように、「侵入物体らしさ」を表す類似度をファジー理論のメンバシップ関数を用いて算出し、得られた類似度が所定の閾値以上となれば、属性情報が属性基準値の範囲内であると判定してもよい。
図6のフローチャートを参照しつつ、画像処理部24による侵入物体検知処理の全体動作を示す。
まず、監視空間が無人であることを確認した管理者が侵入物体検知装置1の電源を投入すると、侵入物体検知装置1は起動する。そして予め設定された起動後の準備期間(例えば、1分間)中に、画像処理部24の背景モデル作成部240は各画素の背景モデルを初期化する。すなわち、背景モデル作成部240は、準備期間中、一時刻目に取得された監視画像に基づいて背景モデルの初期値を記憶部23に記憶させ、その後の時刻に取得された複数の監視画像を用いて背景モデルを順次更新することにより、各背景モデルを初期化する。また背景モデル作成部240は、初期化された背景モデルの代表画素値を決定して、対応する背景モデルと関連付けて記憶部23に記憶させる。また画像処理部24の信頼性判定部241は、各背景モデルの代表画素値の信頼性の有無を判定し、その判定結果を記憶部23に記憶させる。
準備期間が終了すると、画像処理部24は、侵入物体検知処理を開始する。なお、以下の動作は、監視画像が取得される度に実行される。
画像処理部24は、画像インターフェース部21を介して撮像装置10から監視画像を取得する(ステップS101)。そして画像処理部24の背景合成部242は、背景モデルを用いて監視画像の各画素を近似することにより合成背景画像を生成する(ステップ102;詳細は図7を参照して後述)。そして背景合成部242は、作成した合成背景画像を画像処理部24の相関値算出部243へ渡す。
相関値算出部243は、監視画像と合成背景画像の各画素について、その画素を含む局所領域間の正規化相関値Cを算出する(ステップS103;詳細は図8を参照して後述)。相関値算出部243は、各画素の正規化相関値Cを画像処理部24の侵入物体検出部244へ渡す。そして侵入物体検出部244は、各画素の正規化相関値Cに基づいて侵入物体存在判定処理を実行し(ステップS104;詳細は図9を参照して後述)、監視空間内に侵入物体が存在すると判定された場合(ステップS105にてYes)、侵入物体検出部244は、通信部22を介して、侵入物体を検知したことを示す検知信号をコントローラ3へ出力する(ステップS106)。
ステップS106の後、またはステップS105において監視空間内に侵入物体が存在しないと判定された場合、背景モデル作成部240は、最新の監視画像に基づいて、記憶されている各画素の背景モデルを更新する(ステップS107)。またこのとき背景モデル作成部240は、更新された背景モデルにあわせて代表画素値を更新する。また信頼性判定部241は、更新された代表画素値の信頼性の有無を判定し(ステップS108)、その判定結果を対応する代表画素値に関連付けて記憶部23に記憶させる。
その後、画像処理部24は、1枚の監視画像に対する侵入物体検知処理を終了する。
図7は、背景合成処理のフローチャートである。
背景合成部242は、監視画像の各画素のうち、注目画素に設定されていない画素を注目画素に設定する(ステップS201)。そして背景合成部242は、記憶部23から注目画素の背景モデル関連のパラメータを読み出す(ステップS202)。
次に、背景合成部242は、読み出した背景モデルの代表画素値のうち、注目代表画素値に設定されていない代表画素値を注目代表画素値に設定する(ステップS203)。そして背景合成部242は、読み出した背景モデルのパラメータを参照することにより、注目代表画素値が信頼性を有するか否か判定する(ステップS204)。注目代表画素値が信頼性を有する場合、背景合成部242は、注目画素の画素値と注目代表画素値との距離を、(6)式に従って算出する(ステップS205)。
ステップS205の後、あるいはステップS204にて注目代表画素値が信頼性を有さない場合、背景合成部242は、注目画素に対応する全ての代表画素値が注目代表画素値に設定されたか否か判定する(ステップS206)。
何れかの代表画素値が注目代表画素値に設定されていない場合、背景合成部242は、ステップS203〜S206の処理を繰り返す。
こうして、注目画素に対応する全ての代表画素値に対する処理が終わると、背景合成部242は、注目画素に対して最小の距離が算出された代表画素値を選択し(ステップS207)、合成背景画像における注目画素の画素値を選択された代表画素値で置換する(ステップS208)。
ステップS208の後、背景合成部242は、監視画像の全ての画素が注目画素に設定されたか否か判定する(ステップS209)。何れかの画素が注目画素に設定されていない場合、背景合成部242は、ステップS201〜S209の処理を繰り返す。
こうして、全ての画素に対する処理が終わると、背景合成部242は、背景合成処理を終了する。
図8は、正規化相関値算出処理のフローチャートである。
相関値算出部243は、監視画像の各画素のうち、注目画素に設定されていない画素を注目画素に設定する(ステップS301)。そして相関値算出部243は、注目画素及びその周囲の複数の画素を含む局所領域を設定する(ステップS302)。相関値算出部243は、局所領域に対応する監視画像及び合成背景画像の画素値に基づいて、(7)式の分母値Vを算出する(ステップS303)。相関値算出部243は、分母値Vが閾値Tvより大きいか否か判定する(ステップS304)。分母値Vが閾値Tv以下であれば、正規化相関値Cの信頼性の低さが原因で侵入物体の検出に失敗しないよう、相関値算出部243は、注目画素の正規化相関値Cを-1に設定する(ステップS305)。
一方、分母値Vが閾値Tvよりも大きければ、相関値算出部243は注目画素の正規化相関値Cを(7)式に従って算出する(ステップS306)。
ステップS305またはS306の後、相関値算出部243は、監視画像の全ての画素が注目画素に設定されたか否か判定する(ステップS307)。何れかの画素が注目画素に設定されていない場合、相関値算出部243は、ステップS301〜S307の処理を繰り返す。
こうして、全ての画素に対する処理を終えると、相関値算出部243は、正規化相関値算出処理を終了する。
図9は、侵入物体存在判定処理のフローチャートである。
侵入物体検出部244は、監視画像の各画素のうち、算出された正規化相関値が閾値Tc以下となる画素を侵入物体候補画素として抽出する(ステップS401)。侵入物体候補画素が抽出されると、侵入物体検出部244は、ラベリング処理を実行して、互いに近接する侵入物体候補画素を連結することにより、侵入物体候補領域を求める(ステップS402)。
次に、侵入物体検出部244は、各侵入物体候補領域のうち、何れかの領域を注目領域に設定する(ステップS403)。注目領域を設定すると、侵入物体検出部244は、その注目領域の属性情報を算出する(ステップS404)。そして侵入物体検出部244は、算出された属性情報が、侵入物体が写っている領域から算出される属性基準値の範囲内に含まれるか否か判定する(ステップS405)。注目領域の属性情報が、属性基準値の範囲内に含まれる場合、侵入物体検出部244は、監視空間への侵入物体が存在すると判定し(ステップS406)、その後侵入物体存在判定処理を終了する。
一方、ステップS405において、注目領域の属性情報が属性基準値の範囲から外れる場合、侵入物体検出部244は、注目領域に設定されていない侵入物体候補領域が存在するか否か調べる(ステップS407)。そして注目領域に設定されていない侵入物体候補領域が存在すれば、侵入物体検出部244は、ステップS403〜S407の処理を繰り返す。一方、ステップS407において、注目領域に設定されていない侵入物体候補領域がなく、全ての侵入物体候補領域についてステップS403〜S406の処理が終了していれば、侵入物体検出部244は、侵入物体は存在しないと判定し(ステップS408)、その後侵入物体存在判定処理を終了する。
以上説明してきたように、本発明を適用した侵入物体検知装置は、監視画像との比較用の合成背景画像の各画素値を、監視画像の各画素をその画素値に最も近い部分背景モデルの代表画素値で近似した値とする。そのため、この侵入物体検知装置は、監視空間内の背景構造物の形状が変化する場合でも、基準となる合成背景画像を適切に作成できる。このとき画素単位で近似を行うことにより、少ない記憶容量及び少ない演算量で多くの背景構造物の形状変化に対応できる。仮に画像単位または領域単位で近似を行うとすれば、必要な記憶容量及び演算量は膨大となろう。
そしてこの侵入物体検知装置は、各画素について、その画素及び周囲の画素を含む局所領域単位で算出された監視画像と合成背景画像の正規化相関値に基づいて、監視空間内に侵入物体が存在するか否かを判定する。そのため、この侵入物体検知装置は、周辺における監視画像と合成背景画像の画素値パターンが異なる画素のみを侵入物体が写っている候補として検出できる。従って、この侵入物体検知装置は、照度変動により画素値が急激に変動してその画素値が背景モデルと乖離する画素を侵入物体として誤検出することを防止できる。特に、背景構造物の形状変化と急激な照度変動が生じても、この侵入物体検知装置はこれらを侵入物体として誤検出することを防止できる。このとき、背景モデルから合成背景画像を生成することにより、監視画像と背景モデルとを局所領域単位で比較することが可能となっている。
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、個々の部分背景モデルを、正規分布の代わりにラプラス分布で表し、背景モデルを、そのラブラス分布の重み付け和としてもよい。
また、他の実施形態では、背景モデルを、正規化ヒストグラムにて表してもよい。この場合、背景モデル作成部240は、複数の監視画像の各画素について、画素値ごとの度数を計数して各度数を全度数で割ることにより、背景モデルを作成する。作成される背景モデルは、画素値ごとの出現確率を表す。この場合、背景モデル作成部240は、正規化ヒストグラムにおいて出現確率の極大値を一つ以上検出して、極大値が検出された画素値を代表画素値に設定する。なお、極大値が密集している場合には、それら極大値を平均した値を代表画素値としてもよい。また、背景モデル作成部240は、所定の画素値範囲(ビン)ごとの度数を計数して各度数を全度数で割ることにより、背景モデルを作成してもよい。この場合、背景モデル作成部240は、正規化度数が極大値を取るビンの画素値範囲の中央値、最小値または最大値、あるいは、そのビンに含まれる、計数された画素値の平均値、最頻値若しくは中央値を、代表画素値に設定してもよい。
またこの場合、信頼性判定部241は、代表画素値の出現確率が予め設定された閾値Tr2を超えていれば、その代表画素値は信頼性を有すると判定し、一方、その出現確率が閾値Tr2以下であれば、その代表画素値は信頼性を有さないと判定する。なお閾値Tr2は、例えば、同一画素において侵入物体が連続的に写ると想定される滞在期間の上限値に相当する事前確率に設定される。例えば、閾値Tr2は、0.2に設定される。
また背景合成部242は、監視画像の各画素の値と代表画素値との距離を、マハラノビス距離の代わりに両画素値の差の絶対値とする。
また、他の実施形態によれば、侵入物体検知装置は、監視画像から侵入物体を検出する際に、侵入物体が写っている可能性が高い画素を前景画素として検出する背景差分部をさらに有してもよい。この場合において、相関値算出部243は、前景画素として検出された画素についてのみ相関値を算出することで、相関演算が実行される画素の数が減少するので、侵入物体検知装置は、演算量を大幅に軽減できる。
具体的には、背景差分部は、監視画像の各画素について、その画素値とその画素に対応する背景モデルとの距離Dを、(5)、(6)式に従って算出する。
背景差分部は、各画素におけるその距離Dを所定の閾値Tdとそれぞれ比較する。そして背景差分部は、その距離Dが所定の閾値Tdよりも大きい画素を前景画素とする。なお、閾値Tdは、例えば、2に設定される。
背景差分部は、各画素についての前景画素か否かの判定結果を相関値算出部243へ通知する。また背景差分部は、必要に応じて、各画素の画素値とのマハラノビス距離が最小となる部分背景モデルに対応する代表画素値を、背景合成部242へ通知する。
前景画素でない画素については、背景に相当する可能性が高い。そこで相関値算出部243は、演算負荷を抑制するため、背景差分部により前景画素であると判定された画素についてのみ(7)式に従って正規化相関値Cを算出する。その他の画素の正規化相関値Cは1に設定してもよい。
また、上記のように、背景差分部が前景画素を決定するために画素値と各部分背景モデルの平均値とのマハラノビス距離の最小値を求める処理は、背景合成部242が各画素の画素値を置換する代表画素値を決定するためにマハラノビス距離の最小値を求める処理と同一である。そこで、背景合成部242は、合成背景画像の各画素値を、背景差分部から通知された部分背景モデルの代表画素値としてもよい。
さらに他の実施形態によれば、信頼性判定部241は、各部分背景モデルが信頼性を有するか否かの判定基準を2段階で設定し、段階ごとの判定結果を出力してもよい。例えば、信頼度として、部分背景モデルN(xt;mii 2)に対する選出回数が用いられる場合、上記の閾値Tr1を50に設定した第1段階と、閾値Tr1を50よりも高い60に設定した第2段階とを用いる。
この場合、背景合成部242は、第1段階の判定基準を用いた信頼性判定により信頼性有りと判定された代表画素値との距離の最小値を求める。そして背景合成部242は、その最小値に対応する代表画素値を置換に用いる。一方、背景差分部は、第2段階の判定基準を用いた信頼性判定により信頼性有りと判定された代表画素値との距離を閾値Tdと比較して前景画素を検出する。これにより、背景差分部が、侵入物体が写っている画素を、背景合成部242等での処理対象とならないように分類してしまうことを防止できる。
また、侵入物体検知部244は、ラベリングを行わずに侵入物体候補画素の数が侵入物体像の面積に所定のマージンを加えた基準値を超えたときに侵入物体が存在すると判定することもできる。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
1 侵入物体検知装置
2 ローカルエリアネットワーク
3 コントローラ
4 広域通信ネットワーク
5 警備センタ装置
10 撮像装置
20 制御装置
21 画像インターフェース部
22 通信部
23 記憶部
24 画像処理部
240 背景モデル作成部
241 信頼性判定部
242 背景合成部
243 相関値算出部
244 侵入物体検出部

Claims (3)

  1. 監視空間を撮像して監視画像を生成する撮像部と、
    複数の前記監視画像の各画素における画素値の出現確率分布を表す背景モデル、及び前記背景モデルごとに出現確率が略極大値を示す1以上の画素値を代表画素値として記憶する記憶部と、
    前記監視画像の注目画素の画素値を、当該注目画素に対応する前記背景モデルの代表画素値にて置換することにより合成背景画像を生成する背景合成部と、
    前記監視画像の注目画素及び当該注目画素の近傍に位置する複数の画素を含む局所領域を設定し、当該局所領域における前記監視画像と当該局所領域における前記合成背景画像の相関値を前記注目画素の相関値として算出する相関値算出部と、
    前記相関値が所定の閾値以下となる画素を検出し、前記検出された画素を用いて前記監視空間に侵入物体が存在するか否かを判定する侵入物体検出部と、
    を有することを特徴とした侵入物体検知装置。
  2. 前記記憶部は、前記背景モデルとして前記出現確率分布の互いに異なる一部の分布範囲を表す複数の部分背景モデル、及び前記代表画素値として前記部分背景モデルごとに前記分布範囲にて略極大値を示す画素値を記憶し、
    前記背景合成部は、前記監視画像の注目画素に対応する前記部分背景モデルの前記代表画素値のうち、当該注目画素の画素値に最も近い代表画素値にて前記置換を行う、
    請求項1に記載の侵入物体検知装置。
  3. 前記部分背景モデルが表す出現確率分布の信頼度を求め、当該信頼度が所定の基準を満たすときに当該部分背景モデルの代表画素値に信頼性があると判定する信頼性判定部をさらに有し、
    前記背景合成部は、前記信頼性判定部により信頼性があると判定された前記代表画素値の中から前記置換に用いる代表画素値を選択する、請求項2に記載の侵入物体検知装置。
JP2009281889A 2009-12-11 2009-12-11 侵入物体検知装置 Expired - Fee Related JP5388829B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009281889A JP5388829B2 (ja) 2009-12-11 2009-12-11 侵入物体検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009281889A JP5388829B2 (ja) 2009-12-11 2009-12-11 侵入物体検知装置

Publications (2)

Publication Number Publication Date
JP2011123742A true JP2011123742A (ja) 2011-06-23
JP5388829B2 JP5388829B2 (ja) 2014-01-15

Family

ID=44287561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009281889A Expired - Fee Related JP5388829B2 (ja) 2009-12-11 2009-12-11 侵入物体検知装置

Country Status (1)

Country Link
JP (1) JP5388829B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013025434A (ja) * 2011-07-19 2013-02-04 Omron Corp 画像処理ユニット、および画像処理プログラム
JP2013186817A (ja) * 2012-03-09 2013-09-19 Omron Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2015088132A (ja) * 2013-11-01 2015-05-07 セコム株式会社 画像処理装置
US9202286B2 (en) 2013-07-16 2015-12-01 Nk Works Co., Ltd. Image processing apparatus, computer-readable medium storing an image processing program, and image processing method
JP2016094262A (ja) * 2014-11-12 2016-05-26 東芝エレベータ株式会社 乗客コンベア
JP2017107407A (ja) * 2015-12-10 2017-06-15 株式会社メガチップス 画像処理装置、制御プログラム及び前景画像特定方法
JP2017135656A (ja) * 2016-01-29 2017-08-03 セコム株式会社 空間認識装置
JP2017538978A (ja) * 2015-10-28 2017-12-28 小米科技有限責任公司Xiaomi Inc. 警報方法および装置
JP2018185623A (ja) * 2017-04-25 2018-11-22 セコム株式会社 物体検出装置
JP2021034763A (ja) * 2019-08-16 2021-03-01 セコム株式会社 画像処理装置及び画像処理プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328755A (ja) * 2006-05-08 2007-12-20 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2009048240A (ja) * 2007-08-13 2009-03-05 Tokyo Institute Of Technology 動画像における移動物体の検出方法、検出装置、監視方法および監視システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328755A (ja) * 2006-05-08 2007-12-20 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2009048240A (ja) * 2007-08-13 2009-03-05 Tokyo Institute Of Technology 動画像における移動物体の検出方法、検出装置、監視方法および監視システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CSNG200600622005; 杉山賢治 外3名: 'オンライン実時間PCAを用いた動画からの変動背景の推定' 電子情報通信学会技術研究報告 PRMU2004-179〜197 パターン認識・メディア理解 第104巻 第669号, 20050217, 第31〜36頁, 社団法人電子情報通信学会 *
JPN6013021615; 杉山賢治 外3名: 'オンライン実時間PCAを用いた動画からの変動背景の推定' 電子情報通信学会技術研究報告 PRMU2004-179〜197 パターン認識・メディア理解 第104巻 第669号, 20050217, 第31〜36頁, 社団法人電子情報通信学会 *
JPN6013021618; Chris Stauffer W.E.L Grimson: 'Adaptive background mixture models for real-time tracking' Computer Vision and Pattern Recognition , 1999, pp.246-252, IEEE Computer Society Conference *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013025434A (ja) * 2011-07-19 2013-02-04 Omron Corp 画像処理ユニット、および画像処理プログラム
JP2013186817A (ja) * 2012-03-09 2013-09-19 Omron Corp 画像処理装置、画像処理方法、および画像処理プログラム
US9202286B2 (en) 2013-07-16 2015-12-01 Nk Works Co., Ltd. Image processing apparatus, computer-readable medium storing an image processing program, and image processing method
JP2015088132A (ja) * 2013-11-01 2015-05-07 セコム株式会社 画像処理装置
JP2016094262A (ja) * 2014-11-12 2016-05-26 東芝エレベータ株式会社 乗客コンベア
JP2017538978A (ja) * 2015-10-28 2017-12-28 小米科技有限責任公司Xiaomi Inc. 警報方法および装置
JP2017107407A (ja) * 2015-12-10 2017-06-15 株式会社メガチップス 画像処理装置、制御プログラム及び前景画像特定方法
JP2017135656A (ja) * 2016-01-29 2017-08-03 セコム株式会社 空間認識装置
JP2018185623A (ja) * 2017-04-25 2018-11-22 セコム株式会社 物体検出装置
JP2021034763A (ja) * 2019-08-16 2021-03-01 セコム株式会社 画像処理装置及び画像処理プログラム
JP7355553B2 (ja) 2019-08-16 2023-10-03 セコム株式会社 画像処理装置及び画像処理プログラム

Also Published As

Publication number Publication date
JP5388829B2 (ja) 2014-01-15

Similar Documents

Publication Publication Date Title
JP5388829B2 (ja) 侵入物体検知装置
US7751647B2 (en) System and method for detecting an invalid camera in video surveillance
US8619135B2 (en) Detection of abnormal behaviour in video objects
JP4629090B2 (ja) カメラ・タンパリング検出
JP2007264860A (ja) 顔領域抽出装置
US20060195199A1 (en) Monitoring device
JP2010003177A (ja) 画像処理装置
JP5208893B2 (ja) 移動物体追跡装置
AU2006252252A1 (en) Image processing method and apparatus
WO2022078182A1 (zh) 抛出位置获取方法、装置、计算机设备及存储介质
KR102628413B1 (ko) 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN111401239B (zh) 一种视频分析方法、装置、***、设备及存储介质
JP4999794B2 (ja) 静止領域検出方法とその装置、プログラム及び記録媒体
JP2010122746A (ja) 画像監視装置
JP2020149642A (ja) 物体追跡装置および物体追跡方法
KR102391853B1 (ko) 영상 정보 처리 시스템 및 방법
JP3486229B2 (ja) 画像変化検出装置
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
CN108765466A (zh) 一种基于网络摄像头的智能视频监控***及方法
JP5950628B2 (ja) 物体検知装置、物体検知方法及びプログラム
KR20160093253A (ko) 영상 기반 이상 흐름 감지 방법 및 그 시스템
JP2021007055A (ja) 識別器学習装置、識別器学習方法およびコンピュータプログラム
US10922819B2 (en) Method and apparatus for detecting deviation from a motion pattern in a video
KR101681282B1 (ko) 대상체 검출 장치 및 방법
JP7243372B2 (ja) 物体追跡装置および物体追跡方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120815

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131008

R150 Certificate of patent or registration of utility model

Ref document number: 5388829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees