以下、本発明の実施の形態(以下実施形態という)である画像監視装置1について、図面に基づいて説明する。画像監視装置1は、所定の空間(監視空間)が撮影された画像(撮影画像)に生じる変化領域に基づいて人や不審物等の監視対象物体の有無等を解析する。特に、画像監視装置1は、撮影画像にて背景に対して生じた変化領域を、背景の中に前景として現れる物体(実物体)による実体部分と影による影部分とに区分する本発明に係る領域区分装置を含んで構成される。
[画像監視装置1の構成]
図1は画像監視装置1の概略の構成を示すブロック図である。画像監視装置1はカメラ2、通信部3、記憶部4、画像処理部5および報知部6からなる。
カメラ2は監視カメラであり、通信部3を介して画像処理部5と接続され、監視空間を所定の時間間隔で撮影して撮影画像を生成し、撮影画像を順次、画像処理部5に入力する撮影手段である。例えば、カメラ2は、監視空間であるイベント会場の一角に設置されたポールに当該監視空間を俯瞰する所定の固定視野を有して設置され、監視空間をフレーム周期1秒で撮影してカラー画像を生成する。なお、カメラ2はカラー画像の代わりにモノクロ画像を生成してもよい。
通信部3は通信回路であり、その一端が画像処理部5に接続され、他端がカメラ2および報知部6と接続される。通信部3はカメラ2から撮影画像を取得して画像処理部5に入力し、画像処理部5から入力された解析結果を報知部6へ出力する。
例えば、カメラ2および報知部6がイベント会場内の監視センターに設置され、通信部3、記憶部4および画像処理部5が遠隔地の画像解析センターに設置される場合、通信部3とカメラ2、および通信部3と報知部6をそれぞれインターネット回線にて接続し、通信部3と画像処理部5はバスで接続する構成とすることができる。その他、例えば各部を同一建屋内に設置する場合は、通信部3とカメラ2を同軸ケーブルまたはLAN(Local Area Network)で接続し、通信部3と報知部6はディスプレイケーブル、通信部3と画像処理部5はバスで接続するなど、各部の設置場所に応じた形態で適宜接続される。
記憶部4は、ROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部4は画像処理部5と接続されて、画像処理部5との間でこれらの情報を入出力する。
画像処理部5は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置で構成される。画像処理部5は記憶部4からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、必要に応じて、各種データを記憶部4から読み出し、生成したデータを記憶部4に記憶させる。また、画像処理部5は、通信部3経由でカメラ2から取得した撮影画像から監視空間における監視対象物の有無や位置などに関する解析結果を生成し、通信部3を介して報知部6へ出力する。
報知部6は、液晶ディスプレイまたはCRT(Cathode Ray Tube)ディスプレイ等のディスプレイ装置であり、通信部3から入力された解析結果に含まれる監視対象物体の有無や位置等の情報を表示することによって監視員に報知する。報知部6には、さらに、注意喚起を強調するためにブザーやランプ等を含めることもできる。監視員は表示された解析結果を視認して対処の要否等を判断し、必要に応じて対処員を急行させる等の対処を行う。
なお、本実施形態においては、通信部3と画像処理部5の組に対してカメラ2が1台である画像監視装置1を例示するが、別の実施形態においては、通信部3と画像処理部5の組に対してカメラ2が2台以上接続された構成とすることもできる。その場合、通信部3は各カメラ2から撮影画像を時分割で受信し、画像処理部5は各カメラ2からの撮影画像を時分割処理または並列処理する。
[画像監視装置1の機能]
図2は画像監視装置1の概略の機能ブロック図である。図2には専ら、通信部3、記憶部4および画像処理部5の機能が示されており、具体的には、通信部3は撮影画像取得手段30、解析結果出力手段31等として機能し、記憶部4は環境モデル記憶手段40、カメラ情報記憶手段41等として機能し、画像処理部5は変化領域抽出手段50、仮区分手段51、影・実体部分逆算手段52、影・実体部分判定手段53、物体画像解析手段54等として機能する。
撮影画像取得手段30はカメラ2から撮影画像を順次取得して、取得した撮影画像を変化領域抽出手段50に順次出力する。
変化領域抽出手段50は撮影画像と背景画像とを比較してそれらの間での変化領域を抽出し、抽出された変化領域の情報を仮区分手段51および影・実体部分判定手段53へ出力する。変化領域の抽出は公知の背景差分処理又は背景相関処理により行うことができる。すなわち、撮影画像と背景画像との間における同一座標の画素の値の相違度(差又は相関値)を算出し、相違度が閾値を超える画素を変化画素として検出する。そして、互いに隣接する変化画素をまとめ、まとめた領域を変化領域として抽出する。検出の閾値は事前実験等に基づいて予め設定される。なお、1〜数画素程度の領域はノイズであるとして抽出対象から除外する。
なお、背景画像は監視空間の背景の像のみが含まれ、監視対象とする物体の像が含まれていない画像である。具体的には変化領域抽出手段50は人などの移動物体が監視空間内に存在しない状態での撮影画像を背景画像とすることができる。或いは、撮影画像の照明条件にて環境モデルをレンダリングすることによって背景画像を生成することができる。
仮区分手段51は変化領域抽出手段50から入力された変化領域を実体部分の候補領域(実体候補領域)と影部分の候補領域(影候補領域)とに仮区分し、仮区分結果である実体候補領域および影候補領域の情報を影・実体部分逆算手段52へ出力する。例えば、撮影画像と変化領域抽出手段50が生成した背景画像とにおける対応する画素同士の輝度を比較し、変化領域を構成する画素のうち背景画像よりも撮影画像の輝度が低い画素を影候補領域に仮区分し、影候補領域に仮区分されなかった画素を実体候補領域に仮区分する。なお、撮影画像および背景画像がカラー画像の場合はグレースケールに変換して得られる画素値を比較すればよく、濃淡画像の場合は画素値をそのまま比較すればよい。
また、仮区分手段51は背景画像の影領域の画素との類否に基づいて仮区分を行うこともできる。具体的には、仮区分手段51は、環境モデルとカメラパラメータとを用い、カメラ2の撮影面に投影される画像上での背景の影領域を模擬し、撮影画像において影領域内に参照影画素を設定する。そして、変化領域を構成する画素のうち、当該画素に対応付けられた背景物体の反射特性および当該画素の値の特徴が参照影画素と類似した画素を影候補領域に分類し、それ以外の画素を実体候補領域に分類する。
その他、仮区分手段51は、実体部分と影部分とを区分する公知の処理によって変化領域を仮区分する構成とすることもできる。
環境モデル記憶手段40は、監視空間の背景を構成する複数の構成物(背景物体)の三次元モデルを三次元背景として記憶する。
背景物体は例えば、屋外であれば、歩道、道路、建物、標識などの建造物や、樹木などの移動しない自然物である。好適には、道路のうちのアスファルト部分と白線部分、また標識のうちの地色部分と文字・マーク部分のように、反射特性が互いに大きく異なる部分が別の背景物体として記憶される。
背景物体の三次元モデルは、監視空間を模したXYZ座標系における各背景物体の位置、姿勢、立体形状にて表される三次元座標値および各背景物体の反射特性のデータを含む。反射特性は一般的に、物体表面の色、テクスチャ、反射率等の要素で構成される。反射率は例えば、鏡面反射成分の反射率および拡散反射成分の反射率、並びにそれらの割合をパラメータとして持つ二色性反射モデルで表現される。
背景物体の三次元モデルは、建築設計時に作成されたIFC(Industry Foundation Classes)規格の建物情報、三次元CADデータ等あるいは事前の実計測データから取得できる。
また、環境モデル記憶手段40はさらに当該監視空間の照明モデルも予め記憶している。照明モデルは、監視空間を照明する1以上の光源について、監視空間を模したXYZ座標系における当該光源の位置、および当該光源の配光、色温度などで表される照明特性を含む。光源は人工照明や太陽等である。
カメラ情報記憶手段41は監視空間を模したXYZ座標系におけるカメラ2のカメラパラメータを予め記憶している。カメラパラメータは外部パラメータと内部パラメータとからなる。外部パラメータはXYZ座標系におけるカメラ2の位置姿勢である。内部パラメータはカメラ2の焦点距離、中心座標、歪係数などである。カメラパラメータは事前のキャリブレーションによって計測され、カメラ情報記憶手段41に記憶される。このカメラパラメータをピンホールカメラモデルに適用することによってXYZ座標系の座標をカメラ2の撮影面を表すxy座標系に変換できる。
このように、本発明の記憶手段は環境モデル記憶手段40とカメラ情報記憶手段41を含み、少なくとも、監視空間の背景の立体形状を模した三次元背景と監視空間を照射していた光源の光源位置とを含んだ環境モデル、および撮影画像を撮影したカメラのカメラパラメータを予め記憶している。
影・実体部分逆算手段52は本発明の逆算手段であり、仮区分手段51から仮区分結果が入力されると、環境モデル記憶手段40から環境モデルを、またカメラ情報記憶手段41からカメラ2のカメラパラメータをそれぞれ読み出し、環境モデルとカメラパラメータを用いて、少なくとも実体候補領域および影候補領域の一方の候補領域について、撮影画像中の領域であって当該候補領域との間で実体と影の関係となる領域を逆算し、逆算した領域の情報を逆算前の候補領域と対応付けて影・実体部分判定手段53へ出力する。ここで、逆算した領域を対応投影領域と称する。
すなわち、影・実体部分逆算手段52は、少なくとも実体候補領域および影候補領域の一方の候補領域について、当該候補領域との関係が、監視空間内の実物体の撮影画像への投影領域と光源により生じる当該実物体の影の撮影画像への投影領域との関係となる対応投影領域を逆算する。
影・実体部分判定手段53は本発明の判定手段であり、変化領域抽出手段50から変化領域の情報が、また、仮区分手段51から仮区分結果が、さらに、影・実体部分逆算手段52から候補領域とそれに対応する対応投影領域の情報が入力されると、これらの情報を基に変化領域を実体部分と影部分とに区分し、区分結果を物体画像解析手段54へ出力する。
具体的には、影・実体部分判定手段53は、対応投影領域と変化領域との重複度合いを算出し、対応投影領域の重複度合いに応じて当該対応投影領域に対応する候補領域の正否を判定することによって、変化領域を実体部分と影部分とに区分する。
本実施形態では、影・実体部分逆算手段52は影候補領域に対する対応投影領域を逆算し、影・実体部分判定手段53は影候補領域の正否を判定する。以下、影候補領域に対する対応投影領域を変化領域における推定実体部分と称する。
すなわち、影・実体部分逆算手段52は、対応投影領域として、影候補領域に影を生じさせる実物体が撮影画像に撮影され得る部分である推定実体部分を逆算する。そのために、影・実体部分逆算手段52は、監視空間における実物体の推定形状として、影候補領域に整合する影を生じさせる実物体の垂直断面形状を求め、当該垂直断面形状をカメラ2で撮影した場合の像を算出する。具体的には、影・実体部分逆算手段52は、環境モデルとカメラパラメータとを用いて、影候補領域を三次元背景に逆投影して逆投影領域を求め、光源から見た当該逆投影領域の前端に鉛直面を設定する。そして、光源位置と当該逆投影領域とを結ぶ光線が当該鉛直面に形成する領域(つまり、光源位置を中心として当該逆投影領域を当該鉛直面に中心投影した像)をカメラの撮影面に投影することで推定実体部分を逆算する。
ここで、影候補領域の三次元背景における逆投影領域として推定される実物体の影は概して水平方向の広がりを有し、そして、三次元背景にて接地している実物体の影は光源から見て実物体の後ろに伸びる。そこで、光源から見て影の前端、つまり光源位置からの水平距離が最も近い地点を実物体の接地位置と推定して、そこに鉛直面を設定することができる。ちなみに、接地した実物体とその影との付随性から、真の実体部分の逆投影領域と真の影部分の逆投影領域との境界が上述の影の前端に対応する。
鉛直面は光源からの光線と交叉する平面とすることができ、好適な例では、光源からの光線の水平方向、つまり水平面に射影された光線の向きに直交する平面とすることができる。
なお、鉛直面の向きは、当該面がカメラ2および光源の両方の位置から見えれば他の向きであってもよく、例えば、カメラ2と光源との両方に対して鉛直面がなるべく正面を向くように設定することができる。具体的には、鉛直面の設定位置からカメラ2へ向かう水平方向のベクトルuを水平角(方位角)θ〔rad〕の基準(θ=0)として、光源がカメラ2に対して順光となる場合、つまり鉛直面の設定位置から光源へ向かう水平方向のベクトルvの水平角θLが−π/2<θL<π/2の場合には、鉛直面の向き、つまりその法線の水平角θPは0≦θP≦θLとなる範囲にて設定できるが、上述のカメラ2と光源との両方に対してなるべく正面を向くという観点では、その中央値であるθP=θL/2の近傍に設定すると好適である。逆光、つまり水平角θLがπ/2<θL<3π/2の場合には、θPは0≦θP≦|π−θL|とすることができるが、同様の観点で鉛直面の向きはθP=θL/2±π/2の近傍に設定すると好適である。また、θL=±π/2の場合には、θP=±π/4の近傍に設定すると好適である。
また、鉛直面は実物体の代表的な垂直断面が現れる位置に設定するのが好適である。この点、実物体は水平面内での広がりを有し、また実物体の接地面には広がりがあるので、当該位置は必ずしも上述した影の前端や実体部分および影部分の逆投影領域の境界とは一致せず、そこで、上述の広がりを考慮したその近傍位置にて鉛直面の設定位置を定めることもできる。
影・実体部分逆算手段52が推定実体部分を逆算すると、影・実体部分判定手段53は、推定実体部分と変化領域との重複度合いが所定の基準を超える場合に影候補領域を影部分と判定し、重複度合いが基準を下回る場合に影候補領域を実体部分と判定する。また、影・実体部分判定手段53は実体候補領域を実体部分と判定する。ここで、重複度合いは、例えば、推定実体部分が変化領域と重複する画素数の、推定実体部分の全画素数に対する割合とすることができる。また上記所定の基準は例えば、当該割合に対する閾値TD1とすることができ、その値は例えば9割とすることができる。
物体画像解析手段54は、影・実体部分判定手段53が出力した実体部分の撮影画像を解析して、解析結果を解析結果出力手段31へ出力する。例えば、実体部分の撮影画像と人の形状を模した人形状パターンとのパターンマッチングを行って、一致度が所定値以上である場合に実体部分に人が撮影されていると判定する。なお、監視対象の物体は人に限らず車両など他の物体とすることもできる。また、解析も物体の有無の判定に限らず、物体の姿勢の推定、物体の追跡など他の要素の解析とすることもできる。
本発明では、実体と影の領域が一体化してしまっていた変化領域のうちの、実体部分を影部分と区別して物体画像解析手段54にて解析が可能となるため、解析精度が向上する。
解析結果出力手段31は物体画像解析手段54から入力された解析結果を報知部6へ出力する。
[処理例]
図3〜図5は画像監視装置1による領域区分処理の一例を説明する模式図である。
図3は変化領域抽出手段50が撮影画像100から、人物とその影が一体化した変化領域101を抽出した場合の例を示す模式図である。図3(a)に示す撮影画像100には背景内に人物とその影とが一体化した像が写っている。図3(b)は撮影画像100内の当該像の部分が変化領域101として抽出された様子を示しており、変化領域101に斜線を施している。図3(c)は図3(b)の変化領域101に対する仮区分手段51による仮区分の例を示しており、仮区分手段51は変化領域101を、背景画像よりも輝度の低い2つの影候補領域102,104(斜線部)とそれ以外の実体候補領域103に仮区分している。この例において、影候補領域102は人物の頭部に対応する領域であり、本来、実体部分であるところ、黒髪の影響で誤って区分されている。一方、影候補領域104は人物の影に対応する領域であり、正しく区分されている。
図4は監視空間を模した環境モデル110の模式図であり、図3の例に対応している。図4には監視空間を横方向から見た様子が表されており、三次元背景、光源およびカメラ2の情報が含まれている。具体的には、三次元背景の情報にはXYZ座標系で表現された路面111の立体形状が含まれ、光源の情報にはXYZ座標系で表現された光源位置112が含まれている。なお、図4では路面111は水平な平面としている。また、カメラ2のカメラパラメータにはXYZ座標系で表現されたカメラ2の焦点120が含まれ、また、同カメラパラメータからカメラ2の撮影面121が導出できる。
影・実体部分逆算手段52は、環境モデル110とカメラ2のカメラパラメータとを用いて、撮影面121における影候補領域102および影候補領域104を三次元背景である路面111に逆投影し、影候補領域102の逆投影領域132と影候補領域104の逆投影領域134とを求める(図4(a))。なお、この処理例では、説明を簡単化するために凹凸のない路面111に投影される例を示しているが、三次元背景に凹凸があっても同様に処理できる。
影・実体部分逆算手段52は、光源から見た逆投影領域132,134の前端142,144に鉛直面152,154を設定する。そして、光源位置112と逆投影領域132,134とを結ぶ光線が鉛直面152,154に形成する領域162,164を求める(図4(b))。
具体的には、逆投影領域132において路面111上での光源位置112の直下点140から最短距離の点が逆投影領域132の前端142とされ、直下点140と前端142とを結ぶ直線に直交する鉛直面152を設定し、光源位置112と逆投影領域132とを結ぶ光線が鉛直面152に形成する領域162を求める。逆投影領域134についても同様であり、光源の直下点140から最短距離にある前端144に、直下点140と前端144とを結ぶ直線に直交する鉛直面154を設定し、光源位置112と逆投影領域134とを結ぶ光線が鉛直面154に形成する領域164を求める。
影・実体部分逆算手段52は、カメラ2のカメラパラメータを用いて領域162を撮影面121に投影し、影候補領域102に対する推定実体部分172を得る(図4(c))。同様に、影・実体部分逆算手段52は、領域164を撮影面121に投影し、影候補領域104に対する推定実体部分174を得る(図4(c))。
図5は影・実体部分判定手段53の処理例を説明する模式図であり、図3および図4の例に対応している。撮影面121を表すxy座標系で表された画像176,178はそれぞれ推定実体部分172,174と変化領域101との位置関係を示す模式図である。
影・実体部分判定手段53は、変化領域101と推定実体部分172との重複度合いを算出する。この場合、画像176に示すように、両者の重複は殆ど無く、重複度合いは閾値TD1の例として設定している9割を下回るため、影・実体部分判定手段53は影候補領域102が実体部分であると判定する。
同様に、影・実体部分判定手段53は、変化領域101と推定実体部分174の重複度合いを算出する。この場合、画像178に示すように、両者はほぼ重複し、重複度合いは9割以上となるため、影・実体部分判定手段53は影候補領域104が影部分であると判定する。
これらの判定結果から、影・実体部分判定手段53は、影候補領域104を影部分181として区分し、影候補領域102と実体候補領域103とを合成した領域180を実体部分として区分する。
上述の例にて、領域162,164は影候補領域102,104に影が写っていたと仮定した場合に当該影を形成する実物体を表す。これら領域162,164を得るために実物体の三次元モデルを用意する必要はなく、鉛直面152,154を設定できればよい。よって、変化領域101を生じさせた実物体の種類、姿勢、個体差が未知であっても変化領域101を実体部分と影部分とに精度良く区分できる。
上述の例では、影・実体部分逆算手段52が、1つの影候補領域に対して鉛直面の設定の基準点として前端、またはその近傍の点を1つ定めて1つの推定実体部分を逆算する例を述べたが、仮区分結果における影と実体との境界に誤差が含まれることや、上述したように、影と実体との境界は実物体の代表的な垂直断面が現れる位置に対してずれを有し得ることを考慮し、1つの影候補領域に対して鉛直面を設定する複数の基準点を定めて、基準点ごとに推定実体部分を逆算することもできる。
その場合、影・実体部分逆算手段52は、例えば、逆投影領域において光源位置からの水平距離が最も近い地点を基準点の1つ(代表基準点)に設定するとともに、代表基準点を中心とする水平距離が半径R内の三次元背景表面に予め定めた個数の基準点を一定の水平距離間隔で設定することができる。半径Rは例えば、最大誤差の見積りに基づく固定値RMAXとすることもできるが、影候補領域の実体部分による隠蔽され易さの度合いH(値域[0.0,1.0])が高いほど大きくHが低いほど小さな可変値H・RMAXとすることで計算コストに対する精度向上効果のバランスを平準化できる。
影・実体部分逆算手段52は、隠蔽され易さの度合いHとして、代表基準点から見た光源位置とカメラ位置の水平角度差(上述の水平角θLに相当する。)が小さいほど大きく、水平角度差が大きいほど小さな値を算出することができ、具体的には、下式に従い、基準点からカメラ直下点に向かうベクトルuと基準点から光源直下点に向かうベクトルvの間のコサイン距離をHとして算出する。
なお、(1)式は上述の水平角度差、つまりベクトルu,vのなす角度θを用いてH=cos2(θ/2)と表すことができる。
影・実体部分逆算手段52は、各基準点に鉛直面を設定して、基準点ごとに推定実体部分を算出する。その際、複数の基準点に設定される鉛直面同士の水平角θPの決め方は共通とし、例えば、各基準点を通り光源位置と当該基準点を結ぶ直線に直交するように鉛直面の向きを設定する。
この場合、1つの影候補領域に対して複数の推定実体部分が逆算されることに対応して、影・実体部分判定手段53は、複数の推定実体部分それぞれについての重複度合いd1を算出して、影候補領域ごとに最大の重複度合いD1を特定し、重複度合いD1に基づいて正否を判定する。
図6は画像監視装置1による領域区分処理の他の例を説明する模式図である。図6を用いて、実物体による影に対する隠蔽に関する画像監視装置1の処理を説明する。図6(a)のxy座標系で表された画像には、2人の人物による変化領域のそれぞれにて影候補領域201,202が仮区分された例が示されており、これにより図にて左上の人物の変化領域は影候補領域201と実体候補領域211とに仮区分され、右下の人物の変化領域は影候補領域202と実体候補領域212とに仮区分されている。この図に対応する撮影画像では、それぞれの人物の像により、その人物の背後に生じる影の一部が隠される隠蔽が生じており、光源やカメラとの位置関係上、左上の人物における当該隠蔽は右下の人物よりも生じ易い。これを図6では、実体候補領域211による影候補領域201の隠蔽が、実体候補領域212による影候補領域202の隠蔽よりも生じ易いと表現する。
図6(b)は、図6(a)に対応する監視空間の模式的な平面図であり、路面におけるカメラ直下点220および光源直下点221と、影候補領域201,202の路面への逆投影領域231,232が示されている。
影・実体部分逆算手段52は、影候補領域201の逆投影領域231において光源直下点221から最も近い地点である代表基準点241を算出し、代表基準点241とカメラ直下点220とを結ぶベクトルu1と、代表基準点241と光源直下点221とを結ぶベクトルv1のそれぞれを(1)式のu,vに適用して影候補領域201の隠蔽され易さの度合いH1を算出する。
同様に、影・実体部分逆算手段52は、影候補領域202の逆投影領域232において光源直下点221から最も近い地点である代表基準点242を算出し、代表基準点242とカメラ直下点220とを結ぶベクトルu2と、代表基準点242と光源直下点221とを結ぶベクトルv2のそれぞれを(1)式のu,vに適用して影候補領域202の隠蔽され易さの度合いH2を算出する。
ベクトルu1とv1のなす角θ1はベクトルu2とv2のなす角θ2はよりも小さく、H1>H2となる。影・実体部分逆算手段52は、影候補領域201に関して代表基準点241を中心とする半径R1(=H1・RMAX>R2)の円内に基準点を設定し、影候補領域202に関して代表基準点242を中心とする半径R2(=H2・RMAX<R1)の円内に基準点を設定する。このようにして、隠蔽され易さの度合いが高い影候補領域についての基準点ほどその設定範囲と設定間隔を広げる。
また、さらに好適には、影・実体部分判定手段53が、候補領域から逆算された対応投影領域と変化領域との重複度合いに加えて、当該候補領域と他の候補領域から逆算された対応投影領域との重複度合いを用いる。すなわち、影・実体部分判定手段53は、注目する影候補領域と他の影候補領域の推定実体部分との重複度合いを算出し、当該重複度合いが高い影候補領域ほど実体部分である可能性が高いとして、実体部分と判定し易くする。
具体的には、影・実体部分判定手段53は、1つの変化領域に対して複数の影候補領域が仮区分された場合に、注目する影候補領域についての推定実体部分の変化領域との重複度合いD1が閾値TD1以上であり且つ当該影候補領域の他の影候補領域についての推定実体部分との重複度合いD2が閾値TD2未満であれば、注目する影候補領域を影部分と判定し、一方、D1がTD1未満である、又はD1がTD1以上であり且つD2がTD2以上であれば、注目する影候補領域を実体部分と判定する。このようにすることで、複数の実体とそれらの影とが一体化した変化領域であっても、実体部分を影部分と誤判定する可能性を減じることができる。
図7は、この複数の実体とそれらの影とが一体化した変化領域に対する画像監視装置1による領域区分処理の例を説明する模式図である。図7(a)に示す撮影画像300には背景内に2人の人物とそれらの影とが一体化した像が写っており、変化領域抽出手段50は撮影画像300から、当該一体化した像を変化領域として抽出する。
図7(b)は撮影画像300内から抽出された当該変化領域に対する仮区分手段51による仮区分の例を示しており、仮区分手段51は、変化領域310を、背景画像よりも輝度の低い4つの影候補領域301,302,303,304とその余の実体候補領域とに仮区分している。そのうちの影候補領域301,303は人物の頭部に対応する領域であり、本来、実体部分であるところ、黒髪の影響で誤って区分されている。一方、影候補領域302,304は人物の影に対応する領域であり、正しく区分さている。
図7(c)は図7(b)の影候補領域に対する推定実体部分を示しており、影・実体部分逆算手段52は、4つの影候補領域301,302,303,304のそれぞれに対応する推定実体部分305,306,307,308を算出する。
影・実体部分判定手段53は、上述したように、影候補領域に対応する推定実体部分と変化領域との重複度合いD1に加えて、当該影候補領域と他の影候補領域に対応する推定実体部分との重複度合いD2を用い、当該影候補領域の正否を判定する。
具体的には、影候補領域301に対応する推定実体部分305については、変化領域310との重複は殆ど無いため、D1<TD1となり、この結果に基づいて影・実体部分判定手段53は影候補領域301を実体部分と判定する。よって、黒髪の影響で誤って仮区分されていた影候補領域301が正しく実体部分に区分される。
影候補領域302については、推定実体部分306がほぼ変化領域310と重複するため、D1>TD1となる。また、影候補領域302は推定実体部分305,307,308のいずれとも重複しないためD2<TD2となる。これらの結果に基づいて影・実体部分判定手段53は影候補領域302を影部分と判定する。つまり、影候補領域302は正しく影部分に区分される。
影候補領域303については、推定実体部分307がほぼ変化領域310と重複するため、D1>TD1となる。また、影候補領域303はその殆どが推定実体部分308と重複するためD2>TD2となる。これらの結果に基づいて影・実体部分判定手段53は影候補領域303を実体部分と判定する。よって、黒髪の影響で誤って仮区分されていた影候補領域303が正しく実体部分に区分される。
影候補領域304については、推定実体部分308はほぼ変化領域310と重複するため、D1>TD1となる。また、影候補領域304は推定実体部分305,306,307のいずれとも重複しないためD2<TD2となる。これらの結果に基づいて影・実体部分判定手段53は影候補領域304を影部分と判定する。つまり、影候補領域304は正しく影部分に区分される。
[画像監視装置1の動作]
図8は画像監視装置1の概略の動作のフロー図である。
通信部3は撮影画像取得手段30として動作し、カメラ2から撮影画像を順次取得する(ステップS1)。
画像処理部5は、撮影画像取得手段30から撮影画像を取得するごとに、変化領域抽出手段50として動作し、背景画像に対する撮影画像の変化領域を抽出する(ステップS2)。
画像処理部5はステップS2にて変化領域が抽出された場合には(ステップS3にて「YES」の場合)、抽出された変化領域それぞれを順次、処理対象に設定して(ステップS4)、領域区分処理S5により処理対象の変化領域における実体部分を求め、当該実体部分を用いて物体画像解析手段54による動体画像解析を行う(ステップS6)。
ステップS4〜S6はステップS2にて抽出された全ての変化領域についてループ処理で行われ(ステップS7にて「NO」の場合)、全変化領域について処理が終わると(ステップS7にて「YES」の場合)、ステップS1にて取得された撮影画像について、物体画像解析手段54による解析結果が解析結果出力手段31へ出力される(ステップS8)。そして、ステップS1に戻り次の撮影画像についての処理が開始される。
一方、ステップS1にて取得された撮影画像について変化領域が抽出されなかった場合には(ステップS3にて「NO」の場合)、ステップS4〜S8の処理は省略され、ステップS1に戻り次の撮影画像について処理を行う。
図9および図10は領域区分処理S5の概略のフロー図である。
画像処理部5は仮区分手段51として動作し、処理対象として設定された変化領域を影候補領域と実体候補領域とに仮区分する(ステップS500)。画像処理部5はステップS500にて設定された影候補領域それぞれを順次、処理対象に設定する(ステップS501)。画像処理部5は影・実体部分逆算手段52として動作し、処理対象として設定された影候補領域を三次元背景に逆投影する(ステップS502)。そして、影・実体部分逆算手段52は逆投影領域内において光源からの水平距離が最短の点とその周囲にて複数の基準点を設定する(ステップS503)。
影・実体部分逆算手段52は基準点それぞれを順次、処理対象に設定し(ステップS504)、当該基準点を通る鉛直面を設定する(ステップS505)。そして、鉛直面のうち光源から逆投影領域への光線と交叉する領域を算出し(ステップS506)、当該領域をカメラ2の撮影面に投影することで、影候補領域に対する対応投影領域として推定実体部分を算出する(ステップS507)。影・実体部分逆算手段52は当該推定実体部分とステップS2にて抽出された変化領域との重複度合いd1を算出する(ステップS508)。
ステップS504〜S508はステップS503にて設定された全ての基準点についてループ処理で行われ(ステップS509にて「NO」の場合)、全基準点について処理が終わると(ステップS509にて「YES」の場合)、図10のノードBに処理が進められ、影・実体部分逆算手段52は、処理対象に設定されている影候補領域についての複数の基準点に関する重複度合いd1のうちの最大値D1を求める(ステップS510)。
ステップS501〜S510はステップS500にて設定された全ての影候補領域についてループ処理で行われる(ステップS511にて「NO」の場合)。全影候補領域について処理が終わると(ステップS511にて「YES」の場合)、画像処理部5は影・実体部分判定手段53として動作し、それら影候補領域について正否を判定する処理を行う(ステップS512〜S518)。
影・実体部分判定手段53は影候補領域それぞれを順次、処理対象に設定し(ステップS512)、当該影候補領域についてステップS510で求めた重複度合いD1が閾値TD1未満であれば(ステップS513にて「NO」の場合)、当該影候補領域を実体部分に区分する(ステップS517)。
一方、重複度合いD1が閾値TD1以上である場合には(ステップS513にて「YES」の場合)、影・実体部分判定手段53は、処理対象の影候補領域と他の影候補領域についての推定実体部分との重複度合いD2を算出する(ステップS514)。そして、重複度合いD2が閾値TD2以上である場合には(ステップS515にて「YES」の場合)、処理対象の影候補領域を実体部分に区分し(ステップS517)、一方、D2が閾値TD2未満である場合には(ステップS515にて「NO」の場合)、当該影候補領域を影部分に区分する(ステップS516)。
ステップS512〜S517は全ての影候補領域についてループ処理で行われ(ステップS518にて「NO」の場合)、全での影候補領域について処理が終わると(ステップS518にて「YES」の場合)、処理対象の変化領域についての領域区分処理S5を終え、図8のステップS6に処理を進める。
[変形例]
(1)上記実施形態においては、影・実体部分逆算手段52が影候補領域の対応投影領域(推定実体部分)を逆算し、影・実体部分判定手段53が推定実体部分と変化領域とを比較することによって影候補領域が実体部分であるか影部分であるかを判定し、変化領域を実体部分と影部分とに区分する例を示した。別の実施形態においては、影に関する処理と実体に関する処理とを入れ換えることができる。
当該の実施形態では、影・実体部分逆算手段52が実体候補領域に対する対応投影領域として推定影部分を逆算する。つまり、影・実体部分逆算手段52は、実体候補領域に対する対応投影領域として、実体候補領域に整合する実物体の影が撮影画像にて撮影され得る推定影部分を逆算する。
そのために、影・実体部分逆算手段52は、実体候補領域を三次元背景に逆投影して逆投影領域を求め、カメラから見た当該逆投影領域の前端を基準点とし、基準点を通るように鉛直面を設定する。そして、影・実体部分逆算手段52は、実体候補領域を当該鉛直面に逆投影した逆投影領域を通る光源位置からの光線が三次元背景に形成する領域をカメラの撮影面に投影して推定影部分を逆算する。
一方、影・実体部分判定手段53は、推定影部分と変化領域とを比較することによって実体候補領域が実体部分であるか影部分であるかを判定し、変化領域を実体部分と影部分とに区分する。
つまり、影・実体部分判定手段53は、影・実体部分逆算手段52から入力された推定影部分と変化領域抽出手段50が抽出した変化領域との重複度合いD1を、上記実施形態での推定実体部分と変化領域との重複度合いD1と同様にして求め、この重複度合いD1が所定の基準(例えば閾値TD1)を超える場合に実体候補領域を実体部分と判定し、重複度合いD1が当該基準を下回る場合に実体候補領域を影部分と判定する。
この場合も、影・実体部分逆算手段52が1つの実体候補領域に対して複数の推定影部分を逆算し、影・実体部分判定手段53が推定影部分ごとの重複度合いd1のうちの最大値D1に基づいて実体候補領域の正否を判定することができる。
具体的には、影・実体部分逆算手段52は、実体候補領域を三次元背景に逆投影した逆投影領域のカメラから見た前端を代表基準点とするとともに、代表基準点の近傍に複数の基準点を設定し、代表基準点およびその他の基準点のそれぞれを通る鉛直面を設定し、実体候補領域の当該各鉛直面への投影領域を通る光源位置からの光線が三次元背景に形成する領域をカメラの撮影面に投影して推定影部分を逆算する。
そして、影・実体部分判定手段53は、1つの実体候補領域に対して影・実体部分逆算手段52が逆算した複数の推定影部分それぞれと変化領域との重複度合いd1を算出し、算出された複数の重複度合いd1のうちの最大値を当該1つの実体候補領域に対する重複度合いD1とする。
また、この場合も、影・実体部分判定手段53は、影・実体部分逆算手段52が注目する実体候補領域と他の実体候補領域の推定影部分との重複度合いを算出して、当該重複度合いが高い実体候補領域ほど実体と重なった影部分である可能性が高いとして、影部分と判定し易くすることができる。
具体的には、影・実体部分判定手段53は、1つの変化領域に対して複数の実体候補領域が仮区分された場合に、注目する実体候補領域についての推定影部分の変化領域との重複度合いD1が閾値TD1以上であり且つ当該実体候補領域の他の実体候補領域についての推定影部分との重複度合いD2が閾値TD2未満である場合に注目する実体候補領域を実体部分と判定し、一方、D1がTD1未満である又はD1がTD1以上であり且つD2がTD2以上である場合に、注目する実体候補領域を影部分と判定する。
(2)また、影・実体部分逆算手段52が実体候補領域および影候補領域の両方の対応投影領域を逆算してもよい。
その場合、影・実体部分判定手段53は、実体候補領域から逆算された推定影部分と変化領域との重複度合いが基準を超える場合に、実体候補領域を実体部分と判定し、重複度合いが基準を下回る場合に実体候補領域を影部分と判定する。そしてさらに、影・実体部分判定手段53は、影候補領域から逆算された推定実体部分と変化領域との重複度合いが基準を超える場合に影候補領域を影部分と判定し、重複度合いが基準を下回る場合に影候補領域を実体部分と判定することができる。
(3)また、複数通りの仮区分を行って探索的に領域を区分してもよい。その場合、仮区分手段51が複数通りの仮区分を行い、影・実体部分逆算手段52が複数通りの仮区分のそれぞれについて対応投影領域を逆算し、影・実体部分判定手段53が複数通りの仮区分のそれぞれについて対応投影領域と変化領域の重複度合いを算出して重複度合いが最大である仮区分における候補領域の正否を当該最大の重複度合いに応じて判定する。