JP6687659B2 - 領域区分装置 - Google Patents

Description

本発明は、画像における背景に対する変化領域を、背景の前に現れた実物体による実体部分と影による影部分とに区分する領域区分装置に関する。

防犯等のために、移動物体等により生じた撮影画像上の変化領域を背景差分処理等によって抽出することがしばしば行われる。この変化領域は、移動物体等の実体によって変化が生じた部分（実体部分）と当該移動物体の影によって変化が生じた部分（影部分）とが一体化して抽出されたものである場合があり、影部分が移動物体の解析に際して外乱となる。

この点に関し、変化領域を実体部分と影部分とに区分するために撮影画像の輝度に着目する方法がある。例えば、下記特許文献１に記載の物体検出装置においては、光照射領域の外側近傍に参照影領域を設定して、参照影領域における背景画像の画像特徴を参照影特徴として抽出する。そして、入力画像において光照射領域の内側から参照影特徴を有する部分を影領域として検出して、変化領域において影領域以外の部分を前景物体による領域として検出していた。

なお、この物体検出装置においては、一様な背景部分にできる参照影領域および影領域を仮定し、光照射領域の外側近傍において輝度の分散値が大きな部分を一様でない部分として除外した上で参照影領域を設定していた。

特開２０１２−０３３０５２号公報

しかしながら、一様な背景にできる影を仮定した従来技術においては、床から棚に伸びる影や、歩道から建物の壁に伸びる影、路上にアスファルト部分と白線部分とを含んで生じた影のように、複数の構成物にわたって生じる影部分を高精度に区分することが困難であった。

本発明は上記問題を鑑みてなされたものであり、複数の構成物を跨ぐ影部分を含んだ変化領域であっても実体部分と影部分とに高精度に区分できる領域区分装置を提供することを目的とする。

（１）本発明に係る領域区分装置は、所定の空間が撮影された撮影画像について、背景に対する変化領域を前景物体による実体部分と影による影部分とに区分する装置であって、前記空間の背景を構成する背景物体の反射特性および三次元座標値と前記空間を照らす光源の情報とを含んだ環境モデル、並びに前記撮影画像を撮影するカメラのカメラパラメータを記憶するモデル記憶手段と、前記撮影画像を構成する画素と、前記カメラパラメータに基づいて当該画素に投影される前記背景物体についての前記反射特性とを対応付けて記憶する反射特性マップ記憶手段と、前記環境モデルと前記カメラパラメータとを用いて前記撮影画像上での前記光源による前記背景物体の影領域を模擬し、前記撮影画像において前記影領域内に参照影画素を設定する参照画素設定手段と、前記変化領域を構成する画素のうち、当該画素に対応付けられた前記反射特性および当該画素の値の特徴が前記参照影画素と類似した画素を前記影部分に分類し、それ以外の画素を前記実体部分に分類する変化領域区分手段と、を備える。

（２）上記（１）に記載する領域区分装置において、前記反射特性マップ記憶手段は、それぞれに対応付けられた前記背景物体の前記反射特性が類似する画素同士からなる特性類似領域を記憶し、前記参照画素設定手段は、前記特性類似領域ごとに前記参照影画素を設定し、前記変化領域区分手段は、前記特性類似領域ごとに、前記変化領域を、前記撮影画像において前記参照影画素と類似した特徴を有する前記影部分とそれ以外である前記実体部分とに区分する構成とすることができる。

（３）上記（２）に記載する領域区分装置において、前記参照画素設定手段は、前記特性類似領域それぞれにおける前記影領域を参照影領域として、当該参照影領域の非縁部の画素を前記参照影画素に設定する構成とすることができる。

（４）上記（１）〜（３）に記載する領域区分装置において、前記カメラパラメータが更新された場合に、当該カメラパラメータに基づいて、前記撮影画像を構成する画素に対応付けられている前記反射特性を更新する反射特性マップ生成手段をさらに備えた構成とすることができる。

（５）他の本発明に係る領域区分装置は、所定の空間が撮影された撮影画像について、背景に対する変化領域を前景物体による実体部分と影による影部分とに区分する領域区分装置であって、前記空間の背景を構成する背景物体の反射特性および三次元座標値と前記空間を照らす光源の情報とを含んだ環境モデル、並びに前記撮影画像を撮影したカメラのカメラパラメータを記憶するモデル記憶手段と、前記環境モデルと前記カメラパラメータとを用いて前記撮影画像上での前記光源による前記背景物体の影領域を模擬し、前記撮影画像において前記影領域内に参照影画素を設定すると共に、前記参照影画素と当該参照影画素に投影される前記背景物体についての前記反射特性とを対応付ける参照画素設定手段と、前記環境モデルと前記カメラパラメータとを用いて、前記変化領域を構成する各画素に投影される前記背景物体についての前記反射特性を推定し、前記変化領域を構成する画素のうち、当該画素について推定した前記反射特性および当該画素の値の特徴が前記参照影画素と類似した画素を前記影部分に分類し、それ以外の画素を前記実体部分に分類する変化領域区分手段と、を備える。

本発明によれば、複数の構成物を跨ぐ影部分を含んだ変化領域であっても実体部分と影部分とに高精度に区分できる。

本発明の実施形態に係る画像監視装置の概略の構成を示すブロック図である。 本発明の実施形態に係る画像監視装置の概略の機能ブロック図である。 反射特性マップの例を示す模式図である。 図３の例に対応した撮影画像についての画像監視装置の処理を説明する模式図である。 図３の例に対応した撮影画像についての画像監視装置の処理を説明する模式図である。 本発明の実施形態に係る画像監視装置の概略の動作のフロー図である。 領域区分処理の概略のフロー図である。

以下、本発明の実施の形態（以下実施形態という）である画像監視装置１について、図面に基づいて説明する。画像監視装置１は、所定の空間（監視空間）が撮影された画像（撮影画像）に生じる変化領域に基づいて人や不審物等の監視対象物体の有無等を解析する。特に、画像監視装置１は、撮影画像にて背景に対して生じた変化領域を、背景の中に前景として現れる物体（前景物体）による実体部分と影による影部分とに区分する本発明に係る領域区分装置を含んで構成される。

［画像監視装置１の構成］
図１は画像監視装置１の概略の構成を示すブロック図である。画像監視装置１はカメラ２、通信部３、記憶部４、画像処理部５および報知部６からなる。

カメラ２は監視カメラであり、通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して撮影画像を生成し、撮影画像を順次、画像処理部５に入力する撮影手段である。例えば、カメラ２は、監視空間であるイベント会場の一角に設置されたポールに当該監視空間を俯瞰する所定の固定視野を有して設置され、監視空間をフレーム周期１秒で撮影してカラー画像を生成する。なお、カメラ２はカラー画像の代わりにモノクロ画像を生成してもよい。

通信部３は通信回路であり、その一端が画像処理部５に接続され、他端がカメラ２および報知部６と接続される。通信部３はカメラ２から撮影画像を取得して画像処理部５に入力し、画像処理部５から入力された解析結果を報知部６へ出力する。

例えば、カメラ２および報知部６がイベント会場内の監視センターに設置され、通信部３、記憶部４および画像処理部５が遠隔地の画像解析センターに設置される場合、通信部３とカメラ２、および通信部３と報知部６をそれぞれインターネット回線にて接続し、通信部３と画像処理部５はバスで接続する構成とすることができる。その他、例えば各部を同一建屋内に設置する場合は、通信部３とカメラ２を同軸ケーブルまたはＬＡＮ（Local Area Network）で接続し、通信部３と報知部６はディスプレイケーブル、通信部３と画像処理部５はバスで接続するなど、各部の設置場所に応じた形態で適宜接続される。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は画像処理部５と接続されて、画像処理部５との間でこれらの情報を入出力する。

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、必要に応じて、各種データを記憶部４から読み出し、生成したデータを記憶部４に記憶させる。また、画像処理部５は、通信部３経由でカメラ２から取得した撮影画像から監視空間における監視対象物の有無や位置などに関する解析結果を生成し、通信部３を介して報知部６へ出力する。

報知部６は、液晶ディスプレイまたはＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３から入力された解析結果に含まれる監視対象物体の有無や位置等の情報を表示することによって監視員に報知する。報知部６には、さらに、注意喚起を強調するためにブザーやランプ等を含めることもできる。監視員は表示された解析結果を視認して対処の要否等を判断し、必要に応じて対処員を急行させる等の対処を行う。

なお、本実施形態においては、通信部３と画像処理部５の組に対してカメラ２が１台である画像監視装置１を例示するが、別の実施形態においては、通信部３と画像処理部５の組に対してカメラ２が２台以上接続された構成とすることもできる。その場合、通信部３は各カメラ２から撮影画像を時分割で受信し、画像処理部５は各カメラ２からの撮影画像を時分割処理または並列処理する。

［画像監視装置１の機能］
図２は画像監視装置１の概略の機能ブロック図である。図２には専ら、通信部３、記憶部４および画像処理部５の機能が示されており、具体的には、通信部３は撮影画像取得手段３０、解析結果出力手段３１等として機能し、記憶部４は環境モデル記憶手段４０、カメラ情報記憶手段４１、反射特性マップ記憶手段４２等として機能し、画像処理部５は変化領域抽出手段５０、参照画素設定手段５１、変化領域区分手段５２、物体画像解析手段５３等として機能する。

撮影画像取得手段３０はカメラ２から撮影画像を順次取得して、取得した撮影画像を変化領域抽出手段５０に順次出力する。

変化領域抽出手段５０は撮影画像と背景画像とを比較してそれらの間での変化領域を抽出し、抽出された変化領域の情報を変化領域区分手段５２へ出力する。変化領域の抽出は公知の背景差分処理又は背景相関処理により行うことができる。すなわち、撮影画像と背景画像との間における同一座標の画素の値の相違度（差又は相関値）を算出し、相違度が閾値を超える画素を変化画素として検出する。そして、互いに隣接する変化画素をまとめ、まとめた領域を変化領域として抽出する。検出の閾値は事前実験等に基づいて予め設定される。なお、１〜数画素程度の領域はノイズであるとして抽出対象から除外する。

なお、背景画像は監視空間の背景の像のみが含まれ、監視対象とする物体の像が含まれていない画像である。具体的には人などの移動物体が監視空間内に存在しない状態での撮影画像を背景画像とすることができる。或いは、撮影画像の照明条件にて環境モデルをレンダリングすることによって背景画像を生成することができる。

環境モデル記憶手段４０は、監視空間の背景を構成する複数の構成物（背景物体）の三次元モデルを三次元背景として記憶する。

背景物体は例えば、屋外であれば、歩道、道路、建物、標識などの建造物や、樹木などの移動しない自然物である。好適には、道路のうちのアスファルト部分と白線部分、また標識のうちの地色部分と文字・マーク部分のように、反射特性が互いに大きく異なる部分が別の背景物体として記憶される。

背景物体の三次元モデルは、監視空間を模したＸＹＺ座標系における各背景物体の位置、姿勢、立体形状にて表される三次元座標値および各背景物体の反射特性のデータを含む。反射特性は一般的に、物体表面の色、テクスチャ、反射率等の要素で構成される。反射率は例えば、鏡面反射成分の反射率および拡散反射成分の反射率、並びにそれらの割合をパラメータとして持つ二色性反射モデルで表現される。

背景物体の三次元モデルは、建築設計時に作成されたＩＦＣ（Industry Foundation Classes）規格の建物情報、三次元ＣＡＤデータ等あるいは事前の実計測データから取得できる。

また、環境モデル記憶手段４０はさらに当該監視空間の照明モデルも予め記憶している。照明モデルは、監視空間を照明する１以上の光源について、監視空間を模したＸＹＺ座標系における当該光源の位置、および当該光源の配光、色温度などで表される照明特性を含む。光源は人工照明や太陽等である。

カメラ情報記憶手段４１は監視空間を模したＸＹＺ座標系におけるカメラ２のカメラパラメータを予め記憶している。カメラパラメータは外部パラメータと内部パラメータとからなる。外部パラメータはＸＹＺ座標系におけるカメラ２の位置姿勢である。内部パラメータはカメラ２の焦点距離、中心座標、歪係数などである。カメラパラメータは事前のキャリブレーションによって計測され、カメラ情報記憶手段４１に記憶される。このカメラパラメータをピンホールカメラモデルに適用することによってＸＹＺ座標系の座標をカメラ２の撮影面を表すｘｙ座標系に変換できる。

本発明のモデル記憶手段は環境モデル記憶手段４０とカメラ情報記憶手段４１を含む。

反射特性マップ記憶手段４２は、カメラ２により撮影される画像を構成する画素と、カメラ２のカメラパラメータに基づいて当該画素に投影される背景物体についての反射特性とを対応付けた反射特性マップを予め記憶している。つまり、反射特性マップは、環境モデルをカメラ２の撮影面に投影した場合に画像の各画素に投影される背景物体の反射特性を示したマップ情報である。この反射特性マップを参照することによって、撮影画像中の任意の画素について、当該画素に背景として撮影され得る背景物体の反射特性を特定できる。

また、撮影され得る背景物体の反射特性が類似する画素の組み合わせが事前に識別されて参照可能とされていることが後段の処理負荷軽減の観点で好適であり、反射特性マップ記憶手段４２は、背景物体の反射特性が類似する画素同士からなる特性類似領域を記憶する構成とすることができる。

反射特性マップは例えば、画像処理部５が不図示の反射特性マップ生成手段として動作して行うレンダリング処理によって予め設定される。その場合、まず、反射特性マップ生成手段は、カメラ２のカメラパラメータを用いて環境モデルをカメラ２の撮影面にレンダリングすることによって、撮影面に形成される画像の各画素に投影される背景物体を特定する。なお、このレンダリングにおいて光源の照明条件は問わず、任意の照明条件を１つ設定すればよい。

その一方で、反射特性マップ生成手段は、環境モデルに含まれる背景物体の反射特性ごとにその識別子として反射特性ＩＤを付与する。その際、値が完全一致する反射特性に共通の反射特性ＩＤを付与してもよいし、値が同一とみなせる程度に類似する反射特性に共通の反射特性ＩＤを付与してもよい。反射特性の類否は、反射特性を構成する上述した要素、パラメータに基づいて判定される。具体的には、それぞれの要素およびパラメータの差が予め定めた閾値以下であれば反射特性が類似と判断する。なお、元から反射特性ごとのＩＤが付与されている環境モデルであれば当該ＩＤを利用すればよい。

そして、次に、反射特性マップ生成手段は、撮影画像の各画素に対応する画素を有した反射特性マップを作成し、当該反射特性マップの各画素の画素値に、当該画素に投影される背景物体の反射特性ＩＤを設定する。この反射特性マップにおいて画素値が同一である画素からなる領域それぞれが特性類似領域となる。

図３は反射特性マップの例を示す模式図である。図３において、反射特性マップ１００は、車道の右側に歩道を挟んで建物が存在する曲がり角が写った背景画像に対応する例である。図に示すように、反射特性マップ１００は撮影画像の各画素と対応する画素を有する画像データとすることができ、カメラ２の撮影面と同じｘｙ座標系で表すことができる。

具体的には反射特性マップ１００は、それに対応する背景画像に反射特性が異なる背景物体として、石畳からなる歩道、アスファルト舗装された道路、当該道路に道路標示として描かれた白線、および建物の壁が写っている場合の例である。ここで例えば、歩道の石畳の反射特性に対しては反射特性ＩＤを「１」と定義し、同様に、アスファルトの路面、白色の道路標示、建物の壁の反射特性に対しては反射特性ＩＤをそれぞれ「２」，「３」，「４」と定義する。

反射特性マップ１００には背景画像における反射特性が異なる背景物体の領域ごとに反射特性ＩＤが設定される。画像１０１は反射特性マップ１００のうち歩道領域１１１を斜線で示しており、当該斜線領域の画素に反射特性ＩＤとして値「１」が設定される。同様に、画像１０２，１０３，１０４はそれぞれ反射特性マップ１００のうちアスファルト領域１１２、白線領域１１３、壁領域１１４を斜線で示しており、当該斜線領域の画素に反射特性ＩＤとしてそれぞれ値「２」，「３」，「４」が設定される。

参照画素設定手段５１は、環境モデル記憶手段４０から環境モデルを、また、カメラ情報記憶手段４１からカメラ２のカメラパラメータを、さらに、反射特性マップ記憶手段４２から反射特性マップをそれぞれ読み出す。そして、環境モデルとカメラパラメータとを用い、カメラ２の撮影面に投影される画像上での光源による背景物体の影領域を模擬し、撮影画像において影領域内に参照影画素を設定し、当該参照影画素の座標値と当該参照影画素に投影され得る背景物体の反射特性とを含めた参照影画素情報を変化領域区分手段５２へ出力する。

なお、反射特性マップが反射特性ＩＤ（つまり特性類似領域を識別するＩＤ）を用いて表現されている場合は、参照影画素の反射特性として当該ＩＤを用いれば、後段の処理負荷を減じることができる。

上述のように参照画素設定手段５１は、参照影画素を設定するために背景物体の影領域を模擬する。具体的には、参照画素設定手段５１は、まず、撮影画像が撮影された時点における光源の照明条件の推定および当該照明条件下での環境モデルのレンダリングを行う。すなわち、複数通りの照明条件を設定してレンダリングを行い、撮影画像とレンダリングの結果として得られる模擬背景画像との類似度を算出し、類似度が最大である模擬背景画像を特定する。参照画素設定手段５１は次に、模擬背景画像において背景物体の影が形成されている領域（参照影領域）を特定する。そして、参照画素設定手段５１は参照影領域内の画素（参照影画素）の情報を出力する。

ちなみに、参照影領域の特定は、模擬背景画像をレンダリングする際、非光照射領域を表す影領域画像も同時に出力しておき、模擬背景画像との論理積（ＡＮＤ）をとる処理で可能である。すなわち、特定された模擬画像をレンダリングした時と同様の照明条件において、背景物体によって影が形成される領域を示す影領域画像を出力し、模擬背景画像の画素のうち、影領域画像の同位置において影と判定される画素群を参照影領域として特定する。

また、不図示の照度計による計測結果等によって撮影時点の照明条件を特定できる場合は、上述のように照明条件を変えて撮影画像との類似度が最大となる模擬背景画像を探索するまでもなく、計測等により特定された照明条件によるレンダリングを１度だけ行って模擬背景画像を生成すればよい。

ここで、カメラパラメータには微小なキャリブレーション誤差を含み得るため参照影領域内の縁部は撮影画像において影が形成されていない場合がある。そこで、参照画素設定手段５１は、参照影領域の非縁部の画素を参照影画素に設定する。具体的には、参照画素設定手段５１は、参照影領域において参照影領域以外に接する画素を除外して参照影画素を設定する。或いは、参照画素設定手段５１は、参照影領域の重心を中心とする所定半径の円内の画素を参照影画素に設定する。また、１つの反射特性ＩＤに対する参照影領域が複数に分かれている場合は、分かれている参照影領域のそれぞれに参照影画素を設定してもよいし、最も大きな参照影領域に参照影画素を設定してもよい。

変化領域区分手段５２は、変化領域抽出手段５０から入力された変化領域の情報および参照画素設定手段５１から入力された参照影画素情報を参照すると共に、反射特性マップ記憶手段４２から反射特性マップを読み出す。そして、変化領域を構成する画素のうち、当該画素に対応付けられた反射特性および当該画素の値の特徴が参照影画素と類似した画素を影部分に分類し、それ以外の画素を実体部分に分類し、以て変化領域を区分して、その区分結果を物体画像解析手段５３へ出力する。

画素の値の特徴についての参照影画素との類否に関しては、変化領域を構成する画素の撮影画像における画素値と参照影画素の撮影画像における画素値との距離値を求め、距離値が予め定めた閾値以下の場合に画素の値の特徴が類似すると判定し、距離値が閾値を超える場合に画素の値の特徴が類似しないと判定する。なお、参照影画素の画素値が複数通りである場合は参照影画素の複数の画素値それぞれとの距離値のうちの最小値を閾値と比較する構成とすることができる。

反射特性についての参照影画素との類否に関しては、参照影画素情報に反射特性ＩＤが含まれる場合、変化領域を構成する画素の反射特性ＩＤが参照影画素の反射特性ＩＤと一致する場合に反射特性が類似すると判定できる。つまり、参照影画素情報に反射特性ＩＤが含まれる場合、特性類似領域ごとに（つまり反射特性ＩＤごとに）、変化領域を、撮影画像において参照影画素と類似した特徴を有する影部分とそれ以外である実体部分とに区分することができる。一方、参照影画素情報に反射特性ＩＤが含まれず反射特性の値そのものが含まれている場合は、値どうしが完全一致する場合に反射特性が類似すると判定し、或いは、値どうしが同一とみなせる程度に類似する場合に反射特性が類似すると判定する。

物体画像解析手段５３は、変化領域区分手段５２が出力した実体部分の撮影画像を解析して、解析結果を解析結果出力手段３１へ出力する。例えば、実体部分の撮影画像と人の形状を模した人形状パターンとのパターンマッチングを行って、一致度が所定値以上である場合に実体部分に人が撮影されていると判定する。なお、監視対象の物体は人に限らず車両など他の物体とすることもできる。また、解析も物体の有無の判定に限らず、物体の姿勢の推定、物体の追跡など他の要素の解析とすることもできる。

本発明では、実体と影の領域が一体化してしまっていた変化領域のうちの、実体部分を影部分と区別して物体画像解析手段５３にて解析が可能となるため、解析精度が向上する。

解析結果出力手段３１は物体画像解析手段５３から入力された解析結果を報知部６へ出力する。

［処理例］
図４および図５は図３の例に対応した撮影画像についての画像監視装置１の処理を説明する模式図である。

図４（ａ）は図３と共通する背景での撮影画像１２０における変化領域の抽出例を示している。撮影画像１２０には監視空間内の歩道に現れた人物１２１が撮影されている。撮影画像１２０において人物１２１の上半身がアスファルト領域、下半身が歩道領域に撮影され、その影１２２が足元の歩道領域からアスファルト領域および白線領域に伸びている。ちなみに、撮影画像１２０には建物の壁の影１２３が撮影されている。

この撮影画像１２０から変化領域抽出手段５０によって、人物１２１と影１２２とが一体化した変化領域１２４が抽出される。

図４（ｂ）は図３と共通する背景についての模擬背景画像１３０における参照影領域の例を示している。参照画素設定手段５１はレンダリングを行って模擬背景画像１３０を生成し、模擬背景画像１３０における建物の影の領域が参照影領域１３１として特定される。

図５は、図４に示した変化領域を実体部分と影部分とに区分する処理例を示している。参照画素設定手段５１および変化領域区分手段５２は例えば、特性類似領域ごとに参照影画素を設定する処理、変化領域を実体部分と影部分とに区分する処理を行う。

具体的には、図３に示した歩道領域１１１（反射特性ＩＤが「１」である特性類似領域）、アスファルト領域１１２（反射特性ＩＤが「２」である特性類似領域）、白線領域１１３（反射特性ＩＤが「３」である特性類似領域）に分けて処理を行う。図５の左側に示す処理の３つの流れが上から順番に、歩道領域１１１についての処理、アスファルト領域１１２についての処理、白線領域１１３についての処理に対応する。なお、図４に示す撮影画像１２０の例では、変化領域１２４は建物の壁とは重なりを有さないので、図５に示す処理例では特性類似領域のうち壁領域１１４についての処理は省略される。

歩道領域１１１についての処理では、参照画素設定手段５１は、参照影領域１３１のうちの歩道領域１１１と重なる領域１４１の重心付近に参照影画素１４２を設定する。変化領域区分手段５２は、変化領域１２４のうちの歩道領域１１１と重なる領域１４０を特定し、撮影画像１２０において領域１４０を構成する各画素の画素値と、撮影画像１２０における参照影画素１４２の画素値とを比較して、領域１４０を当該比較にて画素値が類似する影部分１４６と画素値が類似しない実体部分１４５とに区分する。

アスファルト領域１１２および白線領域１１３についての処理も同様に行われる。参照画素設定手段５１は、参照影領域１３１とアスファルト領域１１２とが重なる領域１５１のうちの大きい方の領域の重心付近に参照影画素１５２を設定する。そして、変化領域区分手段５２は、変化領域１２４とアスファルト領域１１２とが重なる領域１５０を特定し、撮影画像１２０において領域１５０を構成する各画素の画素値と、撮影画像１２０における参照影画素１５２の画素値とを比較して、領域１５０を画素値が類似する影部分１５６と画素値が類似しない実体部分１５５とに区分する。

また、参照画素設定手段５１は、参照影領域１３１と白線領域１１３とが重なる領域１６１の重心付近に参照影画素１６２を設定する。そして、変化領域区分手段５２は、変化領域１２４と白線領域１１３とが重なる領域１６０を特定し、撮影画像１２０において領域１６０を構成する各画素の画素値と、撮影画像１２０における参照影画素１６２の画素値とを比較する。領域１６０を構成する画素はいずれも参照影画素１６２と画素値が類似したため領域１６０全体が影部分１６６とされる。

特性類似領域ごとの処理を行ったのち、変化領域区分手段５２は、実体部分１４５，１５５を統合して変化領域１２４の実体部分１７０とし、影部分１４６，１５６，１６６を統合して変化領域１２４の影部分１７１とする。

［画像監視装置１の動作］
図６は画像監視装置１の概略の動作のフロー図である。

通信部３は撮影画像取得手段３０として動作し、カメラ２から撮影画像を順次取得する（ステップＳ１）。

画像処理部５は、撮影画像取得手段３０から撮影画像を取得するごとに、変化領域抽出手段５０として動作し、背景画像に対する撮影画像の変化領域を抽出する（ステップＳ２）。

画像処理部５はステップＳ２にて変化領域が抽出された場合には（ステップＳ３にて「ＹＥＳ」の場合）、画像処理部５は参照画素設定手段５１として動作し、撮影画像の照明条件を近似した環境モデルをレンダリングして模擬背景画像を生成する（ステップＳ４）。そして、撮影画像からステップＳ２にて抽出された変化領域それぞれを順次、処理対象に設定して（ステップＳ５）、領域区分処理Ｓ６により処理対象の変化領域における実体部分を求め、当該実体部分を用いて物体画像解析手段５３による動体画像解析を行う（ステップＳ７）。

ステップＳ５〜Ｓ７はステップＳ２にて抽出された全ての変化領域についてループ処理で行われ（ステップＳ８にて「ＮＯ」の場合）、全変化領域について処理が終わると（ステップＳ８にて「ＹＥＳ」の場合）、ステップＳ１にて取得された撮影画像について、物体画像解析手段５３による解析結果が解析結果出力手段３１へ出力される（ステップＳ９）。

一方、ステップＳ１にて取得された撮影画像について変化領域が抽出されなかった場合には（ステップＳ３にて「ＮＯ」の場合）、ステップＳ４〜Ｓ９の処理は省略され、ステップＳ１に戻り次の撮影画像について処理を行う。

図７は領域区分処理Ｓ６の概略のフロー図である。

画像処理部５は変化領域区分手段５２として動作し、処理対象として設定された変化領域を特性類似領域ごとに分割する（ステップＳ６００）。ここで、特性類似領域ごとに分割された変化領域を分割領域と呼ぶことにする。画像処理部５は分割領域それぞれを順次、処理対象に設定する（ステップＳ６０１）。参照画素設定手段５１は、模擬背景画像の影部分と、処理対象の分割領域と共通する反射特性ＩＤの特性類似領域との重複領域を検出し（ステップＳ６０２）、撮影画像における当該重複領域の非縁部の画素を参照影画素に設定する（ステップＳ６０３）。

次に画像処理部５は変化領域区分手段５２として動作し、撮影画像における分割領域の各画素の画素値と参照影画素の画素値との距離値を算出する（ステップＳ６０４）。分割領域のうち距離値が予め定めた閾値以下である画素は影部分の画素とし（ステップＳ６０５にて「ＹＥＳ」の場合、およびステップＳ６０６）、逆に距離値が閾値より大きい画素は実体部分の画素として（ステップＳ６０５にて「ＮＯ」の場合、およびステップＳ６０７）、処理対象の分割領域を影部分と実体部分とに区分する。

ステップＳ６０１〜Ｓ６０７はステップＳ６００にて生成された全ての分割領域についてループ処理で行われ（ステップＳ６０８にて「ＮＯ」の場合）、全分割領域について処理が終わると（ステップＳ６０８にて「ＹＥＳ」の場合）、分割領域のうちの影部分に区分した領域を変化領域を構成する全ての分割領域について統合して、当該変化領域における影領域を生成する一方（ステップＳ６０９）、分割領域のうちの実体部分に区分した領域を同様に統合して、変化領域における実体領域を生成する（ステップＳ６１０）。

［変形例］
（１）上記実施形態においては、カメラ情報記憶手段４１のカメラパラメータおよび反射特性マップ記憶手段４２の反射特性マップを事前に記憶させておく例を示したが、これらを更新可能とし、カメラパラメータが更新された場合に、更新されたカメラパラメータを用いて、上述した反射特性マップ生成手段が反射特性マップを更新する構成とすることができる。

（２）上記実施形態においては、カメラ２により撮影される画像の各画素と当該画素に投影される背景物体の反射特性との関係を事前に求めて反射特性マップ記憶手段４２に記憶する例を示したが、この関係を領域区分処理Ｓ６中に求めることもできる。

この場合の参照画素設定手段５１および変化領域区分手段５２それぞれの処理は次のようになる。

参照画素設定手段５１は、環境モデルとカメラパラメータとを用い、画像上での光源による背景物体の影領域を模擬し、撮影画像において影領域内に参照影画素を設定すると共に、参照影画素と当該参照影画素に投影される背景物体についての反射特性とを対応付けて参照影画素情報を生成し、変化領域区分手段５２へ出力する。

変化領域区分手段５２は、環境モデルとカメラパラメータとを用いて変化領域を構成する各画素に投影される背景物体についての反射特性を推定し、変化領域を構成する画素のうち、当該画素について推定した反射特性および当該画素の値の特徴が参照影画素と類似した画素を影部分に分類し、それ以外の画素を実体部分に分類する。

変形例（１），（２）のような構成とすることで、視野が固定されたカメラ２により撮影された撮影画像に加え、パン、チルトおよび／またはズーム機能を備えたカメラ２、または車両やロボット等の移動体に搭載されたカメラ２など、視野変更可能なカメラ２により撮影された撮影画像に対しても、変化領域の実体部分と影部分との領域区分が可能である。

視野変更可能なカメラ２を用いる場合、カメラ２は撮影時のカメラ位置、またはカメラ位置およびカメラ姿勢を画像処理部５に出力し、画像処理部５はこれらの情報に応じてカメラ情報記憶手段４１のカメラパラメータを撮影時の値に適宜更新する。

（３）上記実施形態およびその各変形例においては、参照画素設定手段５１が参照影画素の情報として当該画素の座標値と当該画素に対応する反射特性ＩＤとを出力し、変化領域区分手段５２は撮影画像において参照影画素と座標値が同一である画素の画素値、および参照影画素の情報に含まれる反射特性ＩＤを影の特徴量とした。

別の実施形態においては、参照画素設定手段５１が参照影画素の情報として模擬背景画像における当該画素の画素値を出力し、変化領域区分手段５２は参照影画素の情報に含まれる画素値と反射特性ＩＤとを影の特徴量として利用する構成とすることができる。

１ 画像監視装置、２ カメラ、３ 通信部、４ 記憶部、５ 画像処理部、６ 報知部、３０ 撮影画像取得手段、３１ 解析結果出力手段、４０ 環境モデル記憶手段、４１ カメラ情報記憶手段、４２ 反射特性マップ記憶手段、５０ 変化領域抽出手段、５１ 参照画素設定手段、５２ 変化領域区分手段、５３ 物体画像解析手段、１００ 反射特性マップ。

Claims (5)

1. 所定の空間が撮影された撮影画像について、背景に対する変化領域を前景物体による実体部分と影による影部分とに区分する領域区分装置であって、
   前記空間の背景を構成する背景物体の反射特性および三次元座標値と前記空間を照らす光源の情報とを含んだ環境モデル、並びに前記撮影画像を撮影するカメラのカメラパラメータを記憶するモデル記憶手段と、
   前記撮影画像を構成する画素と、前記カメラパラメータに基づいて当該画素に投影される前記背景物体についての前記反射特性とを対応付けて記憶する反射特性マップ記憶手段と、
   前記環境モデルと前記カメラパラメータとを用いて前記撮影画像上での前記光源による前記背景物体の影領域を模擬し、前記撮影画像において前記影領域内に参照影画素を設定する参照画素設定手段と、
   前記変化領域を構成する画素のうち、当該画素に対応付けられた前記反射特性および当該画素の値の特徴が前記参照影画素と類似した画素を前記影部分に分類し、それ以外の画素を前記実体部分に分類する変化領域区分手段と、
   を備えたことを特徴とする領域区分装置。
2. 前記反射特性マップ記憶手段は、それぞれに対応付けられた前記背景物体の前記反射特性が類似する画素同士からなる特性類似領域を記憶し、
   前記参照画素設定手段は、前記特性類似領域ごとに前記参照影画素を設定し、
   前記変化領域区分手段は、前記特性類似領域ごとに、前記変化領域を、前記撮影画像において前記参照影画素と類似した特徴を有する前記影部分とそれ以外である前記実体部分とに区分すること、
   を特徴とする請求項１に記載の領域区分装置。
3. 前記参照画素設定手段は、前記特性類似領域それぞれにおける前記影領域を参照影領域として、当該参照影領域の非縁部の画素を前記参照影画素に設定すること、を特徴とする請求項２に記載の領域区分装置。
4. 前記カメラパラメータが更新された場合に、当該カメラパラメータに基づいて、前記撮影画像を構成する画素に対応付けられている前記反射特性を更新する反射特性マップ生成手段をさらに備えたこと、を特徴とする請求項１から請求項３のいずれか１つに記載の領域区分装置。
5. 所定の空間が撮影された撮影画像について、背景に対する変化領域を前景物体による実体部分と影による影部分とに区分する領域区分装置であって、
   前記空間の背景を構成する背景物体の反射特性および三次元座標値と前記空間を照らす光源の情報とを含んだ環境モデル、並びに前記撮影画像を撮影したカメラのカメラパラメータを記憶するモデル記憶手段と、
   前記環境モデルと前記カメラパラメータとを用いて前記撮影画像上での前記光源による前記背景物体の影領域を模擬し、前記撮影画像において前記影領域内に参照影画素を設定すると共に、前記参照影画素と当該参照影画素に投影される前記背景物体についての前記反射特性とを対応付ける参照画素設定手段と、
   前記環境モデルと前記カメラパラメータとを用いて、前記変化領域を構成する各画素に投影される前記背景物体についての前記反射特性を推定し、前記変化領域を構成する画素のうち、当該画素について推定した前記反射特性および当該画素の値の特徴が前記参照影画素と類似した画素を前記影部分に分類し、それ以外の画素を前記実体部分に分類する変化領域区分手段と、
   を備えたことを特徴とする領域区分装置。

Images