JP5007786B2 - 映像監視装置及び方法 - Google Patents

Description

本発明は、監視カメラ等の撮影手段を用いて異常状態を監視する映像監視装置及び方法に関する。

こうした映像監視装置では、監視カメラ等で所定時間毎に撮影した映像をＣＲＴ等のモニタに表示して監視者が侵入者の有無を監視する。監視カメラを複数の場所に設置しておき、撮影した映像を監視センタ等で集中して表示すれば、複数の場所を同時に遠隔監視することが容易に行うことができる。

しかしながら、監視者が常時モニタに表示された映像をチェックすることは、大変な労力が必要となるため、撮影された映像に侵入者等の動物体が入ってきたことを自動的に検出して監視者に異常を知らせるようにした監視装置が提案されている。例えば、特許文献１では、撮像部が撮影した光学画像と基準画像を比較して差分画像を生成し、レーザ測距部が測定した対象物までの距離と基準距離との差分値を計算し、光学画像の変化領域と距離変化の生じた測距ポイントとの位置の相関を考慮して侵入者の判定を行う点が記載されている。また、特許文献２では、取得した映像のフレーム上又は画像上の変化領域を検出した時に警報音を生成し、変化領域の位置や度合いに基づいて警報音を変化させるようにした点が記載されている。

こうした監視カメラ等で撮影した映像に基づいて変化領域を検出する手法としては、予め基準画像として背景画像を生成しておき、背景画像と撮影画像とを比較して差分画像を生成し、変化領域を検出する手法（特許文献３参照）や撮影した映像のフレーム間差分を利用する手法（特許文献４参照）がある。また、２つのカメラで同時に撮影したステレオ画像を用いて撮影された領域の距離を測定する手法も開発されている（特許文献５参照）。
特開２００２−２０８０７３号公報 特開２００５−３２８２３６号公報 特開２００１−３３３４１７号公報 特開２００１−２２２７１９号公報 特開２００１−２８９６３１号公報

監視カメラにより撮影された映像に基づいて画像処理を行って侵入者等の動物体を自動的に認識しようとする場合、例えばステレオ画像に基づいて３次元の距離データを算出して動物体の大きさ等を認識することができるが、画像処理に必要な演算処理が膨大なものとなってリアルタイムでの検出が難しいのが現状である。また、演算処理を減らして精度を落すことも考えられるが、そうした場合には、遠距離で壁面を伝って移動する浸入者を検出できなくなるといった問題がある。

撮影した映像の変化領域までの距離を測定する場合、ステレオ画像を撮影するためには監視カメラが２台必要となり、レーザで距離を算出するためにはレーザ測距装置が別途必要になるため、コスト負担が大きい。そのため、監視カメラ１台の映像でカメラの設置高さや俯角から映像上の物体までの距離を求める方法も考えられるが、監視エリアに坂や階段、フロアの段差といった凹凸が存在すると正確に距離を算出できない欠点がある。

そこで、本発明は、監視カメラ１台の映像を用いて監視エリアに凹凸が存在する場合でも正確に動物体を判定することができる映像監視装置及び方法を提供することを目的とするものである。
なお、本発明では、「動物体」は、監視エリア内で移動する対象物を指し、「異物」は、監視エリアの映像データから抽出した「動物体」のデータをいう。

本発明に係る映像監視装置は、監視エリアを撮影する撮影手段と、撮影手段の撮影した映像データに基づいて動物体に関する異物を抽出処理する画像処理手段と、異物及び異物の下端の２次元座標に対応する３次元距離データに基づいて動物体のサイズを異物の縦又は横の画素数を用いて算出するサイズ算出手段と、算出された動物体のサイズに基づいて監視対象物体か否か判別する判別手段と、撮影手段により撮影された異なる２つの背景画像の各画素毎又は複数の画素をまとめたブロック毎の２次元座標を設定し、背景画像の２次元座標に対応する監視エリアの３次元距離データを算出する距離算出手段と、前記３次元距離データを記憶する記憶手段と、算出された３次元距離データを背景画像の２次元座標に関連付けた距離テーブルを作成する作成手段と、撮影手段の監視位置から左右に同じ距離だけ離れた位置に設置された一対のミラーと、を備え、前記一対のミラーはそれぞれ監視エリアを映すようにセットされており、前記撮影手段は前記一対のミラーが映す監視エリアを撮影するため、前記一対のミラーに向かって回動自在であることを特徴とする。
本発明に係る映像監視装置は、監視エリアを撮影する撮影手段と、撮影手段の撮影した映像データに基づいて動物体に関する異物を抽出処理する画像処理手段と、異物及び異物の下端の２次元座標に対応する３次元距離データに基づいて動物体のサイズを異物の縦又は横の画素数を用いて算出するサイズ算出手段と、算出された動物体のサイズに基づいて監視対象物体か否か判別する判別手段と、撮影手段により撮影された異なる２つの背景画像の各画素毎又は複数の画素をまとめたブロック毎の２次元座標を設定し、背景画像の２次元座標に対応する監視エリアの３次元距離データを算出する距離算出手段と、前記３次元距離データを記憶する記憶手段と、算出された３次元距離データを背景画像の２次元座標に関連付けた距離テーブルを作成する作成手段と、撮影手段を監視位置から左右に同じ距離だけ離れた位置に移動させて位置決めする位置決め手段を備えていることを特徴とする。

本発明に係る映像監視方法は、監視エリアを撮影する撮影工程と、撮影手段の撮影した映像データに基づいて動物体に関する異物を抽出処理する画像処理工程と、異物及び異物の下端の２次元座標に対応する３次元距離データに基づいて動物体のサイズを異物の縦又は横の画素数を用いて算出するサイズ算出工程と、算出された動物体のサイズに基づいて監視対象物体か否か判別する判別工程と、撮影手段により撮影された異なる２つの背景画像の各画素毎又は複数の画素をまとめたブロック毎の２次元座標を設定し、背景画像の２次元座標に対応する監視エリアの３次元距離データを算出する距離算出工程と、前記３次元距離データを記憶する記憶工程と、算出された３次元距離データを背景画像の２次元座標に関連付けた距離テーブルを作成する作成工程と、を有し、前記撮影工程では、撮影手段の監視位置から左右に同じ距離だけ離れた位置に設置され、それぞれ監視エリアを映すようにセットされた一対のミラーが映す監視エリアを撮影するため、前記撮影手段を前記一対のミラーに向かって回動することを特徴とする。

上記のような構成を有することで、撮影手段により撮影された背景画像の２次元座標に対応する監視エリアの３次元距離データを予め作成して記憶しておき、撮影手段の撮影した映像データから抽出された異物とその異物の下端の２次元座標に対応する３次元距離データから動物体のサイズを算出して監視対象物体であるか否か判別するようにしているので、動物体に対して３次元距離データに基づいた正確な判定を行うことができ、異物の抽出処理や動物体のサイズ算出処理を行うだけなので、リアルタイムの判定が可能となる。

また、異物の縦又は横の画素数を用いて動物体のサイズを算出するようにすれば、動物体が人又は人以外のものであるか簡単に判定することができる。

そして、算出された３次元距離データを背景画像の２次元座標に関連付けた距離テーブルを作成することで、監視カメラを設置した際に距離テーブルを作成することができ、実際の監視エリアに対応した距離テーブルを正確に作成することが可能となる。また、撮影手段を異なる２つの位置に移動させて位置決めする位置決め手段又は異なる２つの位置から見た監視エリアを撮影手段に映すミラーを備えることで、監視カメラ１台だけで容易に距離テーブルの作成を行うことができる。

以下、本発明に係る実施形態について詳しく説明する。
図１は、本発明に係る実施形態に関する概略ブロック構成図である。装置本体１には、監視エリアの撮影手段である監視カメラ２、監視映像等を表示するモニタ３、操作に必要な情報を入力するための入力装置４、監視対象物体が判別された際に報知する警報装置５が接続されている。

装置本体１には、装置全体の制御に関する情報処理を行う制御部１０、撮影された映像の画像処理を行う画像処理部１１、監視カメラ２が撮影した映像から照明のゆらぎ等のノイズを除去して監視エリアの映像を取得する映像取得部１２、画像処理部１１から出力される入力画像１３ａ、処理画像１３ｂ及び背景画像１３ｃ等を記憶する画像メモリ１３、制御処理に必要なプログラム、後述する距離テーブル１４ａ及び入力装置から入力された判別に用いる基準データ等の設定データ１４ｂを記憶する記憶部１４、及びモニタ３等の外部装置との間でデータを送受信する入出力部１５を備えている。

制御部１０は、距離データ算出部１０ａ、動物体サイズ算出部１０ｂ及び判別部１０ｃを備えており、画像処理部１１は、異物処理部１１ａ及び静止画像処理部１１ｂを備えている。

距離データ算出部１０ａは、画像メモリに蓄積された監視エリアの背景画像１３ｃのうち後述するように異なる２つの位置で撮影された２つの背景画像のデータを用い両者の視差を利用して公知の方法により背景画像の距離を算出している。具体的には、背景画像の各画素毎又は複数の画素をまとめたブロック毎の２次元座標を設定し、その座標位置に対応する３次元距離データを２つの背景画像データに基づいて算出している。そして、算出された３次元距離データを２次元座標と関連付けた距離テーブル１４ａを作成し、記憶部１４に記憶する。

監視カメラ２を用いて異なる２つの位置で撮影する場合、この例では、監視カメラ２をガイドレール２０に移動可能に取り付けたキャリッジ（図示せず）に固定して、キャリッジ駆動部２１によりガイドレール２０に沿って監視カメラ２を移動させる。図２は、監視カメラ２の移動の様子を示す上面図であり、監視位置から左右に同じ距離だけ離れた位置２Ｒ及び２Ｌまで監視カメラ２をガイドレール２０に沿って移動させて位置決めする。

図３は、背景画像の距離測定処理に関するフローである。この処理は、監視カメラ２が新たに設置された場合に最初に行う処理である。まず、監視位置に初期設定された監視カメラ２を右方に所定距離移動させて右方の位置２Ｒに位置決めする（Ｓ１００）。位置決め後監視カメラ２により監視エリアを撮影し、撮影された映像を画像処理部１１の静止画像処理部１１ｂで処理して背景画像を得る（Ｓ１０１）。そして、監視カメラ２を移動させて左方の位置２Ｌに位置決めする（Ｓ１０２）。位置決め後監視カメラ２で監視エリアを撮影し、撮影された映像を画像処理部１１の静止画像処理部１１ｂで処理してもう１枚の背景画像を得る（Ｓ１０３）。こうして作成された２枚の背景画像のデータを照合して同じ対象位置での視差を利用して公知の方法で３次元距離データを算出する（Ｓ１０４）。監視位置で撮影した映像を基に作成された背景画像の各画素又は複数の画素をまとめたブロック毎の２次元座標に対応して算出された３次元距離データを格納し、距離テーブルを作成する（Ｓ１０５）。

図４は、監視カメラ２を用いて異なる２つの位置で撮影する別の実施形態を示している。この実施形態では、監視カメラ２の監視位置から左右に同じ距離だけ離れた位置に一対のミラー２２Ｒ及び２２Ｌが設置されており、ミラー２２Ｒ及び２２Ｌは、監視エリアを監視カメラ２の方に映すようにセットされている。そして、監視カメラ２を右方に回動させた位置２Ｒ’に位置決めしてミラー２２Ｒが映す監視エリアの映像を撮影する。また、左方に回動させた位置２Ｌ’に位置決めしてミラー２２Ｌが映す監視エリアの映像を撮影する。
なお、第１の実施形態では、監視カメラを別の位置に移動させて異なる位置から２枚の背景画像を撮影しているのに対し、この第２の実施形態では監視カメラ２の設置位置は変えないで２枚の背景画像を撮影するから、背景画像の撮影の仕方は相違する。しかし、その背景画像の距離測定処理に関するフローは、既に述べた第１の実施形態のものと同じであるため説明を省略する。

動物体サイズ算出部１０ｂは、画像処理部１１の異物抽出部１１ａで抽出されて画像メモリ１３に蓄積された異物及び記憶部１４に記憶された距離テーブル１４ａの距離データに基づいて動物体のサイズを算出する。そして、判別部１０ｃは、算出された動物体のサイズを記憶部１４に記憶された基準データと比較して監視対象物体であるか否か判別する。

図５は、動物体の判別処理に関するフローである。まず、監視カメラ２で撮影された映像が画像処理部１１で処理されて入力画像が得られる（Ｓ２００）。そして、異物抽出部１１ａで得られた入力画像１３ａが監視位置の背景画像１３ｃと照合されて差分画像が生成され（Ｓ２０１）、差分画像のデータに基づいて公知の方法により異物が含まれるかチェックされる（Ｓ２０２）。異物がないと判断された場合にはステップＳ２００に戻り、次の入力画像が取得される。

ステップＳ２０２において異物が含まれると判断された場合には、異物が抽出される（Ｓ２０３）。図６は、入力画像（図６（ａ））から抽出された動物体Ｓの異物（図６（ｂ））を示している。この例では、監視エリアに入り込んだ侵入者Ｓが監視カメラ２により撮影されて背景画像と異なった画像が検出され異物として抽出されている。

次に、抽出された異物に基づいてその下端に位置する画素Ｓｃの距離データを距離テーブル１４ａから読み出す（Ｓ２０４）。そして、異物に基づいて算出された縦方向の画素数Ｓｈ及び横方向の画素数Ｓｗを読み出した３次元距離データで補正して動物体Ｓのサイズを算出する（Ｓ２０５）。図７は、動物体のサイズに関する算出方法を示す説明図である。読み出された３次元距離データＬから縦方向の１画素に対応する実際の長さが算出されるため、実際の長さに縦方向の画素数を掛けることで長さＳｈが求められる。そして、監視カメラ２の水平方向からの俯角θから動物体の垂直方向の長さＳＨは、
ＳＨ＝Ｓｈ／ｃｏｓθ
で近似的に算出される。横方向の長さについては、１画素に対応する実際の長さに横方向の画素数を掛けることで算出することができる。

こうして算出された動物体Ｓのサイズと予め設定された基準データを比較して監視対象物体か否か判別される（Ｓ２０６）。人の場合には縦方向に細長いサイズか否かで判別でき、自動車は横方向に長いサイズであり、猫や犬といった小動物は、縦横に小さいサイズとなるため、こうしたサイズデータを集めて統計的に平均的なデータを基準データとして設定しておけば、人の判別を正確かつ迅速に行うことができる。

以上説明した映像監視装置によれば、監視エリアに坂や階段といった凹凸が存在しても背景画像の距離データに正確に反映されるため、動物体のサイズを正確に算出することができる。また、壁面を伝って動物体が移動している場合でもその異物の下端に対応する距離データからサイズを算出することで、誤った判別をすることがなくなる。

本発明に係る実施形態に関する概略ブロック構成図である。 監視カメラの移動の様子を示す上面図である。 背景画像の距離測定処理に関するフローである。 監視カメラを用いて異なる２つの位置で撮影する第２の実施形態に関する上面図である。 動物体の判別処理に関するフローである。 入力画像及び異物を示す模式図である。 動物体のサイズに関する算出方法を示す説明図である。

符号の説明

Ｓ・・・動物体、１・・・装置本体、２・・・監視カメラ、３・・・モニタ。

Claims (3)

1. 監視エリアを撮影する撮影手段と、
   撮影手段の撮影した映像データに基づいて動物体に関する異物を抽出処理する画像処理手段と、
   異物及び異物の下端の２次元座標に対応する３次元距離データに基づいて動物体のサイズを異物の縦又は横の画素数を用いて算出するサイズ算出手段と、
   算出された動物体のサイズに基づいて監視対象物体か否か判別する判別手段と、
   撮影手段により撮影された異なる２つの背景画像の各画素毎又は複数の画素をまとめたブロック毎の２次元座標を設定し、背景画像の２次元座標に対応する監視エリアの３次元距離データを算出する距離算出手段と、
   前記３次元距離データを記憶する記憶手段と、
   算出された３次元距離データを背景画像の２次元座標に関連付けた距離テーブルを作成する作成手段と、
   撮影手段の監視位置から左右に同じ距離だけ離れた位置に設置された一対のミラーと、を備え、
   前記一対のミラーはそれぞれ監視エリアを映すようにセットされており、前記撮影手段は前記一対のミラーが映す監視エリアを撮影するため、前記一対のミラーに向かって回動自在であることを特徴とする映像監視装置。
2. 監視エリアを撮影する撮影手段と、
   撮影手段の撮影した映像データに基づいて動物体に関する異物を抽出処理する画像処理手段と、
   異物及び異物の下端の２次元座標に対応する３次元距離データに基づいて動物体のサイズを異物の縦又は横の画素数を用いて算出するサイズ算出手段と、
   算出された動物体のサイズに基づいて監視対象物体か否か判別する判別手段と、
   撮影手段により撮影された異なる２つの背景画像の各画素毎又は複数の画素をまとめたブロック毎の２次元座標を設定し、背景画像の２次元座標に対応する監視エリアの３次元距離データを算出する距離算出手段と、
   前記３次元距離データを記憶する記憶手段と、
   算出された３次元距離データを背景画像の２次元座標に関連付けた距離テーブルを作成する作成手段と、
   撮影手段を監視位置から左右に同じ距離だけ離れた位置に移動させて位置決めする位置決め手段を備えていることを特徴とする映像監視装置。
3. 監視エリアを撮影する撮影工程と、
   撮影手段の撮影した映像データに基づいて動物体に関する異物を抽出処理する画像処理工程と、
   異物及び異物の下端の２次元座標に対応する３次元距離データに基づいて動物体のサイズを異物の縦又は横の画素数を用いて算出するサイズ算出工程と、
   算出された動物体のサイズに基づいて監視対象物体か否か判別する判別工程と、
   撮影手段により撮影された異なる２つの背景画像の各画素毎又は複数の画素をまとめたブロック毎の２次元座標を設定し、背景画像の２次元座標に対応する監視エリアの３次元距離データを算出する距離算出工程と、
   前記３次元距離データを記憶する記憶工程と、
   算出された３次元距離データを背景画像の２次元座標に関連付けた距離テーブルを作成する作成工程と、を有し、
   前記撮影工程では、撮影手段の監視位置から左右に同じ距離だけ離れた位置に設置され、それぞれ監視エリアを映すようにセットされた一対のミラーが映す監視エリアを撮影するため、前記撮影手段を前記一対のミラーに向かって回動することを特徴とする映像監視方法。
   

Images