JP2014072598A - 侵入者監視システム - Google Patents

Abstract

【課題】監視エリアの複数の監視カメラの取得した映像内の侵入者の軌跡を、１枚の俯瞰画像（映像）に表示可能となり、直感的に監視活動ができる。
【解決手段】監視エリアに侵入した侵入者を検出し、当該検出した侵入者の画像と軌跡をモニタに表示する侵入者監視システムであって、映像サーバは、監視エリアの複数のカメラが撮像できない死角エリアの背景画像を死角エリアの周囲を撮像した映像から補間して表示し、かつ、死角エリア内を通過する侵入者の位置と軌跡とを、死角エリアに入る直前までの侵入者の軌跡から移動予測し、当該移動予測した軌跡に沿って死角エリアに入る直前に取得した侵入者の画像を切り抜いた画像で表示するように俯瞰画像を作成する。
【選択図】図４

Description

本発明は、侵入物体検出システムに関わり、特に、複数の監視カメラの死角を補完する技術に関する。

従来のシステムは、複数の監視カメラを設置し、各監視カメラの映像毎に映像を切換、または、分割画面にて監視を行っていた。
しかし、監視カメラの視野内に遮蔽物があって、監視できない場合や、複数の監視カメラ間で監視エリア全体を撮像できない場合があった。
特許文献１には、遮蔽物が存在する空間においても、精度良く人物の移動軌跡を追跡する技術が開示されている。

特開２００９−０５５１３９号公報

特許文献１では、複数の監視カメラが、監視エリアを重複して（オーバラップさせて）撮像するため、１台の監視カメラが侵入した人物が移動して追跡できなくなっても、他の監視カメラが追跡可能なように設定することができた。しかし、監視エリアの広さに対して、監視カメラの数が少なく、死角ができる場合が考えられる。このような場合には、特許文献１では、十分な監視ができない。
本発明の目的は、監視カメラの数が少なく、監視エリアを重複させるように設置不可能な場合に、監視及び追跡が可能な侵入者監視システムを提供することにある。

上記の目的を達成するために、本発明の侵入者監視システムは、監視エリアを撮像し、撮像した映像をそれぞれ出力する複数のカメラと、前記複数のカメラがそれぞれ撮像した映像から、前記監視エリア全体の俯瞰画像を作成する映像サーバと、前記作成された画像を表示するモニタと、前記複数のカメラ、前記映像サーバ及び前記モニタを接続するハブとを備え、前記監視エリアに侵入した侵入者を検出し、当該検出した侵入者の画像と軌跡を前記モニタに表示する侵入者監視システムであって、前記映像サーバは、前記監視エリアの前記複数のカメラが撮像できない死角エリアの背景画像を、前記死角エリアの周囲を撮像した映像から補間して表示し、かつ、前記映像サーバは、前記死角エリア内を通過する侵入者の位置と軌跡とを、前記死角エリアに入る直前までの侵入者の軌跡から移動予測し、当該移動予測した軌跡に沿って前記死角エリアに入る直前に取得した前記侵入者の画像を切り抜いた画像で表示するように俯瞰画像を作成することを第１の特徴とする。

上記本発明の第１の特徴の侵入者監視システムにおいて、前記映像サーバは、前記侵入者の画像を切り抜いた画像、前記画像を囲む枠、または前記枠内全体の少なくともいずれか１つを強調表示するように俯瞰画像を作成することを本発明の第２の特徴とする。

上記本発明の第１の特徴または第２の特徴のいずれかの侵入者監視システムにおいて、前記映像サーバは、前記死角エリアから再び撮像エリアに出現した侵入者について、出現した位置が前記移動予測した位置と異なる場合には、実際に出現した位置及び再計算した軌跡に表示を切り替えるか、前記移動予測した軌跡と共に表示するように俯瞰画像を作成することを本発明の第３の特徴とする。

本発明によれば、監視エリアの選択等が簡略化でき、直感的に操作が可能になる。また、数台に渡る監視カメラの取得した映像内の侵入者の軌跡を、１枚の俯瞰画像（映像）に表示可能となり、直感的に監視可能となる。さらに、俯瞰画像（映像）を自動スクロ一ルさせることにより、操作性が向上し、検出した侵入者を直感的かつ迅速、容易に追尾することができる。即ち、本発明によれば、複数台の監視カメラの映像を繋ぎ合わせて、１枚の映像（画像）としてＰＣ（Personal Computer）等のモニタ画面に表示し、監視を行うことが可能となる。

本発明を適用する監視エリアと監視カメラの撮像範囲の一実施例を示す斜視図である。 監視エリアを真上から見た俯瞰図の本発明の一実施例のモニタ画面である。 監視エリアを真上から見た俯瞰図の本発明の一実施例のモニタ画面である。 本発明の侵入者監視システムの一実施例の構成を説明するためのブロック図である。 本発明を適用する監視エリアと監視カメラの撮像範囲の一実施例を示す図である。 監視エリアを真上から見た俯瞰図の本発明の一実施例のモニタ画面である。

以下に本発明の一実施形態について、図面等を用いて説明する。
また、以下の説明は、本発明の一実施形態を説明するためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本願発明の範囲に含まれる。
なお、本書では、各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、説明を省略する。

図１は、本発明を適用する監視エリアと監視カメラの撮像範囲の一実施例を示す斜視図である。１０１は、敷地内の監視エリアの一部と外部（塀の外側）を示す図である。２２は塀、２１は塀２２の外側（即ち、監視エリア外）であり、図１０１の外側２１と塀２２以外が監視エリアである。また、監視エリア内の斜線で示した領域２３は低木が茂った非通行エリア、監視エリア内の非通行エリア２３以外の場所は、道路等の通行エリアである。さらに、２４は、敷地内の照明灯である。またさらに、１０〜１６は監視カメラの一部（サブエリア）で撮像可能なサブエリア（撮像エリア）であり、１７と１８は監視カメラの一部（サブエリア）で撮像できないサブエリア（死角エリア）である。
監視カメラは、図１の破線で囲んだ撮像エリア１０〜１６内をそれぞれ、斜め方向から下向きに撮像するように設置されている。
図１に示すように、設置できる監視カメラの台数が少ないため、敷地内の一部（サブエリア）である死角エリア１７と１８を、監視カメラは撮像できない。

なお、モニタ画面である図２及び図３（後述）において、破線で囲んだ撮像エリア１０〜１６と死角エリア１７と１８の２種類のエリアを監視員が区別できるように、モニタ画面では、色分けや明るさを２種類のエリアで異なるようにしている。例えば、撮像エリア１０〜１６は、撮像した色相、彩度、及び輝度を再現し、死角エリア１７と１８には、薄い灰色をかぶせるようにしている。これは、実際に撮像した画像では、撮像したままの映像を再生し、補間等で補完した映像では、映像の再現性が重要ではないからである。また、死角エリアと撮像エリアとの境界を示すために、撮像エリアを囲む破線は、赤色等、背景画像と区別できるような着色表示をしている。

さて、図２と図３は、図１の監視エリアを真上から見た俯瞰図の本発明の一実施例のモニタ画面である。２０１と３０１はモニタ画面に表示された監視エリアの一部と外部（塀の外側）を示す俯瞰図であり、図１０１を真上から見た図である。また、３１は枠、３２は拡大した別ウィンドウの画像である。複数のカメラが撮像した画像を合成して、図１に示すように見える１つの画像として作成することは、従来から行われている。そして、作成した１つの画像（または、複数の画像）を使って、図２に示す俯瞰図２０１や、斜め方向から見る鳥瞰図を作成することも、周知の技術を使って、従来から行われている。
図１の監視エリアは、監視カメラの台数が少ないため、すべてのサブエリアが実際には撮像されていない。従って、図２に示す俯瞰図２０１を作成するためには、死角エリア１７と１８を補完しなければならない。死角エリア１７、１８の補完は、例えば、その近辺の画像から補間画像を作成する。
なお、逆に、図２のような俯瞰図２０１や、地図（平面図）から、斜視図を座標変換して作成することも可能である。勿論、図１のような監視カメラが斜めから撮像した画像及びそれらの合成画像１０１も、周知の技術を使って、真上から見た俯瞰図で示すことも可能である。
なお、図２の見えないエリア（死角エリア）の補完は、例えば、実際の監視エリアの地形図や地図から作成するようにしても良い。
さらに、監視カメラ４１は、一般的に斜め上方から監視エリアを撮像するように設置される。この為、塀や木等の遮蔽物があった場合に、その向こう側は死角となる。このような場合にも本発明の侵入者監視システムが適用できる。なお、本発明の実施例を説明するための俯瞰図は、いずれも、この遮蔽物があった場合の死角エリアについては描画せず、省略している。

図２に示すような俯瞰図２０１においては、モニタ画面内の距離や方角は、監視員の見た通りであるので、感覚的に把握できる。従って、監視員は、直感的及び視覚的に、モニタ画面をＧＵＩ（Graphcal User Inteface）操作可能である。
例えば、監視員は、図２のモニタ画面を見ながらＧＵＩ操作して、画面全体をスクロールさせることや、または縮小表示や拡大表示させることができる。
また、監視員は、モニタ画面内に侵入者が表示されていた場合には、より詳細に表示された当該侵入者の画像を、より詳細に確認することが必要になる。この場合、監視員は、侵入者として表示されている画像をマウス等のポインティングデバイスで囲み（図３の枠３１参照。）、拡大表示することができる。さらに、拡大表示した画像を別ウィンドウの画像３２として表示することもできる。
また、監視員は、拡大表示した画像を見て、問題が無ければ、表示された別ウィンドウを消去することや、元の表示に戻す（縮小表示）することもできる。
さらに、監視員は、従来、侵入者を追尾する場合には、撮像している監視カメラを選択し、選択した監視カメラが撮像した映像を見るように操作していた。そして、監視エリアの地図と設置した監視カメラの位置を基に、監視員が所望の画像または監視エリアを撮像する監視カメラを選択するためには、かなりの習熟度が必要であった。本発明では、モニタ画面を見て、ＧＵＩ操作するだけであるので、そのような習熟度は必要なく、直感的に、迅速かつ容易に、監視のための操作が可能となる。

次に、図４によって、本発明の侵入者監視システムの一実施例の構成を説明する。図４は、本発明の侵入者監視システムの一実施例の構成を説明するためのブロック図である。４１−１、４１−２、・・・、４１−ｎは監視カメラ（ｎは自然数）、４２はハブ、４３はモニタ、４４は映像サーバである。

図４において、監視カメラ４１−１、４１−２、・・・、４１−ｎは、画角が固定された固定カメラであり、例えば、図１に示した監視エリア１０〜１６をそれぞれ撮像するカメラである。ここでは、各監視エリア１０〜１６を撮像する監視カメラは、以下のように割り当てている。
監視エリア１０は、監視カメラ４１−１が撮像する。
監視エリア１１は、監視カメラ４１−２が撮像する。
監視エリア１２は、監視カメラ４１−３（図示しない）が撮像する。
監視エリア１３は、監視カメラ４１−４（図示しない）が撮像する。
監視エリア１４は、監視カメラ４１−５（図示しない）が撮像する。
監視エリア１５は、監視カメラ４１−６（図示しない）が撮像する。
監視エリア１６は、監視カメラ４１−７（図示しない）が撮像する。
なお、監視カメラ１０〜１６を一般的に説明する場合には、監視カメラ４１と総称して説明する。

図４において、ハブ４２は、接続された機器同士を接続し、送信されてきたデータの宛先制御をして所定の宛先の機器に送信する集線装置である。
図４において、監視カメラ４１は、所定の監視エリアを撮像し、撮像した映像をハブ４２に送信する。ハブ４２は、受信した映像を映像サーバ４４に送信する。
映像サーバ４４は、ハブ４２を介して各監視カメラ４１−１、４１−２、・・・、４１−ｎから送信された映像によって、図２に示すような俯瞰画像（俯瞰映像）を作成し、ハブ４２を介して、モニタ４３に送信する。モニタ４３は、受信した映像をモニタ画面に表示する。死角エリアの映像は、周囲の撮像エリアの画像から補間して作成する。
なお、例えば、映像サーバ４４は、監視エリア全体の画像を予め格納し、監視カメラ４１−１、４１−２、・・・、４１−ｎが死角エリア１７、１８の画像を補完することができる。

映像サーバ４４は、監視カメラ４１−１、４１−２、・・・、４１−ｎから送信された新しい画像を受信し、内部のバッファメモリ（図示しない）に格納する。
例えば、映像サーバ４４は、１台の監視カメラ４１につき１つの映像と１つの背景画像を格納する１組のメモリ領域を設け、新しい映像を受信した場合には、前に格納した映像を削除して新しい映像を格納する。また、侵入者がいないまたは侵入者を除いた部分の画像を用いて新しい背景画像として、背景画像を更新する。
また、例えば、映像サーバ４４は、新しい映像を受信した都度、あるいは、所定の時間間隔で、バッファメモリに格納された映像を基に俯瞰画像を作成し、作成した俯瞰画像をモニタ４３に送信する。

図４において、モニタ４３は、ＧＵＩ操作するためのインタフェースを備え、監視員は、モニタ画面上でポインティングデバイス等の入力装置を操作してＧＵＩ操作することができる（図示しない）。
例えば、図３で説明したように、画面全体のスクロール、拡大、縮小等である。また、同様に、所定のエリアを囲み、拡大表示する操作や、別ウィンドウで表示する等の操作である。また、別ウィンドウの消去や、元の表示に戻す（縮小表示）等の操作である。

これらの操作は、予め映像サーバ４４から送信される画像が、モニタ４３のモニタ画面の解像度より高精細（例えば、１０倍）でかつ、モニタ画面の表示サイズより大きな画像（例えば、４倍）であれば、ある程度までは、モニタ４３に内蔵された画像編集ソフトによって動作させることができる。もし、それ以上の操作が監視員の操作によって入力装置から指示された場合には、モニタ４３は、ハブ４２を介して映像サーバ４４に制御信号を送信し、新たな画像を作成及び送信させ、映像サーバ４４が作成した新たな画像をモニタ画面に表示する。

次に、図５と図６によって、本発明の侵入者監視システムの一実施例の動作について説明する。図５は、本発明を適用する監視エリアと監視カメラの撮像範囲の一実施例を示す図であり、図１に示した監視エリア内に侵入者が検知された場合の図である。また、図６は、図５の監視エリアを真上から見た俯瞰図の本発明の一実施例のモニタ画面である。５０１は監視エリアの一部と外部（塀の外側）を示す図、５１は時刻ｔ１に検出された侵入者、５２は時刻ｔ２で発見された侵入者、５３は時刻ｔ３で発見された侵入者、５４は侵入者５１が侵入者５２まで移動したことを示す軌跡、５５は侵入者５２が侵入者５３まで移動したことを示す軌跡である。また、６０１は俯瞰図、６１は俯瞰図６０１に示された侵入者５１、６２は俯瞰図６０１に示された侵入者５２、６３は俯瞰図６０１に示された侵入者５３、６４は俯瞰図６０１に示された侵入者５１が侵入者５２まで移動したことを示す軌跡、６５は俯瞰図６０１に示された侵入者５２が侵入者５３まで移動したことを示す軌跡である。
なお、侵入者の検出は、映像サーバ４４が、所定の間隔で実行し、例えば、背景画像と入力画像とを比較して物体検出する背景差分法によって検出する。

図５において、時刻ｔ１において侵入者５１が検出され、時刻ｔ２において侵入者５２として検出される。なお、実際には、物体検出処理はもっと短い間隔で行われているが、この図５では、省略している。そして、検出の都度、前回のデータと関連付けられ、検出位置と移動の方向を記録する。そして、これらの結果から、移動の軌跡５４を決め、俯瞰図６０１に変換して、図６の俯瞰図６０１の軌跡６４に示すように、モニタ画面に表示する。
侵入者が、撮像エリア１１から撮像エリア１４に移動している間は、監視カメラ４１−２と監視カメラ４１−５によって撮像されている。このため、実際に検出された侵入者に基づいた移動中の画像と軌跡が、図６のモニタ画面の俯瞰図に表示され、侵入者６１が軌跡６４に沿って侵入者６２に移動する。

しかし、侵入者が監視エリア１４から監視エリア１０の間の死角エリア１７を移動中には、撮像できる監視カメラが無く、図６のモニタ画面に、実際撮像された侵入者の画像を表示できない。
そこで、本発明の侵入者監視システムでは、映像サーバ４４は、死角エリア１７に入る直前までに取得した侵入者５２のデータ（侵入者の画像、検出位置、軌跡、及び移動速度）を用いて、死角エリア１７内でも、侵入者が移動しているように、図６のモニタ画面の俯瞰図に表示する。例えば、死角エリア１７で表示する侵入者の画像は、死角エリア１７に入る直前に取得した侵入者の画像を切り抜いた画像である。
例えば、図６において、侵入者６２の画像を切り抜き、切り抜いた画像を死角のサブエリア１７内に表示させる。切り抜いた画像を表示させる位置は、死角のサブエリアに入る直前に取得した軌跡及び移動速度を基に、次の時刻に移動するべき軌跡を移動予測して、当該移動予測した軌跡に沿って表示させる。
図６においては、映像サーバ４４は、検出され、軌跡に沿って表示される侵入者の画像を色枠や太線枠で囲んで監視員に分かり易いようにして作成し、モニタ４３にモニタ表示させる。このとき、映像サーバ４４は、死角エリアに入った侵入者の画像を作成しモニタ表示させる場合には、侵入者の画像を囲んだ枠または枠内全体を点滅表示する、または、侵入者の画像または枠の少なくとも１つを強調表示するようにして、侵入者が死角エリア内にいることを監視員に知らせる。
監視員は、死角エリアに侵入者が入り、実際には監視カメラ４１が撮像できないため、要注意であり、次にどの撮像エリアに出現するかを考えながら、モニタ画面を操作することができる。

この結果、本発明によれば、監視カメラが撮像し得ないサブエリア（死角エリア）に侵入者が移動しても、モニタ画面に侵入者の画像と軌跡が表示されるため、監視員はどの方向に侵入者が移動しているかが直感的に理解でき、また次に現れると考えられる撮像エリアが分かる。従って、モニタ画面に端に侵入者が移動していって、画面をスクロールさせなければならない場合に、侵入者の移動方向または撮像エリアを表示するように、直感的に、かつ迅速及び容易に画面操作することができる。また、次に現れる位置が予測できるので、監視員は、待ち構えて、すぐに拡大表示できるか、または、拡大表示して待ち構えることができる。

なお、上述の実施例では、映像サーバ４４が、モニタ３４のモニタ画面の死角であるサブエリア１７または１８に、侵入者の移動予測した軌跡に沿って切り抜いた侵入者の画像を表示させた。しかし、その後、監視エリア内に実際の侵入者が検出された場合に、再び、侵入者の画像が実際に検出された位置にモニタ表示される。
ただし、実際に出現した位置が軌跡を移動予測して表示した位置と異なる（から所定の距離以上離れた）場合には、死角であるサブエリア１７または１８に表示させていた軌跡を実際に出現した位置と、死角のエリアに入る直前までに検出したデータとによって、軌跡と移動速度を再計算して、死角のエリアの軌跡を再計算した軌跡に切り替えてモニタ画面に再表示するように、俯瞰画像を作成する。
なお、再表示した軌跡の色を変更するようにしても良い。またさらに、予測した軌跡と実際の軌跡の両方を表示するようにしても良い。この結果、監視員は、予測の軌跡と実際の軌跡が異なっていることがすぐに分かり、侵入者が、不審な行動をとっているのではないかと考えることができる。

１０〜１６：撮像エリア、 １７、１８：死角エリア、 ２１：監視エリア外（塀２２の外側）、 ２２：塀、 ２３：非通行エリア、 ２４：照明灯、 ３１：枠、 ３２：別ウィンドウの画像、 ４１、４１−１、４１−２、・・・、４１−ｎ：監視カメラ、 ４２：ハブ、 ４３：モニタ、 ４４：映像サーバ、 ５１〜５３：侵入者、 ５４、５５：軌跡、 ６１〜６３：侵入者、 ６４、６５：軌跡、 １０１：監視エリアの一部と外部（塀の外側）を示す図、 ２０１、３０１：俯瞰図、 ５０１：監視エリアの一部と外部（塀の外側）を示す図、 ６０１：俯瞰図。

Claims (3)

1. 監視エリアを撮像し、撮像した映像をそれぞれ出力する複数のカメラと、前記複数のカメラがそれぞれ撮像した映像から、前記監視エリア全体の俯瞰画像を作成する映像サーバと、前記作成された画像を表示するモニタと、前記複数のカメラ、前記映像サーバ及び前記モニタを接続するハブとを備え、前記監視エリアに侵入した侵入者を検出し、当該検出した侵入者の画像と軌跡を前記モニタに表示する侵入者監視システムであって、
   前記映像サーバは、前記監視エリアの前記複数のカメラが撮像できない死角エリアの背景画像を、前記死角エリアの周囲を撮像した映像から補間して表示し、かつ、
   前記映像サーバは、前記死角エリア内を通過する侵入者の位置と軌跡とを、前記死角エリアに入る前までの侵入者の軌跡から移動予測し、当該移動予測した軌跡に沿って前記死角エリアに入る前に取得した前記侵入者の画像を切り抜いた画像で表示するように俯瞰画像を作成することを特徴とする侵入者監視システム。
2. 請求項１記載の侵入者監視システムにおいて、前記映像サーバは、前記侵入者の画像を切り抜いた画像、前記画像を囲む枠、または前記枠内全体の少なくともいずれか１つを強調表示するように俯瞰画像を作成することを特徴とする侵入者監視システム。
3. 請求項１または請求項２のいずれかに記載の侵入者監視システムにおいて、前記映像サーバは、前記死角エリアから再び撮像エリアに出現した侵入者について、出現した位置が前記移動予測した位置と異なる場合には、実際に出現した位置及び再計算した軌跡に表示を切り替えるか、前記移動予測した軌跡と共に表示するように俯瞰画像を作成することを特徴とする侵入者監視システム。

Images