JPWO2015087730A1 - 監視システム - Google Patents

Abstract

複数のカメラの視野に同時に侵入者が入ってきた場合に、モニタ表示されているカメラに対してのみしか状況確認ができないという欠点が改善された監視システムが開示される。このシステムは、複数のカメラにより撮影された映像を取得する映像取得手段と、該映像取得手段で取得した映像から物体を検知する物体検知手段と、映像表示手段と、該映像表示手段に映像を表示する映像表示制御手段とを備える。映像表示制御手段は映像受信部とアラーム受信部とマップ表示部とブザー制御部と映像切替部と座標変換部とマップ作成部と位置判定部と物体重畳部と軌跡重畳部の機能を有する。映像表示制御手段は、平面の地図画像にカメラの配置画像と透視立体物画像を重畳した第１の出力と、アラーム受信部でアラームを受信した場合に侵入者または侵入物を表す画像と侵入軌跡とカメラの配置画像を平面の地図画像に重畳した第２の出力を有する。

Description

本発明は、監視システムに関するものである。

背景技術として、侵入者の自動検知機能を有した従来の監視システムを、図１〜図４を用いて説明する。
図１に、従来の監視システムのシステム構成図が示される。
図１のシステムは、敷地内を５台のカメラで監視するものであり、カメラ１０１、物体検知部１０２、映像配信部１０３、ＬＡＮ＿ＳＷ(Local Area Network SWitch)１０４、モニタ表示用ＰＣ（Personal Computer）１０５で構成される。
カメラ１０１で撮影された映像は、物体検知部１０２に入力される。
物体検知部１０２は、入力された映像に対して、侵入者・侵入物検知処理を行い、入力された映像に各種情報（線、文字、マーカーなど）を重畳し、検知結果映像を出力する。
映像配信部１０３は、物体検知部１０２から出力された検知結果映像を圧縮し、ＬＡＮで映像を配信する。映像配信部１０３で配信された映像は、モニタ表示用ＰＣ１０５で受信し復号されて、モニタ表示用ＰＣ１０５に接続されたモニタ部２１０に表示する。

図４は、物体検知部１０２のブロック図である。
物体検知部１０２は、同軸ケーブル等で接続されたカメラ１０１から映像信号を入力され、Ａ／Ｄ変換(Analog/Digital Conversion)などを行いデジタル画像データとして取り込むための画像入力Ｉ／Ｆ(InterFace)４０１、画像を一時記憶する画像メモリ４０２、画像処理のためのデータを一時記憶するためのワークメモリ部４０３、プログラムを実行するためのＣＰＵ(Central Processing Unit)２０４、画像メモリ４０２に記憶された映像をＤ／Ａ変換し外部に出力するための画像出力Ｉ／Ｆ４０５、プログラムメモリ４０６、データバス４０７、モニタ表示用ＰＣ１０５へのアラーム通知やモニタ表示用ＰＣ１０５からのパラメータ設定のためのＬＡＮ＿Ｉ／Ｆ４０８で構成されている。

プログラムメモリ４０６には、侵入者・侵入物検知ソフト４０９が記憶されている。
侵入者・侵入物検知ソフト４０９は、カメラの映像１０１を画像入力Ｉ／Ｆ４０１で取込み、画像メモリ４０２、ワークメモリ４０３を用いて、一般的なモーションディテクタに代表されるフレーム間差分処理、しきい値処理、物体判定（面積・幅・高さの判定）により、侵入者・侵入物検知を行うものである。
侵入者・侵入物検知ソフト４０９は、画像メモリ４０２に記憶された画像（処理途中過程の画像（差分画像や二値画像）や、入力画像に処理結果を重畳した処理結果画像など）を画像出力Ｉ／Ｆ４０５を用いて、モニタなどに表示する機能を持っている。また、検知処理の結果すなわち、侵入者・侵入物検知開始／終了の信号は、ＬＡＮ＿Ｉ／Ｆ２０１により、モニタ表示用ＰＣ１０５に通知される。

図２はモニタ表示用ＰＣ１０５の機能ブロック図であり、図３はモニタ表示用ＰＣ１０５で生成された監視用映像をモニタに表示した図である。
図２において、モニタ表示用ＰＣ１０５は、物体検知部１０２からのアラーム通知受信、物体検知部１０２のパラメータ送受信、映像配信部１０３からの配信映像の受信に用いるＬＡＮ＿Ｉ／Ｆ２０１、データの演算や記憶を行うためのメモリ２０２、マップデータが記憶されているＨＤＤ２３、プログラムを実行するためのＣＰＵ２０４、ポインティングデバイス２１２やキーボードなどでモニタ表示用ＰＣの操作するための入力Ｉ／Ｆ２０５、プログラムメモリ２０６、ブザー２１１を制御（ＯＮ／ＯＦＦ）するためのブザー出力Ｉ／Ｆ２０７、生成した表示マップ画像３０６及び表示カメラ映像３０７をＤ／Ａ変換してモニタに出力するためのモニタ出力Ｉ／Ｆ２０８、データバス２０９、ポインティングデバイス２１２、モニタ部２１０−１〜２１０−２、ブザー２１１で構成されている。

プログラムメモリ２０６には、モニタ表示用ソフトウェアが記憶され、モニタ表示用ソフトウェアは、映像受信部２０６−１、アラーム受信部２０６−２、マップ表示部２０６―３、ブザー制御部２０６−４、映像切替部２０６−５で構成される。
映像受信部２０６−１は、映像配信部１０３から配信された映像を、ＬＡＮ＿Ｉ／Ｆ２０１を使用して受信を行い、受信した映像を復号してメモリに保持し、必要に応じ復号前の映像データをＨＤＤにも記録する。ここでメモリもしくはＨＤＤに記憶するカメラの映像は、全てのカメラであっても、表示カメラ映像３０７に表示されるカメラのみのどちらの形態もある。
アラーム受信部２０６−２は、物体検知部１０２から出力された侵入者・侵入物検知開始／終了の信号を受信し、受信した信号状態を元に、各カメラの警報状態（１回前及び現在の侵入者または侵入物のあり／なし）をメモリ２０２に記録する。管理上、各アラームには受信順にシリアル番号（受信されたアラームID）が付され、発報種別、発報元のカメラID、時刻、位置情報等が記録される。
記憶した侵入者または侵入物検知の開始／終了の信号は、マップ表示部２０６−３でのマップ表示画面の生成、ブザー制御部２０６−４のブザー制御や、映像切替部２０６−５のカメラ映像として表示する画面の選択制御に用いられる。

マップ表示部２０６−３、ブザー制御部２０６−４、映像切替部２０６−５の動作について、図３を用いて説明する。
ＨＤＤ２３に記憶されたマップデータ３０３を読み込み、メモリ２０２上にマップ画像(1)として記憶する。マップ画像 (1)に対して、ＨＤＤ２３に記憶されたカメラ台数／表示位置情報、ボタンの名称／表示位置情報のデータを読み込み、マップ画像 (1)にマップ表示切替ボタン３０１、カメラアイコン３０２、警報確認ボタン３０４、ブザー停止ボタン３０５を追加し、マップ画像 (2)として、メモリ２０２上に保存する。
アラーム受信部２０６−２でメモリ２０２に記憶された各カメラの警報状態（１回前及び現在の侵入者・侵入物あり／なし）を元に、マップ表示切替ボタン３０１及び、警報確認ボタン３０４、ブザー停止ボタン３０５の色を変更する機能を有している。
本公知例は、侵入者・侵入物なしの場合にはマップ表示切替ボタン３０１の色を「緑」、侵入者・侵入物ありの場合にはマップ表示切替ボタン３０１の色を「赤」、マップ画像３０３に相当する場所（１Ｆ〜３Ｆ及び外周）のマップ表示切替ボタン３０１は色を「白」に設定する。
侵入者または侵入物なしの場合には、カメラアイコン３０２の色を「青」、侵入者または侵入物ありの場合にはカメラアイコン３０２の色を「赤」、モニタ部２１０に表示する表示カメラ映像３０７に相当するカメラは、カメラアイコン３０２の色を「橙」に設定する。
警報確認ボタン３０４、ブザー停止ボタン３０５は、通常「薄黄色」に設定し、「警報なし」から「警報あり」の状態に変わったときには、警報確認ボタン３０４、ブザー停止ボタン３０５の色は「赤」に設定する。

警報ありの状態でも、監視員がポインティングデバイス２１２を操作し、警報確認ボタン３０４または、ブザー停止ボタン３０５を選択した場合には、通常の「薄黄色」に設定する。これで、モニタ部２１０に表示するための表示マップ画像３０６が生成される。なお、ポインティングデバイス２１２は画面上のボタンなどをユーザが任意に指定することができれば良く、一般的にはマウスやタッチパネルが使われることが多い。
ブザー制御部２０６−４では、アラーム受信部２０６−２でメモリ２０２に記憶された各カメラの警報状態（１回前及び、現在の侵入者・侵入物あり／なし）及び、ブザー停止ボタン３０５の状態を判断し、ブザー２１１の鳴動及び鳴動停止の制御を行う。
各カメラの警報状態で１回前：侵入者・侵入物なしでかつ、現在：侵入者・侵入物ありでかつ、ブザー停止ボタン３０５が通常状態（ボタン色が黄色）であった場合にのみ、ブザー出力Ｉ／Ｆ２０７に対して、ブザー２１１を鳴動させるように制御する。監視員がブザー停止の操作（ポインティングデバイス２１２を操作。ブザー停止ボタン３０５が警報状態（ボタン色が赤）を選択）した場合、ブザー出力I/F２０７に対して、ブザー２１１の鳴動停止させるように制御する。

映像切替部２０６−５は、監視員の表示カメラ映像３０７の切替操作（ポインティングデバイス２１２を操作、カメラアイコン３０２を選択）した場合、表示カメラ映像３０７を監視員が選択したカメラに切替える。
映像受信部２０６−１で全てのカメラ映像をメモリもしくはＨＤＤ２３に記憶している場合には、メモリもしくはＨＤＤ２３に記憶されている表示カメラ映像３０７を読み込めば良いし、表示カメラ映像３０７のカメラのみメモリもしくはＨＤＤ２３に記憶している場合には、映像受信部２０６−１で受信するカメラの切替、映像受信後に、表示カメラ映像３０７を読み込む動作となる。
映像切替部２０６−５は、アラーム発生していない状態（警報確認ボタン３０４が通常状態（ボタン色が黄色））に、新たにアラームが発生していた場合（各カメラの警報状態で１回前：侵入者または侵入物なしでかつ、現在：侵入者または侵入物ありのカメラあり）には、表示カメラ映像３０７を切替える制御も行うし、警報確認ボタン３０４が押された場合に、他のカメラでのアラームが発生していた場合には、アラーム発生しているカメラの映像に表示カメラ映像３０７を切替える制御も行う。

また、監視分野において、例えば駐車場などのカメラ監視では１台のカメラだけでは障害物によりカメラ画像に死角が発生してしまうことがある。また、死角をカバーするためにカメラを複数にすると、監視する空間は１カ所であるのに、カメラの台数だけ監視画像を表示するモニタが必要になる。一般に複数カメラの画像監視では、１つのモニタ画面を１６分割した各領域に各カメラの画像を表示したり、時分割によりシーケンシャル表示したりして、１台のモニタで監視することもある。だが、モニタ台数は減っても分割画面の数だけ監視する情報が増えるため、モニタが複数台あるのと変わらずモニタを見る監視者に負担を強いることがある。

特開２００５−１１７５８０号公報 特開２００８−５４５０号公報 特開２０００−３３１２７９号公報 特開２０１１−１５１４５９号公報 特開２００６−１４８２２１号公報

前述の背景技術には、４つの課題がある。
第１の課題は、複数のカメラの視界のそれぞれに同時に複数の侵入者・侵入物が入ってきた場合に、モニタ表示されているカメラに対してのみしか状況確認ができない。その他カメラの確認を行うためには監視員の操作が必要となり、監視員が操作するまでのタイムラグによっては、確認した際にはそのカメラに侵入者・侵入物が映っておらず、結果として見逃しが発生する。
第２の課題は、カメラで視野が重複している部分があった場合には、単一の侵入者であっても複数のアラームが発生しうるため、侵入者が複数であるような状況と間違えやすい、或いは、全てのカメラに対してアラーム確認が必要となる点である。
第３の課題は、中規模・大規模監視システムでは監視カメラ設置場所マップ作成に労力がかかる。
第４の課題は、１カ所の空間を複数のカメラで監視すると、重なった領域を監視しているのにも関わらず、モニタ台数がカメラ台数だけ必要になる。

本発明の監視システムは、複数のカメラにより撮影された映像を取得する映像取得手段と、該映像取得手段で取得した映像から物体を検知する物体検知手段と、映像表示手段と、該映像表示手段に映像を表示する映像表示制御手段を有する監視システムであって、映像表示制御手段は映像受信部とアラーム受信部とマップ表示部とブザー制御部と映像切替部と座標変換部とマップ作成部と位置判定部と物体重畳部と軌跡重畳部の機能を有し、映像表示制御手段は、平面の地図画像にカメラの配置画像と透視立体物画像を重畳した第１の出力と、アラーム受信部でアラームを受信した場合に侵入者または侵入物を表す画像と侵入軌跡とカメラの配置画像を平面の地図画像に重畳した第２の出力を有することを特徴とする。

また、本発明の監視システムは、上述の監視システムであって、映像表示制御手段はさらにＣＧ選択部を有し、映像表示制御手段は平面の地図画像にカメラの配置画像と透視立体物画像を重畳した第１の出力と、アラーム受信部でアラームを受信した場合に侵入者または侵入物を表すＣＧ画像と侵入軌跡とカメラの配置画像を平面の地図画像に重畳した第２の出力を有することを特徴とする。

さらに、本発明の監視システムは、少なくとも２台のカメラと、該カメラ画像を画像処理する画像処理装置を有する監視システムであって、画像処理装置は複数のマーカー処理部と俯瞰座標変換部と俯瞰画像作成部と、俯瞰画像合成部を有し、カメラは同じマーカーを撮影し、マーカーは前後左右の識別可能な図柄を有し、マーカー処理部はカメラ画像からマーカーを検出し、俯瞰座標変換部はマーカーを基準にカメラ画像に所定回転を施し、
カメラ画像から俯瞰画像を作成する俯瞰画像作成部は、マーカーの２辺以上の長さや傾きから、カメラの高さやカメラが設置されている地面との角度のカメラパラメータを算出し、算出したカメラパラメータを元に仮想的な俯瞰カメラで見たような真上からの画像に変換し、同じ大きさの物体であれば画面のどこに置いても同じ大きさになるように俯瞰画像を作成し、俯瞰画像合成部は、複数の俯瞰画像を１つの画像に合成することを特徴とする。

本発明によれば、複数のカメラを切替操作なく少ないモニタ台数で監視できるため、監視員の負担を軽減したモニタ表示を提供することができる。
また、カメラ画像を俯瞰画像に変換することで、１枚の監視画像で監視対象の空間の全体を把握することができる。

従来技術および本発明の実施例に係る監視システムのブロック図。 従来の監視システムのモニタ表示用ＰＣ１０５の機能を説明するブロック図。 従来の監視システムのモニタ表示を説明する図。 従来の監視システムの物体検知部１０２のブロック図。 本発明の実施例１の物体検知部２の機能ブロック図。 実施例１のモニタ表示用ＰＣ５の機能ブロック図。 モニタ表示用ＰＣ５による俯瞰表示のモニタ画面図。 モニタ表示用ＰＣ５による鳥瞰表示のモニタ画面図。 顔認識機能を備えたモニタ表示用ＰＣ５による俯瞰表示のモニタ画面図。 物体をＣＧで表示するモニタ表示用ＰＣ５のモニタ画面図。 本発明の実施例２の監視システムにおける仮想的な俯瞰画像を説明する図。 カメラの高さと距離の関係を説明するための図。 図１２を真上から見た図。 撮像素子と像距離の関係を説明するための図。 実施例２の監視システムにおいて、マーカーを道路に置いた状態を示す図である 実施例２の監視システムのマーカー処理部２２００のブロック図。 実施例２の監視システムの画像処理装置２０００のブロック図。 複数カメラでマーカーを撮影し俯瞰画像を生成する配置を説明する図。 実施例２の監視システムの俯瞰画像合成部２００５のブロック図。 実施例２の監視システムで使用するマーカーの他のデザインを示す図。

本発明の各実施例の監視システムは、建物等の監視領域を鳥瞰透視しているように、カメラ映像をマッピングして画面に表示する。マッシュアップ手法により、サードパーティが提供するオンライン地図等を監視領域の地図画像として利用することができる。また、検知された侵入者の像を、検知位置にあわせて拡大されたサイズで合成表示する。侵入者の像から、ビデオ内容分析（VCA）技術により個人が特定され、侵入者はカメラに映るたびにその位置が特定され、追跡される。

実施例１の監視システムは、５台のカメラ１、５台の物体検知部２、５台の映像配信部３、ＬＡＮ＿ＳＷ４、及びモニタ表示用ＰＣ５で構成される。つまり、システムレベルでの構成は図１に示す従来システムと同じであり、説明を省略する。

（物体検知部の機能）
図５は、実施例１の監視システムの物体検知部２の機能ブロック図である。物体検知部２は、画像入力Ｉ／Ｆ２１、画像メモリ２２、ワークメモリ部２３、ＣＰＵ２０４、画像出力Ｉ／Ｆ２５、プログラムメモリ２６、ブザー出力I/F２７、ＬＡＮ＿Ｉ／Ｆ２８、データバス２９、で構成されている。物体検知部２は、ハードウェア上は、従来の物体検知部１０２と構成が似ているが、プログラムメモリ２６に格納されたプログラムが従来とは大きく異なる。
プログラムメモリ２６は、画像取込部３１、背景作成部３２、差分処理部３３、二値化処理部３４、ラベリング部３５、追跡処理部３６、判定処理部３７、物体種別判定部３８、表示用物体領域抽出部３９、ワールド座標算出部４０、表示用軌跡作成部４１、及び、表示用データ作成部４２の機能モジュールで構成されている。

画像取込部３１は、画像入力Ｉ／Ｆ２１を用いてカメラ１の映像を取り込むことで、例えば、０〜２５５の２５６階調の輝度信号で構成される入力画像に変換し、入力画像を画像メモリ２２に保存する。
背景作成部３２は、画像メモリ２２に記憶された入力画像を、一定数取り込みながら、例えば加重平均するなどの方法で物体のいない背景画像を生成し、画像メモリ２２に保存する。なお、この侵入者・侵入物検知は物体の存在時間が短い場所で使われることを前提としている。

差分処理部３３は、画像メモリ２２に記憶された背景画像と入力画像の画素ごとの差分を算出し、差分画像を画像メモリ２２に保存する。
なお、背景画像と入力画像の画素ごとの差分とは、変化した部分を抽出する絶対値差分（｜入力画像−背景画像｜）、背景に対して明るくなった部分を抽出する差分（入力画像−背景画像）、背景に対して暗くなった部分を抽出する差分（背景画像−入力画像）であり、これは用途によって選択されるものである。

二値化処理部３４は、画像メモリ２２に記憶された差分画像をしきい値処理し、例えば輝度値の階調が２５６段階であれば、差分値が所定のしきい値未満の画素を輝度値０、しきい値以上の画素を輝度値２５５とした二値画像を生成し、画像メモリ２２に保存する。
ラベリング部３５は、二値画像で得られた白画素に対してかたまりごとに番号付けを行い、物体個数の算出及び、ラベリング画像を画像メモリ２２に保存するとともに、ラベリング画像に対して、特徴量抽出処理を行い、各物体の面積・幅・高さ・足元の位置の情報が得られる。

追跡処理部３６では、ラベリング処理部３５で得られた足元位置の情報を、過去と現在との間で比較し、最も足元位置の近いものを同一物体として関連付けることで、物体の追跡を行い、物体ごとに出現時間、滞在時間、軌跡情報、消失してからの経過時間（消失していない場合には０、消失時間が一定以上になるとその軌跡情報は削除）を算出する。

判定処理部３７では、ラベリング処理部３５で得られた足元位置情報、面積、幅、高さと、追跡処理部３６で算出された物体ごとの滞在時間、軌跡情報を用いて、予め設定した検知条件に合致するか否かを判定し、検知条件に合致した場合には、侵入者・侵入物ありと判断し、侵入者・侵入物ありのフラグ及び、侵入者・侵入物の足元位置情報（画面上のＸ，Ｙ位置）、幅、高さをワークメモリ２３に記憶する。
なお、判定処理部３７の予め設定した検知条件とは、画面上に仮想エリアを設定し、その仮想エリアに物体が入ってきたときもしくはその仮想エリアに滞在時間以上物体が存在した場合に検知する。また、境界ライン即ち画面上に仮想ラインを設定し、その仮想ラインを物体が指定方向に横切った場合に検知する。さらに物体の大きさを条件に入れてもよい。

物体種別判定部３８は、ＣＧで作成された物体画像１００１をモニタ表示用ＰＣ５で選択するために必要となる物体種別情報を生成する。物体画像１００１は視認性の良いアイコン、イラストの類でもよく、詳細は後述する。物体種別としては、人，車，二輪車に乗った人，その他物体とする。

なお、判定処理部３７では、侵入者または侵入物と判断された物体に対して、物体種別を算出する。
物体種別の判断方法としては、以下の分類方法がある。
大きさ判定による分類は、物体の幅（画素）、高さ（画素）を、カメラの設置条件（カメラの高さ、俯角、焦点距離、ＣＣＤサイズ）と物体の足元位置から実際の物体の幅（ｍ）、高さ（ｍ）を算出し、人、二輪車（自転車，バイク）に乗った人，車，その他の４種類に分類する。
速度による分類は、大きさ判定による分類で人、二輪車に乗った人と判断された物体に対して、最新と最古の軌跡情報（画素）を、カメラの設置条件、例えば、カメラの高さ，俯角，焦点距離，ＣＣＤサイズから実際の距離（ｍ）に変換し、最新と最古の軌跡情報の時間差から速度を算出することにより、人と二輪車に乗った人を分類する。

上記の大きさ判定による分類、速度による分類で判断された分類精度を向上する方法として、物体の輪郭線の類似性を見る方法がある。
まず、物体が存在する位置周辺に対して、ラプラシアンフィルタなどのエッジ抽出処理により物体の輪郭線を抽出し、抽出した物体の輪郭線と、予め用意しておいた人の輪郭線モデル，車の輪郭線モデル，二輪車に乗った人の輪郭線モデルのどれに一番類似性があるかを判断することにより、人，車，二輪車に乗った人に分類し、どのモデルにも類似性がない物体はその他に分類する。
ここで、類似性をみるためには、予め用意した人の輪郭線モデル，車の輪郭線モデル，二輪車に乗った人の輪郭線モデルは、物体の位置（カメラからの距離（ｍ））により拡大または縮小を行い、物体の大きさ変化の影響をなくすものとする。また、物体が存在する位置周辺範囲全てに対して類似性を算出することで、二値化処理部３４で得られた二値画像や、ラベリング処理ステップ３５で得られた物体の位置，幅，高さが、実際の物体よりも小さく検出されていた場合でも、分類精度を向上することが可能となる。

表示用物体領域抽出部３９は、モニタ表示用ＰＣ５で表示する物体画像８０３を抽出するものである。物体画像８０３については図８の説明で後述する。
一般的に二値化処理部３４で得られた二値画像や、ラベリング処理部３５で得られた物体の位置，幅，高さを用いた場合には、影・物体のコントラストの影響を受け、物体の一部が欠けるもしくは物体よりも大きすぎるといった問題があり精度が低い。
そのため、得られた物体の足元位置、幅、高さを、物体種別判定部３８で得られた物体種別に応じて拡張（例えば、人の場合、足元位置、幅、高さを物体の幅５０ｃｍ、物体の高さ１．７ｍ分拡張）し、拡張した範囲内でラプラシアンフィルタなどによりエッジ抽出を行い、エッジが一番密集している部分を中心として、物体種別に応じた範囲＋規定範囲（例えば、５％）の範囲を切出すことによって、物体の範囲をかけることなく切出す。
また、影の影響に対しては、画像メモリ２２に記憶された背景画像と入力画像の相関性を判断し、相関性が高い部分を物体以外、相関性が低い部分を物体と判断して得られた範囲に対して、上記の処理を行うことによって、影の影響を減らすことが可能となる。

ワールド座標算出部４０は表示用物体領域抽出部３９で算出した物体の足元位置を、カメラの設置条件（カメラの高さ、俯角、焦点距離、ＣＣＤサイズ）を利用して、カメラからの距離に変換するとともに、予め設定されたカメラの位置情報（敷地内のマップの左上の点を(０，０)としたときのカメラの相対位置（単位はメートル））を足すことで、実際の敷地上の位置情報を算出する。
表示用軌跡作成部４１は、追跡処理部３６で得られた軌跡情報（画素）を、ワールド座標算出部４０と同様にカメラの設置条件を利用して、カメラからの距離に変換するとともに、予め設定されたカメラ位置を足すことで、実際の敷地上の位置情報を算出する。
ここで、軌跡は追跡処理部３６を使うこととしたが、表示用物体領域抽出部３９の処理を、追跡処理部３６より前に行うことで、精度を向上することもできる。

表示用データ作成部４２は、物体種別判定部３８で得られた物体種別情報、表示用物体領域抽出部３９で得られた物体画像８０３、ワールド座標算出部４０で得られた物体の実際の敷地上の位置情報、表示用軌跡作成部４１で得られた実際の敷地上の軌跡情報を、一つのデータ、例えばステータスメッセージやファイルとしてまとめ、まとめたデータはＬＡＮ＿Ｉ／Ｆ２０１を介してモニタ表示用ＰＣ１０５に送られる。物体画像８０３は、不定期に発生しうるので、フレーム間予測符号化の適用は困難であり、ＪＰＥＧやイントラ予測符号化を用いて圧縮されることになるが、これは表示の遅延を抑える効果もある。

（モニタ表示用ＰＣの機能）
図６に、実施例１におけるモニタ表示用ＰＣ５の機能ブロック図が示される。
モニタ表示用ＰＣは、カメラ映像の表示を制御する手段であり、本例のPC５は、物体の位置情報を元に重複物体を削除する機能や、顔切出し及び顔認証機能を利用して重複物体を削除する機能や、モニタ表示画像８０１に物体画像（顔）１２０１を重畳する機能を有しうる。

まず、物体の位置情報を元に重複物体を削除する機能について図６、図８、図９を参照して説明する。
図６に示されるモニタ表示用ＰＣ５中で、符号２１〜２９に係る構成は、２６を除き従来のモニタ表示用ＰＣ１０５における２０１〜２０９と同様であるため、説明を省略する。プログラムメモリ２６は、座標変換部５１、マップ作成部５２、位置判定部５３、物体重畳部５４、軌跡重畳部５５を有する点で従来と異なる。

座標変換部５１は、ＨＤＤ２３に記憶されている市販地図や航空写真、衛星写真、或いは米国グーグル社などが提供しているオンライン地図であって建物の形状が把握できる程度の縮尺の画像を、所定の透視図法における所定の視点からの映像（鳥瞰表示・俯瞰表示）に変換し、地図画像８０１とする。俯瞰表示は、図９に示されるように地表を斜め下方向に眺めたような表示であり、ＣＧなどで一般的に使われている透視変換を用いて元の地図画像を座標変換して得られる。この地図画像８０１を一番下のレイヤー（レイヤ０）とする。ここに、地図画像８０１に対応した透視図法及び視点で、建物の骨格をワイヤーフレームモデルで描画した建物フロア図（鳥瞰）８０２を重畳する。つまり建物フロア図（鳥瞰）８０２はレイヤ０より上のレイヤ１に描画される。建物の骨格情報は、初期的には、地図画像８０１における建物の輪郭からポリゴンとして再現し、与えられた階数の分だけ上方に押し出して生成する。一方、鳥瞰表示は、図８に示されるように地表面を真上から見下ろしたような表示でありｄ、正投影法などが用いられ、通常は地図画像がそのまま利用できる。

マップ作成部５２は、座標変換部５１で作成された地図画像８０１の上に、建物フロア図（鳥瞰）８０２を重畳した画像上に、ＨＤＤ２３に記憶された実際の敷地上のカメラ位置情報（画面上の左上を（０，０）とした場合のカメラ位置（ｍ））で指定された位置に、カメラアイコン３０２を重畳するとともに、画面上の指定された位置に警報確認ボタン３０４、ブザー停止ボタン３０５を重畳する。つまり、カメラアイコン３０２等は、レイヤ２に描画される。

位置判定部５３は、物体検知部２のそれぞれから送信された実際の敷地上の位置／軌跡情報を元に、物体の重複を判断する。複数の物体検知部２から得られた実際の敷地上の位置／軌跡情報を比較および照合し、誤差が規定値以内（例えば、５％）であった場合には同一物体と判断する。同一物体と判断した場合、表示する物体画像が解像度（画素数）の最も高い方の位置情報を残し、解像度の低い位置情報は削除する。

物体重畳部５４は、位置判定部５３からの指示に基づき、物体検知部２から受信した物体領域画像を、物体画像８０３（８０３−１、８０３−２）として、物体検知部２から送信された実際の敷地上の位置情報部分に透過率０で重畳する。つまり最も上のレイヤ４に描画する。この時、物体画像８０３が示す人物の足元の位置は実際の位置に対応するが、サイズは変更しない。つまり物体画像８０３はカメラで撮影された時の画素数のまま構成しているため、実際の地図上の縮尺とは違う（大きい）画像で物体が表示され、監視員が見やすい物体画像を提供することができる。
ただし、物体重畳部５４は、カメラ１から受け取った物体画像８０３のサイズが規定値以下であった場合には、拡大処理＋バイキュービック補完などの補完処理をすることにより、画質劣化が少なく見やすいサイズに拡大してもよい。また、建物内で検知された物体画像８０３を重畳する場合には、建物フロア図（鳥瞰）のフロアごとに吹き出し図形を描画し、その吹き出しの中に各フロアに設置しているカメラで撮影した物体画像８０３を並べて表示してもよい。
軌跡重畳部５５は、位置判定部５３からの指示に基づき、物体検知部２から受信した実際の敷地上の軌跡情報に基づいて軌跡８０４をレイヤ３に描画し、地図画像８０１上に重畳する。

図８は、モニタ表示用ＰＣ５によるモニタ画面の俯瞰表示の例である。モニタ表示用ＰＣ５に接続された２つのモニタ部２１０−１、２１０−２は、横に隣り合うように並べて設置され、地図画像８０１はモニタ部をまたがるように連続的に画面全体に表示される。俯瞰では、表示上の高さが圧縮され横に長い表示画面となるので、このようなマルチディスプレイ構成が好適である。鳥瞰・俯瞰切替ボタン８０８は、鳥瞰・俯瞰を切り替えるもので、図８は俯瞰の状態なので、切替先の鳥瞰を示すアイコンが表示されている。ポインティングデバイス２１２がマウスの場合、地図画像８０１上で右ボタンを押しながらドラッグすれば視線の方向を変更でき、左ボタンを押しながらドラッグすれば地図画像８０１をスライド、つまり視線が地表と交差する点を変更できる。地図画像８０１はその点が中心となるように表示される。

図９は、モニタ表示用ＰＣ５によるモニタ画面の鳥瞰表示の例である。モニタ表示用ＰＣ５に接続された２つのモニタ部２１０−１、２１０−２は、隣り合うように並べて設置され、地図画像８０１はモニタ部をまたがるように連続的に画面全体に表示される。鳥瞰・俯瞰切替ボタン８０８は、鳥瞰・俯瞰を切り替えるもので、図８は俯瞰の状態なので、切替先の鳥瞰を示すアイコンが表示されている。ポインティングデバイス２１２がマウスの場合、地図画像８０１上で右ボタンを押しながらドラッグすれば視線の方向を変更でき、左ボタンを押しながらドラッグすれば地図画像８０１をスライド、つまり視線が地表と交差する点を変更できる。地図画像８０１はその点が中心となるように表示される。

次に、図６、図９を参照して、顔切出し及び顔認証機能を利用して重複物体を削除する機能と、モニタ表示画像８０１に物体画像（顔）１２０１を重畳する機能について説明する。この機能は主に、図６のモニタ表示用ＰＣ５における顔認証部５６、顔重畳部５７により実現される。

顔認証部５６は、映像配信部１０３から受信しメモリ２２等に保存されている映像に対し、顔検出技術を使用して映像中の人の顔の領域を検出し、その領域の画像特徴量を計算し、その領域から切出した顔画像データや時刻、位置情報等とともにＨＤＤ２３に記録する。顔検出に用いられる判別器や抽出する特徴量には、公知のJoint Haar-linke特徴が利用できる。なお人物の顔だけでなく全身像を検出する場合は、CoHOG（Co-occurrence Histograms of Oriented Gradients）等が利用できる。映像全体からリアルタイムに顔や人影を検出することが困難な場合、物体画像８０３の内部での検出を優先し、余力があればフレームを間引きするなどして処理する。顔の位置情報としては、対応する物体画像８０３の位置情報がそのまま利用できる。
そして、今検出されたばかりの顔を１つずつキーとして、今検出された他の顔及び過去にＨＤＤ２３に記録された顔画像の中から、特徴量の類似する顔を探索し、同一人物かどうか照合する。同一と判断された時は、物体ID、軌跡情報（HDD２３に記録された当該人物の過去の位置情報）等が返される。ここで同一人物には同じ物体IDが付される。

顔認証部５６は、ほぼ同一時刻（及び同一の場所）で、同一と判断された人物等に対しては、解像度の最も高い、若しくは顔検出時のスコア（顔らしさ、或いは検出の信頼性を示す）が最も高い画像１つだけに絞って、位置判定部５３や顔重畳部５７に通知するとともに、解像度の低い人物を撮影したカメラのIDや該人物の位置情報等、冗長なアラームとの対応付けが可能な情報を、警報状態を管理するブザー制御部２０６−４に通知する。これにより冗長な警報が削除される。通知を受けた位置判定部５３は、顔認証による軌跡が優先して表示されるように、物体重畳部５４を制御する。
顔認証部５６はまた、時刻や場所が多少異なっても、同一と判断された人物等に対しては、同一人物が移動したもの（つまり一件の侵入事象）と推定して、古い方のアラームを新しいアラームで上書きする。ここで言う上書きには、例えば古いアラーム受信IDと同じIDを新しいアラームでも使うことなど、これらのアラームを統合できる様々な手法が含まれる。ＨＤＤ２３には、追跡処理部よりも長時間、消失後の軌跡が保持されており、一端途切れた軌跡を連結することができる。
顔認証部５６は、同一と判断された人物等に対しては、解像度やスコアの最も高い画像を１乃至所定数だけ残して、新たな軌跡情報を加えて統合された軌跡情報とともにＨＤＤ２３に記憶させ、記録にない（つまり初めての）人物等に対しては、今の顔画像、物体ID、物体検知部２からの位置情報や軌跡情報（もしあれば）をＨＤＤ２３に記憶させる。なおＨＤＤ２３には、追跡したりモニタ画面へ表示したりする必要のない人物（例えば従業員）の顔をホワイトリストとして記憶させてもよい。この場合顔認証部５６は、ホワイトリストの人物と一致しても何もしない。

顔重畳部５７は、顔認証部５６で得られた顔画像と実際の敷地内の位置情報を使用して、地図画像８０１に物体画像（顔）１２０１を重畳し、ＨＤＤ２３に記録された軌跡情報を使用して地図画像８０１に軌跡８０４−１を重畳する。この重畳は、ユーザが特別な操作をしない限り、顔が検知されなくなった後も所定時間、最後に検知された位置で維持される。顔が検知できなくても追跡処理部３６の追跡が続いていれば、更新された物体画像８０４が最新の位置に表示されうる。
なお、建物内で顔検出された場合や、ある領域内で検出された顔の密度が高い場合、物体画像（顔）１２０１を正確な位置に重畳する代わりに、フロアや領域ごとに吹き出しを作成し、その吹き出しの中に物体画像（顔）１２０１を並べて表示し、軌跡は、特定の物体画像（顔）１２０１を選んだ時だけ表示するようにしてもよい。
以上説明した処理を行うことにより、図９のモニタ表示を実現することが可能となる。重複を削除するには、顔認証の他、ＲＦＩＤ（Radio Frequency IDentification）などによる物理セキュリティーシステムと組合せる方法もある。

次に、図１、図６、図７、図１０を参照して、物体画像をＣＧで表示する機能を有したモニタ表示用ＰＣ１０５について説明する。この機能は主に、図６のＣＧ選択部５８により実現される。図６のモニタ表示用ＰＣ１０５のその他の構成は前述と同様であるため、説明を省略する。

ＣＧ選択部５８は、物体検知部２の物体種別判定部３８で算出された物体種別情報を参照し、ＨＤＤ２３から物体種別にあった物体画像（ＣＧ）１００１を読み込み、地図画像８０１や建物フロア図（鳥瞰）８０２より上のレイヤに描画することで重畳表示する。つまり、図７において、実写の物体画像８０３に代えて、規定のアイコンを表示するようにしたものである。このようにすれば、物体画像８０３を得るためだけに映像受信部２６−１で映像復号処理を行う必要がなくなるほか、物体画像８０３の数が多い場合や不鮮明な場合は、物体画像（ＣＧ）１００１の方が視認性や把握できる情報量に優れる場合がある。例えば不審さの程度に応じて色などを変えることができる。物体画像（ＣＧ）１００１が地図画像８０１にあまり使われていない色であれば、視覚的に目立たせることができ、その色の面積から物体の数などが把握できる。

ただし、物体画像をＣＧにした場合には実際のカメラの映像を見たくなるため、物体画像（ＣＧ）１００１をポインティングデバイス２１２で選択した場合には、映像切替部２６−５は、図７のような表示から、図１０のような表示に切り替える。つまり、図１０では、モニタ部２１０−１には、物体が存在する部分のみの地図画像８０１、建物フロア図（鳥瞰）８０２、カメラアイコン３０２、物体画像（ＣＧ）１００１、軌跡８０４が鳥瞰或いは俯瞰表示され、モニタ部２１０−２には選択されたカメラ映像が座標変換なしにそのまま表示される。さらにモニタ部２１０−１には、表示切替ボタン１１０１が表示される。ユーザが表示切替ボタン１１０１を押すと、映像切替部２６−５は、その表示様態を図７のような連結表示に戻す。

以上説明した様に、物体画像をＣＧで表示する方法は、建物フロア図（鳥瞰）に人数分重畳することが可能となるため、建物が多数存在するような監視場所においては、有益な表示方法である。物体画像をＣＧで表示することで、顔が大きく映っているような場合でも、プライバシー保護した形で外部に証拠画像として容易に提供することができる。また、人が群れているなどして物体の一部しか見えない場合にも、見やすい映像を提供することが可能となる。

実施例２の監視システムは、監視エリアに設けた標識（マーカ）を、複数のカメラで撮像することで、カメラのキャリブレーションを行う画像処理装置２０００を備えたものであり、その他の構成は実施例１の監視システムと同じである。

図１１は、監視カメラで一般的に得られる俯瞰画像を示す図である。広範囲に撮像するため、カメラ１４１を設置する際は、俯角を浅く（水平よりやや下向き）し、道路１４３の奥行き方向が見えるように設置するのが一般的である。しかしこのカメラで見える視野１４２では奥行き方向（カメラ画像１４４をモニタで見るとモニタ画面の上方向）に行くに従い、画面上での距離が縮まって見える。つまり、車１４０が手前を走行している場合と奥を走行している場合とでは画面上でのスケールが異なるため、距離が判る他の情報がないと、カメラから車までの距離を把握するのが困難になる。

そこで、図１１のように仮想的な俯瞰画像１５５に変換することで距離を把握しやすくする。
カメラ１４１で撮影した画像を画像処理により、あたかも真上からカメラで撮影したような画像に変換する。ここではこの真上に位置する仮想的なカメラを俯瞰カメラ１４５と称す。この俯瞰カメラ１４５で撮影した俯瞰視野１４６は、あたかも地図上で矩形に切り取ったように、どの位置でもスケールが一定であり、道路１４３を走行する車１４０の位置が把握しやすくなる。以降、仮想的な俯瞰カメラ１４５で撮影した俯瞰視野１４６内の画像を俯瞰画像１４８と称する。

次にカメラ画像１４４から俯瞰画像１４８を作成するのに必要なカメラの設置条件（以降はカメラパラメータと称する）ついて、図１２乃至図１４を用いて概念的に説明する。
図１２はカメラ支柱１６６の上にカメラ１４１を高さＨの位置に設置した様子を真横から見た状態を示す。このときカメラ１４１は道路１４３に向かって下向きに設置され、カメラ１４１の中心を通る光軸は角度θで距離Ｘだけ離れた車の中心を撮影している。このとき、Ｈ、Ｘ、θには次の式１の関係が成り立つ。

Ｘ ＝ Ｈ × ｔａｎ（θ） ・・・・・ 式１
但し、カメラ支柱１６６と道路１４３は直角を成すとする。この式を変形すると式２のようになる。
θ ＝ ａｔａｎ（Ｘ／Ｈ） ・・・・・ 式２
式２はカメラ１４１の画面中心に映る物体までの距離Ｘとカメラの設置高さＨが分かれば、カメラが向いている角度θが分かることを示す。

さらに、図１３はカメラ１４１とその被写体を真上から鉛直下向き見た状態を示す。
一例として、被写体ａ１７３と被写体ｂ１７４の２つが、レンズ１７２の主点からそれぞれ距離Ｘａ、Ｘｂ離れた場所にあり、被写体ａ１７３の方が被写体ｂ１７４より近くにあるとする。またカメラの光軸は、両被写体の中心に直角に交差する。被写体ａ１７３の端から光軸までの距離がＹａの長さであるときに、その端からの光はカメラ１４１に搭載されたレンズ１７２を通り撮像素子１７１の端に届いているとする。撮像素子１７１の端から光軸までの距離（像高）はＺａとする。この被写体ａ１７３の端からレンズ１７２の主点を通って撮像素子１７１に届く光線は、光軸に対しφａの角度をなす。被写体ｂ１７４と撮像素子１７１に関係する光軸からの距離Ｙｂ、焦点位置での光軸からの角度φｂも被写体ａ１７３と同様である。
また、被写体ａ１７３と被写体ｂ１７４の大きさは同じである場合、被写体表面の光軸から端までの距離は式３の関係にある。

Ｙａ ＝ Ｙｂ ・・・・・ 式３
２つの被写体は同じ大きさであるが、カメラ１４１からの距離が異なるため、式４に示す関係である被写体ｂ１７４の端からレンズ１７２に入る光の角度θｂは、被写体ａ１７３の角度θａよりも小さい。
θａ ＞ θｂ ・・・・・ 式４

図１４は撮像素子と焦点距離の関係を説明するための図である。
図１４は、カメラ１４１が被写体ａ１７３と被写体ｂ１７４を撮影したものであり、図中のφａとφｂは図１３で説明した角度と同じである。但しレンズ１７２を通った後の光の経路を図示しているため、角度φａ、φｂを上下反転して図示している。一般にレンズ１７２内の焦点１８３から撮像素子１７１までの光軸での距離を焦点距離ｆ１８２とする。被写体ａ１７３の端から出た光は撮像素子１７１の表面上で光軸から距離Ｚａ離れた位置に届く。同様に被写体ｂ１７４の端から出た光は光軸から距離Ｚｂ離れた位置に届く。この例では被写体ａ９の端を出た光は撮像素子７のちょうど端に届いている。光軸に対して撮像素子７と被写体ａ１７３、被写体ｂ１７４が直角を成し、光軸が被写体の中心であるとき、距離Ｚａと撮像素子サイズ１８１は式５の関係にある。

撮像素子サイズ ＝ Ｚａ × ２ ・・・・・ 式５
被写体ｂ１７４について図１４を見ると、被写体ｂ１７４の端を出た光が角度φｂで撮像素子１７１に届く。式４の関係から撮像素子１７１に届いた光は光軸から距離Ｚｂの位置であり、式６の関係にある。
Ｚａ ＞ Ｚｂ ・・・・・ 式６
被写体ａ１７３と被写体ｂ１７４は式３に示すように同じ大きさであるが、撮像素子１７１上では式６に示すように被写体ｂ１７４の方が小さくなっている。これは２つの被写体の距離が異なるためであり、遠くにあるほど小さく見えるのはこのためである。

ここで図１３と図１４を合わせると式７と式８の関係にある。
Ｘａ ／ Ｙａ ＝ ｆ ／ Ｚａ ・・・・・ 式７
Ｘｂ ／ Ｙｂ ＝ ｆ ／ Ｚｂ ・・・・・ 式８
式７と式８を距離ＸａとＸｂを求める式に変形すると式９と式１０になる。
Ｘａ ＝ Ｙａ × ｆ ／ Ｚａ ・・・・・ 式９
Ｘｂ ＝ Ｙｂ × ｆ ／ Ｚｂ ・・・・・ 式１０
ここで、ｆは像距離（レンズの主点から像面までの距離）で、用いるレンズ１７２により与えられ、ＺａとＺｂは撮影された画像上で計測できる値であるため、被写体の大きさＹａとＹｂが分かれば被写体までの距離ＸａとＸｂが求まる。
よって、被写体が真横から見たときに光軸上にあるならば、被写体までの距離が求まり、式２のＸに距離を代入することで、大きさが分かっている被写体を撮影しているカメラ１４１の角度θが求まる。

本実施例２では、大きさが分かっている被写体を監視エリアの地面や床に置いて撮影することで、カメラ１４１のカメラパラメータである角度θ等を求める。以降、その被写体をマーカーと称する。
図１５は、マーカー１９２を道路１４３に置いた状態を示す図である。マーカー１９２は大きさが分かっている正方形もしくは長方形であり、その表面の模様から向きが分かるようになっている。説明を容易にするため、マーカーの辺は光軸に直交する場合を例示している。

図１５において、カメラ画像１９１には、道路１４３とマーカー１９２が映っている。モニタ画面１９１の上方向が奥行きにあたるため、マーカー１９２は下辺よりも上辺が短く見えている。これは式６の関係に相当する。像面上でのマーカー１９２の下辺の半分の長さをＺａ、上辺の半分の長さをＺｂとすると、カメラ１４１から上辺、下辺までの距離Ｘａ，Ｘｂは、式９、式１０で求めることが出来る。カメラ１４１の角度θは、設置高さＨが与えられれば、距離Ｘａ，Ｘｂの平均値をＸとして、式２で近似的に求めることができる。
より一般的な条件でカメラパラメータを求めるには、特許文献４や５に記載の手法を用いればよい。

図１６に、本実施例２においてカメラパラメータを計算するマーカー処理部２００２の構成を示す。
入力するカメラからの画像２２０１にはマーカー１９２が映っている。マーカー１９２を探し出すため、直線検出部２２０２は、ハフ変換などを用いて画像内の直線成分を求める。マーカー１９２は所定の大きさであるため、画像中に映るマーカーの大きさ程度の長さの直線に絞って直線をピックアップする。求めた直線の座標を後段のマーカー位置検出部２２０３に出力する。
マーカー位置検出２２０３は、求めた直線の内、四角（奥行きが縮まっているので台形に変形して見える）になっている閉じた直線部分をピックアップする。そしてマーカー１４の中心位置がカメラ画像のどの座標位置にあるかを記憶しておく。
さらに後段のマーカー傾き計算部２２０４では、台形に変形して見えるマーカー１９２の上辺と下辺の長さの割合から、マーカー１９２の上辺と下辺それぞれの、カメラからの距離を求めることが出来る。この直線が傾いて見えても問題は無く、直線の中心位置を距離の始点とすれば良い。
カメラパラメータ算出部２２０５は、マーカー１９２の上辺と下辺のカメラからの距離を元に、カメラの角度θを求めて俯瞰座標変換に使うための情報として出力する。得られたカメラパラメータは、物体検知部２との双方向通信によりワールド座標算出部４０に通知されうる。

一旦カメラパラメータが決定されれば、カメラ画像１９１を俯瞰画像１９３に変換することができる。正方形のマーカー１９２の上辺と下辺は本来、同じ長さであり、俯瞰画像１９１では同じ長さに表れている。カメラ画像（ａ）では奥に行くに従い物体が縮まって見えていたのが、俯瞰画像に変換したことで、奥行きへの縮まりが無くなり奥行き方向への距離が分かりやすくなる。
例えば、手前に映っている１ｍの物体と、最も奥に映っている１ｍの物体が、俯瞰画像（ｂ）では同じ大きさで表示される。つまり、俯瞰画像を作成するには、本来同じ大きさである物体をモニタ画面１９１の上でも同じ大きさになるよう投影すれば良い。

図１８は、複数のカメラで同じ領域を撮影した画像の連結を説明する図である。
カメラＡ２１０３が撮影しているカメラＡ視野２１０４には障害物２１０５があり、カメラＡ死角２１０６が発生している。その死角になり見ることが出来ない領域を撮影するため、カメラＢ２１０１を設置しカメラＢ視野２１０２でカメラＡ死角２１０６の領域をカバーしている。
この図１８のようにカメラが設置されてる場合、カメラＡ視野２１０４とカメラＢ視野２１０２が重なる位置にマーカー２１０７を置く。このマーカー２１０７を基準に各カメラの画像を俯瞰画像に変換する。俯瞰画像に変換後、各カメラの画像を合成して１枚の画像にする。マーカー２１０７の模様は向きが分かるようになっているので、マーカー２１０７がちょうど重なるように、アフィン変換（リサイズと回転）を行ってから合成する。モニタ２１０にはこの合成後の俯瞰画像を表示するので、監視者は複数のカメラ画像を１枚の画像として監視することが出来る。

図１７に、上述の画像変換や合成を行う画像処理装置２０００のブロック図が示される。
画像処理装置２０００は、複数のカメラの入力を受けるため、内部では同じ処理が並列して設けられるが、各カメラで共通な処理はカメラ番号１から入力されるカメラ画像２００１−１の処理を代表して説明する。
カメラ画像２００１−１は、図１６で説明したようなマーカー処理部２００２−１に入力し、マーカーの画像情報からカメラパラメータを算出し、後段の俯瞰座標変換部２００３−１に出力する。

俯瞰座標変換部２００３−１は、入力したカメラ画像２００１−１をマーカー処理部２００２−１で算出したカメラパラメータ（カメラ角度）を元に仮想的な俯瞰カメラで見たような真上からの画像に変換するため、どの画素を俯瞰画像のどこに対応づけるかを算出して、俯瞰画像作成部２００４−１に出力する。
俯瞰画像作成部２００４−１は、俯瞰座標変換部２００３−１で算出した俯瞰画像変換後の座標に各画素を配置して出力する。カメラで撮影した画像ではモニタ画面２００６の上に行くほど大きさが縮まっていたが、俯瞰座標に変換することで同じ大きさの物体であればモニタ画面２００６のどこに置いても同じ大きさになる。
俯瞰画像合成部２００５は、複数のカメラからの俯瞰画像を１枚の画像に合成してモニタ２００６に出力する。

図１９に、俯瞰画像合成部２００５のブロック図が示される。
入力する画像は俯瞰に変換した画像であり、その俯瞰画像がカメラの台数だけ入力される。１、２、・・・、ｎまでのｎ台のカメラが接続されている場合を例に説明する。
俯瞰画像合成部２２０５は、ｎ枚の俯瞰画像のうち、１枚は基準俯瞰画像として、他の俯瞰画像を基準俯瞰画像に合わせて位置を調整する。この例では１番目のカメラの画像から作成した俯瞰画像を基準俯瞰画像と称して説明し、基準俯瞰画像以外の動作説明は２番目のカメラの画像を例に説明する。また、マーカー１９２の位置合わせをするアルゴリズムは色々な手段が考えられるが、ここでは俯瞰画像を回転して基準俯瞰画像と一致するまで回転を続けることでマーカー位置を一致されるアルゴリズムを例に説明する。他の実現手段として直線部分に着目して位置合わせを行うなど、画像処理で使われるパターンマッチング処理であればどのような手段で実現しても構わない。

２番目のカメラ画像から作成した俯瞰画像２４０１−２は、俯瞰画像移動回転部２４０２−２に入力する。マーカー１９２の位置が中心になるよう画像を移動して、小さな角度で、例えば角度１度などで俯瞰画像を回転して、パターンマッチング部２４０３−２に出力する。なお、回転処理に必要なマーカーの中心座標は図１６のマーカー位置検出部２２０３ですでに求めている。
パターンマッチング部２４０３−２は、俯瞰画像と、基準俯瞰画像である１番目のカメラとマーカー画像の同じ画像になるか画素単位で比較を行う。
このときにカメラ毎に明るさが異なる場合があるので、ある程度の明るさのばらつきは許容するようにしておく。例えば、画素の明るさが２５６階調であったならば、１／４の６４階調にして比較するなどの手段がある。もしくは白と黒の明るさが両者で同じ値になるよう明るさの正規化処理を行っても良い。

パターンマッチング部２４０３−２のパターンマッチング結果は、前段の俯瞰画像移動回転部２４０２−２に戻す。パターンマッチングの結果が一致であれば後段の俯瞰画像重ね合わせ部２４０４に回転した俯瞰画像を出力する。
俯瞰画像移動回転部２４０２−２は、パターンマッチング部２４０３−２からパターンマッチングの結果が不一致であるという結果が返った場合、更に俯瞰画像の回転を小さな角度（例えば、１度など）を行う。この結果を戻すループはパターンマッチング結果が一致になるか、３６０度回転まで続ける。
このようにして１番目の基準俯瞰画像と、２〜ｎ番目の俯瞰画像を全て俯瞰画像重ね合わせ部２４０４に入力し、マーカー位置で１枚の画像に重ね合わせて、俯瞰合成画像２４０５として出力する。また、パターンマッチング部２４０３で得られたカメラ間の相対位置を示す情報は、ワールド座標算出部４０に通知されうる。

なお、マーカー１９２のデザインの一例を図２０の（ａ）（ｂ）（ｃ）に示す。
マーカー１９２の外周は黒線で縁取りし、その内側に白い帯、さらに内側に黒線で区切った中をマーカー１９２が回転しても向きが分かるようなパターンにしている。黒枠の内側を白い帯にしたのは上辺と下辺の直線を検出しやすくするためである。マーカー１９２の色は白黒でなくても構わないが、明るさ成分だけで画像処理を行う方が処理を単純化しやすいのと、照明に色が付いても判別しやすい点で白黒のパターンが扱いやすい。またマーカー１９２の各辺が直角に交われば長方形でも構わないが、回転処理を行うために正方形が扱いやすい。

以上説明した様に、本実施例２では、カメラに映ったマーカー１９２を画像の中から探しだしてカメラパラメータを求め、そのカメラパラメータから俯瞰画像に変換するための角度を求める。求めた角度に従い変換した各々の俯瞰画像のマーカー１９２を基準にして１枚に合成してモニタ２００６に出力することで、１枚の俯瞰画像を作成する。
なお、画像処理装置２０００は、別途ハードウェアを備えずとも、モニタ表示用ＰＣ５や物体検知部２のＣＰＵで実現することもできる。
また装置に入力される画像はライブ映像でなくても良く、ハードディスクなどの記録媒体に記憶された画像データや、ネットワークを経由して入力される画像データでも良い。その画像データは画像圧縮処理が施された画像データでもよく、その場合は画像伸張処理を行った後に上記で説明した処理を施せば良い。さらに俯瞰画像の出力先はモニタでなくても良く、ハードディスクなどの記録媒体、ネットワークなどでも良い。
また、複数のカメラで撮影した画像は俯瞰表示だけではなく、カメラで斜め上から見たような鳥瞰表示にしても構わない。真上から見た画像に座標変換する際に使用する傾きの数値を変更するだけで容易に鳥瞰表示にも対応できる。一度全てのカメラ画像を俯瞰表示に変換して１枚の画像に合成した後に、その１枚の俯瞰画像に対して座標変換処理を行い鳥瞰表示に変換しても良い。建物の各フロアを表示する鳥瞰画像を作成する手段として、このマーカーを使っても複数のカメラ画像を合成しても構わない。さらにこのマーカーを使って複数カメラの画像を合成した俯瞰画像や鳥瞰画像に対し、侵入者や侵入物と、その軌跡や顔認証の結果を合成しても構わない。

本発明は、ＣＣＴＶ（Closed-Circuit TeleVision）など、監視の目的で遠隔の映像を表示する装置、システム、管理ソフトウェア等に適用可能であり、業務用のほか、一般家庭や個人に対するサービスとしても提供されうる。

1:カメラ、2:物体検知部、3:映像配信部、4:ＬＡＮ＿ＳＷ、5:モニタ表示用ＰＣ、
21:画像入力Ｉ／Ｆ、22:画像メモリ、23:ワークメモリ、24:CPU、25:画像出力Ｉ／Ｆ、26:プログラムメモリ、26-1:映像受信部、26-2:アラーム受信部、26-3:マップ表示部、26-4:ブザー制御部、26-5:映像切替部、27:ブザー出力I/F、28:モニタ出力I/F、29:データバス、
31:画像取込部、32:背景作成部、33:差分処理部、34:二値化処理部、35:ラベリング部、36:追跡処理部、37:判定処理部、38:物体種別判定部、39:表示用物体領域抽出部、40:ワールド座標算出部、41:表示用軌跡作成部、42:表示用データ作成部、
51:座標変換部、52:マップ作成部、53:位置判定部、54:物体画像重畳部、55:軌跡重畳部、56:顔認証部、57:顔重畳部、58:CG選択部、
212:ポインティングデバイス、210-1,210-2:モニタ部、211:ブザー、
304:警報確認ボタン、305:ブザー停止ボタン、
401:画像入力I/F、402:画像メモリ、403:ワークメモリ、404:ＣＰＵ、405:画像出力I/F、408:ＬＡＮ Ｉ／Ｆ、
801:地図画像、802:建物フロア図(鳥瞰)、803-1,803-2:物体画像、804-1,804-2:軌跡、1001-1:物体画像(CG)、1101:表示切替ボタン、1201:物体画像(顔)、
2000:画像処理装置、2001-1〜2001-n:カメラ画像、2002-1〜2002-n:マーカー処理部、2003-1〜2003-n:俯瞰座標変換部、2004-1〜2004-n:俯瞰画像作成部、2005:俯瞰画像合成部、2006:モニタ部、2202:直線検出部、2203:マーカー位置検出部、2204:マーカー傾き計算部、2205:カメラパラメータ算出部。

Claims (3)

1. 複数のカメラにより撮影された映像を取得する映像取得手段と、該取得した映像から物体を検知する物体検知手段と、映像表示手段と、該映像表示手段に映像を表示する映像表示制御手段を有する監視システムにおいて、
   前記映像表示制御手段は、映像受信部とアラーム受信部とマップ表示部とブザー制御部と映像切替部と座標変換部とマップ作成部と位置判定部と物体重畳部と軌跡重畳部の機能を有し、
   前記映像表示制御手段は、平面の地図画像に前記カメラの配置画像と透視立体物画像を重畳した第１の出力と、前記アラーム受信部でアラームを受信した場合に侵入者または侵入物を表す画像と侵入軌跡と前記カメラの配置画像を平面の地図画像に重畳した第２の出力を有することを特徴とする監視システム。
2. 請求項１に記載の監視システムにおいて、
   前記映像表示制御手段は、さらにＣＧ選択部を有し、
   前記映像表示制御手段は、平面の地図画像に前記カメラの配置画像と透視立体物画像を重畳した第１の出力と、前記アラーム受信部でアラームを受信した場合に侵入者または侵入物を表すＣＧ画像と侵入軌跡と前記カメラの配置画像を平面の地図画像に重畳した第２の出力を有することを特徴とする監視システム。
3. 請求項１に記載の監視システムにおいて、複数のマーカー処理部と俯瞰座標変換部と俯瞰画像作成部と、俯瞰画像合成部を有する画像処理装置を更に設け、
   前記カメラは同じマーカーを撮影し、
   前記マーカーは前後左右の識別可能な図柄を有し、
   前記マーカー処理部はカメラ画像からマーカーを検出し、
   前記俯瞰座標変換部は前記マーカーを基準にカメラ画像に所定回転を施し、
   カメラ画像から俯瞰画像を作成する俯瞰画像作成部は、前記マーカーの２辺以上の長さや傾きから、カメラの高さやカメラが設置されている地面との角度のカメラパラメータを算出し、算出したカメラパラメータを元に仮想的な俯瞰カメラで見たような真上からの画像に変換し、同じ大きさの物体であれば画面のどこに置いても同じ大きさになるように俯瞰画像を作成、もしくは複数のカメラ画像から斜め上の１点から見たような鳥瞰画像を作成し、
   前記俯瞰画像合成部は、複数の俯瞰画像もしくは鳥瞰画像を１つの画像に合成することを特徴とする監視システム。

Images