JP2001319218A - 画像監視装置 - Google Patents

Abstract

(57)【要約】 【課題】画面に表示させた地図上の特定領域を表す画像
を、地図上に精度よくはめ込む。 【解決手段】画像入力部から画像を取りこみ、その取り
込んだ画像を表示装置に表示させ、その画像に対応する
地図を表示装置に表示させ、表示させた画像の少なくと
も一部の画像領域を特定する指示を受けつけ、表示装置
に表示させた地図上の、指示によって特定される画像領
域に対応する領域に、その対応する画像を表示させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はTVカメラで撮像した
画像とその撮像領域を含む地図を表示装置に表示させる
画像処理技術に関する。

【０００２】

【従来の技術】従来の画像処理技術が特開平１０−２１
０４５６号公報に記載されている。この公報には、３次
元ＣＧ技術を利用してカメラの位置から俯瞰する方向に
眺めたディジタル俯瞰地図を作成し、同地域の映像デー
タと重ね合わせ、この重ね合わせた画面の上で災害現場
等の場所をマニュアルで指定し入力することにより、デ
ィジタル地図の上で入力された場所、道路又は区域のデ
ータを自動的に特定することが記載されている。

【０００３】また、従来、異なる画角から複数のカメラ
で撮像した画像を用いて、特定の領域を表示させる場
合、撮像した画像を独立した表示装置で監視を行ってい
た。

【０００４】

【発明が解決しようとする課題】従来の技術では、撮像
した領域に対してディジタル俯瞰地図を作成している、
つまり、撮像領域とディジタル俯瞰地図とは同じ領域を
表示させている。このため、はめ込まれる画像と撮像領
域の大きさを考慮しているとはいえず、撮像する領域よ
りも大きい領域を示す地図（例えば、球技場等を表す図
形）に撮像画像をはめ込むことができなかった。これ
は、画像全体がどの位置に該当するかは容易にわかる
が、画像中の一部の領域が地図上のどこの位置であるか
特定するのは、困難だからである。また、カメラの画角
が変わるような場合さらに困難になる。

【０００５】また、表示装置に表示させているディジタ
ル俯瞰地図（例えば、球技場等を表す図形）上に複数の
カメラで撮像した画像をはめ込む際に、それぞれの画像
が持つ倍率、明るさ、画角による境界の歪みまで考慮し
ていない。つまり、異なる条件の画像同士を組み合わせ
て１枚の画像のように見せることができず、異なる画角
の画像にまたがる移動物体の軌跡を追う事ができなかっ
た。

【０００６】また、このような問題は、サッカー、ラグ
ビー、水球、ハンドボールなどの広域フィールドスポー
ツの映像を、球技場などのＣＧで作成した図形と合成す
る場合に、特に大きくなる。大きな競技場で行われる競
技を撮像し、その撮像された画像から競技者の動きを分
析する場合、全体的な選手の展開（集団的な動き）が把
握できないからである。

【０００７】さらに、撮像した異なる画角の画像から選
手を追跡（軌跡の抽出）しようとすると、画像の境界部
分の軌跡がうまくつながらないため、選手を正確に追跡
することができなかった。

【０００８】本発明の目的は、カメラで撮像した画像と
地図や特定地域の図形とを正確に対応させ、映像に映し
出された対象物の地図上の位置や地図上にある対象物を
撮像した映像を正確に特定できるようにすることにあ
る。

【０００９】また、他の目的は、画角の異なるカメラか
らの画像を組み合わせて、特定の領域を表す1枚の画像
として見えるようにすることにある。

【００１０】

【課題を解決するための手段】本発明の画像監視装置は
次の処理を行なう手段を有している。画像入力部から画
像を取りこむ処理、その取り込んだ画像を表示装置に表
示させる処理、その画像に対応する地図を表示装置に表
示させる処理、表示させた画像の少なくとも一部の画像
領域を特定する指示を受けつける処理、表示装置に表示
させた地図上の、指示によって特定される画像領域に対
応する領域に、その対応する画像を表示させる処理から
なり、これらの処理を行なう手段を画像監視装置が有す
ることにより、撮像した画像を構成する画素の表す位置
が特定できる。

【００１１】さらに、取得した画像、その画像同士間の
倍率や輝度を地図との対応から求めて、その求めた倍率
の画像を地図または図面に貼りつける処理を加えること
で、まるで一枚の画像のように異なる画角の複数の画像
を見ることができる。

【００１２】また、複数のカメラを用いて一定の領域を
表わそうとする場合の、画角の異なる画像の重畳部にお
いて、設定された視角に最も近い画像を優先的に表示さ
せるようにする処理を加えることにより、1枚の画像と
して、見えやすくなる。

【００１３】

【発明の実施の形態】本発明の画像監視装置の実施例を
説明する。

【００１４】図１は本発明の画像監視装置の第一実施例
であって、画像処理部１と、カメラなどの画像入力部１
０と、外部記憶装置１１と、表示装置１２と、指示デバ
イス１３とで構成される。画像処理部１は記憶部２およ
び、記憶部２の一部に含まれる地図保持部３と、制御部
（連繋部）４と、演算計測部５と、表示部６と、操作部
７と、通信部８と、画像メモリ９とを含む構成である。

【００１５】監視員が監視装置を駆動することにより、
監視装置に備えた記憶・記録部に保存されている本発明
に関わる画像監視用プログラムは監視装置の制御部４が
内臓された主メモリに読み込まれ、このプログラムによ
り監視装置の制御部４内の演算装置が各部の制御を行な
う。

【００１６】以下、監視装置の主メモリに読み込まれた
プログラムによって実現される各部の機能について説明
する。表示部６は、表示装置に表示させる表示内容を決
定し、その決定した内容を表示装置１２に表示できるよ
う信号に変換し、表示装置にその信号を送るものであ
る。この表示部６によって、テレビカメラで撮影した監
視画像を表示装置に表示させる機能や、座標データを基
に求められた地図上の位置を表示装置に表示させる機能
が実現される。

【００１７】画像入力部１０は、テレビカメラ等で構成
され、制御部からの要求に応じて、そのテレビカメラで
撮影した画像を入力として制御部に送る機能を有する。

【００１８】操作部７は、ポインティングデバイスやキ
ーボードといったポインティングデバイス１３から、画
像入力部によって受け取った画像の一部（１の画素によ
って表現される点又は複数の画素で表現される画像領
域）を監視対象として特定する監視員の指示を、入力と
して受け付ける機能を有する。

【００１９】この指示の受け付けは、表示部６により、
表示装置に監視画像が表示されている間に行われるよう
にする。このように、監視画像を表示させている間に、
指示を受け付けることができると、監視員は監視画像を
見ながら操作することができるので、監視者の指示が的
確になるので、入力効率を向上させることができる。

【００２０】また、この操作部７は、後述する記憶・記
録部に記録されている地図データを特定する監視者の指
示の入力を受け付ける機能も有する。なお、この入力
も、地図データ（座標データを含む）に基づいた地図が
表示装置の画面上に表示されている間に行なうことがで
きるようにすると、監視者は地図を見ながら操作でき、
監視者の入力効率を向上させることができる。

【００２１】記憶部２は、座標データを含む地図デー
タ、画像入力部によって受け取った監視画像の画像デー
タ、及び後述する連繋部の連繋に必要なデータ（座標デ
ータと画像データとの対応を規定する対応関係データ）
を記録している。また、特に、地図データは記憶部２内
の地図・図面データ保持部３に記録している。

【００２２】制御部（連繋部）４は、演算制御部５に、
監視画像と記憶部２に記録されている地図上での位置の
座標データとを対応付けさせる。この演算制御部５の対
応付けは、井口征二著：「三次元画像計測」：昭晃堂
（１９９０）：PP91〜99にある透視変換演算を使う。

【００２３】通信部８は、地図保持部３にあらかじめ保
持すべき情報を別のシステムから参照したり、表示部６
に表示する画像を別のシステムで利用する為に出力した
り、画像入力部１０による画像以外に、他のシステムに
よる画像を入力するときに用いるもので、これらの要求
が無いときは必要が無い。

【００２４】画像メモリ９は、画像入力部１０の画像を
処理や表示の為に一時的に保持する記憶装置である。外
部記憶装置１１は地図保持部３に記憶すべき内容を参照
するときや、演算計測部５の処理結果を記録するときに
用いる。

【００２５】図２は第一実施例の画像監視装置の第一運
用例であり、運動場や駐車場や飛行場や港湾などを俯瞰
する画像入力部１０がサッカー場の画像を取得した場合
のものである。

【００２６】図３(a)は第一の運用例における、画像入
力部１０の取得する画像であり、図３(b)は地図保持部
３の保持する図面である。

【００２７】図３(b)の例ではサッカーグランドの図面
であるが、２次元座標系で位置決め可能なものなら何で
も良く、例えば監視対象が駐車場や飛行場であればこれ
らの設計図に座標系を付けたものでもよいし、港湾や河
川流域などの広い領域は地図でもよい。

【００２８】監視動作のために、図３(a)の画像入力部
１０の取得する画像にも２次元の座標系を定める必要が
あり、画像入力部１０の画像に対して設定してもよい
し、画像入力部１０の取得画像を表示する表示部６の画
像に対して設定してもよい。

【００２９】以上説明したように、図３(a)と(b)にそれ
ぞれ座標系を設定して、例えば、画像上のA1、A2、A3、
A4とそれぞれに対応する図面上の点B1、B2、B3、B4を設
定すると、後に説明するカメラパラメータC11、C12、C1
3、C21、C22、C23、C31、C32が決まる。

【００３０】カメラパラメータは画像入力部１０の画角
に関するパラメータであって、画角設定時にカメラキャ
リブレーション処理によって求めて、記憶部２に記録す
る。

【００３１】監視動作において、監視員が例えば図３
(a)の地点E1を指示すると、演算計測部５が前記カメラ
パラメータを使って計算し、地点E1に対応する図面上の
点E2が選択される。今後、この様な画像入力部１０取得
の画像上の指示点を地図保持部３の地図または図面上の
選択点への対応付けを順方向対応付けあるいは順変換と
名付ける。

【００３２】また、監視動作において監視員が例えば図
３(b)の地点F1を指示すると、演算計測部５が前記カメ
ラパラメータを使って計算し、地点F1に対応する前記取
得画像上の点F2が選択される。今後この様な地図保持部
３の地図または図面上の指示点を画像入力部１０取得の
画像上の選択点への対応付けを逆方向対応付けあるいは
逆変換と名付ける。

【００３３】これらの順・逆変換により、画像入力部で
取り出した監視画像の一部を特定可能な入力を行った場
合、その点（表示領域）があらわす地図上の座標や住所
等の位置を特定すること等、ができるようになる。以
下、これらを利用した監視装置の態様について説明して
いく。

【００３４】本実施例の画像監視装置の第一運用例を、
運動場の人の移動監視を例として説明する。図４(a)は
運動場の画像入力部１０から取得した画像であり、図４
(b)は運動場の図面である。例えば、ある瞬間の前記取
得画像に対して監視員が人物P1と人物P2を指示すると、
演算計測部５は順変換により、それぞれに対応して選択
点Q1とQ2を返してくる。同時に演算計測部５はQ1とQ2の
距離を計算して結果を表示部６、記憶部２、通信部８あ
るいは外部記憶装置１１に出力することで、監視員は人
物P1と人物P2の距離を知ることができる。

【００３５】また、監視員が図面上の点Q3を指示して、
Q3から所定の距離以内の、人物の有無を調べようとする
と、演算部５はＱ3から所定の距離以内の人物を検索す
ると共に、半径が該所定距離の円４０の、円周上の点を
逆変換により前記取得画像上の点に対応付けて楕円４１
として示すことができる。

【００３６】また、監視員が数秒隔たる２枚のフレーム
に対して前記取得画像上の同一人物を指示すると、演算
部５が順変換により該同一人物の各々の時系列画像にお
ける該人物の該図面上の座標を求まり、該数秒間の移動
距離および移動速度を求めることができる。

【００３７】ここで、第一実施例の画像監視装置の監視
動作の流れを図５に示す。〈ステップ５０１〉本発明の
画像監視装置の初期設定をする。これは、画像入力部１
０、記憶部２、制御部４、演算計測部５、表示部６、操
作部７、通信部８、画像メモリ９、外部記憶装置１１の
起動以外に、前記カメラパラメータC11、C12、C13、C2
1、C22、C23、C31、C32を設定する。設定の仕方は後述
のカメラキャリブレーション処理による方法と、既に設
定済みのカメラパラメータC11、C12、C13、C21、C22、C
23、C31、C32を、通信部８を介して参照してもよいし、
外部記憶装置１１から読み込んでもよい。また、あらか
じめ記憶部２に記憶させておくこともできる。

【００３８】〈ステップ５０２〉画像入力部１０による
取得画像を画像メモリ９に保持する。〈ステップ５０
３〉画像メモリ９には最新の取得画像だけでなく、過去
の数枚分の時系列画像を保持することもできる。過去の
数枚分の画像は物体の運動ベクトルを計算するときに必
要となる。

【００３９】〈ステップ５０４〉監視員による操作部７
の操作の有無を確認する。該監視員による操作部７の操
作が無い場合はステップ５１２の表示画像作成に分岐す
るが、操作がある場合はステップ５０６の割込み解釈に
分岐する。

【００４０】〈ステップ５０５〉ステップ５０４の割込
みチェックに従い分岐する。〈ステップ５０６〉監視員
の操作の内容を判定し、終了操作の場合は終了処理を行
い、前記取得画像または地図の指示操作の場合はステッ
プ５０７に進む。

【００４１】〈ステップ５０７〉監視員の操作部７の操
作によって指示されている部分の座標値を検出すると共
に、前記してき座標が前記取得画像上か、地図上かを判
定し、前記指示部分が前記取得画像の場合はステップ５
１０の順変換に分岐し、前記指示部分が地図上の場合は
ステップ５０９の逆変換に分岐する。

【００４２】〈ステップ５０８〉ステップ５０７の条件
に応じてステップ５０９またはステップ５１０に分岐す
る。〈ステップ５０９〉逆変換によって、地図上の指示
座標に対応する前記取得画像上の座標を求める。逆変換
の詳細は後述する。〈ステップ５１０〉順変換によっ
て、前記取得画像上の指示座標に対応する地図上の座標
を求める。順変換の詳細は後述する。

【００４３】〈ステップ５１１〉該監視員の操作に応じ
て計測処理と記録処理を行う。例えば第一の運用例で説
明すると、図４(a)に示す監視画像のある時系列画像に
おいて、該監視員が人物P1と人物P2の足元を指し示す
と、図４(b)の図面上のそれぞれ対応する点Q1とQ2の座
標が選られるから、該座標を用いて人物P1と人物P2の距
離を計算したり、数枚分の時系列画像に亘って人物P1と
人物P2の座標を記録して軌跡データとすることができ
る。

【００４４】また、数枚分の時系列画像に亘り、同一人
物の足元を指し示すことで、該人物の移動ベクトルを求
めることもできる。

【００４５】また、図４(b)の図面上の点Q3を指示し
て、所望の値を与えると、前記値を半径としてQ3を中心
とする円４０を描くことができ、円４０の円周上の点を
図４(a)の表示画像上の点に対応付けることで楕円４１
を表示画像上に描くことができる。楕円４１は点Q3を中
心とし、所望の半径内の領域なので、該領域内に誰が存
在するのかが容易に判定できる。

【００４６】次に、第一実施例の画像監視装置の第二運
用例を説明する。図６は、本運用例の駐車場監視システ
ムに用いる画像で、図６(a)は駐車場の俯瞰した画像入
力部１０取得の画像であり、図６(b)は該駐車場の図面
である。駐車場監視員は図６(a)の前記取得画像の中
で、車両が出入りする駐車スペースを指示することで、
図６(b)の駐車場図面の対応点が選択され、該選択場所
に満空情報が記録されて駐車場管理を行うことができ
る。例えば車両６０を指示すると、駐車スペース６１が
選択される。

【００４７】また、該駐車場監視員が図６(b)の駐車場
図面の、所定の駐車スペースを指示すると図６(a)の前
記取得画像の対応点が選択されて点滅やマーク付けで強
調して表示することができる。例えば駐車スペース６２
を指示すると前記取得画像の６３を点滅表示することが
できる。

【００４８】次に図７に基づき、第一実施例の画像監視
装置の第三の運用例を説明する。図７は港湾監視システ
ムに用いる画像で、図７(a)は俯瞰の画像入力部１０取
得の画像であり、図７(b)は港湾の地図である。表示画
像図７(a)において、港湾監視員は船舶７１と船舶７２
と、船舶７３を指示すると、港湾地図の図７(b)上の対
応点として、それぞれ位置７４と、位置７５と、位置７
６が選択される。更に数秒後に同一の船舶を指示すると
数秒間の該船舶の移動ベクトルを検出でき、お互いの衝
突の危険性を判定できる。

【００４９】また、該船舶は地図上の存在位置が知れて
いるので、浅瀬に乗り上げる危険性を判定することも可
能で、該港湾監視員が該船舶に対して警告を与えること
もできる。

【００５０】また、例えば船舶７３が油漏れを起こした
場合、該港湾監視員が図７(a)の前記取得画像で油汚れ
の範囲７７を囲むと、該油汚れ範囲が図７(b)の地図上
に汚れ範囲７８として反映される。

【００５１】更に図７(b)の地図に海流情報が接続され
ていると該油汚れの広がる様子を予測シミュレーション
できて、数時間後の油汚れ範囲７９を図示すると共に、
図７(a)の前記取得画像に汚れ予測領域７１０として表
示することもできる。

【００５２】次に、図８に基づき、第一実施例の画像監
視装置の第四の運用例を説明する。図８は空港監視シス
テムに用いる画像で、図８(a)は画像入力部１０取得の
俯瞰画像であり、図８(b)は空港の図面である。

【００５３】前記取得画像の図８(a)において、空港監
視員は駐機機体８０と、駐機機体８１と、駐機機体８２
を指示すると演算計測部５の作用で、空港図面の図８
(b)の対応位置８３と、対応位置８４と、対応位置８５
が選択され、強調表示することもできる。例えば機体８
１が事故で爆発炎上の危険が生じたとき、該空港監視員
は図８(a)の機体８１を指示して、図８(b)の図面上に事
故機８４を中心に危険区域の枠８６を描くことができ
る。

【００５４】ここで、危険区域の枠８６内の駐機機体
や、建物内の人員に避難勧告を告げることができる。同
時に演算計測部５の動作で危険区域枠８６に対応する領
域を俯瞰表示画像図８(a)内に危険区域８７と表示可能
であり、空港監視員は危険区域８７内に消防士以外の人
員の立入りをリアルタイムで監視できる。

【００５５】次に図９に基づき、第一実施例の画像監視
装置の第五運用例を説明する。図９は河川監視システム
に用いる画像で、図９(a)は河川の、画像入力部１０取
得の画像であり、図９(b)は地図である。図９(a)河川の
前記取得画像において、河川監視員は堤防決壊箇所９０
を指示すると、演算計測部５の機能で図９(b)の地図上
の位置９１が対応付けられる。この時、該地図の高低情
報を使って位置９１における浸水シミュレーション機能
を動作させると、所定時間後の予測浸水領域９２が示さ
れる。浸水シミュレーションは各自治体の河川管理事務
所で用いているものを利用できる。

【００５６】演算計測部５の機能で予測浸水領域９２を
変換して、図９(a)の河川の表示画像に予測浸水領域９
３を重ねて表示できる。また、図９(a)の河川表示画像
で、河川の両岸を指示することで、演算計測部５の機能
で川幅をリアルタイムで計測することが可能で、計測さ
れた川幅から流水量を推定し、前記浸水シミュレーショ
ン機能に前記流水量を入力することで、シミュレーショ
ンと予測の高精度化を図れる。

【００５７】以上説明したように、本発明の画像監視装
置の第一実施例は画像空間と地図または図面上の対応付
けがある為に、双方向の行き来が容易であり、監視画像
中の注視点を地図上に求めたり、地図上の位置を監視画
像中に表示できる。更に、地図情報と連繋して流水、洪
水シミュレーションを起動させて高度な監視と予測が可
能となる。

【００５８】次にカメラパラメータC11、C12、C13、C2
1、C22、C23、C31、C32を求めるためのキャリブレーシ
ョン法を説明する。

【００５９】図１０(a)は表示部６の、画像入力部１０
取得の画像座標系ｘ−ｙの図であり、左上隅を原点と
し、水平方向にｘ軸をとり、垂直方向にｙ軸をとってい
る。図１０（ｂ）はサッカーグランドの図面の座標系Ｘ
−Ｙ−Ｚであり、サッカーグランド中心を原点とし、両
ゴール方向をＸ軸、直交方向にＹ軸、サッカーグランド
面に対して鉛直に空の方向にＺ軸をとる。

【００６０】本発明の画像監視装置は、監視領域内の物
体は前記監視領域の広さに比べて高さを無視できるくら
いに十分に低いとみなしている。したがって、該図面座
標系のZ軸の値は常に0であり、該表示画像座標から該図
面座標系への変換は２次元座標系から２次元座標系の変
換となり、カメラパラメータはC11、C12、C13、C21、C2
2、C23、C31、C32の８個である。この時、前記取得画像
座標(x,y)と図面座標(X,Y)の間には（式１）、（式２）
の関係がある。

【００６１】

【数１】

【００６２】

【数２】

【００６３】式１は式２と同値である。式２でHを消去
し、カメラパラメータを未知数として整理すると式３と
なる。式３と式４は同値である。

【００６４】

【数３】

【００６５】

【数４】

【００６６】図１０(a)の任意の点、たとえば点１０１C
の座標(x1,y1)と対応するワールド座標の点１０１Wの座
標(X1,Y1)の対が既知であるとすると、式４は式５とな
る。

【００６７】

【数５】

【００６８】求むべき未知数のカメラパラメータは８個
なので、式４を解くには８本の連立方程式が必要である
が、前記既知の取得画像座標と図面座標の１対につき式
５のごとく式が２本できるから、４対以上の既知の取得
画像座標と図面座標の対があればキャリブレーションは
可能であって、カメラパラメータC11、C12、C13、C21、
C22、C23、C31、C32を算出できる。

【００６９】図１０の取得画像と図面座標には101Cと10
1W、102Cと102W、103Cと103W、104Cと104W、105Cと105
W、106Cと106W、107Cと107W、108Cと108Wの８個の対を
示している。この中から一直線上にない４対以上を選択
すればよい。たとえば、103Cと103W、104Cと104W、105C
と105W、106Cと106W、107Cと107W、108Cと108Wの６対を
選び、座標がそれぞれ、(x1,y1)と(X1,Y1)、(x2,y2)と
(X2,Y2)、(x3,y3)と(X3,Y3)、(x4,y4)と(X4,Y4)、(x5,y
5)と(X5,Y5)、(x6,y6)と(X6,Y6)であったとすると式６
となる。

【００７０】

【数６】

【００７１】ここで、式７〜式９と置くと、式６は式１
０になる。

【００７２】

【数７】

【００７３】

【数８】

【００７４】

【数９】

【００７５】

【数１０】

【００７６】

【数１１】

【００７７】そして、式１１によってC、すなわち８個
のカメラパラメータC11、C12、C13、C21、C22、C23、C3
1、C32を得る。ここで、A_tはAの転置行列を表わし、(A_t
・A)~¹はA_t・Aの逆行列を表わす。以上がカメラキャリ
ブレーションである。

【００７８】次にステップ５０９の逆変換、即ちカメラ
パラメータC11、C12、C13、C21、C22、C23、C31、C32を
用いて図面座標を取得画像座標に変換する処理を説明す
る。まず、式２の第３式に既知である図面座標(X,Y)を
代入してHを求める。次に第１式と第２式に既知のHと
(X,Y)を代入して未知の取得画像座標(x,y)が求まる。

【００７９】次にステップ５１０の順変換、即ちカメラ
パラメータC11、C12、C13、C21、C22、C23、C31、C32を
用いて取得画像座標を図面座標に変換する処理を説明す
る。まず、式２のHを消去して、図面座標(X,Y)を未知数
として整理すると式１２になる。

【００８０】

【数１２】

【００８１】式１２は逆行列を使って、式１３と表わさ
れる。

【００８２】

【数１３】

【００８３】式１３で、取得画像座標(x,y)はステップ
５０７の位置指し示し操作による既知座標であるから、
未知の図面座標(X,Y)を求めることができる。

【００８４】ところで、前記カメラキャリブレーション
で取得画像座標(x,y)、図面座標(X,Y)のカメラパラメー
タC11、C12、C13、C21、C22、C23、C31、C32を求めた上
で、第２のカメラパラメータD11、D12、D13、D21、D2
2、D23、D31、D32を設定して式１４とおき、第２のカメ
ラキャリブレーションで第２のカメラパラメータD11、D
12、D13、D21、D22、D23、D31、D32を求めると、式１５
を用いて、取得画像座標(x,y)から図面座標(X,Y)への順
変換ができる。この演算は式２を用いて逆変換する演算
と同じ形式である。

【００８５】

【数１４】

【００８６】

【数１５】

【００８７】すなわち、式２でH、x、yをそれぞれH’、
X、Yに置き換え、更に式２で第１カメラパラメータを第
２カメラパラメータに置き換え、更に式２でX、Yをそれ
ぞれx、yに置き換えれば式１５と一致する。

【００８８】つまり、第１カメラパラメータと第２カメ
ラパラメータを保持すれば、式２に関する演算で順変換
と逆変換の両方を行うことができる。これは１つのハー
ドウェアで順変換と逆変換の２つの処理できることを意
味し、回路規模の集約に役立つ。

【００８９】次に、本発明の画像監視装置の第二実施例
を説明する。第二実施例は画像監視装置の表示方法の一
例に関するものである。構成要素は第一実施例と同様
で、図１の通りである。図１１(a)は画像入力部１０の
取得の画像である。一方、図１１(b)は前記取得画像を
演算計測部５にて変換して、地図または図面に貼り付け
て表示した変換貼り付け画像である。

【００９０】図１１(b)の変換貼り付け画像を作成する
には前記地図または図面上の地点に対応する前記取得画
像の地点を求め、前記取得画像の該地点の輝度及び色情
報を前記地図または図面上の該地点に貼り付ける処理を
繰り返す。

【００９１】例えば、変換貼り付け画像上の地点１１２
の座標は前記地図または図面上の座標であるが、前述の
逆変換を加えると、地点１１２に対応する図１１（ａ）
原画上の地点１１３の座標が求まる。そこで、地点１１
３の輝度及び色情報を地点１１２に貼り付ける。この処
理が可能なのは、図１１（ａ）の原画領域と図１１
（ｂ）の地図、または図面領域で対応地点の存在する領
域に限る。

【００９２】以上に説明した処理を前記対応地点の存在
する領域全面に亘って行った結果、前記取得画像の変換
貼り付け部である、多角形部１１１が作成される。

【００９３】画像入力部１０が新たに画像を取得するた
びに上述の処理を行えば、多角形部１１１は動画像とな
り、該領域に運動物体が有れば、その動きをあたかも真
上から俯瞰したかのように監視することができる。

【００９４】以上に説明した変換貼り付け処理は演算計
測部５において実行されるが、その動作の流れを図１２
に示す。〈ステップ１２１〉表示部６に前記地図または
図面を表示する大きさを決定し、大きさに応じて前記地
図または図面の座標を線形に大きさ変換する。

【００９５】〈ステップ１２２〉画像入力部１０取得の
画像と、ステップ１２１において線形変換された地図ま
たは図面との間でカメラパラメータを求めた上で、前記
取得画像と前記地図または図面との座標の対応関係から
座標変換表を作成する。

【００９６】〈ステップ１２３〉画像入力部１０によっ
て画像を入力する。〈ステップ１２４〉前記地図または
図面座標を走査し、ステップ１２２による前記座標変換
表を参照して、前記地図または図面上の地点に対応する
前記取得画像の地点の座標を求める。

【００９７】〈ステップ１２５〉前記取得画像の地点の
座標に位置する輝度情報と色情報を取得する。〈ステッ
プ１２６〉画像メモリ９の所定の位置に前記輝度情報と
色情報を書き込む。〈ステップ１２７〉前記地図または
図面座標の走査処理の完了をチェックし、走査が未完な
らばステップ１２４に戻る。走査が完了していれば、ス
テップ１２８に進む。

【００９８】〈ステップ１２８〉ステップ１２４からス
テップ１１７までの処理サイクルでメモリ９上に多角形
部１１１が形成されているが、多角形部１１１の周辺で
輝度情報と色情報が欠如している部分について所定の輝
度と色情報を貼り付けたり、地図または図面を貼り付け
たり、あるいはコンピュータグラフィックスで合成した
画像を貼り付けたりして表示部９に表示する画像を作成
する。

【００９９】〈ステップ１２９〉ステップ１２８で作成
した画像を表示部９に表示する。このとき、１つの画像
に図11(a)の取得画像と図11(b)の変換貼り付け画像を同
時に表示してもよい。

【０１００】〈ステップ１２１０〉監視員による終了命
令の有無を確認し、終了命令の有った場合は一連の動作
を終了し、終了命令の無いときはステップ１２３に戻
り、以後ステップ１２３からステップ１２１０までの処
理サイクルを繰り返す。

【０１０１】以上説明したように、第二実施例の画像監
視装置は、あたかも真上から監視領域を俯瞰しているよ
うに画像変換して表示するので、奥行き方向の、物体の
移動の様子を理解しやすいという効果がある。

【０１０２】次に本発明の画像監視装置の第三実施例を
説明する。図１３は第三実施例の図であって、画像入力
部１３１５から画像を受ける画像処理部１３８と、画像
入力部１３１６から画像を受ける画像処理部１３１４
と、統合処理部１３０からなっている。画像処理部１３
８は画像入力部１３１５の取得画像を処理するものであ
って、制御部１３９と、画像メモリ１３１０と、記憶部
１３１１と、演算計測部１３１２と、通信部１３１３か
らなる。

【０１０３】制御部１３９の制御により画像入力部１３
１５取得の画像を画像メモリ１３１０に保持し、画像メ
モリ１３１０保持の画像もしくは、画像を演算計測部１
３１１で変換したものを、通信部１３１３を介して外部
に通信する。記憶部１３１１は演算計測部１３１２の演
算に用いるカメラパラメータを記憶している。このカメ
ラパラメータは、画像処理部１３８の監視動作に先立
ち、通信部１３１３を介して外部から読み込むことがで
きる。

【０１０４】画像処理部１３１４は画像処理部１３８と
同様の構成で、画像入力部１３１６取得の画像を処理し
て外部に通信する。また、画像処理部１３８は通信部１
３１３を介して制御部１３９を操作することで外部から
制御可能であり、画像処理部１３１４も同様に通信によ
って外部から制御可能である。

【０１０５】統合処理部１３０は制御部１３１と、通信
部１３２と、記憶部１３３と、演算計測部１３４と、操
作部１３５と、表示部１３６と、画像メモリ１３７で構
成される。監視員の操作は操作でバイス１３から操作部
１３５を介して制御部１３１に伝えられ、動作結果は表
示部１３６を介して表示装置１２に表示させたり、記憶
部１３３に記録したり、通信部１３２を介して外部装置
を使って確認することもできる。

【０１０６】次に、本発明の画像監視装置の第三実施例
による監視動作の概略を説明する。画像入力部１３１５
と画像入力部１３１６を所定の画角に固定する。これ
は、設置工事の際に固定してもよいし、可動式雲台を制
御して所定の画角に定めてもよい。

【０１０７】次に画像入力部１３１５と画像入力部１３
１６の取得画像領域の地図または図面を記憶部１３３に
記憶させる。記憶部１３１１と画像処理部１３１４内蔵
の記憶部にもそれぞれ取得画像に関わる地図または図面
を、通信部１３２を介して送る。

【０１０８】次に前記固定された画角に対するカメラパ
ラメータを求める為に、画像入力部１３１５から取得し
た画像を通信部１３２と、通信部１３１３を通じて画像
メモリ１３７に転送し、表示部１３６を介して表示装置
１２に表示させる。その後のカメラパラメータの導出
は、カメラパラメータC11、C12、C13、C21、C22、C23、
C31、C32を求めるための、キャリブレーション法の説明
の通りである。画像入力部１３１６から取得した画像に
対するカメラパラメータも同様に、通信部１３２を介し
て画像メモリ１３７に記録された、画像入力部１３１６
から取得した画像に対して行う。

【０１０９】監視動作時は、画像入力部１３１５の取得
画像は画像メモリ１３１０と、通信部１３１３と、通信
部１３２を経由して画像メモリ１３７に保持される。一
方、画像入力部１３１６の取得画像は画像処理部１３１
４の画像メモリと通信部及び通信部１３２を経由して画
像メモリ１３７に保持される。画像メモリ１３７に保持
された前記２つの画像は表示部１３６に表示され、監視
員の監視を受ける。

【０１１０】画像入力部１３１５から取得した画像は画
像メモリ１３７に達するまでに、演算計測部１３１２と
演算計測部１３４による変換を受けることができる。画
像入力部１３１６から取得した画像は画像メモリ１３７
に達するまでに、画像処理部１３１４の演算計測部と演
算計測部１３４による変換を受けることができる。

【０１１１】次に本発明の画像監視装置の第三実施例の
動作を説明する。図１４は動作を説明する図であって、
図１４(a)は画像入力部１３１５による原画像で、図１
４(b)は画像入力部１３１６による原画像であり、図１
４(c)は画像入力部１３１５と画像入力部１３１６の取
得画像を含む地図または図面である。ここで、例えば、
地点１４０と地点１４１は同一地点であり、地点１４２
と地点１４３は同一地点である。

【０１１２】監視動作時において、図１４(a)と図１４
(b)は等しい大きさの枠内で表示部１３６に表示されて
いる。この時、監視員が操作部１３５を用いて地点１４
１を指示すると、対応する地点１４０を含む図１４(a)
の取得画像に強調マークが入ったり、あるいは図１４
(a)の取得画像が表示部１３６に大きく表示され、図１
４(b)の取得画像は小さい表示になったり、背後に回っ
たり、表示されなくなったりすることができる。

【０１１３】また、監視員が操作部１３５を用いて地点
１４２を指示すると、対応する地点１４３を含む図１４
(b)の取得画像に強調マークが入ったり、あるいは図１
４(b)の取得原画が表示部１３６に大きく表示され、図
１４(a)の取得画像は小さい表示になったり、背後に回
ったり、表示されなくなったりすることができる。以上
の処理の流れを図１５に示す。

【０１１４】〈ステップ１５０〉初期設定として、画像
入力部１３１５取得の画像と画像入力部１３１６取得の
画像に対するそれぞれのカメラパラメータを記憶部１３
４に記憶し、画像処理部１３８の制御部１３９と画像処
理部１３１４の制御部に対して画像通信要求を出す。

【０１１５】〈ステップ１５１〉制御部１３１は通信部
１３２を介して画像処理部１３８と、画像処理部１３１
４から画像を受信すると画像メモリ１３７に記憶する。
〈ステップ１５２〉前記監視員が操作部１３５を操作し
て発生する割込みを受けた場合はステップ１５３に進
む。一方割込みを受けない場合はステップ１５８に進
む。

【０１１６】〈ステップ１５３〉前記割込みの意味を解
釈し、終了要求であれば監視を終了する。地図または図
面上の指示であればステップ１５４に進み、標準表示モ
ードの要求であればステップ１５５に進む。

【０１１７】〈ステップ１５４〉指示されている地図ま
たは図面上の座標値を取得する。〈ステップ１５６〉前
記カメラパラメータを用いて逆変換処理を行い、前記地
図または図面上の指示地点に対応する取得画像の座標値
を求める。

【０１１８】〈ステップ１５７〉前記指示地点に対応す
る取得画像の座標値が画像入力部１３１５取得の画像
か、画像入力部１３１６取得の画像かを判定し、該当す
る画像を選択する。そして、選択画像を図面の拡大率
（倍率）と一致させるように、画像の拡大率を変える。

【０１１９】また、前記地図または図面上の指示地点に
対応する座標が画像入力部１３１５による画像と画像入
力部１３１６による画像の両方に含まれる場合、画像の
選択条件は事前に定める方式に従う。例えば、前記地図
または図面上の指示地点に対応する座標を含む画像の中
でもっとも拡大率の大きいまたは小さい画像を選択した
り、カメラ俯角の最も深い画像を選択することで見易く
する。更に、画像の明るさが異なると境界が見にくくな
るので、輝度を一致させる。

【０１２０】〈ステップ１５５〉前記表示条件を、例え
ば画像入力部１３１５による画像と画像入力部１３１６
による画像を同じ大きさの外形枠で並べて表示するな
ど、起動時の条件に戻す。〈ステップ１５８〉前記表示
条件に従い表示画像を作成する。〈ステップ１５９〉表
示部１３６にステップ１５８作成の表示画像を表示して
ステップ１５１に戻る。

【０１２１】以上、本発明の画像監視装置の第三実施例
について、二組の画像入力部と画像処理部の構成で説明
したが、画像入力部と画像処理部の組を更に増やすこと
は可能である。

【０１２２】このように、本発明の画像監視装置の第三
実施例によれば、複数カメラで監視を行う場合に、監視
画像上を指示するだけで地図上の位置が分かるのに加え
て、地図上で確認したい場所を指示すると、複数のカメ
ラの中で最も適した画角のカメラが選択されて表示装置
の映し出され、更にその表示上に、前記指示した位置が
重ね表示されるので、迅速で効率的な監視業務が可能と
なる。

【０１２３】次に本発明の画像監視装置の第四実施例を
説明する。本発明の画像監視装置の第四実施例は監視画
像の表示法に関するもので、構成要素は第三実施例と同
様で、図１３の通りである。

【０１２４】図１６は第四実施例を説明する図であっ
て、図１６(a)は画像入力部１３１５取得の画像で、図
１６(b)は画像入力部１３１６取得の画像である。一
方、図１６(c)は画像入力部１３１５取得の画像を演算
計測部１３１２で変換した画像と、画像入力部１３１６
取得の画像を画像処理部１３１４の演算計測部で変換を
加えたものを該当する地図または図面上に貼り付けた画
像である。

【０１２５】演算計測部１３１２での、画像入力部１３
１５が取得した画像の変換法は、第二実施例と同様に、
前記地図または図面上を走査して、逆変換処理を用い
て、画像入力部１３１５取得の画像上の対応点から輝度
情報と色情報を取得して、前記地図または図面中に貼り
付けるものである。画像処理部１３１４の演算計測部で
の、画像入力部１３１６が取得した画像の変換法も同様
に、前記地図または図面上を走査して、逆変換処理を用
いて、画像入力部１３１６取得の画像上の対応点から輝
度情報と色情報を取得して、前記地図または図面中に貼
り付けるものである。

【０１２６】図１６(c)の多角形１６１は、画像入力部
１３１６取得画像に変換を加えて貼り付けたものであ
り、多角形１６０は、一部多角形１６１に隠れて破線で
表わしているが、画像入力部１３１５取得画像に変換を
加えて貼り付けたものである。多角形１６０と多角形１
６１の重なり部分１６２には、画像入力部１３１５が取
得した画像と、画像入力部１３１６が取得した画像の、
いずれの輝度情報と色情報を用いるはあらかじめ決める
規則に従う。

【０１２７】前記規則としては該当地点からの距離が近
い方の画像入力部取得の画像を用いるとか、拡大率の大
きい方または小さい方の画像入力部取得の画像を用いる
とか、該当地点に対する俯角の大きい方の画像入力部取
得の画像を用いるとか、平均輝度を一致させるとかの規
則を定めることができる。

【０１２８】画像入力部１３１５と画像入力部１３１６
が新たに画像を取得するたびに以上の処理を行えば、多
角形部１６０と多角形１６１は動画像となり、該領域に
運動物体が有れば、その動きをあたかも真上から俯瞰し
たかのように監視することができる。

【０１２９】以上説明したように、本発明の画像監視装
置の第四実施例によれば、画角の異なる複数のカメラに
よる画像を一画像に合成し、監視領域をあたかも真上か
ら俯瞰したかのように監視することができるので、移動
物体の動きや、監視領域の全体像を理解しやすいという
効果がある。また、第四実施例ではカメラ毎の明るさや
色合いの違いが合成結果に現れることがあるが、これを
補正するためにカメラ毎の平均輝度を合わせることもで
きる。

【０１３０】また、先に本発明の画像監視装置の第一実
施例として説明した運動場の人の移動監視と、駐車場監
視システムと、港湾監視システムと、空港監視システム
と、河川監視システムは広い監視視野を確保する為に複
数のカメラを設けることも可能で、この場合は第三実施
例や第四実施例に従う。

【０１３１】次に本発明の画像監視装置の第五実施例を
説明する。図１７はサッカー等の、ゲームの選手移動軌
跡を計測する、第五実施例の画像監視装置の図であっ
て、画像入力手段１７０と、軌跡計測手段１７１と、軌
跡保持手段１７２と、時系列変換画像作成手段１７３
と、時系列変換画像保持手段１７４と、軌跡編集手段１
７５からなる。

【０１３２】画像入力手段１７０は監視領域全体をカバ
ーするもので、１台のカメラでもよいし、複数台のカメ
ラでもよい。軌跡計測手段１７１は画像入力手段１７０
の画像に基づき選手や移動物体の軌跡を抽出するもの
で、画像処理装置で自動抽出してもよいし、操作員が目
視で検出して記録してもよい。軌跡保持手段１７２は軌
跡計測手段１７１による軌跡データを保持し、軌跡編集
作業者の操作により、前記選手や移動物体の軌跡を時系
列に再生したり、停止したり、時系列と逆に過去に向か
って再生したりできる。

【０１３３】時系列変換画像作成手段１７３は第四実施
例に基づき、画像入力手段１７０が取得した画像の輝度
と色情報を、該当領域の地図または図面上に貼りつけた
時系列変換画像を作成する。時系列変換画像保持手段１
７４は時系列変換画像作成手段１７３による時系列変換
画像を保持し、軌跡編集作業者の操作により、軌跡保持
手段１７２の再生に同期して、前記変換画像を時系列に
再生したり、停止したり、時系列と逆に、より過去に向
かって再生したりできる。軌跡編集手段１７５は軌跡保
持手段１７２の再生軌跡と、時系列変換画像保持手段１
７４の再生変換画像を同時表示して、前記再生軌跡の妥
当性を確認すると共に、修正が必要な場合には修正が可
能である。また、軌跡保持手段１７２は一定時間に描か
れた軌跡を継続的に再生することも可能である。

【０１３４】図１８は軌跡編集手段１７５の表示する、
前記一定時間に描かれた軌跡と前記時系列変換画像の一
枚を重畳した画像であって、移動中の人物１８０と軌跡
１８１が表示されている。

【０１３５】人物１８０は前記時系列変換画像中に含ま
れているもので、前記時系列変換画像を時系列で再生す
ると、人物１８０の移動していく様子が動画像として確
認できる。一方軌跡１８１は軌跡保持手段１７２保持の
データに基づき描くものである。前記時系列変換画像を
前記一定時間に対応する部分を動画として再生する場
合、軌跡１８１が妥当なものであれば、人物１８０の足
元は軌跡１８１上を移動するが、軌跡１８１に誤りがあ
れば、人物１８０の足元と軌跡１８１にずれが生じるの
で、このずれを修正することで、軌跡１８１の修正がな
される。

【０１３６】以上説明したように、本発明の画像監視装
置の第五実施例によれば、カメラ毎のビデオ画像を切替
えながら繰り返し目視して、軌跡の確認が不要で、軌跡
編集が効率的に行えるという効果がある。

【０１３７】次に本発明の画像監視装置の第六実施例を
説明する。図１９は本発明の画像監視装置の第六実施例
の図であって、画像入力手段１９１と、画像変換手段１
９２と、背景画像保存手段１９３と、背景差分手段１９
４と、物体検出手段１９５と、軌跡抽出手段１９６と、
背景作成手段１９７からなる。

【０１３８】画像入力手段１９１は監視領域全体をカバ
ーするもので、１台のカメラでもよいし、複数台のカメ
ラでもよい。画像変換手段１９２は第四実施例に基づ
き、画像入力手段１９１取得の画像の輝度と色情報を該
当領域の地図または図面上に貼りつけた変換画像を作成
する。該変換画像は画像入力手段１９１に用いるカメラ
台数に関わらず、一つの画像に統合されている。背景画
像保存手段１９３は、前記変換画像で移動物体が侵入し
ていないシーンの画像を、背景画像としてあらかじめ保
持している。

【０１３９】背景差分手段１９４は画像変換手段１９２
の変換画像と背景画像保存手段１９３の背景画像の、部
分毎の輝度差を計算する。物体検出手段１９５は前記部
分毎の輝度差から侵入物体を検出する。軌跡抽出手段１
９６は前記変換画像内の侵入物の位置を時系列に解析し
て前記侵入物の軌跡を抽出する。背景作成手段１９７は
背景画像保存手段１９３の保存背景と、画像変換手段１
９２の画像を合成して背景画像を作成する。

【０１４０】すなわち、物体検出手段１９５の出力信号
に基づき、画像変換手段１９２の画像で移動物体の存在
する部分に、背景画像保存手段１９３の保存する背景画
像の該当部分を貼り付けて背景画像を作成する。更に、
この背景画像で背景画像保存手段１９３の保存背景を更
新する。

【０１４１】以上説明したように、本発明の画像監視装
置の第六実施例によれば、複数の異なる画角のカメラに
よる画像であっても、一枚に統合して監視領域全体の物
体の移動軌跡を求めることができる。

【０１４２】なお、第６実施例の特徴は、異なる画角の
複数のカメラ画像を一枚の画像に統合してから侵入者検
出処理を行う点である。本実施例では、よく知られてい
る背景差分法を用いて説明したが、侵入物体の検出には
パターンマッチング処理やフレーム間差分処理など他の
手法を用いてもよい。

【０１４３】次に本発明の画像監視装置の第七実施例を
説明する。図２０は本発明の画像監視装置の第七実施例
の図であって、画像入力手段２０１と、物体検出手段２
０２と、画像変換手段２０３と、変換画像保存手段２０
４と、変換画像合成手段２０５と、検出物体貼り付け手
段２０６からなる。

【０１４４】画像入力手段２０１は監視領域全体をカバ
ーするもので、１台のカメラでもよいし、複数台のカメ
ラでもよい。物体検出手段２０２は画像入力手段２０１
取得の画像から侵入物体を検出する。侵入物体の検出法
はよく知られている背景差分法でもよいし、パターンマ
ッチングやフレーム間差分法を用いてもよい。

【０１４５】画像変換手段２０３は第四実施例に基づ
き、画像入力手段２０１取得の画像の輝度と色情報を該
当領域の地図または図面上に貼りつけた変換画像を作成
する。該変換画像は画像入力手段２０１に用いるカメラ
台数に関わらず、一つの画像に統合されている。

【０１４６】変換画像保存手段２０４は初期状態では、
画像入力手段２０１取得の侵入物の存在しない画像を変
換した画像を保存しているが、画像入力手段２０１の続
く画像入力サイクルでは、変換画像合成手段２０５で合
成した変換画像を保存している。

【０１４７】変換画像合成手段２０５では物体検出手段
２０２の情報に基づき画像変換手段２０３による変換画
像と変換画像保存手段２０４の保存する変換画像を合成
する。すなわち、画像変換手段２０３による変換画像
の、侵入物体の存在する部分に、変換画像保存手段２０
４の保存する変換画像を貼り付けることで、侵入物体の
ない変換画像を合成する。検出物体貼り付け手段２０６
は、変換画像合成手段２０５の合成する、侵入物体の存
在しない変換画像に、画像入力手段２０１取得の画像か
ら切り出した、変換していない侵入物体の画像を貼り付
けて、侵入物体貼り付け済み変換画像を作成し、表示装
置に表示する。

【０１４８】以上説明したように、本発明の画像監視装
置の第七実施例によれば、カメラから遠方の部分でも、
侵入者が拡大され過ぎず、違和感のない、真上からの俯
瞰画像を作成できる。

【０１４９】次に本発明の画像監視装置の第八実施例を
説明する。図２１は本発明の画像監視装置の第八実施例
を説明する図であって、画像入力手段２１０と、画像表
示手段２１１と、画像上指示手段２１３と、カメラパラ
メータ記憶手段２１２と、順変換手段２１４と、シミュ
レーション手段２１５と、計測手段２１６からなる。

【０１５０】画像入力手段２１０は監視領域を俯瞰する
画像を取得する。画像表示手段２１１は画像入力手段２
１０取得の画像を表示する。監視員は画像表示手段２１
１を目視して、注目箇所を画像上指示手段２１３で指示
する。例えば、崖崩れ位置を指示したり、崖崩れ部分を
囲ったりする。あるいは、堤防決壊箇所を指示したり、
川岸の両側を指示したりする。

【０１５１】カメラパラメータ記憶手段２１２は、画像
表示手段２１１取得の画像を、該当する地図に対応させ
る順変換に必要なパラメータであって、先に説明したカ
メラキャリブレーション処理によって得られる。順変換
手段２１４は画像入力手段２１０取得の画像に対して指
示された位置の前記地図への対応付けを行う。対応付け
られた地図を基にシミュレーション手段２１５や計測手
段２１６を起動する。

【０１５２】例えば、シミュレーション手段として浸水
シミュレーションを行う場合に、画像表示手段２１１取
得の画像中で堤防決壊の危険に瀕している部分を指示し
て、該指示位置に対応の地図上の位置を前記浸水シミュ
レーションの入力パラメータとし、自在に現状に即した
シミュレーションが可能となる。

【０１５３】更にこの時の川の両岸を、画像表示手段２
１１取得の画像中で指示すると、計測手段２１６にて、
前記対応地図上での監視時の川幅を計測できて、増水量
を見積もることができて、前記増水量を前記浸水シミュ
レーションの入力パラメータとすることが可能で、前記
浸水シミュレーションの結果の高精度化を図れる。

【０１５４】次に本発明の画像監視装置の第九実施例を
説明する。図２２は本発明の画像監視装置の第九実施例
を説明する図であって、画像処理手段２２１と、画像処
理手段２２２と、地図記憶手段２２０からなる。画像処
理手段２２１は画像入力手段２２４と、カメラパラメー
タ記憶手段２２５と、画像変換手段２２６からなる。

【０１５５】画像処理手段２２２は画像処理手段２２１
と同様の構成で、画像入力手段２２７と、カメラパラメ
ータ記憶手段２２８と、画像変換手段２２９からなる。
画像入力手段２２４と画像入力手段２２７は、監視領域
内建造物による遮蔽を回避すべく、それぞれ異なる位置
に置かれているが、監視領域は部分的に重なっている。
地図記憶手段２２０は画像入力手段２２４と画像入力手
段２２７取得の画像に該当する領域の地図を記憶してい
る。

【０１５６】カメラパラメータ記憶手段２２５とカメラ
パラメータ記憶手段２２８はそれぞれ、画像入力手段２
２４取得の画像と画像入力手段２２７取得の画像を前記
地図上の位置に変換するカメラパラメータを記憶してい
る。画像変換手段２２６と、画像変換手段２２９はそれ
ぞれカメラパラメータ記憶手段２２５とカメラパラメー
タ記憶手段２２８のカメラパラメータに基づき、画像入
力手段２２４取得の画像と画像入力手段２２７取得の画
像を変換する。

【０１５７】画像合成手段２２３は画像変換手段２２６
の変換画像と、画像変換手段２２９の変換画像を同一画
像内で貼り合わせる。両者重複する部分は、両者の平均
輝度としたり、変換前の画像の、俯角の深い方の変換画
像を選択したりすることができる。

【０１５８】以上説明したように、本発明の画像監視装
置の第九実施例によれば、遮蔽を回避すべく設けられた
複数のカメラの画像を一つの画像に統合して、遮蔽のな
い画像を作成することができる。

【０１５９】次に本発明の画像監視装置の第十実施例を
説明する。図２３は本発明の画像監視装置の第十実施例
を説明する図であって、地図保持手段２３０と、画像入
力手段２３１と、指示手段２３２と、座標変換手段２３
３と、カメラパラメータ保持手段２３４と、画像変換手
段２３５と、計測手段２３６と、シミュレーション手段
２３７と、表示手段２３８からなる。

【０１６０】地図保持手段２３０は画像入力手段２３１
の撮像対象に関わる地図または図面を保持する。画像入
力手段２３１は監視に用いる画像を取得する。指示手段
２３２は、座標変換手段２３３と画像変換手段２３５を
経て表示手段２３８に表示する地図保持手段２３０の地
図と、座標変換手段２３３と画像変換手段２３５を経て
表示手段２３８に表示する画像入力手段２３１取得の画
像の、任意の位置を指示する手段である。

【０１６１】カメラパラメータ保持手段２３４の保持す
るカメラパラメータは、画像入力手段２３１取得の画像
と、地図保持手段２３０の保持する地図との位置関係を
記述するパラメータである。カメラパラメータはあらか
じめカメラパラメータ保持手段に記憶させてもよいが、
次の方法で求めることもできる。

【０１６２】すなわち、前記取得画像と前記地図を表示
手段２３８に表示した上で、指示手段２３２を用いて、
前記取得画像と前記地図の対応点を四ヵ所指示すると、
先に述べたカメラキャリブレーションを実行してカメラ
パラメータを求めた上で保持する。

【０１６３】座標変換手段２３３は前記カメラパラメー
タを用いて前記地図上の任意の座標を前記取得画像上の
座標に対応付け、更に、前記取得画像上の任意の座標を
前記地図上の座標に対応付ける。画像変換手段２３５は
前記カメラパラメータを用いて、画像入力手段２３１取
得の画像の輝度情報と色情報を対応する前記地図座標上
に貼り付けて変換画像を作る。

【０１６４】計測手段２３６は画像入力手段２３１取得
の画像に生ずる事象を計測する手段であって、たとえ
ば、画像入力手段２３１取得の画像を表示手段２３８に
表示した上で、前記画像上の少なくも２点を指示手段２
３２で指示すると、座標変換手段によって前記２点はそ
れぞれ地図上の座標に変換され、２点間の実距離が算出
される。また、前記指示された２点が時系列な取得画像
中の移動物体であれば、該移動物体の移動ベクトルを算
出することができる。

【０１６５】シミュレーション手段２３７は位置座標を
入力として起動するシミュレータであって、画像入力手
段２３１取得の画像内で事象が発生した場合、該事象の
発生場所を前記取得の画像内で指示すると、前記地図上
の座標に変換され、前記地図上の座標を入力として前記
シミュレータが起動する。シミュレータとしては物体の
移動や、水の浸水や、汚染の拡大などの模擬実験等が挙
げられる。

【０１６６】表示手段２３８は地図保持手段２３０の地
図や、画像入力手段２３１取得の画像を表示する他に、
画像変換手段２３５の変換画像や、計測手段２３６の計
測結果や、シミュレーション手段２３７のシミュレーシ
ョン結果を表示することができる。また、前記シミュレ
ーション結果を座標変換手段２３３で変換して画像入力
手段２３１取得の画像に合わせて合成表示することもで
きる。また、地図保持手段２３０を第二の画像入力手段
に置き換え、地図を、第二の画像入力手段取得の画像と
することもできる。

【０１６７】以上説明したように、本発明の画像監視装
置の第十実施例は画像空間と地図または図面上の対応付
けがある為に、双方向の行き来が容易であり、監視画像
中の注視点を地図上に求めたり、地図上の位置を監視画
像中に表示できる。更に、地図情報と連繋して流水、洪
水シミュレーションを起動させて高度な監視と予測が可
能となる。

【０１６８】以上、本発明の画像監視装置によれば、第
一実施例は画像空間と地図または図面上の対応付けがあ
る為に、双方向の行き来が容易であり、監視画像中の注
視点を地図上に求めたり、地図上の位置を監視画像中に
表示できる。更に、地図情報と連繋して流水、洪水シミ
ュレーションを起動させて高度な監視と予測が可能とな
る。

【０１６９】また、本発明の第二実施例によれば、あた
かも真上から監視領域を俯瞰しているように画像変換し
て表示するので、奥行き方向の、物体の移動の様子を理
解しやすいという効果がある。

【０１７０】また、本発明の第三実施例によれば、複数
カメラで監視を行う場合に、監視画像上を指示するだけ
で地図上の位置が分かるのに加えて、地図上で確認した
い場所を指示すると、複数のカメラの中で最も適した画
角のカメラが選択されて表示装置の映し出され、更にそ
の表示上に、前記指示した位置が重ね表示されるので、
迅速で効率的な監視業務が可能となる。

【０１７１】また、本発明の第四実施例によれば、画角
の異なる複数のカメラによる画像を一画像に合成し、監
視領域をあたかも真上から俯瞰したかのように監視する
ことができるので、移動物体の動きや、監視領域の全体
像を理解しやすいという効果がある。

【０１７２】また、本発明の第五実施例によれば、カメ
ラ毎のビデオ画像を切替えながら繰り返し目視して、軌
跡の確認が不要で、軌跡編集が効率的に行えるという効
果がある。

【０１７３】また、本発明の第六実施例によれば、複数
の異なる画角のカメラによる画像であっても、一枚に統
合して監視領域全体の物体の移動軌跡を求めることがで
きるという効果がある。

【０１７４】また、本発明の第七実施例によれば、カメ
ラから遠方の部分でも、侵入者が拡大され過ぎず、違和
感のない、真上からの俯瞰画像を作成できるという効果
がある。

【０１７５】また、本発明の第八実施例によれば、監視
画像と地図と、シミュレーション手段と、計測手段が連
動しているので、前記シミュレータに現状の情報を入力
することが可能で、精度よいシミュレータが行えるとい
う効果がある。

【０１７６】また、本発明の第九実施例によれば、遮蔽
を回避すべく設けられた複数のカメラの画像を一つの画
像に統合して、遮蔽のない画像を作成することができる
という効果がある。

【０１７７】

【発明の効果】本発明によれば、地図とその地図を示す
映像とを同じ画面で、対応させて見ることができる。ま
た、複数のカメラの画像を合成する場合でも、１枚の画
像のように見ることができるという効果がある。

【図面の簡単な説明】

【図１】本発明の画像監視装置の第一実施例のブロック
図である。

【図２】第一実施例の画像監視装置の第一運用例の図で
ある。

【図３】第一実施例の画像監視装置の第一運用例におけ
る、取得画像と図面の図である。

【図４】第一実施例の画像監視装置の第一運用例におけ
る、取得画像と図面の図である。

【図５】第一実施例の画像監視装置の監視動作の流れ図
である。

【図６】第一実施例の画像監視装置の第二運用例におけ
る、取得画像と図面の図である。

【図７】第一実施例の画像監視装置の第三運用例におけ
る、取得画像と地図の図である。

【図８】第一実施例の画像監視装置の第四運用例におけ
る、取得画像と図面の図である。

【図９】第一実施例の画像監視装置の第五運用例におけ
る、取得画像と地図の図である。

【図１０】サッカーグランドにおける取得画像の座標系
と図面の座標系である。

【図１１】第二実施例の画像監視装置の取得画像と変換
貼り付け画像である。

【図１２】第二実施例の画像監視装置の動作の流れ図で
ある。

【図１３】第三実施例の画像監視装置のブロック図であ
る。

【図１４】第三実施例の画像監視装置の動作を説明する
図である。

【図１５】第三実施例の画像監視装置の動作の流れ図で
ある。

【図１６】第四実施例の画像監視装置の説明図である。

【図１７】第五実施例の画像監視装置のブロック図であ
る。

【図１８】第五実施例の画像監視装置の軌跡編集手段の
表示図である。

【図１９】第六実施例の画像監視装置のブロック図であ
る。

【図２０】第七実施例の画像監視装置のブロック図であ
る。

【図２１】第八実施例の画像監視装置のブロック図であ
る。

【図２２】第九実施例の画像監視装置のブロック図であ
る。

【図２３】第十実施例の画像監視装置のブロック図であ
る。

【符号の説明】 ２３０…地図保持手段、２３１…画像入力手段、２３２
…指示手段、２３３…座標変換手段、２３４…カメラパ
ラメータ保持手段、２３５…画像変換手段、２３６…計
測手段、２３７…シミュレーション手段、２３８…表示
手段。

フロントページの続き (72)発明者 宇佐美 芳明 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 三好 雅則 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 小林 克年 茨城県日立市幸町三丁目２番１号 日立エ ンジニアリング株式会社内 (72)発明者 町田 慶太 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか事業所内 (72)発明者 北村 忠明 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 永井 徹 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 Ｆターム(参考） 5B057 AA19 CD05 CE08 CE11 5C054 ED03 EH00 FC12 FC13 FC15 FD01 FD02 FD03 FD07 FE14 FE19 GB16 HA16 HA18 HA26 5C082 AA12 AA24 AA27 BA12 BB25 CA32 CA56 DA61 DA86 MM10

Claims (6)

【特許請求の範囲】
1. 【請求項１】画像入力部から画像を取りこみ、 その取り込んだ画像を表示装置に表示させ、 その画像に対応する地図を表示装置に表示させ、 表示させた画像の少なくとも一部の画像領域を特定する
   指示を受けつけ、 前記表示装置に表示させた地図上の、前記指示によって
   特定される画像領域に対応する領域に、その対応する画
   像を表示させることを特徴とする画像監視装置。
2. 【請求項２】 請求項１において、 前記地図上に表示させた画像は、異なる画角から撮影さ
   れた複数の画像で構成され、その複数の画像の一部が重
   畳することを特徴とする画像監視装置。
3. 【請求項３】 請求項１乃至２において、 前記画像は画角による歪みの補正がなされることを特徴
   とする画像監視装置。
4. 【請求項４】 請求項１乃至３において、 前記表示させる画像の倍率は、地図の倍率と一致するよ
   うに補正されることを特徴とする画像監視装置。
5. 【請求項５】 請求項２において、 前記複数の画像のいずれかは、他の輝度に一致するよう
   に補正されることを特徴とする画像監視装置。
6. 【請求項６】 請求項１乃至５において、 前記画像入力部から取り込んだ画像は、球技を行なって
   いる最中の映像であって、前記地図は球技場のフィール
   ドであることを特徴とする画像監視装置。