JP2001319218A - Image monitoring device - Google Patents

Image monitoring device

Info

Publication number
JP2001319218A
JP2001319218A JP2000134301A JP2000134301A JP2001319218A JP 2001319218 A JP2001319218 A JP 2001319218A JP 2000134301 A JP2000134301 A JP 2000134301A JP 2000134301 A JP2000134301 A JP 2000134301A JP 2001319218 A JP2001319218 A JP 2001319218A
Authority
JP
Japan
Prior art keywords
image
unit
map
displayed
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000134301A
Other languages
Japanese (ja)
Inventor
Kazuya Takahashi
一哉 高橋
Hiroshi Shojima
正嶋  博
Yoshiaki Usami
芳明 宇佐美
Masanori Miyoshi
雅則 三好
Katsutoshi Kobayashi
克年 小林
Keita Machida
慶太 町田
Tadaaki Kitamura
忠明 北村
Toru Nagai
徹 永井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2000134301A priority Critical patent/JP2001319218A/en
Publication of JP2001319218A publication Critical patent/JP2001319218A/en
Pending legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To accurately fit in an image, which expresses a specified area on a map displayed on a screen, on the map. SOLUTION: An image is fetched from an image input part, that fetched image is displayed on a display device, a map corresponding to that image is displayed on the display device, an instruction for specifying an image area in at least one part of the displayed image is accepted and in an area corresponding to the image area specified by the instruction on the map displayed on the display device, that correspondent image is displayed.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明はTVカメラで撮像した
画像とその撮像領域を含む地図を表示装置に表示させる
画像処理技術に関する。
[0001] 1. Field of the Invention [0002] The present invention relates to an image processing technique for displaying an image picked up by a TV camera and a map including an image pickup area on a display device.

【0002】[0002]

【従来の技術】従来の画像処理技術が特開平10−21
0456号公報に記載されている。この公報には、3次
元CG技術を利用してカメラの位置から俯瞰する方向に
眺めたディジタル俯瞰地図を作成し、同地域の映像デー
タと重ね合わせ、この重ね合わせた画面の上で災害現場
等の場所をマニュアルで指定し入力することにより、デ
ィジタル地図の上で入力された場所、道路又は区域のデ
ータを自動的に特定することが記載されている。
2. Description of the Related Art A conventional image processing technique is disclosed in
No. 0456. This publication uses a three-dimensional CG technology to create a digital bird's-eye view map viewed from the camera position in the direction of bird's-eye view, superimposes it on video data of the same area, It is described that, by manually designating and inputting the location, the data of the location, road or area entered on the digital map is automatically specified.

【0003】また、従来、異なる画角から複数のカメラ
で撮像した画像を用いて、特定の領域を表示させる場
合、撮像した画像を独立した表示装置で監視を行ってい
た。
Conventionally, when a specific area is displayed using images captured by a plurality of cameras from different angles of view, the captured images have been monitored by independent display devices.

【0004】[0004]

【発明が解決しようとする課題】従来の技術では、撮像
した領域に対してディジタル俯瞰地図を作成している、
つまり、撮像領域とディジタル俯瞰地図とは同じ領域を
表示させている。このため、はめ込まれる画像と撮像領
域の大きさを考慮しているとはいえず、撮像する領域よ
りも大きい領域を示す地図(例えば、球技場等を表す図
形)に撮像画像をはめ込むことができなかった。これ
は、画像全体がどの位置に該当するかは容易にわかる
が、画像中の一部の領域が地図上のどこの位置であるか
特定するのは、困難だからである。また、カメラの画角
が変わるような場合さらに困難になる。
In the prior art, a digital bird's-eye view map is created for an imaged area.
That is, the same area is displayed for the imaging area and the digital bird's-eye view map. For this reason, it cannot be said that the size of the image to be fitted and the size of the imaging region are considered, and the captured image can be fitted to a map (for example, a figure representing a ballpark or the like) that is larger than the region to be captured. Did not. This is because it is easy to find out which position the entire image corresponds to, but it is difficult to specify where on the map a part of the image is located. Further, it becomes more difficult when the angle of view of the camera changes.

【0005】また、表示装置に表示させているディジタ
ル俯瞰地図(例えば、球技場等を表す図形)上に複数の
カメラで撮像した画像をはめ込む際に、それぞれの画像
が持つ倍率、明るさ、画角による境界の歪みまで考慮し
ていない。つまり、異なる条件の画像同士を組み合わせ
て1枚の画像のように見せることができず、異なる画角
の画像にまたがる移動物体の軌跡を追う事ができなかっ
た。
Further, when fitting images captured by a plurality of cameras onto a digital bird's-eye map (for example, a figure representing a ballpark or the like) displayed on a display device, the magnification, brightness, and image No consideration is given to boundary distortion due to corners. In other words, images under different conditions cannot be combined and made to look like one image, and the trajectory of a moving object over images having different angles of view cannot be followed.

【0006】また、このような問題は、サッカー、ラグ
ビー、水球、ハンドボールなどの広域フィールドスポー
ツの映像を、球技場などのCGで作成した図形と合成す
る場合に、特に大きくなる。大きな競技場で行われる競
技を撮像し、その撮像された画像から競技者の動きを分
析する場合、全体的な選手の展開(集団的な動き)が把
握できないからである。
[0006] Such a problem is particularly serious when images of wide field sports such as soccer, rugby, water polo, and handball are combined with figures created by CG such as a ballpark. This is because when a game played in a large stadium is imaged and the movement of the competitor is analyzed from the imaged image, the overall development (collective movement) of the players cannot be grasped.

【0007】さらに、撮像した異なる画角の画像から選
手を追跡(軌跡の抽出)しようとすると、画像の境界部
分の軌跡がうまくつながらないため、選手を正確に追跡
することができなかった。
Furthermore, when trying to track (extract a trajectory) a player from images captured at different angles of view, the trajectory at the boundary of the image is not well connected, and the player cannot be tracked accurately.

【0008】本発明の目的は、カメラで撮像した画像と
地図や特定地域の図形とを正確に対応させ、映像に映し
出された対象物の地図上の位置や地図上にある対象物を
撮像した映像を正確に特定できるようにすることにあ
る。
SUMMARY OF THE INVENTION An object of the present invention is to accurately associate an image captured by a camera with a map or a figure in a specific area, and to capture an image of an object on a map or an object on a map projected on a video. An object of the present invention is to enable an image to be specified accurately.

【0009】また、他の目的は、画角の異なるカメラか
らの画像を組み合わせて、特定の領域を表す1枚の画像
として見えるようにすることにある。
Another object is to combine images from cameras having different angles of view so that the images can be viewed as one image representing a specific area.

【0010】[0010]

【課題を解決するための手段】本発明の画像監視装置は
次の処理を行なう手段を有している。画像入力部から画
像を取りこむ処理、その取り込んだ画像を表示装置に表
示させる処理、その画像に対応する地図を表示装置に表
示させる処理、表示させた画像の少なくとも一部の画像
領域を特定する指示を受けつける処理、表示装置に表示
させた地図上の、指示によって特定される画像領域に対
応する領域に、その対応する画像を表示させる処理から
なり、これらの処理を行なう手段を画像監視装置が有す
ることにより、撮像した画像を構成する画素の表す位置
が特定できる。
The image monitoring apparatus of the present invention has means for performing the following processing. A process of capturing an image from the image input unit, a process of displaying the captured image on a display device, a process of displaying a map corresponding to the image on a display device, and an instruction for specifying at least a part of an image area of the displayed image The image monitoring apparatus has means for receiving the image and displaying the corresponding image in an area corresponding to the image area specified by the instruction on the map displayed on the display device. Thus, the position represented by the pixels constituting the captured image can be specified.

【0011】さらに、取得した画像、その画像同士間の
倍率や輝度を地図との対応から求めて、その求めた倍率
の画像を地図または図面に貼りつける処理を加えること
で、まるで一枚の画像のように異なる画角の複数の画像
を見ることができる。
Further, by obtaining the obtained image, the magnification and brightness between the images from the correspondence with the map, and adding the image of the obtained magnification to a map or a drawing, it is possible to obtain a single image. , A plurality of images having different angles of view can be viewed.

【0012】また、複数のカメラを用いて一定の領域を
表わそうとする場合の、画角の異なる画像の重畳部にお
いて、設定された視角に最も近い画像を優先的に表示さ
せるようにする処理を加えることにより、1枚の画像と
して、見えやすくなる。
In a case where a plurality of cameras are used to represent a certain area, an image closest to a set viewing angle is preferentially displayed in a superimposition section of images having different angles of view. By adding the processing, it becomes easy to see as one image.

【0013】[0013]

【発明の実施の形態】本発明の画像監視装置の実施例を
説明する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the image monitoring apparatus according to the present invention will be described.

【0014】図1は本発明の画像監視装置の第一実施例
であって、画像処理部1と、カメラなどの画像入力部1
0と、外部記憶装置11と、表示装置12と、指示デバ
イス13とで構成される。画像処理部1は記憶部2およ
び、記憶部2の一部に含まれる地図保持部3と、制御部
(連繋部)4と、演算計測部5と、表示部6と、操作部
7と、通信部8と、画像メモリ9とを含む構成である。
FIG. 1 shows an image monitoring apparatus according to a first embodiment of the present invention. The image processing section 1 includes an image input section 1 such as a camera.
0, an external storage device 11, a display device 12, and an instruction device 13. The image processing unit 1 includes a storage unit 2, a map holding unit 3 included in a part of the storage unit 2, a control unit (linking unit) 4, an operation measurement unit 5, a display unit 6, an operation unit 7, The configuration includes a communication unit 8 and an image memory 9.

【0015】監視員が監視装置を駆動することにより、
監視装置に備えた記憶・記録部に保存されている本発明
に関わる画像監視用プログラムは監視装置の制御部4が
内臓された主メモリに読み込まれ、このプログラムによ
り監視装置の制御部4内の演算装置が各部の制御を行な
う。
[0015] By the monitoring personnel to drive the monitoring device,
The image monitoring program according to the present invention, which is stored in the storage / recording unit provided in the monitoring device, is read into the main memory in which the control unit 4 of the monitoring device is built. The arithmetic unit controls each unit.

【0016】以下、監視装置の主メモリに読み込まれた
プログラムによって実現される各部の機能について説明
する。表示部6は、表示装置に表示させる表示内容を決
定し、その決定した内容を表示装置12に表示できるよ
う信号に変換し、表示装置にその信号を送るものであ
る。この表示部6によって、テレビカメラで撮影した監
視画像を表示装置に表示させる機能や、座標データを基
に求められた地図上の位置を表示装置に表示させる機能
が実現される。
The function of each unit realized by the program read into the main memory of the monitoring device will be described below. The display unit 6 determines display content to be displayed on the display device, converts the determined content into a signal that can be displayed on the display device 12, and sends the signal to the display device. The display unit 6 realizes a function of displaying a monitoring image captured by a television camera on a display device and a function of displaying a position on a map determined based on coordinate data on a display device.

【0017】画像入力部10は、テレビカメラ等で構成
され、制御部からの要求に応じて、そのテレビカメラで
撮影した画像を入力として制御部に送る機能を有する。
The image input unit 10 is constituted by a television camera or the like, and has a function of transmitting an image photographed by the television camera as an input to the control unit in response to a request from the control unit.

【0018】操作部7は、ポインティングデバイスやキ
ーボードといったポインティングデバイス13から、画
像入力部によって受け取った画像の一部(1の画素によ
って表現される点又は複数の画素で表現される画像領
域)を監視対象として特定する監視員の指示を、入力と
して受け付ける機能を有する。
The operation unit 7 monitors a part (a point represented by one pixel or an image area represented by a plurality of pixels) of an image received by the image input unit from a pointing device 13 such as a pointing device or a keyboard. It has a function of accepting, as an input, an instruction from a monitor specified as a target.

【0019】この指示の受け付けは、表示部6により、
表示装置に監視画像が表示されている間に行われるよう
にする。このように、監視画像を表示させている間に、
指示を受け付けることができると、監視員は監視画像を
見ながら操作することができるので、監視者の指示が的
確になるので、入力効率を向上させることができる。
The instruction is accepted by the display unit 6.
This is performed while the monitoring image is displayed on the display device. In this way, while displaying the monitoring image,
When the instruction can be received, the observer can operate while looking at the monitoring image, so that the instruction of the observer is accurate, and the input efficiency can be improved.

【0020】また、この操作部7は、後述する記憶・記
録部に記録されている地図データを特定する監視者の指
示の入力を受け付ける機能も有する。なお、この入力
も、地図データ(座標データを含む)に基づいた地図が
表示装置の画面上に表示されている間に行なうことがで
きるようにすると、監視者は地図を見ながら操作でき、
監視者の入力効率を向上させることができる。
The operation unit 7 also has a function of receiving an input of an instruction from a monitor who specifies map data recorded in a storage / recording unit described later. In addition, if this input can be performed while the map based on the map data (including the coordinate data) is displayed on the screen of the display device, the observer can operate while viewing the map,
The input efficiency of the monitor can be improved.

【0021】記憶部2は、座標データを含む地図デー
タ、画像入力部によって受け取った監視画像の画像デー
タ、及び後述する連繋部の連繋に必要なデータ(座標デ
ータと画像データとの対応を規定する対応関係データ)
を記録している。また、特に、地図データは記憶部2内
の地図・図面データ保持部3に記録している。
The storage unit 2 stores map data including coordinate data, image data of a monitoring image received by an image input unit, and data necessary for linking a link unit (to define correspondence between coordinate data and image data). Correlation data)
Is recorded. In particular, the map data is recorded in a map / drawing data holding unit 3 in the storage unit 2.

【0022】制御部(連繋部)4は、演算制御部5に、
監視画像と記憶部2に記録されている地図上での位置の
座標データとを対応付けさせる。この演算制御部5の対
応付けは、井口征二著:「三次元画像計測」:昭晃堂
(1990):PP91〜99にある透視変換演算を使う。
The control unit (linking unit) 4 includes an arithmetic control unit 5
The monitoring image is associated with the coordinate data of the position on the map recorded in the storage unit 2. The correspondence of the arithmetic control unit 5 uses a perspective transformation operation described in Seiji Iguchi: "Three-dimensional image measurement": Shokodo (1990): PP91-99.

【0023】通信部8は、地図保持部3にあらかじめ保
持すべき情報を別のシステムから参照したり、表示部6
に表示する画像を別のシステムで利用する為に出力した
り、画像入力部10による画像以外に、他のシステムに
よる画像を入力するときに用いるもので、これらの要求
が無いときは必要が無い。
The communication unit 8 refers to information to be stored in the map storage unit 3 in advance from another system,
Is used to output an image to be displayed on another system for use in another system, or to input an image from another system in addition to the image from the image input unit 10, and is unnecessary when there is no such request. .

【0024】画像メモリ9は、画像入力部10の画像を
処理や表示の為に一時的に保持する記憶装置である。外
部記憶装置11は地図保持部3に記憶すべき内容を参照
するときや、演算計測部5の処理結果を記録するときに
用いる。
The image memory 9 is a storage device for temporarily storing an image of the image input unit 10 for processing and display. The external storage device 11 is used when referring to the contents to be stored in the map holding unit 3 and when recording the processing result of the arithmetic and measurement unit 5.

【0025】図2は第一実施例の画像監視装置の第一運
用例であり、運動場や駐車場や飛行場や港湾などを俯瞰
する画像入力部10がサッカー場の画像を取得した場合
のものである。
FIG. 2 shows a first operation example of the image monitoring apparatus according to the first embodiment, in which the image input unit 10 for overlooking the athletic field, the parking lot, the airfield, the harbor and the like acquires the image of the soccer field. is there.

【0026】図3(a)は第一の運用例における、画像入
力部10の取得する画像であり、図3(b)は地図保持部
3の保持する図面である。
FIG. 3A is an image acquired by the image input unit 10 in the first operation example, and FIG. 3B is a diagram held by the map holding unit 3.

【0027】図3(b)の例ではサッカーグランドの図面
であるが、2次元座標系で位置決め可能なものなら何で
も良く、例えば監視対象が駐車場や飛行場であればこれ
らの設計図に座標系を付けたものでもよいし、港湾や河
川流域などの広い領域は地図でもよい。
The example of FIG. 3B is a drawing of a soccer ground. However, anything that can be positioned in a two-dimensional coordinate system may be used. A large area such as a harbor or a river basin may be a map.

【0028】監視動作のために、図3(a)の画像入力部
10の取得する画像にも2次元の座標系を定める必要が
あり、画像入力部10の画像に対して設定してもよい
し、画像入力部10の取得画像を表示する表示部6の画
像に対して設定してもよい。
For the monitoring operation, it is necessary to define a two-dimensional coordinate system for the image acquired by the image input unit 10 in FIG. Alternatively, the setting may be made for an image on the display unit 6 that displays an image obtained by the image input unit 10.

【0029】以上説明したように、図3(a)と(b)にそれ
ぞれ座標系を設定して、例えば、画像上のA1、A2、A3、
A4とそれぞれに対応する図面上の点B1、B2、B3、B4を設
定すると、後に説明するカメラパラメータC11、C12、C1
3、C21、C22、C23、C31、C32が決まる。
As described above, a coordinate system is set in each of FIGS. 3A and 3B, and for example, A1, A2, A3,
When A4 and corresponding points B1, B2, B3, B4 on the drawing are set, camera parameters C11, C12, C1 described later are set.
3, C21, C22, C23, C31, C32 are determined.

【0030】カメラパラメータは画像入力部10の画角
に関するパラメータであって、画角設定時にカメラキャ
リブレーション処理によって求めて、記憶部2に記録す
る。
The camera parameters are parameters relating to the angle of view of the image input unit 10 and are obtained by camera calibration processing when setting the angle of view, and are recorded in the storage unit 2.

【0031】監視動作において、監視員が例えば図3
(a)の地点E1を指示すると、演算計測部5が前記カメラ
パラメータを使って計算し、地点E1に対応する図面上の
点E2が選択される。今後、この様な画像入力部10取得
の画像上の指示点を地図保持部3の地図または図面上の
選択点への対応付けを順方向対応付けあるいは順変換と
名付ける。
In the monitoring operation, the observer operates as shown in FIG.
When the point E1 of (a) is designated, the calculation and measurement unit 5 calculates using the camera parameters, and the point E2 on the drawing corresponding to the point E1 is selected. In the future, such an association between the designated point on the image acquired by the image input unit 10 and the selected point on the map or drawing in the map holding unit 3 will be referred to as forward association or forward conversion.

【0032】また、監視動作において監視員が例えば図
3(b)の地点F1を指示すると、演算計測部5が前記カメ
ラパラメータを使って計算し、地点F1に対応する前記取
得画像上の点F2が選択される。今後この様な地図保持部
3の地図または図面上の指示点を画像入力部10取得の
画像上の選択点への対応付けを逆方向対応付けあるいは
逆変換と名付ける。
In the monitoring operation, when the observer designates, for example, the point F1 in FIG. 3B, the calculation and measurement unit 5 calculates using the camera parameters, and the point F2 on the acquired image corresponding to the point F1. Is selected. In the future, associating such a designated point on the map or drawing of the map holding unit 3 with a selected point on an image acquired by the image input unit 10 will be referred to as reverse direction association or inverse conversion.

【0033】これらの順・逆変換により、画像入力部で
取り出した監視画像の一部を特定可能な入力を行った場
合、その点(表示領域)があらわす地図上の座標や住所
等の位置を特定すること等、ができるようになる。以
下、これらを利用した監視装置の態様について説明して
いく。
When an input capable of specifying a part of the surveillance image taken out by the image input unit is performed by the forward / inverse transform, the coordinates of the point (display area) on the map, the position of the address and the like are displayed. You will be able to specify things. Hereinafter, aspects of the monitoring device using these will be described.

【0034】本実施例の画像監視装置の第一運用例を、
運動場の人の移動監視を例として説明する。図4(a)は
運動場の画像入力部10から取得した画像であり、図4
(b)は運動場の図面である。例えば、ある瞬間の前記取
得画像に対して監視員が人物P1と人物P2を指示すると、
演算計測部5は順変換により、それぞれに対応して選択
点Q1とQ2を返してくる。同時に演算計測部5はQ1とQ2の
距離を計算して結果を表示部6、記憶部2、通信部8あ
るいは外部記憶装置11に出力することで、監視員は人
物P1と人物P2の距離を知ることができる。
A first operation example of the image monitoring apparatus of the present embodiment is as follows.
The following describes an example of monitoring the movement of a person on the playground. FIG. 4A is an image obtained from the image input unit 10 of the playground.
(b) is a drawing of the playground. For example, when the observer indicates the person P1 and the person P2 with respect to the obtained image at a certain moment,
The calculation and measurement unit 5 returns the selected points Q1 and Q2 corresponding to each by the forward conversion. At the same time, the calculation and measurement unit 5 calculates the distance between Q1 and Q2 and outputs the result to the display unit 6, the storage unit 2, the communication unit 8, or the external storage device 11, so that the observer can determine the distance between the person P1 and the person P2. You can know.

【0035】また、監視員が図面上の点Q3を指示して、
Q3から所定の距離以内の、人物の有無を調べようとする
と、演算部5はQ3から所定の距離以内の人物を検索す
ると共に、半径が該所定距離の円40の、円周上の点を
逆変換により前記取得画像上の点に対応付けて楕円41
として示すことができる。
Also, the observer indicates a point Q3 on the drawing, and
When trying to check for the presence or absence of a person within a predetermined distance from Q3, the arithmetic unit 5 searches for a person within a predetermined distance from Q3 and finds a point on the circumference of the circle 40 whose radius is the predetermined distance. The ellipse 41 is associated with a point on the acquired image by the inverse transformation.
Can be shown as

【0036】また、監視員が数秒隔たる2枚のフレーム
に対して前記取得画像上の同一人物を指示すると、演算
部5が順変換により該同一人物の各々の時系列画像にお
ける該人物の該図面上の座標を求まり、該数秒間の移動
距離および移動速度を求めることができる。
When the observer designates the same person on the acquired image with respect to two frames separated by several seconds, the arithmetic unit 5 performs the forward conversion to calculate the same person in each time-series image of the same person. The coordinates on the drawing are obtained, and the moving distance and moving speed for the several seconds can be obtained.

【0037】ここで、第一実施例の画像監視装置の監視
動作の流れを図5に示す。〈ステップ501〉本発明の
画像監視装置の初期設定をする。これは、画像入力部1
0、記憶部2、制御部4、演算計測部5、表示部6、操
作部7、通信部8、画像メモリ9、外部記憶装置11の
起動以外に、前記カメラパラメータC11、C12、C13、C2
1、C22、C23、C31、C32を設定する。設定の仕方は後述
のカメラキャリブレーション処理による方法と、既に設
定済みのカメラパラメータC11、C12、C13、C21、C22、C
23、C31、C32を、通信部8を介して参照してもよいし、
外部記憶装置11から読み込んでもよい。また、あらか
じめ記憶部2に記憶させておくこともできる。
Here, the flow of the monitoring operation of the image monitoring apparatus of the first embodiment is shown in FIG. <Step 501> Initial setting of the image monitoring apparatus of the present invention is performed. This is the image input unit 1
0, the storage unit 2, the control unit 4, the operation measurement unit 5, the display unit 6, the operation unit 7, the communication unit 8, the image memory 9, the external storage device 11, and the camera parameters C11, C12, C13, C2
1. Set C22, C23, C31, and C32. The setting method is the method by the camera calibration process described later, and the camera parameters C11, C12, C13, C21, C22, C
23, C31, and C32 may be referred to via the communication unit 8,
It may be read from the external storage device 11. Alternatively, the information can be stored in the storage unit 2 in advance.

【0038】〈ステップ502〉画像入力部10による
取得画像を画像メモリ9に保持する。〈ステップ50
3〉画像メモリ9には最新の取得画像だけでなく、過去
の数枚分の時系列画像を保持することもできる。過去の
数枚分の画像は物体の運動ベクトルを計算するときに必
要となる。
<Step 502> The image acquired by the image input unit 10 is stored in the image memory 9. <Step 50
3> The image memory 9 can hold not only the latest acquired images but also several past time-series images. Several past images are needed when calculating the motion vector of the object.

【0039】〈ステップ504〉監視員による操作部7
の操作の有無を確認する。該監視員による操作部7の操
作が無い場合はステップ512の表示画像作成に分岐す
るが、操作がある場合はステップ506の割込み解釈に
分岐する。
<Step 504> Operation unit 7 by the supervisor
Check if there is any operation. If there is no operation of the operation unit 7 by the monitor, the process branches to display image creation in step 512, but if there is an operation, the process branches to interrupt interpretation in step 506.

【0040】〈ステップ505〉ステップ504の割込
みチェックに従い分岐する。〈ステップ506〉監視員
の操作の内容を判定し、終了操作の場合は終了処理を行
い、前記取得画像または地図の指示操作の場合はステッ
プ507に進む。
<Step 505> Branch according to the interrupt check of step 504. <Step 506> The contents of the operation of the observer are determined. If the operation is an end operation, an end process is performed.

【0041】〈ステップ507〉監視員の操作部7の操
作によって指示されている部分の座標値を検出すると共
に、前記してき座標が前記取得画像上か、地図上かを判
定し、前記指示部分が前記取得画像の場合はステップ5
10の順変換に分岐し、前記指示部分が地図上の場合は
ステップ509の逆変換に分岐する。
<Step 507> The coordinate value of the portion designated by the operation of the operation unit 7 by the observer is detected, and it is determined whether the coordinates are on the acquired image or on the map. Step 5 for the acquired image
The process branches to the forward conversion of step 10, and branches to the reverse conversion of step 509 if the designated portion is on the map.

【0042】〈ステップ508〉ステップ507の条件
に応じてステップ509またはステップ510に分岐す
る。〈ステップ509〉逆変換によって、地図上の指示
座標に対応する前記取得画像上の座標を求める。逆変換
の詳細は後述する。〈ステップ510〉順変換によっ
て、前記取得画像上の指示座標に対応する地図上の座標
を求める。順変換の詳細は後述する。
<Step 508> The flow branches to step 509 or step 510 according to the condition of step 507. <Step 509> Coordinates on the acquired image corresponding to the designated coordinates on the map are obtained by inverse transformation. Details of the inverse conversion will be described later. <Step 510> The coordinates on the map corresponding to the designated coordinates on the acquired image are obtained by forward conversion. Details of the forward conversion will be described later.

【0043】〈ステップ511〉該監視員の操作に応じ
て計測処理と記録処理を行う。例えば第一の運用例で説
明すると、図4(a)に示す監視画像のある時系列画像に
おいて、該監視員が人物P1と人物P2の足元を指し示す
と、図4(b)の図面上のそれぞれ対応する点Q1とQ2の座
標が選られるから、該座標を用いて人物P1と人物P2の距
離を計算したり、数枚分の時系列画像に亘って人物P1と
人物P2の座標を記録して軌跡データとすることができ
る。
<Step 511> Measurement processing and recording processing are performed in accordance with the operation of the observer. For example, in the first operation example, in a time-series image of the monitoring image shown in FIG. 4A, when the observer points to the feet of the person P1 and the person P2, Since the coordinates of the corresponding points Q1 and Q2 are selected, the distance between the person P1 and the person P2 is calculated using the coordinates, or the coordinates of the person P1 and the person P2 are recorded over several time-series images. To obtain trajectory data.

【0044】また、数枚分の時系列画像に亘り、同一人
物の足元を指し示すことで、該人物の移動ベクトルを求
めることもできる。
By pointing the foot of the same person over several time-series images, the movement vector of the person can be obtained.

【0045】また、図4(b)の図面上の点Q3を指示し
て、所望の値を与えると、前記値を半径としてQ3を中心
とする円40を描くことができ、円40の円周上の点を
図4(a)の表示画像上の点に対応付けることで楕円41
を表示画像上に描くことができる。楕円41は点Q3を中
心とし、所望の半径内の領域なので、該領域内に誰が存
在するのかが容易に判定できる。
When a desired value is given by designating a point Q3 on the drawing of FIG. 4B, a circle 40 centered on Q3 can be drawn using the value as a radius. By associating the points on the circumference with the points on the display image of FIG.
Can be drawn on the display image. Since the ellipse 41 is a region centered on the point Q3 and within a desired radius, it can be easily determined who is in the region.

【0046】次に、第一実施例の画像監視装置の第二運
用例を説明する。図6は、本運用例の駐車場監視システ
ムに用いる画像で、図6(a)は駐車場の俯瞰した画像入
力部10取得の画像であり、図6(b)は該駐車場の図面
である。駐車場監視員は図6(a)の前記取得画像の中
で、車両が出入りする駐車スペースを指示することで、
図6(b)の駐車場図面の対応点が選択され、該選択場所
に満空情報が記録されて駐車場管理を行うことができ
る。例えば車両60を指示すると、駐車スペース61が
選択される。
Next, a second operation example of the image monitoring apparatus according to the first embodiment will be described. 6A and 6B are images used for the parking lot monitoring system of this operation example, FIG. 6A is an image obtained by acquiring the image input unit 10 from a bird's-eye view of the parking lot, and FIG. 6B is a drawing of the parking lot. is there. The parking lot supervisor instructs the parking space where the vehicle enters and exits in the acquired image of FIG.
The corresponding point in the parking lot drawing of FIG. 6B is selected, and the vacancy information is recorded at the selected location, so that the parking lot can be managed. For example, when the vehicle 60 is instructed, the parking space 61 is selected.

【0047】また、該駐車場監視員が図6(b)の駐車場
図面の、所定の駐車スペースを指示すると図6(a)の前
記取得画像の対応点が選択されて点滅やマーク付けで強
調して表示することができる。例えば駐車スペース62
を指示すると前記取得画像の63を点滅表示することが
できる。
When the parking lot supervisor designates a predetermined parking space in the parking lot drawing of FIG. 6B, the corresponding point of the acquired image of FIG. 6A is selected and blinked or marked. Can be highlighted. For example, parking space 62
Is displayed, the acquired image 63 can be displayed blinking.

【0048】次に図7に基づき、第一実施例の画像監視
装置の第三の運用例を説明する。図7は港湾監視システ
ムに用いる画像で、図7(a)は俯瞰の画像入力部10取
得の画像であり、図7(b)は港湾の地図である。表示画
像図7(a)において、港湾監視員は船舶71と船舶72
と、船舶73を指示すると、港湾地図の図7(b)上の対
応点として、それぞれ位置74と、位置75と、位置7
6が選択される。更に数秒後に同一の船舶を指示すると
数秒間の該船舶の移動ベクトルを検出でき、お互いの衝
突の危険性を判定できる。
Next, a third operation example of the image monitoring apparatus according to the first embodiment will be described with reference to FIG. 7A and 7B are images used for the port monitoring system, FIG. 7A is an image obtained from the overhead image input unit 10, and FIG. 7B is a map of the port. In the display image shown in FIG.
When the ship 73 is designated, the corresponding points on the port map in FIG.
6 is selected. Further, when the same ship is designated after a few seconds, the movement vector of the ship for a few seconds can be detected, and the danger of collision with each other can be determined.

【0049】また、該船舶は地図上の存在位置が知れて
いるので、浅瀬に乗り上げる危険性を判定することも可
能で、該港湾監視員が該船舶に対して警告を与えること
もできる。
Further, since the position of the ship on the map is known, it is possible to determine the danger of getting on the shallow water, and the port guard can give a warning to the ship.

【0050】また、例えば船舶73が油漏れを起こした
場合、該港湾監視員が図7(a)の前記取得画像で油汚れ
の範囲77を囲むと、該油汚れ範囲が図7(b)の地図上
に汚れ範囲78として反映される。
If, for example, the ship 73 has leaked oil, the harbor supervisor encloses the oil stain range 77 in the acquired image of FIG. 7A, and the oil stain range becomes as shown in FIG. 7B. Is reflected as a stain range 78 on the map.

【0051】更に図7(b)の地図に海流情報が接続され
ていると該油汚れの広がる様子を予測シミュレーション
できて、数時間後の油汚れ範囲79を図示すると共に、
図7(a)の前記取得画像に汚れ予測領域710として表
示することもできる。
Further, if the ocean current information is connected to the map of FIG. 7B, it is possible to predict and simulate the spread of the oil stain, and to show the oil stain area 79 several hours later,
It can also be displayed as a stain prediction area 710 on the acquired image in FIG.

【0052】次に、図8に基づき、第一実施例の画像監
視装置の第四の運用例を説明する。図8は空港監視シス
テムに用いる画像で、図8(a)は画像入力部10取得の
俯瞰画像であり、図8(b)は空港の図面である。
Next, a fourth operation example of the image monitoring apparatus according to the first embodiment will be described with reference to FIG. 8A and 8B are images used in the airport monitoring system, FIG. 8A is an overhead image obtained by the image input unit 10, and FIG. 8B is a drawing of the airport.

【0053】前記取得画像の図8(a)において、空港監
視員は駐機機体80と、駐機機体81と、駐機機体82
を指示すると演算計測部5の作用で、空港図面の図8
(b)の対応位置83と、対応位置84と、対応位置85
が選択され、強調表示することもできる。例えば機体8
1が事故で爆発炎上の危険が生じたとき、該空港監視員
は図8(a)の機体81を指示して、図8(b)の図面上に事
故機84を中心に危険区域の枠86を描くことができ
る。
In FIG. 8 (a) of the acquired image, the airport supervisor has a parked body 80, a parked body 81, and a parked body 82.
When an instruction is given, the operation of the operation measurement unit 5 causes the airport drawing shown in FIG.
(b) corresponding position 83, corresponding position 84, corresponding position 85
Is selected and can be highlighted. For example, Airframe 8
When the danger of explosive flame occurs due to the accident 1, the airport supervisor instructs the fuselage 81 of FIG. 8 (a), and places the frame of the danger zone around the accident aircraft 84 on the drawing of FIG. 8 (b). 86 can be drawn.

【0054】ここで、危険区域の枠86内の駐機機体
や、建物内の人員に避難勧告を告げることができる。同
時に演算計測部5の動作で危険区域枠86に対応する領
域を俯瞰表示画像図8(a)内に危険区域87と表示可能
であり、空港監視員は危険区域87内に消防士以外の人
員の立入りをリアルタイムで監視できる。
Here, an evacuation advisory can be given to the aircraft parked in the frame 86 of the danger zone and the personnel in the building. At the same time, the area corresponding to the danger zone frame 86 can be displayed as a danger zone 87 in the bird's-eye view image 8 (a) by the operation of the arithmetic and measurement unit 5, and the airport surveillance staff members in the danger zone 87 except for firefighters Can be monitored in real time.

【0055】次に図9に基づき、第一実施例の画像監視
装置の第五運用例を説明する。図9は河川監視システム
に用いる画像で、図9(a)は河川の、画像入力部10取
得の画像であり、図9(b)は地図である。図9(a)河川の
前記取得画像において、河川監視員は堤防決壊箇所90
を指示すると、演算計測部5の機能で図9(b)の地図上
の位置91が対応付けられる。この時、該地図の高低情
報を使って位置91における浸水シミュレーション機能
を動作させると、所定時間後の予測浸水領域92が示さ
れる。浸水シミュレーションは各自治体の河川管理事務
所で用いているものを利用できる。
Next, a fifth operation example of the image monitoring apparatus according to the first embodiment will be described with reference to FIG. FIG. 9 is an image used for the river monitoring system, FIG. 9A is an image of the river acquired by the image input unit 10, and FIG. 9B is a map. In the acquired image of the river in FIG. 9 (a), the river observer
When the instruction is given, the position 91 on the map in FIG. At this time, when the inundation simulation function at the position 91 is operated using the height information of the map, a predicted inundation area 92 after a predetermined time is shown. The inundation simulation can use what is used in the river management office of each local government.

【0056】演算計測部5の機能で予測浸水領域92を
変換して、図9(a)の河川の表示画像に予測浸水領域9
3を重ねて表示できる。また、図9(a)の河川表示画像
で、河川の両岸を指示することで、演算計測部5の機能
で川幅をリアルタイムで計測することが可能で、計測さ
れた川幅から流水量を推定し、前記浸水シミュレーショ
ン機能に前記流水量を入力することで、シミュレーショ
ンと予測の高精度化を図れる。
The predicted inundation area 92 is converted by the function of the arithmetic and measurement unit 5 and is displayed on the river display image of FIG.
3 can be superimposed and displayed. In addition, by instructing both banks of the river in the river display image of FIG. 9A, the river width can be measured in real time by the function of the arithmetic measurement unit 5, and the amount of flowing water is estimated from the measured river width. Then, by inputting the amount of flowing water into the flood simulation function, simulation and prediction can be performed with higher accuracy.

【0057】以上説明したように、本発明の画像監視装
置の第一実施例は画像空間と地図または図面上の対応付
けがある為に、双方向の行き来が容易であり、監視画像
中の注視点を地図上に求めたり、地図上の位置を監視画
像中に表示できる。更に、地図情報と連繋して流水、洪
水シミュレーションを起動させて高度な監視と予測が可
能となる。
As described above, in the first embodiment of the image monitoring apparatus according to the present invention, since there is a correspondence between the image space and the map or the drawing, it is easy to move back and forth in both directions. The viewpoint can be obtained on the map, and the position on the map can be displayed in the monitoring image. In addition, running and flood simulations can be activated in conjunction with the map information to enable advanced monitoring and prediction.

【0058】次にカメラパラメータC11、C12、C13、C2
1、C22、C23、C31、C32を求めるためのキャリブレーシ
ョン法を説明する。
Next, the camera parameters C11, C12, C13, C2
A calibration method for obtaining 1, C22, C23, C31, and C32 will be described.

【0059】図10(a)は表示部6の、画像入力部10
取得の画像座標系x−yの図であり、左上隅を原点と
し、水平方向にx軸をとり、垂直方向にy軸をとってい
る。図10(b)はサッカーグランドの図面の座標系X
−Y−Zであり、サッカーグランド中心を原点とし、両
ゴール方向をX軸、直交方向にY軸、サッカーグランド
面に対して鉛直に空の方向にZ軸をとる。
FIG. 10A shows the image input unit 10 of the display unit 6.
FIG. 3 is a diagram of an acquired image coordinate system xy, with the origin at the upper left corner, the x axis in the horizontal direction, and the y axis in the vertical direction. FIG. 10B shows a coordinate system X of the drawing of the soccer ground.
-YZ, the center of the soccer ground is taken as the origin, the X-axis is the direction of both goals, the Y-axis is orthogonal, and the Z-axis is the direction perpendicular to the soccer ground plane.

【0060】本発明の画像監視装置は、監視領域内の物
体は前記監視領域の広さに比べて高さを無視できるくら
いに十分に低いとみなしている。したがって、該図面座
標系のZ軸の値は常に0であり、該表示画像座標から該図
面座標系への変換は2次元座標系から2次元座標系の変
換となり、カメラパラメータはC11、C12、C13、C21、C2
2、C23、C31、C32の8個である。この時、前記取得画像
座標(x,y)と図面座標(X,Y)の間には(式1)、(式2)
の関係がある。
The image monitoring apparatus of the present invention regards the object in the monitoring area as being sufficiently low that the height can be ignored compared to the size of the monitoring area. Therefore, the value of the Z axis of the drawing coordinate system is always 0, the conversion from the display image coordinates to the drawing coordinate system is a conversion from the two-dimensional coordinate system to the two-dimensional coordinate system, and the camera parameters are C11, C12, C13, C21, C2
2, C23, C31 and C32. At this time, between the acquired image coordinates (x, y) and the drawing coordinates (X, Y), (Equation 1) and (Equation 2)
There is a relationship.

【0061】[0061]

【数1】 (Equation 1)

【0062】[0062]

【数2】 (Equation 2)

【0063】式1は式2と同値である。式2でHを消去
し、カメラパラメータを未知数として整理すると式3と
なる。式3と式4は同値である。
Equation 1 has the same value as Equation 2. Equation 3 is obtained by eliminating H in Equation 2 and rearranging the camera parameters as unknowns. Equations 3 and 4 are equivalent.

【0064】[0064]

【数3】 (Equation 3)

【0065】[0065]

【数4】 (Equation 4)

【0066】図10(a)の任意の点、たとえば点101C
の座標(x1,y1)と対応するワールド座標の点101Wの座
標(X1,Y1)の対が既知であるとすると、式4は式5とな
る。
An arbitrary point in FIG. 10A, for example, a point 101C
Assuming that a pair of the coordinates (x1, y1) and the coordinates (X1, Y1) of the point 101W of the world coordinate corresponding to the coordinates (x1, y1) is known, Equation 4 becomes Equation 5.

【0067】[0067]

【数5】 (Equation 5)

【0068】求むべき未知数のカメラパラメータは8個
なので、式4を解くには8本の連立方程式が必要である
が、前記既知の取得画像座標と図面座標の1対につき式
5のごとく式が2本できるから、4対以上の既知の取得
画像座標と図面座標の対があればキャリブレーションは
可能であって、カメラパラメータC11、C12、C13、C21、
C22、C23、C31、C32を算出できる。
Since there are eight unknown camera parameters to be obtained, eight simultaneous equations are required to solve Equation 4, but an equation such as Equation 5 is obtained for a pair of the known acquired image coordinates and drawing coordinates. Calibration is possible if there are four or more pairs of known acquired image coordinates and drawing coordinates, and two camera parameters C11, C12, C13, C21,
C22, C23, C31, and C32 can be calculated.

【0069】図10の取得画像と図面座標には101Cと10
1W、102Cと102W、103Cと103W、104Cと104W、105Cと105
W、106Cと106W、107Cと107W、108Cと108Wの8個の対を
示している。この中から一直線上にない4対以上を選択
すればよい。たとえば、103Cと103W、104Cと104W、105C
と105W、106Cと106W、107Cと107W、108Cと108Wの6対を
選び、座標がそれぞれ、(x1,y1)と(X1,Y1)、(x2,y2)と
(X2,Y2)、(x3,y3)と(X3,Y3)、(x4,y4)と(X4,Y4)、(x5,y
5)と(X5,Y5)、(x6,y6)と(X6,Y6)であったとすると式6
となる。
The acquired image and the drawing coordinates in FIG.
1W, 102C and 102W, 103C and 103W, 104C and 104W, 105C and 105
Eight pairs of W, 106C and 106W, 107C and 107W, and 108C and 108W are shown. Four or more pairs not on a straight line may be selected from these. For example, 103C and 103W, 104C and 104W, 105C
And 105W, 106C and 106W, 107C and 107W, and 108C and 108W, and the coordinates are (x1, y1) and (X1, Y1), (x2, y2), respectively.
(X2, Y2), (x3, y3) and (X3, Y3), (x4, y4) and (X4, Y4), (x5, y
5) and (X5, Y5), (x6, y6) and (X6, Y6)
Becomes

【0070】[0070]

【数6】 (Equation 6)

【0071】ここで、式7〜式9と置くと、式6は式1
0になる。
Here, when Equations 7 to 9 are set, Equation 6 becomes Equation 1
It becomes 0.

【0072】[0072]

【数7】 (Equation 7)

【0073】[0073]

【数8】 (Equation 8)

【0074】[0074]

【数9】 (Equation 9)

【0075】[0075]

【数10】 (Equation 10)

【0076】[0076]

【数11】 [Equation 11]

【0077】そして、式11によってC、すなわち8個
のカメラパラメータC11、C12、C13、C21、C22、C23、C3
1、C32を得る。ここで、AtはAの転置行列を表わし、(At
・A)~1はAt・Aの逆行列を表わす。以上がカメラキャリ
ブレーションである。
Then, according to equation 11, C, ie, eight camera parameters C11, C12, C13, C21, C22, C23, C3
1, get C32. Here, A t represents the transposed matrix of A, (A t
· A) ~ 1 represents the inverse matrix of A t · A. The above is the camera calibration.

【0078】次にステップ509の逆変換、即ちカメラ
パラメータC11、C12、C13、C21、C22、C23、C31、C32を
用いて図面座標を取得画像座標に変換する処理を説明す
る。まず、式2の第3式に既知である図面座標(X,Y)を
代入してHを求める。次に第1式と第2式に既知のHと
(X,Y)を代入して未知の取得画像座標(x,y)が求まる。
Next, the reverse conversion of step 509, that is, the process of converting drawing coordinates into acquired image coordinates using camera parameters C11, C12, C13, C21, C22, C23, C31, and C32 will be described. First, H is obtained by substituting the known drawing coordinates (X, Y) into the third expression of Expression 2. Next, with the known H in the first and second equations,
The unknown acquired image coordinates (x, y) are obtained by substituting (X, Y).

【0079】次にステップ510の順変換、即ちカメラ
パラメータC11、C12、C13、C21、C22、C23、C31、C32を
用いて取得画像座標を図面座標に変換する処理を説明す
る。まず、式2のHを消去して、図面座標(X,Y)を未知数
として整理すると式12になる。
Next, the forward conversion of step 510, that is, the process of converting the acquired image coordinates into the drawing coordinates using the camera parameters C11, C12, C13, C21, C22, C23, C31, and C32 will be described. First, H in Equation 2 is deleted, and the drawing coordinates (X, Y) are rearranged as unknowns, whereby Equation 12 is obtained.

【0080】[0080]

【数12】 (Equation 12)

【0081】式12は逆行列を使って、式13と表わさ
れる。
Expression 12 is expressed by Expression 13 using an inverse matrix.

【0082】[0082]

【数13】 (Equation 13)

【0083】式13で、取得画像座標(x,y)はステップ
507の位置指し示し操作による既知座標であるから、
未知の図面座標(X,Y)を求めることができる。
In equation (13), the acquired image coordinates (x, y) are known coordinates obtained by the position pointing operation in step 507.
Unknown drawing coordinates (X, Y) can be obtained.

【0084】ところで、前記カメラキャリブレーション
で取得画像座標(x,y)、図面座標(X,Y)のカメラパラメー
タC11、C12、C13、C21、C22、C23、C31、C32を求めた上
で、第2のカメラパラメータD11、D12、D13、D21、D2
2、D23、D31、D32を設定して式14とおき、第2のカメ
ラキャリブレーションで第2のカメラパラメータD11、D
12、D13、D21、D22、D23、D31、D32を求めると、式15
を用いて、取得画像座標(x,y)から図面座標(X,Y)への順
変換ができる。この演算は式2を用いて逆変換する演算
と同じ形式である。
By the way, the camera parameters C11, C12, C13, C21, C22, C23, C31, C32 of the acquired image coordinates (x, y) and the drawing coordinates (X, Y) are obtained by the camera calibration. Second camera parameters D11, D12, D13, D21, D2
2, D23, D31, and D32 are set, and Equation 14 is set. In the second camera calibration, the second camera parameters D11 and D32 are set.
When 12, D13, D21, D22, D23, D31, and D32 are obtained, Expression 15 is obtained.
Can be used to perform a forward transformation from the acquired image coordinates (x, y) to the drawing coordinates (X, Y). This operation has the same form as the operation of performing the inverse conversion using Expression 2.

【0085】[0085]

【数14】 [Equation 14]

【0086】[0086]

【数15】 (Equation 15)

【0087】すなわち、式2でH、x、yをそれぞれH’、
X、Yに置き換え、更に式2で第1カメラパラメータを第
2カメラパラメータに置き換え、更に式2でX、Yをそれ
ぞれx、yに置き換えれば式15と一致する。
That is, in Equation 2, H, x, and y are H ′,
If X and Y are replaced with each other, the first camera parameter is replaced with the second camera parameter in Expression 2, and X and Y are replaced with x and y in Expression 2, respectively, the result matches Expression 15.

【0088】つまり、第1カメラパラメータと第2カメ
ラパラメータを保持すれば、式2に関する演算で順変換
と逆変換の両方を行うことができる。これは1つのハー
ドウェアで順変換と逆変換の2つの処理できることを意
味し、回路規模の集約に役立つ。
That is, if the first camera parameter and the second camera parameter are held, both forward conversion and inverse conversion can be performed by the operation related to Expression 2. This means that one process can perform two processes of the forward transform and the inverse transform, which is useful for reducing the circuit scale.

【0089】次に、本発明の画像監視装置の第二実施例
を説明する。第二実施例は画像監視装置の表示方法の一
例に関するものである。構成要素は第一実施例と同様
で、図1の通りである。図11(a)は画像入力部10の
取得の画像である。一方、図11(b)は前記取得画像を
演算計測部5にて変換して、地図または図面に貼り付け
て表示した変換貼り付け画像である。
Next, a description will be given of a second embodiment of the image monitoring apparatus according to the present invention. The second embodiment relates to an example of a display method of the image monitoring device. The components are the same as in the first embodiment and are as shown in FIG. FIG. 11A is an image obtained by the image input unit 10. On the other hand, FIG. 11B is a converted pasted image obtained by converting the obtained image by the arithmetic and measurement unit 5 and pasting it on a map or drawing.

【0090】図11(b)の変換貼り付け画像を作成する
には前記地図または図面上の地点に対応する前記取得画
像の地点を求め、前記取得画像の該地点の輝度及び色情
報を前記地図または図面上の該地点に貼り付ける処理を
繰り返す。
In order to create the converted pasted image of FIG. 11B, a point of the acquired image corresponding to the point on the map or drawing is obtained, and the luminance and color information of the point of the acquired image is displayed on the map. Alternatively, the process of pasting to the point on the drawing is repeated.

【0091】例えば、変換貼り付け画像上の地点112
の座標は前記地図または図面上の座標であるが、前述の
逆変換を加えると、地点112に対応する図11(a)
原画上の地点113の座標が求まる。そこで、地点11
3の輝度及び色情報を地点112に貼り付ける。この処
理が可能なのは、図11(a)の原画領域と図11
(b)の地図、または図面領域で対応地点の存在する領
域に限る。
For example, a point 112 on the converted and pasted image
Are the coordinates on the map or drawing, but if the above-described inverse transformation is added, FIG.
The coordinates of the point 113 on the original image are obtained. So point 11
The luminance and color information of No. 3 is pasted to the point 112. This processing is possible only in the original image area of FIG.
(B) Limited to the map or drawing area where the corresponding point exists.

【0092】以上に説明した処理を前記対応地点の存在
する領域全面に亘って行った結果、前記取得画像の変換
貼り付け部である、多角形部111が作成される。
As a result of performing the above-described processing over the entire area where the corresponding point exists, a polygonal part 111, which is a conversion pasting part of the acquired image, is created.

【0093】画像入力部10が新たに画像を取得するた
びに上述の処理を行えば、多角形部111は動画像とな
り、該領域に運動物体が有れば、その動きをあたかも真
上から俯瞰したかのように監視することができる。
If the above processing is performed each time the image input unit 10 acquires a new image, the polygonal unit 111 becomes a moving image. If there is a moving object in the area, the movement is looked down from just above. You can monitor as if you did.

【0094】以上に説明した変換貼り付け処理は演算計
測部5において実行されるが、その動作の流れを図12
に示す。〈ステップ121〉表示部6に前記地図または
図面を表示する大きさを決定し、大きさに応じて前記地
図または図面の座標を線形に大きさ変換する。
The conversion pasting process described above is executed in the arithmetic and measurement unit 5, and the flow of the operation is shown in FIG.
Shown in <Step 121> The size of the map or drawing to be displayed on the display unit 6 is determined, and the coordinates of the map or drawing are linearly converted according to the size.

【0095】〈ステップ122〉画像入力部10取得の
画像と、ステップ121において線形変換された地図ま
たは図面との間でカメラパラメータを求めた上で、前記
取得画像と前記地図または図面との座標の対応関係から
座標変換表を作成する。
<Step 122> After obtaining camera parameters between the image acquired by the image input unit 10 and the map or drawing linearly transformed in step 121, the coordinates of the acquired image and the coordinates of the map or drawing are obtained. Create a coordinate conversion table from the correspondence.

【0096】〈ステップ123〉画像入力部10によっ
て画像を入力する。〈ステップ124〉前記地図または
図面座標を走査し、ステップ122による前記座標変換
表を参照して、前記地図または図面上の地点に対応する
前記取得画像の地点の座標を求める。
<Step 123> An image is input by the image input unit 10. <Step 124> The coordinates of the acquired image corresponding to the points on the map or drawing are obtained by scanning the map or drawing coordinates and referring to the coordinate conversion table in step 122.

【0097】〈ステップ125〉前記取得画像の地点の
座標に位置する輝度情報と色情報を取得する。〈ステッ
プ126〉画像メモリ9の所定の位置に前記輝度情報と
色情報を書き込む。〈ステップ127〉前記地図または
図面座標の走査処理の完了をチェックし、走査が未完な
らばステップ124に戻る。走査が完了していれば、ス
テップ128に進む。
<Step 125> The luminance information and the color information located at the coordinates of the point of the acquired image are acquired. <Step 126> The luminance information and the color information are written at predetermined positions in the image memory 9. <Step 127> It is checked whether the scanning process of the map or drawing coordinates is completed. If the scanning is not completed, the process returns to step 124. If the scanning has been completed, the process proceeds to step 128.

【0098】〈ステップ128〉ステップ124からス
テップ117までの処理サイクルでメモリ9上に多角形
部111が形成されているが、多角形部111の周辺で
輝度情報と色情報が欠如している部分について所定の輝
度と色情報を貼り付けたり、地図または図面を貼り付け
たり、あるいはコンピュータグラフィックスで合成した
画像を貼り付けたりして表示部9に表示する画像を作成
する。
<Step 128> A polygon 111 is formed on the memory 9 in the processing cycle from step 124 to step 117, but a portion where the luminance information and the color information are missing around the polygon 111. Then, an image to be displayed on the display unit 9 is created by pasting predetermined luminance and color information, pasting a map or drawing, or pasting an image synthesized by computer graphics.

【0099】〈ステップ129〉ステップ128で作成
した画像を表示部9に表示する。このとき、1つの画像
に図11(a)の取得画像と図11(b)の変換貼り付け画像を同
時に表示してもよい。
<Step 129> The image created in step 128 is displayed on the display unit 9. At this time, the acquired image of FIG. 11A and the converted and pasted image of FIG. 11B may be simultaneously displayed on one image.

【0100】〈ステップ1210〉監視員による終了命
令の有無を確認し、終了命令の有った場合は一連の動作
を終了し、終了命令の無いときはステップ123に戻
り、以後ステップ123からステップ1210までの処
理サイクルを繰り返す。
<Step 1210> It is confirmed whether or not there is an end command from the observer. If there is an end command, a series of operations is ended. If there is no end command, the process returns to step 123. Thereafter, steps 123 to 1210 are executed. The processing cycle up to is repeated.

【0101】以上説明したように、第二実施例の画像監
視装置は、あたかも真上から監視領域を俯瞰しているよ
うに画像変換して表示するので、奥行き方向の、物体の
移動の様子を理解しやすいという効果がある。
As described above, the image monitoring apparatus of the second embodiment converts and displays an image as if a bird's-eye view of the monitoring area is viewed from directly above. This has the effect of being easy to understand.

【0102】次に本発明の画像監視装置の第三実施例を
説明する。図13は第三実施例の図であって、画像入力
部1315から画像を受ける画像処理部138と、画像
入力部1316から画像を受ける画像処理部1314
と、統合処理部130からなっている。画像処理部13
8は画像入力部1315の取得画像を処理するものであ
って、制御部139と、画像メモリ1310と、記憶部
1311と、演算計測部1312と、通信部1313か
らなる。
Next, a third embodiment of the image monitoring apparatus according to the present invention will be described. FIG. 13 is a diagram of the third embodiment, in which an image processing unit 138 receives an image from the image input unit 1315 and an image processing unit 1314 receives an image from the image input unit 1316.
And the integration processing unit 130. Image processing unit 13
Reference numeral 8 denotes a unit for processing an image obtained by the image input unit 1315, and includes a control unit 139, an image memory 1310, a storage unit 1311, an operation measurement unit 1312, and a communication unit 1313.

【0103】制御部139の制御により画像入力部13
15取得の画像を画像メモリ1310に保持し、画像メ
モリ1310保持の画像もしくは、画像を演算計測部1
311で変換したものを、通信部1313を介して外部
に通信する。記憶部1311は演算計測部1312の演
算に用いるカメラパラメータを記憶している。このカメ
ラパラメータは、画像処理部138の監視動作に先立
ち、通信部1313を介して外部から読み込むことがで
きる。
The image input unit 13 is controlled by the control unit 139.
15 is stored in the image memory 1310, and the image stored in the image memory 1310 or the image is
The data converted in 311 is communicated to the outside via the communication unit 1313. The storage unit 1311 stores camera parameters used for the operation of the operation measurement unit 1312. This camera parameter can be read from the outside via the communication unit 1313 prior to the monitoring operation of the image processing unit 138.

【0104】画像処理部1314は画像処理部138と
同様の構成で、画像入力部1316取得の画像を処理し
て外部に通信する。また、画像処理部138は通信部1
313を介して制御部139を操作することで外部から
制御可能であり、画像処理部1314も同様に通信によ
って外部から制御可能である。
The image processing unit 1314 has the same configuration as the image processing unit 138, and processes an image acquired by the image input unit 1316 to communicate with the outside. The image processing unit 138 is a communication unit 1
By operating the control unit 139 via the 313, external control is possible, and the image processing unit 1314 is also externally controllable by communication.

【0105】統合処理部130は制御部131と、通信
部132と、記憶部133と、演算計測部134と、操
作部135と、表示部136と、画像メモリ137で構
成される。監視員の操作は操作でバイス13から操作部
135を介して制御部131に伝えられ、動作結果は表
示部136を介して表示装置12に表示させたり、記憶
部133に記録したり、通信部132を介して外部装置
を使って確認することもできる。
The integration processing unit 130 includes a control unit 131, a communication unit 132, a storage unit 133, a calculation and measurement unit 134, an operation unit 135, a display unit 136, and an image memory 137. The operation of the observer is transmitted from the vice 13 to the control unit 131 via the operation unit 135 by operation, and the operation result is displayed on the display device 12 via the display unit 136, recorded in the storage unit 133, or transmitted to the communication unit. Confirmation can also be performed using an external device via the external device 132.

【0106】次に、本発明の画像監視装置の第三実施例
による監視動作の概略を説明する。画像入力部1315
と画像入力部1316を所定の画角に固定する。これ
は、設置工事の際に固定してもよいし、可動式雲台を制
御して所定の画角に定めてもよい。
Next, an outline of the monitoring operation of the image monitoring apparatus according to the third embodiment of the present invention will be described. Image input unit 1315
And the image input unit 1316 are fixed at a predetermined angle of view. This may be fixed at the time of installation work, or may be set to a predetermined angle of view by controlling the movable head.

【0107】次に画像入力部1315と画像入力部13
16の取得画像領域の地図または図面を記憶部133に
記憶させる。記憶部1311と画像処理部1314内蔵
の記憶部にもそれぞれ取得画像に関わる地図または図面
を、通信部132を介して送る。
Next, the image input unit 1315 and the image input unit 13
The map or drawing of the 16 acquired image areas is stored in the storage unit 133. The map or drawing relating to the acquired image is also sent to the storage unit 1311 and the storage unit built in the image processing unit 1314 via the communication unit 132.

【0108】次に前記固定された画角に対するカメラパ
ラメータを求める為に、画像入力部1315から取得し
た画像を通信部132と、通信部1313を通じて画像
メモリ137に転送し、表示部136を介して表示装置
12に表示させる。その後のカメラパラメータの導出
は、カメラパラメータC11、C12、C13、C21、C22、C23、
C31、C32を求めるための、キャリブレーション法の説明
の通りである。画像入力部1316から取得した画像に
対するカメラパラメータも同様に、通信部132を介し
て画像メモリ137に記録された、画像入力部1316
から取得した画像に対して行う。
Next, in order to obtain camera parameters for the fixed angle of view, the image obtained from the image input unit 1315 is transferred to the image memory 137 through the communication unit 132 and the communication unit 1313, and is displayed through the display unit 136. It is displayed on the display device 12. Subsequent derivation of camera parameters is based on camera parameters C11, C12, C13, C21, C22, C23,
This is as described for the calibration method for obtaining C31 and C32. Similarly, the camera parameters for the image acquired from the image input unit 1316 are stored in the image memory 137 via the communication unit 132 and stored in the image input unit 1316.
Performed on images acquired from

【0109】監視動作時は、画像入力部1315の取得
画像は画像メモリ1310と、通信部1313と、通信
部132を経由して画像メモリ137に保持される。一
方、画像入力部1316の取得画像は画像処理部131
4の画像メモリと通信部及び通信部132を経由して画
像メモリ137に保持される。画像メモリ137に保持
された前記2つの画像は表示部136に表示され、監視
員の監視を受ける。
During the monitoring operation, the image obtained by the image input unit 1315 is held in the image memory 137 via the image memory 1310, the communication unit 1313, and the communication unit 132. On the other hand, the image acquired by the image input unit 1316 is
4 is stored in the image memory 137 via the image memory and the communication unit and the communication unit 132. The two images stored in the image memory 137 are displayed on the display unit 136 and monitored by a monitor.

【0110】画像入力部1315から取得した画像は画
像メモリ137に達するまでに、演算計測部1312と
演算計測部134による変換を受けることができる。画
像入力部1316から取得した画像は画像メモリ137
に達するまでに、画像処理部1314の演算計測部と演
算計測部134による変換を受けることができる。
The image acquired from the image input unit 1315 can be converted by the operation measuring unit 1312 and the operation measuring unit 134 before reaching the image memory 137. The image acquired from the image input unit 1316 is stored in the image memory 137.
Can be received by the calculation and measurement unit of the image processing unit 1314 and the calculation and measurement unit 134 before reaching.

【0111】次に本発明の画像監視装置の第三実施例の
動作を説明する。図14は動作を説明する図であって、
図14(a)は画像入力部1315による原画像で、図1
4(b)は画像入力部1316による原画像であり、図1
4(c)は画像入力部1315と画像入力部1316の取
得画像を含む地図または図面である。ここで、例えば、
地点140と地点141は同一地点であり、地点142
と地点143は同一地点である。
Next, the operation of the third embodiment of the image monitoring apparatus according to the present invention will be described. FIG. 14 is a diagram for explaining the operation.
FIG. 14A shows an original image by the image input unit 1315, and FIG.
4 (b) is an original image by the image input unit 1316, and FIG.
4 (c) is a map or drawing including images obtained by the image input unit 1315 and the image input unit 1316. Where, for example,
The point 140 and the point 141 are the same point, and the point 142
And the point 143 are the same point.

【0112】監視動作時において、図14(a)と図14
(b)は等しい大きさの枠内で表示部136に表示されて
いる。この時、監視員が操作部135を用いて地点14
1を指示すると、対応する地点140を含む図14(a)
の取得画像に強調マークが入ったり、あるいは図14
(a)の取得画像が表示部136に大きく表示され、図1
4(b)の取得画像は小さい表示になったり、背後に回っ
たり、表示されなくなったりすることができる。
At the time of the monitoring operation, FIG.
(b) is displayed on the display unit 136 in a frame of the same size. At this time, the observer uses the operation unit 135 to
When the user designates 1, FIG. 14 (a) including the corresponding point 140
14 is highlighted or the image shown in FIG.
The acquired image of (a) is displayed in a large size on the display unit 136, and FIG.
The acquired image of FIG. 4 (b) can be displayed small, go behind, or not be displayed.

【0113】また、監視員が操作部135を用いて地点
142を指示すると、対応する地点143を含む図14
(b)の取得画像に強調マークが入ったり、あるいは図1
4(b)の取得原画が表示部136に大きく表示され、図
14(a)の取得画像は小さい表示になったり、背後に回
ったり、表示されなくなったりすることができる。以上
の処理の流れを図15に示す。
When the observer instructs the point 142 by using the operation unit 135, the point including the corresponding point 143 in FIG.
An emphasis mark appears in the acquired image of (b), or FIG.
The acquired original image of FIG. 4 (b) is displayed large on the display unit 136, and the acquired image of FIG. 14 (a) can be displayed in a small size, turn behind, or be not displayed. FIG. 15 shows the flow of the above processing.

【0114】〈ステップ150〉初期設定として、画像
入力部1315取得の画像と画像入力部1316取得の
画像に対するそれぞれのカメラパラメータを記憶部13
4に記憶し、画像処理部138の制御部139と画像処
理部1314の制御部に対して画像通信要求を出す。
<Step 150> As the initial setting, the camera parameters for the image obtained by the image input unit 1315 and the image obtained by the image input unit 1316 are stored in the storage unit 13.
4 and issues an image communication request to the control unit 139 of the image processing unit 138 and the control unit of the image processing unit 1314.

【0115】〈ステップ151〉制御部131は通信部
132を介して画像処理部138と、画像処理部131
4から画像を受信すると画像メモリ137に記憶する。
〈ステップ152〉前記監視員が操作部135を操作し
て発生する割込みを受けた場合はステップ153に進
む。一方割込みを受けない場合はステップ158に進
む。
<Step 151> The control unit 131 communicates with the image processing unit 138 and the image processing unit 131 via the communication unit 132.
4, the image is stored in the image memory 137.
<Step 152> If the monitor receives an interrupt generated by operating the operation unit 135, the process proceeds to step 153. On the other hand, if no interruption is received, the process proceeds to step 158.

【0116】〈ステップ153〉前記割込みの意味を解
釈し、終了要求であれば監視を終了する。地図または図
面上の指示であればステップ154に進み、標準表示モ
ードの要求であればステップ155に進む。
<Step 153> The meaning of the interrupt is interpreted, and if it is a termination request, the monitoring is terminated. If the instruction is on a map or drawing, the flow proceeds to step 154, and if the request is for the standard display mode, the flow proceeds to step 155.

【0117】〈ステップ154〉指示されている地図ま
たは図面上の座標値を取得する。〈ステップ156〉前
記カメラパラメータを用いて逆変換処理を行い、前記地
図または図面上の指示地点に対応する取得画像の座標値
を求める。
<Step 154> The coordinate value on the designated map or drawing is acquired. <Step 156> An inverse transformation process is performed using the camera parameters to obtain the coordinate values of the acquired image corresponding to the designated point on the map or drawing.

【0118】〈ステップ157〉前記指示地点に対応す
る取得画像の座標値が画像入力部1315取得の画像
か、画像入力部1316取得の画像かを判定し、該当す
る画像を選択する。そして、選択画像を図面の拡大率
(倍率)と一致させるように、画像の拡大率を変える。
<Step 157> It is determined whether the coordinate value of the acquired image corresponding to the designated point is an image acquired by the image input unit 1315 or an image acquired by the image input unit 1316, and the corresponding image is selected. Then, the enlargement ratio of the image is changed so that the selected image matches the enlargement ratio (magnification) of the drawing.

【0119】また、前記地図または図面上の指示地点に
対応する座標が画像入力部1315による画像と画像入
力部1316による画像の両方に含まれる場合、画像の
選択条件は事前に定める方式に従う。例えば、前記地図
または図面上の指示地点に対応する座標を含む画像の中
でもっとも拡大率の大きいまたは小さい画像を選択した
り、カメラ俯角の最も深い画像を選択することで見易く
する。更に、画像の明るさが異なると境界が見にくくな
るので、輝度を一致させる。
When the coordinates corresponding to the designated point on the map or drawing are included in both the image input by the image input unit 1315 and the image input by the image input unit 1316, the conditions for selecting the image follow a predetermined method. For example, by selecting an image having the largest or smallest enlargement ratio among images including coordinates corresponding to the designated point on the map or the drawing, or by selecting an image having the deepest camera depression angle, the image can be easily viewed. Further, if the brightness of the image is different, the boundary becomes difficult to see, so that the brightness is matched.

【0120】〈ステップ155〉前記表示条件を、例え
ば画像入力部1315による画像と画像入力部1316
による画像を同じ大きさの外形枠で並べて表示するな
ど、起動時の条件に戻す。〈ステップ158〉前記表示
条件に従い表示画像を作成する。〈ステップ159〉表
示部136にステップ158作成の表示画像を表示して
ステップ151に戻る。
<Step 155> The display conditions are determined, for example, by using the image input unit 1315 and the image input unit 1316.
Are returned to the conditions at the time of starting, such as displaying images arranged in the same size in an outer frame. <Step 158> A display image is created according to the display conditions. <Step 159> The display image created in step 158 is displayed on the display unit 136, and the process returns to step 151.

【0121】以上、本発明の画像監視装置の第三実施例
について、二組の画像入力部と画像処理部の構成で説明
したが、画像入力部と画像処理部の組を更に増やすこと
は可能である。
The third embodiment of the image monitoring apparatus according to the present invention has been described with the configuration of the two sets of the image input unit and the image processing unit. However, it is possible to further increase the set of the image input unit and the image processing unit. It is.

【0122】このように、本発明の画像監視装置の第三
実施例によれば、複数カメラで監視を行う場合に、監視
画像上を指示するだけで地図上の位置が分かるのに加え
て、地図上で確認したい場所を指示すると、複数のカメ
ラの中で最も適した画角のカメラが選択されて表示装置
の映し出され、更にその表示上に、前記指示した位置が
重ね表示されるので、迅速で効率的な監視業務が可能と
なる。
As described above, according to the third embodiment of the image monitoring apparatus of the present invention, when monitoring is performed by a plurality of cameras, the position on the map can be determined simply by pointing on the monitoring image. When a place to be checked on the map is designated, the camera with the most suitable angle of view is selected from among the plurality of cameras and is projected on the display device, and further, on the display, the designated position is superimposed and displayed. Quick and efficient monitoring work becomes possible.

【0123】次に本発明の画像監視装置の第四実施例を
説明する。本発明の画像監視装置の第四実施例は監視画
像の表示法に関するもので、構成要素は第三実施例と同
様で、図13の通りである。
Next, a fourth embodiment of the image monitoring apparatus according to the present invention will be described. The fourth embodiment of the image monitoring apparatus according to the present invention relates to a method of displaying a monitoring image, and the components are the same as in the third embodiment, as shown in FIG.

【0124】図16は第四実施例を説明する図であっ
て、図16(a)は画像入力部1315取得の画像で、図
16(b)は画像入力部1316取得の画像である。一
方、図16(c)は画像入力部1315取得の画像を演算
計測部1312で変換した画像と、画像入力部1316
取得の画像を画像処理部1314の演算計測部で変換を
加えたものを該当する地図または図面上に貼り付けた画
像である。
FIG. 16 is a view for explaining the fourth embodiment. FIG. 16 (a) is an image obtained by the image input unit 1315, and FIG. 16 (b) is an image obtained by the image input unit 1316. On the other hand, FIG. 16C illustrates an image obtained by converting the image acquired by the image input unit 1315 by the operation measurement unit 1312 and the image input unit 1316.
This is an image obtained by converting the obtained image by the calculation and measurement unit of the image processing unit 1314 and pasting the converted image on the corresponding map or drawing.

【0125】演算計測部1312での、画像入力部13
15が取得した画像の変換法は、第二実施例と同様に、
前記地図または図面上を走査して、逆変換処理を用い
て、画像入力部1315取得の画像上の対応点から輝度
情報と色情報を取得して、前記地図または図面中に貼り
付けるものである。画像処理部1314の演算計測部で
の、画像入力部1316が取得した画像の変換法も同様
に、前記地図または図面上を走査して、逆変換処理を用
いて、画像入力部1316取得の画像上の対応点から輝
度情報と色情報を取得して、前記地図または図面中に貼
り付けるものである。
The image input unit 13 in the operation measurement unit 1312
The conversion method of the image acquired by 15 is similar to the second embodiment,
By scanning on the map or drawing, luminance information and color information are obtained from corresponding points on the image obtained by the image input unit 1315 using an inverse transformation process, and pasted into the map or drawing. . Similarly, in the conversion method of the image acquired by the image input unit 1316 in the operation measurement unit of the image processing unit 1314, the image acquired by the image input unit 1316 is scanned by scanning the map or drawing and using an inverse transformation process. The luminance information and the color information are acquired from the corresponding points, and are pasted in the map or the drawing.

【0126】図16(c)の多角形161は、画像入力部
1316取得画像に変換を加えて貼り付けたものであ
り、多角形160は、一部多角形161に隠れて破線で
表わしているが、画像入力部1315取得画像に変換を
加えて貼り付けたものである。多角形160と多角形1
61の重なり部分162には、画像入力部1315が取
得した画像と、画像入力部1316が取得した画像の、
いずれの輝度情報と色情報を用いるはあらかじめ決める
規則に従う。
The polygon 161 in FIG. 16C is obtained by converting the image acquired by the image input unit 1316 and pasting the converted image. The polygon 160 is represented by a broken line, partially hidden by the polygon 161. Is obtained by converting and pasting the image acquired by the image input unit 1315. Polygon 160 and polygon 1
In an overlapping portion 162 of 61, the image obtained by the image input unit 1315 and the image obtained by the image input unit 1316 are
Which of the luminance information and the color information is used follows a predetermined rule.

【0127】前記規則としては該当地点からの距離が近
い方の画像入力部取得の画像を用いるとか、拡大率の大
きい方または小さい方の画像入力部取得の画像を用いる
とか、該当地点に対する俯角の大きい方の画像入力部取
得の画像を用いるとか、平均輝度を一致させるとかの規
則を定めることができる。
The rule may be to use an image obtained from the image input unit at a shorter distance from the corresponding point, to use an image obtained from the image input unit with a larger or smaller magnification, or to use a depressed angle for the corresponding point. Rules such as using the image obtained from the larger image input unit or matching the average luminance can be determined.

【0128】画像入力部1315と画像入力部1316
が新たに画像を取得するたびに以上の処理を行えば、多
角形部160と多角形161は動画像となり、該領域に
運動物体が有れば、その動きをあたかも真上から俯瞰し
たかのように監視することができる。
Image input unit 1315 and image input unit 1316
When the above processing is performed each time a new image is acquired, the polygon part 160 and the polygon 161 become a moving image, and if there is a moving object in the area, it is as if the movement was looked down from directly above. Can be monitored.

【0129】以上説明したように、本発明の画像監視装
置の第四実施例によれば、画角の異なる複数のカメラに
よる画像を一画像に合成し、監視領域をあたかも真上か
ら俯瞰したかのように監視することができるので、移動
物体の動きや、監視領域の全体像を理解しやすいという
効果がある。また、第四実施例ではカメラ毎の明るさや
色合いの違いが合成結果に現れることがあるが、これを
補正するためにカメラ毎の平均輝度を合わせることもで
きる。
As described above, according to the fourth embodiment of the image monitoring apparatus of the present invention, images obtained by a plurality of cameras having different angles of view are combined into one image, and the monitoring area is viewed from directly above. Can be monitored as described above, so that it is easy to understand the movement of the moving object and the entire image of the monitoring area. Further, in the fourth embodiment, differences in brightness and hue of each camera may appear in the synthesis result, but in order to correct this, the average brightness of each camera can be matched.

【0130】また、先に本発明の画像監視装置の第一実
施例として説明した運動場の人の移動監視と、駐車場監
視システムと、港湾監視システムと、空港監視システム
と、河川監視システムは広い監視視野を確保する為に複
数のカメラを設けることも可能で、この場合は第三実施
例や第四実施例に従う。
Also, the movement monitoring of the people in the playground, the parking lot monitoring system, the harbor monitoring system, the airport monitoring system, and the river monitoring system described above as the first embodiment of the image monitoring apparatus of the present invention are wide. It is also possible to provide a plurality of cameras in order to secure a monitoring field of view, in which case the third and fourth embodiments are followed.

【0131】次に本発明の画像監視装置の第五実施例を
説明する。図17はサッカー等の、ゲームの選手移動軌
跡を計測する、第五実施例の画像監視装置の図であっ
て、画像入力手段170と、軌跡計測手段171と、軌
跡保持手段172と、時系列変換画像作成手段173
と、時系列変換画像保持手段174と、軌跡編集手段1
75からなる。
Next, a description will be given of a fifth embodiment of the image monitoring apparatus according to the present invention. FIG. 17 is a diagram of an image monitoring apparatus according to a fifth embodiment for measuring a player's movement trajectory of a game such as a soccer game, and includes an image input unit 170, a trajectory measurement unit 171, a trajectory holding unit 172, and a time series. Conversion image creation means 173
, Time-series converted image holding means 174, and locus editing means 1
Consists of 75.

【0132】画像入力手段170は監視領域全体をカバ
ーするもので、1台のカメラでもよいし、複数台のカメ
ラでもよい。軌跡計測手段171は画像入力手段170
の画像に基づき選手や移動物体の軌跡を抽出するもの
で、画像処理装置で自動抽出してもよいし、操作員が目
視で検出して記録してもよい。軌跡保持手段172は軌
跡計測手段171による軌跡データを保持し、軌跡編集
作業者の操作により、前記選手や移動物体の軌跡を時系
列に再生したり、停止したり、時系列と逆に過去に向か
って再生したりできる。
The image input means 170 covers the entire monitoring area, and may be a single camera or a plurality of cameras. The trajectory measuring unit 171 is an image input unit 170
The trajectory of a player or a moving object is extracted on the basis of the above image. The trajectory may be automatically extracted by an image processing device, or may be visually detected and recorded by an operator. The trajectory holding means 172 holds the trajectory data by the trajectory measuring means 171 and, by the operation of the trajectory editing operator, reproduces or stops the trajectory of the player or the moving object in time series, or reverses the time series in the past. And play it back.

【0133】時系列変換画像作成手段173は第四実施
例に基づき、画像入力手段170が取得した画像の輝度
と色情報を、該当領域の地図または図面上に貼りつけた
時系列変換画像を作成する。時系列変換画像保持手段1
74は時系列変換画像作成手段173による時系列変換
画像を保持し、軌跡編集作業者の操作により、軌跡保持
手段172の再生に同期して、前記変換画像を時系列に
再生したり、停止したり、時系列と逆に、より過去に向
かって再生したりできる。軌跡編集手段175は軌跡保
持手段172の再生軌跡と、時系列変換画像保持手段1
74の再生変換画像を同時表示して、前記再生軌跡の妥
当性を確認すると共に、修正が必要な場合には修正が可
能である。また、軌跡保持手段172は一定時間に描か
れた軌跡を継続的に再生することも可能である。
The time-series converted image creating means 173 creates a time-series converted image in which the luminance and color information of the image acquired by the image input means 170 are pasted on a map or drawing of the corresponding area based on the fourth embodiment. I do. Time-series converted image holding means 1
Numeral 74 holds the time-series converted image by the time-series converted image creating means 173, and reproduces or stops the converted image in time series in synchronization with the reproduction of the locus holding means 172 by the operation of the locus editing operator. Or, contrary to the time series, it can be played back to the past. The trajectory editing means 175 stores the reproduction trajectory of the trajectory holding means 172 and the time-series converted image holding means 1
Simultaneously displaying the 74 reproduced converted images, the validity of the reproduction trajectory is confirmed, and if necessary, correction can be made. The trajectory holding means 172 can also continuously reproduce the trajectory drawn for a certain period of time.

【0134】図18は軌跡編集手段175の表示する、
前記一定時間に描かれた軌跡と前記時系列変換画像の一
枚を重畳した画像であって、移動中の人物180と軌跡
181が表示されている。
FIG. 18 shows the display of the trajectory editing means 175.
This is an image in which the trajectory drawn at the predetermined time and one of the time-series converted images are superimposed, and a moving person 180 and a trajectory 181 are displayed.

【0135】人物180は前記時系列変換画像中に含ま
れているもので、前記時系列変換画像を時系列で再生す
ると、人物180の移動していく様子が動画像として確
認できる。一方軌跡181は軌跡保持手段172保持の
データに基づき描くものである。前記時系列変換画像を
前記一定時間に対応する部分を動画として再生する場
合、軌跡181が妥当なものであれば、人物180の足
元は軌跡181上を移動するが、軌跡181に誤りがあ
れば、人物180の足元と軌跡181にずれが生じるの
で、このずれを修正することで、軌跡181の修正がな
される。
The person 180 is included in the time-series converted image, and when the time-series converted image is reproduced in a time-series manner, the moving state of the person 180 can be confirmed as a moving image. On the other hand, the trajectory 181 is drawn based on the data stored in the trajectory holding means 172. When the time-series converted image is reproduced as a moving image corresponding to the predetermined time, if the trajectory 181 is appropriate, the foot of the person 180 moves on the trajectory 181, but if the trajectory 181 has an error, Since the displacement between the foot of the person 180 and the trajectory 181 occurs, the trajectory 181 is corrected by correcting the displacement.

【0136】以上説明したように、本発明の画像監視装
置の第五実施例によれば、カメラ毎のビデオ画像を切替
えながら繰り返し目視して、軌跡の確認が不要で、軌跡
編集が効率的に行えるという効果がある。
As described above, according to the fifth embodiment of the image monitoring apparatus of the present invention, it is not necessary to check the trajectory by repeatedly viewing the video image while switching the video image for each camera, and the trajectory editing can be efficiently performed. There is an effect that can be done.

【0137】次に本発明の画像監視装置の第六実施例を
説明する。図19は本発明の画像監視装置の第六実施例
の図であって、画像入力手段191と、画像変換手段1
92と、背景画像保存手段193と、背景差分手段19
4と、物体検出手段195と、軌跡抽出手段196と、
背景作成手段197からなる。
Next, a description will be given of a sixth embodiment of the image monitoring apparatus according to the present invention. FIG. 19 is a view of a sixth embodiment of the image monitoring apparatus according to the present invention, wherein an image input unit 191 and an image conversion unit 1 are provided.
92, background image storage means 193, and background subtraction means 19
4, object detection means 195, trajectory extraction means 196,
It comprises a background creating means 197.

【0138】画像入力手段191は監視領域全体をカバ
ーするもので、1台のカメラでもよいし、複数台のカメ
ラでもよい。画像変換手段192は第四実施例に基づ
き、画像入力手段191取得の画像の輝度と色情報を該
当領域の地図または図面上に貼りつけた変換画像を作成
する。該変換画像は画像入力手段191に用いるカメラ
台数に関わらず、一つの画像に統合されている。背景画
像保存手段193は、前記変換画像で移動物体が侵入し
ていないシーンの画像を、背景画像としてあらかじめ保
持している。
The image input means 191 covers the entire monitoring area, and may be a single camera or a plurality of cameras. Based on the fourth embodiment, the image conversion means 192 creates a converted image in which the luminance and color information of the image obtained by the image input means 191 are pasted on a map or drawing of the corresponding area. The converted image is integrated into one image regardless of the number of cameras used for the image input unit 191. The background image storage unit 193 previously stores, as a background image, an image of a scene in which no moving object has entered the converted image.

【0139】背景差分手段194は画像変換手段192
の変換画像と背景画像保存手段193の背景画像の、部
分毎の輝度差を計算する。物体検出手段195は前記部
分毎の輝度差から侵入物体を検出する。軌跡抽出手段1
96は前記変換画像内の侵入物の位置を時系列に解析し
て前記侵入物の軌跡を抽出する。背景作成手段197は
背景画像保存手段193の保存背景と、画像変換手段1
92の画像を合成して背景画像を作成する。
[0139] The background subtracting means 194 is an image converting means 192.
Then, the luminance difference of each part between the converted image and the background image of the background image storage unit 193 is calculated. The object detecting means 195 detects an intruding object from the luminance difference for each part. Trajectory extraction means 1
96 extracts the trajectory of the intruder by analyzing the position of the intruder in the converted image in time series. The background creation unit 197 includes the storage background of the background image storage unit 193 and the image conversion unit 1.
A background image is created by combining 92 images.

【0140】すなわち、物体検出手段195の出力信号
に基づき、画像変換手段192の画像で移動物体の存在
する部分に、背景画像保存手段193の保存する背景画
像の該当部分を貼り付けて背景画像を作成する。更に、
この背景画像で背景画像保存手段193の保存背景を更
新する。
That is, based on the output signal of the object detecting means 195, the corresponding part of the background image stored by the background image storing means 193 is pasted to the part where the moving object exists in the image of the image converting means 192, and the background image is create. Furthermore,
The storage background of the background image storage unit 193 is updated with this background image.

【0141】以上説明したように、本発明の画像監視装
置の第六実施例によれば、複数の異なる画角のカメラに
よる画像であっても、一枚に統合して監視領域全体の物
体の移動軌跡を求めることができる。
As described above, according to the sixth embodiment of the image monitoring apparatus of the present invention, even if images obtained by a plurality of cameras having different angles of view are integrated into one image, The movement trajectory can be obtained.

【0142】なお、第6実施例の特徴は、異なる画角の
複数のカメラ画像を一枚の画像に統合してから侵入者検
出処理を行う点である。本実施例では、よく知られてい
る背景差分法を用いて説明したが、侵入物体の検出には
パターンマッチング処理やフレーム間差分処理など他の
手法を用いてもよい。
The feature of the sixth embodiment is that an intruder detection process is performed after integrating a plurality of camera images having different angles of view into one image. The present embodiment has been described using the well-known background subtraction method. However, other methods such as pattern matching processing and inter-frame difference processing may be used to detect an intruding object.

【0143】次に本発明の画像監視装置の第七実施例を
説明する。図20は本発明の画像監視装置の第七実施例
の図であって、画像入力手段201と、物体検出手段2
02と、画像変換手段203と、変換画像保存手段20
4と、変換画像合成手段205と、検出物体貼り付け手
段206からなる。
Next, a description will be given of a seventh embodiment of the image monitoring apparatus according to the present invention. FIG. 20 is a diagram of a seventh embodiment of the image monitoring apparatus according to the present invention, wherein an image input unit 201 and an object detection unit 2 are provided.
02, image conversion means 203, and converted image storage means 20
4, a converted image synthesizing unit 205, and a detected object pasting unit 206.

【0144】画像入力手段201は監視領域全体をカバ
ーするもので、1台のカメラでもよいし、複数台のカメ
ラでもよい。物体検出手段202は画像入力手段201
取得の画像から侵入物体を検出する。侵入物体の検出法
はよく知られている背景差分法でもよいし、パターンマ
ッチングやフレーム間差分法を用いてもよい。
The image input means 201 covers the entire monitoring area, and may be a single camera or a plurality of cameras. The object detecting means 202 is provided by the image input means 201
An intruding object is detected from the acquired image. As a method of detecting an intruding object, a well-known background subtraction method, a pattern matching method, or an inter-frame difference method may be used.

【0145】画像変換手段203は第四実施例に基づ
き、画像入力手段201取得の画像の輝度と色情報を該
当領域の地図または図面上に貼りつけた変換画像を作成
する。該変換画像は画像入力手段201に用いるカメラ
台数に関わらず、一つの画像に統合されている。
The image conversion means 203 creates a converted image in which the luminance and color information of the image obtained by the image input means 201 are pasted on a map or drawing of the corresponding area based on the fourth embodiment. The converted image is integrated into one image regardless of the number of cameras used for the image input unit 201.

【0146】変換画像保存手段204は初期状態では、
画像入力手段201取得の侵入物の存在しない画像を変
換した画像を保存しているが、画像入力手段201の続
く画像入力サイクルでは、変換画像合成手段205で合
成した変換画像を保存している。
In the initial state, the converted image storing means 204
An image obtained by converting an image having no intruding object obtained by the image input unit 201 is stored. In a subsequent image input cycle of the image input unit 201, the converted image synthesized by the converted image synthesizing unit 205 is stored.

【0147】変換画像合成手段205では物体検出手段
202の情報に基づき画像変換手段203による変換画
像と変換画像保存手段204の保存する変換画像を合成
する。すなわち、画像変換手段203による変換画像
の、侵入物体の存在する部分に、変換画像保存手段20
4の保存する変換画像を貼り付けることで、侵入物体の
ない変換画像を合成する。検出物体貼り付け手段206
は、変換画像合成手段205の合成する、侵入物体の存
在しない変換画像に、画像入力手段201取得の画像か
ら切り出した、変換していない侵入物体の画像を貼り付
けて、侵入物体貼り付け済み変換画像を作成し、表示装
置に表示する。
The converted image synthesizing means 205 synthesizes the converted image by the image converting means 203 and the converted image stored by the converted image storing means 204 based on the information of the object detecting means 202. That is, the converted image storing means 20 is stored in a portion of the converted image by the image converting means 203 where the intruding object exists.
By pasting the converted image stored in step 4, a converted image having no intruding object is synthesized. Detection object pasting means 206
Is obtained by pasting an image of an unconverted intruding object cut out from the image obtained by the image input means 201 onto a converted image synthesized by the converted image synthesizing means 205 and having no invading object, and An image is created and displayed on a display device.

【0148】以上説明したように、本発明の画像監視装
置の第七実施例によれば、カメラから遠方の部分でも、
侵入者が拡大され過ぎず、違和感のない、真上からの俯
瞰画像を作成できる。
As described above, according to the seventh embodiment of the image monitoring apparatus of the present invention, even in a portion far from the camera,
It is possible to create a bird's-eye view image from directly above, where the intruder is not enlarged too much and does not feel strange.

【0149】次に本発明の画像監視装置の第八実施例を
説明する。図21は本発明の画像監視装置の第八実施例
を説明する図であって、画像入力手段210と、画像表
示手段211と、画像上指示手段213と、カメラパラ
メータ記憶手段212と、順変換手段214と、シミュ
レーション手段215と、計測手段216からなる。
Next, an eighth embodiment of the image monitoring apparatus according to the present invention will be described. FIG. 21 is a view for explaining an eighth embodiment of the image monitoring apparatus according to the present invention, wherein an image input means 210, an image display means 211, an on-image instruction means 213, a camera parameter storage means 212, a forward conversion It comprises means 214, simulation means 215, and measurement means 216.

【0150】画像入力手段210は監視領域を俯瞰する
画像を取得する。画像表示手段211は画像入力手段2
10取得の画像を表示する。監視員は画像表示手段21
1を目視して、注目箇所を画像上指示手段213で指示
する。例えば、崖崩れ位置を指示したり、崖崩れ部分を
囲ったりする。あるいは、堤防決壊箇所を指示したり、
川岸の両側を指示したりする。
[0150] The image input means 210 obtains an image of a bird's-eye view of the monitoring area. Image display means 211 is image input means 2
10 The acquired image is displayed. The observer is the image display means 21
1 is visually observed, and a point of interest is instructed by the image instructing means 213. For example, the position of the cliff is indicated or the cliff is surrounded. Alternatively, you can indicate the location of the embankment break,
Or direct both sides of the riverbank.

【0151】カメラパラメータ記憶手段212は、画像
表示手段211取得の画像を、該当する地図に対応させ
る順変換に必要なパラメータであって、先に説明したカ
メラキャリブレーション処理によって得られる。順変換
手段214は画像入力手段210取得の画像に対して指
示された位置の前記地図への対応付けを行う。対応付け
られた地図を基にシミュレーション手段215や計測手
段216を起動する。
The camera parameter storage unit 212 is a parameter necessary for forward conversion of an image acquired by the image display unit 211 to correspond to a corresponding map, and is obtained by the camera calibration process described above. The forward conversion unit 214 associates the position designated with respect to the image acquired by the image input unit 210 with the map. The simulation unit 215 and the measurement unit 216 are activated based on the associated map.

【0152】例えば、シミュレーション手段として浸水
シミュレーションを行う場合に、画像表示手段211取
得の画像中で堤防決壊の危険に瀕している部分を指示し
て、該指示位置に対応の地図上の位置を前記浸水シミュ
レーションの入力パラメータとし、自在に現状に即した
シミュレーションが可能となる。
For example, when a flood simulation is performed as the simulation means, a portion of the image acquired by the image display means 211 that is at risk of levee collapse is designated, and a position on the map corresponding to the designated position is designated. By using the parameters as the input parameters of the flood simulation, a simulation can be freely performed according to the current situation.

【0153】更にこの時の川の両岸を、画像表示手段2
11取得の画像中で指示すると、計測手段216にて、
前記対応地図上での監視時の川幅を計測できて、増水量
を見積もることができて、前記増水量を前記浸水シミュ
レーションの入力パラメータとすることが可能で、前記
浸水シミュレーションの結果の高精度化を図れる。
Further, both sides of the river at this time are displayed on the image display means 2.
When the instruction is given in the image of 11 acquisition, the measuring means 216
The width of the river at the time of monitoring on the corresponding map can be measured, the amount of water increase can be estimated, the amount of water increase can be used as an input parameter of the flood simulation, and the accuracy of the result of the flood simulation can be improved. Can be achieved.

【0154】次に本発明の画像監視装置の第九実施例を
説明する。図22は本発明の画像監視装置の第九実施例
を説明する図であって、画像処理手段221と、画像処
理手段222と、地図記憶手段220からなる。画像処
理手段221は画像入力手段224と、カメラパラメー
タ記憶手段225と、画像変換手段226からなる。
Next, a ninth embodiment of the image monitoring apparatus of the present invention will be described. FIG. 22 is a view for explaining a ninth embodiment of the image monitoring apparatus of the present invention, and comprises an image processing means 221, an image processing means 222, and a map storage means 220. The image processing unit 221 includes an image input unit 224, a camera parameter storage unit 225, and an image conversion unit 226.

【0155】画像処理手段222は画像処理手段221
と同様の構成で、画像入力手段227と、カメラパラメ
ータ記憶手段228と、画像変換手段229からなる。
画像入力手段224と画像入力手段227は、監視領域
内建造物による遮蔽を回避すべく、それぞれ異なる位置
に置かれているが、監視領域は部分的に重なっている。
地図記憶手段220は画像入力手段224と画像入力手
段227取得の画像に該当する領域の地図を記憶してい
る。
The image processing means 222 includes an image processing means 221.
Has an image input unit 227, a camera parameter storage unit 228, and an image conversion unit 229.
The image input means 224 and the image input means 227 are respectively located at different positions in order to avoid shielding by the building in the monitoring area, but the monitoring areas partially overlap.
The map storage unit 220 stores a map of an area corresponding to the image acquired by the image input unit 224 and the image input unit 227.

【0156】カメラパラメータ記憶手段225とカメラ
パラメータ記憶手段228はそれぞれ、画像入力手段2
24取得の画像と画像入力手段227取得の画像を前記
地図上の位置に変換するカメラパラメータを記憶してい
る。画像変換手段226と、画像変換手段229はそれ
ぞれカメラパラメータ記憶手段225とカメラパラメー
タ記憶手段228のカメラパラメータに基づき、画像入
力手段224取得の画像と画像入力手段227取得の画
像を変換する。
The camera parameter storage means 225 and the camera parameter storage means 228 are respectively
Camera parameters for converting the image obtained from the image 24 and the image obtained from the image input unit 227 into the position on the map are stored. The image conversion unit 226 and the image conversion unit 229 convert the image obtained by the image input unit 224 and the image obtained by the image input unit 227 based on the camera parameters in the camera parameter storage unit 225 and the camera parameter storage unit 228, respectively.

【0157】画像合成手段223は画像変換手段226
の変換画像と、画像変換手段229の変換画像を同一画
像内で貼り合わせる。両者重複する部分は、両者の平均
輝度としたり、変換前の画像の、俯角の深い方の変換画
像を選択したりすることができる。
The image synthesizing means 223 includes an image converting means 226.
And the converted image of the image converting means 229 are pasted together in the same image. The overlapping portion can be set to the average luminance of the two, or a converted image having a deeper depression angle of the image before conversion can be selected.

【0158】以上説明したように、本発明の画像監視装
置の第九実施例によれば、遮蔽を回避すべく設けられた
複数のカメラの画像を一つの画像に統合して、遮蔽のな
い画像を作成することができる。
As described above, according to the ninth embodiment of the image monitoring apparatus of the present invention, images of a plurality of cameras provided to avoid occlusion are integrated into one image, and an image without occlusion is obtained. Can be created.

【0159】次に本発明の画像監視装置の第十実施例を
説明する。図23は本発明の画像監視装置の第十実施例
を説明する図であって、地図保持手段230と、画像入
力手段231と、指示手段232と、座標変換手段23
3と、カメラパラメータ保持手段234と、画像変換手
段235と、計測手段236と、シミュレーション手段
237と、表示手段238からなる。
Next, a description will be given of a tenth embodiment of the image monitoring apparatus according to the present invention. FIG. 23 is a diagram for explaining a tenth embodiment of the image monitoring apparatus according to the present invention, which includes a map holding unit 230, an image input unit 231, an instruction unit 232, and a coordinate conversion unit 23.
3, a camera parameter holding unit 234, an image conversion unit 235, a measurement unit 236, a simulation unit 237, and a display unit 238.

【0160】地図保持手段230は画像入力手段231
の撮像対象に関わる地図または図面を保持する。画像入
力手段231は監視に用いる画像を取得する。指示手段
232は、座標変換手段233と画像変換手段235を
経て表示手段238に表示する地図保持手段230の地
図と、座標変換手段233と画像変換手段235を経て
表示手段238に表示する画像入力手段231取得の画
像の、任意の位置を指示する手段である。
The map holding means 230 is composed of the image input means 231
Holds a map or a drawing relating to the imaging target. The image input unit 231 acquires an image used for monitoring. The instructing unit 232 includes a map of the map holding unit 230 displayed on the display unit 238 via the coordinate conversion unit 233 and the image conversion unit 235, and an image input unit displayed on the display unit 238 via the coordinate conversion unit 233 and the image conversion unit 235. This is a unit for designating an arbitrary position of the image acquired by the H.231.

【0161】カメラパラメータ保持手段234の保持す
るカメラパラメータは、画像入力手段231取得の画像
と、地図保持手段230の保持する地図との位置関係を
記述するパラメータである。カメラパラメータはあらか
じめカメラパラメータ保持手段に記憶させてもよいが、
次の方法で求めることもできる。
The camera parameters held by the camera parameter holding means 234 are parameters describing the positional relationship between the image obtained by the image input means 231 and the map held by the map holding means 230. The camera parameters may be stored in the camera parameter holding unit in advance,
It can also be determined by the following method.

【0162】すなわち、前記取得画像と前記地図を表示
手段238に表示した上で、指示手段232を用いて、
前記取得画像と前記地図の対応点を四ヵ所指示すると、
先に述べたカメラキャリブレーションを実行してカメラ
パラメータを求めた上で保持する。
That is, after the acquired image and the map are displayed on the display means 238, using the instruction means 232,
When four corresponding points of the acquired image and the map are indicated,
The above-mentioned camera calibration is executed to obtain and hold camera parameters.

【0163】座標変換手段233は前記カメラパラメー
タを用いて前記地図上の任意の座標を前記取得画像上の
座標に対応付け、更に、前記取得画像上の任意の座標を
前記地図上の座標に対応付ける。画像変換手段235は
前記カメラパラメータを用いて、画像入力手段231取
得の画像の輝度情報と色情報を対応する前記地図座標上
に貼り付けて変換画像を作る。
The coordinate conversion means 233 associates arbitrary coordinates on the map with coordinates on the acquired image using the camera parameters, and further associates arbitrary coordinates on the acquired image with coordinates on the map. . Using the camera parameters, the image conversion unit 235 pastes the luminance information and the color information of the image acquired by the image input unit 231 on the corresponding map coordinates to create a converted image.

【0164】計測手段236は画像入力手段231取得
の画像に生ずる事象を計測する手段であって、たとえ
ば、画像入力手段231取得の画像を表示手段238に
表示した上で、前記画像上の少なくも2点を指示手段2
32で指示すると、座標変換手段によって前記2点はそ
れぞれ地図上の座標に変換され、2点間の実距離が算出
される。また、前記指示された2点が時系列な取得画像
中の移動物体であれば、該移動物体の移動ベクトルを算
出することができる。
The measuring means 236 is a means for measuring an event occurring in the image acquired by the image input means 231. For example, after displaying the image acquired by the image input means 231 on the display means 238, at least Pointing means 2
When instructed at 32, the two points are each converted into coordinates on the map by the coordinate conversion means, and the actual distance between the two points is calculated. If the two designated points are moving objects in a time-series acquired image, a moving vector of the moving object can be calculated.

【0165】シミュレーション手段237は位置座標を
入力として起動するシミュレータであって、画像入力手
段231取得の画像内で事象が発生した場合、該事象の
発生場所を前記取得の画像内で指示すると、前記地図上
の座標に変換され、前記地図上の座標を入力として前記
シミュレータが起動する。シミュレータとしては物体の
移動や、水の浸水や、汚染の拡大などの模擬実験等が挙
げられる。
The simulation means 237 is a simulator which is started by using the position coordinates as an input. When an event occurs in an image obtained by the image input means 231, the location of the event is designated in the obtained image. The coordinates are converted into coordinates on a map, and the simulator is activated by inputting the coordinates on the map. Simulators include simulations of moving objects, inundation of water, and expansion of pollution.

【0166】表示手段238は地図保持手段230の地
図や、画像入力手段231取得の画像を表示する他に、
画像変換手段235の変換画像や、計測手段236の計
測結果や、シミュレーション手段237のシミュレーシ
ョン結果を表示することができる。また、前記シミュレ
ーション結果を座標変換手段233で変換して画像入力
手段231取得の画像に合わせて合成表示することもで
きる。また、地図保持手段230を第二の画像入力手段
に置き換え、地図を、第二の画像入力手段取得の画像と
することもできる。
The display means 238 displays the map of the map holding means 230 and the image obtained by the image input means 231.
The converted image of the image conversion unit 235, the measurement result of the measurement unit 236, and the simulation result of the simulation unit 237 can be displayed. Further, the simulation result can be converted by the coordinate conversion unit 233 and combined and displayed in accordance with the image obtained by the image input unit 231. Further, the map holding unit 230 may be replaced with a second image input unit, and the map may be used as an image acquired by the second image input unit.

【0167】以上説明したように、本発明の画像監視装
置の第十実施例は画像空間と地図または図面上の対応付
けがある為に、双方向の行き来が容易であり、監視画像
中の注視点を地図上に求めたり、地図上の位置を監視画
像中に表示できる。更に、地図情報と連繋して流水、洪
水シミュレーションを起動させて高度な監視と予測が可
能となる。
As described above, in the tenth embodiment of the image monitoring apparatus according to the present invention, since there is a correspondence between the image space and the map or drawing, it is easy to move back and forth between the two directions. The viewpoint can be obtained on the map, and the position on the map can be displayed in the monitoring image. In addition, running and flood simulations can be activated in conjunction with the map information to enable advanced monitoring and prediction.

【0168】以上、本発明の画像監視装置によれば、第
一実施例は画像空間と地図または図面上の対応付けがあ
る為に、双方向の行き来が容易であり、監視画像中の注
視点を地図上に求めたり、地図上の位置を監視画像中に
表示できる。更に、地図情報と連繋して流水、洪水シミ
ュレーションを起動させて高度な監視と予測が可能とな
る。
As described above, according to the image monitoring apparatus of the present invention, in the first embodiment, since there is a correspondence between the image space and the map or the drawing, bidirectional movement is easy, and the point of interest in the monitoring image is Can be obtained on the map, and the position on the map can be displayed in the monitoring image. In addition, running and flood simulations can be activated in conjunction with the map information to enable advanced monitoring and prediction.

【0169】また、本発明の第二実施例によれば、あた
かも真上から監視領域を俯瞰しているように画像変換し
て表示するので、奥行き方向の、物体の移動の様子を理
解しやすいという効果がある。
According to the second embodiment of the present invention, since the image is converted and displayed as if the monitoring area is viewed from directly above, it is easy to understand the state of the movement of the object in the depth direction. This has the effect.

【0170】また、本発明の第三実施例によれば、複数
カメラで監視を行う場合に、監視画像上を指示するだけ
で地図上の位置が分かるのに加えて、地図上で確認した
い場所を指示すると、複数のカメラの中で最も適した画
角のカメラが選択されて表示装置の映し出され、更にそ
の表示上に、前記指示した位置が重ね表示されるので、
迅速で効率的な監視業務が可能となる。
Further, according to the third embodiment of the present invention, when monitoring is performed by a plurality of cameras, the position on the map can be determined only by pointing on the monitoring image, and the location to be checked on the map can be determined. Is designated, the camera with the most suitable angle of view is selected from among the plurality of cameras, the image is displayed on the display device, and the designated position is superimposed on the display, so that
Quick and efficient monitoring work becomes possible.

【0171】また、本発明の第四実施例によれば、画角
の異なる複数のカメラによる画像を一画像に合成し、監
視領域をあたかも真上から俯瞰したかのように監視する
ことができるので、移動物体の動きや、監視領域の全体
像を理解しやすいという効果がある。
Further, according to the fourth embodiment of the present invention, images from a plurality of cameras having different angles of view can be combined into one image, and the monitoring area can be monitored as if viewed from directly above. Therefore, there is an effect that it is easy to understand the movement of the moving object and the whole image of the monitoring area.

【0172】また、本発明の第五実施例によれば、カメ
ラ毎のビデオ画像を切替えながら繰り返し目視して、軌
跡の確認が不要で、軌跡編集が効率的に行えるという効
果がある。
Further, according to the fifth embodiment of the present invention, there is an effect that it is not necessary to confirm the trajectory by repeatedly viewing the video image while switching the video image of each camera, and the trajectory can be edited efficiently.

【0173】また、本発明の第六実施例によれば、複数
の異なる画角のカメラによる画像であっても、一枚に統
合して監視領域全体の物体の移動軌跡を求めることがで
きるという効果がある。
Further, according to the sixth embodiment of the present invention, even if the images are obtained by a plurality of cameras having different angles of view, the movement locus of the object in the entire monitoring area can be obtained by integrating the images into one image. effective.

【0174】また、本発明の第七実施例によれば、カメ
ラから遠方の部分でも、侵入者が拡大され過ぎず、違和
感のない、真上からの俯瞰画像を作成できるという効果
がある。
Further, according to the seventh embodiment of the present invention, there is an effect that a bird's-eye view image from directly above can be created even in a portion far from the camera without causing the intruder to be enlarged too much and feeling uncomfortable.

【0175】また、本発明の第八実施例によれば、監視
画像と地図と、シミュレーション手段と、計測手段が連
動しているので、前記シミュレータに現状の情報を入力
することが可能で、精度よいシミュレータが行えるとい
う効果がある。
Further, according to the eighth embodiment of the present invention, since the monitoring image, the map, the simulation means, and the measurement means are linked, it is possible to input the current information to the simulator, and to obtain the accuracy. There is an effect that a good simulator can be performed.

【0176】また、本発明の第九実施例によれば、遮蔽
を回避すべく設けられた複数のカメラの画像を一つの画
像に統合して、遮蔽のない画像を作成することができる
という効果がある。
Further, according to the ninth embodiment of the present invention, it is possible to integrate an image of a plurality of cameras provided to avoid occlusion into one image, and to create an image without occlusion. There is.

【0177】[0177]

【発明の効果】本発明によれば、地図とその地図を示す
映像とを同じ画面で、対応させて見ることができる。ま
た、複数のカメラの画像を合成する場合でも、1枚の画
像のように見ることができるという効果がある。
According to the present invention, a map and an image showing the map can be viewed in correspondence on the same screen. Further, even when images from a plurality of cameras are combined, there is an effect that the image can be viewed as a single image.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の画像監視装置の第一実施例のブロック
図である。
FIG. 1 is a block diagram of a first embodiment of an image monitoring apparatus according to the present invention.

【図2】第一実施例の画像監視装置の第一運用例の図で
ある。
FIG. 2 is a diagram of a first operation example of the image monitoring device of the first embodiment.

【図3】第一実施例の画像監視装置の第一運用例におけ
る、取得画像と図面の図である。
FIG. 3 is a diagram of acquired images and drawings in a first operation example of the image monitoring device of the first embodiment.

【図4】第一実施例の画像監視装置の第一運用例におけ
る、取得画像と図面の図である。
FIG. 4 is a diagram of acquired images and drawings in a first operation example of the image monitoring device of the first embodiment.

【図5】第一実施例の画像監視装置の監視動作の流れ図
である。
FIG. 5 is a flowchart of a monitoring operation of the image monitoring device of the first embodiment.

【図6】第一実施例の画像監視装置の第二運用例におけ
る、取得画像と図面の図である。
FIG. 6 is a diagram of an acquired image and a drawing in a second operation example of the image monitoring device of the first embodiment.

【図7】第一実施例の画像監視装置の第三運用例におけ
る、取得画像と地図の図である。
FIG. 7 is a diagram of an acquired image and a map in a third operation example of the image monitoring device of the first embodiment.

【図8】第一実施例の画像監視装置の第四運用例におけ
る、取得画像と図面の図である。
FIG. 8 is a diagram of an acquired image and a drawing in a fourth operation example of the image monitoring device of the first embodiment.

【図9】第一実施例の画像監視装置の第五運用例におけ
る、取得画像と地図の図である。
FIG. 9 is a diagram of an acquired image and a map in a fifth operation example of the image monitoring device of the first embodiment.

【図10】サッカーグランドにおける取得画像の座標系
と図面の座標系である。
FIG. 10 shows a coordinate system of an acquired image and a coordinate system of a drawing in a soccer ground.

【図11】第二実施例の画像監視装置の取得画像と変換
貼り付け画像である。
FIG. 11 shows an acquired image and a converted pasted image of the image monitoring apparatus of the second embodiment.

【図12】第二実施例の画像監視装置の動作の流れ図で
ある。
FIG. 12 is a flowchart of the operation of the image monitoring device of the second embodiment.

【図13】第三実施例の画像監視装置のブロック図であ
る。
FIG. 13 is a block diagram of an image monitoring apparatus according to a third embodiment.

【図14】第三実施例の画像監視装置の動作を説明する
図である。
FIG. 14 is a diagram illustrating the operation of the image monitoring device according to the third embodiment.

【図15】第三実施例の画像監視装置の動作の流れ図で
ある。
FIG. 15 is a flowchart illustrating the operation of the image monitoring apparatus according to the third embodiment.

【図16】第四実施例の画像監視装置の説明図である。FIG. 16 is an explanatory diagram of an image monitoring device according to a fourth embodiment.

【図17】第五実施例の画像監視装置のブロック図であ
る。
FIG. 17 is a block diagram of an image monitoring device according to a fifth embodiment.

【図18】第五実施例の画像監視装置の軌跡編集手段の
表示図である。
FIG. 18 is a display diagram of a trajectory editing unit of the image monitoring device of the fifth embodiment.

【図19】第六実施例の画像監視装置のブロック図であ
る。
FIG. 19 is a block diagram of an image monitoring apparatus according to a sixth embodiment.

【図20】第七実施例の画像監視装置のブロック図であ
る。
FIG. 20 is a block diagram of an image monitoring device according to a seventh embodiment.

【図21】第八実施例の画像監視装置のブロック図であ
る。
FIG. 21 is a block diagram of an image monitoring apparatus according to an eighth embodiment.

【図22】第九実施例の画像監視装置のブロック図であ
る。
FIG. 22 is a block diagram of an image monitoring apparatus according to a ninth embodiment.

【図23】第十実施例の画像監視装置のブロック図であ
る。
FIG. 23 is a block diagram of an image monitoring apparatus according to a tenth embodiment.

【符号の説明】 230…地図保持手段、231…画像入力手段、232
…指示手段、233…座標変換手段、234…カメラパ
ラメータ保持手段、235…画像変換手段、236…計
測手段、237…シミュレーション手段、238…表示
手段。
[Description of Signs] 230: Map holding means, 231: Image input means, 232
... instruction means, 233 ... coordinate conversion means, 234 ... camera parameter holding means, 235 ... image conversion means, 236 ... measurement means, 237 ... simulation means, 238 ... display means.

フロントページの続き (72)発明者 宇佐美 芳明 茨城県日立市大みか町七丁目1番1号 株 式会社日立製作所日立研究所内 (72)発明者 三好 雅則 茨城県日立市大みか町七丁目1番1号 株 式会社日立製作所日立研究所内 (72)発明者 小林 克年 茨城県日立市幸町三丁目2番1号 日立エ ンジニアリング株式会社内 (72)発明者 町田 慶太 茨城県日立市大みか町五丁目2番1号 株 式会社日立製作所大みか事業所内 (72)発明者 北村 忠明 茨城県日立市大みか町七丁目1番1号 株 式会社日立製作所日立研究所内 (72)発明者 永井 徹 茨城県日立市大みか町七丁目1番1号 株 式会社日立製作所日立研究所内 Fターム(参考) 5B057 AA19 CD05 CE08 CE11 5C054 ED03 EH00 FC12 FC13 FC15 FD01 FD02 FD03 FD07 FE14 FE19 GB16 HA16 HA18 HA26 5C082 AA12 AA24 AA27 BA12 BB25 CA32 CA56 DA61 DA86 MM10Continued on the front page (72) Inventor Yoshiaki Usami 7-1-1, Omika-cho, Hitachi City, Ibaraki Prefecture Inside Hitachi Research Laboratory, Hitachi, Ltd. (72) Masanori Miyoshi 7-1-1, Omika-cho, Hitachi City, Ibaraki Prefecture Hitachi, Ltd.Hitachi Laboratory (72) Inventor Katsunori Kobayashi 3-2-1, Sachimachi, Hitachi City, Ibaraki Prefecture Inside Hitachi Engineering Co., Ltd. (72) Keita Machida 5, Omikamachi, Hitachi City, Ibaraki Prefecture No. 1 Inside Hitachi, Ltd. Omika Works (72) Inventor Tadaaki Kitamura 7-1-1, Omika-cho, Hitachi City, Ibaraki Prefecture Within Hitachi Research Laboratory, Hitachi, Ltd. (72) Inventor Toru Nagai Hitachi, Ibaraki Prefecture 7-1-1, Omikacho F-term (reference) in Hitachi Research Laboratory, Hitachi, Ltd. 5B057 AA19 CD05 CE08 CE11 5C054 ED03 EH00 FC12 FC13 FC15 FD01 FD02 FD03 FD07 FE14 FE19 GB16 HA16 HA18 HA26 5C082 AA12 CA12 DA61 DA86 MM10

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】画像入力部から画像を取りこみ、 その取り込んだ画像を表示装置に表示させ、 その画像に対応する地図を表示装置に表示させ、 表示させた画像の少なくとも一部の画像領域を特定する
指示を受けつけ、 前記表示装置に表示させた地図上の、前記指示によって
特定される画像領域に対応する領域に、その対応する画
像を表示させることを特徴とする画像監視装置。
An image is taken from an image input unit, the taken image is displayed on a display device, a map corresponding to the image is displayed on a display device, and at least a part of an image area of the displayed image is specified. An image monitoring apparatus, comprising: receiving an instruction to perform an operation; and displaying an image corresponding to the image area specified by the instruction on a map displayed on the display device.
【請求項2】 請求項1において、 前記地図上に表示させた画像は、異なる画角から撮影さ
れた複数の画像で構成され、その複数の画像の一部が重
畳することを特徴とする画像監視装置。
2. The image according to claim 1, wherein the image displayed on the map is composed of a plurality of images photographed from different angles of view, and a part of the plurality of images is superimposed. Monitoring device.
【請求項3】 請求項1乃至2において、 前記画像は画角による歪みの補正がなされることを特徴
とする画像監視装置。
3. The image monitoring apparatus according to claim 1, wherein the image is corrected for distortion due to an angle of view.
【請求項4】 請求項1乃至3において、 前記表示させる画像の倍率は、地図の倍率と一致するよ
うに補正されることを特徴とする画像監視装置。
4. The image monitoring apparatus according to claim 1, wherein a magnification of the displayed image is corrected to match a magnification of a map.
【請求項5】 請求項2において、 前記複数の画像のいずれかは、他の輝度に一致するよう
に補正されることを特徴とする画像監視装置。
5. The image monitoring apparatus according to claim 2, wherein one of the plurality of images is corrected so as to match another luminance.
【請求項6】 請求項1乃至5において、 前記画像入力部から取り込んだ画像は、球技を行なって
いる最中の映像であって、前記地図は球技場のフィール
ドであることを特徴とする画像監視装置。
6. The image according to claim 1, wherein the image captured from the image input unit is a video image of a ball game being played, and the map is a field of a ball game field. Monitoring device.
JP2000134301A 2000-02-29 2000-04-28 Image monitoring device Pending JP2001319218A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000134301A JP2001319218A (en) 2000-02-29 2000-04-28 Image monitoring device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-58023 2000-02-29
JP2000058023 2000-02-29
JP2000134301A JP2001319218A (en) 2000-02-29 2000-04-28 Image monitoring device

Publications (1)

Publication Number Publication Date
JP2001319218A true JP2001319218A (en) 2001-11-16

Family

ID=26586677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000134301A Pending JP2001319218A (en) 2000-02-29 2000-04-28 Image monitoring device

Country Status (1)

Country Link
JP (1) JP2001319218A (en)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286685A (en) * 2004-03-30 2005-10-13 Hitachi Ltd Image generating apparatus, system or image composite method
JP2005333565A (en) * 2004-05-21 2005-12-02 Auto Network Gijutsu Kenkyusho:Kk Monitoring equipment
JP2005347905A (en) * 2004-06-01 2005-12-15 Oki Electric Ind Co Ltd Crime prevention support system
JP2006033449A (en) * 2004-07-16 2006-02-02 Nippon Hoso Kyokai <Nhk> Device and program for calculating/calibrating camera parameter
JP2006146760A (en) * 2004-11-24 2006-06-08 Aisin Seiki Co Ltd Image transformation method and image transformation system
JP2007226300A (en) * 2006-02-21 2007-09-06 Aisin Aw Co Ltd Driving support method and driving support device
JP2007233076A (en) * 2006-03-01 2007-09-13 Seiko Epson Corp Projection device and program
JP2007323418A (en) * 2006-06-01 2007-12-13 Nippon Hoso Kyokai <Nhk> Image composition device and image composition program
JP2008028605A (en) * 2006-07-20 2008-02-07 Matsushita Electric Ind Co Ltd Image recording device for monitoring
JP2009017179A (en) * 2007-07-04 2009-01-22 Hitachi Kokusai Electric Inc Image processing apparatus
JP2009015655A (en) * 2007-07-05 2009-01-22 Toyota Motor Corp Image processor
JP2009123112A (en) * 2007-11-16 2009-06-04 Canon Inc Image processing apparatus and image processing method
JP2009210331A (en) * 2008-03-03 2009-09-17 Toa Corp Camera calibration apparatus and camera calibration method
JP2009253976A (en) * 2008-04-10 2009-10-29 National Chiao Tung Univ Integrated image surveillance system and image synthesis method thereof
JP2010160626A (en) * 2009-01-07 2010-07-22 Nec Corp Port arrival/departure management system, processing method, port arrival/departure management device, program, ship, flash control circuit, and traveling object identification system
JP2012186606A (en) * 2011-03-04 2012-09-27 Mitsubishi Electric Corp Image display device
JP2013257349A (en) * 2008-03-03 2013-12-26 Toa Corp Camera calibration result verification device and method
JP2014072598A (en) * 2012-09-28 2014-04-21 Hitachi Kokusai Electric Inc Intruder monitoring system
JP2014534786A (en) * 2011-11-22 2014-12-18 ペルコ インコーポレーテッドPelco, Inc. Control based on map
JP2015032069A (en) * 2013-07-31 2015-02-16 Toa株式会社 Monitoring device and control program of monitoring device
JP5838371B1 (en) * 2014-06-30 2016-01-06 パナソニックIpマネジメント株式会社 Flow line analysis system, camera device, and flow line analysis method
WO2016208066A1 (en) * 2015-06-26 2016-12-29 三菱電機株式会社 Monitoring apparatus
US10878584B2 (en) 2015-09-17 2020-12-29 Hitachi Kokusai Electric Inc. System for tracking object, and camera assembly therefor
JP2022034034A (en) * 2020-12-25 2022-03-02 アポロ インテリジェント コネクティビティ (ベイジン) テクノロジー カンパニー リミテッド Method for detecting obstacle, electronic device, roadside device and cloud control platform
JP2022085910A (en) * 2021-04-26 2022-06-08 阿波▲羅▼智▲聯▼(北京)科技有限公司 Camera calibration method, apparatus, electronic device, storage medium, program, and roadside apparatus

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286685A (en) * 2004-03-30 2005-10-13 Hitachi Ltd Image generating apparatus, system or image composite method
US7412112B2 (en) 2004-03-30 2008-08-12 Hitachi, Ltd. Image generation apparatus, image generation system and image synthesis method
JP2005333565A (en) * 2004-05-21 2005-12-02 Auto Network Gijutsu Kenkyusho:Kk Monitoring equipment
JP2005347905A (en) * 2004-06-01 2005-12-15 Oki Electric Ind Co Ltd Crime prevention support system
JP4677737B2 (en) * 2004-06-01 2011-04-27 沖電気工業株式会社 Crime prevention support system
JP2006033449A (en) * 2004-07-16 2006-02-02 Nippon Hoso Kyokai <Nhk> Device and program for calculating/calibrating camera parameter
JP4568050B2 (en) * 2004-07-16 2010-10-27 日本放送協会 Camera parameter calculation calibration apparatus and camera parameter calculation calibration program
JP2006146760A (en) * 2004-11-24 2006-06-08 Aisin Seiki Co Ltd Image transformation method and image transformation system
JP2007226300A (en) * 2006-02-21 2007-09-06 Aisin Aw Co Ltd Driving support method and driving support device
JP2007233076A (en) * 2006-03-01 2007-09-13 Seiko Epson Corp Projection device and program
JP2007323418A (en) * 2006-06-01 2007-12-13 Nippon Hoso Kyokai <Nhk> Image composition device and image composition program
JP2008028605A (en) * 2006-07-20 2008-02-07 Matsushita Electric Ind Co Ltd Image recording device for monitoring
JP2009017179A (en) * 2007-07-04 2009-01-22 Hitachi Kokusai Electric Inc Image processing apparatus
JP2009015655A (en) * 2007-07-05 2009-01-22 Toyota Motor Corp Image processor
JP2009123112A (en) * 2007-11-16 2009-06-04 Canon Inc Image processing apparatus and image processing method
JP2009210331A (en) * 2008-03-03 2009-09-17 Toa Corp Camera calibration apparatus and camera calibration method
JP2013257349A (en) * 2008-03-03 2013-12-26 Toa Corp Camera calibration result verification device and method
JP2009253976A (en) * 2008-04-10 2009-10-29 National Chiao Tung Univ Integrated image surveillance system and image synthesis method thereof
JP2010160626A (en) * 2009-01-07 2010-07-22 Nec Corp Port arrival/departure management system, processing method, port arrival/departure management device, program, ship, flash control circuit, and traveling object identification system
JP2012186606A (en) * 2011-03-04 2012-09-27 Mitsubishi Electric Corp Image display device
JP2014534786A (en) * 2011-11-22 2014-12-18 ペルコ インコーポレーテッドPelco, Inc. Control based on map
JP2014072598A (en) * 2012-09-28 2014-04-21 Hitachi Kokusai Electric Inc Intruder monitoring system
JP2015032069A (en) * 2013-07-31 2015-02-16 Toa株式会社 Monitoring device and control program of monitoring device
JP5838371B1 (en) * 2014-06-30 2016-01-06 パナソニックIpマネジメント株式会社 Flow line analysis system, camera device, and flow line analysis method
WO2016208066A1 (en) * 2015-06-26 2016-12-29 三菱電機株式会社 Monitoring apparatus
JPWO2016208066A1 (en) * 2015-06-26 2017-08-31 三菱電機株式会社 Monitoring device
US10878584B2 (en) 2015-09-17 2020-12-29 Hitachi Kokusai Electric Inc. System for tracking object, and camera assembly therefor
JP2022034034A (en) * 2020-12-25 2022-03-02 アポロ インテリジェント コネクティビティ (ベイジン) テクノロジー カンパニー リミテッド Method for detecting obstacle, electronic device, roadside device and cloud control platform
JP7351892B2 (en) 2020-12-25 2023-09-27 阿波▲羅▼智▲聯▼(北京)科技有限公司 Obstacle detection method, electronic equipment, roadside equipment, and cloud control platform
JP2022085910A (en) * 2021-04-26 2022-06-08 阿波▲羅▼智▲聯▼(北京)科技有限公司 Camera calibration method, apparatus, electronic device, storage medium, program, and roadside apparatus

Similar Documents

Publication Publication Date Title
JP2001319218A (en) Image monitoring device
US7522186B2 (en) Method and apparatus for providing immersive surveillance
KR101835434B1 (en) Method and Apparatus for generating a protection image, Method for mapping between image pixel and depth value
US7782320B2 (en) Information processing method and information processing apparatus
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
EP2343685B1 (en) Information processing device, information processing method, program, and information storage medium
JP2010504711A (en) Video surveillance system and method for tracking moving objects in a geospatial model
CN102917171A (en) Small target locating method based on pixel
JP6640294B1 (en) Mixed reality system, program, portable terminal device, and method
WO2010067486A1 (en) Image processing device and image processing method
JP5727207B2 (en) Image monitoring device
JP7446754B2 (en) Image processing device, image processing method, and program
JP7313811B2 (en) Image processing device, image processing method, and program
JP2005339363A (en) Device and method for automatically dividing human body part
JPH09261621A (en) Supervisory equipment using a picked-up image, its model generating method and method for controlling image pickup device
KR100231712B1 (en) A design of system architecture and operation for unmanned aero vehicle system
KR20100124571A (en) Apparatus and method for guiding information using augmented reality
JP7500333B2 (en) GENERATION DEVICE, GENERATION METHOD, AND PROGRAM
CN107705253A (en) A kind of method and device for generating video pump source
JP5066047B2 (en) Information processing apparatus, information processing method, program, and information storage medium
JP2022131197A (en) Image processing apparatus, image processing method, and program
JPH05183808A (en) Picture information input device and picture synthesizer device
JP2023084843A (en) Image processing apparatus, image processing method, and program
JPH06332993A (en) Scene analysis and prediction system
JP2003141510A (en) Method and apparatus for outputting image of subject to be pointed