JP2006148406A

JP2006148406A - Monitoring system

Info

Publication number: JP2006148406A
Application number: JP2004334179A
Authority: JP
Inventors: Tetsuo Iwamoto; 哲夫岩本; Hiroshi Maruyama; 博史丸山; Takahiro Miura; 貴浩三浦
Original assignee: Hitachi Advanced Digital Inc
Current assignee: Hitachi Advanced Digital Inc
Priority date: 2004-11-18
Filing date: 2004-11-18
Publication date: 2006-06-08

Abstract

<P>PROBLEM TO BE SOLVED: To clarify position relation between a camera video and a place being shot by a camera on a layout figure display screen. <P>SOLUTION: The layout figure of the place to be monitored is displayed simultaneously with the camera video. The position of the camera and a video frame to display the range of the video being shot by the camera are displayed on the layout figure. When an object to be monitored is moved and wanders out of the range of the video being shot by the camera, the video range being shot by the camera existing in a wandering direction is recognized. Consequently, the camera to subsequently perform monitoring is specified, so that it is easy to perform monitoring to track the object to be monitored. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、カメラで監視するモニタリングシステムに関わり、特に遠隔地にある監視場所をセンターで集中監視する遠隔モニタリングシステムに関するものである。 The present invention relates to a monitoring system for monitoring with a camera, and more particularly to a remote monitoring system for centrally monitoring a monitoring place in a remote place at a center.

複数の監視場所や複数のカメラがある場合、それらに対して区別をするのに名前を付けていた。この名前で、監視したいカメラを特定して、その映像をモニタリングするのが普通であった。これに対して、「特開平１１−６６２７６号公報」では、モニタリングを容易に行うために、監視する場所のレイアウト図とその図の上にカメラの位置（視点）を表示する方法のモニタリングを考案していた。
特開平１１−６６２７６号公報 When there were multiple surveillance locations and multiple cameras, they were named to distinguish them. With this name, it was common to identify the camera you want to monitor and monitor the video. On the other hand, “JP-A-11-66276” devised a monitoring method for displaying a layout diagram of a location to be monitored and a camera position (viewpoint) on the diagram for easy monitoring. Was.
JP-A-11-66276

複数のカメラを使って監視するモニタリングでは、カメラに写った監視対象の物体（人など）を追跡しようとする場合、監視対象の移動に応じて、当該カメラが写している映像の範囲から外れた場合に、次にどのカメラの映像をモニタリングすればよいかが問題となる。 In monitoring using multiple cameras, when trying to track a monitored object (such as a person) captured by a camera, the camera is out of the range of the image captured by the camera according to the movement of the monitored object. In this case, it becomes a problem which camera image should be monitored next.

モニタリング対象の場所のレイアウト図をカメラ映像と同時に表示し、レイアウト図の上にカメラの位置と当該カメラが写している映像の範囲を表示している映像枠を表示することにより、監視対象の移動が起きて、当該カメラが写している映像の範囲を外れた場合に、レイアウト図の上で、外れた方向にあるカメラが写している映像範囲が判るので、次に監視すべきカメラを特定することができ、監視対象を追跡するモニタリングが容易にできる。 Monitor the location of the monitoring target at the same time as the camera video, and move the monitoring target by displaying the video frame displaying the camera position and the range of the video captured by the camera on the layout map. If the camera is out of the range of the image captured by the camera, the image range captured by the camera in the out-of-direction is known on the layout diagram. It is possible to easily monitor the object to be monitored.

レイアウト図の上で、設置されたカメラの映像がどこを写しているかが判り、カメラ間の位置関係も判るので、監視対象の追跡や死角が容易にわかるため、問題が発生したときの対応が迅速にできる。 On the layout diagram, you can see where the image of the installed camera is shown, and you can also know the positional relationship between the cameras, so you can easily know the tracking target and blind spots, so you can respond when a problem occurs It can be done quickly.

本発明は、多数のカメラ映像のモニタリングを離れた場所のセンターで集中して行う遠隔モニタリングに適したものである。 The present invention is suitable for remote monitoring in which a large number of camera images are monitored centrally at a remote center.

図１、図４、図５を用いて、本発明の一実施例を説明する。図４は、本発明を実施するためのシステム構成を示したものである。モニタリング対象場所４００には、カメラ４０１とカメラの映像信号４０４を伝送用の信号４０６に変換して送信する処理装置４０３がある。伝送用の信号４０６は、ネットワーク４１０を通じて、離れた場所にある監視センター４２０に送られる。監視センター４２０には、送られてきた伝送用の信号４２４を受信し、映像データに変換する処理装置４２１と処理装置４２１を操作する操作機器４２３と変換された映像データを表示するディスプレイ４２２がある。 An embodiment of the present invention will be described with reference to FIGS. FIG. 4 shows a system configuration for carrying out the present invention. The monitoring target location 400 includes a camera 401 and a processing device 403 that converts the video signal 404 of the camera into a transmission signal 406 and transmits it. The transmission signal 406 is sent through the network 410 to a remote monitoring center 420. The monitoring center 420 has a processing device 421 that receives the transmitted transmission signal 424 and converts it into video data, an operating device 423 that operates the processing device 421, and a display 422 that displays the converted video data. .

処理装置４２１には、図５に示す、モニタリング対象場所４００のレイアウト図のファイル５０１とレイアウト図の上に表示されるカメラの位置（Ｘ，Ｙ）と当該カメラが写している映像がレイアウト図の上でどの範囲かを示す映像枠の中心位置（ＸＣ，ＹＣ）と大きさ（Ｌ，Ｍ）を示すデータ５０２〜５１３を含む表データ５００が取り込まれている。これらの表データ５００は、カメラをモニタリング対象場所４００に設置し、その映像を見て、レイアウト図のどの範囲かを調べて設定するものである。図４のディスプレイ４２２は、図１では２画面ディスプレイ１００に相当するものである。 In the processing device 421, a layout diagram file 501 shown in FIG. 5, a position (X, Y) of the camera displayed on the layout diagram, and an image taken by the camera are displayed in the layout diagram. Table data 500 including data 502 to 513 indicating the center position (XC, YC) and size (L, M) of the video frame indicating the range above is captured. These table data 500 are set by setting a camera in the monitoring target location 400, viewing the video, and examining the range of the layout diagram. The display 422 in FIG. 4 corresponds to the two-screen display 100 in FIG.

２画面ディスプレイ１００では、一方の画面にはレイアウト図表示画面１０１、もう一方の画面にはカメラが写すカメラ映像表示画面１２１を表示している。レイアウト図表示画面１０１のレイアウト図は、場所４００のレイアウト図データのファイル５０１を処理装置４２１で処理してディスプレイ１００に表示したものである。図１ではレイアウト図表示画面１０１の例として、実線で売り場の棚やレジ等を長方形で表示している。カメラ映像表示画面１２１には、複数のカメラの映像を表示してもよい。図１では、表データ５００を基にして、４つのカメラの位置と当該カメラが写している映像がレイアウト図の上で示す場所の映像枠とそれぞれに対応したカメラ映像を表示する表示領域を表示している。 In the two-screen display 100, a layout diagram display screen 101 is displayed on one screen, and a camera video display screen 121 captured by the camera is displayed on the other screen. The layout diagram on the layout diagram display screen 101 is obtained by processing the layout diagram data file 501 of the place 400 by the processing device 421 and displaying it on the display 100. In FIG. 1, as an example of the layout diagram display screen 101, a shelf, a cash register, and the like of a sales floor are displayed as rectangles with solid lines. The camera image display screen 121 may display images from a plurality of cameras. In FIG. 1, based on the table data 500, a display area for displaying the positions of the four cameras, the video frames taken by the cameras, and the video frames corresponding to the locations shown on the layout diagram, is displayed. is doing.

図５においてカメラａの位置データ５０２と映像枠の中心位置データ５０３と映像枠の大きさデータ５０４は、図１のレイアウト図表示画面１０１では、カメラａの位置１０２，映像枠の中心位置１０３，映像枠（中心位置データ５０３と大きさデータ５０４から計算される）１０４を破線で表示する。カメラ映像表示画面１２１では、カメラａの映像は表示領域１２２に表示される。カメラａの映像枠１０４はレイアウト図表示画面１０１における大まかな位置関係と大きさが判れば、監視目的に十分であるので、図１に示すように矩形で定義してもよい。その場合には、矩形の映像枠１０４は、大きさデータ（Ｌａ，Ｍａ）から矩形を作り、矩形の中心を中心位置データ５０３（ＸＣａ，ＹＣａ）に配置するのである。 In FIG. 5, the position data 502 of the camera a, the center position data 503 of the image frame, and the size data 504 of the image frame are the position 102 of the camera a, the center position 103 of the image frame on the layout diagram display screen 101 of FIG. A video frame (calculated from the center position data 503 and the size data 504) 104 is displayed with a broken line. On the camera image display screen 121, the image of the camera a is displayed in the display area 122. The video frame 104 of the camera a is sufficient for monitoring purposes if the approximate positional relationship and size on the layout diagram display screen 101 are known, and may be defined as a rectangle as shown in FIG. In that case, the rectangular video frame 104 forms a rectangle from the size data (La, Ma), and arranges the center of the rectangle in the center position data 503 (XCa, YCa).

カメラｂ、ｃ、ｄについても同様である。レイアウト図表示画面１０１上の映像枠の数が、カメラ映像表示画面１２１の表示領域数より多い場合には、映像枠を操作機器４２３で選択することにより、その選択された情報を元に、カメラ映像を選択して表示することもできる。例えば、表示映像の表示領域として１２２しかない場合、映像枠１０４を選択したらカメラａの映像を、映像枠１０７を選択したらカメラｂの映像を、映像枠１１０を選択したらカメラｃの映像を、映像枠１１３を選択したらカメラｄの映像を表示することもできる。映像枠１０４、１０７、１１０、１１３の位置と大きさのデータは、実際に写されている表示領域１２２〜１２５の映像を見て、操作機器４２３で、位置と大きさを指定することで修正や追加・削除もすることができる。 The same applies to the cameras b, c, and d. When the number of video frames on the layout diagram display screen 101 is larger than the number of display areas on the camera video display screen 121, the video frame is selected by the operation device 423, and the camera is selected based on the selected information. You can also select and display video. For example, if there is only 122 as the display area of the display image, the image of the camera a is selected when the image frame 104 is selected, the image of the camera b is selected when the image frame 107 is selected, and the image of the camera c is selected when the image frame 110 is selected. When the frame 113 is selected, the image of the camera d can be displayed. The position and size data of the video frames 104, 107, 110, and 113 are corrected by viewing the video in the display areas 122 to 125 that are actually copied and specifying the position and size with the operation device 423. You can also add and delete.

図３を使って実施例２を説明する。図３は、レイアウト図３０１の上に表示されるカメラの映像枠の中に、カメラ映像を表示する１画面ディスプレイ３００の例である。図３におけるカメラ映像の表示領域３０４にはカメラａの映像を、表示領域３０７にはカメラｂの映像を、表示領域３１０にはカメラｃの映像を、表示領域３１３にはカメラｄの映像を表示するものである。図３では太い実線で映像枠を表示している。表示領域は、映像枠と同じ大きさにしてもよく、また、見やすさを考えて、図３に示すように同じ大きさの映像枠を表示してもよい。 A second embodiment will be described with reference to FIG. FIG. 3 is an example of a one-screen display 300 that displays a camera video in a video frame of the camera displayed on the layout diagram 301. The camera image display area 304 in FIG. 3 displays the camera a image, the display area 307 displays the camera b image, the display area 310 displays the camera c image, and the display area 313 displays the camera d image. To do. In FIG. 3, the video frame is displayed with a thick solid line. The display area may be the same size as the video frame, or a video frame having the same size as shown in FIG. 3 may be displayed in consideration of ease of viewing.

図２，図４，図６を使って実施例３を説明する。図４に示すカメラ４０１は、パン及びチルト及びズームができるＰＴＺカメラである。監視センター４２０にある処理装置４２１に対してディスプレイ４２２に表示される画面を見て、操作機器４２３で操作すると、その制御信号４２４は処理装置４２１から送信され、ネットワーク４１０を経由して、処理装置４０３で受信され、制御信号４０５は制御機器４０２に伝えられ、カメラ４０１のパン及びチルト及びズームを制御する。図２を使って、映像枠２０４がカメラ４０１を制御することにより、映像枠２０６に移動することを説明する。 Embodiment 3 will be described with reference to FIGS. A camera 401 shown in FIG. 4 is a PTZ camera capable of panning, tilting, and zooming. When the operation device 423 is operated by looking at the screen displayed on the display 422 for the processing device 421 in the monitoring center 420, the control signal 424 is transmitted from the processing device 421, and the processing device is transmitted via the network 410. The control signal 405 received at 403 is transmitted to the control device 402 to control panning, tilting, and zooming of the camera 401. The movement of the video frame 204 to the video frame 206 by controlling the camera 401 will be described with reference to FIG.

図２のカメラ映像表示画面２１１は、映像表示領域２１２とカメラ向きの移動（パン及びチルト）アイコン２１３とズームアイコン２１４を操作する画面で構成される。操作機器４２３で移動アイコン２１３とズームアイコン２１４を操作することにより、カメラ４０１は制御される。カメラ４０１が制御されると、それと連動してカメラ４０１映像の映像枠の位置も大きさも変化させなければならない。操作機器４２３で移動アイコン２１３を操作すると、パン値６０３とチルト値６０４が変化する。その変化に応じてカメラ映像の中心位置を定義した表６１０〜６１２から映像枠の中心位置を求める。 A camera video display screen 211 in FIG. 2 includes a screen for operating a video display area 212, a camera-oriented movement (pan and tilt) icon 213, and a zoom icon 214. The camera 401 is controlled by operating the movement icon 213 and the zoom icon 214 with the operation device 423. When the camera 401 is controlled, the position and size of the video frame of the camera 401 must be changed in conjunction with the control. When the movement icon 213 is operated with the operation device 423, the pan value 603 and the tilt value 604 are changed. The center position of the video frame is obtained from tables 610 to 612 in which the center position of the camera video is defined according to the change.

この表を作るには、パン値６０３とチルト値６０４の２つの変数を変えて、カメラの映像の中心位置がレイアウト図表示画面２０１のどの位置になるかを調べなければならない。その作業は大変となるので、それぞれをいくつかの代表点で表す。図６の例では、パン値の代表点の列６１０とチルト値の代表点の行６１１は、それぞれ５つで、映像枠の中心位置６１２を調べた表である。現在のパン値６０３に最も近い値の代表点をパン値の列６１０から調べ、現在のチルト値６０４に最も近い代表点をチルト値の行６１１から調べ、対応する映像枠の中心位置を表６１２から求めるのである。 In order to create this table, it is necessary to change the two variables of the pan value 603 and the tilt value 604 to check the position of the center position of the camera image on the layout diagram display screen 201. Since the work is difficult, each is represented by several representative points. In the example of FIG. 6, there are five columns of representative points 610 for pan values and five rows 611 of representative points for tilt values, which are tables in which the center position 612 of the video frame is examined. The representative point closest to the current pan value 603 is checked from the pan value column 610, the representative point closest to the current tilt value 604 is checked from the tilt value row 611, and the center position of the corresponding video frame is shown in Table 612. It asks from.

大きさについては、ズーム値６０５が対応している。ズームアイコン２１５を操作すると、ズーム値６０５が変化する。その変化に応じてカメラ映像の大きさを定義した表６２０，６２１から映像枠の大きさを処理装置４２１で求める。図６の例では、ズーム値も５つの代表点６２０に対応した映像枠の大きさ６２１として表したものである。現在のズーム値６０５に最も近い値の代表点をズーム値の列６２０から調べ、対応する映像枠の大きさを表６２１から求めるのである。これらの処理を処理装置４２１で行い、レイアウト図表示画面２０１上の映像枠２０４を映像枠２０６に位置と大きさを変化させて表示する。 The zoom value 605 corresponds to the size. When the zoom icon 215 is operated, the zoom value 605 changes. The size of the video frame is obtained by the processing device 421 from the tables 620 and 621 defining the size of the camera video according to the change. In the example of FIG. 6, the zoom value is also expressed as the size 621 of the video frame corresponding to the five representative points 620. The representative point closest to the current zoom value 605 is checked from the zoom value column 620, and the size of the corresponding video frame is obtained from the table 621. These processes are performed by the processing device 421, and the video frame 204 on the layout diagram display screen 201 is displayed on the video frame 206 with its position and size changed.

映像枠２０４，２０６はレイアウト図表示画面２０１における大まかな位置関係と大きさが判れば、監視目的に十分であるので、矩形で定義してもよい。図２の例では、代表点の数として、５つであったが、これに限定されるものではない。目的に応じて任意の数を設定してもよい。 Since the video frames 204 and 206 are sufficient for monitoring purposes if the rough positional relationship and size on the layout diagram display screen 201 are known, they may be defined as rectangles. In the example of FIG. 2, the number of representative points is five, but the number of representative points is not limited to this. Any number may be set according to the purpose.

本発明は、カメラを使った映像の遠隔モニタリングで監視対象の追跡や死角が容易に把握できるため、迅速な対応ができる。そのため、映像の遠隔モニタリングを行う監視センターで利用される。 According to the present invention, since it is possible to easily grasp the monitoring target and the blind spot by the remote monitoring of the video using the camera, it is possible to respond quickly. Therefore, it is used in a monitoring center that performs remote video monitoring.

カメラの映像枠を表示したレイアウト図表示画面とカメラ映像表示画面の２画面ディスプレイ。A two-screen display of a layout diagram display screen that displays the video frame of the camera and a camera video display screen. ＰＴＺカメラの映像枠を表示したレイアウト図表示画面とカメラ映像及びその操作画面を表示する２画面ディスプレイ。A layout diagram display screen displaying the video frame of the PTZ camera and a two-screen display displaying the camera video and its operation screen. レイアウト図表示画面の上にカメラ映像を表示した１画面ディスプレイ。A one-screen display that displays the camera image on the layout diagram display screen. 遠隔モニタリングシステムの構成。Configuration of remote monitoring system. レイアウト図表示画面とカメラ映像枠を表示するための表データ。Table data for displaying the layout diagram display screen and camera image frame. レイアウト図表示画面とＰＴＺカメラ映像枠を表示するための表データ。Table data for displaying a layout diagram display screen and a PTZ camera image frame.

符号の説明Explanation of symbols

１００…２画面ディスプレイ
１０１…レイアウト図表示画面
１０２、１０５、１０８、１１１…カメラの位置
１０３、１０６、１０９、１１２…カメラが写している映像枠の中心位置
１０４、１０７、１１０、１１３…カメラが写している映像枠
１２１…カメラ映像表示画面
１２２〜１２５…カメラ映像の表示領域（カメラ映像）

２００…２画面ディスプレイ
２０１…レイアウト図表示画面
２０２…カメラの位置
２０３、２０５…カメラが写している映像枠の中心位置
２０４、２０６…カメラが写している映像枠
２１１…カメラ映像表示画面
２１２…カメラ映像の表示領域（カメラ映像）
２１３…カメラ向きを移動のアイコン（パン及びチルト）
２１４…カメラのズームアイコン
３００…ディスプレイ
３０１…レイアウト図及びカメラ映像表示画面
３０２、３０５、３０８、３１１…カメラの位置
３０３、３０６、３０９、３１２…カメラ映像表示領域の中心位置
３０４、３０７、３１０、３１３…カメラ映像表示領域（カメラ映像）
４００…モニタリング対象場所
４０１…カメラ
４０２…カメラの制御装置
４０３…カメラ映像の変換・伝送装置
４０４…カメラの映像信号
４０５…カメラの制御信号
４０６…伝送用の信号
４１０…ネットワーク
４２０…監視センター
４２１…処理装置
４２２…ディスプレイ
４２３…操作機器
４２４…伝送用の信号
５００…カメラの位置、映像枠等データの表
６００…ＰＴＺカメラの位置、パラメータ値の表 DESCRIPTION OF SYMBOLS 100 ... Two-screen display 101 ... Layout diagram display screen 102, 105, 108, 111 ... Camera position 103, 106, 109, 112 ... Center position of the image frame which the camera imaged 104, 107, 110, 113 ... Camera Image frame 121. Camera image display screen 122-125 ... Camera image display area (camera image)

200: Two-screen display 201 ... Layout diagram display screen 202 ... Camera position 203, 205 ... Center position of video frame captured by camera 204, 206 ... Video frame captured by camera 211 ... Camera video display screen 212 ... Camera Image display area (camera image)
213 ... Icon for moving the camera direction (pan and tilt)
214 ... Camera zoom icon 300 ... Display 301 ... Layout diagram and camera image display screen 302, 305, 308, 311 ... Camera position 303, 306, 309, 312 ... Center position of camera image display area 304, 307, 310, 313 ... Camera image display area (camera image)
400 ... Monitoring target location 401 ... Camera 402 ... Camera control device 403 ... Camera video conversion / transmission device 404 ... Camera video signal 405 ... Camera control signal 406 ... Transmission signal 410 ... Network 420 ... Monitoring center 421 ... Processing device 422 ... Display 423 ... Operating device 424 ... Transmission signal 500 ... Table of data such as camera position and video frame 600 ... Table of PTZ camera position and parameter value

Claims

所定の場所を写すカメラと、前記カメラの映像を送信する手段と、前記カメラからの映像を受信する手段と、受信した映像を表示する手段と、前記場所のレイアウト図を取り込む手段と、取り込んだ前記レイアウト図を表示する手段と、前記レイアウト図の上に前記カメラの位置と前記カメラが写している場所の位置と大きさを示す映像枠を重ねて表示することを特徴とするモニタリングシステム。 A camera that captures a predetermined location; a means for transmitting video from the camera; a means for receiving video from the camera; a means for displaying the received video; a means for capturing a layout diagram of the location; A monitoring system comprising: means for displaying the layout diagram; and a video frame showing the position of the camera and the position and size of the location where the camera is photographed on the layout diagram.

前記レイアウト図にカメラが写している場所を示す映像枠が複数あるシステムにおいて、前記映像枠を指定する手段と、指定された前記映像枠の映像を表示することを特徴とするモニタリングシステム。 In the system in which there are a plurality of video frames indicating the location where the camera is photographed in the layout diagram, a monitoring system characterized by displaying means for designating the video frame and video of the designated video frame.

請求項１のレイアウト図のカメラが写している場所を示す映像枠内に、当該カメラ映像を表示することを特徴とするモニタリングシステム。 A monitoring system for displaying a camera image in a video frame indicating a place where the camera is shown in the layout diagram of claim 1.

請求項１のカメラとして、少なくともパン及びチルト及びズーム機能を有するシステムにおいて、それらを制御することに応じて、当該映像枠の位置及び大きさを変更することを特徴とするモニタリングシステム。 The monitoring system according to claim 1, wherein in the system having at least a pan, a tilt, and a zoom function, the position and size of the video frame are changed according to the control.

前記システムにおいて、前記映像枠を指定・移動・拡大/縮小する手段と、当該手段を用いることにより、当該カメラのパン、チルト、ズームを行うことを特徴とするモニタリングシステム。 In the system, a monitoring system characterized in that the video frame is designated / moved / enlarged / reduced and the camera is panned, tilted, and zoomed by using the means.