JP6482855B2

JP6482855B2 - Monitoring system

Info

Publication number: JP6482855B2
Application number: JP2014259397A
Authority: JP
Inventors: 秀行青木
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2014-12-22
Filing date: 2014-12-22
Publication date: 2019-03-13
Anticipated expiration: 2034-12-22
Also published as: JP2016118994A

Description

本発明は、例えば人物、車両などの移動体を監視する監視システムに関する。 The present invention relates to a monitoring system for monitoring a moving object such as a person or a vehicle.

人物、車両などの移動体を監視するシステムとしては、例えば下記特許文献１に開示されるものが知られている。この特許文献１では、システム全体にわたる移動体の追跡及び複数のビデオカメラ毎に分散された情報の統括的管理を効率よく行うことを目的として、複数ビデオカメラ毎に分散的に人物追跡するカメラ内追跡手段と、追跡を行うメイン追跡要素と移動体の特徴量をメイン追跡要素に供給するサブ追跡要素とからなり複数のカメラ内追跡手段間で連携して移動体を追跡するカメラ間追跡手段と、複数のカメラ内追跡手段に亙り移動体を探索する移動体探索手段とを具え、監視領域に分散配置された複数のビデオカメラを連携動作させている。 As a system for monitoring a moving body such as a person or a vehicle, for example, a system disclosed in Patent Document 1 below is known. In this patent document 1, in order to efficiently perform tracking of a moving body over the entire system and comprehensive management of information distributed to a plurality of video cameras, an internal camera that tracks people in a distributed manner for each of the plurality of video cameras. An inter-camera tracking means for tracking a moving body in cooperation with a plurality of in-camera tracking means, comprising a tracking means, and a main tracking element for tracking and a sub-tracking element for supplying a feature quantity of the moving object to the main tracking element; In addition, a plurality of video camera units distributed in the monitoring area are operated in cooperation with a moving body searching unit for searching for a moving body over a plurality of in-camera tracking units.

特開２００４−７２６２８号公報JP 2004-72628 A

上述した特許文献１に開示されるシステムでは、複数のビデオカメラが監視領域に分散配置され、各々のビデオカメラが撮影範囲を固定的に撮影する構成なので、ある一つのビデオカメラの撮影範囲について得られる情報としてはそのビデオカメラの撮影方向から撮影した画像情報のみとなる。このため、例えば、そのビデオカメラの撮影方向から死角となる領域については状況を把握することができない。また、ある一つのビデオカメラの画像上に映った対象についてそのカメラの画像情報以外の情報を得ることはできない。上述した特許文献１に開示されるシステムでは、ビデオカメラの撮影範囲が一部重複するように設置することが示されているが、ビデオカメラの撮影範囲が固定的である以上、重複して得られた複数の画像が、お互いに、監視領域の状況を的確に把握するのに補完し合えるような関係になるとは限らない。このため、ある一つのビデオカメラの撮影範囲について、監視領域の状況を把握するのに適した他の画像を必ずしも得ることができなかった。 In the system disclosed in Patent Document 1 described above, a plurality of video cameras are distributed and arranged in a monitoring area, and each video camera captures a shooting range in a fixed manner. Therefore, the shooting range of a certain video camera is obtained. The only information that can be obtained is image information taken from the shooting direction of the video camera. For this reason, for example, the situation cannot be grasped for an area that becomes a blind spot from the shooting direction of the video camera. Further, information other than the image information of the camera cannot be obtained for an object reflected on the image of a certain video camera. In the system disclosed in Patent Document 1 described above, it is shown that the shooting ranges of the video cameras are partially overlapped. However, since the shooting ranges of the video cameras are fixed, they are obtained in duplicate. The plurality of images thus obtained do not necessarily have a relationship that can complement each other to accurately grasp the status of the monitoring area. For this reason, it has not always been possible to obtain another image suitable for grasping the situation of the monitoring area in the shooting range of one video camera.

そこで、本発明は上記問題点に鑑みてなされたものであり、監視領域において撮影された画像を補完し、その画像中の領域の状況を把握するのに適した他の画像を得ることができる監視システムを提供することを目的とするものである。 Therefore, the present invention has been made in view of the above problems, and it is possible to obtain an image suitable for complementing an image captured in a monitoring region and grasping the state of the region in the image. The object is to provide a monitoring system.

上記した目的を達成するために、本発明に係る監視システムは、地上から撮影する監視カメラと、上空から撮影する撮像部を有する飛行装置とを備えた監視システムであって、
前記監視カメラの撮影方向と対向する対向方向を算出する方向算出部と、
前記監視カメラの撮影範囲を当該監視カメラの撮影位置とで挟む目標位置を算出する位置算出部と、
前記目標位置に前記飛行装置を移動させて前記対向方向に前記撮像部を向けて前記撮影範囲を撮影するように制御する飛行装置制御部と、
を備えたことを特徴とする。 In order to achieve the above object, a monitoring system according to the present invention is a monitoring system including a monitoring camera that captures images from the ground and a flying device that includes an imaging unit that captures images from above.
A direction calculating unit that calculates a facing direction opposite to the shooting direction of the monitoring camera;
A position calculation unit that calculates a target position that sandwiches the shooting range of the monitoring camera with the shooting position of the monitoring camera;
A flying device control unit that controls to move the flying device to the target position and direct the imaging unit in the facing direction to capture the imaging range;
It is provided with.

また、本発明に係る監視システムは、前記撮影方向が、前記撮影位置から前記監視カメラにて撮影された画像上の注目物体の位置に向かう方向、前記監視カメラの画角の中央の方向、又は、前記撮影位置から前記撮影範囲の注目位置に向かう方向としてもよい。 In the monitoring system according to the present invention, the shooting direction is a direction from the shooting position toward a position of an object of interest on an image shot by the monitoring camera, a direction in the center of the angle of view of the monitoring camera, or The direction from the shooting position to the target position in the shooting range may be used.

さらに、本発明に係る監視システムは、前記目標位置が、前記監視カメラにて撮影された画像上の注目物体の位置、又は、前記撮影範囲の注目位置を、前記撮影位置で挟む位置としてもよい。 Further, in the monitoring system according to the present invention, the target position may be a position of the target object on the image captured by the monitoring camera or a position sandwiching the target position of the shooting range between the shooting positions. .

本発明の監視システムによれば、地上から撮影する監視カメラと、上空から撮影する撮像部を有する飛行装置とを備え、方向算出部は、監視カメラの撮影方向と対向する対向方向を算出し、位置算出部は、監視カメラの撮影範囲を撮影位置とで挟む目標位置を算出する。そして、飛行装置制御部は、位置算出部が算出した目標位置に飛行装置を移動させ、方向算出部が算出した対向方向に撮像部を向けて撮影範囲を撮影するように制御する。かかる構成によれば、監視カメラが撮影している撮影方向と水平面上において対向する方向から監視カメラの撮影範囲を撮影した画像を飛行装置の撮像部によって取得できるように作用する。これにより、監視領域の状況を把握するのに適した画像として、監視カメラの画像からは把握できない情報を多く含んだ画像を得ることができる。 According to the monitoring system of the present invention, the surveillance system includes a surveillance camera that captures images from the ground and a flying device that includes an imaging unit that captures images from the sky, and the direction calculation unit calculates a facing direction opposite to the capture direction of the monitoring camera, The position calculation unit calculates a target position that sandwiches the shooting range of the surveillance camera with the shooting position. Then, the flying device control unit moves the flying device to the target position calculated by the position calculating unit, and controls the imaging unit to image the shooting range in the opposite direction calculated by the direction calculating unit. According to such a configuration, the imaging unit of the flying device acts so that an image of the imaging range of the monitoring camera can be acquired from a direction opposite to the imaging direction in which the monitoring camera is imaging on the horizontal plane. Thereby, an image including a lot of information that cannot be grasped from the image of the surveillance camera can be obtained as an image suitable for grasping the situation of the surveillance region.

また、本発明の監視システムによれば、監視カメラの撮影位置から監視カメラにて撮影された画像上の注目物体の位置に向かう方向、監視カメラの画角の中央の方向、又は、監視カメラの撮影位置から撮影範囲の注目位置に向かう方向を飛行装置の撮影方向としている。かかる構成によれば、監視カメラから注目物体への方向と対向する方向から撮影した画像を飛行装置の撮像部によって取得できるように作用する。これにより、注目物体について監視カメラの画像からは把握できない情報を多く含んだ画像を得ることができる。
また、かかる構成によれば、監視カメラから監視カメラの画角の中央の方向と対向する方向から撮影した画像を飛行装置の撮像部によって取得できるように作用する。これにより、監視領域の状況を把握するのに適した画像として、監視カメラで撮影された画像を全体的に考慮して把握しにくい情報を多く含んだ画像を得ることができる。
また、かかる構成によれば、監視カメラから撮影範囲における注目位置に向かう方向と対向する方向から撮影した画像を飛行装置の撮像部によって取得できるように作用する。これにより、例えば、注目したい対象が存在する可能性の高い位置（例えば、注目したい対象が人物であれば人物が存在する可能性の高い歩道の位置、注目したい対象が車両であれば車両が存在する可能性が高い車道の位置など）について監視カメラからは把握できない情報を多く含んだ画像を得ることができる。 Further, according to the monitoring system of the present invention, the direction from the shooting position of the monitoring camera to the position of the object of interest on the image taken by the monitoring camera, the direction of the center of the angle of view of the monitoring camera, or the monitoring camera The direction from the shooting position to the target position in the shooting range is the shooting direction of the flying device. According to this configuration, the image captured from the direction opposite to the direction from the monitoring camera to the object of interest can be acquired by the imaging unit of the flying device. As a result, it is possible to obtain an image including a lot of information about the object of interest that cannot be grasped from the image of the monitoring camera.
Moreover, according to this structure, it acts so that the image image | photographed from the direction which opposes the center direction of the angle of view of a surveillance camera from a surveillance camera can be acquired by the imaging part of a flying device. Thereby, as an image suitable for grasping the situation of the monitoring area, an image including a lot of information that is difficult to grasp in consideration of the image taken by the surveillance camera as a whole can be obtained.
Moreover, according to this structure, it acts so that the image image | photographed from the direction which opposes the direction which goes to the attention position in the imaging | photography range from a surveillance camera can be acquired by the imaging part of a flying device. Thus, for example, a position where there is a high possibility that there is a target to be noticed (for example, a position of a sidewalk where a person is likely to exist if the target to be noticed is a person, or a vehicle if the target to be noticed is a vehicle. For example, it is possible to obtain an image including a lot of information that cannot be grasped from the surveillance camera.

さらに、本発明の監視システムによれば、監視カメラにて撮影された画像上の注目物体の位置、又は、撮影範囲の注目位置を、撮影位置とで挟む位置を目標位置としている。かかる構成によれば、監視カメラの撮影位置で注目物体又は注目位置を挟む位置に飛行装置を移動させるように作用する。これにより、監視領域の状況を把握するのに適した画像として、注目物体又は注目位置について監視カメラからは把握できない情報を多く含んだ画像を得ることができる。 Furthermore, according to the monitoring system of the present invention, the target position is the position where the position of the object of interest on the image captured by the monitoring camera or the position of interest in the imaging range is sandwiched between the imaging positions. According to such a configuration, the flying device is moved to a position that sandwiches the target object or the target position at the photographing position of the monitoring camera. Thereby, as an image suitable for grasping the situation of the monitoring area, an image including a lot of information that cannot be grasped from the monitoring camera regarding the object of interest or the position of interest can be obtained.

本発明に係る監視システムの全体構成を示す概略ブロック図である。It is a schematic block diagram which shows the whole structure of the monitoring system which concerns on this invention. 地上の水平面を仮想水平面とし、仮想水平面を側面から見たときの注目物体と監視カメラと飛行装置との位置関係を示す図である。It is a figure which shows the positional relationship of an attention object, a surveillance camera, and a flight apparatus when the horizontal surface on the ground is made into a virtual horizontal surface and the virtual horizontal surface is seen from the side. 上空から地上を鉛直方向に見たときの仮想水平面上における注目物体と監視カメラと飛行装置との位置関係を示す図である。It is a figure which shows the positional relationship of the attention object, surveillance camera, and flying apparatus on the virtual horizontal surface when seeing the ground in the vertical direction from the sky.

以下、本発明を実施するための形態について、添付した図面の図１〜３を参照しながら詳細に説明する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to FIGS.

図１に示すように、本発明に係る監視システム１は、監視カメラ２、飛行装置３、追跡処理装置としてのセンタ装置４を備えて構築される。 As shown in FIG. 1, a monitoring system 1 according to the present invention is constructed by including a monitoring camera 2, a flying device 3, and a center device 4 as a tracking processing device.

（監視カメラの構成について）
監視カメラ２は、地上から所定の撮影範囲を撮影する。本例において、監視カメラ２が地上から撮影する高度は、追跡対象（例えば不審者、不審車両など）を特定するための後述する複数種類の特徴情報の中で最も重要とされる最重要情報（追跡対象が例えば人物であれば顔画像、車両であれば自動車登録番号標（ナンバープレート）画像）が認識できる地上から比較的低い高度である。これにより、追跡対象を側方から撮影し、撮影した画像から追跡対象を把握しやすい側方画像を得ることができる。 (About surveillance camera configuration)
The surveillance camera 2 captures a predetermined imaging range from the ground. In this example, the altitude that the surveillance camera 2 captures from the ground is the most important information (the most important information among a plurality of types of feature information described later) for specifying the tracking target (for example, a suspicious person, a suspicious vehicle, etc.) For example, if the tracking target is a person, it is a face image, and if it is a vehicle, an automobile registration number mark (number plate) image) can be recognized at a relatively low altitude from the ground. As a result, it is possible to capture the tracking target from the side and obtain a side image from which the tracking target can be easily grasped from the captured image.

監視カメラ２は、図１に示すように、カメラ部２１、制御部２２、通信部２３を備えている。 As shown in FIG. 1, the monitoring camera 2 includes a camera unit 21, a control unit 22, and a communication unit 23.

カメラ部２１は、所定の撮影範囲を撮影する本体をなし、撮像部２１ａ、方向制御部２１ｂ、画像データ生成部２１ｃを有している。 The camera unit 21 forms a main body that captures a predetermined shooting range, and includes an imaging unit 21a, a direction control unit 21b, and an image data generation unit 21c.

撮像部２１ａは、例えばＣＣＤ素子やＣ−ＭＯＳ素子などの撮像素子や光学部品などを含んで構成される。撮像部２１ａは、監視領域内の所定の撮影範囲を所定時間おきに撮像し、撮像した画像を画像データ生成部２１ｃに順次出力する。 The imaging unit 21a includes an imaging element such as a CCD element or a C-MOS element, an optical component, and the like. The imaging unit 21a captures a predetermined imaging range in the monitoring area every predetermined time, and sequentially outputs the captured images to the image data generation unit 21c.

尚、撮像部２１ａは、監視カメラ２がパンチルトズームカメラとして構成される場合、センタ装置４からの制御信号の撮影指示に基づく制御部２２の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部２１ｃに出力される。 Note that when the monitoring camera 2 is configured as a pan / tilt zoom camera, the imaging unit 21a has a zoom position controlled by the control of the control unit 22 based on a shooting instruction of a control signal from the center device 4. Information on the focal length based on the zoom position is output to the image data generation unit 21c.

方向制御部２１ｂは、監視カメラ２がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置４からの制御信号の撮影指示に基づく制御部２２の制御により、水平方向及び垂直方向の角度が制御される。この水平方向及び垂直方向の角度情報は、予め設定された監視カメラ２の撮影方向からの変位角度であり、画像データ生成部２１ｃに出力される。 The direction control unit 21b is necessary when the monitoring camera 2 is configured as a pan / tilt / zoom camera. The direction control unit 21b is controlled in the horizontal direction and the vertical direction under the control of the control unit 22 based on the shooting instruction of the control signal from the center device 4. The angle is controlled. The angle information in the horizontal direction and the vertical direction is a preset displacement angle from the shooting direction of the monitoring camera 2, and is output to the image data generation unit 21c.

画像データ生成部２１ｃは、撮像部２１ａが撮像した画像に対し、必要に応じて撮影時における焦点距離や水平方向及び垂直方向の角度情報（撮影方向）を付加した画像データを生成する。なお、監視カメラ２がパンチルトズームカメラとして構成される場合には、予め設定された監視カメラ２の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。 The image data generation unit 21c generates image data in which the focal length at the time of shooting and the angle information (shooting direction) in the horizontal direction and the vertical direction are added to the image taken by the imaging unit 21a as necessary. When the monitoring camera 2 is configured as a pan / tilt / zoom camera, a shooting direction obtained by correcting the previously set shooting direction of the monitoring camera 2 with the above-described displacement angle is added to the image data.

制御部２２は、カメラ部２１の画像データ生成部２１ｃが生成した画像データを所定のフレーム周期で所定時間おきに通信部２３を介してセンタ装置４に送信制御する。また、制御部２２は、センタ装置４からの制御信号を通信部２３を介して受信したときに、この制御信号の撮影指示に従ってカメラ部２１の撮像部２１ａや方向制御部２１ｂを制御する。 The control unit 22 controls transmission of the image data generated by the image data generation unit 21c of the camera unit 21 to the center device 4 via the communication unit 23 at predetermined frame intervals at predetermined intervals. When the control unit 22 receives a control signal from the center device 4 via the communication unit 23, the control unit 22 controls the imaging unit 21a and the direction control unit 21b of the camera unit 21 in accordance with a shooting instruction of the control signal.

通信部２３は、有線又は無線により通信を行うための通信インタフェースであり、制御部２２の制御により、通信回線を介してセンタ装置４との間で有線又は無線により通信し、データや信号の送受信を行う。具体的には、画像データ生成部２１ｃが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置４に送信する。また、撮像部２１ａや方向制御部２１ｂを制御するためのセンタ装置４からの制御信号を受信する。 The communication unit 23 is a communication interface for performing wired or wireless communication. Under the control of the control unit 22, the communication unit 23 communicates with the center device 4 via the communication line by wired or wireless, and transmits and receives data and signals. I do. Specifically, the image data generated by the image data generation unit 21c is transmitted to the center device 4 at predetermined intervals with a predetermined frame period. In addition, a control signal is received from the center device 4 for controlling the imaging unit 21a and the direction control unit 21b.

尚、監視カメラ２は、監視領域の所定箇所に固定して複数設置されるものに限定されない。監視カメラ２は、地上から比較的低い高度において撮影可能なものであってよく、低い高度で撮影可能な、例えば各種車両に搭載した車載用カメラ、撮像部を有する小型移動飛行ロボットやドローンなどのように監視領域を移動できるものであってもよい。また、監視カメラ２が監視領域内を移動できる場合には、少なくとも１つの監視カメラ２が設けられた構成であってもよい。そして、監視カメラ２が監視領域を移動する場合には、撮影時における監視カメラ２の位置情報が移動に伴って変化するため、ＧＰＳからなる測位部を監視カメラ２に備え、地球上での監視カメラ２の３次元的位置（現在位置）を示す位置情報（緯度、経度、高さ）を画像データ生成部２１ｃに出力する。また、監視カメラ２が監視領域を移動する場合は、撮影時における監視カメラ２の撮影方向も移動による姿勢変動によって変化するため、後述する姿勢検出部３５と同様の構成を備え、画像データ生成部２１ｃは、これにより得られた姿勢情報により撮影方向を補正する。そして、画像データ生成部２１ｃからは、監視カメラ２の撮影時における位置情報及び撮影時における監視カメラ２の撮影方向も付加した画像データがセンタ装置４に送信される。 Note that the surveillance camera 2 is not limited to a plurality of surveillance cameras 2 fixedly installed at a predetermined location in the surveillance area. The surveillance camera 2 may be capable of photographing at a relatively low altitude from the ground, and can be photographed at a low altitude, such as an in-vehicle camera mounted on various vehicles, a small mobile flying robot having an imaging unit, a drone, and the like. The monitoring area may be moved as described above. Further, when the monitoring camera 2 can move within the monitoring area, a configuration in which at least one monitoring camera 2 is provided may be used. When the surveillance camera 2 moves in the surveillance area, the position information of the surveillance camera 2 at the time of shooting changes with the movement. Therefore, the surveillance camera 2 is provided with a GPS positioning unit, and is monitored on the earth. Position information (latitude, longitude, height) indicating the three-dimensional position (current position) of the camera 2 is output to the image data generation unit 21c. Further, when the monitoring camera 2 moves in the monitoring area, the shooting direction of the monitoring camera 2 at the time of shooting also changes due to the posture change caused by the movement, and thus has the same configuration as the posture detection unit 35 described later, and an image data generation unit 21c corrects the shooting direction based on the posture information obtained thereby. Then, the image data generation unit 21c transmits to the center device 4 image data to which position information at the time of shooting by the monitoring camera 2 and a shooting direction of the monitoring camera 2 at the time of shooting are added.

（飛行装置の構成について）
飛行装置３は、センタ装置４からの制御信号の指示によって移動制御が可能な移動型飛行装置、すなわち、移動型飛行船、小型移動飛行ロボットやドローン、人工衛星などである。又は電源供給及び通信可能な状態で本体がケーブルを介して地上の係留装置と繋がれた係留型飛行装置（例えば係留型飛行船など）であってもよい。さらに、これらの組合せによって構成してもよい。 (About the configuration of the flying device)
The flying device 3 is a mobile flying device capable of moving control according to an instruction of a control signal from the center device 4, that is, a mobile airship, a small mobile flying robot, a drone, an artificial satellite, or the like. Alternatively, it may be a moored flying device (for example, a moored airship) in which the main body is connected to a ground mooring device via a cable in a state where power supply and communication are possible. Furthermore, you may comprise by these combination.

尚、飛行装置３が係留型飛行装置の場合には、監視カメラ２で撮影できない死角領域を包含するように、監視領域の規模に合わせた数だけ設けるのが好ましい。 When the flying device 3 is a moored flying device, it is preferable to provide the number corresponding to the size of the monitoring area so as to include the blind spot area that cannot be captured by the monitoring camera 2.

飛行装置３は、図１に示すように、カメラ部３１、推進部３２、方向舵３３、測位部３４、姿勢検出部３５、制御部３６、無線通信部３７を備えている。 As shown in FIG. 1, the flying device 3 includes a camera unit 31, a propulsion unit 32, a rudder 33, a positioning unit 34, an attitude detection unit 35, a control unit 36, and a wireless communication unit 37.

カメラ部３１は、飛行装置３の本体に搭載され、上空から監視カメラ２よりも広い撮影範囲で撮影を行っている。本例において、飛行装置３のカメラ部３１が撮影する高度は、監視カメラ２と比較して相対的に高い高度であって、追跡対象を特定するための後述する複数種類の特徴情報の中で最も重要とされる最重要情報の認識が困難な高度であるが、追跡対象を上方から俯瞰して撮影できる高度である。これにより、撮影した画像から追跡対象の水平面上における周囲の状況が把握しやすい上方画像を得ることができる。 The camera unit 31 is mounted on the main body of the flying device 3 and shoots in a wider shooting range than the surveillance camera 2 from above. In this example, the altitude captured by the camera unit 31 of the flying device 3 is relatively high as compared with the surveillance camera 2, and among the plurality of types of feature information described below for specifying the tracking target. Although it is an altitude at which it is difficult to recognize the most important information, which is regarded as the most important, it is an altitude at which the tracking target can be photographed from above. Thereby, an upper image in which the surrounding situation on the horizontal plane to be tracked can be easily grasped from the captured image can be obtained.

カメラ部３１は、撮像部３１ａ、方向制御部３１ｂ、画像データ生成部３１ｃを有している。 The camera unit 31 includes an imaging unit 31a, a direction control unit 31b, and an image data generation unit 31c.

撮像部３１ａは、例えばＣＣＤ素子やＣ−ＭＯＳ素子などの撮像素子や光学部品などを含んで構成されるものであり、所定の撮影範囲を上空から所定時間おきに撮像し、撮像した画像を画像データ生成部３１ｃに順次出力する。 The imaging unit 31a includes, for example, an imaging element such as a CCD element or a C-MOS element, an optical component, and the like. The imaging unit 31a captures a predetermined imaging range from the sky every predetermined time and images the captured image. The data is sequentially output to the data generation unit 31c.

尚、撮像部３１ａは、カメラ部３１がパンチルトズームカメラとして構成される場合、センタ装置４からの制御信号の撮影指示に基づく制御部３６の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部３１ｃに出力される。 When the camera unit 31 is configured as a pan / tilt zoom camera, the zoom position of the imaging unit 31a is controlled by the control unit 36 based on a shooting instruction of a control signal from the center device 4. Information on the focal length based on the zoom position is output to the image data generation unit 31c.

方向制御部３１ｂは、カメラ部３１がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置４からの制御信号の撮影指示に基づく制御部３６の制御により、水平方向及び垂直方向の角度が制御される。この水平方向及び垂直方向の角度情報は、予め設定されたカメラ部３１の向きに相当する撮影方向からの変位角度であり、画像データ生成部３１ｃに出力される。 The direction control unit 31b is necessary when the camera unit 31 is configured as a pan / tilt / zoom camera. The direction control unit 31b is controlled in the horizontal and vertical directions under the control of the control unit 36 based on the shooting instruction of the control signal from the center device 4. The angle is controlled. The angle information in the horizontal direction and the vertical direction is a displacement angle from the photographing direction corresponding to a preset direction of the camera unit 31, and is output to the image data generation unit 31c.

画像データ生成部３１ｃは、撮像部３１ａが撮像した画像に対し、撮影時における焦点距離や水平方向及び垂直方向の角度情報（撮影方向）を必要に応じて付加した画像データを生成する。なお、カメラ部３１がパンチルトズームカメラとして構成される場合には、予め設定されたカメラ部３１の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。また、後述の測位部３４にて取得した撮影時における位置情報、及び後述の姿勢検出部３５にて得られた撮影時における姿勢情報から補正した撮影方向を必要に応じて付加した画像データを生成する。 The image data generation unit 31c generates image data in which the focal length at the time of shooting and the angle information (shooting direction) in the horizontal and vertical directions are added to the image taken by the imaging unit 31a as necessary. When the camera unit 31 is configured as a pan / tilt / zoom camera, a shooting direction obtained by correcting the preset shooting direction of the camera unit 31 with the above-described displacement angle is added to the image data. Further, image data is generated by adding the shooting direction corrected from the position information obtained by the positioning unit 34 described later and the posture information obtained by the posture detecting unit 35 described later as needed. To do.

推進部３２は、エンジンの動力をプロペラに伝達して回転させることにより飛行装置３に推進力を与えるものであり、センタ装置４からの制御信号の飛行指示に従って制御部３６により制御される。 The propulsion unit 32 applies propulsive force to the flying device 3 by transmitting the engine power to the propeller and rotating it, and is controlled by the control unit 36 according to the flight instruction of the control signal from the center device 4.

方向舵３３は、飛行装置３の操縦に用いる動翼であり、センタ装置４からの制御信号の飛行指示に従って制御部３６により制御される。 The rudder 33 is a moving blade used for maneuvering the flying device 3 and is controlled by the control unit 36 in accordance with a flight instruction of a control signal from the center device 4.

測位部３４は、ＧＰＳ（Global Positioning System ）からなり、地球上での飛行装置３の３次元的位置（現在位置）を示す位置情報（緯度、経度、高さ）を制御部３６に出力している。この位置情報は画像データ生成部３１ｃへも出力する。 The positioning unit 34 includes a GPS (Global Positioning System), and outputs position information (latitude, longitude, height) indicating the three-dimensional position (current position) of the flying device 3 on the earth to the control unit 36. Yes. This position information is also output to the image data generation unit 31c.

姿勢検出部３５は、例えばジャイロコンパスとサーボ加速度計を備え、飛行装置３の方位角、ピッチ角、ロール角を計測して飛行装置３の姿勢を検出し、この検出により得られる姿勢情報を制御部３６に出力する。この姿勢情報は画像データ生成部３１ｃへも出力する。 The attitude detection unit 35 includes, for example, a gyrocompass and a servo accelerometer, detects the attitude of the flying device 3 by measuring the azimuth angle, pitch angle, and roll angle of the flying device 3, and controls the attitude information obtained by this detection. To the unit 36. This attitude information is also output to the image data generation unit 31c.

制御部３６は、カメラ部３１の画像データ生成部３１ｃが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置４に送信するように無線通信部３７を制御する。また、制御部３６は、飛行制御部３６ａとカメラ制御部３６ｂを有する。飛行制御部３６ａは、センタ装置４からの制御信号を無線通信部３７を介して受信したときに、この制御信号の飛行指示に従って推進部３２や方向舵３３を制御する。カメラ制御部３６ｂは、センタ装置４からの制御信号を無線通信部３７を介して受信したときに、この制御信号の撮影指示に従ってカメラ部３１の撮像部３１ａや方向制御部３１ｂを制御する。 The control unit 36 controls the wireless communication unit 37 so that the image data generated by the image data generation unit 31c of the camera unit 31 is transmitted to the center device 4 at predetermined intervals at predetermined frame periods. The control unit 36 includes a flight control unit 36a and a camera control unit 36b. When the flight control unit 36a receives a control signal from the center device 4 via the wireless communication unit 37, the flight control unit 36a controls the propulsion unit 32 and the rudder 33 according to the flight instruction of the control signal. When the control signal from the center device 4 is received via the wireless communication unit 37, the camera control unit 36b controls the imaging unit 31a and the direction control unit 31b of the camera unit 31 in accordance with the shooting instruction of the control signal.

無線通信部３７は、制御部３６の制御により、センタ装置４との間で無線通信し、データや信号の送受信を行う。具体的には、画像データ生成部３１ｃが生成した画像データを所定フレーム周期で所定時間おきにセンタ装置４に送信する。また、撮像部３１ａ、方向制御部３１ｂ、推進部３２、方向舵３３を制御するため、センタ装置４からの制御信号（撮影指示、飛行指示）を受信する。 The wireless communication unit 37 performs wireless communication with the center device 4 and transmits / receives data and signals under the control of the control unit 36. Specifically, the image data generated by the image data generation unit 31c is transmitted to the center device 4 at predetermined time intervals in a predetermined frame period. In addition, in order to control the imaging unit 31a, the direction control unit 31b, the propulsion unit 32, and the rudder 33, a control signal (imaging instruction, flight instruction) is received from the center device 4.

（センタ装置の構成について）
追跡処理装置としてのセンタ装置４は、通信部４１、無線通信部４２、制御部４３、記憶部４４、操作部４５、表示部４６を備えている。 (About the configuration of the center device)
The center device 4 as a tracking processing device includes a communication unit 41, a wireless communication unit 42, a control unit 43, a storage unit 44, an operation unit 45, and a display unit 46.

通信部４１は、有線又は無線により通信を行うための通信インタフェースであり、制御部４３の制御により、通信回線を介して複数の監視カメラ２との間で相互に通信を行う。具体的には、複数の監視カメラ２から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、制御対象となる監視カメラ２に対し、撮像部２１ａや方向制御部２１ｂを制御して撮影指示するための制御信号を送信する。 The communication unit 41 is a communication interface for performing wired or wireless communication, and communicates with a plurality of monitoring cameras 2 via a communication line under the control of the control unit 43. Specifically, image data transmitted from the plurality of monitoring cameras 2 at predetermined frame intervals is received. In addition, a control signal for instructing photographing is transmitted to the monitoring camera 2 to be controlled by controlling the imaging unit 21a and the direction control unit 21b.

無線通信部４２は、制御部４３の制御により、飛行装置３との間で相互に無線通信を行う。具体的には、飛行装置３から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、飛行装置３の撮像部３１ａや方向制御部３１ｂを制御して撮影指示するための制御信号と、飛行装置３の推進部３２や方向舵３３を制御して飛行指示するための制御信号を必要に応じて送信する。 The wireless communication unit 42 performs wireless communication with the flying device 3 under the control of the control unit 43. Specifically, the image data transmitted from the flying device 3 at a predetermined frame period and every predetermined time is received. Further, a control signal for instructing shooting by controlling the imaging unit 31a and the direction control unit 31b of the flying device 3, and a control signal for instructing flight by controlling the propulsion unit 32 and the rudder 33 of the flying device 3 are necessary. Send according to.

制御部４３は、注目物体検出部４３ａ、取得部４３ｂ、目標算出部４３ｃ、飛行装置制御部４３ｄ、表示制御部４３ｅを備えている。 The control unit 43 includes a target object detection unit 43a, an acquisition unit 43b, a target calculation unit 43c, a flying device control unit 43d, and a display control unit 43e.

注目物体検出部４３ａは、監視カメラ２から所定のフレーム周期で所定時間おきに送信されてくる画像データの画像から注目物体Ｎ（例えば人物や車両など）を検出する。この注目物体Ｎの検出は、従来の画像認識技術を用いればよい。一例を挙げれば、注目物体Ｎを特定するための複数種類の特徴を抽出し、抽出した特徴を対象特徴（特徴情報）として記憶部４４に予め記憶させる。例えば人物が注目物体Ｎである場合は、顔画像、年齢、性別、髪色、上半身衣服色、下半身衣服色、所持品種別、所持品色、身長、体型などが複数種類の特徴情報などとする。これら複数種類の特徴情報は、識別器や色ヒストグラムを用いた公知の手法によって抽出される。 The target object detection unit 43a detects a target object N (for example, a person or a vehicle) from an image of image data transmitted from the monitoring camera 2 at a predetermined frame period every predetermined time. The target object N may be detected using a conventional image recognition technique. For example, a plurality of types of features for specifying the target object N are extracted, and the extracted features are stored in advance in the storage unit 44 as target features (feature information). For example, when the person is the object of attention N, the face image, age, sex, hair color, upper body clothes color, lower body clothes color, possession type, possession color, height, body shape, etc. are used as a plurality of types of feature information. . These multiple types of feature information are extracted by a known method using a discriminator or a color histogram.

尚、注目物体Ｎの特徴情報の入力方法としては、監視員が必要に応じて操作部４５を操作して、記憶部４４に記憶保存された監視カメラ２の画像から注目物体Ｎに当たる部分を指定すると、この指定された画像から上述した特徴情報を抽出し、抽出した特徴情報を対象特徴として記憶部４４に記憶させる。また、監視員の指定操作に依らず、注目物体Ｎが予め決まっている場合には、その注目物体Ｎの特徴情報を対象特徴として記憶部４４に記憶させておく。 As a method for inputting the feature information of the target object N, the monitor operates the operation unit 45 as necessary, and designates a portion corresponding to the target object N from the image of the monitoring camera 2 stored and stored in the storage unit 44. Then, the feature information described above is extracted from the designated image, and the extracted feature information is stored in the storage unit 44 as a target feature. In addition, when the target object N is determined in advance without depending on the operation designated by the supervisor, the feature information of the target object N is stored in the storage unit 44 as the target feature.

そして、注目物体Ｎを追跡する場合には、例えば、複数の監視カメラ２毎に撮影される画像から、上述した対象特徴の抽出手法と同様にして複数種類の特徴情報を抽出し、抽出した特徴情報と対象特徴との対比により注目物体Ｎを検出する。これら複数種類の特徴情報は、個々の特徴情報について注目物体Ｎの検出における信頼性を考慮した重み付け係数が設定されている。そして、上述した複数種類の特徴情報を特徴情報の種別ごとに比較して類似度を算出する。続いて、複数種類の特徴情報ごとに算出した類似度に対し、重み付け係数を掛け合わせ、特徴情報の種類毎の類似度に重み付け係数を掛け合わせて全て足し合わせたものを全体類似度とする。そして、予め記憶部４４に記憶された注目物体Ｎと見なせる注目物体検出閾値（例えば類似度９０％）と全体類似度とを比較し、全体類似度が注目物体検出閾値を超えていると判定すると、注目物体Ｎとして検出する。 When the object of interest N is tracked, for example, a plurality of types of feature information are extracted from the images photographed for each of the plurality of surveillance cameras 2 in the same manner as the target feature extraction method described above, and the extracted features The object of interest N is detected by comparing the information with the target feature. In these plural types of feature information, weighting coefficients are set in consideration of reliability in detecting the object of interest N for each piece of feature information. Then, the degree of similarity is calculated by comparing the plurality of types of feature information described above for each type of feature information. Subsequently, the similarity calculated for each of the plurality of types of feature information is multiplied by a weighting coefficient, and the similarity for each type of feature information is multiplied by the weighting coefficient to obtain an overall similarity. Then, when the target object detection threshold (for example, similarity 90%) that can be regarded as the target object N stored in advance in the storage unit 44 is compared with the overall similarity, and it is determined that the overall similarity exceeds the target object detection threshold. , Detected as the object of interest N.

また、注目物体検出部４３ａは、上記のようにして検出した注目物体Ｎを所定フレームおきに取得される画像にわたって追跡する。例えば、現在の画像と１フレーム前の画像とのフレーム間差分をとることで画像中における変化領域を抽出し、注目物体Ｎの位置に相当する変化領域を特定する。そして、次に新たな画像データを取得した際も同様にフレーム間差分を行って変化領域を抽出し、この抽出した変化領域が、前回の注目物体Ｎに相当する変化領域として特定した変化領域と、その位置、大きさ、形状などの点において同一の物体とみなせるかを判定し、同一とみなせる場合には、その変化領域を今回の注目物体Ｎに相当する変化領域として特定する。これらの処理を新たな画像データを取得する度に繰り返すことで、監視カメラ２の画像中において注目物体Ｎを検出して追跡している。 Further, the target object detection unit 43a tracks the target object N detected as described above over an image acquired every predetermined frame. For example, the change area in the image is extracted by taking the inter-frame difference between the current image and the image one frame before, and the change area corresponding to the position of the object of interest N is specified. Then, when new image data is acquired next, the difference region is similarly extracted to extract the change region, and the extracted change region is the change region identified as the change region corresponding to the previous object of interest N. Then, it is determined whether the object can be regarded as the same object in terms of its position, size, shape, and the like, and if it can be regarded as the same object, the change area is specified as the change area corresponding to the current object of interest N. By repeating these processes every time new image data is acquired, the object of interest N is detected and tracked in the image of the monitoring camera 2.

取得部４３ｂは、監視員により操作部４５が操作されて、監視カメラ２からの画像を補完する画像を取得するために飛行装置３を移動制御する補完画像取得処理（後述）の指示がなされると、記憶部４４に記憶された監視カメラ情報から監視カメラ２の撮影位置Ｐ（緯度、経度、高さ）、撮影方向及び撮影範囲Ｌに関する情報を取得している。 In the acquisition unit 43b, the operation unit 45 is operated by a monitoring person, and an instruction of a complementary image acquisition process (described later) for moving and controlling the flying device 3 in order to acquire an image that complements the image from the monitoring camera 2 is given. And the information regarding the imaging position P (latitude, longitude, height), the imaging direction, and the imaging range L of the monitoring camera 2 is acquired from the monitoring camera information stored in the storage unit 44.

なお、監視カメラ２の撮影位置Ｐ（緯度、経度、高さ）、撮影方向及び撮影範囲Ｌに関する情報は、監視カメラ２から通信部４１を介して受信した画像データに含まれる情報から取得してもよい。この場合には、取得部４３ｂの構成を省くことができる。 Information regarding the shooting position P (latitude, longitude, height), shooting direction, and shooting range L of the monitoring camera 2 is acquired from information included in image data received from the monitoring camera 2 via the communication unit 41. Also good. In this case, the configuration of the acquisition unit 43b can be omitted.

目標算出部４３ｃは、監視員により操作部４５が操作されて後述する補完画像取得処理の指示がなされたときに、飛行装置３を移動制御するための目標の方向と位置を算出するもので、方向算出部４３ｃａと位置算出部４３ｃｂを有している。 The target calculation unit 43c calculates a target direction and position for controlling the movement of the flying device 3 when the operation unit 45 is operated by a monitoring person and an instruction for a complementary image acquisition process described later is given. It has a direction calculation unit 43ca and a position calculation unit 43cb.

方向算出部４３ｃａは、取得部４３ｂが取得した監視カメラ２の撮影方向と、画像中における注目物体Ｎの位置と、監視カメラ２の位置情報から、注目物体Ｎを追跡している監視カメラ２の位置から注目物体Ｎまでの方向を、補完画像取得処理において用いる撮影方向Ｄ１として算出し、この撮影方向Ｄ１と対向する対向方向Ｄ２を算出している。撮影方向Ｄ１は、監視カメラ２の撮影位置Ｐから監視カメラ２にて撮影された画像上の注目物体Ｎの位置に向かう方向である。例えば図３に示すように、監視カメラ２の撮影位置Ｐを原点（０，０）として北を基準方位とすると、基準方位から角度φをなして原点から注目物体Ｎの位置に向かう方向が監視カメラ２の撮影方向Ｄ１となる。そして、この監視カメラ２の撮影方向Ｄ１と対向して飛行装置３から注目物体Ｎの位置に向かう方向が対向方向Ｄ２となる。 The direction calculation unit 43ca uses the shooting direction of the monitoring camera 2 acquired by the acquisition unit 43b, the position of the target object N in the image, and the position information of the monitoring camera 2 to monitor the target camera N. The direction from the position to the object of interest N is calculated as the shooting direction D1 used in the complementary image acquisition process, and the facing direction D2 facing the shooting direction D1 is calculated. The shooting direction D1 is a direction from the shooting position P of the monitoring camera 2 toward the position of the target object N on the image shot by the monitoring camera 2. For example, as shown in FIG. 3, assuming that the shooting position P of the monitoring camera 2 is the origin (0, 0) and north is the reference orientation, the direction from the origin toward the position of the object of interest N with an angle φ from the reference orientation is monitored. The shooting direction D1 of the camera 2 is set. Then, the direction from the flying device 3 toward the position of the object of interest N facing the shooting direction D1 of the monitoring camera 2 is the facing direction D2.

尚、監視カメラ２の撮影方向Ｄ１は、監視カメラ２の画角の中央の方向であってもよい。監視カメラ２の画角は、撮影される画像に映される光景の範囲を角度で表したものであり、撮像部２１ａにおける光学センサの撮像面の寸法、画像を撮像面に投射するレンズの焦点距離、レンズの歪みの度合いをパラメータとする関数である。 Note that the shooting direction D1 of the monitoring camera 2 may be the center direction of the angle of view of the monitoring camera 2. The angle of view of the monitoring camera 2 represents the range of the scene shown in the image to be photographed by the angle, the size of the imaging surface of the optical sensor in the imaging unit 21a, and the focal point of the lens that projects the image on the imaging surface. It is a function using the distance and the degree of lens distortion as parameters.

また、監視カメラ２の撮影方向Ｄ１は、監視カメラ２の撮影位置Ｐから撮影範囲Ｌの注目位置に向かう方向とすることもできる。注目位置は、監視カメラ２の撮影範囲Ｌ内で重要視する位置である。例えば注目物体Ｎが存在する可能性の高い位置（例えば、注目物体Ｎが人物であれば人物が存在する可能性の高い歩道の位置、注目物体Ｎが車両であれば車両が存在する可能性の高い車道の位置など）を注目位置とし、監視員が操作部４５を操作入力することにより、監視目的や監視内容に応じて任意に設定することができる。 Also, the shooting direction D1 of the monitoring camera 2 can be a direction from the shooting position P of the monitoring camera 2 toward the target position in the shooting range L. The attention position is a position regarded as important within the photographing range L of the monitoring camera 2. For example, a position where there is a high possibility that the target object N is present (for example, if the target object N is a person, a position of a sidewalk where a person is highly likely to exist, and if the target object N is a vehicle, there is a possibility that a vehicle exists. The position of the high roadway or the like) is set as the position of interest, and the monitor inputs the operation unit 45, so that it can be arbitrarily set according to the monitoring purpose and the monitoring content.

位置算出部４３ｃｂは、取得部４３ｂが取得した監視カメラ２の撮影範囲Ｌを、監視カメラ２の撮影位置Ｐとの間で挟む目標位置を算出している。目標位置は、監視カメラ２にて撮影された画像上の注目物体Ｎの位置である。この注目物体Ｎの位置は、監視カメラ２の位置情報、撮影方向、画像中における注目物体の位置から算出することができる。尚、目標位置は、監視員が操作部４５を操作して指定した、撮影範囲Ｌの注目位置を撮影位置Ｐと目標位置で挟む位置として算出することもできる。 The position calculation unit 43cb calculates a target position that sandwiches the shooting range L of the monitoring camera 2 acquired by the acquisition unit 43b with the shooting position P of the monitoring camera 2. The target position is the position of the target object N on the image captured by the monitoring camera 2. The position of the target object N can be calculated from the position information of the monitoring camera 2, the shooting direction, and the position of the target object in the image. The target position can also be calculated as a position between the shooting position P and the target position, which is specified by operating the operation unit 45 by the monitor.

飛行装置制御部４３ｄは、角度αと高度Ｈが設定値となるように、飛行装置３からの画像データの飛行装置情報（飛行位置：緯度、経度、高さや撮像部３１ａの撮影方向：水平角度、垂直角度）に基づいて飛行装置３に制御信号を出力し、目標算出部４３ｃの位置算出部４３ｃｂが算出した目標位置まで飛行装置３を移動制御している。また、飛行装置制御部４３ｄは、目標位置において目標算出部４３ｃの方向算出部４３ｃａが算出した対向方向に向けて監視カメラ２の撮影範囲Ｌを含んで撮像部３１ａが撮影するように飛行装置３に制御信号を出力し、飛行装置３又は撮像部３１ａの方向を制御している。 The flying device control unit 43d uses the flying device information of the image data from the flying device 3 (flight position: latitude, longitude, height and shooting direction of the imaging unit 31a: horizontal angle so that the angle α and the altitude H become set values. , A control signal is output to the flying device 3 based on the vertical angle), and the flying device 3 is controlled to move to the target position calculated by the position calculating unit 43cb of the target calculating unit 43c. In addition, the flying device control unit 43d includes the flying device 3 so that the imaging unit 31a captures an image including the imaging range L of the monitoring camera 2 in the opposite direction calculated by the direction calculation unit 43ca of the target calculation unit 43c at the target position. Control signal is output to control the direction of the flying device 3 or the imaging unit 31a.

表示制御部４３ｅは、表示部４６の表示を制御している。具体的には、通常の監視状態において、複数の監視カメラ２から所定時間おきに送信される画像データに含まれる最新の画像を表示部４６に表示している。また、後述する補完画像取得処理では、注目物体Ｎを追跡している監視カメラ２と飛行装置３の両方から送信される最新の画像を表示部４６に表示している。これにより、監視員は、表示部４６に表示された画像をモニタすることにより監視領域の最新状況を把握しながら注目物体Ｎを監視することができる。 The display control unit 43e controls the display on the display unit 46. Specifically, in the normal monitoring state, the latest image included in the image data transmitted from the plurality of monitoring cameras 2 every predetermined time is displayed on the display unit 46. Further, in the complementary image acquisition process described later, the latest image transmitted from both the monitoring camera 2 and the flying device 3 tracking the object of interest N is displayed on the display unit 46. Thereby, the monitor can monitor the object of interest N while grasping the latest state of the monitoring area by monitoring the image displayed on the display unit 46.

記憶部４４は、監視カメラ情報、飛行装置情報、画像データなどの各種情報を記憶している。各種情報について説明すると、監視カメラ情報は、各監視カメラ２に関する情報であって、各監視カメラ２の位置情報（撮影位置Ｐ：緯度、経度、高さ）、撮影方向（水平角度と垂直角度）、撮影範囲Ｌ、焦点距離などの情報が含まれ、動的に変化するものは監視カメラ２から受信する画像データに含まれる情報に基づいて逐次更新される。 The storage unit 44 stores various information such as monitoring camera information, flight device information, and image data. The various types of information will be described. The monitoring camera information is information related to each monitoring camera 2, and includes position information (shooting position P: latitude, longitude, height) and shooting direction (horizontal angle and vertical angle) of each monitoring camera 2. Information such as the shooting range L, focal length, and the like that are dynamically changed are sequentially updated based on information included in image data received from the monitoring camera 2.

なお、移動可能な監視カメラ２においては、位置情報、撮影方向、撮影範囲、焦点距離が変化するため、受信する画像データに含まれる情報に基づいて制御部４３により逐次更新される。具体的には、位置情報と撮影方向、焦点距離は受信した情報をそのまま更新し、撮影範囲は画像データに含まれる位置情報、撮影方向、焦点距離に基づいて算出し、更新する。 In the movable monitoring camera 2, the position information, the shooting direction, the shooting range, and the focal length change, so that the control unit 43 sequentially updates the information based on the information included in the received image data. Specifically, the received information is directly updated for the position information, the shooting direction, and the focal length, and the shooting range is calculated and updated based on the position information, the shooting direction, and the focal length included in the image data.

また、監視領域の所定箇所に固定して設置される監視カメラ２の位置情報に関する情報は、予め記憶部４４に監視カメラ情報の一部として記憶しておくことができる。このような監視カメラ２のうち、パンチルトズーム可能な監視カメラ２については、撮影方向、撮影範囲、焦点距離が変化するため、受信する画像データに含まれる情報に基づいて、上記と同様にして制御部４３により逐次更新される。 In addition, information related to the position information of the monitoring camera 2 that is fixedly installed at a predetermined location in the monitoring area can be stored in advance in the storage unit 44 as a part of the monitoring camera information. Among such surveillance cameras 2, the surveillance camera 2 capable of pan / tilt / zoom is controlled in the same manner as described above based on the information included in the received image data because the photographing direction, the photographing range, and the focal length change. Updated sequentially by the unit 43.

また、記憶部４４には、地上の水平面（仮想水平面Ｅ）と飛行装置３の撮像部３１ａとのなす角度αと、地上の水平面からの飛行装置３の高度Ｈの情報が記憶されている。これら角度αと高度Ｈは、監視員の操作部４５の操作入力により、注目物体Ｎの撮影に適した範囲から選択して設定される。具体的に、角度αは、例えば人物が注目物体Ｎである場合、人物の顔が捉えられる角度範囲（例えば０〜３０°）から選択して設定する。また、高度Ｈは、飛行装置３の高さ制限等の飛行条件に合わせた高度範囲（例えば下限高度３０ｍ〜上限高度１００ｍ）から選択して設定する。 Further, the storage unit 44 stores information on the angle α formed between the ground horizontal plane (virtual horizontal plane E) and the imaging unit 31a of the flying device 3 and the altitude H of the flying device 3 from the ground horizontal plane. The angle α and the altitude H are selected and set from a range suitable for photographing the object of interest N by an operation input from the operation unit 45 of the monitor. Specifically, for example, when the person is the target object N, the angle α is selected and set from an angle range (for example, 0 to 30 °) in which the person's face can be captured. In addition, the altitude H is selected and set from an altitude range (for example, a lower altitude 30 m to an upper altitude 100 m) according to flight conditions such as a height restriction of the flying device 3.

飛行装置情報は、飛行装置３に関する情報であって、飛行装置３の位置情報（飛行位置又は撮影位置：緯度、経度、高さ）、カメラ部３１の撮影方向（水平角度と垂直角度）、撮影範囲、焦点距離などの情報が含まれ、動的に変化するものは飛行装置３から受信する画像データに含まれる情報に基づいて、監視カメラ情報の更新と同様にして制御部４３により逐次更新される。 The flying device information is information related to the flying device 3, and includes position information of the flying device 3 (flight position or shooting position: latitude, longitude, height), shooting direction (horizontal angle and vertical angle) of the camera unit 31, and shooting. Information that includes information such as range and focal length, and that dynamically changes is sequentially updated by the control unit 43 in the same manner as the monitoring camera information is updated based on the information included in the image data received from the flying device 3. The

画像データは、各監視カメラ２や飛行装置３から所定のフレーム周期で所定時間おきに送信されるデータであり、監視カメラ２ごと飛行装置３ごとに記憶部４４に逐次蓄積される。 The image data is data transmitted from the respective monitoring cameras 2 and the flying devices 3 at predetermined frame intervals every predetermined time, and is sequentially stored in the storage unit 44 for each monitoring device 2 and each flying device 3.

操作部４５は、例えばマウス、キーボード、表示部４６の表示画面上のソフトキーなどで構成される。操作部４５は、後述する補完画像取得処理の指示、角度αと高度Ｈの設定、監視カメラ２の撮影範囲Ｌの注目位置の設定、監視カメラ２の画像に基づく注目物体Ｎの追跡の指示、注目物体Ｎの特徴情報の指定、記憶部４４に記憶保存された画像から注目物体Ｎの指定、各監視カメラ２や飛行装置３への指示（撮影指示、飛行指示）、画像データの削除などを行う際に監視員によって操作される。 The operation unit 45 includes, for example, a mouse, a keyboard, and soft keys on the display screen of the display unit 46. The operation unit 45 instructs a complementary image acquisition process, which will be described later, sets an angle α and an altitude H, sets an attention position in the shooting range L of the monitoring camera 2, and instructs the tracking of the object of interest N based on the image of the monitoring camera 2. Specification of feature information of the target object N, specification of the target object N from the image stored and stored in the storage unit 44, instructions to the surveillance cameras 2 and the flying device 3 (shooting instructions, flight instructions), deletion of image data, etc. Operated by a watchman when doing.

表示部４６は、例えば液晶表示器などで構成される。表示部４６は、表示制御部４３ｅの制御により、複数の監視カメラ２や飛行装置３から取得した画像データの表示などを行っている。 The display unit 46 is composed of, for example, a liquid crystal display. The display unit 46 displays image data acquired from the plurality of monitoring cameras 2 and the flying device 3 under the control of the display control unit 43e.

次に、上記のように構成される監視システム１の動作として、注目物体Ｎを追跡する監視カメラ２からの画像を補完する画像を取得するために飛行装置３を移動制御する補完画像取得処理について図２及び図３を参照しながら説明する。 Next, as an operation of the monitoring system 1 configured as described above, a complementary image acquisition process for moving and controlling the flying device 3 to acquire an image that complements the image from the monitoring camera 2 that tracks the object of interest N. This will be described with reference to FIGS.

通常は、地上から撮影した複数の監視カメラ２からの画像データに基づいて注目物体Ｎを検出して追跡を行っている。ここで、ある監視カメラ２が注目物体Ｎを追跡している際に、監視員が操作部４５を操作して補完画像取得処理の指示がなされると、飛行装置３を移動制御して撮像部３１ａにて撮影を行う補完画像取得処理が実行される。 Normally, the object of interest N is detected and tracked based on image data from a plurality of surveillance cameras 2 taken from the ground. Here, when a monitoring camera 2 is tracking the object of interest N and the supervisor operates the operation unit 45 and gives an instruction for a complementary image acquisition process, the flying device 3 is controlled to move and the imaging unit is controlled. A complementary image acquisition process is performed in which shooting is performed at 31a.

補完画像取得処理において、取得部４３ｂは、記憶部４４に記憶された監視カメラ情報から監視カメラ２の撮影位置Ｐ（緯度、経度、高さ）、撮影方向（水平角度と垂直角度）及び撮影範囲Ｌに関する情報を取得する。 In the complementary image acquisition process, the acquisition unit 43b acquires the shooting position P (latitude, longitude, height), shooting direction (horizontal angle and vertical angle), and shooting range of the monitoring camera 2 from the monitoring camera information stored in the storage unit 44. Get information about L.

なお、監視カメラ２の撮影位置Ｐ（緯度、経度、高さ）、撮影方向（水平角度と垂直角度）及び撮影範囲Ｌに関する情報は、監視カメラ２から通信部４１を介して受信した画像データに含まれる情報から取得することもできる。 Information regarding the shooting position P (latitude, longitude, height), shooting direction (horizontal angle and vertical angle), and shooting range L of the monitoring camera 2 is stored in the image data received from the monitoring camera 2 via the communication unit 41. It can also be obtained from the included information.

続いて、目標算出部４３ｃは、取得部４３ｂが取得した監視カメラ２の撮影方向から、監視カメラ位置から注目物体Ｎまでの方向を撮影方向Ｄ１として算出する。そして、取得した監視カメラ２の撮影位置Ｐ（緯度、経度、高さ）、撮影方向Ｄ１（水平角度と垂直角度）を元に、飛行装置３を移動制御するための目標の方向と位置を算出する。この目標算出部４３ｃにおいて、方向算出部４３ｃａが算出する対向方向と位置算出部４３ｃｂが算出する目標位置について説明する。 Subsequently, the target calculation unit 43c calculates the direction from the monitoring camera position to the object of interest N as the shooting direction D1 from the shooting direction of the monitoring camera 2 acquired by the acquisition unit 43b. Then, based on the acquired shooting position P (latitude, longitude, height) of the monitoring camera 2 and the shooting direction D1 (horizontal angle and vertical angle), the direction and position of the target for controlling the movement of the flying device 3 are calculated. To do. In the target calculation unit 43c, the facing direction calculated by the direction calculation unit 43ca and the target position calculated by the position calculation unit 43cb will be described.

図２は地上の水平面を仮想水平面Ｅとし、仮想水平面Ｅを側面から見たときの注目物体Ｎと監視カメラ２と飛行装置３との位置関係を示す図である。また、図３は上空から地上を鉛直方向に見たときの仮想水平面Ｅ上における注目物体Ｎと監視カメラ２と飛行装置３との位置関係を示す図である。 FIG. 2 is a diagram illustrating a positional relationship among the object of interest N, the monitoring camera 2, and the flying device 3 when the ground horizontal plane is a virtual horizontal plane E and the virtual horizontal plane E is viewed from the side. FIG. 3 is a diagram showing the positional relationship among the object of interest N, the monitoring camera 2 and the flying device 3 on the virtual horizontal plane E when the ground is viewed from above in the vertical direction.

図２において、注目物体Ｎを追跡する監視カメラ２から飛行装置３の撮像部３１ａまでの仮想水平面Ｅ上の撮影距離（直線距離）をＷ、監視カメラ２と注目物体Ｎとの間の仮想水平面Ｅ上の直線距離をａ、飛行装置３と注目物体Ｎとの間の仮想水平面Ｅ上の直線距離をｂ、注目物体Ｎと飛行装置３の撮像部３１ａとを結ぶ直線と仮想水平面Ｅとのなす角度をα、仮想水平面Ｅからの飛行装置３の高度をＨとすると、仮想水平面Ｅ上の撮影距離Ｗは、Ｗ＝ａ＋ｂ、Ｗ＝ａ＋（Ｈ／ｔａｎα）で表すことができる。 In FIG. 2, the imaging distance (straight line distance) on the virtual horizontal plane E from the monitoring camera 2 that tracks the target object N to the imaging unit 31a of the flying device 3 is W, and the virtual horizontal plane between the monitoring camera 2 and the target object N The straight line distance on E is a, the straight line distance on the virtual horizontal plane E between the flying device 3 and the object of interest N is b, the straight line connecting the object of interest N and the imaging unit 31a of the flying device 3 and the virtual horizontal surface E If the angle formed is α and the altitude of the flying device 3 from the virtual horizontal plane E is H, the shooting distance W on the virtual horizontal plane E can be expressed as W = a + b, W = a + (H / tan α).

そして、図２の仮想水平面Ｅ上の監視カメラ２と注目物体Ｎとの間の直線距離ａは、取得部４３ｂが取得した監視カメラ情報の位置情報と撮影方向と画像中における注目物体Ｎの位置から算出することができる。また、注目物体Ｎと飛行装置３の撮像部３１ａとを結ぶ直線と仮想水平面Ｅとのなす角度αと、仮想水平面Ｅからの飛行装置３の高度Ｈは、監視員の操作部４５の操作により予め設定される。従って、撮影距離Ｗを一意に定めることができる。 The linear distance a between the monitoring camera 2 and the target object N on the virtual horizontal plane E in FIG. 2 is the position information of the monitoring camera information acquired by the acquisition unit 43b, the shooting direction, and the position of the target object N in the image. It can be calculated from In addition, the angle α between the straight line connecting the object of interest N and the imaging unit 31 a of the flying device 3 and the virtual horizontal plane E, and the altitude H of the flying device 3 from the virtual horizontal plane E are determined by the operation of the operation unit 45 of the observer. It is set in advance. Accordingly, the shooting distance W can be uniquely determined.

今、図３に示すように、注目物体Ｎを追跡する監視カメラ２の撮影位置Ｐを原点（０，０）としたときの基準方位（北）と注目物体Ｎとのなす角度をφとすると、飛行装置３の移動位置（目標位置）は図３における座標（Ｗｓｉｎφ，Ｗｃｏｓφ）、撮影方向はφ＋１８０°として算出することができる。 Now, as shown in FIG. 3, if the angle between the reference azimuth (north) and the target object N when the photographing position P of the monitoring camera 2 that tracks the target object N is the origin (0, 0) and the target object N is φ, The moving position (target position) of the flying device 3 can be calculated as the coordinates (Wsin φ, W cos φ) in FIG. 3, and the shooting direction can be calculated as φ + 180 °.

これにより、飛行装置制御部４３ｄは、飛行装置３を座標（Ｗｓｉｎφ，Ｗｃｏｓφ）の移動位置まで移動制御し、飛行装置３又は撮像部３１ａの撮影方向をφ＋１８０°に撮影制御する。この飛行装置３の移動制御にあたっては、設定された角度αと高度Ｈになるように、飛行装置３から所定フレーム周期で所定時間おきに送信される画像データに含まれる飛行装置情報の飛行位置（緯度、経度、高さ）や撮像部３１ａの撮影方向（水平角度、垂直角度）に基づいて飛行装置３の飛行状態を制御する。ここで、角度αと高度Ｈの制御は、例えば、注目物体Ｎを撮影する角度を優先する場合、角度αが設定値に近づくようにまず移動制御し、それから角度αが設定値となった後に高度Ｈが設定値に近づくように移動制御してもよいし、飛行装置３が飛行する高度を優先する場合は、高度Ｈが設定値に近づくようにまず移動制御し、高度Ｈが設定値となった後に角度αが設定値に近づくように移動制御してもよい。 Thus, the flying device control unit 43d controls the movement of the flying device 3 to the movement position of the coordinates (Wsin φ, W cos φ), and controls the shooting direction of the flying device 3 or the imaging unit 31a to φ + 180 °. In the movement control of the flying device 3, the flying position of the flying device information included in the image data transmitted from the flying device 3 every predetermined time with a predetermined frame period so that the set angle α and altitude H are obtained ( The flight state of the flying device 3 is controlled based on the latitude, longitude, and height) and the shooting direction (horizontal angle and vertical angle) of the imaging unit 31a. Here, in the control of the angle α and the altitude H, for example, when priority is given to the angle at which the object of interest N is captured, the movement control is first performed so that the angle α approaches the set value, and then the angle α becomes the set value. The movement control may be performed so that the altitude H approaches the set value. When priority is given to the altitude at which the flying device 3 flies, the movement control is first performed so that the altitude H approaches the set value. After that, the movement control may be performed so that the angle α approaches the set value.

飛行装置３が目標位置に到着すると、監視カメラ２と対向する反対位置から監視カメラ２の撮影範囲Ｌを含む撮影範囲で撮像部３１ａが撮影する。この撮像部３１ａが撮影する画像は、監視カメラ２からは把握できない情報を多く含んだ画像である。そして、飛行装置３は、撮像部３１ａが撮影した画像を所定フレーム周期で所定時間おきにセンタ装置４に送信する。センタ装置４は、監視カメラ２からは把握できない情報を含んだ飛行装置３からの画像を受信し、監視カメラ２からの画像とともに表示部４６に表示する。これにより、監視員は、監視カメラ２からの画像だけでなく、監視カメラ２からは把握できない情報を含んだ飛行装置３からの画像をモニタし、監視領域の状況を把握しながら注目物体Ｎの監視を行うことができる。 When the flying device 3 arrives at the target position, the imaging unit 31a captures an image in the imaging range including the imaging range L of the monitoring camera 2 from the opposite position facing the monitoring camera 2. The image captured by the imaging unit 31a is an image including a lot of information that cannot be grasped from the monitoring camera 2. Then, the flying device 3 transmits the image captured by the imaging unit 31a to the center device 4 at a predetermined frame period and every predetermined time. The center device 4 receives an image from the flying device 3 including information that cannot be grasped from the monitoring camera 2, and displays it on the display unit 46 together with the image from the monitoring camera 2. As a result, the monitoring person monitors not only the image from the monitoring camera 2 but also the image from the flying device 3 including information that cannot be grasped from the monitoring camera 2, and grasps the situation of the monitoring area while grasping the situation of the monitoring area. Monitoring can be performed.

なお、上述した実施の形態においては、位置算出部４３ｃｂが算出する目標位置は、図３の座標上で示した位置そのものとして説明したが、この位置を中心とした誤差範囲を設け、この誤差範囲を目標位置としてよい。 In the above-described embodiment, the target position calculated by the position calculation unit 43cb has been described as the position shown on the coordinates in FIG. 3, but an error range centered on this position is provided. May be the target position.

以上説明したように、上述した実施の形態による監視システム１によれば、以下に示す効果を奏する。 As described above, the monitoring system 1 according to the above-described embodiment has the following effects.

監視員による操作部４５の操作により補完画像取得処理の指示があると、監視カメラ２の撮影位置Ｐ、撮影方向及び撮影範囲Ｌに関する情報を取得部４３ｂが取得し、監視カメラ２の撮影方向Ｄ１と対向する対向方向Ｄ２と、監視カメラ２の注目物***置Ｎを撮影位置Ｐとの間で挟む目標位置とを目標算出部４３ｃが算出し、目標位置に飛行装置３を移動させて監視カメラ２と対向する方向に撮像部３１ａを向け、監視カメラ２の撮影範囲Ｌを含んで撮影するように飛行装置制御部４３ｄが飛行装置３を制御する。かかる構成により、上空から平面視した仮想水平面Ｅ上において、監視カメラ２が撮影している撮影方向Ｄ１と対向する方向Ｄ２から飛行装置３の撮像部３１ａが監視カメラ２の撮影範囲Ｌを含んで撮影するように飛行装置３が移動制御され、監視領域の状況を把握するのに適した画像として、監視カメラ２の画像からは把握できない情報を多く含んだ画像（監視カメラ２と対向して注目物体Ｎを反対側から撮影した画像）を得ることができる。 When a supplementary image acquisition process is instructed by the operation of the operation unit 45 by the monitor, the acquisition unit 43b acquires information regarding the shooting position P, the shooting direction, and the shooting range L of the monitoring camera 2, and the shooting direction D1 of the monitoring camera 2 The target calculation unit 43c calculates a facing direction D2 opposite to the target position and a target position that sandwiches the target object position N of the monitoring camera 2 between the photographing position P, and moves the flying device 3 to the target position to monitor the monitoring camera 2. The flying device control unit 43d controls the flying device 3 so that the imaging unit 31a is directed in a direction opposite to and the shooting range L of the monitoring camera 2 is captured. With this configuration, the imaging unit 31a of the flying device 3 includes the imaging range L of the monitoring camera 2 from the direction D2 facing the imaging direction D1 captured by the monitoring camera 2 on the virtual horizontal plane E as viewed from above. An image containing a lot of information that cannot be grasped from the image of the surveillance camera 2 as an image suitable for grasping the situation of the surveillance area as the flying device 3 is controlled so as to take a picture (attention to face the surveillance camera 2) An image obtained by photographing the object N from the opposite side) can be obtained.

監視カメラ２の撮影位置Ｐから監視カメラ２にて撮影された画像上の注目物体Ｎの位置に向かう方向を監視カメラ２の撮影方向とすれば、注目物体Ｎに対して監視カメラ２と対向する反対位置から注目物体Ｎの画像を補完して撮影することができる。例えば注目物体Ｎが人物である場合、監視カメラ２が人物を正面から撮影していれば、飛行装置３の撮像部３１ａは人物を背面から撮影するので、人物を異なる方向から撮影した画像を取得することができる。また、監視カメラ２の画角の中央の方向を監視カメラ２の撮影方向とすれば、監視カメラ２の撮影範囲全体を考慮して対向する反対位置から、監視カメラ２の画角の中央の画像を補完した画像を撮影することができる。さらに、監視カメラ２の撮影位置Ｐから撮影範囲Ｌの注目位置に向かう方向を監視カメラ２の撮影方向とすれば、監視カメラ２の画像上で重要視する注目位置の画像を補完した画像を撮影することができる。 If the direction from the shooting position P of the monitoring camera 2 toward the position of the target object N on the image captured by the monitoring camera 2 is the shooting direction of the monitoring camera 2, the target camera N faces the target camera N. The image of the object of interest N can be complemented and photographed from the opposite position. For example, when the object of interest N is a person, if the monitoring camera 2 captures the person from the front, the imaging unit 31a of the flying device 3 captures the person from the back, and thus acquires images obtained by capturing the person from different directions. can do. Further, if the central direction of the angle of view of the monitoring camera 2 is the shooting direction of the monitoring camera 2, an image at the center of the angle of view of the monitoring camera 2 from the opposite position in consideration of the entire shooting range of the monitoring camera 2. Can be captured. Furthermore, if the direction from the shooting position P of the monitoring camera 2 to the target position in the shooting range L is the shooting direction of the monitoring camera 2, an image that complements the image of the target position regarded as important on the image of the monitoring camera 2 is shot. can do.

監視カメラ２にて撮影された画像上の注目物体Ｎの位置を撮影位置Ｐと目標位置とで挟むように目標位置を算出すれば、監視カメラ２の画像からは把握できない情報として、注目物体Ｎ（例えば人物や車両など）に関する情報を多く含んだ画像を得ることができる。また、監視カメラ２の撮影範囲Ｌの注目位置を撮影位置Ｐと目標位置とで挟むように目標位置を算出すれば、監視カメラ２からは把握できない情報として、例えば注目物体Ｎが存在する可能性の高い注目位置（例えば、注目物体Ｎが人物であれば人物が存在する可能性の高い歩道の位置、注目物体Ｎが車両であれば車両が存在する可能性の高い車道の位置など）に関する情報を多く含んだ画像を得ることができる。 If the target position is calculated such that the position of the target object N on the image captured by the monitoring camera 2 is sandwiched between the shooting position P and the target position, the target object N is obtained as information that cannot be grasped from the image of the monitoring camera 2. It is possible to obtain an image including a lot of information relating to (for example, a person or a vehicle). Further, if the target position is calculated so that the target position in the shooting range L of the monitoring camera 2 is sandwiched between the shooting position P and the target position, for example, the target object N may exist as information that cannot be grasped from the monitoring camera 2. Information with high attention position (for example, the position of a sidewalk where a person is likely to exist if the object of interest N is a person, the position of a roadway where the vehicle is likely to exist if the object of attention N is a vehicle, etc.) Can be obtained.

このように、本実施の形態に係る監視システムによれば、監視カメラ２と飛行装置３とを連携させ、監視カメラ２からの画像と合わせて、監視カメラ２の画像からでは把握できない情報を多く含んだ画像を飛行装置３から取得し、これらの画像から監視領域の状況を把握して監視を行うことができる。 As described above, according to the monitoring system according to the present embodiment, the monitoring camera 2 and the flying device 3 are linked together, and together with the image from the monitoring camera 2, a lot of information that cannot be grasped from the image of the monitoring camera 2 is obtained. The included images can be acquired from the flying device 3, and the status of the monitoring area can be grasped from these images and monitored.

以上、本発明に係る監視システムの最良の形態について説明したが、この形態による記述及び図面により本発明が限定されることはない。すなわち、この形態に基づいて当業者等によりなされる他の形態、実施例及び運用技術などはすべて本発明の範疇に含まれることは勿論である。 The best mode of the monitoring system according to the present invention has been described above, but the present invention is not limited by the description and drawings according to this mode. That is, it is a matter of course that all other forms, examples, operation techniques, and the like made by those skilled in the art based on this form are included in the scope of the present invention.

１監視システム
２監視カメラ
３飛行装置
４センタ装置（追跡処理装置）
２１カメラ部
２２制御部
２３通信部
３１カメラ部
３２推進部
３３方向舵
３４測位部
３５姿勢検出部
３６制御部
３７無線通信部
４１通信部
４２無線通信部
４３制御部
４３ａ注目物体検出部
４３ｂ取得部
４３ｃ目標算出部
４３ｃａ方向算出部
４３ｃｂ位置算出部
４４記憶部
４５操作部
４６表示部
Ｄ１監視カメラの撮影方向
Ｄ２飛行装置の撮像部の撮影方向
Ｅ仮想水平面
Ｌ監視カメラの撮影範囲
Ｎ注目物体
Ｐ撮影位置 DESCRIPTION OF SYMBOLS 1 Surveillance system 2 Surveillance camera 3 Flight apparatus 4 Center apparatus (tracking processing apparatus)
DESCRIPTION OF SYMBOLS 21 Camera part 22 Control part 23 Communication part 31 Camera part 32 Propulsion part 33 Rudder 34 Positioning part 35 Posture detection part 36 Control part 37 Wireless communication part 41 Communication part 42 Wireless communication part 43 Control part 43a Attention object detection part 43b Acquisition part 43c Target calculation unit 43ca Direction calculation unit 43cb Position calculation unit 44 Storage unit 45 Operation unit 46 Display unit D1 Shooting direction of the surveillance camera D2 Shooting direction of the imaging unit of the flying device E Virtual horizontal plane L Shooting range of the monitoring camera N Target object P Shooting position

Claims

地上から撮影する監視カメラと、上空から撮影する撮像部を有する飛行装置とを備えた監視システムであって、
前記監視カメラの撮影方向と水平面上において対向する対向方向を算出する方向算出部と、
前記監視カメラの撮影範囲を当該監視カメラの撮影位置とで挟み、前記対向方向にて当該撮影範囲を撮影可能な位置を目標位置として算出する位置算出部と、
前記目標位置に前記飛行装置を移動させて前記対向方向に前記撮像部を向けて前記撮影範囲を撮影するように制御する飛行装置制御部と、
を備えたことを特徴とする監視システム。 A surveillance system comprising a surveillance camera for photographing from the ground and a flying device having an imaging unit for photographing from the sky,
A direction calculation unit that calculates a facing direction opposite to the shooting direction of the monitoring camera on a horizontal plane;
A position calculation unit for calculating viewed clamping the shooting range of the surveillance camera at the photographing position of the monitoring cameras, a photographable position the imaging range in the opposite direction as the target position,
A flying device control unit that controls to move the flying device to the target position and direct the imaging unit in the facing direction to capture the imaging range;
A monitoring system characterized by comprising:

前記撮影方向は、前記撮影位置から前記監視カメラにて撮影された画像上の注目物体の位置に向かう方向、前記監視カメラの画角の中央の方向、又は、前記撮影位置から前記撮影範囲の注目位置に向かう方向とする請求項１に記載の監視システム。 The shooting direction is a direction from the shooting position to a position of an object of interest on an image shot by the monitoring camera, a direction in the center of the angle of view of the monitoring camera, or an attention of the shooting range from the shooting position. The monitoring system according to claim 1, wherein the monitoring system is in a direction toward the position.

前記目標位置は、前記監視カメラにて撮影された画像上の注目物体の位置、又は、前記撮影範囲の注目位置を、前記撮影位置で挟む位置とする請求項１又は２に記載の監視システム。 The monitoring system according to claim 1, wherein the target position is a position where the position of the object of interest on the image captured by the monitoring camera or the position of interest in the imaging range is sandwiched between the imaging positions.