JP2016118995A - Monitoring system - Google Patents
Monitoring system Download PDFInfo
- Publication number
- JP2016118995A JP2016118995A JP2014259398A JP2014259398A JP2016118995A JP 2016118995 A JP2016118995 A JP 2016118995A JP 2014259398 A JP2014259398 A JP 2014259398A JP 2014259398 A JP2014259398 A JP 2014259398A JP 2016118995 A JP2016118995 A JP 2016118995A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- range
- angle
- monitoring
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 233
- 238000003384 imaging method Methods 0.000 claims description 122
- 238000004891 communication Methods 0.000 description 33
- 238000000034 method Methods 0.000 description 16
- 230000000295 complement effect Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000001141 propulsive effect Effects 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
Description
本発明は、例えば人物、車両などの移動体を監視する監視システムに関する。 The present invention relates to a monitoring system for monitoring a moving object such as a person or a vehicle.
人物、車両などの移動体を監視するシステムとしては、例えば下記特許文献１に開示されるものが知られている。この特許文献１では、システム全体にわたる移動体の追跡及び複数のビデオカメラ毎に分散された情報の統括的管理を効率よく行うことを目的として、複数ビデオカメラ毎に分散的に人物追跡するカメラ内追跡手段と、追跡を行うメイン追跡要素と移動体の特徴量をメイン追跡要素に供給するサブ追跡要素とからなり複数のカメラ内追跡手段間で連携して移動体を追跡するカメラ間追跡手段と、複数のカメラ内追跡手段に亙り移動体を探索する移動体探索手段とを具え、監視領域に分散配置された複数のビデオカメラを連携動作させている。
As a system for monitoring a moving body such as a person or a vehicle, for example, a system disclosed in
上述した特許文献１に開示されるシステムでは、複数のビデオカメラが監視領域に分散配置され、各々のビデオカメラが撮影範囲を固定的に撮影する構成なので、ある一つのビデオカメラの撮影範囲について得られる情報としてはそのビデオカメラの撮影方向から撮影した画像情報のみとなる。このため、例えば、そのビデオカメラの撮影方向から死角となる領域については状況を把握することができない。また、ある一つのビデオカメラの画像上に映った対象についてそのカメラの画像情報以外の情報を得ることはできない。上述した特許文献１に開示されるシステムでは、ビデオカメラの撮影範囲が一部重複するように設置することが示されているが、ビデオカメラの撮影範囲が固定的である以上、重複して得られた複数の画像が、お互いに、監視領域の状況を的確に把握するのに補完し合えるような関係になるとは限らない。このため、監視領域の状況を把握するのに適した他の画像を必ずしも得ることができなかった。
In the system disclosed in
そこで、本発明は上記問題点に鑑みてなされたものであり、監視領域において撮影された画像を補完し、その画像中の状況を把握するのに適した他の画像を得ることができる監視システムを提供することを目的とするものである。 Therefore, the present invention has been made in view of the above problems, and a monitoring system capable of complementing an image captured in a monitoring region and obtaining another image suitable for grasping the situation in the image. Is intended to provide.
上記した目的を達成するために、本発明に係る監視システムは、地上から撮影する監視カメラと、上空から撮影する撮像部を有する飛行装置とを備えた監視システムであって、
前記監視カメラの撮影俯仰角と異なる俯仰角にて当該監視カメラの撮影範囲を撮影できる目標位置を算出する目標算出部と、
前記目標位置に前記飛行装置を移動させて前記監視カメラの撮影範囲を撮影するように前記撮像部を制御する飛行装置制御部と、
を備えたことを特徴とする。
In order to achieve the above object, a monitoring system according to the present invention is a monitoring system including a monitoring camera that captures images from the ground and a flying device that includes an imaging unit that captures images from above.
A target calculation unit that calculates a target position at which the imaging range of the monitoring camera can be imaged at an elevation angle different from the imaging elevation angle of the monitoring camera;
A flying device control unit that controls the imaging unit to move the flying device to the target position and shoot a shooting range of the monitoring camera;
It is provided with.
また、本発明に係る監視システムは、第１の角度範囲を記憶する記憶部を備え、
前記目標算出部は、
前記監視カメラの撮影俯仰角が前記第１の角度範囲か否かを判定する判定部と、
前記判定部にて前記第１の角度範囲でないと判定した場合には前記第１の角度範囲となる俯仰角にて前記監視カメラの撮影範囲を撮影できる目標位置を算出し、前記判定部にて前記第１の角度範囲であると判定した場合には前記第１の角度範囲と異なる俯仰角にて前記監視カメラの撮影範囲を撮影できる目標位置を算出する算出部と、
を備えてもよい。
Moreover, the monitoring system according to the present invention includes a storage unit that stores the first angle range,
The target calculation unit
A determination unit for determining whether or not a shooting elevation angle of the monitoring camera is in the first angle range;
When the determination unit determines that the range is not the first angle range, a target position at which the imaging range of the monitoring camera can be captured at the elevation angle that is the first angle range is calculated. A calculation unit that calculates a target position at which the imaging range of the monitoring camera can be imaged at an elevation angle different from the first angle range when it is determined that the range is the first angle range;
May be provided.
さらに、本発明に係る監視システムは、前記記憶部は、前記第１の角度範囲とは所定角度範囲離れた第２の角度範囲を記憶し、
前記算出部は、前記判定部にて前記第１の角度範囲であると判定した場合には前記第２の角度範囲となる俯仰角にて前記監視カメラの撮影範囲を撮影できる目標位置を算出してもよい。
Furthermore, in the monitoring system according to the present invention, the storage unit stores a second angle range that is separated from the first angle range by a predetermined angle range,
The calculation unit calculates a target position at which the imaging range of the monitoring camera can be imaged at an elevation angle that is the second angle range when the determination unit determines that the range is the first angle range. May be.
また、本発明に係る監視システムは、前記第１の角度範囲を０度から第１の所定角度（ただし、０度＜第１の所定角度＜４５度）までに含まれる範囲としたときには前記第２の角度範囲を第２の所定角度（ただし、４５度＜第２の所定角度＜９０度）から９０度までに含まれる範囲とし、
又は、前記第１の角度範囲を前記第２の所定角度から９０度までに含まれる範囲としたときには第２の所定角度を０度から前記第１の所定角度に含まれる範囲としてもよい。
In the monitoring system according to the present invention, when the first angle range is a range included from 0 degree to a first predetermined angle (where 0 degree <first predetermined angle <45 degrees), An angle range of 2 is a range included from the second predetermined angle (where 45 degrees <second predetermined angle <90 degrees) to 90 degrees,
Alternatively, when the first angle range is a range included from the second predetermined angle to 90 degrees, the second predetermined angle may be a range included from 0 degrees to the first predetermined angle.
本発明の監視システムによれば、監視カメラの撮影俯仰角とは異なる俯仰角にて監視カメラの撮影範囲を撮影できる位置に飛行装置が移動して撮像部にて撮影するように作用する。これにより、監視カメラの撮影俯仰角とは異なる俯仰角にて撮影した画像を取得でき、この飛行装置の撮像部が撮影した画像と監視カメラが撮影した画像とから監視領域の状況を把握するのに適した画像が得られ、監視カメラの撮影範囲の状況についてより多くの情報を得ることができる。 According to the monitoring system of the present invention, the flying device moves to a position where the imaging range of the surveillance camera can be imaged at an elevation angle different from the imaging elevation angle of the surveillance camera, and acts as an imaging unit. As a result, an image taken at an elevation angle different from the elevation angle of the surveillance camera can be acquired, and the situation of the surveillance area can be grasped from the image taken by the imaging unit of the flying device and the image taken by the surveillance camera. An image suitable for the camera is obtained, and more information can be obtained about the situation of the imaging range of the surveillance camera.
また、本発明の監視システムによれば、監視カメラの撮影俯仰角が第１の角度範囲でない場合、飛行装置は第１の角度範囲から監視カメラの撮影範囲を撮影できる目標位置に移動して撮像部にて撮影するように作用する。これに対し、監視カメラの撮影俯仰角が第１の角度範囲である場合、飛行装置は第１の角度範囲とは異なる俯仰角にて監視カメラの撮影範囲を撮影できる目標位置に移動して撮像部にて撮影するように作用する。これにより、監視に際して必要となる撮影俯仰角などを第１の角度範囲として記憶しておけば、必要となる撮影俯仰角の画像を必ず得られるとともに、それとは異なる俯仰角にて撮影した画像も得ることができる。 Further, according to the monitoring system of the present invention, when the imaging elevation angle of the surveillance camera is not the first angle range, the flying device moves from the first angle range to a target position where the imaging range of the surveillance camera can be imaged. It works to shoot at the part. On the other hand, when the imaging elevation angle of the surveillance camera is in the first angle range, the flying device moves to the target position where the imaging range of the surveillance camera can be imaged at an elevation angle different from the first angle range. It works to shoot at the part. Thus, if the imaging elevation angle required for monitoring is stored as the first angle range, an image of the required imaging elevation angle can be obtained without fail, and images taken at different elevation angles can also be obtained. Can be obtained.
さらに、本発明の監視システムによれば、監視カメラの撮影俯仰角が第１の角度範囲である場合、飛行装置は第１の角度範囲とは所定角度範囲離れた第２の角度範囲にて監視カメラの撮影範囲を撮影できる目標位置に移動して撮像部にて撮影するように作用する。これにより、第１の角度範囲の次に取得することが望ましい俯仰角を第２の角度範囲として記憶しておけば、必要となる撮影俯仰角の画像を必ず得られるとともに、その次に取得しておくべき俯仰角にて撮影された画像も得ることができる。 Furthermore, according to the monitoring system of the present invention, when the photographing elevation angle of the monitoring camera is in the first angle range, the flying device monitors in the second angle range that is separated from the first angle range by a predetermined angle range. It moves to the target position where the photographing range of the camera can be photographed, and acts to photograph with the imaging unit. As a result, if the elevation angle desired to be acquired next to the first angle range is stored as the second angle range, an image of the required imaging elevation angle can be obtained without fail, and then acquired. It is also possible to obtain an image taken at an elevation angle that should be kept.
また、本発明の監視システムによれば、監視カメラにて撮影俯仰角が水平方向に近い画像が得られている場合には、飛行装置は撮影俯仰角が鉛直方向に近い画像が得られる目標位置に移動して撮像部にて監視カメラの撮影範囲を撮影するように作用する。また、監視カメラにて撮影俯仰角が鉛直方向に近い画像が得られている場合には、飛行装置は撮影俯仰角が水平方向に近い画像が得られる目標位置に移動して撮像部にて監視カメラの撮影範囲を撮影するように作用する。これにより、水平方向に近い方向から把握できる情報と鉛直方向に近い方向から把握できる情報との双方の情報を得ることができる。 Further, according to the monitoring system of the present invention, when an image with a shooting elevation angle close to the horizontal direction is obtained by the monitoring camera, the flying device can obtain a target position at which an image with a shooting elevation angle close to the vertical direction can be obtained. It moves so that the imaging range of the surveillance camera may be captured by the imaging unit. In addition, when an image with a shooting elevation angle close to the vertical direction is obtained by the monitoring camera, the flying device moves to a target position where an image with an imaging elevation angle close to the horizontal direction is obtained and is monitored by the imaging unit. Acts as if shooting the shooting range of the camera. Thereby, both information that can be grasped from a direction close to the horizontal direction and information that can be grasped from a direction close to the vertical direction can be obtained.
以下、本発明を実施するための形態について、添付した図面の図１〜５を参照しながら詳細に説明する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to FIGS. 1 to 5 of the accompanying drawings.
図１に示すように、本発明に係る監視システム１は、監視カメラ２、飛行装置３、追跡処理装置としてのセンタ装置４を備えて構築される。
As shown in FIG. 1, a
（監視カメラの構成について）
監視カメラ２は、地上から所定の撮影範囲を撮影する。監視カメラ２は、図１に示すように、カメラ部２１、制御部２２、通信部２３を備えている。
(About surveillance camera configuration)
The
カメラ部２１は、所定の撮影範囲を撮影する本体をなし、撮像部２１ａ、方向制御部２１ｂ、画像データ生成部２１ｃを有している。
The
撮像部２１ａは、例えばＣＣＤ素子やＣ−ＭＯＳ素子などの撮像素子や光学部品などを含んで構成される。撮像部２１ａは、監視領域内の所定の撮影範囲を所定時間おきに撮像し、撮像した画像を画像データ生成部２１ｃに順次出力している。
The
尚、撮像部２１ａは、監視カメラ２がパンチルトズームカメラとして構成される場合、センタ装置４からの制御信号の撮影指示に基づく制御部２２の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部２１ｃに出力される。
Note that when the
方向制御部２１ｂは、監視カメラ２がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置４からの制御信号の撮影指示に基づく制御部２２の制御により、水平方向及び垂直方向の角度が制御される。この水平方向の角度情報、及び俯角又は仰角（俯仰角）としての垂直方向の角度情報は、予め設定された監視カメラ２の撮影方向（水平方向の角度情報及び俯仰角）からの変位角度であり、画像データ生成部２１ｃに出力される。
The
画像データ生成部２１ｃは、撮像部２１ａが撮像した画像に対し、必要に応じて焦点距離や撮影方向を付加した画像データを生成する。また、後述の測位部３４にて取得した撮影時における位置情報を必要に応じて付加した画像データを生成する。なお、監視カメラ２がパンチルトズームカメラとして構成される場合には、予め設定された監視カメラ２の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。
The image
制御部２２は、カメラ部２１の画像データ生成部２１ｃが生成した画像データを所定のフレーム周期で所定時間おきに通信部２３を介してセンタ装置４に送信制御する。また、制御部２２は、センタ装置４からの制御信号を通信部２３を介して受信したときに、この制御信号の撮影指示に従ってカメラ部２１の撮像部２１ａや方向制御部２１ｂを制御する。
The
通信部２３は、有線又は無線により通信を行うための通信インタフェースであり、制御部２２の制御により、通信回線を介してセンタ装置４との間で有線又は無線により通信し、データや信号の送受信を行う。具体的には、画像データ生成部２１ｃが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置４に送信する。また、撮像部２１ａや方向制御部２１ｂを制御するためのセンタ装置４からの制御信号を受信する。
The
尚、監視カメラ２は、図２に示すように、監視領域の所定箇所に固定して複数設置されるものに限定されない。例えば各種車両に搭載した車載用カメラ、撮像部を有する小型移動飛行ロボットやドローンなどのように監視領域を移動できるものであってもよい。また、監視カメラ２が監視領域内を移動できる場合には、少なくとも１つの監視カメラ２が設けられた構成であってもよい。そして、監視カメラ２が監視領域を移動する場合には、撮影時における監視カメラ２の位置情報が移動に伴って変化するため、ＧＰＳからなる測位部を監視カメラ２に備え、地球上での監視カメラ２の３次元的位置（現在位置）を示す位置情報（緯度、経度、高さ）を画像データ生成部２１ｃに出力する。また、監視カメラ２が監視領域を移動する場合は、撮影時における監視カメラ２の撮影方向も移動による姿勢変動によって変化するため、後述する姿勢検出部３５と同様の構成を備え、画像データ生成部２１ｃは、これにより得られた姿勢情報により撮影方向を補正する。そして、画像データ生成部２１ｃからは、監視カメラ２の撮影時における位置情報及び撮影時における監視カメラ２の撮影方向も付加した画像データがセンタ装置４に送信される。
As shown in FIG. 2, the
（飛行装置の構成について）
飛行装置３は、センタ装置４からの制御信号の指示によって移動制御が可能な移動型飛行装置、すなわち、移動型飛行船、小型移動飛行ロボットやドローン、人工衛星などである。又は電源供給及び通信可能な状態で本体がケーブルを介して地上の係留装置と繋がれた係留型飛行装置（例えば係留型飛行船など）であってもよい。さらに、これらの組合せによって構成してもよい。
(About the configuration of the flying device)
The flying
尚、飛行装置３が係留型飛行装置の場合には、監視カメラ２で撮影できない死角領域を包含するように、監視領域の規模に合わせた数だけ設けるのが好ましい。
When the flying
飛行装置３は、図１に示すように、カメラ部３１、推進部３２、方向舵３３、測位部３４、姿勢検出部３５、制御部３６、無線通信部３７を備えている。
As shown in FIG. 1, the flying
カメラ部３１は、飛行装置３の本体に搭載され、主に、上空から監視カメラ２よりも広い撮影範囲で撮影を行っている。カメラ部３１は、撮像部３１ａ、方向制御部３１ｂ、画像データ生成部３１ｃを有している。
The
撮像部３１ａは、例えばＣＣＤ素子やＣ−ＭＯＳ素子などの撮像素子や光学部品などを含んで構成されるものであり、所定の撮影範囲を上空から所定時間おきに撮像し、撮像した画像を画像データ生成部３１ｃに順次出力する。
The
尚、撮像部３１ａは、カメラ部３１がパンチルトズームカメラとして構成される場合、センタ装置４からの制御信号の撮影指示に基づく制御部３６の制御により、ズーム位置が制御される。このズーム位置に基づく焦点距離の情報は画像データ生成部３１ｃに出力される。
When the
方向制御部３１ｂは、カメラ部３１がパンチルトズームカメラとして構成される場合に必要なものであり、センタ装置４からの制御信号の撮影指示に基づく制御部３６の制御により、水平方向及び垂直方向の角度が制御される。この水平方向の角度情報、及び俯角又は仰角（俯仰角）としての垂直方向の角度情報は、予め設定された監視カメラ２の撮影方向（水平方向の角度情報及び俯仰角）からの変位角度であり、画像データ生成部３１ｃに出力される。
The
画像データ生成部３１ｃは、撮像部３１ａが撮像した画像に対し、撮影時における焦点距離や撮影方向を必要に応じて付加した画像データを生成する。なお、カメラ部３１がパンチルトズームカメラとして構成される場合には、予め設定されたカメラ部３１の撮影方向を上述の変位角度で補正した撮影方向を画像データに付加する。また、撮影方向は、飛行装置３の姿勢によって変化するので、後述の姿勢検出部３５の姿勢情報から撮影方向を補正している。また、後述の測位部３４にて取得した撮影時における位置情報を必要に応じて付加した画像データを生成する。
The image data generation unit 31c generates image data in which the focal length and the shooting direction at the time of shooting are added to the image captured by the
推進部３２は、エンジンの動力をプロペラに伝達して回転させることにより飛行装置３に推進力を与えるものであり、センタ装置４からの制御信号の飛行指示に従って制御部３６により制御される。
The
方向舵３３は、飛行装置３の操縦に用いる動翼であり、センタ装置４からの制御信号の飛行指示に従って制御部３６により制御される。
The
測位部３４は、ＧＰＳ（Global Positioning System ）からなり、地球上での飛行装置３の３次元的位置（現在位置）を示す位置情報（緯度、経度、高さ）を制御部３６に出力する。この位置情報は画像データ生成部３１ｃへも出力する。
The
姿勢検出部３５は、例えばジャイロコンパスとサーボ加速度計を備え、飛行装置３の方位角、ピッチ角、ロール角を計測して飛行装置３の姿勢を検出し、この検出により得られる姿勢情報を制御部３６に出力する。この姿勢情報は画像データ生成部３１ｃへも出力する。
The
制御部３６は、カメラ部３１の画像データ生成部３１ｃが生成した画像データを所定のフレーム周期で所定時間おきにセンタ装置４に送信するように無線通信部３７を制御する。また、制御部３６は、飛行制御部３６ａとカメラ制御部３６ｂを有する。飛行制御部３６ａは、センタ装置４からの制御信号を無線通信部３７を介して受信したときに、この制御信号の飛行指示に従って推進部３２や方向舵３３を制御する。カメラ制御部３６ｂは、センタ装置４からの制御信号を無線通信部３７を介して受信したときに、この制御信号の撮影指示に従ってカメラ部３１の撮像部３１ａや方向制御部３１ｂを制御する。
The
無線通信部３７は、制御部３６の制御により、センタ装置４との間で無線通信し、データや信号の送受信を行う。具体的には、画像データ生成部３１ｃが生成した画像データを所定フレーム周期で所定時間おきにセンタ装置４に送信する。また、撮像部３１ａ、方向制御部３１ｂ、推進部３２、方向舵３３を制御するため、センタ装置４からの制御信号（撮影指示、飛行指示）を受信する。
The
（センタ装置の構成について）
追跡処理装置としてのセンタ装置４は、通信部４１、無線通信部４２、制御部４３、記憶部４４、操作部４５、表示部４６を備えている。
(About the configuration of the center device)
The center device 4 as a tracking processing device includes a
通信部４１は、有線又は無線により通信を行うための通信インタフェースであり、制御部４３の制御により、通信回線を介して複数の監視カメラ２との間で相互に通信を行う。具体的には、複数の監視カメラ２から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、制御対象となる監視カメラ２に対し、撮像部２１ａや方向制御部２１ｂを制御して撮影指示するための制御信号を送信する。
The
無線通信部４２は、制御部４３の制御により、飛行装置３との間で相互に無線通信を行う。具体的には、飛行装置３から所定フレーム周期で所定時間おきに送信される画像データを受信する。また、飛行装置３の撮像部３１ａや方向制御部３１ｂを制御して撮影指示するための制御信号と、飛行装置３の推進部３２や方向舵３３を制御して飛行指示するための制御信号を必要に応じて送信する。
The
制御部４３は、監視カメラ２の画像を補完する画像を得る補完画像取得処理を実行するための構成として、監視対象検出部４３ａ、取得部４３ｂ、目標算出部４３ｃ、飛行装置制御部４３ｄ、表示制御部４３ｅを備えている。
The
監視対象検出部４３ａは、監視カメラ２から所定のフレーム周期で所定時間おきに送信されてくる画像データの画像から監視対象Ｎ（例えば人物や車両など）を検出する。この監視対象Ｎの検出は、従来の画像認識技術を用いればよい。一例を挙げれば、監視対象Ｎを特定するための複数種類の特徴を抽出し、抽出した特徴を対象特徴（特徴情報）として記憶部４４に予め記憶させる。例えば人物が監視対象Ｎである場合は、顔画像、年齢、性別、髪色、上半身衣服色、下半身衣服色、所持品種別、所持品色、身長、体型などが複数種類の特徴情報などとする。これら複数種類の特徴情報は、識別器や色ヒストグラムを用いた公知の手法によって抽出される。
The monitoring
尚、監視対象Ｎの特徴情報の入力方法としては、監視員が必要に応じて操作部４５を操作して、記憶部４４に記憶保存された監視カメラ２の画像から監視対象Ｎに当たる部分を指定すると、この指定された画像から上述した特徴情報を抽出し、抽出した特徴情報を対象特徴として記憶部４４に記憶させる。また、監視員の指定操作に依らず、監視対象Ｎが予め決まっている場合には、その監視対象Ｎの特徴情報を対象特徴として記憶部４４に記憶させておく。
As a method for inputting the feature information of the monitoring target N, the supervisor operates the
そして、監視対象Ｎを追跡する場合には、例えば、複数の監視カメラ２毎に撮影される画像から、上述した対象特徴の抽出手法と同様にして複数種類の特徴情報を抽出し、抽出した特徴情報と対象特徴との対比により監視対象Ｎを検出する。これら複数種類の特徴情報は、個々の特徴情報について監視対象Ｎの検出における信頼性を考慮した重み付け係数が設定されている。そして、上述した複数種類の特徴情報を特徴情報の種別ごとに比較して類似度を算出する。続いて、複数種類の特徴情報ごとに算出した類似度に対し、重み付け係数を掛け合わせ、特徴情報の種類毎の類似度に重み付け係数を掛け合わせて全て足し合わせたものを全体類似度とする。そして、予め記憶部４４に記憶された監視対象Ｎと見なせる監視対象検出閾値（例えば類似度９０％）と全体類似度とを比較し、全体類似度が監視対象検出閾値を超えていると判定すると、監視対象Ｎとして検出する。
When tracking the monitoring target N, for example, a plurality of types of feature information are extracted from the images taken for each of the plurality of
また、監視対象検出部４３ａは、上記のようにして検出した監視対象Ｎを所定フレームおきに取得される画像にわたって追跡する。例えば、現在の画像と１フレーム前の画像とのフレーム間差分をとることで画像中における変化領域を抽出し、監視対象Ｎの位置に相当する変化領域を特定する。そして、次に新たな画像データを取得した際も同様にフレーム間差分を行って変化領域を抽出し、この抽出した変化領域が、前回の監視対象Ｎに相当する変化領域として特定した変化領域と、その位置、大きさ、形状などの点において同一の物体とみなせるかを判定し、同一とみなせる場合には、その変化領域を今回の監視対象Ｎに相当する変化領域として特定する。これらの処理を新たな画像データを取得する度に繰り返すことで、監視カメラ２の画像中において監視対象Ｎを検出して追跡している。
In addition, the monitoring
取得部４３ｂは、監視員により操作部４５が操作されて、後述する補完画像取得処理の指示がなされると、記憶部４４に記憶された監視カメラ情報から監視カメラ２の撮影方向及び撮影範囲Ｌに関する情報を取得する。
When the
なお、取得部４３ｂは、監視カメラ２の撮影俯仰角及び撮影範囲Ｌに関する情報を、監視カメラ２から通信部４１を介して受信した画像データに含まれる情報から取得してもよい。
Note that the
目標算出部４３ｃは、監視員により操作部４５が操作されて後述する補完画像取得処理の指示がなされたときに、取得部４３ｂが取得した監視カメラ２の撮影俯仰角θ及び撮影範囲Ｌを元に、監視カメラ２の撮影俯仰角θと異なる俯仰角αにて撮影範囲Ｌを撮影できる目標位置を算出するもので、判定部４３ｃａと算出部４３ｃｂを有している。
The
判定部４３ｃａは、記憶部４４に記憶された後述の角度範囲情報から第１の角度範囲（目標俯仰角範囲）を読み出し、取得部４３ｂが取得した監視カメラ２の撮影俯仰角θが第１の角度範囲に収まっているか否かを判定する。
The determination unit 43ca reads a first angle range (target elevation angle range) from angle range information described later stored in the
算出部４３ｃｂは、取得部４３ｂが取得した監視カメラ２の撮影俯仰角θと異なる俯仰角α（撮像部３１ａの垂直方向の撮影俯仰角）にて撮影範囲Ｌを撮影できる目標位置を算出する。さらに説明すると、算出部４３ｃｂは、判定部４３ｃａにて監視カメラ２の撮影俯仰角θが第１の角度範囲に収まっていないと判定すると、飛行装置３の撮像部３１ａが第１の角度範囲に収まる撮影俯仰角αにて撮影範囲Ｌを撮影できる目標位置を算出する。また、算出部４３ｃｂは、監視カメラ２の撮影俯仰角θが第１の角度範囲に収まっていると判定すると、飛行装置３の撮像部３１ａが第１の角度範囲と異なる撮影俯仰角αにて撮影範囲Ｌを撮影できる目標位置を算出する。
The calculating unit 43cb calculates a target position at which the imaging range L can be imaged at an elevation angle α (an imaging elevation angle in the vertical direction of the
ここで、目標位置の算出方法について図２及び図３を参照しながら説明する。図２は地上の水平面を仮想水平面Ｅとし、仮想水平面Ｅを側面から見たときの監視対象Ｎと監視カメラ２と飛行装置３との位置関係を示す図である。また、図３は上空から地上を鉛直方向に見たときの仮想水平面Ｅ上における監視対象Ｎと監視カメラ２と飛行装置３との位置関係を示す図である。
Here, a method for calculating the target position will be described with reference to FIGS. FIG. 2 is a diagram illustrating a positional relationship among the monitoring target N, the
図２において、監視対象Ｎを追跡する監視カメラ２から飛行装置３の撮像部３１ａまでの仮想水平面Ｅ上の撮影距離（直線距離）をＷ、監視カメラ２と監視対象Ｎとの間の仮想水平面Ｅ上の直線距離をａ、飛行装置３と監視対象Ｎとの間の仮想水平面Ｅ上の直線距離をｂ、監視対象Ｎと飛行装置３の撮像部３１ａとを結ぶ直線と仮想水平面Ｅとのなす角度をα、仮想水平面Ｅからの飛行装置３の高度をＨとすると、仮想水平面Ｅ上の撮影距離Ｗは、Ｗ＝ａ＋ｂ、Ｗ＝ａ＋（Ｈ／ｔａｎα）で表すことができる。
In FIG. 2, the imaging distance (straight line distance) on the virtual horizontal plane E from the
そして、図２の仮想水平面Ｅ上の監視カメラ２と監視対象Ｎとの間の直線距離ａは、記憶部４４に記憶された監視カメラ情報の位置情報と撮影方向と画像中における監視対象Ｎの位置から算出することができる。また、監視対象Ｎと飛行装置３の撮像部３１ａとを結ぶ直線と仮想水平面Ｅとのなす角度αは、上述した算出部４３ｃｂによって第１の角度範囲内に設定される。さらに、仮想水平面Ｅからの飛行装置３の高度Ｈは、監視対象Ｎや周囲の状況に応じて監視員の操作部４５の操作により設定される。従って、撮影距離Ｗを一意に定めることができる。
The linear distance a between the monitoring
今、図３に示すように、監視対象Ｎを追跡する監視カメラ２の撮影位置Ｐを原点（０，０）としたときの基準方位（北）と監視対象Ｎとのなす角度をφとすると、飛行装置３の移動位置（目標位置）は図３における座標（Ｗｓｉｎφ，Ｗｃｏｓφ）、撮影方向はφ＋１８０°として算出することができる。
As shown in FIG. 3, if the angle between the reference orientation (north) and the monitoring target N when the photographing position P of the
なお、図２及び図３では、監視対象Ｎを挟んで監視カメラ２と対向する位置に飛行装置３を移動制御する場合の目標位置の算出について説明したが、算出部４３ｃｂは、これとは異なる方向から監視カメラ２の撮影範囲を角度αで撮影できる位置を目標位置として算出してもよい。例えば、監視対象Ｎを、監視カメラ２と同じ方向から撮影する位置を目標位置として算出してもよい。この場合は、算出部４３ｃｂによって設定されたなす角度α、監視員の操作部４５の操作により設定された高度Ｈによって、飛行装置３と監視対象Ｎとの間の仮想水平面Ｅ上の直線距離ｂを算出し、監視対象Ｎを原点としたときに座標（ｂｓｉｎ（φ＋１８０°），ｂｃｏｓ（φ＋１８０°））となる位置を目標位置とし、撮影方向をφとすればよい。また、補完画像取得処理の指示がなされたときの飛行装置３の現在位置において高度を変更することにより監視カメラ２の撮影範囲を角度αで撮影できる位置を目標位置として算出してもよい。この場合は、算出部４３ｃｂによって設定されたなす角度α、飛行装置３と監視対象Ｎとの間の仮想水平面Ｅ上の直線距離ｂから、高度Ｈを目標位置として算出する。そして、撮影方向は、原点を監視カメラの位置から飛行装置３の位置に変更した場合の監視対象Ｎの位置を算出し、飛行装置３を原点とした場合の基準方位（北）と監視対象Ｎのなす角度を求め、これを撮影方向とすればよい。
2 and 3, the calculation of the target position in the case of controlling the movement of the flying
飛行装置制御部４３ｄは、目標算出部４３ｃの算出部４３ｃｂが算出した目標位置に飛行装置３を移動制御する。また、飛行装置制御部４３ｄは、目標位置において監視カメラ２の撮影俯仰角θと異なる俯仰角α（撮像部３１ａの垂直方向の撮影俯仰角）にて撮影範囲Ｌを撮影するように飛行装置３の高度を制御するとともに飛行装置３又は撮像部３１ａの方向を制御する。
The flying
表示制御部４３ｅは、表示部４６の表示を制御している。具体的には、通常の監視状態において、監視カメラ２から所定時間おきに送信される画像データに含まれる最新の画像を表示部４６に表示している。また、後述する補完画像取得処理では、監視カメラ２と飛行装置３の両方から送信される最新の画像を表示部４６に表示している。これにより、監視員は、表示部４６に表示された画像をモニタすることにより監視領域の最新状況を知ることができる。
The
記憶部４４は、監視カメラ情報、飛行装置情報、角度範囲情報、画像データなどの各種情報を記憶している。各種情報について説明すると、監視カメラ情報は、各監視カメラ２に関する情報であって、各監視カメラ２の位置情報（撮影位置Ｐ：緯度、経度、高さ）、撮影方向、撮影範囲Ｌ、焦点距離などの情報が含まれ、動的に変化するものは監視カメラ２から受信する画像データに含まれる情報に基づいて逐次更新される。
The
なお、移動可能な監視カメラ２においては、位置情報、撮影方向、撮影範囲、焦点距離が変化するため、受信する画像データに含まれる情報に基づいて制御部４３により逐次更新される。具体的には、位置情報と撮影方向、焦点距離は受信した情報をそのまま更新し、撮影範囲は画像データに含まれる位置情報、撮影方向、焦点距離に基づいて算出し、更新する。
In the
また、監視領域の所定箇所に固定して設置される監視カメラ２の位置情報に関する情報は、予め記憶部４４に監視カメラ情報の一部として記憶しておくことができる。このような監視カメラ２のうち、パンチルトズーム可能な監視カメラ２については、撮影方向、撮影範囲、焦点距離が変化するため、受信する画像データに含まれる情報に基づいて、上記と同様にして制御部４３により逐次更新される。
In addition, information related to the position information of the
飛行装置情報は、飛行装置３に関する情報であって、飛行装置３の位置情報（飛行位置又は撮影位置：緯度、経度、高さ）、カメラ部３１の撮影方向、撮影範囲、焦点距離などの情報が含まれ、動的に変化するものは飛行装置３から受信する画像データに含まれる情報に基づいて、監視カメラ情報の更新と同様にして制御部４３により逐次更新される。
The flying device information is information related to the flying
角度範囲情報は、図２に示すように、地上の水平面を仮想水平面Ｅ（０°）とし、この仮想水平面Ｅと直交する平面を仮想鉛直面Ｖ（９０°）としたときに、仮想水平面Ｅと仮想鉛直面Ｖとの間の角度範囲であり、第１の角度範囲と第２の角度範囲からなる。 As shown in FIG. 2, the angle range information includes a virtual horizontal plane E when the ground horizontal plane is a virtual horizontal plane E (0 °) and a plane perpendicular to the virtual horizontal plane E is a virtual vertical plane V (90 °). And an imaginary vertical plane V, consisting of a first angle range and a second angle range.
第１の角度範囲は、監視対象Ｎの監視に必要な必要俯仰角範囲である。具体的には、監視対象Ｎが例えば不審者である場合は、不審者の顔を捉えやすい水平寄りの角度、例えば仮想水平面Ｅを含む０〜３０°が第１の角度範囲となる。これに対し、監視対象Ｎが混雑である場合は、地上の水平面上における前後左右の周囲の状況が把握しやすい垂直寄りの角度、例えば仮想鉛直面Ｖを含む６０〜９０°が第１の角度範囲となる。 The first angle range is a necessary elevation angle range necessary for monitoring the monitoring target N. Specifically, when the monitoring target N is, for example, a suspicious person, a first angle range is an angle close to the horizontal where the suspicious person's face can be easily captured, for example, 0 to 30 ° including the virtual horizontal plane E. On the other hand, when the monitoring target N is congested, the first angle is an angle closer to the vertical, for example, 60 to 90 ° including the virtual vertical plane V, which makes it easy to grasp the situation around the front, rear, left and right on the horizontal surface It becomes a range.
第２の角度範囲は、第１の角度範囲から所定角度範囲だけ離れた目標俯仰角範囲である。具体的には、監視対象Ｎが例えば不審者であって、第１の角度範囲が仮想水平面Ｅを含む０〜３０°に設定された場合は、地上の水平面上における前後左右の周囲の状況が把握しやすい垂直寄りの角度、例えば仮想鉛直面Ｖを含む６０〜９０°が第２の角度範囲として設定される。これに対し、監視対象Ｎが例えば混雑であって、第１の角度範囲が仮想鉛直面Ｖに対して６０〜９０°とした場合は、不審者の顔を捉えやすい水平寄りの角度、例えば仮想水平面Ｅを含む０〜３０°が第２の角度範囲として設定される。 The second angle range is a target elevation angle range that is separated from the first angle range by a predetermined angle range. Specifically, when the monitoring target N is, for example, a suspicious person and the first angle range is set to 0 to 30 ° including the virtual horizontal plane E, the situation of the surroundings of the front, rear, left, and right on the ground horizontal plane is A vertical angle that is easy to grasp, for example, 60 to 90 ° including the virtual vertical plane V is set as the second angle range. On the other hand, when the monitoring target N is, for example, congested and the first angle range is 60 to 90 ° with respect to the virtual vertical plane V, an angle closer to the horizon, for example, virtual 0 to 30 ° including the horizontal plane E is set as the second angle range.
なお、第１の角度範囲と第２の角度範囲は、互いに角度が重複しない角度範囲に設定されていればよい。例えば第１の角度範囲が仮想水平面Ｅを含む０〜４５°（但し、４５°を含まない）に設定された場合は、第２の角度範囲を仮想鉛直面Ｖを含む４５〜９０°（但し、４５°を含まない）に設定する。逆に、第１の角度範囲が仮想鉛直面Ｖを含む４５〜９０°（但し、４５°を含まない）に設定された場合は、第２の角度範囲を仮想水平面Ｅを含む０〜４５°（但し、４５°を含まない）に設定する。 Note that the first angle range and the second angle range may be set to an angle range in which the angles do not overlap each other. For example, when the first angle range is set to 0 to 45 ° (not including 45 °) including the virtual horizontal plane E, the second angle range is 45 to 90 ° including the virtual vertical plane V (however, , 45 ° is not included). Conversely, when the first angle range is set to 45 to 90 ° (not including 45 °) including the virtual vertical plane V, the second angle range is 0 to 45 ° including the virtual horizontal plane E. (However, 45 ° is not included).
画像データは、各監視カメラ２や飛行装置３から所定のフレーム周期で所定時間おきに送信されるデータであり、監視カメラ２ごと飛行装置３ごとに記憶部４４に逐次蓄積される。
The image data is data transmitted from the
操作部４５は、例えばマウス、キーボード、表示部４６の表示画面上のソフトキーなどで構成される。操作部４５は、後述する補完画像取得処理の開始又は終了の指示、第１角度範囲及び第２角度範囲の設定、監視カメラ２の撮影俯仰角θの設定、高度Ｈの設定、監視カメラ２の画像に基づく監視対象Ｎの追跡の指示、監視対象Ｎの特徴情報の指定、記憶部４４に記憶保存された画像から監視対象Ｎの指定、各監視カメラ２や飛行装置３への指示（撮影指示、飛行指示）、画像データの削除などを行う際に監視員によって操作される。
The
表示部４６は、例えば液晶表示器などで構成される。表示部４６は、表示制御部４３ｅの制御により、複数の監視カメラ２や飛行装置３から取得した画像データの表示などを行っている。
The
次に、上記のように構成される監視システム１の動作として、監視対象Ｎを追跡する監視カメラ２からの画像を補完する画像を取得するために飛行装置３を移動制御する補完画像取得処理について説明する。
Next, as an operation of the
通常は、監視対象検出部４３ａが、地上から撮影した複数の監視カメラ２からの画像データに基づいて監視対象Ｎを検出して追跡を行っている。ここで、ある監視カメラ２が監視対象Ｎを追跡している際に、監視員が操作部４５を操作して補完画像取得処理の指示がなされると、飛行装置３を移動制御する補完画像取得処理が開始される。なお、補完画像取得処理は、監視員の操作部４５の操作によらず、監視対象検出部４３ａが監視対象Ｎを検出すると自動的に開始するようにしてもよい。
Usually, the monitoring
補完画像取得処理では、取得部４３ｂが記憶部４４に記憶された監視カメラ情報から監視カメラ２の撮影位置Ｐ（緯度、経度、高さ）、撮影方向及び撮影範囲Ｌに関する情報を取得する。
In the complementary image acquisition process, the
なお、取得部４３ｂは、監視カメラ２の撮影方向及び撮影範囲Ｌに関する情報は、監視カメラ２から通信部４１を介して受信した画像データに含まれる情報から取得することもできる。
The
続いて、目標算出部４３ｃの判定部４３ｃａは、記憶部４４に記憶された角度範囲情報から第１の角度範囲（必要俯仰角範囲）を読み出し、取得部４３ｂが取得した監視カメラ２の撮影方向における撮影俯仰角θが第１の角度範囲に収まっているか否かを判定する。
Subsequently, the determination unit 43ca of the
そして、目標算出部４３ｃの算出部４３ｃｂは、判定部４３ｃａにて監視カメラ２の撮影俯仰角θが第１の角度範囲に収まっていないと判定すると、飛行装置３の撮像部３１ａが第１の角度範囲に収まる撮影俯仰角αを設定し、この撮影俯仰角αにて撮影範囲Ｌを撮影できる目標位置を算出する。また、目標算出部４３ｃの算出部４３ｃｂは、監視カメラ２の撮影俯仰角θが第１の角度範囲に収まっていると判定すると、飛行装置３の撮像部３１ａが第１の角度範囲と異なる撮影俯仰角αを設定し、この撮影俯仰角αにて撮影範囲Ｌを撮影できる目標位置を算出する。
When the calculation unit 43cb of the
そして、飛行装置制御部４３ｄは、目標算出部４３ｃの算出部４３ｃｂにて算出した目標位置まで飛行装置３を移動制御する。飛行装置３は、目標位置に到着すると、監視カメラ２の撮影俯仰角θと異なる撮影俯仰角αにて監視カメラ２の撮影範囲Ｌを含む撮影範囲で撮像部３１ａが撮影する。
Then, the flying
ここで、図４は不審者を監視対象Ｎとしたときの監視カメラ２と飛行装置３の位置関係を示している。監視対象Ｎが不審者の場合には、第１の角度範囲を仮想水平面Ｅを含む０〜３０°に設定し、第２の角度範囲を仮想鉛直面Ｖを含む６０〜９０°に設定してそれぞれ記憶部４４に記憶させておく。そして、目標算出部４３ｃの判定部４３ｃａは、図４（ａ）に示すように、監視カメラ２の撮影俯仰角θが第１の角度範囲：０〜３０°に収まっていると判断すると、目標算出部４３ｃの算出部４３ｃｂは、飛行装置３が第２の角度範囲：６０〜９０°において監視カメラ２の撮影範囲を撮影できる目標位置と撮影方向を設定する。飛行装置制御部４３ｄは、無線通信部４２を介して飛行装置３に制御信号を送信し、設定された目標位置において飛行装置３の撮像部３１ａが設定された撮影方向となるように制御する。つまり、飛行装置３の撮像部３１ａの撮影俯仰角αが第２の角度範囲：６０〜９０°に収まるように、制御信号の指示に従って飛行装置３の飛行状態、飛行装置３又は撮像部３１ａの方向が制御される。
Here, FIG. 4 shows the positional relationship between the monitoring
これに対し、目標算出部４３ｃの判定部４３ｃａは、図４（ｂ）に示すように、監視カメラ２の撮影俯仰角θが第１の角度範囲：０〜３０°から外れていると判断すると、目標算出部４３ｃの算出部４３ｃｂは、飛行装置３が第２の角度範囲：０〜３０°において監視カメラ２の撮影範囲を撮影できる目標位置と撮影方向を設定する。飛行装置制御部４３ｄは、無線通信部４２を介して飛行装置３に制御信号を送信し、設定された目標位置において飛行装置３の撮像部３１ａの撮影俯仰角αが設定された撮影方向となるように制御する。つまり、飛行装置３の撮像部３１ａの撮影俯仰角αが第１の角度範囲：０〜３０°に収まるように、制御信号の指示に従って飛行装置３の飛行状態、飛行装置３又は撮像部３１ａの方向が制御される。
On the other hand, when the determination unit 43ca of the
また、図５は混雑を監視対象としたときの監視カメラ２と飛行装置３の位置関係を示している。監視対象Ｎが混雑の場合には、第１の角度範囲を仮想鉛直面Ｖを含む６０〜９０°に設定し、第２の角度範囲を仮想水平面Ｅを含む０〜３０°に設定してそれぞれ記憶部４４に記憶させておく。そして、目標算出部４３ｃの判定部４３ｃａは、図５（ａ）に示すように、監視カメラ２の撮影俯仰角θが第１の角度範囲：６０〜９０°に収まっていると判断すると、目標算出部４３ｃの算出部４３ｃｂは、飛行装置３が第２の角度範囲：０〜３０°において監視カメラ２の撮影範囲を撮影できる目標位置と撮影方向を設定する。飛行装置制御部４３ｄは、無線通信部４２を介して飛行装置３に制御信号を送信し、設定された目標位置において飛行装置３の撮像部３１ａの撮影俯仰角αが設定された撮影方向となるように制御する。つまり、飛行装置３の撮像部３１ａの撮影俯仰角αが第２の角度範囲：０〜３０°に収まるように、制御信号の指示に従って飛行装置３の飛行状態、飛行装置３又は撮像部３１ａの方向が制御される。
FIG. 5 shows the positional relationship between the monitoring
これに対し、目標算出部４３ｃの判定部４３ｃａは、図５（ｂ）に示すように、監視カメラ２の撮影俯仰角θが第１の角度範囲：６０〜９０°から外れていると判断すると、目標算出部４３ｃの算出部４３ｃｂは、飛行装置３が第２の角度範囲：６０〜９０°において監視カメラ２の撮影範囲を撮影できる目標位置と撮影方向を設定する。飛行装置制御部４３ｄは、無線通信部４２を介して飛行装置３に制御信号を送信し、設定された目標位置において飛行装置３の撮像部３１ａの撮影俯仰角αが設定された撮影方向となるように制御する。つまり、飛行装置３の撮像部３１ａの撮影俯仰角αが第１の角度範囲：６０〜９０°に収まるように、制御信号の指示に従って飛行装置３の飛行状態、飛行装置３又は撮像部３１ａの方向が制御される。
On the other hand, when the determination unit 43ca of the
このように、飛行装置３の撮像部３１ａが撮影する画像は、監視カメラ２とは異なる俯仰角の方向から撮影したものであり、監視カメラ２からは把握できない情報を多く含んだ画像である。そして、飛行装置３は、撮像部３１ａが撮影した画像を所定フレーム周期で所定時間おきにセンタ装置４に送信する。センタ装置４は、飛行装置３からの画像を受信し、監視カメラ２からの画像と一緒に表示部４６に表示する。これにより、監視員は、監視カメラ２からの画像だけでなく、監視カメラ２からは把握できない情報を含んだ飛行装置３からの画像をモニタし、監視カメラ２の撮影範囲Ｌの状況についてより多くの情報を得ることができ、監視領域の状況を把握して監視対象Ｎの監視が行える。
As described above, the image captured by the
なお、上述した実施の形態においては、算出部４３ｃｂが算出する目標位置は、図２〜５上で示した位置そのものとして説明したが、この位置を中心とした誤差範囲を設け、この誤差範囲を目標位置としてよい。 In the above-described embodiment, the target position calculated by the calculation unit 43cb has been described as the position itself shown in FIGS. 2 to 5. However, an error range centered on this position is provided, and this error range is set as the target position. It may be a target position.
以上説明したように、上述した実施の形態による監視システム１によれば、以下に示す効果を奏する。
As described above, the
監視員による操作部４５の操作により補完画像取得処理の指示があると、目標算出部４３ｃは、監視カメラ２の撮影俯仰角θと異なる撮影俯仰角αにて撮影範囲Ｌを撮影できる目標位置を算出する。飛行装置制御部４３ｄは、目標算出部４３ｃが算出した目標位置に飛行装置３を移動させて撮影範囲Ｌを撮影するように撮像部３１ａを制御する。かかる構成により、監視カメラ２とは異なる俯仰角にて飛行装置３の撮像部３１ａが撮影した画像を取得することができる。そして、飛行装置３の撮像部３１ａが撮影した画像と監視カメラ２が撮影した画像により、監視カメラ２の撮影範囲Ｌの状況についてより多くの情報を得ることができる。
When a complementary image acquisition process is instructed by an operation of the
また、記憶部４４には、互いに角度が重複しない角度範囲に設定された第１の角度範囲と第２の角度範囲からなる角度範囲情報が記憶されている。この角度範囲情報は、例えば第１の角度範囲が仮想水平面Ｅを含む０〜４５°（但し、４５°を含まない）内に設定された場合は、第２の角度範囲が仮想鉛直面Ｖを含む４５〜９０°（但し、４５°を含まない）内に設定される。逆に、第１の角度範囲が仮想鉛直面Ｖを含む４５〜９０°（但し、４５°を含まない）内に設定された場合は、第２の角度範囲が仮想水平面Ｅを含む０〜４５°（但し、４５°を含まない）内に設定される。そして、補完画像取得処理時において、飛行装置３は、監視カメラ２の撮影俯仰角θが第１の角度範囲内でなければ、第１の角度範囲内の撮影俯仰角αで撮影できる目標位置に移動して撮像部３１ａにて撮影する。また、飛行装置３は、監視カメラ２の撮影俯仰角θが第１の角度範囲内であれば、第１の角度範囲と異なる第２の角度範囲内の撮影俯仰角αで撮影できる目標位置に移動して撮像部３１ａにて撮影する。かかる構成により、監視に際して必要となる撮影俯仰角θを第１の角度範囲内に設定して記憶部４４に記憶しておけば、必要な撮影俯仰角θの画像が必ず得られ、それとは異なる俯仰角の画像も得ることができる。しかも、水平方向に近い方向から把握できる情報と鉛直方向に近い方向から把握できる情報との双方の情報が得られるので、監視対象を多角的に把握して監視することができる。
Further, the
このように、本実施の形態に係る監視システムによれば、監視カメラ２と飛行装置３とを連携させ、互いに異なる俯仰角で監視対象を撮影するので、例えば監視対象が人物であれば、画像中の人物を把握する場合に、どんな人物かを把握しやすい側面画像と、人物の周囲の状況を把握しやすい上方画像とを同時に取得して監視対象を監視することができる。
As described above, according to the monitoring system according to the present embodiment, the
以上、本発明に係る監視システムの最良の形態について説明したが、この形態による記述及び図面により本発明が限定されることはない。すなわち、この形態に基づいて当業者等によりなされる他の形態、実施例及び運用技術などはすべて本発明の範疇に含まれることは勿論である。 The best mode of the monitoring system according to the present invention has been described above, but the present invention is not limited by the description and drawings according to this mode. That is, it is a matter of course that all other forms, examples, operation techniques, and the like made by those skilled in the art based on this form are included in the scope of the present invention.
１ 監視システム
２ 監視カメラ
３ 飛行装置
４ センタ装置（追跡処理装置）
２１ カメラ部
２２ 制御部
２３ 通信部
３１ カメラ部
３２ 推進部
３３ 方向舵
３４ 測位部
３５ 姿勢検出部
３６ 制御部
３７ 無線通信部
４１ 通信部
４２ 無線通信部
４３ 制御部
４３ａ 監視対象検出部
４３ｂ 取得部
４３ｃ 目標算出部
４３ｃａ 判定部
４３ｃｂ 算出部
４４ 記憶部
４５ 操作部
４６ 表示部
Ｄ１ 監視カメラの撮影方向
Ｄ２ 飛行装置の撮像部の撮影方向
Ｅ 仮想水平面
Ｌ 監視カメラの撮影範囲
Ｎ 監視対象
Ｐ 撮影位置
Ｖ 仮想鉛直面
θ 監視カメラの撮影俯仰角
α 飛行装置の撮像部の撮影俯仰角
DESCRIPTION OF
21
Claims (4)
前記監視カメラの撮影俯仰角と異なる俯仰角にて当該監視カメラの撮影範囲を撮影できる目標位置を算出する目標算出部と、
前記目標位置に前記飛行装置を移動させて前記監視カメラの撮影範囲を撮影するように前記撮像部を制御する飛行装置制御部と、
を備えたことを特徴とする監視システム。 A surveillance system comprising a surveillance camera for photographing from the ground and a flying device having an imaging unit for photographing from the sky,
A target calculation unit that calculates a target position at which the imaging range of the monitoring camera can be imaged at an elevation angle different from the imaging elevation angle of the monitoring camera;
A flying device control unit that controls the imaging unit to move the flying device to the target position and shoot a shooting range of the monitoring camera;
A monitoring system characterized by comprising:
前記目標算出部は、
前記監視カメラの撮影俯仰角が前記第１の角度範囲か否かを判定する判定部と、
前記判定部にて前記第１の角度範囲でないと判定した場合には前記第１の角度範囲となる俯仰角にて前記監視カメラの撮影範囲を撮影できる目標位置を算出し、前記判定部にて前記第１の角度範囲であると判定した場合には前記第１の角度範囲と異なる俯仰角にて前記監視カメラの撮影範囲を撮影できる目標位置を算出する算出部と、
を備えた請求項１に記載の監視システム。 A storage unit for storing the first angle range;
The target calculation unit
A determination unit for determining whether or not a shooting elevation angle of the monitoring camera is in the first angle range;
When the determination unit determines that the range is not the first angle range, a target position at which the imaging range of the monitoring camera can be captured at the elevation angle that is the first angle range is calculated. A calculation unit that calculates a target position at which the imaging range of the monitoring camera can be imaged at an elevation angle different from the first angle range when it is determined that the range is the first angle range;
The monitoring system according to claim 1, comprising:
前記算出部は、前記判定部にて前記第１の角度範囲であると判定した場合には前記第２の角度範囲となる俯仰角にて前記監視カメラの撮影範囲を撮影できる目標位置を算出する請求項２に記載の監視システム。 The storage unit stores a second angle range that is separated from the first angle range by a predetermined angle range;
The calculation unit calculates a target position at which the imaging range of the monitoring camera can be imaged at an elevation angle that is the second angle range when the determination unit determines that the range is the first angle range. The monitoring system according to claim 2.
又は、前記第１の角度範囲を前記第２の所定角度から９０度までに含まれる範囲としたときには第２の所定角度を０度から前記第１の所定角度に含まれる範囲とした請求項３に記載の監視システム。 When the first angle range is a range included from 0 degree to the first predetermined angle (where 0 degree <first predetermined angle <45 degrees), the second angle range is set to the second predetermined angle. (However, the range included from 45 degrees <second predetermined angle <90 degrees) to 90 degrees,
Alternatively, when the first angle range is a range included from the second predetermined angle to 90 degrees, the second predetermined angle is a range included from 0 degrees to the first predetermined angle. The monitoring system described in.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014259398A JP6482856B2 (en) | 2014-12-22 | 2014-12-22 | Monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014259398A JP6482856B2 (en) | 2014-12-22 | 2014-12-22 | Monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016118995A true JP2016118995A (en) | 2016-06-30 |
| JP6482856B2 JP6482856B2 (en) | 2019-03-13 |
Family
ID=56244374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014259398A Active JP6482856B2 (en) | 2014-12-22 | 2014-12-22 | Monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6482856B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019179527A (en) * | 2018-03-30 | 2019-10-17 | セコム株式会社 | Control device |
| CN110770128A (en) * | 2018-06-26 | 2020-02-07 | 深圳市大疆创新科技有限公司 | Sensor assembly and unmanned aerial vehicle |
| CN111559515A (en) * | 2020-04-28 | 2020-08-21 | 中国人民解放军63660部队 | Non-access test method for actuating mechanism of stratospheric airship |
| CN112804481A (en) * | 2020-12-29 | 2021-05-14 | 杭州海康威视***技术有限公司 | Method and device for determining position of monitoring point and computer storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003339238A (en) * | 2002-05-28 | 2003-12-02 | Satake Corp | Method and apparatus for diagnosing crop growth |
| JP2010250478A (en) * | 2009-04-14 | 2010-11-04 | Toyota Motor Corp | Driving support device |
| JP2014104797A (en) * | 2012-11-26 | 2014-06-09 | Hitachi-Ge Nuclear Energy Ltd | Indoor inspection system |
| JP2014149621A (en) * | 2013-01-31 | 2014-08-21 | Secom Co Ltd | Autonomous flying robot |
-
2014
- 2014-12-22 JP JP2014259398A patent/JP6482856B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003339238A (en) * | 2002-05-28 | 2003-12-02 | Satake Corp | Method and apparatus for diagnosing crop growth |
| JP2010250478A (en) * | 2009-04-14 | 2010-11-04 | Toyota Motor Corp | Driving support device |
| JP2014104797A (en) * | 2012-11-26 | 2014-06-09 | Hitachi-Ge Nuclear Energy Ltd | Indoor inspection system |
| JP2014149621A (en) * | 2013-01-31 | 2014-08-21 | Secom Co Ltd | Autonomous flying robot |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019179527A (en) * | 2018-03-30 | 2019-10-17 | セコム株式会社 | Control device |
| JP7089926B2 (en) | 2018-03-30 | 2022-06-23 | セコム株式会社 | Control system |
| CN110770128A (en) * | 2018-06-26 | 2020-02-07 | 深圳市大疆创新科技有限公司 | Sensor assembly and unmanned aerial vehicle |
| CN111559515A (en) * | 2020-04-28 | 2020-08-21 | 中国人民解放军63660部队 | Non-access test method for actuating mechanism of stratospheric airship |
| CN111559515B (en) * | 2020-04-28 | 2023-03-03 | 中国人民解放军63660部队 | Non-access test method for actuating mechanism of stratospheric airship |
| CN112804481A (en) * | 2020-12-29 | 2021-05-14 | 杭州海康威视***技术有限公司 | Method and device for determining position of monitoring point and computer storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6482856B2 (en) | 2019-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5618840B2 (en) | Aircraft flight control system | |
| JP5775632B2 (en) | Aircraft flight control system | |
| CN108292140B (en) | System and method for automatic return voyage | |
| JP5748561B2 (en) | Aerial photography imaging method and aerial photography imaging apparatus | |
| JP6482855B2 (en) | Monitoring system | |
| JP6482857B2 (en) | Monitoring system | |
| JP2006027331A (en) | Method for collecting aerial image information by utilizing unmanned flying object | |
| JP2006027448A (en) | Aerial photographing method and device using unmanned flying body | |
| KR101880437B1 (en) | Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image | |
| JP2016177640A (en) | Video monitoring system | |
| JP6482856B2 (en) | Monitoring system | |
| KR101575954B1 (en) | Apparatus for augmented reality using 3d reconstruction and mehhod thereof | |
| JP7153306B2 (en) | Detection target localization system | |
| JP6001914B2 (en) | Target position specifying device, target position specifying system, and target position specifying method | |
| CN111247389B (en) | Data processing method and device for shooting equipment and image processing equipment | |
| JP2004056664A (en) | Cooperative photography system | |
| WO2019230604A1 (en) | Inspection system | |
| JP2011095112A (en) | Three-dimensional position measuring apparatus, mapping system of flying object, and computer program | |
| KR20200090565A (en) | Smart underwater drone system with third party point-of-view camera | |
| CN112703748B (en) | Information processing device, information processing method, and program recording medium | |
| JP2011169658A (en) | Device and method for pinpointing photographed position | |
| JP2021193538A (en) | Information processing device, mobile device, information processing system and method, and program | |
| JP2020082830A (en) | Artificial satellite, observation system, and information processing device | |
| JP6681101B2 (en) | Inspection system | |
| JP2019211486A (en) | Inspection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170912 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190213 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6482856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |