JPWO2020070897A1 - Monitoring system, management device, monitoring method, control program of management device - Google Patents

Monitoring system, management device, monitoring method, control program of management device Download PDF

Info

Publication number
JPWO2020070897A1
JPWO2020070897A1 JP2020551066A JP2020551066A JPWO2020070897A1 JP WO2020070897 A1 JPWO2020070897 A1 JP WO2020070897A1 JP 2020551066 A JP2020551066 A JP 2020551066A JP 2020551066 A JP2020551066 A JP 2020551066A JP WO2020070897 A1 JPWO2020070897 A1 JP WO2020070897A1
Authority
JP
Japan
Prior art keywords
monitoring target
management device
camera
drone
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020551066A
Other languages
Japanese (ja)
Other versions
JP7101799B2 (en
Inventor
智幸 伊豆
智幸 伊豆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eams Robotics Co Ltd
Original Assignee
Eams Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eams Robotics Co Ltd filed Critical Eams Robotics Co Ltd
Publication of JPWO2020070897A1 publication Critical patent/JPWO2020070897A1/en
Application granted granted Critical
Publication of JP7101799B2 publication Critical patent/JP7101799B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41J—TARGETS; TARGET RANGES; BULLET CATCHERS
    • F41J11/00—Target ranges
    • F41J11/02—Safety means therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】侵入ドローンを目視によって発見できない場合であっても、侵入ドローンを発見し、監視を継続することができることができる監視システム、管理装置、監視方法、管理装置の制御プログラムを提供すること。【解決手段】監視システム１００は、乖離して配置され、共通の領域を撮影可能な複数のカメラ１５０Ａ等と、カメラ１５０Ａ等が撮影して取得した画像を受信する管理装置３００と、管理装置３００と通信可能な無人飛行装置１とを有し、管理装置３００は、ニューラルネットワークで構成される人工知能によって、カメラ１５０Ａ等から受信した画像において、監視対象を認識する第一認識手段と、各カメラ１５０Ａ等の位置と、各カメラ１５０Ａ等の各光軸に対する監視対象の方向とに基づいて、監視対象の位置を算出する位置算出手段と、監視対象の位置を示す位置情報を無人飛行装置１に送信する位置送信手段と、を有し、無人飛行装置１は、管理装置３００から位置情報を受信すると、位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する撮影手段と、ニューラルネットワークで構成される人工知能によって、撮影画像において、監視対象を認識する第二認識手段と、監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する。PROBLEM TO BE SOLVED: To provide a monitoring system, a management device, a monitoring method, and a control program of a management device capable of discovering an intruding drone and continuing monitoring even when the intruding drone cannot be visually detected. SOLUTION: A monitoring system 100 is arranged apart from each other, and a plurality of cameras 150A and the like capable of photographing a common area, a management device 300 for receiving an image captured and acquired by the cameras 150A and the like, and a management device 300. The management device 300 has an unmanned flight device 1 capable of communicating with the camera, and the management device 300 is a first recognition means for recognizing a monitoring target in an image received from a camera 150A or the like by artificial intelligence composed of a neural network, and each camera. A position calculation means for calculating the position of the monitoring target based on the position of the 150A or the like and the direction of the monitoring target with respect to each optical axis of each camera 150A or the like, and the position information indicating the position of the monitoring target are provided to the unmanned flight device 1. The unmanned flight device 1 has a position transmitting means for transmitting, and when the unmanned flight device 1 receives the position information from the management device 300, the unmanned flight device 1 takes a picture of the flight means for flying toward the position indicated by the position information and the outside. A second recognition means for recognizing a monitoring target in a captured image by a photographing means for acquiring an image and artificial intelligence composed of a neural network, and when the monitoring target is recognized, the monitoring target is continuously photographed. It has a lock-on means.

Description

本発明は、監視システム、管理装置、監視方法、管理装置の制御プログラムに関する。 The present invention relates to a monitoring system, a management device, a monitoring method, and a control program of the management device.

従来、小型無人飛行装置（「ドローン」とも呼ばれる）の利用が提案されている。このようなドローンを利用して、映像情報を取得する技術が提案されている（例えば、特許文献１）。 Conventionally, the use of a small unmanned aerial vehicle (also called a "drone") has been proposed. A technique for acquiring video information using such a drone has been proposed (for example, Patent Document 1).

特開２００６−２７３３１号公報Japanese Unexamined Patent Publication No. 2006-27331

ところで、ドローンが、侵入が禁止されている領域に侵入して撮影等を行う場合がある。これに対して、人間が目視によって侵入したドローン（以下、「侵入ドローン」という。）を発見すると、侵入ドローンを操作するための操縦電波を他の電波によって妨害し（「ジャミング」と呼ばれる）、操縦不能にする技術や、侵入ドローンを強制的に着陸させる技術が実施されている。しかし、侵入ドローンを目視によって発見できない場合がある。 By the way, a drone may invade an area where intrusion is prohibited and take a picture. On the other hand, when a human visually discovers a drone that has invaded (hereinafter referred to as "invading drone"), the maneuvering radio waves for operating the intruding drone are blocked by other radio waves (called "jamming"). Technology to make it uncontrollable and technology to force an intruding drone to land are being implemented. However, it may not be possible to visually detect the intruding drone.

本発明はかかる問題の解決を試みたものであり、侵入ドローンを目視によって発見できない場合であっても、侵入ドローンを発見し、監視を継続することができる監視システム、管理装置、監視方法、管理装置の制御プログラムの提供を目的とする。 The present invention is an attempt to solve such a problem, and a monitoring system, a management device, a monitoring method, and a management capable of detecting an intruding drone and continuing monitoring even when the intruding drone cannot be visually detected. The purpose is to provide a control program for the device.

第一の発明は、乖離して配置され、共通の領域を撮影可能な複数のカメラと、前記カメラが撮影して取得した画像を受信する管理装置と、前記管理装置と通信可能な無人飛行装置と、を有する監視システムであって、前記管理装置は、ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、前記監視対象の位置を示す位置情報を前記無人飛行装置に送信する位置送信手段と、を有し、前記無人飛行装置は、前記管理装置から前記位置情報を受信すると、前記位置情報に示される前記位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する撮影手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する第二認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する監視システムである。 The first invention is a plurality of cameras arranged apart from each other and capable of photographing a common area, a management device for receiving an image captured and acquired by the cameras, and an unmanned flight device capable of communicating with the management device. The management device is a monitoring system having And the position calculation means for calculating the position of the monitoring target based on the direction of the monitoring target based on the position of each camera, and the position information indicating the position of the monitoring target is transmitted to the unmanned flight device. When the unmanned flight device receives the position information from the management device, the unmanned flight device captures the flight means for flying toward the position indicated by the position information and the outside. The second recognition means for recognizing the monitoring target in the captured image and the monitoring target when the monitoring target is recognized by the photographing means for acquiring the captured image and the artificial intelligence composed of the neural network. It is a surveillance system having a lock-on means for continuously photographing.

第一の発明の構成によれば、管理装置は、第一認識手段を有するから、カメラが取得した画像中のオブジェクトについて、人間の判断を必要とすることなく監視対象か否かを判断することができる。そして、管理装置は、位置算出手段によって、三角測量の原理によって、監視対象の位置を算出することができる。無人飛行装置は、管理装置から位置情報を受信すると監視対象の位置に向かって飛行し、第二認識手段によって、撮影画像中の監視対象を認識し、ロックオン手段によって、継続的に監視対象を撮影することができる。これにより、侵入ドローンを目視によって発見できない場合であっても、侵入ドローンを発見し、監視を継続することができる。 According to the configuration of the first invention, since the management device has the first recognition means, it is possible to determine whether or not the object in the image acquired by the camera is a monitoring target without requiring human judgment. Can be done. Then, the management device can calculate the position of the monitoring target by the position calculation means and the principle of triangulation. When the unmanned flight device receives the position information from the management device, it flies toward the position of the monitored target, recognizes the monitored target in the captured image by the second recognition means, and continuously monitors the monitored target by the lock-on means. You can shoot. As a result, even if the intruding drone cannot be visually detected, the intruding drone can be detected and monitoring can be continued.

第二の発明は、第一の発明の構成において、前記カメラは、光軸の方向を変化させて撮影することができるように構成されており、前記管理装置は、前記第一認識手段によって前記監視対象を認識した場合に、少なくとも２台の前記カメラの前記光軸の方向を継続的に前記監視対象の方向に向けるように前記カメラを制御する追尾手段を有し、前記位置算出手段によって、継続的に前記監視対象の位置を算出し、前記位置送信手段によって、前記無人飛行装置に所定の時間間隔において前記位置情報を送信するように構成されている、監視システムである。 The second invention is the configuration of the first invention, wherein the camera is configured to be able to take a picture by changing the direction of the optical axis, and the management device is said by the first recognition means. It has a tracking means for controlling the camera so that the direction of the optical axis of at least two cameras is continuously directed to the direction of the monitoring target when the monitoring target is recognized, and the position calculation means It is a monitoring system configured to continuously calculate the position of the monitoring target and transmit the position information to the unmanned flight device at a predetermined time interval by the position transmitting means.

第二の発明の構成によれば、管理装置は、追尾手段を有するから、カメラを制御して、カメラの光軸を継続的に監視対象の方向に向けることができる。そして、管理装置は、継続的に監視対象の位置を算出し、その位置を示す位置情報を無人飛行装置に送信することができる。これにより、監視対象の位置が変わっても、無人飛行装置は変更後の位置に向かって飛行することができる。 According to the configuration of the second invention, since the management device has the tracking means, it is possible to control the camera and continuously direct the optical axis of the camera toward the monitoring target. Then, the management device can continuously calculate the position of the monitoring target and transmit the position information indicating the position to the unmanned flight device. As a result, even if the position of the monitored object changes, the unmanned flight device can fly toward the changed position.

第三の発明は、第一の発明または第二の発明の構成において、前記管理装置は、乖離した時刻において前記位置算出手段によって算出した前記監視対象の複数の前記位置に基づいて、所定時間後の前記監視対象の位置である第一予測位置を算出する第一予測手段を有し、前記位置送信手段は、前記第一予測位置を示す前記位置情報を送信するように構成されている、監視システムである。 The third invention is the configuration of the first invention or the second invention, in which the management device is after a predetermined time based on a plurality of said positions of the monitored object calculated by the position calculating means at a divergent time. It has a first prediction means for calculating the first prediction position which is the position of the monitoring target, and the position transmission means is configured to transmit the position information indicating the first prediction position. It is a system.

監視対象が移動している場合には、監視対象の過去の位置、あるいは、現在の位置は、未来の位置とは大きく乖離している可能性がある。これに対して、第三の発明の構成によれば、管理装置は、第一予測位置を算出することができるから、無人飛行装置は、監視対象の所定時間後の位置である第一予測位置に向かって飛行することができる。 When the monitored object is moving, the past position or the current position of the monitored object may be significantly different from the future position. On the other hand, according to the configuration of the third invention, since the management device can calculate the first predicted position, the unmanned flight device is the first predicted position which is the position after a predetermined time of the monitoring target. You can fly towards.

第四の発明は、第一の発明乃至第三の発明のいずれかの構成において、前記無人飛行装置は、前記撮影画像における前記監視対象の移動態様と、前記無人飛行装置の位置に基づいて、所定時間後の前記監視対象の位置である第二予測位置を算出する第二予測手段を有し、前記飛行手段は、前記第二予測位置に向かって前記無人飛行装置を飛行させるように構成されている、監視システムである。 The fourth invention is based on any of the configurations of the first invention to the third invention, the unmanned flight device is based on the movement mode of the monitored object in the captured image and the position of the unmanned flight device. It has a second predictive means for calculating a second predictive position, which is the position of the monitored object after a predetermined time, and the flight means is configured to fly the unmanned flight device toward the second predictive position. It is a monitoring system.

第四の発明の構成によれば、無人飛行装置は、監視対象が飛行している現場において、監視対象の所定時間後の位置である第二予測位置に向かって飛行することができる。 According to the configuration of the fourth invention, the unmanned flight apparatus can fly toward the second predicted position, which is the position after a predetermined time of the monitored object, at the site where the monitored object is flying.

第五の発明は、第一の発明乃至第四の発明のいずれかの構成において、前記管理装置は、前記無人飛行装置から現在位置を受信する現在位置受信手段を有し、前記位置送信手段は、前記監視対象の位置と前記現在位置との間の距離が短くなるほど、前記位置情報の送信時間の間隔を短くするように構成されている、監視システムである。 In a fifth aspect of the invention, in any of the configurations of the first invention to the fourth invention, the management device has a current position receiving means for receiving a current position from the unmanned flight device, and the position transmitting means The monitoring system is configured so that the shorter the distance between the position of the monitoring target and the current position, the shorter the interval of the transmission time of the position information.

監視対象と無人飛行装置の距離が相対的に長い場合には、監視対象の位置がわずかに変化しても、無人飛行装置が飛行する方向への影響は小さく、また、監視対象の位置のわずかな変化によって、飛行する方向を調整することは非効率である。この点、第五の発明の構成によれば、監視対象の位置と現在位置との間の距離が短くなるほど、位置情報の送信時間の間隔を短くするように構成されており、無人飛行装置は、監視対象との距離が相対的に長い場合には、相対的に長い時間間隔で位置情報を受信し、その距離が相対的に短い場合には、相対的に短い時間間隔で位置情報を受信することができるから、効率的に監視対象に向かうことができる。 When the distance between the monitored object and the unmanned flight device is relatively long, even a slight change in the position of the monitored object has little effect on the direction in which the unmanned flight device flies, and the position of the monitored object is small. It is inefficient to adjust the direction of flight due to various changes. In this regard, according to the configuration of the fifth invention, the shorter the distance between the position to be monitored and the current position, the shorter the interval of the transmission time of the position information. , When the distance to the monitoring target is relatively long, the position information is received at a relatively long time interval, and when the distance is relatively short, the position information is received at a relatively short time interval. Because it can be done, it is possible to efficiently go to the monitoring target.

第六の発明は、第一の発明乃至第五の発明のいずれかの構成において、前記無人飛行装置は、前記監視対象を認識した場合に、前記監視対象に接近する接近手段を有し、前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段、を有する監視システムである。 The sixth invention, in any of the configurations of the first invention to the fifth invention, said that the unmanned flight apparatus has an approach means for approaching the monitored object when the monitored object is recognized. It is a monitoring system having an electromagnetic wave irradiation means for irradiating a monitoring target with an electromagnetic wave for hindering the normal operation of the control device of the monitoring target.

第六の発明の構成によれば、無人飛行装置は、監視対象に接近し、制御装置の正常な作動を妨げるための電磁波を照射することができる。 According to the configuration of the sixth invention, the unmanned flight device can approach the monitored object and irradiate an electromagnetic wave for interfering with the normal operation of the control device.

第七の発明は、第六の発明の構成において、前記第一認識手段及び／または前記第二認識手段は、前記画像及び／または前記撮影画像に含まれる監視対象の機種を判断するように構成されており、前記無人飛行装置は、前記監視対象の機種ごとに前記制御装置の正常な作動を妨げるのに効果的な周波数である脆弱周波数を示す脆弱周波数情報を有しており、前記電磁波照射手段は、前記脆弱周波数情報に基づいて、前記監視対象に対して前記脆弱周波数における前記電磁波を照射するように構成されている、監視システムである。 The seventh invention is configured in the configuration of the sixth invention so that the first recognition means and / or the second recognition means determines a model to be monitored included in the image and / or the captured image. The unmanned flight device has vulnerable frequency information indicating a fragile frequency which is an effective frequency for interfering with the normal operation of the control device for each model to be monitored, and the electromagnetic wave irradiation. The means is a monitoring system configured to irradiate the monitored object with the electromagnetic wave at the vulnerable frequency based on the vulnerable frequency information.

第七の発明の構成によれば、電磁波照射手段は、監視対象に対して脆弱周波数における電磁波を照射するように構成されているから、相対的に電界強度が弱い電磁波を照射することによって、監視対象の制御装置の正常な作動を妨げることができる。 According to the configuration of the seventh invention, since the electromagnetic wave irradiation means is configured to irradiate the monitored object with an electromagnetic wave at a fragile frequency, the electromagnetic wave is monitored by irradiating the electromagnetic wave with a relatively weak electric field strength. It can interfere with the normal operation of the target controller.

第八の発明は、第六の発明の構成において、前記第一認識手段及び／または前記第二認識手段は、前記画像及び／または前記撮影画像に含まれる監視対象の機種を判断するように構成されており、前記無人飛行装置は、前記監視対象の機種ごとに前記制御装置に含まれる高度センサーの出力を実際の高度よりも高くなるように変更する周波数である特有周波数を示す特有周波数情報を有しており、前記電磁波照射手段は、前記特有周波数情報に基づいて、前記監視対象に対して前記特有周波数における前記電磁波を照射するように構成されている、監視システムである。 The eighth invention is configured in the configuration of the sixth invention so that the first recognition means and / or the second recognition means determines a model to be monitored included in the image and / or the captured image. The unmanned flight device provides specific frequency information indicating a specific frequency, which is a frequency for changing the output of the altitude sensor included in the control device for each model to be monitored so as to be higher than the actual altitude. The electromagnetic wave irradiating means is a monitoring system configured to irradiate the monitoring target with the electromagnetic waves at the specific frequency based on the specific frequency information.

第八の発明の構成によれば、特有周波数における電磁波の照射を受けた監視対象は、実際の高度よりも高い高度を認識し、高度を下げる。これにより、監視対象を着陸に導くことができる。 According to the configuration of the eighth invention, the monitored object irradiated with the electromagnetic wave at the specific frequency recognizes the altitude higher than the actual altitude and lowers the altitude. This makes it possible to guide the monitored object to landing.

第九の発明は、第六の発明の構成において、前記無人飛行装置の前記電磁波照射手段は、前記監視対象の周囲の空間に向けて前記電磁波を照射するように構成されており、前記無人飛行装置は、前記監視対象の実際の飛行方向に応じて前記電磁波の照射方向を変更する監視対象制御手段を有する、監視システムである。 In the ninth aspect of the invention, in the configuration of the sixth invention, the electromagnetic wave irradiating means of the unmanned flight device is configured to irradiate the electromagnetic wave toward the space around the monitored object, and the unmanned flight The device is a monitoring system having a monitoring target control means that changes the irradiation direction of the electromagnetic wave according to the actual flight direction of the monitoring target.

第九の発明の構成によれば、監視対象の実際の飛行方向に応じて電磁波の照射方向を変更することにより、電磁波によって発生する磁界の方向を変更し、監視対象が進行方向の判断基準として依拠する電子コンパスにその磁界を作用させ、監視対象の進行方向を制御することができる。 According to the configuration of the ninth invention, the direction of the magnetic field generated by the electromagnetic wave is changed by changing the irradiation direction of the electromagnetic wave according to the actual flight direction of the monitored object, and the monitored object is used as a criterion for determining the traveling direction. The magnetic field can be applied to the dependent electronic compass to control the traveling direction of the monitored object.

第十の発明は、乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置であって、ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段と、を有する管理装置である。 The tenth invention is a management device having a receiving means for receiving images taken by a plurality of cameras that are arranged apart from each other and take pictures of a common area, and the cameras are provided by artificial intelligence composed of a neural network. In the image received from, the position of the monitoring target is determined based on the first recognition means for recognizing the monitoring target, the position of each camera, and the direction of the monitoring target based on the position of each camera. When the position calculation means to be calculated and the position information indicating the position of the monitoring target are received from the management device, the flight means for flying toward the position indicated by the position information and the outside are photographed to acquire a captured image. A recognition means for recognizing the monitoring target in the captured image by an artificial intelligence composed of the image acquisition means and the neural network, and a lock for continuously photographing the monitoring target when the monitoring target is recognized. It is a management device having a position transmitting means for transmitting the position information to an unmanned flight device having an on means.

第十一の発明は、乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置が、ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識ステップと、各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出ステップと、前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信ステップと、を実施する監視方法である。 In the eleventh invention, a management device having a receiving means for receiving images taken by a plurality of cameras that are arranged apart from each other and take a picture of a common area is provided from the camera by artificial intelligence composed of a neural network. In the received image, the position of the monitoring target is calculated based on the first recognition step of recognizing the monitoring target, the position of each camera, and the direction of the monitoring target based on the position of each camera. When the position calculation step to be performed and the position information indicating the position of the monitoring target are received from the management device, the flight means for flying toward the position indicated by the position information and the outside are photographed to acquire a photographed image. A recognition means that recognizes the monitoring target in the captured image by an image acquisition means and artificial intelligence composed of a neural network, and a lock-on that continuously captures the monitoring target when the monitoring target is recognized. It is a monitoring method that carries out a position transmission step of transmitting the position information to an unmanned flight apparatus having the means.

第十二の発明は、乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置を制御するコンピュータを、ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段、各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段、前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段、として機能させるためのコンピュータプログラムである。 The twelfth invention uses artificial intelligence composed of a neural network to control a computer having a receiving means for receiving images taken by a plurality of cameras that are arranged apart from each other and take a picture of a common area. In the image received from the camera, the monitoring target is based on the first recognition means for recognizing the monitoring target, the position of each camera, and the direction of the monitoring target based on the position of each camera. A position calculation means for calculating a position, a flight means for flying toward a position indicated by the position information when receiving position information indicating a position to be monitored from the management device, and an image taken by photographing the outside. When the image acquisition means to be acquired and the artificial intelligence composed of the neural network recognize the monitoring target in the captured image and the monitoring target is recognized, the monitoring target is continuously photographed. It is a computer program for making an unmanned flight apparatus having a lock-on means function as a position transmitting means for transmitting the position information.

以上のように、本発明によれば、侵入ドローンを目視によって発見できない場合であっても、侵入ドローンを発見し、監視を継続することができる。 As described above, according to the present invention, even when the intruding drone cannot be visually detected, the intruding drone can be found and the monitoring can be continued.

本発明の第一の実施形態の概要を示す図である。It is a figure which shows the outline of the 1st Embodiment of this invention. 本発明の第一の実施形態の概要を示す図である。It is a figure which shows the outline of the 1st Embodiment of this invention. 本発明の第一の実施形態の概要を示す図である。It is a figure which shows the outline of the 1st Embodiment of this invention. 本発明の第一の実施形態の概要を示す図である。It is a figure which shows the outline of the 1st Embodiment of this invention. 本発明の第一の実施形態の概要を示す図である。It is a figure which shows the outline of the 1st Embodiment of this invention. 管理装置の機能ブロックを示す概略図である。It is the schematic which shows the functional block of a management device. ニューラルネットワークを説明するための概念図である。It is a conceptual diagram for explaining a neural network. 機械学習の工程の一例を示す概略フローチャートである。It is a schematic flowchart which shows an example of the machine learning process. ２台のカメラからの画像によって監視対象の位置を算出する方法を説明するための概念図である。It is a conceptual diagram for demonstrating the method of calculating the position of a monitoring target by the image from two cameras. 位置情報送信の時間間隔の一例を示す図である。It is a figure which shows an example of the time interval of the position information transmission. 無人飛行装置の構成を示す概略図である。It is the schematic which shows the structure of the unmanned flight apparatus. 無人飛行装置の構成を示す概略図である。It is the schematic which shows the structure of the unmanned flight apparatus. 無人飛行装置の機能ブロックを示す概略図である。It is the schematic which shows the functional block of an unmanned flight apparatus. 監視対象のドローンにおける信号または電力が流れる主な構成の一例を示す図である。It is a figure which shows an example of the main configuration in which a signal or electric power flows in a drone to be monitored. 監視システムの処理を示す概略フローチャートである。It is a schematic flowchart which shows the process of a monitoring system. 監視システムの処理を示す概略フローチャートである。It is a schematic flowchart which shows the process of a monitoring system. 本発明の第二の実施形態の概要を示す図である。It is a figure which shows the outline of the 2nd Embodiment of this invention. 本発明の第二の実施形態の概要を示す図である。It is a figure which shows the outline of the 2nd Embodiment of this invention. 本発明の第三の実施形態の脆弱周波数情報を示す概略図である。It is the schematic which shows the fragile frequency information of the 3rd Embodiment of this invention. 監視システムの処理を示す概略フローチャートである。It is a schematic flowchart which shows the process of a monitoring system. 本発明の第四の実施形態の特有周波数情報を示す概略図である。It is the schematic which shows the peculiar frequency information of the 4th Embodiment of this invention. 監視システムの処理を示す概略フローチャートである。It is a schematic flowchart which shows the process of a monitoring system. 本発明の第五の実施形態の概要を示す図である。It is a figure which shows the outline of the 5th Embodiment of this invention. 監視システムの処理を示す概略フローチャートである。It is a schematic flowchart which shows the process of a monitoring system.

＜第一の実施形態＞
以下、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以下の説明においては、同様の構成には同じ符号を付し、その説明を省略又は簡略する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。<First Embodiment>
Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as embodiments) will be described in detail. In the following description, the same reference numerals are given to similar configurations, and the description thereof will be omitted or abbreviated. The description of the configuration that can be appropriately implemented by those skilled in the art will be omitted, and only the basic configuration of the present invention will be described.

図１乃至図５を参照して、監視システム１００の概要を説明する。監視システム１００は、複数のカメラ、管理装置及び無人飛行体（以下、「無人機」という。）で構成される。具体的には、監視システム１００は、カメラ１５０Ａ及び１５０Ｂ、管理装置３００及び無人機１から構成される。監視システム１００は、建物１２０Ａ〜１２０Ｃが存在する領域Ａ１の上空に侵入する不審物を監視するための監視システムである。このような不審物が監視対象である。本実施形態において、監視対象は、領域Ａ１に侵入が許されていない無人飛行体２０１（以下、「侵入ドローン２０１」という。）である。 The outline of the monitoring system 100 will be described with reference to FIGS. 1 to 5. The surveillance system 100 is composed of a plurality of cameras, a management device, and an unmanned aerial vehicle (hereinafter, referred to as "unmanned aerial vehicle"). Specifically, the monitoring system 100 includes cameras 150A and 150B, a management device 300, and an unmanned aerial vehicle 1. The monitoring system 100 is a monitoring system for monitoring a suspicious object that invades the sky above the area A1 in which the buildings 120A to 120C exist. Such suspicious objects are to be monitored. In the present embodiment, the monitoring target is an unmanned aerial vehicle 201 (hereinafter referred to as "invasion drone 201") that is not allowed to invade the area A1.

カメラ１５０Ａ等は、複数であればよく、２台に限定されない。また、無人機１は、１台以上であればよく、１台に限定されない。さらに、管理装置３００は、１装置以上であればよく、１装置に限定されない。 The number of cameras 150A and the like may be plural, and is not limited to two. Further, the number of the unmanned aerial vehicle 1 may be one or more, and the number is not limited to one. Further, the management device 300 may be one or more devices, and is not limited to one device.

カメラ１５０Ａと１５０Ｂは、互いに乖離して配置されている。カメラ１５０Ａと１５０Ｂは、水平方向において少なくとも５メートル（ｍｅｔｅｒ）以上離れた位置に配置されている。カメラ１５０Ａは建物１２０Ａの屋上に配置され、カメラ１５０Ｂは建物１２０Ｃの屋上に配置されている。そして、カメラ１５０Ａと１５０Ｂは、それぞれ、領域Ａ１の上空の全体を撮影可能に構成されている。また、カメラ１５０Ａ及び１５０Ｂは、それぞれの光軸ＬＡ１及びＬＢ１の方向の制御によって、共通の領域を撮影可能に構成されている。カメラ１５０Ａ及び１５０Ｂは、領域Ａ１内に侵入ドローン２０１が侵入すると、双方のカメラ１５０Ａ等によって、同時に侵入ドローン２０１を撮影するように構成されている。後述のように、カメラ１５０Ａ等によって同時に撮影された侵入ドローン２０１の画像が、侵入ドローン２０１の位置の算出の基礎となる。 The cameras 150A and 150B are arranged so as to be separated from each other. The cameras 150A and 150B are located at least 5 meters apart in the horizontal direction. The camera 150A is arranged on the roof of the building 120A, and the camera 150B is arranged on the roof of the building 120C. The cameras 150A and 150B are configured to be capable of photographing the entire sky above the region A1, respectively. Further, the cameras 150A and 150B are configured to be capable of photographing a common area by controlling the directions of the respective optical axes LA1 and LB1. The cameras 150A and 150B are configured to simultaneously photograph the intruding drone 201 by both cameras 150A and the like when the intruding drone 201 invades the area A1. As will be described later, the image of the intruding drone 201 taken at the same time by the camera 150A or the like is the basis for calculating the position of the intruding drone 201.

管理装置３００は、コンピュータを構成要素とし、カメラ１５０Ａ及び１５０Ｂと通信可能であり、カメラ１５０Ａ等が撮影して取得した画像を受信する。また、管理装置３００は、カメラ１５０Ａ等の位置を記憶しており、カメラ１５０Ａ等の光軸の方向を示す情報を受信する。管理装置３００は、カメラ１５０Ａ等の光軸の方向などの作動を制御する。 The management device 300 has a computer as a component, can communicate with the cameras 150A and 150B, and receives an image captured and acquired by the camera 150A and the like. Further, the management device 300 stores the position of the camera 150A or the like, and receives information indicating the direction of the optical axis of the camera 150A or the like. The management device 300 controls the operation of the camera 150A and the like in the direction of the optical axis.

管理装置３００は、無人機１と通信可能であり、無人機１に侵入ドローン２０１の位置を示す位置情報を送信する。また、管理装置３００は、無人機１から無人機１の現在位置を示す現在位置情報を受信する。 The management device 300 can communicate with the unmanned aerial vehicle 1, and transmits the position information indicating the position of the intruding drone 201 to the unmanned aerial vehicle 1. Further, the management device 300 receives the current position information indicating the current position of the unmanned aerial vehicle 1 from the unmanned aerial vehicle 1.

無人機１は、プロペラの回転によって推力を得て、所定の経路を自律飛行する無人飛行体であり、無人飛行装置の一例である。無人機１は、管理装置３００の位置に待機しており、管理装置３００から侵入ドローン２０１の位置を示す位置情報を受信すると、位置情報に示される位置に向かって飛行し、侵入ドローン２０１に接近し、電磁波を照射して制御を妨げるように構成されている。なお、制御の妨げ方は、電磁波の照射に限定されず、例えば、侵入ドローン２０１に網をからめて飛行不能にするなどでもよい。 The unmanned aerial vehicle 1 is an unmanned aerial vehicle that obtains thrust by rotating a propeller and autonomously flies on a predetermined route, and is an example of an unmanned aerial vehicle. The unmanned aerial vehicle 1 stands by at the position of the management device 300, and when it receives the position information indicating the position of the intruding drone 201 from the management device 300, it flies toward the position indicated in the position information and approaches the intruding drone 201. However, it is configured to irradiate electromagnetic waves to interfere with control. The method of hindering the control is not limited to the irradiation of electromagnetic waves, and for example, the intrusion drone 201 may be entwined with a net to make it impossible to fly.

図１に示すように、カメラ１５０Ａ及び１５０Ｂは、それぞれ、光軸ＬＡ１及びＬＢ１を有し、所定の撮影範囲として、撮影範囲ＳＡ１及びＳＢ１が規定されている。カメラ１５０Ａ等は、相対的に高倍率で、画角（視野角）は狭く設定されている。例えば、カメラ１５０Ａ等は望遠レンズを使用しており、画角（視野角）は１０度乃至１５度である。これは、カメラ１５０Ａ及び１５０Ｂが外部を撮影する目的が、侵入ドローン２０１の発見のみならず、侵入ドローン２０１の位置を算出するための基礎となる画像を取得することだからである。相対的に画角が狭いことによって、画像中の侵入ドローン２０１の方向を精度よく判断することができる。すなわち、カメラ１５０Ａ等の光軸ＬＡ１等の方向と、撮影した画像中における侵入ドローン２０１の位置、すなわち、侵入ドローン２０１が投影されている画素の位置によって、カメラ１５０Ａ等の光軸ＬＡ１等と侵入ドローン２０１の方向の乖離を算出し、カメラ１５０Ａ等を基準とする侵入ドローン２０１の方向を算出できるのであるが、光軸ＬＡ１等と侵入ドローン２０１の方向の乖離が小さいほど、精度よく、画像中の侵入ドローン２０１の方向を判断することができる。 As shown in FIG. 1, the cameras 150A and 150B have optical axes LA1 and LB1, respectively, and the shooting ranges SA1 and SB1 are defined as predetermined shooting ranges. The camera 150A and the like have a relatively high magnification and a narrow angle of view (viewing angle). For example, the camera 150A or the like uses a telephoto lens, and the angle of view (viewing angle) is 10 to 15 degrees. This is because the purpose of the cameras 150A and 150B to photograph the outside is not only to find the intruding drone 201 but also to acquire an image that is a basis for calculating the position of the intruding drone 201. Since the angle of view is relatively narrow, the direction of the intrusion drone 201 in the image can be accurately determined. That is, depending on the direction of the optical axis LA1 and the like of the camera 150A and the like and the position of the intruding drone 201 in the captured image, that is, the position of the pixel on which the invading drone 201 is projected, the intrusion drone and the optical axis LA1 and the like of the camera 150A and the like are invaded. The deviation of the direction of the drone 201 can be calculated and the direction of the intruding drone 201 based on the camera 150A or the like can be calculated. The direction of the intrusion drone 201 can be determined.

カメラ１５０Ａ等は、光軸ＬＡ１等を下方以外の全方向に制御可能であり、例えば、矢印ｘ１方向に示す水平方向の方位角及び矢印ｙ１に示す仰俯角を連続的に変更しつつ、領域Ａ１の上空を監視するように構成されている。ただし、管理装置３００が画像中に侵入ドローンが認識した場合には、管理装置３００からの制御によって、カメラ１５０Ａ等の光軸は侵入ドローン２０１の方向に固定される（ロックオンされる）。カメラ１５０Ａ等は、撮影して取得した画像を管理装置３００に送信する。 The camera 150A or the like can control the optical axis LA1 or the like in all directions other than the downward direction. For example, the area A1 while continuously changing the horizontal azimuth indicated by the arrow x1 and the elevation / depression angle indicated by the arrow y1. It is configured to monitor the sky. However, when the management device 300 recognizes the intruder drone in the image, the optical axis of the camera 150A or the like is fixed (locked on) in the direction of the intrusion drone 201 by the control from the management device 300. The camera 150A or the like transmits the captured and acquired image to the management device 300.

図２に示すように、侵入ドローン２０１が領域Ａ１の上空へ侵入し、例えば、カメラ１５０Ｂによって撮影されると、カメラ１５０Ｂから画像を受信した管理装置３００は画像中の侵入ドローン２０１を認識する。そして、図３に示すように、管理装置３００は、カメラ１５０Ｂの光軸ＬＢ１を侵入ドローン２０１の方向に固定し、また、他のカメラ１５０Ａの光軸ＬＡ１を制御して、カメラ１５０Ａでも侵入ドローン２０１を撮影するようにする。これにより、カメラ１５０Ａ及び１５０Ｂの双方で侵入ドローン２０１を撮影することになる。 As shown in FIG. 2, when the intruding drone 201 invades the sky above the area A1 and is photographed by, for example, the camera 150B, the management device 300 that receives the image from the camera 150B recognizes the intruding drone 201 in the image. Then, as shown in FIG. 3, the management device 300 fixes the optical axis LB1 of the camera 150B in the direction of the intrusion drone 201, and also controls the optical axis LA1 of the other camera 150A, so that the intrusion drone is also in the camera 150A. Let's shoot 201. As a result, the intrusion drone 201 will be photographed by both the cameras 150A and 150B.

管理装置３００は、カメラ１５０Ａ及び１５０Ｂを結ぶ線分と、カメラ１５０Ａの位置を基準とする侵入ドローン２０１の方向、及び、カメラ１５０Ｂの位置を基準とする侵入ドローン２０１の方向に基づいて、侵入ドローン２０１の位置Ｐｓを算出する。 The management device 300 is an intrusion drone based on a line segment connecting the cameras 150A and 150B, the direction of the intrusion drone 201 based on the position of the camera 150A, and the direction of the intrusion drone 201 based on the position of the camera 150B. The position Ps of 201 is calculated.

管理装置３００は、算出した位置を示す位置情報を無人機１へ無線送信する。図４に示すように、位置情報を受信した無人機１は、侵入ドローン２０１の位置Ｐｓへ向かって飛行する。無人機１には、カメラが配置されており、カメラで撮影して取得した撮影画像中に侵入ドローン２０１を認識すると、図５に示すように、侵入ドローン２０１に接近し、電磁波Ｅを照射するように構成されている。電磁波Ｅによって、侵入ドローン２０１の制御装置の正常な作動を妨げる。 The management device 300 wirelessly transmits the position information indicating the calculated position to the unmanned aerial vehicle 1. As shown in FIG. 4, the unmanned aerial vehicle 1 that has received the position information flies toward the position Ps of the intrusion drone 201. A camera is arranged in the unmanned aerial vehicle 1, and when the intruder drone 201 is recognized in the captured image taken by the camera, it approaches the intruder drone 201 and irradiates the electromagnetic wave E as shown in FIG. It is configured as follows. The electromagnetic wave E interferes with the normal operation of the control device of the intrusion drone 201.

以下、管理装置３００の構成を説明する。図６に示すように、管理装置３００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０２、記憶部３０４、無線通信部３０６、及び、電源部３０８を有する。 Hereinafter, the configuration of the management device 300 will be described. As shown in FIG. 6, the management device 300 includes a CPU (Central Processing Unit) 302, a storage unit 304, a wireless communication unit 306, and a power supply unit 308.

管理装置３００は、無線通信部３０６によって、外部と通信可能になっている。管理装置３００は、無線通信部３０６によって、カメラ１５０Ａ等及び無人機１と通信する。 The management device 300 can communicate with the outside by the wireless communication unit 306. The management device 300 communicates with the camera 150A and the like and the unmanned aerial vehicle 1 by the wireless communication unit 306.

記憶部３０４には、コンピュータを作動させるための各種データ及びプログラム等が格納されている。記憶部３０４には、また、カメラ１５０Ａ及び１５０Ｂが配置されている位置が記憶されている。記憶部３０４には、さらに、カメラ１５０Ａ及び１５０Ｂの光軸ＬＡ１及びＬＢ１の方向が記憶されている。詳細には、管理装置３００は、カメラ１５０Ａ等から変化する光軸ＬＡ等の方向を示す情報を継続的に受信し、記憶部３０４に格納している。 The storage unit 304 stores various data, programs, and the like for operating the computer. The storage unit 304 also stores the positions where the cameras 150A and 150B are arranged. The storage unit 304 further stores the directions of the optical axes LA1 and LB1 of the cameras 150A and 150B. Specifically, the management device 300 continuously receives information indicating the direction of the optical axis LA or the like that changes from the camera 150A or the like, and stores the information in the storage unit 304.

記憶部３０４には、また、学習プログラム、第一認識プログラム、追尾プログラム、位置算出プログラム、位置送信プログラム、及び、現在位置受信プログラムが格納されている。ＣＰＵ３０２と学習プログラムは、学習手段の一例である。ＣＰＵ３０２と第一認識プログラムは、第一認識手段の一例である。ＣＰＵ３０２と追尾プログラムは、追尾手段の一例である。ＣＰＵ３０２と位置算出プログラムは、位置算出手段の一例である。ＣＰＵ３０２と位置送信プログラムは、位置送信手段の一例である。ＣＰＵ３０２と現在位置受信プログラムは、現在位置受信手段の一例である。 The storage unit 304 also stores a learning program, a first recognition program, a tracking program, a position calculation program, a position transmission program, and a current position reception program. The CPU 302 and the learning program are examples of learning means. The CPU 302 and the first recognition program are examples of the first recognition means. The CPU 302 and the tracking program are examples of tracking means. The CPU 302 and the position calculation program are examples of the position calculation means. The CPU 302 and the position transmission program are examples of the position transmission means. The CPU 302 and the current position receiving program are examples of the current position receiving means.

管理装置３００は、学習プログラムによって、ドローンを撮影した多数の画像を学習する。そして、画像中のオブジェクトがドローンであることを認識するためのニューラルネットワークを生成し、記憶部３０４に記憶する。 The management device 300 learns a large number of images of the drone by the learning program. Then, a neural network for recognizing that the object in the image is a drone is generated and stored in the storage unit 304.

図７及び図８を参照して、学習方法（機械学習の工程）の概略を説明する。学習用データとして多数の画像データ（Ｉｍａｇｅ ｄａｔａ）をコンピュータのニューラルネットワークのモデル（図７参照）に入力すると（図８のステップＳ１）、ニューラルネットワークのアルゴリズムによって学習が実施される（ステップＳ２）。学習用データは、様々な種類の様々な態様のドローンが映ったデータであり、同一のドローンを近接した距離（例えば、３メートル（ｍ）の距離）から視た画像、遠く離れた距離（例えば、２００メートル（ｍ）の距離）など、様々な距離から視た画像、及び、ドローンの部品や一部の画像を含む。 The outline of the learning method (machine learning process) will be described with reference to FIGS. 7 and 8. When a large amount of image data (Image data) is input to a computer neural network model (see FIG. 7) as training data (step S1 in FIG. 8), training is performed by the neural network algorithm (step S2). The training data is data showing various types of drones in various modes, such as an image of the same drone viewed from a close distance (for example, a distance of 3 meters (m)), and a distant distance (for example). , 200 meters (m) distance), and includes images viewed from various distances, as well as drone parts and some images.

ニューラルネットワークのモデルは、例えば、図７に概念的に示すニューラルネットワークである。なお、ニューラルネットワークやディープラーニングは周知なので、本明細書においては概説に留める。ニューラルネットワークは、入力層（Ｉｎｐｕｔ Ｌａｙｅｒ）、１階層以上の隠れ層（Ｈｉｄｄｅｎ ｌａｙｅｒ）、及び、出力層（Ｏｕｔｐｕｔ ｌａｙｅｒ）で構成される。図７には、隠れ層は１階層のみ示しているが、実際には、隠れ層は複数階層である。すなわち、本実施形態の学習は、多層のニューラルネットワーク（ディープニューラルネットワーク、Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）による機械学習（ディープラーニング）である。 The model of the neural network is, for example, the neural network conceptually shown in FIG. Since neural networks and deep learning are well known, they are only outlined in this specification. The neural network is composed of an input layer (Input Layer), one or more hidden layers (Hidden layer), and an output layer (Output layer). Although FIG. 7 shows only one hidden layer, the number of hidden layers is actually a plurality of layers. That is, the learning of the present embodiment is machine learning (deep learning) by a multi-layer neural network (deep neural network, Deep Natural Network).

ニューラルネットワークにおいて、隠れ層及び出力層に入力する入力値には、例えば、重みｗ１a等の重みが設定されている。また、隠れ層及び出力層において、バイアス（閾値）Ｂ１等が設定されている。機械学習において、隠れ層及び出力層に入力する入力値の重みｗ１ａ等と、隠れ層及び出力層におけるバイアス（閾値）Ｂ１等を調整することによって、出力層からの出力が正解に近づくようにしていく。学習の結果、学習結果データとして、重みとバイアスが調整されたニューラルネットワークが生成される（図８のステップＳ３）。この学習によって、画像中のオブジェクトがドローンである場合には、ドローンであることを精度よく認識するためのニューラルネットワークが生成される。このニューラルネットワークによって、画像中のオブジェクトがドローンの全体ではなく、ドローンの一部（例えば、ドローンのプロペラや通信用のアンテナ）であっても、ドローンであると認識することができる。 In the neural network, a weight such as a weight w1a is set for the input value input to the hidden layer and the output layer. Further, a bias (threshold value) B1 or the like is set in the hidden layer and the output layer. In machine learning, by adjusting the weight w1a of the input value input to the hidden layer and the output layer and the bias (threshold value) B1 etc. in the hidden layer and the output layer, the output from the output layer approaches the correct answer. go. As a result of learning, a neural network in which weights and biases are adjusted is generated as learning result data (step S3 in FIG. 8). By this learning, when the object in the image is a drone, a neural network for accurately recognizing that it is a drone is generated. With this neural network, even if the object in the image is not the whole drone but a part of the drone (for example, the propeller of the drone or the antenna for communication), it can be recognized as a drone.

管理装置３００は、第一認識プログラムによって、カメラ１５０Ａ等から受信した画像において、侵入ドローン２０１を認識する。侵入ドローン２０１の認識は、上述のニューラルネットワークによって実施する。 The management device 300 recognizes the intruder drone 201 in the image received from the camera 150A or the like by the first recognition program. Recognition of the intrusion drone 201 is carried out by the above-mentioned neural network.

管理装置３００は、第一認識プログラムによって、いずれかのカメラ１５０Ａ等から受信した画像において、侵入ドローン２０１を認識すると、追尾プログラムによって、複数のカメラ１５０Ａ等によって、侵入ドローン２０１を撮影するように構成されている。 When the management device 300 recognizes the intruder drone 201 in the image received from any of the cameras 150A or the like by the first recognition program, the management device 300 is configured to shoot the intruder drone 201 by the plurality of cameras 150A or the like by the tracking program. Has been done.

本明細書において、最初に侵入ドローン２０１を撮影したカメラ１５０Ａ等を「第一カメラ」と呼ぶ。図２に示すように、カメラ１５０Ｂが最初に侵入ドローン２０１を撮影した場合には、管理装置３００は、第一認識プログラムによって、最初にカメラ１５０Ｂから受信した画像において、侵入ドローン２０１を認識する。この場合、カメラ１５０Ｂが第一カメラである。管理装置３００は、第一カメラであるカメラ１５０Ｂの光軸ＬＢ１の方向を侵入ドローン２０１の方向へ継続的に一致させる（以下、この制御を「ロックオン」という。）。 In the present specification, the camera 150A or the like that first captured the intrusion drone 201 is referred to as a "first camera". As shown in FIG. 2, when the camera 150B first captures the intruder drone 201, the management device 300 recognizes the intruder drone 201 in the image first received from the camera 150B by the first recognition program. In this case, the camera 150B is the first camera. The management device 300 continuously matches the direction of the optical axis LB1 of the camera 150B, which is the first camera, with the direction of the intrusion drone 201 (hereinafter, this control is referred to as “lock-on”).

具体的には、管理装置３００は、カメラ１５０Ｂから受信した画像において、侵入ドローン２０１が画像の中心位置の画素から乖離すると、その乖離を相殺し、侵入ドローン２０１が撮影画像の中心位置に戻るようにカメラ１５０Ｂの光軸ＬＢ１の方向を制御する。 Specifically, in the image received from the camera 150B, when the intrusion drone 201 deviates from the pixel at the center position of the image, the management device 300 cancels the deviation and causes the intrusion drone 201 to return to the center position of the captured image. Controls the direction of the optical axis LB1 of the camera 150B.

また、管理装置３００は、追尾プログラムによって、第一カメラ以外のカメラであるカメラ１５０Ａの光軸ＬＡ１の方向を侵入ドローン２０１の方向へ継続的に一致させる制御を実施する。管理装置３００は、カメラ１５０Ｂの光軸ＬＢ１の方向を示す情報を受信している。侵入ドローン２０１は、カメラ１５０Ｂの撮影範囲ＳＢ１（図１参照）内に位置する。管理装置３００は、カメラ１５０Ａの撮影範囲ＳＡ１（図１参照）を撮影範囲ＳＢ１と重複させた状態において、カメラ１５０Ａの光軸ＬＡ１を変化させる（以下、「重複走査」という。）。管理装置３００は、カメラ１５０Ａが撮影した画像中に侵入ドローン２０１を認識すると、カメラ１５０Ａについて、上述のロックオンを実施する。 Further, the management device 300 continuously controls the direction of the optical axis LA1 of the camera 150A, which is a camera other than the first camera, to the direction of the intrusion drone 201 by the tracking program. The management device 300 receives information indicating the direction of the optical axis LB1 of the camera 150B. The intrusion drone 201 is located within the shooting range SB1 (see FIG. 1) of the camera 150B. The management device 300 changes the optical axis LA1 of the camera 150A in a state where the shooting range SA1 (see FIG. 1) of the camera 150A overlaps with the shooting range SB1 (hereinafter, referred to as “overlapping scanning”). When the management device 300 recognizes the intruder drone 201 in the image captured by the camera 150A, the management device 300 performs the above-mentioned lock-on on the camera 150A.

なお、本実施形態のように、管理装置３００がカメラ１５０Ａ及び１５０Ｂの光軸ＬＡ１及びＬＢ１を直接的に制御してもよいし、本実施形態とは異なり、管理装置３００はロックオンを開始する指示をカメラ１５０Ａ及びカメラ１５０Ｂに送信し、カメラ１５０Ａ及びカメラ１５０Ｂがその記憶装置に記憶されたプログラムによって、それぞれ、光軸ＬＡ１及び光軸ＬＢ１を制御してロックオンを実施するように構成してもよい。また、管理装置３００は、第一カメラ以外のカメラに重複走査の指示を送信し、第一カメラ以外のカメラがその記憶装置に記憶されたプログラムによって、重複走査を実施するように構成してもよい。 As in the present embodiment, the management device 300 may directly control the optical axes LA1 and LB1 of the cameras 150A and 150B, and unlike the present embodiment, the management device 300 starts lock-on. The instruction is transmitted to the camera 150A and the camera 150B, and the camera 150A and the camera 150B are configured to control the optical axis LA1 and the optical axis LB1, respectively, by a program stored in the storage device to perform lock-on. It is also good. Further, the management device 300 may be configured to transmit an instruction for duplicate scanning to a camera other than the first camera and perform duplicate scanning by a program stored in the storage device for the cameras other than the first camera. good.

カメラ１５０Ａとカメラ１５０Ｂによって、ロックオンが実施されると、双方のカメラ１５０Ａ等が撮影した画像に継続的に侵入ドローン２０１が投影される状態が達成される。 When the lock-on is performed by the camera 150A and the camera 150B, a state in which the intrusion drone 201 is continuously projected on the images taken by both cameras 150A and the like is achieved.

管理装置３００は、位置算出プログラムによって、カメラ１５０Ａ及び１５０Ｂの位置と、各カメラ１５０Ａ及び１５０Ｂの位置を基準とする侵入ドローン２０１の方向に基づいて、侵入ドローン２０１の位置を算出する。 The management device 300 calculates the position of the intrusion drone 201 based on the positions of the cameras 150A and 150B and the direction of the intrusion drone 201 based on the positions of the cameras 150A and 150B by the position calculation program.

図９を参照して、侵入ドローン２０１の位置の算出方法を概説する。カメラ１５０Ａ及び１５０Ｂは、それぞれ、基部１５０ａ及びカメラ本体部１５０ｂで構成される。カメラ本体部１５０ｂは、基部１５０ａに対して、下方以外の全方向に回転可能に構成されている。 The method of calculating the position of the intrusion drone 201 will be outlined with reference to FIG. The cameras 150A and 150B are composed of a base portion 150a and a camera body portion 150b, respectively. The camera body 150b is configured to be rotatable with respect to the base 150a in all directions except downward.

上述のように、カメラ１５０Ａ及び１５０Ｂは、それぞれ、建物１２０Ａ及び１２０Ｃの屋上に固定されている。管理装置３００は、カメラ１５０Ａ及び１５０Ｂの位置を記憶部３０４に記憶している。したがって、管理装置３００はカメラ１５０Ａとカメラ１５０Ｂとの間の距離Ｌ１も記憶しているか、あるいは、算出可能である。距離Ｌ１は、三角測量のベースラインとなるから、「ベースラインＬ１」とも呼ぶ。侵入ドローン２０１の位置を位置Ｐｓとし、カメラ１５０Ａの光軸ＬＡ１がカメラ１５０Ａと位置Ｐｓとを結ぶ線分の方向と一致しており、カメラ１５０Ｂの光軸ＬＢ１がカメラ１５０Ｂと位置Ｐｓとを結ぶ線分の方向と一致しているものとする。ベースラインＬ１の両端の位置、カメラ１５０Ａの位置を基準とするベースラインＬ１に対する光軸ＬＡ１の角度θ１、及び、カメラ１５０Ｂの位置を基準とするベースラインＬ１に対する光軸ＬＢ１の角度θ２によって、三角測量の原理によって、位置Ｐｓの座標を算出することができる。三角測量の原理は周知であるから、その詳細な説明は省略する。管理装置３００は、継続的に位置Ｐｓを算出している。 As described above, the cameras 150A and 150B are fixed to the rooftops of the buildings 120A and 120C, respectively. The management device 300 stores the positions of the cameras 150A and 150B in the storage unit 304. Therefore, the management device 300 also stores or can calculate the distance L1 between the camera 150A and the camera 150B. Since the distance L1 is the baseline for triangulation, it is also called "baseline L1". The position of the intrusion drone 201 is defined as the position Ps, the optical axis LA1 of the camera 150A coincides with the direction of the line segment connecting the camera 150A and the position Ps, and the optical axis LB1 of the camera 150B connects the camera 150B and the position Ps. It is assumed that the direction of the line segment is the same. Triangulation by the positions of both ends of the baseline L1, the angle θ1 of the optical axis LA1 with respect to the baseline L1 based on the position of the camera 150A, and the angle θ2 of the optical axis LB1 with respect to the baseline L1 based on the position of the camera 150B. The coordinates of the position Ps can be calculated by the principle of surveying. Since the principle of triangulation is well known, a detailed description thereof will be omitted. The management device 300 continuously calculates the position Ps.

管理装置３００は、位置送信プログラムによって、侵入ドローン２０１の位置Ｐｓを示す位置情報を無人機１へ送信する。管理装置３００は、所定の時間間隔において、位置情報を無人機１へ送信する。これにより、無人機１は、飛行中において、侵入ドローン２０１の位置が変化しても、変化後の位置を示す位置情報を受信することができる。位置情報を受信した無人機１は、その位置情報に示される位置に向かって飛行し、無人機１自体の現在位置の測位を行う。 The management device 300 transmits the position information indicating the position Ps of the intruding drone 201 to the unmanned aerial vehicle 1 by the position transmission program. The management device 300 transmits the position information to the unmanned aerial vehicle 1 at predetermined time intervals. As a result, even if the position of the intruding drone 201 changes during flight, the unmanned aerial vehicle 1 can receive position information indicating the changed position. The unmanned aerial vehicle 1 that has received the position information flies toward the position indicated in the position information, and positions the current position of the unmanned aerial vehicle 1 itself.

管理装置３００は、現在位置受信プログラムによって、無人機１から無人機１の現在位置を示す現在位置情報を受信する。 The management device 300 receives the current position information indicating the current position of the unmanned aerial vehicle 1 from the unmanned aerial vehicle 1 by the current position receiving program.

管理装置３００は、無人機１から現在位置情報を受信すると、管理装置３００は、位置送信プログラムによって、侵入ドローン２０１の位置Ｐｓと無人機１の現在位置との間の距離を算出する。侵入ドローン２０１の位置Ｐｓを示す位置情報の送信のための時間間隔は、例えば、図１０に示すように、距離Ｄが１０００メートル（ｍｅｔｅｒ）以上のときには３０秒（ｓｅｃｏｎｄ）ごと、距離Ｄが７００メートル以上１０００メートル未満のときには２０秒ごと、というように、位置Ｐｓと無人機１の現在位置との間の距離Ｄが短くなるほど、位置Ｐｓを示す位置情報の送信時間の間隔を短くするように構成されている。これにより、無人機１は、侵入ドローン２０１との距離が相対的に長い場合には、侵入ドローン２０１の微細な方向転換に惑わされずに、侵入ドローン２０１に向かうことができ、侵入ドローン２０１との距離が相対的に短い場合には、侵入ドローン２０１の実際の動きに応じて確実に侵入ドローン２０１に向かうことができる。 When the management device 300 receives the current position information from the unmanned aerial vehicle 1, the management device 300 calculates the distance between the position Ps of the intruding drone 201 and the current position of the unmanned aerial vehicle 1 by the position transmission program. As shown in FIG. 10, the time interval for transmitting the position information indicating the position Ps of the intruding drone 201 is, for example, every 30 seconds (second) when the distance D is 1000 meters (meter) or more, and the distance D is 700. The shorter the distance D between the position Ps and the current position of the unmanned aircraft 1, the shorter the interval of the transmission time of the position information indicating the position Ps, such as every 20 seconds when the distance is more than a meter and less than 1000 meters. It is configured. As a result, when the distance to the intruder drone 201 is relatively long, the unmanned aerial vehicle 1 can head toward the intruder drone 201 without being confused by the minute change of direction of the intruder drone 201. When the distance is relatively short, it is possible to reliably head toward the intrusion drone 201 according to the actual movement of the intrusion drone 201.

以下、無人機１の構成を説明する。図１１に示すように、無人機１は、筐体２を有する。筐体２には、コンピュータで構成される自律飛行装置、無線通信装置、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの航法衛星システムからの測位用電波を利用する測位装置、及び、バッテリーが配置されている。自律飛行装置は、慣性センサー、電子コンパス、気圧センサーを含む。また、筐体２には、固定装置１２を介して、カメラ１４が配置されている。 Hereinafter, the configuration of the unmanned aerial vehicle 1 will be described. As shown in FIG. 11, the unmanned aerial vehicle 1 has a housing 2. In the housing 2, an autonomous flight device composed of a computer, a wireless communication device, a positioning device that uses radio waves for positioning from a navigation satellite system such as GPS (Global Positioning System), and a battery are arranged. Autonomous flight devices include inertial sensors, electronic compasses, and barometric pressure sensors. Further, a camera 14 is arranged in the housing 2 via a fixing device 12.

無人機１は、カメラ１４によって、外部の画像を取得する。カメラ１４は、可視光カメラであるが、これに限定されず、マルチスペクトルカメラであってもよいし、夜間の撮影が可能な赤外線カメラであってもよい。固定装置１２は、カメラ１４による撮影画像のぶれを最小化し、かつ、カメラ１４の光軸を任意の方向に制御することができる３軸の固定装置（いわゆる、ジンバル）である。 The unmanned aerial vehicle 1 acquires an external image by the camera 14. The camera 14 is a visible light camera, but is not limited to this, and may be a multispectral camera or an infrared camera capable of shooting at night. The fixing device 12 is a three-axis fixing device (so-called gimbal) capable of minimizing blurring of an image captured by the camera 14 and controlling the optical axis of the camera 14 in an arbitrary direction.

筐体２には、丸棒状のアーム４が接続されている。各アーム４にはモーター６が接続されており、各モーター６にはプロペラ８が接続されている。各モーター６は、直流モーター（ブラシレスＤＣモーター）である。各モーター６は、モータードライバー（図示せず）によって回転速度が制御される。モータードライバーは、自律飛行装置によってそれぞれ独立して制御される。各モーター６がそれぞれ独立して制御され、無人機１を上下水平方向の移動や空中での停止（ホバリング）及び姿勢制御を自在に行うことができるようになっている。 A round bar-shaped arm 4 is connected to the housing 2. A motor 6 is connected to each arm 4, and a propeller 8 is connected to each motor 6. Each motor 6 is a DC motor (brushless DC motor). The rotation speed of each motor 6 is controlled by a motor driver (not shown). The motor driver is independently controlled by the autonomous flight device. Each motor 6 is independently controlled so that the unmanned aerial vehicle 1 can be freely moved in the vertical and horizontal directions, stopped in the air (hovering), and attitude controlled.

図１２は、図１１の無人機１の筐体２、固定装置１２、カメラ１４及び電磁波照射装置１６を矢印Ｘ１方向から視た概略側面図である。図１１及び図１２に示すように、筐体２の上面部には、電磁波照射装置１６が配置されている。電磁波照射装置１６は、電磁波を外部に送信する送信アンテナである。電磁波照射装置１６は、指向性の高いアンテナであり、例えば、パラボラアンテナである。電磁波照射装置１６は、アンテナ本体１６ａと内面が放物曲面の放物面反射器１６ｂで構成される。 FIG. 12 is a schematic side view of the housing 2, the fixing device 12, the camera 14, and the electromagnetic wave irradiation device 16 of the unmanned aerial vehicle 1 of FIG. 11 as viewed from the direction of arrow X1. As shown in FIGS. 11 and 12, an electromagnetic wave irradiation device 16 is arranged on the upper surface of the housing 2. The electromagnetic wave irradiation device 16 is a transmitting antenna that transmits electromagnetic waves to the outside. The electromagnetic wave irradiation device 16 is a highly directional antenna, for example, a parabolic antenna. The electromagnetic wave irradiation device 16 includes an antenna body 16a and a parabolic reflector 16b whose inner surface is a parabolic curved surface.

アーム４には保護枠１０が接続され、プロペラ８が外部の物体に直接接触することを防止している。アーム４及び保護枠１０は、例えば、炭素繊維強化プラスチックで形成されており、強度を保ちつつ、軽量に構成されている。 A protective frame 10 is connected to the arm 4 to prevent the propeller 8 from coming into direct contact with an external object. The arm 4 and the protective frame 10 are made of, for example, carbon fiber reinforced plastic, and are lightweight while maintaining strength.

図１３は、無人機１の機能構成を示す図である。無人機１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０、記憶部５２、無線通信部５４、衛星測位部５６、慣性センサー部５８、画像処理部６０、駆動制御部６２、電磁波照射部６４、及び、電源部６６を有する。 FIG. 13 is a diagram showing a functional configuration of the unmanned aerial vehicle 1. The unmanned device 1 includes a CPU (Central Processing Unit) 50, a storage unit 52, a wireless communication unit 54, a satellite positioning unit 56, an inertial sensor unit 58, an image processing unit 60, a drive control unit 62, an electromagnetic wave irradiation unit 64, and a power supply. It has a part 66.

無人機１は、無線通信部５４によって、管理装置３００と通信可能になっている。無人機１は、無線通信部５４によって、管理装置３００から、侵入ドローン２０１の位置を示す位置情報を受信する。また、管理装置３００に無人機１の現在位置情報を送信する。 The unmanned aerial vehicle 1 can communicate with the management device 300 by the wireless communication unit 54. The unmanned aerial vehicle 1 receives the position information indicating the position of the intruding drone 201 from the management device 300 by the wireless communication unit 54. In addition, the current position information of the unmanned aerial vehicle 1 is transmitted to the management device 300.

無人機１は、衛星測位部５６と慣性センサー部５８によって、無人機１自体の位置を測定することができる。衛星測位部５６は、基本的に、４つ以上の航法衛星からの測位用電波を受信して無人機１の位置を計測する。衛星測位部５６は、現在位置を測位する測位手段の一例である。慣性センサー部５８は、例えば、直近に測位した無人機１の位置を基準として、加速度センサー及びジャイロセンサーからの出力に基づいて無人機１の移動を積算して、無人機１の位置を計測する。無人機１自体の位置情報は、無人機１の移動経路の決定及び自律移動等のために使用する。 The unmanned aerial vehicle 1 can measure the position of the unmanned aerial vehicle 1 itself by the satellite positioning unit 56 and the inertial sensor unit 58. The satellite positioning unit 56 basically receives positioning radio waves from four or more navigation satellites and measures the position of the unmanned aerial vehicle 1. The satellite positioning unit 56 is an example of a positioning means for positioning the current position. The inertial sensor unit 58 measures the position of the unmanned aerial vehicle 1 by integrating the movement of the unmanned aerial vehicle 1 based on the outputs from the acceleration sensor and the gyro sensor, for example, based on the position of the unmanned aerial vehicle 1 positioned most recently. .. The position information of the unmanned aerial vehicle 1 itself is used for determining the movement route of the unmanned aerial vehicle 1 and autonomous movement.

駆動制御部６２によって、無人機１は各モーター６（図１１参照）に接続されたプロペラ８（図１１参照）の回転を制御し、上下水平移動や空中停止、傾きなどの姿勢を制御するようになっている。 The drive control unit 62 controls the rotation of the propeller 8 (see FIG. 11) connected to each motor 6 (see FIG. 11), so that the unmanned aerial vehicle 1 controls postures such as vertical horizontal movement, aerial stop, and tilt. It has become.

画像処理部６０によって、無人機１はカメラ１４（図１１参照）を作動させて外部の画像を取得し、取得した撮影データを処理する。 The image processing unit 60 activates the camera 14 (see FIG. 11) to acquire an external image, and the unmanned aerial vehicle 1 processes the acquired shooting data.

電磁波照射部６４は、電磁波照射装置１６を制御し、外部に電磁波を照射する。 The electromagnetic wave irradiation unit 64 controls the electromagnetic wave irradiation device 16 to irradiate the outside with electromagnetic waves.

電源部６６は、例えば、交換可能な可充電電池であり、無人機１の各部に電力を供給するようになっている。 The power supply unit 66 is, for example, a replaceable rechargeable battery, and is adapted to supply electric power to each unit of the unmanned aerial vehicle 1.

記憶部５２には、出発点から目的位置まで自律移動するための移動計画を示すデータ等の自律移動に必要な各種データ及びプログラムのほか、以下のデータ及びプログラムが格納されている。 The storage unit 52 stores various data and programs necessary for autonomous movement, such as data indicating a movement plan for autonomous movement from the starting point to the target position, as well as the following data and programs.

記憶部５２には、飛行プログラム、撮影プログラム、第二認識プログラム、ロックオンプログラム、接近プログラム、及び、電磁波照射プログラムが格納されている。ＣＰＵ５０と飛行プログラムは、飛行手段の一例である。ＣＰＵ５０と撮影プログラムは、撮影手段の一例である。ＣＰＵ５０と第二認識プログラムは、第二認識手段の一例である。ＣＰＵ５０とロックオンプログラムは、ロックオン手段の一例である。ＣＰＵ５０と接近プログラムは、接近手段の一例である。ＣＰＵ５０と電磁波照射プログラムは、電磁波照射手段の一例である。 The storage unit 52 stores a flight program, a photographing program, a second recognition program, a lock-on program, an approach program, and an electromagnetic wave irradiation program. The CPU 50 and the flight program are examples of flight means. The CPU 50 and the shooting program are examples of shooting means. The CPU 50 and the second recognition program are examples of the second recognition means. The CPU 50 and the lock-on program are examples of lock-on means. The CPU 50 and the approach program are examples of approach means. The CPU 50 and the electromagnetic wave irradiation program are examples of the electromagnetic wave irradiation means.

無人機１は、管理装置３００から侵入ドローン２０１の位置Ｐｓを示す位置情報を受信すると、飛行プログラムによって、位置情報に示される位置に向かって飛行する。無人機１は、管理装置３００から受信する位置情報を飛行開始の指示としても処理する。 When the unmanned aerial vehicle 1 receives the position information indicating the position Ps of the intruder drone 201 from the management device 300, the unmanned aerial vehicle 1 flies toward the position indicated by the position information by the flight program. The unmanned aerial vehicle 1 also processes the position information received from the management device 300 as an instruction to start flight.

無人機１は、飛行を開始すると、撮影プログラムによって、カメラ１４を作動させ、外部を撮影して撮影画像を取得する。 When the unmanned aerial vehicle 1 starts flying, the camera 14 is operated by a shooting program to shoot the outside and acquire a shot image.

無人機１は、第二認識プログラムによって、カメラ１４で取得した撮影画像に含まれる侵入ドローン２０１を認識する。第二認識プログラムの構成は、上述の管理装置３００の第一認識プログラムと同様であり、ニューラルネットワークによって構成されている。 The unmanned aerial vehicle 1 recognizes the intruder drone 201 included in the captured image acquired by the camera 14 by the second recognition program. The configuration of the second recognition program is the same as that of the first recognition program of the management device 300 described above, and is composed of a neural network.

無人機１は、撮影画像に含まれる侵入ドローン２０１を認識すると、ロックオンプログラムによって、カメラ１４の光軸の方向を監視対象の方向と継続的に一致させる。無人機１は、撮影画像中の侵入ドローン２０１の動きに応じてカメラ１４の光軸の方向を調整し、侵入ドローン２０１の方向と光軸の方向を一致させるように構成されている。すなわち、無人機１は、侵入ドローン２０１が撮影画像の中心位置の画素から乖離すると、その乖離を相殺し、侵入ドローン２０１が撮影画像の中心位置に戻るように調整する。 When the unmanned aerial vehicle 1 recognizes the intruder drone 201 included in the captured image, the lock-on program continuously matches the direction of the optical axis of the camera 14 with the direction of the monitoring target. The unmanned aerial vehicle 1 is configured to adjust the direction of the optical axis of the camera 14 according to the movement of the intruding drone 201 in the captured image so that the direction of the intruding drone 201 and the direction of the optical axis match. That is, when the intrusion drone 201 deviates from the pixel at the center position of the captured image, the unmanned aerial vehicle 1 cancels the deviation and adjusts the intrusion drone 201 to return to the center position of the captured image.

無人機１は、侵入ドローン２０１にロックオンすると、接近プログラムによって、ドローン２０１に接近する。 When the unmanned aerial vehicle 1 locks on to the intruding drone 201, it approaches the drone 201 by an approach program.

無人機１は、第二認識プロラムによって、画像中に投影される侵入ドローン２０１の態様によって、侵入ドローン２０１までの距離を判断することができる。無人機１は、侵入ドローン２０１が、学習済みの大きさのドローンでない場合や、距離が異なる場合であっても、距離による投影態様の変化の態様（距離が近くなるほど画像中のオブジェクトの形状は大きくなる）に基づいて、距離を判断することができるように構成されている。 The unmanned aerial vehicle 1 can determine the distance to the intruder drone 201 according to the mode of the intrusion drone 201 projected in the image by the second recognition program. In the unmanned aerial vehicle 1, even if the intrusion drone 201 is not a drone of a learned size or the distance is different, the mode of change in the projection mode depending on the distance (the closer the distance, the more the shape of the object in the image changes). It is configured so that the distance can be determined based on (becomes larger).

なお、無人機１と侵入ドローン２０１との距離の判断方法として、本実施形態とは異なる方法を採用してもよい。例えば、無人機１は、管理装置３００から所定の時間間隔で侵入ドローン２０１の位置を示す位置情報を受信しており、また、無人機１自体の現在位置を測位しているから、侵入ドローン２０１の位置Ｐｓを示す位置情報と無人機１の現在位置から侵入ドローン２０１と無人機１との間の距離を算出するようにしてもよい。あるいは、管理装置３００は、侵入ドローン２０１と無人機１との間の距離を継続的に算出しているから、管理装置３００から距離情報を受信して利用してもよい。あるいは、無人機１自体による距離の算出と管理装置３００から受信した距離情報を併用するようにしてもよい。 As a method for determining the distance between the unmanned aerial vehicle 1 and the intrusion drone 201, a method different from that of the present embodiment may be adopted. For example, the unmanned aerial vehicle 1 receives position information indicating the position of the intruding drone 201 from the management device 300 at predetermined time intervals, and also positions the current position of the unmanned aerial vehicle 1 itself, so that the intruding drone 201 is positioned. The distance between the intrusion drone 201 and the unmanned aerial vehicle 1 may be calculated from the position information indicating the position Ps of the unmanned aerial vehicle 1 and the current position of the unmanned aerial vehicle 1. Alternatively, since the management device 300 continuously calculates the distance between the intrusion drone 201 and the unmanned aerial vehicle 1, the distance information may be received from the management device 300 and used. Alternatively, the distance calculation by the unmanned aerial vehicle 1 itself and the distance information received from the management device 300 may be used together.

無人機１は、侵入ドローン２０１に所定距離まで接近すると、電磁波照射プログラムによって、侵入ドローン２０１に向けて電磁波を照射する。所定距離は、例えば、３メートル（ｍｅｔｅｒ）である。無人機１は、電磁波によって、侵入ドローン２０１の制御装置の正常な作動を妨げる。 When the unmanned aerial vehicle 1 approaches the intruder drone 201 to a predetermined distance, the unmanned aerial vehicle 1 irradiates the intruder drone 201 with an electromagnetic wave by an electromagnetic wave irradiation program. The predetermined distance is, for example, 3 meters (meter). The unmanned aerial vehicle 1 interferes with the normal operation of the control device of the intrusion drone 201 by electromagnetic waves.

図１４を参照して、侵入ドローン２０１において、信号または電力が流れる主な構成を説明する。侵入ドローン２０１は、外部の操縦装置からの操縦電波を受信する受信機２０２、自律飛行装置２０４、モータードライバー２０６、モーター２０８、及び、バッテリー２１０を有する。自律飛行装置２０４はフライトコントローラー（Ｆｌｉｇｈｔ Ｃｏｎｔｒｏｌｌｅｒ）とも呼ばれ、モータードライバー２０６はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）とも呼ばれる。なお、図１４に示す構成は、無人機１においても同様である。 With reference to FIG. 14, the main configuration in which a signal or power flows in the intrusion drone 201 will be described. The intrusion drone 201 has a receiver 202, an autonomous flight device 204, a motor driver 206, a motor 208, and a battery 210 that receive control radio waves from an external control device. The autonomous flight device 204 is also called a flight controller (Flight Controller), and the motor driver 206 is also called an ESC (Electronic Speed Controller). The configuration shown in FIG. 14 is the same for the unmanned aerial vehicle 1.

無人機１が照射する電磁波によって正常な作動を妨げられる対象となる制御装置は、自律飛行装置２０４及び／またはモータードライバー２０６である。自律飛行装置２０４やモータードライバー２０６を構成する素子は線路で接続されており、線路に電磁波が作用すると誤作動を生じる場合がある。誤作動を生じさせることができる電磁波の電界強度は、様々な機種のドローンに対して様々な電解強度の電磁波を照射する実験によって、予め知ることができる。周波数は、例えば、１．５ＧＨｚ付近の周波数である。電界強度は、アンテナ本体１６ａの先端部から３メートル（ｍｅｔｅｒ）の距離において、例えば、４００Ｖ／ｍ（ボルト／メートル）である。無人機１は、侵入ドローン２０１に接近して電磁波を照射することによって、電界強度の高い電磁波を照射することができるから、高い確率で侵入ドローン２０１の制御装置に誤作動を生じさせる。その結果、侵入ドローン２０１を墜落に導くことができる。 The target control devices whose normal operation is hindered by the electromagnetic waves emitted by the unmanned aerial vehicle 1 are the autonomous flight device 204 and / or the motor driver 206. The elements constituting the autonomous flight device 204 and the motor driver 206 are connected by a railroad track, and if an electromagnetic wave acts on the railroad track, a malfunction may occur. The electric field strength of electromagnetic waves that can cause malfunction can be known in advance by experiments in which various types of drones are irradiated with electromagnetic waves of various electrolytic strengths. The frequency is, for example, a frequency near 1.5 GHz. The electric field strength is, for example, 400 V / m (volts / meter) at a distance of 3 meters (meters) from the tip of the antenna body 16a. Since the unmanned aerial vehicle 1 can irradiate an electromagnetic wave having a high electric field strength by irradiating the intrusion drone 201 with an electromagnetic wave in close proximity to the intrusion drone 201, the control device of the intrusion drone 201 is likely to malfunction. As a result, the invading drone 201 can be led to a crash.

以下、図１５及び図１６を参照して、監視システム１００の動作を説明する。管理装置３００は、カメラ１５０Ａ及び１５０Ｂが撮影した画像を取得すると（図１５のステップＳＴ１）、ニューラルネットワークによって画像認識を実施する（ステップＳＴ２）。管理装置３００は、画像中のオブジェクトが侵入ドローン２０１であると判断すると（ステップＳＴ３）、カメラ１５０Ａ及び１５０Ｂの双方で侵入ドローン２０１を撮影し、侵入ドローン２０１の位置を示す座標を算出し（ステップＳＴ５）、その座標を示す位置情報を無人機１に送信する（ステップＳＴ６）。 Hereinafter, the operation of the monitoring system 100 will be described with reference to FIGS. 15 and 16. When the management device 300 acquires the images captured by the cameras 150A and 150B (step ST1 in FIG. 15), the management device 300 performs image recognition by the neural network (step ST2). When the management device 300 determines that the object in the image is the intrusion drone 201 (step ST3), the management device 300 photographs the intrusion drone 201 with both the cameras 150A and 150B, and calculates the coordinates indicating the position of the intrusion drone 201 (step). ST5), the position information indicating the coordinates is transmitted to the unmanned aerial vehicle 1 (step ST6).

無人機１は、管理装置３００から侵入ドローン２０１の位置Ｐｓを示す位置情報を受信すると発進し（図１６のステップＳＴ７）、無人機１の現在位置の測位を行い（ステップＳＴ８）、現在位置を示す現在位置情報を管理装置３００に送信する（ステップＳＴ９）。そして、無人機１は、カメラ１４によって外部を撮影して撮影画像を取得し（ステップＳＴ１０）、撮影画像中のオブジェクトについてニューラルネットワークによる画像認識を行う（ステップＳＴ１１）。無人機１は、撮影画像中のオブジェクトが侵入ドローン２０１であると判断すると（ステップＳＴ１２）、侵入ドローン２０１にロックオンし、侵入ドローン２０１に接近する（ステップＳＴ１３）。無人機１は、侵入ドローン２０１に所定距離まで接近すると、侵入ドローン２０１に向けて電磁波を照射し（ステップＳＴ１４）、管理装置３００からの帰還指示の受信などによって、任務が終了したと判断すると（ステップＳＴ１５）、管理装置３００の位置に帰還する（ステップＳＴ１６）。 The unmanned aerial vehicle 1 starts when it receives the position information indicating the position Ps of the intruding drone 201 from the management device 300 (step ST7 in FIG. 16), positions the current position of the unmanned aerial vehicle 1 (step ST8), and determines the current position. The indicated current position information is transmitted to the management device 300 (step ST9). Then, the unmanned aerial vehicle 1 photographs the outside with the camera 14 to acquire a captured image (step ST10), and performs image recognition of the object in the captured image by the neural network (step ST11). When the unmanned aerial vehicle 1 determines that the object in the captured image is the intruder drone 201 (step ST12), it locks on to the intruder drone 201 and approaches the intruder drone 201 (step ST13). When the unmanned aerial vehicle 1 approaches the intruding drone 201 to a predetermined distance, it irradiates the intruding drone 201 with an electromagnetic wave (step ST14), and determines that the mission has been completed by receiving a return instruction from the management device 300 or the like (step ST14). Step ST15) returns to the position of the management device 300 (step ST16).

＜第二の実施形態＞
第二の実施形態について、第一の実施形態と異なる部分を中心に、説明する。第二の実施形態において、図１７に示すように、管理装置３００は、乖離した時刻において算出した侵入ドローン２０１の位置に基づいて、侵入ドローン２０１の所定時間後の予測位置Ｐｓｆ１を算出する。管理装置３００は、継続的に予測位置Ｐｓｆ１を算出する。そして、管理装置３００は、無人機１に対して、予測位置Ｐｓｆ１を示す位置情報を無人機１へ送信するように構成されている。また、無人機１も、侵入ドローン２０１の所定時間後の位置を予測し、予測位置に基づいて、侵入ドローン２０１へ接近するように構成されている。<Second embodiment>
The second embodiment will be described focusing on the parts different from the first embodiment. In the second embodiment, as shown in FIG. 17, the management device 300 calculates the predicted position Psf1 of the intruding drone 201 after a predetermined time based on the position of the intruding drone 201 calculated at the divergent time. The management device 300 continuously calculates the predicted position Psf1. Then, the management device 300 is configured to transmit the position information indicating the predicted position Psf1 to the unmanned aerial vehicle 1 to the unmanned aerial vehicle 1. Further, the unmanned aerial vehicle 1 is also configured to predict the position of the intruding drone 201 after a predetermined time and approach the intruding drone 201 based on the predicted position.

管理装置３００は、記憶部３０４に第一予測プログラムを格納している。ＣＰＵ３０２と第一予測プログラムは、第一予測手段の一例である。管理装置３００は、カメラ１５０Ａ及びカメラ１５０Ｂで侵入ドローン２０１を撮影すると、所定の時間間隔だけ乖離した時刻において、侵入ドローン２０１の位置Ｐｓ１及び位置Ｐｓ２を算出し、位置Ｐｓ１及び位置Ｐｓ２の延長線上の位置として、所定時間後の予測位置Ｐｓｆ１を算出する。そして、管理装置３００は、位置送信プログラムによって、予測位置Ｐｓｆ１を無人機１へ送信する。例えば、上述の所定の時間間隔は１秒（ｓ）であり、所定時間後は１秒（ｓ）後である。 The management device 300 stores the first prediction program in the storage unit 304. The CPU 302 and the first prediction program are examples of the first prediction means. When the intruder drone 201 is photographed by the camera 150A and the camera 150B, the management device 300 calculates the position Ps1 and the position Ps2 of the intruder drone 201 at a time deviated by a predetermined time interval, and is on an extension of the position Ps1 and the position Ps2. As the position, the predicted position Psf1 after a predetermined time is calculated. Then, the management device 300 transmits the predicted position Psf1 to the unmanned aerial vehicle 1 by the position transmission program. For example, the predetermined time interval described above is 1 second (s), and the predetermined time is 1 second (s) later.

無人機１は、記憶部５２に第二予測プログラムを格納している。ＣＰＵ５０と第二予測プログラムは、第二予測手段の一例である。図１８に示すように、無人機１は、カメラ１４によって取得した撮影画像中に侵入ドローン２０１を認識すると、撮影画像の画素中の侵入ドローン２０１の投影態様の変化によって、所定時間後である、例えば、１秒後の侵入ドローン２０１の予測位置Ｐｓｆ２を算出し、飛行プログラムによって、予測位置Ｐｓｆ２に向かって飛行するように構成されている。無人機１は、継続的に予測位置Ｐｓｆ２を算出する。また、無人機１は、ロックオンプログラムによって、所定時間後の予測位置Ｐｓｆ２の方向とカメラ１４の光軸の方向を一致させるように構成されている。 The unmanned aerial vehicle 1 stores the second prediction program in the storage unit 52. The CPU 50 and the second prediction program are examples of the second prediction means. As shown in FIG. 18, when the unmanned aerial vehicle 1 recognizes the intruding drone 201 in the captured image acquired by the camera 14, it is after a predetermined time due to a change in the projection mode of the intruding drone 201 in the pixels of the captured image. For example, the predicted position Psf2 of the intrusion drone 201 after 1 second is calculated, and the flight program is configured to fly toward the predicted position Psf2. The unmanned aerial vehicle 1 continuously calculates the predicted position Psf2. Further, the unmanned aerial vehicle 1 is configured to match the direction of the predicted position Psf2 after a predetermined time with the direction of the optical axis of the camera 14 by a lock-on program.

侵入ドローン２０１の現在の位置は、管理装置３００や無人機１のコンピュータで高速で処理したとしても、実際には、わずかに過去の位置である。これに対して、予測位置Ｐｓｆ１及びＰｓｆ２は、侵入ドローン２０１の動きを合理的に予測して算出した所定時間後の位置であるから、所定時間後の真の現在位置に近い。このため、無人機１は、所定時間後の真の現在位置に近い予測位置Ｐｓｆ１及びＰｓｆ２に基づいて、侵入ドローン２０１に向かって飛行し、接近することができる。この場合、無人機１は、例えば、予測位置Ｐｓｆ１及び予測位置Ｐｓｆ２の平均位置に向かって飛行する、あるいは、予測位置Ｐｓｆ１及び予測位置Ｐｓｆ２のそれぞれに重みづけをしたうえで平均して算出した予測位置に向かって飛行し、侵入ドローン２０１に接近する。 The current position of the intrusion drone 201 is actually slightly past position, even if it is processed at high speed by the computer of the management device 300 or the unmanned aerial vehicle 1. On the other hand, the predicted positions Psf1 and Psf2 are positions after a predetermined time calculated by reasonably predicting the movement of the intrusion drone 201, and are therefore close to the true current position after a predetermined time. Therefore, the unmanned aerial vehicle 1 can fly toward and approach the invading drone 201 based on the predicted positions Psf1 and Psf2 that are close to the true current position after a predetermined time. In this case, for example, the unmanned aerial vehicle 1 flies toward the average position of the predicted position Psf1 and the predicted position Psf2, or the prediction calculated by averaging after weighting each of the predicted position Psf1 and the predicted position Psf2. Fly towards the position and approach the invading drone 201.

また、無人機１は、接近プログラムによって、侵入ドローン２０１に接近するときにも、予測位置Ｐｓｆ２を使用する。 The unmanned aerial vehicle 1 also uses the predicted position Psf2 when approaching the intruder drone 201 by the approach program.

＜第三の実施形態＞
第三の実施形態について、第一の実施形態と異なる部分を中心に、説明する。第三の実施形態において、管理装置３００は、機械学習によって生成したニューラルネットワークによって、侵入ドローン２０１を認識するときに、その機種も認識することができるように構成されている。ニューラルネットワークを生成するための学習用データに、多数の機種のドローンの画像を含め、出力層から出力する正解として、機種を含める。これにより、ドローンの機種を認識可能なニューラルネットワークを生成することができる。<Third embodiment>
The third embodiment will be described focusing on the parts different from the first embodiment. In the third embodiment, the management device 300 is configured so that when the intrusion drone 201 is recognized by the neural network generated by machine learning, the model can also be recognized. The training data for generating the neural network includes images of drones of many models, and the models are included as the correct answer to be output from the output layer. This makes it possible to generate a neural network that can recognize the model of the drone.

管理装置３００は、第一認識プログラムによって、カメラ１５０Ａ等の画像中の侵入ドローン２０１を認識し、また、侵入ドローン２０１の機種を認識する。そして、管理装置３００は、侵入ドローン２０１の機種を示す情報を無人機１に送信する。 The management device 300 recognizes the intruding drone 201 in the image of the camera 150A or the like by the first recognition program, and also recognizes the model of the intruding drone 201. Then, the management device 300 transmits information indicating the model of the intrusion drone 201 to the unmanned aerial vehicle 1.

なお、本実施形態とは異なり、無人機１が、第二認識プログラムによって、カメラ１４で取得した撮影画像中の侵入ドローン２０１の機種を認識するように構成してもよい。 In addition, unlike the present embodiment, the unmanned aerial vehicle 1 may be configured to recognize the model of the intruding drone 201 in the captured image acquired by the camera 14 by the second recognition program.

図１９に示すように、無人機１は、ドローンの機種Ｄ１等ごとに脆弱周波数Ｗ１等を示す脆弱周波数情報を記憶部５２に記憶している。脆弱周波数Ｗ１等は、ドローンの機種ごとに制御装置の正常な作動を妨げるのに効果的な周波数である。例えば、機種Ｄ１のドローンにとって、脆弱周波数Ｗ１は、正常な作動が妨害され易い周波数であり、弱点とする周波数である。 As shown in FIG. 19, the unmanned aerial vehicle 1 stores vulnerable frequency information indicating the vulnerable frequency W1 and the like for each drone model D1 and the like in the storage unit 52. The fragile frequency W1 or the like is an effective frequency for interfering with the normal operation of the control device for each drone model. For example, for the drone of model D1, the fragile frequency W1 is a frequency at which normal operation is easily disturbed and is a weak point.

脆弱周波数は、ドローンの機種ごとに異なる。ドローンの機種ごとに、様々な周波数の電磁波を照射し、制御装置の作動状態を調べる実験によって、ドローンの機種ごとの脆弱周波数を予め知ることができる。例えば、脆弱周波数Ｗ１は１．４ＧＨｚであり、脆弱周波数Ｗ２は１．５ＧＨｚであり、脆弱周波数Ｗ３は１．６ＧＨｚである。 The vulnerable frequency differs depending on the drone model. By irradiating electromagnetic waves of various frequencies for each drone model and examining the operating state of the control device, it is possible to know in advance the vulnerable frequencies for each drone model. For example, the vulnerable frequency W1 is 1.4 GHz, the vulnerable frequency W2 is 1.5 GHz, and the vulnerable frequency W3 is 1.6 GHz.

無人機１は、侵入ドローン２０１に所定距離まで接近すると、電磁波照射プログラムによって、侵入ドローン２０１の機種に対応する脆弱周波数における電磁波を照射する。このとき照射する電磁波は、脆弱周波数における電磁波であり、侵入ドローン２０１の弱点とする周波数であるから、他の周波数を照射する場合に比べて、電界強度は小さくても侵入ドローン２０１の制御装置の正常な作動を妨げる効果を奏する。脆弱周波数の電磁波の電界強度は、アンテナ本体１６ａの先端部から３メートル（ｍｅｔｅｒ）の距離において、例えば、２００Ｖ／ｍ（ボルト／メートル）である。無人機１は、侵入ドローン２０１に向けて脆弱周波数の電磁波を照射することによって、侵入ドローン２０１を墜落に導くことができる。 When the unmanned aerial vehicle 1 approaches the intruder drone 201 to a predetermined distance, the unmanned aerial vehicle 1 irradiates an electromagnetic wave at a fragile frequency corresponding to the model of the intruder drone 201 by an electromagnetic wave irradiation program. Since the electromagnetic wave irradiated at this time is an electromagnetic wave at a fragile frequency and is a frequency that is a weak point of the intruding drone 201, the control device of the intruding drone 201 has a smaller electric field strength than the case of irradiating other frequencies. It has the effect of interfering with normal operation. The electric field strength of the fragile frequency electromagnetic wave is, for example, 200 V / m (volt / meter) at a distance of 3 meters (meter) from the tip of the antenna body 16a. The unmanned aerial vehicle 1 can lead the intruder 201 to a crash by irradiating the intruder 201 with an electromagnetic wave having a weak frequency.

以下、図２０を参照して、無人機１の動作を説明する。無人機１は、管理装置３００から侵入ドローン２０１の位置Ｐｓを示す位置情報を受信すると発進し（図２０のステップＳＴ７）、無人機１の現在位置の測位を行い（ステップＳＴ８）、現在位置を示す現在位置情報を管理装置３００に送信する（ステップＳＴ９）。ステップＳＴ７においては、侵入ドローン２０１の位置情報と共に、機種を示す情報も受信している。無人機１は、カメラ１４によって外部を撮影して撮影画像を取得し（ステップＳＴ１０）、撮影画像中のオブジェクトについてニューラルネットワークによる画像認識を行う（ステップＳＴ１１）。無人機１は、撮影画像中のオブジェクトが侵入ドローン２０１であると判断すると（ステップＳＴ１２）、侵入ドローン２０１にロックオンし、侵入ドローン２０１に接近する（ステップＳＴ１３）。無人機１は、侵入ドローン２０１に所定距離まで接近すると、侵入ドローン２０１に向けて脆弱周波数における電磁波を照射し（ステップＳＴ１４Ａ）、管理装置３００からの帰還指示の受信などによって、任務が終了したと判断すると（ステップＳＴ１５）、管理装置３００の位置に帰還する（ステップＳＴ１６）。 Hereinafter, the operation of the unmanned aerial vehicle 1 will be described with reference to FIG. The unmanned aerial vehicle 1 starts when it receives the position information indicating the position Ps of the intruding drone 201 from the management device 300 (step ST7 in FIG. 20), positions the current position of the unmanned aerial vehicle 1 (step ST8), and determines the current position. The indicated current position information is transmitted to the management device 300 (step ST9). In step ST7, not only the position information of the intruding drone 201 but also the information indicating the model is received. The unmanned aerial vehicle 1 photographs the outside with the camera 14 to acquire a captured image (step ST10), and performs image recognition of the object in the captured image by a neural network (step ST11). When the unmanned aerial vehicle 1 determines that the object in the captured image is the intruder drone 201 (step ST12), it locks on to the intruder drone 201 and approaches the intruder drone 201 (step ST13). When the unmanned aerial vehicle 1 approaches the intruder drone 201 to a predetermined distance, it irradiates the intruder drone 201 with electromagnetic waves at a vulnerable frequency (step ST14A), and the mission is completed by receiving a return instruction from the management device 300 or the like. When it is determined (step ST15), it returns to the position of the management device 300 (step ST16).

＜第四の実施形態＞
第四の実施形態について、第三の実施形態と異なる部分を中心に、説明する。第四の実施形態においては、無人機１は、侵入ドローン２０１を墜落させるのではなく、着陸するように導くように構成されている。<Fourth Embodiment>
The fourth embodiment will be described focusing on the parts different from the third embodiment. In a fourth embodiment, the drone 1 is configured to guide the invading drone 201 to land rather than crash it.

図２１に示すように、無人機１は、ドローンの機種Ｄ１等ごとに特有周波数ＷＥ１等を示す特有周波数情報を記憶部５２に記憶している。特有周波数ＷＥ１等による電磁波は、ドローンの高度センサー（気圧センサー）からの出力が実際の高度よりも高い高度を示すようにするための電磁波である。ドローンの自律飛行装置は、実際の高度よりも高い高度を示す信号に基づいて、高度を下げ、着陸に至る。 As shown in FIG. 21, the unmanned aerial vehicle 1 stores specific frequency information indicating the specific frequency WE1 and the like for each drone model D1 and the like in the storage unit 52. The electromagnetic wave due to the peculiar frequency WE1 or the like is an electromagnetic wave for making the output from the drone's altitude sensor (barometric pressure sensor) indicate an altitude higher than the actual altitude. The drone's autonomous flight device lowers the altitude and reaches landing based on a signal indicating an altitude higher than the actual altitude.

ドローンの機種ごとに、様々な周波数の電磁波を照射し、高度センサーからの出力を調べる実験によって、ドローンの機種ごとの特有周波数を予め知ることができる。 By irradiating electromagnetic waves of various frequencies for each drone model and examining the output from the altitude sensor, it is possible to know the specific frequency of each drone model in advance.

以下、図２２を参照して、無人機１の動作を説明する。無人機１は、管理装置３００から侵入ドローン２０１の位置Ｐｓを示す位置情報を受信すると発進し（図２２のステップＳＴ７）、無人機１の現在位置の測位を行い（ステップＳＴ８）、現在位置を示す現在位置情報を管理装置３００に送信する（ステップＳＴ９）。ステップＳＴ７においては、侵入ドローン２０１の位置情報と共に、機種を示す情報も受信している。無人機１は、カメラ１４によって外部を撮影して撮影画像を取得し（ステップＳＴ１０）、撮影画像中のオブジェクトについてニューラルネットワークによる画像認識を行う（ステップＳＴ１１）。無人機１は、撮影画像中のオブジェクトが侵入ドローン２０１であると判断すると（ステップＳＴ１２）、侵入ドローン２０１にロックオンし、侵入ドローン２０１に接近する（ステップＳＴ１３）。無人機１は、侵入ドローン２０１に所定距離まで接近すると、侵入ドローン２０１に向けて特有周波数における電磁波を照射し（ステップＳＴ１４Ｂ）、管理装置３００からの帰還指示の受信などによって、任務が終了したと判断すると（ステップＳＴ１５）、管理装置３００の位置に帰還する（ステップＳＴ１６）。 Hereinafter, the operation of the unmanned aerial vehicle 1 will be described with reference to FIG. The unmanned aerial vehicle 1 starts when it receives the position information indicating the position Ps of the intruding drone 201 from the management device 300 (step ST7 in FIG. 22), positions the current position of the unmanned aerial vehicle 1 (step ST8), and determines the current position. The indicated current position information is transmitted to the management device 300 (step ST9). In step ST7, not only the position information of the intruding drone 201 but also the information indicating the model is received. The unmanned aerial vehicle 1 photographs the outside with the camera 14 to acquire a captured image (step ST10), and performs image recognition of the object in the captured image by a neural network (step ST11). When the unmanned aerial vehicle 1 determines that the object in the captured image is the intruder drone 201 (step ST12), it locks on to the intruder drone 201 and approaches the intruder drone 201 (step ST13). When the unmanned aerial vehicle 1 approaches the intruder drone 201 to a predetermined distance, it irradiates the intruder drone 201 with an electromagnetic wave at a specific frequency (step ST14B), and the mission is completed by receiving a return instruction from the management device 300 or the like. When it is determined (step ST15), it returns to the position of the management device 300 (step ST16).

＜第五の実施形態＞
第五の実施形態について、第一の実施形態と異なる部分を中心に、説明する。第五の実施形態においては、無人機１は、侵入ドローン２０１の周囲の磁界を制御し、電子コンパスに本来の方向とは異なる方向を検知させ、侵入ドローン２０１の進行方向を制御し、さらには、着陸するように導くように構成されている。<Fifth Embodiment>
The fifth embodiment will be described focusing on the parts different from the first embodiment. In the fifth embodiment, the unmanned aerial vehicle 1 controls the magnetic field around the intrusion drone 201, causes the electronic compass to detect a direction different from the original direction, controls the traveling direction of the intrusion drone 201, and further. , Is configured to guide you to land.

図２３に示すように、無人機１は、侵入ドローン２０１に向けて電磁波Ｅを照射するのではなくて、侵入ドローン２０１の周囲の空間に向けて電磁波Ｅを照射する。電磁波Ｅの進行方向と直交する方向に磁界ＭＧが発生する。無人機１は、磁界ＭＧによって、侵入ドローン２０１の電子コンパスに地磁気の方向として、本来の方向とは異なる方向を検出させる。侵入ドローン２０１は、電子コンパスの出力によって進行方向を判断して飛行しているから、磁界ＭＧによって電子コンパスの出力を制御することによって、侵入ドローン２０１の進行方向を制御することができ、さらに、着陸に導くこともできる。例えば、侵入ドローン２０１の電子コンパスに、磁北として、本来の磁北とは異なる方向を検出させる。侵入ドローン２０１の自律飛行装置２０４が北方に向かって飛行するようにプログラムされている場合において、磁北として東の方向を検出させれば、東に向かって飛行させることができる。 As shown in FIG. 23, the unmanned aerial vehicle 1 does not irradiate the intrusion drone 201 with the electromagnetic wave E, but irradiates the space around the intrusion drone 201 with the electromagnetic wave E. The magnetic field MG is generated in the direction orthogonal to the traveling direction of the electromagnetic wave E. The unmanned aerial vehicle 1 causes the electronic compass of the intrusion drone 201 to detect a direction different from the original direction as the direction of the geomagnetism by the magnetic field MG. Since the intrusion drone 201 determines the traveling direction by the output of the electronic compass and flies, the traveling direction of the intrusion drone 201 can be controlled by controlling the output of the electronic compass by the magnetic field MG. It can also lead to landing. For example, the electronic compass of the intrusion drone 201 is made to detect a direction different from the original magnetic north as magnetic north. When the autonomous flight device 204 of the intrusion drone 201 is programmed to fly northward, it can fly eastward if it detects the eastern direction as magnetic north.

無人機１の記憶部５２には、監視対象制御プログラムが格納されている。ＣＰＵ５０と監視対象制御プログラムは、監視対象制御手段の一例である。無人機１は、監視対象制御プログラムによって、侵入ドローン２０１に近接する空間に向けて電磁波Ｅを照射し、実際の侵入ドローン２０１の進行方向に応じて、電磁波Ｅを照射する方向を変更する。侵入ドローン２０１の周囲において、電磁波Ｅが通過する方向が変わると、磁界ＭＧの方向も変わり、侵入ドローン２０１の電子コンパスが出力する方向も変わるから、侵入ドローン２０１の進行方向を制御することができる。これにより、例えば、建物１２０Ｂの屋上に侵入ドローンを捕捉するための網などの捕捉装置を配置しておいて、その捕捉装置に、侵入ドローン２０１を導くことができる。 The monitoring target control program is stored in the storage unit 52 of the unmanned aerial vehicle 1. The CPU 50 and the monitoring target control program are examples of the monitoring target control means. The unmanned aerial vehicle 1 irradiates the electromagnetic wave E toward the space close to the intruding drone 201 by the monitoring target control program, and changes the direction of irradiating the electromagnetic wave E according to the actual traveling direction of the intruding drone 201. When the direction in which the electromagnetic wave E passes around the intrusion drone 201 changes, the direction of the magnetic field MG also changes, and the output direction of the electronic compass of the intrusion drone 201 also changes. Therefore, the traveling direction of the intrusion drone 201 can be controlled. .. Thereby, for example, a catching device such as a net for catching the intruding drone can be arranged on the roof of the building 120B, and the intruding drone 201 can be guided to the catching device.

以下、図２４を参照して、無人機１の動作を説明する。無人機１は、管理装置３００から侵入ドローン２０１の位置Ｐｓを示す位置情報を受信すると発進し（図２４のステップＳＴ７）、無人機１の現在位置の測位を行い（ステップＳＴ８）、現在位置を示す現在位置情報を管理装置３００に送信する（ステップＳＴ９）。そして、無人機１は、カメラ１４によって外部を撮影して撮影画像を取得し（ステップＳＴ１０）、撮影画像中のオブジェクトについてニューラルネットワークによる画像認識を行う（ステップＳＴ１１）。無人機１は、撮影画像中のオブジェクトが侵入ドローン２０１であると判断すると（ステップＳＴ１２）、侵入ドローン２０１にロックオンし、侵入ドローン２０１に接近する（ステップＳＴ１３）。無人機１は、侵入ドローン２０１に所定距離まで接近すると、侵入ドローン２０１の周囲の空間に向けて、電磁波を照射し、侵入ドローン２０１の進行方向を制御し（ステップＳＴ１４Ｃ）、管理装置３００からの帰還指示の受信などによって、任務が終了したと判断すると（ステップＳＴ１５）、管理装置３００の位置に帰還する（ステップＳＴ１６）。 Hereinafter, the operation of the unmanned aerial vehicle 1 will be described with reference to FIG. 24. The unmanned aerial vehicle 1 starts when it receives the position information indicating the position Ps of the intruding drone 201 from the management device 300 (step ST7 in FIG. 24), positions the current position of the unmanned aerial vehicle 1 (step ST8), and determines the current position. The indicated current position information is transmitted to the management device 300 (step ST9). Then, the unmanned aerial vehicle 1 photographs the outside with the camera 14 to acquire a captured image (step ST10), and performs image recognition of the object in the captured image by the neural network (step ST11). When the unmanned aerial vehicle 1 determines that the object in the captured image is the intruder drone 201 (step ST12), it locks on to the intruder drone 201 and approaches the intruder drone 201 (step ST13). When the unmanned aerial vehicle 1 approaches the intruder drone 201 to a predetermined distance, it irradiates an electromagnetic wave toward the space around the intruder drone 201 to control the traveling direction of the intruder drone 201 (step ST14C), and from the management device 300. When it is determined that the mission has been completed by receiving a return instruction or the like (step ST15), the vehicle returns to the position of the management device 300 (step ST16).

なお、本発明の無人飛行装置、迎撃方法及びプログラムは、上記実施形態に限らず、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。 The unmanned flight apparatus, interception method and program of the present invention are not limited to the above embodiments, and various modifications can be made without departing from the gist of the present invention.

１ 無人飛行装置（無人機）
１６ 電磁波照射装置
５０ ＣＰＵ
５２ 記憶部
５４ 無線通信部
５６ 衛星測位部
５８ 慣性センサー部
６０ 画像処理部
６２ 駆動制御部
６４ 電磁波照射部
６６ 電源部
１５０Ａ、１５０Ｂ カメラ
２０１ 侵入ドローン
３００ 管理装置

1 Unmanned aerial vehicle (unmanned aerial vehicle)
16 Electromagnetic wave irradiation device 50 CPU
52 Storage unit 54 Wireless communication unit 56 Satellite positioning unit 58 Inertia sensor unit 60 Image processing unit 62 Drive control unit 64 Electromagnetic wave irradiation unit 66 Power supply unit 150A, 150B Camera 201 Intrusion drone 300 Management device

Claims (12)

乖離して配置され、共通の領域を撮影可能な複数のカメラと、
前記カメラが撮影して取得した画像を受信する管理装置と、
前記管理装置と通信可能な無人飛行装置と、
を有する監視システムであって、
前記管理装置は、
ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、
各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、
前記監視対象の位置を示す位置情報を前記無人飛行装置に送信する位置送信手段と、を有し、
前記無人飛行装置は、
前記管理装置から前記位置情報を受信すると、前記位置情報に示される前記位置に向かって飛行するための飛行手段と、
外部を撮影して撮影画像を取得する撮影手段と、
ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する第二認識手段と、
前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、
を有する監視システム。With multiple cameras that are placed apart and can shoot a common area,
A management device that receives images taken and acquired by the camera, and
An unmanned flight device capable of communicating with the management device,
It is a monitoring system that has
The management device is
A first recognition means for recognizing a monitoring target in the image received from the camera by artificial intelligence composed of a neural network.
A position calculation means for calculating the position of the monitoring target based on the position of each camera and the direction of the monitoring target based on the position of each camera.
It has a position transmitting means for transmitting position information indicating the position of the monitored object to the unmanned flight apparatus.
The unmanned flight device is
When the position information is received from the management device, the flight means for flying toward the position indicated in the position information and the flight means.
Shooting means to shoot the outside and acquire the shot image,
A second recognition means that recognizes the monitoring target in the captured image by artificial intelligence composed of a neural network,
When the monitoring target is recognized, the lock-on means for continuously photographing the monitoring target and
Surveillance system with. 前記カメラは、光軸の方向を変化させて撮影することができるように構成されており、
前記管理装置は、
前記第一認識手段によって前記監視対象を認識した場合に、少なくとも２台の前記カメラの前記光軸の方向を継続的に前記監視対象の方向に向けるように前記カメラを制御する追尾手段を有し、
前記位置算出手段によって、継続的に前記監視対象の位置を算出し、
前記位置送信手段によって、前記無人飛行装置に所定の時間間隔において前記位置情報を送信するように構成されている、
請求項１に記載の監視システム。The camera is configured so that the direction of the optical axis can be changed for shooting.
The management device is
It has tracking means for controlling the camera so that the direction of the optical axis of at least two cameras is continuously directed to the direction of the monitoring target when the monitoring target is recognized by the first recognition means. ,
The position of the monitoring target is continuously calculated by the position calculation means.
The position transmitting means is configured to transmit the position information to the unmanned flight apparatus at predetermined time intervals.
The monitoring system according to claim 1. 前記管理装置は、
乖離した時刻において前記位置算出手段によって算出した前記監視対象の複数の前記位置に基づいて、所定時間後の前記監視対象の位置である第一予測位置を算出する第一予測手段を有し、
前記位置送信手段は、前記第一予測位置を示す前記位置情報を送信するように構成されている、
請求項１または請求項２に記載の監視システム。The management device is
It has a first prediction means for calculating a first prediction position which is a position of the monitoring target after a predetermined time based on a plurality of the positions of the monitoring target calculated by the position calculation means at different times.
The position transmitting means is configured to transmit the position information indicating the first predicted position.
The monitoring system according to claim 1 or 2. 前記無人飛行装置は、
前記撮影画像における前記監視対象の移動態様と、前記無人飛行装置の位置に基づいて、所定時間後の前記監視対象の位置である第二予測位置を算出する第二予測手段を有し、
前記飛行手段は、前記第二予測位置に向かって前記無人飛行装置を飛行させるように構成されている、
請求項１乃至請求項３のいずれかに記載の監視システム。The unmanned flight device is
It has a second prediction means for calculating a second prediction position, which is the position of the monitoring target after a predetermined time, based on the movement mode of the monitoring target in the captured image and the position of the unmanned flight device.
The flight means is configured to fly the unmanned flight device towards the second predicted position.
The monitoring system according to any one of claims 1 to 3. 前記管理装置は、
前記無人飛行装置から現在位置を受信する現在位置受信手段を有し、
前記監視対象の位置と前記現在位置との間の距離が短くなるほど、前記位置情報の送信時間の間隔を短くするように構成されている、
請求項１乃至請求項４のいずれかに記載の監視システム。The management device is
It has a current position receiving means for receiving the current position from the unmanned flight device, and has
The shorter the distance between the position of the monitoring target and the current position, the shorter the interval of the transmission time of the position information.
The monitoring system according to any one of claims 1 to 4. 前記無人飛行装置は、
前記監視対象を認識した場合に、前記監視対象に接近する接近手段を有し、
前記監視対象に対して、前記監視対象の制御装置の正常な作動を妨げるための電磁波を照射する電磁波照射手段、
を有する請求項１乃至請求項５のいずれかに記載の監視システム。The unmanned flight device is
When the monitoring target is recognized, it has an approach means for approaching the monitoring target.
An electromagnetic wave irradiation means that irradiates the monitored object with an electromagnetic wave for hindering the normal operation of the controlled device of the monitored object.
The monitoring system according to any one of claims 1 to 5. 前記第一認識手段及び／または前記第二認識手段は、前記画像及び／または前記撮影画像に含まれる監視対象の機種を判断するように構成されており
前記無人飛行装置は、
前記監視対象の機種ごとに前記制御装置の正常な作動を妨げるのに効果的な周波数である脆弱周波数を示す脆弱周波数情報を有しており、
前記電磁波照射手段は、前記脆弱周波数情報に基づいて、前記監視対象に対して前記脆弱周波数における前記電磁波を照射するように構成されている、
請求項６に記載の監視システム。The first recognition means and / or the second recognition means are configured to determine a model to be monitored included in the image and / or the captured image, and the unmanned flight device is configured.
Each model to be monitored has fragile frequency information indicating a fragile frequency, which is an effective frequency for interfering with the normal operation of the control device.
The electromagnetic wave irradiating means is configured to irradiate the monitored object with the electromagnetic wave at the fragile frequency based on the fragile frequency information.
The monitoring system according to claim 6. 前記第一認識手段及び／または前記第二認識手段は、前記画像及び／または前記撮影画像に含まれる監視対象の機種を判断するように構成されており、
前記無人飛行装置は、
前記監視対象の機種ごとに前記制御装置に含まれる高度センサーの出力を実際の高度よりも高くなるように変更する周波数である特有周波数を示す特有周波数情報を有しており、
前記電磁波照射手段は、前記特有周波数情報に基づいて、前記監視対象に対して前記特有周波数における前記電磁波を照射するように構成されている、
請求項６に記載の監視システム。The first recognition means and / or the second recognition means are configured to determine a model to be monitored included in the image and / or the captured image.
The unmanned flight device is
Each model to be monitored has specific frequency information indicating a specific frequency, which is a frequency for changing the output of the altitude sensor included in the control device so as to be higher than the actual altitude.
The electromagnetic wave irradiating means is configured to irradiate the monitored object with the electromagnetic wave at the specific frequency based on the specific frequency information.
The monitoring system according to claim 6. 前記無人飛行装置の前記電磁波照射手段は、前記監視対象の周囲の空間に向けて前記電磁波を照射するように構成されており、
前記無人飛行装置は、
前記監視対象の実際の飛行方向に応じて前記電磁波の照射方向を変更する監視対象制御手段を有する、
請求項６に記載の監視システム。The electromagnetic wave irradiating means of the unmanned flight device is configured to irradiate the electromagnetic wave toward the space around the monitored object.
The unmanned flight device is
It has a monitoring target control means that changes the irradiation direction of the electromagnetic wave according to the actual flight direction of the monitoring target.
The monitoring system according to claim 6. 乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置であって、
ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段と、
各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段と、
前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段と、
を有する管理装置。It is a management device having a receiving means for receiving images taken by a plurality of cameras that are arranged apart from each other and take a picture of a common area.
A first recognition means for recognizing a monitoring target in the image received from the camera by artificial intelligence composed of a neural network.
A position calculation means for calculating the position of the monitoring target based on the position of each camera and the direction of the monitoring target based on the position of each camera.
When the position information indicating the position of the monitoring target is received from the management device, the flight means for flying toward the position indicated in the position information, the image acquisition means for photographing the outside and acquiring the photographed image, and the neural network. An unmanned person having a recognition means for recognizing the monitoring target in the captured image by artificial intelligence configured by a network, and a lock-on means for continuously photographing the monitoring target when the monitoring target is recognized. A position transmitting means for transmitting the position information to the flight device, and
Management device with. 乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置が、
ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識ステップと、
各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出ステップと、
前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信ステップと、を実施する監視方法。A management device having a receiving means for receiving images taken by a plurality of cameras, which are arranged apart from each other and take a picture of a common area,
The first recognition step of recognizing the monitoring target in the image received from the camera by artificial intelligence composed of a neural network, and
A position calculation step for calculating the position of the monitoring target based on the position of each camera and the direction of the monitoring target based on the position of each camera.
When the position information indicating the position of the monitoring target is received from the management device, the flight means for flying toward the position indicated in the position information, the image acquisition means for photographing the outside and acquiring the photographed image, and the neural An unmanned person having a recognition means for recognizing the monitoring target in the captured image by artificial intelligence configured by a network, and a lock-on means for continuously photographing the monitoring target when the monitoring target is recognized. A monitoring method for carrying out a position transmission step of transmitting the position information to the flight device. 乖離して配置され、共通の領域を撮影する複数のカメラが撮影した画像を受信する受信手段を有する管理装置を制御するコンピュータを、
ニューラルネットワークで構成される人工知能によって、前記カメラから受信した前記画像において、監視対象を認識する第一認識手段、
各前記カメラの位置と、各前記カメラの位置を基準とする前記監視対象の方向とに基づいて、前記監視対象の位置を算出する位置算出手段、
前記管理装置から監視対象の位置を示す位置情報を受信すると、前記位置情報に示される位置に向かって飛行するための飛行手段と、外部を撮影して撮影画像を取得する画像取得手段と、ニューラルネットワークで構成される人工知能によって、前記撮影画像において、前記監視対象を認識する認識手段と、前記監視対象を認識した場合に、前記監視対象を継続的に撮影するロックオン手段と、を有する無人飛行装置に対して、前記位置情報を送信する位置送信手段、
として機能させるためのコンピュータプログラム。A computer that controls a management device that has a receiving means for receiving images taken by a plurality of cameras that are arranged apart from each other and take a picture of a common area.
A first recognition means for recognizing a monitoring target in the image received from the camera by artificial intelligence composed of a neural network.
A position calculation means for calculating the position of the monitoring target based on the position of each camera and the direction of the monitoring target based on the position of each camera.
When the position information indicating the position of the monitoring target is received from the management device, the flight means for flying toward the position indicated in the position information, the image acquisition means for photographing the outside and acquiring the photographed image, and the neural network. An unmanned person having a recognition means for recognizing the monitoring target in the captured image by artificial intelligence configured by a network, and a lock-on means for continuously photographing the monitoring target when the monitoring target is recognized. A position transmitting means for transmitting the position information to the flight device,
A computer program to function as.
JP2020551066A 2018-10-05 2018-10-05 Monitoring system, management device, monitoring method, control program of management device Active JP7101799B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037486 WO2020070897A1 (en) 2018-10-05 2018-10-05 Monitoring system, management device, monitoring method, and management device control program

Publications (2)

Publication Number Publication Date
JPWO2020070897A1 true JPWO2020070897A1 (en) 2021-09-24
JP7101799B2 JP7101799B2 (en) 2022-07-15

Family

ID=70055402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020551066A Active JP7101799B2 (en) 2018-10-05 2018-10-05 Monitoring system, management device, monitoring method, control program of management device

Country Status (2)

Country Link
JP (1) JP7101799B2 (en)
WO (1) WO2020070897A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347680A (en) * 2020-11-16 2021-02-09 国网湖北省电力有限公司直流运检公司 Unmanned aerial vehicle routing inspection path planning method for converter transformer of direct current converter station
MX2023006001A (en) * 2020-11-23 2023-07-31 Bioseco Sp Z O O A stereovision method and system.
GB2601307A (en) * 2020-11-23 2022-06-01 Bioseco Sp Z O O A Stereovision Method and System
US20240097813A1 (en) * 2021-07-14 2024-03-21 Nec Corporation Uspicious aircraft countermeasure device, suspicious aircraft countermeasure method, and recording medium
CN115515098A (en) * 2022-08-22 2022-12-23 西北工业大学 Unmanned aerial vehicle cluster vulnerability node identification method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006173872A (en) * 2004-12-14 2006-06-29 Matsushita Electric Ind Co Ltd Camera controller
JP2017072986A (en) * 2015-10-07 2017-04-13 パナソニックＩｐマネジメント株式会社 Autonomous flying device, control method and program of autonomous flying device
JP2017163511A (en) * 2016-03-11 2017-09-14 株式会社プロドローン Living body search system
US20170300759A1 (en) * 2016-03-03 2017-10-19 Brigham Young University Automated multiple target detection and tracking system
US20180165504A1 (en) * 2016-12-12 2018-06-14 Alarm.Com Incorporated Drone Pre-Surveillance
JP2018110304A (en) * 2016-12-28 2018-07-12 パナソニックＩｐマネジメント株式会社 Monitoring system, monitoring method, and program
WO2018135522A1 (en) * 2017-01-19 2018-07-26 日本電気株式会社 Mobile body control system, mobile body control device, mobile body control method, and recording medium
US20180247421A1 (en) * 2017-02-27 2018-08-30 Isolynx, Llc Systems and methods for tracking and controlling a mobile camera to image objects of interest

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006173872A (en) * 2004-12-14 2006-06-29 Matsushita Electric Ind Co Ltd Camera controller
JP2017072986A (en) * 2015-10-07 2017-04-13 パナソニックＩｐマネジメント株式会社 Autonomous flying device, control method and program of autonomous flying device
US20170300759A1 (en) * 2016-03-03 2017-10-19 Brigham Young University Automated multiple target detection and tracking system
JP2017163511A (en) * 2016-03-11 2017-09-14 株式会社プロドローン Living body search system
US20180165504A1 (en) * 2016-12-12 2018-06-14 Alarm.Com Incorporated Drone Pre-Surveillance
JP2018110304A (en) * 2016-12-28 2018-07-12 パナソニックＩｐマネジメント株式会社 Monitoring system, monitoring method, and program
WO2018135522A1 (en) * 2017-01-19 2018-07-26 日本電気株式会社 Mobile body control system, mobile body control device, mobile body control method, and recording medium
US20180247421A1 (en) * 2017-02-27 2018-08-30 Isolynx, Llc Systems and methods for tracking and controlling a mobile camera to image objects of interest

Also Published As

Publication number Publication date
WO2020070897A1 (en) 2020-04-09
JP7101799B2 (en) 2022-07-15

Similar Documents

Publication Publication Date Title
JP7101799B2 (en) Monitoring system, management device, monitoring method, control program of management device
JP7185032B2 (en) Fixed air countermeasures for rapid deployment and neutralization of target aircraft
US11460844B2 (en) Unmanned aerial image capture platform
US11697497B2 (en) Aerial vehicles having countermeasures deployed from a platform for neutralizing target aerial vehicles
US9977434B2 (en) Automatic tracking mode for controlling an unmanned aerial vehicle
CN110494360B (en) System and method for providing autonomous photography and photography
WO2018103689A1 (en) Relative azimuth control method and apparatus for unmanned aerial vehicle
KR20180051996A (en) An unmanned aerialvehicles and method for pthotographing a subject using the same
CN104854428A (en) Sensor fusion
CN108021145A (en) The autonomous camera system of unmanned plane mobile image kept with target following and shooting angle
CN106291535A (en) A kind of obstacle detector, robot and obstacle avoidance system
JP6812667B2 (en) Unmanned aerial vehicle control system, unmanned aerial vehicle control method and unmanned aerial vehicle
CN107918397A (en) The autonomous camera system of unmanned plane mobile image kept with target following and shooting angle
EP2946283B1 (en) Delay compensation while controlling a remote sensor
CN111226154A (en) Autofocus camera and system
US20220335840A1 (en) Ruggedized autonomous helicopter platform
KR20120036684A (en) An intelligent aviation robot using gps
KR102149494B1 (en) Structure inspection system and method using dron
CN113625737A (en) Unmanned aerial vehicle device for detecting and scoring
KR20110136225A (en) An intelligent aviation robot using gps
Upadhyay et al. UAV-Based Target Localization in Dense Areas with Computer Vision and GPS Hybrid Navigation Model
Dille et al. Air-ground collaborative surveillance with human-portable hardware
KR102348290B1 (en) Crack detection system and control method using drones
WO2017213010A1 (en) Monitoring system and monitoring device placement information construction program
KR20240047808A (en) Apparatus and method for generating position information of multicopter

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220705

R150 Certificate of patent or registration of utility model

Ref document number: 7101799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150