JP2017138947A - Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program - Google Patents
Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program Download PDFInfo
- Publication number
- JP2017138947A JP2017138947A JP2016175206A JP2016175206A JP2017138947A JP 2017138947 A JP2017138947 A JP 2017138947A JP 2016175206 A JP2016175206 A JP 2016175206A JP 2016175206 A JP2016175206 A JP 2016175206A JP 2017138947 A JP2017138947 A JP 2017138947A
- Authority
- JP
- Japan
- Prior art keywords
- flight altitude
- markers
- area
- air vehicle
- unmanned air
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 71
- 239000003550 marker Substances 0.000 claims abstract description 218
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 18
- 238000012423 maintenance Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 54
- 238000004891 communication Methods 0.000 description 48
- 238000001514 detection method Methods 0.000 description 38
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/042—Control of altitude or depth specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本開示は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラムに関するものである。 The present disclosure relates to a flight altitude control device, an unmanned air vehicle, a flight altitude control method, and a flight altitude control program for controlling the flight altitude of an unmanned air vehicle equipped with an imaging device for photographing the ground.
従来の無人飛行体(UNMANNED AERIAL VEHICLE)の飛行制御方法としては、人間の操縦者が、無人飛行体を目視しながら、無人飛行体を操縦することが一般的であり、操縦時の飛行高度は、操縦者の目視により制御されている。 As a conventional flight control method for an unmanned aerial vehicle (UNMANNED AERIAL VEHICLE), a human operator generally controls an unmanned aerial vehicle while observing the unmanned aerial vehicle. It is controlled by the operator's visual inspection.
また、従来の無人飛行体の飛行高度の制御方法として、予め設定された高度でホバリング動作を制御するものがある(例えば、特許文献1参照)。この特許文献1に記載の航空映像情報の収集方法では、地上の基準地点と無人飛行体との距離(高度)を測定して、飛行を制御する技術が開示されている。
Further, as a conventional method for controlling the flight altitude of an unmanned aerial vehicle, there is a method for controlling a hovering operation at a preset altitude (see, for example, Patent Document 1). The aerial image information collecting method described in
しかしながら、上記の航空映像情報の収集方法では、基準地点との測距により、予め定められた距離を保つことを開示しているが、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度の制御に関して、さらなる改善が必要とされていた。 However, the above aerial image information collection method discloses that a predetermined distance is maintained by ranging from a reference point, but the flight altitude of an unmanned air vehicle equipped with a photographing device for photographing the ground is disclosed. There was a need for further improvements in control.
本開示は、無人飛行体の飛行高度の調整を自動的に行い、撮影対象となる地上の物体を適切に撮影できる飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラムを提供することを目的とする。 The present disclosure provides a flight altitude control apparatus, an unmanned air vehicle, a flight altitude control method, and a flight altitude control program that can automatically adjust the flight altitude of an unmanned air vehicle and appropriately capture an object on the ground to be imaged. The purpose is to do.
本開示の一態様による飛行高度制御装置は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置であって、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識する認識部と、前記複数のマーカーにより形成される多角形の面積を算出する算出部と、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する制御部とを備える。 A flight altitude control device according to an aspect of the present disclosure is a flight altitude control device that controls the flight altitude of an unmanned air vehicle equipped with an imaging device that images the ground, and is located on the ground from an image captured by the imaging device. A recognition unit that recognizes a plurality of objects as a plurality of markers, a calculation unit that calculates an area of a polygon formed by the plurality of markers, and the unmanned aerial vehicle so that the area of the polygon is maximized And a control unit for controlling the flight altitude.
本開示によれば、無人飛行体の飛行高度の調整を自動的に行い、撮影対象となる地上の物体を適切に撮影することができる。 According to the present disclosure, it is possible to automatically adjust the flight altitude of an unmanned air vehicle and appropriately capture an object on the ground to be imaged.
(本開示の基礎となった知見)
本開示は、撮影装置(例えば、カメラ)を搭載した無人飛行体の飛行高度を制御する飛行高度制御システムに関する。本飛行高度制御システムは、例えば、災害時など被災地において、地上展開/配置されたロボット、人間等が、救助などの活動を行う際に、被災地の上空を飛行する無人飛行体がカメラを用いて被災地を撮影し、撮影した画像に基づき活動に必要な被災地の情報を共有するために使用されるシステムである。
(Knowledge that became the basis of this disclosure)
The present disclosure relates to a flight altitude control system that controls the flight altitude of an unmanned air vehicle equipped with an imaging device (for example, a camera). This flight altitude control system is used, for example, when an unmanned air vehicle flying over the disaster area takes a camera when a robot, human, etc. deployed or placed on the ground in a disaster area such as a disaster performs activities such as rescue. It is a system used to take pictures of disaster areas and share information on disaster areas necessary for activities based on the taken images.
複数のロボットや人間が連携して活動を行う場合、これらロボット又は人間自身の状況や、これらロボット又は人間の周辺状況などを把握することが必要となる。つまり、地上展開/配置されたロボット又は人間等を撮影対象として、必要な情報を取得することが求められる。 When a plurality of robots and humans perform activities in cooperation with each other, it is necessary to grasp the situation of these robots or humans themselves, the surrounding situation of these robots or humans, and the like. That is, it is required to acquire necessary information using a robot or a person or the like deployed / arranged on the ground as an imaging target.
無人飛行体に搭載されたカメラで、被災地など観測対象である地上を適切に撮影するためには、ユーザが撮影したい注目領域を適切に撮影できる高度を判定して、無人飛行体の飛行高度を制御する必要がある。しかしながら、地図が存在しない領域や被災地など最新状況が不明な領域を観測対象とした場合、予め適切なルートや高度を決定しておことは困難である。 In order to properly capture the ground that is to be observed, such as a stricken area, with the camera mounted on the unmanned aerial vehicle, determine the altitude at which the user can properly capture the area of interest that the user wants to capture, and Need to control. However, it is difficult to determine an appropriate route or altitude in advance when an observation target is an area where the latest situation is unknown, such as an area where no map exists or a disaster area.
上記の従来の航空映像情報の収集方法では、基準地点との測距により、予め定められた距離を保つことを行っており、撮影対象となる地上の物体を適切に撮影するためには、ユーザが適切な高度を予め設定しなければならないため、地図が存在しない領域や被災地など最新状況が不明な領域を観測対象とした場合、撮影対象となる地上の物体を適切に撮影することができないという課題を有していた。 In the above conventional aerial image information collection method, a predetermined distance is maintained by distance measurement with a reference point, and in order to appropriately photograph a ground object to be photographed, the user Since an appropriate altitude has to be set in advance, if the observation target is an area where the latest situation is unknown, such as an area where there is no map or a disaster area, the object on the ground that is to be imaged cannot be appropriately imaged. It had the problem that.
上記課題を解決するために、本開示の一態様に係る飛行高度制御方法は、例えば、地上展開/配置されたロボット又は人間そのものを、高度の設定のための目印すなわちマーカーとして利用し、このことで、地上に配置されたマーカーを用いて、無人飛行体の飛行高度を自動調整することができるようになる。これにより、無人飛行体に搭載されたカメラは、無人飛行体の飛行高度を自動調整することで、ロボット又は人間等の地上の物体のうち、撮影すべき全ての物体が最も拡大して撮影される領域として、マーカーにより決定された注目領域を適切に撮影することを可能とする。 In order to solve the above-described problem, a flight altitude control method according to an aspect of the present disclosure uses, for example, a robot deployed on the ground or a person itself as a mark or marker for setting an altitude. Thus, the flight altitude of the unmanned air vehicle can be automatically adjusted using the marker arranged on the ground. As a result, the camera mounted on the unmanned aerial vehicle automatically adjusts the flight altitude of the unmanned aerial vehicle so that all objects to be photographed among the objects on the ground, such as robots and humans, are most magnified. As a region to be captured, it is possible to appropriately capture the region of interest determined by the marker.
本開示の一態様に係る飛行高度制御装置は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置であって、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識する認識部と、前記複数のマーカーにより形成される多角形の面積を算出する算出部と、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する制御部とを備える。 A flight altitude control apparatus according to an aspect of the present disclosure is a flight altitude control apparatus that controls the flight altitude of an unmanned air vehicle equipped with an imaging apparatus that captures the ground. A recognition unit for recognizing a plurality of positioned objects as a plurality of markers, a calculation unit for calculating an area of a polygon formed by the plurality of markers, and the unmanned flight so that the area of the polygon is maximized A control unit for controlling the flight altitude of the body.
このような構成により、撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、複数のマーカーにより形成される多角形の面積を算出し、多角形の面積が最大になるように無人飛行体の飛行高度を制御しているので、地上のマーカーにより指定された注目領域を適切に撮影することができる。この結果、無人飛行体の飛行高度の調整を自動的に行い、撮影対象となる地上の物体を適切に撮影することができる。 With such a configuration, a plurality of objects located on the ground are recognized as a plurality of markers from the video captured by the imaging device, and the area of the polygon formed by the plurality of markers is calculated. Since the flight altitude of the unmanned air vehicle is controlled so as to be, the region of interest specified by the ground marker can be appropriately captured. As a result, the flight altitude of the unmanned air vehicle can be automatically adjusted, and an object on the ground to be imaged can be appropriately imaged.
上記飛行高度制御装置は、前記認識部が認識すべきマーカーの個数を登録マーカー数として記憶する記憶部をさらに備え、前記認識部は、前記複数のマーカーの個数と前記登録マーカー数とを比較し、前記制御部は、前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記無人飛行体の飛行高度を上昇する制御を行い、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積より小さい場合、前記無人飛行体の飛行高度を下降する制御を行うようにしてもよい。 The flight altitude control apparatus further includes a storage unit that stores the number of markers to be recognized by the recognition unit as the number of registered markers, and the recognition unit compares the number of the plurality of markers with the number of registered markers. The control unit performs control to increase the flight altitude of the unmanned air vehicle when the number of the plurality of markers is less than the number of registered markers, and the number of the plurality of markers matches the number of registered markers, And when the area of the said polygon is smaller than the area of the polygon calculated last time, you may make it perform control which descends the flight altitude of the said unmanned air vehicle.
このような構成により、認識されている複数のマーカーの個数と、予め記憶されている登録マーカー数とを比較し、複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体の飛行高度を上昇する制御を行っているので、無人飛行体の上昇により、撮影されるマーカーの個数を登録マーカー数に一致するまで増加させることができ、登録マーカー数により指定された注目領域を適切に撮影することができる。また、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体の飛行高度を下降する制御を行っているので、無人飛行体の下降により、登録マーカー数により指定された注目領域をできるだけ拡大した状態で適切に撮影することができる。 With this configuration, the number of recognized markers is compared with the number of registered markers stored in advance, and if the number of markers is less than the number of registered markers, the flight altitude of the unmanned air vehicle is calculated. Since the ascending control is performed, the number of markers to be photographed can be increased until the number of registered markers matches the number of registered markers due to the rise of the unmanned air vehicle, and the region of interest specified by the number of registered markers is appropriately photographed. be able to. In addition, if the number of markers matches the number of registered markers and the polygon area is smaller than the previously calculated polygon area, control is performed to lower the flight altitude of the unmanned air vehicle. As the flying object descends, it is possible to appropriately capture an image of the attention area designated by the number of registered markers as much as possible.
前記撮影装置は、ズーム動作可能なズーム撮影装置を含み、前記制御部は、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積以上である場合、前記無人飛行体の飛行高度を現在の飛行高度に維持する制御を行い、前記認識部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で前記撮影装置が撮影した映像から、前記複数の物体を前記複数のマーカーとして認識し、前記算出部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーにより形成される多角形の面積を高度維持時面積として算出し、前記制御部は、前記高度維持時面積が最大になるように、前記ズーム撮影装置のズーム比を制御するようにしてもよい。 The imaging apparatus includes a zoom imaging apparatus capable of zooming, and the control unit is configured such that the number of the plurality of markers coincides with the number of registered markers, and the area of the polygon calculated last time is the polygon area. If it is the above, control is performed to maintain the flight altitude of the unmanned air vehicle at the current flight altitude, and the recognizing unit maintains the flight altitude of the unmanned air vehicle at the current flight altitude. From the captured video, the plurality of objects are recognized as the plurality of markers, and the calculation unit is formed by the plurality of markers recognized in a state where the flight altitude of the unmanned air vehicle is maintained at the current flight altitude. The control unit may control the zoom ratio of the zoom photographing apparatus so that the height maintaining area is maximized.
このような構成により、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積以上である場合、無人飛行体の飛行高度を現在の飛行高度に維持する制御を行い、無人飛行体の飛行高度を現在の飛行高度に維持した状態で撮影装置が撮影した映像から複数の物体を複数のマーカーとして認識し、無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーにより形成される多角形の面積を高度維持時面積として算出し、高度維持時面積が最大になるようにズーム撮影装置のズーム比を制御しているので、無人飛行体の飛行高度を維持しながら、ズーム撮影装置のズーム比の制御により、登録マーカー数により指定された注目領域を適切に撮影することができる。 With this configuration, when the number of markers matches the number of registered markers and the polygon area is equal to or greater than the polygon area calculated previously, the flight altitude of the unmanned air vehicle is set to the current flight altitude. Controls to maintain the unmanned aerial vehicle's flight altitude at the current flight altitude, recognizes multiple objects as multiple markers from the image taken by the imaging device, and sets the unmanned aircraft's flight altitude to the current flight The area of the polygon formed by multiple markers recognized in a highly maintained state is calculated as the area when maintaining the altitude, and the zoom ratio of the zoom camera is controlled so that the area when maintaining the altitude is maximized. Therefore, the attention area designated by the number of registered markers can be appropriately imaged by controlling the zoom ratio of the zoom imaging device while maintaining the flight altitude of the unmanned air vehicle.
前記制御部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記ズーム撮影装置がズームアウトするように前記ズーム撮影装置を制御するようにしてもよい。 When the number of the plurality of markers recognized in a state where the flight altitude of the unmanned air vehicle is maintained at the current flight altitude is smaller than the number of registered markers, the control unit is configured to zoom out the zoom photographing device. The zoom photographing apparatus may be controlled.
このような構成により、無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数より少ない場合、ズーム撮影装置がズームアウトするので、ズーム撮影装置のズームアウト動作により、撮影されるマーカーの個数を増加させて登録マーカー数に一致させることができ、登録マーカーの個数により指定された注目領域を適切に撮影することができる。 With such a configuration, the zoom imaging device zooms out when the number of the plurality of markers recognized with the flight altitude of the unmanned air vehicle maintained at the current flight altitude is smaller than the number of registered markers. With this zoom-out operation, the number of markers to be photographed can be increased to match the number of registered markers, and the region of interest designated by the number of registered markers can be photographed appropriately.
前記制御部は、前記ズーム撮影装置がズームアウトできない場合、前記ズーム撮影装置の現在のズーム比を維持する制御を行い、且つ、前記無人飛行体の飛行高度を上昇する制御を行うようにしてもよい。 When the zoom photographing apparatus cannot zoom out, the control unit performs control to maintain the current zoom ratio of the zoom photographing apparatus and performs control to increase the flight altitude of the unmanned air vehicle. Good.
このような構成により、ズーム撮影装置がズームアウトできない場合、ズーム撮影装置の現在のズーム比を維持する制御を行いながら、無人飛行体の飛行高度を上昇する制御を行っているので、無人飛行体の上昇により、撮影されるマーカーの個数を登録マーカー数に一致するまで増加させることができ、ズーム撮影装置がズームアウトできない場合でも、登録マーカー数により指定された注目領域を適切に撮影することができる。 With such a configuration, when the zoom photographing apparatus cannot zoom out, the control for maintaining the current zoom ratio of the zoom photographing apparatus is performed while the control for increasing the flight altitude of the unmanned flying object is performed. The number of markers to be photographed can be increased until the number matches the number of registered markers, and even if the zoom photographing device cannot zoom out, the region of interest designated by the number of registered markers can be photographed appropriately. it can.
前記制御部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記高度維持時面積が前回算出した高度維持時面積より小さい場合、前記ズーム撮影装置がズームインするように前記ズーム撮影装置を制御するようにしてもよい。 The control unit is configured such that the number of the plurality of markers recognized in a state where the flight altitude of the unmanned air vehicle is maintained at the current flight altitude matches the number of registered markers, and the altitude maintaining area is calculated last time. When the altitude maintenance area is smaller, the zoom photographing apparatus may be controlled so that the zoom photographing apparatus zooms in.
このような構成により、無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数と一致し、且つ、現在の高度維持時面積が前回算出した高度維持時面積より小さい場合、ズーム撮影装置がズームインするので、ズーム撮影装置のズームイン動作により、登録マーカー数により指定された注目領域をできるだけ拡大した状態で適切に撮影することができる。 With such a configuration, the number of markers recognized in the state where the flight altitude of the unmanned air vehicle is maintained at the current flight altitude matches the number of registered markers, and the current altitude maintaining area was calculated last time. When the area is smaller than the altitude maintenance area, the zoom imaging apparatus zooms in. Therefore, the zoom imaging apparatus zooms in, so that the region of interest designated by the number of registered markers can be appropriately captured in an enlarged state as much as possible.
前記制御部は、前記ズーム撮影装置がズームインできない場合、前記ズーム撮影装置の現在のズーム比を維持する制御を行い、且つ、前記無人飛行体の飛行高度を下降する制御を行うようにしてもよい。 The control unit may perform control to maintain a current zoom ratio of the zoom photographing device and perform control to lower a flying altitude of the unmanned air vehicle when the zoom photographing device cannot zoom in. .
このような構成により、ズーム撮影装置がズームインできない場合、ズーム撮影装置の現在のズーム比を維持する制御を行いながら、無人飛行体の飛行高度を下降する制御を行っているので、無人飛行体の下降により、登録マーカー数により指定された注目領域をできるだけ拡大した状態で適切に撮影することができる。 With such a configuration, when the zoom photographing device cannot zoom in, the control for lowering the flying altitude of the unmanned air vehicle is performed while performing control to maintain the current zoom ratio of the zoom photographing device. By descending, it is possible to appropriately shoot in a state where the attention area designated by the number of registered markers is enlarged as much as possible.
上記飛行高度制御装置は、前記複数の物体の中からユーザにより選択された複数の物体を複数の認識対象マーカーとして取得する取得部をさらに備え、前記認識部は、前記撮影装置が撮影した映像から、前記複数の認識対象マーカーを前記複数のマーカーとして認識し、前記算出部は、前記複数の認識対象マーカーにより形成される多角形の面積を算出するようにしてもよい。 The flight altitude control apparatus further includes an acquisition unit configured to acquire a plurality of objects selected by the user from the plurality of objects as a plurality of recognition target markers, and the recognition unit is configured based on an image captured by the imaging device. The plurality of recognition target markers may be recognized as the plurality of markers, and the calculation unit may calculate a polygonal area formed by the plurality of recognition target markers.
このような構成により、複数の物体の中からユーザにより選択された複数の物体を複数の認識対象マーカーとして取得し、撮影装置が撮影した映像から複数の認識対象マーカーを複数のマーカーとして認識し、複数の認識対象マーカーにより形成される多角形の面積を算出しているので、ユーザが選択した複数の物体により指定された注目領域を適切に撮影することができる。 With such a configuration, a plurality of objects selected by a user from a plurality of objects are acquired as a plurality of recognition target markers, and a plurality of recognition target markers are recognized as a plurality of markers from an image captured by the imaging device, Since the area of the polygon formed by the plurality of recognition target markers is calculated, it is possible to appropriately capture the attention area specified by the plurality of objects selected by the user.
前記取得部は、前記撮影装置が撮影した映像に重畳して表示される前記複数のマーカーの中からユーザにより選択された複数のマーカーを前記複数の認識対象マーカーとして取得するようにしてもよい。 The acquisition unit may acquire, as the plurality of recognition target markers, a plurality of markers selected by a user from the plurality of markers displayed superimposed on the video captured by the imaging device.
このような構成により、撮影した映像に重畳して複数のマーカーを表示し、表示されている複数のマーカーの中からユーザにより選択された複数のマーカーを複数の認識対象マーカーとして取得しているので、ユーザは、撮影した映像から任意のマーカーを選択するという簡便な操作で、所望の領域を注目領域として容易に指定することができる。 With such a configuration, a plurality of markers are displayed superimposed on the captured video, and a plurality of markers selected by the user from among the plurality of displayed markers are acquired as a plurality of recognition target markers. The user can easily designate a desired region as a region of interest by a simple operation of selecting an arbitrary marker from the captured video.
本開示の他の態様に係る無人飛行体は、地上を撮影する撮影装置と、上記のいずれかに記載の飛行高度制御装置とを備える。この場合、上記の飛行高度制御装置と同様の効果を奏することができる。 An unmanned air vehicle according to another aspect of the present disclosure includes an imaging device that images the ground and the flight altitude control device according to any one of the above. In this case, the same effect as the above flight altitude control device can be obtained.
また、本開示は、以上のような特徴的な構成を備える飛行高度制御装置又は無人飛行体として実現することができるだけでなく、飛行高度制御装置が備える特徴的な構成に対応する特徴的な処理を実行する飛行高度制御方法などとして実現することもできる。また、このような飛行高度制御方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。したがって、以下の他の態様でも、上記の飛行高度制御装置と同様の効果を奏することができる。 Further, the present disclosure can be realized not only as a flight altitude control apparatus or an unmanned air vehicle having the above-described characteristic configuration but also as a characteristic process corresponding to the characteristic configuration included in the flight altitude control apparatus. It can also be realized as a flight altitude control method for executing It can also be realized as a computer program that causes a computer to execute the characteristic processing included in such a flight altitude control method. Therefore, also in the following other aspects, the same effect as the above flight altitude control device can be obtained.
本開示の他の態様に係る飛行高度制御方法は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御方法であって、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、前記複数のマーカーにより形成される多角形の面積を算出し、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する。 A flight altitude control method according to another aspect of the present disclosure is a flight altitude control method for controlling the flight altitude of an unmanned air vehicle equipped with an imaging device for imaging the ground. A plurality of objects located at the same position are recognized as a plurality of markers, the area of a polygon formed by the plurality of markers is calculated, and the flight altitude of the unmanned air vehicle is adjusted so that the area of the polygon is maximized. Control.
本開示の他の態様に係る飛行高度制御プログラムは、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置として、コンピュータを機能させるための飛行高度制御プログラムであって、前記コンピュータに、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、前記複数のマーカーにより形成される多角形の面積を算出し、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する、処理を実行させる。 A flight altitude control program according to another aspect of the present disclosure is a flight altitude control program for causing a computer to function as a flight altitude control device that controls the flight altitude of an unmanned air vehicle equipped with an imaging device that photographs the ground. Then, the computer recognizes a plurality of objects located on the ground as a plurality of markers from the video imaged by the imaging device, calculates a polygonal area formed by the plurality of markers, A process for controlling the flight altitude of the unmanned air vehicle so as to maximize the area is executed.
そして、上記のようなコンピュータプログラムを、CD−ROM等のコンピュータ読み取り可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示の一実施の形態に係る飛行高度制御装置の構成要素の一部とそれ以外の構成要素とを複数のコンピュータに分散させたシステムとして構成してもよい。 Needless to say, the above-described computer program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM or a communication network such as the Internet. Further, a part of the components of the flight altitude control apparatus according to the embodiment of the present disclosure and the other components may be configured as a system dispersed in a plurality of computers.
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すためのものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。 Note that each of the embodiments described below is for showing a specific example of the present disclosure. Numerical values, shapes, components, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present disclosure. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept are described as optional constituent elements. In all the embodiments, the contents can be combined.
以下、本開示の各実施の形態について、図面を参照しながら説明する。 Hereinafter, each embodiment of the present disclosure will be described with reference to the drawings.
(実施の形態1)
本開示の実施の形態1に係る飛行高度制御システムは、地上に配置された自律移動するロボット(地上ロボット)をマーカーとし、無人飛行体に搭載された撮影装置が撮影する映像内に全てのマーカーを捉えるよう無人飛行体の飛行高度を制御する。
(Embodiment 1)
In the flight altitude control system according to the first embodiment of the present disclosure, the autonomously moving robot (ground robot) arranged on the ground is used as a marker, and all markers are included in the image captured by the imaging device mounted on the unmanned air vehicle. Control the flight altitude of the unmanned air vehicle to capture
図1は、本開示の実施の形態1における飛行高度制御システムの構成の一例を示すブロック図である。図1に示す飛行高度制御システムは、サーバ装置1と、無人飛行体2とを備え、サーバ装置1と無人飛行体2とは、有線又は無線のネットワークNWを介して接続され、種々の情報を相互に通信可能に構成されている。なお、ユーザ(操縦者)が外部の制御装置(操縦器)を用いて無人飛行体2を遠隔制御する場合、操縦器も、ネットワークNW等を介して接続され、種々の情報を相互に通信可能に構成される。この点については、他の実施の形態も同様である。
FIG. 1 is a block diagram illustrating an example of a configuration of a flight altitude control system according to the first embodiment of the present disclosure. The flight altitude control system shown in FIG. 1 includes a
サーバ装置1は、飛行高度制御装置としての機能を備える。具体的には、サーバ装置1は、無人飛行体2に搭載された撮影装置の一例であるカメラが撮影した映像を、ネットワークNWを介して受信し、無人飛行体2の飛行高度を判定し、無人飛行体2の飛行高度の制御を行う。
The
図2は、図1に示すサーバ装置1及び無人飛行体2の構成の一例を示すブロック図であり、図3は、図2に示す無人飛行体の外観の一例を示す図である。なお、図2では、図示を容易にするため、ネットワークNWの図示を省略している。この点については、他の実施の形態も同様である。
2 is a block diagram showing an example of the configuration of the
図2において、サーバ装置1は、通信部11、マーカー認識部12、面積計算部13、最大値検知部14、飛行高度制御部15、及びマーカー数記憶部16を備える。無人飛行体2は、通信部21、カメラ22、飛行制御部23、及び駆動部24を備える。
In FIG. 2, the
無人飛行体2の通信部21は、ネットワークNW(図示省略)を介して、サーバ装置1の通信部11との間の通信を行い、カメラ22が撮影した映像等を通信部11に送信し、サーバ装置1が生成した種々の制御コマンド等を通信部11から受信する。
The
カメラ22は、無人飛行体2に搭載され、無人飛行体2の下方に展開するマーカーとなる物体、例えば、地上ロボットを撮影する。ここでは、カメラ22として、固定焦点レンズのカメラを用いる例を示している。カメラ22は、通信部21を介して、撮影した映像(映像データ)を通信部11に送信する。
The
ここで、図3を参照して、無人飛行体2は、上記の構成に加えて、本体25、4本の支持部26、無人飛行体2の推進力を発生させる4個の駆動部24(図2に示す駆動部24)とを備える。なお、図2では、図示を容易にするため、4個の駆動部24を一つのブロックで図示している。この点については、他の実施の形態も同様である。
Here, referring to FIG. 3, in addition to the above-described configuration, the
本体25の底部には、カメラ22が取り付けられている。駆動部24は、本体25から四方へ延在する支持部26の先端に取り付けられる。本体25の内部には、図2に示す通信部21及び飛行制御部23が収納されている。
A
再び、図2を参照して、飛行制御部23は、無人飛行体2の飛行高度を含む飛行状態を制御する。駆動部24は、プロペラと、プロペラを回転させるモータとからなる。飛行制御部23は、駆動部24のプロペラの回転数を適宜制御することで、無人飛行体2の移動方向や飛行高度等を制御する。なお、図3では、無人飛行体2は、4個の駆動部24を有しているが、これに限定されず、例えば、5個以上の駆動部を用いてもよい。この点については、他の実施の形態も同様である。
Referring to FIG. 2 again, the
サーバ装置1のマーカー認識部12は、通信部21を介して、カメラ22が撮影した映像を取得し、カメラ22により撮影された地上ロボットをマーカーとして認識する。例えば、マーカー認識部12は、人物又は地上ロボット等の物体を認識するような画像処理装置から構成され、マーカーとなる地上ロボットや人物に特定のランプや発光体を取り付け、ランプや発光体を点灯又は点滅させることにより、カメラ22により撮影された映像からランプや発光体を検出し、地上ロボットや人物をマーカーとして認識する。
The
なお、マーカー認識部12の構成は、上記の例に特に限定されず、人物又は地上ロボット等の物体にQRコード(登録商標)などのバーコードのような印を配置又は貼り付け、バーコードのような印を検出することにより、地上ロボットや人物等の物体をマーカーとして認識するようにしてもよい。また、マーカーとして認識する物体は、上記の例に特に限定されず、種々の作業ロボット、緊急車両(消防車、救急車、警察車両等)、工事車両(ブルドーザー、ショベルカー、クレーン車等)等であってもよい。これらの点に関しては、他の実施の形態も同様である。
The configuration of the
マーカー数記憶部16は、予め設定されたマーカーの数を登録マーカー数として記憶する。図4は、マーカー数記憶部16が保持するデータの一例を示す図である。図4に示すように、地上に展開する地上ロボットの数は、マーカー数記憶部16に事前に記憶され、本例では、登録マーカー数として、例えば、5個が記憶されている。
The marker
マーカー認識部12は、認識した複数のマーカーの個数と、マーカー数記憶部16に記憶されている登録マーカー数とを比較し、比較結果を飛行高度制御部15に出力するとともに、カメラ22により撮影された映像と比較結果とを面積計算部13に出力する。
The
面積計算部13は、マーカー認識部12により認識されたマーカーの個数がマーカー数記憶部16に予め登録された登録マーカー数と一致する場合、カメラ22により撮影された映像を用いて、マーカーの位置を検出し、登録マーカー数に一致する数のマーカーにより形成される多角形の面積を算出し、算出した多角形の面積を最大値検知部14に出力する。ここで、多角形の面積としては、マーカーにより形成される映像上の多角形の面積を計算してもよいし、マーカーに対応する地上ロボットの実際の位置から形成される多角形の実際の面積を計算してもよく、種々の面積を用いることができる。
When the number of markers recognized by the
最大値検知部14は、飛行高度制御部15により無人飛行体2の飛行高度が制御されている状態で、面積計算部13により計算された多角形の面積が最大であるか否かを検知する。具体的には、最大値検知部14は、面積計算部13が計算した多角形の面積を記憶する機能を有し、前回の多角形の面積と、最新の多角形の面積とを比較して最大値を検知する処理を行い、比較結果を飛行高度制御部15に出力する。
The maximum
飛行高度制御部15は、マーカー認識部12の比較結果及び最大値検知部14の比較結果を基に、多角形の面積が最大になるように、カメラ22を搭載した無人飛行体2の飛行高度を制御する。具体的には、飛行高度制御部15は、マーカー認識部12により認識された複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体2の飛行高度を上昇するように、無人飛行体2の飛行高度を制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2に送信する。また、飛行高度制御部15は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体2の飛行高度を下降するように、無人飛行体2の飛行高度を制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2に送信する。
The flight
無人飛行体2の通信部21は、サーバ装置1からの制御コマンドを受信して飛行制御部23に出力する。飛行制御部23は、制御コマンドに従って駆動部24を制御し、マーカー認識部12により認識された複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体2の飛行高度を上昇させる。また、飛行制御部23は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体2の飛行高度を下降させる。
The
上記のように、サーバ装置1の飛行高度制御部15は、無人飛行体2に対して高度を制御する命令(制御コマンド)を送信し、無人飛行体2は、受信した命令に従って自機器の高度を制御する。また、サーバ装置1は、無人飛行体2のカメラ22が撮影した映像を受信し、受信した映像を用いて分析した結果を、複数の地上ロボットが連携して活動する上で必要となる情報として、種々の装置等(図示省略)に提供する。
As described above, the flight
なお、本実施の形態では、サーバ装置1が飛行高度制御装置として機能する例について説明したが、無人飛行体2が飛行高度制御装置としての機能を備える構成であってもよい。この場合、無人飛行体2は、マーカー認識部12、面積計算部13、最大値検知部14、飛行高度制御部15、及びマーカー数記憶部16をさらに備え、搭載されたカメラ22が撮影した映像を用いて、自機器の高度の制御を行う。また、無線又は光通信等で接続された無人飛行体の外部の制御装置、例えば、プロポ等のコントローラが、飛行高度制御装置としても機能するようにしてもよい。これらの点については、他の実施の形態も同様である。
In the present embodiment, an example in which the
上記の構成により、無人飛行体2は、飛行している位置の下方の映像を常にカメラ22で撮影している。無人飛行体2の下方には、マーカーとなる複数の地上ロボットが地上に展開されており、サーバ装置1は、カメラ22がこれらの映像を撮影することによって、地上ロボットの位置を頂点とする多角形を生成する。
With the above configuration, the
図5は、図2に示す無人飛行体2が複数の地上ロボットを撮影している状態の一例を示すイメージ図である。図5に示す例は、無人飛行体2が上空を飛行し、飛行している位置の下方に、5台の地上ロボット4が配置されている例である。各ロボット4は、例えば、ランプ41を備え、ランプ41を所定の発光色で点灯させる。このとき、無人飛行体2は、飛行している位置の下方の映像を常にカメラ22で撮影し、サーバ装置1は、撮影された映像から、5台の地上ロボット4のランプ41をマーカーとして認識し、無人飛行体2のカメラ22が撮影可能な領域である注目領域AA内に5台の地上ロボット4のランプ41がすべて入るように、無人飛行体2の飛行高度を制御する。
FIG. 5 is an image diagram showing an example of a state in which the
図6は、図5に示す地上ロボット4をマーカーとした場合の多角形の一例を示す図である。図6に示すように、サーバ装置1は、5台の地上ロボット4のランプ41をマーカーM1〜M5として認識し、5個のマーカーM1〜M5から形成される多角形PSの面積を算出する。
FIG. 6 is a diagram showing an example of a polygon when the
ここで、本実施の形態において、無人飛行体2の飛行高度が低ければ、カメラ22において撮像されるマーカーの数は、予め設定されるマーカーの数(登録マーカー数)に届かないことが想定される。すなわち、マーカー数を頂点とする多角形を描いていないことになる。
Here, in the present embodiment, if the flying altitude of the
このため、サーバ装置1は、初期状態として、マーカーの数が登録マーカー数になるまで無人飛行体2の飛行高度を上昇させる。このことにより、マーカー数を頂点の数とする多角形が得られることとなる。無人飛行体2が単調に飛行高度を上昇させていく過程で、カメラ22は、マーカーである地上ロボット(以下、「マーカー」とも称する)を撮影し始める。カメラ22がマーカーを捉えると、マーカー認識部12は、地上ロボット4をマーカーとして認識し、マーカーの個数をカウントし始める。その後、マーカーの数が予め設定された登録マーカー数になるまで、無人飛行体2は上昇する。
For this reason, the
無人飛行体2が上昇を続け、マーカーの数が登録マーカー数に一致するようになると、マーカーを頂点とする多角形を認識できるため、面積計算部13は、マーカーが形成する多角形の面積を算出する。
When the unmanned
これ以降は、多角形の面積は、無人飛行体2の飛行高度と関連し、無人飛行体2の飛行高度を高くすると、多角形の面積は減少する。一方、無人飛行体2の飛行高度を低くすると、多角形の面積は増大していき、やがて、マーカーがカメラ22の画角の外側に出るため、予め設定された登録マーカー数のマーカーを頂点とする多角形を検知できないという状態となる。
Thereafter, the polygonal area is related to the flight altitude of the
このとき、飛行高度制御部15は、無人飛行体2の飛行高度を変化させ、最大値検知部14の比較結果を基に、カメラ22によって撮影された多角形の面積が最大となるように無人飛行体2の飛行高度を定める。また、マーカーである地上ロボット4は、常に移動をしているので、多角形の面積は、時々刻々変化する。最大値検知部14は、この変化する多角形の面積を順次比較し、飛行高度制御部15は、マーカーの描く多角形の面積が最大になるように無人飛行体2の飛行高度を制御する。
At this time, the flight
次に、図2に示すサーバ装置1の飛行高度制御処理について、図7のフローチャートを使って説明する。図7は、図2に示すサーバ装置1の飛行高度制御処理の一例を示すフローチャートである。
Next, the flight altitude control process of the
図7において、まず、サーバ装置1は、飛行高度制御処理を開始する(ステップS101)。次に、ステップS102において、マーカー認識部12は、カメラ22が撮影した映像を取得して、マーカーを認識する。
In FIG. 7, first, the
次に、ステップS103において、マーカー認識部12は、認識したマーカーの数と、マーカー数記憶部16に予め記憶された登録マーカー数とを比較する。認識したマーカーの数が登録マーカー数より少ない(個数が不足)場合、ステップS107に遷移し、マーカー認識部12は、認識したマーカーの数が登録マーカー数より少ないことを飛行高度制御部15に通知し、無人飛行体2の飛行高度を上昇させるよう指示する。飛行高度制御部15は、指示に従って、無人飛行体2の飛行高度を制御する。
Next, in step S <b> 103, the
一方、認識したマーカーの数が登録マーカー数である(個数を満たしている)場合、マーカーにより形成される多角形の面積を計算するステップS104に遷移する。ステップS104では、面積計算部13は、カメラ22により撮影された映像を用いて、マーカーの位置を検出し、検出したマーカーを頂点とした多角形の面積を求める。
On the other hand, if the number of recognized markers is the number of registered markers (the number is satisfied), the process proceeds to step S104 in which the area of a polygon formed by the markers is calculated. In step S <b> 104, the
続いて、ステップS105では、最大値検知部14は、前回の多角形の面積を記憶しており、前回の多角形の面積と、ステップS104で計算された今回の多角形の面積とを比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップS106に遷移し、最大値検知部14は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部15に通知し、飛行高度制御部15に無人飛行体の高度を下げるよう指示する。飛行高度制御部15は、指示に従って、無人飛行体2の飛行高度を制御する。
Subsequently, in step S105, the maximum
一方、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部14は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部15に通知し、飛行高度制御部15は、その高度を維持したまま、ステップS101に遷移し(ステップS108)、以降の処理を繰り返す。
On the other hand, when the area of the current polygon is equal to or larger than the area of the previous polygon, the maximum
なお、初期状態として、無人飛行体2の操縦者のマニュアル操作により、無人飛行体2を予め全マーカーを捉える高度に上昇させた後、図7に示した処理を実施してもよい。また、最大値検知部14では、前回の多角形の面積の初期値を「0」とする。これらの点については、他の実施の形態も同様である。
Note that, as an initial state, the process shown in FIG. 7 may be performed after the
上記の処理により、サーバ装置1は、無人飛行体2に搭載されたカメラ22を用いて撮影された地上ロボット4をマーカーとして認識し、マーカーを頂点とする多角形を形成し、多角形の面積を最大とする映像を撮影できる高度で無人飛行体2を飛行させる。これにより、無人飛行体2の飛行高度が、搭載されたカメラ22を用いて、画像として注目する領域を撮像するために最適な高度となり、地上のマーカーにより指定された注目領域を適切に撮影することができる。
Through the above processing, the
なお、本実施の形態において、マーカーとして地上ロボットを用いたが、ロボットでない物体であっても、マーカー認識部12がマーカーと認識できるものであれば、いかなるものをマーカーとしてもよい。この点については、他の実施の形態も同様である。
In the present embodiment, the ground robot is used as the marker, but any object that is not a robot can be used as the marker as long as the
(実施の形態2)
本開示の実施の形態2に係る飛行高度制御システムは、ズームレンズ搭載の撮影装置を搭載した無人飛行体の飛行高度を制御するとともに、撮影装置のズーム比を制御する。
(Embodiment 2)
The flight altitude control system according to the second embodiment of the present disclosure controls the flight altitude of an unmanned air vehicle equipped with an imaging device equipped with a zoom lens, and also controls the zoom ratio of the imaging device.
図8は、本開示の実施の形態2における飛行高度制御システムの構成の一例を示すブロック図である。なお、図8において、図2と同じ構成要素については、同じ符号を用い、詳細な説明を省略する。 FIG. 8 is a block diagram illustrating an example of the configuration of the flight altitude control system according to the second embodiment of the present disclosure. In FIG. 8, the same components as those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
図8において、本実施の形態の飛行高度制御システムは、サーバ装置1aと、無人飛行体2aとを備える。サーバ装置1aは、通信部11、マーカー認識部12、面積計算部13、最大値検知部14、飛行高度制御部15、マーカー数記憶部16、及びズーム比制御部17を備える。無人飛行体2aは、通信部21、カメラ22a、飛行制御部23、駆動部24及びカメラ制御部27を備える。
In FIG. 8, the flight altitude control system of the present embodiment includes a
無人飛行体2aの通信部21は、ネットワークNW(図示省略)を介して、サーバ装置1aの通信部11との間の通信を行い、カメラ22aが撮影した映像等を通信部11に送信し、サーバ装置1aが生成した種々の制御コマンド等を通信部11から受信する。
The
カメラ22aは、無人飛行体2aに搭載され、無人飛行体2aの下方に展開するマーカーとなる物体、例えば、地上ロボットを撮影する。ここでは、カメラ22aとして、ズームレンズ搭載のカメラ(ズームレンズカメラ)を用いる例を示している。カメラ22aは、通信部21を介して、撮影した映像(映像データ)を通信部11に送信する。
The
無人飛行体2aは、図3に示す無人飛行体2と同様の外観を有し、本体25(図示省略)の底部に、カメラ22aが取り付けられている。駆動部24は、本体25から四方へ延在する支持部26(図示省略)の先端に取り付けられる。本体25の内部には、図8に示す通信部21、飛行制御部23、及びカメラ制御部27が収納されている。
The
飛行制御部23は、無人飛行体2aの飛行高度を含む飛行状態を制御する。駆動部24は、プロペラと、プロペラを回転させるモータとからなる。飛行制御部23は、駆動部24のプロペラの回転数を適宜制御することで、無人飛行体2aの移動方向や飛行高度等を制御する。カメラ制御部27は、カメラ22aのズーム動作を制御する。
The
サーバ装置1aのマーカー認識部12は、通信部21を介して、カメラ22aが撮影した映像を取得し、カメラ22aにより撮影された地上ロボットをマーカーとして認識する。
The
マーカー数記憶部16は、予め設定されたマーカーの数を登録マーカー数として記憶する。例えば、マーカー数記憶部16は、図4に示すデータ(登録マーカー数)を保持し、地上に展開する地上ロボットの数は、マーカー数記憶部16に事前に登録されている。
The marker
マーカー認識部12は、認識した複数のマーカーの個数と、マーカー数記憶部16に記憶されている登録マーカー数とを比較し、比較結果を飛行高度制御部15に出力するとともに、カメラ22aにより撮影された映像と比較結果とを面積計算部13に出力する。
The
面積計算部13は、マーカー認識部12により認識されたマーカーの個数がマーカー数記憶部16に予め登録された登録マーカー数と一致する場合、カメラ22aにより撮影された映像を用いて、マーカーの位置を検出し、登録マーカー数に一致する数のマーカーにより形成される多角形の面積を算出し、算出した多角形の面積を最大値検知部14に出力する。
When the number of markers recognized by the
最大値検知部14は、飛行高度制御部15により無人飛行体2aの飛行高度が制御されている状態で、多角形の面積が最大であるか検知する。具体的には、最大値検知部14は、面積計算部13が算出した多角形の面積を記憶する機能を有し、前回の多角形の面積と、最新の多角形の面積とを比較して最大値を検知する処理を行い、比較結果を飛行高度制御部15に出力する。
The maximum
飛行高度制御部15は、マーカー認識部12の比較結果及び最大値検知部14の比較結果を基に、多角形の面積が最大になるように、カメラ22aを搭載した無人飛行体2aの飛行高度を制御する。具体的には、飛行高度制御部15は、マーカー認識部12により認識された複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体2aの飛行高度を上昇するように、無人飛行体2aの飛行高度を制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2aに送信する。また、飛行高度制御部15は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体2aの飛行高度を下降するように、無人飛行体2aの飛行高度を制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2aに送信する。さらに、飛行高度制御部15は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積以上である場合、無人飛行体2aの飛行高度を維持するように、無人飛行体2aの飛行高度を制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2aに送信する。
The flight
ズーム比制御部17は、無人飛行体2aに搭載されたカメラ22aのズーム比を制御する。具体的には、マーカー認識部12は、無人飛行体2aの飛行高度を現在の飛行高度に維持した状態でカメラ22aが撮影した映像から、複数の地上ロボットを複数のマーカーとして認識する。面積計算部13は、無人飛行体2aの飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーにより形成される多角形の面積を高度維持時面積として算出する。ズーム比制御部17は、高度維持時面積が最大になるように、カメラ22aのズーム比を制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2aに送信する。
The zoom
また、ズーム比制御部17は、無人飛行体2aの飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数より少ない場合、カメラ22aがズームアウトするようにカメラ22aを制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2aに送信する。ここで、カメラ22aがズームアウトできない場合、ズーム比制御部17は、カメラ22aの現在のズーム比を維持する制御コマンドを作成するとともに、飛行高度制御部15は、無人飛行体2aの飛行高度を上昇する制御コマンドを作成し、通信部11を介して、それぞれ作成した制御コマンドを無人飛行体2aに送信する。
Further, the zoom
さらに、ズーム比制御部17は、無人飛行体2aの飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数と一致し、且つ、高度維持時面積が前回算出した高度維持時面積より小さい場合、カメラ22aがズームインするようにカメラ22aを制御する制御コマンドを作成し、通信部11を介して、作成した制御コマンドを無人飛行体2aに送信する。ここで、カメラ22aがズームインできない場合、ズーム比制御部17は、カメラ22aの現在のズーム比を維持する制御コマンドを作成するとともに、飛行高度制御部15は、無人飛行体2aの飛行高度を下降する制御コマンドを作成し、通信部11を介して、それぞれ作成した制御コマンドを無人飛行体2aに送信する。
Furthermore, the zoom
なお、ズーム比制御部17の構成は、上記の例に特に限定されず、種々の変更が可能であり、例えば、ズーム比制御部17を省略し、飛行高度制御部15がズーム比制御部17の機能を実行してもよい。
The configuration of the zoom
上記の構成により、無人飛行体2aは、飛行している位置の下方の映像を常にカメラ22aで撮影している。無人飛行体2aの飛行高度と、カメラ22aに搭載されているズームレンズのズーム比とに応じて、無人飛行体2aのカメラ22aが撮影する領域が変化する。つまり、無人飛行体2aがズームレンズをテレ(望遠)側からワイド(広角)側にズームアウトさせていくと、撮影される領域が広がる。また、無人飛行体2aがズームレンズをワイド(広角)側からテレ(望遠)側にズームインさせていくと、撮影される領域が狭くなる。
With the above configuration, the unmanned
本実施の形態では、初期状態として、カメラ22aのズーム比をワイド側の最大値(ワイド端)、すなわち、一番大きな画角で最も多くの物体を撮影できる状態にしておく。無人飛行体2aの下方には、マーカーとなる複数の地上ロボットが展開されており、カメラ22aがこれらの映像を撮影することによって、地上ロボットの位置を頂点とする多角形を生成する。この状況は、図5及び図6で説明した状況と同様である。
In the present embodiment, as an initial state, the zoom ratio of the
ここで、本実施の形態において、無人飛行体2aの飛行高度が低ければ、カメラ22aにおいて撮像されるマーカーの数は、予め設定されるマーカーの数(登録マーカー数)に届かないことが想定される。
Here, in this embodiment, if the flying altitude of the
このため、サーバ装置1aは、初期状態として、マーカーの数が登録マーカー数になるまで、無人飛行体2aの飛行高度を上昇させる。無人飛行体2aが単調に飛行高度を上昇させていく過程で、カメラ22aは、マーカーである地上ロボット(以下、「マーカー」とも称する)を撮影し始める。カメラ22aがマーカーを捉えると、マーカー認識部12は、地上ロボットをマーカーとして認識し、マーカーの個数をカウントし始める。その後、マーカーの数が予め設定された登録マーカー数になるまで、無人飛行体2aは上昇をする。
For this reason, the
無人飛行体2aが上昇を続け、マーカーの数が、登録マーカー数に一致するようになると、マーカーを頂点とする多角形を認識できるため、面積計算部13は、マーカーを頂点として形成する多角形の面積を算出する。
When the
これ以降は、多角形の面積は、無人飛行体2aの飛行高度と関連し、無人飛行体2aの飛行高度を高くすると、多角形の面積は減少する。一方、無人飛行体2aの飛行高度を低くすると、多角形の面積は増大していき、やがて、マーカーがカメラ22aの画角の外側に出るため、予め設定された登録マーカー数のマーカーを頂点とする多角形を検知できない状態となる。
Thereafter, the polygonal area is related to the flight altitude of the
また、多角形の面積は、カメラ22aのズームレンズのズーム比と関連し、ズームアウト(テレ側からワイド側への移行)すると、多角形の面積は減少する。一方、ズームイン(ワイド側からテレ側への移行)すると、多角形の面積は増大し、やがて、予め設定された登録マーカー数のマーカーを頂点とする多角形を検知できない状態となる可能性がある。ただし、無人飛行体2aが十分に高い高度で飛行していた場合は、カメラ22aのズーム比をテレ端(テレ側に最大までズームした状態)まで変化させても、多角形を描いていることはあり得る。
Further, the area of the polygon is related to the zoom ratio of the zoom lens of the
このとき、飛行高度制御部15は、無人飛行体2aの飛行高度を変化させ、最大値検知部14の比較結果を基に、カメラ22aによって撮影された多角形の面積が最大となるように無人飛行体2aの飛行高度を定める。
At this time, the flight
この場合も、マーカーである地上ロボットは、常に移動をしているので、多角形の面積は、時々刻々変化する。最大値検知部14は、この変化する多角形の面積を高度維持時面積として順次計算し、ズーム比制御部17は、マーカーの描く多角形の面積(高度維持時面積)が最大になるようにカメラ22aのズーム比を制御する。
Also in this case, since the ground robot as the marker is constantly moving, the area of the polygon changes from moment to moment. The maximum
次に、図8に示すサーバ装置1aの飛行高度制御処理について、図9及び図10のフローチャートを使って説明する。図9及び図10は、図8に示すサーバ装置1aの飛行高度制御処理の一例を示す第1及び第2のフローチャートである。ここでは、カメラ22aのズーム比をワイド側に設定した状態で、無人飛行体2aを上昇させる。
Next, the flight altitude control process of the
図9において、まず、サーバ装置1aは、飛行高度制御処理を開始する(ステップS301)。次に、ステップS302において、マーカー認識部12は、カメラ22aが撮影した映像を取得して、マーカーを認識する。
In FIG. 9, first, the
次に、ステップS303において、マーカー認識部12は、認識したマーカーの数と、予めマーカー数記憶部16に記憶された登録マーカー数とを比較する。認識したマーカーの数が登録マーカー数より少ない(個数が不足)場合、ステップS307に遷移し、マーカー認識部12は、認識したマーカーの数が登録マーカー数より少ないことを飛行高度制御部15に通知し、飛行高度制御部15に無人飛行体の高度を上昇させるよう指示する。飛行高度制御部15は、指示に従って、無人飛行体2aの飛行高度を制御する。
Next, in step S <b> 303, the
一方、認識したマーカーの数が登録マーカー数である(個数を満たしている)場合、マーカーにより形成される多角形の面積を計算するステップS304に遷移する。ステップS304では、面積計算部13は、カメラ22aにより撮影された映像を用いて、マーカーの位置を検出し、検出したマーカーを頂点とした多角形の面積を求める。
On the other hand, when the number of recognized markers is the number of registered markers (the number is satisfied), the process proceeds to step S304 in which the area of a polygon formed by the markers is calculated. In step S304, the
続いて、ステップS305では、最大値検知部14は、前回計算された多角形の面積を記憶しており、前回の多角形の面積と、ステップS304で計算された今回の多角形の面積を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップS306に遷移し、最大値検知部14は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部15に通知し、飛行高度制御部15に無人飛行体の高度を下げるよう指示する。飛行高度制御部15は、指示に従って、無人飛行体2aの飛行高度を制御する。
Subsequently, in step S305, the maximum
一方、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部14は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部15に通知し、飛行高度制御部15は、その高度を維持したまま、図10に示すステップS311に遷移する(ステップS308)。
On the other hand, when the area of the current polygon is equal to or larger than the area of the previous polygon, the maximum
次に、図10において、サーバ装置1aは、ズーム比による調整処理を開始する(ステップS311)。次に、ステップS312において、マーカー認識部12は、カメラ22aが撮影した映像を取得して、マーカーを認識する。
Next, in FIG. 10, the
次に、ステップS313において、マーカー認識部12は、認識したマーカーの数と、予めマーカー数記憶部16に記憶された登録マーカー数とを比較する。認識したマーカーの数が登録マーカー数より少ない(個数が不足)場合、ステップS319に遷移し、マーカー認識部12は、認識したマーカーの数が登録マーカー数より少ないことを飛行高度制御部15に通知し、飛行高度制御部15は、カメラ22aがズームアウト可能か否かを判断する。
Next, in step S313, the
例えば、飛行高度制御部15は、ズームアウト可能か否かの問合せをズーム比制御部17に行い、ズーム比制御部17からの応答に基づき、ズームアウト可能か否かを判断する。なお、ズームアウト可能か否かの判断は、上記の例に特に限定されず、種々の変更が可能であり、例えば、飛行高度制御部15は、現在のズーム比と、搭載しているカメラ22aのワイド側への最大値(ワイド端)とを比較することで、ズームアウト可能か否かを判断してもよく、また、ズーム比制御部17が判断してもよい。この点については、他の実施の形態も同様である。
For example, the flight
ズームアウト可能と判断した場合、飛行高度制御部15は、ズーム比制御部17にズームアウトを指示する。次に、ステップS320において、ズーム比制御部17は、カメラ22aのレンズをズームアウトするようにカメラ制御部27に指示し、カメラ制御部27は、カメラ22aのレンズをズームアウトする。その後、ステップS312に遷移し、以降の処理を継続する。
When it is determined that zooming out is possible, the flight
一方、ステップS319で、飛行高度制御部15がズームアウト不可と判断した場合、図9に示すステップS307に遷移し、飛行高度制御部15による無人飛行体2aの飛行高度を変更する処理に切替える。
On the other hand, when the flight
また、ステップS313で、認識したマーカーの数が登録マーカー数である(個数を満たしている)場合、マーカーにより形成される多角形の面積を計算するステップS314に遷移する。ステップS314では、面積計算部13は、カメラ22aにより撮影されたカメラ映像を用いて、マーカーの位置を検出し、検出したマーカーを頂点とした多角形の面積を高度維持時面積として求める。
In step S313, when the number of recognized markers is the number of registered markers (the number is satisfied), the process proceeds to step S314 in which the area of a polygon formed by the markers is calculated. In step S314, the
続いて、ステップS315では、最大値検知部14は、前回計算した多角形の面積を記憶しており、前回の多角形の面積(前回計算した高度維持時面積)と、ステップS314で計算された今回の多角形の面積(高度維持時面積)を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップS316に遷移し、最大値検知部14は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部15に通知し、飛行高度制御部15は、カメラ22aがズームイン可能か否かを判断する。
Subsequently, in step S315, the maximum
例えば、飛行高度制御部15は、ズームイン可能か否かの問合せをズーム比制御部17に行い、ズーム比制御部17からの応答に基づき、ズームイン可能か否かを判断する。なお、ズームイン可能か否かの判断は、上記の例に特に限定されず、種々の変更が可能であり、例えば、飛行高度制御部15は、現在のズーム比と、搭載しているカメラ22aのテレ側への最小値(テレ端)とを比較することで、ズームイン可能か否かを判断してもよく、また、ズーム比制御部17が判断してもよい。これらの点については、他の実施の形態も同様である。
For example, the flight
ズームイン可能と判断した場合、飛行高度制御部15は、ズーム比制御部17にズームインを指示する。次に、ステップS317において、ズーム比制御部17は、カメラ22aのレンズをズームインするようにカメラ制御部27に指示し、カメラ制御部27は、カメラ22aのレンズをズームインする。その後、ステップS312に遷移し、以降の処理を継続する。
When it is determined that zooming in is possible, the flight
一方、ステップS316で、飛行高度制御部15がズームイン不可と判断した場合、図9に示すステップS306に遷移し、飛行高度制御部15による無人飛行体2aの飛行高度を変更する処理に切替える。
On the other hand, if the flight
また、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部14は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部15に通知し、飛行高度制御部15は、無人飛行体2aの飛行高度を維持した状態で、ズーム比制御部17に現時点のカメラ22aのズーム比を維持するように指示し、ステップS311に遷移し、以降の処理を繰り返す(ステップS318)。
Further, when the area of the current polygon is equal to or larger than the area of the previous polygon, the maximum
上記の処理により、サーバ装置1aは、無人飛行体2aに搭載されたカメラ22aを用いて撮影された地上ロボットをマーカーとして認識し、マーカーを頂点とする多角形を形成し、多角形の面積を最大とする映像を撮影できる高度で無人飛行体2aを飛行させる。これにより、無人飛行体2aの飛行高度が、搭載されたカメラ22aを用いて、画像として注目する領域を撮像するために最適な高度となり、地上のマーカーにより指定された注目領域を適切に撮影することができる。
Through the above processing, the
また、地上の障害物(例えば、工作物、樹木等)により、無人飛行体2aが上記の処理で決定した最適な高度を維持できない場合も存在する。こういった場合も、本実施の形態では、サーバ装置1aは、無人飛行体2aの飛行高度を上昇させ、障害物を回避した後に、カメラ22aのレンズのズーム比をテレ側に移行させることができるので、適切な映像を得ることが可能となる。
Further, there may be a case where the
なお、図9及び図10に示す処理では、飛行高度を調整した後に、ズーム比を変更し、ズーム比の変更で調整不可能となったタイミングで、飛行高度を変更する処理への切替え行っているが、これに限定せず、飛行高度の変更と、ズーム比の変更との両方を用いて、カメラ22aによって撮影された多角形の面積が最大となるように無人飛行体2aを制御できればよく、種々の変更が可能である。この点については、他の実施の形態も同様である。
In the process shown in FIGS. 9 and 10, after adjusting the flight altitude, the zoom ratio is changed, and at the timing when the adjustment becomes impossible due to the change of the zoom ratio, the process is switched to the process of changing the flight altitude. However, the present invention is not limited to this, and it is sufficient that the unmanned
(実施の形態3)
本開示の実施の形態3に係る飛行高度制御システムは、認識対象のマーカーの数を事前にシステムに登録するのでなく、ユーザが、複数の地上ロボットの中からマーカーとして利用する地上ロボットを選択し、選択したマーカーを用いて、ズームレンズ搭載の撮影装置を搭載した無人飛行体の飛行高度を制御するとともに、撮影装置のズーム比を制御する。
(Embodiment 3)
The flight altitude control system according to the third embodiment of the present disclosure does not register the number of markers to be recognized in the system in advance, but the user selects a ground robot to be used as a marker from a plurality of ground robots. Using the selected marker, the flight altitude of an unmanned air vehicle equipped with a photographing device equipped with a zoom lens is controlled, and the zoom ratio of the photographing device is controlled.
図11は、本開示の実施の形態3における飛行高度制御システムの構成の一例を示すブロック図である。なお、図11において、図8と同じ構成要素については、同じ符号を用い、詳細な説明を省略する。 FIG. 11 is a block diagram illustrating an example of a configuration of a flight altitude control system according to the third embodiment of the present disclosure. In FIG. 11, the same components as those in FIG. 8 are denoted by the same reference numerals, and detailed description thereof is omitted.
図11において、本実施の形態の飛行高度制御システムは、サーバ装置1bと、無人飛行体2aと、マーカー入力装置3とを備える。サーバ装置1bは、通信部11、マーカー認識部12、面積計算部13、最大値検知部14、飛行高度制御部15、ズーム比制御部17、及びマーカー選択部18を備える。無人飛行体2aは、通信部21、カメラ22a、飛行制御部23、駆動部24及びカメラ制御部27を備え、図8に示す無人飛行体2aと同様に構成されている。マーカー入力装置3は、通信部31、入力部32、及び表示部33を備える。
11, the flight altitude control system of the present embodiment includes a
本実施の形態では、地上に展開する地上ロボットの数を、事前にシステムに登録しておらず、サーバ装置1bは、図8に示すマーカー数記憶部16に代えて、マーカー選択部18を備えている。
In the present embodiment, the number of ground robots deployed on the ground is not registered in the system in advance, and the
マーカー入力装置3の通信部31は、ネットワークNW(図示省略)を介して、サーバ装置1bの通信部11との間の通信を行い、マーカー認識部12が受信したカメラ22aの撮影映像及びマーカー認識部12が認識したマーカーの位置等の情報を通信部11から受信し、表示部33に出力する。表示部33は、カメラ22aが撮影した映像に、マーカー認識部12が認識した複数のマーカー(複数の地上ロボット)の位置を示す複数の候補マーカーを重畳して入力画面を表示する。入力部32は、ユーザの操作入力を取得し、例えば、表示部33のスクリーン(表示画面)上に形成されたタッチセンサから構成される。
The
ユーザは、表示部33の入力画面に表示される複数の候補マーカーの中から、入力部32を用いて所望の候補マーカーを選択することにより、複数の地上ロボットの中からカメラ22aで撮影したい複数の地上ロボットを選択する。このとき、入力部32は、通信部31を介して、ユーザが選択した複数の候補マーカーを認識対象マーカーとして通信部11に送信する。
The user selects a desired candidate marker from among a plurality of candidate markers displayed on the input screen of the
なお、マーカー入力装置3の構成は、上記の例に特に限定されず、無線又は光通信等で接続された無人飛行体の外部の制御装置、例えば、プロポ等のコントローラが、マーカー入力装置3としても機能するようにしてもよい。
Note that the configuration of the
図12は、図11に示す表示部33に表示される入力画面の一例を示す図である。図12に示すように、入力画面ISには、例えば、撮影された映像に重畳して5個のロボットの位置を示す5個の候補マーカーM1〜M5が表示される。ユーザは、表示されている5個の候補マーカーM1〜M5の中から認識対象マーカーとして利用する地上ロボットを選択する。図12に示す例では、ユーザが選択した4個の候補マーカーM1〜M4は、黒丸で表示され、ユーザが選択していない候補マーカーM5は、白丸で表示される。このように、カメラ22aが撮影した画像をタッチセンサ付きのスクリーンで表示し、表示されている画面上で、ユーザが注目する地上ロボットを認識対象マーカーとして指定するという簡便な操作により、所望の地上ロボットを認識対象マーカーとして選択することができる。
FIG. 12 is a diagram illustrating an example of an input screen displayed on the
再び、図11を参照して、サーバ装置1bのマーカー選択部18は、通信部11を介して、マーカー入力装置3から送信された複数の認識対象マーカーを受信し、3つ以上の認識対象マーカーの情報を登録マーカーの情報として記憶する。
Referring to FIG. 11 again, the
図13は、図11に示すマーカー選択部18が保持するデータの一例を示す図である。図13に示すように、マーカー選択部18は、ユーザがマーカー入力装置3を用いて選択した複数の認識対象マーカーを登録マーカーとして記憶し、各認識対象マーカーのマーカーID(識別情報)と、位置情報である座標(X、Y)、例えば、緯度及び経度の情報とを対応付けて記憶している。
FIG. 13 is a diagram illustrating an example of data held by the
具体的は、マーカー認識部12は、マーカーを認識したときに、予め記憶している地図データを用いて、各マーカーのマーカーID及び位置情報を決定し、このマーカーID及び位置情報をマーカー入力装置3に送信し、入力部32は、ユーザが選択した認識対象マーカーのマーカーID及び位置情報をマーカー選択部18に送信し、マーカー選択部18は、送信されたマーカーID及び位置情報を記憶する。
Specifically, when the
なお、位置情報の取得方法は、上記の例に特に限定されず、例えば、GPS(GLOBAL POSITIONING SYSTEM)またはGLONASS(GLOBAL NAVIGATION SATELLITE SYSTEM)などのポジショニングシステムを用いて、無人飛行体2aが自位置を取得してサーバ装置1b又はマーカー入力装置3に送信し、無人飛行体2aの自位置を基に各地上ロボットの位置を決定したり、又は、地上ロボットが自位置を取得してサーバ装置1b又はマーカー入力装置3に送信したりしてもよい。また、マーカー選択部18が保持するデータとしては、上記の例に特に限定されず、図4と同様に、認識対象マーカーの数を登録マーカーの数として記憶してもよい。
In addition, the acquisition method of position information is not particularly limited to the above example. For example, the unmanned
再び、図11を参照して、マーカー認識部12は、通信部21を介して、カメラ22aが撮影した映像を取得し、カメラ22aにより撮影された地上ロボットの中から、マーカー選択部18に記憶されている認識対象マーカーに対応する地上ロボットをマーカーとして認識する。マーカー認識部12は、認識した複数のマーカーの個数と、マーカー選択部18に記憶されている認識対象マーカーの個数とを比較し、比較結果を飛行高度制御部15に出力するとともに、カメラ22aにより撮影された映像と比較結果とを面積計算部13に出力する。ここで、マーカー認識部12は、認識した複数のマーカーの個数と、マーカー選択部18に記憶されている認識対象マーカーの個数とを比較するだけでなく、各マーカーの位置情報も比較するようにしてもよい。
Referring to FIG. 11 again, the
面積計算部13は、マーカー認識部12により認識されたマーカーの個数がマーカー選択部18に記憶されている認識対象マーカーの個数と一致する場合、カメラ22aにより撮影された映像を用いて、マーカー選択部18に記憶されている認識対象マーカーにより形成される多角形の面積を算出し、算出した多角形の面積を最大値検知部14に出力する。
When the number of markers recognized by the
最大値検知部14、飛行高度制御部15及びズーム比制御部17は、図8に示す最大値検知部14、飛行高度制御部15及びズーム比制御部17と同様に構成され、同様に動作する。
The maximum
上記の構成により、無人飛行体2aは、飛行している位置の下方の映像を常にカメラ22aで撮影している。無人飛行体2aの飛行高度と、カメラ22aに搭載されているズームレンズのズーム比とに応じて、無人飛行体2aのカメラ22aが撮影する領域が変化する。つまり、無人飛行体2aがズームレンズをテレ(望遠)側からワイド(広角)側にズームアウトさせていくと、撮影される領域が広がる。また、無人飛行体2aがズームレンズをワイド(広角)側からテレ(望遠)側にズームインさせていくと、撮影される領域が狭くなる。
With the above configuration, the unmanned
本実施の形態でも、初期状態として、カメラ22aのズーム比をワイド側の最大値(ワイド端)、すなわち、一番大きな画角で最も多くの物体を撮影できる状態にしておく。無人飛行体2aの下方には、マーカーとなる複数の地上ロボットが展開されており、カメラ22aがこれらの映像を撮影することによって、地上ロボットの位置を頂点とする多角形を生成する。この状況は、図5及び図6で説明した状況と同様である。
Also in the present embodiment, as an initial state, the zoom ratio of the
ここで、本実施の形態において、無人飛行体2aの飛行高度が低ければ、カメラ22aにおいて撮像される映像に、マーカー選択部18に記憶されている全ての認識対象マーカー(全ての登録マーカー)が映っておらず、全ての登録マーカーを認識することができないことが想定される。
Here, in the present embodiment, if the flying altitude of the
このため、サーバ装置1bは、初期状態としては、全ての登録マーカーが認識されるまで、無人飛行体飛行高度を上昇させる。無人飛行体2aが単調に飛行高度を上昇させていく過程で、カメラ22aは、マーカーである地上ロボット(以下、「マーカー」とも称する)を撮影し始める。カメラ22aがマーカーを捉えると、マーカー認識部12は、地上ロボットをマーカーとして認識する。
For this reason, the
このとき、マーカー認識部12は、認識したマーカーを候補マーカーとし、候補マーカーを重畳してカメラ22aの映像をマーカー入力装置3に送信し、ユーザは、マーカー入力装置3を用いて、撮影された映像に重畳して表示された複数の候補マーカー(地上ロボット)の中から、利用する候補マーカー(地上ロボット)を選択する。
At this time, the
候補マーカーが選択されると、マーカー入力装置3は、選択された候補マーカーを認識対象マーカーとしてサーバ装置1bに送信し、面積計算部13は、認識対象マーカー(登録マーカー)が形成する多角形の面積を算出する。
When a candidate marker is selected, the
これ以降は、多角形の面積は、無人飛行体2aの飛行高度と関連し、無人飛行体2aの飛行高度を高くすると、多角形の面積は減少する。一方、無人飛行体2aの飛行高度を低くすると、多角形の面積は増大していき、やがて、マーカーがカメラ22aの画角の外側に出るため、認識対象マーカー(登録マーカー)を頂点とする多角形を検知できない状態となる。
Thereafter, the polygonal area is related to the flight altitude of the
また、多角形の面積は、カメラ22aのズームレンズのズーム比と関連し、ズームアウト(テレ側からワイド側への移行)すると、多角形の面積は減少する。一方、ズームイン(ワイド側からテレ側への移行)すると、多角形の面積は増大し、認識対象マーカー(登録マーカー)を頂点とする多角形を検知できない状態となる可能性がある。
Further, the area of the polygon is related to the zoom ratio of the zoom lens of the
このとき、飛行高度制御部15は、無人飛行体2aの飛行高度を変化させ、最大値検知部14の比較結果を基に、カメラ22aによって撮影された多角形の面積が最大となるように無人飛行体2aの飛行高度を定める。
At this time, the flight
この場合も、マーカーである地上ロボットは、常に移動をしているので、多角形の面積は、時々刻々変化する。最大値検知部14は、この変化する多角形の面積を高度維持時面積として順次計算し、ズーム比制御部17は、マーカーの描く多角形の面積(高度維持時面積)が最大になるようにカメラ22aのズーム比を制御する。また、マーカーが連続して移動する際には、無人飛行体2aがマーカー選択部18に記憶されている認識対象マーカー(登録マーカー)を自動追尾するように構成してもよい。
Also in this case, since the ground robot as the marker is constantly moving, the area of the polygon changes from moment to moment. The maximum
次に、図11に示すサーバ装置1bの飛行高度制御処理について、図14及び図15のフローチャートを使って説明する。図14及び図15は、図11に示すサーバ装置1bの飛行高度制御処理の一例を示す第1及び第2のフローチャートである。ここでは、無人飛行体2aをユーザのマニュアル操作で上昇させた後、多角形の頂点をなす認識対象マーカー(登録マーカー)がマーカー選択部18に記憶済みであるものとする。
Next, the flight altitude control process of the
図14において、まず、サーバ装置1bは、飛行高度制御処理を開始する(ステップS601)。次に、ステップS602において、マーカー認識部12は、カメラ22aが撮影した映像を取得して、マーカーを認識する。
In FIG. 14, first, the
次に、ステップS603において、マーカー認識部12は、マーカー選択部18に記憶されている全ての登録マーカーを認識したか否かを確認する。認識したマーカーに不足がある場合、ステップS607に遷移し、マーカー認識部12は、全ての登録マーカーを認識していないことを飛行高度制御部15に通知し、飛行高度制御部15に無人飛行体の高度を上昇させるよう指示する。飛行高度制御部15は、指示に従って無人飛行体2aの飛行高度を制御する。
Next, in step S <b> 603, the
一方、全ての登録マーカーを認識した場合、登録マーカーにより形成される多角形の面積を計算するステップS604に遷移する。ステップS604では、面積計算部13が、カメラ22aにより撮影された映像を用いて、登録マーカーの位置を検出し、検出した登録マーカーを頂点とした多角形の面積を求める。
On the other hand, when all the registered markers are recognized, the process proceeds to step S604 in which the area of the polygon formed by the registered markers is calculated. In step S604, the
続いて、ステップS605では、最大値検知部14は、前回計算された多角形の面積を記憶しており、前回の多角形の面積と、ステップS604で計算された今回の多角形の面積を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップS606に遷移し、最大値検知部14は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部15に通知し、飛行高度制御部15に無人飛行体2aの高度を下げるよう指示する。飛行高度制御部15は、指示に従って、無人飛行体2aの飛行高度を制御する。
Subsequently, in step S605, the maximum
一方、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部14は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部15に通知し、飛行高度制御部15は、その高度を維持したまま、図15に示すステップS611に遷移する(ステップS608)。
On the other hand, when the area of the current polygon is equal to or larger than the area of the previous polygon, the maximum
次に、図15において、サーバ装置1bは、ズーム比による調整処理を開始する(ステップS611)。次に、ステップS612において、マーカー認識部12は、カメラ22aが撮影した映像を取得して、マーカーを認識する。
Next, in FIG. 15, the
次に、ステップS613において、マーカー認識部12は、マーカー選択部18に記憶されている全ての登録マーカーを認識したか否かを確認する。認識したマーカーに不足がある場合、ステップS619に遷移し、マーカー認識部12は、全ての登録マーカーを認識していないことを飛行高度制御部15に通知し、飛行高度制御部15は、カメラ22aがズームアウト可能か否かを判断する。
Next, in step S613, the
ズームアウト可能と判断した場合、飛行高度制御部15は、ズーム比制御部17にズームアウトを指示する。次に、ステップS620において、ズーム比制御部17は、カメラ22aのレンズをズームアウトするようにカメラ制御部27に指示し、カメラ制御部27は、カメラ22aのレンズをズームアウトする。その後、ステップS612に遷移し、以降の処理を継続する。
When it is determined that zooming out is possible, the flight
一方、ステップS619で、飛行高度制御部15がズームアウト不可と判断した場合、図14に示すステップS607に遷移し、飛行高度制御部15による無人飛行体2aの飛行高度を変更する処理に切替える。
On the other hand, if the flight
また、ステップS613で、全ての登録マーカーを認識した場合、マーカーにより形成される多角形の面積を計算するステップS614に遷移する。ステップS614では、面積計算部13は、カメラ22aにより撮影された映像を用いて、登録マーカーの位置を検出し、検出した登録マーカーを頂点とした多角形の面積を高度維持時面積として求める。
If all registered markers are recognized in step S613, the process proceeds to step S614 in which the area of a polygon formed by the markers is calculated. In step S614, the
続いて、ステップS615では、最大値検知部14は、前回計算した多角形の面積を記憶しており、前回の多角形の面積(前回計算した高度維持時面積)と、ステップS614で計算された今回の多角形の面積(高度維持時面積)を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップS616に遷移し、最大値検知部14は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部15に通知し、飛行高度制御部15は、カメラ22aがズームイン可能か否かを判断する。
Subsequently, in step S615, the maximum
ズームイン可能と判断した場合、飛行高度制御部15は、ズーム比制御部17にズームインを指示する。次に、ステップS617において、ズーム比制御部17は、カメラ22aのレンズをズームインするようにカメラ制御部27に指示し、カメラ制御部27は、カメラ22aのレンズをズームインする。その後、ステップS612に遷移し、以降の処理を継続する。
When it is determined that zooming in is possible, the flight
一方、ステップS616で、飛行高度制御部15がズームイン不可と判断した場合、図14に示すステップS606に遷移し、飛行高度制御部15による無人飛行体2aの飛行高度を変更する処理に切替える。
On the other hand, if the flight
また、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部14は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部15に通知し、飛行高度制御部15は、無人飛行体2aの飛行高度を維持した状態で、ズーム比制御部17に現時点のカメラ22aのズーム比を維持するように指示し、無人飛行体2aの飛行高度と、現時点のカメラ22aのズーム比とを維持したまま、ステップS611に遷移し、以降の処理を繰り返す(ステップS618)。
Further, when the area of the current polygon is equal to or larger than the area of the previous polygon, the maximum
上記の処理により、サーバ装置1bは、無人飛行体2aに搭載されたカメラ22aを用いて撮影された地上ロボットのうち、ユーザによって選択された地上ロボットをマーカーとして認識し、マーカーを頂点とする多角形を形成し、多角形の面積を最大とする映像を撮影できる高度で無人飛行体2aを飛行させる。これにより、無人飛行体2aの飛行高度が、搭載されたカメラ22aを用いて、画像として注目する領域を撮像するために最適な高度となり、ユーザによって選択された地上ロボットにより指定された注目領域を適切に撮影することができる。
Through the above processing, the
また、地上の障害物(例えば、工作物、樹木等)により、無人飛行体2aが上記の処理で決定した最適な高度を維持できない場合も存在する。こういった場合も、本実施の形態では、サーバ装置1bは、無人飛行体2aの飛行高度を上昇させ、障害物を回避した後に、カメラ22aのレンズのズーム比をテレ側に移行させることができるので、ユーザによって選択された地上ロボットにより指定された注目領域を適切に撮影することができる。
Further, there may be a case where the
本開示に係る飛行高度制御装置等は、災害時など被災地における活動を行うために地上展開したロボット又は人間等が活動する際に、空中に無人飛行体を飛行させ、無人飛行体から適切な被災地の情報を撮影し、関係者との情報共有を行うために、無人飛行体の飛行高度を適切に制御することが可能になり、また、セキュリティ等の監視用途や、ダム、橋脚などの保守用途にも応用できるので、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置等において有用である。 The flight altitude control device or the like according to the present disclosure causes an unmanned air vehicle to fly in the air when a robot or a human being deployed on the ground in order to perform activities in a disaster area such as a disaster. It is possible to appropriately control the flight altitude of unmanned air vehicles in order to capture information on disaster areas and share information with related parties, and for monitoring purposes such as security, dams, piers, etc. Since it can also be applied to maintenance applications, it is useful in a flight altitude control device that controls the flight altitude of an unmanned air vehicle equipped with an imaging device that photographs the ground.
1、1a、1b サーバ装置
2、2a 無人飛行体
3 マーカー入力装置
11 通信部
12 マーカー認識部
13 面積計算部
14 最大値検知部
15 飛行高度制御部
16 マーカー数記憶部
17 ズーム比制御部
18 マーカー選択部
21 通信部
22、22a カメラ
23 飛行制御部
24 駆動部
25 本体
26 支持部
27 カメラ制御部
31 通信部
32 入力部
33 表示部
41 ランプ
DESCRIPTION OF
Claims (12)
前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識する認識部と、
前記複数のマーカーにより形成される多角形の面積を算出する算出部と、
前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する制御部とを備える、
飛行高度制御装置。 A flight altitude control device for controlling the flight altitude of an unmanned air vehicle equipped with a photographing device for photographing the ground,
Recognizing unit for recognizing a plurality of objects located on the ground as a plurality of markers from an image captured by the imaging device
A calculation unit for calculating an area of a polygon formed by the plurality of markers;
A control unit that controls the flight altitude of the unmanned air vehicle so that the area of the polygon is maximized,
Flight altitude control device.
前記認識部は、前記複数のマーカーの個数と前記登録マーカー数とを比較し、
前記制御部は、前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記無人飛行体の飛行高度を上昇する制御を行い、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積より小さい場合、前記無人飛行体の飛行高度を下降する制御を行う、
請求項1記載の飛行高度制御装置。 A storage unit for storing the number of markers to be recognized by the recognition unit as a registered marker number;
The recognition unit compares the number of the plurality of markers with the number of registered markers,
The control unit performs control to increase a flight altitude of the unmanned air vehicle when the number of the plurality of markers is smaller than the number of the registered markers, the number of the plurality of markers matches the number of the registered markers, and When the area of the polygon is smaller than the area of the polygon calculated previously, control is performed to lower the flight altitude of the unmanned air vehicle.
The flight altitude control apparatus according to claim 1.
前記制御部は、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積以上である場合、前記無人飛行体の飛行高度を現在の飛行高度に維持する制御を行い、
前記認識部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で前記撮影装置が撮影した映像から、前記複数の物体を前記複数のマーカーとして認識し、
前記算出部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーにより形成される多角形の面積を高度維持時面積として算出し、
前記制御部は、前記高度維持時面積が最大になるように、前記ズーム撮影装置のズーム比を制御する、
請求項2記載の飛行高度制御装置。 The photographing device includes a zoom photographing device capable of zooming,
The control unit determines the flight altitude of the unmanned air vehicle when the number of the plurality of markers matches the number of registered markers and the polygon area is equal to or greater than the polygon area calculated previously. Control to maintain the flight altitude,
The recognizing unit recognizes the plurality of objects as the plurality of markers from an image captured by the imaging device in a state in which a flight altitude of the unmanned air vehicle is maintained at a current flight altitude,
The calculation unit calculates an area of a polygon formed by the plurality of markers recognized in a state in which a flight altitude of the unmanned air vehicle is maintained at a current flight altitude as an altitude maintaining area,
The control unit controls a zoom ratio of the zoom photographing device so that the area during altitude maintenance is maximized.
The flight altitude control device according to claim 2.
請求項3記載の飛行高度制御装置。 When the number of the plurality of markers recognized in a state where the flight altitude of the unmanned air vehicle is maintained at the current flight altitude is smaller than the number of registered markers, the control unit is configured to zoom out the zoom photographing device. Controlling the zoom photographing device;
The flight altitude control device according to claim 3.
請求項4記載の飛行高度制御装置。 The control unit performs control to maintain the current zoom ratio of the zoom imaging device when the zoom imaging device cannot zoom out, and performs control to increase the flight altitude of the unmanned air vehicle.
The flight altitude control device according to claim 4.
請求項3記載の飛行高度制御装置。 The control unit is configured such that the number of the plurality of markers recognized in a state where the flight altitude of the unmanned air vehicle is maintained at the current flight altitude matches the number of registered markers, and the altitude maintaining area is calculated last time. The zoom photographing device is controlled so that the zoom photographing device zooms in when smaller than the altitude maintenance area,
The flight altitude control device according to claim 3.
請求項6記載の飛行高度制御装置。 The control unit performs control to maintain the current zoom ratio of the zoom imaging device when the zoom imaging device cannot zoom in, and performs control to lower the flight altitude of the unmanned air vehicle.
The flight altitude control device according to claim 6.
前記認識部は、前記撮影装置が撮影した映像から、前記複数の認識対象マーカーを前記複数のマーカーとして認識し、
前記算出部は、前記複数の認識対象マーカーにより形成される多角形の面積を算出する、
請求項1〜7のいずれかに記載の飛行高度制御装置。 An acquisition unit for acquiring a plurality of objects selected by the user from the plurality of objects as a plurality of recognition target markers;
The recognizing unit recognizes the plurality of recognition target markers as the plurality of markers from the video imaged by the imaging device;
The calculating unit calculates an area of a polygon formed by the plurality of recognition target markers;
The flight altitude control device according to any one of claims 1 to 7.
請求項8記載の飛行高度制御装置。 The acquisition unit acquires, as the plurality of recognition target markers, a plurality of markers selected by a user from the plurality of markers displayed in a superimposed manner on an image captured by the imaging device.
The flight altitude control device according to claim 8.
請求項1〜9のいずれかに記載の飛行高度制御装置とを備える、
無人飛行体。 A photographing device for photographing the ground;
The flight altitude control device according to any one of claims 1 to 9,
Unmanned air vehicle.
前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、
前記複数のマーカーにより形成される多角形の面積を算出し、
前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する、
飛行高度制御方法。 A flight altitude control method for controlling the flight altitude of an unmanned air vehicle equipped with a photographing device for photographing the ground,
Recognizing a plurality of objects located on the ground as a plurality of markers from the video captured by the imaging device,
Calculate the area of the polygon formed by the plurality of markers,
Controlling the flight altitude of the unmanned air vehicle so that the area of the polygon is maximized;
Flight altitude control method.
前記コンピュータに、
前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、
前記複数のマーカーにより形成される多角形の面積を算出し、
前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する、
処理を実行させる飛行高度制御プログラム。 A flight altitude control program for causing a computer to function as a flight altitude control device for controlling the flight altitude of an unmanned air vehicle equipped with an imaging device for photographing the ground,
In the computer,
Recognizing a plurality of objects located on the ground as a plurality of markers from the video captured by the imaging device,
Calculate the area of the polygon formed by the plurality of markers,
Controlling the flight altitude of the unmanned air vehicle so that the area of the polygon is maximized;
Flight altitude control program that executes processing.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611064382.XA CN107065894B (en) | 2016-01-28 | 2016-11-28 | Unmanned aerial vehicle, flying height control device, method, and computer-readable recording medium |
US15/387,576 US10029790B2 (en) | 2016-01-28 | 2016-12-21 | Device that controls flight altitude of unmanned aerial vehicle |
US16/013,187 US10322804B2 (en) | 2016-01-28 | 2018-06-20 | Device that controls flight altitude of unmanned aerial vehicle |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016014124 | 2016-01-28 | ||
JP2016014124 | 2016-01-28 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020141979A Division JP2020194590A (en) | 2016-01-28 | 2020-08-25 | Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017138947A true JP2017138947A (en) | 2017-08-10 |
JP6755755B2 JP6755755B2 (en) | 2020-09-16 |
Family
ID=59566470
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016175206A Active JP6755755B2 (en) | 2016-01-28 | 2016-09-08 | Flight altitude controller, unmanned aerial vehicle, flight altitude control method and flight altitude control program |
JP2020141979A Pending JP2020194590A (en) | 2016-01-28 | 2020-08-25 | Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020141979A Pending JP2020194590A (en) | 2016-01-28 | 2020-08-25 | Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6755755B2 (en) |
CN (1) | CN107065894B (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101988212B1 (en) * | 2018-04-05 | 2019-06-12 | 주식회사 드로미 | Surveying system using unmanned aerial vehicle and method using the same |
JP2020194590A (en) * | 2016-01-28 | 2020-12-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program |
WO2020246261A1 (en) * | 2019-06-05 | 2020-12-10 | ソニー株式会社 | Mobile body, position estimation method, and program |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107592506B (en) * | 2017-09-26 | 2020-06-30 | 英华达(上海)科技有限公司 | Monitoring method, monitoring device and monitoring system |
JP6565071B2 (en) | 2017-10-26 | 2019-08-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Control device, imaging device, flying object, control method, and program |
CN109341543A (en) * | 2018-11-13 | 2019-02-15 | 厦门市汉飞鹰航空科技有限公司 | A kind of height calculation method of view-based access control model image |
CN110568857A (en) * | 2019-08-15 | 2019-12-13 | 深圳市道通智能航空技术有限公司 | unmanned aerial vehicle flight control method and unmanned aerial vehicle |
CN111367302B (en) * | 2020-03-03 | 2023-03-21 | 大连海洋大学 | Unmanned aerial vehicle self-adaptive height-fixing method for offshore cage culture inspection |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63135796A (en) * | 1986-11-26 | 1988-06-08 | 三菱電機株式会社 | Picture tracking device |
JP2008267872A (en) * | 2007-04-17 | 2008-11-06 | Toshiba Corp | Image guide device |
JP2009173263A (en) * | 2008-01-23 | 2009-08-06 | Honeywell Internatl Inc | Method and system for autonomous tracking of mobile target by unmanned aerial vehicle (uav) |
JP2012140101A (en) * | 2011-01-04 | 2012-07-26 | Topcon Corp | Flight control system for flying object |
JP2014149621A (en) * | 2013-01-31 | 2014-08-21 | Secom Co Ltd | Autonomous flying robot |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2755684B2 (en) * | 1989-05-20 | 1998-05-20 | 工業技術院長 | Spacecraft remote control device |
JP2005020205A (en) * | 2003-06-24 | 2005-01-20 | Casio Comput Co Ltd | Picture photographing device |
JP2006027331A (en) * | 2004-07-13 | 2006-02-02 | Hiroboo Kk | Method for collecting aerial image information by utilizing unmanned flying object |
US20110169943A1 (en) * | 2007-02-06 | 2011-07-14 | Aai Corporation | Utilizing Polarization Differencing Method For Detect, Sense And Avoid Systems |
WO2009036371A1 (en) * | 2007-09-14 | 2009-03-19 | Panasonic Avionics Corporation | Media device interface system and method for vehicle information systems |
FR2963118B1 (en) * | 2010-07-20 | 2013-08-30 | Airbus Operations Sas | METHOD AND DEVICE FOR DETERMINING AND UPDATING TARGET ALTITUDE FOR EMERGENCY DESCENT OF AN AIRCRAFT |
KR101251184B1 (en) * | 2010-08-05 | 2013-04-08 | 서울대학교산학협력단 | Vision tracking system and method using motion commands |
US9125178B2 (en) * | 2011-10-21 | 2015-09-01 | Panasonic Intellectual Property Management Co., Ltd. | Wireless communication system, wireless communication center module, wireless communication method, and method and program for relaying wireless communication |
CN103455036B (en) * | 2012-06-05 | 2018-04-27 | 国家电网公司 | A kind of scene aerial patrol method and aircraft |
JP2014011687A (en) * | 2012-06-29 | 2014-01-20 | Sharp Corp | Self-propelled imaging apparatus, control program, and computer-readable recording medium containing control program |
US9075415B2 (en) * | 2013-03-11 | 2015-07-07 | Airphrame, Inc. | Unmanned aerial vehicle and methods for controlling same |
JP6259233B2 (en) * | 2013-09-11 | 2018-01-10 | 学校法人常翔学園 | Mobile robot, mobile robot control system, and program |
US20150134143A1 (en) * | 2013-10-04 | 2015-05-14 | Jim Willenborg | Novel tracking system using unmanned aerial vehicles |
CN106200681B (en) * | 2014-03-27 | 2020-03-06 | 深圳市大疆创新科技有限公司 | Method and system for assisting take-off of movable object |
JP6062079B2 (en) * | 2014-05-30 | 2017-01-18 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Controller and method and vehicle for controlling the operation of an unmanned air transport (UAV) |
EP3169414A4 (en) * | 2014-07-16 | 2018-03-21 | Lahser, Jason | Method and apparatus for predicting likely success of golf swings |
CN104406574B (en) * | 2014-12-01 | 2016-09-14 | 中国能源建设集团山西省电力勘测设计院有限公司 | The photogrammetric field of unmanned plane is put down high photo control point and is laid target |
CN104616419B (en) * | 2015-01-18 | 2017-08-25 | 中国林业科学研究院森林生态环境与保护研究所 | A kind of air-ground integrated forest fire ember monitoring method in day |
CN204405065U (en) * | 2015-03-10 | 2015-06-17 | 无锡桑尼安科技有限公司 | For the unmanned plane checkout equipment of urban road identification |
JP5819555B1 (en) * | 2015-04-01 | 2015-11-24 | ライトブレインラボ合同会社 | Vehicle driving support system |
CN104766481A (en) * | 2015-04-29 | 2015-07-08 | 深圳市保千里电子有限公司 | Method and system for unmanned plane to conduct vehicle tracking |
CN104796672B (en) * | 2015-05-09 | 2018-04-20 | 合肥工业大学 | A kind of unmanned plane is met an urgent need monitoring head device |
CN204652565U (en) * | 2015-05-20 | 2015-09-16 | 公安部沈阳消防研究所 | A kind of disaster field information collecting device |
CN105000194A (en) * | 2015-08-13 | 2015-10-28 | 史彩成 | UAV (unmanned aerial vehicle) assisted landing visual guiding method and airborne system based on ground cooperative mark |
CN105035339B (en) * | 2015-08-14 | 2017-03-29 | 易瓦特科技股份公司 | Zoom-type unmanned plane |
CN105204520B (en) * | 2015-09-17 | 2018-07-06 | 深圳市十方联智科技有限公司 | A kind of control method of unmanned vehicle |
CN105227842B (en) * | 2015-10-20 | 2019-03-22 | 杨珊珊 | A kind of the coverage caliberating device and method of equipment of taking photo by plane |
CN105259916A (en) * | 2015-10-30 | 2016-01-20 | 杨珊珊 | Scheduling apparatus of unmanned aircraft and scheduling method of scheduling apparatus |
CN105248308A (en) * | 2015-11-18 | 2016-01-20 | 谭圆圆 | Grazing system based on unmanned aerial vehicle and grazing method thereof |
JP6755755B2 (en) * | 2016-01-28 | 2020-09-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Flight altitude controller, unmanned aerial vehicle, flight altitude control method and flight altitude control program |
-
2016
- 2016-09-08 JP JP2016175206A patent/JP6755755B2/en active Active
- 2016-11-28 CN CN201611064382.XA patent/CN107065894B/en active Active
-
2020
- 2020-08-25 JP JP2020141979A patent/JP2020194590A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63135796A (en) * | 1986-11-26 | 1988-06-08 | 三菱電機株式会社 | Picture tracking device |
JP2008267872A (en) * | 2007-04-17 | 2008-11-06 | Toshiba Corp | Image guide device |
JP2009173263A (en) * | 2008-01-23 | 2009-08-06 | Honeywell Internatl Inc | Method and system for autonomous tracking of mobile target by unmanned aerial vehicle (uav) |
JP2012140101A (en) * | 2011-01-04 | 2012-07-26 | Topcon Corp | Flight control system for flying object |
JP2014149621A (en) * | 2013-01-31 | 2014-08-21 | Secom Co Ltd | Autonomous flying robot |
Non-Patent Citations (1)
Title |
---|
森川 泰,佐伯 一夢,新井場 公徳,天野 久徳,松本 治,神村 明哉: "ステレオビジョンによる無人ヘリコプタの位置姿勢計測", ロボティクス・メカトロニクス講演会講演論文集, JPN6020008873, 25 May 2014 (2014-05-25), JP, ISSN: 0004228946 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020194590A (en) * | 2016-01-28 | 2020-12-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program |
KR101988212B1 (en) * | 2018-04-05 | 2019-06-12 | 주식회사 드로미 | Surveying system using unmanned aerial vehicle and method using the same |
WO2019194557A1 (en) * | 2018-04-05 | 2019-10-10 | 주식회사 드로미 | Surveying system and method using unmanned aerial vehicles |
WO2020246261A1 (en) * | 2019-06-05 | 2020-12-10 | ソニー株式会社 | Mobile body, position estimation method, and program |
JP7468523B2 (en) | 2019-06-05 | 2024-04-16 | ソニーグループ株式会社 | MOBILE BODY, POSITION ESTIMATION METHOD, AND PROGRAM |
US11989910B2 (en) | 2019-06-05 | 2024-05-21 | Sony Group Corporation | Moving body and position estimation method |
Also Published As
Publication number | Publication date |
---|---|
CN107065894B (en) | 2021-11-26 |
JP6755755B2 (en) | 2020-09-16 |
CN107065894A (en) | 2017-08-18 |
JP2020194590A (en) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10322804B2 (en) | Device that controls flight altitude of unmanned aerial vehicle | |
JP6755755B2 (en) | Flight altitude controller, unmanned aerial vehicle, flight altitude control method and flight altitude control program | |
JP7122708B2 (en) | Image processing device, monitoring system and image processing method | |
WO2017163688A1 (en) | Monitoring system and monitoring method | |
JP2007155699A (en) | Mobile robot positioning system, and method using camera and indicator | |
CN107205111B (en) | Image pickup apparatus, mobile apparatus, image pickup system, image pickup method, and recording medium | |
JPWO2018198313A1 (en) | Unmanned aerial vehicle action plan creation system, method and program | |
WO2019230604A1 (en) | Inspection system | |
JP6482855B2 (en) | Monitoring system | |
JP2023100642A (en) | inspection system | |
US20210352208A1 (en) | Photographing system, photographed-portion setting apparatus, photographing apparatus, and photographing method | |
US11354897B2 (en) | Output control apparatus for estimating recognition level for a plurality of taget objects, display control system, and output control method for operating output control apparatus | |
JP7501535B2 (en) | Information processing device, information processing method, and information processing program | |
JP3919994B2 (en) | Shooting system | |
JP2017175474A (en) | Monitoring system and monitoring method | |
WO2020225979A1 (en) | Information processing device, information processing method, program, and information processing system | |
JP6681101B2 (en) | Inspection system | |
JP2016118995A (en) | Monitoring system | |
JP2006051864A (en) | Automatic flight controlling system, and automatic flight controlling method | |
JP2011053024A (en) | Elevated-road identifying device, method of identifying elevated road, and elevated-road identification program | |
JP7187998B2 (en) | Inspection system, inspection support method and inspection support program | |
JP2021113005A (en) | Unmanned aircraft system and flight control method | |
KR101358064B1 (en) | Method for remote controlling using user image and system of the same | |
JP2021103410A (en) | Mobile body and imaging system | |
KR20200124899A (en) | Apparatus and method for checking facility |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200729 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200826 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6755755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |