JP2017138947A - Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program - Google Patents
Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program Download PDFInfo
- Publication number
- JP2017138947A JP2017138947A JP2016175206A JP2016175206A JP2017138947A JP 2017138947 A JP2017138947 A JP 2017138947A JP 2016175206 A JP2016175206 A JP 2016175206A JP 2016175206 A JP2016175206 A JP 2016175206A JP 2017138947 A JP2017138947 A JP 2017138947A
- Authority
- JP
- Japan
- Prior art keywords
- flight altitude
- markers
- area
- air vehicle
- unmanned air
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 71
- 239000003550 marker Substances 0.000 claims abstract description 218
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 18
- 238000012423 maintenance Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 54
- 238000004891 communication Methods 0.000 description 48
- 238000001514 detection method Methods 0.000 description 38
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/042—Control of altitude or depth specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本開示は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラムに関するものである。 The present disclosure relates to a flight altitude control device, an unmanned air vehicle, a flight altitude control method, and a flight altitude control program for controlling the flight altitude of an unmanned air vehicle equipped with an imaging device for photographing the ground.
従来の無人飛行体（ＵＮＭＡＮＮＥＤ ＡＥＲＩＡＬ ＶＥＨＩＣＬＥ）の飛行制御方法としては、人間の操縦者が、無人飛行体を目視しながら、無人飛行体を操縦することが一般的であり、操縦時の飛行高度は、操縦者の目視により制御されている。 As a conventional flight control method for an unmanned aerial vehicle (UNMANNED AERIAL VEHICLE), a human operator generally controls an unmanned aerial vehicle while observing the unmanned aerial vehicle. It is controlled by the operator's visual inspection.
また、従来の無人飛行体の飛行高度の制御方法として、予め設定された高度でホバリング動作を制御するものがある（例えば、特許文献１参照）。この特許文献１に記載の航空映像情報の収集方法では、地上の基準地点と無人飛行体との距離（高度）を測定して、飛行を制御する技術が開示されている。
Further, as a conventional method for controlling the flight altitude of an unmanned aerial vehicle, there is a method for controlling a hovering operation at a preset altitude (see, for example, Patent Document 1). The aerial image information collecting method described in
しかしながら、上記の航空映像情報の収集方法では、基準地点との測距により、予め定められた距離を保つことを開示しているが、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度の制御に関して、さらなる改善が必要とされていた。 However, the above aerial image information collection method discloses that a predetermined distance is maintained by ranging from a reference point, but the flight altitude of an unmanned air vehicle equipped with a photographing device for photographing the ground is disclosed. There was a need for further improvements in control.
本開示は、無人飛行体の飛行高度の調整を自動的に行い、撮影対象となる地上の物体を適切に撮影できる飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラムを提供することを目的とする。 The present disclosure provides a flight altitude control apparatus, an unmanned air vehicle, a flight altitude control method, and a flight altitude control program that can automatically adjust the flight altitude of an unmanned air vehicle and appropriately capture an object on the ground to be imaged. The purpose is to do.
本開示の一態様による飛行高度制御装置は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置であって、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識する認識部と、前記複数のマーカーにより形成される多角形の面積を算出する算出部と、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する制御部とを備える。 A flight altitude control device according to an aspect of the present disclosure is a flight altitude control device that controls the flight altitude of an unmanned air vehicle equipped with an imaging device that images the ground, and is located on the ground from an image captured by the imaging device. A recognition unit that recognizes a plurality of objects as a plurality of markers, a calculation unit that calculates an area of a polygon formed by the plurality of markers, and the unmanned aerial vehicle so that the area of the polygon is maximized And a control unit for controlling the flight altitude.
本開示によれば、無人飛行体の飛行高度の調整を自動的に行い、撮影対象となる地上の物体を適切に撮影することができる。 According to the present disclosure, it is possible to automatically adjust the flight altitude of an unmanned air vehicle and appropriately capture an object on the ground to be imaged.
（本開示の基礎となった知見）
本開示は、撮影装置（例えば、カメラ）を搭載した無人飛行体の飛行高度を制御する飛行高度制御システムに関する。本飛行高度制御システムは、例えば、災害時など被災地において、地上展開／配置されたロボット、人間等が、救助などの活動を行う際に、被災地の上空を飛行する無人飛行体がカメラを用いて被災地を撮影し、撮影した画像に基づき活動に必要な被災地の情報を共有するために使用されるシステムである。
(Knowledge that became the basis of this disclosure)
The present disclosure relates to a flight altitude control system that controls the flight altitude of an unmanned air vehicle equipped with an imaging device (for example, a camera). This flight altitude control system is used, for example, when an unmanned air vehicle flying over the disaster area takes a camera when a robot, human, etc. deployed or placed on the ground in a disaster area such as a disaster performs activities such as rescue. It is a system used to take pictures of disaster areas and share information on disaster areas necessary for activities based on the taken images.
複数のロボットや人間が連携して活動を行う場合、これらロボット又は人間自身の状況や、これらロボット又は人間の周辺状況などを把握することが必要となる。つまり、地上展開／配置されたロボット又は人間等を撮影対象として、必要な情報を取得することが求められる。 When a plurality of robots and humans perform activities in cooperation with each other, it is necessary to grasp the situation of these robots or humans themselves, the surrounding situation of these robots or humans, and the like. That is, it is required to acquire necessary information using a robot or a person or the like deployed / arranged on the ground as an imaging target.
無人飛行体に搭載されたカメラで、被災地など観測対象である地上を適切に撮影するためには、ユーザが撮影したい注目領域を適切に撮影できる高度を判定して、無人飛行体の飛行高度を制御する必要がある。しかしながら、地図が存在しない領域や被災地など最新状況が不明な領域を観測対象とした場合、予め適切なルートや高度を決定しておことは困難である。 In order to properly capture the ground that is to be observed, such as a stricken area, with the camera mounted on the unmanned aerial vehicle, determine the altitude at which the user can properly capture the area of interest that the user wants to capture, and Need to control. However, it is difficult to determine an appropriate route or altitude in advance when an observation target is an area where the latest situation is unknown, such as an area where no map exists or a disaster area.
上記の従来の航空映像情報の収集方法では、基準地点との測距により、予め定められた距離を保つことを行っており、撮影対象となる地上の物体を適切に撮影するためには、ユーザが適切な高度を予め設定しなければならないため、地図が存在しない領域や被災地など最新状況が不明な領域を観測対象とした場合、撮影対象となる地上の物体を適切に撮影することができないという課題を有していた。 In the above conventional aerial image information collection method, a predetermined distance is maintained by distance measurement with a reference point, and in order to appropriately photograph a ground object to be photographed, the user Since an appropriate altitude has to be set in advance, if the observation target is an area where the latest situation is unknown, such as an area where there is no map or a disaster area, the object on the ground that is to be imaged cannot be appropriately imaged. It had the problem that.
上記課題を解決するために、本開示の一態様に係る飛行高度制御方法は、例えば、地上展開／配置されたロボット又は人間そのものを、高度の設定のための目印すなわちマーカーとして利用し、このことで、地上に配置されたマーカーを用いて、無人飛行体の飛行高度を自動調整することができるようになる。これにより、無人飛行体に搭載されたカメラは、無人飛行体の飛行高度を自動調整することで、ロボット又は人間等の地上の物体のうち、撮影すべき全ての物体が最も拡大して撮影される領域として、マーカーにより決定された注目領域を適切に撮影することを可能とする。 In order to solve the above-described problem, a flight altitude control method according to an aspect of the present disclosure uses, for example, a robot deployed on the ground or a person itself as a mark or marker for setting an altitude. Thus, the flight altitude of the unmanned air vehicle can be automatically adjusted using the marker arranged on the ground. As a result, the camera mounted on the unmanned aerial vehicle automatically adjusts the flight altitude of the unmanned aerial vehicle so that all objects to be photographed among the objects on the ground, such as robots and humans, are most magnified. As a region to be captured, it is possible to appropriately capture the region of interest determined by the marker.
本開示の一態様に係る飛行高度制御装置は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置であって、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識する認識部と、前記複数のマーカーにより形成される多角形の面積を算出する算出部と、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する制御部とを備える。 A flight altitude control apparatus according to an aspect of the present disclosure is a flight altitude control apparatus that controls the flight altitude of an unmanned air vehicle equipped with an imaging apparatus that captures the ground. A recognition unit for recognizing a plurality of positioned objects as a plurality of markers, a calculation unit for calculating an area of a polygon formed by the plurality of markers, and the unmanned flight so that the area of the polygon is maximized A control unit for controlling the flight altitude of the body.
このような構成により、撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、複数のマーカーにより形成される多角形の面積を算出し、多角形の面積が最大になるように無人飛行体の飛行高度を制御しているので、地上のマーカーにより指定された注目領域を適切に撮影することができる。この結果、無人飛行体の飛行高度の調整を自動的に行い、撮影対象となる地上の物体を適切に撮影することができる。 With such a configuration, a plurality of objects located on the ground are recognized as a plurality of markers from the video captured by the imaging device, and the area of the polygon formed by the plurality of markers is calculated. Since the flight altitude of the unmanned air vehicle is controlled so as to be, the region of interest specified by the ground marker can be appropriately captured. As a result, the flight altitude of the unmanned air vehicle can be automatically adjusted, and an object on the ground to be imaged can be appropriately imaged.
上記飛行高度制御装置は、前記認識部が認識すべきマーカーの個数を登録マーカー数として記憶する記憶部をさらに備え、前記認識部は、前記複数のマーカーの個数と前記登録マーカー数とを比較し、前記制御部は、前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記無人飛行体の飛行高度を上昇する制御を行い、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積より小さい場合、前記無人飛行体の飛行高度を下降する制御を行うようにしてもよい。 The flight altitude control apparatus further includes a storage unit that stores the number of markers to be recognized by the recognition unit as the number of registered markers, and the recognition unit compares the number of the plurality of markers with the number of registered markers. The control unit performs control to increase the flight altitude of the unmanned air vehicle when the number of the plurality of markers is less than the number of registered markers, and the number of the plurality of markers matches the number of registered markers, And when the area of the said polygon is smaller than the area of the polygon calculated last time, you may make it perform control which descends the flight altitude of the said unmanned air vehicle.
このような構成により、認識されている複数のマーカーの個数と、予め記憶されている登録マーカー数とを比較し、複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体の飛行高度を上昇する制御を行っているので、無人飛行体の上昇により、撮影されるマーカーの個数を登録マーカー数に一致するまで増加させることができ、登録マーカー数により指定された注目領域を適切に撮影することができる。また、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体の飛行高度を下降する制御を行っているので、無人飛行体の下降により、登録マーカー数により指定された注目領域をできるだけ拡大した状態で適切に撮影することができる。 With this configuration, the number of recognized markers is compared with the number of registered markers stored in advance, and if the number of markers is less than the number of registered markers, the flight altitude of the unmanned air vehicle is calculated. Since the ascending control is performed, the number of markers to be photographed can be increased until the number of registered markers matches the number of registered markers due to the rise of the unmanned air vehicle, and the region of interest specified by the number of registered markers is appropriately photographed. be able to. In addition, if the number of markers matches the number of registered markers and the polygon area is smaller than the previously calculated polygon area, control is performed to lower the flight altitude of the unmanned air vehicle. As the flying object descends, it is possible to appropriately capture an image of the attention area designated by the number of registered markers as much as possible.
前記撮影装置は、ズーム動作可能なズーム撮影装置を含み、前記制御部は、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積以上である場合、前記無人飛行体の飛行高度を現在の飛行高度に維持する制御を行い、前記認識部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で前記撮影装置が撮影した映像から、前記複数の物体を前記複数のマーカーとして認識し、前記算出部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーにより形成される多角形の面積を高度維持時面積として算出し、前記制御部は、前記高度維持時面積が最大になるように、前記ズーム撮影装置のズーム比を制御するようにしてもよい。 The imaging apparatus includes a zoom imaging apparatus capable of zooming, and the control unit is configured such that the number of the plurality of markers coincides with the number of registered markers, and the area of the polygon calculated last time is the polygon area. If it is the above, control is performed to maintain the flight altitude of the unmanned air vehicle at the current flight altitude, and the recognizing unit maintains the flight altitude of the unmanned air vehicle at the current flight altitude. From the captured video, the plurality of objects are recognized as the plurality of markers, and the calculation unit is formed by the plurality of markers recognized in a state where the flight altitude of the unmanned air vehicle is maintained at the current flight altitude. The control unit may control the zoom ratio of the zoom photographing apparatus so that the height maintaining area is maximized.
このような構成により、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積以上である場合、無人飛行体の飛行高度を現在の飛行高度に維持する制御を行い、無人飛行体の飛行高度を現在の飛行高度に維持した状態で撮影装置が撮影した映像から複数の物体を複数のマーカーとして認識し、無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーにより形成される多角形の面積を高度維持時面積として算出し、高度維持時面積が最大になるようにズーム撮影装置のズーム比を制御しているので、無人飛行体の飛行高度を維持しながら、ズーム撮影装置のズーム比の制御により、登録マーカー数により指定された注目領域を適切に撮影することができる。 With this configuration, when the number of markers matches the number of registered markers and the polygon area is equal to or greater than the polygon area calculated previously, the flight altitude of the unmanned air vehicle is set to the current flight altitude. Controls to maintain the unmanned aerial vehicle's flight altitude at the current flight altitude, recognizes multiple objects as multiple markers from the image taken by the imaging device, and sets the unmanned aircraft's flight altitude to the current flight The area of the polygon formed by multiple markers recognized in a highly maintained state is calculated as the area when maintaining the altitude, and the zoom ratio of the zoom camera is controlled so that the area when maintaining the altitude is maximized. Therefore, the attention area designated by the number of registered markers can be appropriately imaged by controlling the zoom ratio of the zoom imaging device while maintaining the flight altitude of the unmanned air vehicle.
前記制御部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記ズーム撮影装置がズームアウトするように前記ズーム撮影装置を制御するようにしてもよい。 When the number of the plurality of markers recognized in a state where the flight altitude of the unmanned air vehicle is maintained at the current flight altitude is smaller than the number of registered markers, the control unit is configured to zoom out the zoom photographing device. The zoom photographing apparatus may be controlled.
このような構成により、無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数より少ない場合、ズーム撮影装置がズームアウトするので、ズーム撮影装置のズームアウト動作により、撮影されるマーカーの個数を増加させて登録マーカー数に一致させることができ、登録マーカーの個数により指定された注目領域を適切に撮影することができる。 With such a configuration, the zoom imaging device zooms out when the number of the plurality of markers recognized with the flight altitude of the unmanned air vehicle maintained at the current flight altitude is smaller than the number of registered markers. With this zoom-out operation, the number of markers to be photographed can be increased to match the number of registered markers, and the region of interest designated by the number of registered markers can be photographed appropriately.
前記制御部は、前記ズーム撮影装置がズームアウトできない場合、前記ズーム撮影装置の現在のズーム比を維持する制御を行い、且つ、前記無人飛行体の飛行高度を上昇する制御を行うようにしてもよい。 When the zoom photographing apparatus cannot zoom out, the control unit performs control to maintain the current zoom ratio of the zoom photographing apparatus and performs control to increase the flight altitude of the unmanned air vehicle. Good.
このような構成により、ズーム撮影装置がズームアウトできない場合、ズーム撮影装置の現在のズーム比を維持する制御を行いながら、無人飛行体の飛行高度を上昇する制御を行っているので、無人飛行体の上昇により、撮影されるマーカーの個数を登録マーカー数に一致するまで増加させることができ、ズーム撮影装置がズームアウトできない場合でも、登録マーカー数により指定された注目領域を適切に撮影することができる。 With such a configuration, when the zoom photographing apparatus cannot zoom out, the control for maintaining the current zoom ratio of the zoom photographing apparatus is performed while the control for increasing the flight altitude of the unmanned flying object is performed. The number of markers to be photographed can be increased until the number matches the number of registered markers, and even if the zoom photographing device cannot zoom out, the region of interest designated by the number of registered markers can be photographed appropriately. it can.
前記制御部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記高度維持時面積が前回算出した高度維持時面積より小さい場合、前記ズーム撮影装置がズームインするように前記ズーム撮影装置を制御するようにしてもよい。 The control unit is configured such that the number of the plurality of markers recognized in a state where the flight altitude of the unmanned air vehicle is maintained at the current flight altitude matches the number of registered markers, and the altitude maintaining area is calculated last time. When the altitude maintenance area is smaller, the zoom photographing apparatus may be controlled so that the zoom photographing apparatus zooms in.
このような構成により、無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数と一致し、且つ、現在の高度維持時面積が前回算出した高度維持時面積より小さい場合、ズーム撮影装置がズームインするので、ズーム撮影装置のズームイン動作により、登録マーカー数により指定された注目領域をできるだけ拡大した状態で適切に撮影することができる。 With such a configuration, the number of markers recognized in the state where the flight altitude of the unmanned air vehicle is maintained at the current flight altitude matches the number of registered markers, and the current altitude maintaining area was calculated last time. When the area is smaller than the altitude maintenance area, the zoom imaging apparatus zooms in. Therefore, the zoom imaging apparatus zooms in, so that the region of interest designated by the number of registered markers can be appropriately captured in an enlarged state as much as possible.
前記制御部は、前記ズーム撮影装置がズームインできない場合、前記ズーム撮影装置の現在のズーム比を維持する制御を行い、且つ、前記無人飛行体の飛行高度を下降する制御を行うようにしてもよい。 The control unit may perform control to maintain a current zoom ratio of the zoom photographing device and perform control to lower a flying altitude of the unmanned air vehicle when the zoom photographing device cannot zoom in. .
このような構成により、ズーム撮影装置がズームインできない場合、ズーム撮影装置の現在のズーム比を維持する制御を行いながら、無人飛行体の飛行高度を下降する制御を行っているので、無人飛行体の下降により、登録マーカー数により指定された注目領域をできるだけ拡大した状態で適切に撮影することができる。 With such a configuration, when the zoom photographing device cannot zoom in, the control for lowering the flying altitude of the unmanned air vehicle is performed while performing control to maintain the current zoom ratio of the zoom photographing device. By descending, it is possible to appropriately shoot in a state where the attention area designated by the number of registered markers is enlarged as much as possible.
上記飛行高度制御装置は、前記複数の物体の中からユーザにより選択された複数の物体を複数の認識対象マーカーとして取得する取得部をさらに備え、前記認識部は、前記撮影装置が撮影した映像から、前記複数の認識対象マーカーを前記複数のマーカーとして認識し、前記算出部は、前記複数の認識対象マーカーにより形成される多角形の面積を算出するようにしてもよい。 The flight altitude control apparatus further includes an acquisition unit configured to acquire a plurality of objects selected by the user from the plurality of objects as a plurality of recognition target markers, and the recognition unit is configured based on an image captured by the imaging device. The plurality of recognition target markers may be recognized as the plurality of markers, and the calculation unit may calculate a polygonal area formed by the plurality of recognition target markers.
このような構成により、複数の物体の中からユーザにより選択された複数の物体を複数の認識対象マーカーとして取得し、撮影装置が撮影した映像から複数の認識対象マーカーを複数のマーカーとして認識し、複数の認識対象マーカーにより形成される多角形の面積を算出しているので、ユーザが選択した複数の物体により指定された注目領域を適切に撮影することができる。 With such a configuration, a plurality of objects selected by a user from a plurality of objects are acquired as a plurality of recognition target markers, and a plurality of recognition target markers are recognized as a plurality of markers from an image captured by the imaging device, Since the area of the polygon formed by the plurality of recognition target markers is calculated, it is possible to appropriately capture the attention area specified by the plurality of objects selected by the user.
前記取得部は、前記撮影装置が撮影した映像に重畳して表示される前記複数のマーカーの中からユーザにより選択された複数のマーカーを前記複数の認識対象マーカーとして取得するようにしてもよい。 The acquisition unit may acquire, as the plurality of recognition target markers, a plurality of markers selected by a user from the plurality of markers displayed superimposed on the video captured by the imaging device.
このような構成により、撮影した映像に重畳して複数のマーカーを表示し、表示されている複数のマーカーの中からユーザにより選択された複数のマーカーを複数の認識対象マーカーとして取得しているので、ユーザは、撮影した映像から任意のマーカーを選択するという簡便な操作で、所望の領域を注目領域として容易に指定することができる。 With such a configuration, a plurality of markers are displayed superimposed on the captured video, and a plurality of markers selected by the user from among the plurality of displayed markers are acquired as a plurality of recognition target markers. The user can easily designate a desired region as a region of interest by a simple operation of selecting an arbitrary marker from the captured video.
本開示の他の態様に係る無人飛行体は、地上を撮影する撮影装置と、上記のいずれかに記載の飛行高度制御装置とを備える。この場合、上記の飛行高度制御装置と同様の効果を奏することができる。 An unmanned air vehicle according to another aspect of the present disclosure includes an imaging device that images the ground and the flight altitude control device according to any one of the above. In this case, the same effect as the above flight altitude control device can be obtained.
また、本開示は、以上のような特徴的な構成を備える飛行高度制御装置又は無人飛行体として実現することができるだけでなく、飛行高度制御装置が備える特徴的な構成に対応する特徴的な処理を実行する飛行高度制御方法などとして実現することもできる。また、このような飛行高度制御方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。したがって、以下の他の態様でも、上記の飛行高度制御装置と同様の効果を奏することができる。 Further, the present disclosure can be realized not only as a flight altitude control apparatus or an unmanned air vehicle having the above-described characteristic configuration but also as a characteristic process corresponding to the characteristic configuration included in the flight altitude control apparatus. It can also be realized as a flight altitude control method for executing It can also be realized as a computer program that causes a computer to execute the characteristic processing included in such a flight altitude control method. Therefore, also in the following other aspects, the same effect as the above flight altitude control device can be obtained.
本開示の他の態様に係る飛行高度制御方法は、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御方法であって、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、前記複数のマーカーにより形成される多角形の面積を算出し、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する。 A flight altitude control method according to another aspect of the present disclosure is a flight altitude control method for controlling the flight altitude of an unmanned air vehicle equipped with an imaging device for imaging the ground. A plurality of objects located at the same position are recognized as a plurality of markers, the area of a polygon formed by the plurality of markers is calculated, and the flight altitude of the unmanned air vehicle is adjusted so that the area of the polygon is maximized. Control.
本開示の他の態様に係る飛行高度制御プログラムは、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置として、コンピュータを機能させるための飛行高度制御プログラムであって、前記コンピュータに、前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、前記複数のマーカーにより形成される多角形の面積を算出し、前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する、処理を実行させる。 A flight altitude control program according to another aspect of the present disclosure is a flight altitude control program for causing a computer to function as a flight altitude control device that controls the flight altitude of an unmanned air vehicle equipped with an imaging device that photographs the ground. Then, the computer recognizes a plurality of objects located on the ground as a plurality of markers from the video imaged by the imaging device, calculates a polygonal area formed by the plurality of markers, A process for controlling the flight altitude of the unmanned air vehicle so as to maximize the area is executed.
そして、上記のようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示の一実施の形態に係る飛行高度制御装置の構成要素の一部とそれ以外の構成要素とを複数のコンピュータに分散させたシステムとして構成してもよい。 Needless to say, the above-described computer program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM or a communication network such as the Internet. Further, a part of the components of the flight altitude control apparatus according to the embodiment of the present disclosure and the other components may be configured as a system dispersed in a plurality of computers.
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すためのものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。 Note that each of the embodiments described below is for showing a specific example of the present disclosure. Numerical values, shapes, components, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present disclosure. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept are described as optional constituent elements. In all the embodiments, the contents can be combined.
以下、本開示の各実施の形態について、図面を参照しながら説明する。 Hereinafter, each embodiment of the present disclosure will be described with reference to the drawings.
（実施の形態１）
本開示の実施の形態１に係る飛行高度制御システムは、地上に配置された自律移動するロボット（地上ロボット）をマーカーとし、無人飛行体に搭載された撮影装置が撮影する映像内に全てのマーカーを捉えるよう無人飛行体の飛行高度を制御する。
(Embodiment 1)
In the flight altitude control system according to the first embodiment of the present disclosure, the autonomously moving robot (ground robot) arranged on the ground is used as a marker, and all markers are included in the image captured by the imaging device mounted on the unmanned air vehicle. Control the flight altitude of the unmanned air vehicle to capture
図１は、本開示の実施の形態１における飛行高度制御システムの構成の一例を示すブロック図である。図１に示す飛行高度制御システムは、サーバ装置１と、無人飛行体２とを備え、サーバ装置１と無人飛行体２とは、有線又は無線のネットワークＮＷを介して接続され、種々の情報を相互に通信可能に構成されている。なお、ユーザ（操縦者）が外部の制御装置（操縦器）を用いて無人飛行体２を遠隔制御する場合、操縦器も、ネットワークＮＷ等を介して接続され、種々の情報を相互に通信可能に構成される。この点については、他の実施の形態も同様である。
FIG. 1 is a block diagram illustrating an example of a configuration of a flight altitude control system according to the first embodiment of the present disclosure. The flight altitude control system shown in FIG. 1 includes a
サーバ装置１は、飛行高度制御装置としての機能を備える。具体的には、サーバ装置１は、無人飛行体２に搭載された撮影装置の一例であるカメラが撮影した映像を、ネットワークＮＷを介して受信し、無人飛行体２の飛行高度を判定し、無人飛行体２の飛行高度の制御を行う。
The
図２は、図１に示すサーバ装置１及び無人飛行体２の構成の一例を示すブロック図であり、図３は、図２に示す無人飛行体の外観の一例を示す図である。なお、図２では、図示を容易にするため、ネットワークＮＷの図示を省略している。この点については、他の実施の形態も同様である。
2 is a block diagram showing an example of the configuration of the
図２において、サーバ装置１は、通信部１１、マーカー認識部１２、面積計算部１３、最大値検知部１４、飛行高度制御部１５、及びマーカー数記憶部１６を備える。無人飛行体２は、通信部２１、カメラ２２、飛行制御部２３、及び駆動部２４を備える。
In FIG. 2, the
無人飛行体２の通信部２１は、ネットワークＮＷ（図示省略）を介して、サーバ装置１の通信部１１との間の通信を行い、カメラ２２が撮影した映像等を通信部１１に送信し、サーバ装置１が生成した種々の制御コマンド等を通信部１１から受信する。
The
カメラ２２は、無人飛行体２に搭載され、無人飛行体２の下方に展開するマーカーとなる物体、例えば、地上ロボットを撮影する。ここでは、カメラ２２として、固定焦点レンズのカメラを用いる例を示している。カメラ２２は、通信部２１を介して、撮影した映像（映像データ）を通信部１１に送信する。
The
ここで、図３を参照して、無人飛行体２は、上記の構成に加えて、本体２５、４本の支持部２６、無人飛行体２の推進力を発生させる４個の駆動部２４（図２に示す駆動部２４）とを備える。なお、図２では、図示を容易にするため、４個の駆動部２４を一つのブロックで図示している。この点については、他の実施の形態も同様である。
Here, referring to FIG. 3, in addition to the above-described configuration, the
本体２５の底部には、カメラ２２が取り付けられている。駆動部２４は、本体２５から四方へ延在する支持部２６の先端に取り付けられる。本体２５の内部には、図２に示す通信部２１及び飛行制御部２３が収納されている。
A
再び、図２を参照して、飛行制御部２３は、無人飛行体２の飛行高度を含む飛行状態を制御する。駆動部２４は、プロペラと、プロペラを回転させるモータとからなる。飛行制御部２３は、駆動部２４のプロペラの回転数を適宜制御することで、無人飛行体２の移動方向や飛行高度等を制御する。なお、図３では、無人飛行体２は、４個の駆動部２４を有しているが、これに限定されず、例えば、５個以上の駆動部を用いてもよい。この点については、他の実施の形態も同様である。
Referring to FIG. 2 again, the
サーバ装置１のマーカー認識部１２は、通信部２１を介して、カメラ２２が撮影した映像を取得し、カメラ２２により撮影された地上ロボットをマーカーとして認識する。例えば、マーカー認識部１２は、人物又は地上ロボット等の物体を認識するような画像処理装置から構成され、マーカーとなる地上ロボットや人物に特定のランプや発光体を取り付け、ランプや発光体を点灯又は点滅させることにより、カメラ２２により撮影された映像からランプや発光体を検出し、地上ロボットや人物をマーカーとして認識する。
The
なお、マーカー認識部１２の構成は、上記の例に特に限定されず、人物又は地上ロボット等の物体にＱＲコード（登録商標）などのバーコードのような印を配置又は貼り付け、バーコードのような印を検出することにより、地上ロボットや人物等の物体をマーカーとして認識するようにしてもよい。また、マーカーとして認識する物体は、上記の例に特に限定されず、種々の作業ロボット、緊急車両（消防車、救急車、警察車両等）、工事車両（ブルドーザー、ショベルカー、クレーン車等）等であってもよい。これらの点に関しては、他の実施の形態も同様である。
The configuration of the
マーカー数記憶部１６は、予め設定されたマーカーの数を登録マーカー数として記憶する。図４は、マーカー数記憶部１６が保持するデータの一例を示す図である。図４に示すように、地上に展開する地上ロボットの数は、マーカー数記憶部１６に事前に記憶され、本例では、登録マーカー数として、例えば、５個が記憶されている。
The marker
マーカー認識部１２は、認識した複数のマーカーの個数と、マーカー数記憶部１６に記憶されている登録マーカー数とを比較し、比較結果を飛行高度制御部１５に出力するとともに、カメラ２２により撮影された映像と比較結果とを面積計算部１３に出力する。
The
面積計算部１３は、マーカー認識部１２により認識されたマーカーの個数がマーカー数記憶部１６に予め登録された登録マーカー数と一致する場合、カメラ２２により撮影された映像を用いて、マーカーの位置を検出し、登録マーカー数に一致する数のマーカーにより形成される多角形の面積を算出し、算出した多角形の面積を最大値検知部１４に出力する。ここで、多角形の面積としては、マーカーにより形成される映像上の多角形の面積を計算してもよいし、マーカーに対応する地上ロボットの実際の位置から形成される多角形の実際の面積を計算してもよく、種々の面積を用いることができる。
When the number of markers recognized by the
最大値検知部１４は、飛行高度制御部１５により無人飛行体２の飛行高度が制御されている状態で、面積計算部１３により計算された多角形の面積が最大であるか否かを検知する。具体的には、最大値検知部１４は、面積計算部１３が計算した多角形の面積を記憶する機能を有し、前回の多角形の面積と、最新の多角形の面積とを比較して最大値を検知する処理を行い、比較結果を飛行高度制御部１５に出力する。
The maximum
飛行高度制御部１５は、マーカー認識部１２の比較結果及び最大値検知部１４の比較結果を基に、多角形の面積が最大になるように、カメラ２２を搭載した無人飛行体２の飛行高度を制御する。具体的には、飛行高度制御部１５は、マーカー認識部１２により認識された複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体２の飛行高度を上昇するように、無人飛行体２の飛行高度を制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２に送信する。また、飛行高度制御部１５は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体２の飛行高度を下降するように、無人飛行体２の飛行高度を制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２に送信する。
The flight
無人飛行体２の通信部２１は、サーバ装置１からの制御コマンドを受信して飛行制御部２３に出力する。飛行制御部２３は、制御コマンドに従って駆動部２４を制御し、マーカー認識部１２により認識された複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体２の飛行高度を上昇させる。また、飛行制御部２３は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体２の飛行高度を下降させる。
The
上記のように、サーバ装置１の飛行高度制御部１５は、無人飛行体２に対して高度を制御する命令（制御コマンド）を送信し、無人飛行体２は、受信した命令に従って自機器の高度を制御する。また、サーバ装置１は、無人飛行体２のカメラ２２が撮影した映像を受信し、受信した映像を用いて分析した結果を、複数の地上ロボットが連携して活動する上で必要となる情報として、種々の装置等（図示省略）に提供する。
As described above, the flight
なお、本実施の形態では、サーバ装置１が飛行高度制御装置として機能する例について説明したが、無人飛行体２が飛行高度制御装置としての機能を備える構成であってもよい。この場合、無人飛行体２は、マーカー認識部１２、面積計算部１３、最大値検知部１４、飛行高度制御部１５、及びマーカー数記憶部１６をさらに備え、搭載されたカメラ２２が撮影した映像を用いて、自機器の高度の制御を行う。また、無線又は光通信等で接続された無人飛行体の外部の制御装置、例えば、プロポ等のコントローラが、飛行高度制御装置としても機能するようにしてもよい。これらの点については、他の実施の形態も同様である。
In the present embodiment, an example in which the
上記の構成により、無人飛行体２は、飛行している位置の下方の映像を常にカメラ２２で撮影している。無人飛行体２の下方には、マーカーとなる複数の地上ロボットが地上に展開されており、サーバ装置１は、カメラ２２がこれらの映像を撮影することによって、地上ロボットの位置を頂点とする多角形を生成する。
With the above configuration, the
図５は、図２に示す無人飛行体２が複数の地上ロボットを撮影している状態の一例を示すイメージ図である。図５に示す例は、無人飛行体２が上空を飛行し、飛行している位置の下方に、５台の地上ロボット４が配置されている例である。各ロボット４は、例えば、ランプ４１を備え、ランプ４１を所定の発光色で点灯させる。このとき、無人飛行体２は、飛行している位置の下方の映像を常にカメラ２２で撮影し、サーバ装置１は、撮影された映像から、５台の地上ロボット４のランプ４１をマーカーとして認識し、無人飛行体２のカメラ２２が撮影可能な領域である注目領域ＡＡ内に５台の地上ロボット４のランプ４１がすべて入るように、無人飛行体２の飛行高度を制御する。
FIG. 5 is an image diagram showing an example of a state in which the
図６は、図５に示す地上ロボット４をマーカーとした場合の多角形の一例を示す図である。図６に示すように、サーバ装置１は、５台の地上ロボット４のランプ４１をマーカーＭ１〜Ｍ５として認識し、５個のマーカーＭ１〜Ｍ５から形成される多角形ＰＳの面積を算出する。
FIG. 6 is a diagram showing an example of a polygon when the
ここで、本実施の形態において、無人飛行体２の飛行高度が低ければ、カメラ２２において撮像されるマーカーの数は、予め設定されるマーカーの数（登録マーカー数）に届かないことが想定される。すなわち、マーカー数を頂点とする多角形を描いていないことになる。
Here, in the present embodiment, if the flying altitude of the
このため、サーバ装置１は、初期状態として、マーカーの数が登録マーカー数になるまで無人飛行体２の飛行高度を上昇させる。このことにより、マーカー数を頂点の数とする多角形が得られることとなる。無人飛行体２が単調に飛行高度を上昇させていく過程で、カメラ２２は、マーカーである地上ロボット（以下、「マーカー」とも称する）を撮影し始める。カメラ２２がマーカーを捉えると、マーカー認識部１２は、地上ロボット４をマーカーとして認識し、マーカーの個数をカウントし始める。その後、マーカーの数が予め設定された登録マーカー数になるまで、無人飛行体２は上昇する。
For this reason, the
無人飛行体２が上昇を続け、マーカーの数が登録マーカー数に一致するようになると、マーカーを頂点とする多角形を認識できるため、面積計算部１３は、マーカーが形成する多角形の面積を算出する。
When the unmanned
これ以降は、多角形の面積は、無人飛行体２の飛行高度と関連し、無人飛行体２の飛行高度を高くすると、多角形の面積は減少する。一方、無人飛行体２の飛行高度を低くすると、多角形の面積は増大していき、やがて、マーカーがカメラ２２の画角の外側に出るため、予め設定された登録マーカー数のマーカーを頂点とする多角形を検知できないという状態となる。
Thereafter, the polygonal area is related to the flight altitude of the
このとき、飛行高度制御部１５は、無人飛行体２の飛行高度を変化させ、最大値検知部１４の比較結果を基に、カメラ２２によって撮影された多角形の面積が最大となるように無人飛行体２の飛行高度を定める。また、マーカーである地上ロボット４は、常に移動をしているので、多角形の面積は、時々刻々変化する。最大値検知部１４は、この変化する多角形の面積を順次比較し、飛行高度制御部１５は、マーカーの描く多角形の面積が最大になるように無人飛行体２の飛行高度を制御する。
At this time, the flight
次に、図２に示すサーバ装置１の飛行高度制御処理について、図７のフローチャートを使って説明する。図７は、図２に示すサーバ装置１の飛行高度制御処理の一例を示すフローチャートである。
Next, the flight altitude control process of the
図７において、まず、サーバ装置１は、飛行高度制御処理を開始する（ステップＳ１０１）。次に、ステップＳ１０２において、マーカー認識部１２は、カメラ２２が撮影した映像を取得して、マーカーを認識する。
In FIG. 7, first, the
次に、ステップＳ１０３において、マーカー認識部１２は、認識したマーカーの数と、マーカー数記憶部１６に予め記憶された登録マーカー数とを比較する。認識したマーカーの数が登録マーカー数より少ない（個数が不足）場合、ステップＳ１０７に遷移し、マーカー認識部１２は、認識したマーカーの数が登録マーカー数より少ないことを飛行高度制御部１５に通知し、無人飛行体２の飛行高度を上昇させるよう指示する。飛行高度制御部１５は、指示に従って、無人飛行体２の飛行高度を制御する。
Next, in step S <b> 103, the
一方、認識したマーカーの数が登録マーカー数である（個数を満たしている）場合、マーカーにより形成される多角形の面積を計算するステップＳ１０４に遷移する。ステップＳ１０４では、面積計算部１３は、カメラ２２により撮影された映像を用いて、マーカーの位置を検出し、検出したマーカーを頂点とした多角形の面積を求める。
On the other hand, if the number of recognized markers is the number of registered markers (the number is satisfied), the process proceeds to step S104 in which the area of a polygon formed by the markers is calculated. In step S <b> 104, the
続いて、ステップＳ１０５では、最大値検知部１４は、前回の多角形の面積を記憶しており、前回の多角形の面積と、ステップＳ１０４で計算された今回の多角形の面積とを比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップＳ１０６に遷移し、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部１５に通知し、飛行高度制御部１５に無人飛行体の高度を下げるよう指示する。飛行高度制御部１５は、指示に従って、無人飛行体２の飛行高度を制御する。
Subsequently, in step S105, the maximum
一方、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部１５に通知し、飛行高度制御部１５は、その高度を維持したまま、ステップＳ１０１に遷移し（ステップＳ１０８）、以降の処理を繰り返す。
On the other hand, when the area of the current polygon is equal to or larger than the area of the previous polygon, the maximum
なお、初期状態として、無人飛行体２の操縦者のマニュアル操作により、無人飛行体２を予め全マーカーを捉える高度に上昇させた後、図７に示した処理を実施してもよい。また、最大値検知部１４では、前回の多角形の面積の初期値を「０」とする。これらの点については、他の実施の形態も同様である。
Note that, as an initial state, the process shown in FIG. 7 may be performed after the
上記の処理により、サーバ装置１は、無人飛行体２に搭載されたカメラ２２を用いて撮影された地上ロボット４をマーカーとして認識し、マーカーを頂点とする多角形を形成し、多角形の面積を最大とする映像を撮影できる高度で無人飛行体２を飛行させる。これにより、無人飛行体２の飛行高度が、搭載されたカメラ２２を用いて、画像として注目する領域を撮像するために最適な高度となり、地上のマーカーにより指定された注目領域を適切に撮影することができる。
Through the above processing, the
なお、本実施の形態において、マーカーとして地上ロボットを用いたが、ロボットでない物体であっても、マーカー認識部１２がマーカーと認識できるものであれば、いかなるものをマーカーとしてもよい。この点については、他の実施の形態も同様である。
In the present embodiment, the ground robot is used as the marker, but any object that is not a robot can be used as the marker as long as the
（実施の形態２）
本開示の実施の形態２に係る飛行高度制御システムは、ズームレンズ搭載の撮影装置を搭載した無人飛行体の飛行高度を制御するとともに、撮影装置のズーム比を制御する。
(Embodiment 2)
The flight altitude control system according to the second embodiment of the present disclosure controls the flight altitude of an unmanned air vehicle equipped with an imaging device equipped with a zoom lens, and also controls the zoom ratio of the imaging device.
図８は、本開示の実施の形態２における飛行高度制御システムの構成の一例を示すブロック図である。なお、図８において、図２と同じ構成要素については、同じ符号を用い、詳細な説明を省略する。 FIG. 8 is a block diagram illustrating an example of the configuration of the flight altitude control system according to the second embodiment of the present disclosure. In FIG. 8, the same components as those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
図８において、本実施の形態の飛行高度制御システムは、サーバ装置１ａと、無人飛行体２ａとを備える。サーバ装置１ａは、通信部１１、マーカー認識部１２、面積計算部１３、最大値検知部１４、飛行高度制御部１５、マーカー数記憶部１６、及びズーム比制御部１７を備える。無人飛行体２ａは、通信部２１、カメラ２２ａ、飛行制御部２３、駆動部２４及びカメラ制御部２７を備える。
In FIG. 8, the flight altitude control system of the present embodiment includes a
無人飛行体２ａの通信部２１は、ネットワークＮＷ（図示省略）を介して、サーバ装置１ａの通信部１１との間の通信を行い、カメラ２２ａが撮影した映像等を通信部１１に送信し、サーバ装置１ａが生成した種々の制御コマンド等を通信部１１から受信する。
The
カメラ２２ａは、無人飛行体２ａに搭載され、無人飛行体２ａの下方に展開するマーカーとなる物体、例えば、地上ロボットを撮影する。ここでは、カメラ２２ａとして、ズームレンズ搭載のカメラ（ズームレンズカメラ）を用いる例を示している。カメラ２２ａは、通信部２１を介して、撮影した映像（映像データ）を通信部１１に送信する。
The
無人飛行体２ａは、図３に示す無人飛行体２と同様の外観を有し、本体２５（図示省略）の底部に、カメラ２２ａが取り付けられている。駆動部２４は、本体２５から四方へ延在する支持部２６（図示省略）の先端に取り付けられる。本体２５の内部には、図８に示す通信部２１、飛行制御部２３、及びカメラ制御部２７が収納されている。
The
飛行制御部２３は、無人飛行体２ａの飛行高度を含む飛行状態を制御する。駆動部２４は、プロペラと、プロペラを回転させるモータとからなる。飛行制御部２３は、駆動部２４のプロペラの回転数を適宜制御することで、無人飛行体２ａの移動方向や飛行高度等を制御する。カメラ制御部２７は、カメラ２２ａのズーム動作を制御する。
The
サーバ装置１ａのマーカー認識部１２は、通信部２１を介して、カメラ２２ａが撮影した映像を取得し、カメラ２２ａにより撮影された地上ロボットをマーカーとして認識する。
The
マーカー数記憶部１６は、予め設定されたマーカーの数を登録マーカー数として記憶する。例えば、マーカー数記憶部１６は、図４に示すデータ（登録マーカー数）を保持し、地上に展開する地上ロボットの数は、マーカー数記憶部１６に事前に登録されている。
The marker
マーカー認識部１２は、認識した複数のマーカーの個数と、マーカー数記憶部１６に記憶されている登録マーカー数とを比較し、比較結果を飛行高度制御部１５に出力するとともに、カメラ２２ａにより撮影された映像と比較結果とを面積計算部１３に出力する。
The
面積計算部１３は、マーカー認識部１２により認識されたマーカーの個数がマーカー数記憶部１６に予め登録された登録マーカー数と一致する場合、カメラ２２ａにより撮影された映像を用いて、マーカーの位置を検出し、登録マーカー数に一致する数のマーカーにより形成される多角形の面積を算出し、算出した多角形の面積を最大値検知部１４に出力する。
When the number of markers recognized by the
最大値検知部１４は、飛行高度制御部１５により無人飛行体２ａの飛行高度が制御されている状態で、多角形の面積が最大であるか検知する。具体的には、最大値検知部１４は、面積計算部１３が算出した多角形の面積を記憶する機能を有し、前回の多角形の面積と、最新の多角形の面積とを比較して最大値を検知する処理を行い、比較結果を飛行高度制御部１５に出力する。
The maximum
飛行高度制御部１５は、マーカー認識部１２の比較結果及び最大値検知部１４の比較結果を基に、多角形の面積が最大になるように、カメラ２２ａを搭載した無人飛行体２ａの飛行高度を制御する。具体的には、飛行高度制御部１５は、マーカー認識部１２により認識された複数のマーカーの個数が登録マーカー数より少ない場合、無人飛行体２ａの飛行高度を上昇するように、無人飛行体２ａの飛行高度を制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２ａに送信する。また、飛行高度制御部１５は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積より小さい場合、無人飛行体２ａの飛行高度を下降するように、無人飛行体２ａの飛行高度を制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２ａに送信する。さらに、飛行高度制御部１５は、複数のマーカーの個数が登録マーカー数と一致し、且つ、多角形の面積が前回算出した多角形の面積以上である場合、無人飛行体２ａの飛行高度を維持するように、無人飛行体２ａの飛行高度を制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２ａに送信する。
The flight
ズーム比制御部１７は、無人飛行体２ａに搭載されたカメラ２２ａのズーム比を制御する。具体的には、マーカー認識部１２は、無人飛行体２ａの飛行高度を現在の飛行高度に維持した状態でカメラ２２ａが撮影した映像から、複数の地上ロボットを複数のマーカーとして認識する。面積計算部１３は、無人飛行体２ａの飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーにより形成される多角形の面積を高度維持時面積として算出する。ズーム比制御部１７は、高度維持時面積が最大になるように、カメラ２２ａのズーム比を制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２ａに送信する。
The zoom
また、ズーム比制御部１７は、無人飛行体２ａの飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数より少ない場合、カメラ２２ａがズームアウトするようにカメラ２２ａを制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２ａに送信する。ここで、カメラ２２ａがズームアウトできない場合、ズーム比制御部１７は、カメラ２２ａの現在のズーム比を維持する制御コマンドを作成するとともに、飛行高度制御部１５は、無人飛行体２ａの飛行高度を上昇する制御コマンドを作成し、通信部１１を介して、それぞれ作成した制御コマンドを無人飛行体２ａに送信する。
Further, the zoom
さらに、ズーム比制御部１７は、無人飛行体２ａの飛行高度を現在の飛行高度に維持した状態で認識された複数のマーカーの個数が登録マーカー数と一致し、且つ、高度維持時面積が前回算出した高度維持時面積より小さい場合、カメラ２２ａがズームインするようにカメラ２２ａを制御する制御コマンドを作成し、通信部１１を介して、作成した制御コマンドを無人飛行体２ａに送信する。ここで、カメラ２２ａがズームインできない場合、ズーム比制御部１７は、カメラ２２ａの現在のズーム比を維持する制御コマンドを作成するとともに、飛行高度制御部１５は、無人飛行体２ａの飛行高度を下降する制御コマンドを作成し、通信部１１を介して、それぞれ作成した制御コマンドを無人飛行体２ａに送信する。
Furthermore, the zoom
なお、ズーム比制御部１７の構成は、上記の例に特に限定されず、種々の変更が可能であり、例えば、ズーム比制御部１７を省略し、飛行高度制御部１５がズーム比制御部１７の機能を実行してもよい。
The configuration of the zoom
上記の構成により、無人飛行体２ａは、飛行している位置の下方の映像を常にカメラ２２ａで撮影している。無人飛行体２ａの飛行高度と、カメラ２２ａに搭載されているズームレンズのズーム比とに応じて、無人飛行体２ａのカメラ２２ａが撮影する領域が変化する。つまり、無人飛行体２ａがズームレンズをテレ（望遠）側からワイド（広角）側にズームアウトさせていくと、撮影される領域が広がる。また、無人飛行体２ａがズームレンズをワイド（広角）側からテレ（望遠）側にズームインさせていくと、撮影される領域が狭くなる。
With the above configuration, the unmanned
本実施の形態では、初期状態として、カメラ２２ａのズーム比をワイド側の最大値（ワイド端）、すなわち、一番大きな画角で最も多くの物体を撮影できる状態にしておく。無人飛行体２ａの下方には、マーカーとなる複数の地上ロボットが展開されており、カメラ２２ａがこれらの映像を撮影することによって、地上ロボットの位置を頂点とする多角形を生成する。この状況は、図５及び図６で説明した状況と同様である。
In the present embodiment, as an initial state, the zoom ratio of the
ここで、本実施の形態において、無人飛行体２ａの飛行高度が低ければ、カメラ２２ａにおいて撮像されるマーカーの数は、予め設定されるマーカーの数（登録マーカー数）に届かないことが想定される。
Here, in this embodiment, if the flying altitude of the
このため、サーバ装置１ａは、初期状態として、マーカーの数が登録マーカー数になるまで、無人飛行体２ａの飛行高度を上昇させる。無人飛行体２ａが単調に飛行高度を上昇させていく過程で、カメラ２２ａは、マーカーである地上ロボット（以下、「マーカー」とも称する）を撮影し始める。カメラ２２ａがマーカーを捉えると、マーカー認識部１２は、地上ロボットをマーカーとして認識し、マーカーの個数をカウントし始める。その後、マーカーの数が予め設定された登録マーカー数になるまで、無人飛行体２ａは上昇をする。
For this reason, the
無人飛行体２ａが上昇を続け、マーカーの数が、登録マーカー数に一致するようになると、マーカーを頂点とする多角形を認識できるため、面積計算部１３は、マーカーを頂点として形成する多角形の面積を算出する。
When the
これ以降は、多角形の面積は、無人飛行体２ａの飛行高度と関連し、無人飛行体２ａの飛行高度を高くすると、多角形の面積は減少する。一方、無人飛行体２ａの飛行高度を低くすると、多角形の面積は増大していき、やがて、マーカーがカメラ２２ａの画角の外側に出るため、予め設定された登録マーカー数のマーカーを頂点とする多角形を検知できない状態となる。
Thereafter, the polygonal area is related to the flight altitude of the
また、多角形の面積は、カメラ２２ａのズームレンズのズーム比と関連し、ズームアウト（テレ側からワイド側への移行）すると、多角形の面積は減少する。一方、ズームイン（ワイド側からテレ側への移行）すると、多角形の面積は増大し、やがて、予め設定された登録マーカー数のマーカーを頂点とする多角形を検知できない状態となる可能性がある。ただし、無人飛行体２ａが十分に高い高度で飛行していた場合は、カメラ２２ａのズーム比をテレ端（テレ側に最大までズームした状態）まで変化させても、多角形を描いていることはあり得る。
Further, the area of the polygon is related to the zoom ratio of the zoom lens of the
このとき、飛行高度制御部１５は、無人飛行体２ａの飛行高度を変化させ、最大値検知部１４の比較結果を基に、カメラ２２ａによって撮影された多角形の面積が最大となるように無人飛行体２ａの飛行高度を定める。
At this time, the flight
この場合も、マーカーである地上ロボットは、常に移動をしているので、多角形の面積は、時々刻々変化する。最大値検知部１４は、この変化する多角形の面積を高度維持時面積として順次計算し、ズーム比制御部１７は、マーカーの描く多角形の面積（高度維持時面積）が最大になるようにカメラ２２ａのズーム比を制御する。
Also in this case, since the ground robot as the marker is constantly moving, the area of the polygon changes from moment to moment. The maximum
次に、図８に示すサーバ装置１ａの飛行高度制御処理について、図９及び図１０のフローチャートを使って説明する。図９及び図１０は、図８に示すサーバ装置１ａの飛行高度制御処理の一例を示す第１及び第２のフローチャートである。ここでは、カメラ２２ａのズーム比をワイド側に設定した状態で、無人飛行体２ａを上昇させる。
Next, the flight altitude control process of the
図９において、まず、サーバ装置１ａは、飛行高度制御処理を開始する（ステップＳ３０１）。次に、ステップＳ３０２において、マーカー認識部１２は、カメラ２２ａが撮影した映像を取得して、マーカーを認識する。
In FIG. 9, first, the
次に、ステップＳ３０３において、マーカー認識部１２は、認識したマーカーの数と、予めマーカー数記憶部１６に記憶された登録マーカー数とを比較する。認識したマーカーの数が登録マーカー数より少ない（個数が不足）場合、ステップＳ３０７に遷移し、マーカー認識部１２は、認識したマーカーの数が登録マーカー数より少ないことを飛行高度制御部１５に通知し、飛行高度制御部１５に無人飛行体の高度を上昇させるよう指示する。飛行高度制御部１５は、指示に従って、無人飛行体２ａの飛行高度を制御する。
Next, in step S <b> 303, the
一方、認識したマーカーの数が登録マーカー数である（個数を満たしている）場合、マーカーにより形成される多角形の面積を計算するステップＳ３０４に遷移する。ステップＳ３０４では、面積計算部１３は、カメラ２２ａにより撮影された映像を用いて、マーカーの位置を検出し、検出したマーカーを頂点とした多角形の面積を求める。
On the other hand, when the number of recognized markers is the number of registered markers (the number is satisfied), the process proceeds to step S304 in which the area of a polygon formed by the markers is calculated. In step S304, the
続いて、ステップＳ３０５では、最大値検知部１４は、前回計算された多角形の面積を記憶しており、前回の多角形の面積と、ステップＳ３０４で計算された今回の多角形の面積を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップＳ３０６に遷移し、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部１５に通知し、飛行高度制御部１５に無人飛行体の高度を下げるよう指示する。飛行高度制御部１５は、指示に従って、無人飛行体２ａの飛行高度を制御する。
Subsequently, in step S305, the maximum
一方、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部１５に通知し、飛行高度制御部１５は、その高度を維持したまま、図１０に示すステップＳ３１１に遷移する（ステップＳ３０８）。
On the other hand, when the area of the current polygon is equal to or larger than the area of the previous polygon, the maximum
次に、図１０において、サーバ装置１ａは、ズーム比による調整処理を開始する（ステップＳ３１１）。次に、ステップＳ３１２において、マーカー認識部１２は、カメラ２２ａが撮影した映像を取得して、マーカーを認識する。
Next, in FIG. 10, the
次に、ステップＳ３１３において、マーカー認識部１２は、認識したマーカーの数と、予めマーカー数記憶部１６に記憶された登録マーカー数とを比較する。認識したマーカーの数が登録マーカー数より少ない（個数が不足）場合、ステップＳ３１９に遷移し、マーカー認識部１２は、認識したマーカーの数が登録マーカー数より少ないことを飛行高度制御部１５に通知し、飛行高度制御部１５は、カメラ２２ａがズームアウト可能か否かを判断する。
Next, in step S313, the
例えば、飛行高度制御部１５は、ズームアウト可能か否かの問合せをズーム比制御部１７に行い、ズーム比制御部１７からの応答に基づき、ズームアウト可能か否かを判断する。なお、ズームアウト可能か否かの判断は、上記の例に特に限定されず、種々の変更が可能であり、例えば、飛行高度制御部１５は、現在のズーム比と、搭載しているカメラ２２ａのワイド側への最大値（ワイド端）とを比較することで、ズームアウト可能か否かを判断してもよく、また、ズーム比制御部１７が判断してもよい。この点については、他の実施の形態も同様である。
For example, the flight
ズームアウト可能と判断した場合、飛行高度制御部１５は、ズーム比制御部１７にズームアウトを指示する。次に、ステップＳ３２０において、ズーム比制御部１７は、カメラ２２ａのレンズをズームアウトするようにカメラ制御部２７に指示し、カメラ制御部２７は、カメラ２２ａのレンズをズームアウトする。その後、ステップＳ３１２に遷移し、以降の処理を継続する。
When it is determined that zooming out is possible, the flight
一方、ステップＳ３１９で、飛行高度制御部１５がズームアウト不可と判断した場合、図９に示すステップＳ３０７に遷移し、飛行高度制御部１５による無人飛行体２ａの飛行高度を変更する処理に切替える。
On the other hand, when the flight
また、ステップＳ３１３で、認識したマーカーの数が登録マーカー数である（個数を満たしている）場合、マーカーにより形成される多角形の面積を計算するステップＳ３１４に遷移する。ステップＳ３１４では、面積計算部１３は、カメラ２２ａにより撮影されたカメラ映像を用いて、マーカーの位置を検出し、検出したマーカーを頂点とした多角形の面積を高度維持時面積として求める。
In step S313, when the number of recognized markers is the number of registered markers (the number is satisfied), the process proceeds to step S314 in which the area of a polygon formed by the markers is calculated. In step S314, the
続いて、ステップＳ３１５では、最大値検知部１４は、前回計算した多角形の面積を記憶しており、前回の多角形の面積（前回計算した高度維持時面積）と、ステップＳ３１４で計算された今回の多角形の面積（高度維持時面積）を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップＳ３１６に遷移し、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部１５に通知し、飛行高度制御部１５は、カメラ２２ａがズームイン可能か否かを判断する。
Subsequently, in step S315, the maximum
例えば、飛行高度制御部１５は、ズームイン可能か否かの問合せをズーム比制御部１７に行い、ズーム比制御部１７からの応答に基づき、ズームイン可能か否かを判断する。なお、ズームイン可能か否かの判断は、上記の例に特に限定されず、種々の変更が可能であり、例えば、飛行高度制御部１５は、現在のズーム比と、搭載しているカメラ２２ａのテレ側への最小値（テレ端）とを比較することで、ズームイン可能か否かを判断してもよく、また、ズーム比制御部１７が判断してもよい。これらの点については、他の実施の形態も同様である。
For example, the flight
ズームイン可能と判断した場合、飛行高度制御部１５は、ズーム比制御部１７にズームインを指示する。次に、ステップＳ３１７において、ズーム比制御部１７は、カメラ２２ａのレンズをズームインするようにカメラ制御部２７に指示し、カメラ制御部２７は、カメラ２２ａのレンズをズームインする。その後、ステップＳ３１２に遷移し、以降の処理を継続する。
When it is determined that zooming in is possible, the flight
一方、ステップＳ３１６で、飛行高度制御部１５がズームイン不可と判断した場合、図９に示すステップＳ３０６に遷移し、飛行高度制御部１５による無人飛行体２ａの飛行高度を変更する処理に切替える。
On the other hand, if the flight
また、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部１５に通知し、飛行高度制御部１５は、無人飛行体２ａの飛行高度を維持した状態で、ズーム比制御部１７に現時点のカメラ２２ａのズーム比を維持するように指示し、ステップＳ３１１に遷移し、以降の処理を繰り返す（ステップＳ３１８）。
Further, when the area of the current polygon is equal to or larger than the area of the previous polygon, the maximum
上記の処理により、サーバ装置１ａは、無人飛行体２ａに搭載されたカメラ２２ａを用いて撮影された地上ロボットをマーカーとして認識し、マーカーを頂点とする多角形を形成し、多角形の面積を最大とする映像を撮影できる高度で無人飛行体２ａを飛行させる。これにより、無人飛行体２ａの飛行高度が、搭載されたカメラ２２ａを用いて、画像として注目する領域を撮像するために最適な高度となり、地上のマーカーにより指定された注目領域を適切に撮影することができる。
Through the above processing, the
また、地上の障害物（例えば、工作物、樹木等）により、無人飛行体２ａが上記の処理で決定した最適な高度を維持できない場合も存在する。こういった場合も、本実施の形態では、サーバ装置１ａは、無人飛行体２ａの飛行高度を上昇させ、障害物を回避した後に、カメラ２２ａのレンズのズーム比をテレ側に移行させることができるので、適切な映像を得ることが可能となる。
Further, there may be a case where the
なお、図９及び図１０に示す処理では、飛行高度を調整した後に、ズーム比を変更し、ズーム比の変更で調整不可能となったタイミングで、飛行高度を変更する処理への切替え行っているが、これに限定せず、飛行高度の変更と、ズーム比の変更との両方を用いて、カメラ２２ａによって撮影された多角形の面積が最大となるように無人飛行体２ａを制御できればよく、種々の変更が可能である。この点については、他の実施の形態も同様である。
In the process shown in FIGS. 9 and 10, after adjusting the flight altitude, the zoom ratio is changed, and at the timing when the adjustment becomes impossible due to the change of the zoom ratio, the process is switched to the process of changing the flight altitude. However, the present invention is not limited to this, and it is sufficient that the unmanned
（実施の形態３）
本開示の実施の形態３に係る飛行高度制御システムは、認識対象のマーカーの数を事前にシステムに登録するのでなく、ユーザが、複数の地上ロボットの中からマーカーとして利用する地上ロボットを選択し、選択したマーカーを用いて、ズームレンズ搭載の撮影装置を搭載した無人飛行体の飛行高度を制御するとともに、撮影装置のズーム比を制御する。
(Embodiment 3)
The flight altitude control system according to the third embodiment of the present disclosure does not register the number of markers to be recognized in the system in advance, but the user selects a ground robot to be used as a marker from a plurality of ground robots. Using the selected marker, the flight altitude of an unmanned air vehicle equipped with a photographing device equipped with a zoom lens is controlled, and the zoom ratio of the photographing device is controlled.
図１１は、本開示の実施の形態３における飛行高度制御システムの構成の一例を示すブロック図である。なお、図１１において、図８と同じ構成要素については、同じ符号を用い、詳細な説明を省略する。 FIG. 11 is a block diagram illustrating an example of a configuration of a flight altitude control system according to the third embodiment of the present disclosure. In FIG. 11, the same components as those in FIG. 8 are denoted by the same reference numerals, and detailed description thereof is omitted.
図１１において、本実施の形態の飛行高度制御システムは、サーバ装置１ｂと、無人飛行体２ａと、マーカー入力装置３とを備える。サーバ装置１ｂは、通信部１１、マーカー認識部１２、面積計算部１３、最大値検知部１４、飛行高度制御部１５、ズーム比制御部１７、及びマーカー選択部１８を備える。無人飛行体２ａは、通信部２１、カメラ２２ａ、飛行制御部２３、駆動部２４及びカメラ制御部２７を備え、図８に示す無人飛行体２ａと同様に構成されている。マーカー入力装置３は、通信部３１、入力部３２、及び表示部３３を備える。
11, the flight altitude control system of the present embodiment includes a
本実施の形態では、地上に展開する地上ロボットの数を、事前にシステムに登録しておらず、サーバ装置１ｂは、図８に示すマーカー数記憶部１６に代えて、マーカー選択部１８を備えている。
In the present embodiment, the number of ground robots deployed on the ground is not registered in the system in advance, and the
マーカー入力装置３の通信部３１は、ネットワークＮＷ（図示省略）を介して、サーバ装置１ｂの通信部１１との間の通信を行い、マーカー認識部１２が受信したカメラ２２ａの撮影映像及びマーカー認識部１２が認識したマーカーの位置等の情報を通信部１１から受信し、表示部３３に出力する。表示部３３は、カメラ２２ａが撮影した映像に、マーカー認識部１２が認識した複数のマーカー（複数の地上ロボット）の位置を示す複数の候補マーカーを重畳して入力画面を表示する。入力部３２は、ユーザの操作入力を取得し、例えば、表示部３３のスクリーン（表示画面）上に形成されたタッチセンサから構成される。
The
ユーザは、表示部３３の入力画面に表示される複数の候補マーカーの中から、入力部３２を用いて所望の候補マーカーを選択することにより、複数の地上ロボットの中からカメラ２２ａで撮影したい複数の地上ロボットを選択する。このとき、入力部３２は、通信部３１を介して、ユーザが選択した複数の候補マーカーを認識対象マーカーとして通信部１１に送信する。
The user selects a desired candidate marker from among a plurality of candidate markers displayed on the input screen of the
なお、マーカー入力装置３の構成は、上記の例に特に限定されず、無線又は光通信等で接続された無人飛行体の外部の制御装置、例えば、プロポ等のコントローラが、マーカー入力装置３としても機能するようにしてもよい。
Note that the configuration of the
図１２は、図１１に示す表示部３３に表示される入力画面の一例を示す図である。図１２に示すように、入力画面ＩＳには、例えば、撮影された映像に重畳して５個のロボットの位置を示す５個の候補マーカーＭ１〜Ｍ５が表示される。ユーザは、表示されている５個の候補マーカーＭ１〜Ｍ５の中から認識対象マーカーとして利用する地上ロボットを選択する。図１２に示す例では、ユーザが選択した４個の候補マーカーＭ１〜Ｍ４は、黒丸で表示され、ユーザが選択していない候補マーカーＭ５は、白丸で表示される。このように、カメラ２２ａが撮影した画像をタッチセンサ付きのスクリーンで表示し、表示されている画面上で、ユーザが注目する地上ロボットを認識対象マーカーとして指定するという簡便な操作により、所望の地上ロボットを認識対象マーカーとして選択することができる。
FIG. 12 is a diagram illustrating an example of an input screen displayed on the
再び、図１１を参照して、サーバ装置１ｂのマーカー選択部１８は、通信部１１を介して、マーカー入力装置３から送信された複数の認識対象マーカーを受信し、３つ以上の認識対象マーカーの情報を登録マーカーの情報として記憶する。
Referring to FIG. 11 again, the
図１３は、図１１に示すマーカー選択部１８が保持するデータの一例を示す図である。図１３に示すように、マーカー選択部１８は、ユーザがマーカー入力装置３を用いて選択した複数の認識対象マーカーを登録マーカーとして記憶し、各認識対象マーカーのマーカーＩＤ（識別情報）と、位置情報である座標（Ｘ、Ｙ）、例えば、緯度及び経度の情報とを対応付けて記憶している。
FIG. 13 is a diagram illustrating an example of data held by the
具体的は、マーカー認識部１２は、マーカーを認識したときに、予め記憶している地図データを用いて、各マーカーのマーカーＩＤ及び位置情報を決定し、このマーカーＩＤ及び位置情報をマーカー入力装置３に送信し、入力部３２は、ユーザが選択した認識対象マーカーのマーカーＩＤ及び位置情報をマーカー選択部１８に送信し、マーカー選択部１８は、送信されたマーカーＩＤ及び位置情報を記憶する。
Specifically, when the
なお、位置情報の取得方法は、上記の例に特に限定されず、例えば、ＧＰＳ（ＧＬＯＢＡＬ ＰＯＳＩＴＩＯＮＩＮＧ ＳＹＳＴＥＭ）またはＧＬＯＮＡＳＳ（ＧＬＯＢＡＬ ＮＡＶＩＧＡＴＩＯＮ ＳＡＴＥＬＬＩＴＥ ＳＹＳＴＥＭ）などのポジショニングシステムを用いて、無人飛行体２ａが自位置を取得してサーバ装置１ｂ又はマーカー入力装置３に送信し、無人飛行体２ａの自位置を基に各地上ロボットの位置を決定したり、又は、地上ロボットが自位置を取得してサーバ装置１ｂ又はマーカー入力装置３に送信したりしてもよい。また、マーカー選択部１８が保持するデータとしては、上記の例に特に限定されず、図４と同様に、認識対象マーカーの数を登録マーカーの数として記憶してもよい。
In addition, the acquisition method of position information is not particularly limited to the above example. For example, the unmanned
再び、図１１を参照して、マーカー認識部１２は、通信部２１を介して、カメラ２２ａが撮影した映像を取得し、カメラ２２ａにより撮影された地上ロボットの中から、マーカー選択部１８に記憶されている認識対象マーカーに対応する地上ロボットをマーカーとして認識する。マーカー認識部１２は、認識した複数のマーカーの個数と、マーカー選択部１８に記憶されている認識対象マーカーの個数とを比較し、比較結果を飛行高度制御部１５に出力するとともに、カメラ２２ａにより撮影された映像と比較結果とを面積計算部１３に出力する。ここで、マーカー認識部１２は、認識した複数のマーカーの個数と、マーカー選択部１８に記憶されている認識対象マーカーの個数とを比較するだけでなく、各マーカーの位置情報も比較するようにしてもよい。
Referring to FIG. 11 again, the
面積計算部１３は、マーカー認識部１２により認識されたマーカーの個数がマーカー選択部１８に記憶されている認識対象マーカーの個数と一致する場合、カメラ２２ａにより撮影された映像を用いて、マーカー選択部１８に記憶されている認識対象マーカーにより形成される多角形の面積を算出し、算出した多角形の面積を最大値検知部１４に出力する。
When the number of markers recognized by the
最大値検知部１４、飛行高度制御部１５及びズーム比制御部１７は、図８に示す最大値検知部１４、飛行高度制御部１５及びズーム比制御部１７と同様に構成され、同様に動作する。
The maximum
上記の構成により、無人飛行体２ａは、飛行している位置の下方の映像を常にカメラ２２ａで撮影している。無人飛行体２ａの飛行高度と、カメラ２２ａに搭載されているズームレンズのズーム比とに応じて、無人飛行体２ａのカメラ２２ａが撮影する領域が変化する。つまり、無人飛行体２ａがズームレンズをテレ（望遠）側からワイド（広角）側にズームアウトさせていくと、撮影される領域が広がる。また、無人飛行体２ａがズームレンズをワイド（広角）側からテレ（望遠）側にズームインさせていくと、撮影される領域が狭くなる。
With the above configuration, the unmanned
本実施の形態でも、初期状態として、カメラ２２ａのズーム比をワイド側の最大値（ワイド端）、すなわち、一番大きな画角で最も多くの物体を撮影できる状態にしておく。無人飛行体２ａの下方には、マーカーとなる複数の地上ロボットが展開されており、カメラ２２ａがこれらの映像を撮影することによって、地上ロボットの位置を頂点とする多角形を生成する。この状況は、図５及び図６で説明した状況と同様である。
Also in the present embodiment, as an initial state, the zoom ratio of the
ここで、本実施の形態において、無人飛行体２ａの飛行高度が低ければ、カメラ２２ａにおいて撮像される映像に、マーカー選択部１８に記憶されている全ての認識対象マーカー（全ての登録マーカー）が映っておらず、全ての登録マーカーを認識することができないことが想定される。
Here, in the present embodiment, if the flying altitude of the
このため、サーバ装置１ｂは、初期状態としては、全ての登録マーカーが認識されるまで、無人飛行体飛行高度を上昇させる。無人飛行体２ａが単調に飛行高度を上昇させていく過程で、カメラ２２ａは、マーカーである地上ロボット（以下、「マーカー」とも称する）を撮影し始める。カメラ２２ａがマーカーを捉えると、マーカー認識部１２は、地上ロボットをマーカーとして認識する。
For this reason, the
このとき、マーカー認識部１２は、認識したマーカーを候補マーカーとし、候補マーカーを重畳してカメラ２２ａの映像をマーカー入力装置３に送信し、ユーザは、マーカー入力装置３を用いて、撮影された映像に重畳して表示された複数の候補マーカー（地上ロボット）の中から、利用する候補マーカー（地上ロボット）を選択する。
At this time, the
候補マーカーが選択されると、マーカー入力装置３は、選択された候補マーカーを認識対象マーカーとしてサーバ装置１ｂに送信し、面積計算部１３は、認識対象マーカー（登録マーカー）が形成する多角形の面積を算出する。
When a candidate marker is selected, the
これ以降は、多角形の面積は、無人飛行体２ａの飛行高度と関連し、無人飛行体２ａの飛行高度を高くすると、多角形の面積は減少する。一方、無人飛行体２ａの飛行高度を低くすると、多角形の面積は増大していき、やがて、マーカーがカメラ２２ａの画角の外側に出るため、認識対象マーカー（登録マーカー）を頂点とする多角形を検知できない状態となる。
Thereafter, the polygonal area is related to the flight altitude of the
また、多角形の面積は、カメラ２２ａのズームレンズのズーム比と関連し、ズームアウト（テレ側からワイド側への移行）すると、多角形の面積は減少する。一方、ズームイン（ワイド側からテレ側への移行）すると、多角形の面積は増大し、認識対象マーカー（登録マーカー）を頂点とする多角形を検知できない状態となる可能性がある。
Further, the area of the polygon is related to the zoom ratio of the zoom lens of the
このとき、飛行高度制御部１５は、無人飛行体２ａの飛行高度を変化させ、最大値検知部１４の比較結果を基に、カメラ２２ａによって撮影された多角形の面積が最大となるように無人飛行体２ａの飛行高度を定める。
At this time, the flight
この場合も、マーカーである地上ロボットは、常に移動をしているので、多角形の面積は、時々刻々変化する。最大値検知部１４は、この変化する多角形の面積を高度維持時面積として順次計算し、ズーム比制御部１７は、マーカーの描く多角形の面積（高度維持時面積）が最大になるようにカメラ２２ａのズーム比を制御する。また、マーカーが連続して移動する際には、無人飛行体２ａがマーカー選択部１８に記憶されている認識対象マーカー（登録マーカー）を自動追尾するように構成してもよい。
Also in this case, since the ground robot as the marker is constantly moving, the area of the polygon changes from moment to moment. The maximum
次に、図１１に示すサーバ装置１ｂの飛行高度制御処理について、図１４及び図１５のフローチャートを使って説明する。図１４及び図１５は、図１１に示すサーバ装置１ｂの飛行高度制御処理の一例を示す第１及び第２のフローチャートである。ここでは、無人飛行体２ａをユーザのマニュアル操作で上昇させた後、多角形の頂点をなす認識対象マーカー（登録マーカー）がマーカー選択部１８に記憶済みであるものとする。
Next, the flight altitude control process of the
図１４において、まず、サーバ装置１ｂは、飛行高度制御処理を開始する（ステップＳ６０１）。次に、ステップＳ６０２において、マーカー認識部１２は、カメラ２２ａが撮影した映像を取得して、マーカーを認識する。
In FIG. 14, first, the
次に、ステップＳ６０３において、マーカー認識部１２は、マーカー選択部１８に記憶されている全ての登録マーカーを認識したか否かを確認する。認識したマーカーに不足がある場合、ステップＳ６０７に遷移し、マーカー認識部１２は、全ての登録マーカーを認識していないことを飛行高度制御部１５に通知し、飛行高度制御部１５に無人飛行体の高度を上昇させるよう指示する。飛行高度制御部１５は、指示に従って無人飛行体２ａの飛行高度を制御する。
Next, in step S <b> 603, the
一方、全ての登録マーカーを認識した場合、登録マーカーにより形成される多角形の面積を計算するステップＳ６０４に遷移する。ステップＳ６０４では、面積計算部１３が、カメラ２２ａにより撮影された映像を用いて、登録マーカーの位置を検出し、検出した登録マーカーを頂点とした多角形の面積を求める。
On the other hand, when all the registered markers are recognized, the process proceeds to step S604 in which the area of the polygon formed by the registered markers is calculated. In step S604, the
続いて、ステップＳ６０５では、最大値検知部１４は、前回計算された多角形の面積を記憶しており、前回の多角形の面積と、ステップＳ６０４で計算された今回の多角形の面積を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップＳ６０６に遷移し、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部１５に通知し、飛行高度制御部１５に無人飛行体２ａの高度を下げるよう指示する。飛行高度制御部１５は、指示に従って、無人飛行体２ａの飛行高度を制御する。
Subsequently, in step S605, the maximum
一方、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部１５に通知し、飛行高度制御部１５は、その高度を維持したまま、図１５に示すステップＳ６１１に遷移する（ステップＳ６０８）。
On the other hand, when the area of the current polygon is equal to or larger than the area of the previous polygon, the maximum
次に、図１５において、サーバ装置１ｂは、ズーム比による調整処理を開始する（ステップＳ６１１）。次に、ステップＳ６１２において、マーカー認識部１２は、カメラ２２ａが撮影した映像を取得して、マーカーを認識する。
Next, in FIG. 15, the
次に、ステップＳ６１３において、マーカー認識部１２は、マーカー選択部１８に記憶されている全ての登録マーカーを認識したか否かを確認する。認識したマーカーに不足がある場合、ステップＳ６１９に遷移し、マーカー認識部１２は、全ての登録マーカーを認識していないことを飛行高度制御部１５に通知し、飛行高度制御部１５は、カメラ２２ａがズームアウト可能か否かを判断する。
Next, in step S613, the
ズームアウト可能と判断した場合、飛行高度制御部１５は、ズーム比制御部１７にズームアウトを指示する。次に、ステップＳ６２０において、ズーム比制御部１７は、カメラ２２ａのレンズをズームアウトするようにカメラ制御部２７に指示し、カメラ制御部２７は、カメラ２２ａのレンズをズームアウトする。その後、ステップＳ６１２に遷移し、以降の処理を継続する。
When it is determined that zooming out is possible, the flight
一方、ステップＳ６１９で、飛行高度制御部１５がズームアウト不可と判断した場合、図１４に示すステップＳ６０７に遷移し、飛行高度制御部１５による無人飛行体２ａの飛行高度を変更する処理に切替える。
On the other hand, if the flight
また、ステップＳ６１３で、全ての登録マーカーを認識した場合、マーカーにより形成される多角形の面積を計算するステップＳ６１４に遷移する。ステップＳ６１４では、面積計算部１３は、カメラ２２ａにより撮影された映像を用いて、登録マーカーの位置を検出し、検出した登録マーカーを頂点とした多角形の面積を高度維持時面積として求める。
If all registered markers are recognized in step S613, the process proceeds to step S614 in which the area of a polygon formed by the markers is calculated. In step S614, the
続いて、ステップＳ６１５では、最大値検知部１４は、前回計算した多角形の面積を記憶しており、前回の多角形の面積（前回計算した高度維持時面積）と、ステップＳ６１４で計算された今回の多角形の面積（高度維持時面積）を比較する。今回の多角形の面積が前回の多角形の面積よりも小さい場合、ステップＳ６１６に遷移し、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積よりも小さいことを飛行高度制御部１５に通知し、飛行高度制御部１５は、カメラ２２ａがズームイン可能か否かを判断する。
Subsequently, in step S615, the maximum
ズームイン可能と判断した場合、飛行高度制御部１５は、ズーム比制御部１７にズームインを指示する。次に、ステップＳ６１７において、ズーム比制御部１７は、カメラ２２ａのレンズをズームインするようにカメラ制御部２７に指示し、カメラ制御部２７は、カメラ２２ａのレンズをズームインする。その後、ステップＳ６１２に遷移し、以降の処理を継続する。
When it is determined that zooming in is possible, the flight
一方、ステップＳ６１６で、飛行高度制御部１５がズームイン不可と判断した場合、図１４に示すステップＳ６０６に遷移し、飛行高度制御部１５による無人飛行体２ａの飛行高度を変更する処理に切替える。
On the other hand, if the flight
また、今回の多角形の面積が前回の多角形の面積以上である場合、最大値検知部１４は、今回の多角形の面積が前回の多角形の面積以上であることを飛行高度制御部１５に通知し、飛行高度制御部１５は、無人飛行体２ａの飛行高度を維持した状態で、ズーム比制御部１７に現時点のカメラ２２ａのズーム比を維持するように指示し、無人飛行体２ａの飛行高度と、現時点のカメラ２２ａのズーム比とを維持したまま、ステップＳ６１１に遷移し、以降の処理を繰り返す（ステップＳ６１８）。
Further, when the area of the current polygon is equal to or larger than the area of the previous polygon, the maximum
上記の処理により、サーバ装置１ｂは、無人飛行体２ａに搭載されたカメラ２２ａを用いて撮影された地上ロボットのうち、ユーザによって選択された地上ロボットをマーカーとして認識し、マーカーを頂点とする多角形を形成し、多角形の面積を最大とする映像を撮影できる高度で無人飛行体２ａを飛行させる。これにより、無人飛行体２ａの飛行高度が、搭載されたカメラ２２ａを用いて、画像として注目する領域を撮像するために最適な高度となり、ユーザによって選択された地上ロボットにより指定された注目領域を適切に撮影することができる。
Through the above processing, the
また、地上の障害物（例えば、工作物、樹木等）により、無人飛行体２ａが上記の処理で決定した最適な高度を維持できない場合も存在する。こういった場合も、本実施の形態では、サーバ装置１ｂは、無人飛行体２ａの飛行高度を上昇させ、障害物を回避した後に、カメラ２２ａのレンズのズーム比をテレ側に移行させることができるので、ユーザによって選択された地上ロボットにより指定された注目領域を適切に撮影することができる。
Further, there may be a case where the
本開示に係る飛行高度制御装置等は、災害時など被災地における活動を行うために地上展開したロボット又は人間等が活動する際に、空中に無人飛行体を飛行させ、無人飛行体から適切な被災地の情報を撮影し、関係者との情報共有を行うために、無人飛行体の飛行高度を適切に制御することが可能になり、また、セキュリティ等の監視用途や、ダム、橋脚などの保守用途にも応用できるので、地上を撮影する撮影装置を搭載した無人飛行体の飛行高度を制御する飛行高度制御装置等において有用である。 The flight altitude control device or the like according to the present disclosure causes an unmanned air vehicle to fly in the air when a robot or a human being deployed on the ground in order to perform activities in a disaster area such as a disaster. It is possible to appropriately control the flight altitude of unmanned air vehicles in order to capture information on disaster areas and share information with related parties, and for monitoring purposes such as security, dams, piers, etc. Since it can also be applied to maintenance applications, it is useful in a flight altitude control device that controls the flight altitude of an unmanned air vehicle equipped with an imaging device that photographs the ground.
１、１ａ、１ｂ サーバ装置
２、２ａ 無人飛行体
３ マーカー入力装置
１１ 通信部
１２ マーカー認識部
１３ 面積計算部
１４ 最大値検知部
１５ 飛行高度制御部
１６ マーカー数記憶部
１７ ズーム比制御部
１８ マーカー選択部
２１ 通信部
２２、２２ａ カメラ
２３ 飛行制御部
２４ 駆動部
２５ 本体
２６ 支持部
２７ カメラ制御部
３１ 通信部
３２ 入力部
３３ 表示部
４１ ランプ
DESCRIPTION OF
Claims (12)
前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識する認識部と、
前記複数のマーカーにより形成される多角形の面積を算出する算出部と、
前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する制御部とを備える、
飛行高度制御装置。 A flight altitude control device for controlling the flight altitude of an unmanned air vehicle equipped with a photographing device for photographing the ground,
Recognizing unit for recognizing a plurality of objects located on the ground as a plurality of markers from an image captured by the imaging device
A calculation unit for calculating an area of a polygon formed by the plurality of markers;
A control unit that controls the flight altitude of the unmanned air vehicle so that the area of the polygon is maximized,
Flight altitude control device.
前記認識部は、前記複数のマーカーの個数と前記登録マーカー数とを比較し、
前記制御部は、前記複数のマーカーの個数が前記登録マーカー数より少ない場合、前記無人飛行体の飛行高度を上昇する制御を行い、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積より小さい場合、前記無人飛行体の飛行高度を下降する制御を行う、
請求項１記載の飛行高度制御装置。 A storage unit for storing the number of markers to be recognized by the recognition unit as a registered marker number;
The recognition unit compares the number of the plurality of markers with the number of registered markers,
The control unit performs control to increase a flight altitude of the unmanned air vehicle when the number of the plurality of markers is smaller than the number of the registered markers, the number of the plurality of markers matches the number of the registered markers, and When the area of the polygon is smaller than the area of the polygon calculated previously, control is performed to lower the flight altitude of the unmanned air vehicle.
The flight altitude control apparatus according to claim 1.
前記制御部は、前記複数のマーカーの個数が前記登録マーカー数と一致し、且つ、前記多角形の面積が前回算出した多角形の面積以上である場合、前記無人飛行体の飛行高度を現在の飛行高度に維持する制御を行い、
前記認識部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で前記撮影装置が撮影した映像から、前記複数の物体を前記複数のマーカーとして認識し、
前記算出部は、前記無人飛行体の飛行高度を現在の飛行高度に維持した状態で認識された前記複数のマーカーにより形成される多角形の面積を高度維持時面積として算出し、
前記制御部は、前記高度維持時面積が最大になるように、前記ズーム撮影装置のズーム比を制御する、
請求項２記載の飛行高度制御装置。 The photographing device includes a zoom photographing device capable of zooming,
The control unit determines the flight altitude of the unmanned air vehicle when the number of the plurality of markers matches the number of registered markers and the polygon area is equal to or greater than the polygon area calculated previously. Control to maintain the flight altitude,
The recognizing unit recognizes the plurality of objects as the plurality of markers from an image captured by the imaging device in a state in which a flight altitude of the unmanned air vehicle is maintained at a current flight altitude,
The calculation unit calculates an area of a polygon formed by the plurality of markers recognized in a state in which a flight altitude of the unmanned air vehicle is maintained at a current flight altitude as an altitude maintaining area,
The control unit controls a zoom ratio of the zoom photographing device so that the area during altitude maintenance is maximized.
The flight altitude control device according to claim 2.
請求項３記載の飛行高度制御装置。 When the number of the plurality of markers recognized in a state where the flight altitude of the unmanned air vehicle is maintained at the current flight altitude is smaller than the number of registered markers, the control unit is configured to zoom out the zoom photographing device. Controlling the zoom photographing device;
The flight altitude control device according to claim 3.
請求項４記載の飛行高度制御装置。 The control unit performs control to maintain the current zoom ratio of the zoom imaging device when the zoom imaging device cannot zoom out, and performs control to increase the flight altitude of the unmanned air vehicle.
The flight altitude control device according to claim 4.
請求項３記載の飛行高度制御装置。 The control unit is configured such that the number of the plurality of markers recognized in a state where the flight altitude of the unmanned air vehicle is maintained at the current flight altitude matches the number of registered markers, and the altitude maintaining area is calculated last time. The zoom photographing device is controlled so that the zoom photographing device zooms in when smaller than the altitude maintenance area,
The flight altitude control device according to claim 3.
請求項６記載の飛行高度制御装置。 The control unit performs control to maintain the current zoom ratio of the zoom imaging device when the zoom imaging device cannot zoom in, and performs control to lower the flight altitude of the unmanned air vehicle.
The flight altitude control device according to claim 6.
前記認識部は、前記撮影装置が撮影した映像から、前記複数の認識対象マーカーを前記複数のマーカーとして認識し、
前記算出部は、前記複数の認識対象マーカーにより形成される多角形の面積を算出する、
請求項１〜７のいずれかに記載の飛行高度制御装置。 An acquisition unit for acquiring a plurality of objects selected by the user from the plurality of objects as a plurality of recognition target markers;
The recognizing unit recognizes the plurality of recognition target markers as the plurality of markers from the video imaged by the imaging device;
The calculating unit calculates an area of a polygon formed by the plurality of recognition target markers;
The flight altitude control device according to any one of claims 1 to 7.
請求項８記載の飛行高度制御装置。 The acquisition unit acquires, as the plurality of recognition target markers, a plurality of markers selected by a user from the plurality of markers displayed in a superimposed manner on an image captured by the imaging device.
The flight altitude control device according to claim 8.
請求項１〜９のいずれかに記載の飛行高度制御装置とを備える、
無人飛行体。 A photographing device for photographing the ground;
The flight altitude control device according to any one of claims 1 to 9,
Unmanned air vehicle.
前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、
前記複数のマーカーにより形成される多角形の面積を算出し、
前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する、
飛行高度制御方法。 A flight altitude control method for controlling the flight altitude of an unmanned air vehicle equipped with a photographing device for photographing the ground,
Recognizing a plurality of objects located on the ground as a plurality of markers from the video captured by the imaging device,
Calculate the area of the polygon formed by the plurality of markers,
Controlling the flight altitude of the unmanned air vehicle so that the area of the polygon is maximized;
Flight altitude control method.
前記コンピュータに、
前記撮影装置が撮影した映像から、地上に位置する複数の物体を複数のマーカーとして認識し、
前記複数のマーカーにより形成される多角形の面積を算出し、
前記多角形の面積が最大になるように、前記無人飛行体の飛行高度を制御する、
処理を実行させる飛行高度制御プログラム。 A flight altitude control program for causing a computer to function as a flight altitude control device for controlling the flight altitude of an unmanned air vehicle equipped with an imaging device for photographing the ground,
In the computer,
Recognizing a plurality of objects located on the ground as a plurality of markers from the video captured by the imaging device,
Calculate the area of the polygon formed by the plurality of markers,
Controlling the flight altitude of the unmanned air vehicle so that the area of the polygon is maximized;
Flight altitude control program that executes processing.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611064382.XA CN107065894B (en) | 2016-01-28 | 2016-11-28 | Unmanned aerial vehicle, flying height control device, method, and computer-readable recording medium |
| US15/387,576 US10029790B2 (en) | 2016-01-28 | 2016-12-21 | Device that controls flight altitude of unmanned aerial vehicle |
| US16/013,187 US10322804B2 (en) | 2016-01-28 | 2018-06-20 | Device that controls flight altitude of unmanned aerial vehicle |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016014124 | 2016-01-28 | ||
| JP2016014124 | 2016-01-28 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020141979A Division JP2020194590A (en) | 2016-01-28 | 2020-08-25 | Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017138947A true JP2017138947A (en) | 2017-08-10 |
| JP6755755B2 JP6755755B2 (en) | 2020-09-16 |
Family
ID=59566470
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016175206A Active JP6755755B2 (en) | 2016-01-28 | 2016-09-08 | Flight altitude controller, unmanned aerial vehicle, flight altitude control method and flight altitude control program |
| JP2020141979A Pending JP2020194590A (en) | 2016-01-28 | 2020-08-25 | Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020141979A Pending JP2020194590A (en) | 2016-01-28 | 2020-08-25 | Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP6755755B2 (en) |
| CN (1) | CN107065894B (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101988212B1 (en) * | 2018-04-05 | 2019-06-12 | 주식회사 드로미 | Surveying system using unmanned aerial vehicle and method using the same |
| JP2020194590A (en) * | 2016-01-28 | 2020-12-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program |
| WO2020246261A1 (en) * | 2019-06-05 | 2020-12-10 | ソニー株式会社 | Mobile body, position estimation method, and program |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107592506B (en) * | 2017-09-26 | 2020-06-30 | 英华达（上海）科技有限公司 | Monitoring method, monitoring device and monitoring system |
| JP6565071B2 (en) | 2017-10-26 | 2019-08-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Control device, imaging device, flying object, control method, and program |
| CN109341543A (en) * | 2018-11-13 | 2019-02-15 | 厦门市汉飞鹰航空科技有限公司 | A kind of height calculation method of view-based access control model image |
| CN110568857A (en) * | 2019-08-15 | 2019-12-13 | 深圳市道通智能航空技术有限公司 | unmanned aerial vehicle flight control method and unmanned aerial vehicle |
| CN111367302B (en) * | 2020-03-03 | 2023-03-21 | 大连海洋大学 | Unmanned aerial vehicle self-adaptive height-fixing method for offshore cage culture inspection |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63135796A (en) * | 1986-11-26 | 1988-06-08 | 三菱電機株式会社 | Picture tracking device |
| JP2008267872A (en) * | 2007-04-17 | 2008-11-06 | Toshiba Corp | Image guide device |
| JP2009173263A (en) * | 2008-01-23 | 2009-08-06 | Honeywell Internatl Inc | Method and system for autonomous tracking of mobile target by unmanned aerial vehicle (uav) |
| JP2012140101A (en) * | 2011-01-04 | 2012-07-26 | Topcon Corp | Flight control system for flying object |
| JP2014149621A (en) * | 2013-01-31 | 2014-08-21 | Secom Co Ltd | Autonomous flying robot |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2755684B2 (en) * | 1989-05-20 | 1998-05-20 | 工業技術院長 | Spacecraft remote control device |
| JP2005020205A (en) * | 2003-06-24 | 2005-01-20 | Casio Comput Co Ltd | Picture photographing device |
| JP2006027331A (en) * | 2004-07-13 | 2006-02-02 | Hiroboo Kk | Method for collecting aerial image information by utilizing unmanned flying object |
| US20110169943A1 (en) * | 2007-02-06 | 2011-07-14 | Aai Corporation | Utilizing Polarization Differencing Method For Detect, Sense And Avoid Systems |
| WO2009036371A1 (en) * | 2007-09-14 | 2009-03-19 | Panasonic Avionics Corporation | Media device interface system and method for vehicle information systems |
| FR2963118B1 (en) * | 2010-07-20 | 2013-08-30 | Airbus Operations Sas | METHOD AND DEVICE FOR DETERMINING AND UPDATING TARGET ALTITUDE FOR EMERGENCY DESCENT OF AN AIRCRAFT |
| KR101251184B1 (en) * | 2010-08-05 | 2013-04-08 | 서울대학교산학협력단 | Vision tracking system and method using motion commands |
| US9125178B2 (en) * | 2011-10-21 | 2015-09-01 | Panasonic Intellectual Property Management Co., Ltd. | Wireless communication system, wireless communication center module, wireless communication method, and method and program for relaying wireless communication |
| CN103455036B (en) * | 2012-06-05 | 2018-04-27 | 国家电网公司 | A kind of scene aerial patrol method and aircraft |
| JP2014011687A (en) * | 2012-06-29 | 2014-01-20 | Sharp Corp | Self-propelled imaging apparatus, control program, and computer-readable recording medium containing control program |
| US9075415B2 (en) * | 2013-03-11 | 2015-07-07 | Airphrame, Inc. | Unmanned aerial vehicle and methods for controlling same |
| JP6259233B2 (en) * | 2013-09-11 | 2018-01-10 | 学校法人常翔学園 | Mobile robot, mobile robot control system, and program |
| US20150134143A1 (en) * | 2013-10-04 | 2015-05-14 | Jim Willenborg | Novel tracking system using unmanned aerial vehicles |
| CN106200681B (en) * | 2014-03-27 | 2020-03-06 | 深圳市大疆创新科技有限公司 | Method and system for assisting take-off of movable object |
| JP6062079B2 (en) * | 2014-05-30 | 2017-01-18 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Controller and method and vehicle for controlling the operation of an unmanned air transport (UAV) |
| EP3169414A4 (en) * | 2014-07-16 | 2018-03-21 | Lahser, Jason | Method and apparatus for predicting likely success of golf swings |
| CN104406574B (en) * | 2014-12-01 | 2016-09-14 | 中国能源建设集团山西省电力勘测设计院有限公司 | The photogrammetric field of unmanned plane is put down high photo control point and is laid target |
| CN104616419B (en) * | 2015-01-18 | 2017-08-25 | 中国林业科学研究院森林生态环境与保护研究所 | A kind of air-ground integrated forest fire ember monitoring method in day |
| CN204405065U (en) * | 2015-03-10 | 2015-06-17 | 无锡桑尼安科技有限公司 | For the unmanned plane checkout equipment of urban road identification |
| JP5819555B1 (en) * | 2015-04-01 | 2015-11-24 | ライトブレインラボ合同会社 | Vehicle driving support system |
| CN104766481A (en) * | 2015-04-29 | 2015-07-08 | 深圳市保千里电子有限公司 | Method and system for unmanned plane to conduct vehicle tracking |
| CN104796672B (en) * | 2015-05-09 | 2018-04-20 | 合肥工业大学 | A kind of unmanned plane is met an urgent need monitoring head device |
| CN204652565U (en) * | 2015-05-20 | 2015-09-16 | 公安部沈阳消防研究所 | A kind of disaster field information collecting device |
| CN105000194A (en) * | 2015-08-13 | 2015-10-28 | 史彩成 | UAV (unmanned aerial vehicle) assisted landing visual guiding method and airborne system based on ground cooperative mark |
| CN105035339B (en) * | 2015-08-14 | 2017-03-29 | 易瓦特科技股份公司 | Zoom-type unmanned plane |
| CN105204520B (en) * | 2015-09-17 | 2018-07-06 | 深圳市十方联智科技有限公司 | A kind of control method of unmanned vehicle |
| CN105227842B (en) * | 2015-10-20 | 2019-03-22 | 杨珊珊 | A kind of the coverage caliberating device and method of equipment of taking photo by plane |
| CN105259916A (en) * | 2015-10-30 | 2016-01-20 | 杨珊珊 | Scheduling apparatus of unmanned aircraft and scheduling method of scheduling apparatus |
| CN105248308A (en) * | 2015-11-18 | 2016-01-20 | 谭圆圆 | Grazing system based on unmanned aerial vehicle and grazing method thereof |
| JP6755755B2 (en) * | 2016-01-28 | 2020-09-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Flight altitude controller, unmanned aerial vehicle, flight altitude control method and flight altitude control program |
-
2016
- 2016-09-08 JP JP2016175206A patent/JP6755755B2/en active Active
- 2016-11-28 CN CN201611064382.XA patent/CN107065894B/en active Active
-
2020
- 2020-08-25 JP JP2020141979A patent/JP2020194590A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63135796A (en) * | 1986-11-26 | 1988-06-08 | 三菱電機株式会社 | Picture tracking device |
| JP2008267872A (en) * | 2007-04-17 | 2008-11-06 | Toshiba Corp | Image guide device |
| JP2009173263A (en) * | 2008-01-23 | 2009-08-06 | Honeywell Internatl Inc | Method and system for autonomous tracking of mobile target by unmanned aerial vehicle (uav) |
| JP2012140101A (en) * | 2011-01-04 | 2012-07-26 | Topcon Corp | Flight control system for flying object |
| JP2014149621A (en) * | 2013-01-31 | 2014-08-21 | Secom Co Ltd | Autonomous flying robot |
Non-Patent Citations (1)
| Title |
|---|
| 森川 泰，佐伯 一夢，新井場 公徳，天野 久徳，松本 治，神村 明哉: "ステレオビジョンによる無人ヘリコプタの位置姿勢計測", ロボティクス・メカトロニクス講演会講演論文集, JPN6020008873, 25 May 2014 (2014-05-25), JP, ISSN: 0004228946 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020194590A (en) * | 2016-01-28 | 2020-12-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program |
| KR101988212B1 (en) * | 2018-04-05 | 2019-06-12 | 주식회사 드로미 | Surveying system using unmanned aerial vehicle and method using the same |
| WO2019194557A1 (en) * | 2018-04-05 | 2019-10-10 | 주식회사 드로미 | Surveying system and method using unmanned aerial vehicles |
| WO2020246261A1 (en) * | 2019-06-05 | 2020-12-10 | ソニー株式会社 | Mobile body, position estimation method, and program |
| JP7468523B2 (en) | 2019-06-05 | 2024-04-16 | ソニーグループ株式会社 | MOBILE BODY, POSITION ESTIMATION METHOD, AND PROGRAM |
| US11989910B2 (en) | 2019-06-05 | 2024-05-21 | Sony Group Corporation | Moving body and position estimation method |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107065894B (en) | 2021-11-26 |
| JP6755755B2 (en) | 2020-09-16 |
| CN107065894A (en) | 2017-08-18 |
| JP2020194590A (en) | 2020-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10322804B2 (en) | Device that controls flight altitude of unmanned aerial vehicle | |
| JP6755755B2 (en) | Flight altitude controller, unmanned aerial vehicle, flight altitude control method and flight altitude control program | |
| JP7122708B2 (en) | Image processing device, monitoring system and image processing method | |
| WO2017163688A1 (en) | Monitoring system and monitoring method | |
| JP2007155699A (en) | Mobile robot positioning system, and method using camera and indicator | |
| CN107205111B (en) | Image pickup apparatus, mobile apparatus, image pickup system, image pickup method, and recording medium | |
| JPWO2018198313A1 (en) | Unmanned aerial vehicle action plan creation system, method and program | |
| WO2019230604A1 (en) | Inspection system | |
| JP6482855B2 (en) | Monitoring system | |
| JP2023100642A (en) | inspection system | |
| US20210352208A1 (en) | Photographing system, photographed-portion setting apparatus, photographing apparatus, and photographing method | |
| US11354897B2 (en) | Output control apparatus for estimating recognition level for a plurality of taget objects, display control system, and output control method for operating output control apparatus | |
| JP7501535B2 (en) | Information processing device, information processing method, and information processing program | |
| JP3919994B2 (en) | Shooting system | |
| JP2017175474A (en) | Monitoring system and monitoring method | |
| WO2020225979A1 (en) | Information processing device, information processing method, program, and information processing system | |
| JP6681101B2 (en) | Inspection system | |
| JP2016118995A (en) | Monitoring system | |
| JP2006051864A (en) | Automatic flight controlling system, and automatic flight controlling method | |
| JP2011053024A (en) | Elevated-road identifying device, method of identifying elevated road, and elevated-road identification program | |
| JP7187998B2 (en) | Inspection system, inspection support method and inspection support program | |
| JP2021113005A (en) | Unmanned aircraft system and flight control method | |
| KR101358064B1 (en) | Method for remote controlling using user image and system of the same | |
| JP2021103410A (en) | Mobile body and imaging system | |
| KR20200124899A (en) | Apparatus and method for checking facility |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200729 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200826 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6755755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |