JP2021092465A

JP2021092465A - System, method and program for correcting estimated location of unmanned aircraft, and storage medium having program stored

Info

Publication number: JP2021092465A
Application number: JP2019223731A
Authority: JP
Inventors: 翔介井上; Shosuke INOUE; ベリストロムニクラス; Bergstroem Niklas; トーマスラービクリストファー; Thomas Raabe Christopher; 秀哉宗; Hideya So; 豊久岸; Toyohisa Kishi
Original assignee: Nippon Telegraph and Telephone West Corp; ACSL Ltd; Japan Infra Waymark Co Ltd
Current assignee: Nippon Telegraph and Telephone West Corp; ACSL Ltd; Japan Infra Waymark Co Ltd
Priority date: 2019-12-11
Filing date: 2019-12-11
Publication date: 2021-06-17
Anticipated expiration: 2039-12-11
Also published as: JP7352908B2

Abstract

To provide a system and method for correcting an estimated location of an unmanned aircraft when performing an autonomous flight by estimating a self location by a Visual SLAM.SOLUTION: An unmanned aircraft is provided with an imaging device capable of photographing upward. The unmanned aircraft extracts a characteristic point from images photographed by the imaging device, and flies as estimating a self location on the basis of the characteristic point. When flying over end parts (way points P1 to P12) of a plurality of traverse routes T1 to T7 traversing a bridge 3 as photographing the bridge from a lower part of the bridge on the basis of a flight schedule route RT formed by mutually interlocking via joint routes J1 to J6 extending along a side edge 31 of the bridge, a system is configured to correct an estimated location of the unmanned aircraft.SELECTED DRAWING: Figure 5

Description

本発明は、無人航空機の推定位置を修正するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体に関する。 The present invention relates to a system, method, program for modifying the estimated position of an unmanned aerial vehicle and a storage medium storing the program.

近時ドローンによる建築構造物の点検が試みられている。ドローンは、ＧＰＳの衛星測位情報を利用して自己位置を推定し、飛行計画経路に沿って自律飛行することができるが、橋梁の下や建築構造物の周囲などでは、ＧＰＳによって正確な位置情報を得ることが難しい。そのため、そのような環境においては、ＶｉｓｕａｌＳＬＡＭによる自己位置推定をＧＰＳによる自己位置推定の代替とする技術が提案されている（下記非特許文献１）。ここで、ＶｉｓｕａｌＳＬＡＭとは、連続して撮影された画像の複数のフレーム間で複数の特徴点を追跡することにより自己位置とマップの推定を並行して行う技術である。 Recently, drone inspections of building structures have been attempted. Drones can estimate their own position using GPS satellite positioning information and fly autonomously along the flight plan route, but under bridges and around building structures, GPS can provide accurate position information. Is difficult to obtain. Therefore, in such an environment, a technique has been proposed in which self-position estimation by Visual SLAM is an alternative to self-position estimation by GPS (Non-Patent Document 1 below). Here, Visual SLAM is a technique for estimating the self-position and the map in parallel by tracking a plurality of feature points between a plurality of frames of continuously captured images.

野波健蔵、「ドローン産業応用のすべて」、オーム社、平成30年2月、p.73-79Kenzo Nonami, "All about Drone Industry Applications", Ohmsha, February 2018, p.73-79

しかしながら、ＶｉｓｕａｌＳＬＡＭによる自己位置推定においては、飛行距離が大きくなるにつれて誤差が累積するため、実際の飛行経路が、飛行計画経路とずれてきてしまう。 However, in the self-position estimation by Visual SLAM, the error accumulates as the flight distance increases, so that the actual flight path deviates from the flight plan path.

そこで、本発明は、無人航空機がＶｉｓｕａｌＳＬＡＭによる自己位置推定により自律飛行を行う場合に、無人航空機の推定位置を修正するためのシステム及び方法を提供することを目的の１つとする。 Therefore, one of the objects of the present invention is to provide a system and a method for correcting the estimated position of the unmanned aerial vehicle when the unmanned aerial vehicle performs autonomous flight by self-position estimation by Visual SLAM.

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステムを提供するものである。 One aspect of the present invention is an unmanned aerial vehicle equipped with an image pickup device capable of capturing an image above, extracting feature points from an image acquired by the image pickup device, and flying while estimating a self-position based on the feature points. Based on a flight plan path formed by connecting the ends of a plurality of crossing paths crossing the bridge to each other via a connecting path extending along the side end of the bridge, the bridge is connected from below the bridge. A system that corrects the estimated position of the unmanned aerial vehicle when flying while imaging, the connecting path having a first end and a second end in the order of flight of the unmanned aerial vehicle. In the planned route, the first end is set as a waypoint, and while the unmanned aerial vehicle is flying on the crossing route, the estimated position of the unmanned aerial vehicle estimated by the self-position estimation becomes the waypoint. When it is detected in the image that the region where the feature points are distributed is biased to the side opposite to the traveling direction of the unmanned aerial vehicle by a first predetermined degree or more before reaching. , The system provides a system for correcting the estimated position of the unmanned aerial vehicle so that the estimated position of the unmanned aerial vehicle at that time corresponds to the way point.

前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することは、前記特徴点が分布する領域の第１の代表点が、前記画像中の前記無人航空機の進行方向とは反対側の第１の領域に入ったことであるものとすることができる。 Corresponding to the fact that the region where the feature points are distributed is biased to the side opposite to the traveling direction of the unmanned aerial vehicle by a first predetermined degree or more in the image is the region where the feature points are distributed. It can be assumed that the first representative point of the above is that it has entered the first region on the side opposite to the traveling direction of the unmanned aerial vehicle in the image.

前記特徴点が分布する領域の第１の代表点は、抽出された前記特徴点のうちの最も前記無人航空機の進行方向側の点であるものとすることができる。 The first representative point of the region where the feature points are distributed can be the most extracted point on the traveling direction side of the unmanned aerial vehicle.

前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、第１の閾値以下であるものとすることができる。 Corresponding to the fact that the region where the feature points are distributed is biased to the side opposite to the traveling direction of the unmanned aerial vehicle by a first predetermined degree or more in the image is the region where the feature points are distributed. The parameter for the area of can be less than or equal to the first threshold.

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステムを提供するものである。 One aspect of the present invention is an unmanned aircraft equipped with an image pickup device capable of capturing an image above, extracting feature points from an image acquired by the image pickup device, and flying while estimating a self-position based on the feature points. Based on a flight plan route formed by connecting the ends of a plurality of crossing paths across the bridge to each other via a connecting path extending along the side end of the bridge, the bridge is connected from below the bridge. A system that corrects the estimated position of the unmanned aircraft when flying while imaging, the connecting path having a first end and a second end in the order of flight of the unmanned aircraft, said flight. In the planned route, the first end is set as a waypoint, and while the unmanned aircraft is flying on the crossing route, the estimated position of the unmanned aircraft estimated by the self-position estimation becomes the waypoint. When it is detected that the region where the feature points are distributed is biased toward the traveling direction side of the unmanned aircraft by a second predetermined degree or more when it is reached, the unmanned aircraft is detected. It corresponds to the fact that the region where the feature points are distributed no longer exists biased toward the traveling direction side of the unmanned aircraft by a second predetermined degree or more in the image by advancing the aircraft as it is in the traveling direction. When detected, the system provides a system for correcting the estimated position of the unmanned aircraft so that the estimated position of the unmanned aircraft at that time corresponds to the way point.

前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することは、前記特徴点が分布する領域の第２の代表点が、前記画像中の前記無人航空機の進行方向側の第２の領域に位置していたことを検知したことであり、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することは、前記特徴点が分布する領域の第２の代表点が、前記画像中の前記第２の領域から外れたことを検知したことであるものとすることができる。 Corresponding to the fact that the region where the feature points are distributed is biased toward the traveling direction side of the unmanned aerial vehicle by a second predetermined degree or more in the image is the second of the region where the feature points are distributed. Is that the representative point of the above is detected to be located in the second region on the traveling direction side of the unmanned aerial vehicle in the image, and the region in which the feature points are distributed is the second region in the image. Corresponding to the fact that the unmanned aerial vehicle no longer exists biased toward the traveling direction side by a predetermined degree or more, the second representative point of the region where the feature points are distributed is the second region in the image. It can be assumed that it is detected that the image is out of the range.

前記特徴点が分布する領域の第２の代表点は、抽出された前記特徴点のうちの最も前記無人航空機の進行方向側の点であるものとすることができる。 The second representative point of the region where the feature points are distributed can be the most extracted point on the traveling direction side of the unmanned aerial vehicle.

前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、第２の閾値以上であることを検知したことであり、
前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、前記第２の閾値よりも小さくなったことを検知したことであるものとすることができる。 Corresponding to the fact that the region where the feature points are distributed is biased toward the traveling direction side of the unmanned aerial vehicle by a second predetermined degree or more in the image is related to the area of the region where the feature points are distributed. It means that it is detected that the parameter is equal to or higher than the second threshold value.
Corresponding to the fact that the region where the feature points are distributed no longer exists biased toward the traveling direction side of the unmanned aerial vehicle by a second predetermined degree or more in the image is the region where the feature points are distributed. It can be assumed that it is detected that the parameter related to the area becomes smaller than the second threshold value.

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正し、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステム。 One aspect of the present invention is an unmanned aerial vehicle equipped with an image pickup device capable of capturing an image above, extracting feature points from an image acquired by the image pickup device, and flying while estimating a self-position based on the feature points. Based on a flight plan path formed by connecting the ends of a plurality of crossing paths crossing the bridge to each other via a connecting path extending along the side end of the bridge, the bridge is connected from below the bridge. A system that corrects the estimated position of the unmanned aerial vehicle when flying while imaging, the connecting path having a first end and a second end in the order of flight of the unmanned aerial vehicle. In the planned route, the first end is set as a waypoint, and while the unmanned aerial vehicle is flying on the crossing route, the estimated position of the unmanned aerial vehicle estimated by the self-position estimation becomes the waypoint. When it is detected in the image that the region where the feature points are distributed is biased to the side opposite to the traveling direction of the unmanned aerial vehicle by a first predetermined degree or more before reaching. , The estimated position of the unmanned aerial vehicle at that time is modified so that the estimated position of the unmanned aerial vehicle corresponds to the way point, and the estimated position of the unmanned aerial vehicle is estimated by the self-position estimation while the unmanned aerial vehicle is flying in the crossing route. When the estimated position of the unmanned aerial vehicle reaches the way point, the region where the feature points are distributed exists biased toward the traveling direction side of the unmanned aerial vehicle by a second predetermined degree or more in the image. When it is detected that this corresponds to the above, the unmanned aerial vehicle is advanced in the traveling direction as it is, and the region where the feature points are distributed is on the traveling direction side of the unmanned aerial vehicle by a second predetermined degree or more in the image. A system that corrects the estimated position of the unmanned aerial vehicle so that the estimated position of the unmanned aerial vehicle at that time corresponds to the way point when it is detected that it corresponds to the fact that it no longer exists unevenly.

本発明の１つの態様は、前記システムを搭載した無人航空機を提供するものである。 One aspect of the present invention is to provide an unmanned aerial vehicle equipped with the system.

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法を提供するものである。 One aspect of the present invention is an unmanned aircraft equipped with an image pickup device capable of capturing an image above, extracting feature points from an image acquired by the image pickup device, and flying while estimating a self-position based on the feature points. Based on a flight plan route formed by connecting the ends of a plurality of crossing paths across the bridge to each other via a connecting path extending along the side end of the bridge, the bridge is connected from below the bridge. A method of modifying the estimated position of the unmanned aircraft executed by a computer when flying while imaging, wherein the connecting path is a first end, a second end in the order of flight of the unmanned aircraft. In the flight plan route, the first end is set as a waypoint, and the estimated position of the unmanned aircraft estimated by the self-position estimation while the unmanned aircraft is flying on the crossing route. Corresponds to the fact that the region where the feature points are distributed is biased to the side opposite to the traveling direction of the unmanned aircraft by a first predetermined degree or more before reaching the way point. When it is detected, it provides a method of correcting the estimated position of the unmanned aircraft so that the estimated position of the unmanned aircraft at that time corresponds to the way point.

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法を提供するものである。 One aspect of the present invention is an unmanned aircraft equipped with an image pickup device capable of capturing an image above, extracting feature points from an image acquired by the image pickup device, and flying while estimating a self-position based on the feature points. Based on a flight plan route formed by connecting the ends of a plurality of crossing paths across the bridge to each other via a connecting path extending along the side end of the bridge, the bridge is connected from below the bridge. A method of modifying the estimated position of the unmanned aircraft executed by a computer when flying while imaging, wherein the connecting path is a first end, a second end in the order of flight of the unmanned aircraft. In the flight plan route, the first end is set as a waypoint, and the estimated position of the unmanned aircraft estimated by the self-position estimation while the unmanned aircraft is flying on the crossing route. When the aircraft reaches the way point, it is detected that the region in which the feature points are distributed corresponds to the presence of the unmanned aircraft in the image in a biased manner toward the traveling direction of the unmanned aircraft by a second predetermined degree or more. When this is done, the unmanned aircraft is advanced in the traveling direction as it is, and the region where the feature points are distributed no longer exists biased toward the traveling direction side of the unmanned aircraft by a second predetermined degree or more in the image. When it is detected that the unmanned aircraft corresponds to, the method of modifying the estimated position of the unmanned aircraft so that the estimated position of the unmanned aircraft at that time corresponds to the way point is provided.

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正し、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法を提供するものである。 One aspect of the present invention is an unmanned aerial vehicle equipped with an image pickup device capable of capturing an image above, extracting feature points from an image acquired by the image pickup device, and flying while estimating a self-position based on the feature points. Based on a flight plan path formed by connecting the ends of a plurality of crossing paths across the bridge to each other via a connecting path extending along the side end of the bridge, the bridge is connected from below the bridge. A method of modifying the estimated position of the unmanned aerial vehicle executed by a computer when flying while imaging, wherein the connecting path is a first end, a second end in the order of flight of the unmanned aerial vehicle. In the flight planning route, the first end is set as a waypoint, and while the unmanned aerial vehicle is flying on the crossing route, the estimated position of the unmanned aerial vehicle estimated by the self-position estimation. Corresponds to the fact that the region where the feature points are distributed is biased to the side opposite to the traveling direction of the unmanned aerial vehicle by a first predetermined degree or more before reaching the way point. When it is detected, the estimated position of the unmanned aerial vehicle is corrected so that the estimated position of the unmanned aerial vehicle at that time corresponds to the way point, and the self When the estimated position of the unmanned aerial vehicle estimated by the position estimation reaches the way point, the region where the feature points are distributed is equal to or more than a second predetermined degree in the image on the traveling direction side of the unmanned aerial vehicle. When it is detected that the unmanned aerial vehicle is biased toward the presence of the unmanned aerial vehicle, the unmanned aerial vehicle is advanced in the traveling direction as it is, and the region where the feature points are distributed is equal to or more than the second predetermined degree in the image. When it is detected that the flight is biased toward the direction of travel and no longer exists, the estimated position of the unmanned aerial vehicle at that time is corrected so that the estimated position of the unmanned aerial vehicle corresponds to the way point. It provides a method.

本発明の１つの態様は、前記方法をコンピュータに実行させるためのプログラムを提供するものである。 One aspect of the present invention is to provide a program for causing a computer to execute the method.

本発明の１つの態様は、前記プログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。 One aspect of the present invention is to provide a computer-readable recording medium on which the program is recorded.

上記構成による本発明によれば、無人航空機がＶｉｓｕａｌＳＬＡＭによる自己位置推定により自律飛行を行う場合に、無人航空機の推定位置を修正するためのシステム及び方法を提供することができる。 According to the present invention having the above configuration, it is possible to provide a system and a method for correcting the estimated position of the unmanned aerial vehicle when the unmanned aerial vehicle performs autonomous flight by self-position estimation by Visual SLAM.

本発明の１つの実施形態に係る無人航空機の外観図である。It is an external view of the unmanned aerial vehicle which concerns on one Embodiment of this invention. 本発明の１つの実施形態に係る無人航空機の全体構成を示す図である。It is a figure which shows the whole structure of the unmanned aerial vehicle which concerns on one Embodiment of this invention. 本発明の１つの実施形態に係る推定位置修正システムの機能構成を示す図である。It is a figure which shows the functional structure of the estimation position correction system which concerns on one Embodiment of this invention. 本発明の１つの実施形態に係る推定位置修正システムの推定位置修正処理の例のフローチャートである。It is a flowchart of the example of the estimation position correction processing of the estimation position correction system which concerns on one Embodiment of this invention. 飛行計画経路の一例を示す図である。It is a figure which shows an example of a flight plan route. 図５の一部を拡大し、無人航空機の位置と特徴点の分布の関係の一例を示す図である。It is a figure which enlarges a part of FIG. 5 and shows an example of the relationship between the position of an unmanned aerial vehicle and the distribution of feature points.

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明は以下に説明する具体的態様に限定されるわけではなく、本発明の技術思想の範囲内で種々の態様を取り得る。例えば、本発明の無人航空機は、図１に示すマルチコプタに限らず、回転翼機、固定翼機等、任意の無人航空機であってもよい。また、無人航空機１のシステム構成も、図に示されるものに限らず同様の動作が可能であれば任意の構成を取ることができる。例えば通信回路の機能を飛行制御部に統合する等、複数の構成要素が実行する動作を単独の構成要素により実行してもよいし、あるいは主演算部の機能を複数の演算部に分散する等、単独の構成要素が実行する動作を複数の構成要素により実行してもよい。また、無人航空機１のメモリ内に記憶される各種データは、それとは別の場所に記憶されていてもよいし、各種メモリに記録される情報も、１種類の情報を複数の種類に分散して記憶してもよいし、複数の種類の情報を１種類にまとめて記憶してもよい。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to the specific aspects described below, and various aspects can be taken within the scope of the technical idea of the present invention. For example, the unmanned aerial vehicle of the present invention is not limited to the multicopter shown in FIG. 1, and may be any unmanned aerial vehicle such as a rotary wing aircraft and a fixed wing aircraft. Further, the system configuration of the unmanned aerial vehicle 1 is not limited to that shown in the figure, and any configuration can be adopted as long as the same operation is possible. For example, the function of the communication circuit may be integrated into the flight control unit, or the operation executed by a plurality of components may be executed by a single component, or the function of the main calculation unit may be distributed to a plurality of calculation units. , The operation performed by a single component may be performed by a plurality of components. Further, various data stored in the memory of the unmanned aircraft 1 may be stored in a different location, and the information recorded in the various memories also distributes one type of information to a plurality of types. It may be stored together, or a plurality of types of information may be collectively stored in one type.

図１は、本実施形態に係る無人航空機（マルチコプタ）１の一例であるマルチコプタの外観図である。無人航空機１は、外観に関しては、制御ユニット１０１と、制御ユニット１０１からの制御信号により駆動される６つのモータ１０２と、各々のモータ１０２の駆動により回転して揚力を発生させる６つのロータ（回転翼）１０３と、制御ユニット１０１と各々のモータ１０２とを接続する６つのアーム１０４と、着陸時に無人航空機を支える着陸脚１０５とを備える。モータ１０２、ロータ１０３、及びアーム１０４の数は、それぞれ、３、４などのような３以上の数とすることもできる。制御ユニット１０１からの制御信号により６つのモータ１０２が回転させられ、それにより６つのロータ１０３の各々の回転数を制御することにより、上昇、下降、前後左右への飛行、旋回等、無人航空機１の飛行が制御される。また、制御ユニット１０１には台座１０６が取り付けられており、高解像度で対象物を撮影するための第１のカメラ１０８が、第１のカメラ１０８を回転可能に支持する支持部材１０７を介して台座１０６に取り付けられている。また、台座１０６の前方には後述のＶｉｓｕａｌＳＬＡＭ処理を行うための対象物の画像を撮影するための第２のカメラ１０９が真上に向けて取り付けられており、台座１０６の下側にはＶＳＬＡＭ処理ユニット１２４が取り付けられている。また、無人航空機１は、飛行位置センサ１１０、アンテナ１１７も有している。 FIG. 1 is an external view of a multicopter which is an example of an unmanned aerial vehicle (multicopter) 1 according to the present embodiment. In terms of appearance, the unmanned aerial vehicle 1 has a control unit 101, six motors 102 driven by control signals from the control unit 101, and six rotors (rotors) that rotate by driving each motor 102 to generate lift. It includes a wing) 103, six arms 104 connecting the control unit 101 and each motor 102, and a landing gear 105 that supports the unmanned aerial vehicle at the time of landing. The number of the motor 102, the rotor 103, and the arm 104 can be 3 or more, such as 3, 4, and so on, respectively. The six motors 102 are rotated by the control signal from the control unit 101, and by controlling the rotation speed of each of the six rotors 103, the unmanned aerial vehicle 1 can perform ascending, descending, flying back and forth and left and right, turning, and the like. Flight is controlled. Further, a pedestal 106 is attached to the control unit 101, and a first camera 108 for photographing an object with high resolution is pedestal via a support member 107 that rotatably supports the first camera 108. It is attached to 106. Further, a second camera 109 for capturing an image of an object for performing Visual SLAM processing, which will be described later, is attached to the front of the pedestal 106 so as to face directly above, and VSLAM is attached to the lower side of the pedestal 106. The processing unit 124 is attached. The unmanned aerial vehicle 1 also has a flight position sensor 110 and an antenna 117.

図２は、図１に示す無人航空機１の全体構成を示す図である。無人航空機１は、大きく、制御ユニット１０１、制御ユニット１０１に電気的に接続されたモータ１０２、モータ１０２に機械的に接続されたロータ１０３、第１のカメラ１０８、第２のカメラ１０９、飛行位置センサ１１０、姿勢センサ１１１、方位センサ１１２、高度センサ１１３、距離センサ１１５、アンテナ１１７から構成される。 FIG. 2 is a diagram showing the overall configuration of the unmanned aerial vehicle 1 shown in FIG. The unmanned aerial vehicle 1 is large, and includes a control unit 101, a motor 102 electrically connected to the control unit 101, a rotor 103 mechanically connected to the motor 102, a first camera 108, a second camera 109, and a flight position. It is composed of a sensor 110, an attitude sensor 111, an orientation sensor 112, an altitude sensor 113, a distance sensor 115, and an antenna 117.

制御ユニット１０１は、無人航空機１の飛行制御を行うための情報処理や、そのための電気信号の制御を行うための構成であり、典型的には基板上に各種の電子部品を配置して配線することによってそのような機能の実現に必要な回路を構成したユニットである。制御ユニット１０１は、さらに、情報処理ユニット１２０、通信回路１２１、制御信号生成部１２２、スピードコントローラ１２３、インターフェイス１２５から構成される。 The control unit 101 has a configuration for performing information processing for controlling the flight of the unmanned aerial vehicle 1 and controlling electrical signals for that purpose, and typically arranges and wires various electronic components on a substrate. It is a unit that constitutes the circuit necessary to realize such a function. The control unit 101 is further composed of an information processing unit 120, a communication circuit 121, a control signal generation unit 122, a speed controller 123, and an interface 125.

第１のカメラ１０８は、高解像度で対象物を撮像するためのカメラである。第１のカメラ１０８は、第１のカメラ１０８を回転可能に支持する支持部材１０７を介して台座１０６に取り付けられていて、これにより撮像方向を変えることができるようになっている。第１のカメラ１０８は、無人航空機１の飛行中、それの撮影範囲の画像のデータを取得し、取得された画像は、後述の記憶部２２１に記憶される。画像は、典型的には一連の静止画像からなる動画の画像である。 The first camera 108 is a camera for capturing an object with high resolution. The first camera 108 is attached to the pedestal 106 via a support member 107 that rotatably supports the first camera 108, whereby the imaging direction can be changed. The first camera 108 acquires image data of the shooting range of the unmanned aerial vehicle 1 during the flight, and the acquired image is stored in the storage unit 221 described later. The image is typically a moving image consisting of a series of still images.

第２のカメラ１０９は、後述のＶｉｓｕａｌＳＬＡＭ処理を行うための対象物の画像を撮影するためのカメラであり、台座１０６に真上を向くように取り付けられている。ＶｉｓｕａｌＳＬＡＭ処理の負荷を低減するために、低解像度での撮像を行う第２のカメラ１０９が、第１のカメラ１０８とは別個に設けられている。第２のカメラ１０９は、無人航空機１の飛行中、それの撮影範囲の画像のデータを取得し、取得された画像は、情報処理ユニット１２０や後述の記憶部２０７に記憶される。画像は、典型的には一連の静止画像からなる動画の画像である。 The second camera 109 is a camera for taking an image of an object for performing Visual SLAM processing, which will be described later, and is attached to the pedestal 106 so as to face directly upward. In order to reduce the load of Visual SLAM processing, a second camera 109 that performs imaging at a low resolution is provided separately from the first camera 108. The second camera 109 acquires image data of the shooting range of the unmanned aerial vehicle 1 during flight, and the acquired images are stored in the information processing unit 120 and the storage unit 207 described later. The image is typically a moving image consisting of a series of still images.

飛行位置センサ１１０は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）センサのような無人航空機１の飛行位置の座標を感知するナビゲーションのためのセンサである。飛行位置センサ１１０は、好適には、三次元的な座標を感知する。飛行位置センサ１１０は、主として、ＧＰＳ信号が良好に受信可能な環境下で、無人航空機１が飛行計画経路に沿って飛行する時の位置を制御するために使用される。 The flight position sensor 110 is a sensor for navigation that senses the coordinates of the flight position of the unmanned aerial vehicle 1 such as a GPS (Global Positioning System) sensor. The flight position sensor 110 preferably senses three-dimensional coordinates. The flight position sensor 110 is mainly used to control the position when the unmanned aerial vehicle 1 flies along the flight plan route in an environment where GPS signals can be well received.

姿勢センサ１１１は、例えば６軸ジャイロ（加速度／角速度センサ）のような、無人航空機１の移動と傾きなどを検出するためのセンサであり、無人航空機１の飛行時の姿勢を制御するために使用される。 The attitude sensor 111 is a sensor for detecting the movement and tilt of the unmanned aerial vehicle 1, such as a 6-axis gyro (acceleration / angular velocity sensor), and is used to control the attitude of the unmanned aerial vehicle 1 during flight. Will be done.

方位センサ１１２は、例えば磁気センサのような、飛行方向を制御するためのセンサである。 The directional sensor 112 is a sensor for controlling the flight direction, such as a magnetic sensor.

高度センサ１１３は、例えば気圧センサのような、無人航空機１の高度を検出するセンサであり、無人航空機１の飛行高度を制御するために使用される。 The altitude sensor 113 is a sensor that detects the altitude of the unmanned aerial vehicle 1, such as a barometric pressure sensor, and is used to control the flight altitude of the unmanned aerial vehicle 1.

無人航空機１は、超音波センサのような距離センサを備えていてもよい。距離センサ１１５は、例えば超音波センサのような、障害物や地面との間の距離を測定し、障害物との衝突を避けたり、対地高度を精密に測定するためのセンサである。 The unmanned aerial vehicle 1 may be provided with a distance sensor such as an ultrasonic sensor. The distance sensor 115 is a sensor such as an ultrasonic sensor for measuring the distance between an obstacle or the ground, avoiding a collision with the obstacle, or accurately measuring the altitude above ground level.

アンテナ１１７は、無人航空機１を操縦したり制御するための情報や各種データを含む無線信号を受信したり、テレメトリ信号を含む無線信号を無人航空機１から送信するための空中線である。 The antenna 117 is an antenna for receiving a radio signal including information and various data for maneuvering and controlling the unmanned aerial vehicle 1, and transmitting a radio signal including a telemetry signal from the unmanned aerial vehicle 1.

通信回路１２１は、アンテナ１１７を通じて受信した無線信号から、無人航空機１のための操縦信号、制御信号や各種データなどを復調して情報処理ユニット１２０に入力したり、無人航空機１から出力されるテレメトリ信号などを搬送する無線信号を生成するための電子回路であり、典型的には無線信号処理ＩＣである。なお、例えば、操縦信号の通信と、制御信号、各種データの通信とを別の周波数帯の異なる通信回路で実行するようにしてもよい。例えば、手動での操縦を行うためのコントローラ（プロポ）の送信器と９５０ＭＨｚ帯の周波数で通信し、データ通信を２ＧＨｚ帯／１．７ＧＨｚ帯／１．５ＧＨｚ帯／８００ＭＨｚ帯の周波数で通信するような構成を採ることも可能である。 The communication circuit 121 demodulates control signals, control signals, various data, and the like for the unmanned aircraft 1 from the radio signals received through the antenna 117 and inputs them to the information processing unit 120, or telemetry output from the unmanned aircraft 1. It is an electronic circuit for generating a radio signal that carries a signal or the like, and is typically a radio signal processing IC. Note that, for example, the communication of the steering signal and the communication of the control signal and various data may be executed by different communication circuits in different frequency bands. For example, to communicate with the transmitter of the controller (propo) for manual control at a frequency of 950 MHz band, and to communicate data communication at a frequency of 2 GHz band / 1.7 GHz band / 1.5 GHz band / 800 MHz band. It is also possible to adopt a different configuration.

制御信号生成部１２２は、情報処理ユニット１２０によって演算により得られた制御指令値データを、電圧を表わすパルス信号（ＰＷＭ信号など）に変換する構成であり、典型的には、発振回路とスイッチング回路を含むＩＣである。スピードコントローラ１２３は、制御信号生成部１２２からのパルス信号を、モータ１０２を駆動する駆動電圧に変換する構成であり、典型的には、平滑回路とアナログ増幅器である。図示していないが、無人航空機１は、リチウムポリマーバッテリやリチウムイオンバッテリ等のバッテリデバイスや各要素への配電系を含む電源系を備えている。 The control signal generation unit 122 has a configuration in which the control command value data obtained by calculation by the information processing unit 120 is converted into a pulse signal (PWM signal or the like) representing a voltage, and is typically an oscillation circuit and a switching circuit. Is an IC including. The speed controller 123 has a configuration of converting a pulse signal from the control signal generation unit 122 into a drive voltage for driving the motor 102, and is typically a smoothing circuit and an analog amplifier. Although not shown, the unmanned aerial vehicle 1 includes a battery device such as a lithium polymer battery or a lithium ion battery, and a power supply system including a power distribution system for each element.

ＶＳＬＡＭ処理ユニット１２４は、本発明の推定位置修正システムの一例となるもので、ＣＰＵ１２４ａ、ＲＡＭ１２４ｂ、ＲＯＭ１２４ｃ、外部メモリ１２４ｄ、インターフェイス１２４ｇを含む。ＲＡＭ１２４ｂ、ＲＯＭ１２４ｃ、外部メモリ１２４ｄ、インターフェイス１２４ｅは、システムバス１２４ｆを介して、ＣＰＵ１２４ａに接続されている。ＶＳＬＡＭ処理ユニット１２４は、ＧＰＵを備えていてもよい。 The VSLAM processing unit 124 is an example of the estimation position correction system of the present invention, and includes a CPU 124a, a RAM 124b, a ROM 124c, an external memory 124d, and an interface 124g. The RAM 124b, ROM 124c, external memory 124d, and interface 124e are connected to the CPU 124a via the system bus 124f. The VSLAM processing unit 124 may include a GPU.

後述の図３に示される推定位置修正システム２の各部は、ＲＯＭ１２４ｃや外部メモリ１２４ｄに記憶された各種プログラムが、ＣＰＵ１２４ａ、ＲＡＭ１２４ｂ、ＲＯＭ１２４ｃ、外部メモリ１２４ｄ、インターフェイス１２４ｅ等を資源として使用することで実現される。 Each part of the estimation position correction system 2 shown in FIG. 3 described later is realized by various programs stored in the ROM 124c and the external memory 124d using the CPU 124a, the RAM 124b, the ROM 124c, the external memory 124d, the interface 124e, and the like as resources. Will be done.

ＶｉｓｕａｌＳＬＡＭについては、ＭｏｎｏＳＬＡＭやＰＴＡＭ（ＰａｒａｌｌｅｌＴｒａｃｋｉｎｇａｎｄＭａｐｐｉｎｇ等、さまざまなアルゴリズムが開発されている。ＶＳＬＡＭ処理ユニット１２４がそのようなアルゴリズムを実装したプログラムを実行することにより、第２のカメラ１０９からの画像信号を用いてＶｉｓｕａｌＳＬＡＭによる自己位置推定とマップ作成を行い、これにより推定された自己位置（無人航空機１の周囲に存在する要素に対する無人航空機１の相対位置）や速度（位置の時間微分により求められる。）、姿勢（撮影した画像における複数の特徴点の配置から幾何学計算により求められる。）等、無人航空機１の状態を表す量を決定する。これらの量を示す信号は情報処理ユニット１２０へと出力され、そして情報処理ユニット１２０は、ＶＳＬＡＭ処理ユニット１２４から入力される情報を利用する。またＶＳＬＡＭ処理ユニット１２４が推定したマップ情報も情報処理ユニット１２０へと出力され、記録装置に記録される。なお、第２のカメラ１０９としては単眼カメラではなく、ステレオカメラを用いてもよく、この場合も同様の原理でＶｉｓｕａｌＳＬＡＭによる自己位置等の推定が可能である。 For Visual SLAM, various algorithms such as Mono SLAM and PTAM (Parallel Tracking and Mapping) have been developed. By executing a program in which the VSLAM processing unit 124 implements such an algorithm, the second camera 109 can be used. Self-position estimation and map creation by Visual SLAM are performed using image signals, and the self-position (relative position of the unmanned aerial vehicle 1 with respect to the elements existing around the unmanned aerial vehicle 1) and speed (by time differentiation of the position) estimated by this. The amount representing the state of the unmanned aerial vehicle 1 such as the attitude (obtained by geometric calculation from the arrangement of a plurality of feature points in the captured image), etc. is determined. The signal indicating these amounts is the information processing unit. The information is output to the information processing unit 120, and the information processing unit 120 uses the information input from the VSLAM processing unit 124. The map information estimated by the VSLAM processing unit 124 is also output to the information processing unit 120 and recorded in the recording device. As the second camera 109, a stereo camera may be used instead of the monocular camera, and in this case as well, the self-position and the like can be estimated by Visual SLAM based on the same principle.

インターフェイス１２５は、情報処理ユニット１２０、飛行位置センサ１１０、姿勢センサ１１１、方位センサ１１２、高度センサ１１３、距離センサ１１５などの機能要素との間で信号の送受信ができるように信号の形態を変換することにより、それらを電気的に接続する構成である。なお、説明の都合上、図面においてインターフェイスは１つの構成として記載しているが、接続対象の機能要素の種類によって別のインターフェイスを使用することが通常である。また、接続対象の機能要素が入出力する信号の種類によってはインターフェイス１２５が不要な場合もある。また、図２において、インターフェイス１２５が媒介せずに接続されている情報処理ユニット１２０であっても、接続対象の機能要素が入出力する信号の種類によってはインターフェイスが必要となる場合もある。 The interface 125 converts the form of the signal so that the signal can be transmitted and received to and from the functional elements such as the information processing unit 120, the flight position sensor 110, the attitude sensor 111, the directional sensor 112, the altitude sensor 113, and the distance sensor 115. This is a configuration that electrically connects them. For convenience of explanation, the interface is described as one configuration in the drawings, but it is usual to use another interface depending on the type of the functional element to be connected. Further, the interface 125 may not be required depending on the type of signals input / output by the functional element to be connected. Further, in FIG. 2, even in the information processing unit 120 to which the interface 125 is connected without mediation, the interface may be required depending on the type of signals input / output by the functional element to be connected.

情報処理ユニット１２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部メモリ、システムバスを含む。ＲＡＭ、ＲＯＭ、外部メモリ、通信回路１２１、制御信号生成部１２２、インターフェイス１２５は、システムバスを介して、ＣＰＵに接続されている。 The information processing unit 120 includes a CPU, RAM, ROM, an external memory, and a system bus. The RAM, ROM, external memory, communication circuit 121, control signal generation unit 122, and interface 125 are connected to the CPU via the system bus.

情報処理ユニット１２０は、操作者からの操縦信号（非自律飛行時）や飛行計画経路データ（自律飛行時）などに基づいて無人航空機１の飛行を適切に制御する。具体的には、飛行制御用の各種センサやＶＳＬＡＭ処理ユニット１２４から得られる情報により無人航空機１の姿勢、速度等を判断し、飛行位置センサ１０７から得られる情報により無人航空機１の現在の飛行位置などを判断し、操縦信号、飛行計画経路、速度制限、高度制限等の目標値と比較することにより情報処理ユニット１２０で各ロータ１０３に対する制御指令値を演算し、制御指令値を示すデータを制御信号生成部１２２に出力する。制御信号生成部１２２は、その制御指令値を電圧を表わすパルス信号に変換して各スピードコントローラ１２３に送信する。各スピードコントローラ１２３は、そのパルス信号を駆動電圧へと変換して各モータ１０２に印加し、これにより各モータ１０２の駆動を制御して各ロータ１０３の回転数を制御することにより無人航空機１の飛行が制御される。 The information processing unit 120 appropriately controls the flight of the unmanned aerial vehicle 1 based on the control signal from the operator (during non-autonomous flight), flight plan route data (during autonomous flight), and the like. Specifically, the attitude, speed, etc. of the unmanned aerial vehicle 1 are determined from the information obtained from various sensors for flight control and the VSLAM processing unit 124, and the current flight position of the unmanned aerial vehicle 1 is determined from the information obtained from the flight position sensor 107. The information processing unit 120 calculates the control command value for each rotor 103 by comparing with the target values such as the control signal, flight plan route, speed limit, altitude limit, etc., and controls the data indicating the control command value. It is output to the signal generation unit 122. The control signal generation unit 122 converts the control command value into a pulse signal representing a voltage and transmits it to each speed controller 123. Each speed controller 123 converts the pulse signal into a drive voltage and applies it to each motor 102, thereby controlling the drive of each motor 102 and controlling the rotation speed of each rotor 103, whereby the unmanned aerial vehicle 1 Flight is controlled.

ここで、飛行計画経路データは、無人航空機１の三次元（緯度、経度、高度）の飛行計画経路を表すデータであり、典型的には、飛行計画経路上に存在する一連の複数のウェイポイントの集合のデータである。飛行計画経路は、典型的には、それらの複数のウェイポイントを順番に結んだ直線の集合であるが、ウェイポイントの所定範囲内においては所定の曲率の曲線とすることもできる。好適には、飛行計画経路の特定のウェイポイントの近傍に目標位置が存在すると良い。そのウェイポイントには、それを通過後に目標位置に向かう旨の情報が付加される。そのウェイポイントは、飛行計画経路の終点（折り返し点）とすることもできる。なお、あるウェイポイントを目標位置とすることもできる。この場合、そのウェイポイントのデータには、それが目標位置である旨の情報が付加される。飛行計画経路データは、複数のウェイポイントにおける飛行速度を定めるデータを含んでいてもよい。飛行計画経路データは、典型的には自律飛行において飛行計画経路を定めるために使用されるが、非自律飛行において飛行時のガイド用として使用することもできる。飛行計画経路データは、典型的には、飛行前に無人航空機１に入力されて記憶される。 Here, the flight plan route data is data representing a three-dimensional (latitude, longitude, altitude) flight plan route of the unmanned aerial vehicle 1, and typically, a series of a plurality of waypoints existing on the flight plan route. It is the data of the set of. A flight planning path is typically a set of straight lines connecting these plurality of waypoints in order, but can also be a curve of a predetermined curvature within a predetermined range of the waypoints. Preferably, the target position should be in the vicinity of a specific waypoint on the flight planning route. Information is added to the waypoint to the effect that the waypoint is headed to the target position after passing the waypoint. The waypoint can also be the end point (turning point) of the flight planning route. A certain waypoint can also be set as the target position. In this case, information to the effect that it is the target position is added to the waypoint data. The flight plan route data may include data that determine the flight speed at a plurality of waypoints. Flight planning route data is typically used to determine flight planning routes in autonomous flight, but can also be used as a guide during flight in non-autonomous flight. Flight plan route data is typically input and stored in the unmanned aerial vehicle 1 prior to flight.

図３は、本発明の１つの実施形態に係る推定位置修正システムの機能構成を示す図である。修正位置修正システム２は、ＶＳＬＡＭ部２０１、特徴点領域パラメータ算出部２０３、推定位置修正部２０５、記憶部２０７を備える。 FIG. 3 is a diagram showing a functional configuration of an estimation position correction system according to one embodiment of the present invention. The correction position correction system 2 includes a VSLAM unit 201, a feature point area parameter calculation unit 203, an estimated position correction unit 205, and a storage unit 207.

ＶＳＬＡＭ部２０１は、第２のカメラ１０９が撮像した画像の画像データを取得し、取得した画像データから橋梁３に関する特徴点を検出し、検出された特徴点に基づいて、自己位置の推定とマップの作成を行う。 The VSLAM unit 201 acquires image data of the image captured by the second camera 109, detects feature points related to the bridge 3 from the acquired image data, and estimates and maps the self-position based on the detected feature points. Create.

特徴点分布領域パラメータ算出部２０３は、検出された特徴点が分布する領域に関するパラメータを算出する。検出された特徴点が分布する領域に関するパラメータは、例えば、検出された特徴点のうちの最も無人航空機の進行方向側の点、検出された特徴点が分布する領域の面積等、任意の適切な特徴点に関するパラメータとすることができる。 The feature point distribution area parameter calculation unit 203 calculates the parameters related to the area in which the detected feature points are distributed. The parameters related to the region where the detected feature points are distributed are any appropriate parameters such as, for example, the point on the traveling direction side of the most unmanned aerial vehicle among the detected feature points, the area of the region where the detected feature points are distributed, and the like. It can be a parameter related to the feature point.

推定位置修正部２０５は、算出された特徴点が分布する領域に関するパラメータが、所定の条件を満たす場合に、推定位置を修正する。すなわち、無人航空機１が後述の横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達する前に、特徴点が分布する領域が、画像において、第１の所定の程度以上、無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの無人航空機の推定位置が、ウェイポイントに対応するように、推定位置を修正する。また、無人航空機が横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達したときに、特徴点が分布する領域が、画像において、第２の所定の程度以上、無人航空機１の進行方向側に偏って存在することに対応することを検知したとき、無人航空機をそのまま進行方向に進ませ、特徴点が分布する領域が、画像において、第２の所定の程度以上、無人航空機１の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの無人航空機の推定位置が、前記ウェイポイントに対応するように、推定位置を修正する。 The estimated position correction unit 205 corrects the estimated position when the parameter relating to the region where the calculated feature points are distributed satisfies a predetermined condition. That is, while the unmanned aerial vehicle 1 is flying on the crossing route described later, the region where the feature points are distributed before the estimated position of the unmanned aerial vehicle estimated by the self-position estimation reaches the waypoint is the first in the image. When it is detected that the unmanned aerial vehicle exists in a direction opposite to the direction of travel of the unmanned aerial vehicle by a certain degree or more, the estimated position of the unmanned aerial vehicle at that time corresponds to the waypoint. Fix it. In addition, when the estimated position of the unmanned aerial vehicle estimated by self-position estimation reaches the way point while the unmanned aerial vehicle is flying on the crossing route, the region where the feature points are distributed is a second predetermined degree in the image. As described above, when it is detected that the unmanned aerial vehicle 1 exists unevenly in the traveling direction side, the unmanned aerial vehicle is advanced in the traveling direction as it is, and the region where the feature points are distributed is the second predetermined region in the image. When it is detected that the unmanned aerial vehicle 1 no longer exists biased toward the traveling direction side more than a certain degree, the estimated position of the unmanned aerial vehicle at that time is corrected so as to correspond to the way point. To do.

記憶部２０７は、各種データや各種プログラムを記憶する。 The storage unit 207 stores various data and various programs.

以上のシステム構成を前提に、本発明の１つの実施形態に係る推定位置修正システムの推定位置修正処理の例を図１〜６を参照して、以下に説明する。本実施形態では、橋梁の下側を撮像して点検を行う場合を例として説明する。 Based on the above system configuration, an example of the estimated position correction process of the estimated position correction system according to one embodiment of the present invention will be described below with reference to FIGS. 1 to 6. In the present embodiment, a case where the lower side of the bridge is imaged and inspected will be described as an example.

図４は、本発明の１つの実施形態に係る推定位置修正システムの推定位置修正処理の例のフローチャートである。図５は、飛行計画経路の一例を示す図である。図６は、図５の一部を拡大し、無人航空機の位置と特徴点の分布の関係の一例を示す図である。 FIG. 4 is a flowchart of an example of the estimated position correction process of the estimated position correction system according to one embodiment of the present invention. FIG. 5 is a diagram showing an example of a flight plan route. FIG. 6 is an enlarged view of a part of FIG. 5 to show an example of the relationship between the position of the unmanned aerial vehicle and the distribution of feature points.

無人航空機１の飛行前の事前準備として、適切な飛行計画経路を作成し、飛行計画経路上に存在する一連の複数のウェイポイントの集合を飛行計画経路データとして情報処理ユニット１２０に記憶させておく。飛行計画経路データは、それぞれのウェイポイントにおける高度あるいは対地高度の情報を含むこともできる。無人航空機１の飛行計画経路データを情報処理ユニット１２０に記憶させる際には、それらを無線信号で無人航空機１に送信し、アンテナ１１７及び通信回路１２１を経由して情報処理ユニット１２０に読み込ませると好適である。無人航空機１が他の適当なインターフェイスを有している場合、そのインターフェイスを経由して無人航空機１の情報処理ユニット１２０に読み込ませてもよい。 As a preliminary preparation before the flight of the unmanned aerial vehicle 1, an appropriate flight plan route is created, and a set of a series of a plurality of way points existing on the flight plan route is stored in the information processing unit 120 as flight plan route data. .. Flight plan route data can also include altitude or ground level information at each waypoint. When the flight plan route data of the unmanned aerial vehicle 1 is stored in the information processing unit 120, they are transmitted to the unmanned aerial vehicle 1 by radio signals and read into the information processing unit 120 via the antenna 117 and the communication circuit 121. Suitable. If the unmanned aerial vehicle 1 has another suitable interface, it may be read into the information processing unit 120 of the unmanned aerial vehicle 1 via that interface.

図５は、飛行計画経路ＲＴの一部の一例を示す図である。橋梁３の長手方向に直交する方向に延びる横断経路Ｔ１、Ｔ２、Ｔ３、・・・と橋梁３の側縁３１との交点がウェイポイントＰ１、Ｐ２、Ｐ３、・・・として設定され、横断経路Ｔ１、Ｔ２、Ｔ３、・・・が橋梁３の側縁３１に沿って延びる連結経路Ｊ１、Ｊ２、Ｊ３、・・・を介して連結されている。隣接する横断経路間の間隔は、第１のカメラ１０８の撮影幅に基づいて、隣接する横断経路での撮影幅のオーバラップ量を考慮して決定される。また、ウェイポイントの高度は、橋梁３から所定の距離だけ下方とされる。連結経路は、必ずしも橋梁の側縁上にある必要はなく、橋梁の側縁に沿っていればよい。 FIG. 5 is a diagram showing a part of the flight plan route RT. The intersections of the crossing paths T1, T2, T3, ... Extending in the direction orthogonal to the longitudinal direction of the bridge 3 and the side edges 31 of the bridge 3 are set as way points P1, P2, P3, ... T1, T2, T3, ... Are connected via connecting paths J1, J2, J3, ... Extending along the side edge 31 of the bridge 3. The interval between adjacent crossing paths is determined based on the shooting width of the first camera 108, taking into consideration the amount of overlap of the shooting widths in the adjacent crossing paths. Further, the altitude of the waypoint is set downward by a predetermined distance from the bridge 3. The connecting path does not necessarily have to be on the side edge of the bridge, but may be along the side edge of the bridge.

飛行前の事前準備が完了すると、情報処理ユニット１２０により飛行計画経路に沿った自律飛行制御が行われる。すなわち、情報処理ユニット１２０は、情報処理ユニット１２０から飛行計画経路データを読み出し、それによって定められる飛行計画経路に沿って目標位置に飛行するように無人航空機１を制御する。具体的には、飛行計画経路データで定められるウェイポイントをその順番に経由して飛行するように無人航空機１の飛行方向及び高度を制御する。飛行計画経路は好適には目標となる飛行速度のデータを含んでおり、無人航空機１は、その飛行速度で飛行計画経路に沿って飛行するように制御される。なお、情報処理ユニット１２０は、飛行時に、ユーザからの手動の操作を受け付けて非自律飛行を実行させることができる。この場合、飛行計画経路はガイド用として使用することになり、例えば、手動の操作が終了したときに無人航空機１を飛行計画経路上に復帰させることなどができる。 When the pre-flight preparation is completed, the information processing unit 120 performs autonomous flight control along the flight planning route. That is, the information processing unit 120 reads out the flight plan route data from the information processing unit 120, and controls the unmanned aerial vehicle 1 so as to fly to the target position along the flight plan route determined by the flight plan route data. Specifically, the flight direction and altitude of the unmanned aerial vehicle 1 are controlled so as to fly through the waypoints defined in the flight plan route data in that order. The flight plan route preferably contains data on the target flight speed, and the unmanned aerial vehicle 1 is controlled to fly along the flight plan route at that flight speed. The information processing unit 120 can receive a manual operation from the user and execute the non-autonomous flight at the time of flight. In this case, the flight plan route will be used as a guide, and for example, the unmanned aerial vehicle 1 can be returned to the flight plan route when the manual operation is completed.

ＶＳＬＡＭ部２０１は、飛行中に、第２のカメラ１０９が橋梁３の下方から橋梁３を撮像した画像の画像データを取得し、取得した画像データから橋梁３に関する特徴点を検出し、検出された特徴点に基づいて、自己位置の推定とマップの作成を行う（Ｓ１０１）。 During the flight, the VSLAM unit 201 acquires image data of an image of the bridge 3 captured by the second camera 109 from below the bridge 3, detects feature points related to the bridge 3 from the acquired image data, and is detected. Based on the feature points, the self-position is estimated and the map is created (S101).

特徴点分布領域パラメータ算出部２０５は、検出された特徴点が分布する領域に関するパラメータである、検出された特徴点のうちの最も機体の進行方向側の点Ｃｔを算出する（Ｓ１０３）。 The feature point distribution area parameter calculation unit 205 calculates the point Ct on the traveling direction side of the most detected feature points among the detected feature points, which is a parameter relating to the region where the detected feature points are distributed (S103).

推定位置修正部２０５は、算出された検出された特徴点のうちの最も機体の進行方向側の点が、所定の条件を満たす場合に、推定位置を修正する。 The estimated position correction unit 205 corrects the estimated position when the point on the traveling direction side of the aircraft among the calculated detected feature points satisfies a predetermined condition.

図６は、図５の一部を拡大し、無人航空機の位置と特徴点の分布の関係の一例を示す図である。無人航空機１が橋梁３の下を飛行しているとき（例えば図６のＡ点）、上方を撮像可能な第２のカメラ１０９により取得された画像Ｉには、画像全体に橋梁３が撮像されているので、検出される特徴点Ｃ、Ｃｔは、図６の（I）に示されるように、取得された画像全体に分布する。一方、無人航空機１が橋梁の側縁３１付近に達すると（例えば図６のＢ点）、第２のカメラ１０９により取得された画像Ｉの、無人航空機１の進行方向とは反対側には橋梁３が撮像され、無人航空機１の進行方向側には空が撮像されるので、検出される特徴点Ｃ、Ｃｔは、図６の（II）に示されるように、取得された画像Ｉの、無人航空機１の進行方向とは反対側の領域に分布し、取得された画像Ｉの無人航空機１の進行方向側には特徴点Ｃ、Ｃｔが分布しない。すなわち、取得された画像Ｉにおいて、特徴点Ｃ、Ｃｔが分布する領域は、所定の程度、無人航空機１の進行方向とは反対側に偏って存在する。 FIG. 6 is an enlarged view of a part of FIG. 5 to show an example of the relationship between the position of the unmanned aerial vehicle and the distribution of feature points. When the unmanned aerial vehicle 1 is flying under the bridge 3 (for example, point A in FIG. 6), the image I acquired by the second camera 109 capable of capturing the upper part captures the bridge 3 in the entire image. Therefore, the detected feature points C and Ct are distributed over the entire acquired image as shown in FIG. 6 (I). On the other hand, when the unmanned aerial vehicle 1 reaches the vicinity of the side edge 31 of the bridge (for example, point B in FIG. 6), the bridge is on the side opposite to the traveling direction of the unmanned aerial vehicle 1 in the image I acquired by the second camera 109. Since 3 is imaged and the sky is imaged on the traveling direction side of the unmanned aerial vehicle 1, the detected feature points C and Ct are, as shown in FIG. 6 (II), of the acquired image I. It is distributed in the region opposite to the traveling direction of the unmanned aerial vehicle 1, and the feature points C and Ct are not distributed on the traveling direction side of the unmanned aerial vehicle 1 in the acquired image I. That is, in the acquired image I, the regions where the feature points C and Ct are distributed are biased to a predetermined degree on the side opposite to the traveling direction of the unmanned aerial vehicle 1.

したがって、この特徴点の分布を利用して、横断経路を飛行しているときに、検出された特徴点Ｃ、Ｃｔが取得された画像Ｉ全体に分布している場合は、無人航空機１は橋梁３の下を飛行しており、特徴点Ｃ、Ｃｔが分布する領域が、所定の程度、無人航空機１の進行方向とは反対側に偏って存在する場合は、無人航空機１は橋梁３の側縁３１付近、すなわち次のウェイポイント付近を飛行していると判断することができる。 Therefore, using this distribution of feature points, if the detected feature points C and Ct are distributed over the acquired image I when flying on the crossing route, the unmanned aerial vehicle 1 is a bridge. When flying under 3 and the region where the feature points C and Ct are distributed is biased to the opposite side of the traveling direction of the unmanned aerial vehicle 1 to a predetermined degree, the unmanned aerial vehicle 1 is on the side of the bridge 3. It can be determined that the aircraft is flying near the edge 31, that is, near the next way point.

一方、ＶｉｓｕａｌＳＬＡＭによる自己位置推定においては、飛行距離が大きくなるにつれて誤差が累積するが、正の誤差が累積すると、実際の自己位置が次のウェイポイントに到達しても、推定された自己位置がウェイポイントにまだ到達していないという状態が生じ、負の誤差が累積すると、推定された自己位置が飛行計画経路上のウェイポイントに到達したとき、実際の自己位置は、ウェイポイントの手前となるという状態が生じる。 On the other hand, in the self-position estimation by Visual SLAM, the error accumulates as the flight distance increases, but if the positive error accumulates, the estimated self-position even if the actual self-position reaches the next waypoint. When the estimated self-position reaches the waypoint on the flight plan path, the actual self-position is before the waypoint when the negative error accumulates. The state of becoming occurs.

そこで、推定位置修正部２０７は、横断経路（例えばＴ２）を飛行中に、ＶＳＬＡＭ部２０３が推定した自己位置がウェイポイント（例えばＰ３）に到達する前に（Ｓ１０５）、特徴点領域の第１の代表点である、ステップＳ１０３で算出された検出された特徴点Ｃのうちの最も機体の進行方向側の点Ｃｔが、取得された画像Ｉ中の第１の領域である、画像中央から無人航空機１の進行方向とは反対側の領域Ｒ１に入ったことを検知した場合（図６の（III））（Ｓ１０７）、そのときの無人航空機１の推定位置をウェイポイント（例えばＰ３）の位置に修正する（Ｓ１１３）。推定位置の修正は、ウェイポイントそのものの位置ではなく、ウェイポイント近辺の任意の適切なウェイポイントに対応する位置に修正してもよい。 Therefore, the estimated position correction unit 207 is the first of the feature point regions before the self-position estimated by the VSLAM unit 203 reaches the waypoint (for example, P3) while flying on the crossing path (for example, T2) (S105). Of the detected feature points C calculated in step S103, which is a representative point of the above, the point Ct on the traveling direction side of the aircraft is the first region in the acquired image I, which is unmanned from the center of the image. When it is detected that the aircraft 1 has entered the region R1 opposite to the traveling direction ((III) in FIG. 6) (S107), the estimated position of the unmanned aerial vehicle 1 at that time is the position of the waypoint (for example, P3). (S113). The modification of the estimated position may be modified to a position corresponding to any appropriate waypoint near the waypoint, rather than the position of the waypoint itself.

また、推定位置修正部２０５は、横断経路（例えばＴ２）を飛行中に、ＶＳＬＡＭ部２０１が推定した自己位置がウェイポイント（例えばＰ３）に到達したときに、ステップＳ１０３で算出された検出された特徴点Ｃのうちの最も機体の進行方向側の点Ｃｔが、取得された画像中の第２の領域である、画像中央から無人航空機１の進行方向側の領域Ｒ２に位置していたことを検知した場合（図６の（I）、（II））（Ｓ１０９）、進行方向を変えることなくそのままの進行方向に無人航空機１を進めるように制御信号生成部１２２に指示を与え（Ｓ１１１）、特徴点領域の第２の代表点である、ステップＳ１０３で算出された検出された特徴点Ｃのうちの最も機体の進行方向側の点Ｃｔが、取得された画像Ｉ中の第２の領域である、画像中央から無人航空機１の進行方向側の領域Ｒ２から外れたことを検知した場合（図６の（III））（Ｓ１０９）、そのときの無人航空機１の推定位置をウェイポイント（例えばＰ３）の位置に修正する（Ｓ１１３）。 Further, the estimated position correction unit 205 was detected in step S103 when the self-position estimated by the VSLAM unit 201 reached the way point (for example, P3) while flying on the crossing route (for example, T2). The fact that the point Ct on the traveling direction side of the aircraft among the feature points C was located in the traveling direction side region R2 of the unmanned aerial vehicle 1 from the center of the image, which is the second region in the acquired image. When it is detected ((I), (II)) (S109 in FIG. 6), an instruction is given to the control signal generation unit 122 to advance the unmanned aerial vehicle 1 in the same traveling direction without changing the traveling direction (S111). Of the detected feature points C calculated in step S103, which is the second representative point of the feature point region, the point Ct on the traveling direction side of the aircraft is the second region in the acquired image I. When it is detected that the unmanned aerial vehicle 1 deviates from the region R2 on the traveling direction side of the unmanned aerial vehicle 1 from the center of the image ((III) in FIG. 6) (S109), the estimated position of the unmanned aerial vehicle 1 at that time is set as a way point (for example, P3). ) (S113).

上記実施形態においては、抽出された特徴点が分布する領域に関するパラメータが、抽出された特徴点のうちの最も機体の進行方向側の点である例を説明したが、抽出された特徴点が分布する領域に関するパラメータは、これに限定されるものではなく、特徴点が分布する領域が、画像において、所定の程度以上、無人航空機の進行方向側又は進行方向とは反対側に偏って存在することに対応する指標となる任意の適切なパラメータとすることができる。 In the above embodiment, an example has been described in which the parameter relating to the region where the extracted feature points are distributed is the point on the traveling direction side of the aircraft most of the extracted feature points, but the extracted feature points are distributed. The parameters related to the region to be used are not limited to this, and the region in which the feature points are distributed is biased to the traveling direction side or the opposite side of the traveling direction of the unmanned aerial vehicle to a certain degree or more in the image. It can be any appropriate parameter that serves as an index corresponding to.

このようなパラメータとして、例えば、抽出された特徴点が分布する領域の面積に関するパラメータを考えることができる。すなわち、図６の（I）〜（III）を参照して、無人航空機が横断経路を飛行しているときは、画像の進行方向側のみに特徴点が分布する領域が存在することはないから、例えば、特徴点が分布する領域の面積、ないしは画像の全領域の面積に対する特徴点が分布する領域の面積の割合といった特徴点が分布する領域の面積に関するパラメータが小さいほど、特徴点が分布する領域が、無人航空機の進行方向とは反対側に偏って存在する程度が大きくなる。したがって、この場合、無人航空機が横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達する前に、特徴点が分布する領域の面積に関するパラメータが、第１の閾値以下であることを検知したとき、そのときの無人航空機の推定位置が、ウェイポイントに対応するように、無人航空機の推定位置を修正し、無人航空機が横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達したときに、特徴点が分布する領域の面積に関するパラメータが、第２の閾値以上であることを検知したとき、無人航空機をそのまま進行方向に進ませ、特徴点が分布する領域の面積に関するパラメータが、第２の閾値よりも小さくなったことを検知したとき、そのときの無人航空機の推定位置が、ウェイポイントに対応するように、無人航空機の推定位置を修正する構成とすればよい。 As such a parameter, for example, a parameter relating to the area of the region where the extracted feature points are distributed can be considered. That is, referring to (I) to (III) of FIG. 6, when the unmanned aerial vehicle is flying in the crossing route, there is no area where the feature points are distributed only on the traveling direction side of the image. For example, the smaller the parameter regarding the area of the area where the feature points are distributed, such as the area of the area where the feature points are distributed, or the ratio of the area of the area where the feature points are distributed to the area of the entire area of the image, the more the feature points are distributed. The extent to which the area is biased to the side opposite to the direction of travel of the unmanned aerial vehicle increases. Therefore, in this case, while the unmanned aerial vehicle is flying in the crossing path, the parameter regarding the area of the region where the feature points are distributed is the first parameter before the estimated position of the unmanned aerial vehicle estimated by the self-position estimation reaches the way point. When it is detected that it is below the threshold of, the estimated position of the unmanned aerial vehicle at that time is corrected so that it corresponds to the way point, and the unmanned aerial vehicle is in its own position while flying over the crossing route. When the estimated position of the unmanned aerial vehicle estimated by estimation reaches the way point, when it is detected that the parameter related to the area of the area where the feature points are distributed is equal to or larger than the second threshold value, the unmanned aerial vehicle is moved in the direction of travel as it is. When it is detected that the parameter related to the area of the area where the feature points are distributed becomes smaller than the second threshold value, the estimated position of the unmanned aerial vehicle at that time corresponds to the way point. The configuration may be such that the estimated position of the aircraft is corrected.

また、上記実施形態においては、抽出された特徴点が分布する領域に関するパラメータが、抽出された特徴点のうちの最も無人航空機の進行方向側の点を用いたが、特徴点が分布する領域の重心や、抽出された特徴点のうちの複数の最も無人航空機の進行方向側の点を加重平均した点等、他の任意の適切な特徴点が分布する領域の代表点を用いることもできる。 Further, in the above embodiment, the parameter relating to the region where the extracted feature points are distributed uses the point on the traveling direction side of the most unmanned aerial vehicle among the extracted feature points, but the region where the feature points are distributed It is also possible to use representative points in the region where any other suitable feature points are distributed, such as the center of gravity and the weighted average of the points on the traveling direction side of the plurality of extracted feature points of the most unmanned aerial vehicle.

また、上記実施形態においては、第１の代表点と第２の代表点が同じであったが、両者は異なっていてもよい。 Further, in the above embodiment, the first representative point and the second representative point are the same, but they may be different.

また、上記実施形態においては、第１の領域として、画像中央から無人航空機１の進行方向とは反対側の領域を、第２の領域として、画像中央から無人航空機１の進行方向側の領域を用いたが、これに限定されるものではなく、他の任意の適切な領域を用いることができる。 Further, in the above embodiment, as the first region, the region opposite to the traveling direction of the unmanned aerial vehicle 1 from the center of the image is used, and as the second region, the region from the center of the image to the traveling direction side of the unmanned aerial vehicle 1 is used. Used, but not limited to, any other suitable region may be used.

また、上記実施形態においては、横断経路は、橋梁の長手方向に直交する方向に延びる経路としたが、これに限定されるものではなく、他の任意の適切な方向とすることができ、また横断経路毎に異なる方向とすることができる。また、横断経路は、直線経路でなく、曲線経路であってもよい。 Further, in the above embodiment, the crossing route is a route extending in a direction orthogonal to the longitudinal direction of the bridge, but the present invention is not limited to this, and any other appropriate direction can be used. The direction can be different for each crossing route. Further, the crossing route may be a curved route instead of a straight route.

本実施形態によれば、ＶｉｓｕａｌＳＬＡＭにより推定される自己位置に累積する誤差を、所定のタイミングで修正することができる。 According to this embodiment, the error accumulated in the self-position estimated by Visual SLAM can be corrected at a predetermined timing.

ＶｉｓｕａｌＳＬＡＭによる自己位置推定において、負の誤差が累積すると、推定された自己位置が飛行計画経路上のウェイポイントに到達したとき、実際の自己位置は、ウェイポイントの手前となるので、ウェイポイントで折り返すと、橋梁の端部側に点検されない部分が残ってしまうが、本実施形態によれば、無人航空機１を橋梁の端部まで進めるので、点検されない部分を残さないようにすることができる。 In the self-position estimation by Visual SLAM, if negative errors are accumulated, when the estimated self-position reaches the waypoint on the flight plan route, the actual self-position is before the waypoint, so at the waypoint When folded back, an uninspected portion remains on the end side of the bridge, but according to the present embodiment, since the unmanned aerial vehicle 1 is advanced to the end portion of the bridge, it is possible to prevent the uninspected portion from being left.

また、ＶｉｓｕａｌＳＬＡＭによる自己位置推定において、正の誤差が累積すると、実際の自己位置がウェイポイントに到達しても、推定された自己位置がウェイポイントにまだ到達していないので、機体はそのまま進行方向に進む。そのため、機体は橋梁下の外にはみ出してしまうため、撮像された画像には空しか写らず、特徴点を検出することができないため、方向を見失ってしまい、自律飛行ができなくなってしまうが、本実施形態によれば、そのような方向を見失うことを防止することができる。 Also, in the self-position estimation by Visual SLAM, if positive errors are accumulated, even if the actual self-position reaches the waypoint, the estimated self-position has not yet reached the waypoint, so the aircraft will proceed as it is. Go in the direction. Therefore, since the aircraft protrudes outside under the bridge, only the sky is shown in the captured image, and the feature points cannot be detected, so the direction is lost and autonomous flight becomes impossible. According to the present embodiment, it is possible to prevent losing sight of such a direction.

以上、本発明について、例示のためにいくつかの実施形態に関して説明してきたが、本発明はこれに限定されるものでなく、本発明の範囲及び精神から逸脱することなく、形態及び詳細について、様々な変形及び修正を行うことができることは、当業者に明らかであろう。 Although the present invention has been described above with respect to some embodiments for illustration purposes, the present invention is not limited thereto, and the forms and details will be described without departing from the scope and spirit of the present invention. It will be apparent to those skilled in the art that various modifications and modifications can be made.

１無人航空機
１０１制御ユニット
１０２モータ
１０３ロータ
１０４アーム
１０５着陸脚
１０６台座
１０７支持部材
１０８第１のカメラ
１０９第２のカメラ
１１０飛行位置センサ
１１１姿勢センサ
１１２方位センサ
１１３高度センサ
１１５距離センサ
１１７アンテナ
１２０情報処理ユニット
１２１通信回路
１２２制御信号生成部
１２３スピードコントローラ
１２４ＶＳＬＡＭユニット
１２４ａＣＰＵ
１２４ｂＲＡＭ
１２４ｃＲＯＭ
１２４ｄ外部メモリ
１２４ｅインターフェイス
１２４ｆシステムバス
１２５インターフェイス
２推定位置修正システム
２０１ＶＳＬＡＭ部
２０３特徴点領域パラメータ算出部
２０５推定位置修正部
２０７記憶部
３橋梁
３１側縁
ＲＴ飛行計画経路
Ｔ１、Ｔ２、Ｔ３横断経路
Ｊ１、Ｊ２、Ｊ３連結経路
Ｐ１、Ｐ２、Ｐ３ウェイポイント
Ｉ画像
Ｃ特徴点
Ｃｔ最も機体の進行方向側の特徴点
ＣＡ特徴点領域
Ｒ１第１の領域
Ｒ２第２の領域 1 Unmanned aerial vehicle 101 Control unit 102 Motor 103 Rotor 104 Arm 105 Landing leg 106 Pedestal 107 Support member 108 First camera 109 Second camera 110 Flight position sensor 111 Attitude sensor 112 Orientation sensor 113 Altitude sensor 115 Distance sensor 117 Antenna 120 Information Processing unit 121 Communication circuit 122 Control signal generator 123 Speed controller 124 VSLAM unit 124a CPU
124b RAM
124c ROM
124d External memory 124e Interface 124f System bus 125 Interface 2 Estimated position correction system 201 VSLAM unit 203 Feature point area parameter calculation unit 205 Estimated position correction unit 207 Storage unit 3 Bridge 31 Side edge RT Flight plan route T1, T2, T3 Crossing route J1 , J2, J3 Connection path P1, P2, P3 Waypoint I Image C Feature point Ct Feature point on the most traveling direction side of the aircraft CA Feature point area R1 First area R2 Second area

Claims

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステム。 An unmanned aerial vehicle equipped with an image pickup device capable of capturing an image above, extracting feature points from the image acquired by the image pickup device, and flying while estimating its own position based on the feature points, has a plurality of crossing paths across the bridge. When flying while imaging the bridge from below the bridge, based on a flight plan path formed by connecting the ends of the bridge to each other via a connecting path extending along the side end of the bridge. A system that corrects the estimated position of the unmanned aerial vehicle.
The connecting path has a first end and a second end in the order of flight of the unmanned aerial vehicle.
In the flight planning path, the first end is set as a waypoint.
While the unmanned aerial vehicle is flying on the crossing route, the region where the feature points are distributed is located in the image before the estimated position of the unmanned aerial vehicle estimated by the self-position estimation reaches the way point. When it is detected that the unmanned aerial vehicle exists in a direction opposite to the traveling direction of the unmanned aerial vehicle by a predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time corresponds to the way point. In addition, a system that corrects the estimated position of the unmanned aerial vehicle.

前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することは、前記特徴点が分布する領域の第１の代表点が、前記画像中の前記無人航空機の進行方向とは反対側の第１の領域に入ったことである請求項１に記載のシステム。 Corresponding to the fact that the region where the feature points are distributed is biased to the side opposite to the traveling direction of the unmanned aerial vehicle by a first predetermined degree or more in the image is the region where the feature points are distributed. The system according to claim 1, wherein the first representative point of the above is to enter the first region on the side opposite to the traveling direction of the unmanned aerial vehicle in the image.

前記特徴点が分布する領域の第１の代表点は、抽出された前記特徴点のうちの最も前記無人航空機の進行方向側の点である請求項２に記載のシステム。 The system according to claim 2, wherein the first representative point of the region where the feature points are distributed is the most extracted point on the traveling direction side of the unmanned aerial vehicle.

前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、第１の閾値以下であることである請求項１に記載のシステム。 Corresponding to the fact that the region where the feature points are distributed is biased to the side opposite to the traveling direction of the unmanned aerial vehicle by a first predetermined degree or more in the image is the region where the feature points are distributed. The system according to claim 1, wherein the parameter relating to the area of the above is equal to or less than the first threshold value.

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステム。 An unmanned aerial vehicle equipped with an image pickup device capable of capturing an image above, extracting feature points from the image acquired by the image pickup device, and flying while estimating its own position based on the feature points, has a plurality of crossing paths across the bridge. When flying while imaging the bridge from below the bridge, based on a flight plan path formed by connecting the ends of the bridge to each other via a connecting path extending along the side end of the bridge. A system that corrects the estimated position of the unmanned aerial vehicle.
The connecting path has a first end and a second end in the order of flight of the unmanned aerial vehicle.
In the flight planning path, the first end is set as a waypoint.
When the unmanned aerial vehicle is flying along the crossing route and the estimated position of the unmanned aerial vehicle estimated by the self-position estimation reaches the way point, the region where the feature points are distributed is the first in the image. When it is detected that the unmanned aerial vehicle is biased toward the traveling direction side of the unmanned aerial vehicle by a predetermined degree or more, the unmanned aerial vehicle is advanced in the traveling direction as it is, and the region where the feature points are distributed is the region. When it is detected in the image that it corresponds to the fact that the unmanned aerial vehicle no longer exists biased toward the traveling direction side by a second predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time is set to the way point. A system that corrects the estimated position of the unmanned aerial vehicle to correspond.

前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することは、前記特徴点が分布する領域の第２の代表点が、前記画像中の前記無人航空機の進行方向側の第２の領域に位置していたことを検知したことであり、
前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することは、前記特徴点が分布する領域の第２の代表点が、前記画像中の前記第２の領域から外れたことを検知したことである請求項５に記載のシステム。 Corresponding to the fact that the region where the feature points are distributed is biased toward the traveling direction side of the unmanned aerial vehicle by a second predetermined degree or more in the image is the second of the region where the feature points are distributed. Is that it was detected that the representative point of the above was located in the second region on the traveling direction side of the unmanned aerial vehicle in the image.
Corresponding to the fact that the region in which the feature points are distributed no longer exists in the image in a biased manner toward the traveling direction side of the unmanned aerial vehicle by a second predetermined degree or more is the region in which the feature points are distributed. The system according to claim 5, wherein the second representative point is the detection that the second representative point is out of the second region in the image.

前記特徴点が分布する領域の第２の代表点は、抽出された前記特徴点のうちの最も前記無人航空機の進行方向側の点である請求項６に記載のシステム。 The system according to claim 6, wherein the second representative point of the region where the feature points are distributed is the most extracted point on the traveling direction side of the unmanned aerial vehicle.

前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、第２の閾値以上であることを検知したことであり、
前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、前記第２の閾値よりも小さくなったことを検知したことである請求項５に記載のシステム。 Corresponding to the fact that the region where the feature points are distributed is biased toward the traveling direction side of the unmanned aerial vehicle by a second predetermined degree or more in the image is related to the area of the region where the feature points are distributed. It means that it is detected that the parameter is equal to or higher than the second threshold value.
Corresponding to the fact that the region where the feature points are distributed no longer exists biased toward the traveling direction side of the unmanned aerial vehicle by a second predetermined degree or more in the image corresponds to the region where the feature points are distributed. The system according to claim 5, wherein it is detected that the parameter relating to the area becomes smaller than the second threshold value.

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正し、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステム。 An unmanned aerial vehicle equipped with an image pickup device capable of capturing an image above, extracting feature points from the image acquired by the image pickup device, and flying while estimating its own position based on the feature points, has a plurality of crossing paths across the bridge. When flying while imaging the bridge from below the bridge, based on a flight plan path formed by connecting the ends of the bridge to each other via a connecting path extending along the side end of the bridge. A system that corrects the estimated position of the unmanned aerial vehicle.
The connecting path has a first end and a second end in the order of flight of the unmanned aerial vehicle.
In the flight planning path, the first end is set as a waypoint.
While the unmanned aerial vehicle is flying on the crossing route, the region where the feature points are distributed is located in the image before the estimated position of the unmanned aerial vehicle estimated by the self-position estimation reaches the way point. When it is detected that the unmanned aerial vehicle exists in a direction opposite to the traveling direction of the unmanned aerial vehicle by a predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time corresponds to the way point. To correct the estimated position of the unmanned aerial vehicle,
When the unmanned aerial vehicle is flying along the crossing route and the estimated position of the unmanned aerial vehicle estimated by the self-position estimation reaches the way point, the region where the feature points are distributed is the first in the image. When it is detected that the unmanned aerial vehicle is biased toward the traveling direction side of the unmanned aerial vehicle by a predetermined degree or more, the unmanned aerial vehicle is advanced in the traveling direction as it is, and the region where the feature points are distributed is the region. When it is detected in the image that it corresponds to the fact that the unmanned aerial vehicle no longer exists biased toward the traveling direction side by a second predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time is set to the way point. A system that corrects the estimated position of the unmanned aerial vehicle to correspond.

請求項１〜９のいずれか１項に記載のシステムを搭載した無人航空機。 An unmanned aerial vehicle equipped with the system according to any one of claims 1 to 9.

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法。 An unmanned aircraft equipped with an image pickup device capable of capturing an image above, extracting feature points from the image acquired by the image pickup device, and flying while estimating its own position based on the feature points, has a plurality of crossing paths across the bridge. When flying while imaging the bridge from below the bridge, based on a flight plan path formed by connecting the ends of the bridge to each other via a connecting path extending along the side end of the bridge. A method of modifying the estimated position of the unmanned aircraft performed by a computer.
The connecting path has a first end and a second end in the order of flight of the unmanned aerial vehicle.
In the flight planning path, the first end is set as a waypoint.
While the unmanned aerial vehicle is flying on the crossing route, the region where the feature points are distributed is located in the image before the estimated position of the unmanned aerial vehicle estimated by the self-position estimation reaches the way point. When it is detected that the unmanned aerial vehicle exists in a direction opposite to the traveling direction of the unmanned aerial vehicle by a predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time corresponds to the way point. In addition, a method of correcting the estimated position of the unmanned aerial vehicle.

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法。 An unmanned aircraft equipped with an image pickup device capable of capturing an image above, extracting feature points from the image acquired by the image pickup device, and flying while estimating its own position based on the feature points, has a plurality of crossing paths across the bridge. When flying while imaging the bridge from below the bridge, based on a flight plan path formed by connecting the ends of the bridge to each other via a connecting path extending along the side end of the bridge. A method of modifying the estimated position of the unmanned aircraft performed by a computer.
The connecting path has a first end and a second end in the order of flight of the unmanned aerial vehicle.
In the flight planning path, the first end is set as a waypoint.
When the unmanned aerial vehicle is flying along the crossing route and the estimated position of the unmanned aerial vehicle estimated by the self-position estimation reaches the way point, the region where the feature points are distributed is the first in the image. When it is detected that the unmanned aerial vehicle is biased toward the traveling direction side of the unmanned aerial vehicle by a predetermined degree or more, the unmanned aerial vehicle is advanced in the traveling direction as it is, and the region where the feature points are distributed is the region. When it is detected in the image that it corresponds to the fact that the unmanned aerial vehicle no longer exists biased toward the traveling direction side by a second predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time is set to the way point. A method of modifying the estimated position of the unmanned aerial vehicle to correspond.

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正し、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法。 An unmanned aircraft equipped with an image pickup device capable of capturing an image above, extracting feature points from the image acquired by the image pickup device, and flying while estimating its own position based on the feature points, has a plurality of crossing paths across the bridge. When flying while imaging the bridge from below the bridge, based on a flight plan path formed by connecting the ends of the bridge to each other via a connecting path extending along the side end of the bridge. A method of modifying the estimated position of the unmanned aircraft performed by a computer.
The connecting path has a first end and a second end in the order of flight of the unmanned aerial vehicle.
In the flight planning path, the first end is set as a waypoint.
While the unmanned aerial vehicle is flying on the crossing route, the region where the feature points are distributed is located in the image before the estimated position of the unmanned aerial vehicle estimated by the self-position estimation reaches the way point. When it is detected that the unmanned aerial vehicle exists in a direction opposite to the traveling direction of the unmanned aerial vehicle by a predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time corresponds to the way point. To correct the estimated position of the unmanned aerial vehicle,
When the unmanned aerial vehicle is flying along the crossing route and the estimated position of the unmanned aerial vehicle estimated by the self-position estimation reaches the way point, the region where the feature points are distributed is the first in the image. When it is detected that the unmanned aerial vehicle is biased toward the traveling direction side of the unmanned aerial vehicle by a predetermined degree or more, the unmanned aerial vehicle is advanced in the traveling direction as it is, and the region where the feature points are distributed is the region. When it is detected in the image that it corresponds to the fact that the unmanned aerial vehicle no longer exists biased toward the traveling direction side by a second predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time is set to the way point. A method of modifying the estimated position of the unmanned aerial vehicle to correspond.

請求項１１〜１３に記載の方法をコンピュータに実行させるためのプログラム。 A program for causing a computer to execute the method according to claims 11 to 13.

請求項１４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium on which the program according to claim 14 is recorded.