JP7352908B2

JP7352908B2 - System, method, program, and storage medium storing the program for correcting the estimated position of an unmanned aircraft

Info

Publication number: JP7352908B2
Application number: JP2019223731A
Authority: JP
Inventors: 翔介井上; ベリストロムニクラス; トーマスラービクリストファー; 秀哉宗; 豊久岸
Original assignee: JAPAN INFRA WAYMARK CORPORATION; Nippon Telegraph and Telephone West Corp; Autonomous Control Systems Laboratory Ltd ACSL
Current assignee: JAPAN INFRA WAYMARK CORPORATION; Nippon Telegraph and Telephone West Corp; Autonomous Control Systems Laboratory Ltd ACSL
Priority date: 2019-12-11
Filing date: 2019-12-11
Publication date: 2023-09-29
Anticipated expiration: 2039-12-11
Also published as: JP2021092465A

Description

本発明は、無人航空機の推定位置を修正するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体に関する。 The present invention relates to a system, method, program, and storage medium storing the program for correcting the estimated position of an unmanned aircraft.

近時ドローンによる建築構造物の点検が試みられている。ドローンは、ＧＰＳの衛星測位情報を利用して自己位置を推定し、飛行計画経路に沿って自律飛行することができるが、橋梁の下や建築構造物の周囲などでは、ＧＰＳによって正確な位置情報を得ることが難しい。そのため、そのような環境においては、ＶｉｓｕａｌＳＬＡＭによる自己位置推定をＧＰＳによる自己位置推定の代替とする技術が提案されている（下記非特許文献１）。ここで、ＶｉｓｕａｌＳＬＡＭとは、連続して撮影された画像の複数のフレーム間で複数の特徴点を追跡することにより自己位置とマップの推定を並行して行う技術である。 Recently, attempts have been made to inspect architectural structures using drones. Drones can estimate their own position using GPS satellite positioning information and fly autonomously along the flight plan route, but when flying under bridges or around architectural structures, accurate position information is not provided by GPS. difficult to obtain. Therefore, in such an environment, a technique has been proposed in which self-position estimation using Visual SLAM is used as a substitute for self-position estimation using GPS (see Non-Patent Document 1 below). Here, Visual SLAM is a technology that estimates a self-position and a map in parallel by tracking a plurality of feature points between a plurality of frames of continuously photographed images.

野波健蔵、「ドローン産業応用のすべて」、オーム社、平成30年2月、p.73-79Kenzo Nonami, “All about drone industry applications”, Ohmsha, February 2018, p.73-79

しかしながら、ＶｉｓｕａｌＳＬＡＭによる自己位置推定においては、飛行距離が大きくなるにつれて誤差が累積するため、実際の飛行経路が、飛行計画経路とずれてきてしまう。 However, in self-position estimation using Visual SLAM, errors accumulate as the flight distance increases, so that the actual flight route deviates from the flight plan route.

そこで、本発明は、無人航空機がＶｉｓｕａｌＳＬＡＭによる自己位置推定により自律飛行を行う場合に、無人航空機の推定位置を修正するためのシステム及び方法を提供することを目的の１つとする。 Therefore, one object of the present invention is to provide a system and method for correcting the estimated position of an unmanned aircraft when the unmanned aircraft flies autonomously by estimating its own position using Visual SLAM.

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステムを提供するものである。 One aspect of the present invention is an unmanned aircraft that is equipped with an imaging device capable of capturing images above, extracts feature points from the image acquired by the imaging device, and flies while estimating its own position based on the feature points. Based on a flight plan path formed by interconnecting the ends of a plurality of crossing paths that cross the bridge via connection paths extending along the side edges of the bridge, the bridge is moved from below the bridge. A system for correcting the estimated position of the unmanned aircraft when flying while taking images, wherein the connecting route has a first end and a second end in the order of flight of the unmanned aircraft, In the planned route, the first end is set as a waypoint, and while the unmanned aircraft is flying along the traversal route, the estimated position of the unmanned aircraft estimated by the self-position estimation is set at the waypoint. When detecting, before reaching the unmanned aerial vehicle, that the region in which the feature points are distributed corresponds to being biased toward the opposite side of the traveling direction of the unmanned aircraft by a first predetermined degree or more in the image; The present invention provides a system for correcting the estimated position of the unmanned aircraft so that the estimated position of the unmanned aircraft at that time corresponds to the waypoint.

前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することは、前記特徴点が分布する領域の第１の代表点が、前記画像中の前記無人航空機の進行方向とは反対側の第１の領域に入ったことであるものとすることができる。 The fact that the region in which the feature points are distributed is biased toward the opposite side of the traveling direction of the unmanned aircraft by a first predetermined degree or more in the image means that the region in which the feature points are distributed is It may be assumed that the first representative point of the unmanned aircraft enters a first region in the image on the opposite side to the traveling direction of the unmanned aircraft.

前記特徴点が分布する領域の第１の代表点は、抽出された前記特徴点のうちの最も前記無人航空機の進行方向側の点であるものとすることができる。 The first representative point of the region in which the feature points are distributed may be a point closest to the direction of travel of the unmanned aircraft among the extracted feature points.

前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、第１の閾値以下であるものとすることができる。 The fact that the region in which the feature points are distributed is biased toward the opposite side of the traveling direction of the unmanned aircraft by a first predetermined degree or more in the image means that the region in which the feature points are distributed is A parameter related to the area of may be less than or equal to a first threshold value.

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステムを提供するものである。 One aspect of the present invention is an unmanned aircraft that is equipped with an imaging device capable of capturing images above, extracts feature points from the image acquired by the imaging device, and flies while estimating its own position based on the feature points. Based on a flight plan path formed by interconnecting the ends of a plurality of crossing paths that cross the bridge via connection paths extending along the side edges of the bridge, the bridge is moved from below the bridge. A system for correcting the estimated position of the unmanned aircraft when flying while taking images, wherein the connecting route has a first end and a second end in the order of flight of the unmanned aircraft, In the planned route, the first end is set as a waypoint, and while the unmanned aircraft is flying along the traversal route, the estimated position of the unmanned aircraft estimated by the self-position estimation is set at the waypoint. When it is detected that the region in which the feature points are distributed is biased toward the direction of travel of the unmanned aircraft by a second predetermined degree or more in the image, the unmanned aerial vehicle The aircraft is allowed to proceed in the direction of travel, and the region in which the feature points are distributed no longer exists in the image in a biased direction toward the direction of travel of the unmanned aircraft by a second predetermined degree or more. The present invention provides a system that, when detected, corrects the estimated position of the unmanned aircraft so that the estimated position of the unmanned aircraft at that time corresponds to the waypoint.

前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することは、前記特徴点が分布する領域の第２の代表点が、前記画像中の前記無人航空機の進行方向側の第２の領域に位置していたことを検知したことであり、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することは、前記特徴点が分布する領域の第２の代表点が、前記画像中の前記第２の領域から外れたことを検知したことであるものとすることができる。 The fact that the region in which the feature points are distributed is biased towards the direction of travel of the unmanned aircraft by a second predetermined degree or more in the image means that It is detected that the representative point of is located in the second area on the traveling direction side of the unmanned aircraft in the image, and the area where the characteristic points are distributed is located in the second area in the image. Corresponding to the fact that the unmanned aerial vehicle no longer exists biased towards the direction of travel of the unmanned aerial vehicle to a predetermined extent or more, the second representative point of the area in which the feature points are distributed is located in the second area in the image. It can be assumed that this is due to the detection of deviation from the range.

前記特徴点が分布する領域の第２の代表点は、抽出された前記特徴点のうちの最も前記無人航空機の進行方向側の点であるものとすることができる。 The second representative point of the region in which the feature points are distributed may be a point closest to the traveling direction of the unmanned aircraft among the extracted feature points.

前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、第２の閾値以上であることを検知したことであり、
前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、前記第２の閾値よりも小さくなったことを検知したことであるものとすることができる。 The fact that the area where the feature points are distributed is biased toward the direction of travel of the unmanned aircraft by a second predetermined degree or more in the image is related to the area of the area where the feature points are distributed. detecting that the parameter is equal to or higher than a second threshold;
This corresponds to the fact that the region in which the feature points are distributed no longer exists in the image in a biased direction toward the direction of travel of the unmanned aircraft by a second predetermined degree or more. This can be determined by detecting that the parameter related to area has become smaller than the second threshold.

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正し、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステム。 One aspect of the present invention is an unmanned aircraft that is equipped with an imaging device capable of capturing images above, extracts feature points from the image acquired by the imaging device, and flies while estimating its own position based on the feature points. Based on a flight plan path formed by interconnecting the ends of a plurality of crossing paths that cross the bridge via connection paths extending along the side edges of the bridge, the bridge is moved from below the bridge. A system for correcting the estimated position of the unmanned aircraft when flying while taking images, wherein the connecting route has a first end and a second end in the order of flight of the unmanned aircraft, In the planned route, the first end is set as a waypoint, and while the unmanned aircraft is flying along the traversal route, the estimated position of the unmanned aircraft estimated by the self-position estimation is set at the waypoint. When detecting, before reaching the unmanned aerial vehicle, that the region in which the feature points are distributed corresponds to being biased toward the opposite side of the traveling direction of the unmanned aircraft by a first predetermined degree or more in the image; , the estimated position of the unmanned aircraft at that time is corrected so that the estimated position of the unmanned aircraft corresponds to the waypoint, and the estimated position of the unmanned aircraft is estimated by the self-position estimation while the unmanned aircraft is flying the crossing route. When the estimated position of the unmanned aerial vehicle reaches the waypoint, an area in which the feature points are distributed is biased toward the direction of travel of the unmanned aerial vehicle by a second predetermined degree or more in the image. When it is detected that the unmanned aircraft corresponds to the above, the unmanned aircraft is allowed to proceed in the direction of travel, and the area in which the feature points are distributed is moved toward the direction of travel of the unmanned aircraft by a second predetermined degree or more in the image. A system that corrects the estimated position of the unmanned aircraft so that the estimated position of the unmanned aircraft at that time corresponds to the waypoint when it is detected that the unmanned aircraft corresponds to the waypoint.

本発明の１つの態様は、前記システムを搭載した無人航空機を提供するものである。 One aspect of the present invention provides an unmanned aircraft equipped with the above system.

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法を提供するものである。 One aspect of the present invention is an unmanned aircraft that is equipped with an imaging device capable of capturing images above, extracts feature points from the image acquired by the imaging device, and flies while estimating its own position based on the feature points. Based on a flight plan path formed by interconnecting the ends of a plurality of crossing paths that cross the bridge via connection paths extending along the side edges of the bridge, the bridge is moved from below the bridge. A method for correcting the estimated position of the unmanned aircraft when flying while taking images, the connecting path including a first end and a second end in the order of flight of the unmanned aircraft. In the flight plan route, the first end is set as a waypoint, and the estimated position of the unmanned aircraft is estimated by the self-position estimation while the unmanned aircraft is flying the traversal route. corresponds to the fact that before the pointer reaches the waypoint, an area in which the feature points are distributed is biased toward the opposite side of the direction of travel of the unmanned aircraft by a first predetermined degree or more in the image. When this is detected, a method is provided for correcting the estimated position of the unmanned aircraft so that the estimated position of the unmanned aircraft at that time corresponds to the waypoint.

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法を提供するものである。 One aspect of the present invention is an unmanned aircraft that is equipped with an imaging device capable of capturing images above, extracts feature points from the image acquired by the imaging device, and flies while estimating its own position based on the feature points. Based on a flight plan path formed by interconnecting the ends of a plurality of crossing paths that cross the bridge via connection paths extending along the side edges of the bridge, the bridge is moved from below the bridge. A method for correcting the estimated position of the unmanned aircraft when flying while taking images, the connecting path including a first end and a second end in the order of flight of the unmanned aircraft. In the flight plan route, the first end is set as a waypoint, and the estimated position of the unmanned aircraft is estimated by the self-position estimation while the unmanned aircraft is flying the traversal route. reaches the waypoint, it is detected that the area in which the feature points are distributed corresponds to being biased toward the direction of travel of the unmanned aircraft by a second predetermined degree or more in the image; when the unmanned aircraft continues to advance in the direction of travel, and the area in which the feature points are distributed no longer exists in the image biased toward the direction of travel of the unmanned aircraft by a second predetermined degree or more; The present invention provides a method for correcting the estimated position of the unmanned aircraft so that the estimated position of the unmanned aircraft at that time corresponds to the waypoint.

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正し、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法を提供するものである。 One aspect of the present invention is an unmanned aircraft that is equipped with an imaging device capable of capturing images above, extracts feature points from the image acquired by the imaging device, and flies while estimating its own position based on the feature points. Based on a flight plan path formed by interconnecting the ends of a plurality of crossing paths that cross the bridge via connection paths extending along the side edges of the bridge, the bridge is moved from below the bridge. A method for correcting the estimated position of the unmanned aircraft when flying while taking images, the connecting path including a first end and a second end in the order of flight of the unmanned aircraft. In the flight plan route, the first end is set as a waypoint, and the estimated position of the unmanned aircraft is estimated by the self-position estimation while the unmanned aircraft is flying the traversal route. corresponds to the fact that before the pointer reaches the waypoint, an area in which the feature points are distributed is biased toward the opposite side of the direction of travel of the unmanned aircraft by a first predetermined degree or more in the image. When this is detected, the estimated position of the unmanned aircraft is corrected so that the estimated position of the unmanned aircraft at that time corresponds to the waypoint, and while the unmanned aircraft is flying along the crossing route, When the estimated position of the unmanned aerial vehicle estimated by position estimation reaches the waypoint, the area in which the feature points are distributed is located on the advancing direction side of the unmanned aerial vehicle by a second predetermined degree or more in the image. When it is detected that the unmanned aircraft corresponds to the presence of the unmanned aircraft biased to When it is detected that the unmanned aerial vehicle is no longer present in the direction of travel, the estimated position of the unmanned aerial vehicle is corrected so that the estimated position of the unmanned aerial vehicle at that time corresponds to the waypoint. The present invention provides a method.

本発明の１つの態様は、前記方法をコンピュータに実行させるためのプログラムを提供するものである。 One aspect of the present invention provides a program for causing a computer to execute the method.

本発明の１つの態様は、前記プログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。 One aspect of the present invention provides a computer-readable recording medium on which the program is recorded.

上記構成による本発明によれば、無人航空機がＶｉｓｕａｌＳＬＡＭによる自己位置推定により自律飛行を行う場合に、無人航空機の推定位置を修正するためのシステム及び方法を提供することができる。 According to the present invention having the above configuration, it is possible to provide a system and method for correcting the estimated position of an unmanned aircraft when the unmanned aircraft flies autonomously by estimating its own position using Visual SLAM.

本発明の１つの実施形態に係る無人航空機の外観図である。1 is an external view of an unmanned aircraft according to one embodiment of the present invention. 本発明の１つの実施形態に係る無人航空機の全体構成を示す図である。1 is a diagram showing the overall configuration of an unmanned aircraft according to one embodiment of the present invention. 本発明の１つの実施形態に係る推定位置修正システムの機能構成を示す図である。1 is a diagram showing a functional configuration of an estimated position correction system according to one embodiment of the present invention. 本発明の１つの実施形態に係る推定位置修正システムの推定位置修正処理の例のフローチャートである。It is a flow chart of an example of estimated position modification processing of an estimated position modification system concerning one embodiment of the present invention. 飛行計画経路の一例を示す図である。It is a diagram showing an example of a flight plan route. 図５の一部を拡大し、無人航空機の位置と特徴点の分布の関係の一例を示す図である。6 is a diagram showing an example of the relationship between the position of an unmanned aircraft and the distribution of feature points by enlarging a part of FIG. 5; FIG.

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明は以下に説明する具体的態様に限定されるわけではなく、本発明の技術思想の範囲内で種々の態様を取り得る。例えば、本発明の無人航空機は、図１に示すマルチコプタに限らず、回転翼機、固定翼機等、任意の無人航空機であってもよい。また、無人航空機１のシステム構成も、図に示されるものに限らず同様の動作が可能であれば任意の構成を取ることができる。例えば通信回路の機能を飛行制御部に統合する等、複数の構成要素が実行する動作を単独の構成要素により実行してもよいし、あるいは主演算部の機能を複数の演算部に分散する等、単独の構成要素が実行する動作を複数の構成要素により実行してもよい。また、無人航空機１のメモリ内に記憶される各種データは、それとは別の場所に記憶されていてもよいし、各種メモリに記録される情報も、１種類の情報を複数の種類に分散して記憶してもよいし、複数の種類の情報を１種類にまとめて記憶してもよい。 Embodiments of the present invention will be described below with reference to the drawings. However, the present invention is not limited to the specific embodiments described below, and may take various embodiments within the scope of the technical idea of the present invention. For example, the unmanned aircraft of the present invention is not limited to the multicopter shown in FIG. 1, but may be any other unmanned aircraft such as a rotary wing aircraft or a fixed wing aircraft. Furthermore, the system configuration of the unmanned aircraft 1 is not limited to that shown in the figure, but can be any configuration as long as it can perform similar operations. For example, operations performed by multiple components may be performed by a single component, such as integrating the functions of a communication circuit into the flight control section, or distributing the functions of the main processing section to multiple processing sections. , operations performed by a single component may be performed by multiple components. Further, the various data stored in the memory of the unmanned aircraft 1 may be stored in a different location, and the information recorded in the various memories may be distributed from one type of information to multiple types. Alternatively, multiple types of information may be stored together as one type.

図１は、本実施形態に係る無人航空機（マルチコプタ）１の一例であるマルチコプタの外観図である。無人航空機１は、外観に関しては、制御ユニット１０１と、制御ユニット１０１からの制御信号により駆動される６つのモータ１０２と、各々のモータ１０２の駆動により回転して揚力を発生させる６つのロータ（回転翼）１０３と、制御ユニット１０１と各々のモータ１０２とを接続する６つのアーム１０４と、着陸時に無人航空機を支える着陸脚１０５とを備える。モータ１０２、ロータ１０３、及びアーム１０４の数は、それぞれ、３、４などのような３以上の数とすることもできる。制御ユニット１０１からの制御信号により６つのモータ１０２が回転させられ、それにより６つのロータ１０３の各々の回転数を制御することにより、上昇、下降、前後左右への飛行、旋回等、無人航空機１の飛行が制御される。また、制御ユニット１０１には台座１０６が取り付けられており、高解像度で対象物を撮影するための第１のカメラ１０８が、第１のカメラ１０８を回転可能に支持する支持部材１０７を介して台座１０６に取り付けられている。また、台座１０６の前方には後述のＶｉｓｕａｌＳＬＡＭ処理を行うための対象物の画像を撮影するための第２のカメラ１０９が真上に向けて取り付けられており、台座１０６の下側にはＶＳＬＡＭ処理ユニット１２４が取り付けられている。また、無人航空機１は、飛行位置センサ１１０、アンテナ１１７も有している。 FIG. 1 is an external view of a multicopter, which is an example of an unmanned aircraft (multicopter) 1 according to the present embodiment. In terms of appearance, the unmanned aircraft 1 includes a control unit 101, six motors 102 driven by control signals from the control unit 101, and six rotors (rotating It includes a wing) 103, six arms 104 that connect the control unit 101 and each motor 102, and landing legs 105 that support the unmanned aircraft during landing. The number of motors 102, rotors 103, and arms 104 may be three or more, such as three or four, respectively. The six motors 102 are rotated by a control signal from the control unit 101, and by controlling the rotation speed of each of the six rotors 103, the unmanned aircraft 1 can perform various operations such as ascending, descending, flying forward and backward, left and right, and turning. flight is controlled. Further, a pedestal 106 is attached to the control unit 101, and a first camera 108 for photographing an object with high resolution is attached to the pedestal via a support member 107 that rotatably supports the first camera 108. 106. In addition, a second camera 109 is installed directly upward in front of the pedestal 106 to take an image of an object for performing Visual SLAM processing, which will be described later. A processing unit 124 is attached. The unmanned aircraft 1 also has a flight position sensor 110 and an antenna 117.

図２は、図１に示す無人航空機１の全体構成を示す図である。無人航空機１は、大きく、制御ユニット１０１、制御ユニット１０１に電気的に接続されたモータ１０２、モータ１０２に機械的に接続されたロータ１０３、第１のカメラ１０８、第２のカメラ１０９、飛行位置センサ１１０、姿勢センサ１１１、方位センサ１１２、高度センサ１１３、距離センサ１１５、アンテナ１１７から構成される。 FIG. 2 is a diagram showing the overall configuration of the unmanned aircraft 1 shown in FIG. 1. The unmanned aircraft 1 mainly includes a control unit 101, a motor 102 electrically connected to the control unit 101, a rotor 103 mechanically connected to the motor 102, a first camera 108, a second camera 109, and a flight position. It is composed of a sensor 110, an attitude sensor 111, a direction sensor 112, an altitude sensor 113, a distance sensor 115, and an antenna 117.

制御ユニット１０１は、無人航空機１の飛行制御を行うための情報処理や、そのための電気信号の制御を行うための構成であり、典型的には基板上に各種の電子部品を配置して配線することによってそのような機能の実現に必要な回路を構成したユニットである。制御ユニット１０１は、さらに、情報処理ユニット１２０、通信回路１２１、制御信号生成部１２２、スピードコントローラ１２３、インターフェイス１２５から構成される。 The control unit 101 is configured to process information for controlling the flight of the unmanned aircraft 1 and control electrical signals for that purpose, and typically has various electronic components arranged and wired on a board. This is a unit that includes the circuits necessary to realize such functions. The control unit 101 further includes an information processing unit 120, a communication circuit 121, a control signal generation section 122, a speed controller 123, and an interface 125.

第１のカメラ１０８は、高解像度で対象物を撮像するためのカメラである。第１のカメラ１０８は、第１のカメラ１０８を回転可能に支持する支持部材１０７を介して台座１０６に取り付けられていて、これにより撮像方向を変えることができるようになっている。第１のカメラ１０８は、無人航空機１の飛行中、それの撮影範囲の画像のデータを取得し、取得された画像は、後述の記憶部２２１に記憶される。画像は、典型的には一連の静止画像からなる動画の画像である。 The first camera 108 is a camera for capturing an image of a target object with high resolution. The first camera 108 is attached to the pedestal 106 via a support member 107 that rotatably supports the first camera 108, so that the imaging direction can be changed. The first camera 108 acquires image data of the photographing range of the unmanned aircraft 1 while it is in flight, and the acquired images are stored in the storage unit 221, which will be described later. The image is typically a moving image consisting of a series of still images.

第２のカメラ１０９は、後述のＶｉｓｕａｌＳＬＡＭ処理を行うための対象物の画像を撮影するためのカメラであり、台座１０６に真上を向くように取り付けられている。ＶｉｓｕａｌＳＬＡＭ処理の負荷を低減するために、低解像度での撮像を行う第２のカメラ１０９が、第１のカメラ１０８とは別個に設けられている。第２のカメラ１０９は、無人航空機１の飛行中、それの撮影範囲の画像のデータを取得し、取得された画像は、情報処理ユニット１２０や後述の記憶部２０７に記憶される。画像は、典型的には一連の静止画像からなる動画の画像である。 The second camera 109 is a camera for photographing an image of an object for performing Visual SLAM processing, which will be described later, and is mounted on the pedestal 106 so as to face directly above. In order to reduce the load of Visual SLAM processing, a second camera 109 that captures images at low resolution is provided separately from the first camera 108. The second camera 109 acquires image data of the shooting range of the unmanned aircraft 1 while it is in flight, and the acquired images are stored in the information processing unit 120 and the storage unit 207, which will be described later. The image is typically a moving image consisting of a series of still images.

飛行位置センサ１１０は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）センサのような無人航空機１の飛行位置の座標を感知するナビゲーションのためのセンサである。飛行位置センサ１１０は、好適には、三次元的な座標を感知する。飛行位置センサ１１０は、主として、ＧＰＳ信号が良好に受信可能な環境下で、無人航空機１が飛行計画経路に沿って飛行する時の位置を制御するために使用される。 The flight position sensor 110 is a navigation sensor that senses the coordinates of the flight position of the unmanned aircraft 1, such as a GPS (Global Positioning System) sensor. Flight position sensor 110 preferably senses three-dimensional coordinates. The flight position sensor 110 is mainly used to control the position of the unmanned aircraft 1 when it flies along the flight plan route in an environment where GPS signals can be well received.

姿勢センサ１１１は、例えば６軸ジャイロ（加速度／角速度センサ）のような、無人航空機１の移動と傾きなどを検出するためのセンサであり、無人航空機１の飛行時の姿勢を制御するために使用される。 The attitude sensor 111 is a sensor, such as a 6-axis gyro (acceleration/angular velocity sensor), for detecting the movement and inclination of the unmanned aircraft 1, and is used to control the attitude of the unmanned aircraft 1 during flight. be done.

方位センサ１１２は、例えば磁気センサのような、飛行方向を制御するためのセンサである。 The direction sensor 112 is a sensor, such as a magnetic sensor, for controlling the flight direction.

高度センサ１１３は、例えば気圧センサのような、無人航空機１の高度を検出するセンサであり、無人航空機１の飛行高度を制御するために使用される。 The altitude sensor 113 is a sensor that detects the altitude of the unmanned aircraft 1, such as a barometric pressure sensor, and is used to control the flight altitude of the unmanned aerial vehicle 1.

無人航空機１は、超音波センサのような距離センサを備えていてもよい。距離センサ１１５は、例えば超音波センサのような、障害物や地面との間の距離を測定し、障害物との衝突を避けたり、対地高度を精密に測定するためのセンサである。 The unmanned aircraft 1 may be equipped with a distance sensor such as an ultrasonic sensor. The distance sensor 115 is a sensor, such as an ultrasonic sensor, that measures the distance between an obstacle and the ground, avoids a collision with the obstacle, and precisely measures the height above the ground.

アンテナ１１７は、無人航空機１を操縦したり制御するための情報や各種データを含む無線信号を受信したり、テレメトリ信号を含む無線信号を無人航空機１から送信するための空中線である。 The antenna 117 is an antenna for receiving radio signals including information and various data for operating and controlling the unmanned aircraft 1, and for transmitting radio signals including telemetry signals from the unmanned aircraft 1.

通信回路１２１は、アンテナ１１７を通じて受信した無線信号から、無人航空機１のための操縦信号、制御信号や各種データなどを復調して情報処理ユニット１２０に入力したり、無人航空機１から出力されるテレメトリ信号などを搬送する無線信号を生成するための電子回路であり、典型的には無線信号処理ＩＣである。なお、例えば、操縦信号の通信と、制御信号、各種データの通信とを別の周波数帯の異なる通信回路で実行するようにしてもよい。例えば、手動での操縦を行うためのコントローラ（プロポ）の送信器と９５０ＭＨｚ帯の周波数で通信し、データ通信を２ＧＨｚ帯／１．７ＧＨｚ帯／１．５ＧＨｚ帯／８００ＭＨｚ帯の周波数で通信するような構成を採ることも可能である。 The communication circuit 121 demodulates a control signal, a control signal, various data, etc. for the unmanned aircraft 1 from the radio signal received through the antenna 117 and inputs the demodulated data to the information processing unit 120, and also demodulates the telemetry signal output from the unmanned aircraft 1. It is an electronic circuit for generating a wireless signal that carries signals, etc., and is typically a wireless signal processing IC. Note that, for example, communication of maneuver signals and communication of control signals and various data may be performed by different communication circuits in different frequency bands. For example, it communicates with the transmitter of a controller (propo) for manual operation using a frequency of 950 MHz band, and communicates data using a frequency of 2 GHz band/1.7 GHz band/1.5 GHz band/800 MHz band. It is also possible to adopt a similar configuration.

制御信号生成部１２２は、情報処理ユニット１２０によって演算により得られた制御指令値データを、電圧を表わすパルス信号（ＰＷＭ信号など）に変換する構成であり、典型的には、発振回路とスイッチング回路を含むＩＣである。スピードコントローラ１２３は、制御信号生成部１２２からのパルス信号を、モータ１０２を駆動する駆動電圧に変換する構成であり、典型的には、平滑回路とアナログ増幅器である。図示していないが、無人航空機１は、リチウムポリマーバッテリやリチウムイオンバッテリ等のバッテリデバイスや各要素への配電系を含む電源系を備えている。 The control signal generation unit 122 is configured to convert control command value data obtained by calculation by the information processing unit 120 into a pulse signal (PWM signal, etc.) representing voltage, and typically includes an oscillation circuit and a switching circuit. It is an IC that includes. The speed controller 123 is configured to convert a pulse signal from the control signal generator 122 into a drive voltage for driving the motor 102, and is typically a smoothing circuit and an analog amplifier. Although not shown, the unmanned aircraft 1 includes a power supply system including a battery device such as a lithium polymer battery or a lithium ion battery, and a power distribution system to each element.

ＶＳＬＡＭ処理ユニット１２４は、本発明の推定位置修正システムの一例となるもので、ＣＰＵ１２４ａ、ＲＡＭ１２４ｂ、ＲＯＭ１２４ｃ、外部メモリ１２４ｄ、インターフェイス１２４ｇを含む。ＲＡＭ１２４ｂ、ＲＯＭ１２４ｃ、外部メモリ１２４ｄ、インターフェイス１２４ｅは、システムバス１２４ｆを介して、ＣＰＵ１２４ａに接続されている。ＶＳＬＡＭ処理ユニット１２４は、ＧＰＵを備えていてもよい。 The VSLAM processing unit 124 is an example of the estimated position correction system of the present invention, and includes a CPU 124a, a RAM 124b, a ROM 124c, an external memory 124d, and an interface 124g. RAM 124b, ROM 124c, external memory 124d, and interface 124e are connected to CPU 124a via system bus 124f. VSLAM processing unit 124 may include a GPU.

後述の図３に示される推定位置修正システム２の各部は、ＲＯＭ１２４ｃや外部メモリ１２４ｄに記憶された各種プログラムが、ＣＰＵ１２４ａ、ＲＡＭ１２４ｂ、ＲＯＭ１２４ｃ、外部メモリ１２４ｄ、インターフェイス１２４ｅ等を資源として使用することで実現される。 Each part of the estimated position correction system 2 shown in FIG. 3, which will be described later, is realized by various programs stored in the ROM 124c and external memory 124d using the CPU 124a, RAM 124b, ROM 124c, external memory 124d, interface 124e, etc. as resources. be done.

ＶｉｓｕａｌＳＬＡＭについては、ＭｏｎｏＳＬＡＭやＰＴＡＭ（ＰａｒａｌｌｅｌＴｒａｃｋｉｎｇａｎｄＭａｐｐｉｎｇ等、さまざまなアルゴリズムが開発されている。ＶＳＬＡＭ処理ユニット１２４がそのようなアルゴリズムを実装したプログラムを実行することにより、第２のカメラ１０９からの画像信号を用いてＶｉｓｕａｌＳＬＡＭによる自己位置推定とマップ作成を行い、これにより推定された自己位置（無人航空機１の周囲に存在する要素に対する無人航空機１の相対位置）や速度（位置の時間微分により求められる。）、姿勢（撮影した画像における複数の特徴点の配置から幾何学計算により求められる。）等、無人航空機１の状態を表す量を決定する。これらの量を示す信号は情報処理ユニット１２０へと出力され、そして情報処理ユニット１２０は、ＶＳＬＡＭ処理ユニット１２４から入力される情報を利用する。またＶＳＬＡＭ処理ユニット１２４が推定したマップ情報も情報処理ユニット１２０へと出力され、記録装置に記録される。なお、第２のカメラ１０９としては単眼カメラではなく、ステレオカメラを用いてもよく、この場合も同様の原理でＶｉｓｕａｌＳＬＡＭによる自己位置等の推定が可能である。 Regarding Visual SLAM, various algorithms have been developed, such as MonoSLAM and PTAM (Parallel Tracking and Mapping).The VSLAM processing unit 124 executes a program implementing such an algorithm, so that the information from the second camera 109 is Self-position estimation and map creation are performed using Visual SLAM using image signals, and the estimated self-position (relative position of the unmanned aircraft 1 with respect to elements existing around the unmanned aircraft 1) and velocity (based on the time differential of the position) are estimated. ), attitude (obtained by geometric calculation from the arrangement of a plurality of feature points in the photographed image), etc., which represent the state of the unmanned aircraft 1. Signals indicating these quantities are sent to the information processing unit. 120, and the information processing unit 120 uses the information input from the VSLAM processing unit 124.The map information estimated by the VSLAM processing unit 124 is also output to the information processing unit 120, and is recorded on the recording device. Note that a stereo camera may be used instead of a monocular camera as the second camera 109, and in this case as well, self-position etc. can be estimated by Visual SLAM using the same principle.

インターフェイス１２５は、情報処理ユニット１２０、飛行位置センサ１１０、姿勢センサ１１１、方位センサ１１２、高度センサ１１３、距離センサ１１５などの機能要素との間で信号の送受信ができるように信号の形態を変換することにより、それらを電気的に接続する構成である。なお、説明の都合上、図面においてインターフェイスは１つの構成として記載しているが、接続対象の機能要素の種類によって別のインターフェイスを使用することが通常である。また、接続対象の機能要素が入出力する信号の種類によってはインターフェイス１２５が不要な場合もある。また、図２において、インターフェイス１２５が媒介せずに接続されている情報処理ユニット１２０であっても、接続対象の機能要素が入出力する信号の種類によってはインターフェイスが必要となる場合もある。 The interface 125 converts the form of the signal so that it can be transmitted and received between functional elements such as the information processing unit 120, flight position sensor 110, attitude sensor 111, direction sensor 112, altitude sensor 113, and distance sensor 115. This configuration electrically connects them. Note that for convenience of explanation, the interface is shown as one configuration in the drawings, but different interfaces are usually used depending on the type of functional element to be connected. Further, the interface 125 may not be necessary depending on the type of signal input/output by the functional element to be connected. Further, in FIG. 2, even if the information processing unit 120 is connected without an interface 125, an interface may be necessary depending on the type of signal input/output by the functional element to be connected.

情報処理ユニット１２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部メモリ、システムバスを含む。ＲＡＭ、ＲＯＭ、外部メモリ、通信回路１２１、制御信号生成部１２２、インターフェイス１２５は、システムバスを介して、ＣＰＵに接続されている。 Information processing unit 120 includes a CPU, RAM, ROM, external memory, and a system bus. The RAM, ROM, external memory, communication circuit 121, control signal generator 122, and interface 125 are connected to the CPU via a system bus.

情報処理ユニット１２０は、操作者からの操縦信号（非自律飛行時）や飛行計画経路データ（自律飛行時）などに基づいて無人航空機１の飛行を適切に制御する。具体的には、飛行制御用の各種センサやＶＳＬＡＭ処理ユニット１２４から得られる情報により無人航空機１の姿勢、速度等を判断し、飛行位置センサ１０７から得られる情報により無人航空機１の現在の飛行位置などを判断し、操縦信号、飛行計画経路、速度制限、高度制限等の目標値と比較することにより情報処理ユニット１２０で各ロータ１０３に対する制御指令値を演算し、制御指令値を示すデータを制御信号生成部１２２に出力する。制御信号生成部１２２は、その制御指令値を電圧を表わすパルス信号に変換して各スピードコントローラ１２３に送信する。各スピードコントローラ１２３は、そのパルス信号を駆動電圧へと変換して各モータ１０２に印加し、これにより各モータ１０２の駆動を制御して各ロータ１０３の回転数を制御することにより無人航空機１の飛行が制御される。 The information processing unit 120 appropriately controls the flight of the unmanned aircraft 1 based on control signals from the operator (during non-autonomous flight), flight plan route data (during autonomous flight), and the like. Specifically, the attitude, speed, etc. of the unmanned aircraft 1 are determined based on information obtained from various sensors for flight control and the VSLAM processing unit 124, and the current flight position of the unmanned aircraft 1 is determined based on information obtained from the flight position sensor 107. The information processing unit 120 calculates a control command value for each rotor 103 by determining the control signal, flight plan route, speed limit, altitude limit, etc. by comparing it with target values such as the control signal, flight plan route, speed limit, altitude limit, etc., and controls the data indicating the control command value. It is output to the signal generation section 122. The control signal generation unit 122 converts the control command value into a pulse signal representing voltage and transmits it to each speed controller 123. Each speed controller 123 converts the pulse signal into a drive voltage and applies it to each motor 102, thereby controlling the drive of each motor 102 and controlling the rotation speed of each rotor 103, thereby controlling the speed of the unmanned aircraft 1. Flight is controlled.

ここで、飛行計画経路データは、無人航空機１の三次元（緯度、経度、高度）の飛行計画経路を表すデータであり、典型的には、飛行計画経路上に存在する一連の複数のウェイポイントの集合のデータである。飛行計画経路は、典型的には、それらの複数のウェイポイントを順番に結んだ直線の集合であるが、ウェイポイントの所定範囲内においては所定の曲率の曲線とすることもできる。好適には、飛行計画経路の特定のウェイポイントの近傍に目標位置が存在すると良い。そのウェイポイントには、それを通過後に目標位置に向かう旨の情報が付加される。そのウェイポイントは、飛行計画経路の終点（折り返し点）とすることもできる。なお、あるウェイポイントを目標位置とすることもできる。この場合、そのウェイポイントのデータには、それが目標位置である旨の情報が付加される。飛行計画経路データは、複数のウェイポイントにおける飛行速度を定めるデータを含んでいてもよい。飛行計画経路データは、典型的には自律飛行において飛行計画経路を定めるために使用されるが、非自律飛行において飛行時のガイド用として使用することもできる。飛行計画経路データは、典型的には、飛行前に無人航空機１に入力されて記憶される。 Here, the flight plan route data is data representing a three-dimensional (latitude, longitude, altitude) flight plan route of the unmanned aircraft 1, and typically includes a series of multiple waypoints existing on the flight plan route. This is a set of data. The flight plan route is typically a set of straight lines connecting the plurality of waypoints in order, but it can also be a curved line with a predetermined curvature within a predetermined range of waypoints. Preferably, the target location exists near a specific waypoint on the flight plan path. Information indicating that the vehicle will head to the target position after passing through the waypoint is added to the waypoint. The waypoint can also be the end point (turnaround point) of the flight plan route. Note that a certain waypoint can also be set as the target position. In this case, information indicating that the waypoint is a target position is added to the data of that waypoint. The flight plan route data may include data defining flight speeds at multiple waypoints. Flight plan path data is typically used to define a flight plan path in autonomous flight, but can also be used for flight guidance in non-autonomous flight. Flight plan route data is typically input into and stored in the unmanned aircraft 1 before flight.

図３は、本発明の１つの実施形態に係る推定位置修正システムの機能構成を示す図である。修正位置修正システム２は、ＶＳＬＡＭ部２０１、特徴点領域パラメータ算出部２０３、推定位置修正部２０５、記憶部２０７を備える。 FIG. 3 is a diagram showing the functional configuration of an estimated position correction system according to one embodiment of the present invention. The corrected position correction system 2 includes a VSLAM section 201, a feature point region parameter calculation section 203, an estimated position correction section 205, and a storage section 207.

ＶＳＬＡＭ部２０１は、第２のカメラ１０９が撮像した画像の画像データを取得し、取得した画像データから橋梁３に関する特徴点を検出し、検出された特徴点に基づいて、自己位置の推定とマップの作成を行う。 The VSLAM unit 201 acquires the image data of the image captured by the second camera 109, detects feature points regarding the bridge 3 from the acquired image data, and estimates and maps the self-position based on the detected feature points. Create.

特徴点分布領域パラメータ算出部２０３は、検出された特徴点が分布する領域に関するパラメータを算出する。検出された特徴点が分布する領域に関するパラメータは、例えば、検出された特徴点のうちの最も無人航空機の進行方向側の点、検出された特徴点が分布する領域の面積等、任意の適切な特徴点に関するパラメータとすることができる。 The feature point distribution region parameter calculation unit 203 calculates parameters related to the region in which the detected feature points are distributed. The parameters related to the area where the detected feature points are distributed may be any suitable parameter, such as the point closest to the direction of travel of the unmanned aircraft among the detected feature points, the area of the area where the detected feature points are distributed, etc. It can be a parameter related to feature points.

推定位置修正部２０５は、算出された特徴点が分布する領域に関するパラメータが、所定の条件を満たす場合に、推定位置を修正する。すなわち、無人航空機１が後述の横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達する前に、特徴点が分布する領域が、画像において、第１の所定の程度以上、無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの無人航空機の推定位置が、ウェイポイントに対応するように、推定位置を修正する。また、無人航空機が横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達したときに、特徴点が分布する領域が、画像において、第２の所定の程度以上、無人航空機１の進行方向側に偏って存在することに対応することを検知したとき、無人航空機をそのまま進行方向に進ませ、特徴点が分布する領域が、画像において、第２の所定の程度以上、無人航空機１の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの無人航空機の推定位置が、前記ウェイポイントに対応するように、推定位置を修正する。 The estimated position correction unit 205 corrects the estimated position when parameters related to the area in which the calculated feature points are distributed satisfy a predetermined condition. That is, while the unmanned aerial vehicle 1 is flying along a cross-country route (described later), before the estimated position of the unmanned aerial vehicle estimated by self-position estimation reaches the waypoint, the area where the feature points are distributed becomes the first point in the image. When it is detected that the unmanned aircraft is biased to the opposite side of the direction of travel to a predetermined degree or more, the estimated position of the unmanned aircraft at that time corresponds to the waypoint. Fix it. Further, when the unmanned aerial vehicle is flying along a crossing route and the estimated position of the unmanned aerial vehicle estimated by self-position estimation reaches a waypoint, the area in which the feature points are distributed is determined to be within a second predetermined degree in the image. As described above, when it is detected that the unmanned aircraft 1 is present biased toward the direction of travel, the unmanned aircraft is allowed to proceed in the direction of travel, and the area where the feature points are distributed is located in the second predetermined area in the image. When it is detected that the unmanned aircraft 1 is no longer present in the direction of travel, the estimated position is corrected so that the estimated position of the unmanned aircraft at that time corresponds to the waypoint. do.

記憶部２０７は、各種データや各種プログラムを記憶する。 The storage unit 207 stores various data and various programs.

以上のシステム構成を前提に、本発明の１つの実施形態に係る推定位置修正システムの推定位置修正処理の例を図１～６を参照して、以下に説明する。本実施形態では、橋梁の下側を撮像して点検を行う場合を例として説明する。 Based on the above system configuration, an example of the estimated position correction process of the estimated position correction system according to one embodiment of the present invention will be described below with reference to FIGS. 1 to 6. In this embodiment, an example will be described in which the underside of a bridge is imaged and inspected.

図４は、本発明の１つの実施形態に係る推定位置修正システムの推定位置修正処理の例のフローチャートである。図５は、飛行計画経路の一例を示す図である。図６は、図５の一部を拡大し、無人航空機の位置と特徴点の分布の関係の一例を示す図である。 FIG. 4 is a flowchart of an example of estimated position correction processing of the estimated position correction system according to one embodiment of the present invention. FIG. 5 is a diagram showing an example of a flight plan route. FIG. 6 is a diagram showing an example of the relationship between the position of the unmanned aircraft and the distribution of feature points by enlarging a part of FIG.

無人航空機１の飛行前の事前準備として、適切な飛行計画経路を作成し、飛行計画経路上に存在する一連の複数のウェイポイントの集合を飛行計画経路データとして情報処理ユニット１２０に記憶させておく。飛行計画経路データは、それぞれのウェイポイントにおける高度あるいは対地高度の情報を含むこともできる。無人航空機１の飛行計画経路データを情報処理ユニット１２０に記憶させる際には、それらを無線信号で無人航空機１に送信し、アンテナ１１７及び通信回路１２１を経由して情報処理ユニット１２０に読み込ませると好適である。無人航空機１が他の適当なインターフェイスを有している場合、そのインターフェイスを経由して無人航空機１の情報処理ユニット１２０に読み込ませてもよい。 As a preliminary preparation before the flight of the unmanned aircraft 1, an appropriate flight plan route is created, and a set of a series of multiple waypoints existing on the flight plan route is stored in the information processing unit 120 as flight plan route data. . The flight plan route data can also include information on altitude or altitude above ground at each waypoint. When the flight plan route data of the unmanned aircraft 1 is stored in the information processing unit 120, it is transmitted to the unmanned aircraft 1 as a wireless signal and read into the information processing unit 120 via the antenna 117 and the communication circuit 121. suitable. If the unmanned aircraft 1 has another suitable interface, the information may be read into the information processing unit 120 of the unmanned aircraft 1 via that interface.

図５は、飛行計画経路ＲＴの一部の一例を示す図である。橋梁３の長手方向に直交する方向に延びる横断経路Ｔ１、Ｔ２、Ｔ３、・・・と橋梁３の側縁３１との交点がウェイポイントＰ１、Ｐ２、Ｐ３、・・・として設定され、横断経路Ｔ１、Ｔ２、Ｔ３、・・・が橋梁３の側縁３１に沿って延びる連結経路Ｊ１、Ｊ２、Ｊ３、・・・を介して連結されている。隣接する横断経路間の間隔は、第１のカメラ１０８の撮影幅に基づいて、隣接する横断経路での撮影幅のオーバラップ量を考慮して決定される。また、ウェイポイントの高度は、橋梁３から所定の距離だけ下方とされる。連結経路は、必ずしも橋梁の側縁上にある必要はなく、橋梁の側縁に沿っていればよい。 FIG. 5 is a diagram showing an example of a part of the flight plan route RT. The intersections of the cross paths T1, T2, T3, . . . extending in a direction perpendicular to the longitudinal direction of the bridge 3 and the side edges 31 of the bridge 3 are set as waypoints P1, P2, P3, . T1, T2, T3, . . . are connected via connection paths J1, J2, J3, . . . extending along the side edge 31 of the bridge 3. The interval between adjacent crossing paths is determined based on the imaging width of the first camera 108, taking into consideration the amount of overlap between the imaging widths of the adjacent crossing paths. Further, the altitude of the waypoint is set to be a predetermined distance below the bridge 3. The connection path does not necessarily need to be on the side edge of the bridge, but may just be along the side edge of the bridge.

飛行前の事前準備が完了すると、情報処理ユニット１２０により飛行計画経路に沿った自律飛行制御が行われる。すなわち、情報処理ユニット１２０は、情報処理ユニット１２０から飛行計画経路データを読み出し、それによって定められる飛行計画経路に沿って目標位置に飛行するように無人航空機１を制御する。具体的には、飛行計画経路データで定められるウェイポイントをその順番に経由して飛行するように無人航空機１の飛行方向及び高度を制御する。飛行計画経路は好適には目標となる飛行速度のデータを含んでおり、無人航空機１は、その飛行速度で飛行計画経路に沿って飛行するように制御される。なお、情報処理ユニット１２０は、飛行時に、ユーザからの手動の操作を受け付けて非自律飛行を実行させることができる。この場合、飛行計画経路はガイド用として使用することになり、例えば、手動の操作が終了したときに無人航空機１を飛行計画経路上に復帰させることなどができる。 When the preflight preparations are completed, the information processing unit 120 performs autonomous flight control along the flight plan route. That is, the information processing unit 120 reads the flight plan route data from the information processing unit 120, and controls the unmanned aircraft 1 to fly to the target position along the flight plan route determined by the read flight plan route data. Specifically, the flight direction and altitude of the unmanned aircraft 1 are controlled so that the unmanned aircraft 1 flies through the waypoints defined by the flight plan route data in that order. The flight plan path preferably includes data on a target flight speed, and the unmanned aircraft 1 is controlled to fly along the flight plan path at that flight speed. Note that the information processing unit 120 can perform non-autonomous flight by accepting manual operations from the user during flight. In this case, the flight plan route is used as a guide, and for example, the unmanned aircraft 1 can be returned to the flight plan route when the manual operation is completed.

ＶＳＬＡＭ部２０１は、飛行中に、第２のカメラ１０９が橋梁３の下方から橋梁３を撮像した画像の画像データを取得し、取得した画像データから橋梁３に関する特徴点を検出し、検出された特徴点に基づいて、自己位置の推定とマップの作成を行う（Ｓ１０１）。 The VSLAM unit 201 acquires image data of an image of the bridge 3 taken by the second camera 109 from below the bridge 3 during the flight, detects feature points regarding the bridge 3 from the acquired image data, and detects the detected feature points. Based on the feature points, the self-position is estimated and a map is created (S101).

特徴点分布領域パラメータ算出部２０５は、検出された特徴点が分布する領域に関するパラメータである、検出された特徴点のうちの最も機体の進行方向側の点Ｃｔを算出する（Ｓ１０３）。 The feature point distribution area parameter calculation unit 205 calculates a point Ct closest to the moving direction of the aircraft among the detected feature points, which is a parameter related to the area where the detected feature points are distributed (S103).

推定位置修正部２０５は、算出された検出された特徴点のうちの最も機体の進行方向側の点が、所定の条件を満たす場合に、推定位置を修正する。 The estimated position correction unit 205 corrects the estimated position when the point closest to the traveling direction of the aircraft among the calculated detected feature points satisfies a predetermined condition.

図６は、図５の一部を拡大し、無人航空機の位置と特徴点の分布の関係の一例を示す図である。無人航空機１が橋梁３の下を飛行しているとき（例えば図６のＡ点）、上方を撮像可能な第２のカメラ１０９により取得された画像Ｉには、画像全体に橋梁３が撮像されているので、検出される特徴点Ｃ、Ｃｔは、図６の（I）に示されるように、取得された画像全体に分布する。一方、無人航空機１が橋梁の側縁３１付近に達すると（例えば図６のＢ点）、第２のカメラ１０９により取得された画像Ｉの、無人航空機１の進行方向とは反対側には橋梁３が撮像され、無人航空機１の進行方向側には空が撮像されるので、検出される特徴点Ｃ、Ｃｔは、図６の（II）に示されるように、取得された画像Ｉの、無人航空機１の進行方向とは反対側の領域に分布し、取得された画像Ｉの無人航空機１の進行方向側には特徴点Ｃ、Ｃｔが分布しない。すなわち、取得された画像Ｉにおいて、特徴点Ｃ、Ｃｔが分布する領域は、所定の程度、無人航空機１の進行方向とは反対側に偏って存在する。 FIG. 6 is a diagram showing an example of the relationship between the position of the unmanned aircraft and the distribution of feature points by enlarging a part of FIG. When the unmanned aerial vehicle 1 is flying under the bridge 3 (for example, point A in FIG. 6), the bridge 3 is imaged in the entire image in the image I acquired by the second camera 109 that can image upward. Therefore, the detected feature points C and Ct are distributed over the entire acquired image, as shown in FIG. 6(I). On the other hand, when the unmanned aerial vehicle 1 reaches near the side edge 31 of the bridge (for example, point B in FIG. 6), the image I acquired by the second camera 109 shows that the bridge 3 is imaged, and the sky is imaged on the advancing direction side of the unmanned aircraft 1, so the detected feature points C and Ct are, as shown in (II) of FIG. 6, of the acquired image I. The feature points C and Ct are distributed in a region opposite to the direction of movement of the unmanned aircraft 1, and feature points C and Ct are not distributed on the side of the direction of movement of the unmanned aircraft 1 in the acquired image I. That is, in the acquired image I, the region in which the feature points C and Ct are distributed is biased to a predetermined extent toward the opposite side of the direction of travel of the unmanned aircraft 1.

したがって、この特徴点の分布を利用して、横断経路を飛行しているときに、検出された特徴点Ｃ、Ｃｔが取得された画像Ｉ全体に分布している場合は、無人航空機１は橋梁３の下を飛行しており、特徴点Ｃ、Ｃｔが分布する領域が、所定の程度、無人航空機１の進行方向とは反対側に偏って存在する場合は、無人航空機１は橋梁３の側縁３１付近、すなわち次のウェイポイント付近を飛行していると判断することができる。 Therefore, when the detected feature points C and Ct are distributed over the entire acquired image I when flying a crossing route using this distribution of feature points, the unmanned aircraft 1 3, and if the area where the feature points C and Ct are distributed is biased to the opposite side of the direction of travel of the unmanned aircraft 1 to a predetermined extent, the unmanned aircraft 1 is flying on the side of the bridge 3. It can be determined that the aircraft is flying near the edge 31, that is, near the next waypoint.

一方、ＶｉｓｕａｌＳＬＡＭによる自己位置推定においては、飛行距離が大きくなるにつれて誤差が累積するが、正の誤差が累積すると、実際の自己位置が次のウェイポイントに到達しても、推定された自己位置がウェイポイントにまだ到達していないという状態が生じ、負の誤差が累積すると、推定された自己位置が飛行計画経路上のウェイポイントに到達したとき、実際の自己位置は、ウェイポイントの手前となるという状態が生じる。 On the other hand, in self-position estimation using Visual SLAM, errors accumulate as the flight distance increases, but when positive errors accumulate, even if the actual self-position reaches the next waypoint, the estimated self-position If a situation arises in which the user has not yet reached the waypoint and negative errors accumulate, when the estimated self-position reaches the waypoint on the flight plan path, the actual self-position will be before the waypoint. A situation arises.

そこで、推定位置修正部２０７は、横断経路（例えばＴ２）を飛行中に、ＶＳＬＡＭ部２０３が推定した自己位置がウェイポイント（例えばＰ３）に到達する前に（Ｓ１０５）、特徴点領域の第１の代表点である、ステップＳ１０３で算出された検出された特徴点Ｃのうちの最も機体の進行方向側の点Ｃｔが、取得された画像Ｉ中の第１の領域である、画像中央から無人航空機１の進行方向とは反対側の領域Ｒ１に入ったことを検知した場合（図６の（III））（Ｓ１０７）、そのときの無人航空機１の推定位置をウェイポイント（例えばＰ３）の位置に修正する（Ｓ１１３）。推定位置の修正は、ウェイポイントそのものの位置ではなく、ウェイポイント近辺の任意の適切なウェイポイントに対応する位置に修正してもよい。 Therefore, the estimated position correction unit 207 adjusts the self-position estimated by the VSLAM unit 203 to the first point in the feature point area (S105) before the self-position estimated by the VSLAM unit 203 reaches the waypoint (for example, P3) while flying on the crossing route (for example, T2). Of the detected feature points C calculated in step S103, the point Ct closest to the moving direction of the aircraft, which is a representative point of When it is detected that the aircraft 1 has entered the region R1 on the opposite side to the direction of travel ((III) in FIG. 6) (S107), the estimated position of the unmanned aircraft 1 at that time is set as the position of the waypoint (for example, P3). (S113). The estimated position may be corrected not to the position of the waypoint itself but to a position corresponding to any appropriate waypoint in the vicinity of the waypoint.

また、推定位置修正部２０５は、横断経路（例えばＴ２）を飛行中に、ＶＳＬＡＭ部２０１が推定した自己位置がウェイポイント（例えばＰ３）に到達したときに、ステップＳ１０３で算出された検出された特徴点Ｃのうちの最も機体の進行方向側の点Ｃｔが、取得された画像中の第２の領域である、画像中央から無人航空機１の進行方向側の領域Ｒ２に位置していたことを検知した場合（図６の（I）、（II））（Ｓ１０９）、進行方向を変えることなくそのままの進行方向に無人航空機１を進めるように制御信号生成部１２２に指示を与え（Ｓ１１１）、特徴点領域の第２の代表点である、ステップＳ１０３で算出された検出された特徴点Ｃのうちの最も機体の進行方向側の点Ｃｔが、取得された画像Ｉ中の第２の領域である、画像中央から無人航空機１の進行方向側の領域Ｒ２から外れたことを検知した場合（図６の（III））（Ｓ１０９）、そのときの無人航空機１の推定位置をウェイポイント（例えばＰ３）の位置に修正する（Ｓ１１３）。 In addition, when the self-position estimated by the VSLAM unit 201 reaches a waypoint (for example, P3) while flying on a crossing route (for example, T2), the estimated position correction unit 205 adjusts the detected position calculated in step S103. Of the feature points C, the point Ct closest to the direction of movement of the aircraft is located in the second region in the acquired image, which is the region R2 on the side of the direction of movement of the unmanned aircraft 1 from the center of the image. If detected ((I), (II) in FIG. 6) (S109), an instruction is given to the control signal generation unit 122 to advance the unmanned aircraft 1 in the same direction of travel without changing the direction of travel (S111), Of the detected feature points C calculated in step S103, the point Ct closest to the aircraft traveling direction, which is the second representative point of the feature point region, is the second representative point in the acquired image I. When it is detected that the unmanned aerial vehicle 1 is out of the area R2 on the advancing direction side from the center of the image ((III) in FIG. 6) (S109), the estimated position of the unmanned aerial vehicle 1 at that time is set as a waypoint (for example, P3). ) to the position (S113).

上記実施形態においては、抽出された特徴点が分布する領域に関するパラメータが、抽出された特徴点のうちの最も機体の進行方向側の点である例を説明したが、抽出された特徴点が分布する領域に関するパラメータは、これに限定されるものではなく、特徴点が分布する領域が、画像において、所定の程度以上、無人航空機の進行方向側又は進行方向とは反対側に偏って存在することに対応する指標となる任意の適切なパラメータとすることができる。 In the above embodiment, an example has been described in which the parameter related to the area where the extracted feature points are distributed is the point closest to the aircraft's traveling direction among the extracted feature points. Parameters related to the area to be detected are not limited to these, but include the fact that the area in which the feature points are distributed is biased to a predetermined degree or more in the direction of movement of the unmanned aircraft or to the side opposite to the direction of movement in the image. can be any suitable parameter that is indicative of the .

このようなパラメータとして、例えば、抽出された特徴点が分布する領域の面積に関するパラメータを考えることができる。すなわち、図６の（I）～（III）を参照して、無人航空機が横断経路を飛行しているときは、画像の進行方向側のみに特徴点が分布する領域が存在することはないから、例えば、特徴点が分布する領域の面積、ないしは画像の全領域の面積に対する特徴点が分布する領域の面積の割合といった特徴点が分布する領域の面積に関するパラメータが小さいほど、特徴点が分布する領域が、無人航空機の進行方向とは反対側に偏って存在する程度が大きくなる。したがって、この場合、無人航空機が横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達する前に、特徴点が分布する領域の面積に関するパラメータが、第１の閾値以下であることを検知したとき、そのときの無人航空機の推定位置が、ウェイポイントに対応するように、無人航空機の推定位置を修正し、無人航空機が横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達したときに、特徴点が分布する領域の面積に関するパラメータが、第２の閾値以上であることを検知したとき、無人航空機をそのまま進行方向に進ませ、特徴点が分布する領域の面積に関するパラメータが、第２の閾値よりも小さくなったことを検知したとき、そのときの無人航空機の推定位置が、ウェイポイントに対応するように、無人航空機の推定位置を修正する構成とすればよい。 As such a parameter, for example, a parameter related to the area of a region in which extracted feature points are distributed can be considered. In other words, referring to (I) to (III) in Figure 6, when an unmanned aircraft is flying a cross route, there is no region where feature points are distributed only on the advancing direction side of the image. For example, the smaller the parameter related to the area of the region where the feature points are distributed, such as the area of the region where the feature points are distributed, or the ratio of the area of the region where the feature points are distributed to the area of the entire area of the image, the more the feature points will be distributed. The extent to which the area is biased toward the opposite side of the direction in which the unmanned aircraft is traveling increases. Therefore, in this case, while the unmanned aircraft is flying a cross route, before the estimated position of the unmanned aircraft estimated by self-position estimation reaches the waypoint, the parameter regarding the area of the region where the feature points are distributed is When the estimated position of the unmanned aircraft is detected to be below the threshold, the estimated position of the unmanned aircraft at that time is corrected so that it corresponds to the waypoint, and the unmanned aircraft adjusts its own position while flying the crossing route. When the estimated position of the unmanned aircraft reaches the waypoint, and it is detected that the parameter related to the area of the area where the feature points are distributed is equal to or larger than the second threshold, the unmanned aircraft is moved in the direction of travel. When it is detected that the parameter related to the area of the region where the feature points are distributed has become smaller than the second threshold, the unmanned aircraft is adjusted so that the estimated position of the unmanned aircraft at that time corresponds to the waypoint. The configuration may be such that the estimated position of the aircraft is corrected.

また、上記実施形態においては、抽出された特徴点が分布する領域に関するパラメータが、抽出された特徴点のうちの最も無人航空機の進行方向側の点を用いたが、特徴点が分布する領域の重心や、抽出された特徴点のうちの複数の最も無人航空機の進行方向側の点を加重平均した点等、他の任意の適切な特徴点が分布する領域の代表点を用いることもできる。 In addition, in the above embodiment, the parameter regarding the area where the extracted feature points are distributed is the point closest to the direction of travel of the unmanned aircraft among the extracted feature points, but the parameter regarding the area where the extracted feature points are distributed is It is also possible to use a representative point of a region where any other suitable feature points are distributed, such as the center of gravity or a weighted average of a plurality of extracted feature points closest to the direction of travel of the unmanned aircraft.

また、上記実施形態においては、第１の代表点と第２の代表点が同じであったが、両者は異なっていてもよい。 Further, in the above embodiment, the first representative point and the second representative point are the same, but they may be different.

また、上記実施形態においては、第１の領域として、画像中央から無人航空機１の進行方向とは反対側の領域を、第２の領域として、画像中央から無人航空機１の進行方向側の領域を用いたが、これに限定されるものではなく、他の任意の適切な領域を用いることができる。 Further, in the above embodiment, the first area is the area opposite to the direction of movement of the unmanned aircraft 1 from the center of the image, and the second area is the area on the side of the movement direction of the unmanned aircraft 1 from the center of the image. Although not limited thereto, any other suitable region can be used.

また、上記実施形態においては、横断経路は、橋梁の長手方向に直交する方向に延びる経路としたが、これに限定されるものではなく、他の任意の適切な方向とすることができ、また横断経路毎に異なる方向とすることができる。また、横断経路は、直線経路でなく、曲線経路であってもよい。 Further, in the above embodiment, the cross route is a route extending in a direction perpendicular to the longitudinal direction of the bridge, but it is not limited to this, and may be in any other suitable direction. Each traversal path can be in a different direction. Further, the crossing route may not be a straight route but may be a curved route.

本実施形態によれば、ＶｉｓｕａｌＳＬＡＭにより推定される自己位置に累積する誤差を、所定のタイミングで修正することができる。 According to this embodiment, the error that accumulates in the self-position estimated by Visual SLAM can be corrected at a predetermined timing.

ＶｉｓｕａｌＳＬＡＭによる自己位置推定において、負の誤差が累積すると、推定された自己位置が飛行計画経路上のウェイポイントに到達したとき、実際の自己位置は、ウェイポイントの手前となるので、ウェイポイントで折り返すと、橋梁の端部側に点検されない部分が残ってしまうが、本実施形態によれば、無人航空機１を橋梁の端部まで進めるので、点検されない部分を残さないようにすることができる。 When negative errors accumulate in self-position estimation using Visual SLAM, when the estimated self-position reaches a waypoint on the flight plan route, the actual self-position will be before the waypoint. If the bridge is turned back, a portion that will not be inspected will remain on the end side of the bridge, but according to this embodiment, the unmanned aircraft 1 is advanced to the end of the bridge, so it is possible to avoid leaving any portion that will not be inspected.

また、ＶｉｓｕａｌＳＬＡＭによる自己位置推定において、正の誤差が累積すると、実際の自己位置がウェイポイントに到達しても、推定された自己位置がウェイポイントにまだ到達していないので、機体はそのまま進行方向に進む。そのため、機体は橋梁下の外にはみ出してしまうため、撮像された画像には空しか写らず、特徴点を検出することができないため、方向を見失ってしまい、自律飛行ができなくなってしまうが、本実施形態によれば、そのような方向を見失うことを防止することができる。 Additionally, when positive errors accumulate in self-position estimation using Visual SLAM, even if the actual self-position reaches the waypoint, the estimated self-position has not yet reached the waypoint, so the aircraft will continue to move forward. Go in the direction. As a result, the aircraft protrudes outside under the bridge, and the captured image shows only the sky, making it impossible to detect feature points, causing it to lose its direction and become unable to fly autonomously. According to this embodiment, it is possible to prevent such a direction from being lost.

以上、本発明について、例示のためにいくつかの実施形態に関して説明してきたが、本発明はこれに限定されるものでなく、本発明の範囲及び精神から逸脱することなく、形態及び詳細について、様々な変形及び修正を行うことができることは、当業者に明らかであろう。 Although the present invention has been described above with respect to several embodiments for illustrative purposes, the present invention is not limited thereto, and may be modified in form and detail without departing from the scope and spirit of the present invention. It will be apparent to those skilled in the art that various changes and modifications can be made.

１無人航空機
１０１制御ユニット
１０２モータ
１０３ロータ
１０４アーム
１０５着陸脚
１０６台座
１０７支持部材
１０８第１のカメラ
１０９第２のカメラ
１１０飛行位置センサ
１１１姿勢センサ
１１２方位センサ
１１３高度センサ
１１５距離センサ
１１７アンテナ
１２０情報処理ユニット
１２１通信回路
１２２制御信号生成部
１２３スピードコントローラ
１２４ＶＳＬＡＭユニット
１２４ａＣＰＵ
１２４ｂＲＡＭ
１２４ｃＲＯＭ
１２４ｄ外部メモリ
１２４ｅインターフェイス
１２４ｆシステムバス
１２５インターフェイス
２推定位置修正システム
２０１ＶＳＬＡＭ部
２０３特徴点領域パラメータ算出部
２０５推定位置修正部
２０７記憶部
３橋梁
３１側縁
ＲＴ飛行計画経路
Ｔ１、Ｔ２、Ｔ３横断経路
Ｊ１、Ｊ２、Ｊ３連結経路
Ｐ１、Ｐ２、Ｐ３ウェイポイント
Ｉ画像
Ｃ特徴点
Ｃｔ最も機体の進行方向側の特徴点
ＣＡ特徴点領域
Ｒ１第１の領域
Ｒ２第２の領域 1 Unmanned aerial vehicle 101 Control unit 102 Motor 103 Rotor 104 Arm 105 Landing legs 106 Pedestal 107 Support member 108 First camera 109 Second camera 110 Flight position sensor 111 Attitude sensor 112 Direction sensor 113 Altitude sensor 115 Distance sensor 117 Antenna 120 Information Processing unit 121 Communication circuit 122 Control signal generation section 123 Speed controller 124 VSLAM unit 124a CPU
124b RAM
124c ROM
124d External memory 124e Interface 124f System bus 125 Interface 2 Estimated position correction system 201 VSLAM section 203 Feature point area parameter calculation section 205 Estimated position correction section 207 Storage section 3 Bridge 31 Side edge RT Flight plan route T1, T2, T3 Crossing route J1 , J2, J3 Connecting routes P1, P2, P3 Waypoint I Image C Feature point Ct Feature point CA closest to the aircraft's traveling direction Feature point region R1 First region R2 Second region

Claims

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステム。 An unmanned aircraft that is equipped with an imaging device capable of capturing an image above, extracts feature points from the image acquired by the imaging device, and flies while estimating its own position based on the feature points, traverses a plurality of crossing paths across the bridge. When flying while imaging the bridge from below the bridge based on a flight plan path formed by interconnecting the ends of the bridge via a connecting path extending along the side edges of the bridge, A system for correcting the estimated position of the unmanned aerial vehicle, the system comprising:
The connection route has a first end and a second end in the order of flight of the unmanned aircraft,
In the flight plan path, the first end is set as a waypoint,
While the unmanned aircraft is flying along the crossing route, before the estimated position of the unmanned aircraft estimated by the self-position estimation reaches the waypoint, the area where the feature points are distributed is When it is detected that the unmanned aerial vehicle is biased toward the opposite side of the traveling direction of the unmanned aerial vehicle by a predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time corresponds to the waypoint. and a system for correcting the estimated position of the unmanned aerial vehicle.

前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することは、前記特徴点が分布する領域の第１の代表点が、前記画像中の前記無人航空機の進行方向とは反対側の第１の領域に入ったことであり、前記第１の代表点は、前記特徴点が分布する領域が、前記画像において、前記第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応する指標となるものである請求項１に記載のシステム。 The fact that the region in which the feature points are distributed is biased toward the opposite side of the traveling direction of the unmanned aircraft by a first predetermined degree or more in the image means that the region in which the feature points are distributed is The first representative point has entered a first region in the image on the opposite side to the direction of travel of the unmanned aircraft, and the first representative point has entered the region in which the feature points are distributed. 2. The system according to claim 1, wherein in the image, the index corresponds to the fact that the unmanned aerial vehicle is biased toward the opposite side of the traveling direction of the unmanned aircraft by more than the first predetermined degree.

前記特徴点が分布する領域の第１の代表点は、抽出された前記特徴点のうちの最も前記無人航空機の進行方向側の点である請求項２に記載のシステム。 3. The system according to claim 2, wherein the first representative point of the region where the feature points are distributed is a point closest to the direction of travel of the unmanned aircraft among the extracted feature points.

前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、第１の閾値以下であることである請求項１に記載のシステム。 The fact that the region in which the feature points are distributed is biased toward the opposite side of the traveling direction of the unmanned aircraft by a first predetermined degree or more in the image means that the region in which the feature points are distributed is The system of claim 1, wherein a parameter related to the area of is less than or equal to a first threshold value.

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステム。 An unmanned aircraft that is equipped with an imaging device capable of capturing an image above, extracts feature points from the image acquired by the imaging device, and flies while estimating its own position based on the feature points, traverses a plurality of crossing paths across the bridge. When flying while imaging the bridge from below the bridge based on a flight plan path formed by interconnecting the ends of the bridge via a connecting path extending along the side edges of the bridge, A system for correcting the estimated position of the unmanned aerial vehicle, the system comprising:
The connection route has a first end and a second end in the order of flight of the unmanned aircraft,
In the flight plan route, the first end is set as a waypoint,
When the estimated position of the unmanned aircraft estimated by the self-position estimation reaches the waypoint while the unmanned aircraft is flying along the crossing route, the area where the feature points are distributed becomes When it is detected that the unmanned aircraft is biased toward the direction of travel of the unmanned aircraft by a predetermined degree or more, the unmanned aircraft is allowed to proceed in the direction of travel, and the area where the feature points are distributed is When it is detected in the image that the unmanned aerial vehicle is no longer present in the direction of travel by a second predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time is set to the waypoint. A system for correspondingly modifying the estimated position of the unmanned aerial vehicle.

前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することは、前記特徴点が分布する領域の第２の代表点が、前記画像中の前記無人航空機の進行方向側の第２の領域に位置していたことを検知したことであり、
前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することは、前記特徴点が分布する領域の第２の代表点が、前記画像中の前記第２の領域から外れたことを検知したことであり、
前記第２の代表点は、前記特徴点が分布する領域が、前記画像において、前記第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応する指標となるものである請求項５に記載のシステム。 The fact that the region in which the feature points are distributed is biased towards the direction of travel of the unmanned aircraft by a second predetermined degree or more in the image means that detecting that the representative point was located in a second region on the traveling direction side of the unmanned aircraft in the image;
This corresponds to the fact that the region in which the feature points are distributed no longer exists in the image in a biased direction toward the direction of travel of the unmanned aircraft by a second predetermined degree or more. detecting that the second representative point is out of the second area in the image ;
The second representative point is an indicator that corresponds to the fact that the area in which the feature points are distributed is biased towards the direction of travel of the unmanned aircraft by more than the second predetermined degree in the image. The system according to claim 5.

前記特徴点が分布する領域の第２の代表点は、抽出された前記特徴点のうちの最も前記無人航空機の進行方向側の点である請求項６に記載のシステム。 7. The system according to claim 6, wherein the second representative point of the region where the feature points are distributed is a point closest to the direction of travel of the unmanned aircraft among the extracted feature points.

前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、第２の閾値以上であることを検知したことであり、
前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、前記第２の閾値よりも小さくなったことを検知したことである請求項５に記載のシステム。 The fact that the area where the feature points are distributed is biased toward the direction of travel of the unmanned aircraft by a second predetermined degree or more in the image is related to the area of the area where the feature points are distributed. detecting that the parameter is equal to or higher than a second threshold;
This corresponds to the fact that the region in which the feature points are distributed no longer exists in the image in a biased direction toward the direction of travel of the unmanned aircraft by a second predetermined degree or more. 6. The system according to claim 5, wherein the detection is that a parameter related to area has become smaller than the second threshold.

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正し、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステム。 An unmanned aircraft that is equipped with an imaging device capable of capturing an image above, extracts feature points from the image acquired by the imaging device, and flies while estimating its own position based on the feature points, traverses a plurality of crossing paths across the bridge. When flying while imaging the bridge from below the bridge based on a flight plan path formed by interconnecting the ends of the bridge via a connecting path extending along the side edges of the bridge, A system for correcting the estimated position of the unmanned aerial vehicle, the system comprising:
The connection route has a first end and a second end in the order of flight of the unmanned aircraft,
In the flight plan route, the first end is set as a waypoint,
While the unmanned aircraft is flying along the crossing route, before the estimated position of the unmanned aircraft estimated by the self-position estimation reaches the waypoint, the area where the feature points are distributed is When it is detected that the unmanned aerial vehicle is biased toward the opposite side of the direction of travel of the unmanned aerial vehicle by a predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time corresponds to the waypoint. correcting the estimated position of the unmanned aerial vehicle;
When the unmanned aerial vehicle is flying along the crossing route and the estimated position of the unmanned aerial vehicle estimated by the self-position estimation reaches the waypoint, the area where the feature points are distributed becomes the When it is detected that the unmanned aircraft is biased towards the direction of travel of the unmanned aircraft by a predetermined degree or more, the unmanned aircraft is allowed to proceed in the direction of travel, and the area where the feature points are distributed is When it is detected in the image that the unmanned aerial vehicle is no longer present toward the direction of travel of the unmanned aerial vehicle by a second predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time is set to the waypoint. A system for correspondingly modifying the estimated position of the unmanned aerial vehicle.

請求項１～９のいずれか１項に記載のシステムを搭載した無人航空機。 An unmanned aircraft equipped with the system according to any one of claims 1 to 9.

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法。 An unmanned aircraft that is equipped with an imaging device capable of capturing an image above, extracts feature points from the image acquired by the imaging device, and flies while estimating its own position based on the feature points, traverses a plurality of crossing paths across the bridge. When flying while imaging the bridge from below the bridge based on a flight plan path formed by interconnecting the ends of the bridge via a connecting path extending along the side edges of the bridge, A method of correcting an estimated position of an unmanned aerial vehicle performed by a computer, the method comprising:
The connection route has a first end and a second end in the order of flight of the unmanned aircraft,
In the flight plan route, the first end is set as a waypoint,
While the unmanned aircraft is flying along the crossing route, before the estimated position of the unmanned aircraft estimated by the self-position estimation reaches the waypoint, the area where the feature points are distributed is When it is detected that the unmanned aerial vehicle is biased toward the opposite side of the direction of travel of the unmanned aerial vehicle by a predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time corresponds to the waypoint. and a method for correcting the estimated position of the unmanned aerial vehicle.

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法。 An unmanned aircraft that is equipped with an imaging device capable of capturing an image above, extracts feature points from the image acquired by the imaging device, and flies while estimating its own position based on the feature points, traverses a plurality of crossing paths across the bridge. When flying while imaging the bridge from below the bridge based on a flight plan path formed by interconnecting the ends of the bridge via a connecting path extending along the side edges of the bridge, A method of correcting an estimated position of an unmanned aerial vehicle performed by a computer, the method comprising:
The connection route has a first end and a second end in the order of flight of the unmanned aircraft,
In the flight plan route, the first end is set as a waypoint,
When the estimated position of the unmanned aircraft estimated by the self-position estimation reaches the waypoint while the unmanned aircraft is flying along the crossing route, the area where the feature points are distributed becomes When it is detected that the unmanned aircraft is biased toward the direction of travel of the unmanned aircraft by a predetermined degree or more, the unmanned aircraft is allowed to proceed in the direction of travel, and the area where the feature points are distributed is When it is detected in the image that the unmanned aerial vehicle is no longer present in the direction of travel by a second predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time is set to the waypoint. A method for correspondingly modifying the estimated position of the unmanned aerial vehicle.

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正し、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法。 An unmanned aircraft that is equipped with an imaging device capable of capturing an image above, extracts feature points from the image acquired by the imaging device, and flies while estimating its own position based on the feature points, traverses a plurality of crossing paths across the bridge. When flying while imaging the bridge from below the bridge based on a flight plan path formed by interconnecting the ends of the bridge via a connecting path extending along the side edges of the bridge, A method of correcting an estimated position of an unmanned aerial vehicle performed by a computer, the method comprising:
The connection route has a first end and a second end in the order of flight of the unmanned aircraft,
In the flight plan route, the first end is set as a waypoint,
While the unmanned aircraft is flying along the crossing route, before the estimated position of the unmanned aircraft estimated by the self-position estimation reaches the waypoint, the area where the feature points are distributed is When it is detected that the unmanned aerial vehicle is biased toward the opposite side of the direction of travel of the unmanned aerial vehicle by a predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time corresponds to the waypoint. correcting the estimated position of the unmanned aerial vehicle;
When the estimated position of the unmanned aircraft estimated by the self-position estimation reaches the waypoint while the unmanned aircraft is flying along the crossing route, the area where the feature points are distributed becomes When it is detected that the unmanned aircraft is biased toward the direction of travel of the unmanned aircraft by a predetermined degree or more, the unmanned aircraft is allowed to proceed in the direction of travel, and the area where the feature points are distributed is When it is detected in the image that the unmanned aerial vehicle is no longer present in the direction of travel by a second predetermined degree or more, the estimated position of the unmanned aerial vehicle at that time is set to the waypoint. A method for correspondingly modifying the estimated position of the unmanned aerial vehicle.

請求項１１～１３のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。 A program for causing a computer to execute the method according to any one of claims 11 to 13.

請求項１４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium recording the program according to claim 14.