JP2023070120A - 自律飛行制御方法、自律飛行制御装置および自律飛行制御システム - Google Patents

Abstract

【課題】自己位置推定の精度を向上させ安定的にドローンを飛行させること。
【解決手段】本開示による無人飛行体の自律飛行制御方法は、前記無人飛行体の飛行中に、前記無人飛行体に搭載される少なくとも一のセンサから得られるセンサ情報に基づいて、前記無人飛行体の飛行位置を推定することと、前記飛行位置の推定の繰り返しに基づき得られる前記無人飛行体の飛行累積位置と、前記無人飛行体の飛行予定経路との差に基づいて、前記無人飛行体の駆動部に対する制御を行うことと、前記無人飛行体に搭載されるカメラにより撮像される前記飛行予定経路に沿って設けられるマーカに対する画像処理の結果と、前記マーカの実空間上の位置情報とに基づいて、前記無人飛行体の飛行累積位置の情報を補正することと、を含む。
【選択図】図１

Description

本開示は、自律飛行制御方法、自律飛行制御装置および自律飛行制御システムに関する。

近年、ドローンやマルチコプター等の無人飛行体を用いた構造物の点検が行われている。特に、人件費等のコストを削減し、また人員が点検時に災害に巻き込まれるリスクを下げるために、かかる無人飛行体に対して自律飛行制御を行い、所定の点検を行わせる技術が開発されている。例えば、特許文献１には、水処理現場において、無人飛行体を自律移動させるよう制御し、検査対象の機器に対して飛行させてデータを取得する技術が開示されている。

特開２０１９－１６４７５１号公報

上記特許文献１に開示された技術では、所定位置まで無人飛行体が自律飛行する際に無人飛行体の位置を推定する必要がある。かかる自己位置推定においては、推定結果と実空間上の位置とが大きく乖離することがある。

そこで、本開示は上記問題点に鑑みてなされたものであり、その目的は、自己位置推定の精度を向上させ安定的にドローンを飛行させることが可能な、自律飛行制御方法、自律飛行制御装置および自律飛行制御システムを提供することである。

本開示によれば、無人飛行体の自律飛行制御方法であって、前記無人飛行体の飛行中に、前記無人飛行体に搭載される少なくとも一のセンサから得られるセンサ情報に基づいて、前記無人飛行体の飛行位置を推定することと、前記飛行位置の推定の繰り返しに基づき得られる前記無人飛行体の飛行累積位置と、前記無人飛行体の飛行予定経路との差に基づいて、前記無人飛行体の駆動部に対する制御を行うことと、前記無人飛行体に搭載されるカメラにより撮像される前記飛行予定経路に沿って設けられるマーカに対する画像処理の結果と、前記マーカの実空間上の位置情報とに基づいて、前記無人飛行体の飛行累積位置の情報を補正することと、を含む、自律飛行制御方法が提供される。

また、本開示によれば、無人飛行体の自律飛行制御装置であって、前記無人飛行体の飛行中に、前記無人飛行体に搭載される少なくとも一のセンサから得られるセンサ情報に基づいて、前記無人飛行体の飛行位置を推定する飛行***置情報推定部と、前記飛行位置の推定の繰り返しに基づき得られる前記無人飛行体の飛行累積位置と、前記無人飛行体の飛行予定経路との差に基づいて、前記無人飛行体の駆動部に対する制御を行う出力制御部と、前記無人飛行体に搭載されるカメラにより撮像される前記飛行予定経路に沿って設けられるマーカに対する画像処理の結果と、前記マーカの実空間上の位置情報とに基づいて、前記無人飛行体の飛行累積位置の情報を補正する飛行***置補正部と、を備える、自律飛行制御装置が提供される。

また、本開示によれば、自律飛行制御システムであって、無人飛行体と、前記無人飛行体の飛行中に、前記無人飛行体に搭載される少なくとも一のセンサから得られるセンサ情報に基づいて、前記無人飛行体の飛行位置を推定する飛行***置情報推定部と、前記飛行位置の推定の繰り返しに基づき得られる前記無人飛行体の飛行累積位置と、前記無人飛行体の飛行予定経路との差に基づいて、前記無人飛行体の駆動部に対する制御を行う出力制御部と、前記無人飛行体に搭載されるカメラにより撮像される前記飛行予定経路に沿って設けられるマーカに対する画像処理の結果と、前記マーカの実空間上の位置情報とに基づいて、前記無人飛行体の飛行累積位置の情報を補正する累積位置補正部と、を備える、自律飛行制御システムが提供される。

本開示によれば、自己位置推定の精度を向上させ安定的にドローンを飛行させることができる。

本開示の一実施形態に係る無人飛行体の自律飛行制御方法が適用されるユースケースの一例を示す概要図である。 同実施形態に係る無人飛行体１のハードウェア構成例を示す図である。 同実施形態に係るフライトコントローラ１１のソフトウェア構成例を示すブロック図である。 同実施形態に係る無人飛行体１の自律飛行制御方法の流れの一例を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜概要＞
図１は、本開示の一実施形態に係る無人飛行体（ドローン）の自律飛行制御方法が適用されるユースケースの一例を示す概要図である。本実施形態に係る無人飛行体１は、いわゆる複数の回転翼３により揚力や推力を得る回転翼機である。

図１に示すように、無人飛行体１は、点検対象空間９００の通路９０１において飛行しており、例えば点検対象空間９００に設けられる配管９０２（構造物の一例）を撮影および異常検知を行うものである。かかる無人飛行体１は、自律飛行により通路９０１を飛行する。

通路９０１は一の伸長方向に伸びて形成され得る。通路９０１は、例えば直線上であってもよく、曲率を有してもよい。また、通路９０１は、坂道や階段等の高低差を有するものであってもよい。かかる通路９０１に沿って、無人飛行体１の飛行予定経路が設定され得る。飛行予定経路は、無人飛行体１が自律飛行により移動するために設定される実空間上の座標における位置情報の群であり、無人飛行体１は、かかる飛行予定経路に含まれる位置情報と、現在の無人飛行体１の位置情報とを比較し、飛行予定経路に凡そ沿って飛行するように、自機のモータ等の駆動部の出力を制御し得る。

かかる無人飛行体１の位置情報は、例えば自己位置推定の技術により取得され得る。自己位置推定の技術は、例えば、ＶＩＯ（Ｖｉｓｕａｌ Ｉｎｅｒｔｉａｌ Ｏｄｏｍｅｔｒｙ）や、Ｖｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）等の画像情報を活用した技術があり、無人飛行体１には上記技術を実現するためのカメラやセンサ等が搭載され得る。このような自己位置推定技術は、特に非ＧＰＳ環境下においては効果を発揮しうる。

しかしながら、かかる技術においては、自己位置推定における誤差が推定処理のたびに生じうる。そのため、自律飛行中においてその自己位置推定の誤差が大きくなり、累積されていく。そうすると、例えば通路９０１のような狭所においては、天井、床、壁または周囲の構造物等と無人飛行体１との距離が比較的近いため、予期せぬ衝突等が生じうる。また、自己位置推定の精度が下がることにより、点検対象を精度高く検査することが難しい。

そこで、本実施形態に係る無人飛行体１の自律飛行制御方法は、自己位置推定の技術により得られる無人飛行体１の累積飛行位置の情報を、飛行予定経路（すなわち通路９０１）に沿って設けられるマーカ２０（２０ａ、２０ｂ、２０ｃ）に対する画像処理を行って得られたマーカ２０の実空間上の位置情報とに基づいて、累積飛行位置の情報を補正する。例えば、マーカ２０は、配管９０２の架台９０３（設備の付属部の一例）に、通路９０１に沿って複数設けられる。かかるマーカ２０は、無人飛行体１の飛行予定の向きに相対する方向に向いて設けられ得る。マーカ２０は、無人飛行体１の飛行予定の向き（進行方向）に平行に設けられてもよいし、相対する方向の逆向き（つまり、無人飛行体１が通過した後に、無人飛行体の後側を向く方向）に設けられてもよいし、天井、床に鉛直方向を向くように設けられてもよいし、それらの組み合わせであってもよい。マーカ２０の実空間上の位置情報を用いて、無人飛行体１の累積飛行位置を規定する座標系の情報を補正することにより、累積飛行位置を規定する座標系と、実空間上の座標系とが一致するため、無人飛行体１の累積飛行位置が実空間上の位置により定義されることと同義となる。これにより、精度の高い累積飛行位置と飛行予定経路との差を比較することができるため、より精度高い自律飛行制御が可能となる。以下、本開示の一実施形態について説明する。

まず、無人飛行体１のハードウェア構成について説明する。図２は、本実施形態に係る無人飛行体１のハードウェア構成例を示す図である。図２に示すように、本実施形態に係る無人飛行体１は、本体部２と、回転翼３と、モータ４と、カメラ／センサ５とを備える。また、無人飛行体１は、本体部２において、フライトコントローラ１１、バッテリ１４、ＥＳＣ（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）１５および送受信部１６を備える。なお、図２に示す無人飛行体１の構成は一例であり、図２に示す本体部２とは異なる構成を有する回転翼機であっても、本発明の範疇に含まれうる。

本体部２は、無人飛行体１を構成するフレーム等により形成される。本体部２を構成する素材は特に限定されず、例えば、炭素繊維樹脂、ガラス繊維樹脂、マグネシウム、マグネシウム合金、アルミニウム、アルミニウム合金、鉄鋼、チタンその他の材料であり得る。回転翼３はモータ４に取り付けられる。回転翼３は、モータ４の回転により自身が回転することで、無人飛行体１に揚力（推力）を発生させる。回転翼３とモータ４とは、推力発生部の一例である。なお、回転翼３は、本実施形態においては、前後左右の４箇所に設けられているが、本発明はかかる例に限定されない。無人飛行体１の構造、形状、装備およびサイズ等に応じて、回転翼３の設けられる数は適宜変更されうる。

フライトコントローラ１１は、例えば、中央演算処理装置（ＣＰＵ）や、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のようなプログラマブルプロセッサなど、１つ以上のプロセッサ１３を有することができる。フライトコントローラ１１は、メモリ１２を有しており、当該メモリ１２にアクセス可能である。メモリ１２は、１つ以上のステップを行うためにフライトコントローラ１１が実行可能であるロジック、コード、および／またはプログラム命令を記憶している。フライトコントローラ１１は、制御装置の一例である。

メモリ１２は、たとえば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ５から取得したデータは、メモリ１２に直接に伝達されかつ記憶されてもよい。たとえば、カメラ５で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。

フライトコントローラ１１は、無人飛行体１の状態を制御するように構成された制御モジュールを含んでいる。たとえば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する無人飛行体１の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ１５を経由して無人飛行体１の推進機構であるモータ４を制御する。モータ４により回転翼３が回転することで無人飛行体１の揚力を生じさせる。フライトコントローラ１１は、モータ４の回転数（回転数は、所定時間あたりの回転数をも意味する）を制御して、回転翼３による推力を調整し得る。

フライトコントローラ１１は、１つ以上の外部のデバイス（たとえば、操縦用端末１７）からのデータを送信および／または受け取るように構成された送受信部１６と通信可能である。送受信部１６は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。送受信部１６は、たとえば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などの任意の通信方式のうちの１つ以上を利用することができる。

送受信部１６は、センサ５で取得したデータ、フライトコントローラ１１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。センサ５により得られた情報は、送受信部１６を介して操縦用端末１７等に出力されてもよい。

操縦用端末１７は、無人飛行体１の飛行の操縦を制御するための装置である。なお、無人飛行体１の飛行は、地上等にいるオペレータの操縦により制御されてもよいし、飛行経路情報やセンシングによる自律的な飛行プログラム（例えば、ＧＣＳ（Ｇｒｏｕｎｄ Ｃｏｎｔｒｏｌ Ｓｔａｔｉｏｎ））に基づく自動操縦または手動操縦により制御されてもよい。操縦用端末１７は、例えば、送受信機（プロポ）、スマートフォン、タブレット等の端末等であってもよい。操縦用端末１７は、フライトコントローラ１１に対して、飛行制御指示情報を送出しうる。

本実施の形態に係るセンサ５は、例えば、慣性センサ（ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｅｎｓｏｒ）等の慣性計測装置）、加速度センサ、ジャイロセンサ、ＧＰＳセンサ、風センサ、温度センサ、湿度センサ、気圧センサ、高度センサ、ＬｉＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等の近接センサ、またはカメラ以外のビジョン／イメージセンサ等を含み得る。また、センサ５は、フライトコントローラ１１に搭載されるものであってもよいし、フライトコントローラ１１の外部に設けられるものであってもよい。また、カメラ５が設けられる場合は、かかるカメラは、任意のカメラであってもよい。例えば、カメラ５は、一般的なカメラの他に、赤外線カメラ、ステレオカメラ等であってもよい。カメラ５は、例えば、自己位置推定に用いるためのカメラと、配管９０２を撮像するためのカメラとがそれぞれ設けられていてもよい。

＜飛行の制御方法＞
次に、本実施形態に係る製鉄用設備における無人飛行体の制御方法の一例について説明する。図３は、本実施形態に係るフライトコントローラ１１のソフトウェア構成例を示すブロック図である。図３に示すように、フライトコントローラ１１は、飛行***置情報推定部１０１と、画像情報取得部１０２と、実空間位置推定部１０３と、飛行***置補正部１０４と、飛行経路情報記憶部１０５と、出力制御部１０６とを備える。これらの各機能部は、上述したメモリ１２にプログラムとして格納され、プロセッサ１３等により処理され得る。

飛行***置情報推定部１０１は、無人飛行体１の自己位置を推定する機能を有する。例えば、飛行***置情報推定部１０１は、センサ５から得られたセンサ情報や、画像情報取得部１０２がカメラ５から取得して得られる画像情報に基づいて、無人飛行体１の自己位置を推定しうる。かかる自己位置の推定には、上述したようなＶＩＯやＶｉｓｕａｌＳＬＡＭのような公知の手法が用いられ得る。なお、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｔｉｓｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に基づく自己位置の推定は行わない前提であるが、センサ５にＧＰＳセンサを含めることは否定しない。また、自己位置の推定においては、別途非ＧＰＳ系のＲＴＫ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ）など、外部の基地局や端末との通信における信号に基づく技術が用いられていてもよい。

かかる飛行***置情報推定部１０１による推定処理の繰り返しの結果得られる自己位置は「飛行累積位置」とも称する。推定処理の繰り返しにつれて、かかる推定処理の精度に基づく誤差も積み重なりうる。この誤差を「累積誤差」と称する。累積誤差は、例えば画像処理の精度や、ＩＭＵのドリフト等に基づき生じうる。後述する飛行***置補正部１０４は、かかる累積誤差を解消するための処理を行いうる。

画像情報取得部１０２は、カメラ５が撮像した画像情報を取得する機能を有する。かかる画像情報は、カメラ５が無人飛行体１の進行方向を撮像して得られる画像情報であり得る。例えば、かかる画像情報をもとに、飛行***置情報推定部１０１により自己位置の推定処理が行われ得る。また、画像情報にマーカ２０の画像が含まれている場合は、かかる画像情報は実空間位置推定部１０３に出力され得る。

実空間位置推定部１０３は、上記の画像情報に飛行予定経路に沿って設けられるマーカ２０の像が含まれている場合に、マーカ２０に対する画像解析を行い、かかるマーカの実空間上の位置を推定する機能を有する。マーカ２０は、図１に示したように、通路９０１に沿って設けられる。マーカ２０は、かかるマーカ２０は、例えば、地面から一定の高さの範囲となるように設けられ得る。また、マーカ２０は、配管９０２の高さの変化に応じた高さに設けられていてもよい。かかるマーカ２０を無人飛行体１のカメラ５が撮像すると、かかる画像について実空間位置推定部１０３が解析し、マーカ２０の実空間上の位置情報を取得し得る。そして実空間位置推定部１０３は、マーカ２０の画像中の位置と、マーカ２０に予め紐付けられた位置情報から、無人飛行体１の実空間の座標系における位置を推定する。なお、無人飛行体１の位置情報は、例えば、ＶｉｓｕａｌＳＬＡＭによる自己位置推定を行う場合は、マーカ２０の実空間上の位置情報と、マーカ２０と無人飛行体１との位置関係とから得ることができる。

なお、本実施形態に係るマーカ２０は、例えばＱＲコード（登録商標）を想定しているが、本技術はかかる例に限定されない。例えば、マーカ２０は、任意のパターンが表示される表示装置であってもよい。また、無人飛行体１が近接通信可能な装置を有している場合は、マーカ２０も近接通信可能な装置であり、互いに通信を行うことで無人飛行体１の実空間上の位置情報が得られてもよい。すなわち、無人飛行体１に積載されるセンサ５や通信装置等がマーカ２０の位置情報を取得でき、それにより無人飛行体１の実空間上の位置を算出できるものであれば、マーカ２０は特に限定されない。また、マーカ２０は、飛行予定経路における高さ位置に相当する位置に設けられることが好ましい。これにより、無人飛行体１によるマーカ２０の読取りがより正確に行われ得る。マーカ２０が設けられる位置の高さは、例えば、飛行予定経路における高さと、無人飛行体１の備えるカメラ５の画角等に合わせて設定され得る。

飛行***置補正部１０４は、マーカ２０の実空間上の位置情報と、マーカ２０に対する画像処理の結果に基づいて、無人飛行体１の飛行累積位置の情報を補正する機能を有する。すなわち、実空間位置推定部１０３によって、無人飛行体１の実空間上の位置がマーカ２０により得られるので、かかる実空間上の位置に合わせるように、無人飛行体１により繰り返し推定された自己位置を、飛行***置補正部１０４は補正する。

例えば、飛行***置補正部１０４は、無人飛行体１の飛行累積位置を規定する座標系（すなわち、無人飛行体１を基準とする座標系）を、マーカ２０から得られる実空間の座標系に合わせることによる補正を行ってもよい。具体的には、上述したように無人飛行体１の座標系は、ドリフト等により徐々に誤差が大きくなってくる。この場合、飛行***置補正部１０４は、マーカ２０により得られる無人飛行体１の実空間上の位置（すなわち真の位置）と、無人飛行体１の座標系に基づき推定される自己位置との差から、無人飛行体１の座標系のズレを修正し得る。これにより、単に無人飛行体１の位置のズレを修正するだけではなく、座標系そのものを修正するため、その後の自律飛行においても、実空間の座標系に合わせた飛行が可能となる。

飛行経路情報記憶部１０５は、無人飛行体１の自律飛行において飛行する飛行予定経路に係る情報を記憶する機能を有する。飛行予定経路に係る情報は、例えば実空間上の座標系における三次元の点群やウェイポイントにより規定される情報であり得る。

出力制御部１０６は、無人飛行体１のモータ４等の駆動部の出力を制御する機能を有する。本実施形態では、例えば、出力制御部１０６は、無人飛行体１の飛行累積位置と、無人飛行体１の飛行予定経路との差に基づいて、無人飛行体１の駆動部の出力を制御し得る。このとき、飛行***置補正部１０４により無人飛行体１の自己位置や座標系が補正されている場合、無人飛行体１の自律飛行制御に対するフィードバックの精度がより高くなる。

また、出力制御部１０６は、無人飛行体１に搭載される少なくとも一のセンサ５から得られるセンサ情報に基づいて障害物を検出した場合、障害物の検出結果に基づいて無人飛行体１の駆動部に対する制御を行ってもよい。例えば、センサ５がＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサや深度センサである場合に、無人飛行体１の飛行予定経路等において障害物があることを検出すると、出力制御部１０６は、かかる障害物を回避するよう駆動部の出力を制御し得る。

また、無人飛行体１に地面方向に向けられた測距装置がセンサ５として備えられている場合、出力制御部１０６は、測距装置に基づく測距距離情報に基づいて、測距距離が所定の範囲となるように無人飛行体１の駆動部に対する制御を行ってもよい。高さ方向の飛行制御を地面方向に向けられた測距装置から得られる測距距離情報に基づいて行うことにより、画像情報等に基づく自己位置推定を、水平方向についてのみ行うことができる。これにより、自己位置推定の精度を向上させることができる。

次に、本実施形態に係る無人飛行体１の自律飛行制御方法の一連の流れについて説明する。図４は、本実施形態に係る無人飛行体１の自律飛行制御方法の流れの一例を示すフローチャートである。

まず、通路９０１を飛行している無人飛行体１に積載されるカメラやセンサ等により、飛行中に適宜画像情報やセンサデータを取得する（ステップＳ１０１）。取得される画像情報やセンサデータは、点検対象に関するものや、自律飛行制御のためのものであり得る。

次に、無人飛行体１は自己位置を推定する（ステップＳ１０３）。かかる自己位置推定は、先のステップで得られた画像情報やセンサデータ等に基づき、飛行***置情報推定部１０１により行われ得る。

ここで、画像情報にマーカ２０の像が含まれてマーカ２０が検出されたとする（ステップＳ１０５／Ｙ）。このとき、実空間位置推定部１０３は、マーカ２０を含む画像に対する画像処理を行い、解析結果得られたマーカ２０の実空間上の位置情報等から、無人飛行体１の実空間位置を推定する（ステップＳ１０７）。

次に、飛行***置補正部１０４は、推定を繰り返して得られた自己位置（飛行累積位置）の補正を、無人飛行体１の実空間位置の情報に基づき行う（ステップＳ１０９）。このとき、飛行***置補正部１０４は、無人飛行体１の位置だけではなく／または位置に変えて、無人飛行体１を基準とする座標系の補正を行ってもよい。

次に、飛行予定経路が取得され（ステップＳ１１１）、出力制御部１０６は、飛行予定経路と（未補正または補正後の）無人飛行体１の自己位置との差に基づいて、モータ４の出力を制御する（ステップＳ１１３）。

かかる無人飛行体１の自律制御方法では、ステップＳ１０１～Ｓ１１３に記載の処理を、連続的または断続的に行う。

このように、本実施形態に係る無人飛行体１の自律飛行制御方法では、洞道等の狭所の通路において、マーカを用いて無人飛行体の自己位置推定の結果（すなわち推定後の自己位置）の補正を適宜行う。このとき、無人飛行体の座標系も実空間上の座標系に合わせることにより、単に位置を補正するだけではなく、その後の自律飛行におけるフィードバック制御においても、より高い精度を得ることができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、上記実施形態においては、かかる自律飛行制御を無人飛行体１のフライトコントローラ１１により実行するものとして説明したが、本技術はかかる例に限定されない。すなわち、かかる自律飛行制御方法は、無人飛行体においてエッジで処理される例に限られず、他の自律飛行制御装置により遠隔で上述した補正処理がなされ、その処理結果を無人飛行体に送信し、かかる結果をもとに駆動部を制御するようなものであってもよい。つまり、かかる自律飛行制御方法を実行するハードウェアの主体は特に限定されず、上述した機能部は複数のハードウェアにより実行されるものであってもよい。

また、無人飛行体１には、撮影方向が異なる複数のカメラが搭載されていることが好ましい。これによれば、カメラが１台のみ搭載されている場合に比べて、撮影範囲が広くなる。したがって、例えば、上述のマーカ２０等を検出し易くなる。また、無人飛行体１は、同時に複数のマーカを検出可能であることが好ましい。これによれば、複数のマーカに対する画像処理の結果と、当該複数のマーカの実空間上の位置情報とに基づいて、無人飛行体の位置を推定、補正することができるので、位置推定及び補正の精度を高めることができる。また、複数のマーカを検出することで、無人飛行体１の向き（方向）の推定精度も高めることができる。すなわち、複数のマーカに対してそれぞれ機体の向きを推定することにより、1つのマーカに対して方向推定を行うよりも推定精度を高めることができるので、例えば、進行予定の方向に機体が向くように補正する際の精度を高めることができる。

無人飛行体１に複数のカメラを設ける場合、例えば、無人飛行体１の前方（例えば進行方向）を撮影する前側の位置と、及び後方を撮影する後側の位置にそれぞれカメラを配置することが好ましい。これによれば、例えば、無人飛行体１の前方に位置するマーカと、後方に位置するマーカとを検出して、位置推定の精度及び自己方向推定の精度を高めることができる。また、無人飛行体１の上方を撮影する上側の位置と、及び下方を撮影する下側の位置にそれぞれカメラを配置してもよい。この場合、例えば天井や床に配置したマーカを撮影することができ、位置推定（方向推定）及び補正の精度を高めることができる。あるいは、無人飛行体１の右方を撮影する右側の位置と、及び左方を撮影する左側の位置にそれぞれカメラを配置するようにしてもよいし、前後左右上下の何れか１つ、もしくは何れか複数個所、または全６方向を撮影するためのカメラを配置してもよいし、他の位置にカメラを設けてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（項目１）
無人飛行体の自律飛行制御方法であって、
前記無人飛行体の飛行中に、前記無人飛行体に搭載される少なくとも一のセンサから得られるセンサ情報に基づいて、前記無人飛行体の飛行位置を推定することと、
前記飛行位置の推定の繰り返しに基づき得られる前記無人飛行体の飛行累積位置と、前記無人飛行体の飛行予定経路との差に基づいて、前記無人飛行体の駆動部に対する制御を行うことと、
前記無人飛行体に搭載されるカメラにより撮像される前記飛行予定経路に沿って設けられるマーカに対する画像処理の結果と、前記マーカの実空間上の位置情報とに基づいて、前記無人飛行体の飛行累積位置の情報を補正することと、
を含む、自律飛行制御方法。
（項目２）
前記飛行累積位置の情報の補正は、前記飛行累積位置を規定する座標系を、前記マーカから得られる実空間の座標系に合わせることによる補正である、項目１に記載の自律飛行制御方法。
（項目３）
前記飛行予定経路は一の伸長方向に伸びる通路に沿って形成され、
前記マーカは、前記通路または前記通路に設けられる設備に設けられ、かつ、前記マーカの読取面が前記飛行予定経路における前記無人飛行体の進行方向に相対する方向を向いて設けられる、項目１または２に記載の自律飛行制御方法。
（項目４）
前記設備は、前記通路に沿って伸びて設けられる設備であり、
前記マーカは、当該設備または当該設備の付属部に設けられる、項目３に記載の自律飛行制御方法。
（項目５）
前記設備の位置情報は、前記マーカの前記実空間上の位置情報に紐付けられている、項目４に記載の自律飛行制御方法。
（項目６）
前記マーカは、前記飛行予定経路の高さ位置に相当する位置に設けられる、項目１～５のいずれか１項に記載の自律飛行制御方法。
（項目７）
前記センサはカメラを含み、
前記カメラが前記マーカを読み取ることで得られる情報に基づき画像処理が行われる、項目１～６のいずれか１項に記載の自律飛行制御方法。
（項目８）
前記センサは慣性計測装置を含む、項目１～７のいずれか１項に記載の自律飛行制御方法。
（項目９）
非ＧＰＳ環境下である、項目１～８のいずれか１項に記載の自律飛行制御方法。
（項目１０）
前記無人飛行体の飛行中に、前記無人飛行体に搭載される少なくとも一のセンサから得られるセンサ情報に基づいて障害物を検出した場合、前記障害物の検出結果に基づいて前記無人飛行体の駆動部に対する制御を行うことをさらに含む、項目１～９のいずれか１項に記載の自律飛行制御方法。
（項目１１）
前記無人飛行体は、地面方向に向けられた測距装置を備え、
前記測距装置に基づく測距距離情報に基づいて、前記測距距離が所定の範囲となるように前記無人飛行体の駆動部に対する制御を行うことをさらに含む、項目１～１０のいずれか１項に記載の自律飛行制御方法。
（項目１２）
前記無人飛行体に、撮影方向が異なる複数の前記カメラが搭載されている、項目１～１１のいずれか１項に記載の自律飛行制御方法。
（項目１３）
前記無人飛行体に、前方を撮影可能な前記カメラと、後方を撮影可能な前記カメラと、が設けられている、項目１～１２のいずれか１項に記載の自律飛行制御方法。
（項目１４）
前記無人飛行体に、上方を撮影可能な前記カメラと、下方を撮影可能な前記カメラと、が設けられている、項目１～１３のいずれか１項に記載の自律飛行制御方法。
（項目１５）
前記無人飛行体に、右方を撮影可能な前記カメラと、左方を撮影可能な前記カメラと、が設けられている、項目１～１４のいずれか１項に記載の自律飛行制御方法。
（項目１６）
無人飛行体の自律飛行制御装置であって、
前記無人飛行体の飛行中に、前記無人飛行体に搭載される少なくとも一のセンサから得られるセンサ情報に基づいて、前記無人飛行体の飛行位置を推定する飛行***置情報推定部と、
前記飛行位置の推定の繰り返しに基づき得られる前記無人飛行体の飛行累積位置と、前記無人飛行体の飛行予定経路との差に基づいて、前記無人飛行体の駆動部に対する制御を行う出力制御部と、
前記無人飛行体に搭載されるカメラにより撮像される前記飛行予定経路に沿って設けられるマーカに対する画像処理の結果と、前記マーカの実空間上の位置情報とに基づいて、前記無人飛行体の飛行累積位置の情報を補正する飛行***置補正部と、
を備える、自律飛行制御装置。
（項目１７）
自律飛行制御システムであって、
無人飛行体と、
前記無人飛行体の飛行中に、前記無人飛行体に搭載される少なくとも一のセンサから得られるセンサ情報に基づいて、前記無人飛行体の飛行位置を推定する飛行***置情報推定部と、
前記飛行位置の推定の繰り返しに基づき得られる前記無人飛行体の飛行累積位置と、前記無人飛行体の飛行予定経路との差に基づいて、前記無人飛行体の駆動部に対する制御を行う出力制御部と、
前記無人飛行体に搭載されるカメラにより撮像される前記飛行予定経路に沿って設けられるマーカに対する画像処理の結果と、前記マーカの実空間上の位置情報とに基づいて、前記無人飛行体の飛行累積位置の情報を補正する累積位置補正部と、
を備える、自律飛行制御システム。

１ 無人飛行体
２ 本体部
３ 回転翼
４ モータ
５ センサ
１１ フライトコントローラ
１０１ 飛行***置情報推定部
１０３ 実空間位置推定部決定部
１０４ 飛行***置補正部
１０６ 出力制御部

Claims (17)

1. 無人飛行体の自律飛行制御方法であって、
   前記無人飛行体の飛行中に、前記無人飛行体に搭載される少なくとも一のセンサから得られるセンサ情報に基づいて、前記無人飛行体の飛行位置を推定することと、
   前記飛行位置の推定の繰り返しに基づき得られる前記無人飛行体の飛行累積位置と、前記無人飛行体の飛行予定経路との差に基づいて、前記無人飛行体の駆動部に対する制御を行うことと、
   前記無人飛行体に搭載されるカメラにより撮像される前記飛行予定経路に沿って設けられるマーカに対する画像処理の結果と、前記マーカの実空間上の位置情報とに基づいて、前記無人飛行体の飛行累積位置の情報を補正することと、
   を含む、自律飛行制御方法。
2. 前記飛行累積位置の情報の補正は、前記飛行累積位置を規定する座標系を、前記マーカから得られる実空間の座標系に合わせることによる補正である、請求項１に記載の自律飛行制御方法。
3. 前記飛行予定経路は一の伸長方向に伸びる通路に沿って形成され、
   前記マーカは、前記通路または前記通路に設けられる設備に設けられ、かつ、前記マーカの読取面が前記飛行予定経路における前記無人飛行体の進行方向に相対する方向を向いて設けられる、請求項１または２に記載の自律飛行制御方法。
4. 前記設備は、前記通路に沿って伸びて設けられる設備であり、
   前記マーカは、当該設備または当該設備の付属部に設けられる、請求項３に記載の自律飛行制御方法。
5. 前記設備の位置情報は、前記マーカの前記実空間上の位置情報に紐付けられている、請求項４に記載の自律飛行制御方法。
6. 前記マーカは、前記飛行予定経路の高さ位置に相当する位置に設けられる、請求項１～５のいずれか１項に記載の自律飛行制御方法。
7. 前記センサはカメラを含み、
   前記カメラが前記マーカを読み取ることで得られる情報に基づき画像処理が行われる、請求項１～６のいずれか１項に記載の自律飛行制御方法。
8. 前記センサは慣性計測装置を含む、請求項１～７のいずれか１項に記載の自律飛行制御方法。
9. 非ＧＰＳ環境下である、請求項１～８のいずれか１項に記載の自律飛行制御方法。
10. 前記無人飛行体の飛行中に、前記無人飛行体に搭載される少なくとも一のセンサから得られるセンサ情報に基づいて障害物を検出した場合、前記障害物の検出結果に基づいて前記無人飛行体の駆動部に対する制御を行うことをさらに含む、請求項１～９のいずれか１項に記載の自律飛行制御方法。
11. 前記無人飛行体は、地面方向に向けられた測距装置を備え、
    前記測距装置に基づく測距距離情報に基づいて、前記測距距離が所定の範囲となるように前記無人飛行体の駆動部に対する制御を行うことをさらに含む、請求項１～１０のいずれか１項に記載の自律飛行制御方法。
12. 前記無人飛行体に、撮影方向が異なる複数の前記カメラが搭載されている、請求項１～１１のいずれか１項に記載の自律飛行制御方法。
13. 前記無人飛行体に、前方を撮影可能な前記カメラと、後方を撮影可能な前記カメラと、が設けられている、請求項１～１２のいずれか１項に記載の自律飛行制御方法。
14. 前記無人飛行体に、上方を撮影可能な前記カメラと、下方を撮影可能な前記カメラと、が設けられている、請求項１～１３のいずれか１項に記載の自律飛行制御方法。
15. 前記無人飛行体に、右方を撮影可能な前記カメラと、左方を撮影可能な前記カメラと、が設けられている、請求項１～１４のいずれか１項に記載の自律飛行制御方法。
16. 無人飛行体の自律飛行制御装置であって、
    前記無人飛行体の飛行中に、前記無人飛行体に搭載される少なくとも一のセンサから得られるセンサ情報に基づいて、前記無人飛行体の飛行位置を推定する飛行***置情報推定部と、
    前記飛行位置の推定の繰り返しに基づき得られる前記無人飛行体の飛行累積位置と、前記無人飛行体の飛行予定経路との差に基づいて、前記無人飛行体の駆動部に対する制御を行う出力制御部と、
    前記無人飛行体に搭載されるカメラにより撮像される前記飛行予定経路に沿って設けられるマーカに対する画像処理の結果と、前記マーカの実空間上の位置情報とに基づいて、前記無人飛行体の飛行累積位置の情報を補正する飛行***置補正部と、
    を備える、自律飛行制御装置。
17. 自律飛行制御システムであって、
    無人飛行体と、
    前記無人飛行体の飛行中に、前記無人飛行体に搭載される少なくとも一のセンサから得られるセンサ情報に基づいて、前記無人飛行体の飛行位置を推定する飛行***置情報推定部と、
    前記飛行位置の推定の繰り返しに基づき得られる前記無人飛行体の飛行累積位置と、前記無人飛行体の飛行予定経路との差に基づいて、前記無人飛行体の駆動部に対する制御を行う出力制御部と、
    前記無人飛行体に搭載されるカメラにより撮像される前記飛行予定経路に沿って設けられるマーカに対する画像処理の結果と、前記マーカの実空間上の位置情報とに基づいて、前記無人飛行体の飛行累積位置の情報を補正する累積位置補正部と、
    を備える、自律飛行制御システム。
    
    

Images