JP2022051976A - 無人航空機、通信方法、およびプログラム - Google Patents

Abstract

【課題】より正確に、識別対象を識別する。【解決手段】通信部は、飛行のコンテキスト情報に対応した識別器に関する識別器情報を受信し、制御部は、識別器情報を用いて、無人航空機に搭載されたセンサにより取得されたセンサデータから特徴情報を抽出する。また、通信部は、抽出された特徴情報をサーバに送信する。本開示に係る技術は、ドローンに適用することができる。【選択図】図２

Description

本開示は、無人航空機、通信方法、およびプログラムに関し、特に、より正確に、識別対象を識別することができるようにする無人航空機、通信方法、およびプログラムに関する。

近年、ドローンに搭載されたカメラで対空標識を撮影した撮影画像を用いて、地形の測量や構造物の点検などが行われている。

撮影画像から対空標識を精度良く検出するために、特許文献１には、対空標識を撮影した撮影画像から、対空標識が写る領域の候補の特徴量を抽出し、抽出された特徴量に基づいて対空標識を識別する技術が開示されている。

国際公開第２０１８／１２３６０７号

近年、ドローンは、汎用的なロボットとして利用されることから、その飛行により対象物をセンシングするコンテキスト（飛行目的や飛行環境など）は様々である。そのため、コンテキストによっては、センシングの対象物を正確に識別できないおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、より正確に、識別対象を識別することができるようにするものである。

本開示の無人航空機は、無人飛行機であって、前記無人飛行機に搭載されたセンサにより取得されたセンサデータから特徴情報を抽出する制御部と、抽出された前記特徴情報をサーバに送信する通信部とを備え、前記通信部は、飛行のコンテキスト情報に対応した識別器に関する識別器情報を受信し、前記制御部は、前記識別器情報を用いて前記センサデータから前記特徴情報を抽出する無人航空機である。

本開示の通信方法は、無人航空機が、飛行のコンテキスト情報に対応した識別器に関する識別器情報を受信し、前記識別器情報を用いて、前記無人飛行機に搭載されたセンサにより取得されたセンサデータから特徴情報を抽出し、抽出された前記特徴情報をサーバに送信する通信方法である。

本開示のプログラムは、コンピュータに、飛行のコンテキスト情報に対応した識別器に関する識別器情報を受信し、前記識別器情報を用いて、無人航空機に搭載されたセンサにより取得されたセンサデータから特徴情報を抽出し、抽出された前記特徴情報をサーバに送信する処理を実行させるためのプログラムである。

本開示においては、飛行のコンテキスト情報に対応した識別器に関する識別器情報が受信され、前記識別器情報を用いて、無人航空機に搭載されたセンサにより取得されたセンサデータから特徴情報が抽出され、抽出された前記特徴情報がサーバに送信される。

本開示に係る技術を適用した測量・点検システムの概要を説明する図である。 ドローンの構成例を示すブロック図である。 クラウドサーバのハードウェアの構成例を示すブロック図である。 クラウドサーバの機能構成例を示すブロック図である。 識別器情報のダウンロードの流れについて説明するフローチャートである。 コンテキスト情報の取得について説明する図である。 飛行計画情報と識別器の送信について説明する図である。 特徴情報の抽出と送信の流れについて説明するフローチャートである。 対空標識の撮影について説明する図である。 特徴情報の送信について説明する図である。 クラウドサーバに送信される情報の情報量について説明する図である。 クラウドサーバの動作について説明するフローチャートである。

以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。

１．測量・点検システムの概要
２．ドローンおよびクラウドサーバの構成
３．識別器情報のダウンロード
４．特徴情報の抽出と送信
５．クラウドサーバの動作
６．その他

＜１．測量・点検システムの概要＞
図１は、本開示に係る技術（本技術）を適用した測量・点検システムの概要を説明する図である。

図１の測量・点検システムにおいては、ＵＡＶ（Unmanned Aerial Vehicle）による地形の測量や構造物の点検などが行われる。

図１に示されるように、地上には、対空標識１０が設置されている。対空標識１０は、人手によって設置されたり、ドローンなどの無人航空機や人が操縦する航空機などの飛行体からばらまくことなどによって設置されたりする。また、ドローンの天面に対空標識１０を設置することで、対空標識１０そのものが移動するようにしてもよい。

なお、図示はしないが、地形の測量が行われる際には、地上には、複数の対空標識１０が設置される。

対空標識１０は、所定の図形を印刷した紙やプラスチックなどで構成されてもよいし、所定の形状のプラスチックやゴムなどの平板状の材料を重ねて構成されてもよい。また、対空標識１０は、所定の図形を表示するＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどの表示パネルで構成されてもよいし、レフ板のような、広げて展開する構造を有していてもよい。

対空標識１０は、空撮される。図１の測量・点検システムにおいては、ドローン２０に、例えばカメラとして構成されるセンサ２１が搭載されており、ドローン２０を飛行させ、ドローン２０に搭載されたセンサ２１により、対空標識１０の撮影（対空標識１０の空撮）が行われる。センサ２１は、ＲＧＢカメラとして構成される他、赤外線カメラ、マルチスペクトラムカメラ、測距用のステレオカメラ、その他のセンサとして構成されてもよい。また、センサ２１は、ドローン２０に搭載される他、ドローン２０に着脱可能に構成されてもよいし、ドローン２０に内蔵されてもよい。

対空標識１０の空撮の方法は、ドローン２０を用いる方法に限定されるものではない。すなわち、対空標識１０の空撮は、ドローン２０のような無人航空機を用いる以外にも、例えば、人が搭乗して操縦する飛行体や、人工衛星などを用いて行われてもよい。

センサ２１により対空標識１０を撮影することにより取得される撮影画像（例えば、静止画像）は、無線通信や有線通信によって、例えば、クラウドサーバ３０に送信される。

クラウドサーバ３０は、センサ２１からの撮影画像に対する画像処理により、撮影画像に写る対空標識１０の特徴情報を抽出し、対空標識１０を識別する。また、クラウドサーバ３０は、センサ２１からの撮影画像と、対空標識１０の識別結果（特徴情報）を用いて、地上の地形の３次元モデルを作成する。そして、クラウドサーバ３０は、作成した３次元モデルから地上の地形の測量を行い、その測量結果を出力する。

クラウドサーバ３０が行う処理は、クラウドサーバ３０ではなく、ドローン２０で行われてもよいし、ドローン２０とクラウドサーバ３０とで分担して行われてもよい。

ところで、上述したように、ドローン２０が、その飛行により対象物をセンシングし、クラウドサーバ３０が、ドローン２０から送信されてくる撮影画像に基づいてセンシング対象物を識別する場合、撮影画像の送信にかかる時間と、識別の処理にかかる時間により、最終的な結果の出力に遅延が生じてしまう。

そこで、例えば地形の３次元モデルの作成においては、ドローン２０に搭載されたセンサ２１により取得される撮影画像に写る対空標識１０の特徴情報が、ドローン２０によって抽出されていれば、クラウドサーバ３０での処理量を削減することができる。

また近年、対空標識１０の識別に用いられる識別器の性能は、ディープラーニングなどにより向上している。

以上のことから、本技術の測量・点検システムにおいては、ドローン２０でのエッジコンピューティングにより、ドローン２０が撮影画像から対空標識１０の特徴情報を抽出し、クラウドサーバ３０に送信することで、クラウドサーバ３０での処理量を削減させる。これにより、より少ない遅延で、地形の測量の測量結果を出力することができる。

この際、ドローン２０は、クラウドサーバ３０から、自機の飛行目的や飛行環境などのコンテキストに適した識別器（学習済モデル）を受信し、撮影画像から対空標識１０の特徴情報を抽出する。これにより、より正確に、識別対象である対空標識１０が識別されるようになる。

＜２．ドローンおよびクラウドサーバの構成＞
以下においては、本技術の測量・点検システムを構成するドローン２０およびクラウドサーバ３０の構成について説明する。

（ドローンの構成）
図２は、図１のドローン２０の構成例を示すブロック図である。

ドローン２０は、通信部５１、制御部５２、駆動制御部５３、飛行機構５４、および記憶部５５を備えている。

通信部５１は、ネットワークインタフェースなどで構成され、クラウドサーバ３０や、ドローン２０を操縦するためのコントローラ、その他の任意の装置との間で、無線または有線による通信を行う。ドローン２０を操縦するためのコントローラは、送信機やＰＣ（Personal Computer）などにより構成される。例えば、通信部５１は、通信相手となる装置と、直接通信を行ってもよいし、Ｗｉ－Ｆｉ（登録商標）や４Ｇ，５Ｇなどの基地局や中継器を介したネットワーク通信を行ってもよい。

制御部５２は、ＣＰＵ（Central Processing Unit）やメモリなどで構成され、所定のプログラムを実行することにより、通信部５１、駆動制御部５３、およびセンサ２１を制御する。

駆動制御部５３は、専用ＩＣやＦＰＧＡ（Field-Programmable Gate Array）などの回路により構成され、制御部５２の制御に従い、飛行機構５４の駆動を制御する。

飛行機構５４は、ドローン２０を飛行させるための機構であり、例えば、モータやプロペラなどから構成される。飛行機構５４は、駆動制御部５３の制御に従って駆動し、ドローン２０を飛行させる。

ドローン２０においては、制御部５２が、例えば、通信部５１で受信されたコントローラからの信号に従い、駆動制御部５３を制御することにより、飛行機構５４を駆動させる。これにより、ドローン２０は、コントローラの操作に従って飛行する。

また、制御部５２は、コントローラからの信号に従い、センサ２１を制御し、センシングを行わせることで、センサデータを取得する。

記憶部５５は、フラッシュメモリなどの不揮発性メモリなどにより構成され、各種の情報を記憶する。例えば、記憶部５５は、クラウドサーバ３０からダウンロードされた、ドローン２０が行う飛行に関する飛行計画を表す飛行計画情報６１と、飛行のコンテキスト情報に対応した識別器に関する識別器情報６２を記憶（格納）する。飛行のコンテキスト情報の詳細については、後述する。

制御部５２は、記憶部５５に格納されている飛行計画情報６１に基づいて、ドローン２０が、飛行計画情報６１で表される飛行計画に従った飛行を行うよう、駆動制御部５３を制御する。また、制御部５２は、記憶部５５に格納されている識別器情報６２のうち、飛行計画情報６１で表される飛行計画に対応した識別器情報６２を用いて、ドローン２０において取得されたセンサデータから特徴情報を抽出する。具体的には、制御部５２は、識別器情報６２を用いて、カメラとして構成されるセンサ２１による撮影により取得された撮影画像から特徴情報を抽出する。抽出された特徴情報は、通信部５１からクラウドサーバ３０に送信される。なお、ドローン２０において、赤外線カメラや測距用のステレオカメラ、距離センサなどにより取得されたセンサデータから特徴情報が抽出されるようにしてもよい。

（クラウドサーバの構成）
図３は、図１のクラウドサーバ３０の情報処理装置としてのハードウェアの構成例を示すブロック図である。

クラウドサーバ３０は、ＣＰＵ７２を内蔵しており、ＣＰＵ７２には、バス７１を介して、入出力インタフェース８０が接続されている。

ＣＰＵ７２は、入出力インタフェース８０を介して、ユーザ（オペレータ）などによって、入力部７７が操作されることにより指令が入力されると、それに従って、ＲＯＭ（Read Only Memory）７３に格納されているプログラムを実行する。また、ＣＰＵ７２は、ハードディスク７５に格納されたプログラムを、ＲＡＭ（Random Access Memory）３４にロードして実行する。

ＣＰＵ７２は、各種の処理を行うことで、クラウドサーバ３０を所定の機能を有する装置として機能させる。ＣＰＵ７２は、各種の処理の処理結果を、必要に応じて、例えば、入出力インタフェース８０を介して、出力部７６から出力させたり、通信部７８から送信させたり、ハードディスク７５に記録させる。

入力部７７は、キーボードや、マウス、マイクロフォンなどで構成される。出力部７６は、ＬＣＤやスピーカなどで構成される。

ＣＰＵ７２が実行するプログラムは、クラウドサーバ３０に内蔵されている記録媒体としてのハードディスク７５やＲＯＭ７３、リムーバブル記録媒体８１に、あらかじめ記録しておくことができる。

図４は、クラウドサーバ３０の機能構成例を示すブロック図である。

図４に示されるように、クラウドサーバ３０は、通信部９１、選択部９２、記憶部９３、および処理部９４を備えている。

通信部９１は、図３の通信部７８に対応し、ドローン２０との間で、無線または有線による通信を行う。

選択部９２は、ＣＰＵ７２がプログラムを実行することにより実現され、記憶部９３に記憶されている複数の識別器から、ドローン２０が行う飛行のコンテキスト情報に対応した識別器を選択する。コンテキスト情報は、ドローン２０から送信されることで、通信部９１によって受信されたり、クラウドサーバ３０によって直接取得されたりする。

記憶部９３は、例えば、図３のハードディスク７５などに対応し、複数の飛行計画情報、それらに対応する識別器や識別器情報、ドローン２０から送信されてくる、撮影画像から抽出された特徴情報など、各種のデータや情報を記憶（格納）する。記憶部９３に格納されたデータや情報は、適宜、処理部９４が行う処理に用いられる。

処理部９４は、ＣＰＵ７２がプログラムを実行することにより実現され、記憶部９３に格納されたデータや情報を用いた処理を行う。

＜３．識別器情報のダウンロード＞
ここで、図５のフローチャートを参照して、図１の測量・点検システムにおける識別器情報のダウンロードの流れについて説明する。図５の処理は、例えば、ドローン２０が飛行を開始する前などに実行される。

ステップＳ２１において、ドローン２０は、飛行のコンテキスト情報を取得すると、ドローン２０の通信部５１は、ステップＳ２２において、取得されたコンテキスト情報を、クラウドサーバ３０に送信する。

ドローン２０は、ユーザにより入力された情報をコンテキスト情報として取得してもよいし、外部の装置からコンテキスト情報を取得してもよい。

コンテキスト情報には、ドローン２０の飛行環境を表す情報と、ドローン２０が行う飛行に関する飛行計画を表す情報とが少なくとも含まれる。ドローン２０の飛行環境を表す情報には、ドローン２０の位置情報、時刻情報、天候情報などが含まれる。また、ドローン２０の飛行計画を表す情報には、飛行経路、飛行目的、センシング対象物、および、ドローン２０のセンシング飛行に関する時刻情報などが含まれる。

図６に示されるように、ドローン２０は、例えば、ＧＰＳ（Global Positioning System）衛星１１１から送信されてくるＧＰＳ信号を、通信部５１が受信することで、飛行環境を表す情報として、自機の緯度および経度を表す位置情報を取得する。

また、ドローン２０は、ＰＣにより構成されるコントローラ１１２から、飛行環境を表す情報として、時刻情報や天候情報を取得する。

時刻情報は、コントローラ１１２内部の計時部により計時されている現在時刻を表す。時刻情報は、分単位の時刻を表すものでなくともよく、例えば１時間単位などの時間帯を表すものであってもよいし、年月日を表す日付情報を含んでいてもよい。また、時刻情報は、ドローン２０内部の計時部から取得されてもよい。

天候情報は、例えば、ユーザによりコントローラ１１２に対して入力された、飛行現場の天候を表す。天候情報は、飛行現場の風速を表す風速情報や、風向を表す風向情報を含んでいてもよい。また、天候情報は、気象情報を提供する外部装置１１３から直接、またはコントローラ１１２を介して取得されてもよい。

飛行計画に含まれる飛行目的には、地上の地形の測量や構造物の点検などのミッション内容が含まれる。構造物の点検には、例えば、地上に設置されたソーラーパネルの損傷の検出、ビルなどの建築物の外壁のひび割れやタイル剥がれの検出などがある。さらに、飛行目的には、農作物の成長状態、疫病や害虫の有無などの状況調査や、物品の輸送などが含まれてもよい。また、飛行計画に含まれるセンシング対象物は、飛行目的に対応した対空標識１０、構造物の点検箇所、農作物の成長箇所や疫病箇所、輸送対象の物品などとされる。

飛行計画に含まれる飛行経路は、上述した飛行目的を達成するためにドローン２０が飛行する飛行高度や飛行経路（経由地・ウェイポイント）などで表される。また、センシング飛行に関する時刻情報は、センシング飛行の開始予定時刻や終了予定時刻などを表す。

上述した飛行計画を表す情報は、例えば、ユーザによりコントローラ１１２に対して入力されることで、地上に設置される基地局１１４を介して、またはその他の装置から直接、コンテキスト情報として、クラウドサーバ３０に送信される。また、コンテキスト情報としての飛行計画を表す情報は、あらかじめドローン２０内部に設定されていて、ドローン２０から、基地局１１４を介して、クラウドサーバ３０に送信されてもよい。

一方、ドローン２０が取得した時刻情報や天候情報などの飛行環境を表す情報は、地上に設置される基地局１１４を介して、コンテキスト情報として、クラウドサーバ３０に送信される。

図５のフローチャートに戻り、クラウドサーバ３０の通信部９１は、ステップＳ３１において、直接コンテキスト情報を取得したり、ステップＳ３２において、ドローン２０からのコンテキスト情報を受信する。

その後、クラウドサーバ３０の選択部９２は、ステップＳ３３において、記憶部９３に記憶されている複数の識別器から、クラウドサーバ３０が取得したコンテキスト情報（飛行計画）と、ドローン２０からのコンテキスト情報（飛行環境）に対応した識別器を選択する。

ステップＳ３４において、クラウドサーバ３０の通信部９１は、図７に示されるように、コンテキスト情報に含まれる飛行計画を表す飛行計画情報と、その飛行計画に対応して選択された識別器の識別器情報を、基地局１１４を介してドローン２０に送信する。飛行計画情報には、飛行経路、飛行目的、センシング対象物、および、センシング飛行に関する時刻情報などが含まれる。なお、識別器情報は、飛行計画情報に含まれていてもよい。

ステップＳ２３において、ドローン２０の通信部５１は、クラウドサーバ３０からの飛行計画情報と識別器情報を受信する。

その後、ドローン２０の制御部５２は、ステップＳ２４において、クラウドサーバ３０からの飛行計画情報と識別器情報を、記憶部５５に格納する。

識別器は、モジュールとパラメータから構成される。モジュールは、識別器そのものを構成し、例えば、飛行目的（地形の測量や構造物の点検などのミッション）などの種別毎に定義される。パラメータは、各種別の識別器に対応して、コンテキスト情報毎に調整されることで最適化されている。

例えば、地形の測量のためのモジュールには、そのときの位置情報や時刻情報、天候情報に最適化されたパラメータが用いられる。また例えば、ソーラーパネルの損傷の検出のためのモジュールには、そのときの位置情報や時刻情報、天候情報のほか、ソーラーパネルの製造元などに最適化されたパラメータが用いられる。

例えば、モジュールは、ソースコードをビルドしたオブジェクトであり、パラメータは、オブジェクトの起動時または起動中にオブジェクトに読み込まれる情報である。また、モジュールは、パラメータのデフォルト値を含んでいてもよい。

識別器情報は、識別器そのものを構成する情報（モジュールやパラメータ）であってもよいし、識別器を特定する情報であってもよい。識別器を特定する情報には、識別器のＩＤやバージョン情報が含まれてもよい。また、識別器を特定する情報に、飛行目的（地形の測量や構造物の点検などのミッション）に応じた識別器の種別を表す情報が含まれてもよい。

したがって、上述した処理においては、識別器情報として、識別器のパラメータおよびモジュールのいずれか一方がドローン２０に送信されてもよいし、それらの両方がドローン２０に送信されてもよい。また、識別器情報として、識別器を特定する情報のみが、ドローン２０に送信されてもよい。

例えば、ドローン２０があらかじめ特定の種別のモジュールを保持している場合には、そのモジュールに対応したパラメータのみがドローン２０に送信されるようにする。また、ドローン２０があらかじめ複数の種別のモジュールを保持している場合には、モジュールの種別を表す種別情報と、その種別のモジュールに対応したパラメータがドローン２０に送信されてもよい。さらに、ドローン２０があらかじめモジュールと、そのモジュールに対応したパラメータを保持している場合には、必要とされるモジュールとパラメータを特定する情報のみが、ドローン２０に送信されるようにする。

＜４．特徴情報の抽出と送信＞
次に、図８のフローチャートを参照して、飛行中のドローン２０における特徴情報の抽出と送信の流れについて説明する。

ステップＳ５１において、制御部５２は、記憶部５５に格納されている飛行計画情報を読み出す。

ステップＳ５２において、制御部５２は、読み出した飛行計画情報に対応した識別器情報を記憶部５５から読み出すことで、特徴情報の抽出に用いる識別器を設定する。

識別器が設定されると、ステップＳ５３において、制御部５２は、飛行計画情報に基づいて駆動制御部５３を制御することで、ドローン２０に、飛行計画情報で表される飛行計画に従った飛行を開始させる。

ステップＳ５４において、飛行中のドローン２０に搭載されたセンサ２１は、図９に示されるように、地上の撮影（空撮）を行う。センサ２１による撮影により取得された撮影画像は、制御部５２に供給される。

ステップＳ５５において、制御部５２は、設定した識別器を用いて、撮影画像に写る被写体（センシング対象物）を識別することで、撮影画像から特徴情報を抽出する。このように、制御部５２は、ドローン２０の飛行中に、センサ２１を制御することによって、飛行計画に対応した識別器を用いたセンシングを行う。

ステップＳ５６において、制御部５２は、識別器によって有意な特徴情報が抽出されたか否かを判定する。

例えば、撮影画像に写るセンシング対象物として対空標識１０が識別されることで、対空標識１０に関する特徴情報が抽出された場合、有意な特徴情報が抽出されたと判定される。対空標識１０に関する特徴情報としては、例えば、対空標識１０の位置情報が抽出される。

また、撮影画像に写るセンシング対象物としてソーラーパネルの損傷が識別されることで、ソーラーパネルの損傷に関する特徴情報が抽出された場合、有意な特徴情報が抽出されたと判定されてもよい。

ステップＳ５６において、有意な特徴情報が抽出されたと判定された場合、ステップＳ５７に進む。

ステップＳ５７において、通信部５１は、制御部５２の制御の下、抽出された特徴情報とともに、その抽出に用いられた識別器に関する情報をクラウドサーバ３０へ送信する。識別器に関する情報は、識別器を構成する情報（モジュールやパラメータ）であってもよいし、識別器を特定する情報であってもよい。例えば、図１０に示されるように、特徴情報の抽出に用いられた識別器のパラメータ、および、その識別器のモジュールの種別（飛行目的毎の種別）を表す種別情報が、例えばヘッダ情報として特徴情報に付加されて、クラウドサーバ３０へ送信される。また、特徴情報の抽出に用いられた識別器に関する情報として、モジュールの種別情報ではなく、モジュール自体が、特徴情報とは別個にクラウドサーバ３０へ送信されてもよいし、全ての識別結果がクラウドサーバ３０へ送信されてもよい。さらに、特徴情報の抽出に用いられた識別器に関する情報として、識別器のＩＤやバージョン情報、識別対象となったセンシング対象物に応じた識別器の種類を表す情報が、クラウドサーバ３０へ送信されてもよい。

また、特徴情報としては、センシング対象物の位置情報の他、センシング対象物を特定する情報が、撮影画像から抽出されて、クラウドサーバ３０へ送信されてもよい。例えば、センシング対象物を特定する情報としては、識別器によって付与されるセンシング対象物のＩＤや、対空標識１０、構造物の点検箇所、農作物の成長箇所や疫病箇所、輸送対象の物品などといったセンシング対象物の種類が抽出されてもよい。また、センシング対象物を特定する情報として、対空標識１０の異常の有無、構造物の損傷の種類、農作物の疫病や害虫の有無などといったセンシング対象物の状態が抽出されてもよい。さらに、センシング対象物を特定する情報として、撮影画像においてセンシング対象物のみが写る部分の画像や、センシング対象物を中心とした所定範囲の画像など、センシング対象物の部分画像が抽出されてもよい。

さらに、例えば３次元モデルを用いた地形の測量など、飛行目的によっては、特徴情報や、その抽出に用いられた識別器に関する情報に加え、センシングにより得られたセンシングデータ（例えば撮影画像）自体が、クラウドサーバ３０へ送信されてもよい。クラウドサーバ３０へ送信されるセンシングデータには、例えば、センシング対象物を撮影した撮影画像の他、その他の範囲を撮影した撮影画像が含まれてもよい。センシングデータは、ＲＧＢカメラや赤外線カメラにより取得される特定波長の画像の他、ＮＤＶＩ（Normalized Difference Vegetation Index）などのように、画像が所定の演算により指数化されたデータであってもよい。さらに、地形の測量など構造検出が飛行目的である場合には、センシングデータは、ポイントクラウドデータなどの３次元データのように、デプス情報を含んでいてもよい。

特徴情報などがクラウドサーバ３０へ送信された後、ステップＳ５８において、制御部５２は、飛行計画情報で表される飛行計画に従った飛行が終了するか否かを判定する。

ステップＳ５８において、飛行計画に従った飛行がまだ終了しないと判定されたか、または、ステップＳ５６において、有意な特徴情報が抽出されていないと判定された場合、ステップＳ５４に戻り、同様の処理が、一定の時間間隔毎に繰り返される。

一方、ステップＳ５８において、飛行計画に従った飛行が終了すると判定された場合、制御部５２は、駆動制御部５３を制御することで、ドローン２０の飛行を終了させる。

以上のようにして、ドローン２０は、飛行を開始してから飛行計画に従って飛行している最中、例えば数分おきなどの周期で地上を空撮し、取得された撮影画像から特徴情報を抽出し、クラウドサーバ３０に送信する。

以上の処理によれば、飛行計画に従った飛行中に、飛行計画に対応した識別器を用いたセンシングが行われる。すなわち、ドローン２０は、飛行計画に適した識別器を用いて、撮影画像から対空標識１０の特徴情報を抽出するので、より正確に、識別対象である対空標識１０を識別することが可能となる。

例えば、ドローン２０を、地上の地形の測量を飛行目的として飛行させた後に、ソーラーパネルの損傷の検出を飛行目的として飛行させた場合であっても、それぞれの飛行目的に適した識別器により、それぞれの飛行目的における識別対象を、正確に識別することができる。

さらに、ドローン２０は、自機の飛行環境に適した識別器を用いて、撮影画像から対空標識１０の特徴情報を抽出するので、より正確に、識別対象である対空標識１０を識別することが可能となる。

例えば、対空標識１０への日光の当たり具合によっては、正確に対空標識１０を識別できないことがあり、その日光の当たり具合は、ドローン２０が飛行する場所や時間帯、天候によって異なる。

そこで、ドローン２０が飛行する場所や時間帯、天候を表すコンテキスト情報に対応した識別器を用いることで、日光の当たり具合に影響されることなく、正確に対空標識１０を識別することが可能となる。

図１１は、クラウドサーバ３０に送信される情報の情報量について説明する図である。

例えば、クラウドサーバ３０に送信される情報が、対空標識１０が写る、５４５６×３６３２ピクセルの撮影画像である場合、その情報量は７，３００，０００ｂｙｔｅ（７．３ＭＢ）となる。但し、その撮影画像において、対空標識１０が写る部分（領域）は、２０×２０ピクセル程度となる。

一方、クラウドサーバ３０に送信される情報が、対空標識１０が写る撮影画像から特徴情報として抽出された対空標識１０の位置情報（ｘｙ平面上の対空標識１０の座標位置、対空標識１０の幅および高さ）である場合、その情報量は３２ｂｙｔｅとなる。

例えば、飛行目的が、撮影画像そのものをクラウドサーバ３０に送信する必要のない飛行目的である場合には、このように、空撮により取得された撮影画像から特徴情報を抽出することで、クラウドサーバ３０に送信される情報の情報量を削減させることができる。

なお、コンテキスト情報に、識別器のバージョンに関する情報が含まれていてもよい。例えば、ドローン２０が、コンテキスト情報として、地形の測量に対応する識別器の最新バージョンのパラメータを要求する情報をクラウドサーバ３０へ送信することで、結果として、対空標識１０の識別の精度を向上することができる。

また、飛行中に、撮影画像から抽出された特徴情報がクラウドサーバ３０に送信されることに加え、飛行終了後、ドローン２０が地上に着陸した状態で、例えば有線通信によって、対空標識１０が写る撮影画像がクラウドサーバ３０に送信されてもよい。

＜５．クラウドサーバの動作＞
次に、図１２のフローチャートを参照して、ドローン２０から特徴情報が送信された後のクラウドサーバ３０の動作について説明する。

ステップＳ７１において、通信部９１は、ドローン２０からの特徴情報を受信し、記憶部９３に格納する。

ステップＳ７２において、処理部９４は、記憶部９３に格納された特徴情報を用いた処理を行う。

例えば、処理部９４は、ドローン２０からの対空標識１０の特徴情報（位置情報）を用いて、地上の地形の３次元モデルを作成する。そして、処理部９４は、作成した３次元モデルから地上の地形の測量を行い、通信部９１を介して、その測量結果を出力する。

なお、特徴情報のヘッダ情報として付加されている、その特徴情報の抽出に用いられた識別器のパラメータなどの識別器を構成する情報や、モジュール（識別器）の種別情報、識別器のＩＤやバージョン情報など、特徴情報の抽出に用いられた識別器に関する情報は、識別器の検証に用いられることができる。

具体的には、特徴情報の抽出に用いられたパラメータが最適なパラメータであったか、特徴情報の抽出に用いられたモジュールが正しい種別のモジュールであったか、などが検証される。また、ドローン２０への識別器の送信中、通信が途切れるなどして一部のパラメータが送信されなかった場合には、どのパラメータが送信されなかったかが検証されるようにもできる。

これらの検証は、処理部９４により実行され、その検証結果がアラートとして外部に出力されるようにしてもよい。さらに、ドローン２０からコンテキスト情報が送信されたとき、その検証結果に基づいて、コンテキスト情報に対応した識別器が選択されるようにしてもよい。

また、上述した検証処理以外にも、処理部９４が、クラウドサーバ３０からドローン２０に送信された飛行計画情報に対応する識別器情報と、特徴情報の抽出に用いられた識別器に関する情報とが一致するか否かの比較処理を行うようにしてもよい。

＜６．その他＞
（変形例）
以上においては、識別器のダウンロードは、ドローン２０が飛行を開始する前に実行されるものとしたが、飛行中に実行されるようにしてもよい。これにより、ドローン２０は、１回の飛行で異なるミッションを行うことが可能となる。

例えば、ドローン２０が、地形の測量のための識別器が設定された状態で飛行を開始し、地形の測量のための空撮が完了したとき、飛行した状態で、そのときの飛行環境に応じた構造物の点検のための識別器をダウンロードする。これにより、１回の飛行で、地形の測量のための空撮と、構造物の点検のための空撮とを連続して行うことが可能となる。

（適用例）
本技術は、ドローンなどの無人航空機以外の移動体に適用することもできる。

例えば、本技術を、自動運転を行う自動車や列車、新交通システムなどの車両に適用してもよい。この場合、車両が、走行環境に適した識別器をダウンロードすることにより、走行中に撮影された画像における他の車両や人、信号などの認識精度を向上させることができる。

また、本技術を、ロボット掃除機に適用してもよい。この場合、ロボット掃除機が、掃除を行う環境に適した識別器をダウンロードすることにより、走行中に撮影された画像における障害物の認識精度を向上させることができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、ネットワークやプログラム記録媒体からインストールされる。

本開示に係る技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本開示に係る技術は以下のような構成をとることができる。
（１）
無人飛行機であって、
前記無人飛行機に搭載されたセンサにより取得されたセンサデータから特徴情報を抽出する制御部と、
抽出された前記特徴情報をサーバに送信する通信部と
を備え、
前記通信部は、飛行のコンテキスト情報に対応した識別器に関する識別器情報を受信し、
前記制御部は、前記識別器情報を用いて前記センサデータから前記特徴情報を抽出する
無人航空機。
（２）
前記通信部は、
前記コンテキスト情報を前記サーバに送信し、
前記サーバによって前記コンテキスト情報に基づいて選択された前記識別器の前記識別器情報を受信する
（１）に記載の無人航空機。
（３）
前記コンテキスト情報は、前記無人飛行機が行う飛行に関する飛行計画を表す情報、および、前記無人飛行機の飛行環境を表す情報を少なくとも含む
（１）または（２）に記載の無人飛行機。
（４）
前記通信部は、前記飛行計画を表す飛行計画情報を、前記飛行計画に対応した前記識別器情報とともに受信する
（３）に記載の無人飛行機。
（５）
前記制御部は、前記飛行計画に従った飛行中に、前記センサを制御することによって、前記飛行計画に対応した前記識別器を用いたセンシングを行う
（４）に記載の無人飛行機。
（６）
前記飛行環境を表す情報は、前記無人飛行機の位置情報、時刻情報、および天候情報の少なくともいずれかを含む
（３）乃至（５）のいずれかに記載の無人航空機。
（７）
前記位置情報は、緯度および経度を表す
（６）に記載の無人航空機。
（８）
前記天候情報は、風速情報および風向情報を含む
（６）に記載の無人航空機。
（９）
前記飛行計画を表す情報は、飛行経路、飛行目的、センシング対象物、およびセンシング飛行に関する時刻情報の少なくともいずれかを含む
（３）乃至（５）のいずれかに記載の無人航空機。
（１０）
前記飛行経路は、ウェイポイントで表される
（９）に記載の無人航空機。
（１１）
前記飛行目的は、地形の測量および構造物の点検の少なくともいずれかを含む
（９）に記載の無人航空機。
（１２）
前記センシング対象物は、対空標識、ソーラーパネルの損傷箇所、建築物の外壁のひび割れ箇所またはタイル剥がれ箇所の少なくともいずれかを含む
（９）に記載の無人航空機。
（１３）
前記センサは、飛行中に撮影を行うカメラとして構成され、
前記制御部は、前記カメラの撮影により取得された撮影画像から前記特徴情報を抽出する
（１）乃至（１２）のいずれかに記載の無人航空機。
（１４）
前記制御部は、前記特徴情報として、前記撮影画像において識別されたセンシング対象物に関する情報を抽出する
（１３）に記載の無人航空機。
（１５）
前記特徴情報は、前記センシング対象物の位置情報、および、前記センシング対象物を特定する情報の少なくともいずれか一方を含む
（１４）に記載の無人航空機。
（１６）
前記通信部は、前記識別器情報として、前記サーバから前記識別器を構成する情報、および、前記識別器を特定する情報の少なくともいずれか一方を受信する
（１）乃至（１５）のいずれかに記載の無人航空機。
（１７）
前記通信部は、抽出された前記特徴情報とともに、前記特徴情報の抽出に用いられた前記識別器に関する情報を前記サーバに送信する
（１６）に記載の無人航空機。
（１８）
前記識別器に関する情報は、前記識別器を構成する情報、および、前記識別器を特定する情報の少なくともいずれか一方を含む
（１７）に記載の無人航空機。
（１９）
無人航空機が、
飛行のコンテキスト情報に対応した識別器に関する識別器情報を受信し、
前記識別器情報を用いて、前記無人飛行機に搭載されたセンサにより取得されたセンサデータから特徴情報を抽出し、
抽出された前記特徴情報をサーバに送信する
通信方法。
（２０）
コンピュータに、
飛行のコンテキスト情報に対応した識別器に関する識別器情報を受信し、
前記識別器情報を用いて、無人航空機に搭載されたセンサにより取得されたセンサデータから特徴情報を抽出し、
抽出された前記特徴情報をサーバに送信する
処理を実行させるためのプログラム。
（２１）
無人航空機の飛行のコンテキスト情報を受信する通信部と、
前記コンテキスト情報に基づいて、前記コンテキスト情報に対応した識別器を選択する選択部と
を備え、
前記通信部は、選択された前記識別器に関する識別器情報を前記無人航空機に送信する
情報処理装置。
（２２）
前記通信部は、前記無人航空機に搭載されたセンサにより取得されたセンサデータから前記識別器情報を用いて抽出された特徴情報を受信し、
受信された前記特徴情報を格納する記憶部をさらに備える
（２１）に記載の情報処理装置。
（２３）
前記通信部は、抽出された前記特徴情報とともに、前記特徴情報の抽出に用いられた前記識別器に関する情報を前記無人航空機から受信し、
前記記憶部は、受信された前記特徴情報とともに、前記識別器に関する情報を格納する
（２２）に記載の情報処理装置。
（２４）
前記識別器に関する情報は、前記識別器を構成する情報、および、前記識別器を特定する情報の少なくともいずれかを含む
（２３）に記載の情報処理装置。
（２５）
前記識別器に関する情報を用いて、前記識別器の検証を行う処理部をさらに備える
（２３）または（２４）に記載の情報処理装置。

１０ 対空標識， ２０ ドローン， ２１ カメラ， ３０ クラウドサーバ， ５１ 通信部， ５２ 制御部， ５３ 駆動制御部， ５４ 飛行機構， ５５ 記憶部， ６１ 飛行計画情報， ６２ 識別器情報， ９１ 通信部， ９２ 選択部， ９３ 記憶部， ９４ 処理部

Claims (20)

1. 無人飛行機であって、
   前記無人飛行機に搭載されたセンサにより取得されたセンサデータから特徴情報を抽出する制御部と、
   抽出された前記特徴情報をサーバに送信する通信部と
   を備え、
   前記通信部は、飛行のコンテキスト情報に対応した識別器に関する識別器情報を受信し、
   前記制御部は、前記識別器情報を用いて前記センサデータから前記特徴情報を抽出する
   無人航空機。
2. 前記通信部は、
   前記コンテキスト情報を前記サーバに送信し、
   前記サーバによって前記コンテキスト情報に基づいて選択された前記識別器の前記識別器情報を受信する
   請求項１に記載の無人航空機。
3. 前記コンテキスト情報は、前記無人飛行機が行う飛行に関する飛行計画を表す情報、および、前記無人飛行機の飛行環境を表す情報を少なくとも含む
   請求項２に記載の無人飛行機。
4. 前記通信部は、前記飛行計画を表す飛行計画情報を、前記飛行計画に対応した前記識別器情報とともに受信する
   請求項３に記載の無人飛行機。
5. 前記制御部は、前記飛行計画に従った飛行中に、前記センサを制御することによって、前記飛行計画に対応した前記識別器を用いたセンシングを行う
   請求項４に記載の無人飛行機。
6. 前記飛行環境を表す情報は、前記無人飛行機の位置情報、時刻情報、および天候情報の少なくともいずれかを含む
   請求項３に記載の無人航空機。
7. 前記位置情報は、緯度および経度を表す
   請求項６に記載の無人航空機。
8. 前記天候情報は、風速情報および風向情報を含む
   請求項６に記載の無人航空機。
9. 前記飛行計画を表す情報は、飛行経路、飛行目的、センシング対象物、およびセンシング飛行に関する時刻情報の少なくともいずれかを含む
   請求項３に記載の無人航空機。
10. 前記飛行経路は、ウェイポイントで表される
    請求項９に記載の無人航空機。
11. 前記飛行目的は、地形の測量および構造物の点検の少なくともいずれかを含む
    請求項９に記載の無人航空機。
12. 前記センシング対象物は、対空標識、ソーラーパネルの損傷箇所、建築物の外壁のひび割れ箇所またはタイル剥がれ箇所の少なくともいずれかを含む
    請求項９に記載の無人航空機。
13. 前記センサは、飛行中に撮影を行うカメラとして構成され、
    前記制御部は、前記カメラの撮影により取得された撮影画像から前記特徴情報を抽出する
    請求項１に記載の無人航空機。
14. 前記制御部は、前記特徴情報として、前記撮影画像において識別されたセンシング対象物に関する情報を抽出する
    請求項１３に記載の無人航空機。
15. 前記特徴情報は、前記センシング対象物の位置情報、および、前記センシング対象物を特定する情報の少なくともいずれか一方を含む
    請求項１４に記載の無人航空機。
16. 前記通信部は、前記識別器情報として、前記サーバから前記識別器を構成する情報、および、前記識別器を特定する情報の少なくともいずれか一方を受信する
    請求項１に記載の無人航空機。
17. 前記通信部は、抽出された前記特徴情報とともに、前記特徴情報の抽出に用いられた前記識別器に関する情報を前記サーバに送信する
    請求項１６に記載の無人航空機。
18. 前記識別器に関する情報は、前記識別器を構成する情報、および、前記識別器を特定する情報の少なくともいずれか一方を含む
    請求項１７に記載の無人航空機。
19. 無人航空機が、
    飛行のコンテキスト情報に対応した識別器に関する識別器情報を受信し、
    前記識別器情報を用いて、前記無人飛行機に搭載されたセンサにより取得されたセンサデータから特徴情報を抽出し、
    抽出された前記特徴情報をサーバに送信する
    通信方法。
20. コンピュータに、
    飛行のコンテキスト情報に対応した識別器に関する識別器情報を受信し、
    前記識別器情報を用いて、無人航空機に搭載されたセンサにより取得されたセンサデータから特徴情報を抽出し、
    抽出された前記特徴情報をサーバに送信する
    処理を実行させるためのプログラム。

Images