JP2019045898A - 飛行体制御方法、飛行体、プログラム及び記録媒体 - Google Patents

Abstract

【課題】飛行体に正確に作業領域を特定させて効率のよい作業を行わせること。【解決手段】飛行体の作業領域を特定するための飛行体制御方法は、前記作業領域のサンプル画像情報を取得するステップと、前記サンプル画像情報との類似度に基づき対象領域における前記作業領域を特定するステップと、を有する。【選択図】図３

Description

本開示は、飛行体が作業を行う作業領域を特定するための飛行体制御方法、飛行体、プログラム及び記録媒体に関する。

空中を飛行する飛行体は、例えば、対象を上空から撮像する空中撮像、地形や地上の建築物等の対象を上空から測定する測量、荷物を目的地まで飛行して運搬する空輸など、様々な分野において利用されている。また、飛行体は、例えば農業分野において、農薬、肥料、水等の散布物を搭載し、農地の作物等の対象に所定の作業領域内に散布物を散布する散布用途にも応用されている。

農業分野に用いる飛行体の例として、例えば特許文献１には、４つの回転翼、スタンド、マスタ制御箱、防風箱、薬剤噴霧箱を含み、回転翼が外部端に取り付けられたＸ型のスタンドの下部に防風箱を設置し、防風箱の中に薬剤噴霧箱を設置した回転翼無人機が開示されている。

中国実用新案第２０４２９７０９７号明細書

特許文献１に示される無人機を使用して散布物（例えば農薬、肥料、水など）を散布するなどの作業を行うとき、所定の作業領域（例えば農地など）の範囲内で正確に作業を行うことが要求されることが一般的である。散布物が作業領域の外にはみ出てしまうと、人体の健康や環境を害するおそれが生じる（例えば、農薬を農地の隣にある農家に散布してしまった場合など）だけでなく、散布物の浪費にもなってしまう。一方、作業領域の一部に散布物が行き渡らなかった場合も散布の目的を達成できなくなる。

従来は、ユーザが作業領域を目視しながら、送信機などを使用して無人機の飛行を手動で制御して作業を行っていた。ところが、広範囲の作業領域である場合はユーザが長時間無人機の操縦に集中しなければならず、体力的、精神的な負担が大きいだけでなく、作業領域内で正確に作業することが困難である。また、ユーザが無人機に通信可能な端末装置において電子的な地図を参照しながらあらかじめ作業領域を設定し、飛行体は設定された作業領域内の飛行経路をたどりながら作業することも知られている。しかしながら、電子的な地図は随時アップデートされているわけではないため、最新の地形が反映されているとは限らず、仮に地図の位置情報が最新の情報であったとしても、数メートルの誤差が生じることは稀ではない。さらに、日ごろから端末装置の使用に慣れていないユーザにとっては、作業領域の設定方法などを学習すること自体が負担になってしまう。

一態様において、飛行体の作業領域を特定するための飛行体制御方法であって、作業領域のサンプル画像情報を取得するステップと、サンプル画像情報との類似度に基づき対象領域における作業領域を特定するステップと、を有する。

サンプル画像情報は、作業領域内にある基準位置で撮像した画像から取得されてよい。

サンプル画像情報は、作業領域内にある複数の位置においてそれぞれ撮像された複数の画像から選択された一の画像から取得されてよい。

基準位置は、作業領域の境界線から所定距離以上内側の位置にあってよい。

サンプル画像情報には、色の属性に関する情報が含まれてよい。

対象領域における作業領域を特定するステップは、対象領域内に一連の撮像位置を確定するステップと、それぞれの撮像位置において撮像するステップと、撮像された画像の合成画像とサンプル画像情報との類似度に基づき作業領域を特定するステップと、を有してよい。

撮像された画像の合成画像とサンプル画像情報との類似度に基づき作業領域を特定するステップは、撮像位置において撮像するごとに、すでに撮像された複数の画像を合成し、合成された画像とサンプル画像情報との類似度が第１閾値以上である類似領域が閉領域となったときに、その閉領域を作業領域として特定するステップと、を有してよい。

撮像された画像の合成画像とサンプル画像情報との類似度に基づき作業領域を特定するステップは、対象領域の所定範囲を示す情報を取得するステップと、所定範囲内にある撮像位置での撮像画像を合成して得られた画像のうち前記サンプル画像情報との類似度が第１閾値以上である領域を前記作業領域として特定するステップと、を有してよい。

合成された画像のうちサンプル画像情報との類似度が第１閾値以上である領域を作業領域として特定するステップは、合成された画像のうち、サンプル画像情報との類似度が第１閾値以上であり、且つ面積が第２閾値以上である領域を作業領域として特定するステップを有してよい。

一連の撮像位置は、基準位置から始まり且つ螺旋状に広がる経路を構成してよい。

一態様において、作業領域を特定する飛行体であって、処理部を有し、処理部は、作業領域のサンプル画像情報を取得し、サンプル画像情報との類似度に基づき対象領域における作業領域を特定する。

飛行体は、さらに撮像装置を有し、サンプル画像情報は、作業領域内にある基準位置で撮像した画像から取得されてよい。

サンプル画像情報は、作業領域内にある複数の位置においてそれぞれ撮像された複数の画像から選択された一の画像から取得されてよい。

基準位置は、作業領域の境界線から所定距離以上内側の位置にあってよい。

サンプル画像情報には、色の属性に関する情報が含まれてよい。

処理部は、対象領域内に一連の撮像位置を確定し、それぞれの撮像位置において撮像し、撮像された画像の合成画像とサンプル画像情報との類似度に基づき作業領域を特定してよい。

処理部は、撮像位置において撮像するごとに、すでに撮像された複数の画像を合成し、合成された画像とサンプル画像情報との類似度が第１閾値以上である類似領域が閉領域となったときに、その閉領域を作業領域として特定してよい。

処理部は、対象領域の所定範囲を示す情報を取得し、所定範囲内にある撮像位置で撮像した画像を合成して得られた画像のうちサンプル画像情報との類似度が第１閾値以上である領域を作業領域として特定してよい。

処理部は、合成された画像のうち、サンプル画像情報との類似度が第１閾値以上であり、且つ面積が第２閾値以上である領域を作業領域として特定してよい。

一連の撮像位置は、基準位置から始まり且つ螺旋状に広がる経路を構成してよい。

一態様において、作業領域を特定する飛行体に、作業領域のサンプル画像情報を取得するステップと、サンプル画像情報との類似度に基づき対象領域における作業領域を特定するステップと、を実行させるためのプログラムである。

一態様において、作業領域を特定する飛行体に、作業領域のサンプル画像情報を取得するステップと、サンプル画像情報との類似度に基づき対象領域における作業領域を特定するステップと、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

無人飛行体の外観の一例を示す図である。 無人飛行体のハードウェア構成の一例を示すブロック図である。 本開示における飛行体制御方法の処理手順の一例を示すフロー図である。 本開示における作業領域の一例を示す模式図である。 本開示における基準位置の一例を示す模式図である。 本開示における作業領域を特定するステップの一例を示すフロー図である。 探索経路を構成する作業領域内の一連の撮像位置を示す模式図である。 一連の撮像位置において撮像した画像範囲を示す模式図である。 作業領域を特定するステップの一実施例を示すフロー図である。 一連の撮像位置で撮像された画像の合成画像を示す模式図である。 一連の撮像位置で撮像された画像の合成画像を示す模式図である。 一連の撮像位置で撮像された画像の合成画像を示す模式図である。 本開示における作業領域の一例を示す模式図である。 作業領域を特定するステップの一実施例を示すフロー図である。 対象領域において設定された所定範囲を示す模式図である。 特定された作業領域を示す模式図である。

以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。

本開示に係る飛行体制御方法は、飛行体の飛行を制御するための情報処理装置における各種の処理（ステップ）が規定されたものである。飛行体は、空中を移動する航空機（例えばドローン、ヘリコプター）を含む。飛行体は、無人飛行体（ＵＡＶ：Unmanned Aerial Vehicle）であってもよい。飛行体は、所定の作業（例えば農薬、肥料、水等の散布）を行う作業領域（例えば農地）を特定することができる。

本開示に係るプログラムは、情報処理装置に各種の処理（ステップ）を実行させるためのプログラムである。

本開示に係る記録媒体は、プログラム（つまり、情報処理装置に各種の処理（ステップ）を実行させるためのプログラム）が記録されたものである。

以下に示す本開示に係る各実施形態において、飛行体として、無人飛行体（ＵＡＶ）を例示する。本明細書に添付する図面では、無人飛行体を「ＵＡＶ」と表記する。以下に示す各実施形態において、飛行体は、農地の作物等の散布対象を含む作業領域を特定する。以下においては、一の飛行体により作業領域を特定した後、同一の飛行体により当該特定された作業領域に対して散布物をほぼ均一にくまなく散布するための飛行経路を設定し、飛行経路に沿って作業を行う場合を例にとって説明するが、本開示はこれに限られない。例えば、一の本開示にかかる探索用飛行体が作業領域を特定した後、特定された作業領域の情報を別の作業用飛行体に伝送し、当該作業用飛行体がその特定された作業範囲で作業を行うようにしてよい。

以下に示す本開示に係る各実施形態において、情報処理装置は、飛行体の内部に設置されている処理部を例にとって説明するが、飛行体と通信可能である独立した遠隔のサーバなどの情報処理装置であってよい。また、飛行体内部に処理部と、飛行体と通信可能である遠隔の情報処理装置がそれぞれ本開示にかかる各種処理（ステップ）の一部を実行してもよい。ここにいう「通信」とは、データ通信全般を含む広い概念であり、ケーブルなどにより有線接続する場合だけでなく、無線通信によって接続する場合も含まれる。また、情報処理装置が飛行体と直接通信する場合だけでなく、記憶媒体を介して間接的に通信を行う場合も含まれる。

図１は、無人飛行体１００の外観の一例を示す図である。無人飛行体１００は、例えば散布作業の作業領域を特定した後、特定された作業領域内の散布対象に農薬、肥料、水等の散布物の散布作業を行う。無人飛行体１００は、ＵＡＶ本体１０２と、回転翼機構１３０と、噴射ノズル２００と、タンク２１０と、撮像装置２７０と、を含む構成である。無人飛行体１００は、例えば、撮像装置２７０で所定の対象領域を探索して作業領域（例えば農地）を特定した後、作業領域内に飛行経路を設定し、設定された飛行経路に沿って移動し、噴射ノズル２００を通じてタンク２１０に格納されている農薬、肥料、水などを散布することができる。無人飛行体１００の移動は、飛行を意味し、少なくとも上昇、降下、左旋回、右旋回、左水平移動、右水平移動の飛行が含まれる。なお、無人飛行体１００が作業領域の特定のみを行い、その後別の作業用飛行体により作業を行う場合は、無人飛行体１００は噴射ノズル２００とタンク２１０を備えなくてもよい。

無人飛行体１００は、複数の回転翼機構（プロペラ）１３０を備える。無人飛行体１００は、例えば８つの回転翼機構１３０を備える。無人飛行体１００は、これら回転翼機構１３０の回転を制御することにより無人飛行体１００を移動させる。ただし、回転翼の数は、８つに限定されない。また、無人飛行体１００は、回転翼を有さない固定翼機でよい。

次に、無人飛行体１００の構成例について説明する。

図２は、無人飛行体１００のハードウェア構成の一例を示すブロック図である。無人飛行体１００は、処理部１１０と、メモリ１２０と、回転翼機構１３０と、ＧＰＳ受信機１４０と、慣性計測装置１５０と、磁気コンパス１６０と、気圧高度計１７０と、ミリ波レーダ１８０と、風速風向計１９０と、噴射ノズル２００と、タンク２１０と、圧力センサ２２０と、流量センサ２３０と、ストレージ２４０と、通信インタフェース２５０と、バッテリ２６０と、撮像装置２７０を含む構成である。

処理部１１０は、プロセッサ、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。処理部１１０は、無人飛行体１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。処理部１１０は、無人飛行体１００において飛行の制御に関する処理を実行する機能を有する。

処理部１１０は、メモリ１２０又はストレージ２４０に格納されたプログラム及び飛行経路に関する情報に従って無人飛行体１００の飛行を制御する。また、処理部１１０は、通信インタフェース２５０を介して遠隔のサーバから受信したデータ及び命令に従って、無人飛行体１００を制御する。

処理部１１０は、回転翼機構１３０を制御することで、無人飛行体１００の飛行を制御する。つまり、処理部１１０は、回転翼機構１３０を制御することにより、無人飛行体１００の緯度、経度、及び高度を含む位置を制御する。処理部１１０は、ＧＰＳ受信機１４０、慣性計測装置１５０、磁気コンパス１６０、気圧高度計１７０、ミリ波レーダ１８０のうちの少なくとも一つにより取得される位置情報に基づき、回転翼機構１３０を制御する。

メモリ１２０は、記憶部の一例である。メモリ１２０は、処理部１１０が回転翼機構１３０、ＧＰＳ受信機１４０、慣性計測装置１５０、磁気コンパス１６０、気圧高度計１７０、ミリ波レーダ１８０、風速風向計１９０、噴射ノズル２００、タンク２１０、圧力センサ２２０、流量センサ２３０、ストレージ２４０、及び通信インタフェース２５０、撮像装置２７０を制御するのに必要なプログラム等を格納する。メモリ１２０は、処理部１１０の処理時に使用される各種の情報やデータを保存する。メモリ１２０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１２０は、無人飛行体１００の内部に設けられてよいし、無人飛行体１００から取り外し可能に設けられてよい。

回転翼機構１３０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。回転翼機構１３０は、回転翼を回転させることにより、特定の方向の気流を生じさせ、無人飛行体１００の飛行（上昇、下降、水平移動、旋回、傾斜等）を制御する。

ＧＰＳ受信機１４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機１４０は、受信された複数の信号に基づいて、ＧＰＳ受信機１４０の位置（つまり、無人飛行体１００の位置）を算出する。ＧＰＳ受信機１４０は、無人飛行体１００の位置情報を処理部１１０に出力する。なお、ＧＰＳ受信機１４０の位置情報の算出は、ＧＰＳ受信機１４０の代わりに処理部１１０により行われてよい。この場合、処理部１１０には、ＧＰＳ受信機１４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。

慣性計測装置（ＩＭＵ：Inertial Measurement Unit）１５０は、無人飛行体１００の姿勢を検出し、検出結果を処理部１１０に出力する。慣性計測装置１５０は、無人飛行体１００の姿勢として、無人飛行体１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の３軸方向の角速度とを検出する。

磁気コンパス１６０は、無人飛行体１００の機首の方位を検出し、検出結果を処理部１１０に出力する。気圧高度計１７０は、無人飛行体１００が飛行する高度を検出し、検出結果を処理部１１０に出力する。

ミリ波レーダ１８０は、ミリ波帯の高周波の電波を送信し、地面や物体により反射された反射波を測定することにより、地面や物体の位置を検出し、検出結果を処理部１１０に出力する。検出結果は、例えば無人飛行体１００から地面までの距離（つまり、高度）を示してよい。検出結果は、例えば無人飛行体１００から物体までの距離を示してよい。検出結果は、例えば無人飛行体１００により散布作業を行う作業領域の地形を示してよい。

風速風向計１９０は、無人飛行体１００の周囲の風速、風向を検出し、検出結果を処理部１１０に出力する。検出結果は、無人飛行体１００が飛行する作業領域における風速、風向を示してよい。

噴射ノズル２００は、農薬、肥料、水等の散布物を導出する管路の端部に設けられ、例えば下方向（鉛直方向）に向けて散布物を噴射する。噴射ノズル２００は、複数のノズル（例えば４つ）を有してよい。噴射ノズル２００は、処理部１１０の制御に基づき、噴射のオン／オフ、噴射量及び噴射速度の調整を行う。よって、噴射ノズル２００からの散布物は、所定の噴射量、噴射速度で散布対象に向かって散布される。タンク２１０は、農薬、肥料、水等の散布物を収容する。タンク２１０は、処理部１１０の制御に基づき、管路を経由して噴射ノズル２００へ散布物を送出する。噴射ノズル２００、タンク２１０は、散布機構の構成の一例に含まれる。

圧力センサ２２０は、噴射ノズル２００から噴射される散布物の圧力を検出し、検出結果を処理部１１０に出力する。検出結果は、例えば噴射ノズル２００からの噴射量又は噴射速度を示してよい。流量センサ２３０は、噴射ノズル２００から噴射される散布物の流量を検出し、検出結果を処理部１１０に出力する。検出結果は、例えば噴射ノズル２００からの噴射量又は噴射速度を示してよい。

ストレージ２４０は、記憶部の一例である。ストレージ２４０は、各種データ、情報を蓄積し、保持する。ストレージ２４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、ＵＳＢメモリ、等でよい。ストレージ２４０は、無人飛行体１００の内部に設けられてよいし、無人飛行体１００から取り外し可能に設けられてよい。

通信インタフェース２５０は、端末５０と通信する。通信インタフェース２５０は、端末５０からの飛行経路、散布物等に関する各種の情報を受信する。通信インタフェース２５０は、端末５０からの処理部１１０に対する各種の命令を受信する。

バッテリ２６０は、無人飛行体１００の各部の駆動源としての機能を有し、無人飛行体１００の各部に必要な電源を供給する。

撮像装置２７０は、所望の撮像範囲に含まれる被写体（例えば上述した農地）を撮像するカメラである。本開示において、撮像装置が無人飛行体１００の下部に固定されている例を示すが、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置２７０を回転可能に支持するジンバルに取り付けられていてもよい。

以下、本開示における飛行体制御方法の一例について説明する。本開示における飛行体制御方法は、所定の探索対象領域から、作業を行う作業領域を特定する。無人飛行体１００は作業する直前に作業領域を特定することにより、正確な作業領域を把握することができ、効率が高い作業を可能にする。

以下、本開示における飛行体制御方法の各ステップが、無人飛行体１００に設けられている処理部１１０で実行される場合を例にとって説明するが、本開示はこれに限らず、一部のステップが無人飛行体１００から離れたサーバにより実行されてよい。

図３は、本開示における飛行体制御方法の処理手順（ステップ）の一例を示すフロー図である。図４は、作業領域の一例を示す模式図である。なお、本開示においては、説明の便宜のため、図４に示す作業領域Ａを例にとるが、実際の作業領域の面積、形状等はこれに限らないことは明らかである。

図３に示すように、本開示における飛行体制御方法Ｓ１００は、まず無人飛行体１００の作業領域Ａのサンプル画像情報を取得する（ステップＳ１１０）。ここでいうサンプル画像情報とは、対象領域から作業領域Ａである部分と作業領域Ａでない部分を識別することに用いることができる作業領域Ａの特徴を示すいかなる情報でよく、例えば形状にかかる情報、色の属性にかかる情報のうち少なくとも一つが含まれてよい。色の属性にかかる情報は、例えばＲＧＢ情報などの明度、彩度、色相を表す情報であってよい。また、サンプル画像情報は作業領域Ａ内の規則的な色彩パターン（模様）であってよい。例えば、作業領域Ａが野菜の農地である場合は、緑色の規則的な模様（色彩パターン）により特定することができる。

サンプル画像情報は、作業領域Ａ内の所定位置で得られた画像から取得することが好ましい。具体例として、無人飛行体１００は、図５に示すように、あらかじめ作業領域Ａ内の基準位置Ｐ０に設けられたビーコンが発信する位置信号に基づいて基準位置Ｐ０の上方まで移動し、基準位置Ｐ０において撮像を行い、その撮像画像からＲＧＢ情報などのサンプル画像情報を取得してよい。なお、本開示における基準位置Ｐ０は、ビーコンによって発信された位置情報により確定する場合に限らず、例えばユーザが無人飛行体１００に通信可能な端末装置においてあらかじめ入力した位置情報に基づいて確定してよい。さらに、より正確なサンプル画像情報を取得するために、作業領域Ａ内にある複数の位置においてそれぞれ画像を撮像し、これらの複数の画像からユーザにより選択された一の画像からサンプル画像情報を取得してよい。

ただし、サンプル画像情報の取得方法は上記に限らず、例えば無線通信やインターネットを通じて遠隔のデータベースから取得したり、過去に作業領域Ａを特定ないし作業を行った履歴がある場合は、無人飛行体１００のメモリ等から過去のサンプル画像情報を取得したりしてよい。

なお、作業領域Ａの中央付近からサンプル画像情報を取得する方が、境界線付近からサンプル画像情報を取得するより作業領域Ａを正確に反映であるため、基準位置Ｐ０は、図５に示すように、作業領域の境界線から所定距離以上内側の位置であることが好ましい。

本開示において、無人飛行体１００は、飛行する前にあらかじめユーザにより設定された飛行パラメータにより初期化されていることが好ましい。飛行パラメータには、例えば安全飛行高度（例えば２０ｍ）、対象領域の範囲（例えば基準位置Ｐ０から半径１００ｍ）、飛行速度（例えば５ｍ／ｓ）などが含まれるが、これに限られない。

次に、取得されたサンプル画像情報との類似度に基づき対象領域における作業領域を特定する（ステップＳ１２０）。対象領域とは、無人飛行体１００が作業領域に属するか否かを判断する領域をいい、ユーザが需要により予めパラメータとして設定することが好ましい。例えば、ユーザはビーコンが置かれている基準位置から半径１００ｍの範囲を対象領域と設定してよい。

上記のように、無人飛行体１００が作業領域の特徴を示すサンプル画像情報を取得した後、対象領域を探索し、対象領域の範囲内にあるサンプル画像情報と一定程度（例えば７０％）以上類似する部分を作業領域として認識することにより、正確に作業領域を特定することができる。

図６は、本開示における作業領域を特定する処理（ステップＳ１２０）の一例を示すフロー図である。まず、無人飛行体１００は、図７に示すように、対象領域内に無人飛行体１００の飛行経路を構成する一連のウェイポイント（すなわち撮像位置）Ｐ０、Ｐ１、Ｐ２、・・・、Ｐｎを確定する（ステップＳ１２１）。これら一連のウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｎは、隣接するウェイポイント同士で撮像される画像が所定の重複率（例えば１０％）以上になるような間隔で設けられる。例えば、図８において、Ｐ０における撮像範囲はＥ０であり、Ｐ１における撮像範囲はＥ１であり、Ｐ２における撮像範囲はＥ２である場合に、Ｅ０とＥ１は１０％以上の重複率があり、且つＥ１とＥ２も１０％以上の重複率がある。このように、少なくとも隣接する撮像範囲同士が一定の割合重複することにより、一連のウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｎで撮像した画像を正確に合成（スティッチング）することができる。

このとき、無人飛行体１００の飛行高度及び撮像装置に用いるレンズの画角により算出された撮像範囲に基づいてあらかじめすべてのウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｎを確定してもよいが、本開示はこれに限らない。例えば、一のウェイポイントＰｘに到達した後に撮像範囲が所定の割合重複するように次のウェイポイントＰｘ＋１を確定してよい。

一連のウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｎは、サンプル画像情報を取得するための図５における基準位置Ｐ０から始まることが好ましい。これにより、無人飛行体１００が基準位置Ｐ０に移動した後、サンプル画像情報を取得すると同時に一つ目のウェイポイントでの撮像が開始され、効率化を図ることができる。

さらに、一連のウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｎは、図７に示すように、螺旋状に広がる経路を形成することが好ましい。基準位置Ｐ０は作業領域Ａの中央付近にあるため、無人飛行体１００が螺旋状に広がるように探索することにより、迅速且つ正確に作業領域Ａの特定を行うことができる。

そして、それぞれのウェイポイントに順次移動して撮像し（ステップＳ１２２）、撮像された画像の合成画像と上記のサンプル画像情報との類似度に基づき作業領域を特定する（ステップＳ１２３）。以下、その具体的な実施例について説明する。

図９は、無人飛行体１００がウェイポイントＰ０で撮像し、ウェイポイントＰ１に移動した後、作業領域を特定するステップ（ステップＳ１２２）の第１の具体的な実施例Ｓ２００を示すフロー図である。図９に示すように、無人飛行体１００はまずウェイポイントＰ１で撮像する（ステップＳ２１０）。

その後、ウェイポイントＰ０で撮像した画像と、ウェイポイントＰ１で撮像した画像を合成する（ステップＳ２２０）。合成は無人飛行体１００の処理部１１０で行うことが好ましいが、遠隔にある情報処理装置で行ってもよい。具体的には、無人飛行体１００は、通信インタフェース２５０を通じて遠隔にある情報処理装置に撮像した画像を送信した後、合成された画像を受信してよい。

次に、無人飛行体１００は、合成された画像のうち、サンプル画像情報との類似度が第１閾値（例えば７０％）以上である領域を類似領域として推定する（ステップＳ２３０）。例えば、無人飛行体１００は、合成された画像のうち、サンプル画像情報のＲＧＢ情報と７０％以上類似する領域を類似領域として推定する。推定においては、具体的には、基準位置Ｐ０での撮像画像に基づく領域拡張法(Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ)などを用いてよい。

次に、ステップＳ２３０で推定した類似領域が閉領域であるか否かを判断する（ステップＳ２４０）。このとき、ウェイポイントＰ０は作業領域Ａの中央付近にあり、且つウェイポイントＰ１はウェイポイントＰ０に隣接しているため、合成画像は図１０に示すようにすべての範囲が類似領域となる。そのため、類似領域は閉領域でないと判断され（ステップＳ２４０、ＮＯ）、次のウェイポイントＰ２に移動する（ステップＳ２６０）。

続いて、無人飛行体１００は、ウェイポイントＰ２で撮像した後（ステップＳ２１０）、ウェイポイントＰ０、Ｐ１、Ｐ２で撮像した画像を合成（スティッチング）する（ステップＳ２２０）。次に、合成された画像のうち、サンプル画像情報との類似度が第１閾値以上である領域を類似領域として推定する（ステップＳ２３０）。このように、ウェイポイントＰｘにおいて撮像するごとに、当該ウェイポイントＰｘに到達するまでのすべてのウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｘ−１、Ｐｘにおいて撮像された画像を合成し、類似領域を推定するステップを繰り返す。新しいウェイポイントにおいて撮像した画像が追加される度に、合成画像は大きくなり、図１１のように合成画像に類似領域に属さない部分が出てくるようになる。やがて、図１２に示すように、類似領域が閉領域になる（ステップＳ２４０、ＹＥＳ）。このとき、当該閉領域である類似領域を作業領域Ａとして特定し（ステップＳ２５０）、処理を終了する。

このように、必ずしもを対象領域内において確定した一連のウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｎのすべてに移動して撮像しなくても、類似領域が閉領域になった段階で、作業領域Ａを特定し処理を終了することにより、電力や時間を節約することができ、作業領域の迅速かつ正確な特定が可能となる。

なお、特定された作業領域Ａの地理的情報（例えばＧＰＳ情報における経度、緯度の範囲）は、各ウェイポイントの位置情報から得ることができる。各ウェイポイントの位置情報は、一連のウェイポイントを確定するとき（すなわち、ステップＳ１２１を実行するとき）に、ビーコンから発信された基準位置との相対距離から算出されたものを用いてもよいが、より正確な位置情報を把握するために、好ましくは、無人飛行体１００が各ウェイポイントにおいて撮像するごとに、ＧＰＳ受信機１４０からそのウェイポイントの位置情報を取得する。

作業領域を特定するステップの第１の具体的な実施例は、基準位置Ｐ０が属する閉じた作業領域が特定できた段階で処理を終了するため、一回実行するごとに閉じた領域を一つしか特定できない。ところが、図１３のように、複数の閉じた領域Ａ１、Ａ２、Ａ３が存在する場合は、それぞれの閉じた作業領域で上記方法を実行しなければならず、かえって煩雑になってしまう。そこで、本開示は、所定範囲内の複数の閉じた作業領域を一度に特定することができる第２の具体的な実施例を提供する。

以下、本開示における飛行体制御方法の作業領域を特定するステップの第２の具体的な実施例Ｓ３００を説明する。まず、図１４に示すように、無人飛行体１００は、あらかじめ対象領域の所定範囲を示す情報を取得する（ステップＳ３１０）。対象領域Ｂの所定範囲は、範囲を示すパラメータにより特定される。例えば、所定範囲は、ビーコンの属する基準位置Ｐ０からの半径１００メートル以内により特定されてよい。

そして、無人飛行体１００は、ウェイポイントＰ０で撮像する（ステップＳ３２０）。その後、基準位置（すなわち、ウェイポイント）Ｐ０から１００メートル以内にあるすべてのウェイポイントで撮像が完了しているか否かを判断する（ステップＳ３３０）。基準位置Ｐ０から１００メートル以内に、撮像を行っていない他のウェイポイントが存在するため（ステップＳ３３０、ＮＯ）、無人飛行体１００は引き続き次のウェイポイントＰ１に移動し（ステップＳ３５０）、ウェイポイントＰ１で撮像を行う（ステップＳ３２０）。そして、無人飛行体１００は、再度基準位置Ｐ０から１００メートル以内にあるすべてのウェイポイントで撮像が完了しているか否かを判断する（ステップＳ３３０）。このように、基準位置Ｐ０から半径１００メートル以内のすべてのウェイポイントで撮像が完了するまで、移動と撮像を繰り返し行う。

基準位置Ｐ０から半径１００メートル以内のすべてのウェイポイントで撮像が完了した後（ステップＳ３３０、ＹＥＳ）、撮像した画像を合成する。このとき、合成された画像は、図１５に示すような、対象領域Ｂの所定範囲（つまり、基準位置Ｐ０から１００メートル以内の範囲）全体を含む結果となる。そして、合成された画像のうち、サンプル画像情報との類似度が第１閾値（例えば７０％）以上である領域を作業領域として特定する（ステップＳ３６０）。これにより、一度に対象領域内にある複数の閉じた領域Ａ１、Ａ２、Ａ３を特定することができる。

本実施例において、それぞれのウェイポイントで撮像するごとに合成を行うこともできるが、すべてのウェイポイントで撮像した後、一括にすべての画像を合成することが好ましい。合成の回数を減らすことにより、処理部１１０のリソースを節約し、省電力を図ることができる。

また、対象領域Ｂの所定範囲内のサンプル画像情報との類似度が第１閾値以上である領域をすべて作業領域として特定すると、多くのノイズが含まれてしまう恐れがある。例えば、図１５に示す農地Ａ１（１００平方メートル）と農地Ａ３（２０平方メートル）の近くに小さな草地Ａ２（５平方メートル）が存在し、農地のサンプル画像情報が緑がかった色に対応するＲＧＢ情報である場合は、草地Ａ２も作業領域として特定されてしまう恐れがある。このようなノイズが発生するのを回避するため、さらに好ましくは、ステップＳ３６０において、合成された画像のうち、サンプル画像情報との類似度が第１閾値（例えば７０％）以上であり、且つ面積が第２閾値（例えば１０平方メートル）以上である領域を作業領域として特定する。第２閾値は、実際の作業領域とノイズとなりうる領域の面積に基づきあらかじめ設定され、メモリ１２０またはストレージ２４０に記録されていてもよい。これにより、図１６に示すように、農地Ａ１、農地Ａ３は１０平方メートル以上なので作業領域として特定され、草地Ａ２は１０平方メートル以下なので作業領域として特定されず、正確に作業領域を特定することができる。

本開示における飛行体制御方法は、作業領域が特定された後に、作業領域内の作業経路を従来の方法により計画し、作業を行ってよい。これにより、ユーザが手動で作業領域を設定しなくても、飛行体が自動的に作業領域を正確に把握することができ、過不足のない効率的な作業を実現できる。

本開示における飛行体制御方法の各処理（ステップ）は、その全部を無人飛行体１００の処理部１１０によって実行させてよいが、これに限らない。例えば、第１の具体的な実施例において画像を合成するステップＳ２３０、類似領域を推定するステップＳ２３０、第２の具体的な実施例において画像を合成するステップＳ３４０、作業領域を特定するステップＳ３６０のうち一つまたは複数を遠隔にある情報処理装置（例えばクラウドサーバ）で実行してよい。

また、本開示における飛行体制御方法は、無人飛行体１００に各処理（ステップ）を実行させるプログラムにより実現してよい。このプログラムは、メモリ１２０、ストレージ２４０又は他の記憶媒体に格納されてよい。

以上、本開示について実施形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 無人飛行体（ＵＡＶ）
１０２ ＵＡＶ本体
１１０ 処理部
１２０ メモリ
１３０ 回転翼機構
１４０ ＧＰＳ受信機
１５０ 慣性計測装置
１６０ 磁気コンパス
１７０ 気圧高度計
１８０ ミリ波レーダ
１９０ 風速風向計
２００ 噴射ノズル
２１０ タンク
２２０ 圧力センサ
２３０ 流量センサ
２４０ ストレージ
２５０ 通信インタフェース
２６０ バッテリ
２７０ 撮像装置

Claims (22)

1. 飛行体の作業領域を特定するための飛行体制御方法であって、
   前記作業領域のサンプル画像情報を取得するステップと、
   前記サンプル画像情報との類似度に基づき対象領域における前記作業領域を特定するステップと、を有する、
   飛行体制御方法。
2. 前記サンプル画像情報は、前記作業領域内にある基準位置で撮像した画像から取得される、
   請求項１に記載の飛行体制御方法。
3. 前記サンプル画像情報は、前記作業領域内にある複数の位置においてそれぞれ撮像された複数の画像から選択された一の画像から取得される、
   請求項２に記載の飛行体制御方法。
4. 前記基準位置は、前記作業領域の境界線から所定距離以上内側の位置にある、
   請求項２に記載の飛行体制御方法。
5. 前記サンプル画像情報には、色の属性に関する情報が含まれる、
   請求項１ないし４のいずれか一項に記載の飛行体制御方法。
6. 前記対象領域における前記作業領域を特定するステップは、
   前記対象領域内に一連の撮像位置を確定するステップと、
   それぞれの撮像位置において撮像するステップと、
   撮像された画像の合成画像と前記サンプル画像情報との類似度に基づき前記作業領域を特定するステップと、を有する、
   請求項２に記載の飛行体制御方法。
7. 前記撮像された画像の合成画像と前記サンプル画像情報との類似度に基づき前記作業領域を特定するステップは、
   前記撮像位置において撮像するごとに、すでに撮像された複数の画像を合成し、前記合成された画像と前記サンプル画像情報との類似度が第１閾値以上である類似領域が閉領域となったときに、前記閉領域を前記作業領域として特定するステップと、有する、
   請求項６に記載の飛行体制御方法。
8. 前記撮像された画像の合成画像と前記サンプル画像情報との類似度に基づき前記作業領域を特定するステップは、
   前記対象領域の所定範囲を示す情報を取得するステップと、
   前記所定範囲内にある撮像位置での撮像画像を合成して得られた画像のうち前記サンプル画像情報との類似度が第１閾値以上である領域を前記作業領域として特定するステップと、を有する、
   請求項６に記載の飛行体制御方法。
9. 前記合成された画像のうち前記サンプル画像情報との類似度が第１閾値以上である領域を前記作業領域として特定するステップは、
   前記合成された画像のうち、前記サンプル画像情報との類似度が第１閾値以上であり、且つ面積が第２閾値以上である領域を前記作業領域として特定するステップを有する、
   請求項８に記載の飛行体制御方法。
10. 前記一連の撮像位置は、前記基準位置から始まり且つ螺旋状に広がる経路を構成する、
    請求項６ないし９のいずれか一項に記載の飛行体制御方法。
11. 作業領域を特定する飛行体であって、処理部を有し、
    前記処理部は、
    前記作業領域のサンプル画像情報を取得し、前記サンプル画像情報との類似度に基づき対象領域における前記作業領域を特定する、
    飛行体。
12. 前記飛行体は、さらに撮像装置を有し、
    前記サンプル画像情報は、前記作業領域内にある基準位置で撮像した画像から取得される、
    請求項１１に記載の飛行体。
13. 前記サンプル画像情報は、前記作業領域内にある複数の位置においてそれぞれ撮像された複数の画像から選択された一の画像から取得される、
    請求項１２に記載の飛行体。
14. 前記基準位置は、前記作業領域の境界線から所定距離以上内側の位置にある、
    請求項１２に記載の飛行体。
15. 前記サンプル画像情報には、色の属性に関する情報が含まれる、
    請求項１１ないし１４のいずれか一項に記載の飛行体。
16. 前記処理部は、前記対象領域内に一連の撮像位置を確定し、それぞれの撮像位置において撮像し、撮像された画像の合成画像と前記サンプル画像情報との類似度に基づき前記作業領域を特定する、
    請求項１２に記載の飛行体。
17. 前記処理部は、前記撮像位置において撮像するごとに、すでに撮像された複数の画像を合成し、前記合成された画像と前記サンプル画像情報との類似度が第１閾値以上である類似領域が閉領域となったときに、前記閉領域を前記作業領域として特定する、
    請求項１６に記載の飛行体。
18. 前記処理部は、前記対象領域の所定範囲を示す情報を取得し、前記所定範囲内にある撮像位置で撮像した画像を合成して得られた画像のうち前記サンプル画像情報との類似度が第１閾値以上である領域を前記作業領域として特定する、
    請求項１６に記載の飛行体。
19. 前記処理部は、前記合成された画像のうち、前記サンプル画像情報との類似度が第１閾値以上であり、且つ面積が第２閾値以上である領域を前記作業領域として特定する、
    請求項１８に記載の飛行体。
20. 前記一連の撮像位置は、前記基準位置から始まり且つ螺旋状に広がる経路を構成する、
    請求項１６ないし１９のいずれか一項に記載の飛行体。
21. 作業領域を特定する飛行体に、
    前記作業領域のサンプル画像情報を取得するステップと、
    前記サンプル画像情報との類似度に基づき対象領域における前記作業領域を特定するステップと、を実行させるための、
    プログラム。
22. 作業領域を特定する飛行体に、
    前記作業領域のサンプル画像情報を取得するステップと、
    前記サンプル画像情報との類似度に基づき対象領域における前記作業領域を特定するステップと、を実行させるためのプログラムを記録したコンピュータ読み取り可能な、
    記録媒体。

Images