JP2019045898A - Flying body control method, flying body, program and recording medium - Google Patents

Flying body control method, flying body, program and recording medium Download PDF

Info

Publication number
JP2019045898A
JP2019045898A JP2017164640A JP2017164640A JP2019045898A JP 2019045898 A JP2019045898 A JP 2019045898A JP 2017164640 A JP2017164640 A JP 2017164640A JP 2017164640 A JP2017164640 A JP 2017164640A JP 2019045898 A JP2019045898 A JP 2019045898A
Authority
JP
Japan
Prior art keywords
work area
area
image information
sample image
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2017164640A
Other languages
Japanese (ja)
Inventor
磊 顧
Lei Gu
磊 顧
向偉 王
Xiangwei Wang
向偉 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2017164640A priority Critical patent/JP2019045898A/en
Priority to CN201880015439.8A priority patent/CN110383333A/en
Priority to PCT/CN2018/098109 priority patent/WO2019042067A1/en
Publication of JP2019045898A publication Critical patent/JP2019045898A/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/16—Flying platforms with five or more distinct rotor axes, e.g. octocopters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

To make a flying body to identify a work area accurately and to perform efficient work.SOLUTION: The flying body control method for identifying a work area of a flying body includes a step for acquiring sample image information of the work area, and a step for identifying the work area in a target area based on a similarity to the sample image information.SELECTED DRAWING: Figure 3

Description

本開示は、飛行体が作業を行う作業領域を特定するための飛行体制御方法、飛行体、プログラム及び記録媒体に関する。   The present disclosure relates to an airframe control method, an airframe, a program and a recording medium for specifying a work area where the airframe works.

空中を飛行する飛行体は、例えば、対象を上空から撮像する空中撮像、地形や地上の建築物等の対象を上空から測定する測量、荷物を目的地まで飛行して運搬する空輸など、様々な分野において利用されている。また、飛行体は、例えば農業分野において、農薬、肥料、水等の散布物を搭載し、農地の作物等の対象に所定の作業領域内に散布物を散布する散布用途にも応用されている。   For example, various flying objects flying in the air, such as aerial imaging for capturing an object from above, surveying for measuring an object such as topography or a building on the ground from above, airborne transporting a package to a destination, etc. It is used in the field. In addition, for example, in the field of agriculture, aerospace vehicles are also applied to spraying applications where sprays such as pesticides, fertilizers, water and the like are carried, and the sprays are sprayed within a predetermined work area to objects such as agricultural crops. .

農業分野に用いる飛行体の例として、例えば特許文献１には、４つの回転翼、スタンド、マスタ制御箱、防風箱、薬剤噴霧箱を含み、回転翼が外部端に取り付けられたＸ型のスタンドの下部に防風箱を設置し、防風箱の中に薬剤噴霧箱を設置した回転翼無人機が開示されている。   For example, Patent Document 1 discloses an X-type stand including four rotors, a stand, a master control box, a windproof box, and a drug spray box as an example of a flying object used in the agricultural field, and the rotor is attached to the outer end. Discloses a rotary-wing unmanned aerial vehicle having a windproof box installed at the bottom of the box and a chemical spray box installed in the windproof box.

中国実用新案第２０４２９７０９７号明細書China Utility Model No. 204297097 Specification

特許文献１に示される無人機を使用して散布物（例えば農薬、肥料、水など）を散布するなどの作業を行うとき、所定の作業領域（例えば農地など）の範囲内で正確に作業を行うことが要求されることが一般的である。散布物が作業領域の外にはみ出てしまうと、人体の健康や環境を害するおそれが生じる（例えば、農薬を農地の隣にある農家に散布してしまった場合など）だけでなく、散布物の浪費にもなってしまう。一方、作業領域の一部に散布物が行き渡らなかった場合も散布の目的を達成できなくなる。   When performing work such as spraying a spray (for example, pesticide, fertilizer, water, etc.) using an unmanned aircraft shown in Patent Document 1, the work can be accurately performed within a predetermined work area (eg, farmland, etc.) It is common to be required to do. If the spreader goes out of the work area, it may harm the health and environment of the human body (for example, if the pesticide has been sprayed to the farmer next to the farmland), as well as the spreader. It is also a waste. On the other hand, the purpose of spraying can not be achieved even if the sprayed material does not reach a part of the work area.

従来は、ユーザが作業領域を目視しながら、送信機などを使用して無人機の飛行を手動で制御して作業を行っていた。ところが、広範囲の作業領域である場合はユーザが長時間無人機の操縦に集中しなければならず、体力的、精神的な負担が大きいだけでなく、作業領域内で正確に作業することが困難である。また、ユーザが無人機に通信可能な端末装置において電子的な地図を参照しながらあらかじめ作業領域を設定し、飛行体は設定された作業領域内の飛行経路をたどりながら作業することも知られている。しかしながら、電子的な地図は随時アップデートされているわけではないため、最新の地形が反映されているとは限らず、仮に地図の位置情報が最新の情報であったとしても、数メートルの誤差が生じることは稀ではない。さらに、日ごろから端末装置の使用に慣れていないユーザにとっては、作業領域の設定方法などを学習すること自体が負担になってしまう。   In the past, the user manually controlled the flight of the unmanned vehicle by using a transmitter or the like while viewing the work area. However, in the case of a wide work area, the user has to concentrate on the operation of the drone for a long time, which is not only physically and mentally heavy, but it is difficult to work correctly in the work area It is. It is also known that the user sets the work area in advance while referring to the electronic map in the terminal device capable of communicating with the drone, and the aircraft works while following the flight path in the set work area. There is. However, since the electronic map is not always updated, the latest topography is not necessarily reflected, and even if the map location information is the latest information, an error of several meters may occur. It is not uncommon to happen. Furthermore, for a user who is not familiar with the use of the terminal device on a daily basis, learning the setting method of the work area and the like itself becomes a burden.

一態様において、飛行体の作業領域を特定するための飛行体制御方法であって、作業領域のサンプル画像情報を取得するステップと、サンプル画像情報との類似度に基づき対象領域における作業領域を特定するステップと、を有する。   In one aspect, an aircraft control method for specifying a work area of a flight object, comprising: acquiring sample image information of the work area; and specifying the work area in the target area based on the similarity to the sample image information And the step of

サンプル画像情報は、作業領域内にある基準位置で撮像した画像から取得されてよい。   The sample image information may be obtained from an image captured at a reference position within the work area.

サンプル画像情報は、作業領域内にある複数の位置においてそれぞれ撮像された複数の画像から選択された一の画像から取得されてよい。   The sample image information may be obtained from an image selected from a plurality of images respectively captured at a plurality of positions in the work area.

基準位置は、作業領域の境界線から所定距離以上内側の位置にあってよい。   The reference position may be at a predetermined distance or more from the boundary of the work area.

サンプル画像情報には、色の属性に関する情報が含まれてよい。   The sample image information may include information on color attributes.

対象領域における作業領域を特定するステップは、対象領域内に一連の撮像位置を確定するステップと、それぞれの撮像位置において撮像するステップと、撮像された画像の合成画像とサンプル画像情報との類似度に基づき作業領域を特定するステップと、を有してよい。   In the step of identifying the work area in the target area, the steps of determining a series of imaging positions in the target area, imaging in each imaging position, and the similarity between the composite image of the imaged image and the sample image information Identifying the work area based on

撮像された画像の合成画像とサンプル画像情報との類似度に基づき作業領域を特定するステップは、撮像位置において撮像するごとに、すでに撮像された複数の画像を合成し、合成された画像とサンプル画像情報との類似度が第１閾値以上である類似領域が閉領域となったときに、その閉領域を作業領域として特定するステップと、を有してよい。   In the step of specifying the work area based on the similarity between the composite image of the captured image and the sample image information, each time imaging is performed, a plurality of already captured images are composited, and the composited image and sample are extracted. When the similar area having the similarity to the image information equal to or more than the first threshold is a closed area, the closed area may be specified as a work area.

撮像された画像の合成画像とサンプル画像情報との類似度に基づき作業領域を特定するステップは、対象領域の所定範囲を示す情報を取得するステップと、所定範囲内にある撮像位置での撮像画像を合成して得られた画像のうち前記サンプル画像情報との類似度が第１閾値以上である領域を前記作業領域として特定するステップと、を有してよい。   The step of specifying the work area based on the similarity between the composite image of the taken image and the sample image information includes the step of acquiring information indicating a predetermined range of the target area, and the captured image at the imaging position within the predetermined range. And identifying, as the work area, an area in which the degree of similarity with the sample image information is equal to or greater than a first threshold value in the image obtained by combining H.

合成された画像のうちサンプル画像情報との類似度が第１閾値以上である領域を作業領域として特定するステップは、合成された画像のうち、サンプル画像情報との類似度が第１閾値以上であり、且つ面積が第２閾値以上である領域を作業領域として特定するステップを有してよい。   In the step of specifying, as a working area, a region in the synthesized image in which the similarity to the sample image information is greater than or equal to the first threshold, the similarity to the sample image information in the synthesized image is greater than or equal to the first threshold. It may include a step of specifying an area having the area equal to or larger than the second threshold as the work area.

一連の撮像位置は、基準位置から始まり且つ螺旋状に広がる経路を構成してよい。   The series of imaging positions may form a path starting from the reference position and spreading in a spiral.

一態様において、作業領域を特定する飛行体であって、処理部を有し、処理部は、作業領域のサンプル画像情報を取得し、サンプル画像情報との類似度に基づき対象領域における作業領域を特定する。   In one aspect, an aircraft for specifying a work area, having a processing unit, the processing unit acquires sample image information of the work area, and the work area in the target area based on the similarity to the sample image information. Identify.

飛行体は、さらに撮像装置を有し、サンプル画像情報は、作業領域内にある基準位置で撮像した画像から取得されてよい。   The vehicle further comprises an imaging device, and the sample image information may be obtained from an image taken at a reference position within the work area.

サンプル画像情報は、作業領域内にある複数の位置においてそれぞれ撮像された複数の画像から選択された一の画像から取得されてよい。   The sample image information may be obtained from an image selected from a plurality of images respectively captured at a plurality of positions in the work area.

基準位置は、作業領域の境界線から所定距離以上内側の位置にあってよい。   The reference position may be at a predetermined distance or more from the boundary of the work area.

サンプル画像情報には、色の属性に関する情報が含まれてよい。   The sample image information may include information on color attributes.

処理部は、対象領域内に一連の撮像位置を確定し、それぞれの撮像位置において撮像し、撮像された画像の合成画像とサンプル画像情報との類似度に基づき作業領域を特定してよい。   The processing unit may determine a series of imaging positions in the target area, perform imaging at each imaging position, and specify the work area based on the similarity between the composite image of the imaged image and the sample image information.

処理部は、撮像位置において撮像するごとに、すでに撮像された複数の画像を合成し、合成された画像とサンプル画像情報との類似度が第１閾値以上である類似領域が閉領域となったときに、その閉領域を作業領域として特定してよい。   The processing unit combines a plurality of already captured images each time imaging is performed at the imaging position, and a similar region in which the degree of similarity between the combined image and the sample image information is equal to or more than a first threshold is a closed region. Sometimes, the closed area may be identified as a work area.

処理部は、対象領域の所定範囲を示す情報を取得し、所定範囲内にある撮像位置で撮像した画像を合成して得られた画像のうちサンプル画像情報との類似度が第１閾値以上である領域を作業領域として特定してよい。   The processing unit acquires information indicating a predetermined range of the target area, and the similarity to the sample image information in the image obtained by combining the images captured at the imaging positions within the predetermined range is equal to or greater than the first threshold. A certain area may be identified as a work area.

処理部は、合成された画像のうち、サンプル画像情報との類似度が第１閾値以上であり、且つ面積が第２閾値以上である領域を作業領域として特定してよい。   The processing unit may specify, as a work area, an area in which the degree of similarity with the sample image information is equal to or greater than the first threshold and the area is equal to or greater than the second threshold.

一連の撮像位置は、基準位置から始まり且つ螺旋状に広がる経路を構成してよい。   The series of imaging positions may form a path starting from the reference position and spreading in a spiral.

一態様において、作業領域を特定する飛行体に、作業領域のサンプル画像情報を取得するステップと、サンプル画像情報との類似度に基づき対象領域における作業領域を特定するステップと、を実行させるためのプログラムである。   In one aspect, an aircraft for specifying a work area is caused to execute the steps of acquiring sample image information of the work area and specifying the work area in the target area based on the similarity to the sample image information. It is a program.

一態様において、作業領域を特定する飛行体に、作業領域のサンプル画像情報を取得するステップと、サンプル画像情報との類似度に基づき対象領域における作業領域を特定するステップと、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。   In one aspect, an aircraft for specifying a work area is caused to execute the steps of acquiring sample image information of the work area and specifying the work area in the target area based on the similarity to the sample image information. A computer readable recording medium having a program recorded thereon.

なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   The above summary of the invention does not enumerate all features of the present disclosure. In addition, a subcombination of these feature groups can also be an invention.

無人飛行体の外観の一例を示す図である。It is a figure which shows an example of the external appearance of a unmanned air vehicle. 無人飛行体のハードウェア構成の一例を示すブロック図である。It is a block diagram showing an example of the hardware constitutions of an unmanned aerial vehicle. 本開示における飛行体制御方法の処理手順の一例を示すフロー図である。It is a flow figure showing an example of the processing procedure of the flight control method in this indication. 本開示における作業領域の一例を示す模式図である。It is a schematic diagram which shows an example of the work area in this indication. 本開示における基準位置の一例を示す模式図である。It is a schematic diagram which shows an example of the reference (standard) position in this indication. 本開示における作業領域を特定するステップの一例を示すフロー図である。FIG. 7 is a flow diagram illustrating an example of identifying a work area in the present disclosure. 探索経路を構成する作業領域内の一連の撮像位置を示す模式図である。It is a schematic diagram which shows a series of imaging positions in the work area which comprises a search path | route. 一連の撮像位置において撮像した画像範囲を示す模式図である。It is a schematic diagram which shows the image range imaged in a series of imaging positions. 作業領域を特定するステップの一実施例を示すフロー図である。FIG. 7 is a flow diagram of one embodiment of a step of identifying a work area. 一連の撮像位置で撮像された画像の合成画像を示す模式図である。It is a schematic diagram which shows the synthetic | combination image of the image imaged by the series of imaging positions. 一連の撮像位置で撮像された画像の合成画像を示す模式図である。It is a schematic diagram which shows the synthetic | combination image of the image imaged by the series of imaging positions. 一連の撮像位置で撮像された画像の合成画像を示す模式図である。It is a schematic diagram which shows the synthetic | combination image of the image imaged by the series of imaging positions. 本開示における作業領域の一例を示す模式図である。It is a schematic diagram which shows an example of the work area in this indication. 作業領域を特定するステップの一実施例を示すフロー図である。FIG. 7 is a flow diagram of one embodiment of a step of identifying a work area. 対象領域において設定された所定範囲を示す模式図である。It is a schematic diagram which shows the predetermined range set in the object area | region. 特定された作業領域を示す模式図である。It is a schematic diagram which shows the identified work area.

以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。   Hereinafter, the present disclosure will be described through the embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Not all combinations of features described in the embodiments are essential to the solution of the invention.

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。   The claims, the description, the drawings, and the abstract contain matters that are subject to copyright protection. The copyright holder will not object to any copy of these documents as they appear in the Patent Office file or record. However, in all other cases, all copyrights are reserved.

本開示に係る飛行体制御方法は、飛行体の飛行を制御するための情報処理装置における各種の処理（ステップ）が規定されたものである。飛行体は、空中を移動する航空機（例えばドローン、ヘリコプター）を含む。飛行体は、無人飛行体（ＵＡＶ：Unmanned Aerial Vehicle）であってもよい。飛行体は、所定の作業（例えば農薬、肥料、水等の散布）を行う作業領域（例えば農地）を特定することができる。   The flying object control method according to the present disclosure defines various processes (steps) in the information processing apparatus for controlling the flight of the flying object. An aircraft includes an aircraft (eg, a drone, a helicopter) moving in the air. The flying object may be an unmanned aerial vehicle (UAV). The flying object can specify a work area (for example, farmland) in which a predetermined work (for example, spraying of pesticides, fertilizers, water or the like) is performed.

本開示に係るプログラムは、情報処理装置に各種の処理（ステップ）を実行させるためのプログラムである。   A program according to the present disclosure is a program for causing an information processing apparatus to execute various processes (steps).

本開示に係る記録媒体は、プログラム（つまり、情報処理装置に各種の処理（ステップ）を実行させるためのプログラム）が記録されたものである。   A recording medium according to the present disclosure is a program in which a program (that is, a program for causing an information processing apparatus to execute various processes (steps)) is recorded.

以下に示す本開示に係る各実施形態において、飛行体として、無人飛行体（ＵＡＶ）を例示する。本明細書に添付する図面では、無人飛行体を「ＵＡＶ」と表記する。以下に示す各実施形態において、飛行体は、農地の作物等の散布対象を含む作業領域を特定する。以下においては、一の飛行体により作業領域を特定した後、同一の飛行体により当該特定された作業領域に対して散布物をほぼ均一にくまなく散布するための飛行経路を設定し、飛行経路に沿って作業を行う場合を例にとって説明するが、本開示はこれに限られない。例えば、一の本開示にかかる探索用飛行体が作業領域を特定した後、特定された作業領域の情報を別の作業用飛行体に伝送し、当該作業用飛行体がその特定された作業範囲で作業を行うようにしてよい。   In each embodiment according to the present disclosure described below, an unmanned air vehicle (UAV) is illustrated as the air vehicle. In the drawings attached to this specification, the unmanned air vehicle is referred to as "UAV". In each of the embodiments described below, the aircraft identifies a work area including an object to be sprayed, such as a crop of agricultural land. In the following, after the work area is specified by one flying object, a flight path is set up to scatter the spread material substantially uniformly all over the specified working area by the same flight object, and the flight path is set. Although the case where it works in accordance with will be described as an example, the present disclosure is not limited thereto. For example, after the search aircraft according to the present disclosure specifies the work area, the information of the specified work area is transmitted to another work aircraft, and the work aircraft is the specified work area. You may do the work in

以下に示す本開示に係る各実施形態において、情報処理装置は、飛行体の内部に設置されている処理部を例にとって説明するが、飛行体と通信可能である独立した遠隔のサーバなどの情報処理装置であってよい。また、飛行体内部に処理部と、飛行体と通信可能である遠隔の情報処理装置がそれぞれ本開示にかかる各種処理（ステップ）の一部を実行してもよい。ここにいう「通信」とは、データ通信全般を含む広い概念であり、ケーブルなどにより有線接続する場合だけでなく、無線通信によって接続する場合も含まれる。また、情報処理装置が飛行体と直接通信する場合だけでなく、記憶媒体を介して間接的に通信を行う場合も含まれる。   In each embodiment according to the present disclosure described below, the information processing apparatus will be described by taking the processing unit installed inside the aircraft as an example, but information such as an independent remote server capable of communicating with the aircraft is described. It may be a processor. In addition, the processing unit and the remote information processing apparatus that can communicate with the flying object may perform part of various processes (steps) according to the present disclosure inside the flying object. The term "communication" as used herein is a broad concept including data communication in general, and includes not only wired connection with a cable or the like but also wireless connection. In addition, not only the case where the information processing apparatus directly communicates with the aircraft, but also the case where communication is indirectly performed via the storage medium.

図１は、無人飛行体１００の外観の一例を示す図である。無人飛行体１００は、例えば散布作業の作業領域を特定した後、特定された作業領域内の散布対象に農薬、肥料、水等の散布物の散布作業を行う。無人飛行体１００は、ＵＡＶ本体１０２と、回転翼機構１３０と、噴射ノズル２００と、タンク２１０と、撮像装置２７０と、を含む構成である。無人飛行体１００は、例えば、撮像装置２７０で所定の対象領域を探索して作業領域（例えば農地）を特定した後、作業領域内に飛行経路を設定し、設定された飛行経路に沿って移動し、噴射ノズル２００を通じてタンク２１０に格納されている農薬、肥料、水などを散布することができる。無人飛行体１００の移動は、飛行を意味し、少なくとも上昇、降下、左旋回、右旋回、左水平移動、右水平移動の飛行が含まれる。なお、無人飛行体１００が作業領域の特定のみを行い、その後別の作業用飛行体により作業を行う場合は、無人飛行体１００は噴射ノズル２００とタンク２１０を備えなくてもよい。   FIG. 1 is a view showing an example of the appearance of the unmanned air vehicle 100. As shown in FIG. For example, after the unmanned air vehicle 100 identifies the work area of the spreading operation, the unmanned air vehicle 100 performs the spreading operation of the sprayed material such as the pesticide, the fertilizer, and the water on the spraying object in the identified work area. The unmanned air vehicle 100 is configured to include a UAV main body 102, a rotary wing mechanism 130, an injection nozzle 200, a tank 210, and an imaging device 270. For example, after the unmanned air vehicle 100 searches a predetermined target area with the imaging device 270 to specify a work area (for example, farmland), a flight path is set in the work area, and moved along the set flight path. The pesticide, fertilizer, water, etc. stored in the tank 210 can be dispersed through the injection nozzle 200. The movement of the unmanned air vehicle 100 means flight and includes at least ascent, descent, left turn, right turn, left horizontal movement, right horizontal movement flight. When the unmanned air vehicle 100 only specifies the work area and then works with another work air vehicle, the unmanned air vehicle 100 may not have the jet nozzle 200 and the tank 210.

無人飛行体１００は、複数の回転翼機構（プロペラ）１３０を備える。無人飛行体１００は、例えば８つの回転翼機構１３０を備える。無人飛行体１００は、これら回転翼機構１３０の回転を制御することにより無人飛行体１００を移動させる。ただし、回転翼の数は、８つに限定されない。また、無人飛行体１００は、回転翼を有さない固定翼機でよい。   The unmanned air vehicle 100 includes a plurality of rotary wing mechanisms (propellers) 130. The unmanned air vehicle 100 includes, for example, eight rotary wing mechanisms 130. The unmanned air vehicle 100 moves the unmanned air vehicle 100 by controlling the rotation of these rotary wing mechanisms 130. However, the number of rotors is not limited to eight. Also, the unmanned air vehicle 100 may be a fixed wing aircraft that does not have rotors.

次に、無人飛行体１００の構成例について説明する。   Next, a configuration example of the unmanned air vehicle 100 will be described.

図２は、無人飛行体１００のハードウェア構成の一例を示すブロック図である。無人飛行体１００は、処理部１１０と、メモリ１２０と、回転翼機構１３０と、ＧＰＳ受信機１４０と、慣性計測装置１５０と、磁気コンパス１６０と、気圧高度計１７０と、ミリ波レーダ１８０と、風速風向計１９０と、噴射ノズル２００と、タンク２１０と、圧力センサ２２０と、流量センサ２３０と、ストレージ２４０と、通信インタフェース２５０と、バッテリ２６０と、撮像装置２７０を含む構成である。   FIG. 2 is a block diagram showing an example of the hardware configuration of the unmanned air vehicle 100. As shown in FIG. The unmanned air vehicle 100 includes a processing unit 110, a memory 120, a rotary wing mechanism 130, a GPS receiver 140, an inertial measurement device 150, a magnetic compass 160, a barometric altimeter 170, a millimeter wave radar 180, and a wind speed. A wind direction meter 190, an injection nozzle 200, a tank 210, a pressure sensor 220, a flow sensor 230, a storage 240, a communication interface 250, a battery 260, and an imaging device 270 are included.

処理部１１０は、プロセッサ、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。処理部１１０は、無人飛行体１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。処理部１１０は、無人飛行体１００において飛行の制御に関する処理を実行する機能を有する。   The processing unit 110 is configured using a processor, for example, a central processing unit (CPU), a micro processing unit (MPU), or a digital signal processor (DSP). The processing unit 110 performs signal processing for integrally controlling the operation of each part of the unmanned air vehicle 100, data input / output processing with other parts, data calculation processing, and data storage processing. The processing unit 110 has a function of executing processing related to flight control in the unmanned air vehicle 100.

処理部１１０は、メモリ１２０又はストレージ２４０に格納されたプログラム及び飛行経路に関する情報に従って無人飛行体１００の飛行を制御する。また、処理部１１０は、通信インタフェース２５０を介して遠隔のサーバから受信したデータ及び命令に従って、無人飛行体１００を制御する。   The processing unit 110 controls the flight of the unmanned air vehicle 100 according to the program stored in the memory 120 or the storage 240 and information on the flight path. The processing unit 110 also controls the unmanned air vehicle 100 in accordance with data and instructions received from a remote server via the communication interface 250.

処理部１１０は、回転翼機構１３０を制御することで、無人飛行体１００の飛行を制御する。つまり、処理部１１０は、回転翼機構１３０を制御することにより、無人飛行体１００の緯度、経度、及び高度を含む位置を制御する。処理部１１０は、ＧＰＳ受信機１４０、慣性計測装置１５０、磁気コンパス１６０、気圧高度計１７０、ミリ波レーダ１８０のうちの少なくとも一つにより取得される位置情報に基づき、回転翼機構１３０を制御する。   The processing unit 110 controls the flight of the unmanned air vehicle 100 by controlling the rotary wing mechanism 130. That is, the processing unit 110 controls the rotary wing mechanism 130 to control the position including the latitude, longitude, and altitude of the unmanned air vehicle 100. The processing unit 110 controls the rotary wing mechanism 130 based on position information acquired by at least one of the GPS receiver 140, the inertial measurement device 150, the magnetic compass 160, the barometric altimeter 170, and the millimeter wave radar 180.

メモリ１２０は、記憶部の一例である。メモリ１２０は、処理部１１０が回転翼機構１３０、ＧＰＳ受信機１４０、慣性計測装置１５０、磁気コンパス１６０、気圧高度計１７０、ミリ波レーダ１８０、風速風向計１９０、噴射ノズル２００、タンク２１０、圧力センサ２２０、流量センサ２３０、ストレージ２４０、及び通信インタフェース２５０、撮像装置２７０を制御するのに必要なプログラム等を格納する。メモリ１２０は、処理部１１０の処理時に使用される各種の情報やデータを保存する。メモリ１２０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１２０は、無人飛行体１００の内部に設けられてよいし、無人飛行体１００から取り外し可能に設けられてよい。   The memory 120 is an example of a storage unit. The processing unit 110 includes a rotary wing mechanism 130, a GPS receiver 140, an inertial measurement device 150, a magnetic compass 160, a barometric altimeter 170, a millimeter wave radar 180, a wind wind direction meter 190, an injection nozzle 200, a tank 210, and a pressure sensor. A flow sensor 230, a storage 240, a communication interface 250, and a program necessary to control the imaging device 270 are stored. The memory 120 stores various information and data used when the processing unit 110 performs processing. The memory 120 may be a computer readable recording medium, and may be a static random access memory (SRAM), a dynamic random access memory (DRAM), an erasable programmable read only memory (EPROM), an electrically erasable programmable read only memory (EEPROM), and It may include at least one flash memory such as a USB memory. The memory 120 may be provided inside the unmanned air vehicle 100 or may be provided removable from the unmanned air vehicle 100.

回転翼機構１３０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。回転翼機構１３０は、回転翼を回転させることにより、特定の方向の気流を生じさせ、無人飛行体１００の飛行（上昇、下降、水平移動、旋回、傾斜等）を制御する。   The rotary wing mechanism 130 has a plurality of rotary wings and a plurality of drive motors for rotating the plurality of rotary wings. The rotary wing mechanism 130 generates an air flow in a specific direction by rotating the rotary wings, and controls the flight (raising, lowering, horizontal movement, turning, tilting, etc.) of the unmanned air vehicle 100.

ＧＰＳ受信機１４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機１４０は、受信された複数の信号に基づいて、ＧＰＳ受信機１４０の位置（つまり、無人飛行体１００の位置）を算出する。ＧＰＳ受信機１４０は、無人飛行体１００の位置情報を処理部１１０に出力する。なお、ＧＰＳ受信機１４０の位置情報の算出は、ＧＰＳ受信機１４０の代わりに処理部１１０により行われてよい。この場合、処理部１１０には、ＧＰＳ受信機１４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。   The GPS receiver 140 receives a plurality of signals indicating times transmitted from a plurality of navigation satellites (that is, GPS satellites) and the position (coordinates) of each GPS satellite. The GPS receiver 140 calculates the position of the GPS receiver 140 (that is, the position of the unmanned air vehicle 100) based on the received plurality of signals. The GPS receiver 140 outputs the position information of the unmanned air vehicle 100 to the processing unit 110. The calculation of the position information of the GPS receiver 140 may be performed by the processing unit 110 instead of the GPS receiver 140. In this case, the processing unit 110 receives information indicating the time included in the plurality of signals received by the GPS receiver 140 and the position of each GPS satellite.

慣性計測装置（ＩＭＵ：Inertial Measurement Unit）１５０は、無人飛行体１００の姿勢を検出し、検出結果を処理部１１０に出力する。慣性計測装置１５０は、無人飛行体１００の姿勢として、無人飛行体１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の３軸方向の角速度とを検出する。   An inertial measurement unit (IMU: Inertial Measurement Unit) 150 detects the attitude of the unmanned air vehicle 100, and outputs the detection result to the processing unit 110. As the attitude of the unmanned air vehicle 100, the inertial measurement device 150 includes accelerations in the directions of the front, rear, left, right, and upper three axes of the unmanned air vehicle 100, and angular velocities in three axial directions of the pitch axis, roll axis, and yaw axis. To detect.

磁気コンパス１６０は、無人飛行体１００の機首の方位を検出し、検出結果を処理部１１０に出力する。気圧高度計１７０は、無人飛行体１００が飛行する高度を検出し、検出結果を処理部１１０に出力する。   The magnetic compass 160 detects the direction of the nose of the unmanned air vehicle 100, and outputs the detection result to the processing unit 110. The barometric altimeter 170 detects the altitude at which the unmanned air vehicle 100 flies, and outputs the detection result to the processing unit 110.

ミリ波レーダ１８０は、ミリ波帯の高周波の電波を送信し、地面や物体により反射された反射波を測定することにより、地面や物体の位置を検出し、検出結果を処理部１１０に出力する。検出結果は、例えば無人飛行体１００から地面までの距離（つまり、高度）を示してよい。検出結果は、例えば無人飛行体１００から物体までの距離を示してよい。検出結果は、例えば無人飛行体１００により散布作業を行う作業領域の地形を示してよい。   The millimeter wave radar 180 transmits high frequency radio waves in the millimeter wave band, measures the reflected wave reflected by the ground or an object, detects the position of the ground or the object, and outputs the detection result to the processing unit 110. . The detection result may indicate, for example, the distance (ie, altitude) from the unmanned air vehicle 100 to the ground. The detection result may indicate, for example, the distance from the unmanned air vehicle 100 to the object. The detection result may indicate, for example, the topography of the work area where the unmanned air vehicle 100 performs the spreading operation.

風速風向計１９０は、無人飛行体１００の周囲の風速、風向を検出し、検出結果を処理部１１０に出力する。検出結果は、無人飛行体１００が飛行する作業領域における風速、風向を示してよい。   The wind direction and wind direction meter 190 detects the wind speed and the wind direction around the unmanned air vehicle 100, and outputs the detection result to the processing unit 110. The detection result may indicate the wind speed and the wind direction in the work area where the unmanned air vehicle 100 flies.

噴射ノズル２００は、農薬、肥料、水等の散布物を導出する管路の端部に設けられ、例えば下方向（鉛直方向）に向けて散布物を噴射する。噴射ノズル２００は、複数のノズル（例えば４つ）を有してよい。噴射ノズル２００は、処理部１１０の制御に基づき、噴射のオン／オフ、噴射量及び噴射速度の調整を行う。よって、噴射ノズル２００からの散布物は、所定の噴射量、噴射速度で散布対象に向かって散布される。タンク２１０は、農薬、肥料、水等の散布物を収容する。タンク２１０は、処理部１１０の制御に基づき、管路を経由して噴射ノズル２００へ散布物を送出する。噴射ノズル２００、タンク２１０は、散布機構の構成の一例に含まれる。   The injection nozzle 200 is provided at an end of a conduit for leading out a sprayed material such as pesticides, fertilizers, water, etc., and sprays the sprayed material, for example, downward (vertically). The injection nozzle 200 may have a plurality of nozzles (for example, four). The injection nozzle 200 controls the injection on / off, the injection amount, and the injection speed based on the control of the processing unit 110. Therefore, the sprinkling material from the injection nozzle 200 is dispersed toward the object to be dispersed at a predetermined injection amount and injection speed. The tank 210 contains sprays such as pesticides, fertilizers, water and the like. The tank 210 delivers the spread material to the injection nozzle 200 via the pipe line based on the control of the processing unit 110. The injection nozzle 200 and the tank 210 are included in an example of the configuration of the spreading mechanism.

圧力センサ２２０は、噴射ノズル２００から噴射される散布物の圧力を検出し、検出結果を処理部１１０に出力する。検出結果は、例えば噴射ノズル２００からの噴射量又は噴射速度を示してよい。流量センサ２３０は、噴射ノズル２００から噴射される散布物の流量を検出し、検出結果を処理部１１０に出力する。検出結果は、例えば噴射ノズル２００からの噴射量又は噴射速度を示してよい。   The pressure sensor 220 detects the pressure of the spread material injected from the injection nozzle 200, and outputs the detection result to the processing unit 110. The detection result may indicate, for example, the injection amount or the injection speed from the injection nozzle 200. The flow rate sensor 230 detects the flow rate of the spread material injected from the injection nozzle 200, and outputs the detection result to the processing unit 110. The detection result may indicate, for example, the injection amount or the injection speed from the injection nozzle 200.

ストレージ２４０は、記憶部の一例である。ストレージ２４０は、各種データ、情報を蓄積し、保持する。ストレージ２４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、ＵＳＢメモリ、等でよい。ストレージ２４０は、無人飛行体１００の内部に設けられてよいし、無人飛行体１００から取り外し可能に設けられてよい。   The storage 240 is an example of a storage unit. The storage 240 accumulates and holds various data and information. The storage 240 may be a hard disk drive (HDD), a solid state drive (SSD), a memory card, a USB memory, or the like. The storage 240 may be provided inside the unmanned air vehicle 100 or may be provided removable from the unmanned air vehicle 100.

通信インタフェース２５０は、端末５０と通信する。通信インタフェース２５０は、端末５０からの飛行経路、散布物等に関する各種の情報を受信する。通信インタフェース２５０は、端末５０からの処理部１１０に対する各種の命令を受信する。   The communication interface 250 communicates with the terminal 50. The communication interface 250 receives various information on the flight path, the scatter, and the like from the terminal 50. The communication interface 250 receives various instructions from the terminal 50 to the processing unit 110.

バッテリ２６０は、無人飛行体１００の各部の駆動源としての機能を有し、無人飛行体１００の各部に必要な電源を供給する。   The battery 260 has a function as a drive source of each part of the unmanned air vehicle 100, and supplies necessary power to each part of the unmanned air vehicle 100.

撮像装置２７０は、所望の撮像範囲に含まれる被写体（例えば上述した農地）を撮像するカメラである。本開示において、撮像装置が無人飛行体１００の下部に固定されている例を示すが、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置２７０を回転可能に支持するジンバルに取り付けられていてもよい。   The imaging device 270 is a camera for imaging a subject (for example, the above-mentioned farmland) included in a desired imaging range. In the present disclosure, an example in which the imaging device is fixed to the lower part of the unmanned air vehicle 100 is illustrated, but attached to a gimbal that supports the imaging device 270 rotatably about the yaw axis, pitch axis, and roll axis. It is also good.

以下、本開示における飛行体制御方法の一例について説明する。本開示における飛行体制御方法は、所定の探索対象領域から、作業を行う作業領域を特定する。無人飛行体１００は作業する直前に作業領域を特定することにより、正確な作業領域を把握することができ、効率が高い作業を可能にする。   Hereinafter, an example of the flying object control method in the present disclosure will be described. The airframe control method in the present disclosure specifies a work area in which work is performed from a predetermined search target area. The unmanned air vehicle 100 can grasp an accurate work area by specifying the work area immediately before the work, thereby enabling highly efficient work.

以下、本開示における飛行体制御方法の各ステップが、無人飛行体１００に設けられている処理部１１０で実行される場合を例にとって説明するが、本開示はこれに限らず、一部のステップが無人飛行体１００から離れたサーバにより実行されてよい。   Hereinafter, although the case where each step of the flying body control method in the present disclosure is executed by the processing unit 110 provided in the unmanned airborne vehicle 100 will be described as an example, the present disclosure is not limited thereto, and some steps may be performed. May be performed by a server remote from the unmanned air vehicle 100.

図３は、本開示における飛行体制御方法の処理手順（ステップ）の一例を示すフロー図である。図４は、作業領域の一例を示す模式図である。なお、本開示においては、説明の便宜のため、図４に示す作業領域Ａを例にとるが、実際の作業領域の面積、形状等はこれに限らないことは明らかである。   FIG. 3 is a flow chart showing an example of the processing procedure (steps) of the aircraft control method in the present disclosure. FIG. 4 is a schematic view showing an example of the work area. In the present disclosure, although the work area A shown in FIG. 4 is taken as an example for convenience of explanation, it is obvious that the actual area, shape, and the like of the work area are not limited to this.

図３に示すように、本開示における飛行体制御方法Ｓ１００は、まず無人飛行体１００の作業領域Ａのサンプル画像情報を取得する（ステップＳ１１０）。ここでいうサンプル画像情報とは、対象領域から作業領域Ａである部分と作業領域Ａでない部分を識別することに用いることができる作業領域Ａの特徴を示すいかなる情報でよく、例えば形状にかかる情報、色の属性にかかる情報のうち少なくとも一つが含まれてよい。色の属性にかかる情報は、例えばＲＧＢ情報などの明度、彩度、色相を表す情報であってよい。また、サンプル画像情報は作業領域Ａ内の規則的な色彩パターン（模様）であってよい。例えば、作業領域Ａが野菜の農地である場合は、緑色の規則的な模様（色彩パターン）により特定することができる。   As shown in FIG. 3, the flying object control method S100 in the present disclosure first acquires sample image information of the work area A of the unmanned air vehicle 100 (step S110). The sample image information referred to here may be any information indicating the feature of the work area A that can be used to identify a part that is the work area A and a part that is not the work area A from the target area. The color attribute may include at least one of the information. The information relating to the color attribute may be, for example, information representing lightness, saturation, hue such as RGB information. The sample image information may be a regular color pattern (pattern) in the work area A. For example, when the work area A is a vegetable farmland, it can be identified by a green regular pattern (color pattern).

サンプル画像情報は、作業領域Ａ内の所定位置で得られた画像から取得することが好ましい。具体例として、無人飛行体１００は、図５に示すように、あらかじめ作業領域Ａ内の基準位置Ｐ０に設けられたビーコンが発信する位置信号に基づいて基準位置Ｐ０の上方まで移動し、基準位置Ｐ０において撮像を行い、その撮像画像からＲＧＢ情報などのサンプル画像情報を取得してよい。なお、本開示における基準位置Ｐ０は、ビーコンによって発信された位置情報により確定する場合に限らず、例えばユーザが無人飛行体１００に通信可能な端末装置においてあらかじめ入力した位置情報に基づいて確定してよい。さらに、より正確なサンプル画像情報を取得するために、作業領域Ａ内にある複数の位置においてそれぞれ画像を撮像し、これらの複数の画像からユーザにより選択された一の画像からサンプル画像情報を取得してよい。   The sample image information is preferably acquired from an image obtained at a predetermined position in the work area A. As a specific example, as shown in FIG. 5, the unmanned air vehicle 100 moves to a position above the reference position P0 based on a position signal transmitted by a beacon provided at the reference position P0 in the working area A in advance. Imaging may be performed at P0, and sample image information such as RGB information may be acquired from the imaged image. Note that the reference position P0 in the present disclosure is not limited to the case where the reference position P0 is determined based on the position information transmitted by the beacon, and is determined based on position information input in advance in a terminal device that the user can communicate with the unmanned air vehicle 100, for example. Good. Furthermore, in order to obtain more accurate sample image information, images are taken respectively at a plurality of positions in the work area A, and sample image information is obtained from one image selected by the user from the plurality of images. You may

ただし、サンプル画像情報の取得方法は上記に限らず、例えば無線通信やインターネットを通じて遠隔のデータベースから取得したり、過去に作業領域Ａを特定ないし作業を行った履歴がある場合は、無人飛行体１００のメモリ等から過去のサンプル画像情報を取得したりしてよい。   However, the method of acquiring sample image information is not limited to the above. For example, when acquired from a remote database through wireless communication or the Internet, or when there is a history of specifying work area A or work in the past, unmanned air vehicle 100 The sample image information of the past may be acquired from the memory or the like of

なお、作業領域Ａの中央付近からサンプル画像情報を取得する方が、境界線付近からサンプル画像情報を取得するより作業領域Ａを正確に反映であるため、基準位置Ｐ０は、図５に示すように、作業領域の境界線から所定距離以上内側の位置であることが好ましい。   In addition, since acquiring the sample image information from near the center of the work area A reflects the work area A more accurately than acquiring the sample image information from near the boundary line, as shown in FIG. It is preferable that the position be a predetermined distance or more from the boundary of the work area.

本開示において、無人飛行体１００は、飛行する前にあらかじめユーザにより設定された飛行パラメータにより初期化されていることが好ましい。飛行パラメータには、例えば安全飛行高度（例えば２０ｍ）、対象領域の範囲（例えば基準位置Ｐ０から半径１００ｍ）、飛行速度（例えば５ｍ／ｓ）などが含まれるが、これに限られない。   In the present disclosure, the unmanned air vehicle 100 is preferably initialized with flight parameters set by the user before flight. The flight parameters include, for example, but not limited to, safe flight altitude (for example, 20 m), range of target area (for example, radius from 100 m from reference position P0), flight speed (for example 5 m / s).

次に、取得されたサンプル画像情報との類似度に基づき対象領域における作業領域を特定する（ステップＳ１２０）。対象領域とは、無人飛行体１００が作業領域に属するか否かを判断する領域をいい、ユーザが需要により予めパラメータとして設定することが好ましい。例えば、ユーザはビーコンが置かれている基準位置から半径１００ｍの範囲を対象領域と設定してよい。   Next, a work area in the target area is specified based on the degree of similarity with the acquired sample image information (step S120). The target area is an area in which it is determined whether the unmanned air vehicle 100 belongs to the work area, and it is preferable that the user sets in advance as a parameter according to demand. For example, the user may set a range of 100 m in radius from the reference position where the beacon is placed as the target area.

上記のように、無人飛行体１００が作業領域の特徴を示すサンプル画像情報を取得した後、対象領域を探索し、対象領域の範囲内にあるサンプル画像情報と一定程度（例えば７０％）以上類似する部分を作業領域として認識することにより、正確に作業領域を特定することができる。   As described above, after the unmanned air vehicle 100 acquires sample image information indicating the feature of the work area, the target area is searched, and a certain degree (for example, 70%) or more similar to the sample image information within the range of the target area The work area can be identified accurately by recognizing the part to be processed as the work area.

図６は、本開示における作業領域を特定する処理（ステップＳ１２０）の一例を示すフロー図である。まず、無人飛行体１００は、図７に示すように、対象領域内に無人飛行体１００の飛行経路を構成する一連のウェイポイント（すなわち撮像位置）Ｐ０、Ｐ１、Ｐ２、・・・、Ｐｎを確定する（ステップＳ１２１）。これら一連のウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｎは、隣接するウェイポイント同士で撮像される画像が所定の重複率（例えば１０％）以上になるような間隔で設けられる。例えば、図８において、Ｐ０における撮像範囲はＥ０であり、Ｐ１における撮像範囲はＥ１であり、Ｐ２における撮像範囲はＥ２である場合に、Ｅ０とＥ１は１０％以上の重複率があり、且つＥ１とＥ２も１０％以上の重複率がある。このように、少なくとも隣接する撮像範囲同士が一定の割合重複することにより、一連のウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｎで撮像した画像を正確に合成（スティッチング）することができる。   FIG. 6 is a flowchart showing an example of processing (step S120) for specifying a work area in the present disclosure. First, as shown in FIG. 7, the unmanned air vehicle 100 has a series of waypoints (that is, imaging positions) P 0, P 1, P 2,..., P n constituting the flight path of the unmanned air vehicle 100 in the target area. It decides (step S121). The series of waypoints P 0, P 1, P 2,..., P n are provided at intervals such that images captured by adjacent waypoints become equal to or more than a predetermined overlapping rate (for example, 10%). For example, in FIG. 8, when the imaging range at P0 is E0, the imaging range at P1 is E1, and the imaging range at P2 is E2, E0 and E1 have an overlap rate of 10% or more, and E1 And E2 also have a duplication rate of 10% or more. In this manner, images captured at a series of waypoints P 0, P 1, P 2,..., P n can be accurately synthesized (stitching) by overlapping at least a fixed ratio of adjacent imaging ranges. .

このとき、無人飛行体１００の飛行高度及び撮像装置に用いるレンズの画角により算出された撮像範囲に基づいてあらかじめすべてのウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｎを確定してもよいが、本開示はこれに限らない。例えば、一のウェイポイントＰｘに到達した後に撮像範囲が所定の割合重複するように次のウェイポイントＰｘ＋１を確定してよい。   At this time, all waypoints P 0, P 1, P 2,..., P n may be determined in advance based on the shooting altitude of the unmanned air vehicle 100 and the imaging range calculated by the angle of view of the lens used for the imaging device. However, the present disclosure is not limited thereto. For example, after reaching one waypoint Px, the next waypoint Px + 1 may be determined so that the imaging ranges overlap by a predetermined ratio.

一連のウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｎは、サンプル画像情報を取得するための図５における基準位置Ｐ０から始まることが好ましい。これにより、無人飛行体１００が基準位置Ｐ０に移動した後、サンプル画像情報を取得すると同時に一つ目のウェイポイントでの撮像が開始され、効率化を図ることができる。   The series of waypoints P0, P1, P2,..., Pn preferably start from the reference position P0 in FIG. 5 for obtaining sample image information. As a result, after the unmanned air vehicle 100 moves to the reference position P0, imaging at the first waypoint is started at the same time as acquiring sample image information, and efficiency can be achieved.

さらに、一連のウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｎは、図７に示すように、螺旋状に広がる経路を形成することが好ましい。基準位置Ｐ０は作業領域Ａの中央付近にあるため、無人飛行体１００が螺旋状に広がるように探索することにより、迅速且つ正確に作業領域Ａの特定を行うことができる。   Furthermore, it is preferable that a series of way points P0, P1, P2,..., Pn form a spirally spreading path, as shown in FIG. Since the reference position P0 is in the vicinity of the center of the work area A, the work area A can be identified quickly and accurately by searching the unmanned air vehicle 100 in a spiral manner.

そして、それぞれのウェイポイントに順次移動して撮像し（ステップＳ１２２）、撮像された画像の合成画像と上記のサンプル画像情報との類似度に基づき作業領域を特定する（ステップＳ１２３）。以下、その具体的な実施例について説明する。   Then, images are sequentially moved to each waypoint and imaged (step S122), and a work area is specified based on the degree of similarity between the synthesized image of the imaged image and the sample image information described above (step S123). Hereinafter, the specific example will be described.

図９は、無人飛行体１００がウェイポイントＰ０で撮像し、ウェイポイントＰ１に移動した後、作業領域を特定するステップ（ステップＳ１２２）の第１の具体的な実施例Ｓ２００を示すフロー図である。図９に示すように、無人飛行体１００はまずウェイポイントＰ１で撮像する（ステップＳ２１０）。   FIG. 9 is a flowchart showing a first specific example S200 of the step (step S122) of specifying the work area after the unmanned air vehicle 100 captures an image at the waypoint P0 and moves to the waypoint P1. . As shown in FIG. 9, the unmanned air vehicle 100 first captures an image at the waypoint P1 (step S210).

その後、ウェイポイントＰ０で撮像した画像と、ウェイポイントＰ１で撮像した画像を合成する（ステップＳ２２０）。合成は無人飛行体１００の処理部１１０で行うことが好ましいが、遠隔にある情報処理装置で行ってもよい。具体的には、無人飛行体１００は、通信インタフェース２５０を通じて遠隔にある情報処理装置に撮像した画像を送信した後、合成された画像を受信してよい。   Thereafter, the image captured at the waypoint P0 and the image captured at the waypoint P1 are combined (step S220). The synthesis is preferably performed by the processing unit 110 of the unmanned air vehicle 100, but may be performed by an information processing apparatus located remotely. Specifically, the unmanned air vehicle 100 may transmit a captured image to a remote information processing apparatus through the communication interface 250 and then receive the synthesized image.

次に、無人飛行体１００は、合成された画像のうち、サンプル画像情報との類似度が第１閾値（例えば７０％）以上である領域を類似領域として推定する（ステップＳ２３０）。例えば、無人飛行体１００は、合成された画像のうち、サンプル画像情報のＲＧＢ情報と７０％以上類似する領域を類似領域として推定する。推定においては、具体的には、基準位置Ｐ０での撮像画像に基づく領域拡張法(Ｒｅｇｉｏｎ Ｇｒｏｗｉｎｇ)などを用いてよい。   Next, the unmanned air vehicle 100 estimates, as a similar area, an area having a degree of similarity with the sample image information equal to or greater than a first threshold (for example, 70%) in the combined image (step S230). For example, the unmanned air vehicle 100 estimates a region that is 70% or more similar to the RGB information of the sample image information in the synthesized image as a similar region. In the estimation, specifically, Region Growing based on the captured image at the reference position P0 may be used.

次に、ステップＳ２３０で推定した類似領域が閉領域であるか否かを判断する（ステップＳ２４０）。このとき、ウェイポイントＰ０は作業領域Ａの中央付近にあり、且つウェイポイントＰ１はウェイポイントＰ０に隣接しているため、合成画像は図１０に示すようにすべての範囲が類似領域となる。そのため、類似領域は閉領域でないと判断され（ステップＳ２４０、ＮＯ）、次のウェイポイントＰ２に移動する（ステップＳ２６０）。   Next, it is determined whether the similar area estimated in step S230 is a closed area (step S240). At this time, the waypoint P0 is in the vicinity of the center of the work area A, and the waypoint P1 is adjacent to the waypoint P0. Therefore, as shown in FIG. Therefore, it is determined that the similar area is not a closed area (step S240, NO), and moves to the next waypoint P2 (step S260).

続いて、無人飛行体１００は、ウェイポイントＰ２で撮像した後（ステップＳ２１０）、ウェイポイントＰ０、Ｐ１、Ｐ２で撮像した画像を合成（スティッチング）する（ステップＳ２２０）。次に、合成された画像のうち、サンプル画像情報との類似度が第１閾値以上である領域を類似領域として推定する（ステップＳ２３０）。このように、ウェイポイントＰｘにおいて撮像するごとに、当該ウェイポイントＰｘに到達するまでのすべてのウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｘ−１、Ｐｘにおいて撮像された画像を合成し、類似領域を推定するステップを繰り返す。新しいウェイポイントにおいて撮像した画像が追加される度に、合成画像は大きくなり、図１１のように合成画像に類似領域に属さない部分が出てくるようになる。やがて、図１２に示すように、類似領域が閉領域になる（ステップＳ２４０、ＹＥＳ）。このとき、当該閉領域である類似領域を作業領域Ａとして特定し（ステップＳ２５０）、処理を終了する。   Subsequently, the unmanned air vehicle 100 captures an image at the waypoint P2 (step S210), and then combines (stitching) the images captured at the waypoints P0, P1, and P2 (step S220). Next, in the combined image, a region having a degree of similarity with the sample image information equal to or greater than a first threshold is estimated as a similar region (step S230). Thus, every time imaging is performed at the waypoint Px, the images imaged at all waypoints P0, P1, P2, ..., Px-1, Px until reaching the waypoint Px are synthesized, Repeat the step of estimating similar regions. Each time an image captured at a new waypoint is added, the composite image becomes larger, and as shown in FIG. 11, a part not belonging to the similar area comes out in the composite image. Eventually, as shown in FIG. 12, the similar area becomes a closed area (step S240, YES). At this time, the similar area which is the closed area is specified as the work area A (step S250), and the process is ended.

このように、必ずしもを対象領域内において確定した一連のウェイポイントＰ０、Ｐ１、Ｐ２、・・・、Ｐｎのすべてに移動して撮像しなくても、類似領域が閉領域になった段階で、作業領域Ａを特定し処理を終了することにより、電力や時間を節約することができ、作業領域の迅速かつ正確な特定が可能となる。   In this way, even if the similar region becomes a closed region, even if it does not necessarily move to all of the series of waypoints P 0, P 1, P 2,. By identifying the work area A and completing the process, power and time can be saved, and quick and accurate identification of the work area becomes possible.

なお、特定された作業領域Ａの地理的情報（例えばＧＰＳ情報における経度、緯度の範囲）は、各ウェイポイントの位置情報から得ることができる。各ウェイポイントの位置情報は、一連のウェイポイントを確定するとき（すなわち、ステップＳ１２１を実行するとき）に、ビーコンから発信された基準位置との相対距離から算出されたものを用いてもよいが、より正確な位置情報を把握するために、好ましくは、無人飛行体１００が各ウェイポイントにおいて撮像するごとに、ＧＰＳ受信機１４０からそのウェイポイントの位置情報を取得する。   The geographical information (for example, the range of longitude and latitude in the GPS information) of the specified work area A can be obtained from the position information of each waypoint. The position information of each waypoint may be calculated from the relative distance to the reference position transmitted from the beacon when determining a series of waypoints (ie, when performing step S121). In order to obtain more accurate position information, preferably, position information of the waypoint is acquired from the GPS receiver 140 each time the unmanned air vehicle 100 captures an image at each waypoint.

作業領域を特定するステップの第１の具体的な実施例は、基準位置Ｐ０が属する閉じた作業領域が特定できた段階で処理を終了するため、一回実行するごとに閉じた領域を一つしか特定できない。ところが、図１３のように、複数の閉じた領域Ａ１、Ａ２、Ａ３が存在する場合は、それぞれの閉じた作業領域で上記方法を実行しなければならず、かえって煩雑になってしまう。そこで、本開示は、所定範囲内の複数の閉じた作業領域を一度に特定することができる第２の具体的な実施例を提供する。   In the first specific example of the step of specifying the work area, the processing is ended when the closed work area to which the reference position P0 belongs can be specified, so one closed area is executed each time it is executed. I can only identify. However, as shown in FIG. 13, when there are a plurality of closed areas A1, A2 and A3, the above method has to be executed in each closed work area, which is rather complicated. Thus, the present disclosure provides a second specific embodiment that can identify a plurality of closed work areas within a predetermined range at one time.

以下、本開示における飛行体制御方法の作業領域を特定するステップの第２の具体的な実施例Ｓ３００を説明する。まず、図１４に示すように、無人飛行体１００は、あらかじめ対象領域の所定範囲を示す情報を取得する（ステップＳ３１０）。対象領域Ｂの所定範囲は、範囲を示すパラメータにより特定される。例えば、所定範囲は、ビーコンの属する基準位置Ｐ０からの半径１００メートル以内により特定されてよい。   Hereinafter, a second specific example S300 of the step of identifying the work area of the aircraft control method according to the present disclosure will be described. First, as shown in FIG. 14, the unmanned air vehicle 100 acquires information indicating a predetermined range of the target area in advance (step S310). The predetermined range of the target area B is specified by the parameter indicating the range. For example, the predetermined range may be specified within a radius of 100 meters from the reference position P0 to which the beacon belongs.

そして、無人飛行体１００は、ウェイポイントＰ０で撮像する（ステップＳ３２０）。その後、基準位置（すなわち、ウェイポイント）Ｐ０から１００メートル以内にあるすべてのウェイポイントで撮像が完了しているか否かを判断する（ステップＳ３３０）。基準位置Ｐ０から１００メートル以内に、撮像を行っていない他のウェイポイントが存在するため（ステップＳ３３０、ＮＯ）、無人飛行体１００は引き続き次のウェイポイントＰ１に移動し（ステップＳ３５０）、ウェイポイントＰ１で撮像を行う（ステップＳ３２０）。そして、無人飛行体１００は、再度基準位置Ｐ０から１００メートル以内にあるすべてのウェイポイントで撮像が完了しているか否かを判断する（ステップＳ３３０）。このように、基準位置Ｐ０から半径１００メートル以内のすべてのウェイポイントで撮像が完了するまで、移動と撮像を繰り返し行う。   Then, the unmanned air vehicle 100 captures an image at the waypoint P0 (step S320). Thereafter, it is determined whether imaging has been completed for all waypoints within 100 meters from the reference position (ie, waypoint) P0 (step S330). Since there are other waypoints not being imaged within 100 meters from the reference position P0 (step S330, NO), the unmanned air vehicle 100 continues to move to the next waypoint P1 (step S350), and the waypoint Imaging is performed at P1 (step S320). Then, the unmanned air vehicle 100 determines again whether or not imaging has been completed at all waypoints within 100 meters from the reference position P0 (step S330). Thus, movement and imaging are repeated until imaging is completed at all waypoints within a radius of 100 meters from the reference position P0.

基準位置Ｐ０から半径１００メートル以内のすべてのウェイポイントで撮像が完了した後（ステップＳ３３０、ＹＥＳ）、撮像した画像を合成する。このとき、合成された画像は、図１５に示すような、対象領域Ｂの所定範囲（つまり、基準位置Ｐ０から１００メートル以内の範囲）全体を含む結果となる。そして、合成された画像のうち、サンプル画像情報との類似度が第１閾値（例えば７０％）以上である領域を作業領域として特定する（ステップＳ３６０）。これにより、一度に対象領域内にある複数の閉じた領域Ａ１、Ａ２、Ａ３を特定することができる。   After imaging is completed at all waypoints within a radius of 100 meters from the reference position P0 (step S330, YES), the imaged images are combined. At this time, the combined image results in including the entire predetermined range of the target area B (that is, the range within 100 meters from the reference position P0) as shown in FIG. Then, among the combined images, an area whose similarity to the sample image information is equal to or greater than a first threshold (for example, 70%) is specified as a work area (step S360). Thereby, a plurality of closed areas A1, A2, and A3 in the target area can be identified at one time.

本実施例において、それぞれのウェイポイントで撮像するごとに合成を行うこともできるが、すべてのウェイポイントで撮像した後、一括にすべての画像を合成することが好ましい。合成の回数を減らすことにより、処理部１１０のリソースを節約し、省電力を図ることができる。   In the present embodiment, although it is possible to perform combining each time imaging is performed at each waypoint, it is preferable to combine all images collectively after imaging at all waypoints. By reducing the number of times of synthesis, resources of the processing unit 110 can be saved, and power saving can be achieved.

また、対象領域Ｂの所定範囲内のサンプル画像情報との類似度が第１閾値以上である領域をすべて作業領域として特定すると、多くのノイズが含まれてしまう恐れがある。例えば、図１５に示す農地Ａ１（１００平方メートル）と農地Ａ３（２０平方メートル）の近くに小さな草地Ａ２（５平方メートル）が存在し、農地のサンプル画像情報が緑がかった色に対応するＲＧＢ情報である場合は、草地Ａ２も作業領域として特定されてしまう恐れがある。このようなノイズが発生するのを回避するため、さらに好ましくは、ステップＳ３６０において、合成された画像のうち、サンプル画像情報との類似度が第１閾値（例えば７０％）以上であり、且つ面積が第２閾値（例えば１０平方メートル）以上である領域を作業領域として特定する。第２閾値は、実際の作業領域とノイズとなりうる領域の面積に基づきあらかじめ設定され、メモリ１２０またはストレージ２４０に記録されていてもよい。これにより、図１６に示すように、農地Ａ１、農地Ａ３は１０平方メートル以上なので作業領域として特定され、草地Ａ２は１０平方メートル以下なので作業領域として特定されず、正確に作業領域を特定することができる。   In addition, when all areas whose similarity with the sample image information in the predetermined range of the target area B is equal to or more than the first threshold are specified as the work area, there is a possibility that many noises may be included. For example, a small grassland A2 (5 square meters) exists near the farmland A1 (100 square meters) and the farmland A3 (20 square meters) shown in FIG. 15, and the sample image information of the farmland is RGB information corresponding to the greenish color In this case, the grassland A2 may also be identified as a work area. In order to avoid the occurrence of such noise, it is more preferable that the similarity with the sample image information is at least the first threshold (eg 70%) in the combined image in step S360, and the area A region where is equal to or greater than a second threshold (for example, 10 square meters) is identified as a work region. The second threshold may be preset based on the actual work area and the area of the area that may be noise, and may be recorded in the memory 120 or the storage 240. Thereby, as shown in FIG. 16, farmland A1 and farmland A3 are 10 square meters or more, and are specified as a work area, and grassland A2 is 10 square meters or less and thus are not specified as a work area, and a work area can be specified accurately. .

本開示における飛行体制御方法は、作業領域が特定された後に、作業領域内の作業経路を従来の方法により計画し、作業を行ってよい。これにより、ユーザが手動で作業領域を設定しなくても、飛行体が自動的に作業領域を正確に把握することができ、過不足のない効率的な作業を実現できる。   The airframe control method in the present disclosure may plan and work the work path in the work area by the conventional method after the work area is identified. As a result, even if the user does not manually set the work area, the flying object can automatically grasp the work area accurately, and efficient work without excess or deficiency can be realized.

本開示における飛行体制御方法の各処理（ステップ）は、その全部を無人飛行体１００の処理部１１０によって実行させてよいが、これに限らない。例えば、第１の具体的な実施例において画像を合成するステップＳ２３０、類似領域を推定するステップＳ２３０、第２の具体的な実施例において画像を合成するステップＳ３４０、作業領域を特定するステップＳ３６０のうち一つまたは複数を遠隔にある情報処理装置（例えばクラウドサーバ）で実行してよい。   Each process (step) of the aircraft control method according to the present disclosure may be performed by the processing unit 110 of the unmanned air vehicle 100, but is not limited thereto. For example, step S230 of combining images in the first specific embodiment, step S230 of estimating similar regions, step S340 of combining images in the second specific embodiment, and step S360 of identifying a work area. One or more of them may be executed by a remote information processing apparatus (for example, a cloud server).

また、本開示における飛行体制御方法は、無人飛行体１００に各処理（ステップ）を実行させるプログラムにより実現してよい。このプログラムは、メモリ１２０、ストレージ２４０又は他の記憶媒体に格納されてよい。   Further, the method of controlling an aircraft according to the present disclosure may be implemented by a program that causes the unmanned air vehicle 100 to execute each process (step). This program may be stored in memory 120, storage 240 or other storage medium.

以上、本開示について実施形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。   Although the present disclosure has been described above using the embodiment, the technical scope of the invention according to the present disclosure is not limited to the scope described in the above-described embodiment. It is obvious for those skilled in the art to add various changes or improvements to the embodiment described above. It is also apparent from the scope of the claims that the embodiments added with such alterations or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The execution order of each process such as operations, procedures, steps, and steps in the apparatuses, systems, programs, and methods shown in the claims, the specification, and the drawings is particularly “before”, “preceding” Etc., and can be realized in any order as long as the output of the previous process is not used in the later process. With regard to the operation flow in the claims, the specification, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. Absent.

１００ 無人飛行体（ＵＡＶ）
１０２ ＵＡＶ本体
１１０ 処理部
１２０ メモリ
１３０ 回転翼機構
１４０ ＧＰＳ受信機
１５０ 慣性計測装置
１６０ 磁気コンパス
１７０ 気圧高度計
１８０ ミリ波レーダ
１９０ 風速風向計
２００ 噴射ノズル
２１０ タンク
２２０ 圧力センサ
２３０ 流量センサ
２４０ ストレージ
２５０ 通信インタフェース
２６０ バッテリ
２７０ 撮像装置 100 Unmanned Aerial Vehicle (UAV)
102 UAV body 110 processing unit 120 memory 130 rotary wing mechanism 140 GPS receiver 150 inertia measuring device 160 magnetic compass 170 barometric altimeter 180 millimeter wave radar 190 wind speed wind direction meter 200 jet nozzle 210 tank 220 pressure sensor 230 flow sensor 240 storage 250 communication interface 260 Battery 270 Imager

Claims (22)

飛行体の作業領域を特定するための飛行体制御方法であって、
前記作業領域のサンプル画像情報を取得するステップと、
前記サンプル画像情報との類似度に基づき対象領域における前記作業領域を特定するステップと、を有する、
飛行体制御方法。 An aircraft control method for identifying a working area of an aircraft,
Acquiring sample image information of the work area;
Identifying the work area in a target area based on the degree of similarity to the sample image information.
Flight control method. 前記サンプル画像情報は、前記作業領域内にある基準位置で撮像した画像から取得される、
請求項１に記載の飛行体制御方法。 The sample image information is acquired from an image captured at a reference position within the work area.
The method of controlling an aircraft according to claim 1. 前記サンプル画像情報は、前記作業領域内にある複数の位置においてそれぞれ撮像された複数の画像から選択された一の画像から取得される、
請求項２に記載の飛行体制御方法。 The sample image information is acquired from one image selected from a plurality of images respectively captured at a plurality of positions in the work area.
An aircraft control method according to claim 2. 前記基準位置は、前記作業領域の境界線から所定距離以上内側の位置にある、
請求項２に記載の飛行体制御方法。 The reference position is located at a predetermined distance or more from a boundary of the work area,
An aircraft control method according to claim 2. 前記サンプル画像情報には、色の属性に関する情報が含まれる、
請求項１ないし４のいずれか一項に記載の飛行体制御方法。 The sample image information includes information on color attributes.
The method of controlling an aircraft according to any one of claims 1 to 4. 前記対象領域における前記作業領域を特定するステップは、
前記対象領域内に一連の撮像位置を確定するステップと、
それぞれの撮像位置において撮像するステップと、
撮像された画像の合成画像と前記サンプル画像情報との類似度に基づき前記作業領域を特定するステップと、を有する、
請求項２に記載の飛行体制御方法。 The step of identifying the work area in the target area includes
Determining a series of imaging positions within the target area;
Imaging at each imaging position;
Identifying the work area based on the degree of similarity between the composite image of the captured image and the sample image information.
An aircraft control method according to claim 2. 前記撮像された画像の合成画像と前記サンプル画像情報との類似度に基づき前記作業領域を特定するステップは、
前記撮像位置において撮像するごとに、すでに撮像された複数の画像を合成し、前記合成された画像と前記サンプル画像情報との類似度が第１閾値以上である類似領域が閉領域となったときに、前記閉領域を前記作業領域として特定するステップと、有する、
請求項６に記載の飛行体制御方法。 The step of identifying the work area based on the similarity between the composite image of the captured image and the sample image information,
When a plurality of already captured images are synthesized each time imaging is performed at the imaging position, and a similar area whose similarity between the synthesized image and the sample image information is equal to or greater than a first threshold becomes a closed area Identifying the closed area as the work area;
A method of controlling an aircraft according to claim 6. 前記撮像された画像の合成画像と前記サンプル画像情報との類似度に基づき前記作業領域を特定するステップは、
前記対象領域の所定範囲を示す情報を取得するステップと、
前記所定範囲内にある撮像位置での撮像画像を合成して得られた画像のうち前記サンプル画像情報との類似度が第１閾値以上である領域を前記作業領域として特定するステップと、を有する、
請求項６に記載の飛行体制御方法。 The step of identifying the work area based on the similarity between the composite image of the captured image and the sample image information,
Acquiring information indicating a predetermined range of the target area;
Identifying, as the working area, an area having a similarity to the sample image information equal to or greater than a first threshold value among the images obtained by combining the captured images at the imaging positions within the predetermined range ,
A method of controlling an aircraft according to claim 6. 前記合成された画像のうち前記サンプル画像情報との類似度が第１閾値以上である領域を前記作業領域として特定するステップは、
前記合成された画像のうち、前記サンプル画像情報との類似度が第１閾値以上であり、且つ面積が第２閾値以上である領域を前記作業領域として特定するステップを有する、
請求項８に記載の飛行体制御方法。 A step of specifying, as the work area, an area having a degree of similarity with the sample image information equal to or greater than a first threshold value in the combined image,
And identifying, as the work area, an area having a degree of similarity with the sample image information equal to or greater than a first threshold and an area equal to or greater than a second threshold among the combined images.
A method of controlling an aircraft according to claim 8. 前記一連の撮像位置は、前記基準位置から始まり且つ螺旋状に広がる経路を構成する、
請求項６ないし９のいずれか一項に記載の飛行体制御方法。 The series of imaging positions constitute a path starting from the reference position and spreading in a spiral.
The method of controlling an aircraft according to any one of claims 6 to 9. 作業領域を特定する飛行体であって、処理部を有し、
前記処理部は、
前記作業領域のサンプル画像情報を取得し、前記サンプル画像情報との類似度に基づき対象領域における前記作業領域を特定する、
飛行体。 An aircraft specifying a work area, having a processing unit,
The processing unit is
Sample image information of the work area is obtained, and the work area in a target area is specified based on the similarity with the sample image information;
Flying body. 前記飛行体は、さらに撮像装置を有し、
前記サンプル画像情報は、前記作業領域内にある基準位置で撮像した画像から取得される、
請求項１１に記載の飛行体。 The vehicle further comprises an imaging device,
The sample image information is acquired from an image captured at a reference position within the work area.
The aircraft according to claim 11. 前記サンプル画像情報は、前記作業領域内にある複数の位置においてそれぞれ撮像された複数の画像から選択された一の画像から取得される、
請求項１２に記載の飛行体。 The sample image information is acquired from one image selected from a plurality of images respectively captured at a plurality of positions in the work area.
An aircraft according to claim 12. 前記基準位置は、前記作業領域の境界線から所定距離以上内側の位置にある、
請求項１２に記載の飛行体。 The reference position is located at a predetermined distance or more from a boundary of the work area,
An aircraft according to claim 12. 前記サンプル画像情報には、色の属性に関する情報が含まれる、
請求項１１ないし１４のいずれか一項に記載の飛行体。 The sample image information includes information on color attributes.
The flying object according to any one of claims 11 to 14. 前記処理部は、前記対象領域内に一連の撮像位置を確定し、それぞれの撮像位置において撮像し、撮像された画像の合成画像と前記サンプル画像情報との類似度に基づき前記作業領域を特定する、
請求項１２に記載の飛行体。 The processing unit determines a series of imaging positions in the target area, captures an image at each imaging position, and identifies the work area based on a similarity between a composite image of the captured image and the sample image information. ,
An aircraft according to claim 12. 前記処理部は、前記撮像位置において撮像するごとに、すでに撮像された複数の画像を合成し、前記合成された画像と前記サンプル画像情報との類似度が第１閾値以上である類似領域が閉領域となったときに、前記閉領域を前記作業領域として特定する、
請求項１６に記載の飛行体。 The processing unit combines a plurality of already captured images each time imaging is performed at the imaging position, and a similar region in which a similarity between the combined image and the sample image information is equal to or more than a first threshold is closed. When the area is reached, the closed area is identified as the work area,
The aircraft of claim 16. 前記処理部は、前記対象領域の所定範囲を示す情報を取得し、前記所定範囲内にある撮像位置で撮像した画像を合成して得られた画像のうち前記サンプル画像情報との類似度が第１閾値以上である領域を前記作業領域として特定する、
請求項１６に記載の飛行体。 The processing unit acquires information indicating a predetermined range of the target area, and a degree of similarity with the sample image information in an image obtained by combining an image captured at an imaging position within the predetermined range Identify an area equal to or greater than one threshold as the work area
The aircraft of claim 16. 前記処理部は、前記合成された画像のうち、前記サンプル画像情報との類似度が第１閾値以上であり、且つ面積が第２閾値以上である領域を前記作業領域として特定する、
請求項１８に記載の飛行体。 The processing unit specifies, as the work area, an area having a degree of similarity with the sample image information equal to or greater than a first threshold and an area equal to or greater than a second threshold in the combined image.
An aircraft according to claim 18. 前記一連の撮像位置は、前記基準位置から始まり且つ螺旋状に広がる経路を構成する、
請求項１６ないし１９のいずれか一項に記載の飛行体。 The series of imaging positions constitute a path starting from the reference position and spreading in a spiral.
An aircraft according to any one of claims 16-19. 作業領域を特定する飛行体に、
前記作業領域のサンプル画像情報を取得するステップと、
前記サンプル画像情報との類似度に基づき対象領域における前記作業領域を特定するステップと、を実行させるための、
プログラム。 In the aircraft specifying the work area,
Acquiring sample image information of the work area;
Identifying the work area in a target area based on the degree of similarity with the sample image information.
program. 作業領域を特定する飛行体に、
前記作業領域のサンプル画像情報を取得するステップと、
前記サンプル画像情報との類似度に基づき対象領域における前記作業領域を特定するステップと、を実行させるためのプログラムを記録したコンピュータ読み取り可能な、
記録媒体。 In the aircraft specifying the work area,
Acquiring sample image information of the work area;
Identifying a work area in a target area based on a degree of similarity with the sample image information;
recoding media.
JP2017164640A 2017-08-29 2017-08-29 Flying body control method, flying body, program and recording medium Ceased JP2019045898A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017164640A JP2019045898A (en) 2017-08-29 2017-08-29 Flying body control method, flying body, program and recording medium
CN201880015439.8A CN110383333A (en) 2017-08-29 2018-08-01 Flight body controlling means, flying body, program and recording medium
PCT/CN2018/098109 WO2019042067A1 (en) 2017-08-29 2018-08-01 Aerial vehicle control method, aerial vehicle, program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017164640A JP2019045898A (en) 2017-08-29 2017-08-29 Flying body control method, flying body, program and recording medium

Publications (1)

Publication Number Publication Date
JP2019045898A true JP2019045898A (en) 2019-03-22

Family

ID=65524863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017164640A Ceased JP2019045898A (en) 2017-08-29 2017-08-29 Flying body control method, flying body, program and recording medium

Country Status (3)

Country Link
JP (1) JP2019045898A (en)
CN (1) CN110383333A (en)
WO (1) WO2019042067A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020168900A (en) * 2019-04-02 2020-10-15 株式会社ネクスドローン Material spray system and material spray device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010092403A (en) * 2008-10-10 2010-04-22 Hitachi Automotive Systems Ltd Road marking recognition system
JP2014044533A (en) * 2012-08-24 2014-03-13 Yanmar Co Ltd Track identification apparatus
JP2016082441A (en) * 2014-10-17 2016-05-16 ソニー株式会社 Controller, control method and computer program
US20160327959A1 (en) * 2015-05-04 2016-11-10 International Business Machines Corporation Unmanned Vehicle Movement Path Assignment and Management
JP2017144811A (en) * 2016-02-16 2017-08-24 株式会社ナイルワークス Chemical spraying method and program by unmanned flight body

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235830A (en) * 2013-05-13 2013-08-07 北京臻迪科技有限公司 Unmanned aerial vehicle (UAV)-based electric power line patrol method and device and UAV
CN103985117A (en) * 2014-04-28 2014-08-13 上海融军科技有限公司 Method for capturing and determining object based on remote sensing image
CN105354841B (en) * 2015-10-21 2019-02-01 武汉工程大学 A kind of rapid remote sensing image matching method and system
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
CN106020233B (en) * 2016-07-08 2023-11-28 聂浩然 Unmanned aerial vehicle plant protection operation system, unmanned aerial vehicle for plant protection operation and control method
CN106956778A (en) * 2017-05-23 2017-07-18 广东容祺智能科技有限公司 A kind of unmanned plane pesticide spraying method and system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010092403A (en) * 2008-10-10 2010-04-22 Hitachi Automotive Systems Ltd Road marking recognition system
JP2014044533A (en) * 2012-08-24 2014-03-13 Yanmar Co Ltd Track identification apparatus
JP2016082441A (en) * 2014-10-17 2016-05-16 ソニー株式会社 Controller, control method and computer program
US20160327959A1 (en) * 2015-05-04 2016-11-10 International Business Machines Corporation Unmanned Vehicle Movement Path Assignment and Management
JP2017144811A (en) * 2016-02-16 2017-08-24 株式会社ナイルワークス Chemical spraying method and program by unmanned flight body

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020168900A (en) * 2019-04-02 2020-10-15 株式会社ネクスドローン Material spray system and material spray device

Also Published As

Publication number Publication date
WO2019042067A1 (en) 2019-03-07
CN110383333A (en) 2019-10-25

Similar Documents

Publication Publication Date Title
JP6962720B2 (en) Flight control methods, information processing equipment, programs and recording media
CN110968110B (en) Method and device for determining operation area, unmanned aerial vehicle and storage medium
Küng et al. The accuracy of automatic photogrammetric techniques on ultra-light UAV imagery
Rieke et al. High-precision positioning and real-time data processing of UAV-systems
JP6836385B2 (en) Positioning device, location method and program
CN110254722B (en) Aircraft system, aircraft system method and computer-readable storage medium
CN109085594A (en) A kind of unmanned aerial vehicle onboard system and application guidance system for being administered guiding
Madawalagama et al. Low cost aerial mapping with consumer-grade drones
CN104320607A (en) Method for monitoring growth of farmland crops based on drone
JP6138326B1 (en) MOBILE BODY, MOBILE BODY CONTROL METHOD, PROGRAM FOR CONTROLLING MOBILE BODY, CONTROL SYSTEM, AND INFORMATION PROCESSING DEVICE
JP7501878B2 (en) Drone operation support system and drone operation support method
CN103885454A (en) Operation method and device for enabling agricultural aircraft to fly according to canopy characteristic parameters
Liu et al. Development of a positioning system using UAV-based computer vision for an airboat navigation in paddy field
JP6289750B1 (en) Mobile object, mobile object control method, mobile object control system, and mobile object control program
WO2021159249A1 (en) Route planning method and device, and storage medium
CN110785355A (en) Unmanned aerial vehicle testing method, device and storage medium
CN108007437B (en) Method for measuring farmland boundary and internal obstacles based on multi-rotor aircraft
Jensen et al. Low-cost multispectral aerial imaging using autonomous runway-free small flying wing vehicles
WO2019167210A1 (en) Control device, mobile body, and program
Simon et al. 3D MAPPING OF A VILLAGE WITH A WINGTRAONE VTOL TAILSITER DRONE USING PIX4D MAPPER.
JP2019045898A (en) Flying body control method, flying body, program and recording medium
JP2007033258A (en) Method and device for observing object to be observed
JP6927943B2 (en) Information processing equipment, flight control method and flight control system
Conte et al. Evaluation of a light-weight LiDAR and a photogrammetric system for unmanned airborne mapping applications
Themistocleous The use of UAVs for monitoring land degradation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20220927