JP6875269B2 - Information processing equipment, flight control instruction method, program, and recording medium - Google Patents

Information processing equipment, flight control instruction method, program, and recording medium Download PDF

Info

Publication number
JP6875269B2
JP6875269B2 JP2017246802A JP2017246802A JP6875269B2 JP 6875269 B2 JP6875269 B2 JP 6875269B2 JP 2017246802 A JP2017246802 A JP 2017246802A JP 2017246802 A JP2017246802 A JP 2017246802A JP 6875269 B2 JP6875269 B2 JP 6875269B2
Authority
JP
Japan
Prior art keywords
information
flight
change operation
flying object
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017246802A
Other languages
Japanese (ja)
Other versions
JP2019114036A (en
Inventor
杰旻 周
杰旻 周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2017246802A priority Critical patent/JP6875269B2/en
Publication of JP2019114036A publication Critical patent/JP2019114036A/en
Application granted granted Critical
Publication of JP6875269B2 publication Critical patent/JP6875269B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本開示は、飛行体の飛行の制御を指示する情報処理装置、飛行制御指示方法、プログラム、及び記録媒体に関する。 The present disclosure relates to an information processing device for instructing flight control of an air vehicle, a flight control instruction method, a program, and a recording medium.

従来、無人航空機は、無人航空機に搭載されたカメラにより空撮可能であり、農業や災害時の救助等、様々な分野で活用が検討されている。 Conventionally, unmanned aerial vehicles can take aerial photographs with cameras mounted on unmanned aerial vehicles, and their use in various fields such as agriculture and rescue in the event of a disaster is being considered.

先行技術として、カメラが搭載された無人飛行体と、無人飛行体の位置を移動させる操作装置とを備える移動制御システムが知られる(特許文献1参照)。この移動制御システムでは、操作装置は、カメラで撮像された画像を表示するタッチパネルを有する。操作装置は、ユーザによるタッチパネルに対するタッチ操作がピンチアウト操作である場合、無人飛行体を被写体の方向に前進させ、ピンチイン操作である場合、無人飛行体を被写体の方向から後退させる。 As a prior art, a movement control system including an unmanned vehicle equipped with a camera and an operation device for moving the position of the unmanned vehicle is known (see Patent Document 1). In this movement control system, the operating device has a touch panel that displays an image captured by the camera. The operating device advances the unmanned flying object toward the subject when the touch operation on the touch panel by the user is a pinch-out operation, and moves the unmanned flying object backward from the direction of the subject when the touch operation is a pinch-in operation.

特開2017−139582号公報Japanese Unexamined Patent Publication No. 2017-139582

特許文献1では、タッチパネルへの操作に応じて無人飛行体が移動する場合、ピンチアウト操作又はピンチアウト操作に基づく無人飛行体の飛行のみ考慮されている。タッチパネルへピンチアウト操作又はピンチアウト操作以外の操作方法により操作された場合でも、操作方法に応じて無人飛行体が様々な飛行方法により飛行できることが望ましい。 In Patent Document 1, when the unmanned vehicle moves in response to the operation on the touch panel, only the flight of the unmanned vehicle based on the pinch-out operation or the pinch-out operation is considered. Even when the touch panel is operated by an operation method other than the pinch-out operation or the pinch-out operation, it is desirable that the unmanned vehicle can fly by various flight methods according to the operation method.

一態様において、情報処理装置は、飛行体の飛行の制御を指示する情報処理装置であって、処理部を備え、処理部は、飛行体により撮像された第1の撮像画像を取得し、第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得し、変更操作に基づいて、飛行体を回転させるよう飛行の制御を指示する。 In one aspect, the information processing device is an information processing device that instructs the control of flight of the flying object, includes a processing unit, and the processing unit acquires a first captured image captured by the flying object, and the first image is acquired. The information of the change operation for rotating and changing the first image pickup range, which is the image pickup range of the captured image of 1, is acquired, and the flight control is instructed to rotate the flying object based on the change operation.

変更操作の情報は、変更操作の操作量の情報を含んでよい。処理部は、変更操作の操作量に基づいて、飛行体を回転させる回転角度を決定してよい。 The change operation information may include information on the operation amount of the change operation. The processing unit may determine the rotation angle at which the flying object is rotated based on the operation amount of the change operation.

一態様において、情報処理装置は、飛行体の飛行の制御を指示する情報処理装置であって、処理部を備え、処理部は、飛行体により撮像された第1の撮像画像を取得し、第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得し、変更操作に基づいて、飛行体を移動させるよう飛行の制御を指示してよい。 In one aspect, the information processing device is an information processing device that instructs the control of flight of the flying object, includes a processing unit, and the processing unit acquires a first captured image captured by the flying object, and the first image is acquired. The information of the change operation for moving and changing the first imaging range, which is the imaging range of the captured image of 1, to another geographical range is acquired, and the flight is moved so as to move the flying object based on the change operation. Control may be instructed.

変更操作の情報は、変更操作の操作量及び操作方向の情報を含んでよい。処理部は、変更操作の操作量及び操作方向に基づいて、飛行体の移動量及び移動方向を決定してよい。 The change operation information may include information on the operation amount and operation direction of the change operation. The processing unit may determine the movement amount and the movement direction of the flying object based on the operation amount and the operation direction of the change operation.

変更操作は、フリック操作でよい。 The change operation may be a flick operation.

情報処理装置は、タッチパネル、を更に備えてよい。処理部は、第1の撮像画像をタッチパネルに表示させ、タッチパネルに対する入力に基づく変更操作の情報を取得し、変更操作の情報と、タッチパネルに対する入力位置とタッチパネルの中心位置との距離と、タッチパネルの中心位置に対する入力位置の方向と、に基づいて、飛行体の移動を含む飛行の制御を指示してよい。 The information processing device may further include a touch panel. The processing unit displays the first captured image on the touch panel, acquires the information of the change operation based on the input to the touch panel, the information of the change operation, the distance between the input position to the touch panel and the center position of the touch panel, and the touch panel. Control of flight, including movement of the flying object, may be instructed based on the direction of the input position with respect to the center position.

処理部は、変更操作の情報の取得が終了するまで、変更操作に基づく飛行体の飛行の制御の指示を反復して実行してよい。 The processing unit may repeatedly execute the instruction of controlling the flight of the flying object based on the change operation until the acquisition of the information of the change operation is completed.

処理部は、変更操作の情報の取得が終了した後に、変更操作に基づく飛行体の飛行の制御を指示してよい。 The processing unit may instruct the control of the flight of the flying object based on the change operation after the acquisition of the information of the change operation is completed.

一態様において、飛行制御指示方法は、飛行体の飛行の制御を指示する情報処理装置における飛行制御指示方法であって、飛行体により撮像された第1の撮像画像を取得するステップと、第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得するステップと、変更操作に基づいて、飛行体を回転させるよう飛行の制御を指示するステップと、を有する。 In one aspect, the flight control instruction method is a flight control instruction method in an information processing device that instructs flight control of an air vehicle, and includes a step of acquiring a first captured image captured by the air vehicle and a first method. A step of acquiring information on a change operation for rotating and changing the first imaging range, which is the imaging range of the captured image of the above, and a step of instructing flight control to rotate the flying object based on the change operation. And have.

変更操作の情報は、変更操作の操作量の情報を含んでよい。飛行の制御を指示するステップは、変更操作の操作量に基づいて、飛行体を回転させる回転角度を決定するステップを含んでよい。 The change operation information may include information on the operation amount of the change operation. The step of instructing flight control may include a step of determining a rotation angle for rotating the flying object based on the amount of operation of the change operation.

一態様において、飛行制御指示方法は、飛行体の飛行の制御を指示する情報処理装置における飛行制御指示方法であって、飛行体により撮像された第1の撮像画像を取得するステップと、第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得するステップと、変更操作に基づいて、飛行体を移動させるよう飛行の制御を指示するステップと、を有する。 In one aspect, the flight control instruction method is a flight control instruction method in an information processing device that instructs flight control of an air vehicle, and includes a step of acquiring a first captured image captured by the air vehicle and a first method. The step of acquiring information on the change operation for moving and changing the first imaging range, which is the imaging range of the captured image of, to another geographical range, and the flight to move the flying object based on the change operation. It has a step of instructing control of.

変更操作の情報は、変更操作の操作量及び操作方向の情報を含んでよい。飛行の制御を指示するステップは、変更操作の操作量及び操作方向に基づいて、飛行体の移動量及び移動方向を決定するステップを含んでよい。 The change operation information may include information on the operation amount and operation direction of the change operation. The step of instructing flight control may include a step of determining the movement amount and movement direction of the flying object based on the operation amount and operation direction of the change operation.

変更操作は、フリック操作でよい。 The change operation may be a flick operation.

情報処理装置は、タッチパネルを備えてよい。飛行制御指示方法は、第1の撮像画像をタッチパネルに表示させるステップ、を更に含んでよい。変更操作の情報を取得するステップは、タッチパネルに対する入力に基づく変更操作の情報を取得するステップを含んでよい。飛行の制御を指示するステップは、変更操作の情報と、タッチパネルに対する入力位置とタッチパネルの中心位置との距離と、タッチパネルの中心位置に対する入力位置の方向と、に基づいて、飛行体の移動を含む飛行の制御を指示するステップを含んでよい。 The information processing device may include a touch panel. The flight control instruction method may further include a step of displaying the first captured image on the touch panel. The step of acquiring the information of the change operation may include the step of acquiring the information of the change operation based on the input to the touch panel. The step of instructing flight control includes movement of the flying object based on the information of the change operation, the distance between the input position with respect to the touch panel and the center position of the touch panel, and the direction of the input position with respect to the center position of the touch panel. It may include steps to direct flight control.

飛行体の制御を指示するステップは、変更操作の情報の取得が終了するまで、変更操作に基づく飛行体の飛行の制御の指示を反復して実行するステップを含んでよい。 The step of instructing the control of the air vehicle may include a step of repeatedly executing the instruction of controlling the flight of the air vehicle based on the change operation until the acquisition of the information of the change operation is completed.

飛行体の制御を指示するステップは、変更操作の情報の取得が終了した後に、変更操作に基づく飛行体の飛行の制御を指示するステップを含んでよい。 The step of instructing the control of the air vehicle may include a step of instructing the control of the flight of the air vehicle based on the change operation after the acquisition of the information of the change operation is completed.

一態様において、プログラムは、飛行体の飛行の制御を指示する情報処理装置に、飛行体により撮像された第1の撮像画像を取得するステップと、第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得するステップと、変更操作に基づいて、飛行体を回転させるよう飛行の制御を指示するステップと、を実行させるためのプログラムである。 In one aspect, the program is a step of acquiring a first captured image captured by the flying object to an information processing device that instructs the information processing device to control the flight of the flying object, and a first imaging range of the first captured image. It is a program for executing a step of acquiring information on a change operation for rotating and changing the imaging range of the aircraft, and a step of instructing flight control to rotate the flying object based on the change operation. ..

一態様において、プログラムは、飛行体の飛行の制御を指示する情報処理装置に、飛行体により撮像された第1の撮像画像を取得するステップと、第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得するステップと、変更操作に基づいて、飛行体を移動させるよう飛行の制御を指示するステップと、を実行させるためのプログラムである。 In one aspect, the program is a step of acquiring a first captured image captured by the flying object to an information processing device that instructs the information processing device to control the flight of the flying object, and a first imaging range of the first captured image. Performs a step to obtain information on a change operation to move the imaging range of the image to another geographical range and change it, and a step to instruct flight control to move the flying object based on the change operation. It is a program to make it.

一態様において、記録媒体は、飛行体の飛行の制御を指示する情報処理装置に、飛行体により撮像された第1の撮像画像を取得するステップと、第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得するステップと、変更操作に基づいて、飛行体を回転させるよう飛行の制御を指示するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。 In one aspect, the recording medium is a step of acquiring a first captured image captured by the flying object to an information processing device that instructs the information processing device to control the flight of the flying object, and a first imaging range of the first captured image. A program for executing a step of acquiring information on a change operation for rotating and changing the imaging range of 1 and a step of instructing flight control to rotate the flying object based on the change operation. It is a computer-readable recording medium on which recording is performed.

一態様において、記録媒体は、飛行体の飛行の制御を指示する情報処理装置に、飛行体により撮像された第1の撮像画像を取得するステップと、第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得するステップと、変更操作に基づいて、飛行体を移動させるよう飛行の制御を指示するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。 In one aspect, the recording medium is a step of acquiring a first captured image captured by the flying object to an information processing device that instructs the information processing device to control the flight of the flying object, and a first imaging range of the first captured image. A step of acquiring information on a change operation for moving the imaging range of 1 to another geographical range and changing the image range, and a step of instructing flight control to move the flying object based on the change operation. A computer-readable recording medium that records a program to be executed.

なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The outline of the above invention does not list all the features of the present disclosure. Sub-combinations of these feature groups can also be inventions.

実施形態における飛行制御システムの第1構成例を示す模式図Schematic diagram showing a first configuration example of the flight control system according to the embodiment 実施形態における飛行制御システムの第2構成例を示す模式図Schematic diagram showing a second configuration example of the flight control system according to the embodiment 実施形態における飛行制御システムの第3構成例を示す模式図Schematic diagram showing a third configuration example of the flight control system according to the embodiment 無人航空機の具体的な外観の一例を示す図Diagram showing an example of the concrete appearance of an unmanned aerial vehicle 無人航空機のハードウェア構成の一例を示すブロック図Block diagram showing an example of the hardware configuration of an unmanned aerial vehicle 端末のハードウェア構成の一例を示すブロック図Block diagram showing an example of terminal hardware configuration 端末のタッチパネルに対するピンチイン操作によって、撮像範囲のサイズを拡大させる動作例を示す図The figure which shows the operation example which expands the size of the imaging range by pinch-in operation with respect to the touch panel of a terminal. 端末のタッチパネルに対するピンチアウト操作によって、撮像範囲のサイズを縮小させる動作例を示す図The figure which shows the operation example which reduces the size of the imaging range by the pinch-out operation with respect to the touch panel of a terminal. 端末のタッチパネルに対するツイスト操作によって、撮像範囲を回転させる動作例を示す図The figure which shows the operation example which rotates the imaging range by the twist operation with respect to the touch panel of a terminal. 端末のタッチパネルに対するフリック操作によって、撮像範囲を移動させる動作例を示す図The figure which shows the operation example which moves the imaging range by flicking operation to the touch panel of a terminal. 端末のタッチパネルに対するタッチ位置及び変更操作を加味して、撮像範囲を変更する動作例を示す図The figure which shows the operation example which changes the imaging range in consideration of the touch position and the change operation with respect to the touch panel of a terminal. 端末のタッチパネルに対するタッチ位置に基づく無人航空機の水平方向の移動を説明するための図Diagram for explaining the horizontal movement of an unmanned aerial vehicle based on the touch position of the terminal with respect to the touch panel. 端末のタッチパネルに対するタッチ位置に基づく無人航空機の水平方向の移動を説明するための図Diagram for explaining the horizontal movement of an unmanned aerial vehicle based on the touch position of the terminal with respect to the touch panel. 端末及び無人航空機の動作手順の第1例を示すシーケンス図Sequence diagram showing the first example of the operation procedure of the terminal and the unmanned aerial vehicle 端末及び無人航空機の動作手順の第2例を示すシーケンス図Sequence diagram showing the second example of the operation procedure of the terminal and the unmanned aerial vehicle

以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。 Hereinafter, the present disclosure will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Not all combinations of features described in the embodiments are essential to the solution of the invention.

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。 The claims, description, drawings, and abstracts include matters that are subject to copyright protection. The copyright holder will not object to any person's reproduction of these documents as long as they appear in the Patent Office files or records. However, in other cases, all copyrights are reserved.

以下の実施形態では、飛行体として、無人航空機(UAV:Unmanned Aerial Vehicle)を例示する。無人航空機は、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「UAV」と表記する。また、情報処理装置として、端末を例示する。なお、情報処理装置は、端末に限らず、PC(Personal Computer)や送信機(プロポ(Proportional Controller))や無人航空機であってもよい。また、飛行制御指示方法は、情報処理装置の動作が規定されたものである。また、記録媒体は、プログラム(情報処理装置に各種の処理を実行させるプログラム)が記録されたものである。 In the following embodiment, an unmanned aerial vehicle (UAV) will be illustrated as an air vehicle. Unmanned aerial vehicles include aircraft that move in the air. In the drawings attached herein, the unmanned aerial vehicle is referred to as "UAV". Further, a terminal is exemplified as an information processing device. The information processing device is not limited to the terminal, and may be a PC (Personal Computer), a transmitter (Proportional Controller), or an unmanned aerial vehicle. Further, the flight control instruction method defines the operation of the information processing device. The recording medium is a recording medium in which a program (a program that causes an information processing apparatus to execute various processes) is recorded.

図1は、実施形態における飛行制御システム10の第1構成例を示す模式図である。飛行制御システム10は、無人航空機100及び端末80を備える。無人航空機100及び端末80は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。図1では、端末80が携帯端末(例えばスマートフォン、タブレット端末)であることを例示している。端末80は情報処理装置の一例である。 FIG. 1 is a schematic view showing a first configuration example of the flight control system 10 according to the embodiment. The flight control system 10 includes an unmanned aerial vehicle 100 and a terminal 80. The unmanned aerial vehicle 100 and the terminal 80 can communicate with each other by wired communication or wireless communication (for example, wireless LAN (Local Area Network)). FIG. 1 illustrates that the terminal 80 is a mobile terminal (for example, a smartphone or a tablet terminal). The terminal 80 is an example of an information processing device.

図2Aは、実施形態における飛行制御システム10の第2構成例を示す模式図である。図2Aでは、端末80がPCであることを例示している。図1及び図2Aのいずれであっても、端末80が有する機能は同じでよい。 FIG. 2A is a schematic view showing a second configuration example of the flight control system 10 according to the embodiment. FIG. 2A illustrates that the terminal 80 is a PC. In either of FIGS. 1 and 2A, the function of the terminal 80 may be the same.

図2Bは、実施形態における飛行制御システム10の第3構成例を示す模式図である。図2Bでは、飛行制御システム10は、無人航空機100、送信機50、及び端末80を備えた構成である。無人航空機100、送信機50、及び端末80は、相互に有線通信又は無線通信により通信可能である。また、端末80は、送信機50を介して又は送信機50を介さずに、無人航空機100と通信してよい。 FIG. 2B is a schematic view showing a third configuration example of the flight control system 10 according to the embodiment. In FIG. 2B, the flight control system 10 is configured to include an unmanned aerial vehicle 100, a transmitter 50, and a terminal 80. The unmanned aerial vehicle 100, the transmitter 50, and the terminal 80 can communicate with each other by wired communication or wireless communication. In addition, the terminal 80 may communicate with the unmanned aerial vehicle 100 via or without the transmitter 50.

図3は、無人航空機100の具体的な外観の一例を示す図である。図3には、無人航空機100が移動方向STV0に飛行する場合の斜視図が示される。無人航空機100は飛行体の一例である。 FIG. 3 is a diagram showing an example of a specific appearance of the unmanned aerial vehicle 100. FIG. 3 shows a perspective view of the unmanned aerial vehicle 100 flying in the moving direction STV0. The unmanned aerial vehicle 100 is an example of an air vehicle.

図3に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(x軸参照)が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(y軸参照)が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(z軸参照)が定められる。 As shown in FIG. 3, it is assumed that the roll axis (see x-axis) is defined in the direction parallel to the ground and along the moving direction STV0. In this case, the pitch axis (see y-axis) is defined in the direction parallel to the ground and perpendicular to the roll axis, and the yaw axis (z-axis) is further perpendicular to the ground and perpendicular to the roll axis and pitch axis. See) is defined.

無人航空機100は、UAV本体102と、ジンバル200と、撮像部220と、複数の撮像部230とを含む構成である。 The unmanned aerial vehicle 100 includes a UAV main body 102, a gimbal 200, an imaging unit 220, and a plurality of imaging units 230.

UAV本体102は、複数の回転翼(プロペラ)を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼を用いて無人航空機100を飛行させる。回転翼の数は、4つに限定されない。また、無人航空機100は、回転翼を有さない固定翼機でもよい。 The UAV main body 102 includes a plurality of rotary wings (propellers). The UAV main body 102 flies the unmanned aerial vehicle 100 by controlling the rotation of a plurality of rotor blades. The UAV body 102 flies the unmanned aerial vehicle 100 using, for example, four rotors. The number of rotor blades is not limited to four. Further, the unmanned aerial vehicle 100 may be a fixed-wing aircraft having no rotary wings.

撮像部220は、所望の撮像範囲に含まれる被写体(例えば、撮像対象となる上空の様子、山や川等の景色、地上の建物)を撮像する撮像用のカメラである。 The imaging unit 220 is a camera for imaging that captures a subject (for example, a state of the sky to be imaged, a landscape such as a mountain or a river, a building on the ground) included in a desired imaging range.

複数の撮像部230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラである。2つの撮像部230が、無人航空機100の機首である正面に設けられてよい。さらに、他の2つの撮像部230が、無人航空機100の底面に設けられてよい。正面側の2つの撮像部230はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像部230もペアとなり、ステレオカメラとして機能してよい。複数の撮像部230により撮像された画像に基づいて、無人航空機100の周囲の3次元空間データが生成されてよい。なお、無人航空機100が備える撮像部230の数は4つに限定されない。無人航空機100は、少なくとも1つの撮像部230を備えていればよい。無人航空機100は、無人航空機100の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像部230を備えてよい。撮像部230で設定できる画角は、撮像部220で設定できる画角より広くてよい。撮像部230は、単焦点レンズ、魚眼レンズ、又はズームレンズを有してよい。 The plurality of imaging units 230 are sensing cameras that image the surroundings of the unmanned aerial vehicle 100 in order to control the flight of the unmanned aerial vehicle 100. Two imaging units 230 may be provided in front of the nose of the unmanned aerial vehicle 100. Further, two other imaging units 230 may be provided on the bottom surface of the unmanned aerial vehicle 100. The two imaging units 230 on the front side may form a pair and function as a so-called stereo camera. The two imaging units 230 on the bottom side may also be paired and function as a stereo camera. Three-dimensional spatial data around the unmanned aerial vehicle 100 may be generated based on the images captured by the plurality of imaging units 230. The number of image pickup units 230 included in the unmanned aerial vehicle 100 is not limited to four. The unmanned aerial vehicle 100 may include at least one imaging unit 230. The unmanned aerial vehicle 100 may include at least one imaging unit 230 on each of the nose, tail, side surface, bottom surface, and ceiling surface of the unmanned aerial vehicle 100. The angle of view that can be set by the image pickup unit 230 may be wider than the angle of view that can be set by the image pickup unit 220. The imaging unit 230 may have a single focus lens, a fisheye lens, or a zoom lens.

図4は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信インタフェース150と、メモリ160と、ストレージ170と、ジンバル200と、回転翼機構210と、撮像部220と、撮像部230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270と、超音波センサ280と、レーザー測定器290と、を含む構成である。 FIG. 4 is a block diagram showing an example of the hardware configuration of the unmanned aerial vehicle 100. The unmanned aerial vehicle 100 includes a UAV control unit 110, a communication interface 150, a memory 160, a storage 170, a gimbal 200, a rotary wing mechanism 210, an imaging unit 220, an imaging unit 230, a GPS receiver 240, and the like. The configuration includes an inertial measurement unit (IMU) 250, a magnetic compass 260, a barometric altimeter 270, an ultrasonic sensor 280, and a laser measuring instrument 290.

UAV制御部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。 The UAV control unit 110 is configured by using, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor). The UAV control unit 110 performs signal processing for controlling the operation of each part of the unmanned aerial vehicle 100, data input / output processing with and from other parts, data calculation processing, and data storage processing.

UAV制御部110は、メモリ160に格納されたプログラムに従って無人航空機100の飛行を制御する。UAV制御部110は、送信機50や端末80による飛行の制御の指示に従って、飛行を制御してよい。UAV制御部110は、撮像部220や撮像部230に画像を撮像させてよい。 The UAV control unit 110 controls the flight of the unmanned aerial vehicle 100 according to the program stored in the memory 160. The UAV control unit 110 may control the flight according to the instruction of the flight control by the transmitter 50 and the terminal 80. The UAV control unit 110 may cause the imaging unit 220 or the imaging unit 230 to capture an image.

UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から、無人航空機100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。UAV制御部110は、超音波センサ280による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。 The UAV control unit 110 acquires position information indicating the position of the unmanned aerial vehicle 100. The UAV control unit 110 may acquire position information indicating the latitude, longitude, and altitude of the unmanned aerial vehicle 100 from the GPS receiver 240. The UAV control unit 110 acquires latitude / longitude information indicating the latitude and longitude of the unmanned aerial vehicle 100 from the GPS receiver 240 and altitude information indicating the altitude at which the unmanned aerial vehicle 100 exists from the barometric altimeter 270 as position information. Good. The UAV control unit 110 may acquire the distance between the ultrasonic wave emission point and the ultrasonic wave reflection point by the ultrasonic sensor 280 as altitude information.

UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機100の機首の向きに対応する方位で示されてよい。 The UAV control unit 110 may acquire orientation information indicating the orientation of the unmanned aerial vehicle 100 from the magnetic compass 260. The orientation information may be indicated, for example, in the orientation corresponding to the orientation of the nose of the unmanned aerial vehicle 100.

UAV制御部110は、撮像部220が撮像すべき撮像範囲を撮像する時に無人航空機100が存在すべき位置を示す位置情報を取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報をメモリ160から取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報を、通信インタフェース150を介して他の装置から取得してよい。UAV制御部110は、3次元地図データベースを参照して、無人航空機100が存在可能な位置を特定して、その位置を無人航空機100が存在すべき位置を示す位置情報として取得してよい。 The UAV control unit 110 may acquire position information indicating the position where the unmanned aerial vehicle 100 should exist when the imaging unit 220 images the imaging range to be imaged. The UAV control unit 110 may acquire position information indicating the position where the unmanned aerial vehicle 100 should exist from the memory 160. The UAV control unit 110 may acquire position information indicating the position where the unmanned aerial vehicle 100 should exist from another device via the communication interface 150. The UAV control unit 110 may refer to the three-dimensional map database to specify the position where the unmanned aerial vehicle 100 can exist, and acquire the position as position information indicating the position where the unmanned aerial vehicle 100 should exist.

UAV制御部110は、撮像部220及び撮像部230のそれぞれの撮像範囲を示す撮像範囲情報を取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像部220及び撮像部230の画角を示す画角情報を撮像部220及び撮像部230から取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像部220及び撮像部230の撮像方向を示す情報を取得してよい。UAV制御部110は、例えば撮像部220の撮像方向を示す情報として、ジンバル200から撮像部220の姿勢の状態を示す姿勢情報を取得してよい。撮像部220の姿勢情報は、ジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。 The UAV control unit 110 may acquire image pickup range information indicating the respective image pickup ranges of the image pickup unit 220 and the image pickup unit 230. The UAV control unit 110 may acquire the angle of view information indicating the angles of view of the imaging unit 220 and the imaging unit 230 from the imaging unit 220 and the imaging unit 230 as a parameter for specifying the imaging range. The UAV control unit 110 may acquire information indicating the imaging direction of the imaging unit 220 and the imaging unit 230 as a parameter for specifying the imaging range. The UAV control unit 110 may acquire posture information indicating the posture state of the imaging unit 220 from the gimbal 200, for example, as information indicating the imaging direction of the imaging unit 220. The posture information of the imaging unit 220 may indicate the rotation angle of the gimbal 200 from the reference rotation angle of the pitch axis and the yaw axis.

UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得してよい。UAV制御部110は、撮像部220及び撮像部230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像部220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲情報を生成することで、撮像範囲情報を取得してよい。 The UAV control unit 110 may acquire position information indicating the position where the unmanned aerial vehicle 100 exists as a parameter for specifying the imaging range. The UAV control unit 110 defines an imaging range indicating a geographical range to be imaged by the imaging unit 220 based on the angle of view and the imaging direction of the imaging unit 220 and the imaging unit 230, and the position where the unmanned aerial vehicle 100 exists. The imaging range information may be acquired by generating the imaging range information.

UAV制御部110は、メモリ160から撮像範囲情報を取得してよい。UAV制御部110は、通信インタフェース150を介して撮像範囲情報を取得してよい。 The UAV control unit 110 may acquire imaging range information from the memory 160. The UAV control unit 110 may acquire imaging range information via the communication interface 150.

UAV制御部110は、ジンバル200、回転翼機構210、撮像部220及び撮像部230を制御する。UAV制御部110は、撮像部220の撮像方向又は画角を変更することによって、撮像部220の撮像範囲を制御してよい。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像部220の撮像範囲を制御してよい。 The UAV control unit 110 controls the gimbal 200, the rotor blade mechanism 210, the image pickup unit 220, and the image pickup section 230. The UAV control unit 110 may control the imaging range of the imaging unit 220 by changing the imaging direction or angle of view of the imaging unit 220. The UAV control unit 110 may control the imaging range of the imaging unit 220 supported by the gimbal 200 by controlling the rotation mechanism of the gimbal 200.

撮像範囲とは、撮像部220又は撮像部230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される2次元空間データにおける範囲でもよい。撮像範囲は、撮像部220又は撮像部230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定されてよい。撮像部220及び撮像部230の撮像方向は、撮像部220及び撮像部230の撮像レンズが設けられた正面が向く方位と俯角とから定義されてよい。撮像部220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像部220の姿勢の状態とから特定される方向でよい。撮像部230の撮像方向は、無人航空機100の機首の方位と、撮像部230が設けられた位置とから特定される方向でよい。 The imaging range refers to a geographical range imaged by the imaging unit 220 or the imaging unit 230. The imaging range is defined by latitude, longitude, and altitude. The imaging range may be a range in three-dimensional spatial data defined by latitude, longitude, and altitude. The imaging range may be a range in two-dimensional spatial data defined by latitude and longitude. The imaging range may be specified based on the angle of view and imaging direction of the imaging unit 220 or the imaging unit 230, and the position where the unmanned aerial vehicle 100 exists. The imaging direction of the imaging unit 220 and the imaging unit 230 may be defined from the direction in which the front surface of the imaging unit 220 and the imaging unit 230 provided with the imaging lens faces and the depression angle. The imaging direction of the imaging unit 220 may be a direction specified from the orientation of the nose of the unmanned aerial vehicle 100 and the attitude of the imaging unit 220 with respect to the gimbal 200. The imaging direction of the imaging unit 230 may be a direction specified from the orientation of the nose of the unmanned aerial vehicle 100 and the position where the imaging unit 230 is provided.

UAV制御部110は、複数の撮像部230により撮像された複数の画像を解析することで、無人航空機100の周囲の環境を特定してよい。UAV制御部110は、無人航空機100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。 The UAV control unit 110 may identify the environment around the unmanned aerial vehicle 100 by analyzing a plurality of images captured by the plurality of imaging units 230. The UAV control unit 110 may control the flight, for example, avoiding obstacles, based on the environment around the unmanned aerial vehicle 100.

UAV制御部110は、無人航空機100の周囲に存在するオブジェクトの立体形状(3次元形状)を示す立体情報(3次元情報)を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部でよい。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数の撮像部230から得られたそれぞれの画像から、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、メモリ160又はストレージ170に格納された3次元地図データベースを参照することにより、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。UAV制御部110は、ネットワーク上に存在するサーバが管理する3次元地図データベースを参照することで、無人航空機100の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。 The UAV control unit 110 may acquire three-dimensional information (three-dimensional information) indicating the three-dimensional shape (three-dimensional shape) of an object existing around the unmanned aerial vehicle 100. The object may be, for example, a part of a landscape such as a building, a road, a car, or a tree. The three-dimensional information is, for example, three-dimensional spatial data. The UAV control unit 110 may acquire the three-dimensional information by generating the three-dimensional information indicating the three-dimensional shape of the object existing around the unmanned aerial vehicle 100 from each image obtained from the plurality of imaging units 230. The UAV control unit 110 may acquire three-dimensional information indicating the three-dimensional shape of an object existing around the unmanned aerial vehicle 100 by referring to the three-dimensional map database stored in the memory 160 or the storage 170. The UAV control unit 110 may acquire three-dimensional information regarding the three-dimensional shape of an object existing around the unmanned aerial vehicle 100 by referring to a three-dimensional map database managed by a server existing on the network.

UAV制御部110は、回転翼機構210を制御することで、無人航空機100の飛行を制御する。つまり、UAV制御部110は、回転翼機構210を制御することにより、無人航空機100の緯度、経度、及び高度を含む位置を制御する。UAV制御部110は、無人航空機100の飛行を制御することにより、撮像部220の撮像範囲を制御してよい。UAV制御部110は、撮像部220が備えるズームレンズを制御することで、撮像部220の画角を制御してよい。UAV制御部110は、撮像部220のデジタルズーム機能を利用して、デジタルズームにより、撮像部220の画角を制御してよい。 The UAV control unit 110 controls the flight of the unmanned aerial vehicle 100 by controlling the rotary wing mechanism 210. That is, the UAV control unit 110 controls the position including the latitude, longitude, and altitude of the unmanned aerial vehicle 100 by controlling the rotary wing mechanism 210. The UAV control unit 110 may control the imaging range of the imaging unit 220 by controlling the flight of the unmanned aerial vehicle 100. The UAV control unit 110 may control the angle of view of the image pickup unit 220 by controlling the zoom lens included in the image pickup unit 220. The UAV control unit 110 may control the angle of view of the image pickup unit 220 by the digital zoom by utilizing the digital zoom function of the image pickup unit 220.

撮像部220が無人航空機100に固定され、撮像部220を動かせない場合、UAV制御部110は、特定の日時に特定の位置に無人航空機100を移動させることにより、所望の環境下で所望の撮像範囲を撮像部220に撮像させてよい。あるいは撮像部220がズーム機能を有さず、撮像部220の画角を変更できない場合でも、UAV制御部110は、特定された日時に、特定の位置に無人航空機100を移動させることで、所望の環境下で所望の撮像範囲を撮像部220に撮像させてよい。 When the imaging unit 220 is fixed to the unmanned aerial vehicle 100 and the imaging unit 220 cannot be moved, the UAV control unit 110 moves the unmanned aerial vehicle 100 to a specific position at a specific date and time to obtain a desired image in a desired environment. The range may be imaged by the imaging unit 220. Alternatively, even if the imaging unit 220 does not have a zoom function and the angle of view of the imaging unit 220 cannot be changed, the UAV control unit 110 desired by moving the unmanned aerial vehicle 100 to a specific position at a specified date and time. The imaging unit 220 may image a desired imaging range in the above environment.

通信インタフェース150は、端末80や送信機50と通信する。通信インタフェース150は、任意の無線通信方式により無線通信してよい。通信インタフェース150は、任意の有線通信方式により有線通信してよい。通信インタフェース150は、撮像画像や撮像画像に関する付加情報(メタデータ)を、端末80や送信機50に送信してよい。付加情報は、撮像範囲に関する情報を含んでよい。 The communication interface 150 communicates with the terminal 80 and the transmitter 50. The communication interface 150 may perform wireless communication by any wireless communication method. The communication interface 150 may perform wired communication by any wired communication method. The communication interface 150 may transmit the captured image and additional information (metadata) related to the captured image to the terminal 80 and the transmitter 50. The additional information may include information about the imaging range.

メモリ160は、UAV制御部110がジンバル200、回転翼機構210、撮像部220、撮像部230、GPS受信機240、慣性計測装置250、磁気コンパス260、気圧高度計270、超音波センサ280、及びレーザー測定器290を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSB(Universal Serial Bus)メモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ160は、UAV本体102から取り外し可能であってよい。メモリ160は、作業用メモリとして動作してよい。 In the memory 160, the UAV control unit 110 has a gimbal 200, a rotary blade mechanism 210, an imaging unit 220, an imaging unit 230, a GPS receiver 240, an inertial measurement unit 250, a magnetic compass 260, a barometric altimeter 270, an ultrasonic sensor 280, and a laser. Stores programs and the like required to control the measuring instrument 290. The memory 160 may be a computer-readable recording medium, and may be SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), EEPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), and EEPROM (Electrically Erasable Programmable Read-Only Memory). It may include at least one of flash memories such as USB (Universal Serial Bus) memory. The memory 160 may be removable from the UAV body 102. The memory 160 may operate as a working memory.

ストレージ170は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SDカード、USBメモリ、その他のストレージの少なくとも1つを含んでよい。ストレージ170は、各種情報、各種データを保持してよい。ストレージ170は、UAV本体102から取り外し可能であってよい。ストレージ170は、撮像画像を記録してよい。 The storage 170 may include at least one of an HDD (Hard Disk Drive), an SSD (Solid State Drive), an SD card, a USB memory, and other storage. The storage 170 may hold various information and various data. The storage 170 may be removable from the UAV body 102. The storage 170 may record the captured image.

ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像部220を回転させることで、撮像部220の撮像方向を変更してよい。 The gimbal 200 may rotatably support the imaging unit 220 about the yaw axis, the pitch axis, and the roll axis. The gimbal 200 may change the imaging direction of the imaging unit 220 by rotating the imaging unit 220 around at least one of the yaw axis, the pitch axis, and the roll axis.

回転翼機構210は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータと、を有する。回転翼機構210は、UAV制御部110により回転を制御されることにより、無人航空機100を飛行させる。回転翼の数は、例えば4つでもよいし、その他の数でもよい。回転翼の数が多い程、無人航空機100の揚力が大きくなる。 The rotary blade mechanism 210 includes a plurality of rotary blades and a plurality of drive motors for rotating the plurality of rotary blades. The rotary wing mechanism 210 flies the unmanned aerial vehicle 100 by controlling the rotation by the UAV control unit 110. The number of rotor blades may be, for example, four or any other number. The greater the number of rotors, the greater the lift of the unmanned aerial vehicle 100.

GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。 The GPS receiver 240 receives a plurality of signals indicating the time transmitted from the plurality of navigation satellites (that is, GPS satellites) and the position (coordinates) of each GPS satellite. The GPS receiver 240 calculates the position of the GPS receiver 240 (that is, the position of the unmanned aerial vehicle 100) based on the plurality of received signals. The GPS receiver 240 outputs the position information of the unmanned aerial vehicle 100 to the UAV control unit 110. The position information of the GPS receiver 240 may be calculated by the UAV control unit 110 instead of the GPS receiver 240. In this case, information indicating the time included in the plurality of signals received by the GPS receiver 240 and the position of each GPS satellite is input to the UAV control unit 110.

慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出してよい。 The inertial measurement unit 250 detects the attitude of the unmanned aerial vehicle 100 and outputs the detection result to the UAV control unit 110. The inertial measurement unit 250 detects the acceleration in the three axial directions of the unmanned aerial vehicle 100 in the front-rear direction, the left-right direction, and the up-down direction, and the angular velocity in the three-axis directions of the pitch axis, the roll axis, and the yaw axis as the posture of the unmanned aerial vehicle 100. You can.

磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。 The magnetic compass 260 detects the direction of the nose of the unmanned aerial vehicle 100 and outputs the detection result to the UAV control unit 110.

気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。 The barometric altimeter 270 detects the altitude at which the unmanned aerial vehicle 100 flies, and outputs the detection result to the UAV control unit 110.

超音波センサ280は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部110に出力する。検出結果は、無人航空機100から地面までの距離つまり高度を示してよい。検出結果は、無人航空機100から物体(被写体)までの距離を示してよい。 The ultrasonic sensor 280 emits ultrasonic waves, detects ultrasonic waves reflected by the ground or an object, and outputs the detection result to the UAV control unit 110. The detection result may indicate the distance or altitude from the unmanned aerial vehicle 100 to the ground. The detection result may indicate the distance from the unmanned aerial vehicle 100 to the object (subject).

レーザー測定器290は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機100と物体(被写体)との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。 The laser measuring device 290 irradiates an object with a laser beam, receives the reflected light reflected by the object, and measures the distance between the unmanned aerial vehicle 100 and the object (subject) by the reflected light. As an example, the distance measurement method using the laser beam may be the time-of-flight method.

図5は、端末80のハードウェア構成の一例を示すブロック図である。端末80は、端末制御部81、操作部83、通信部85、メモリ87、表示部88、及びストレージ89を備える。端末80は、無人航空機100の飛行制御の指示を希望するユーザに所持され得る。 FIG. 5 is a block diagram showing an example of the hardware configuration of the terminal 80. The terminal 80 includes a terminal control unit 81, an operation unit 83, a communication unit 85, a memory 87, a display unit 88, and a storage 89. The terminal 80 may be possessed by a user who desires instructions for flight control of the unmanned aerial vehicle 100.

端末制御部81は、例えばCPU、MPU又はDSPを用いて構成される。端末制御部81は、端末80の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。端末制御部81は、処理部の一例である。 The terminal control unit 81 is configured by using, for example, a CPU, MPU, or DSP. The terminal control unit 81 performs signal processing for controlling the operation of each unit of the terminal 80, data input / output processing with and from other units, data calculation processing, and data storage processing. The terminal control unit 81 is an example of a processing unit.

端末制御部81は、通信部85を介して、無人航空機100からのデータや情報(例えば、各種計測データ、画像データ、無人航空機100の位置情報)を取得してもよい。端末制御部81は、操作部83を介して入力されたデータや情報を取得してもよい。端末制御部81は、メモリ87に保持されたデータや情報を取得してもよい。端末制御部81は、通信部85を介して、無人航空機100へ、データや情報を送信させてもよい。端末制御部81は、データや情報を表示部88に送り、このデータや情報に基づく表示情報を表示部88に表示させてもよい。 The terminal control unit 81 may acquire data and information (for example, various measurement data, image data, position information of the unmanned aerial vehicle 100) from the unmanned aerial vehicle 100 via the communication unit 85. The terminal control unit 81 may acquire data or information input via the operation unit 83. The terminal control unit 81 may acquire the data and information held in the memory 87. The terminal control unit 81 may transmit data or information to the unmanned aerial vehicle 100 via the communication unit 85. The terminal control unit 81 may send data or information to the display unit 88 and display the display information based on the data or information on the display unit 88.

端末制御部81は、無人航空機100の飛行制御を指示するためのアプリケーションを実行してもよい。端末制御部81は、アプリケーションで用いられる各種のデータを生成してもよい。 The terminal control unit 81 may execute an application for instructing flight control of the unmanned aerial vehicle 100. The terminal control unit 81 may generate various data used in the application.

操作部83は、端末80のユーザにより入力されるデータや情報を受け付けて取得する。操作部83は、ボタン、キー、タッチスクリーン、マイクロホン、等の入力装置を含んでもよい。ここでは、主に、操作部83と表示部88とがタッチパネルTPにより構成されることを例示する。この場合、操作部83は、タッチ操作、タップ操作、ドラッグ操作、ピンチイン操作、ピンチアウト操作、ツイスト操作、フリック操作、等を受付可能である。操作部83により入力された情報は、無人航空機100へ送信されてもよい。 The operation unit 83 receives and acquires data and information input by the user of the terminal 80. The operation unit 83 may include an input device such as a button, a key, a touch screen, a microphone, and the like. Here, it is illustrated that the operation unit 83 and the display unit 88 are mainly composed of the touch panel TP. In this case, the operation unit 83 can accept a touch operation, a tap operation, a drag operation, a pinch-in operation, a pinch-out operation, a twist operation, a flick operation, and the like. The information input by the operation unit 83 may be transmitted to the unmanned aerial vehicle 100.

通信部85は、各種の無線通信方式により、無人航空機100との間で無線通信する。この無線通信の無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、又は公衆無線回線を介した通信を含んでよい。通信部85は、任意の有線通信方式により有線通信してよい。 The communication unit 85 wirelessly communicates with the unmanned aerial vehicle 100 by various wireless communication methods. The wireless communication method of this wireless communication may include communication via, for example, a wireless LAN, Bluetooth®, or a public wireless line. The communication unit 85 may perform wired communication by any wired communication method.

メモリ87は、例えば端末80の動作を規定するプログラムや設定値のデータが格納されたROMと、端末制御部81の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してもよい。メモリ87は、ROM及びRAM以外のメモリが含まれてよい。メモリ87は、端末80の内部に設けられてよい。メモリ87は、端末80から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。 The memory 87 has, for example, a ROM in which data of a program or set value that defines the operation of the terminal 80 is stored, and a RAM in which various information and data used during processing by the terminal control unit 81 are temporarily stored. You may. The memory 87 may include a memory other than the ROM and the RAM. The memory 87 may be provided inside the terminal 80. The memory 87 may be provided so as to be removable from the terminal 80. The program may include an application program.

表示部88は、例えばLCD(Liquid Crystal Display)を用いて構成され、端末制御部81から出力された各種の情報やデータを表示する。表示部88は、アプリケーションの実行に係る各種データや情報を表示してもよい。 The display unit 88 is configured by using, for example, an LCD (Liquid Crystal Display), and displays various information and data output from the terminal control unit 81. The display unit 88 may display various data and information related to the execution of the application.

ストレージ89は、各種データ、情報を蓄積し、保持する。ストレージ89は、HDD、SSD、SDカード、USBメモリ、等でよい。ストレージ89は、端末80の内部に設けられてもよい。ストレージ89は、端末80から取り外し可能に設けられてもよい。ストレージ89は、無人航空機100から取得された撮像画像や付加情報を保持してよい。付加情報は、メモリ87に保持されてよい。 The storage 89 stores and holds various data and information. The storage 89 may be an HDD, SSD, SD card, USB memory, or the like. The storage 89 may be provided inside the terminal 80. The storage 89 may be provided so as to be removable from the terminal 80. The storage 89 may hold the captured image and additional information acquired from the unmanned aerial vehicle 100. The additional information may be stored in the memory 87.

なお、送信機50(図2B参照)は、端末80と同様の構成部を有するので、詳細な説明については省略する。送信機50は、制御部、操作部、通信部、メモリ、等を有する。操作部は、例えば、無人航空機100の飛行の制御を指示するためのコントロールスティック(制御棒)を含んでよい。送信機50は、表示部を有し、各種情報を表示してもよい。送信機50は、端末80が有する機能の少なくとも一部を有してもよい。この場合、端末80が省略されてもよい。 Since the transmitter 50 (see FIG. 2B) has the same components as the terminal 80, detailed description thereof will be omitted. The transmitter 50 has a control unit, an operation unit, a communication unit, a memory, and the like. The operation unit may include, for example, a control stick (control rod) for instructing the control of the flight of the unmanned aerial vehicle 100. The transmitter 50 may have a display unit and display various types of information. The transmitter 50 may have at least a part of the functions of the terminal 80. In this case, the terminal 80 may be omitted.

次に、無人航空機100の飛行制御の指示に関する機能について説明する。 Next, the function related to the instruction of the flight control of the unmanned aerial vehicle 100 will be described.

端末80の端末制御部81は、無人航空機100の飛行制御の指示に関する処理を行う。無人航空機100の撮像部220又は撮像部230は、例えば地面方向(重力方向)に沿う方向を、撮像(空撮)する。無人航空機100のUAV制御部110は、通信インタフェース150を介して、撮像部220又は撮像部230で撮像された撮像画像の画像データを端末80に送信する。なお、撮像部220,230は、画角が固定された単焦点レンズ(単眼レンズ)を有してもよいし、ズームレンズを有してもよい。 The terminal control unit 81 of the terminal 80 performs processing related to the flight control instruction of the unmanned aerial vehicle 100. The image pickup unit 220 or the image pickup section 230 of the unmanned aerial vehicle 100 takes an image (aerial image) of, for example, a direction along the ground direction (gravity direction). The UAV control unit 110 of the unmanned aerial vehicle 100 transmits the image data of the captured image captured by the imaging unit 220 or the imaging unit 230 to the terminal 80 via the communication interface 150. The imaging units 220 and 230 may have a monofocal lens (monocular lens) having a fixed angle of view, or may have a zoom lens.

端末80の端末制御部81は、通信部85を介して無人航空機100から撮像画像を取得し、メモリ87に記憶させる。端末制御部81は、操作部83(例えばタッチパネルTP)を介して、無人航空機100により撮像される撮像画像の撮像範囲CR(CR1,CR2,…)を変更するための変更操作の情報を取得する。変更操作は、撮像範囲CRのサイズを変更するためのピンチイン操作及びピンチアウト操作、撮像範囲CRを回転させるためのツイスト操作、撮像範囲CRを移動させるためのフリック操作、等を含んでよい。端末制御部81は、変更操作に基づいて、無人航空機100の飛行の制御を指示する。端末制御部81は、撮像範囲CRを変更する場合、無人航空機100に対し、例えば後述する第1動作例〜第5動作例で示すように、各種の移動制御の指示を行ってよい。 The terminal control unit 81 of the terminal 80 acquires a captured image from the unmanned aerial vehicle 100 via the communication unit 85 and stores it in the memory 87. The terminal control unit 81 acquires information on a change operation for changing the imaging range CR (CR1, CR2, ...) Of the captured image captured by the unmanned aerial vehicle 100 via the operation unit 83 (for example, the touch panel TP). .. The changing operation may include a pinch-in operation and a pinch-out operation for changing the size of the imaging range CR, a twisting operation for rotating the imaging range CR, a flick operation for moving the imaging range CR, and the like. The terminal control unit 81 instructs the control of the flight of the unmanned aerial vehicle 100 based on the change operation. When changing the imaging range CR, the terminal control unit 81 may give various movement control instructions to the unmanned aerial vehicle 100, for example, as shown in the first operation example to the fifth operation example described later.

(第1の動作例)
図6は、端末80のタッチパネルTPに対するピンチイン操作によって、撮像範囲CRのサイズを拡大させる動作例(第1動作例)を示す図である。第1動作例では、端末制御部81は、ピンチイン操作に応じて、無人航空機100を上昇させる。
(First operation example)
FIG. 6 is a diagram showing an operation example (first operation example) of increasing the size of the imaging range CR by a pinch-in operation on the touch panel TP of the terminal 80. In the first operation example, the terminal control unit 81 raises the unmanned aerial vehicle 100 in response to the pinch-in operation.

ピンチイン操作では、例えば、端末制御部81は、タッチパネルTPにおける2つの位置に対する入力の情報を2つの時点で取得し、入力された2つの位置の間の距離を2つの時点でそれぞれ算出する。2つの時点のうち後の時点の距離が前の時点の距離より短い場合、端末制御部81は、ピンチイン操作を検出する。 In the pinch-in operation, for example, the terminal control unit 81 acquires input information for two positions on the touch panel TP at two time points, and calculates the distance between the two input positions at each of the two time points. When the distance of the later time point of the two time points is shorter than the distance of the previous time point, the terminal control unit 81 detects the pinch-in operation.

ユーザは、タッチパネルTPに対し、2本の指(例えば親指fg1と人差し指fg2)をタッチした状態で狭めるピンチイン操作を行う。端末制御部81は、タッチパネルTPを介してピンチイン操作及びその操作量を検出する。端末制御部81は、ピンチイン操作を検出すると、その操作量に対応する上昇距離を算出する。上昇距離は、無人航空機100の飛行高度を高くして上昇するための無人航空機100の移動距離でよい。例えば、操作量が大きい程、上昇距離が長く、操作量が小さい程、上昇距離が短くてよい。 The user performs a pinch-in operation of narrowing the touch panel TP while touching two fingers (for example, thumb fg1 and index finger fg2). The terminal control unit 81 detects the pinch-in operation and the operation amount thereof via the touch panel TP. When the terminal control unit 81 detects a pinch-in operation, the terminal control unit 81 calculates an ascending distance corresponding to the operation amount. The ascending distance may be the moving distance of the unmanned aerial vehicle 100 for increasing the flight altitude of the unmanned aerial vehicle 100 and ascending. For example, the larger the amount of operation, the longer the climbing distance, and the smaller the amount of operation, the shorter the climbing distance.

端末制御部81は、無人航空機100に対し、通信部85を介して、算出した上昇距離分の上昇を指示するための指示情報を送信する。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信する。UAV制御部110は、受信した指示情報に従って、回転翼機構210を駆動し、ピンチインの操作量に応じた上昇距離分、無人航空機100を上昇させる。 The terminal control unit 81 transmits instruction information for instructing the unmanned aerial vehicle 100 to climb by the calculated climb distance via the communication unit 85. The UAV control unit 110 of the unmanned aerial vehicle 100 receives this instruction information via the communication interface 150. The UAV control unit 110 drives the rotary wing mechanism 210 according to the received instruction information, and raises the unmanned aerial vehicle 100 by an ascending distance according to the amount of pinch-in operation.

図6では、無人航空機100の撮像部220は、飛行しながら地面方向を撮像しており、つまり重力方向に沿って撮像している。撮像範囲CR1には、道路R1が森M1に囲まれており、道路R1に人物H1が位置している。ピンチイン操作によって、無人航空機100の撮像部220によって撮像される撮像範囲は、無人航空機100の上昇によって拡大し、撮像範囲CR2となる。この結果、タッチパネルTPに表示された人物H1及び道路R1が、ピンチイン操作後においてピンチイン操作前よりも小さくなっている。 In FIG. 6, the imaging unit 220 of the unmanned aerial vehicle 100 images the ground direction while flying, that is, images along the gravity direction. In the imaging range CR1, the road R1 is surrounded by the forest M1, and the person H1 is located on the road R1. By the pinch-in operation, the imaging range imaged by the imaging unit 220 of the unmanned aerial vehicle 100 is expanded by the ascent of the unmanned aerial vehicle 100 to become the imaging range CR2. As a result, the person H1 and the road R1 displayed on the touch panel TP are smaller after the pinch-in operation than before the pinch-in operation.

このように、端末制御部81は、撮像範囲CRのサイズを変更するためのピンチイン操作の情報を取得してよい。端末制御部81は、ピンチイン操作に基づいて、水平方向と垂直な方向(高度方向)への無人航空機100の移動(上昇)を指示してよい。 In this way, the terminal control unit 81 may acquire information on the pinch-in operation for changing the size of the imaging range CR. The terminal control unit 81 may instruct the movement (climbing) of the unmanned aerial vehicle 100 in the direction perpendicular to the horizontal direction (altitude direction) based on the pinch-in operation.

端末80は、例えばズームレンズを有していない場合や、ズームレンズでは被写体の拡大又は縮小が不足する場合、撮像範囲CRを変更するためにデジタルズーム機能を使用することがある。デジタルズーム機能を用いると、撮像範囲CRを拡大できる一方、画質が劣化し得る。これに対し、端末80は、撮像範囲のサイズを変更するために無人航空機100を上昇させるので、無人航空機100により撮像される撮像画像の画質の劣化を抑制できる、また、ユーザは、タッチパネルTPを介して変更操作を行うことで、より直感的に撮像範囲CRを変更できる。 The terminal 80 may use the digital zoom function to change the imaging range CR, for example, when it does not have a zoom lens or when the zoom lens is insufficient to enlarge or reduce the subject. When the digital zoom function is used, the imaging range CR can be expanded, but the image quality can be deteriorated. On the other hand, since the terminal 80 raises the unmanned aerial vehicle 100 in order to change the size of the imaging range, deterioration of the image quality of the captured image captured by the unmanned aerial vehicle 100 can be suppressed, and the user can use the touch panel TP. The imaging range CR can be changed more intuitively by performing the change operation via the device.

(第2の動作例)
図7は、端末80のタッチパネルTPに対するピンチアウト操作によって、撮像範囲CRのサイズを縮小させる動作例(第2動作例)を示す図である。第2動作例では、端末制御部81は、ピンチアウト操作に応じて、無人航空機100を下降させる。
(Second operation example)
FIG. 7 is a diagram showing an operation example (second operation example) of reducing the size of the imaging range CR by a pinch-out operation on the touch panel TP of the terminal 80. In the second operation example, the terminal control unit 81 lowers the unmanned aerial vehicle 100 in response to the pinch-out operation.

ピンチアウト操作では、例えば、端末制御部81は、タッチパネルTPにおける2つの位置に対する入力の情報を2つの時点で取得し、入力された2つの位置の間の距離を2つの時点でそれぞれ算出する。2つの時点のうち後の時点の距離が前の時点の距離より長い場合、端末制御部81は、ピンチアウト操作を検出する。 In the pinch-out operation, for example, the terminal control unit 81 acquires input information for two positions on the touch panel TP at two time points, and calculates the distance between the two input positions at each of the two time points. When the distance of the later time point of the two time points is longer than the distance of the previous time point, the terminal control unit 81 detects the pinch-out operation.

ユーザは、タッチパネルTPに対し、2本の指(例えば親指fg1と人差し指fg2)をタッチした状態で拡げるピンチアウト操作を行う。端末制御部81は、タッチパネルTPを介してピンチアウト操作及びその操作量を検出する。端末制御部81は、ピンチアウト操作を検出すると、その操作量に対応する下降距離を算出する。下降距離は、無人航空機100の飛行高度を低くして下降するための無人航空機100の移動距離でよい。例えば、操作量が大きい程、下降距離が長く、操作量が小さい程、下降距離が短くてよい。 The user performs a pinch-out operation of touching the touch panel TP with two fingers (for example, thumb fg1 and index finger fg2) to expand the touch panel TP. The terminal control unit 81 detects the pinch-out operation and the operation amount thereof via the touch panel TP. When the terminal control unit 81 detects the pinch-out operation, the terminal control unit 81 calculates the descending distance corresponding to the operation amount. The descent distance may be the moving distance of the unmanned aerial vehicle 100 for lowering the flight altitude of the unmanned aerial vehicle 100 and descending. For example, the larger the operation amount, the longer the descent distance, and the smaller the operation amount, the shorter the descent distance.

端末制御部81は、無人航空機100に対し、通信部85を介して、算出した下降距離分の下降を指示するための指示情報を送信する。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信する。UAV制御部110は、受信した指示情報に従って、回転翼機構210を駆動し、ピンチアウトの操作量に応じた下降距離分、無人航空機100を下降させる。 The terminal control unit 81 transmits instruction information for instructing the unmanned aerial vehicle 100 to descend by the calculated descent distance via the communication unit 85. The UAV control unit 110 of the unmanned aerial vehicle 100 receives this instruction information via the communication interface 150. The UAV control unit 110 drives the rotary wing mechanism 210 according to the received instruction information, and lowers the unmanned aerial vehicle 100 by a descent distance according to the amount of pinch-out operation.

図7では、無人航空機100の撮像部220は、飛行しながら地面方向を撮像している。撮像範囲CR3には、道路R1が森M1に囲まれており、道路R1に人物H1が位置している。ピンチアウト操作によって、無人航空機100の撮像部220によって撮像される撮像範囲は、無人航空機100の下降によって縮小し、撮像範囲CR4となる。この結果、タッチパネルTPに表示された人物H1及び道路R1が、ピンチアウト操作後においてピンチアウト操作前よりも大きくなっている。 In FIG. 7, the imaging unit 220 of the unmanned aerial vehicle 100 images the ground direction while flying. In the imaging range CR3, the road R1 is surrounded by the forest M1, and the person H1 is located on the road R1. By the pinch-out operation, the imaging range imaged by the imaging unit 220 of the unmanned aerial vehicle 100 is reduced by the descent of the unmanned aerial vehicle 100 to become the imaging range CR4. As a result, the person H1 and the road R1 displayed on the touch panel TP are larger after the pinch-out operation than before the pinch-out operation.

このように、端末制御部81は、撮像範囲CRのサイズを変更するためのピンチアウト操作の情報を取得してよい。端末制御部81は、ピンチアウト操作に基づいて、水平方向と垂直な方向(高度方向)への無人航空機100の移動(下降)を指示してよい。 In this way, the terminal control unit 81 may acquire information on the pinch-out operation for changing the size of the imaging range CR. The terminal control unit 81 may instruct the movement (descending) of the unmanned aerial vehicle 100 in the direction perpendicular to the horizontal direction (altitude direction) based on the pinch-out operation.

端末80は、例えばズームレンズを有していない場合や、ズームレンズでは被写体の拡大又は縮小が不足する場合、撮像範囲CRを変更するためにデジタルズーム機能を使用することがある。デジタルズーム機能を用いると、撮像範囲CRを拡大できる一方、画質が劣化し得る。これに対し、端末80は、撮像範囲のサイズを変更するために無人航空機100を下降させるので、無人航空機100により撮像される撮像画像の画質の劣化を抑制できる、また、ユーザは、タッチパネルTPを介して変更操作を行うことで、より直感的に撮像範囲CRを変更できる。 The terminal 80 may use the digital zoom function to change the imaging range CR, for example, when it does not have a zoom lens or when the zoom lens is insufficient to enlarge or reduce the subject. When the digital zoom function is used, the imaging range CR can be expanded, but the image quality can be deteriorated. On the other hand, since the terminal 80 lowers the unmanned aerial vehicle 100 in order to change the size of the imaging range, deterioration of the image quality of the captured image captured by the unmanned aerial vehicle 100 can be suppressed, and the user can use the touch panel TP. The imaging range CR can be changed more intuitively by performing the change operation via the device.

第1動作例及び第2動作例では、ユーザがピンチイン操作又はピンチアウト操作を行う際、端末制御部81は、操作部83を介して、指移動の操作及びその操作量(操作範囲)の他、指移動の速度を検出してもよい。端末制御部81は、指移動の速度を検出した場合、その指移動の速度に対応する速度で、無人航空機100を上昇又は下降させるよう、速度を指示情報に含めて無人航空機100へ送信してよい。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信してよい。UAV制御部110は、指示情報に従って、指移動の速度に対応する速度で、無人航空機100を上昇又は下降させてよい。 In the first operation example and the second operation example, when the user performs a pinch-in operation or a pinch-out operation, the terminal control unit 81 performs a finger movement operation and its operation amount (operation range) via the operation unit 83. , The speed of finger movement may be detected. When the terminal control unit 81 detects the speed of finger movement, the terminal control unit 81 includes the speed in the instruction information and transmits the speed to the unmanned aerial vehicle 100 so as to raise or lower the unmanned aerial vehicle 100 at a speed corresponding to the speed of the finger movement. Good. The UAV control unit 110 of the unmanned aerial vehicle 100 may receive this instruction information via the communication interface 150. The UAV control unit 110 may raise or lower the unmanned aerial vehicle 100 at a speed corresponding to the speed of finger movement according to the instruction information.

これにより、端末80は、ユーザ操作に応じて、撮像範囲CRのサイズを変化させるスピードを任意に変更できる。なお、端末制御部81は、指移動の速度が高速である程、無人航空機100の上昇又は下降の速度を高速にし、指移動の速度が低速である程、無人航空機100の上昇又は下降の速度を低速にしてよい。 As a result, the terminal 80 can arbitrarily change the speed at which the size of the imaging range CR is changed according to the user operation. The terminal control unit 81 increases the ascending or descending speed of the unmanned aerial vehicle 100 as the finger movement speed increases, and the ascending or descending speed of the unmanned aerial vehicle 100 as the finger movement speed decreases. May be slowed down.

(第3動作例)
図8は、タッチパネルTPに対するツイスト操作によって、撮像範囲CRを回転させる動作例(第3動作例)を示す図である。第3動作例では、端末制御部81は、無人航空機100を、その無人航空機100が所在する位置において、水平方向に回転させる。この場合、無人航空機100が移動せずに無人航空機100の向きを変更してよい。
(Third operation example)
FIG. 8 is a diagram showing an operation example (third operation example) of rotating the imaging range CR by a twist operation on the touch panel TP. In the third operation example, the terminal control unit 81 rotates the unmanned aerial vehicle 100 in the horizontal direction at the position where the unmanned aerial vehicle 100 is located. In this case, the direction of the unmanned aerial vehicle 100 may be changed without the unmanned aerial vehicle 100 moving.

ツイスト操作では、例えば、端末制御部81は、タッチパネルTPにおける2つの位置に対する入力の情報を2つの時点で取得し、入力された2つの位置を結ぶ線を上記の2つの時点で取得(例えば算出)する。端末制御部81は、2つの時点で取得された2つの線が成す角度(回転角度)を算出し、算出した角度が閾値th1以上である場合、ツイスト操作を検出してよい。 In the twist operation, for example, the terminal control unit 81 acquires input information for two positions on the touch panel TP at two time points, and acquires a line connecting the two input positions at the above two time points (for example, calculation). ). The terminal control unit 81 calculates the angle (rotation angle) formed by the two lines acquired at the two time points, and may detect the twist operation when the calculated angle is the threshold value th1 or more.

ユーザは、タッチパネルTPに対し、2本の指(例えば親指fg1と人差し指fg2)をタッチした状態で捻るツイスト操作を行う。端末制御部81は、タッチパネルTPを介して、ツイスト操作及びその操作量を検出する。端末制御部81は、ツイスト操作を検出すると、その操作量に応じた回転角度を算出する。回転角度は、回転前後で無人航空機100が回転する角度、つまり無人航空機100の向きが水平方向において変化する角度を示す。例えば、操作量が大きい程、回転角度が大きく、操作量が小さい程、上昇距離が小さくよい。 The user performs a twist operation on the touch panel TP while touching two fingers (for example, thumb fg1 and index finger fg2). The terminal control unit 81 detects the twist operation and the operation amount thereof via the touch panel TP. When the terminal control unit 81 detects the twist operation, the terminal control unit 81 calculates the rotation angle according to the operation amount. The rotation angle indicates the angle at which the unmanned aerial vehicle 100 rotates before and after rotation, that is, the angle at which the direction of the unmanned aerial vehicle 100 changes in the horizontal direction. For example, the larger the amount of operation, the larger the rotation angle, and the smaller the amount of operation, the smaller the climbing distance.

端末制御部81は、無人航空機100に対し、通信部85を介して、算出した回転角度分の回転を指示するための指示情報を送信する。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信する。UAV制御部110は、受信した指示情報に従って、回転翼機構210を駆動し、無人航空機100が回転角度分、回転するよう指示する。 The terminal control unit 81 transmits instruction information for instructing the unmanned aerial vehicle 100 to rotate by the calculated rotation angle via the communication unit 85. The UAV control unit 110 of the unmanned aerial vehicle 100 receives this instruction information via the communication interface 150. The UAV control unit 110 drives the rotary wing mechanism 210 according to the received instruction information, and instructs the unmanned aerial vehicle 100 to rotate by the rotation angle.

図8では、無人航空機100の撮像部220は、飛行しながら地面方向を撮像している。撮像範囲CR5には、道路R1が森M1に囲まれており、道路R1に人物H1が位置している。ツイスト操作によって、無人航空機100の撮像部220によって撮像される撮像範囲は、無人航空機100の回転によって回転し、撮像範囲CR6となる。この結果、タッチパネルTPに表示された人物H1及び道路R1が、ピンチアウト操作後においてピンチアウト操作前から回転角度θ1分、回転している。 In FIG. 8, the imaging unit 220 of the unmanned aerial vehicle 100 images the ground direction while flying. In the imaging range CR5, the road R1 is surrounded by the forest M1, and the person H1 is located on the road R1. By the twist operation, the imaging range imaged by the imaging unit 220 of the unmanned aerial vehicle 100 is rotated by the rotation of the unmanned aerial vehicle 100, and becomes the imaging range CR6. As a result, the person H1 and the road R1 displayed on the touch panel TP are rotating after the pinch-out operation by a rotation angle θ1 minutes from before the pinch-out operation.

回転角度θ1は、例えば、操作前(回転前)のタッチパネルTPに対する親指fg1の接点と人差し指fg2の接点を結ぶ直線と、操作後のタッチパネルTPに対する親指fg1の接点と人差し指fg2の接点を結ぶ直線と、が成す角度でよい。回転角度θ1は、上記2つの直線がなす角度に、所定の演算(例えば所定の係数を乗算)を行った値であってもよい。 The rotation angle θ1 is, for example, a straight line connecting the contact point of the thumb fg1 and the contact point of the index finger fg2 with respect to the touch panel TP before the operation (before rotation) and a straight line connecting the contact point of the thumb fg1 and the contact point of the index finger fg2 with respect to the touch panel TP after the operation. The angle formed by, may be used. The rotation angle θ1 may be a value obtained by performing a predetermined operation (for example, multiplying by a predetermined coefficient) on the angle formed by the above two straight lines.

また、ユーザがツイスト操作を行う際、端末制御部81は、操作部83を介して、指移動の操作及びその操作量の他、指移動の速度を検出してもよい。端末制御部81は、指移動の速度を検出した場合、その指移動の速度に基づいて、無人航空機100の回転速度を決定し、回転速度を含む指示情報を無人航空機100へ送信してよい。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信してよい。UAV制御部110は、指示情報に従って、決定された無人航空機100の回転速度で、無人航空機100を回転させてよい。これにより、端末80は、ユーザ操作に応じて、撮像範囲CRを回転させるスピードを任意に変更できる。 Further, when the user performs a twist operation, the terminal control unit 81 may detect the finger movement operation and the operation amount thereof, as well as the finger movement speed, via the operation unit 83. When the terminal control unit 81 detects the speed of finger movement, the terminal control unit 81 may determine the rotation speed of the unmanned aerial vehicle 100 based on the speed of finger movement, and transmit instruction information including the rotation speed to the unmanned aerial vehicle 100. The UAV control unit 110 of the unmanned aerial vehicle 100 may receive this instruction information via the communication interface 150. The UAV control unit 110 may rotate the unmanned aerial vehicle 100 at the determined rotation speed of the unmanned aerial vehicle 100 according to the instruction information. As a result, the terminal 80 can arbitrarily change the speed at which the imaging range CR is rotated according to the user operation.

このように、端末80の端末制御部81は、撮像範囲CRを回転して変更するためのツイスト操作(変更操作の一例)の情報を取得し、ツイスト操作に基づいて、無人航空機100を回転させるよう飛行の制御を指示してよい。 In this way, the terminal control unit 81 of the terminal 80 acquires information on the twist operation (an example of the change operation) for rotating and changing the imaging range CR, and rotates the unmanned aerial vehicle 100 based on the twist operation. You may instruct the control of the flight.

これにより、端末80は、ピンチイン操作又はピンチアウト操作に限らず、タッチパネルTP等への様々の操作方法による操作(例えばツイスト操作)に応じて、無人航空機100が様々な飛行方法により飛行(例えば回転)できる。また、端末80は、ユーザ操作に応じて撮像範囲CRを回転できるので、ユーザ所望に直感的に撮像範囲CRを回転できる。 As a result, the terminal 80 is not limited to the pinch-in operation or the pinch-out operation, and the unmanned aerial vehicle 100 flies (for example, rotates) by various flight methods in response to operations (for example, twist operation) on the touch panel TP or the like by various operation methods. )it can. Further, since the terminal 80 can rotate the imaging range CR according to the user's operation, the imaging range CR can be intuitively rotated as desired by the user.

また、端末制御部81は、ツイスト操作の操作量に基づいて、無人航空機100を回転させる回転角度θを1決定してよい。これにより、端末80は、ユーザが意図したツイスト操作の操作量の分だけ無人航空機100の回転を指示するので、ユーザが意図した回転量で回転した撮像範囲CRに変更でき、更に直感的に無人航空機100を回転させることができる。 Further, the terminal control unit 81 may determine the rotation angle θ for rotating the unmanned aerial vehicle 100 based on the operation amount of the twist operation. As a result, the terminal 80 instructs the rotation of the unmanned aerial vehicle 100 by the amount of the twist operation intended by the user, so that the imaging range CR rotated by the amount of rotation intended by the user can be changed, and more intuitively unmanned. The aircraft 100 can be rotated.

(第4動作例)
図9は、タッチパネルTPに対するフリック操作によって、撮像範囲CRを移動させる動作例(第4動作例)を示す図である。第4動作例では、端末制御部81は、無人航空機100を所望の方向に所定距離だけ移動させる。
(Fourth operation example)
FIG. 9 is a diagram showing an operation example (fourth operation example) of moving the imaging range CR by flicking the touch panel TP. In the fourth operation example, the terminal control unit 81 moves the unmanned aerial vehicle 100 in a desired direction by a predetermined distance.

フリック操作では、例えば、端末制御部81は、タッチパネルTPにおける1つの位置に対する入力を2つの時点で取得する。端末制御部81は、例えば、この2つの時点の間において入力位置が連続的に変化していることを検出すると、フリック操作を検出する。 In the flick operation, for example, the terminal control unit 81 acquires the input for one position on the touch panel TP at two time points. When the terminal control unit 81 detects, for example, that the input position is continuously changing between these two time points, the terminal control unit 81 detects a flick operation.

ユーザは、タッチパネルTPに対し、1本の指(例えば人差し指fg2)をタッチして弾くフリック操作を行う。端末制御部81は、タッチパネルTPを介して、人差し指fg2の接触開始点tiと接触終了点toを基に、フリック操作及びその操作量を検出する。端末制御部81は、フリック操作を検出すると、その操作量に応じた無人航空機100の移動距離を算出する。この移動距離は、無人航空機100の水平方向への移動距離でよい。例えば、操作量が大きい程、移動距離が長く、操作量が小さい程、移動距離が短くてよい。 The user performs a flick operation of touching and flipping one finger (for example, the index finger fg2) on the touch panel TP. The terminal control unit 81 detects the flick operation and the operation amount thereof based on the contact start point ti and the contact end point to of the index finger fg2 via the touch panel TP. When the terminal control unit 81 detects a flick operation, the terminal control unit 81 calculates the moving distance of the unmanned aerial vehicle 100 according to the operation amount. This travel distance may be the horizontal travel distance of the unmanned aerial vehicle 100. For example, the larger the amount of operation, the longer the moving distance, and the smaller the amount of operation, the shorter the moving distance.

また、端末制御部81は、フリック操作に応じた無人航空機100の移動方向αを決定してよい。端末制御部81は、タッチパネルTPにおける接触開始点tiの位置及び接触終了点toの位置に基づいて、無人航空機100の移動方向を決定してよい。例えば、端末制御部81は、タッチパネルTPに表示された接触開始点tiに対応する実空間の位置から接触終了点toに対応する実空間の位置に向かう方向を、無人航空機100の移動方向αとしてよい。この結果、タッチパネルTiに表示される被写体の位置は、無人航空機100の移動方向αと逆方向に移動してよい。 Further, the terminal control unit 81 may determine the moving direction α of the unmanned aerial vehicle 100 according to the flick operation. The terminal control unit 81 may determine the moving direction of the unmanned aerial vehicle 100 based on the position of the contact start point ti and the position of the contact end point to on the touch panel TP. For example, the terminal control unit 81 sets the direction from the position in the real space corresponding to the contact start point ti displayed on the touch panel TP to the position in the real space corresponding to the contact end point to as the moving direction α of the unmanned aerial vehicle 100. Good. As a result, the position of the subject displayed on the touch panel Ti may move in the direction opposite to the moving direction α of the unmanned aerial vehicle 100.

端末制御部81は、無人航空機100に対し、通信部85を介して、移動方向αへの算出した移動距離の移動を指示するための指示情報を送信する。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信する。UAV制御部110は、受信した指示情報に従って、回転翼機構210を駆動し、フリック操作に応じた移動方向αへ移動距離分、無人航空機100を移動させる。 The terminal control unit 81 transmits instruction information for instructing the unmanned aerial vehicle 100 to move the calculated movement distance in the movement direction α via the communication unit 85. The UAV control unit 110 of the unmanned aerial vehicle 100 receives this instruction information via the communication interface 150. The UAV control unit 110 drives the rotary wing mechanism 210 according to the received instruction information, and moves the unmanned aerial vehicle 100 by the movement distance in the movement direction α according to the flick operation.

図9では、無人航空機100の撮像部220は、飛行しながら地面方向を撮像している。撮像範囲CR7には、道路R1が森M1に囲まれており、道路R1に人物H1が位置している。無人航空機100の撮像部220によって撮像される撮像範囲は、フリック操作によって移動し、撮像範囲CR8となる。この結果、タッチパネルTPに表示された道路R1上の人物H1が、フリック操作前とフリック操作後とを比較すると、無人航空機100の移動方向α(図9では右上方向)とは逆方向(図9では左下方向)に移動している。 In FIG. 9, the imaging unit 220 of the unmanned aerial vehicle 100 images the ground direction while flying. In the imaging range CR7, the road R1 is surrounded by the forest M1, and the person H1 is located on the road R1. The imaging range imaged by the imaging unit 220 of the unmanned aerial vehicle 100 is moved by a flick operation to become the imaging range CR8. As a result, when the person H1 on the road R1 displayed on the touch panel TP is compared between before the flick operation and after the flick operation, the direction is opposite to the moving direction α (upper right direction in FIG. 9) of the unmanned aerial vehicle 100 (FIG. 9). Then it is moving in the lower left direction).

また、ユーザがフリック操作を行う際、端末制御部81は、操作部83を介して、指移動の操作及びその操作量の他、指移動の速度を検出してもよい。端末制御部81は、指移動の速度を検出した場合、その指移動の速度に対応する移動初速度で、無人航空機100が移動するよう、移動速度を指示情報に含めて無人航空機100へ送信してよい。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信してよい。UAV制御部110は、指示情報に従って、指移動の速度に対応する移動初速度で、無人航空機100を移動させてよい。これにより、端末80は、ユーザ操作に応じて、撮像範囲CRを移動させるスピードを任意に変更できる。なお、無人航空機100は、フリック操作に基づいて、最初は移動初速度で移動し、移動方向と逆方向の加速度を受けて移動速度を小さくしながら移動してよい。したがって、移動距離は、タッチパネルTPに表示された接触開始点tiに対応する実空間の位置と接触終了点toに対応する実空間の位置との距離よりも長くてもよい。 Further, when the user performs a flick operation, the terminal control unit 81 may detect the finger movement operation and the operation amount thereof, as well as the finger movement speed, via the operation unit 83. When the terminal control unit 81 detects the speed of finger movement, the terminal control unit 81 includes the movement speed in the instruction information and transmits the movement speed to the unmanned aerial vehicle 100 so that the unmanned aerial vehicle 100 moves at the initial movement speed corresponding to the speed of the finger movement. You can. The UAV control unit 110 of the unmanned aerial vehicle 100 may receive this instruction information via the communication interface 150. The UAV control unit 110 may move the unmanned aerial vehicle 100 at the initial movement speed corresponding to the speed of finger movement according to the instruction information. As a result, the terminal 80 can arbitrarily change the speed at which the imaging range CR is moved according to the user operation. The unmanned aerial vehicle 100 may initially move at the initial moving speed based on the flick operation, and may move while reducing the moving speed by receiving acceleration in the direction opposite to the moving direction. Therefore, the moving distance may be longer than the distance between the position in the real space corresponding to the contact start point ti displayed on the touch panel TP and the position in the real space corresponding to the contact end point to.

このように、端末80の端末制御部81は、撮像範囲CRを他の地理的範囲に移動して変更するためのフリック操作の情報を取得し、フリック操作に基づいて、無人航空機100を移動させるよう飛行の制御を指示してよい。 In this way, the terminal control unit 81 of the terminal 80 acquires the information of the flick operation for moving and changing the imaging range CR to another geographical range, and moves the unmanned aerial vehicle 100 based on the flick operation. You may instruct the control of the flight.

これにより、端末80は、ピンチイン操作又はピンチアウト操作に限らず、タッチパネルTP等への様々の操作方法による操作(例えばフリック操作)に応じて、無人航空機100が様々な飛行方法により飛行(例えば移動)できる。また、端末80は、ユーザ操作に応じて撮像範囲CRの地理的範囲を変更できるので、ユーザ所望に直感的に撮像範囲CRを移動できる。 As a result, the terminal 80 is not limited to the pinch-in operation or the pinch-out operation, and the unmanned aerial vehicle 100 flies (for example, moves) by various flight methods in response to operations (for example, flick operation) on the touch panel TP or the like by various operation methods. )it can. Further, since the terminal 80 can change the geographical range of the imaging range CR according to the user operation, the imaging range CR can be intuitively moved as desired by the user.

また、フリック操作の情報は、フリック操作の操作量及び操作方向の情報を含んでよい。端末制御部81は、フリック操作の操作量に基づいて、無人航空機100の移動量(移動距離)及び移動方向を決定してよい。これにより、端末80は、ユーザが意図したフリック操作の操作量の分だけ無人航空機100の移動を指示するので、ユーザが意図した移動量で移動した撮像範囲CRに変更でき、更に直感的に無人航空機100を回転させることができる。 Further, the flick operation information may include information on the operation amount and operation direction of the flick operation. The terminal control unit 81 may determine the movement amount (movement distance) and the movement direction of the unmanned aerial vehicle 100 based on the operation amount of the flick operation. As a result, since the terminal 80 instructs the movement of the unmanned aerial vehicle 100 by the amount of the flick operation intended by the user, it is possible to change to the imaging range CR moved by the amount of movement intended by the user, and it is more intuitively unmanned. The aircraft 100 can be rotated.

(第5動作例)
図10は、端末80のタッチパネルTPに対するタッチ位置及び変更操作を加味して、撮像範囲CRを変更する動作例(第5動作例)を示す図である。第5動作例では、端末制御部81は、タッチパネルTPに対するタッチ位置及び変更操作に応じて、無人航空機100を飛行(例えば移動)させる。ここでは、変更操作の一例としてピンチアウト操作について主に説明するが、他の変更操作に適用されてもよい。
(Fifth operation example)
FIG. 10 is a diagram showing an operation example (fifth operation example) of changing the imaging range CR in consideration of the touch position and the change operation with respect to the touch panel TP of the terminal 80. In the fifth operation example, the terminal control unit 81 flies (for example, moves) the unmanned aerial vehicle 100 according to the touch position and the change operation with respect to the touch panel TP. Here, the pinch-out operation will be mainly described as an example of the change operation, but it may be applied to other change operations.

端末80の端末制御部81は、タッチパネルTPに、撮像画像を表示させる。ユーザは、タッチパネルTPにおける任意の位置(タッチ位置tp)を操作(例えば接触、押下、近接)し、ピンチアウト操作を行う。端末制御部81は、タッチパネルTPを介して、タッチ位置、ピンチアウト操作及びその操作量を検出する。端末制御部81は、タッチ位置tpに基づいて、タッチ位置tpがタッチパネルTPの中心位置cpに移動させるための移動情報を生成する。 The terminal control unit 81 of the terminal 80 causes the touch panel TP to display the captured image. The user operates (for example, touch, press, proximity) an arbitrary position (touch position tp) on the touch panel TP to perform a pinch-out operation. The terminal control unit 81 detects the touch position, the pinch-out operation, and the operation amount thereof via the touch panel TP. The terminal control unit 81 generates movement information for the touch position tp to move to the center position cp of the touch panel TP based on the touch position tp.

この移動情報は、移動距離や移動方向の情報を含んでよい。例えば、端末制御部81は、タッチパネルTPに対するタッチ位置tpとタッチパネルTPの中心位置cpとの距離と、タッチパネルの中心位置cpに対するタッチ位置tpの方向とに基づいて、移動情報を生成してよい。この場合、端末制御部81は、タッチパネルTPの中心位置cpに対応する実空間の位置から、タッチパネルTPに対するタッチ位置tpに相当する実空間の位置に向かう方向を、無人航空機100の移動方向としてよい。 This movement information may include information on the movement distance and the movement direction. For example, the terminal control unit 81 may generate movement information based on the distance between the touch position tp with respect to the touch panel TP and the center position cp of the touch panel TP, and the direction of the touch position tp with respect to the center position cp of the touch panel. In this case, the terminal control unit 81 may use the direction from the real space position corresponding to the center position cp of the touch panel TP toward the real space position corresponding to the touch position tp with respect to the touch panel TP as the moving direction of the unmanned aerial vehicle 100. ..

端末制御部81は、無人航空機100に対し、通信部85を介して、生成した移動情報とピンチアウト操作に基づく下降距離の情報とを含む指示情報を送信する。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信する。UAV制御部110は、受信した指示情報に含まれる移動情報及び下降距離に従って、無人航空機100の飛行の制御を指示する。この場合、UAV制御部110は、移動情報の移動方向に移動距離分、無人航空機100を水平方向に移動させ、ピンチアウトの操作量に応じた下降距離分、無人航空機100を下降させる。 The terminal control unit 81 transmits instruction information including the generated movement information and the descent distance information based on the pinch-out operation to the unmanned aerial vehicle 100 via the communication unit 85. The UAV control unit 110 of the unmanned aerial vehicle 100 receives this instruction information via the communication interface 150. The UAV control unit 110 instructs the control of the flight of the unmanned aerial vehicle 100 according to the movement information and the descent distance included in the received instruction information. In this case, the UAV control unit 110 moves the unmanned aerial vehicle 100 in the horizontal direction by the movement distance in the movement direction of the movement information, and lowers the unmanned aerial vehicle 100 by the descent distance according to the pinch-out operation amount.

図10では、無人航空機100の撮像部220は、飛行しながら地面方向を撮像している。撮像範囲CR9には、道路R1が森M1に囲まれており、道路R1に人物H1が位置している。タッチパネルTPのタッチ位置tpに対するピンチイン操作によって、無人航空機100が移動及び下降するので、無人航空機100の撮像部220によって撮像される撮像範囲は、移動して縮小し、撮像範囲CR10となる。この結果、タッチパネルTPに表示された人物H1及び道路R1は、タッチパネルTPの中心位置cpへ移動し、人物H1及び道路R1が、ピンチアウト操作後においてピンチアウト操作前よりも大きくなっている。 In FIG. 10, the imaging unit 220 of the unmanned aerial vehicle 100 images the ground direction while flying. In the imaging range CR9, the road R1 is surrounded by the forest M1, and the person H1 is located on the road R1. Since the unmanned aerial vehicle 100 moves and descends by the pinch-in operation with respect to the touch position tp of the touch panel TP, the imaging range imaged by the imaging unit 220 of the unmanned aerial vehicle 100 moves and is reduced to become the imaging range CR10. As a result, the person H1 and the road R1 displayed on the touch panel TP move to the center position cp of the touch panel TP, and the person H1 and the road R1 are larger after the pinch-out operation than before the pinch-out operation.

図11A及び図11Bは、タッチ位置tpに基づく無人航空機100の水平方向の移動を説明するための図である。 11A and 11B are diagrams for explaining the horizontal movement of the unmanned aerial vehicle 100 based on the touch position tp.

図11Aには、タッチパネルTPの中心位置cpよりも右側に、人物H1が表示されている。ユーザが人物H1に対してタッチすると、端末制御部81は、人物H1の位置をタッチ位置tpとして検出する。なお、図11において、タッチパネルTPの中心位置cpからタッチパネルTPの左右方向の端部までの距離を「A」とし、タッチパネルTPの中心位置cpからタッチ位置tp(人物H1の表示位置)までの距離を「B」とする。この場合、タッチパネルTPの左右方向の長さは2×Aとなる。 In FIG. 11A, the person H1 is displayed on the right side of the center position cp of the touch panel TP. When the user touches the person H1, the terminal control unit 81 detects the position of the person H1 as the touch position tp. In FIG. 11, the distance from the center position cp of the touch panel TP to the left-right end of the touch panel TP is defined as “A”, and the distance from the center position cp of the touch panel TP to the touch position tp (display position of the person H1). Let be "B". In this case, the length of the touch panel TP in the left-right direction is 2 × A.

図11Bには、実空間における無人航空機100と人物H1との位置関係が示されている。無人航空機100の飛行高度を「H」とする。無人航空機100が飛行する位置に対応する地上の位置と人物H1がいる地上の位置との距離を、「x」とする。無人航空機100の撮像部220又は撮像部230の画角が「2×θ2」であるとする。この場合、無人航空機100の撮像部220又は撮像部230が重力方向に沿って撮像している場合、つまり真下を撮像している場合、無人航空機100を通り重力方向に沿う線L1と、無人航空機100を通り撮像範囲CRの外縁(画角)を示す線L2と、の成す角度は、撮像部220又は撮像部230の画角の半分であり、「θ2」となる。 FIG. 11B shows the positional relationship between the unmanned aerial vehicle 100 and the person H1 in the real space. Let the flight altitude of the unmanned aerial vehicle 100 be "H". The distance between the position on the ground corresponding to the position where the unmanned aerial vehicle 100 flies and the position on the ground where the person H1 is located is defined as "x". It is assumed that the angle of view of the imaging unit 220 or the imaging unit 230 of the unmanned aerial vehicle 100 is “2 × θ2”. In this case, when the imaging unit 220 or the imaging unit 230 of the unmanned aerial vehicle 100 is imaging along the direction of gravity, that is, when the image is being imaged directly below, the line L1 passing through the unmanned aerial vehicle 100 and along the direction of gravity and the unmanned aerial vehicle The angle formed by the line L2 that passes through 100 and indicates the outer edge (angle of view) of the imaging range CR is half the angle of view of the imaging unit 220 or the imaging unit 230, and is “θ2”.

この場合、タッチパネルTPにおける距離A、距離B、実空間における距離x、飛行高度H、角度θ2の関係性は、以下の式により表されてよい。
B/A = x/(H×tanθ2)
したがって、端末制御部81は、距離xを、以下の式に従って算出してよい。
x = (B/A)×(H×tanθ2)
In this case, the relationship between the distance A and the distance B in the touch panel TP, the distance x in the real space, the flight altitude H, and the angle θ2 may be expressed by the following equation.
B / A = x / (H × tan θ2)
Therefore, the terminal control unit 81 may calculate the distance x according to the following equation.
x = (B / A) × (H × tan θ2)

無人航空機100は、無人航空機100の飛行位置に対応する地上の位置から、人物H1がいる地上の位置まで、水平方向に移動することで、人物H1が、撮像部220又は撮像部230により撮像される撮像範囲CRの中心位置に移動する。よって、タッチパネルTPに表示される撮像画像の中心位置cpに、人物H1が移動する。したがって、タッチパネルTPにおけるタッチ位置tpを中心位置cpとするための移動情報に含まれる移動距離は、距離xでよい。また、移動情報に含まれる移動方向は、無人航空機100の位置から、タッチ位置tpに対応する人物H1の位置に向かう方向でよい。 The unmanned aerial vehicle 100 moves horizontally from the position on the ground corresponding to the flight position of the unmanned aerial vehicle 100 to the position on the ground where the person H1 is located, so that the person H1 is imaged by the imaging unit 220 or the imaging unit 230. Moves to the center position of the imaging range CR. Therefore, the person H1 moves to the center position cp of the captured image displayed on the touch panel TP. Therefore, the moving distance included in the moving information for setting the touch position tp in the touch panel TP as the center position cp may be the distance x. Further, the moving direction included in the moving information may be a direction from the position of the unmanned aerial vehicle 100 toward the position of the person H1 corresponding to the touch position tp.

なお、端末制御部81は、地面に沿う2次元平面において、2次元平面におけるいずれかの1方向(例えば図10の左右方向又は上下方向)において、タッチパネルTPに対するタッチ位置tpに対応する位置がタッチパネルTPの中心位置cpに対応する位置と一致するように、移動情報を生成してよい。また、端末制御部81は、2次元平面における2方向(例えば図10の左右方向及び上下方向)の双方において、タッチパネルTPに対するタッチ位置tpがタッチパネルTPの中心位置cpと一致するように、移動情報を生成してよい。 In the terminal control unit 81, the position corresponding to the touch position tp with respect to the touch panel TP is the touch panel in any one direction (for example, the left-right direction or the up-down direction in FIG. 10) in the two-dimensional plane along the ground. The movement information may be generated so as to match the position corresponding to the center position cp of the TP. Further, the terminal control unit 81 moves information so that the touch position tp with respect to the touch panel TP coincides with the center position cp of the touch panel TP in both the two directions (for example, the horizontal direction and the vertical direction in FIG. 10) in the two-dimensional plane. May be generated.

このように、端末制御部81は、変更操作の情報と、タッチパネルTPに対するタッチ位置tp(入力位置の一例)とタッチパネルTPの中心位置cpとの距離と、タッチパネルTPの中心位置cpに対するタッチ位置tpの方向と、に基づいて、無人航空機100の移動を含む飛行の制御を指示してもよい。 In this way, the terminal control unit 81 has information on the change operation, the distance between the touch position tp (an example of the input position) with respect to the touch panel TP and the center position cp of the touch panel TP, and the touch position tp with respect to the center position cp of the touch panel TP. Control of flight, including movement of the unmanned aerial vehicle 100, may be instructed based on the direction of.

これにより、端末80は、タッチ位置tpを中心として変更操作に基づく無人航空機100の移動等を実施できる。変更操作の際のタッチ位置tpは、撮像画像においてユーザが興味を持った位置と推定可能であるので、端末80は、撮像範囲CRにおけるユーザ所望の位置を基準として、撮像範囲CRを変更できる。 As a result, the terminal 80 can move the unmanned aerial vehicle 100 based on the change operation around the touch position tp. Since the touch position tp at the time of the change operation can be estimated to be a position of interest to the user in the captured image, the terminal 80 can change the imaging range CR with reference to the position desired by the user in the imaging range CR.

また、タッチ位置tpがタッチパネルTPの端部に近い場合、ピンチアウト操作に基づく表示の拡大によって被写体(例えば人物H1)がタッチパネルTPの画面外となり得る。この場合でも、端末80は、タッチ位置tpがタッチパネルTPの中心位置cpとなるよう調整するので、ピンチアウト操作に基づいて表示を拡大しても、被写体(例えば人物H1)がタッチパネルTPの画面外となることを抑制できる。 Further, when the touch position tp is close to the end of the touch panel TP, the subject (for example, the person H1) may be outside the screen of the touch panel TP by enlarging the display based on the pinch-out operation. Even in this case, since the terminal 80 adjusts the touch position tp to be the center position cp of the touch panel TP, the subject (for example, the person H1) is outside the screen of the touch panel TP even if the display is enlarged based on the pinch-out operation. Can be suppressed.

次に、飛行制御システム10の動作について説明する。 Next, the operation of the flight control system 10 will be described.

図12は端末80及び無人航空機100の動作手順の第1例を示すシーケンス図である。図12では、無人航空機100が飛行して撮像を行っている状態において、無人航空機100により撮像される撮像範囲CRを変更する動作を示す。ここでは、無人航空機100の動作として、無人航空機100が移動することを例示する。 FIG. 12 is a sequence diagram showing a first example of the operating procedure of the terminal 80 and the unmanned aerial vehicle 100. FIG. 12 shows an operation of changing the imaging range CR imaged by the unmanned aerial vehicle 100 while the unmanned aerial vehicle 100 is flying and performing imaging. Here, it is illustrated that the unmanned aerial vehicle 100 moves as an operation of the unmanned aerial vehicle 100.

無人航空機100では、UAV制御部110は、飛行中、撮像部220又は撮像部230に被写体(例えば地面方向)を撮像させ、通信インタフェース150を介して、撮像により得られた撮像画像の画像データを端末80に送信する(S11)。 In the unmanned aerial vehicle 100, the UAV control unit 110 causes the imaging unit 220 or the imaging unit 230 to image a subject (for example, toward the ground) during flight, and obtains image data of the captured image obtained by imaging via the communication interface 150. It is transmitted to the terminal 80 (S11).

端末80では、端末制御部81は、通信部85を介して無人航空機100から撮像画像(第1の撮像画像の一例)を受信して取得する(S1)。また、端末制御部81は、通信部85を介して無人航空機100から撮像画像に関する付加情報を受信して取得する。付加情報には、撮像画像の撮像範囲CR(第1の撮像範囲の一例)の情報が含まれる。端末制御部81は、取得された撮像画像をタッチパネルTPに表示させる(S2)。 In the terminal 80, the terminal control unit 81 receives and acquires a captured image (an example of the first captured image) from the unmanned aerial vehicle 100 via the communication unit 85 (S1). Further, the terminal control unit 81 receives and acquires additional information regarding the captured image from the unmanned aerial vehicle 100 via the communication unit 85. The additional information includes information on the imaging range CR (an example of the first imaging range) of the captured image. The terminal control unit 81 displays the acquired captured image on the touch panel TP (S2).

端末制御部81は、タッチパネルTPを介して、撮像範囲SAを変更するための変更操作の情報を取得する(S3)。変更操作は、例えば、ピンチイン操作、ピンチアウト操作、ツイスト操作、又はフリック操作を含む。端末制御部81は、変更操作に基づき、無人航空機100の移動を制御するための移動制御情報を生成し、生成した移動制御情報を無人航空機100に送信する(S4)。この移動制御情報は、例えば上述の指示情報に相当する。 The terminal control unit 81 acquires information on a change operation for changing the imaging range SA via the touch panel TP (S3). The change operation includes, for example, a pinch-in operation, a pinch-out operation, a twist operation, or a flick operation. The terminal control unit 81 generates movement control information for controlling the movement of the unmanned aerial vehicle 100 based on the change operation, and transmits the generated movement control information to the unmanned aerial vehicle 100 (S4). This movement control information corresponds to, for example, the above-mentioned instruction information.

端末制御部81は、撮像範囲CRを変更するための変更操作が終了したか否か判別する(S5)。変更操作が終了したか否かは、例えば、変更操作のためのタッチパネルTPへのユーザ操作が終了したか否かによって判定されてよく、変更操作のために接触していたユーザの指がタッチパネルTPから離れたか否かによって判定されてよい。変更操作を終了しない場合、端末制御部81は、S1の処理に戻る。変更操作を終了する場合、端末制御部81は本動作を終了する。 The terminal control unit 81 determines whether or not the change operation for changing the imaging range CR has been completed (S5). Whether or not the change operation is completed may be determined by, for example, whether or not the user operation on the touch panel TP for the change operation is completed, and the finger of the user who is in contact with the touch panel TP for the change operation is the touch panel TP. It may be judged by whether or not it is separated from. If the change operation is not completed, the terminal control unit 81 returns to the process of S1. When ending the change operation, the terminal control unit 81 ends this operation.

無人航空機100では、UAV制御部110は、通信インタフェース150を介して、端末80から移動制御情報を受信する(S12)。UAV制御部110は、回転翼機構210を駆動し、無人航空機100を移動制御情報に基づいて、無人航空機を移動させる(S13)。そして、UAV制御部110は、S11の処理に戻る。 In the unmanned aerial vehicle 100, the UAV control unit 110 receives the movement control information from the terminal 80 via the communication interface 150 (S12). The UAV control unit 110 drives the rotary wing mechanism 210 to move the unmanned aerial vehicle 100 based on the movement control information (S13). Then, the UAV control unit 110 returns to the process of S11.

このように、端末80の端末制御部81は、無人航空機100により撮像された撮像画像を取得する。端末制御部81は、撮像画像の撮像範囲CRを変更するための変更操作の情報を取得する。端末制御部81は、変更操作に基づいて、無人航空機100の飛行の制御を指示する。 In this way, the terminal control unit 81 of the terminal 80 acquires the captured image captured by the unmanned aerial vehicle 100. The terminal control unit 81 acquires information on a change operation for changing the imaging range CR of the captured image. The terminal control unit 81 instructs the control of the flight of the unmanned aerial vehicle 100 based on the change operation.

これにより、端末80は、変更操作に基づいて無人航空機100の移動等の飛行の制御を指示できる。そのため、例えば、無人航空機100を移動させずに無人航空機100が有するデジタルズームを利用して撮像範囲CRを変更する場合と比較して、端末80は、撮像画像の画質が劣化することを抑制できる。また、端末80は、ユーザ操作により撮像範囲CRの変更を指示することで、より直感的に無人航空機100の飛行制御を指示できる。 As a result, the terminal 80 can instruct flight control such as movement of the unmanned aerial vehicle 100 based on the change operation. Therefore, for example, as compared with the case where the imaging range CR is changed by using the digital zoom of the unmanned aerial vehicle 100 without moving the unmanned aerial vehicle 100, the terminal 80 can suppress the deterioration of the image quality of the captured image. Further, the terminal 80 can more intuitively instruct the flight control of the unmanned aerial vehicle 100 by instructing the change of the imaging range CR by the user operation.

また、図12では、端末制御部81は、S4において変更操作に基づいて移動制御情報を生成して送信し、S5において変更操作が終了するまで、S4における変更操作に基づく移動制御情報の生成及び送信を反復する。つまり、端末制御部81は、変更操作の情報の取得が終了するまで、変更操作に基づく無人航空機100の飛行の制御の指示を反復して実行してよい。 Further, in FIG. 12, the terminal control unit 81 generates and transmits the movement control information based on the change operation in S4, and generates and transmits the movement control information based on the change operation in S4 until the change operation is completed in S5. Repeat transmission. That is, the terminal control unit 81 may repeatedly execute the instruction of controlling the flight of the unmanned aerial vehicle 100 based on the change operation until the acquisition of the information of the change operation is completed.

これにより、端末80は、変更操作を継続しながら、無人航空機100を順次移動させることができる。端末80が、移動した無人航空機100により撮像された撮像画像を順次表示することで、ユーザは、所望の撮像画像となっているかを表示によって直接確認しながら、変更操作の終了のタイミングを図ることができる。また、端末80は、変更操作の終了を待って無人航空機100を移動させるよりも、無人航空機100を高速に移動させることができる。 As a result, the terminal 80 can sequentially move the unmanned aerial vehicle 100 while continuing the change operation. The terminal 80 sequentially displays the captured images captured by the moved unmanned aerial vehicle 100, so that the user can directly confirm by the display whether or not the captured image is the desired captured image, and the timing of the end of the change operation is planned. Can be done. Further, the terminal 80 can move the unmanned aerial vehicle 100 at a higher speed than moving the unmanned aerial vehicle 100 after waiting for the end of the change operation.

なお、図12とは異なり、端末制御部81は、変更操作の情報の取得が終了した後に、変更操作に基づく無人航空機100の飛行の制御を指示してもよい。 Note that, unlike FIG. 12, the terminal control unit 81 may instruct the flight control of the unmanned aerial vehicle 100 based on the change operation after the acquisition of the change operation information is completed.

これにより、端末80は、変更操作が終了してから、無人航空機100を一度に移動させることができる。よって、端末80は、変更操作の操作中に無人航空機100を順次移動させるよりも、端末80と無人航空機100との間の通信量を削減でき、ネットワーク負荷を低減できる。 As a result, the terminal 80 can move the unmanned aerial vehicle 100 at a time after the change operation is completed. Therefore, the terminal 80 can reduce the amount of communication between the terminal 80 and the unmanned aerial vehicle 100 and reduce the network load, as compared with moving the unmanned aerial vehicle 100 sequentially during the change operation.

なお、図12では、無人航空機100を移動させる場合を例示したが、図12の動作手順は移動以外の飛行制御(例えば無人航空機100を回転させる場合)にも適用可能である。 Although FIG. 12 illustrates the case where the unmanned aerial vehicle 100 is moved, the operation procedure of FIG. 12 can be applied to flight control other than movement (for example, when the unmanned aerial vehicle 100 is rotated).

本実施形態の飛行制御指示は、無人航空機100により実施されてもよい。この場合、無人航空機100のUAV制御部110が、端末80の端末制御部81が有する飛行制御の指示に関する機能と同様の機能を有する。UAV制御部110は、処理部の一例である。端末制御部81は、飛行制御の指示に関する処理を行う。なお、UAV制御部110による飛行制御の指示に関する処理において、端末制御部81が行う飛行制御の指示に関する処理と同様の処理については、その説明を省略又は簡略化する。この場合、端末制御部81は、飛行制御の指示を支援するアプリケーションを実行してよい。 The flight control instruction of this embodiment may be carried out by the unmanned aerial vehicle 100. In this case, the UAV control unit 110 of the unmanned aerial vehicle 100 has the same function as the function related to the flight control instruction of the terminal control unit 81 of the terminal 80. The UAV control unit 110 is an example of a processing unit. The terminal control unit 81 performs processing related to flight control instructions. In the process related to the flight control instruction by the UAV control unit 110, the same process as the process related to the flight control instruction performed by the terminal control unit 81 will be omitted or simplified. In this case, the terminal control unit 81 may execute an application that supports flight control instructions.

図13は端末80及び無人航空機100の動作手順の第2例を示すシーケンス図である。図13では、無人航空機100が飛行して撮像を行っている状態において、無人航空機100により撮像される撮像範囲CRを変更する動作を示す。ここでは、無人航空機100の動作として、無人航空機100が移動することを例示する。 FIG. 13 is a sequence diagram showing a second example of the operating procedure of the terminal 80 and the unmanned aerial vehicle 100. FIG. 13 shows an operation of changing the imaging range CR imaged by the unmanned aerial vehicle 100 while the unmanned aerial vehicle 100 is flying and performing imaging. Here, it is illustrated that the unmanned aerial vehicle 100 moves as an operation of the unmanned aerial vehicle 100.

まず、無人航空機100では、UAV制御部110は、S11の処理を行う。 First, in the unmanned aerial vehicle 100, the UAV control unit 110 performs the process of S11.

端末80では、端末制御部81は、S1〜S3の処理を行う。端末制御部81は、変更操作の情報を無人航空機100へ送信する(S21)。そして、端末制御部81は、S5の処理を行い、変更操作を終了しない場合、端末制御部81は、S1の処理に戻る。変更操作を終了する場合、端末制御部81は本動作を終了する。 In the terminal 80, the terminal control unit 81 performs the processes of S1 to S3. The terminal control unit 81 transmits information on the change operation to the unmanned aerial vehicle 100 (S21). Then, when the terminal control unit 81 performs the process of S5 and does not end the change operation, the terminal control unit 81 returns to the process of S1. When ending the change operation, the terminal control unit 81 ends this operation.

無人航空機100では、UAV制御部110は、通信インタフェース150を介して、端末80から変更操作の情報を受信する(S31)。UAV制御部110は、変更操作の情報に基づいて、移動制御情報を生成する(S32)。この移動制御情報は、例えば上述の指示情報に相当する。UAV制御部110は、回転翼機構210を駆動し、移動制御情報に基づいて、無人航空機を移動させる(S13)。そして、UAV制御部110は、S11の処理に戻る。 In the unmanned aerial vehicle 100, the UAV control unit 110 receives information on the change operation from the terminal 80 via the communication interface 150 (S31). The UAV control unit 110 generates movement control information based on the change operation information (S32). This movement control information corresponds to, for example, the above-mentioned instruction information. The UAV control unit 110 drives the rotary wing mechanism 210 and moves the unmanned aerial vehicle based on the movement control information (S13). Then, the UAV control unit 110 returns to the process of S11.

このように、無人航空機100のUAV制御部110は、撮像部220又は撮像部230により撮像された撮像画像を取得する。UAV制御部110は、撮像画像の撮像範囲CRを変更するための変更操作の情報を取得する。UAV制御部110は、変更操作に基づいて、無人航空機100の飛行の制御を指示する。 In this way, the UAV control unit 110 of the unmanned aerial vehicle 100 acquires the captured image captured by the imaging unit 220 or the imaging unit 230. The UAV control unit 110 acquires information on a change operation for changing the imaging range CR of the captured image. The UAV control unit 110 instructs the control of the flight of the unmanned aerial vehicle 100 based on the change operation.

これにより、無人航空機100は、変更操作に基づいて無人航空機100の移動等の飛行の制御を指示し、指示に基づいて飛行制御できる。そのため、無人航空機100は、例えば、無人航空機100を移動させずに無人航空機100が有するデジタルズームを利用して撮像範囲CRを変更する場合と比較して、撮像画像の画質が劣化することを抑制できる。また、無人航空機100は、ユーザ操作により撮像範囲CRの変更を指示するための変更操作の情報に基づいて飛行制御を指示することで、より直感的に無人航空機100の飛行制御を指示できる。また、端末80は、撮像範囲CRを変更するための各種表示や各種操作の受け付けを行うことができ、変更操作に基づく無人航空機100の飛行制御の指示を支援できる。 As a result, the unmanned aerial vehicle 100 can instruct flight control such as movement of the unmanned aerial vehicle 100 based on the change operation, and can control the flight based on the instruction. Therefore, the unmanned aerial vehicle 100 can suppress deterioration of the image quality of the captured image as compared with the case where the imaging range CR is changed by using the digital zoom of the unmanned aerial vehicle 100 without moving the unmanned aerial vehicle 100, for example. .. Further, the unmanned aerial vehicle 100 can more intuitively instruct the flight control of the unmanned aerial vehicle 100 by instructing the flight control based on the information of the change operation for instructing the change of the imaging range CR by the user operation. In addition, the terminal 80 can perform various displays and accept various operations for changing the imaging range CR, and can support an instruction for flight control of the unmanned aerial vehicle 100 based on the change operation.

なお、図13では、無人航空機100を移動させる場合を例示したが、図13の動作手順は移動以外の飛行制御(例えば無人航空機100を回転させる場合)にも適用可能である。 Although FIG. 13 illustrates the case where the unmanned aerial vehicle 100 is moved, the operation procedure of FIG. 13 can be applied to flight control other than movement (for example, when the unmanned aerial vehicle 100 is rotated).

以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。 Although the present disclosure has been described above using the embodiments, the technical scope of the present disclosure is not limited to the scope described in the above-described embodiments. It will be apparent to those skilled in the art to make various changes or improvements to the embodiments described above. It is clear from the description of the claims that the form with such changes or improvements may be included in the technical scope of the present disclosure.

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process such as operation, procedure, step, and step in the device, system, program, and method shown in the claims, the specification, and the drawing is particularly "before" and "prior to". As long as the output of the previous process is not used in the subsequent process, it can be realized in any order. Even if the scope of claims, the specification, and the operation flow in the drawings are explained using "first", "next", etc. for convenience, it means that it is essential to carry out in this order. is not it.

上記実施形態では、無人航空機100が上方から地面に向かって(つまり重力方向に沿って)撮像する場合を主に示した。なお、無人航空機100は、重力方向以外の方向を撮像してもよい。例えば、無人航空機100が重力方向に配列された場合、水平方向に存在する被写体を撮像する場合、又は無人航空機100が重力方向や水平方向に対して角度を有して配列された場合においても、本実施形態を適用可能である。この場合、上記(地面を撮像する場合)の重力方向(高度方向)の移動は、被写体の方向である撮像方向に沿った移動となり、上記の水平方向の移動は、撮像方向に垂直な方向に沿った移動となる。 In the above embodiment, the case where the unmanned aerial vehicle 100 images from above toward the ground (that is, along the direction of gravity) is mainly shown. The unmanned aerial vehicle 100 may image a direction other than the direction of gravity. For example, even when the unmanned aerial vehicles 100 are arranged in the direction of gravity, when a subject existing in the horizontal direction is imaged, or when the unmanned aerial vehicles 100 are arranged at an angle with respect to the direction of gravity or the horizontal direction. This embodiment is applicable. In this case, the movement in the gravity direction (altitude direction) in the above (when imaging the ground) is the movement along the imaging direction which is the direction of the subject, and the movement in the horizontal direction is in the direction perpendicular to the imaging direction. It will move along.

10 飛行制御システム
50 送信機
80 端末
81 端末制御部
83 操作部
85 通信部
87 メモリ
88 表示部
89 ストレージ
100 無人航空機
110 UAV制御部
150 通信インタフェース
160 メモリ
170 ストレージ
200 ジンバル
210 回転翼機構
220,230 撮像部
240 GPS受信機
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
280 超音波センサ
290 レーザー測定器
CR1,CR2,CR3,CR4,CR5,CR6,CR7,CR8,CR9,CR10 撮像範囲
10 Flight control system 50 Transmitter 80 Terminal 81 Terminal control unit 83 Operation unit 85 Communication unit 87 Memory 88 Display unit 89 Storage 100 Unmanned aerial vehicle 110 UAV control unit 150 Communication interface 160 Memory 170 Storage 200 Gimbal 210 Rotating wing mechanism 220, 230 Imaging Part 240 GPS receiver 250 Inertial measurement unit 260 Magnetic compass 270 Pressure altimeter 280 Ultrasonic sensor 290 Laser measuring instrument CR1, CR2, CR3, CR4, CR5, CR6, CR7, CR8, CR9, CR10 Imaging range

Claims (22)

飛行体の飛行の制御を指示する情報処理装置であって、
処理部と操作部とを備え、
前記処理部は、
前記飛行体により撮像された第1の撮像画像を取得し、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得し、
前記変更操作に基づいて、前記飛行体を回転させるよう飛行の制御を指示し、
前記変更操作の情報は、前記操作部に対する指移動の速度の情報を含み、
前記処理部は、前記指移動の速度に基づく回転速度で前記飛行体が回転するよう、前記飛行の制御を指示する、
情報処理装置。
An information processing device that directs the control of the flight of an air vehicle.
Equipped with a processing unit and an operation unit
The processing unit
The first captured image captured by the flying object is acquired, and the first captured image is acquired.
The information of the change operation for rotating and changing the first imaging range, which is the imaging range of the first captured image, is acquired.
Based on the change operation, the flight control is instructed to rotate the flying object, and the flight is instructed to rotate.
The information on the change operation includes information on the speed of finger movement with respect to the operation unit.
The processing unit instructs the control of the flight so that the flying object rotates at a rotation speed based on the speed of the finger movement.
Information processing device.
前記変更操作の情報は、前記変更操作の操作量の情報を含み、
前記処理部は、前記変更操作の操作量に基づいて、前記飛行体を回転させる回転角度を決定する、
請求項1に記載の情報処理装置。
The change operation information includes information on the operation amount of the change operation.
The processing unit determines the rotation angle at which the flying object is rotated based on the operation amount of the change operation.
The information processing device according to claim 1.
飛行体の飛行の制御を指示する情報処理装置であって、
処理部と操作部とを備え、
前記処理部は、
前記飛行体により撮像された第1の撮像画像を取得し、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得し、
前記変更操作に基づいて、前記飛行体を移動させるよう飛行の制御を指示し、
前記変更操作の情報は、前記操作部に対する指移動の速度の情報を含み、
前記処理部は、前記指移動の速度に対応する移動速度で前記飛行体が移動するよう、前記飛行の制御を指示する、
情報処理装置。
An information processing device that directs the control of the flight of an air vehicle.
Equipped with a processing unit and an operation unit
The processing unit
The first captured image captured by the flying object is acquired, and the first captured image is acquired.
Information on a change operation for moving and changing the first imaging range, which is the imaging range of the first captured image, to another geographical range is acquired.
Based on the change operation, the flight control is instructed to move the flying object, and the flight is instructed to move.
The information on the change operation includes information on the speed of finger movement with respect to the operation unit.
The processing unit instructs the control of the flight so that the flying object moves at a moving speed corresponding to the speed of the finger movement.
Information processing device.
前記変更操作の情報は、前記変更操作の操作量及び操作方向の情報を含み、
前記処理部は、前記変更操作の操作量及び操作方向に基づいて、前記飛行体の移動量及び移動方向を決定する、
請求項3に記載の情報処理装置。
The change operation information includes information on the operation amount and operation direction of the change operation.
The processing unit determines the moving amount and moving direction of the flying object based on the operating amount and operating direction of the changing operation.
The information processing device according to claim 3.
前記変更操作は、フリック操作である、
請求項3または4に記載の情報処理装置。
The change operation is a flick operation.
The information processing device according to claim 3 or 4.
前記処理部は、前記フリック操作に基づいて、前記飛行体が、最初は前記フリック操作による指の移動初速度に対応して移動し、前記フリック操作の移動方向と逆方向の加速度を受けて移動速度を小さくしながら移動するよう、前記飛行の制御を指示する、Based on the flick operation, the processing unit initially moves the flying object in response to the initial speed of movement of the finger due to the flick operation, and then moves in response to an acceleration in a direction opposite to the movement direction of the flick operation. Instruct the control of the flight to move at a reduced speed.
請求項5に記載の情報処理装置。The information processing device according to claim 5.
表示部、を更に備え、
前記処理部は、
前記第1の撮像画像を前記表示部に表示させ、
前記操作部に対する入力に基づく前記変更操作の情報を取得し、
前記変更操作の情報と、前記操作部に対する入力位置と前記操作部の中心位置との距離と、前記操作部の前記中心位置に対する前記入力位置の方向と、に基づいて、前記飛行体の移動を含む飛行の制御を指示する、
請求項1〜のいずれか1項に記載の情報処理装置。
Further equipped with a display
The processing unit
The first captured image is displayed on the display unit, and the first captured image is displayed on the display unit.
Acquire the information of the change operation based on the input to the operation unit, and obtain the information.
The movement of the flying object is performed based on the information of the change operation, the distance between the input position with respect to the operation unit and the center position of the operation unit, and the direction of the input position with respect to the center position of the operation unit. Instruct flight control, including
The information processing device according to any one of claims 1 to 6.
前記処理部は、前記変更操作の情報の取得が終了するまで、前記変更操作に基づく前記飛行体の飛行の制御の指示を反復して実行する、
請求項1〜のいずれか1項に記載の情報処理装置。
The processing unit repeatedly executes instructions for controlling the flight of the flying object based on the changing operation until the acquisition of information on the changing operation is completed.
The information processing device according to any one of claims 1 to 7.
前記処理部は、前記変更操作の情報の取得が終了した後に、前記変更操作に基づく前記飛行体の飛行の制御を指示する、
請求項1〜のいずれか1項に記載の情報処理装置。
The processing unit instructs the flight control of the flying object based on the changing operation after the acquisition of the information of the changing operation is completed.
The information processing device according to any one of claims 1 to 7.
飛行体の飛行の制御を指示する情報処理装置における飛行制御指示方法であって、
前記飛行体により撮像された第1の撮像画像を取得するステップと、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記飛行体を回転させるよう飛行の制御を指示するステップと、
を有し、
前記変更操作の情報は、前記情報処理装置が備える操作部に対する指移動の速度の情報を含み、
前記飛行の制御を指示するステップは、前記指移動の速度に基づく回転速度で前記飛行体が回転するよう、前記飛行の制御を指示するステップを含む、
飛行制御指示方法。
It is a flight control instruction method in an information processing device that instructs the flight control of an air vehicle.
The step of acquiring the first captured image captured by the flying object, and
A step of acquiring information on a change operation for rotating and changing the first imaging range, which is the imaging range of the first captured image, and
Based on the change operation, a step of instructing flight control to rotate the flying object, and
Have a,
The information of the change operation includes information on the speed of finger movement with respect to the operation unit included in the information processing apparatus.
The step of instructing the control of the flight includes a step of instructing the control of the flight so that the flying object rotates at a rotation speed based on the speed of the finger movement.
Flight control instruction method.
前記変更操作の情報は、前記変更操作の操作量の情報を含み、
前記飛行の制御を指示するステップは、前記変更操作の操作量に基づいて、前記飛行体を回転させる回転角度を決定するステップを含む、
請求項10に記載の飛行制御指示方法。
The change operation information includes information on the operation amount of the change operation.
The step of instructing the control of the flight includes a step of determining a rotation angle for rotating the flying object based on the operation amount of the change operation.
The flight control instruction method according to claim 10.
飛行体の飛行の制御を指示する情報処理装置における飛行制御指示方法であって、
前記飛行体により撮像された第1の撮像画像を取得するステップと、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記飛行体を移動させるよう飛行の制御を指示するステップと、
を有し、
前記変更操作の情報は、前記情報処理装置が備える操作部に対する指移動の速度の情報を含み、
前記飛行の制御を指示するステップは、前記指移動の速度に対応する移動速度で前記飛行体が移動するよう、前記飛行の制御を指示するステップを含む、
飛行制御指示方法。
It is a flight control instruction method in an information processing device that instructs the flight control of an air vehicle.
The step of acquiring the first captured image captured by the flying object, and
A step of acquiring information on a change operation for moving and changing the first imaging range, which is the imaging range of the first captured image, to another geographical range, and
A step of instructing flight control to move the flying object based on the changing operation, and
Have a,
The information of the change operation includes information on the speed of finger movement with respect to the operation unit included in the information processing apparatus.
The step of instructing the control of the flight includes a step of instructing the control of the flight so that the flying object moves at a movement speed corresponding to the speed of the finger movement.
Flight control instruction method.
前記変更操作の情報は、前記変更操作の操作量及び操作方向の情報を含み、
前記飛行の制御を指示するステップは、前記変更操作の操作量及び操作方向に基づいて、前記飛行体の移動量及び移動方向を決定するステップを含む、
請求項12に記載の飛行制御指示方法。
The change operation information includes information on the operation amount and operation direction of the change operation.
The step of instructing the control of the flight includes a step of determining the movement amount and the movement direction of the flying object based on the operation amount and the operation direction of the change operation.
The flight control instruction method according to claim 12.
前記変更操作は、フリック操作である、
請求項12または13に記載の飛行制御指示方法。
The change operation is a flick operation.
The flight control instruction method according to claim 12 or 13.
前記飛行の制御を指示するステップは、前記フリック操作に基づいて、前記飛行体が、最初は前記フリック操作による指の移動初速度に対応して移動し、前記フリック操作の移動方向と逆方向の加速度を受けて移動速度を小さくしながら移動するよう、前記飛行の制御を指示するステップを含む、In the step of instructing the control of the flight, based on the flick operation, the flying object initially moves according to the initial speed of movement of the finger by the flick operation, and is in the direction opposite to the moving direction of the flick operation. Including the step of instructing the control of the flight to move while receiving the acceleration and reducing the moving speed.
請求項14に記載の飛行制御指示方法。The flight control instruction method according to claim 14.
前記第1の撮像画像を、前記飛行体が備える表示部に表示させるステップ、を更に含み、
前記変更操作の情報を取得するステップは、前記操作部に対する入力に基づく前記変更操作の情報を取得するステップを含み、
前記飛行の制御を指示するステップは、前記変更操作の情報と、前記操作部に対する入力位置と前記操作部の中心位置との距離と、前記操作部の前記中心位置に対する前記入力位置の方向と、に基づいて、前記飛行体の移動を含む飛行の制御を指示するステップを含む、
請求項1015のいずれか1項に記載の飛行制御指示方法。
Further including a step of displaying the first captured image on a display unit included in the flying object.
The step of acquiring the information of the change operation includes a step of acquiring the information of the change operation based on the input to the operation unit.
The step of instructing the control of the flight, and the operation of changing information, the distance between the center position of the operation unit and an input position relative to the operating unit, the direction of the input position with respect to the central position of the operating unit, Including a step of instructing control of the flight, including the movement of the flying object, based on.
The flight control instruction method according to any one of claims 10 to 15.
前記飛行体の制御を指示するステップは、前記変更操作の情報の取得が終了するまで、前記変更操作に基づく前記飛行体の飛行の制御の指示を反復して実行するステップを含む、
請求項1016のいずれか1項に記載の飛行制御指示方法。
The step of instructing the control of the air vehicle includes a step of repeatedly executing the instruction of controlling the flight of the air vehicle based on the change operation until the acquisition of the information of the change operation is completed.
The flight control instruction method according to any one of claims 10 to 16.
前記飛行体の制御を指示するステップは、前記変更操作の情報の取得が終了した後に、前記変更操作に基づく前記飛行体の飛行の制御を指示するステップを含む、
請求項1016のいずれか1項に記載の飛行制御指示方法。
The step of instructing the control of the air vehicle includes a step of instructing the control of the flight of the air vehicle based on the change operation after the acquisition of the information of the change operation is completed.
The flight control instruction method according to any one of claims 10 to 16.
飛行体の飛行の制御を指示する情報処理装置に飛行制御指示方法を実行させるためのプログラムであって、
前記飛行制御指示方法は、
前記飛行体により撮像された第1の撮像画像を取得するステップと、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記飛行体を回転させるよう飛行の制御を指示するステップと、
を有し、
前記変更操作の情報は、前記情報処理装置が備える操作部に対する指移動の速度の情報を含み、
前記飛行の制御を指示するステップは、前記指移動の速度に基づく回転速度で前記飛行体が回転するよう、前記飛行の制御を指示するステップを含む、
プログラム。
It is a program for causing an information processing device that instructs flight control of an air vehicle to execute a flight control instruction method.
The flight control instruction method is
The step of acquiring the first captured image captured by the flying object, and
A step of acquiring information on a change operation for rotating and changing the first imaging range, which is the imaging range of the first captured image, and
Based on the change operation, a step of instructing flight control to rotate the flying object, and
Have,
The information of the change operation includes information on the speed of finger movement with respect to the operation unit included in the information processing apparatus.
The step of instructing the control of the flight includes a step of instructing the control of the flight so that the flying object rotates at a rotation speed based on the speed of the finger movement.
program.
飛行体の飛行の制御を指示する情報処理装置に飛行制御指示方法を実行させるためのプログラムであって、
前記飛行制御指示方法は、
前記飛行体により撮像された第1の撮像画像を取得するステップと、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記飛行体を移動させるよう飛行の制御を指示するステップと、
を有し、
前記変更操作の情報は、前記情報処理装置が備える操作部に対する指移動の速度の情報を含み、
前記飛行の制御を指示するステップは、前記指移動の速度に対応する移動速度で前記飛行体が移動するよう、前記飛行の制御を指示するステップを含む、
プログラム。
It is a program for causing an information processing device that instructs flight control of an air vehicle to execute a flight control instruction method.
The flight control instruction method is
The step of acquiring the first captured image captured by the flying object, and
A step of acquiring information on a change operation for moving and changing the first imaging range, which is the imaging range of the first captured image, to another geographical range, and
A step of instructing flight control to move the flying object based on the changing operation, and
Have,
The information of the change operation includes information on the speed of finger movement with respect to the operation unit included in the information processing apparatus.
The step of instructing the control of the flight includes a step of instructing the control of the flight so that the flying object moves at a movement speed corresponding to the speed of the finger movement.
program.
飛行体の飛行の制御を指示する情報処理装置に飛行制御指示方法を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって
前記飛行制御指示方法は、
前記飛行体により撮像された第1の撮像画像を取得するステップと、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記飛行体を回転させるよう飛行の制御を指示するステップと、
を有し、
前記変更操作の情報は、前記情報処理装置が備える操作部に対する指移動の速度の情報を含み、
前記飛行の制御を指示するステップは、前記指移動の速度に基づく回転速度で前記飛行体が回転するよう、前記飛行の制御を指示するステップを含む、
記録媒体。
A computer-readable recording medium that records a program for causing an information processing device that instructs flight control of an air vehicle to execute a flight control instruction method.
The flight control instruction method is
The step of acquiring the first captured image captured by the flying object, and
A step of acquiring information on a change operation for rotating and changing the first imaging range, which is the imaging range of the first captured image, and
Based on the change operation, a step of instructing flight control to rotate the flying object, and
Have,
The information of the change operation includes information on the speed of finger movement with respect to the operation unit included in the information processing apparatus.
The step of instructing the control of the flight includes a step of instructing the control of the flight so that the flying object rotates at a rotation speed based on the speed of the finger movement.
recoding media.
飛行体の飛行の制御を指示する情報処理装置に飛行制御指示方法を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体であって
前記飛行制御指示方法は、
前記飛行体により撮像された第1の撮像画像を取得するステップと、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記飛行体を移動させるよう飛行の制御を指示するステップと、
を有し、
前記変更操作の情報は、前記情報処理装置が備える操作部に対する指移動の速度の情報を含み、
前記飛行の制御を指示するステップは、前記指移動の速度に対応する移動速度で前記飛行体が移動するよう、前記飛行の制御を指示するステップを含む、
記録媒体。
A computer-readable recording medium that records a program for causing an information processing device that instructs flight control of an air vehicle to execute a flight control instruction method.
The flight control instruction method is
The step of acquiring the first captured image captured by the flying object, and
A step of acquiring information on a change operation for moving and changing the first imaging range, which is the imaging range of the first captured image, to another geographical range, and
A step of instructing flight control to move the flying object based on the changing operation, and
Have,
The information of the change operation includes information on the speed of finger movement with respect to the operation unit included in the information processing apparatus.
The step of instructing the control of the flight includes a step of instructing the control of the flight so that the flying object moves at a movement speed corresponding to the speed of the finger movement.
recoding media.
JP2017246802A 2017-12-22 2017-12-22 Information processing equipment, flight control instruction method, program, and recording medium Active JP6875269B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017246802A JP6875269B2 (en) 2017-12-22 2017-12-22 Information processing equipment, flight control instruction method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017246802A JP6875269B2 (en) 2017-12-22 2017-12-22 Information processing equipment, flight control instruction method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2019114036A JP2019114036A (en) 2019-07-11
JP6875269B2 true JP6875269B2 (en) 2021-05-19

Family

ID=67222636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017246802A Active JP6875269B2 (en) 2017-12-22 2017-12-22 Information processing equipment, flight control instruction method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP6875269B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6730764B1 (en) * 2019-12-26 2020-07-29 株式会社センシンロボティクス Flight route display method and information processing apparatus
WO2021140916A1 (en) * 2020-01-07 2021-07-15 ソニーグループ株式会社 Moving body, information processing device, information processing method, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014212479A (en) * 2013-04-19 2014-11-13 ソニー株式会社 Control device, control method, and computer program
US20160241767A1 (en) * 2015-02-13 2016-08-18 Lg Electronics Inc. Mobile terminal and method for controlling the same
JP6470112B2 (en) * 2015-06-01 2019-02-13 日本電信電話株式会社 Mobile device operation terminal, mobile device operation method, and mobile device operation program
JP6685742B2 (en) * 2016-02-02 2020-04-22 キヤノン株式会社 Operating device, moving device, and control system thereof
JP6707984B2 (en) * 2016-05-16 2020-06-10 井関農機株式会社 Work vehicle control system

Also Published As

Publication number Publication date
JP2019114036A (en) 2019-07-11

Similar Documents

Publication Publication Date Title
JP6962812B2 (en) Information processing equipment, flight control instruction method, program, and recording medium
JP6803800B2 (en) Information processing device, aerial photography route generation method, aerial photography route generation system, program, and recording medium
JP6765512B2 (en) Flight path generation method, information processing device, flight path generation system, program and recording medium
JP6962775B2 (en) Information processing equipment, aerial photography route generation method, program, and recording medium
JP6675537B1 (en) Flight path generation device, flight path generation method and program, and structure inspection method
JP2019511044A (en) Method and system for motion control of a flying device
JP6878194B2 (en) Mobile platforms, information output methods, programs, and recording media
US20200217665A1 (en) Mobile platform, image capture path generation method, program, and recording medium
JP6875196B2 (en) Mobile platforms, flying objects, support devices, mobile terminals, imaging assist methods, programs, and recording media
CN111344650B (en) Information processing device, flight path generation method, program, and recording medium
JP6875269B2 (en) Information processing equipment, flight control instruction method, program, and recording medium
JP6943741B2 (en) Information processing equipment, flight control instruction method, program, and recording medium
US20210185235A1 (en) Information processing device, imaging control method, program and recording medium
US20210229810A1 (en) Information processing device, flight control method, and flight control system
JP7067897B2 (en) Information processing equipment, flight control instruction method, program, and recording medium
JP7004374B1 (en) Movement route generation method and program of moving object, management server, management system
JP6790206B1 (en) Control devices, control methods, programs, and recording media
JP2020095519A (en) Shape estimation device, shape estimation method, program, and recording medium
JP2020003428A (en) Information processing device, flight path generating method, program, and recording medium
US20220166917A1 (en) Information processing apparatus, information processing method, and program
JP2020131768A (en) Maneuvering system, maneuvering device, maneuvering control method, and program
JP2020088821A (en) Image generation device, image generation method, program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210422

R150 Certificate of patent or registration of utility model

Ref document number: 6875269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150