JP6875269B2 - Information processing equipment, flight control instruction method, program, and recording medium - Google Patents
Information processing equipment, flight control instruction method, program, and recording medium Download PDFInfo
- Publication number
- JP6875269B2 JP6875269B2 JP2017246802A JP2017246802A JP6875269B2 JP 6875269 B2 JP6875269 B2 JP 6875269B2 JP 2017246802 A JP2017246802 A JP 2017246802A JP 2017246802 A JP2017246802 A JP 2017246802A JP 6875269 B2 JP6875269 B2 JP 6875269B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- flight
- change operation
- flying object
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 title claims description 86
- 238000000034 method Methods 0.000 title claims description 61
- 230000010365 information processing Effects 0.000 title claims description 46
- 238000003384 imaging method Methods 0.000 claims description 221
- 230000008859 change Effects 0.000 claims description 146
- 238000012545 processing Methods 0.000 claims description 36
- 230000005057 finger movement Effects 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 50
- 230000015654 memory Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 21
- 230000007246 mechanism Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 210000003811 finger Anatomy 0.000 description 12
- 230000005484 gravity Effects 0.000 description 9
- 230000001174 ascending effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 5
- 230000009194 climbing Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本開示は、飛行体の飛行の制御を指示する情報処理装置、飛行制御指示方法、プログラム、及び記録媒体に関する。 The present disclosure relates to an information processing device for instructing flight control of an air vehicle, a flight control instruction method, a program, and a recording medium.
従来、無人航空機は、無人航空機に搭載されたカメラにより空撮可能であり、農業や災害時の救助等、様々な分野で活用が検討されている。 Conventionally, unmanned aerial vehicles can take aerial photographs with cameras mounted on unmanned aerial vehicles, and their use in various fields such as agriculture and rescue in the event of a disaster is being considered.
先行技術として、カメラが搭載された無人飛行体と、無人飛行体の位置を移動させる操作装置とを備える移動制御システムが知られる(特許文献1参照)。この移動制御システムでは、操作装置は、カメラで撮像された画像を表示するタッチパネルを有する。操作装置は、ユーザによるタッチパネルに対するタッチ操作がピンチアウト操作である場合、無人飛行体を被写体の方向に前進させ、ピンチイン操作である場合、無人飛行体を被写体の方向から後退させる。 As a prior art, a movement control system including an unmanned vehicle equipped with a camera and an operation device for moving the position of the unmanned vehicle is known (see Patent Document 1). In this movement control system, the operating device has a touch panel that displays an image captured by the camera. The operating device advances the unmanned flying object toward the subject when the touch operation on the touch panel by the user is a pinch-out operation, and moves the unmanned flying object backward from the direction of the subject when the touch operation is a pinch-in operation.
特許文献1では、タッチパネルへの操作に応じて無人飛行体が移動する場合、ピンチアウト操作又はピンチアウト操作に基づく無人飛行体の飛行のみ考慮されている。タッチパネルへピンチアウト操作又はピンチアウト操作以外の操作方法により操作された場合でも、操作方法に応じて無人飛行体が様々な飛行方法により飛行できることが望ましい。 In Patent Document 1, when the unmanned vehicle moves in response to the operation on the touch panel, only the flight of the unmanned vehicle based on the pinch-out operation or the pinch-out operation is considered. Even when the touch panel is operated by an operation method other than the pinch-out operation or the pinch-out operation, it is desirable that the unmanned vehicle can fly by various flight methods according to the operation method.
一態様において、情報処理装置は、飛行体の飛行の制御を指示する情報処理装置であって、処理部を備え、処理部は、飛行体により撮像された第1の撮像画像を取得し、第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得し、変更操作に基づいて、飛行体を回転させるよう飛行の制御を指示する。 In one aspect, the information processing device is an information processing device that instructs the control of flight of the flying object, includes a processing unit, and the processing unit acquires a first captured image captured by the flying object, and the first image is acquired. The information of the change operation for rotating and changing the first image pickup range, which is the image pickup range of the captured image of 1, is acquired, and the flight control is instructed to rotate the flying object based on the change operation.
変更操作の情報は、変更操作の操作量の情報を含んでよい。処理部は、変更操作の操作量に基づいて、飛行体を回転させる回転角度を決定してよい。 The change operation information may include information on the operation amount of the change operation. The processing unit may determine the rotation angle at which the flying object is rotated based on the operation amount of the change operation.
一態様において、情報処理装置は、飛行体の飛行の制御を指示する情報処理装置であって、処理部を備え、処理部は、飛行体により撮像された第1の撮像画像を取得し、第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得し、変更操作に基づいて、飛行体を移動させるよう飛行の制御を指示してよい。 In one aspect, the information processing device is an information processing device that instructs the control of flight of the flying object, includes a processing unit, and the processing unit acquires a first captured image captured by the flying object, and the first image is acquired. The information of the change operation for moving and changing the first imaging range, which is the imaging range of the captured image of 1, to another geographical range is acquired, and the flight is moved so as to move the flying object based on the change operation. Control may be instructed.
変更操作の情報は、変更操作の操作量及び操作方向の情報を含んでよい。処理部は、変更操作の操作量及び操作方向に基づいて、飛行体の移動量及び移動方向を決定してよい。 The change operation information may include information on the operation amount and operation direction of the change operation. The processing unit may determine the movement amount and the movement direction of the flying object based on the operation amount and the operation direction of the change operation.
変更操作は、フリック操作でよい。 The change operation may be a flick operation.
情報処理装置は、タッチパネル、を更に備えてよい。処理部は、第1の撮像画像をタッチパネルに表示させ、タッチパネルに対する入力に基づく変更操作の情報を取得し、変更操作の情報と、タッチパネルに対する入力位置とタッチパネルの中心位置との距離と、タッチパネルの中心位置に対する入力位置の方向と、に基づいて、飛行体の移動を含む飛行の制御を指示してよい。 The information processing device may further include a touch panel. The processing unit displays the first captured image on the touch panel, acquires the information of the change operation based on the input to the touch panel, the information of the change operation, the distance between the input position to the touch panel and the center position of the touch panel, and the touch panel. Control of flight, including movement of the flying object, may be instructed based on the direction of the input position with respect to the center position.
処理部は、変更操作の情報の取得が終了するまで、変更操作に基づく飛行体の飛行の制御の指示を反復して実行してよい。 The processing unit may repeatedly execute the instruction of controlling the flight of the flying object based on the change operation until the acquisition of the information of the change operation is completed.
処理部は、変更操作の情報の取得が終了した後に、変更操作に基づく飛行体の飛行の制御を指示してよい。 The processing unit may instruct the control of the flight of the flying object based on the change operation after the acquisition of the information of the change operation is completed.
一態様において、飛行制御指示方法は、飛行体の飛行の制御を指示する情報処理装置における飛行制御指示方法であって、飛行体により撮像された第1の撮像画像を取得するステップと、第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得するステップと、変更操作に基づいて、飛行体を回転させるよう飛行の制御を指示するステップと、を有する。 In one aspect, the flight control instruction method is a flight control instruction method in an information processing device that instructs flight control of an air vehicle, and includes a step of acquiring a first captured image captured by the air vehicle and a first method. A step of acquiring information on a change operation for rotating and changing the first imaging range, which is the imaging range of the captured image of the above, and a step of instructing flight control to rotate the flying object based on the change operation. And have.
変更操作の情報は、変更操作の操作量の情報を含んでよい。飛行の制御を指示するステップは、変更操作の操作量に基づいて、飛行体を回転させる回転角度を決定するステップを含んでよい。 The change operation information may include information on the operation amount of the change operation. The step of instructing flight control may include a step of determining a rotation angle for rotating the flying object based on the amount of operation of the change operation.
一態様において、飛行制御指示方法は、飛行体の飛行の制御を指示する情報処理装置における飛行制御指示方法であって、飛行体により撮像された第1の撮像画像を取得するステップと、第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得するステップと、変更操作に基づいて、飛行体を移動させるよう飛行の制御を指示するステップと、を有する。 In one aspect, the flight control instruction method is a flight control instruction method in an information processing device that instructs flight control of an air vehicle, and includes a step of acquiring a first captured image captured by the air vehicle and a first method. The step of acquiring information on the change operation for moving and changing the first imaging range, which is the imaging range of the captured image of, to another geographical range, and the flight to move the flying object based on the change operation. It has a step of instructing control of.
変更操作の情報は、変更操作の操作量及び操作方向の情報を含んでよい。飛行の制御を指示するステップは、変更操作の操作量及び操作方向に基づいて、飛行体の移動量及び移動方向を決定するステップを含んでよい。 The change operation information may include information on the operation amount and operation direction of the change operation. The step of instructing flight control may include a step of determining the movement amount and movement direction of the flying object based on the operation amount and operation direction of the change operation.
変更操作は、フリック操作でよい。 The change operation may be a flick operation.
情報処理装置は、タッチパネルを備えてよい。飛行制御指示方法は、第1の撮像画像をタッチパネルに表示させるステップ、を更に含んでよい。変更操作の情報を取得するステップは、タッチパネルに対する入力に基づく変更操作の情報を取得するステップを含んでよい。飛行の制御を指示するステップは、変更操作の情報と、タッチパネルに対する入力位置とタッチパネルの中心位置との距離と、タッチパネルの中心位置に対する入力位置の方向と、に基づいて、飛行体の移動を含む飛行の制御を指示するステップを含んでよい。 The information processing device may include a touch panel. The flight control instruction method may further include a step of displaying the first captured image on the touch panel. The step of acquiring the information of the change operation may include the step of acquiring the information of the change operation based on the input to the touch panel. The step of instructing flight control includes movement of the flying object based on the information of the change operation, the distance between the input position with respect to the touch panel and the center position of the touch panel, and the direction of the input position with respect to the center position of the touch panel. It may include steps to direct flight control.
飛行体の制御を指示するステップは、変更操作の情報の取得が終了するまで、変更操作に基づく飛行体の飛行の制御の指示を反復して実行するステップを含んでよい。 The step of instructing the control of the air vehicle may include a step of repeatedly executing the instruction of controlling the flight of the air vehicle based on the change operation until the acquisition of the information of the change operation is completed.
飛行体の制御を指示するステップは、変更操作の情報の取得が終了した後に、変更操作に基づく飛行体の飛行の制御を指示するステップを含んでよい。 The step of instructing the control of the air vehicle may include a step of instructing the control of the flight of the air vehicle based on the change operation after the acquisition of the information of the change operation is completed.
一態様において、プログラムは、飛行体の飛行の制御を指示する情報処理装置に、飛行体により撮像された第1の撮像画像を取得するステップと、第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得するステップと、変更操作に基づいて、飛行体を回転させるよう飛行の制御を指示するステップと、を実行させるためのプログラムである。 In one aspect, the program is a step of acquiring a first captured image captured by the flying object to an information processing device that instructs the information processing device to control the flight of the flying object, and a first imaging range of the first captured image. It is a program for executing a step of acquiring information on a change operation for rotating and changing the imaging range of the aircraft, and a step of instructing flight control to rotate the flying object based on the change operation. ..
一態様において、プログラムは、飛行体の飛行の制御を指示する情報処理装置に、飛行体により撮像された第1の撮像画像を取得するステップと、第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得するステップと、変更操作に基づいて、飛行体を移動させるよう飛行の制御を指示するステップと、を実行させるためのプログラムである。 In one aspect, the program is a step of acquiring a first captured image captured by the flying object to an information processing device that instructs the information processing device to control the flight of the flying object, and a first imaging range of the first captured image. Performs a step to obtain information on a change operation to move the imaging range of the image to another geographical range and change it, and a step to instruct flight control to move the flying object based on the change operation. It is a program to make it.
一態様において、記録媒体は、飛行体の飛行の制御を指示する情報処理装置に、飛行体により撮像された第1の撮像画像を取得するステップと、第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得するステップと、変更操作に基づいて、飛行体を回転させるよう飛行の制御を指示するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。 In one aspect, the recording medium is a step of acquiring a first captured image captured by the flying object to an information processing device that instructs the information processing device to control the flight of the flying object, and a first imaging range of the first captured image. A program for executing a step of acquiring information on a change operation for rotating and changing the imaging range of 1 and a step of instructing flight control to rotate the flying object based on the change operation. It is a computer-readable recording medium on which recording is performed.
一態様において、記録媒体は、飛行体の飛行の制御を指示する情報処理装置に、飛行体により撮像された第1の撮像画像を取得するステップと、第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得するステップと、変更操作に基づいて、飛行体を移動させるよう飛行の制御を指示するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。 In one aspect, the recording medium is a step of acquiring a first captured image captured by the flying object to an information processing device that instructs the information processing device to control the flight of the flying object, and a first imaging range of the first captured image. A step of acquiring information on a change operation for moving the imaging range of 1 to another geographical range and changing the image range, and a step of instructing flight control to move the flying object based on the change operation. A computer-readable recording medium that records a program to be executed.
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The outline of the above invention does not list all the features of the present disclosure. Sub-combinations of these feature groups can also be inventions.
以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。 Hereinafter, the present disclosure will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Not all combinations of features described in the embodiments are essential to the solution of the invention.
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。 The claims, description, drawings, and abstracts include matters that are subject to copyright protection. The copyright holder will not object to any person's reproduction of these documents as long as they appear in the Patent Office files or records. However, in other cases, all copyrights are reserved.
以下の実施形態では、飛行体として、無人航空機(UAV:Unmanned Aerial Vehicle)を例示する。無人航空機は、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「UAV」と表記する。また、情報処理装置として、端末を例示する。なお、情報処理装置は、端末に限らず、PC(Personal Computer)や送信機(プロポ(Proportional Controller))や無人航空機であってもよい。また、飛行制御指示方法は、情報処理装置の動作が規定されたものである。また、記録媒体は、プログラム(情報処理装置に各種の処理を実行させるプログラム)が記録されたものである。 In the following embodiment, an unmanned aerial vehicle (UAV) will be illustrated as an air vehicle. Unmanned aerial vehicles include aircraft that move in the air. In the drawings attached herein, the unmanned aerial vehicle is referred to as "UAV". Further, a terminal is exemplified as an information processing device. The information processing device is not limited to the terminal, and may be a PC (Personal Computer), a transmitter (Proportional Controller), or an unmanned aerial vehicle. Further, the flight control instruction method defines the operation of the information processing device. The recording medium is a recording medium in which a program (a program that causes an information processing apparatus to execute various processes) is recorded.
図1は、実施形態における飛行制御システム10の第1構成例を示す模式図である。飛行制御システム10は、無人航空機100及び端末80を備える。無人航空機100及び端末80は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。図1では、端末80が携帯端末(例えばスマートフォン、タブレット端末)であることを例示している。端末80は情報処理装置の一例である。
FIG. 1 is a schematic view showing a first configuration example of the
図2Aは、実施形態における飛行制御システム10の第2構成例を示す模式図である。図2Aでは、端末80がPCであることを例示している。図1及び図2Aのいずれであっても、端末80が有する機能は同じでよい。
FIG. 2A is a schematic view showing a second configuration example of the
図2Bは、実施形態における飛行制御システム10の第3構成例を示す模式図である。図2Bでは、飛行制御システム10は、無人航空機100、送信機50、及び端末80を備えた構成である。無人航空機100、送信機50、及び端末80は、相互に有線通信又は無線通信により通信可能である。また、端末80は、送信機50を介して又は送信機50を介さずに、無人航空機100と通信してよい。
FIG. 2B is a schematic view showing a third configuration example of the
図3は、無人航空機100の具体的な外観の一例を示す図である。図3には、無人航空機100が移動方向STV0に飛行する場合の斜視図が示される。無人航空機100は飛行体の一例である。
FIG. 3 is a diagram showing an example of a specific appearance of the unmanned
図3に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(x軸参照)が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(y軸参照)が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(z軸参照)が定められる。 As shown in FIG. 3, it is assumed that the roll axis (see x-axis) is defined in the direction parallel to the ground and along the moving direction STV0. In this case, the pitch axis (see y-axis) is defined in the direction parallel to the ground and perpendicular to the roll axis, and the yaw axis (z-axis) is further perpendicular to the ground and perpendicular to the roll axis and pitch axis. See) is defined.
無人航空機100は、UAV本体102と、ジンバル200と、撮像部220と、複数の撮像部230とを含む構成である。
The unmanned
UAV本体102は、複数の回転翼(プロペラ)を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼を用いて無人航空機100を飛行させる。回転翼の数は、4つに限定されない。また、無人航空機100は、回転翼を有さない固定翼機でもよい。
The UAV
撮像部220は、所望の撮像範囲に含まれる被写体(例えば、撮像対象となる上空の様子、山や川等の景色、地上の建物)を撮像する撮像用のカメラである。
The
複数の撮像部230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラである。2つの撮像部230が、無人航空機100の機首である正面に設けられてよい。さらに、他の2つの撮像部230が、無人航空機100の底面に設けられてよい。正面側の2つの撮像部230はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像部230もペアとなり、ステレオカメラとして機能してよい。複数の撮像部230により撮像された画像に基づいて、無人航空機100の周囲の3次元空間データが生成されてよい。なお、無人航空機100が備える撮像部230の数は4つに限定されない。無人航空機100は、少なくとも1つの撮像部230を備えていればよい。無人航空機100は、無人航空機100の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像部230を備えてよい。撮像部230で設定できる画角は、撮像部220で設定できる画角より広くてよい。撮像部230は、単焦点レンズ、魚眼レンズ、又はズームレンズを有してよい。
The plurality of
図4は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信インタフェース150と、メモリ160と、ストレージ170と、ジンバル200と、回転翼機構210と、撮像部220と、撮像部230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270と、超音波センサ280と、レーザー測定器290と、を含む構成である。
FIG. 4 is a block diagram showing an example of the hardware configuration of the unmanned
UAV制御部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
The
UAV制御部110は、メモリ160に格納されたプログラムに従って無人航空機100の飛行を制御する。UAV制御部110は、送信機50や端末80による飛行の制御の指示に従って、飛行を制御してよい。UAV制御部110は、撮像部220や撮像部230に画像を撮像させてよい。
The
UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から、無人航空機100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。UAV制御部110は、超音波センサ280による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。
The
UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機100の機首の向きに対応する方位で示されてよい。
The
UAV制御部110は、撮像部220が撮像すべき撮像範囲を撮像する時に無人航空機100が存在すべき位置を示す位置情報を取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報をメモリ160から取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報を、通信インタフェース150を介して他の装置から取得してよい。UAV制御部110は、3次元地図データベースを参照して、無人航空機100が存在可能な位置を特定して、その位置を無人航空機100が存在すべき位置を示す位置情報として取得してよい。
The
UAV制御部110は、撮像部220及び撮像部230のそれぞれの撮像範囲を示す撮像範囲情報を取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像部220及び撮像部230の画角を示す画角情報を撮像部220及び撮像部230から取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像部220及び撮像部230の撮像方向を示す情報を取得してよい。UAV制御部110は、例えば撮像部220の撮像方向を示す情報として、ジンバル200から撮像部220の姿勢の状態を示す姿勢情報を取得してよい。撮像部220の姿勢情報は、ジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。
The
UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得してよい。UAV制御部110は、撮像部220及び撮像部230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像部220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲情報を生成することで、撮像範囲情報を取得してよい。
The
UAV制御部110は、メモリ160から撮像範囲情報を取得してよい。UAV制御部110は、通信インタフェース150を介して撮像範囲情報を取得してよい。
The
UAV制御部110は、ジンバル200、回転翼機構210、撮像部220及び撮像部230を制御する。UAV制御部110は、撮像部220の撮像方向又は画角を変更することによって、撮像部220の撮像範囲を制御してよい。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像部220の撮像範囲を制御してよい。
The
撮像範囲とは、撮像部220又は撮像部230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される2次元空間データにおける範囲でもよい。撮像範囲は、撮像部220又は撮像部230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定されてよい。撮像部220及び撮像部230の撮像方向は、撮像部220及び撮像部230の撮像レンズが設けられた正面が向く方位と俯角とから定義されてよい。撮像部220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像部220の姿勢の状態とから特定される方向でよい。撮像部230の撮像方向は、無人航空機100の機首の方位と、撮像部230が設けられた位置とから特定される方向でよい。
The imaging range refers to a geographical range imaged by the
UAV制御部110は、複数の撮像部230により撮像された複数の画像を解析することで、無人航空機100の周囲の環境を特定してよい。UAV制御部110は、無人航空機100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。
The
UAV制御部110は、無人航空機100の周囲に存在するオブジェクトの立体形状(3次元形状)を示す立体情報(3次元情報)を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部でよい。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数の撮像部230から得られたそれぞれの画像から、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、メモリ160又はストレージ170に格納された3次元地図データベースを参照することにより、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。UAV制御部110は、ネットワーク上に存在するサーバが管理する3次元地図データベースを参照することで、無人航空機100の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。
The
UAV制御部110は、回転翼機構210を制御することで、無人航空機100の飛行を制御する。つまり、UAV制御部110は、回転翼機構210を制御することにより、無人航空機100の緯度、経度、及び高度を含む位置を制御する。UAV制御部110は、無人航空機100の飛行を制御することにより、撮像部220の撮像範囲を制御してよい。UAV制御部110は、撮像部220が備えるズームレンズを制御することで、撮像部220の画角を制御してよい。UAV制御部110は、撮像部220のデジタルズーム機能を利用して、デジタルズームにより、撮像部220の画角を制御してよい。
The
撮像部220が無人航空機100に固定され、撮像部220を動かせない場合、UAV制御部110は、特定の日時に特定の位置に無人航空機100を移動させることにより、所望の環境下で所望の撮像範囲を撮像部220に撮像させてよい。あるいは撮像部220がズーム機能を有さず、撮像部220の画角を変更できない場合でも、UAV制御部110は、特定された日時に、特定の位置に無人航空機100を移動させることで、所望の環境下で所望の撮像範囲を撮像部220に撮像させてよい。
When the
通信インタフェース150は、端末80や送信機50と通信する。通信インタフェース150は、任意の無線通信方式により無線通信してよい。通信インタフェース150は、任意の有線通信方式により有線通信してよい。通信インタフェース150は、撮像画像や撮像画像に関する付加情報(メタデータ)を、端末80や送信機50に送信してよい。付加情報は、撮像範囲に関する情報を含んでよい。
The
メモリ160は、UAV制御部110がジンバル200、回転翼機構210、撮像部220、撮像部230、GPS受信機240、慣性計測装置250、磁気コンパス260、気圧高度計270、超音波センサ280、及びレーザー測定器290を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSB(Universal Serial Bus)メモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ160は、UAV本体102から取り外し可能であってよい。メモリ160は、作業用メモリとして動作してよい。
In the
ストレージ170は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SDカード、USBメモリ、その他のストレージの少なくとも1つを含んでよい。ストレージ170は、各種情報、各種データを保持してよい。ストレージ170は、UAV本体102から取り外し可能であってよい。ストレージ170は、撮像画像を記録してよい。
The
ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像部220を回転させることで、撮像部220の撮像方向を変更してよい。
The
回転翼機構210は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータと、を有する。回転翼機構210は、UAV制御部110により回転を制御されることにより、無人航空機100を飛行させる。回転翼の数は、例えば4つでもよいし、その他の数でもよい。回転翼の数が多い程、無人航空機100の揚力が大きくなる。
The
GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
The
慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出してよい。
The
磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。
The
気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。
The
超音波センサ280は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部110に出力する。検出結果は、無人航空機100から地面までの距離つまり高度を示してよい。検出結果は、無人航空機100から物体(被写体)までの距離を示してよい。
The
レーザー測定器290は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機100と物体(被写体)との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。
The
図5は、端末80のハードウェア構成の一例を示すブロック図である。端末80は、端末制御部81、操作部83、通信部85、メモリ87、表示部88、及びストレージ89を備える。端末80は、無人航空機100の飛行制御の指示を希望するユーザに所持され得る。
FIG. 5 is a block diagram showing an example of the hardware configuration of the terminal 80. The terminal 80 includes a
端末制御部81は、例えばCPU、MPU又はDSPを用いて構成される。端末制御部81は、端末80の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。端末制御部81は、処理部の一例である。
The
端末制御部81は、通信部85を介して、無人航空機100からのデータや情報(例えば、各種計測データ、画像データ、無人航空機100の位置情報)を取得してもよい。端末制御部81は、操作部83を介して入力されたデータや情報を取得してもよい。端末制御部81は、メモリ87に保持されたデータや情報を取得してもよい。端末制御部81は、通信部85を介して、無人航空機100へ、データや情報を送信させてもよい。端末制御部81は、データや情報を表示部88に送り、このデータや情報に基づく表示情報を表示部88に表示させてもよい。
The
端末制御部81は、無人航空機100の飛行制御を指示するためのアプリケーションを実行してもよい。端末制御部81は、アプリケーションで用いられる各種のデータを生成してもよい。
The
操作部83は、端末80のユーザにより入力されるデータや情報を受け付けて取得する。操作部83は、ボタン、キー、タッチスクリーン、マイクロホン、等の入力装置を含んでもよい。ここでは、主に、操作部83と表示部88とがタッチパネルTPにより構成されることを例示する。この場合、操作部83は、タッチ操作、タップ操作、ドラッグ操作、ピンチイン操作、ピンチアウト操作、ツイスト操作、フリック操作、等を受付可能である。操作部83により入力された情報は、無人航空機100へ送信されてもよい。
The
通信部85は、各種の無線通信方式により、無人航空機100との間で無線通信する。この無線通信の無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、又は公衆無線回線を介した通信を含んでよい。通信部85は、任意の有線通信方式により有線通信してよい。
The
メモリ87は、例えば端末80の動作を規定するプログラムや設定値のデータが格納されたROMと、端末制御部81の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してもよい。メモリ87は、ROM及びRAM以外のメモリが含まれてよい。メモリ87は、端末80の内部に設けられてよい。メモリ87は、端末80から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。
The
表示部88は、例えばLCD(Liquid Crystal Display)を用いて構成され、端末制御部81から出力された各種の情報やデータを表示する。表示部88は、アプリケーションの実行に係る各種データや情報を表示してもよい。
The
ストレージ89は、各種データ、情報を蓄積し、保持する。ストレージ89は、HDD、SSD、SDカード、USBメモリ、等でよい。ストレージ89は、端末80の内部に設けられてもよい。ストレージ89は、端末80から取り外し可能に設けられてもよい。ストレージ89は、無人航空機100から取得された撮像画像や付加情報を保持してよい。付加情報は、メモリ87に保持されてよい。
The
なお、送信機50(図2B参照)は、端末80と同様の構成部を有するので、詳細な説明については省略する。送信機50は、制御部、操作部、通信部、メモリ、等を有する。操作部は、例えば、無人航空機100の飛行の制御を指示するためのコントロールスティック(制御棒)を含んでよい。送信機50は、表示部を有し、各種情報を表示してもよい。送信機50は、端末80が有する機能の少なくとも一部を有してもよい。この場合、端末80が省略されてもよい。
Since the transmitter 50 (see FIG. 2B) has the same components as the terminal 80, detailed description thereof will be omitted. The
次に、無人航空機100の飛行制御の指示に関する機能について説明する。
Next, the function related to the instruction of the flight control of the unmanned
端末80の端末制御部81は、無人航空機100の飛行制御の指示に関する処理を行う。無人航空機100の撮像部220又は撮像部230は、例えば地面方向(重力方向)に沿う方向を、撮像(空撮)する。無人航空機100のUAV制御部110は、通信インタフェース150を介して、撮像部220又は撮像部230で撮像された撮像画像の画像データを端末80に送信する。なお、撮像部220,230は、画角が固定された単焦点レンズ(単眼レンズ)を有してもよいし、ズームレンズを有してもよい。
The
端末80の端末制御部81は、通信部85を介して無人航空機100から撮像画像を取得し、メモリ87に記憶させる。端末制御部81は、操作部83(例えばタッチパネルTP)を介して、無人航空機100により撮像される撮像画像の撮像範囲CR(CR1,CR2,…)を変更するための変更操作の情報を取得する。変更操作は、撮像範囲CRのサイズを変更するためのピンチイン操作及びピンチアウト操作、撮像範囲CRを回転させるためのツイスト操作、撮像範囲CRを移動させるためのフリック操作、等を含んでよい。端末制御部81は、変更操作に基づいて、無人航空機100の飛行の制御を指示する。端末制御部81は、撮像範囲CRを変更する場合、無人航空機100に対し、例えば後述する第1動作例〜第5動作例で示すように、各種の移動制御の指示を行ってよい。
The
(第1の動作例)
図6は、端末80のタッチパネルTPに対するピンチイン操作によって、撮像範囲CRのサイズを拡大させる動作例(第1動作例)を示す図である。第1動作例では、端末制御部81は、ピンチイン操作に応じて、無人航空機100を上昇させる。
(First operation example)
FIG. 6 is a diagram showing an operation example (first operation example) of increasing the size of the imaging range CR by a pinch-in operation on the touch panel TP of the terminal 80. In the first operation example, the
ピンチイン操作では、例えば、端末制御部81は、タッチパネルTPにおける2つの位置に対する入力の情報を2つの時点で取得し、入力された2つの位置の間の距離を2つの時点でそれぞれ算出する。2つの時点のうち後の時点の距離が前の時点の距離より短い場合、端末制御部81は、ピンチイン操作を検出する。
In the pinch-in operation, for example, the
ユーザは、タッチパネルTPに対し、2本の指(例えば親指fg1と人差し指fg2)をタッチした状態で狭めるピンチイン操作を行う。端末制御部81は、タッチパネルTPを介してピンチイン操作及びその操作量を検出する。端末制御部81は、ピンチイン操作を検出すると、その操作量に対応する上昇距離を算出する。上昇距離は、無人航空機100の飛行高度を高くして上昇するための無人航空機100の移動距離でよい。例えば、操作量が大きい程、上昇距離が長く、操作量が小さい程、上昇距離が短くてよい。
The user performs a pinch-in operation of narrowing the touch panel TP while touching two fingers (for example, thumb fg1 and index finger fg2). The
端末制御部81は、無人航空機100に対し、通信部85を介して、算出した上昇距離分の上昇を指示するための指示情報を送信する。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信する。UAV制御部110は、受信した指示情報に従って、回転翼機構210を駆動し、ピンチインの操作量に応じた上昇距離分、無人航空機100を上昇させる。
The
図6では、無人航空機100の撮像部220は、飛行しながら地面方向を撮像しており、つまり重力方向に沿って撮像している。撮像範囲CR1には、道路R1が森M1に囲まれており、道路R1に人物H1が位置している。ピンチイン操作によって、無人航空機100の撮像部220によって撮像される撮像範囲は、無人航空機100の上昇によって拡大し、撮像範囲CR2となる。この結果、タッチパネルTPに表示された人物H1及び道路R1が、ピンチイン操作後においてピンチイン操作前よりも小さくなっている。
In FIG. 6, the
このように、端末制御部81は、撮像範囲CRのサイズを変更するためのピンチイン操作の情報を取得してよい。端末制御部81は、ピンチイン操作に基づいて、水平方向と垂直な方向(高度方向)への無人航空機100の移動(上昇)を指示してよい。
In this way, the
端末80は、例えばズームレンズを有していない場合や、ズームレンズでは被写体の拡大又は縮小が不足する場合、撮像範囲CRを変更するためにデジタルズーム機能を使用することがある。デジタルズーム機能を用いると、撮像範囲CRを拡大できる一方、画質が劣化し得る。これに対し、端末80は、撮像範囲のサイズを変更するために無人航空機100を上昇させるので、無人航空機100により撮像される撮像画像の画質の劣化を抑制できる、また、ユーザは、タッチパネルTPを介して変更操作を行うことで、より直感的に撮像範囲CRを変更できる。
The terminal 80 may use the digital zoom function to change the imaging range CR, for example, when it does not have a zoom lens or when the zoom lens is insufficient to enlarge or reduce the subject. When the digital zoom function is used, the imaging range CR can be expanded, but the image quality can be deteriorated. On the other hand, since the terminal 80 raises the unmanned
(第2の動作例)
図7は、端末80のタッチパネルTPに対するピンチアウト操作によって、撮像範囲CRのサイズを縮小させる動作例(第2動作例)を示す図である。第2動作例では、端末制御部81は、ピンチアウト操作に応じて、無人航空機100を下降させる。
(Second operation example)
FIG. 7 is a diagram showing an operation example (second operation example) of reducing the size of the imaging range CR by a pinch-out operation on the touch panel TP of the terminal 80. In the second operation example, the
ピンチアウト操作では、例えば、端末制御部81は、タッチパネルTPにおける2つの位置に対する入力の情報を2つの時点で取得し、入力された2つの位置の間の距離を2つの時点でそれぞれ算出する。2つの時点のうち後の時点の距離が前の時点の距離より長い場合、端末制御部81は、ピンチアウト操作を検出する。
In the pinch-out operation, for example, the
ユーザは、タッチパネルTPに対し、2本の指(例えば親指fg1と人差し指fg2)をタッチした状態で拡げるピンチアウト操作を行う。端末制御部81は、タッチパネルTPを介してピンチアウト操作及びその操作量を検出する。端末制御部81は、ピンチアウト操作を検出すると、その操作量に対応する下降距離を算出する。下降距離は、無人航空機100の飛行高度を低くして下降するための無人航空機100の移動距離でよい。例えば、操作量が大きい程、下降距離が長く、操作量が小さい程、下降距離が短くてよい。
The user performs a pinch-out operation of touching the touch panel TP with two fingers (for example, thumb fg1 and index finger fg2) to expand the touch panel TP. The
端末制御部81は、無人航空機100に対し、通信部85を介して、算出した下降距離分の下降を指示するための指示情報を送信する。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信する。UAV制御部110は、受信した指示情報に従って、回転翼機構210を駆動し、ピンチアウトの操作量に応じた下降距離分、無人航空機100を下降させる。
The
図7では、無人航空機100の撮像部220は、飛行しながら地面方向を撮像している。撮像範囲CR3には、道路R1が森M1に囲まれており、道路R1に人物H1が位置している。ピンチアウト操作によって、無人航空機100の撮像部220によって撮像される撮像範囲は、無人航空機100の下降によって縮小し、撮像範囲CR4となる。この結果、タッチパネルTPに表示された人物H1及び道路R1が、ピンチアウト操作後においてピンチアウト操作前よりも大きくなっている。
In FIG. 7, the
このように、端末制御部81は、撮像範囲CRのサイズを変更するためのピンチアウト操作の情報を取得してよい。端末制御部81は、ピンチアウト操作に基づいて、水平方向と垂直な方向(高度方向)への無人航空機100の移動(下降)を指示してよい。
In this way, the
端末80は、例えばズームレンズを有していない場合や、ズームレンズでは被写体の拡大又は縮小が不足する場合、撮像範囲CRを変更するためにデジタルズーム機能を使用することがある。デジタルズーム機能を用いると、撮像範囲CRを拡大できる一方、画質が劣化し得る。これに対し、端末80は、撮像範囲のサイズを変更するために無人航空機100を下降させるので、無人航空機100により撮像される撮像画像の画質の劣化を抑制できる、また、ユーザは、タッチパネルTPを介して変更操作を行うことで、より直感的に撮像範囲CRを変更できる。
The terminal 80 may use the digital zoom function to change the imaging range CR, for example, when it does not have a zoom lens or when the zoom lens is insufficient to enlarge or reduce the subject. When the digital zoom function is used, the imaging range CR can be expanded, but the image quality can be deteriorated. On the other hand, since the terminal 80 lowers the unmanned
第1動作例及び第2動作例では、ユーザがピンチイン操作又はピンチアウト操作を行う際、端末制御部81は、操作部83を介して、指移動の操作及びその操作量(操作範囲)の他、指移動の速度を検出してもよい。端末制御部81は、指移動の速度を検出した場合、その指移動の速度に対応する速度で、無人航空機100を上昇又は下降させるよう、速度を指示情報に含めて無人航空機100へ送信してよい。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信してよい。UAV制御部110は、指示情報に従って、指移動の速度に対応する速度で、無人航空機100を上昇又は下降させてよい。
In the first operation example and the second operation example, when the user performs a pinch-in operation or a pinch-out operation, the
これにより、端末80は、ユーザ操作に応じて、撮像範囲CRのサイズを変化させるスピードを任意に変更できる。なお、端末制御部81は、指移動の速度が高速である程、無人航空機100の上昇又は下降の速度を高速にし、指移動の速度が低速である程、無人航空機100の上昇又は下降の速度を低速にしてよい。
As a result, the terminal 80 can arbitrarily change the speed at which the size of the imaging range CR is changed according to the user operation. The
(第3動作例)
図8は、タッチパネルTPに対するツイスト操作によって、撮像範囲CRを回転させる動作例(第3動作例)を示す図である。第3動作例では、端末制御部81は、無人航空機100を、その無人航空機100が所在する位置において、水平方向に回転させる。この場合、無人航空機100が移動せずに無人航空機100の向きを変更してよい。
(Third operation example)
FIG. 8 is a diagram showing an operation example (third operation example) of rotating the imaging range CR by a twist operation on the touch panel TP. In the third operation example, the
ツイスト操作では、例えば、端末制御部81は、タッチパネルTPにおける2つの位置に対する入力の情報を2つの時点で取得し、入力された2つの位置を結ぶ線を上記の2つの時点で取得(例えば算出)する。端末制御部81は、2つの時点で取得された2つの線が成す角度(回転角度)を算出し、算出した角度が閾値th1以上である場合、ツイスト操作を検出してよい。
In the twist operation, for example, the
ユーザは、タッチパネルTPに対し、2本の指(例えば親指fg1と人差し指fg2)をタッチした状態で捻るツイスト操作を行う。端末制御部81は、タッチパネルTPを介して、ツイスト操作及びその操作量を検出する。端末制御部81は、ツイスト操作を検出すると、その操作量に応じた回転角度を算出する。回転角度は、回転前後で無人航空機100が回転する角度、つまり無人航空機100の向きが水平方向において変化する角度を示す。例えば、操作量が大きい程、回転角度が大きく、操作量が小さい程、上昇距離が小さくよい。
The user performs a twist operation on the touch panel TP while touching two fingers (for example, thumb fg1 and index finger fg2). The
端末制御部81は、無人航空機100に対し、通信部85を介して、算出した回転角度分の回転を指示するための指示情報を送信する。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信する。UAV制御部110は、受信した指示情報に従って、回転翼機構210を駆動し、無人航空機100が回転角度分、回転するよう指示する。
The
図8では、無人航空機100の撮像部220は、飛行しながら地面方向を撮像している。撮像範囲CR5には、道路R1が森M1に囲まれており、道路R1に人物H1が位置している。ツイスト操作によって、無人航空機100の撮像部220によって撮像される撮像範囲は、無人航空機100の回転によって回転し、撮像範囲CR6となる。この結果、タッチパネルTPに表示された人物H1及び道路R1が、ピンチアウト操作後においてピンチアウト操作前から回転角度θ1分、回転している。
In FIG. 8, the
回転角度θ1は、例えば、操作前(回転前)のタッチパネルTPに対する親指fg1の接点と人差し指fg2の接点を結ぶ直線と、操作後のタッチパネルTPに対する親指fg1の接点と人差し指fg2の接点を結ぶ直線と、が成す角度でよい。回転角度θ1は、上記2つの直線がなす角度に、所定の演算(例えば所定の係数を乗算)を行った値であってもよい。 The rotation angle θ1 is, for example, a straight line connecting the contact point of the thumb fg1 and the contact point of the index finger fg2 with respect to the touch panel TP before the operation (before rotation) and a straight line connecting the contact point of the thumb fg1 and the contact point of the index finger fg2 with respect to the touch panel TP after the operation. The angle formed by, may be used. The rotation angle θ1 may be a value obtained by performing a predetermined operation (for example, multiplying by a predetermined coefficient) on the angle formed by the above two straight lines.
また、ユーザがツイスト操作を行う際、端末制御部81は、操作部83を介して、指移動の操作及びその操作量の他、指移動の速度を検出してもよい。端末制御部81は、指移動の速度を検出した場合、その指移動の速度に基づいて、無人航空機100の回転速度を決定し、回転速度を含む指示情報を無人航空機100へ送信してよい。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信してよい。UAV制御部110は、指示情報に従って、決定された無人航空機100の回転速度で、無人航空機100を回転させてよい。これにより、端末80は、ユーザ操作に応じて、撮像範囲CRを回転させるスピードを任意に変更できる。
Further, when the user performs a twist operation, the
このように、端末80の端末制御部81は、撮像範囲CRを回転して変更するためのツイスト操作(変更操作の一例)の情報を取得し、ツイスト操作に基づいて、無人航空機100を回転させるよう飛行の制御を指示してよい。
In this way, the
これにより、端末80は、ピンチイン操作又はピンチアウト操作に限らず、タッチパネルTP等への様々の操作方法による操作(例えばツイスト操作)に応じて、無人航空機100が様々な飛行方法により飛行(例えば回転)できる。また、端末80は、ユーザ操作に応じて撮像範囲CRを回転できるので、ユーザ所望に直感的に撮像範囲CRを回転できる。
As a result, the terminal 80 is not limited to the pinch-in operation or the pinch-out operation, and the unmanned
また、端末制御部81は、ツイスト操作の操作量に基づいて、無人航空機100を回転させる回転角度θを1決定してよい。これにより、端末80は、ユーザが意図したツイスト操作の操作量の分だけ無人航空機100の回転を指示するので、ユーザが意図した回転量で回転した撮像範囲CRに変更でき、更に直感的に無人航空機100を回転させることができる。
Further, the
(第4動作例)
図9は、タッチパネルTPに対するフリック操作によって、撮像範囲CRを移動させる動作例(第4動作例)を示す図である。第4動作例では、端末制御部81は、無人航空機100を所望の方向に所定距離だけ移動させる。
(Fourth operation example)
FIG. 9 is a diagram showing an operation example (fourth operation example) of moving the imaging range CR by flicking the touch panel TP. In the fourth operation example, the
フリック操作では、例えば、端末制御部81は、タッチパネルTPにおける1つの位置に対する入力を2つの時点で取得する。端末制御部81は、例えば、この2つの時点の間において入力位置が連続的に変化していることを検出すると、フリック操作を検出する。
In the flick operation, for example, the
ユーザは、タッチパネルTPに対し、1本の指(例えば人差し指fg2)をタッチして弾くフリック操作を行う。端末制御部81は、タッチパネルTPを介して、人差し指fg2の接触開始点tiと接触終了点toを基に、フリック操作及びその操作量を検出する。端末制御部81は、フリック操作を検出すると、その操作量に応じた無人航空機100の移動距離を算出する。この移動距離は、無人航空機100の水平方向への移動距離でよい。例えば、操作量が大きい程、移動距離が長く、操作量が小さい程、移動距離が短くてよい。
The user performs a flick operation of touching and flipping one finger (for example, the index finger fg2) on the touch panel TP. The
また、端末制御部81は、フリック操作に応じた無人航空機100の移動方向αを決定してよい。端末制御部81は、タッチパネルTPにおける接触開始点tiの位置及び接触終了点toの位置に基づいて、無人航空機100の移動方向を決定してよい。例えば、端末制御部81は、タッチパネルTPに表示された接触開始点tiに対応する実空間の位置から接触終了点toに対応する実空間の位置に向かう方向を、無人航空機100の移動方向αとしてよい。この結果、タッチパネルTiに表示される被写体の位置は、無人航空機100の移動方向αと逆方向に移動してよい。
Further, the
端末制御部81は、無人航空機100に対し、通信部85を介して、移動方向αへの算出した移動距離の移動を指示するための指示情報を送信する。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信する。UAV制御部110は、受信した指示情報に従って、回転翼機構210を駆動し、フリック操作に応じた移動方向αへ移動距離分、無人航空機100を移動させる。
The
図9では、無人航空機100の撮像部220は、飛行しながら地面方向を撮像している。撮像範囲CR7には、道路R1が森M1に囲まれており、道路R1に人物H1が位置している。無人航空機100の撮像部220によって撮像される撮像範囲は、フリック操作によって移動し、撮像範囲CR8となる。この結果、タッチパネルTPに表示された道路R1上の人物H1が、フリック操作前とフリック操作後とを比較すると、無人航空機100の移動方向α(図9では右上方向)とは逆方向(図9では左下方向)に移動している。
In FIG. 9, the
また、ユーザがフリック操作を行う際、端末制御部81は、操作部83を介して、指移動の操作及びその操作量の他、指移動の速度を検出してもよい。端末制御部81は、指移動の速度を検出した場合、その指移動の速度に対応する移動初速度で、無人航空機100が移動するよう、移動速度を指示情報に含めて無人航空機100へ送信してよい。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信してよい。UAV制御部110は、指示情報に従って、指移動の速度に対応する移動初速度で、無人航空機100を移動させてよい。これにより、端末80は、ユーザ操作に応じて、撮像範囲CRを移動させるスピードを任意に変更できる。なお、無人航空機100は、フリック操作に基づいて、最初は移動初速度で移動し、移動方向と逆方向の加速度を受けて移動速度を小さくしながら移動してよい。したがって、移動距離は、タッチパネルTPに表示された接触開始点tiに対応する実空間の位置と接触終了点toに対応する実空間の位置との距離よりも長くてもよい。
Further, when the user performs a flick operation, the
このように、端末80の端末制御部81は、撮像範囲CRを他の地理的範囲に移動して変更するためのフリック操作の情報を取得し、フリック操作に基づいて、無人航空機100を移動させるよう飛行の制御を指示してよい。
In this way, the
これにより、端末80は、ピンチイン操作又はピンチアウト操作に限らず、タッチパネルTP等への様々の操作方法による操作(例えばフリック操作)に応じて、無人航空機100が様々な飛行方法により飛行(例えば移動)できる。また、端末80は、ユーザ操作に応じて撮像範囲CRの地理的範囲を変更できるので、ユーザ所望に直感的に撮像範囲CRを移動できる。
As a result, the terminal 80 is not limited to the pinch-in operation or the pinch-out operation, and the unmanned
また、フリック操作の情報は、フリック操作の操作量及び操作方向の情報を含んでよい。端末制御部81は、フリック操作の操作量に基づいて、無人航空機100の移動量(移動距離)及び移動方向を決定してよい。これにより、端末80は、ユーザが意図したフリック操作の操作量の分だけ無人航空機100の移動を指示するので、ユーザが意図した移動量で移動した撮像範囲CRに変更でき、更に直感的に無人航空機100を回転させることができる。
Further, the flick operation information may include information on the operation amount and operation direction of the flick operation. The
(第5動作例)
図10は、端末80のタッチパネルTPに対するタッチ位置及び変更操作を加味して、撮像範囲CRを変更する動作例(第5動作例)を示す図である。第5動作例では、端末制御部81は、タッチパネルTPに対するタッチ位置及び変更操作に応じて、無人航空機100を飛行(例えば移動)させる。ここでは、変更操作の一例としてピンチアウト操作について主に説明するが、他の変更操作に適用されてもよい。
(Fifth operation example)
FIG. 10 is a diagram showing an operation example (fifth operation example) of changing the imaging range CR in consideration of the touch position and the change operation with respect to the touch panel TP of the terminal 80. In the fifth operation example, the
端末80の端末制御部81は、タッチパネルTPに、撮像画像を表示させる。ユーザは、タッチパネルTPにおける任意の位置(タッチ位置tp)を操作(例えば接触、押下、近接)し、ピンチアウト操作を行う。端末制御部81は、タッチパネルTPを介して、タッチ位置、ピンチアウト操作及びその操作量を検出する。端末制御部81は、タッチ位置tpに基づいて、タッチ位置tpがタッチパネルTPの中心位置cpに移動させるための移動情報を生成する。
The
この移動情報は、移動距離や移動方向の情報を含んでよい。例えば、端末制御部81は、タッチパネルTPに対するタッチ位置tpとタッチパネルTPの中心位置cpとの距離と、タッチパネルの中心位置cpに対するタッチ位置tpの方向とに基づいて、移動情報を生成してよい。この場合、端末制御部81は、タッチパネルTPの中心位置cpに対応する実空間の位置から、タッチパネルTPに対するタッチ位置tpに相当する実空間の位置に向かう方向を、無人航空機100の移動方向としてよい。
This movement information may include information on the movement distance and the movement direction. For example, the
端末制御部81は、無人航空機100に対し、通信部85を介して、生成した移動情報とピンチアウト操作に基づく下降距離の情報とを含む指示情報を送信する。無人航空機100のUAV制御部110は、通信インタフェース150を介して、この指示情報を受信する。UAV制御部110は、受信した指示情報に含まれる移動情報及び下降距離に従って、無人航空機100の飛行の制御を指示する。この場合、UAV制御部110は、移動情報の移動方向に移動距離分、無人航空機100を水平方向に移動させ、ピンチアウトの操作量に応じた下降距離分、無人航空機100を下降させる。
The
図10では、無人航空機100の撮像部220は、飛行しながら地面方向を撮像している。撮像範囲CR9には、道路R1が森M1に囲まれており、道路R1に人物H1が位置している。タッチパネルTPのタッチ位置tpに対するピンチイン操作によって、無人航空機100が移動及び下降するので、無人航空機100の撮像部220によって撮像される撮像範囲は、移動して縮小し、撮像範囲CR10となる。この結果、タッチパネルTPに表示された人物H1及び道路R1は、タッチパネルTPの中心位置cpへ移動し、人物H1及び道路R1が、ピンチアウト操作後においてピンチアウト操作前よりも大きくなっている。
In FIG. 10, the
図11A及び図11Bは、タッチ位置tpに基づく無人航空機100の水平方向の移動を説明するための図である。
11A and 11B are diagrams for explaining the horizontal movement of the unmanned
図11Aには、タッチパネルTPの中心位置cpよりも右側に、人物H1が表示されている。ユーザが人物H1に対してタッチすると、端末制御部81は、人物H1の位置をタッチ位置tpとして検出する。なお、図11において、タッチパネルTPの中心位置cpからタッチパネルTPの左右方向の端部までの距離を「A」とし、タッチパネルTPの中心位置cpからタッチ位置tp(人物H1の表示位置)までの距離を「B」とする。この場合、タッチパネルTPの左右方向の長さは2×Aとなる。
In FIG. 11A, the person H1 is displayed on the right side of the center position cp of the touch panel TP. When the user touches the person H1, the
図11Bには、実空間における無人航空機100と人物H1との位置関係が示されている。無人航空機100の飛行高度を「H」とする。無人航空機100が飛行する位置に対応する地上の位置と人物H1がいる地上の位置との距離を、「x」とする。無人航空機100の撮像部220又は撮像部230の画角が「2×θ2」であるとする。この場合、無人航空機100の撮像部220又は撮像部230が重力方向に沿って撮像している場合、つまり真下を撮像している場合、無人航空機100を通り重力方向に沿う線L1と、無人航空機100を通り撮像範囲CRの外縁(画角)を示す線L2と、の成す角度は、撮像部220又は撮像部230の画角の半分であり、「θ2」となる。
FIG. 11B shows the positional relationship between the unmanned
この場合、タッチパネルTPにおける距離A、距離B、実空間における距離x、飛行高度H、角度θ2の関係性は、以下の式により表されてよい。
B/A = x/(H×tanθ2)
したがって、端末制御部81は、距離xを、以下の式に従って算出してよい。
x = (B/A)×(H×tanθ2)
In this case, the relationship between the distance A and the distance B in the touch panel TP, the distance x in the real space, the flight altitude H, and the angle θ2 may be expressed by the following equation.
B / A = x / (H × tan θ2)
Therefore, the
x = (B / A) × (H × tan θ2)
無人航空機100は、無人航空機100の飛行位置に対応する地上の位置から、人物H1がいる地上の位置まで、水平方向に移動することで、人物H1が、撮像部220又は撮像部230により撮像される撮像範囲CRの中心位置に移動する。よって、タッチパネルTPに表示される撮像画像の中心位置cpに、人物H1が移動する。したがって、タッチパネルTPにおけるタッチ位置tpを中心位置cpとするための移動情報に含まれる移動距離は、距離xでよい。また、移動情報に含まれる移動方向は、無人航空機100の位置から、タッチ位置tpに対応する人物H1の位置に向かう方向でよい。
The unmanned
なお、端末制御部81は、地面に沿う2次元平面において、2次元平面におけるいずれかの1方向(例えば図10の左右方向又は上下方向)において、タッチパネルTPに対するタッチ位置tpに対応する位置がタッチパネルTPの中心位置cpに対応する位置と一致するように、移動情報を生成してよい。また、端末制御部81は、2次元平面における2方向(例えば図10の左右方向及び上下方向)の双方において、タッチパネルTPに対するタッチ位置tpがタッチパネルTPの中心位置cpと一致するように、移動情報を生成してよい。
In the
このように、端末制御部81は、変更操作の情報と、タッチパネルTPに対するタッチ位置tp(入力位置の一例)とタッチパネルTPの中心位置cpとの距離と、タッチパネルTPの中心位置cpに対するタッチ位置tpの方向と、に基づいて、無人航空機100の移動を含む飛行の制御を指示してもよい。
In this way, the
これにより、端末80は、タッチ位置tpを中心として変更操作に基づく無人航空機100の移動等を実施できる。変更操作の際のタッチ位置tpは、撮像画像においてユーザが興味を持った位置と推定可能であるので、端末80は、撮像範囲CRにおけるユーザ所望の位置を基準として、撮像範囲CRを変更できる。
As a result, the terminal 80 can move the unmanned
また、タッチ位置tpがタッチパネルTPの端部に近い場合、ピンチアウト操作に基づく表示の拡大によって被写体(例えば人物H1)がタッチパネルTPの画面外となり得る。この場合でも、端末80は、タッチ位置tpがタッチパネルTPの中心位置cpとなるよう調整するので、ピンチアウト操作に基づいて表示を拡大しても、被写体(例えば人物H1)がタッチパネルTPの画面外となることを抑制できる。 Further, when the touch position tp is close to the end of the touch panel TP, the subject (for example, the person H1) may be outside the screen of the touch panel TP by enlarging the display based on the pinch-out operation. Even in this case, since the terminal 80 adjusts the touch position tp to be the center position cp of the touch panel TP, the subject (for example, the person H1) is outside the screen of the touch panel TP even if the display is enlarged based on the pinch-out operation. Can be suppressed.
次に、飛行制御システム10の動作について説明する。
Next, the operation of the
図12は端末80及び無人航空機100の動作手順の第1例を示すシーケンス図である。図12では、無人航空機100が飛行して撮像を行っている状態において、無人航空機100により撮像される撮像範囲CRを変更する動作を示す。ここでは、無人航空機100の動作として、無人航空機100が移動することを例示する。
FIG. 12 is a sequence diagram showing a first example of the operating procedure of the terminal 80 and the unmanned
無人航空機100では、UAV制御部110は、飛行中、撮像部220又は撮像部230に被写体(例えば地面方向)を撮像させ、通信インタフェース150を介して、撮像により得られた撮像画像の画像データを端末80に送信する(S11)。
In the unmanned
端末80では、端末制御部81は、通信部85を介して無人航空機100から撮像画像(第1の撮像画像の一例)を受信して取得する(S1)。また、端末制御部81は、通信部85を介して無人航空機100から撮像画像に関する付加情報を受信して取得する。付加情報には、撮像画像の撮像範囲CR(第1の撮像範囲の一例)の情報が含まれる。端末制御部81は、取得された撮像画像をタッチパネルTPに表示させる(S2)。
In the terminal 80, the
端末制御部81は、タッチパネルTPを介して、撮像範囲SAを変更するための変更操作の情報を取得する(S3)。変更操作は、例えば、ピンチイン操作、ピンチアウト操作、ツイスト操作、又はフリック操作を含む。端末制御部81は、変更操作に基づき、無人航空機100の移動を制御するための移動制御情報を生成し、生成した移動制御情報を無人航空機100に送信する(S4)。この移動制御情報は、例えば上述の指示情報に相当する。
The
端末制御部81は、撮像範囲CRを変更するための変更操作が終了したか否か判別する(S5)。変更操作が終了したか否かは、例えば、変更操作のためのタッチパネルTPへのユーザ操作が終了したか否かによって判定されてよく、変更操作のために接触していたユーザの指がタッチパネルTPから離れたか否かによって判定されてよい。変更操作を終了しない場合、端末制御部81は、S1の処理に戻る。変更操作を終了する場合、端末制御部81は本動作を終了する。
The
無人航空機100では、UAV制御部110は、通信インタフェース150を介して、端末80から移動制御情報を受信する(S12)。UAV制御部110は、回転翼機構210を駆動し、無人航空機100を移動制御情報に基づいて、無人航空機を移動させる(S13)。そして、UAV制御部110は、S11の処理に戻る。
In the unmanned
このように、端末80の端末制御部81は、無人航空機100により撮像された撮像画像を取得する。端末制御部81は、撮像画像の撮像範囲CRを変更するための変更操作の情報を取得する。端末制御部81は、変更操作に基づいて、無人航空機100の飛行の制御を指示する。
In this way, the
これにより、端末80は、変更操作に基づいて無人航空機100の移動等の飛行の制御を指示できる。そのため、例えば、無人航空機100を移動させずに無人航空機100が有するデジタルズームを利用して撮像範囲CRを変更する場合と比較して、端末80は、撮像画像の画質が劣化することを抑制できる。また、端末80は、ユーザ操作により撮像範囲CRの変更を指示することで、より直感的に無人航空機100の飛行制御を指示できる。
As a result, the terminal 80 can instruct flight control such as movement of the unmanned
また、図12では、端末制御部81は、S4において変更操作に基づいて移動制御情報を生成して送信し、S5において変更操作が終了するまで、S4における変更操作に基づく移動制御情報の生成及び送信を反復する。つまり、端末制御部81は、変更操作の情報の取得が終了するまで、変更操作に基づく無人航空機100の飛行の制御の指示を反復して実行してよい。
Further, in FIG. 12, the
これにより、端末80は、変更操作を継続しながら、無人航空機100を順次移動させることができる。端末80が、移動した無人航空機100により撮像された撮像画像を順次表示することで、ユーザは、所望の撮像画像となっているかを表示によって直接確認しながら、変更操作の終了のタイミングを図ることができる。また、端末80は、変更操作の終了を待って無人航空機100を移動させるよりも、無人航空機100を高速に移動させることができる。
As a result, the terminal 80 can sequentially move the unmanned
なお、図12とは異なり、端末制御部81は、変更操作の情報の取得が終了した後に、変更操作に基づく無人航空機100の飛行の制御を指示してもよい。
Note that, unlike FIG. 12, the
これにより、端末80は、変更操作が終了してから、無人航空機100を一度に移動させることができる。よって、端末80は、変更操作の操作中に無人航空機100を順次移動させるよりも、端末80と無人航空機100との間の通信量を削減でき、ネットワーク負荷を低減できる。
As a result, the terminal 80 can move the unmanned
なお、図12では、無人航空機100を移動させる場合を例示したが、図12の動作手順は移動以外の飛行制御(例えば無人航空機100を回転させる場合)にも適用可能である。
Although FIG. 12 illustrates the case where the unmanned
本実施形態の飛行制御指示は、無人航空機100により実施されてもよい。この場合、無人航空機100のUAV制御部110が、端末80の端末制御部81が有する飛行制御の指示に関する機能と同様の機能を有する。UAV制御部110は、処理部の一例である。端末制御部81は、飛行制御の指示に関する処理を行う。なお、UAV制御部110による飛行制御の指示に関する処理において、端末制御部81が行う飛行制御の指示に関する処理と同様の処理については、その説明を省略又は簡略化する。この場合、端末制御部81は、飛行制御の指示を支援するアプリケーションを実行してよい。
The flight control instruction of this embodiment may be carried out by the unmanned
図13は端末80及び無人航空機100の動作手順の第2例を示すシーケンス図である。図13では、無人航空機100が飛行して撮像を行っている状態において、無人航空機100により撮像される撮像範囲CRを変更する動作を示す。ここでは、無人航空機100の動作として、無人航空機100が移動することを例示する。
FIG. 13 is a sequence diagram showing a second example of the operating procedure of the terminal 80 and the unmanned
まず、無人航空機100では、UAV制御部110は、S11の処理を行う。
First, in the unmanned
端末80では、端末制御部81は、S1〜S3の処理を行う。端末制御部81は、変更操作の情報を無人航空機100へ送信する(S21)。そして、端末制御部81は、S5の処理を行い、変更操作を終了しない場合、端末制御部81は、S1の処理に戻る。変更操作を終了する場合、端末制御部81は本動作を終了する。
In the terminal 80, the
無人航空機100では、UAV制御部110は、通信インタフェース150を介して、端末80から変更操作の情報を受信する(S31)。UAV制御部110は、変更操作の情報に基づいて、移動制御情報を生成する(S32)。この移動制御情報は、例えば上述の指示情報に相当する。UAV制御部110は、回転翼機構210を駆動し、移動制御情報に基づいて、無人航空機を移動させる(S13)。そして、UAV制御部110は、S11の処理に戻る。
In the unmanned
このように、無人航空機100のUAV制御部110は、撮像部220又は撮像部230により撮像された撮像画像を取得する。UAV制御部110は、撮像画像の撮像範囲CRを変更するための変更操作の情報を取得する。UAV制御部110は、変更操作に基づいて、無人航空機100の飛行の制御を指示する。
In this way, the
これにより、無人航空機100は、変更操作に基づいて無人航空機100の移動等の飛行の制御を指示し、指示に基づいて飛行制御できる。そのため、無人航空機100は、例えば、無人航空機100を移動させずに無人航空機100が有するデジタルズームを利用して撮像範囲CRを変更する場合と比較して、撮像画像の画質が劣化することを抑制できる。また、無人航空機100は、ユーザ操作により撮像範囲CRの変更を指示するための変更操作の情報に基づいて飛行制御を指示することで、より直感的に無人航空機100の飛行制御を指示できる。また、端末80は、撮像範囲CRを変更するための各種表示や各種操作の受け付けを行うことができ、変更操作に基づく無人航空機100の飛行制御の指示を支援できる。
As a result, the unmanned
なお、図13では、無人航空機100を移動させる場合を例示したが、図13の動作手順は移動以外の飛行制御(例えば無人航空機100を回転させる場合)にも適用可能である。
Although FIG. 13 illustrates the case where the unmanned
以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。 Although the present disclosure has been described above using the embodiments, the technical scope of the present disclosure is not limited to the scope described in the above-described embodiments. It will be apparent to those skilled in the art to make various changes or improvements to the embodiments described above. It is clear from the description of the claims that the form with such changes or improvements may be included in the technical scope of the present disclosure.
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process such as operation, procedure, step, and step in the device, system, program, and method shown in the claims, the specification, and the drawing is particularly "before" and "prior to". As long as the output of the previous process is not used in the subsequent process, it can be realized in any order. Even if the scope of claims, the specification, and the operation flow in the drawings are explained using "first", "next", etc. for convenience, it means that it is essential to carry out in this order. is not it.
上記実施形態では、無人航空機100が上方から地面に向かって(つまり重力方向に沿って)撮像する場合を主に示した。なお、無人航空機100は、重力方向以外の方向を撮像してもよい。例えば、無人航空機100が重力方向に配列された場合、水平方向に存在する被写体を撮像する場合、又は無人航空機100が重力方向や水平方向に対して角度を有して配列された場合においても、本実施形態を適用可能である。この場合、上記(地面を撮像する場合)の重力方向(高度方向)の移動は、被写体の方向である撮像方向に沿った移動となり、上記の水平方向の移動は、撮像方向に垂直な方向に沿った移動となる。
In the above embodiment, the case where the unmanned
10 飛行制御システム
50 送信機
80 端末
81 端末制御部
83 操作部
85 通信部
87 メモリ
88 表示部
89 ストレージ
100 無人航空機
110 UAV制御部
150 通信インタフェース
160 メモリ
170 ストレージ
200 ジンバル
210 回転翼機構
220,230 撮像部
240 GPS受信機
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
280 超音波センサ
290 レーザー測定器
CR1,CR2,CR3,CR4,CR5,CR6,CR7,CR8,CR9,CR10 撮像範囲
10
Claims (22)
処理部と操作部とを備え、
前記処理部は、
前記飛行体により撮像された第1の撮像画像を取得し、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得し、
前記変更操作に基づいて、前記飛行体を回転させるよう飛行の制御を指示し、
前記変更操作の情報は、前記操作部に対する指移動の速度の情報を含み、
前記処理部は、前記指移動の速度に基づく回転速度で前記飛行体が回転するよう、前記飛行の制御を指示する、
情報処理装置。 An information processing device that directs the control of the flight of an air vehicle.
Equipped with a processing unit and an operation unit
The processing unit
The first captured image captured by the flying object is acquired, and the first captured image is acquired.
The information of the change operation for rotating and changing the first imaging range, which is the imaging range of the first captured image, is acquired.
Based on the change operation, the flight control is instructed to rotate the flying object, and the flight is instructed to rotate.
The information on the change operation includes information on the speed of finger movement with respect to the operation unit.
The processing unit instructs the control of the flight so that the flying object rotates at a rotation speed based on the speed of the finger movement.
Information processing device.
前記処理部は、前記変更操作の操作量に基づいて、前記飛行体を回転させる回転角度を決定する、
請求項1に記載の情報処理装置。 The change operation information includes information on the operation amount of the change operation.
The processing unit determines the rotation angle at which the flying object is rotated based on the operation amount of the change operation.
The information processing device according to claim 1.
処理部と操作部とを備え、
前記処理部は、
前記飛行体により撮像された第1の撮像画像を取得し、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得し、
前記変更操作に基づいて、前記飛行体を移動させるよう飛行の制御を指示し、
前記変更操作の情報は、前記操作部に対する指移動の速度の情報を含み、
前記処理部は、前記指移動の速度に対応する移動速度で前記飛行体が移動するよう、前記飛行の制御を指示する、
情報処理装置。 An information processing device that directs the control of the flight of an air vehicle.
Equipped with a processing unit and an operation unit
The processing unit
The first captured image captured by the flying object is acquired, and the first captured image is acquired.
Information on a change operation for moving and changing the first imaging range, which is the imaging range of the first captured image, to another geographical range is acquired.
Based on the change operation, the flight control is instructed to move the flying object, and the flight is instructed to move.
The information on the change operation includes information on the speed of finger movement with respect to the operation unit.
The processing unit instructs the control of the flight so that the flying object moves at a moving speed corresponding to the speed of the finger movement.
Information processing device.
前記処理部は、前記変更操作の操作量及び操作方向に基づいて、前記飛行体の移動量及び移動方向を決定する、
請求項3に記載の情報処理装置。 The change operation information includes information on the operation amount and operation direction of the change operation.
The processing unit determines the moving amount and moving direction of the flying object based on the operating amount and operating direction of the changing operation.
The information processing device according to claim 3.
請求項3または4に記載の情報処理装置。 The change operation is a flick operation.
The information processing device according to claim 3 or 4.
請求項5に記載の情報処理装置。The information processing device according to claim 5.
前記処理部は、
前記第1の撮像画像を前記表示部に表示させ、
前記操作部に対する入力に基づく前記変更操作の情報を取得し、
前記変更操作の情報と、前記操作部に対する入力位置と前記操作部の中心位置との距離と、前記操作部の前記中心位置に対する前記入力位置の方向と、に基づいて、前記飛行体の移動を含む飛行の制御を指示する、
請求項1〜6のいずれか1項に記載の情報処理装置。 Further equipped with a display
The processing unit
The first captured image is displayed on the display unit, and the first captured image is displayed on the display unit.
Acquire the information of the change operation based on the input to the operation unit, and obtain the information.
The movement of the flying object is performed based on the information of the change operation, the distance between the input position with respect to the operation unit and the center position of the operation unit, and the direction of the input position with respect to the center position of the operation unit. Instruct flight control, including
The information processing device according to any one of claims 1 to 6.
請求項1〜7のいずれか1項に記載の情報処理装置。 The processing unit repeatedly executes instructions for controlling the flight of the flying object based on the changing operation until the acquisition of information on the changing operation is completed.
The information processing device according to any one of claims 1 to 7.
請求項1〜7のいずれか1項に記載の情報処理装置。 The processing unit instructs the flight control of the flying object based on the changing operation after the acquisition of the information of the changing operation is completed.
The information processing device according to any one of claims 1 to 7.
前記飛行体により撮像された第1の撮像画像を取得するステップと、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記飛行体を回転させるよう飛行の制御を指示するステップと、
を有し、
前記変更操作の情報は、前記情報処理装置が備える操作部に対する指移動の速度の情報を含み、
前記飛行の制御を指示するステップは、前記指移動の速度に基づく回転速度で前記飛行体が回転するよう、前記飛行の制御を指示するステップを含む、
飛行制御指示方法。 It is a flight control instruction method in an information processing device that instructs the flight control of an air vehicle.
The step of acquiring the first captured image captured by the flying object, and
A step of acquiring information on a change operation for rotating and changing the first imaging range, which is the imaging range of the first captured image, and
Based on the change operation, a step of instructing flight control to rotate the flying object, and
Have a,
The information of the change operation includes information on the speed of finger movement with respect to the operation unit included in the information processing apparatus.
The step of instructing the control of the flight includes a step of instructing the control of the flight so that the flying object rotates at a rotation speed based on the speed of the finger movement.
Flight control instruction method.
前記飛行の制御を指示するステップは、前記変更操作の操作量に基づいて、前記飛行体を回転させる回転角度を決定するステップを含む、
請求項10に記載の飛行制御指示方法。 The change operation information includes information on the operation amount of the change operation.
The step of instructing the control of the flight includes a step of determining a rotation angle for rotating the flying object based on the operation amount of the change operation.
The flight control instruction method according to claim 10.
前記飛行体により撮像された第1の撮像画像を取得するステップと、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記飛行体を移動させるよう飛行の制御を指示するステップと、
を有し、
前記変更操作の情報は、前記情報処理装置が備える操作部に対する指移動の速度の情報を含み、
前記飛行の制御を指示するステップは、前記指移動の速度に対応する移動速度で前記飛行体が移動するよう、前記飛行の制御を指示するステップを含む、
飛行制御指示方法。 It is a flight control instruction method in an information processing device that instructs the flight control of an air vehicle.
The step of acquiring the first captured image captured by the flying object, and
A step of acquiring information on a change operation for moving and changing the first imaging range, which is the imaging range of the first captured image, to another geographical range, and
A step of instructing flight control to move the flying object based on the changing operation, and
Have a,
The information of the change operation includes information on the speed of finger movement with respect to the operation unit included in the information processing apparatus.
The step of instructing the control of the flight includes a step of instructing the control of the flight so that the flying object moves at a movement speed corresponding to the speed of the finger movement.
Flight control instruction method.
前記飛行の制御を指示するステップは、前記変更操作の操作量及び操作方向に基づいて、前記飛行体の移動量及び移動方向を決定するステップを含む、
請求項12に記載の飛行制御指示方法。 The change operation information includes information on the operation amount and operation direction of the change operation.
The step of instructing the control of the flight includes a step of determining the movement amount and the movement direction of the flying object based on the operation amount and the operation direction of the change operation.
The flight control instruction method according to claim 12.
請求項12または13に記載の飛行制御指示方法。 The change operation is a flick operation.
The flight control instruction method according to claim 12 or 13.
請求項14に記載の飛行制御指示方法。The flight control instruction method according to claim 14.
前記変更操作の情報を取得するステップは、前記操作部に対する入力に基づく前記変更操作の情報を取得するステップを含み、
前記飛行の制御を指示するステップは、前記変更操作の情報と、前記操作部に対する入力位置と前記操作部の中心位置との距離と、前記操作部の前記中心位置に対する前記入力位置の方向と、に基づいて、前記飛行体の移動を含む飛行の制御を指示するステップを含む、
請求項10〜15のいずれか1項に記載の飛行制御指示方法。 Further including a step of displaying the first captured image on a display unit included in the flying object.
The step of acquiring the information of the change operation includes a step of acquiring the information of the change operation based on the input to the operation unit.
The step of instructing the control of the flight, and the operation of changing information, the distance between the center position of the operation unit and an input position relative to the operating unit, the direction of the input position with respect to the central position of the operating unit, Including a step of instructing control of the flight, including the movement of the flying object, based on.
The flight control instruction method according to any one of claims 10 to 15.
請求項10〜16のいずれか1項に記載の飛行制御指示方法。 The step of instructing the control of the air vehicle includes a step of repeatedly executing the instruction of controlling the flight of the air vehicle based on the change operation until the acquisition of the information of the change operation is completed.
The flight control instruction method according to any one of claims 10 to 16.
請求項10〜16のいずれか1項に記載の飛行制御指示方法。 The step of instructing the control of the air vehicle includes a step of instructing the control of the flight of the air vehicle based on the change operation after the acquisition of the information of the change operation is completed.
The flight control instruction method according to any one of claims 10 to 16.
前記飛行制御指示方法は、
前記飛行体により撮像された第1の撮像画像を取得するステップと、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記飛行体を回転させるよう飛行の制御を指示するステップと、
を有し、
前記変更操作の情報は、前記情報処理装置が備える操作部に対する指移動の速度の情報を含み、
前記飛行の制御を指示するステップは、前記指移動の速度に基づく回転速度で前記飛行体が回転するよう、前記飛行の制御を指示するステップを含む、
プログラム。 It is a program for causing an information processing device that instructs flight control of an air vehicle to execute a flight control instruction method.
The flight control instruction method is
The step of acquiring the first captured image captured by the flying object, and
A step of acquiring information on a change operation for rotating and changing the first imaging range, which is the imaging range of the first captured image, and
Based on the change operation, a step of instructing flight control to rotate the flying object, and
Have,
The information of the change operation includes information on the speed of finger movement with respect to the operation unit included in the information processing apparatus.
The step of instructing the control of the flight includes a step of instructing the control of the flight so that the flying object rotates at a rotation speed based on the speed of the finger movement.
program.
前記飛行制御指示方法は、
前記飛行体により撮像された第1の撮像画像を取得するステップと、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記飛行体を移動させるよう飛行の制御を指示するステップと、
を有し、
前記変更操作の情報は、前記情報処理装置が備える操作部に対する指移動の速度の情報を含み、
前記飛行の制御を指示するステップは、前記指移動の速度に対応する移動速度で前記飛行体が移動するよう、前記飛行の制御を指示するステップを含む、
プログラム。 It is a program for causing an information processing device that instructs flight control of an air vehicle to execute a flight control instruction method.
The flight control instruction method is
The step of acquiring the first captured image captured by the flying object, and
A step of acquiring information on a change operation for moving and changing the first imaging range, which is the imaging range of the first captured image, to another geographical range, and
A step of instructing flight control to move the flying object based on the changing operation, and
Have,
The information of the change operation includes information on the speed of finger movement with respect to the operation unit included in the information processing apparatus.
The step of instructing the control of the flight includes a step of instructing the control of the flight so that the flying object moves at a movement speed corresponding to the speed of the finger movement.
program.
前記飛行制御指示方法は、
前記飛行体により撮像された第1の撮像画像を取得するステップと、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を回転して変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記飛行体を回転させるよう飛行の制御を指示するステップと、
を有し、
前記変更操作の情報は、前記情報処理装置が備える操作部に対する指移動の速度の情報を含み、
前記飛行の制御を指示するステップは、前記指移動の速度に基づく回転速度で前記飛行体が回転するよう、前記飛行の制御を指示するステップを含む、
記録媒体。 A computer-readable recording medium that records a program for causing an information processing device that instructs flight control of an air vehicle to execute a flight control instruction method.
The flight control instruction method is
The step of acquiring the first captured image captured by the flying object, and
A step of acquiring information on a change operation for rotating and changing the first imaging range, which is the imaging range of the first captured image, and
Based on the change operation, a step of instructing flight control to rotate the flying object, and
Have,
The information of the change operation includes information on the speed of finger movement with respect to the operation unit included in the information processing apparatus.
The step of instructing the control of the flight includes a step of instructing the control of the flight so that the flying object rotates at a rotation speed based on the speed of the finger movement.
recoding media.
前記飛行制御指示方法は、
前記飛行体により撮像された第1の撮像画像を取得するステップと、
前記第1の撮像画像の撮像範囲である第1の撮像範囲を他の地理的範囲に移動して変更するための変更操作の情報を取得するステップと、
前記変更操作に基づいて、前記飛行体を移動させるよう飛行の制御を指示するステップと、
を有し、
前記変更操作の情報は、前記情報処理装置が備える操作部に対する指移動の速度の情報を含み、
前記飛行の制御を指示するステップは、前記指移動の速度に対応する移動速度で前記飛行体が移動するよう、前記飛行の制御を指示するステップを含む、
記録媒体。
A computer-readable recording medium that records a program for causing an information processing device that instructs flight control of an air vehicle to execute a flight control instruction method.
The flight control instruction method is
The step of acquiring the first captured image captured by the flying object, and
A step of acquiring information on a change operation for moving and changing the first imaging range, which is the imaging range of the first captured image, to another geographical range, and
A step of instructing flight control to move the flying object based on the changing operation, and
Have,
The information of the change operation includes information on the speed of finger movement with respect to the operation unit included in the information processing apparatus.
The step of instructing the control of the flight includes a step of instructing the control of the flight so that the flying object moves at a movement speed corresponding to the speed of the finger movement.
recoding media.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017246802A JP6875269B2 (en) | 2017-12-22 | 2017-12-22 | Information processing equipment, flight control instruction method, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017246802A JP6875269B2 (en) | 2017-12-22 | 2017-12-22 | Information processing equipment, flight control instruction method, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019114036A JP2019114036A (en) | 2019-07-11 |
JP6875269B2 true JP6875269B2 (en) | 2021-05-19 |
Family
ID=67222636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017246802A Active JP6875269B2 (en) | 2017-12-22 | 2017-12-22 | Information processing equipment, flight control instruction method, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6875269B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6730764B1 (en) * | 2019-12-26 | 2020-07-29 | 株式会社センシンロボティクス | Flight route display method and information processing apparatus |
WO2021140916A1 (en) * | 2020-01-07 | 2021-07-15 | ソニーグループ株式会社 | Moving body, information processing device, information processing method, and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014212479A (en) * | 2013-04-19 | 2014-11-13 | ソニー株式会社 | Control device, control method, and computer program |
US20160241767A1 (en) * | 2015-02-13 | 2016-08-18 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
JP6470112B2 (en) * | 2015-06-01 | 2019-02-13 | 日本電信電話株式会社 | Mobile device operation terminal, mobile device operation method, and mobile device operation program |
JP6685742B2 (en) * | 2016-02-02 | 2020-04-22 | キヤノン株式会社 | Operating device, moving device, and control system thereof |
JP6707984B2 (en) * | 2016-05-16 | 2020-06-10 | 井関農機株式会社 | Work vehicle control system |
-
2017
- 2017-12-22 JP JP2017246802A patent/JP6875269B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019114036A (en) | 2019-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6962812B2 (en) | Information processing equipment, flight control instruction method, program, and recording medium | |
JP6803800B2 (en) | Information processing device, aerial photography route generation method, aerial photography route generation system, program, and recording medium | |
JP6765512B2 (en) | Flight path generation method, information processing device, flight path generation system, program and recording medium | |
JP6962775B2 (en) | Information processing equipment, aerial photography route generation method, program, and recording medium | |
JP6675537B1 (en) | Flight path generation device, flight path generation method and program, and structure inspection method | |
JP2019511044A (en) | Method and system for motion control of a flying device | |
JP6878194B2 (en) | Mobile platforms, information output methods, programs, and recording media | |
US20200217665A1 (en) | Mobile platform, image capture path generation method, program, and recording medium | |
JP6875196B2 (en) | Mobile platforms, flying objects, support devices, mobile terminals, imaging assist methods, programs, and recording media | |
CN111344650B (en) | Information processing device, flight path generation method, program, and recording medium | |
JP6875269B2 (en) | Information processing equipment, flight control instruction method, program, and recording medium | |
JP6943741B2 (en) | Information processing equipment, flight control instruction method, program, and recording medium | |
US20210185235A1 (en) | Information processing device, imaging control method, program and recording medium | |
US20210229810A1 (en) | Information processing device, flight control method, and flight control system | |
JP7067897B2 (en) | Information processing equipment, flight control instruction method, program, and recording medium | |
JP7004374B1 (en) | Movement route generation method and program of moving object, management server, management system | |
JP6790206B1 (en) | Control devices, control methods, programs, and recording media | |
JP2020095519A (en) | Shape estimation device, shape estimation method, program, and recording medium | |
JP2020003428A (en) | Information processing device, flight path generating method, program, and recording medium | |
US20220166917A1 (en) | Information processing apparatus, information processing method, and program | |
JP2020131768A (en) | Maneuvering system, maneuvering device, maneuvering control method, and program | |
JP2020088821A (en) | Image generation device, image generation method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6875269 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |