JP6329219B2 - Operation terminal and moving body - Google Patents

Operation terminal and moving body Download PDF

Info

Publication number
JP6329219B2
JP6329219B2 JP2016163248A JP2016163248A JP6329219B2 JP 6329219 B2 JP6329219 B2 JP 6329219B2 JP 2016163248 A JP2016163248 A JP 2016163248A JP 2016163248 A JP2016163248 A JP 2016163248A JP 6329219 B2 JP6329219 B2 JP 6329219B2
Authority
JP
Japan
Prior art keywords
display
transmitter
captured image
image
unmanned aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016163248A
Other languages
Japanese (ja)
Other versions
JP2018032958A (en
Inventor
川口　貴義
貴義 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2016163248A priority Critical patent/JP6329219B2/en
Publication of JP2018032958A publication Critical patent/JP2018032958A/en
Application granted granted Critical
Publication of JP6329219B2 publication Critical patent/JP6329219B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、移動体の撮像画像を出力する操作端末と、操作端末により遠隔制御される移動体と、に関する。   The present invention relates to an operation terminal that outputs a captured image of a moving body, and a moving body that is remotely controlled by the operation terminal.

従来、ドローン（drone）等の無人航空機（UAV：Unmanned Aerial Vehicle）の運動（例えば飛行）を遠隔制御するために、操作者により操作端末（例えばリモートコントローラ）が使用される。リモートコントローラは、例えば操作者の両手で把持された状態で使用される。無人航空機は、操作者によるリモートコントローラの操作に応じて、前後、左右、上下、向きの４つの次元による移動を行う。このため、無人航空機の操作には相応の習熟度が求められる。   Conventionally, an operator terminal (for example, a remote controller) is used by an operator to remotely control a motion (for example, flight) of an unmanned aerial vehicle (UAV) such as a drone. For example, the remote controller is used in a state of being held with both hands of the operator. The unmanned aerial vehicle moves according to four dimensions of front and rear, left and right, up and down, and direction according to the operation of the remote controller by the operator. For this reason, a certain level of proficiency is required for operation of unmanned aerial vehicles.

ここで、無人航空機を実際に飛行させるフライト環境と同一の環境において、操作者による無人航空機の移動の遠隔制御を訓練可能とするシミュレーションモード、を提供する技術として、例えば特許文献１が知られている。   Here, for example, Patent Document 1 is known as a technique for providing a simulation mode that enables remote control of movement of an unmanned aircraft by an operator in the same environment as a flight environment in which an unmanned aircraft is actually allowed to fly. Yes.

特許文献１のリモートコントローラは、フライトモードとシミュレーションモードとを使い分けでき、フライトモード下では、実空間での無人航空機の移動を遠隔で制御できる。また、このリモートコントローラは、仮想空間で無人飛行体を移動させるためのシミュレーションモード下で、無人航空機の移動を遠隔で制御可能な操作を受け付ける。また、このリモートコントローラは、有線のケーブル（例えばUSB（Universal Serial Bus）ケーブル）を介して、ディスプレイデバイスに接続されている。ディスプレイデバイスには、シミュレーションモードにおける各種のフライトデータが、視覚的な画像、テキスト又はこれらの組み合わせとして表示される。
特許文献１ 米国特許出願公開第２０１６／００９１８９４号明細書 The remote controller of Patent Document 1 can use the flight mode and the simulation mode properly, and can remotely control the movement of the unmanned aircraft in the real space under the flight mode. Further, the remote controller accepts an operation capable of remotely controlling the movement of the unmanned aircraft in a simulation mode for moving the unmanned air vehicle in the virtual space. The remote controller is connected to the display device via a wired cable (for example, a USB (Universal Serial Bus) cable). On the display device, various flight data in the simulation mode is displayed as a visual image, text, or a combination thereof.
Patent Document 1 US Patent Application Publication No. 2016/0091894

操作者は、特許文献１の構成を用いて、無人航空機に搭載された撮像装置を用いて上空の様子を撮像する（以下、「空撮する」という）際に、次の行動を同時に行う必要があった。第１に、操作者は、無人航空機の移動を遠隔で制御するためにリモートコントローラを操作する。第２に、操作者は、リモートコントローラに接続されたディスプレイデバイスに表示されたフライトデータを見ながら、無人航空機による空撮のための操作を行う。第３に、操作者は、適宜上空を見上げて、無人航空機そのものの所在を目視して確認する。   The operator needs to simultaneously perform the following actions when imaging the state of the sky using the imaging device mounted on the unmanned aerial vehicle (hereinafter referred to as “aerial photography”) using the configuration of Patent Document 1. was there. First, the operator operates a remote controller to remotely control the movement of the unmanned aircraft. Second, the operator performs an operation for aerial photography using an unmanned aerial vehicle while viewing flight data displayed on a display device connected to the remote controller. Third, the operator looks up at the sky as appropriate and visually confirms the location of the unmanned aircraft.

しかしながら、上述した３つの行動を同時に行うことは現実的に困難であり、無人航空機に搭載された撮像装置を用いて空撮する時の操作者の操作時の利便性が良くなかった。   However, it is practically difficult to perform the above three actions at the same time, and it is not convenient for an operator to perform aerial photography using an imaging device mounted on an unmanned aircraft.

一態様において、操作端末は、表示部と接続され、移動体を遠隔制御する操作端末であって、所定の画角で撮像する撮像装置と、撮像装置により撮像された第１撮像画像を表示部に出力する制御部と、を備える。   In one aspect, the operation terminal is an operation terminal that is connected to the display unit and remotely controls the moving body, and includes an imaging device that captures an image at a predetermined angle of view, and a first captured image captured by the imaging device. And a control unit that outputs to

操作端末は、移動体との通信により、移動体により撮像された第２撮像画像を受信する無線通信部、を更に備えてよい。制御部は、第２撮像画像を表示部に出力してよい。   The operation terminal may further include a wireless communication unit that receives a second captured image captured by the mobile body through communication with the mobile body. The control unit may output the second captured image to the display unit.

制御部は、第１撮像画像と第２撮像画像とを表示部に同時に表示させてよい。   The control unit may display the first captured image and the second captured image on the display unit at the same time.

制御部は、第１撮像画像を第２撮像画像より小さく表示部に表示させてよい。   The control unit may display the first captured image smaller than the second captured image on the display unit.

制御部は、第２撮像画像を第１撮像画像より小さく表示部に表示させてよい。   The control unit may cause the display unit to display the second captured image smaller than the first captured image.

制御部は、移動体の移動方向を示す目印を、第１撮像画像に重畳して表示部に表示させてよい。   The control unit may display a mark indicating the moving direction of the moving body on the display unit so as to be superimposed on the first captured image.

制御部は、移動体の位置を示す目印を、第１撮像画像に重畳して表示部に表示させてよい。   The control unit may display a mark indicating the position of the moving body on the display unit so as to be superimposed on the first captured image.

制御部は、第２撮像画像を表示部に全画面表示させてよい。   The control unit may display the second captured image on the display unit in full screen.

制御部は、第１撮像画像を表示部に全画面表示させてよい。   The control unit may display the first captured image on the display unit in full screen.

制御部は、第２撮像画像の全画面表示から第１撮像画像の全画面表示への切替可能な指示部を、第２撮像画像に重畳して表示部に表示させてよい。   The control unit may cause the display unit to display an instruction unit capable of switching from full screen display of the second captured image to full screen display of the first captured image superimposed on the second captured image.

操作端末は、表示部を有する表示端末を保持可能な保持部を更に備えてよい。撮像装置は、保持部の一端に設けられた接続部を介して挿抜自在に取り付けられてよい。   The operation terminal may further include a holding unit capable of holding a display terminal having a display unit. The imaging device may be attached so as to be freely inserted and removed via a connection portion provided at one end of the holding portion.

操作端末は、表示部を有する表示端末を保持可能な保持部を更に備えてよい。撮像装置は、保持部の一端に固定して配置されてよい。   The operation terminal may further include a holding unit capable of holding a display terminal having a display unit. The imaging device may be fixedly disposed at one end of the holding unit.

撮像装置は、操作端末の筐体に固定して配置されてよい。   The imaging device may be fixedly disposed on the casing of the operation terminal.

一態様において、移動体は、操作端末から送信される遠隔制御の指示を基に、移動する。   In one aspect, the moving body moves based on a remote control instruction transmitted from the operation terminal.

一態様において、画像出力システムは、表示部を有する表示端末と、前記表示端末と接続され、移動体を遠隔制御する操作端末と、を備える。操作端末は、所定の画角で撮像する撮像装置を有し、撮像装置により撮像された第１撮像画像を表示端末に出力する。表示端末は、操作端末からの第１撮像画像を表示部に出力する。   In one aspect, an image output system includes a display terminal having a display unit, and an operation terminal connected to the display terminal and remotely controlling a moving body. The operation terminal has an imaging device that captures an image with a predetermined angle of view, and outputs a first captured image captured by the imaging device to the display terminal. The display terminal outputs the first captured image from the operation terminal to the display unit.

操作端末は、移動体との通信により、移動体により撮像された第２撮像画像を受信して表示端末に出力してよい。表示端末は、操作端末からの第２撮像画像を表示部に出力してよい。   The operation terminal may receive the second captured image captured by the moving body and output the second captured image to the display terminal through communication with the moving body. The display terminal may output the second captured image from the operation terminal to the display unit.

操作端末は、表示端末に、第１撮像画像と第２撮像画像とを表示部に同時に表示させてよい。   The operation terminal may cause the display terminal to simultaneously display the first captured image and the second captured image on the display unit.

操作端末は、表示端末に、第１撮像画像を第２撮像画像より小さく表示部に表示させてよい。   The operation terminal may cause the display terminal to display the first captured image smaller than the second captured image on the display unit.

操作端末は、表示端末に、第２撮像画像を第１撮像画像より小さく表示部に表示させてよい。   The operation terminal may cause the display terminal to display the second captured image smaller than the first captured image on the display unit.

操作端末は、表示端末に、移動体の移動方向を示す目印を、第１撮像画像に重畳して表示部に表示させてよい。   The operation terminal may cause the display terminal to display a mark indicating the moving direction of the moving body on the display unit so as to be superimposed on the first captured image.

操作端末は、表示端末に、移動体の位置を示す目印を、第１撮像画像に重畳して表示部に表示させてよい。   The operation terminal may cause the display terminal to display a mark indicating the position of the moving body on the display unit so as to be superimposed on the first captured image.

操作端末は、表示端末に、第２撮像画像を表示部に全画面表示させてよい。   The operation terminal may cause the display terminal to display the second captured image on the display unit in full screen.

操作端末は、表示端末に、第１撮像画像を表示部に全画面表示させてよい。   The operation terminal may cause the display terminal to display the first captured image on the display unit in full screen.

操作端末は、表示端末に、第２撮像画像の全画面表示から第１撮像画像の全画面表示への切替可能な指示部を、第２撮像画像に重畳して表示部に表示させてよい。   The operation terminal may cause the display unit to display an instruction unit capable of switching from full-screen display of the second captured image to full-screen display of the first captured image on the display unit, superimposed on the second captured image.

操作端末は、表示端末に、第１撮像画像における移動体の周囲に移動体の存在を示す目印を表示部に表示させてよい。   The operation terminal may cause the display unit to display a mark indicating the presence of the moving body around the moving body in the first captured image.

操作端末は、撮像装置の所定の画角外に移動体が移動した場合に、表示端末に、撮像装置から得られた移動体の移動方向を示す目印を、第１撮像画像に重畳して表示部に表示させてよい。   When the moving body moves outside the predetermined angle of view of the imaging device, the operation terminal displays a mark indicating the moving direction of the moving body obtained from the imaging device on the display terminal so as to be superimposed on the first captured image. May be displayed on the screen.

操作端末は、撮像装置の所定の画角外にいた移動体が所定の画角内に移動した場合に、表示端末に、撮像装置から得られた移動体の所定の画角内に進入する直前の移動方向を示す目印を、第１撮像画像に重畳して表示部に表示させてよい。   The operation terminal immediately enters the display terminal within the predetermined angle of view of the moving object obtained from the imaging device when the moving object outside the predetermined angle of view of the imaging device moves within the predetermined angle of view. A mark indicating the moving direction may be superimposed on the first captured image and displayed on the display unit.

表示端末は、表示部への画面切替操作に応じて、第１撮像画像を表示部に全画面表示してよい。   The display terminal may display the first captured image in full screen on the display unit in response to a screen switching operation to the display unit.

表示端末は、表示部への画面切替操作に応じて、第２撮像画像を表示部に全画面表示してよい。   The display terminal may display the second captured image on the display unit in full screen in response to a screen switching operation to the display unit.

表示端末は、表示部への画面切替操作に応じて、第１撮像画像を表示部に全画面表示してよい。   The display terminal may display the first captured image in full screen on the display unit in response to a screen switching operation to the display unit.

表示端末は、表示部への画面切替操作に応じて、第２撮像画像を表示部に全画面表示してよい。   The display terminal may display the second captured image on the display unit in full screen in response to a screen switching operation to the display unit.

操作端末は、表示端末に、第１撮像画像と第２撮像画像との同時表示画面への切替可能な指示部を、第２撮像画像に重畳して表示部に表示させてよい。表示端末は、指示部の選択操作に応じて、第１撮像画像を第２撮像画像より小さく表示部に表示してよい。   The operation terminal may cause the display terminal to display an instruction unit capable of switching to the simultaneous display screen of the first captured image and the second captured image superimposed on the second captured image and displayed on the display unit. The display terminal may display the first captured image smaller than the second captured image on the display unit according to the selection operation of the instruction unit.

表示端末は、表示部への画面切替操作に応じて、第１撮像画像と第２撮像画像との同時表示画面への切替可能な指示部を、第２撮像画像に重畳して表示部に表示してよい。   The display terminal displays, on the display unit, an instruction unit that can switch to the simultaneous display screen of the first captured image and the second captured image in a superimposed manner on the second captured image in response to a screen switching operation to the display unit. You can do it.

一態様において、画像出力方法は、表示部と接続され、移動体を遠隔制御する操作端末における画像出力方法であって、操作端末が有する撮像装置により所定の画角で撮像する段階と、撮像装置により撮像された第１撮像画像を表示部に出力する段階と、を備える。   In one aspect, an image output method is an image output method in an operation terminal that is connected to a display unit and remotely controls a moving body, and is configured to capture an image with a predetermined angle of view by an imaging device included in the operation terminal; And outputting the first captured image captured by the step to the display unit.

画像出力方法は、移動体との通信により、移動体により撮像された第２撮像画像を受信する段階と、第２撮像画像を表示部に出力する段階と、を更に備えてよい。   The image output method may further include a step of receiving a second captured image captured by the mobile body and a step of outputting the second captured image to the display unit by communication with the mobile body.

画像出力方法は、第１撮像画像と第２撮像画像とを表示部に同時に表示させる段階、を更に備えてよい。   The image output method may further include a step of simultaneously displaying the first captured image and the second captured image on the display unit.

画像出力方法は、第１撮像画像を第２撮像画像より小さく表示部に表示させる段階、を更に備えてよい。   The image output method may further include a step of displaying the first captured image smaller than the second captured image on the display unit.

画像出力方法は、第２撮像画像を第１撮像画像より小さく表示部に表示させる段階、を更に備えてよい。   The image output method may further include a step of displaying the second captured image smaller than the first captured image on the display unit.

画像出力方法は、移動体の移動方向を示す目印を、第１撮像画像に重畳して表示部に表示させる段階と、を更に備えてよい。   The image output method may further include a step of displaying a mark indicating the moving direction of the moving body on the display unit so as to be superimposed on the first captured image.

画像出力方法は、移動体の位置を示す目印を、第１撮像画像に重畳して表示部に表示させる段階と、を更に備えてよい。   The image output method may further include a step of superimposing a mark indicating the position of the moving body on the first captured image and displaying the mark on the display unit.

画像出力方法は、第２撮像画像を表示部に全画面表示させる段階、を更に備えてよい。   The image output method may further include a step of displaying the second captured image on the display unit in a full screen.

画像出力方法は、第１撮像画像を表示部に全画面表示させる段階、を更に備えてよい。   The image output method may further include a step of displaying the first captured image on the display unit in a full screen.

画像出力方法は、第２撮像画像の全画面表示から第１撮像画像の全画面表示への切替可能な指示部を、第２撮像画像に重畳して表示部に表示させる段階、を更に備えてよい。   The image output method further includes a step of causing the display unit to display an instruction unit capable of switching from full screen display of the second captured image to full screen display of the first captured image on the second captured image. Good.

一態様において、プログラムは、移動体を遠隔制御する操作端末と接続され、表示部を有するコンピュータである表示端末に、操作端末が有する撮像装置により撮像された第１撮像画像を取得する処理と、取得された第１撮像画像を表示部に出力する処理と、を実行させる。   In one aspect, a program is connected to an operation terminal that remotely controls a moving body, and obtains a first captured image captured by an imaging device included in the operation terminal in a display terminal that is a computer having a display unit; And a process of outputting the acquired first captured image to the display unit.

プログラムは、移動体により撮像された第２撮像画像を取得する処理と、取得された第２撮像画像を表示部に出力する処理と、を更に実行させてよい。   The program may further execute processing for acquiring the second captured image captured by the moving body and processing for outputting the acquired second captured image to the display unit.

プログラムは、第１撮像画像と第２撮像画像とを同時に表示部に表示する処理、を更に実行させてよい。   The program may further execute a process of simultaneously displaying the first captured image and the second captured image on the display unit.

プログラムは、第１撮像画像を第２撮像画像より小さく表示部に表示する処理、を更に実行させてよい。   The program may further execute processing for displaying the first captured image smaller than the second captured image on the display unit.

プログラムは、第２撮像画像を第１撮像画像より小さく表示部に表示する処理、を更に実行させてよい。   The program may further execute a process of displaying the second captured image on the display unit smaller than the first captured image.

プログラムは、移動体の移動方向を示す目印を、第１撮像画像に重畳して表示部に表示する処理、を更に実行させてよい。   The program may further execute a process of superimposing a mark indicating the moving direction of the moving body on the first captured image and displaying the mark on the display unit.

プログラムは、移動体の位置情報を示す目印を、第１撮像画像に重畳して表示部に表示する処理、を更に実行させてよい。   The program may further execute a process of superimposing a mark indicating the position information of the moving object on the first captured image and displaying the mark on the display unit.

プログラムは、第２撮像画像を表示部に全画面表示する処理、を更に実行させてよい。   The program may further execute a process of displaying the second captured image on the display unit in a full screen.

プログラムは、第１撮像画像を表示部に全画面表示する処理、を更に実行させてよい。   The program may further execute a process of displaying the first captured image on the display unit on a full screen.

プログラムは、第２撮像画像の全画面表示から第１撮像画像の全画面表示への切替可能な指示部を、第２撮像画像に重畳して表示部に表示する処理、を更に実行させてよい。   The program may further execute a process of superimposing an instruction unit capable of switching from full-screen display of the second captured image to full-screen display of the first captured image on the display unit so as to be superimposed on the second captured image. .

プログラムは、第１撮像画像における移動体の周囲に移動体の存在を示す目印を表示部に表示する処理、を更に実行させてよい。   The program may further execute a process of displaying a mark indicating the presence of the moving body on the display unit around the moving body in the first captured image.

プログラムは、撮像装置の所定の画角外に移動体が移動した場合に、移動体の移動方向を示す目印を、第１撮像画像に重畳して表示部に表示する処理、を更に実行させてよい。   The program further executes a process of superimposing a mark indicating the moving direction of the moving body on the first captured image and displaying it on the display unit when the moving body moves outside a predetermined angle of view of the imaging device. Good.

プログラムは、撮像装置の所定の画角外にいた移動体が所定の画角内に移動した場合に、移動体の所定の画角内に進入する直前の移動方向を示す目印を、第１撮像画像に重畳して表示部に表示する処理、を更に実行させてよい。   When the moving object that has been outside the predetermined angle of view of the imaging apparatus has moved within the predetermined angle of view, the program displays a mark indicating the moving direction immediately before entering the predetermined angle of view of the moving object in the first imaging The process of superimposing on the image and displaying on the display unit may be further executed.

プログラムは、表示部への画面切替操作に応じて、第１撮像画像を表示部に全画面表示する処理、を更に実行させてよい。   The program may further execute a process of displaying the first captured image on the display unit on a full screen in response to a screen switching operation on the display unit.

プログラムは、表示部への画面切替操作に応じて、第２撮像画像を表示部に全画面表示する処理、を更に実行させてよい。   The program may further execute a process of displaying the second captured image on the display unit on a full screen in response to a screen switching operation on the display unit.

プログラムは、表示部への画面切替操作に応じて、第１撮像画像を表示部に全画面表示する処理、を更に実行させてよい。   The program may further execute a process of displaying the first captured image on the display unit on a full screen in response to a screen switching operation on the display unit.

プログラムは、表示部への画面切替操作に応じて、第２撮像画像を表示部に全画面表示する処理、を更に実行させてよい。   The program may further execute a process of displaying the second captured image on the display unit on a full screen in response to a screen switching operation on the display unit.

プログラムは、第１撮像画像と第２撮像画像との同時表示画面への切替可能な指示部を、第２撮像画像に重畳して表示部に表示する処理と、指示部の選択操作に応じて、第１撮像画像を第２撮像画像より小さく表示部に表示する処理、を更に実行させてよい。   The program responds to a process of superimposing the instruction unit that can be switched to the simultaneous display screen of the first captured image and the second captured image on the display unit on the second captured image and a selection operation of the instruction unit. The process of displaying the first captured image smaller than the second captured image on the display unit may be further executed.

プログラムは、表示部への画面切替操作に応じて、第１撮像画像と第２撮像画像との同時表示画面への切替可能な指示部を、第２撮像画像に重畳して表示部に表示する処理、を更に実行させてよい。   The program displays, on the display unit, an instruction unit that can switch to the simultaneous display screen of the first captured image and the second captured image in a superimposed manner on the second captured image in response to a screen switching operation on the display unit. The processing may be further executed.

一態様において、記録媒体は、プログラムが記録されている。   In one aspect, a program is recorded on the recording medium.

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   The summary of the invention does not enumerate all the features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

表示端末（例えばタブレット端末）が装着された送信機の外観の一例を示す斜視図である。It is a perspective view which shows an example of the external appearance of the transmitter with which the display terminal (for example, tablet terminal) was mounted | worn. 表示端末（例えばスマートフォン）が装着された送信機の筐体前面側の外観の一例を示す斜視図である。It is a perspective view which shows an example of the external appearance of the housing | casing front side of the transmitter with which the display terminal (for example, smart phone) was mounted | worn. 表示端末（例えばスマートフォン）が装着された送信機の筐体背面側の外観の一例を示す斜視図である。It is a perspective view which shows an example of the external appearance of the housing | casing back side of the transmitter with which the display terminal (for example, smart phone) was mounted | worn. 送信機カメラと送信機と表示端末との電気的な接続関係の一例を示すブロック図である。It is a block diagram which shows an example of the electrical connection relationship of a transmitter camera, a transmitter, and a display terminal. 送信機カメラの送信機への取付例を示す模式図である。It is a schematic diagram which shows the example of attachment to the transmitter of a transmitter camera. 送信機カメラの送信機への固定例を示す模式図である。It is a schematic diagram which shows the example of fixing to the transmitter of a transmitter camera. 無人航空機の外観の一例を示す図である。It is a figure which shows an example of the external appearance of an unmanned aircraft. 無人航空機の具体的な外観の一例を示す図である。It is a figure which shows an example of the specific external appearance of an unmanned aerial vehicle. 無人航空機のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of an unmanned aerial vehicle. 操作者が送信機と接続された表示端末のディスプレイを閲覧しながら無人航空機を操作する時の一例を示す図The figure which shows an example when an operator operates an unmanned aerial vehicle while browsing the display of the display terminal connected with the transmitter. 送信機カメラ画像とＵＡＶカメラ画像とが共に表示端末のディスプレイに表示された表示例を示す図である。It is a figure which shows the example of a display with which the transmitter camera image and the UAV camera image were both displayed on the display of the display terminal. ＵＡＶカメラ画像が表示端末のディスプレイに全画面表示された第１表示例を示す図である。It is a figure which shows the 1st example of a display in which the UAV camera image was displayed on the full screen on the display of the display terminal. 送信機カメラ画像が表示端末のディスプレイに全画面表示された表示例を示す図である。It is a figure which shows the example of a display in which the transmitter camera image was displayed on the full screen on the display of the display terminal. ＵＡＶカメラ画像が表示端末のディスプレイに全画面表示された第２表示例を示す図である。It is a figure which shows the 2nd display example by which the UAV camera image was displayed on the full screen on the display of the display terminal. 送信機カメラ画像中の無人航空機を強調表示する第１表示例を示す図である。It is a figure which shows the 1st example of a display which highlights the unmanned aircraft in a transmitter camera image. 送信機カメラ画像中の無人航空機を強調表示する第２表示例を示す図である。It is a figure which shows the 2nd example of a display which highlights the unmanned aircraft in a transmitter camera image. 無人航空機が送信機カメラの画角から外れた場合、無人航空機が送信機カメラの画角から外れる直前の無人航空機の移動方向の表示例を示す図である。FIG. 10 is a diagram illustrating a display example of a moving direction of an unmanned aircraft immediately before the unmanned aircraft deviates from the angle of view of the transmitter camera when the unmanned aircraft deviates from the angle of view of the transmitter camera. 送信機カメラの画角から外れていた無人航空機が送信機カメラの画角内に進入した場合、無人航空機が送信機カメラの画角内に進入する直前の無人航空機の進入方向の表示例を示す図である。When an unmanned aerial vehicle that is out of the field of view of the transmitter camera enters the field of view of the transmitter camera, an example of display of the approach direction of the unmanned aircraft immediately before the unmanned aircraft enters the field of view of the transmitter camera is shown. FIG. 表示端末のディスプレイに表示される画面の第１遷移例を示す説明図である。It is explanatory drawing which shows the 1st transition example of the screen displayed on the display of a display terminal. 表示端末のディスプレイに表示される画面の第２遷移例を示す説明図である。It is explanatory drawing which shows the 2nd transition example of the screen displayed on the display of a display terminal. 無人航空機と送信機と送信機カメラと表示端末との間の画像出力の動作手順の一例を詳細に説明するシーケンス図である。It is a sequence diagram explaining in detail an example of the operation | movement procedure of the image output between an unmanned aircraft, a transmitter, a transmitter camera, and a display terminal.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Not all combinations of features described in the embodiments are essential for the solution of the invention.

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。   The claims, the description, the drawings, and the abstract include matters subject to copyright protection. The copyright owner will not object to any number of copies of these documents as they appear in the JPO file or record. However, in other cases, all copyrights are reserved.

以下の実施形態では、操作端末の一例として、無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）の移動を含む各種処理の遠隔制御を指示するための送信機５０を例示して説明する。送信機５０は、例えば送信機５０を使用する人物（以下、「操作者」という）の両手で把持された状態で使用される。以下、本明細書に添付する図面では、無人航空機を「ＵＡＶ」と表記する。なお、画像出力方法は、操作端末の一例としての送信機５０における動作が規定されたものである。また、記録媒体は、プログラム（例えば後述する表示端末８０による各種の処理を実行させるプログラム）が記録媒体に記録されたものである。   In the following embodiments, a transmitter 50 for instructing remote control of various processes including movement of an unmanned aerial vehicle (UAV) will be described as an example of an operation terminal. The transmitter 50 is used in a state of being held by both hands of a person using the transmitter 50 (hereinafter referred to as “operator”), for example. Hereinafter, in the drawings attached to this specification, an unmanned aerial vehicle is referred to as “UAV”. Note that the image output method defines the operation of the transmitter 50 as an example of the operation terminal. The recording medium is a recording medium recorded with a program (for example, a program for executing various processes by the display terminal 80 described later).

図１は、表示端末（例えばタブレット端末８０Ｔ）が装着された送信機５０の外観の一例を示す斜視図である。本実施形態において、上下前後左右の方向は、図１に示す矢印の方向にそれぞれ従うとする。   FIG. 1 is a perspective view showing an example of the appearance of a transmitter 50 to which a display terminal (for example, a tablet terminal 80T) is attached. In the present embodiment, the up / down / front / rear / left / right directions follow the directions of the arrows shown in FIG.

送信機５０は、例えば略正方形状の底面を有し、かつ高さが底面の一辺より短い略直方体（言い換えると、略箱形）の形状をした樹脂製の筐体５０Ｂを有する。送信機５０の具体的な構成は図４を参照して後述する。送信機５０の筐体表面の略中央には、ホルダ支持部５１を挟むように左制御棒５３Ｌと右制御棒５３Ｒとが突設して配置される。   The transmitter 50 includes a resin casing 50B having a substantially rectangular parallelepiped shape (in other words, a substantially box shape) having a substantially square bottom surface and a height shorter than one side of the bottom surface. A specific configuration of the transmitter 50 will be described later with reference to FIG. A left control rod 53L and a right control rod 53R are disposed so as to project from the substantial center of the housing surface of the transmitter 50 so as to sandwich the holder support portion 51 therebetween.

ホルダ支持部５１は、例えば略Ｔ字状に加工された金属を用いて構成され、３つの接合部を有する。３つの接合部のうち、２つの接合部（第１の接合部、第２の接合部）が筐体５０Ｂに接合され、１つの接合部（第３の接合部）がホルダＨＬＤに接合される。第１の接合部は、送信機５０の筐体５０Ｂの表面の略中央（例えば、左制御棒５３Ｌと右制御棒５３Ｒと電源ボタンＢ１とＲＴＨボタンＢ２とにより囲まれる位置）に挿設される。第２の接合部は、送信機５０の筐体５０Ｂの表面の後側（例えば、左制御棒５３Ｌ及び右制御棒５３Ｒよりも後側の位置）にネジ５１Ｎ（図３参照）を介して挿設される。第３の接合部は、送信機５０の筐体５０Ｂの表面から離反した位置に設けられ、ヒンジ５１Ｈ（図３参照）を介してホルダＨＬＤに固定される。第３の接合部は、ホルダＨＬＤを支持する支点としての役割を有する。ホルダ支持部５１は、送信機５０の筐体５０Ｂの表面から離反した状態でホルダＨＬＤを支持する。操作者ＰＥＲ１（図９参照）の操作により、ヒンジ５１Ｈを介して、ホルダＨＬＤの角度の調整が可能である。   The holder support part 51 is comprised, for example using the metal processed into the substantially T shape, and has three junction parts. Of the three joint portions, two joint portions (first joint portion and second joint portion) are joined to the housing 50B, and one joint portion (third joint portion) is joined to the holder HLD. . The first joint portion is inserted at approximately the center of the surface of the casing 50B of the transmitter 50 (for example, a position surrounded by the left control rod 53L, the right control rod 53R, the power button B1, and the RTH button B2). . The second joint is inserted into the rear side of the surface of the casing 50B of the transmitter 50 (for example, a position behind the left control rod 53L and the right control rod 53R) via a screw 51N (see FIG. 3). Established. The third joint is provided at a position away from the surface of the casing 50B of the transmitter 50, and is fixed to the holder HLD via a hinge 51H (see FIG. 3). The third joint has a role as a fulcrum for supporting the holder HLD. The holder support portion 51 supports the holder HLD in a state of being separated from the surface of the casing 50B of the transmitter 50. By the operation of the operator PER1 (see FIG. 9), the angle of the holder HLD can be adjusted via the hinge 51H.

送信機５０が備える保持部の一例としてのホルダＨＬＤは、表示端末（例えば図１ではタブレット端末８０Ｔ）の載置面と、載置面の一端側において載置面を基準として上側に略９０度起立する上端壁部ＵＰ１と、載置面の他端側において載置面を基準として上側に略９０度起立する下端壁部ＵＰ２とを有する。ホルダＨＬＤは、上端壁部ＵＰ１と載置面と下端壁部ＵＰ２とで挟み込むようにタブレット端末８０Ｔを固定して保持可能である。載置面の幅（言い換えると、上端壁部ＵＰ１と下端壁部ＵＰ２との間の距離）は、操作者ＰＥＲ１により調整可能である。載置面の幅は、例えばタブレット端末８０Ｔが挟み込まれるように、タブレット端末８０Ｔの筐体の一方向の幅と略同一となるように調整される。   The holder HLD as an example of a holding unit included in the transmitter 50 is approximately 90 degrees above the placement surface of the display terminal (for example, the tablet terminal 80T in FIG. 1) on one end side of the placement surface with respect to the placement surface. An upper end wall portion UP1 that stands up and a lower end wall portion UP2 that stands up approximately 90 degrees on the other end side of the placement surface with respect to the placement surface. The holder HLD can hold and hold the tablet terminal 80T so as to be sandwiched between the upper end wall portion UP1, the placement surface, and the lower end wall portion UP2. The width of the placement surface (in other words, the distance between the upper end wall part UP1 and the lower end wall part UP2) can be adjusted by the operator PER1. The width of the placement surface is adjusted to be substantially the same as the width in one direction of the casing of the tablet terminal 80T so that the tablet terminal 80T is sandwiched, for example.

左制御棒５３Ｌ、右制御棒５３Ｒは、それぞれ操作者ＰＥＲ１による無人航空機１００の移動を遠隔で制御（例えば、無人航空機１００の前後移動、左右移動、上下移動、向き変更）するための操作において使用される。図１では、左制御棒５３Ｌ及び右制御棒５３Ｒは、操作者ＰＥＲ１の両手からそれぞれ外力が印加されていない初期状態の位置が示されている。左制御棒５３Ｌ及び右制御棒５３Ｒは、操作者ＰＥＲ１により印加された外力が解放された後、自動的に所定位置（例えば図１に示す初期位置）に復帰する。   The left control rod 53L and the right control rod 53R are used in operations for remotely controlling the movement of the unmanned aircraft 100 by the operator PER1 (for example, moving the unmanned aircraft 100 back and forth, moving left and right, moving up and down, and changing the direction). Is done. In FIG. 1, the positions of the left control rod 53L and the right control rod 53R in the initial state where no external force is applied from both hands of the operator PER1 are shown. The left control rod 53L and the right control rod 53R automatically return to predetermined positions (for example, the initial position shown in FIG. 1) after the external force applied by the operator PER1 is released.

本実施形態の送信機５０は、送信機５０が備える撮像装置の一例としての送信機カメラ５５を有する。送信機カメラ５５の具体的な構成は図４を参照して後述する。送信機カメラ５５は、無人航空機１００が移動する領域（例えば上空）を所定の画角で撮像する。送信機カメラ５５は、例えば上空を飛行中の無人航空機１００を操作者ＰＥＲ１が見上げて目視しなくても無人航空機１００の所在を把握できるように、無人航空機１００を撮像する。このため、送信機カメラ５５の所定の画角は、例えば１３５度程度あれば好ましく、広角であるとよい。但し、画角の１３５度は一例であり、この数値に限定はされない。   The transmitter 50 according to the present embodiment includes a transmitter camera 55 as an example of an imaging device provided in the transmitter 50. A specific configuration of the transmitter camera 55 will be described later with reference to FIG. The transmitter camera 55 images a region (for example, the sky) where the unmanned aircraft 100 moves at a predetermined angle of view. For example, the transmitter camera 55 images the unmanned aircraft 100 so that the operator PER1 can grasp the location of the unmanned aircraft 100 without looking at the unmanned aircraft 100 flying in the sky. For this reason, the predetermined angle of view of the transmitter camera 55 is preferably about 135 degrees, for example, and may be a wide angle. However, the angle of view of 135 degrees is an example, and is not limited to this value.

なお図１では、送信機カメラ５５は、ホルダＨＬＤの一端（例えば上端壁部ＵＰ１の後側の側面）に設けられたコネクタの一例としてのＵＳＢ（Universal Serial Bus）コネクタＵＪ３を介して、取外し自在に取り付けられている（図５Ａ参照）。送信機５０と送信機カメラ５５との取付又は固定の方法は、図５Ａの方法に限定されず、詳細は後述する。   In FIG. 1, the transmitter camera 55 is detachable via a USB (Universal Serial Bus) connector UJ3 as an example of a connector provided at one end of the holder HLD (for example, the rear side surface of the upper wall UP1). (See FIG. 5A). The method of attaching or fixing the transmitter 50 and the transmitter camera 55 is not limited to the method of FIG. 5A, and details will be described later.

左制御棒５３Ｌの手前側（言い換えると、操作者ＰＥＲ１側）には、送信機５０の電源ボタンＢ１が配置される。電源ボタンＢ１が操作者ＰＥＲ１により一度押下されると、例えば送信機５０に内蔵されるバッテリ（不図示）の容量の残量がバッテリ残量表示部Ｌ２において表示される。電源ボタンＢ１が操作者ＰＥＲ１によりもう一度押下されると、例えば送信機５０の電源がオンとなり、送信機５０の各部（図４参照）に電源が供給されて使用可能となる。   The power button B1 of the transmitter 50 is disposed on the front side of the left control rod 53L (in other words, on the operator PER1 side). When the power button B1 is pressed once by the operator PER1, for example, the remaining capacity of the battery (not shown) built in the transmitter 50 is displayed in the remaining battery capacity display portion L2. When the power button B1 is pressed once again by the operator PER1, for example, the power of the transmitter 50 is turned on, and power is supplied to each part (see FIG. 4) of the transmitter 50 so that it can be used.

右制御棒５３Ｒの手前側（言い換えると、操作者ＰＥＲ１側）には、ＲＴＨ（Return To Home）ボタンＢ２が配置される。ＲＴＨボタンＢ２が操作者ＰＥＲ１により押下されると、送信機５０は、無人航空機１００に所定の位置に自動復帰させるための信号を送信する。これにより、送信機５０は、無人航空機１００を所定の位置（例えば無人航空機１００が記憶している離陸位置）に自動的に帰還させることができる。ＲＴＨボタンＢ２は、例えば屋外での無人航空機１００による空撮中に操作者ＰＥＲ１が無人航空機１００の機体を見失った場合、又は電波干渉や予期せぬトラブルに遭遇して操作不能になった場合等に利用可能である。   An RTH (Return To Home) button B2 is disposed on the front side of the right control rod 53R (in other words, on the operator PER1 side). When the RTH button B2 is pressed by the operator PER1, the transmitter 50 transmits a signal for automatically returning the unmanned aircraft 100 to a predetermined position. Thereby, the transmitter 50 can automatically return the unmanned aircraft 100 to a predetermined position (for example, a take-off position stored in the unmanned aircraft 100). The RTH button B2 is used when, for example, the operator PER1 loses sight of the aircraft of the unmanned aircraft 100 during aerial shooting with the unmanned aircraft 100 outdoors, or when it becomes impossible to operate due to radio interference or unexpected troubles. Is available.

電源ボタンＢ１及びＲＴＨボタンＢ２の手前側（言い換えると、操作者ＰＥＲ１側）には、リモートステータス表示部Ｌ１及びバッテリ残量表示部Ｌ２が配置される。リモートステータス表示部Ｌ１は、例えばＬＥＤ（Light Emission Diode）を用いて構成され、送信機５０と無人航空機１００との無線の接続状態を表示する。バッテリ残量表示部Ｌ２は、例えばＬＥＤを用いて構成され、送信機５０に内蔵されたバッテリ（不図示）の容量の残量を表示する。   A remote status display portion L1 and a battery remaining amount display portion L2 are disposed on the front side of the power button B1 and the RTH button B2 (in other words, on the operator PER1 side). The remote status display unit L1 is configured using, for example, an LED (Light Emission Diode) and displays a wireless connection state between the transmitter 50 and the unmanned aircraft 100. The battery remaining amount display unit L2 is configured using, for example, an LED, and displays the remaining amount of the capacity of a battery (not shown) built in the transmitter 50.

図１に示すタブレット端末８０Ｔには、ＵＳＢケーブルＣＢＬの一端が挿入されるＵＳＢコネクタＵＪ１が設けられる。タブレット端末８０Ｔは、タブレット端末８０Ｔが備える表示部の一例としてのディスプレイＴＰＤを有する。従って、送信機５０は、ＵＳＢケーブルＣＢＬを介して、タブレット端末８０ＴのディスプレイＴＰＤと接続可能となる。また、送信機５０は、ＵＳＢポートＵＳＰを有する。ＵＳＢケーブルＣＢＬの他端は、送信機５０のＵＳＢポートＵＳＰに挿入される。なお、送信機５０は、マイクロＵＳＢポートＭＵＳＰを有してよい。マイクロＵＳＢポートＭＵＳＰには、マイクロＵＳＢケーブル（不図示）が接続される。   The tablet terminal 80T shown in FIG. 1 is provided with a USB connector UJ1 into which one end of the USB cable CBL is inserted. The tablet terminal 80T includes a display TPD as an example of a display unit included in the tablet terminal 80T. Therefore, the transmitter 50 can be connected to the display TPD of the tablet terminal 80T via the USB cable CBL. The transmitter 50 has a USB port USP. The other end of the USB cable CBL is inserted into the USB port USP of the transmitter 50. The transmitter 50 may have a micro USB port MUSP. A micro USB cable (not shown) is connected to the micro USB port MUSP.

図２は、表示端末（例えばスマートフォン８０Ｓ）が装着された送信機５０の筐体前面側の外観の一例を示す斜視図である。図２の各部の説明において、図１の各部の説明と重複するものについては、同一の符号を付与して説明を簡略化又は省略する。本実施形態において、上下前後左右の方向は、図２に示す矢印の方向にそれぞれ従うとする。   FIG. 2 is a perspective view showing an example of the appearance on the front side of the housing of the transmitter 50 to which the display terminal (for example, the smartphone 80S) is attached. In the description of each part in FIG. 2, the same reference numerals are given to the same parts as those in FIG. 1, and the description is simplified or omitted. In the present embodiment, the up / down / front / rear and left / right directions follow the directions of the arrows shown in FIG.

ホルダＨＬＤは、上端壁部ＵＰ１と下端壁部ＵＰ２との間の略中央部に、左爪部ＴＭＬ及び右爪部ＴＭＲを有してよい。左爪部ＴＭＬ及び右爪部ＴＭＲは、例えばホルダＨＬＤが幅広のタブレット端末８０Ｔを保持する際には、載置面に沿うように倒される。一方、左爪部ＴＭＬ及び右爪部ＴＭＲは、例えばホルダＨＬＤがタブレット端末８０Ｔより幅狭のスマートフォン８０Ｓを保持する際には、載置面を基準として上側に略９０度起立する。これにより、スマートフォン８０Ｓは、ホルダＨＬＤの上端壁部ＵＰ１と左爪部ＴＭＬ及び右爪部ＴＭＲとにより保持される。   The holder HLD may have a left claw portion TML and a right claw portion TMR at a substantially central portion between the upper end wall portion UP1 and the lower end wall portion UP2. For example, when the holder HLD holds the wide tablet terminal 80T, the left claw portion TML and the right claw portion TMR are tilted along the placement surface. On the other hand, the left claw part TML and the right claw part TMR stand approximately 90 degrees above the mounting surface when the holder HLD holds the smartphone 80S narrower than the tablet terminal 80T, for example. Thereby, the smartphone 80S is held by the upper end wall portion UP1, the left claw portion TML, and the right claw portion TMR of the holder HLD.

図２に示すスマートフォン８０Ｓには、ＵＳＢケーブルＣＢＬの一端が挿入されるＵＳＢコネクタＵＪ２が設けられる。スマートフォン８０Ｓは、スマートフォン８０Ｓが備える表示部の一例としてのディスプレイＴＰＤを有する。このため、送信機５０は、ＵＳＢケーブルＣＢＬを介して、スマートフォン８０ＳのディスプレイＴＰＤと接続可能となる。   The smartphone 80S shown in FIG. 2 is provided with a USB connector UJ2 into which one end of the USB cable CBL is inserted. Smartphone 80S has display TPD as an example of a display part with which smart phone 80S is provided. Therefore, the transmitter 50 can be connected to the display TPD of the smartphone 80S via the USB cable CBL.

図３は、表示端末（例えばスマートフォン８０Ｓ）が装着された送信機５０の筐体背面側の外観の一例を示す斜視図である。図３の各部の説明において、図１又は図２の各部の説明と重複するものについては、同一の符号を付与して説明を簡略化又は省略する。本実施形態において、上下前後左右の方向は、図３に示す矢印の方向にそれぞれ従うとする。   FIG. 3 is a perspective view showing an example of the appearance on the back side of the housing of the transmitter 50 to which the display terminal (for example, the smartphone 80S) is attached. In the description of each part in FIG. 3, the same reference numerals are given to the same parts as those in FIG. 1 or 2, and the description is simplified or omitted. In the present embodiment, the up / down / front / back / left / right directions follow the directions of the arrows shown in FIG.

図３に示すように、ホルダ支持部５１の高さはネジ５１Ｎにより調整可能である。   As shown in FIG. 3, the height of the holder support portion 51 can be adjusted by a screw 51N.

左制御棒５３Ｌ及び右制御棒５３Ｒより後側であって、かつ送信機５０の筐体５０Ｂの後方側面から、２つのアンテナＡＮ１，ＡＮ２が突設して配置される（図３参照）。アンテナＡＮ１，ＡＮ２は、操作者ＰＥＲ１の左制御棒５３Ｌ及び右制御棒５３Ｒの操作に基づき、送信機制御部６１により生成された信号（つまり、無人航空機１００の移動を制御するための信号）を無人航空機１００に送信する。アンテナＡＮ１，ＡＮ２は、例えば２ｋｍの送受信範囲をカバーできる。また、アンテナＡＮ１，ＡＮ２は、送信機５０と無線接続中の無人航空機１００が有する撮像装置２２０，２３０（後述参照）により撮像された画像、又は無人航空機１００が取得した各種データ（後述参照）が無人航空機１００から送信された場合に、これらの画像又は各種データを受信できる。   Two antennas AN1 and AN2 project from the left control rod 53L and the right control rod 53R and project from the rear side surface of the casing 50B of the transmitter 50 (see FIG. 3). The antennas AN1 and AN2 receive signals generated by the transmitter control unit 61 (that is, signals for controlling the movement of the unmanned aircraft 100) based on the operations of the left control rod 53L and the right control rod 53R of the operator PER1. Transmit to unmanned aerial vehicle 100. The antennas AN1 and AN2 can cover a transmission / reception range of 2 km, for example. The antennas AN1 and AN2 are images captured by the imaging devices 220 and 230 (see below) included in the unmanned aircraft 100 wirelessly connected to the transmitter 50, or various data (see below) acquired by the unmanned aircraft 100. These images or various data can be received when transmitted from the unmanned aerial vehicle 100.

送信機５０と表示端末８０（例えばタブレット端末８０Ｔ、スマートフォン８０Ｓ）とは、例えばＵＳＢケーブルＣＢＬを介して通信可能に接続される（図３参照）。   The transmitter 50 and the display terminal 80 (for example, the tablet terminal 80T and the smartphone 80S) are connected to be communicable via, for example, the USB cable CBL (see FIG. 3).

図４は、送信機カメラ５５と送信機５０と表示端末８０との電気的な接続関係の一例を示すブロック図である。送信機カメラ５５と送信機５０と表示端末８０とにより、本実施形態の画像出力システムが構成される。例えば図１〜図３を参照して説明したように、送信機５０と送信機カメラ５５とは情報やデータが入出力可能に接続され、送信機５０と表示端末８０とはＵＳＢケーブルＣＢＬを介して情報やデータが通信可能に接続される。   FIG. 4 is a block diagram illustrating an example of an electrical connection relationship among the transmitter camera 55, the transmitter 50, and the display terminal 80. The transmitter camera 55, the transmitter 50, and the display terminal 80 constitute the image output system of the present embodiment. For example, as described with reference to FIGS. 1 to 3, the transmitter 50 and the transmitter camera 55 are connected so that information and data can be input and output, and the transmitter 50 and the display terminal 80 are connected via a USB cable CBL. Information and data are connected so that they can communicate.

送信機カメラ５５は、レンズユニット５５Ａと、イメージセンサ５５Ｂと、信号処理部５５Ｃとを含む構成である。   The transmitter camera 55 includes a lens unit 55A, an image sensor 55B, and a signal processing unit 55C.

レンズユニット５５Ａは、送信機カメラ５５において所定の画角が形成可能に、少なくとも１つのレンズを用いて構成される。レンズユニット５５Ａは、無人航空機１００が移動する領域（例えば上空）から入射した光を、イメージセンサ５５Ｂにおいて撮像可能に結像させる。   The lens unit 55A is configured by using at least one lens so that a predetermined angle of view can be formed in the transmitter camera 55. The lens unit 55A forms an image of light incident from an area (for example, the sky) where the unmanned aircraft 100 moves so that the image sensor 55B can take an image.

イメージセンサ５５Ｂは、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いて構成される。イメージセンサ５５Ｂは、レンズユニット５５Ａを介して結像された光を光電変換することにより撮像し、撮像により得られた光学像の電気信号を信号処理部５５Ｃに出力する。   The image sensor 55B is configured using, for example, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). The image sensor 55B captures an image by photoelectrically converting light imaged through the lens unit 55A, and outputs an electrical signal of an optical image obtained by the imaging to the signal processing unit 55C.

信号処理部５５Ｃは、イメージセンサ５５Ｂの出力（つまり、光学像の電気信号）を用いて既存の画像処理を施すことにより、所定の形式（例えばH.264）を満たす映像データを構成するＲＧＢ画像データ又はＹＵＶ画像データ（以下、「フレーム画像」という）を生成する。信号処理部５５Ｃは、このフレーム画像を用いて、送信機カメラ５５の被写体の一例としての無人航空機１００の撮像画像を生成し、カメラインタフェース部６７を介して送信機制御部６１に出力する。   The signal processing unit 55C performs existing image processing using the output of the image sensor 55B (that is, an electrical signal of an optical image), thereby forming an RGB image constituting video data satisfying a predetermined format (for example, H.264). Data or YUV image data (hereinafter referred to as “frame image”) is generated. The signal processing unit 55 </ b> C generates a captured image of the unmanned aircraft 100 as an example of the subject of the transmitter camera 55 using the frame image, and outputs the captured image to the transmitter control unit 61 via the camera interface unit 67.

なお、信号処理部５５Ｃは、既存の画像処理（例えば複数のフレーム画像間の差分抽出）により、無人航空機１００の移動方向を検知することにより無人航空機１００を追跡してよい。信号処理部５５Ｃは、無人航空機１００の移動方向の追跡結果の情報データを送信機５０に出力してよい。この追跡結果の情報データは、送信機５０から表示端末８０に入力され、表示端末８０において無人航空機１００の移動方向を算出する時に使用される。   Note that the signal processing unit 55C may track the unmanned aircraft 100 by detecting the moving direction of the unmanned aircraft 100 by existing image processing (for example, extraction of a difference between a plurality of frame images). The signal processing unit 55C may output information data of the tracking result of the moving direction of the unmanned aircraft 100 to the transmitter 50. The information data of the tracking result is input from the transmitter 50 to the display terminal 80, and is used when the moving direction of the unmanned aircraft 100 is calculated on the display terminal 80.

送信機５０は、左制御棒５３Ｌと、右制御棒５３Ｒと、送信機制御部６１と、無線通信部６３と、送信機側ＵＳＢインタフェース部６５と、電源ボタンＢ１と、ＲＴＨボタンＢ２と、操作部セットＯＰＳと、リモートステータス表示部Ｌ１と、バッテリ残量表示部Ｌ２とを含む構成である。   The transmitter 50 includes a left control rod 53L, a right control rod 53R, a transmitter control unit 61, a wireless communication unit 63, a transmitter-side USB interface unit 65, a power button B1, an RTH button B2, and an operation. The configuration includes a part set OPS, a remote status display unit L1, and a battery remaining amount display unit L2.

左制御棒５３Ｌは、例えば操作者ＰＥＲ１の左手により、無人航空機１００の移動を遠隔で制御するための操作に使用される。右制御棒５３Ｒは、例えば操作者ＰＥＲ１の右手により、無人航空機１００の移動を遠隔で制御するための操作に使用される。無人航空機１００の移動は、例えば前進する方向の移動、後進する方向の移動、左方向の移動、右方向の移動、上昇する方向の移動、下降する方向の移動、左方向に無人航空機１００を回転する移動、右方向に無人航空機１００を回転する移動のうちいずれか又はこれらの組み合わせであり、以下同様である。   The left control rod 53L is used for an operation for remotely controlling the movement of the unmanned aircraft 100 by the left hand of the operator PER1, for example. The right control rod 53R is used for an operation for remotely controlling the movement of the unmanned aircraft 100 by the right hand of the operator PER1, for example. For example, the unmanned aircraft 100 may move forward, move backward, move left, move right, move up, move down, rotate the unmanned aircraft 100 left. Or a combination thereof, and so on.

送信機５０が備える制御部の一例としての送信機制御部６１は、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor））を用いて構成される。送信機制御部６１は、送信機５０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。   A transmitter control unit 61 as an example of a control unit included in the transmitter 50 is configured using a processor (for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor)). The transmitter control unit 61 performs signal processing for overall control of operations of the respective units of the transmitter 50, data input / output processing with other units, data calculation processing, and data storage processing.

例えば送信機制御部６１は、カメラインタフェース部６７を介して取得した撮像画像（以下、「第１撮像画像」ともいう）のデータをメモリ（不図示）に保存し、送信機側ＵＳＢインタフェース部６５を介して表示端末８０に出力する。言い換えると、送信機制御部６１は、送信機カメラ５５により撮像された無人航空機１００の撮像画像のデータを表示端末８０のディスプレイＴＰＤに表示させる。これにより、送信機カメラ５５により撮像された無人航空機１００の撮像画像（第１撮像画像）は、表示端末８０のディスプレイＴＰＤにおいて表示可能となる（例えば図１０、図１２参照）。   For example, the transmitter control unit 61 stores data of a captured image (hereinafter also referred to as “first captured image”) acquired via the camera interface unit 67 in a memory (not shown), and transmits the transmitter-side USB interface unit 65. To the display terminal 80. In other words, the transmitter control unit 61 causes the display TPD of the display terminal 80 to display data of the captured image of the unmanned aircraft 100 captured by the transmitter camera 55. Thereby, the captured image (first captured image) of the unmanned aircraft 100 captured by the transmitter camera 55 can be displayed on the display TPD of the display terminal 80 (see, for example, FIGS. 10 and 12).

例えば送信機制御部６１は、操作者ＰＥＲ１の左制御棒５３Ｌ及び右制御棒５３Ｒの操作により、その操作により指定された無人航空機１００の移動を制御するための信号を生成する。送信機制御部６１は、この生成した信号を、無線通信部６３及びアンテナＡＮ１，ＡＮ２を介して、無人航空機１００に送信して無人航空機１００を遠隔制御する。これにより、送信機５０は、無人航空機１００の移動を遠隔で制御できる。   For example, the transmitter control unit 61 generates a signal for controlling the movement of the unmanned aircraft 100 designated by the operation by operating the left control rod 53L and the right control rod 53R of the operator PER1. The transmitter control unit 61 transmits the generated signal to the unmanned aircraft 100 via the wireless communication unit 63 and the antennas AN1 and AN2, and remotely controls the unmanned aircraft 100. Thereby, the transmitter 50 can control the movement of the unmanned aircraft 100 remotely.

例えば送信機制御部６１は、無人航空機１００の撮像装置２２０が撮像した撮像画像（以下、「第２撮像画像」ともいう）のデータを、無線通信部６３を介して取得してメモリ（不図示）に保存し、送信機側ＵＳＢインタフェース部６５を介して表示端末８０に出力する。言い換えると、送信機制御部６１は、無人航空機１００の撮像装置２２０により撮像された空撮画像のデータを表示端末８０のディスプレイＴＰＤに表示させる。これにより、無人航空機１００の撮像装置２２０により撮像された空撮画像（第２撮像画像）は、表示端末８０のディスプレイＴＰＤにおいて表示可能となる（例えば図１０、図１１、図１３参照）。   For example, the transmitter control unit 61 acquires data of a captured image (hereinafter also referred to as “second captured image”) captured by the imaging device 220 of the unmanned aircraft 100 via the wireless communication unit 63 and stores the data (not shown). ) And output to the display terminal 80 via the transmitter-side USB interface unit 65. In other words, the transmitter controller 61 causes the display TPD of the display terminal 80 to display aerial image data captured by the imaging device 220 of the unmanned aircraft 100. Thereby, the aerial image (second captured image) captured by the imaging device 220 of the unmanned aircraft 100 can be displayed on the display TPD of the display terminal 80 (see, for example, FIGS. 10, 11, and 13).

無線通信部６３は、２つのアンテナＡＮ１，ＡＮ２と接続される。無線通信部６３は、２つのアンテナＡＮ１，ＡＮ２を介して、無人航空機１００との間で所定の無線通信方式（例えばＷｉｆｉ（登録商標））を用いた情報やデータの送受信を行う。無線通信部６３は、例えば無人航空機１００との無線通信により、無人航空機１００の撮像装置２２０により撮像された、無人航空機１００が移動する領域（例えば上空）の空撮画像のデータを受信する。無線通信部６３は、空撮画像のデータを送信機制御部６１に出力する。また、無線通信部６３は、ＧＰＳ受信機２４０（図８参照）を有する無人航空機１００により算出された無人航空機１００の位置情報を受信する。無線通信部６３は、無人航空機１００の位置情報を送信機制御部６１に出力する。   The wireless communication unit 63 is connected to the two antennas AN1 and AN2. The wireless communication unit 63 transmits / receives information and data to / from the unmanned aircraft 100 via the two antennas AN1 and AN2 using a predetermined wireless communication method (for example, WiFi (registered trademark)). The wireless communication unit 63 receives aerial image data of a region (for example, the sky) where the unmanned aircraft 100 moves, which is captured by the imaging device 220 of the unmanned aircraft 100, for example, by wireless communication with the unmanned aircraft 100. The wireless communication unit 63 outputs the aerial image data to the transmitter control unit 61. In addition, the wireless communication unit 63 receives position information of the unmanned aircraft 100 calculated by the unmanned aircraft 100 having the GPS receiver 240 (see FIG. 8). The wireless communication unit 63 outputs the position information of the unmanned aircraft 100 to the transmitter control unit 61.

送信機側ＵＳＢインタフェース部６５は、送信機５０と表示端末８０との間の情報やデータの入出力を行う。送信機側ＵＳＢインタフェース部６５は、例えば送信機５０に設けられたＵＳＢポートＵＳＰ（図３参照）により構成される。   The transmitter-side USB interface unit 65 inputs and outputs information and data between the transmitter 50 and the display terminal 80. The transmitter-side USB interface unit 65 is configured by a USB port USP (see FIG. 3) provided in the transmitter 50, for example.

カメラインタフェース部６７は、送信機５０と送信機カメラ５５との間の情報やデータの入出力を行う。   The camera interface unit 67 inputs and outputs information and data between the transmitter 50 and the transmitter camera 55.

電源ボタンＢ１は一度押下されると、一度押下された旨の信号が送信機制御部６１に入力される。送信機制御部６１は、この信号に従い、送信機５０に内蔵されるバッテリ（不図示）の容量の残量をバッテリ残量表示部Ｌ２に表示する。これにより、操作者ＰＥＲ１は、送信機５０に内蔵されるバッテリの容量の残量を簡単に確認できる。また、電源ボタンＢ１は二度押下されると、二度押下された旨の信号が送信機制御部６１に渡される。送信機制御部６１は、この信号に従い、送信機５０に内蔵されるバッテリ（不図示）に対し、送信機５０内の各部への電源供給を指示する。これにより、操作者ＰＥＲ１は、送信機５０の電源がオンとなり、送信機５０の使用を簡単に開始できる。   When the power button B1 is pressed once, a signal indicating that the power button B1 has been pressed is input to the transmitter controller 61. In accordance with this signal, the transmitter control unit 61 displays the remaining capacity of the battery (not shown) built in the transmitter 50 on the remaining battery amount display unit L2. Thereby, the operator PER1 can easily check the remaining capacity of the battery capacity built in the transmitter 50. When the power button B1 is pressed twice, a signal indicating that the power button B1 has been pressed twice is passed to the transmitter control unit 61. In accordance with this signal, the transmitter control unit 61 instructs a battery (not shown) built in the transmitter 50 to supply power to each unit in the transmitter 50. As a result, the operator PER1 can turn on the power of the transmitter 50 and easily start using the transmitter 50.

ＲＴＨボタンＢ２は押下されると、押下された旨の信号が送信機制御部６１に入力される。送信機制御部６１は、この信号に従い、無人航空機１００に所定の位置（例えば無人航空機１００の離陸位置）に自動復帰させるための信号を生成し、無線通信部６３及びアンテナＡＮ１，ＡＮ２を介して無人航空機１００に送信する。これにより、操作者ＰＥＲ１は、送信機５０に対する簡単な操作により、無人航空機１００を所定の位置に自動で復帰（帰還）させることができる。   When the RTH button B2 is pressed, a signal indicating that the RTH button B2 has been pressed is input to the transmitter control unit 61. In accordance with this signal, the transmitter control unit 61 generates a signal for automatically returning the unmanned aircraft 100 to a predetermined position (for example, the takeoff position of the unmanned aircraft 100), via the wireless communication unit 63 and the antennas AN1 and AN2. Transmit to unmanned aerial vehicle 100. Thus, the operator PER1 can automatically return (return) the unmanned aircraft 100 to a predetermined position by a simple operation on the transmitter 50.

操作部セットＯＰＳは、複数の操作部（例えば操作部ＯＰ１，…，操作部ＯＰｎ）（ｎ：２以上の整数）を用いて構成される。操作部セットＯＰＳは、図４に示す左制御棒５３Ｌ、右制御棒５３Ｒ、電源ボタンＢ１及びＲＴＨボタンＢ２を除く他の操作部（例えば、送信機５０による無人航空機１００の遠隔制御を支援するための各種の操作部）により構成される。ここでいう各種の操作部とは、例えば、無人航空機１００の撮像装置２２０を用いた静止画の撮像を指示するボタン、無人航空機１００の撮像装置２２０を用いた動画の録画の開始及び終了を指示するボタン、無人航空機１００のジンバル２００（図８参照）のチルト方向の傾きを調整するダイヤル、無人航空機１００のフライトモードを切り替えるボタン、無人航空機１００の撮像装置２２０の設定を行うダイヤルが該当する。   The operation unit set OPS is configured using a plurality of operation units (for example, operation units OP1,..., Operation unit OPn) (n: an integer of 2 or more). The operation unit set OPS supports other operation units (for example, the remote control of the unmanned aircraft 100 by the transmitter 50) except for the left control rod 53L, the right control rod 53R, the power button B1, and the RTH button B2 shown in FIG. Various operation units). The various operation units referred to here are, for example, a button for instructing imaging of a still image using the imaging device 220 of the unmanned aerial vehicle 100, and an instruction for starting and ending video recording using the imaging device 220 of the unmanned aircraft 100. A dial for adjusting the tilt in the tilt direction of the gimbal 200 (see FIG. 8) of the unmanned aircraft 100, a button for switching the flight mode of the unmanned aircraft 100, and a dial for setting the imaging device 220 of the unmanned aircraft 100.

リモートステータス表示部Ｌ１及びバッテリ残量表示部Ｌ２は、図１を参照して説明したので、ここでは説明を省略する。   The remote status display unit L1 and the remaining battery level display unit L2 have been described with reference to FIG.

表示端末８０は、プロセッサ８１と、端末側ＵＳＢインタフェース部８３と、無線通信部８５と、メモリ８７と、ＧＰＳ（Global Positioning System）受信機８９と、ディスプレイＴＰＤとを含む構成である。表示端末８０は、例えばタブレット端末８０Ｔ（図１参照）、又はスマートフォン８０Ｓ（図２、図３参照）である。   The display terminal 80 includes a processor 81, a terminal-side USB interface unit 83, a wireless communication unit 85, a memory 87, a GPS (Global Positioning System) receiver 89, and a display TPD. The display terminal 80 is, for example, a tablet terminal 80T (see FIG. 1) or a smartphone 80S (see FIGS. 2 and 3).

プロセッサ８１は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成される。プロセッサ８１は、表示端末８０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。   The processor 81 is configured using, for example, a CPU, MPU, or DSP. The processor 81 performs signal processing for overall control of operations of each unit of the display terminal 80, data input / output processing with other units, data calculation processing, and data storage processing.

例えばプロセッサ８１は、端末側ＵＳＢインタフェース部８３を介して取得した撮像画像（第１撮像画像）のデータをメモリ８７に保存し、ディスプレイＴＰＤに表示する。言い換えると、プロセッサ８１は、送信機カメラ５５により撮像された無人航空機１００の撮像画像のデータをディスプレイＴＰＤに表示する。これにより、送信機カメラ５５により撮像された無人航空機１００の撮像画像（第１撮像画像）は、表示端末８０のディスプレイＴＰＤにおいて表示可能となる（例えば図１０、図１２参照）。   For example, the processor 81 stores data of a captured image (first captured image) acquired via the terminal-side USB interface unit 83 in the memory 87 and displays the data on the display TPD. In other words, the processor 81 displays data of a captured image of the unmanned aerial vehicle 100 captured by the transmitter camera 55 on the display TPD. Thereby, the captured image (first captured image) of the unmanned aircraft 100 captured by the transmitter camera 55 can be displayed on the display TPD of the display terminal 80 (see, for example, FIGS. 10 and 12).

例えばプロセッサ８１は、端末側ＵＳＢインタフェース部８３を介して取得した空撮画像（第２撮像画像）のデータをメモリ８７に保存し、ディスプレイＴＰＤに表示する。言い換えると、プロセッサ８１は、無人航空機１００の撮像装置２２０により撮像された空撮画像のデータをディスプレイＴＰＤに表示する。これにより、無人航空機１００の撮像装置２２０により撮像された空撮画像（第２撮像画像）は、表示端末８０のディスプレイＴＰＤにおいて表示可能となる（例えば図１０、図１１、図１３参照）。   For example, the processor 81 stores the data of the aerial image (second captured image) acquired via the terminal-side USB interface unit 83 in the memory 87 and displays it on the display TPD. In other words, the processor 81 displays the data of the aerial image captured by the imaging device 220 of the unmanned aircraft 100 on the display TPD. Thereby, the aerial image (second captured image) captured by the imaging device 220 of the unmanned aircraft 100 can be displayed on the display TPD of the display terminal 80 (see, for example, FIGS. 10, 11, and 13).

端末側ＵＳＢインタフェース部８３は、表示端末８０と送信機５０との間の情報やデータの入出力を行う。端末側ＵＳＢインタフェース部８３は、例えばタブレット端末８０Ｔに設けられたＵＳＢコネクタＵＪ１、又はスマートフォン８０Ｓに設けられたＵＳＢコネクタＵＪ２により構成される。   The terminal-side USB interface unit 83 inputs and outputs information and data between the display terminal 80 and the transmitter 50. The terminal-side USB interface unit 83 includes, for example, a USB connector UJ1 provided on the tablet terminal 80T or a USB connector UJ2 provided on the smartphone 80S.

無線通信部８５は、表示端末８０に内蔵されるアンテナ（不図示）を介して、インターネット等の広域網ネットワーク（不図示）と接続される。無線通信部８５は、広域網ネットワークに接続された他の通信機器（不図示）との間で情報やデータを送受信する。   The wireless communication unit 85 is connected to a wide area network (not shown) such as the Internet via an antenna (not shown) built in the display terminal 80. The wireless communication unit 85 transmits and receives information and data to and from other communication devices (not shown) connected to the wide area network.

メモリ８７は、例えば表示端末８０の動作を規定するプログラムや設定値のデータが格納されたＲＯＭ（Read Only Memory）と、プロセッサ８１の処理時に使用される各種の情報やデータを一時的に保存するＲＡＭ（Random Access Memory）を有する。メモリ８７のＲＯＭに格納されたプログラムや設定値のデータは、所定の記録媒体（例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ）にコピーされてよい。メモリ８７のＲＡＭには、例えば送信機カメラ５５により撮像された無人航空機１００の撮像画像のデータ、又は無人航空機１００の撮像装置２２０により撮像された空撮画像のデータが保存される。   The memory 87 temporarily stores, for example, a ROM (Read Only Memory) that stores a program that defines the operation of the display terminal 80 and data of setting values, and various information and data that are used during processing by the processor 81. It has RAM (Random Access Memory). The program and setting value data stored in the ROM of the memory 87 may be copied to a predetermined recording medium (for example, CD-ROM, DVD-ROM). In the RAM of the memory 87, for example, image data of the unmanned aircraft 100 captured by the transmitter camera 55 or aerial image data captured by the imaging device 220 of the unmanned aircraft 100 is stored.

ＧＰＳ受信機８９は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機８９は、受信された複数の信号に基づいて、ＧＰＳ受信機８９の位置（つまり、表示端末８０の位置）を算出する。表示端末８０と送信機５０とはＵＳＢケーブルＣＢＬを介して接続されているがほぼ同じ位置にあると考えることができるため、表示端末８０の位置は、送信機５０の位置と略同一と考えることができる。なお、ＧＰＳ受信機８９は表示端末８０内に設けられるとして説明したが、送信機５０内に設けられてよい。また、表示端末８０と送信機５０との接続方法は、ＵＳＢケーブルＣＢＬによる有線接続に限定されず、既定の近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標））による無線接続でよい。ＧＰＳ受信機８９は、表示端末８０の位置情報をプロセッサ８１に出力する。なお、ＧＰＳ受信機８９の位置情報の算出は、ＧＰＳ受信機８９の代わりにプロセッサ８１により行われてよい。この場合、プロセッサ８１には、ＧＰＳ受信機８９が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。   The GPS receiver 89 receives a plurality of signals indicating times and positions (coordinates) of each GPS satellite transmitted from a plurality of navigation satellites (that is, GPS satellites). The GPS receiver 89 calculates the position of the GPS receiver 89 (that is, the position of the display terminal 80) based on the received signals. Although the display terminal 80 and the transmitter 50 are connected via the USB cable CBL, it can be considered that the display terminal 80 and the transmitter 50 are substantially in the same position. Therefore, the position of the display terminal 80 is considered to be substantially the same as the position of the transmitter 50. Can do. Although the GPS receiver 89 is described as being provided in the display terminal 80, it may be provided in the transmitter 50. The connection method between the display terminal 80 and the transmitter 50 is not limited to the wired connection using the USB cable CBL, and may be a wireless connection using a predetermined short-range wireless communication (for example, Bluetooth (registered trademark)). The GPS receiver 89 outputs the position information of the display terminal 80 to the processor 81. The calculation of the position information of the GPS receiver 89 may be performed by the processor 81 instead of the GPS receiver 89. In this case, the processor 81 receives information indicating the time and the position of each GPS satellite included in a plurality of signals received by the GPS receiver 89.

ディスプレイＴＰＤは、例えばＬＣＤ（Liquid Crystal Display）を用いて構成され、プロセッサ８１から出力された各種の情報やデータを表示する。例えばディスプレイＴＰＤは、送信機カメラ５５により撮像された無人航空機１００の撮像画像のデータを表示する。また、ディスプレイＴＰＤは、無人航空機１００の撮像装置２２０により撮像された空撮画像のデータを表示する。また、ディスプレイＴＰＤは、上記した情報やデータを表示でき、更に、操作者ＰＥＲ１のタッチ操作又はタップ操作の入力操作を受付可能なタッチパネルを用いて構成されてよい。以下、ディスプレイＴＰＤは、例えばタッチパネルを用いて構成されるとして説明する。   The display TPD is configured using, for example, an LCD (Liquid Crystal Display) and displays various information and data output from the processor 81. For example, the display TPD displays data of a captured image of the unmanned aircraft 100 captured by the transmitter camera 55. The display TPD displays aerial image data captured by the imaging device 220 of the unmanned aircraft 100. Further, the display TPD may be configured using a touch panel that can display the information and data described above and can accept a touch operation or an input operation of a tap operation by the operator PER1. Hereinafter, the display TPD will be described as being configured using, for example, a touch panel.

図５Ａは、送信機カメラ５５の送信機５０への取付例を示す模式図である。図５Ｂは、送信機カメラ５５の送信機５０への固定例を示す模式図である。なお、図５Ａ及び図５Ｂに示す取付例、固定例はあくまで送信機カメラ５５と送信機５０との接続方法を示す一例であって、これらの接続方法に限定されない。   FIG. 5A is a schematic diagram illustrating an example of attachment of the transmitter camera 55 to the transmitter 50. FIG. 5B is a schematic diagram illustrating an example in which the transmitter camera 55 is fixed to the transmitter 50. 5A and 5B are only examples showing a connection method between the transmitter camera 55 and the transmitter 50, and are not limited to these connection methods.

図５Ａに示すように、送信機カメラ５５は、送信機５０のホルダＨＬＤの一端（例えば上端壁部ＵＰ１）に設けられた接続部の一例としてのＵＳＢコネクタＵＪ３を介して、挿抜自在に取り付けられてよい。この状態では、レンズの光軸Ｏｃが鉛直方向上向きとなっている。これにより、操作者ＰＥＲ１は、送信機カメラ５５において無人航空機１００を撮像したいと考える場合にはＵＳＢコネクタＵＪ３に簡易に取り付けできる。一方で、送信機カメラ５５が必要なくなった場合にはＵＳＢコネクタＵＪ３から簡易に取り外しできる。   As shown in FIG. 5A, the transmitter camera 55 is detachably attached via a USB connector UJ3 as an example of a connection portion provided at one end (for example, the upper end wall portion UP1) of the holder HLD of the transmitter 50. It's okay. In this state, the optical axis Oc of the lens is upward in the vertical direction. Thus, the operator PER1 can easily attach to the USB connector UJ3 when he / she wants to image the unmanned aircraft 100 with the transmitter camera 55. On the other hand, when the transmitter camera 55 is no longer needed, it can be easily removed from the USB connector UJ3.

また、送信機カメラ５５はレンズユニット５５Ａの光軸を操作者ＰＥＲ１の操作により手動調整が可能となるように取り付けられてよい。これにより、操作者は、自己の嗜好に応じて、送信機カメラ５５の撮像方向（いわゆる光軸Ｏｃ）を任意に調整できる。   Further, the transmitter camera 55 may be attached so that the optical axis of the lens unit 55A can be manually adjusted by the operation of the operator PER1. Thereby, the operator can arbitrarily adjust the imaging direction (so-called optical axis Oc) of the transmitter camera 55 according to his / her preference.

図５Ｂに示すように、送信機カメラ５５は、送信機５０のホルダＨＬＤの一端（例えば上端壁部ＵＰ１）に内蔵されて固定して配置されてよい。つまり、ホルダＨＬＤの内部に送信機カメラ５５が埋設され、レンズユニット５５Ａのレンズは外部に露出している。この状態では、図５Ａに示すレンズの光軸Ｏｃに比べて、図５Ｂに示すレンズの光軸Ｏｃが鉛直方向上向きから少し傾斜している。これにより、操作者ＰＥＲ１は、ネジ５１Ｎの調整又はヒンジ５１Ｈを介したホルダＨＬＤの角度調整により、送信機カメラ５５を自己の好みに応じた角度に調整して撮像させることができる。   As shown in FIG. 5B, the transmitter camera 55 may be built in one end (for example, the upper end wall portion UP1) of the holder HLD of the transmitter 50 and fixedly disposed. That is, the transmitter camera 55 is embedded in the holder HLD, and the lens of the lens unit 55A is exposed to the outside. In this state, the optical axis Oc of the lens shown in FIG. 5B is slightly inclined from the upward in the vertical direction as compared to the optical axis Oc of the lens shown in FIG. 5A. Thereby, the operator PER1 can adjust the transmitter camera 55 to an angle according to his / her preference by performing adjustment of the screw 51N or angle adjustment of the holder HLD via the hinge 51H.

また、送信機カメラ５５は、送信機カメラ５５の筐体５０Ｂに内蔵されて固定して配置されてよい。つまり、筐体５０Ｂの内部に送信機カメラ５５が埋設され、レンズユニット５５Ａのレンズは外部に露出している。この状態では、図５Ａに示す送信機カメラ５５と同様に、レンズの光軸Ｏｃが鉛直方向上向きとなっている。これにより、操作者ＰＥＲ１は、例えばネジ５１Ｎの調整又はヒンジ５１Ｈを介したホルダＨＬＤの角度調整の操作を必要とせず、簡易に送信機カメラ５５に上空を撮像させることができる。   Further, the transmitter camera 55 may be fixedly disposed in a housing 50B of the transmitter camera 55. That is, the transmitter camera 55 is embedded in the housing 50B, and the lens of the lens unit 55A is exposed to the outside. In this state, similarly to the transmitter camera 55 shown in FIG. 5A, the optical axis Oc of the lens is directed upward in the vertical direction. As a result, the operator PER1 can easily cause the transmitter camera 55 to image the sky without adjusting the screw 51N or adjusting the angle of the holder HLD via the hinge 51H, for example.

また、表示端末８０（例えばタブレット端末８０Ｔ、スマートフォン８０Ｓ）がカメラを備える構成であれば、送信機カメラ５５の代わりに、表示端末８０が備えるカメラを用いてよい。つまり、タブレット端末８０Ｔ又はスマートフォン８０Ｓに内蔵されるカメラにより、無人航空機１００が移動する領域（例えば上空）が撮像されてよい。これにより、本実施形態において送信機カメラ５５の構成を省略でき、送信機５０の部品点数を削減できる。   Moreover, if the display terminal 80 (for example, tablet terminal 80T, smart phone 80S) is a structure provided with a camera, you may use the camera with which the display terminal 80 is provided instead of the transmitter camera 55. FIG. That is, a region (for example, the sky) where the unmanned aircraft 100 moves may be imaged by a camera built in the tablet terminal 80T or the smartphone 80S. Thereby, the configuration of the transmitter camera 55 can be omitted in the present embodiment, and the number of parts of the transmitter 50 can be reduced.

図６は、無人航空機１００の外観の一例を示す図である。図７は、無人航空機１００の具体的な外観の一例を示す図である。無人航空機１００が移動方向ＳＴＶ０に飛行する時の側面図が図６に示され、無人航空機１００が移動方向ＳＴＶ０に飛行する時の斜視図が図７に示されている。無人航空機１００は、撮像装置２２０，２３０を備えて移動する移動体の一例である。移動体とは、無人航空機１００の他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。ここで、図６及び図７に示すように、地面と平行であって移動方向ＳＴＶ０に沿う方向にロール軸（図９のｘ軸参照）が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸（図９のｙ軸参照）が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸（図９のｚ軸）が定められる。   FIG. 6 is a diagram illustrating an example of the appearance of the unmanned aerial vehicle 100. FIG. 7 is a diagram illustrating an example of a specific appearance of the unmanned aerial vehicle 100. A side view when the unmanned aircraft 100 flies in the moving direction STV0 is shown in FIG. 6, and a perspective view when the unmanned aircraft 100 flies in the moving direction STV0 is shown in FIG. The unmanned aerial vehicle 100 is an example of a moving body that includes the imaging devices 220 and 230 and moves. In addition to the unmanned aircraft 100, the moving body is a concept that includes other aircraft that moves in the air, vehicles that move on the ground, ships that move on the water, and the like. Here, as shown in FIGS. 6 and 7, it is assumed that the roll axis (see the x-axis in FIG. 9) is defined in a direction parallel to the ground and along the moving direction STV0. In this case, the pitch axis (see the y-axis in FIG. 9) is defined in a direction parallel to the ground and perpendicular to the roll axis, and further, the yaw axis is perpendicular to the ground and perpendicular to the roll axis and the pitch axis. (Z-axis in FIG. 9) is defined.

無人航空機１００は、ＵＡＶ本体１０２と、ジンバル２００と、撮像装置２２０と、複数の撮像装置２３０とを含む構成である。無人航空機１００は、操作端末の一例としての送信機５０から送信される遠隔制御の指示を基に移動する移動体の一例である。移動体とは、無人航空機１００の他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。   The unmanned aerial vehicle 100 includes a UAV main body 102, a gimbal 200, an imaging device 220, and a plurality of imaging devices 230. Unmanned aerial vehicle 100 is an example of a moving body that moves based on a remote control instruction transmitted from transmitter 50 as an example of an operation terminal. In addition to the unmanned aircraft 100, the moving body is a concept that includes other aircraft that moves in the air, vehicles that move on the ground, ships that move on the water, and the like.

ＵＡＶ本体１０２は、複数の回転翼を備える。ＵＡＶ本体１０２は、複数の回転翼の回転を制御することにより無人航空機１００を飛行させる。ＵＡＶ本体１０２は、例えば４つの回転翼を用いて無人航空機１００を飛行させる。回転翼の数は、４つに限定されない。また、無人航空機１００は、回転翼を有さない固定翼機でもよい。   The UAV main body 102 includes a plurality of rotor blades. The UAV main body 102 causes the unmanned aircraft 100 to fly by controlling the rotation of a plurality of rotor blades. The UAV main body 102 causes the unmanned aircraft 100 to fly using, for example, four rotary wings. The number of rotor blades is not limited to four. Unmanned aerial vehicle 100 may also be a fixed wing aircraft that does not have rotating wings.

撮像装置２２０は、所望の撮像範囲に含まれる被写体（例えば空撮対象となる上空の様子、山や川等の景色）を撮像する撮像用のカメラである。   The imaging device 220 is an imaging camera that captures an object included in a desired imaging range (for example, an aerial subject, a landscape such as a mountain or a river).

複数の撮像装置２３０は、無人航空機１００の飛行を制御するために無人航空機１００の周囲を撮像するセンシング用のカメラである。２つの撮像装置２３０が、無人航空機１００の機首である正面に設けられてよい。更に、他の２つの撮像装置２３０が、無人航空機１００の底面に設けられてよい。正面側の２つの撮像装置２３０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置２３０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置２３０により撮像された画像に基づいて、無人航空機１００の周囲の３次元空間データが生成されてよい。なお、無人航空機１００が備える撮像装置２３０の数は４つに限定されない。無人航空機１００は、少なくとも１つの撮像装置２３０を備えていればよい。無人航空機１００は、無人航空機１００の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置２３０を備えてよい。撮像装置２３０で設定できる画角は、撮像装置２２０で設定できる画角より広くてよい。撮像装置２３０は、単焦点レンズ又は魚眼レンズを有してよい。   The plurality of imaging devices 230 are sensing cameras that capture images of the surroundings of the unmanned aircraft 100 in order to control the flight of the unmanned aircraft 100. The two imaging devices 230 may be provided on the front surface that is the nose of the unmanned aircraft 100. Further, the other two imaging devices 230 may be provided on the bottom surface of the unmanned aircraft 100. The two imaging devices 230 on the front side may be paired and function as a so-called stereo camera. The two imaging devices 230 on the bottom side may also be paired and function as a stereo camera. Three-dimensional spatial data around the unmanned aerial vehicle 100 may be generated based on images captured by the plurality of imaging devices 230. Note that the number of imaging devices 230 included in the unmanned aerial vehicle 100 is not limited to four. The unmanned aircraft 100 only needs to include at least one imaging device 230. The unmanned aerial vehicle 100 may include at least one imaging device 230 on each of the nose, tail, side, bottom, and ceiling of the unmanned aircraft 100. The angle of view that can be set by the imaging device 230 may be wider than the angle of view that can be set by the imaging device 220. The imaging device 230 may have a single focus lens or a fisheye lens.

図８は、無人航空機１００のハードウェア構成の一例を示すブロック図である。無人航空機１００は、ＵＡＶ制御部１１０と、通信インタフェース１５０と、メモリ１６０と、ジンバル２００と、回転翼機構２１０と、撮像装置２２０と、撮像装置２３０と、ＧＰＳ受信機２４０と、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）２５０と、磁気コンパス２６０と、気圧高度計２７０とを含む構成である。   FIG. 8 is a block diagram illustrating an example of a hardware configuration of the unmanned aerial vehicle 100. The unmanned aircraft 100 includes a UAV control unit 110, a communication interface 150, a memory 160, a gimbal 200, a rotary wing mechanism 210, an imaging device 220, an imaging device 230, a GPS receiver 240, an inertial measurement device ( The configuration includes an IMU (Inertial Measurement Unit) 250, a magnetic compass 260, and a barometric altimeter 270.

ＵＡＶ制御部１１０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成される。ＵＡＶ制御部１１０は、無人航空機１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。   The UAV control unit 110 is configured using, for example, a CPU, MPU, or DSP. The UAV control unit 110 performs signal processing for overall control of operations of each unit of the unmanned aircraft 100, data input / output processing with respect to other units, data calculation processing, and data storage processing.

ＵＡＶ制御部１１０は、メモリ１６０に格納されたプログラムに従って無人航空機１００の飛行を制御する。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して遠隔の送信機５０から受信した命令に従って、無人航空機１００の飛行を制御する。メモリ１６０は無人航空機１００から取り外し可能であってもよい。   The UAV control unit 110 controls the flight of the unmanned aircraft 100 according to a program stored in the memory 160. UAV control unit 110 controls the flight of unmanned aerial vehicle 100 in accordance with instructions received from remote transmitter 50 via communication interface 150. Memory 160 may be removable from unmanned aerial vehicle 100.

ＵＡＶ制御部１１０は、複数の撮像装置２３０により撮像された複数の画像を解析することで、無人航空機１００の周囲の環境を特定してよい。ＵＡＶ制御部１１０は、無人航空機１００の周囲の環境に基づいて、例えば障害物を回避して飛行を制御する。ＵＡＶ制御部１１０は、複数の撮像装置２３０により撮像された複数の画像に基づいて無人航空機１００の周囲の３次元空間データを生成し、３次元空間データに基づいて飛行を制御してよい。   The UAV control unit 110 may specify the environment around the unmanned aerial vehicle 100 by analyzing a plurality of images captured by the plurality of imaging devices 230. The UAV control unit 110 controls the flight based on the environment around the unmanned aircraft 100 while avoiding obstacles, for example. The UAV control unit 110 may generate three-dimensional spatial data around the unmanned aerial vehicle 100 based on a plurality of images captured by the plurality of imaging devices 230, and may control the flight based on the three-dimensional spatial data.

ＵＡＶ制御部１１０は、現在の日時を示す日時情報を取得する。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から現在の日時を示す日時情報を取得してよい。ＵＡＶ制御部１１０は、無人航空機１００に搭載されたタイマ（不図示）から現在の日時を示す日時情報を取得してよい。   The UAV control unit 110 acquires date / time information indicating the current date / time. The UAV control unit 110 may acquire date / time information indicating the current date / time from the GPS receiver 240. The UAV control unit 110 may acquire date / time information indicating the current date / time from a timer (not shown) mounted on the unmanned aircraft 100.

ＵＡＶ制御部１１０は、無人航空機１００の位置を示す位置情報を取得する。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から、無人航空機１００が存在する緯度、経度及び高度を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から無人航空機１００が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計２７０から無人航空機１００が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。   The UAV control unit 110 acquires position information indicating the position of the unmanned aircraft 100. The UAV control unit 110 may acquire position information indicating the latitude, longitude, and altitude at which the unmanned aircraft 100 exists from the GPS receiver 240. The UAV control unit 110 acquires, from the GPS receiver 240, latitude / longitude information indicating the latitude and longitude where the unmanned aircraft 100 exists, and altitude information indicating the altitude where the unmanned aircraft 100 exists from the barometric altimeter 270, as position information. Good.

ＵＡＶ制御部１１０は、磁気コンパス２６０から無人航空機１００の向きを示す向き情報を取得する。向き情報には、例えば無人航空機１００の機首の向きに対応する方位が示される。   The UAV control unit 110 acquires orientation information indicating the orientation of the unmanned aircraft 100 from the magnetic compass 260. In the direction information, for example, a direction corresponding to the nose direction of the unmanned aircraft 100 is indicated.

ＵＡＶ制御部１１０は、撮像装置２２０が撮像すべき撮像範囲を撮像する時に無人航空機１００が存在すべき位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報をメモリ１６０から取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報を、通信インタフェース１５０を介して送信機５０等の他の装置から取得してよい。ＵＡＶ制御部１１０は、３次元地図データベースを参照して、撮像すべき撮像範囲を撮像するために、無人航空機１００が存在可能な位置を特定して、その位置を無人航空機１００が存在すべき位置を示す位置情報として取得してよい。   The UAV control unit 110 may acquire position information indicating a position where the unmanned aircraft 100 should be present when the imaging device 220 captures an imaging range to be imaged. The UAV control unit 110 may acquire position information indicating the position where the unmanned aircraft 100 should be present from the memory 160. The UAV control unit 110 may acquire position information indicating the position where the unmanned aircraft 100 should exist from another device such as the transmitter 50 via the communication interface 150. The UAV control unit 110 refers to the 3D map database, specifies a position where the unmanned aircraft 100 can exist in order to capture an imaging range to be imaged, and sets the position where the unmanned aircraft 100 should exist. May be acquired as position information indicating.

ＵＡＶ制御部１１０は、撮像装置２２０及び撮像装置２３０のそれぞれの撮像範囲を示す撮像情報を取得する。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像装置２２０及び撮像装置２３０の画角を示す画角情報を撮像装置２２０及び撮像装置２３０から取得する。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像装置２２０及び撮像装置２３０の撮像方向を示す情報を取得する。ＵＡＶ制御部１１０は、例えば撮像装置２２０の撮像方向を示す情報として、ジンバル２００から撮像装置２２０の姿勢の状態を示す姿勢情報を取得する。ＵＡＶ制御部１１０は、無人航空機１００の向きを示す情報を取得する。撮像装置２２０の姿勢の状態を示す情報は、ジンバル２００のピッチ軸及びヨー軸の基準回転角度からの回転角度を示す。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、無人航空機１００が存在する位置を示す位置情報を取得する。ＵＡＶ制御部１１０は、撮像装置２２０及び撮像装置２３０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて、撮像装置２２０が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲を示す撮像情報を生成することで、撮像情報を取得してよい。   The UAV control unit 110 acquires imaging information indicating the imaging ranges of the imaging device 220 and the imaging device 230. The UAV control unit 110 acquires angle-of-view information indicating the angle of view of the imaging device 220 and the imaging device 230 from the imaging device 220 and the imaging device 230 as parameters for specifying the imaging range. The UAV control unit 110 acquires information indicating the imaging direction of the imaging device 220 and the imaging device 230 as a parameter for specifying the imaging range. The UAV control unit 110 acquires posture information indicating the posture state of the imaging device 220 from the gimbal 200 as information indicating the imaging direction of the imaging device 220, for example. The UAV control unit 110 acquires information indicating the direction of the unmanned aircraft 100. Information indicating the posture state of the imaging device 220 indicates a rotation angle from the reference rotation angle of the pitch axis and yaw axis of the gimbal 200. The UAV control unit 110 acquires position information indicating a position where the unmanned aircraft 100 exists as a parameter for specifying the imaging range. The UAV control unit 110 defines an imaging range indicating a geographical range captured by the imaging device 220 based on the angle of view and the imaging direction of the imaging device 220 and the imaging device 230, and the position where the unmanned aircraft 100 exists. The imaging information may be acquired by generating imaging information indicating the imaging range.

ＵＡＶ制御部１１０は、撮像装置２２０が撮像すべき撮像範囲を示す撮像情報を取得してよい。ＵＡＶ制御部１１０は、メモリ１６０から撮像装置２２０が撮像すべき撮像情報を取得してよい。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して送信機５０等の他の装置から撮像装置２２０が撮像すべき撮像情報を取得してよい。   The UAV control unit 110 may acquire imaging information indicating an imaging range to be imaged by the imaging device 220. The UAV control unit 110 may acquire imaging information to be imaged by the imaging device 220 from the memory 160. The UAV control unit 110 may acquire imaging information to be imaged by the imaging device 220 from another device such as the transmitter 50 via the communication interface 150.

ＵＡＶ制御部１１０は、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を取得する。オブジェクトは、例えば、建物、道路、車、木等の風景の一部である。立体情報は、例えば、３次元空間データである。ＵＡＶ制御部１１０は、複数の撮像装置２３０から得られたそれぞれの画像から、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。ＵＡＶ制御部１１０は、メモリ１６０に格納された３次元地図データベースを参照することにより、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。ＵＡＶ制御部１１０は、ネットワーク上に存在するサーバが管理する３次元地図データベースを参照することで、無人航空機１００の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。   The UAV control unit 110 acquires solid information indicating the solid shape of an object existing around the unmanned aircraft 100. The object is a part of a landscape such as a building, a road, a car, and a tree. The three-dimensional information is, for example, three-dimensional space data. The UAV control unit 110 may acquire the three-dimensional information by generating the three-dimensional information indicating the three-dimensional shape of the object existing around the unmanned aircraft 100 from each image obtained from the plurality of imaging devices 230. The UAV control unit 110 may acquire the three-dimensional information indicating the three-dimensional shape of the object existing around the unmanned aircraft 100 by referring to the three-dimensional map database stored in the memory 160. The UAV control unit 110 may acquire three-dimensional information related to the three-dimensional shape of an object existing around the unmanned aircraft 100 by referring to a three-dimensional map database managed by a server existing on the network.

ＵＡＶ制御部１１０は、撮像装置２２０及び撮像装置２３０により撮像された画像データを取得する。   The UAV control unit 110 acquires image data captured by the imaging device 220 and the imaging device 230.

ＵＡＶ制御部１１０は、ジンバル２００、回転翼機構２１０、撮像装置２２０、及び撮像装置２３０を制御する。ＵＡＶ制御部１１０は、撮像装置２２０の撮像方向又は画角を変更することによって、撮像装置２２０の撮像範囲を制御する。ＵＡＶ制御部１１０は、ジンバル２００の回転機構を制御することで、ジンバル２００に支持されている撮像装置２２０の撮像範囲を制御する。   The UAV control unit 110 controls the gimbal 200, the rotary blade mechanism 210, the imaging device 220, and the imaging device 230. The UAV control unit 110 controls the imaging range of the imaging device 220 by changing the imaging direction or angle of view of the imaging device 220. The UAV control unit 110 controls the imaging range of the imaging device 220 supported by the gimbal 200 by controlling the rotation mechanism of the gimbal 200.

本明細書では、撮像範囲は、撮像装置２２０又は撮像装置２３０により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される３次元空間データにおける範囲でよい。撮像範囲は、撮像装置２２０又は撮像装置２３０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて特定される。撮像装置２２０及び撮像装置２３０の撮像方向は、撮像装置２２０及び撮像装置２３０の撮像レンズが設けられた正面が向く方位と俯角とから定義される。撮像装置２２０の撮像方向は、無人航空機１００の機首の方位と、ジンバル２００に対する撮像装置２２０の姿勢の状態とから特定される方向である。撮像装置２３０の撮像方向は、無人航空機１００の機首の方位と、撮像装置２３０が設けられた位置とから特定される方向である。   In this specification, the imaging range refers to a geographical range captured by the imaging device 220 or the imaging device 230. The imaging range is defined by latitude, longitude, and altitude. The imaging range may be a range in three-dimensional spatial data defined by latitude, longitude, and altitude. The imaging range is specified based on the angle of view and imaging direction of the imaging device 220 or the imaging device 230, and the position where the unmanned aircraft 100 is present. The imaging directions of the imaging device 220 and the imaging device 230 are defined from the azimuth and the depression angle in which the front surface where the imaging lenses of the imaging device 220 and the imaging device 230 are provided is directed. The imaging direction of the imaging device 220 is a direction specified from the heading direction of the unmanned aerial vehicle 100 and the posture state of the imaging device 220 with respect to the gimbal 200. The imaging direction of the imaging device 230 is a direction specified from the heading of the unmanned aerial vehicle 100 and the position where the imaging device 230 is provided.

ＵＡＶ制御部１１０は、回転翼機構２１０を制御することで、無人航空機１００の飛行を制御する。つまり、ＵＡＶ制御部１１０は、回転翼機構２１０を制御することにより、無人航空機１００の緯度、経度、及び高度を含む位置を制御する。ＵＡＶ制御部１１０は、無人航空機１００の飛行を制御することにより、撮像装置２２０及び撮像装置２３０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、撮像装置２２０が備えるズームレンズを制御することで、撮像装置２２０の画角を制御してよい。ＵＡＶ制御部１１０は、撮像装置２２０のデジタルズーム機能を利用して、デジタルズームにより、撮像装置２２０の画角を制御してよい。   The UAV control unit 110 controls the flight of the unmanned aircraft 100 by controlling the rotary wing mechanism 210. That is, the UAV control unit 110 controls the position including the latitude, longitude, and altitude of the unmanned aircraft 100 by controlling the rotary wing mechanism 210. The UAV control unit 110 may control the imaging ranges of the imaging device 220 and the imaging device 230 by controlling the flight of the unmanned aircraft 100. The UAV control unit 110 may control the angle of view of the imaging device 220 by controlling a zoom lens included in the imaging device 220. The UAV control unit 110 may control the angle of view of the imaging device 220 by digital zoom using the digital zoom function of the imaging device 220.

撮像装置２２０が無人航空機１００に固定され、撮像装置２２０を動かせない場合、ＵＡＶ制御部１１０は、特定の日時に特定の位置に無人航空機１００を移動させることにより、所望の環境下で所望の撮像範囲を撮像装置２２０に撮像させることができる。あるいは撮像装置２２０がズーム機能を有さず、撮像装置２２０の画角を変更できない場合でも、ＵＡＶ制御部１１０は、特定された日時に、特定の位置に無人航空機１００を移動させることで、所望の環境下で所望の撮像範囲を撮像装置２２０に撮像させることができる。   When the imaging device 220 is fixed to the unmanned aircraft 100 and the imaging device 220 cannot be moved, the UAV control unit 110 moves the unmanned aircraft 100 to a specific position at a specific date and time to perform desired imaging under a desired environment. The range can be imaged by the imaging device 220. Alternatively, even when the imaging device 220 does not have a zoom function and the angle of view of the imaging device 220 cannot be changed, the UAV control unit 110 moves the unmanned aircraft 100 to a specific position at the specified date and time to In this environment, the imaging device 220 can capture a desired imaging range.

通信インタフェース１５０は、送信機５０と通信する（図８参照）。通信インタフェース１５０は、遠隔の送信機５０からＵＡＶ制御部１１０に対する各種の命令を受信する。   The communication interface 150 communicates with the transmitter 50 (see FIG. 8). The communication interface 150 receives various commands for the UAV control unit 110 from the remote transmitter 50.

メモリ１６０は、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像装置２２０、撮像装置２３０、ＧＰＳ受信機２４０、慣性計測装置２５０、磁気コンパス２６０及び気圧高度計２７０を制御するのに必要なプログラム等を格納する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１６０は、ＵＡＶ本体１０２の内部に設けられてよい。ＵＡＶ本体１０２から取り外し可能に設けられてよい。   The memory 160 is a program necessary for the UAV control unit 110 to control the gimbal 200, the rotating blade mechanism 210, the imaging device 220, the imaging device 230, the GPS receiver 240, the inertial measurement device 250, the magnetic compass 260, and the barometric altimeter 270. Etc. are stored. The memory 160 may be a computer-readable recording medium, such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), and It may include at least one flash memory such as a USB memory. The memory 160 may be provided inside the UAV main body 102. It may be provided so as to be removable from the UAV main body 102.

ジンバル２００は、少なくとも１つの軸を中心に撮像装置２２０を回転可能に支持する。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置２２０を回転させることで、撮像装置２２０の撮像方向を変更してよい。   The gimbal 200 supports the imaging device 220 rotatably about at least one axis. The gimbal 200 may support the imaging device 220 rotatably about the yaw axis, pitch axis, and roll axis. The gimbal 200 may change the imaging direction of the imaging device 220 by rotating the imaging device 220 about at least one of the yaw axis, the pitch axis, and the roll axis.

回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。   The rotary blade mechanism 210 includes a plurality of rotary blades and a plurality of drive motors that rotate the plurality of rotary blades.

撮像装置２２０は、所望の撮像範囲の被写体を撮像して撮像画像（第２撮像画像）のデータを生成する。撮像装置２２０の撮像により得られた画像データは、撮像装置２２０が有するメモリ、又はメモリ１６０に格納される。   The imaging device 220 captures a subject in a desired imaging range and generates captured image (second captured image) data. Image data obtained by imaging by the imaging device 220 is stored in a memory included in the imaging device 220 or the memory 160.

撮像装置２３０は、無人航空機１００の周囲を撮像して撮像画像のデータを生成する。撮像装置２３０の画像データは、メモリ１６０に格納される。   The imaging device 230 captures the surroundings of the unmanned aircraft 100 and generates captured image data. Image data of the imaging device 230 is stored in the memory 160.

ＧＰＳ受信機２４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいて、ＧＰＳ受信機２４０の位置（つまり、無人航空機１００の位置）を算出する。ＧＰＳ受信機２４０は、無人航空機１００の位置情報をＵＡＶ制御部１１０に出力する。なお、ＧＰＳ受信機２４０の位置情報の算出は、ＧＰＳ受信機２４０の代わりにＵＡＶ制御部１１０により行われてよい。この場合、ＵＡＶ制御部１１０には、ＧＰＳ受信機２４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。   The GPS receiver 240 receives a plurality of signals indicating times and positions (coordinates) of each GPS satellite transmitted from a plurality of navigation satellites (that is, GPS satellites). The GPS receiver 240 calculates the position of the GPS receiver 240 (that is, the position of the unmanned aircraft 100) based on the plurality of received signals. The GPS receiver 240 outputs the position information of the unmanned aircraft 100 to the UAV control unit 110. The calculation of the position information of the GPS receiver 240 may be performed by the UAV control unit 110 instead of the GPS receiver 240. In this case, the UAV control unit 110 receives information indicating the time and the position of each GPS satellite included in a plurality of signals received by the GPS receiver 240.

慣性計測装置２５０は、無人航空機１００の姿勢を検出し、検出結果をＵＡＶ制御部１１０に出力する。慣性計測装置ＩＭＵ２５０は、無人航空機１００の姿勢として、無人航空機１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の３軸方向の角速度とを検出する。   Inertial measurement device 250 detects the attitude of unmanned aerial vehicle 100 and outputs the detection result to UAV control unit 110. The inertial measurement device IMU 250 detects the acceleration of the unmanned aircraft 100 in the three axial directions of the front, rear, left and right, and the angular velocity in the three axial directions of the pitch axis, the roll axis, and the yaw axis. .

磁気コンパス２６０は、無人航空機１００の機首の方位を検出し、検出結果をＵＡＶ制御部１１０に出力する。   The magnetic compass 260 detects the heading of the unmanned aircraft 100 and outputs the detection result to the UAV control unit 110.

気圧高度計２７０は、無人航空機１００が飛行する高度を検出し、検出結果をＵＡＶ制御部１１０に出力する。   Barometric altimeter 270 detects the altitude at which unmanned aircraft 100 flies, and outputs the detection result to UAV control unit 110.

図９は、操作者ＰＥＲ１が送信機５０と接続された表示端末８０のディスプレイＴＰＤを閲覧しながら無人航空機１００を操作する時の一例を示す図である。図９に示すｘ軸、ｙ軸、ｚ軸は、図６及び図７に示すロール軸、ピッチ軸、ヨー軸にそれぞれ対応する。図９では、送信機５０と無人航空機１００とは互いに無線通信可能に接続されている例が示されているが、送信機５０と無人航空機１００とは互いに有線通信可能に接続されてよい。   FIG. 9 is a diagram illustrating an example when the operator PER1 operates the unmanned aerial vehicle 100 while browsing the display TPD of the display terminal 80 connected to the transmitter 50. The x-axis, y-axis, and z-axis shown in FIG. 9 correspond to the roll axis, pitch axis, and yaw axis shown in FIGS. 6 and 7, respectively. Although FIG. 9 shows an example in which the transmitter 50 and the unmanned aircraft 100 are connected to each other so as to be capable of wireless communication, the transmitter 50 and the unmanned aircraft 100 may be connected to each other so as to be capable of wired communication.

本実施形態では、送信機５０に設けられた送信機カメラ５５は、例えば無人航空機１００を被写体として、無人航空機１００が移動方向ＳＴＶ０に移動する領域（例えば上空）を撮像する。送信機カメラ５５により撮像された撮像画像（つまり、無人航空機１００が撮像された第１撮像画像）は、送信機５０に入力される。その後、第１撮像画像は、送信機５０から表示端末８０に入力されてディスプレイＴＰＤにて表示される（図１０、図１２参照）。従って、操作者ＰＥＲ１は、送信機５０を操作して無人航空機１００の移動を遠隔で制御する際に、無人航空機１００が飛行している上空を見上げて目視すること無く、ディスプレイＴＰＤに表示された第１撮像画像を閲覧することができる。よって、無人航空機１００の位置を把握でき、快適に無人航空機１００の飛行を制御できる。   In the present embodiment, the transmitter camera 55 provided in the transmitter 50 images a region (for example, the sky) where the unmanned aircraft 100 moves in the movement direction STV0, for example, with the unmanned aircraft 100 as a subject. A captured image captured by the transmitter camera 55 (that is, a first captured image captured by the unmanned aircraft 100) is input to the transmitter 50. Thereafter, the first captured image is input from the transmitter 50 to the display terminal 80 and displayed on the display TPD (see FIGS. 10 and 12). Therefore, when the operator PER1 operates the transmitter 50 to remotely control the movement of the unmanned aircraft 100, the operator PER1 is displayed on the display TPD without looking up at the sky above which the unmanned aircraft 100 is flying. The first captured image can be browsed. Therefore, the position of the unmanned aircraft 100 can be grasped, and the flight of the unmanned aircraft 100 can be controlled comfortably.

これにより、送信機５０は、上空で飛行している無人航空機１００の移動を遠隔制御する際に、無人航空機１００を送信機カメラ５５により撮像でき、その撮像により得た送信機カメラ画像５６をディスプレイＴＰＤにおいて操作者ＰＥＲ１に閲覧させることができる。従って、操作者ＰＥＲ１は、無人航空機１００を確認するためにわざわざ上空を見上げること無く、ディスプレイＴＰＤに表示された送信機カメラ画像５６によって無人航空機１００の所在を簡単に確認できる。言い換えると、送信機５０は、無人航空機１００に搭載された撮像装置２２０を用いて空撮する時の操作者ＰＥＲ１の利便性を向上できる。   Thus, the transmitter 50 can image the unmanned aircraft 100 with the transmitter camera 55 when remotely controlling the movement of the unmanned aircraft 100 flying in the sky, and displays the transmitter camera image 56 obtained by the imaging. The operator PER1 can browse the TPD. Therefore, the operator PER1 can easily confirm the location of the unmanned aerial vehicle 100 by the transmitter camera image 56 displayed on the display TPD without having to bother looking up at the sky to confirm the unmanned aircraft 100. In other words, the transmitter 50 can improve the convenience of the operator PER1 when performing aerial photography using the imaging device 220 mounted on the unmanned aircraft 100.

また、無人航空機１００が備える撮像装置２２０により撮像（空撮）された撮像画像（つまり、上空の様子や景色等が撮像された第２撮像画像）は、無線（wireless）で無人航空機１００から送信機５０に送信されて送信機５０で受信される。その後、第２撮像画像は、送信機５０から表示端末８０に入力されてディスプレイＴＰＤにて表示される（図１０、図１１、図１３参照）。従って、操作者ＰＥＲ１は、ディスプレイＴＰＤに表示された第２撮像画像を閲覧することで、空撮を快適に楽しむことができる。   In addition, a captured image captured by the imaging device 220 included in the unmanned aerial vehicle 100 (that is, a second captured image in which a sky state, a landscape, and the like are captured) is transmitted from the unmanned aircraft 100 wirelessly. Transmitted to the machine 50 and received by the transmitter 50. Thereafter, the second captured image is input from the transmitter 50 to the display terminal 80 and displayed on the display TPD (see FIGS. 10, 11, and 13). Therefore, the operator PER1 can enjoy aerial photography comfortably by browsing the second captured image displayed on the display TPD.

また、送信機５０は、無人航空機１００との無線通信により、無人航空機１００が備える撮像装置２２０により撮像（空撮）された領域（例えば上空）のＵＡＶカメラ画像５７（第２撮像画像）を受信する。送信機５０は、表示端末８０に、無人航空機１００により空撮されたＵＡＶカメラ画像５７をディスプレイＴＰＤに出力して表示させる。これにより、送信機５０は、送信機カメラ画像５６だけでなく、無人航空機１００により空撮されたＵＡＶカメラ画像５７もディスプレイＴＰＤに表示できる。従って、操作者ＰＥＲ１は、送信機カメラ画像５６によって無人航空機１００の行方を確認できるだけでなく、無人航空機１００により空撮された被写体の画像を閲覧でき無人航空機１００による空撮を快適に楽しむことができる。   Further, the transmitter 50 receives a UAV camera image 57 (second captured image) of an area (for example, the sky) imaged (for example, the sky) by the imaging device 220 included in the unmanned aircraft 100 by wireless communication with the unmanned aircraft 100. To do. The transmitter 50 causes the display terminal 80 to output and display the UAV camera image 57 taken by the unmanned aircraft 100 on the display TPD. Thereby, the transmitter 50 can display not only the transmitter camera image 56 but also the UAV camera image 57 taken by the unmanned aircraft 100 on the display TPD. Therefore, the operator PER1 can not only confirm the whereabouts of the unmanned aircraft 100 by the transmitter camera image 56, but also can view the image of the subject taken by the unmanned aircraft 100 and enjoy the aerial photography comfortably. it can.

図１０は、送信機カメラ画像５６とＵＡＶカメラ画像５７とが共に表示端末８０のディスプレイＴＰＤに表示された表示例を示す図である。図１１は、ＵＡＶカメラ画像５７が表示端末８０のディスプレイＴＰＤに全画面表示された第１表示例を示す図である。図１２は、送信機カメラ画像５６が表示端末８０のディスプレイＴＰＤに全画面表示された表示例を示す図である。図１３は、ＵＡＶカメラ画像５７が表示端末８０のディスプレイＴＰＤに全画面表示された第２表示例を示す図である。送信機カメラ画像５６は第１撮像画像に対応し、ＵＡＶカメラ画像５７は第２撮像画像に対応する。   FIG. 10 is a diagram illustrating a display example in which both the transmitter camera image 56 and the UAV camera image 57 are displayed on the display TPD of the display terminal 80. FIG. 11 is a diagram illustrating a first display example in which the UAV camera image 57 is displayed on the full screen on the display TPD of the display terminal 80. FIG. 12 is a diagram showing a display example in which the transmitter camera image 56 is displayed on the full screen on the display TPD of the display terminal 80. FIG. 13 is a diagram illustrating a second display example in which the UAV camera image 57 is displayed on the full screen on the display TPD of the display terminal 80. The transmitter camera image 56 corresponds to the first captured image, and the UAV camera image 57 corresponds to the second captured image.

図１０に示すように、表示端末８０のプロセッサ８１は、送信機５０の送信機制御部６１からの表示指示に基づき、送信機カメラ画像５６とＵＡＶカメラ画像５７とをディスプレイＴＰＤに同時に表示させてよい。言い換えると、送信機５０は、表示端末８０に対し、送信機カメラ画像５６とＵＡＶカメラ画像５７とをディスプレイＴＰＤに同時に表示させてよい。送信機５０からの表示指示には、送信機カメラ画像５６とＵＡＶカメラ画像５７とをディスプレイＴＰＤに同時に表示する旨の命令が含まれる。これにより、操作者ＰＥＲ１は、送信機５０を操作して無人航空機１００の移動を遠隔で制御する際に、無人航空機１００が飛行している上空を見上げて目視すること無く、送信機カメラ画像５６によって無人航空機１００の位置を把握できる。よってＵＡＶカメラ画像５７によって無人航空機１００による空撮を快適に楽しめる。   As shown in FIG. 10, the processor 81 of the display terminal 80 displays the transmitter camera image 56 and the UAV camera image 57 simultaneously on the display TPD based on the display instruction from the transmitter control unit 61 of the transmitter 50. Good. In other words, the transmitter 50 may cause the display terminal 80 to simultaneously display the transmitter camera image 56 and the UAV camera image 57 on the display TPD. The display instruction from the transmitter 50 includes an instruction to simultaneously display the transmitter camera image 56 and the UAV camera image 57 on the display TPD. As a result, when the operator PER1 operates the transmitter 50 to remotely control the movement of the unmanned aircraft 100, the operator PER1 does not look up and look at the sky where the unmanned aircraft 100 is flying. Thus, the position of the unmanned aircraft 100 can be grasped. Therefore, it is possible to comfortably enjoy aerial photography with the unmanned aircraft 100 by the UAV camera image 57.

表示端末８０のプロセッサ８１は、送信機カメラ画像５６及びＵＡＶカメラ画像５７をディスプレイＴＰＤに同時に表示させる際に、送信機カメラ画像５６及びＵＡＶカメラ画像５７の各データ構造におけるヘッダを参照し、送信機カメラ画像５６のラベルＬＢ１、ＵＡＶカメラ画像５７のラベルＬＢ２をそれぞれ付与して表示してよい。これにより、操作者ＰＥＲ１は、一目でディスプレイＴＰＤに表示された画像の種類を判別でき、各画像の内容確認を行い易くなる。   The processor 81 of the display terminal 80 refers to the header in each data structure of the transmitter camera image 56 and the UAV camera image 57 when simultaneously displaying the transmitter camera image 56 and the UAV camera image 57 on the display TPD. A label LB1 of the camera image 56 and a label LB2 of the UAV camera image 57 may be given and displayed. As a result, the operator PER1 can determine the type of the image displayed on the display TPD at a glance, and can easily check the contents of each image.

図１０に示すように、表示端末８０のプロセッサ８１は、送信機５０の送信機制御部６１からの表示指示に基づき、送信機カメラ画像５６をＵＡＶカメラ画像５７より小さくディスプレイＴＰＤに同時に表示させてよい。言い換えると、送信機５０は、表示端末８０に対し、送信機カメラ画像５６をＵＡＶカメラ画像５７より小さくディスプレイＴＰＤに同時に表示させてよい。送信機５０からの表示指示には、送信機カメラ画像５６をＵＡＶカメラ画像５７より小さくディスプレイＴＰＤに同時に表示する旨の命令が含まれる。これにより、操作者ＰＥＲ１は、少なくとも無人航空機１００の位置確認が可能な程度の表示サイズで送信機カメラ画像５６を閲覧でき、主に大きな表示サイズのＵＡＶカメラ画像５７によって無人航空機１００による空撮画像を快適に楽しむことができる。   As shown in FIG. 10, the processor 81 of the display terminal 80 displays the transmitter camera image 56 smaller than the UAV camera image 57 on the display TPD at the same time based on a display instruction from the transmitter control unit 61 of the transmitter 50. Good. In other words, the transmitter 50 may cause the display terminal 80 to simultaneously display the transmitter camera image 56 smaller than the UAV camera image 57 on the display TPD. The display instruction from the transmitter 50 includes an instruction to simultaneously display the transmitter camera image 56 smaller than the UAV camera image 57 on the display TPD. As a result, the operator PER1 can view the transmitter camera image 56 at a display size that allows at least the position of the unmanned aircraft 100 to be confirmed, and an aerial image taken by the unmanned aircraft 100 mainly by the UAV camera image 57 having a large display size. Can enjoy comfortably.

なお図示は省略しているが、表示端末８０のプロセッサ８１は、送信機５０の送信機制御部６１からの表示指示に基づき、ＵＡＶカメラ画像５７を送信機カメラ画像５６より小さくディスプレイＴＰＤに同時に表示させてよい。言い換えると、送信機５０は、表示端末８０に対し、ＵＡＶカメラ画像５７を送信機カメラ画像５６より小さくディスプレイＴＰＤに同時に表示させてよい。送信機５０からの表示指示には、ＵＡＶカメラ画像５７を送信機カメラ画像５６より小さくディスプレイＴＰＤに同時に表示する旨の命令が含まれる。これにより、操作者ＰＥＲ１は、小さな表示サイズのＵＡＶカメラ画像５７によって無人航空機１００による空撮画像を確認でき、主に大きな表示サイズの送信機カメラ画像５６によって無人航空機１００の位置の詳細確認を行うことができる。   Although not shown, the processor 81 of the display terminal 80 simultaneously displays the UAV camera image 57 smaller than the transmitter camera image 56 on the display TPD based on a display instruction from the transmitter control unit 61 of the transmitter 50. You may let me. In other words, the transmitter 50 may cause the display terminal 80 to simultaneously display the UAV camera image 57 smaller than the transmitter camera image 56 on the display TPD. The display instruction from the transmitter 50 includes an instruction to simultaneously display the UAV camera image 57 smaller than the transmitter camera image 56 on the display TPD. As a result, the operator PER1 can confirm the aerial image taken by the unmanned aerial vehicle 100 by the UAV camera image 57 having a small display size, and mainly confirms the details of the position of the unmanned aircraft 100 by the transmitter camera image 56 having a large display size. be able to.

また、図１０に示すように、表示端末８０のプロセッサ８１は、送信機５０の送信機制御部６１からの表示指示に基づき、無人航空機１００の移動方向を示す目印ＳＴＶ１を送信機カメラ画像５６に重畳してディスプレイＴＰＤに表示させてよい。言い換えると、送信機５０は、表示端末８０に対し、無人航空機１００の移動方向を示す目印ＳＴＶ１を送信機カメラ画像５６に重畳してディスプレイＴＰＤに表示させてよい。送信機５０からの表示指示には、無人航空機１００の移動方向を示す目印ＳＴＶ１を送信機カメラ画像５６に重畳してディスプレイＴＰＤに表示する旨の命令が含まれる。無人航空機１００の移動方向は、例えば表示端末８０のプロセッサ８１において判別可能である。つまり、プロセッサ８１は、ＧＰＳ受信機８９から表示端末８０の位置情報（言い換えると、送信機５０の位置）を取得でき、更に、無人航空機１００から送信された無人航空機１００の位置情報を端末側ＵＳＢインタフェース部８３を介して取得できる。プロセッサ８１は、送信機５０の位置情報と無人航空機１００の位置情報とを用いて、無人航空機１００の移動方向を算出できる。これにより、操作者ＰＥＲ１は、送信機カメラ画像５６の中で無人航空機１００の移動方向を示す目印ＳＴＶ１が示されることで、無人航空機１００の移動方向を簡易に判別できる。   As shown in FIG. 10, the processor 81 of the display terminal 80 displays a mark STV1 indicating the moving direction of the unmanned aircraft 100 in the transmitter camera image 56 based on a display instruction from the transmitter control unit 61 of the transmitter 50. You may superimpose and display on display TPD. In other words, the transmitter 50 may cause the display terminal 80 to superimpose the mark STV1 indicating the moving direction of the unmanned aircraft 100 on the transmitter camera image 56 and display it on the display TPD. The display instruction from the transmitter 50 includes a command to superimpose the mark STV1 indicating the moving direction of the unmanned aircraft 100 on the transmitter camera image 56 and display it on the display TPD. The moving direction of the unmanned aircraft 100 can be determined by the processor 81 of the display terminal 80, for example. That is, the processor 81 can acquire the position information of the display terminal 80 from the GPS receiver 89 (in other words, the position of the transmitter 50), and further, the position information of the unmanned aircraft 100 transmitted from the unmanned aircraft 100 can be obtained from the terminal-side USB. It can be acquired via the interface unit 83. The processor 81 can calculate the moving direction of the unmanned aircraft 100 using the position information of the transmitter 50 and the position information of the unmanned aircraft 100. Thereby, the operator PER1 can easily determine the moving direction of the unmanned aircraft 100 by indicating the mark STV1 indicating the moving direction of the unmanned aircraft 100 in the transmitter camera image 56.

また、送信機カメラ５５は、被写体の一例としての無人航空機１００の撮像画像を用いた既存の画像処理、又は無人航空機１００を追従するための既存の光軸調整機構により、無人航空機１００の移動を追従して移動方向に関する情報を取得してよい。この移動方向に関する情報は、送信機５０を介して表示端末８０に入力されてよい。表示端末８０は、無人航空機１００の移動方向を示す目印ＳＴＶ１を用いて、送信機カメラ画像５６に重畳してディスプレイＴＰＤに表示してよい。これにより、送信機５０及び表示端末８０において、無人航空機１００の移動方向を取得するためのプログラムを実行するプロセッサの処理負荷を軽減できる。   Further, the transmitter camera 55 moves the unmanned aircraft 100 by an existing image processing using a captured image of the unmanned aircraft 100 as an example of an object or an existing optical axis adjustment mechanism for following the unmanned aircraft 100. You may follow and acquire the information regarding a moving direction. Information regarding the moving direction may be input to the display terminal 80 via the transmitter 50. The display terminal 80 may superimpose on the transmitter camera image 56 and display it on the display TPD using the mark STV1 indicating the moving direction of the unmanned aircraft 100. Thereby, in the transmitter 50 and the display terminal 80, the processing load of the processor that executes the program for acquiring the moving direction of the unmanned aircraft 100 can be reduced.

図１１に示すように、表示端末８０のプロセッサ８１は、送信機５０の送信機制御部６１からの表示指示に基づき、ＵＡＶカメラ画像５７をディスプレイＴＰＤに全画面表示させてよい。言い換えると、送信機５０は、表示端末８０に対し、ＵＡＶカメラ画像５７をディスプレイＴＰＤに全画面表示させてよい。送信機５０からの表示指示には、ＵＡＶカメラ画像５７をディスプレイＴＰＤに全画面表示する旨の命令が含まれる。これにより、操作者ＰＥＲ１は、ディスプレイＴＰＤの全域に表示されたＵＡＶカメラ画像５７のワイドビューによって無人航空機１００による空撮画像の雰囲気を快適に楽しめる。   As illustrated in FIG. 11, the processor 81 of the display terminal 80 may display the UAV camera image 57 on the display TPD on the full screen based on a display instruction from the transmitter control unit 61 of the transmitter 50. In other words, the transmitter 50 may cause the display terminal 80 to display the UAV camera image 57 on the display TPD in full screen. The display instruction from the transmitter 50 includes a command for displaying the UAV camera image 57 on the display TPD in full screen. Thereby, the operator PER1 can comfortably enjoy the atmosphere of the aerial image taken by the unmanned aerial vehicle 100 by the wide view of the UAV camera image 57 displayed on the entire area of the display TPD.

図１２に示すように、表示端末８０のプロセッサ８１は、送信機５０の送信機制御部６１からの表示指示に基づき、送信機カメラ画像５６をディスプレイＴＰＤに全画面表示させてよい。言い換えると、送信機５０は、表示端末８０に対し、送信機カメラ画像５６をディスプレイＴＰＤに全画面表示させてよい。送信機５０からの表示指示には、送信機カメラ画像５６をディスプレイＴＰＤに全画面表示する旨の命令が含まれる。これにより、操作者ＰＥＲ１は、送信機５０を操作して無人航空機１００の移動を遠隔で制御する際に、ディスプレイＴＰＤの全域に表示された送信機カメラ画像５６のワイドビューによって、無人航空機１００が飛行している上空を見上げて目視すること無く無人航空機１００の位置を簡単に把握できる。   As illustrated in FIG. 12, the processor 81 of the display terminal 80 may display the transmitter camera image 56 on the display TPD on the full screen based on a display instruction from the transmitter control unit 61 of the transmitter 50. In other words, the transmitter 50 may cause the display terminal 80 to display the transmitter camera image 56 on the display TPD in full screen. The display instruction from the transmitter 50 includes an instruction to display the transmitter camera image 56 on the display TPD in full screen. Thus, when the operator PER1 operates the transmitter 50 to remotely control the movement of the unmanned aircraft 100, the unmanned aircraft 100 is displayed by the wide view of the transmitter camera image 56 displayed on the entire area of the display TPD. The position of the unmanned aerial vehicle 100 can be easily grasped without looking up at the sky in flight.

また図１２においても同様に、表示端末８０のプロセッサ８１は、送信機５０の送信機制御部６１からの表示指示に基づき、無人航空機１００の位置，移動方向を示す目印ＩＣＮ１，ＳＴＶ１を送信機カメラ画像５６に重畳してディスプレイＴＰＤに表示させてよい。言い換えると、送信機５０は、表示端末８０に対し、無人航空機１００の位置，移動方向を示す目印ＩＣＮ１，ＳＴＶ１を送信機カメラ画像５６に重畳してディスプレイＴＰＤに表示させてよい。送信機５０からの表示指示には、無人航空機１００の位置，移動方向を示す目印ＩＣＮ１，ＳＴＶ１を送信機カメラ画像５６に重畳してディスプレイＴＰＤに表示する旨の命令が含まれる。無人航空機１００の位置は、無人航空機１００の移動方向と同様に、例えば表示端末８０のプロセッサ８１において判別可能である。つまり、プロセッサ８１は、ＧＰＳ受信機８９から表示端末８０の位置情報（言い換えると、送信機５０の位置）を取得でき、更に、無人航空機１００から送信された無人航空機１００の位置情報を端末側ＵＳＢインタフェース部８３を介して取得できる。プロセッサ８１は、送信機５０の位置情報と無人航空機１００の位置情報とを用いて、送信機カメラ画像５６における相対的な無人航空機１００の位置（座標）を算出できる。これにより、操作者ＰＥＲ１は、送信機カメラ画像５６の中で無人航空機１００が視認できない程に無人航空機１００が上昇した場合でも、無人航空機１００の位置，移動方向を示す目印ＩＣＮ１，ＳＴＶ１が示されることで、無人航空機１００の位置及び移動方向を簡易に判別できる。なお、図１２では、無人航空機１００の位置，移動方向を示す目印ＩＣＮ１，ＳＴＶ１の両方が送信機カメラ画像５６としてディスプレイＴＰＤに表示されているが、無人航空機１００の位置及び移動方向のうち、いずれか一つ（例えば無人航空機１００の位置）を示す目印ＩＣＮ１が送信機カメラ画像５６としてディスプレイＴＰＤに表示されてよい。   Also in FIG. 12, similarly, the processor 81 of the display terminal 80 displays marks ICN1 and STV1 indicating the position and moving direction of the unmanned aircraft 100 based on a display instruction from the transmitter control unit 61 of the transmitter 50 as a transmitter camera. The image 56 may be superimposed and displayed on the display TPD. In other words, the transmitter 50 may cause the display terminal 80 to superimpose the marks ICN1 and STV1 indicating the position and moving direction of the unmanned aircraft 100 on the transmitter camera image 56 and display them on the display TPD. The display instruction from the transmitter 50 includes an instruction to superimpose the marks ICN1 and STV1 indicating the position and moving direction of the unmanned aircraft 100 on the transmitter camera image 56 and display them on the display TPD. The position of the unmanned aircraft 100 can be determined by, for example, the processor 81 of the display terminal 80 in the same manner as the moving direction of the unmanned aircraft 100. That is, the processor 81 can acquire the position information of the display terminal 80 from the GPS receiver 89 (in other words, the position of the transmitter 50), and further, the position information of the unmanned aircraft 100 transmitted from the unmanned aircraft 100 can be obtained from the terminal-side USB. It can be acquired via the interface unit 83. The processor 81 can calculate the relative position (coordinates) of the unmanned aircraft 100 in the transmitter camera image 56 using the position information of the transmitter 50 and the position information of the unmanned aircraft 100. Thereby, even if the unmanned aircraft 100 rises so that the unmanned aircraft 100 cannot be visually recognized in the transmitter camera image 56, the operator PER1 shows the marks ICN1 and STV1 indicating the position and moving direction of the unmanned aircraft 100. Thus, the position and moving direction of the unmanned aerial vehicle 100 can be easily determined. In FIG. 12, both the marks ICN1 and STV1 indicating the position and moving direction of the unmanned aircraft 100 are displayed on the display TPD as the transmitter camera image 56. A mark ICN1 indicating one (for example, the position of the unmanned aircraft 100) may be displayed as the transmitter camera image 56 on the display TPD.

また、送信機カメラ５５は１つであると例示して説明したが、送信機カメラ５５は送信機５０に対して複数（例えば２つ以上）設けられてよい。これにより、送信機５０は、送信機カメラ５５が１つである場合に比べて、広角な画角の送信機カメラ画像５６のデータを取得できる。つまり、送信機５０は、それぞれの送信機カメラ５５により撮像された送信機カメラ画像５６を適宜合成して表示端末８０のディスプレイＴＰＤに表示させることで、操作者ＰＥＲ１に広範な画角の送信機カメラ画像５６を閲覧させることができ、操作者ＰＥＲ１による無人航空機１００の確認を一層簡易化できる。   In addition, the transmitter camera 55 has been exemplified as one, but a plurality of (for example, two or more) transmitter cameras 55 may be provided for the transmitter 50. Thereby, the transmitter 50 can acquire the data of the transmitter camera image 56 having a wide angle of view as compared with the case where there is one transmitter camera 55. That is, the transmitter 50 appropriately synthesizes the transmitter camera images 56 captured by the respective transmitter cameras 55 and displays them on the display TPD of the display terminal 80, thereby allowing the operator PER1 to transmit a wide range of field of view. The camera image 56 can be browsed, and confirmation of the unmanned aircraft 100 by the operator PER1 can be further simplified.

図１３に示すように、表示端末８０のプロセッサ８１は、送信機５０の送信機制御部６１からの表示指示に基づき、指示部の一例としてのアイコンＴＲＢ１をＵＡＶカメラ画像５７に重畳してディスプレイＴＰＤに表示させてよい。アイコンＴＲＢ１は、操作者ＰＥＲ１の操作により指定されると、ＵＡＶカメラ画像５７の全画面表示から送信機カメラ画像５６の全画面表示への切替をプロセッサ８１に指示する。言い換えると、送信機５０は、表示端末８０に対し、アイコンＴＲＢ１をＵＡＶカメラ画像５７に重畳してディスプレイＴＰＤに表示させてよい。送信機５０からの表示指示には、アイコンＴＲＢ１をＵＡＶカメラ画像５７に重畳してディスプレイＴＰＤに表示する旨の命令が含まれる。これにより、操作者ＰＥＲ１は、無人航空機１００による空撮画像を閲覧していて無人航空機１００の所在が気になった時に、アイコンＴＲＢ１を選択操作（例えばタッチ操作等の指定操作）することによりＵＡＶカメラ画像５７が送信機カメラ画像５６に切り替えられるので、無人航空機１００の所在を簡単に確認できる。   As illustrated in FIG. 13, the processor 81 of the display terminal 80 superimposes an icon TRB1 as an example of an instruction unit on the UAV camera image 57 based on a display instruction from the transmitter control unit 61 of the transmitter 50, and displays the display TPD. May be displayed. The icon TRB1 instructs the processor 81 to switch from the full screen display of the UAV camera image 57 to the full screen display of the transmitter camera image 56 when designated by the operation of the operator PER1. In other words, the transmitter 50 may cause the display terminal 80 to display the icon TRB1 superimposed on the UAV camera image 57 on the display TPD. The display instruction from the transmitter 50 includes a command to superimpose the icon TRB1 on the UAV camera image 57 and display it on the display TPD. As a result, the operator PER1 browses the aerial image taken by the unmanned aircraft 100 and is concerned about the location of the unmanned aircraft 100, thereby selecting the icon TRB1 (for example, a designation operation such as a touch operation) to perform UAV. Since the camera image 57 is switched to the transmitter camera image 56, the location of the unmanned aircraft 100 can be easily confirmed.

図１４Ａは、送信機カメラ画像５６中の無人航空機１００を強調表示する第１表示例を示す図である。図１４Ｂは、送信機カメラ画像５６中の無人航空機１００を強調表示する第２表示例を示す図である。図１４Ｃは、無人航空機１００が送信機カメラ５５の画角から外れた場合、無人航空機１００が送信機カメラ５５の画角から外れる直前の無人航空機１００の移動方向の表示例を示す図である。図１４Ｄは、送信機カメラ５５の画角から外れていた無人航空機１００が送信機カメラ５５の画角内に進入した場合、無人航空機１００が送信機カメラ５５の画角内に進入する直前の無人航空機１００の進入方向の表示例を示す図である。   FIG. 14A is a diagram showing a first display example in which the unmanned aircraft 100 in the transmitter camera image 56 is highlighted. FIG. 14B is a diagram showing a second display example in which the unmanned aircraft 100 in the transmitter camera image 56 is highlighted. FIG. 14C is a diagram illustrating a display example of the moving direction of the unmanned aircraft 100 immediately before the unmanned aircraft 100 deviates from the angle of view of the transmitter camera 55 when the unmanned aircraft 100 deviates from the angle of view of the transmitter camera 55. FIG. 14D shows the unmanned aircraft 100 just before the unmanned aircraft 100 enters the angle of view of the transmitter camera 55 when the unmanned aircraft 100 deviated from the angle of view of the transmitter camera 55 enters the angle of view of the transmitter camera 55. 2 is a diagram showing a display example of an approach direction of an aircraft 100. FIG.

図１４Ａ及び図１４Ｂに示すように、表示端末８０のプロセッサ８１は、送信機カメラ画像５６中の無人航空機１００を強調してディスプレイＴＰＤに表示させてよい。図１４Ａでは、例えば無人航空機１００の周囲を囲むように点線のマーカＭＫ１が表示される。図１４Ｂでは、例えば無人航空機１００の近傍に、無人航空機１００の存在を強調するためのマーカＭＫ２が点滅して表示される。これにより、操作者ＰＥＲ１は、無人航空機１００が送信機カメラ画像５６中で視認できない程に上昇した場合でも、マーカＭＫ１又はマーカＭＫ２によって無人航空機１００の位置を簡単に把握できる。なお、図１４Ａ及び図１４Ｂでは、マーカＭＫ１，ＭＫ２が表示される背景の送信機カメラ画像５６の他に、ＵＡＶカメラ画像５７も同時に表示されているが、例えば送信機カメラ画像５６がディスプレイＴＰＤに全画面表示されてよい。   As shown in FIGS. 14A and 14B, the processor 81 of the display terminal 80 may highlight the unmanned aircraft 100 in the transmitter camera image 56 and display it on the display TPD. In FIG. 14A, for example, a dotted marker MK1 is displayed so as to surround the unmanned aircraft 100. In FIG. 14B, for example, a marker MK2 for emphasizing the presence of the unmanned aircraft 100 is displayed blinking in the vicinity of the unmanned aircraft 100. Thereby, the operator PER1 can easily grasp the position of the unmanned aerial vehicle 100 by the marker MK1 or the marker MK2 even when the unmanned aerial vehicle 100 rises to such an extent that it cannot be visually recognized in the transmitter camera image 56. 14A and 14B, the UAV camera image 57 is simultaneously displayed in addition to the background transmitter camera image 56 on which the markers MK1 and MK2 are displayed. For example, the transmitter camera image 56 is displayed on the display TPD. It may be displayed full screen.

また、表示端末８０のプロセッサ８１は、例えば送信機カメラ画像５６にビルや木等の障害物が映し出され、かつ無人航空機１００がこの障害物に隠れた時にも、図１４Ａや図１４Ｂに示すマーカＭＫ１，ＭＫ２を無人航空機１００の周囲又は近傍に表示してよい。これにより、操作者ＰＥＲ１は、無人航空機１００が送信機カメラ５５の画角内に存在しているが送信機カメラ画像５６内に映らなくなった時でも、マーカＭＫ１，ＭＫ２により無人航空機１００の所在を正確に把握できる。   The processor 81 of the display terminal 80 also displays the marker shown in FIGS. 14A and 14B even when an obstacle such as a building or a tree is displayed on the transmitter camera image 56 and the unmanned aircraft 100 is hidden by the obstacle. MK1 and MK2 may be displayed around or in the vicinity of the unmanned aircraft 100. As a result, the operator PER1 identifies the location of the unmanned aircraft 100 with the markers MK1 and MK2 even when the unmanned aircraft 100 exists within the angle of view of the transmitter camera 55 but is not reflected in the transmitter camera image 56. Accurately grasp.

図１４Ｃに示すように、表示端末８０のプロセッサ８１は、無人航空機１００が送信機カメラ５５の画角外に移動したことを検知した時に、送信機カメラ画像５６に無人航空機１００の移動方向（つまり、無人航空機１００が送信機カメラ画像５６に映らなくなる直前の移動方向）をディスプレイＴＰＤに表示させてよい。図１４Ｃでは、例えば無人航空機１００が送信機カメラ画像５６の紙面右側の方向に移動したことを示すマーカＭＫ３が表示される。これにより、操作者ＰＥＲ１は、無人航空機１００が送信機カメラ５５の画角から外れる方向に移動して送信機カメラ画像５６に無人航空機１００が映らなくなった場合でも、マーカＭＫ３によって無人航空機１００の移動方向を簡単に把握でき、無人航空機１００の行方を追跡できる。なお、図１４Ｃでは、マーカＭＫ３が表示される背景の送信機カメラ画像５６が全画面表示されているが、送信機カメラ画像５６とＵＡＶカメラ画像５７とが同時に表示されてよい。   As shown in FIG. 14C, when the processor 81 of the display terminal 80 detects that the unmanned aircraft 100 has moved out of the angle of view of the transmitter camera 55, the movement direction (that is, the unmanned aircraft 100 in the transmitter camera image 56 (that is, The moving direction immediately before the unmanned aerial vehicle 100 does not appear in the transmitter camera image 56) may be displayed on the display TPD. In FIG. 14C, for example, a marker MK3 indicating that the unmanned aircraft 100 has moved in the direction of the right side of the page of the transmitter camera image 56 is displayed. Thereby, the operator PER1 moves the unmanned aircraft 100 by the marker MK3 even when the unmanned aircraft 100 moves in a direction away from the angle of view of the transmitter camera 55 and the transmitter camera image 56 no longer appears. The direction can be easily grasped, and the whereabouts of the unmanned aircraft 100 can be tracked. In FIG. 14C, the background transmitter camera image 56 on which the marker MK3 is displayed is displayed in full screen, but the transmitter camera image 56 and the UAV camera image 57 may be displayed at the same time.

また、表示端末８０のプロセッサ８１は、無人航空機１００が送信機カメラ５５の画角から外れて移動したことを検知した時に、表示端末８０が有するバイブレータ（不図示）を振動させたり、光源（例えばＬＥＤランプ）を点滅させたりすることで、操作者ＰＥＲ１に報知してよい。これにより、操作者ＰＥＲ１は、無人航空機１００が送信機カメラ５５の画角から外れて移動したことを即座に知ることができる。   Further, when the processor 81 of the display terminal 80 detects that the unmanned aircraft 100 has moved out of the angle of view of the transmitter camera 55, the processor 81 vibrates a vibrator (not shown) included in the display terminal 80 or a light source (for example, The operator PER1 may be notified by blinking the LED lamp). Thereby, the operator PER1 can immediately know that the unmanned aircraft 100 has moved out of the angle of view of the transmitter camera 55.

図１４Ｄに示すように、表示端末８０のプロセッサ８１は、送信機カメラ５５の画角から外れていた無人航空機１００が送信機カメラ５５の画角内に進入したことを検知した時に、無人航空機１００が送信機カメラ５５の画角内に進入する直前の無人航空機１００の移動方向（つまり、無人航空機１００が送信機カメラ画像５６に映る直前の無人航空機１００の移動方向）を送信機カメラ画像５６に重畳してディスプレイＴＰＤに表示させてよい。図１４Ｄでは、例えば無人航空機１００が送信機カメラ画像５６の紙面右側の方向から画角内に進入したことを示すマーカＭＫ４が表示される。これにより、操作者ＰＥＲ１は、マーカＭＫ４によって送信機カメラ５５の画角から外れていた無人航空機１００がどこから送信機カメラ５５の画角内に移動したかを簡単に把握できる。なお、図１４Ｄでは、マーカＭＫ４が表示される背景の送信機カメラ画像５６が全画面表示されているが、送信機カメラ画像５６とＵＡＶカメラ画像５７とが同時に表示されてよい。   As shown in FIG. 14D, when the processor 81 of the display terminal 80 detects that the unmanned aircraft 100 that has deviated from the angle of view of the transmitter camera 55 has entered the angle of view of the transmitter camera 55, the unmanned aircraft 100 Is the moving direction of the unmanned aircraft 100 immediately before entering the angle of view of the transmitter camera 55 (that is, the moving direction of the unmanned aircraft 100 immediately before the unmanned aircraft 100 appears in the transmitter camera image 56) in the transmitter camera image 56. You may superimpose and display on display TPD. In FIG. 14D, for example, a marker MK4 indicating that the unmanned aircraft 100 has entered the angle of view from the direction on the right side of the page of the transmitter camera image 56 is displayed. As a result, the operator PER1 can easily grasp where the unmanned aircraft 100 that has deviated from the angle of view of the transmitter camera 55 has moved from within the angle of view of the transmitter camera 55 by the marker MK4. In FIG. 14D, the background transmitter camera image 56 on which the marker MK4 is displayed is displayed on the full screen, but the transmitter camera image 56 and the UAV camera image 57 may be displayed simultaneously.

図１５Ａは、表示端末８０のディスプレイＴＰＤに表示される画面の第１遷移例を示す説明図である。図１５Ｂは、表示端末８０のディスプレイＴＰＤに表示される画面の第２遷移例を示す説明図である。図１５Ａ及び図１５Ｂは、操作者ＰＥＲ１のディスプレイＴＰＤに対する入力操作（例えばタッチ操作）により、図１０〜図１３に示す画面の遷移状態の一例が示されている。   FIG. 15A is an explanatory diagram illustrating a first transition example of a screen displayed on the display TPD of the display terminal 80. FIG. 15B is an explanatory diagram illustrating a second transition example of the screen displayed on the display TPD of the display terminal 80. 15A and 15B show an example of the transition state of the screen shown in FIGS. 10 to 13 by an input operation (for example, a touch operation) on the display TPD of the operator PER1.

図１５Ａにおいて、送信機カメラ画像５６及びＵＡＶカメラ画像５７の同時表示画面（図１０参照）が表示されている状態で操作者ＰＥＲ１により画面切替操作がディスプレイＴＰＤに入力されたとする。画面切替操作は、例えば送信機カメラ画像５６のタッチ操作が該当する。表示端末８０のプロセッサ８１は、この画面切替操作に応じて、送信機カメラ画像５６をディスプレイＴＰＤに全画面表示する。これにより、操作者ＰＥＲ１は、ＵＡＶカメラ画像５７の表示を省略でき、送信機カメラ画像５６の詳細（例えば無人航空機１００の所在）を簡単な操作によって確認できる。   In FIG. 15A, it is assumed that a screen switching operation is input to the display TPD by the operator PER1 while the simultaneous display screen (see FIG. 10) of the transmitter camera image 56 and the UAV camera image 57 is displayed. The screen switching operation corresponds to a touch operation on the transmitter camera image 56, for example. In response to this screen switching operation, the processor 81 of the display terminal 80 displays the transmitter camera image 56 on the display TPD in full screen. Thereby, the operator PER1 can omit the display of the UAV camera image 57, and can confirm the details of the transmitter camera image 56 (for example, the location of the unmanned aircraft 100) by a simple operation.

図１５Ａにおいて、送信機カメラ画像５６及びＵＡＶカメラ画像５７の同時表示画面（図１０参照）が表示されている状態で操作者ＰＥＲ１により画面切替操作がディスプレイＴＰＤに入力されたとする。画面切替操作は、例えばＵＡＶカメラ画像５７のタッチ操作が該当する。表示端末８０のプロセッサ８１は、この画面切替操作に応じて、ＵＡＶカメラ画像５７をディスプレイＴＰＤに全画面表示する。これにより、操作者ＰＥＲ１は、送信機カメラ画像５６の表示を省略でき、ＵＡＶカメラ画像５７の詳細（例えば無人航空機１００による空撮画像）を簡単な操作によって確認できる。   In FIG. 15A, it is assumed that a screen switching operation is input to the display TPD by the operator PER1 while the simultaneous display screen (see FIG. 10) of the transmitter camera image 56 and the UAV camera image 57 is displayed. The screen switching operation corresponds to a touch operation on the UAV camera image 57, for example. In response to this screen switching operation, the processor 81 of the display terminal 80 displays the UAV camera image 57 on the display TPD in full screen. Thereby, the operator PER1 can omit the display of the transmitter camera image 56, and can confirm details of the UAV camera image 57 (for example, an aerial image taken by the unmanned aircraft 100) by a simple operation.

図１５Ａにおいて、送信機カメラ画像５６及びＵＡＶカメラ画像５７の同時表示画面が表示されている状態で操作者ＰＥＲ１により画面切替操作がディスプレイＴＰＤに入力されたとする。同時表示画面では、ＵＡＶカメラ画像５７が送信機カメラ画像５６より小さく表示されていたとする。画面切替操作は、例えば送信機カメラ画像５６のタッチ操作が該当する。表示端末８０のプロセッサ８１は、この画面切替操作に応じて、送信機カメラ画像５６をディスプレイＴＰＤに全画面表示する。これにより、操作者ＰＥＲ１は、ＵＡＶカメラ画像５７の表示を省略でき、送信機カメラ画像５６の詳細（例えば無人航空機１００の所在）を簡単な操作によって確認できる。   In FIG. 15A, it is assumed that a screen switching operation is input to the display TPD by the operator PER1 while the simultaneous display screen of the transmitter camera image 56 and the UAV camera image 57 is displayed. It is assumed that the UAV camera image 57 is displayed smaller than the transmitter camera image 56 on the simultaneous display screen. The screen switching operation corresponds to a touch operation on the transmitter camera image 56, for example. In response to this screen switching operation, the processor 81 of the display terminal 80 displays the transmitter camera image 56 on the display TPD in full screen. Thereby, the operator PER1 can omit the display of the UAV camera image 57, and can confirm the details of the transmitter camera image 56 (for example, the location of the unmanned aircraft 100) by a simple operation.

図１５Ａにおいて、送信機カメラ画像５６及びＵＡＶカメラ画像５７の同時表示画面が表示されている状態で操作者ＰＥＲ１により画面切替操作がディスプレイＴＰＤに入力されたとする。同時表示画面では、ＵＡＶカメラ画像５７が送信機カメラ画像５６より小さく表示されていたとする。画面切替操作は、例えばＵＡＶカメラ画像５７のタッチ操作が該当する。表示端末８０のプロセッサ８１は、この画面切替操作に応じて、ＵＡＶカメラ画像５７をディスプレイＴＰＤに全画面表示する。これにより、操作者ＰＥＲ１は、送信機カメラ画像５６の表示を省略でき、ＵＡＶカメラ画像５７の詳細（例えば無人航空機１００による空撮画像）を簡単な操作によって確認できる。   In FIG. 15A, it is assumed that a screen switching operation is input to the display TPD by the operator PER1 while the simultaneous display screen of the transmitter camera image 56 and the UAV camera image 57 is displayed. It is assumed that the UAV camera image 57 is displayed smaller than the transmitter camera image 56 on the simultaneous display screen. The screen switching operation corresponds to a touch operation on the UAV camera image 57, for example. In response to this screen switching operation, the processor 81 of the display terminal 80 displays the UAV camera image 57 on the display TPD in full screen. Thereby, the operator PER1 can omit the display of the transmitter camera image 56, and can confirm details of the UAV camera image 57 (for example, an aerial image taken by the unmanned aircraft 100) by a simple operation.

図１５Ｂにおいて、指示部の一例としてのアイコンＴＲＢ２が重畳されたＵＡＶカメラ画像５７の画面が表示されている状態で操作者ＰＥＲ１により画面切替操作がディスプレイＴＰＤに入力されたとする。画面切替操作は、例えばアイコンＴＲＢ２の指定操作（例えばタッチ操作）が該当する。表示端末８０のプロセッサ８１は、この画面切替操作に応じて、送信機カメラ画像５６とＵＡＶカメラ画像５７との同時表示画面をディスプレイＴＰＤに表示する。これにより、操作者ＰＥＲ１は、送信機カメラ画像５６に映る無人航空機１００の行方を簡単な操作によって確認できつつ、無人航空機１００の空撮画像も快適に閲覧できる。なお、図１５Ｂでは、画面切替操作により、送信機カメラ画像５６がＵＡＶカメラ画像５７より小さく表示される画面に遷移したが、ＵＡＶカメラ画像５７が送信機カメラ画像５６より小さく表示される画面に遷移してよい。   In FIG. 15B, it is assumed that a screen switching operation is input to the display TPD by the operator PER1 while the screen of the UAV camera image 57 on which the icon TRB2 as an example of the instruction unit is superimposed is displayed. The screen switching operation corresponds to, for example, a designation operation (for example, touch operation) of the icon TRB2. In response to this screen switching operation, the processor 81 of the display terminal 80 displays a simultaneous display screen of the transmitter camera image 56 and the UAV camera image 57 on the display TPD. Thus, the operator PER1 can comfortably view the aerial image of the unmanned aircraft 100 while confirming the whereabouts of the unmanned aircraft 100 shown in the transmitter camera image 56 by a simple operation. In FIG. 15B, the screen switching operation causes a transition to a screen where the transmitter camera image 56 is displayed smaller than the UAV camera image 57, but a transition to a screen where the UAV camera image 57 is displayed smaller than the transmitter camera image 56 is performed. You can do it.

図１５Ｂにおいて、送信機カメラ画像５６とＵＡＶカメラ画像５７との同時表示画面が表示されている状態で操作者ＰＥＲ１により画面切替操作がディスプレイＴＰＤに入力されたとする。画面切替操作は、例えばＵＡＶカメラ画像５７のダブルタップ操作が該当する。表示端末８０のプロセッサ８１は、この画面切替操作に応じて、アイコンＴＲＢ２が重畳されたＵＡＶカメラ画像５７の画面をディスプレイＴＰＤに表示する。これにより、操作者ＰＥＲ１は、無人航空機１００による空撮画像を快適に閲覧でき、必要に応じて送信機カメラ画像５６の画面に切替可能なアイコンＴＲＢ２の操作を行うことができる。なお、図１５Ｂでは、画面切替操作がされる背景の画面は、送信機カメラ画像５６がＵＡＶカメラ画像５７より小さく表示される画面を例示したが、ＵＡＶカメラ画像５７が送信機カメラ画像５６より小さく表示される画面を例示してよい。   In FIG. 15B, it is assumed that a screen switching operation is input to the display TPD by the operator PER1 while the simultaneous display screen of the transmitter camera image 56 and the UAV camera image 57 is displayed. The screen switching operation corresponds to a double tap operation of the UAV camera image 57, for example. In response to this screen switching operation, the processor 81 of the display terminal 80 displays the screen of the UAV camera image 57 on which the icon TRB2 is superimposed on the display TPD. Thereby, the operator PER1 can comfortably browse the aerial image taken by the unmanned aerial vehicle 100, and can operate the icon TRB2 that can be switched to the screen of the transmitter camera image 56 as necessary. In FIG. 15B, the background screen on which the screen switching operation is performed exemplifies a screen in which the transmitter camera image 56 is displayed smaller than the UAV camera image 57. However, the UAV camera image 57 is smaller than the transmitter camera image 56. You may illustrate the screen displayed.

図１６は、無人航空機１００と送信機５０と送信機カメラ５５と表示端末８０との間の画像出力の動作手順の一例を詳細に説明するシーケンス図である。図１６の説明の前提として、無人航空機１００は送信機５０により遠隔制御ができる初期設定が予め行われている。   FIG. 16 is a sequence diagram illustrating in detail an example of an operation procedure of image output among the unmanned aircraft 100, the transmitter 50, the transmitter camera 55, and the display terminal 80. As an assumption for the explanation of FIG. 16, the unmanned aircraft 100 is preset in advance so that it can be remotely controlled by the transmitter 50.

図１６において、送信機５０の電源ボタンＢ１が操作者ＰＥＲ１の操作により押下されると、送信機５０の電源がオン（ＯＮ）される（Ｓ１）。送信機５０の電源ＯＮに伴い、送信機カメラ５５の電源もオン（ＯＮ）される（Ｓ１）。また、操作者ＰＥＲ１の操作により、表示端末８０の電源がオン（ＯＮ）される（Ｓ２）。操作者ＰＥＲ１の操作により無人航空機１００の電源もオン（ＯＮ）される（Ｓ３）。表示端末８０の電源がオンされた後、操作者ＰＥＲ１の操作により、無人航空機１００の遠隔制御に関するアプリケーションが起動する（Ｓ４）。   In FIG. 16, when the power button B1 of the transmitter 50 is pressed by the operation of the operator PER1, the power of the transmitter 50 is turned on (S1). As the transmitter 50 is turned on, the transmitter camera 55 is also turned on (S1). Further, the display terminal 80 is turned on by the operation of the operator PER1 (S2). The power of the unmanned aerial vehicle 100 is also turned on by the operation of the operator PER1 (S3). After the power of the display terminal 80 is turned on, an application related to remote control of the unmanned aircraft 100 is activated by the operation of the operator PER1 (S4).

送信機カメラ５５は、ステップＳ２において電源がオンされると撮像を開始し、操作者の操作により電源がオフ（ＯＦＦ）されるまで撮像を継続する（Ｓ５）。送信機カメラ５５は、撮像により得た撮像画像（送信機カメラ画像５６）のデータを送信機５０に出力する（Ｓ６）。   The transmitter camera 55 starts imaging when the power is turned on in step S2, and continues imaging until the power is turned off by the operation of the operator (S5). The transmitter camera 55 outputs data of a captured image (transmitter camera image 56) obtained by imaging to the transmitter 50 (S6).

操作者ＰＥＲ１の操作により、例えば左制御棒５３Ｌ及び右制御棒５３Ｒを用いた無人航空機１００の飛行操作が入力されたとする（Ｓ７）。送信機５０は、無人航空機１００の飛行開始の指示を含む遠隔制御用の信号を生成し、この信号を無線通信（例えばＷｉｆｉ（登録商標））により無人航空機１００に送信する（Ｓ８）。無人航空機１００は、送信機５０から送信された信号を受信すると、上空への飛行を開始する（Ｓ９）。   It is assumed that a flight operation of the unmanned aircraft 100 using, for example, the left control rod 53L and the right control rod 53R is input by the operation of the operator PER1 (S7). The transmitter 50 generates a signal for remote control including an instruction to start the flight of the unmanned aircraft 100, and transmits this signal to the unmanned aircraft 100 by wireless communication (for example, Wifi (registered trademark)) (S8). When the unmanned aircraft 100 receives the signal transmitted from the transmitter 50, the unmanned aircraft 100 starts flying to the sky (S9).

操作者ＰＥＲ１の操作により、無人航空機１００の撮像操作が入力されたとする（Ｓ１０）。送信機５０は、無人航空機１００の撮像装置２２０，２３０による撮像開始の指示を含む遠隔制御用の信号を生成し、この信号を無線通信（例えばＷｉｆｉ（登録商標））により無人航空機１００に送信する（Ｓ１１）。無人航空機１００は、送信機５０から送信された信号を受信すると、撮像装置２２０，２３０による撮像を開始し（Ｓ１２）、操作者ＰＥＲ１の操作により送信機５０から撮像停止の指示を含む信号を受信するまで撮像を継続する（Ｓ１２）。   It is assumed that the imaging operation of the unmanned aircraft 100 is input by the operation of the operator PER1 (S10). The transmitter 50 generates a signal for remote control including an instruction to start imaging by the imaging devices 220 and 230 of the unmanned aircraft 100, and transmits this signal to the unmanned aircraft 100 by wireless communication (for example, WiFi (registered trademark)). (S11). When the unmanned aircraft 100 receives the signal transmitted from the transmitter 50, the unmanned aircraft 100 starts imaging by the imaging devices 220 and 230 (S12), and receives a signal including an instruction to stop imaging from the transmitter 50 by the operation of the operator PER1. The imaging is continued until it is done (S12).

また、無人航空機１００は、ステップＳ１２において撮像を開始すると、例えばＧＰＳ受信機２４０、慣性計測装置２５０、磁気コンパス２６０及び気圧高度計２７０を用いて各種の情報を算出する。無人航空機１００は、算出結果としてのＵＡＶ情報データと撮像により得た撮像画像（ＵＡＶカメラ画像５７）のデータとを、無線通信（例えばＷｉｆｉ（登録商標））により送信機５０に送信する（Ｓ１３）。ＵＡＶ情報データには、例えば無人航空機１００の位置（座標）を示す位置情報が含まれる。   When the unmanned aircraft 100 starts imaging in step S12, the unmanned aircraft 100 calculates various information using, for example, the GPS receiver 240, the inertial measurement device 250, the magnetic compass 260, and the barometric altimeter 270. The unmanned aerial vehicle 100 transmits UAV information data as a calculation result and data of a captured image (UAV camera image 57) obtained by imaging to the transmitter 50 by wireless communication (for example, WiFi (registered trademark)) (S13). . The UAV information data includes position information indicating the position (coordinates) of the unmanned aircraft 100, for example.

送信機５０は、送信機カメラ５５から出力された送信機カメラ画像５６のデータと、無人航空機１００から送信されたＵＡＶカメラ画像５７のデータ及びＵＡＶ情報データとを出力する（Ｓ１４）。ステップＳ１４の処理は、送信機５０、送信機カメラ５５及び無人航空機１００の電源がそれぞれオンされている間において継続される。   The transmitter 50 outputs the data of the transmitter camera image 56 output from the transmitter camera 55, the data of the UAV camera image 57 transmitted from the unmanned aircraft 100, and the UAV information data (S14). The process of step S14 is continued while the power supplies of the transmitter 50, the transmitter camera 55, and the unmanned aircraft 100 are turned on.

表示端末８０は、送信機５０から出力されてくる各種のデータを受領し（Ｓ１５）、一定時間分、各種のデータを蓄積する（Ｓ１６）。表示端末８０は、ステップＳ１６において蓄積した一定期間分の各種のデータを用いて、例えば上空を飛行している無人航空機１００の移動方向を繰り返し算出する（Ｓ１７）。   The display terminal 80 receives various data output from the transmitter 50 (S15), and accumulates various data for a predetermined time (S16). The display terminal 80 repeatedly calculates the moving direction of the unmanned aerial vehicle 100 flying over the sky, for example, using various data for a certain period accumulated in step S16 (S17).

ここで、操作者ＰＥＲ１による表示指示操作が入力されると（Ｓ１８）、表示端末８０は、ディスプレイＴＰＤへの表示用データ（例えば図１０〜図１３のうちいずれかに示す画面のデータ）を生成し（Ｓ１９）、その表示用データをディスプレイＴＰＤに表示する（Ｓ２０）。   Here, when a display instruction operation by the operator PER1 is input (S18), the display terminal 80 generates data for display on the display TPD (for example, screen data shown in any of FIGS. 10 to 13). Then, the display data is displayed on the display TPD (S20).

以上により、本実施形態の送信機５０は、ディスプレイＴＰＤを有する表示端末８０と接続され、無人航空機１００を遠隔制御する。送信機５０は、無人航空機１００が移動する領域（例えば上空）を所定の画角で撮像する送信機カメラ５５を備える。送信機５０は、表示端末８０に、送信機カメラ５５により撮像された送信機カメラ画像５６（第１撮像画像）をディスプレイＴＰＤに出力して表示させる。   As described above, the transmitter 50 of the present embodiment is connected to the display terminal 80 having the display TPD and remotely controls the unmanned aircraft 100. The transmitter 50 includes a transmitter camera 55 that captures an area in which the unmanned aircraft 100 moves (for example, the sky) at a predetermined angle of view. The transmitter 50 causes the display terminal 80 to output and display the transmitter camera image 56 (first captured image) captured by the transmitter camera 55 on the display TPD.

付記
１．表示部を有する表示端末と、前記表示端末と接続され、移動体を遠隔制御する操作端末と、を備え、前記操作端末は、所定の画角で撮像する撮像装置を有し、前記撮像装置により撮像された第１撮像画像を前記表示端末に出力し、前記表示端末は、前記操作端末からの前記第１撮像画像を前記表示部に出力する、画像出力システム。
２．前記操作端末は、前記移動体との通信により、前記移動体により撮像された第２撮像画像を受信して前記表示端末に出力し、前記表示端末は、前記操作端末からの前記第２撮像画像を前記表示部に出力する、条項１に記載の画像出力システム。
３．前記操作端末は、前記表示端末に、前記第１撮像画像と前記第２撮像画像とを前記表示部に同時に表示させる、条項２に記載の画像出力システム。
４．前記操作端末は、前記表示端末に、前記第１撮像画像を前記第２撮像画像より小さく前記表示部に表示させる、条項２に記載の画像出力システム。
５．前記操作端末は、前記表示端末に、前記第２撮像画像を前記第１撮像画像より小さく前記表示部に表示させる、条項３に記載の画像出力システム。
６．前記操作端末は、前記表示端末に、前記移動体の移動方向を示す目印を、前記第１撮像画像に重畳して前記表示部に表示させる、条項１又は２に記載の画像出力システム。
７．前記操作端末は、前記表示端末に、前記移動体の位置を示す目印を、前記第１撮像画像に重畳して前記表示部に表示させる、条項１又は２に記載の画像出力システム。
８．前記操作端末は、前記表示端末に、前記第２撮像画像を前記表示部に全画面表示させる、条項２に記載の画像出力システム。
９．前記操作端末は、前記表示端末に、前記第１撮像画像を前記表示部に全画面表示させる、条項１又は２に記載の画像出力システム。
１０．前記操作端末は、前記表示端末に、前記第２撮像画像の全画面表示から前記第１撮像画像の全画面表示への切替可能な指示部を、前記第２撮像画像に重畳して前記表示部に表示させる、条項２に記載の画像出力システム。
１１．前記操作端末は、前記表示端末に、前記第１撮像画像における前記移動体の周囲に前記移動体の存在を示す目印を前記表示部に表示させる、条項１又は２に記載の画像出力システム。
１２．前記操作端末は、前記撮像装置の前記所定の画角外に前記移動体が移動した場合に、前記表示端末に、前記撮像装置から得られた前記移動体の移動方向を示す目印を、前記第１撮像画像に重畳して前記表示部に表示させる、条項６に記載の画像出力システム。
１３．前記操作端末は、前記撮像装置の前記所定の画角外にいた前記移動体が前記所定の画角内に移動した場合に、前記表示端末に、前記撮像装置から得られた前記移動体の前記所定の画角内に進入する直前の移動方向を示す目印を、前記第１撮像画像に重畳して前記表示部に表示させる、条項６に記載の画像出力システム。
１４．前記表示端末は、前記表示部への画面切替操作に応じて、前記第１撮像画像を前記表示部に全画面表示する、条項４に記載の画像出力システム。
１５．前記表示端末は、前記表示部への画面切替操作に応じて、前記第２撮像画像を前記表示部に全画面表示する、条項４に記載の画像出力システム。
１６．前記表示端末は、前記表示部への画面切替操作に応じて、前記第１撮像画像を前記表示部に全画面表示する、条項５に記載の画像出力システム。
１７．前記表示端末は、前記表示部への画面切替操作に応じて、前記第２撮像画像を前記表示部に全画面表示する、条項５に記載の画像出力システム。
１８．前記操作端末は、前記表示端末に、前記第１撮像画像と前記第２撮像画像との同時表示画面への切替可能な指示部を、前記第２撮像画像に重畳して前記表示部に表示させ、前記表示端末は、前記指示部の選択操作に応じて、前記第１撮像画像を前記第２撮像画像より小さく前記表示部に表示する、条項２に記載の画像出力システム。
１９．前記表示端末は、前記表示部への画面切替操作に応じて、前記第１撮像画像と前記第２撮像画像との同時表示画面への切替可能な指示部を、前記第２撮像画像に重畳して前記表示部に表示する、条項２に記載の画像出力システム。
２０．表示部と接続され、移動体を遠隔制御する操作端末における画像出力方法であって、前記操作端末が有する撮像装置により所定の画角で撮像する段階と、前記撮像装置により撮像された第１撮像画像を前記表示部に出力する段階と、を備える、画像出力方法。
２１．前記移動体との通信により、前記移動体により撮像された第２撮像画像を受信する段階と、前記第２撮像画像を前記表示部に出力する段階と、を更に備える、条項２０に記載の画像出力方法。
２２．前記第１撮像画像と前記第２撮像画像とを前記表示部に同時に表示させる段階、を更に備える、条項２１に記載の画像出力方法。
２３．前記第１撮像画像を前記第２撮像画像より小さく前記表示部に表示させる段階、を更に備える、条項２１に記載の画像出力方法。
２４．前記第２撮像画像を前記第１撮像画像より小さく前記表示部に表示させる段階、を更に備える、条項２１に記載の画像出力方法。
２５．前記移動体の移動方向を示す目印を、前記第１撮像画像に重畳して前記表示部に表示させる段階と、を更に備える、条項２０又は２１に記載の画像出力方法。
２６．前記移動体の位置を示す目印を、前記第１撮像画像に重畳して前記表示部に表示させる段階と、を更に備える、条項２０又は２１に記載の画像出力方法。
２７．前記第２撮像画像を前記表示部に全画面表示させる段階、を更に備える、条項２１に記載の画像出力方法。
２８．前記第１撮像画像を前記表示部に全画面表示させる段階、を更に備える、条項２０又は２１に記載の画像出力方法。
２９．前記第２撮像画像の全画面表示から前記第１撮像画像の全画面表示への切替可能な指示部を、前記第２撮像画像に重畳して前記表示部に表示させる段階、を更に備える、条項２１に記載の画像出力方法。
３０．移動体を遠隔制御する操作端末と接続され、表示部を有するコンピュータである表示端末に、前記操作端末が有する撮像装置により撮像された第１撮像画像を取得する処理と、取得された前記第１撮像画像を前記表示部に出力する処理と、を実行させるための、プログラム。
３１．前記移動体により撮像された第２撮像画像を取得する処理と、取得された前記第２撮像画像を前記表示部に出力する処理と、を更に実行させるための、条項３０に記載のプログラム。
３２．前記第１撮像画像と前記第２撮像画像とを同時に前記表示部に表示する処理、を更に実行させるための、条項３１に記載のプログラム。
３３．前記第１撮像画像を前記第２撮像画像より小さく前記表示部に表示する処理、を更に実行させるための、条項３１に記載のプログラム。
３４．前記第２撮像画像を前記第１撮像画像より小さく前記表示部に表示する処理、を更に実行させるための、条項３１に記載のプログラム。
３５．前記移動体の移動方向を示す目印を、前記第１撮像画像に重畳して前記表示部に表示する処理、を更に実行させるための、条項３０又は３１に記載のプログラム。
３６．前記移動体の位置情報を示す目印を、前記第１撮像画像に重畳して前記表示部に表示する処理、を更に実行させるための、条項３１に記載のプログラム。
３７．前記第２撮像画像を前記表示部に全画面表示する処理、を更に実行させるための、条項３１に記載のプログラム。
３８．前記第１撮像画像を前記表示部に全画面表示する処理、を更に実行させるための、条項３０又は３１に記載のプログラム。
３９．前記第２撮像画像の全画面表示から前記第１撮像画像の全画面表示への切替可能な指示部を、前記第２撮像画像に重畳して前記表示部に表示する処理、を更に実行させるための、条項３１に記載のプログラム。
４０．前記第１撮像画像における前記移動体の周囲に前記移動体の存在を示す目印を前記表示部に表示する処理、を更に実行させるための、条項３１に記載のプログラム。
４１．前記撮像装置の所定の画角外に前記移動体が移動した場合に、前記移動体の移動方向を示す目印を、前記第１撮像画像に重畳して前記表示部に表示する処理、を更に実行させるための、条項３５に記載のプログラム。
４２．前記撮像装置の所定の画角外にいた前記移動体が前記所定の画角内に移動した場合に、前記移動体の前記所定の画角内に進入する直前の移動方向を示す目印を、前記第１撮像画像に重畳して前記表示部に表示する処理、を更に実行させるための、条項３５に記載のプログラム。
４３．前記表示部への画面切替操作に応じて、前記第１撮像画像を前記表示部に全画面表示する処理、を更に実行させるための、条項３３に記載のプログラム。
４４．前記表示部への画面切替操作に応じて、前記第２撮像画像を前記表示部に全画面表示する処理、を更に実行させるための、条項３３に記載のプログラム。
４５．前記表示部への画面切替操作に応じて、前記第１撮像画像を前記表示部に全画面表示する処理、を更に実行させるための、条項３４に記載のプログラム。
４６．前記表示部への画面切替操作に応じて、前記第２撮像画像を前記表示部に全画面表示する処理、を更に実行させるための、条項３４に記載のプログラム。
４７．前記第１撮像画像と前記第２撮像画像との同時表示画面への切替可能な指示部を、前記第２撮像画像に重畳して前記表示部に表示する処理と、前記指示部の選択操作に応じて、前記第１撮像画像を前記第２撮像画像より小さく前記表示部に表示する処理と、を更に実行させるための、条項３１に記載のプログラム。
４８．前記表示部への画面切替操作に応じて、前記第１撮像画像と前記第２撮像画像との同時表示画面への切替可能な指示部を、前記第２撮像画像に重畳して前記表示部に表示する処理、を更に実行させるための、条項３１に記載のプログラム。
４９．条項３１〜４８のうちいずれか一項に記載のプログラムが記録された、記録媒体。 Appendix 1. A display terminal having a display unit; and an operation terminal that is connected to the display terminal and remotely controls the moving body. The operation terminal includes an imaging device that captures an image at a predetermined angle of view. An image output system that outputs a captured first captured image to the display terminal, and the display terminal outputs the first captured image from the operation terminal to the display unit.
2. The operation terminal receives a second captured image captured by the mobile body through communication with the mobile body and outputs the second captured image to the display terminal. The display terminal receives the second captured image from the operation terminal. The image output system according to clause 1, wherein the image is output to the display unit.
3. The image output system according to clause 2, wherein the operation terminal causes the display terminal to simultaneously display the first captured image and the second captured image on the display unit.
4). The image output system according to clause 2, wherein the operation terminal causes the display terminal to display the first captured image smaller than the second captured image on the display unit.
5. The image output system according to clause 3, wherein the operation terminal causes the display terminal to display the second captured image smaller than the first captured image on the display unit.
6). The image output system according to clause 1 or 2, wherein the operation terminal causes the display terminal to display a mark indicating a moving direction of the moving body on the display unit so as to be superimposed on the first captured image.
7). The image output system according to clause 1 or 2, wherein the operation terminal causes the display terminal to display a mark indicating the position of the moving body on the display unit so as to be superimposed on the first captured image.
8). The image output system according to clause 2, wherein the operation terminal causes the display terminal to display the second captured image on the display unit in a full screen.
9. The image output system according to clause 1 or 2, wherein the operation terminal causes the display terminal to display the first captured image on the display unit on a full screen.
10. The operation terminal superimposes, on the display terminal, an instruction unit capable of switching from full screen display of the second captured image to full screen display of the first captured image on the second captured image. The image output system according to clause 2, which is displayed on the screen.
11. The image output system according to clause 1 or 2, wherein the operation terminal causes the display unit to display a mark indicating the presence of the moving body around the moving body in the first captured image on the display terminal.
12 When the moving body moves outside the predetermined angle of view of the imaging device, the operation terminal displays a mark indicating a moving direction of the moving body obtained from the imaging device on the display terminal. 7. The image output system according to clause 6, wherein the image output system is displayed on the display unit while being superimposed on one captured image.
13. The operation terminal is configured such that when the moving body that is outside the predetermined angle of view of the imaging device moves within the predetermined angle of view, the display terminal is connected to the moving body obtained from the imaging device. 7. The image output system according to clause 6, wherein a mark indicating a moving direction immediately before entering a predetermined angle of view is superimposed on the first captured image and displayed on the display unit.
14 The image output system according to clause 4, wherein the display terminal displays the first captured image in full screen on the display unit in response to a screen switching operation to the display unit.
15. 5. The image output system according to clause 4, wherein the display terminal displays the second captured image on the display unit in full screen in response to a screen switching operation to the display unit.
16. 6. The image output system according to clause 5, wherein the display terminal displays the first captured image in full screen on the display unit in response to a screen switching operation to the display unit.
17. 6. The image output system according to clause 5, wherein the display terminal displays the second captured image in full screen on the display unit in response to a screen switching operation to the display unit.
18. The operation terminal causes the display terminal to display an instruction unit capable of switching to the simultaneous display screen of the first captured image and the second captured image superimposed on the second captured image on the display unit. The image output system according to clause 2, wherein the display terminal displays the first captured image smaller than the second captured image on the display unit in response to a selection operation of the instruction unit.
19. The display terminal superimposes on the second captured image an instruction unit capable of switching to the simultaneous display screen of the first captured image and the second captured image in response to a screen switching operation to the display unit. The image output system according to clause 2, wherein the image output system is displayed on the display unit.
20. An image output method in an operation terminal that is connected to a display unit and remotely controls a moving body, wherein an image is captured at a predetermined angle of view by an imaging device included in the operation terminal, and a first image captured by the imaging device Outputting an image to the display unit.
21. 21. The image according to clause 20, further comprising: receiving a second captured image captured by the mobile body through communication with the mobile body; and outputting the second captured image to the display unit. output method.
22. The image output method according to clause 21, further comprising the step of simultaneously displaying the first captured image and the second captured image on the display unit.
23. The image output method according to clause 21, further comprising: displaying the first captured image smaller than the second captured image on the display unit.
24. The image output method according to clause 21, further comprising the step of displaying the second captured image smaller than the first captured image on the display unit.
25. The image output method according to clause 20 or 21, further comprising a step of superimposing a mark indicating a moving direction of the moving body on the first captured image and displaying the mark on the display unit.
26. The image output method according to clause 20 or 21, further comprising: displaying a mark indicating the position of the moving body on the display unit so as to be superimposed on the first captured image.
27. The image output method according to Clause 21, further comprising: displaying the second captured image on the display unit in a full screen.
28. The image output method according to clause 20 or 21, further comprising: displaying the first captured image on the display unit on a full screen.
29. An instruction unit capable of switching from full-screen display of the second captured image to full-screen display of the first captured image is superimposed on the second captured image and displayed on the display unit. 22. The image output method according to item 21.
30. A process of acquiring a first captured image captured by an imaging device included in the operation terminal on a display terminal that is connected to an operation terminal that remotely controls the moving body and has a display unit, and the acquired first A program for executing a process of outputting a captured image to the display unit.
31. The program according to clause 30, further executing a process of acquiring a second captured image captured by the moving body and a process of outputting the acquired second captured image to the display unit.
32. 32. The program according to clause 31, for further executing a process of simultaneously displaying the first captured image and the second captured image on the display unit.
33. The program according to clause 31, further executing a process of displaying the first captured image smaller than the second captured image on the display unit.
34. 32. The program according to clause 31, for further executing a process of displaying the second captured image smaller than the first captured image on the display unit.
35. 32. The program according to clause 30 or 31, further executing a process of displaying a mark indicating a moving direction of the moving body on the display unit so as to be superimposed on the first captured image.
36. 32. The program according to clause 31, further executing a process of displaying a mark indicating the position information of the moving body on the display unit so as to be superimposed on the first captured image.
37. 32. The program according to clause 31, for further executing a process of displaying the second captured image on the display unit on a full screen.
38. 32. The program according to clause 30 or 31, further executing a process of displaying the first captured image on the display unit on a full screen.
39. In order to further execute a process of superimposing on the second captured image a display unit capable of switching from full screen display of the second captured image to full screen display of the first captured image on the display unit The program according to clause 31.
40. 32. The program according to clause 31, further executing a process of displaying a mark indicating the presence of the moving object on the display unit around the moving object in the first captured image.
41. When the moving body moves out of a predetermined angle of view of the imaging device, a process of superimposing a mark indicating the moving direction of the moving body on the first captured image and displaying it on the display unit is further executed. A program according to Clause 35 for causing
42. When the moving body that has been outside the predetermined angle of view of the imaging device has moved within the predetermined angle of view, a mark indicating the moving direction of the moving body immediately before entering the predetermined angle of view is The program according to Clause 35, for further executing a process of superimposing the first captured image on the display unit and displaying the image on the display unit.
43. 34. The program according to clause 33, further executing a process of displaying the first captured image on the display unit on a full screen in response to a screen switching operation on the display unit.
44. The program according to clause 33, further causing a process of displaying the second captured image on the display unit in a full screen in response to a screen switching operation on the display unit.
45. 35. The program according to clause 34, further executing a process of displaying the first captured image on the display unit on a full screen in response to a screen switching operation on the display unit.
46. The program according to clause 34, further causing a process of displaying the second captured image on the display unit in a full screen in response to a screen switching operation on the display unit.
47. An instruction unit that can switch to the simultaneous display screen of the first captured image and the second captured image is superimposed on the second captured image and displayed on the display unit, and a selection operation of the instruction unit In response, the program according to clause 31, further executing a process of displaying the first captured image smaller than the second captured image on the display unit.
48. In response to a screen switching operation to the display unit, an instruction unit capable of switching to the simultaneous display screen of the first captured image and the second captured image is superimposed on the second captured image on the display unit. The program according to clause 31, for further executing a process of displaying.
49. 50. A recording medium on which the program according to any one of clauses 31 to 48 is recorded.

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in embodiment mentioned above. It will be apparent to those skilled in the art that various modifications and improvements can be made to the embodiment described above. It is also apparent from the scope of the claims that the embodiment added with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The execution order of each process such as operation, procedure, step, and stage in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. ”And the like, and can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. is not.

５０ 送信機
５０Ｂ 筐体
５３Ｌ 左制御棒
５３Ｒ 右制御棒
５５ 送信機カメラ
５５Ａ レンズユニット
５５Ｂ イメージセンサ
５５Ｃ 信号処理部
５６ 送信機カメラ画像
５７ ＵＡＶカメラ画像
６１ 送信機制御部
６３、８５ 無線通信部
６５ 送信機側ＵＳＢインタフェース部
６７ カメラインタフェース部
８０ 表示端末
８０Ｔ タブレット端末
８０Ｓ スマートフォン
８１ プロセッサ
８３ 端末側ＵＳＢインタフェース部
８７、１６０ メモリ
８９、２４０ ＧＰＳ受信機
１００ 無人航空機
１０２ ＵＡＶ本体
１５０ 通信インタフェース
２００ ジンバル
２１０ 回転翼機構
２２０、２３０ 撮像装置
２５０ 慣性計測装置
２６０ 磁気コンパス
２７０ 気圧高度計
ＡＮ１、ＡＮ２ アンテナ
ＨＬＤ ホルダ
ＯＰＳ 操作部セット
ＯＰ１ 操作部１
ＯＰｎ 操作部ｎ
ＴＰＤ ディスプレイ 50 transmitter 50B housing 53L left control rod 53R right control rod 55 transmitter camera 55A lens unit 55B image sensor 55C signal processing unit 56 transmitter camera image 57 UAV camera image 61 transmitter control unit 63, 85 wireless communication unit 65 transmission Machine side USB interface unit 67 Camera interface unit 80 Display terminal 80T Tablet terminal 80S Smartphone 81 Processor 83 Terminal side USB interface unit 87, 160 Memory 89, 240 GPS receiver 100 Unmanned aircraft 102 UAV main body 150 Communication interface 200 Gimbal 210 Rotary wing mechanism 220, 230 Imaging device 250 Inertial measurement device 260 Magnetic compass 270 Barometric altimeter AN1, AN2 Antenna HLD holder OPS Operation unit set OP1 Operation unit 1
OPn Operation unit n
TPD display

Claims (15)

表示部と接続され、移動体を遠隔制御する操作端末であって、
前記移動体が移動する領域を含む領域を所定の画角で撮像する撮像装置と、
前記撮像装置により撮像された第１撮像画像を前記表示部に出力し、かつ前記所定の画角から前記移動体が外れたことを検知すると前記移動体が外れた方向を示す目印を前記第１撮像画像に表示する制御部と、を備える、
操作端末。 An operation terminal connected to a display unit and remotely controlling a moving object,
An imaging device for imaging an area including an area in which the moving body moves at a predetermined angle of view;
When the first picked-up image picked up by the image pickup device is output to the display unit and when it is detected that the moving body has deviated from the predetermined angle of view, a mark indicating the direction in which the moving body has deviated is displayed. A control unit that displays the captured image ,
Operation terminal. バイブレータ及び光源のうち少なくとも１つ、を更に備え、At least one of a vibrator and a light source,
前記制御部は、前記所定の画角から前記移動体が外れたことを検知すると、前記バイブレータを振動させる動作、及び、前記光源を点滅させる動作のうち、前記バイブレータ及び光源に対応する少なくとも１つの動作を実行する、When the control unit detects that the moving body has deviated from the predetermined angle of view, at least one of the operation for vibrating the vibrator and the operation for blinking the light source corresponds to the vibrator and the light source. Perform actions,
請求項１に記載の操作端末。The operation terminal according to claim 1. 前記移動体との通信により、前記移動体により撮像された第２撮像画像を受信する無線通信部、を更に備え、
前記制御部は、前記第２撮像画像を前記表示部に出力する、
請求項１又は２に記載の操作端末。 A wireless communication unit that receives a second captured image captured by the mobile body through communication with the mobile body;
The control unit outputs the second captured image to the display unit.
The operation terminal according to claim 1 or 2 . 前記制御部は、前記第１撮像画像と前記第２撮像画像とを前記表示部に同時に表示させる、
請求項３に記載の操作端末。 The control unit causes the display unit to simultaneously display the first captured image and the second captured image.
The operation terminal according to claim 3 . 前記制御部は、前記第１撮像画像を前記第２撮像画像より小さく前記表示部に表示させる、
請求項３に記載の操作端末。 The control unit causes the display unit to display the first captured image smaller than the second captured image.
The operation terminal according to claim 3 . 前記制御部は、前記第２撮像画像を前記第１撮像画像より小さく前記表示部に表示させる、
請求項３に記載の操作端末。 The control unit causes the display unit to display the second captured image smaller than the first captured image.
The operation terminal according to claim 3 . 前記制御部は、前記移動体の移動方向を示す目印を、前記第１撮像画像に重畳して前記表示部に表示させる、
請求項１又は２に記載の操作端末。 The control unit causes a mark indicating the moving direction of the moving body to be superimposed on the first captured image and displayed on the display unit.
The operation terminal according to claim 1 or 2 . 前記制御部は、前記移動体の位置を示す目印を、前記第１撮像画像に重畳して前記表示部に表示させる、
請求項３に記載の操作端末。 The control unit causes a mark indicating the position of the moving body to be superimposed on the first captured image and displayed on the display unit.
The operation terminal according to claim 3 . 前記制御部は、前記第２撮像画像を前記表示部に全画面表示させる、
請求項３に記載の操作端末。 The control unit causes the display unit to display the second captured image on a full screen;
The operation terminal according to claim 3 . 前記制御部は、前記第１撮像画像を前記表示部に全画面表示させる、
請求項３に記載の操作端末。 The control unit displays the first captured image on the display unit in a full screen.
The operation terminal according to claim 3 . 前記制御部は、前記第２撮像画像の全画面表示から前記第１撮像画像の全画面表示への切替可能な指示部を、前記第２撮像画像に重畳して前記表示部に表示させる、
請求項１０に記載の操作端末。 The control unit causes the display unit to display an instruction unit that can be switched from full screen display of the second captured image to full screen display of the first captured image on the second captured image.
The operation terminal according to claim 10 . 前記表示部を有する表示端末を保持可能な保持部、を更に備え、
前記撮像装置は、前記保持部の一端に設けられた接続部を介して挿抜自在に取り付けられる、
請求項１又は２に記載の操作端末。 A holding unit capable of holding a display terminal having the display unit;
The imaging device is detachably attached via a connection portion provided at one end of the holding portion.
The operation terminal according to claim 1 or 2 . 前記表示部を有する表示端末を保持可能な保持部、を更に備え、
前記撮像装置は、前記保持部の一端に固定して配置される、
請求項１又は２に記載の操作端末。 A holding unit capable of holding a display terminal having the display unit;
The imaging device is fixedly disposed at one end of the holding unit.
The operation terminal according to claim 1 or 2 . 前記撮像装置は、前記操作端末の筐体に固定して配置される、
請求項１又は２に記載の操作端末。 The imaging device is fixedly disposed on a casing of the operation terminal.
The operation terminal according to claim 1 or 2 . 請求項１又は２に記載の操作端末から送信される遠隔制御の指示を基に、移動する、
移動体。 It moves based on a remote control instruction transmitted from the operation terminal according to claim 1 or 2 .
Moving body.
JP2016163248A 2016-08-24 2016-08-24 Operation terminal and moving body Expired - Fee Related JP6329219B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016163248A JP6329219B2 (en) 2016-08-24 2016-08-24 Operation terminal and moving body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016163248A JP6329219B2 (en) 2016-08-24 2016-08-24 Operation terminal and moving body

Publications (2)

Publication Number Publication Date
JP2018032958A JP2018032958A (en) 2018-03-01
JP6329219B2 true JP6329219B2 (en) 2018-05-23

Family

ID=61304976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016163248A Expired - Fee Related JP6329219B2 (en) 2016-08-24 2016-08-24 Operation terminal and moving body

Country Status (1)

Country Link
JP (1) JP6329219B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7161304B2 (en) * 2018-03-30 2022-10-26 大和ハウス工業株式会社 localization system
WO2020014927A1 (en) * 2018-07-19 2020-01-23 深圳市大疆创新科技有限公司 Remote control, gimbal head, unmanned aerial vehicle and photographing control method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011169658A (en) * 2010-02-17 2011-09-01 Mitsubishi Electric Corp Device and method for pinpointing photographed position
JP2014063411A (en) * 2012-09-24 2014-04-10 Casio Comput Co Ltd Remote control system, control method, and program
JP6085153B2 (en) * 2012-11-26 2017-02-22 日立Ｇｅニュークリア・エナジー株式会社 Indoor survey system
CN103426282A (en) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 Remote control method and terminal
JP6693765B2 (en) * 2016-02-26 2020-05-13 株式会社トプコン Flight object tracking method and flight object guidance system

Also Published As

Publication number Publication date
JP2018032958A (en) 2018-03-01

Similar Documents

Publication Publication Date Title
US11377211B2 (en) Flight path generation method, flight path generation system, flight vehicle, program, and storage medium
JP6878567B2 (en) 3D shape estimation methods, flying objects, mobile platforms, programs and recording media
US20190318636A1 (en) Flight route display method, mobile platform, flight system, recording medium and program
JP6765512B2 (en) Flight path generation method, information processing device, flight path generation system, program and recording medium
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
US11513514B2 (en) Location processing device, flight vehicle, location processing system, flight system, location processing method, flight control method, program and recording medium
US11082639B2 (en) Image display method, image display system, flying object, program, and recording medium
WO2020048365A1 (en) Flight control method and device for aircraft, and terminal device and flight control system
WO2019230604A1 (en) Inspection system
JP6329219B2 (en) Operation terminal and moving body
JP7435599B2 (en) Information processing device, information processing method, and program
JP2020036163A (en) Information processing apparatus, photographing control method, program, and recording medium
JP6921026B2 (en) Transmitters, flying objects, flight control instruction methods, flight control methods, programs, and storage media
JP7081198B2 (en) Shooting system and shooting control device
JP6997170B2 (en) Shape generation method, image acquisition method, mobile platform, flying object, program and recording medium
JPWO2018138882A1 (en) Aircraft, motion control method, motion control system, program, and recording medium
WO2018188086A1 (en) Unmanned aerial vehicle and control method therefor

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180419

R150 Certificate of patent or registration of utility model

Ref document number: 6329219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees