JP6945005B2 - 飛行制御システム - Google Patents

飛行制御システム Download PDF

Info

Publication number
JP6945005B2
JP6945005B2 JP2019551196A JP2019551196A JP6945005B2 JP 6945005 B2 JP6945005 B2 JP 6945005B2 JP 2019551196 A JP2019551196 A JP 2019551196A JP 2019551196 A JP2019551196 A JP 2019551196A JP 6945005 B2 JP6945005 B2 JP 6945005B2
Authority
JP
Japan
Prior art keywords
control terminal
flying object
flight
maneuvering
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019551196A
Other languages
English (en)
Other versions
JPWO2019087891A1 (ja
Inventor
中川 宏
宏 中川
山田 和宏
和宏 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JPWO2019087891A1 publication Critical patent/JPWO2019087891A1/ja
Application granted granted Critical
Publication of JP6945005B2 publication Critical patent/JP6945005B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/19Propulsion using electrically powered motors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Toys (AREA)

Description

本発明は、飛行体の操縦者に対する操縦支援に関する。
飛行体を制御する技術として、例えば特許文献1には、飛行体に設けられた発光体からの発光を、移動機構に設けられたカメラで追随させることで、飛行体の飛行状態を撮像し、その撮像画像を遠隔地にて表示させる仕組みが開示されている。
特開2014−104797号公報
近年、ドローンと呼ばれる飛行体を利用したサービスとして様々なものが普及しつつある。このような状況において、例えば、飛行体の操縦に不慣れな操縦者に対してその操縦を遠隔から支援するような仕組みが考えられている。そこで、本発明は、飛行体の操縦者に対する操縦支援を遠隔地から行い得る仕組みを提供することを目的とする。
上記課題を解決するため、本発明は、飛行体を無線で操縦するための第1操縦端末と通信を行う第1通信部と、前記飛行体をネットワーク経由で操縦するための第2操縦端末と通信を行う第2通信部と、前記第1通信部が前記第1操縦端末から受信した情報又は前記第2通信部が前記第2操縦端末から受信した情報に基づいて、前記第1操縦端末又は前記第2操縦端末のうちどちらが前記飛行体の操縦を行うかを判断する判断部と、前記第2操縦端末が前記飛行体の操縦を行うと判断された場合に、前記第2操縦端末から前記飛行体宛てに送信されてくる指示を前記飛行体宛てに転送する遠隔制御部とを備えることを特徴とする情報処理装置を提供する。
前記遠隔制御部は、前記第2操縦端末が前記飛行体の操縦を行うと判断された場合に、前記第1通信部を用いて、前記第1操縦端末に対して、前記第2操縦端末が前記飛行体の操縦を行うことを通知し、当該通知に対する許可を受け取ると、前記第2操縦端末から前記飛行体宛てに送信されてくる指示を前記飛行体宛てに転送するようにしてもよい。
前記判断部は、前記第1通信部が前記第1操縦端末から受信した情報又は前記第2通信部が前記第2操縦端末から受信した情報に基づいて、前記第1操縦端末による操縦の技量レベルを特定し、当該技量レベルに基づいて前記判断を行うようにしてもよい。
前記判断部は、前記第1通信部が前記第1操縦端末から受信した情報に基づいて、前記飛行体の飛行環境を特定し、当該飛行環境に基づいて前記判断を行うようにしてもよい。
前記判断部は、前記第1通信部が前記第1操縦端末から受信した情報に基づいて、前記飛行体の状態を特定し、当該状態に基づいて前記判断を行うようにしてもよい。
前記第1通信部及び前記第2通信部は、前記第1操縦端末及び前記第2操縦端末間の音声通話を中継し、さらに、前記第1通信部が前記第1操縦端末から受信した情報を、前記第2通信部を用いて音声で出力するようにしてもよい。
前記第1操縦端末及び前記第2操縦端末の組が複数ある場合に、前記判断部は、前記第1操縦端末及び前記第2操縦端末の組ごとに前記判断を行い、前記遠隔制御部は、前記第1操縦端末及び前記第2操縦端末の組ごとに前記第2操縦端末が前記飛行体の操縦を行うと判断された場合に、当該第2操縦端末から前記飛行体宛てに送信されてくる指示を前記飛行体宛てに転送するようにしてもよい。
また、本発明は、飛行体を無線で操縦するための第1操縦端末と、前記飛行体をネットワーク経由で操縦するための第2操縦端末と、前記第1操縦端末と通信を行う第1通信部と、前記第2操縦端末と通信を行う第2通信部と、前記第1通信部が前記第1操縦端末から受信した情報又は前記第2通信部が前記第2操縦端末から受信した情報に基づいて、前記第1操縦端末又は前記第2操縦端末のうちどちらが前記飛行体の操縦を行うかを判断する判断部と、前記第2操縦端末が前記飛行体の操縦を行うと判断された場合に、前記第2操縦端末から前記飛行体宛てに送信されてくる指示を前記飛行体宛てに転送する遠隔制御部とを備えることを特徴とする飛行制御システムを提供する。
本発明によれば、飛行体の操縦者に対する操縦支援を遠隔地から行い得る。
飛行制御システム1の構成の一例を示す図である。 飛行体10の外観の一例を示す図である。 飛行体10のハードウェア構成を示す図である。 第1操縦端末30のハードウェア構成を示す図である。 第2操縦端末50のハードウェア構成を示す図である。 サーバ装置20のハードウェア構成を示す図である。 サーバ装置20の機能構成の一例を示す図である。 表示画像決定テーブルの一例を示す図である。 操縦主体決定テーブルの一例を示す図である。 飛行制御システム1の動作の一例を示すシーケンスチャートである。
構成
図1は、飛行制御システム1の構成の一例を示す図である。飛行制御システム1は、飛行体10の飛行を制御するためのシステムである。飛行制御システム1は、飛行体10と、サーバ装置20と、第1操縦端末30と、撮像装置40と、第2操縦端末50と、ネットワーク60とを備える。飛行体10は、例えばドローンと呼ばれる飛行可能な装置であり、自身の周囲を動画によって撮像する撮像機能を備えている。この撮像機能によって撮像された画像は、飛行体10を視点としたときの画像であり、以下では、飛行体視点画像という。
第1操縦端末30は、操縦者が飛行体10を視認しながら操縦するための端末である。第1操縦端末30は、飛行体10と無線接続されており、操縦者の操作に応じた無線信号を飛行体10に送信してその動作を指示する。
撮像装置40は、例えばカメラであり、飛行体10が飛行する様子を動画によって撮像する。この撮像装置40はパン・チルト機能を備えており、例えば撮像した画像を画像認識技術によって解析して撮像画像中の飛行体10を認識し、パン・チルト機能を制御することで、認識した飛行体10を追尾して撮像するよう撮像方向を変更し得るようになっている。この撮像装置40は、飛行体10の飛行空域下方の地上に設置された固定型の撮像装置であってもよいし、人間が持ち運び可能な可搬型の撮像装置であってもよい。本実施形態では撮像装置40は可搬型であり、操縦者の傍に置かれて飛行体10を含む空間を撮像する。撮像装置40によって撮像された画像は、操縦者の視点から飛行体10の飛行を見たときの視界とほぼ等しく、以下では、操縦者視点画像という。
第2操縦端末50は、操縦者による操縦を遠隔から支援する操縦支援者が操作するための端末である。第2操縦端末50は表示機能を備えており、前述した飛行体視点画像又は操縦者視点画像を表示し得るようになっている。操縦支援者はこの画像を見ながら第2操縦端末50を操作して、操縦者の操縦を支援する。ここでは前提として、第2操縦端末50を操作する操縦支援者の操縦技量の高低を示す操縦技量レベルは、第1操縦端末30を操作する操縦者の操縦技量レベルよりも高いものとする。
サーバ装置20は、飛行体10の飛行を制御する制御プラットフォームとして機能する情報処理装置である。サーバ装置20は、操縦者が操作する第1操縦端末30又は操縦支援者が操作する第2操縦端末50のうちどちらが飛行体10の操縦を行うかを判断し、第2操縦端末50が飛行体10の操縦を行うと判断されると、第2操縦端末50から飛行体10宛てに送信されてくるコマンドを飛行体10宛てに転送して飛行制御を行う。
また、サーバ装置20は、飛行体10の撮像機能によって撮像された飛行体視点画像と、撮像装置40によって飛行体10が飛行する様子が撮像された操縦者視点画像とのうち、いずれかを優先的に第2操縦端末50に表示させる。ここで、優先的に表示させる、とは、優先的に表示させる一方の撮像画像を他方の撮像画像に比べてユーザが容易に又は分かりやすく閲覧できるように第2操縦端末50に表示させることを意味しており、例えば、優先的に表示させる一方の撮像画像を表示させて他方の撮像画像を表示させない形態や、優先的に表示させる一方の撮像画像を他方の撮像画像よりも大きく表示させる形態や、優先的に表示させる一方の撮像画像を他方の撮像画像よりも時間的に先に表示させる形態や、優先的に表示させる一方の撮像画像を他方の撮像画像よりも視覚的に強調して表示させる形態などを含む。
サーバ装置20、第1操縦端末30、撮像装置40及び第2操縦端末50はそれぞれ、ネットワークに60との間で有線又は無線により通信可能となるように接続されている。このネットワーク60は、低レイテンシでのデータ転送を実現するべく、閉域ネットワークであることが望ましい。
図2は、飛行体10の外観の一例を示す図である。飛行体10は、例えばドローンと呼ばれるものであり、プロペラ101と、駆動装置102と、バッテリー103とを備える。
プロペラ101は、軸を中心に回転する。プロペラ101が回転することにより、飛行体10が飛行する。駆動装置102は、プロペラ101に動力を与えて回転させる。駆動装置102は、例えばモータとモータの動力をプロペラ101に伝達する伝達機構とを含む。バッテリー103は、駆動装置102を含む飛行体10の各部に電力を供給する。
図3は、飛行体10のハードウェア構成を示す図である。飛行体10は、物理的には、プロセッサ11、メモリ12、ストレージ13、通信装置14、測位装置15、撮像装置16、センサ18及びバス17などを含むコンピュータ装置として構成されている。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。
プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。
また、プロセッサ11は、プログラム(プログラムコード)、ソフトウェアモジュールやデータを、ストレージ13及び/又は通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。プログラムとしては、飛行体10の動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。飛行体10において実行される各種処理は、1つのプロセッサ11により実行されてもよいし、2以上のプロセッサ11により同時又は逐次に実行されてもよい。プロセッサ11は、1以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
メモリ12は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つで構成されてもよい。メモリ12は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ12は、本発明の一実施の形態に係る飛行制御方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
ストレージ13は、コンピュータ読み取り可能な記録媒体であり、例えば、CD−ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu−ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。ストレージ13は、補助記憶装置と呼ばれてもよい。
通信装置14は、第1操縦端末30と無線通信を行うためのハードウェアである。
測位装置15は、飛行体10の三次元の位置を測定する。測位装置15は、例えばGPS(Global Positioning System)受信機であり、複数の衛星から受信したGPS信号に基づいて飛行体10の現在位置を測定する。
撮像装置16は、飛行体10の周囲の画像を撮像する。撮像装置16は、例えばカメラであり、光学系を用いて撮像素子上に像を結ばせることにより、画像を撮像する。撮像装置16は、例えば飛行体10の前方において所定の範囲の画像を撮像する。ただし、撮像装置16の撮像方向は、飛行体10の前方に限定されず、飛行体10の上方、下方、又は後方であってもよい。また、例えば撮像装置16を支持する台座が回転することにより、撮像方向が変更されてもよい。
センサ18は、飛行体10の各種状態を検知するためのデバイスであり、例えば飛行体10の高度、飛行体10の速度、飛行体10の姿勢、飛行体10の電池残量、飛行体10のモータ回転数、飛行体10と作業対象物との距離等を検知する。なお、作業対象物とは、例えば飛行体10が建造物の撮像を行うために飛行する場合、その建造物のことである。
上述したプロセッサ11やメモリ12などの各装置は、情報を通信するためのバス17で接続される。バス17は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
図4は、第1操縦端末30のハードウェア構成を示す図である。第1操縦端末30は、物理的には、プロセッサ31、メモリ32、ストレージ33、第1通信装置34、第2通信装置35、UI(User Interface)部36及びバス37などを含むコンピュータ装置として構成されている。第1通信装置34は、飛行体10の通信装置14と無線通信を行う。第2通信装置35は、ネットワーク60を介してサーバ装置20と通信を行う。UI部36は、例えば液晶パネル及び液晶駆動回路などを含み画像データに応じた画像を表示する表示部と、例えばキーやタッチセンサなどの操作子を含みユーザの操作を受け付けてその操作に応じた信号をプロセッサ31に供給する操作部とを備えている。これ以外のプロセッサ31、メモリ32、ストレージ33及びバス37は、上述したプロセッサ11、メモリ12、ストレージ13及びバス17と同様であるため、その説明を省略する。
図5は、第2操縦端末50のハードウェア構成を示す図である。第2操縦端末50は、物理的には、プロセッサ51、メモリ52、ストレージ53、通信装置54、UI部55及びバス56などを含むコンピュータ装置として構成されている。通信装置54はネットワーク60を介してサーバ装置20と通信を行う。これ以外のプロセッサ51、メモリ52、ストレージ53、UI部55及びバス56は、上述したプロセッサ11、メモリ12、ストレージ13、UI部36及びバス17と同様であるため、その説明を省略する。
図6は、サーバ装置20のハードウェア構成を示す図である。サーバ装置20は、物理的には、プロセッサ21、メモリ22、ストレージ23、通信装置24及びバス25などを含むコンピュータ装置として構成されている。通信装置24はネットワーク60を介して第1操縦端末30及び第2操縦端末50と通信を行う。プロセッサ21、メモリ22、ストレージ23、及びバス25は、上述したプロセッサ11、メモリ12、ストレージ13、及びバス17と同様であるため、その説明を省略する。
図7は、サーバ装置20の機能構成の一例を示す図である。サーバ装置20における各機能は、プロセッサ21、メモリ22などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ21が演算を行い、通信装置24による通信や、メモリ22及びストレージ23におけるデータの読み出し及び/又は書き込みを制御することにより実現される。
図7において、トラッキング部200は、サーバ装置20の制御下にある飛行体10の飛行体識別情報とその飛行状況を記録する。飛行状況には飛行体10が飛行している位置とその位置における日時が含まれている。トラッキング部200は、飛行体10から第1操縦端末30を介して通知される位置情報及び日時情報を記録する。また、トラッキング部200は、その位置情報及び日時情報が、予め計画された飛行計画内であるかどうかを判断し、その判断結果を記録する。
第1取得部201は、飛行体10に搭載された撮像装置16により撮像された飛行体視点画像を第1操縦端末30経由で取得する。第2取得部202は、撮像装置40によって飛行体10が飛行する様子が撮像された操縦者視点画像を撮像装置40から取得する。
優先表示制御部203は、第2操縦端末50において、第1取得部201により取得された飛行体視点画像又は第2取得部202により取得された操縦者視点画像のうちいずれかを優先的に表示させる。また、優先表示制御部203は、飛行している飛行体10の飛行に関する情報を第2操縦端末50に表示させる。
第1通信部204は、飛行体10を無線で操縦するための第1操縦端末30と通信を行う。第2通信部205は、飛行体10をネットワーク60経由で操縦するための第2操縦端末50と通信を行う。判断部206は、第1通信部204が第1操縦端末30から受信した情報に基づいて、第1操縦端末30又は第2操縦端末50のうちどちらが飛行体10の操縦を行うかを判断する。より具体的には、判断部206は、第1通信部204が第1操縦端末30から受信した情報に基づいて、第1操縦端末30による操縦技量レベルを特定し、当該技量レベルに基づいて判断を行う。
遠隔制御部207は、第2操縦端末50が飛行体10の操縦を行うと判断された場合に、第2操縦端末50から飛行体10宛てに送信されてくる指示を飛行体10宛てに転送する。より具体的には、遠隔制御部207は、第2操縦端末50が飛行体10の操縦を行うと判断された場合に、第1通信部204を用いて、第1操縦端末30に対して、第2操縦端末50が飛行体10の操縦を行うことを通知し、当該通知に対する許可を受け取ると、第2操縦端末50から飛行体10宛てに送信されてくる指示を飛行体10宛てに転送する。このように、飛行体10は、第1操縦端末30からの指示に従い飛行する場合と、第2操縦端末50からの指示に従い飛行する場合とがある。
図8は、第2操縦者端末において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための条件が記述された表示画像決定テーブルの一例を示している。この表示画像決定テーブルは、サーバ装置20のストレージ23に記憶される。優先表示制御部203は、飛行体10の飛行に関する情報に基づいて優先的に表示させる撮像画像を決定するが、特に本実施形態では、飛行体10の飛行中の状態に基づいて優先的に表示させる撮像画像を決定する。
ここで、飛行中の状態には、飛行体10のセンサ18によって検知される状態、例えば飛行体10の高度、速度、姿勢、電池残量、モータ回転数、作業対象物との距離が含まれる。例えば高度という条件に基づいて表示対象となる撮像画像を決定する場合、飛行体10の高度が或る閾値H以上のときには、飛行体視点画像を優先的に表示し、高度が閾値H未満のときには、操縦者視点画像を優先的に表示する。つまり、飛行体10の高度という条件を考えたときに、操縦支援者が飛行体視点画像を見たほうが支援を行いやすいのか或いは操縦者視点画像を見たほうが支援を行いやすいのかという観点で、優先的に表示させる撮像画像が決まっている。このような観点に従って、高度以外の条件、つまり飛行体10の速度、姿勢、電池残量、モータ回転数、作業対象物との距離に関しても、優先的に表示する撮像画像が決まることになる。
図9は、操縦主体が第1操縦端末30であるか又は第2操縦端末50であるかを決定するための条件が記述された操縦主体決定テーブルの一例を示している。この操縦主体決定テーブルは、サーバ装置20のストレージ23に記憶される。判断部206は、第1通信部204が第1操縦端末30から受信した情報に基づいて、操縦者の操縦技量レベルと、その操縦者が行っている操縦の難易度とを特定し、両者の関係が、操縦者の操縦技量レベル≧操縦の難易度である場合には操縦主体を操縦者に決定し、操縦者の操縦技量<操縦の難易度である場合には操縦主体を操縦支援者に決定する。
動作
図10は、飛行制御システム1の動作の一例を示すシーケンスチャートである。以下の説明において、飛行体10を処理の主体として記載する場合には、具体的にはプロセッサ11、メモリ12などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ11が演算を行い、通信装置14による通信や、メモリ12及びストレージ13におけるデータの読み出し及び/又は書き込みを制御することにより、処理が実行されることを意味する。サーバ装置20、第1操縦端末30、第2操縦端末50についても同様である。
飛行体10が飛行を開始すると、飛行体10の撮像装置16は撮像を開始する(ステップS11)。これにより撮像された撮像画像の動画データは、飛行体10の通信装置14から無線により第1操縦端末30に送信される(ステップS12)。このとき、飛行体10は、測位装置15及びセンサ18により検知された飛行に関する情報(日時、飛行体10の位置、飛行体10の高度、飛行体10の速度、飛行体10の姿勢、飛行体10の電池残量、飛行体10のモータ回転数、飛行体10と作業対象物との距離、等を含む)を、通信装置14から無線により第1操縦端末30に送信する。第1操縦端末30は、飛行体10から受信した撮像画像の動画データ及び飛行に関する情報をサーバ装置20に送信する(ステップS13)。なお、飛行に関する情報のうち第1操縦端末30が生成し得るもの(例えば日時)は、第1操縦端末30が生成してサーバ装置20に送信してもよい。
一方、撮像装置40は、操縦者の撮像開始操作に応じて撮像を開始する(ステップS14)。撮像された撮像画像の動画データは、撮像装置40からサーバ装置20に送信される(ステップS15)。これにより、サーバ装置20の第1取得部201は、撮像装置16から撮像画像(飛行体視点画像)の動画データ及び飛行に関する情報を取得し、サーバ装置20の第2取得部202は、撮像装置40から撮像画像(操縦者視点画像)の動画データを取得する。
次に、サーバ装置20の第1通信部204及び第2通信部205は、第1操縦端末30及び第2操縦端末50間の音声通話を中継する(ステップS16)。これにより、操縦者と操縦支援者とは音声により通話を行うことが可能となる。操縦支援者はこの音声通話を用いて操縦者の操縦を支援するアドバイスを送ることが可能となる。
サーバ装置20の優先表示制御部203は、表示対象決定テーブルと飛行に関する情報とを参照して、第2操縦端末50において表示対象となる撮像画像を決定する(ステップS17)。具体的には、優先表示制御部203は、表示対象決定テーブルにおいて、取得した飛行に関する情報を当て嵌め、その情報に対応する撮像画像を表示対象として決定する。このとき、例えば高度という条件に注目して決定される表示対象が飛行体視点画像であり、速度という条件に注目して決定される表示対象が操縦者視点画像であり、・・・というようにそれぞれの条件に応じて決定される撮像画像が異なる場合がある。このようなときには、例えば各条件に付いて決定された数が多いほうの撮像画像を表示対象とすればよい。さらに各条件について重みをつけて決定してもよい。例えば高度という条件に注目して決定される表示対象については1.1倍という重みをつけ、速度という条件に注目して決定される表示対象については1.3倍という重みをつけ、といった具合である。
そして、サーバ装置20の優先表示制御部203は、決定された表示対象となる撮像画像の動画データを第2操縦端末50に送信することで、第2操縦端末50においてその撮像画像を優先的に表示させる表示制御を行う(ステップS18,S19)。第2操縦端末50は、決定された表示対象となる撮像画像の動画データに応じた画像を表示する(ステップS20)。このとき、サーバ装置20は、第1通信部204が第1操縦端末30から受信した情報(例えば、飛行体10の位置、飛行体10の高度、飛行体10の速度、飛行体10の姿勢、飛行体10の電池残量、飛行体10のモータ回転数、飛行体10と作業対象物との距離等)を、第2通信部205を用いて第2操縦端末50に送信し、第2操縦端末50において音声で出力させるようにする。操縦支援者はこの音声を聞くことで、操縦者の操縦を支援するアドバイスの内容を決めることが可能となる。なお、これらの情報を第2操縦端末50において表示させるようにしてもよい。
操縦者は第1操縦端末30を操作して飛行体10を操縦する(ステップS21)。このとき、第1操縦端末30において、飛行体10に対する動作の指示が第1通信装置34から無線で送信される一方(ステップS22)、第2通信装置35から第1操縦端末30の操縦者の操縦技量レベルを特定するのに要する情報(例えば飛行体10の測位装置15及びセンサ18により検知された飛行体10の位置、飛行体10の高度、飛行体10の速度、飛行体10の姿勢、飛行体10の電池残量、飛行体10のモータ回転数、飛行体10と作業対象物との距離等)がサーバ装置20に送信される(ステップS23)。
サーバ装置20の第1通信部204は、上述したような第1操縦端末30の操縦者の操縦技量レベルを特定するのに要する情報を取得する。判断部206は、第1通信部204が第1操縦端末30から受信した情報に基づいて、第1操縦端末30又は第2操縦端末50のうちどちらが飛行体10の操縦を行うか、つまり操縦主体を判断する(ステップS24)。
まず、判断部206は、第1通信部204が第1操縦端末30から受信した情報に基づいて、第1操縦端末30による操縦技量レベルを特定する。例えば、判断部206は、飛行体10の位置の変化、飛行体10の速度の変化又は飛行体10の姿勢の変化等が予め決められた範囲内である場合、つまり飛行体10の飛行において急激な変化がなく、無理のないスムーズな飛行制御であると推定できる場合には、第1操縦端末30による操縦技量レベルを高いと判断する。一方、判断部206は、飛行体10の位置の変化、飛行体10の速度の変化又は飛行体10の姿勢の変化等が予め決められた範囲を逸脱する場合、つまり飛行体10の飛行に無理があるような場合には、第1操縦端末30による操縦技量レベルを低いと判断する。
次に、判断部206は、第1通信部204が第1操縦端末30から受信した情報に基づいて、飛行体10の操縦の難易度レベルを特定する。例えば、判断部206は、飛行体10の高度が高いほど、飛行体10の電池残量が少ないほど、又は、飛行体10と作業対象物との距離が近いほど、つまり飛行体10の操縦が難しいとされる所定の条件に合致する場合には、飛行体10の操縦の難易度が高いと判断する。このように、判断部206は、第1通信部204が第1操縦端末30から受信した情報に基づいて、操縦者の操縦技量レベルと、その操縦者が行っている操縦の難易度とを特定すると、これら両者の関係が、操縦者の操縦技量レベル≧操縦の難易度である場合には操縦主体を操縦者に決定し、操縦者の操縦技量<操縦の難易度である場合には操縦主体を操縦支援者に決定する。
ここで、判断部206が操縦主体は操縦者であると判断した場合には、操縦者による第1操縦端末30を用いた飛行体10の操縦が継続される。一方、判断部206が操縦主体は操縦支援者であると判断した場合には、操縦支援者による第2操縦端末50を用いた飛行体10の操縦がなされることになる。まず、遠隔制御部207は、第1通信部204を用いて、第1操縦端末30に対して、第2操縦端末50が飛行体10の操縦を行うことを通知する(ステップS25)。第1操縦端末30においてこの通知が出力され、操縦者がこの通知に対する許可を意味する操作を行うと、第1操縦端末30は当該通知に対する許可をサーバ装置20に送信する(ステップS26)。遠隔制御部207は、操縦主体が第1操縦端末30から第2操縦端末50に移ることを第2操縦端末50に通知する(ステップS27)。
操縦支援者はこの通知を受けて、第2操縦端末50を操作して飛行体10を操縦する(ステップS28)。このとき、既述のようにサーバ装置20の優先表示制御部203は、決定された表示対象となる撮像画像の動画データを第2操縦端末50に送信して、第2操縦端末50においてその撮像画像を優先的に表示させているので、操縦支援者はその画像を見ながら飛行体10を操縦することができる。第2操縦端末50は、操縦支援者の操作に応じて、飛行体10宛ての動作の指示をサーバ装置20に送信する(ステップS29)。サーバ装置20の遠隔制御部207は、第2操縦端末50から飛行体10宛てに送信されてくる動作の指示を飛行体10宛てに転送することで、飛行体10の遠隔制御を行う(ステップS30,S31)。この指示は、第1操縦端末30を経由して飛行体10へと届けられ(ステップS32)、飛行体10はこの指示に従い飛行することになる。これ以降、操縦支援者は第2操縦端末50を操作して飛行体10の操縦を継続することになる。
以上説明した実施形態によれば、操縦支援者が遠隔地から容易に操縦支援を行うことができる。また、操縦支援者に対して、その操縦支援に適切な画像が優先的に表示されるので、遠隔地からの操縦支援に寄与する。
変形例
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の2つ以上の変形例を組み合わせて実施してもよい。
変形例1
判断部206は、第1通信部204が第1操縦端末30から受信した情報に基づいて操縦主体を判断していたが、第2通信部205が第2操縦端末50から受信した情報に基づいて操縦主体を判断してもよい。つまり、判断部206は、第1通信部204が第1操縦端末30から受信した情報又は第2通信部205が第2操縦端末50から受信した情報に基づいて、第1操縦端末30又は第2操縦端末50のうちどちらが飛行体10の操縦を行うかを判断する。例えば、操縦主体が操縦支援者に移った後に、判断部206は、第2操縦端末50から操縦内容を示す情報を第2通信部205が取得すると、その情報に基づいて、飛行体10の操縦の難易度を特定し、その難易度が、既に特定している操縦者の操縦技量レベルを下回ったときに、操縦主体を操縦者に戻すという判断を行ってもよい。
変形例2
第2操縦端末50から飛行体10宛てに送信されてくる動作の指示は、第1操縦端末30を経由して飛行体10に転送されるのではなく、飛行体10がネットワーク60に直接通信接続可能な場合には、第1操縦端末30を経由せずにネットワーク60を介して飛行体10に転送されてもよい。
変形例3
判断部206が操縦主体を判断するときの条件は実施形態の例示に限定されない。例えば、判断部206は、第1通信部204が第1操縦端末30から受信した情報に基づいて、飛行体10の飛行環境を特定し、当該飛行環境に基づいて判断を行ってもよい。ここでいう飛行環境とは、例えば風向きや風速等の風に関する情報や、晴れ、曇り、霧、雨、雪、雷等の天候に関する情報を含む。第1操縦端末30はこれらを特定するための情報を自身で計測又は所定の計測装置から取得し、サーバ装置20に送信する。サーバ装置20の判断部206は、これらの飛行環境から、飛行体10の飛行の難易度を特定する。
変形例4
また、例えば、判断部206は、第1通信部204が第1操縦端末30から受信した情報に基づいて、飛行体10の状態を特定し、当該状態に基づいて判断を行ってもよい。ここでいう飛行体の状態とは、機能不良や動作不良等であり、第1操縦端末30はこれらを特定するための情報を自身で計測して取得し、サーバ装置20に送信する。サーバ装置20の判断部206は、これらの飛行の状態から、飛行体10の飛行の難易度を特定する。
変形例5
1又は複数の操縦者に対して複数の操縦支援者が複数いる場合の遠隔制御を次のようにしてもよい。つまり、第1操縦端末30及び第2操縦端末50の組が複数ある場合に(組をカウントするに当たり、1の第1操縦端末30を重複してカウントしてもよい)、判断部206は、第1操縦端末30及び第2操縦端末50の組ごとに操縦主体の判断を行い、遠隔制御部207は、第1操縦端末30及び第2操縦端末50の組ごとに第2操縦端末50が飛行体10の操縦を行うと判断された場合に、当該第2操縦端末50から飛行体10宛てに送信されてくる指示を飛行体10に転送する。例えば、第2操縦端末50が2つある場合(つまり操縦支援者が二人いる場合)、一方の第2操縦端末50は操縦者による飛行体10の飛行を支援するための端末であり、他方の第2操縦端末50は操縦者による飛行体10からの撮像を支援するための端末であるとする。この場合、各々の操縦支援者は、自身の支援目的に従って、それぞれの画像を見ながら各第2操縦端末50において、飛行体10の飛行又は撮像に関する操作を行う。このようにすれば、1人の操縦者に対して複数の操縦支援者による操縦支援を実現し得る。
変形例6
優先表示に関し、表示対象となる撮像画像を決定する条件は、実施形態の例に限定されない。例えば操縦者による第1操縦端末30における操作量、操作方向、操作頻度等の操縦情報に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦情報に関する条件が記述された表示画像決定テーブルがストレージ23に記憶されている。優先表示制御部203は、第1取得部201が第1操縦端末30から上記のような操縦者による操縦に関する情報を取得すると、これに基づいて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば操縦情報から判断される操縦者の操縦が高レベルにあるとか操縦そのものが容易であるときと、操縦情報から判断される操縦者の操縦が低レベルにあるとか操縦そのものが困難であるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば操縦内容に応じた操縦支援を実現し得る。
変形例7
また、操縦者又は操縦支援者の操縦能力や操縦歴などの属性に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦者又は操縦支援者の属性に関する条件が記述された表示画像決定テーブルがストレージ23に記憶されている。優先表示制御部203は、システムにログインした操縦者又は操縦支援者を識別し、その属性に基づいて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば属性から判断される操縦者の操縦が高レベルにあるとき、操縦支援者の操縦が高レベルであるとき、操縦者の操縦が低レベルにあるとき、操縦支援者の操縦が低レベルであるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば属性に応じた操縦支援を実現し得る。
変形例8
操縦支援者による操縦支援の内容に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦の支援に関する条件が記述された表示画像決定テーブルがストレージ23に記憶されている。優先表示制御部203は、第2操縦端末50から操縦支援者による操縦の支援に関する情報(例えば支援レベルの高低や複雑さ/簡単さ)を取得し、その情報に応じて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば操縦支援の内容から判断される操縦支援のレベルが高いとか操縦支援そのものが容易であるときと、操縦支援のレベルが低いとか操縦支援そのものが困難であるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば操縦支援の内容に応じた操縦支援を実現し得る。
変形例9
1人の操縦者に対して操縦支援者が複数いる場合の優先表示は次のようにしてもよい。つまり、第2操縦端末50が複数ある場合に、優先表示制御部203は、第2操縦端末50ごとに決められた方法に従って、優先的に表示させる撮像画像を決定する。例えば、一方の第2操縦端末50は操縦者による飛行体10の飛行を支援するための端末であり、他方の第2操縦端末50は操縦者による飛行体10からの撮像を支援するための端末である場合、一方の第2操縦端末50には飛行の支援により役立つ操縦者視点画像を優先的に表示させ、他方の第2操縦端末50には撮像の支援により役立つ飛行体視点画像を優先的に表示させる、といった具合である。各々の操縦支援者は、自身の支援目的に従って、それぞれの画像を見ながら各第2操縦端末50を操作する。このようにすれば、1人の操縦者に対して複数の操縦支援者による操縦支援を実現し得る。
変形例10
1人の操縦支援者に対して飛行体10及び操縦者がそれぞれ複数いる場合の優先表示は次のようにしてもよい。第1取得部201は、各々の飛行体10に搭載された撮像装置16により撮像された複数の撮像画像を取得し、第2取得部202は、各々の飛行体10が飛行する様子が撮像された複数の撮像画像を取得する。優先表示制御部203は、各々の飛行体10について第1取得部201により取得された撮像画像又は第2取得部202により取得された撮像画像のうちいずれかを各々の操縦者に対する操縦支援の目的に応じて選択し、選択した撮像画像を操縦支援者の端末において優先的に表示させる。例えば、一方の第1操縦端末30に対しては第1の飛行体10の飛行を支援し、他方の第1操縦端末30に対しては第2の飛行体10による撮像を支援する場合、1の第2操縦端末50において、一方の第1操縦端末30の支援に関しては第1の飛行体10に飛行の様子を撮像した操縦者視点画像を優先的に表示させ、他方の第1操縦端末30の支援に関しては第2の飛行体10から撮像された飛行体視点画像を優先的に表示させるといった具合である。1人の操縦支援者はこれらの画像を見ながら第2操縦端末50を操作して、2人の操縦者に対する支援を同時又は交互に行う。このようにすれば、複数の操縦者に対して1人の操縦支援者による操縦支援を実現し得る。
変形例11
第2操縦端末50において、ネットワーク60におけるレイテンシに関する情報を表示するようにしてもよい。つまり、優先表示制御部203は、自サーバ装置20と第2操縦端末50との間のデータ通信の遅延に関する情報を、第2操縦端末50に表示させる。このような情報も操縦支援に役立つことになる。
変形例12
第2操縦端末50において、操縦支援者によって指定された撮像画像を優先的に表示させてもよい。第2操縦端末50において、優先表示する撮像画像の決定に、気象予報を考慮してもよい。
変形例13
飛行体10を追尾して撮像するための方法はどのようなものでもよい。また、飛行体10の位置を測定する方法は、GPSを用いた方法に限定されず、どのようなものでもよい。また、飛行体10はネットワーク60を介して通信可能な構成とし、飛行体10が、第1操縦端末30を経由せずに、サーバ装置20又は第2操縦端末50と通信を行ってもよい。
そのほかの変形例
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されてもよいし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されてもよい。また、サーバ装置20の機能の少なくとも一部が第1操縦端末30又は第2操縦端末50に実装されてもよい。同様に、第1操縦端末30又は第2操縦端末50の機能の少なくとも一部がサーバ装置20に実装されてもよい。
本明細書で説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE−A(LTE-Advanced)、SUPER 3G、IMT−Advanced、4G、5G、FRA(Future Radio Access)、W−CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi−Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。
本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
本明細書で説明した情報又はパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。
上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル(例えば、PUCCH、PDCCHなど)及び情報要素(例えば、TPCなど)は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。
本明細書で使用する「判定(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。
本発明は、飛行制御システム1において行われる処理のステップを備える飛行制御方法として提供されてもよい。また、本発明は、サーバ装置20、飛行体10、第1操縦端末30又は第2操縦端末50において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。
ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び/又はシンボルは信号(シグナル)であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア(CC)は、キャリア周波数、セルなどと呼ばれてもよい。
本明細書で使用する「第1の」、「第2の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみがそこで採用され得ること、または何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。
「含む(including)」、「含んでいる(comprising)」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または(or)」は、排他的論理和ではないことが意図される。
本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
1:飛行制御システム、10:飛行体、20:サーバ装置、21:プロセッサ、22:メモリ、23:ストレージ、24:通信装置、200:トラッキング部、201:第1取得部、202:第2取得部、203:優先表示制御部、204:第1通信部、205:第2通信部、206:判断部、207:遠隔制御部、30:第1操縦端末、40:撮像装置、50:第2操縦端末。

Claims (9)

  1. 飛行体を無線で操縦するための第1操縦端末と、
    情報処理装置とを備え、
    前記情報処理装置は、
    前記第1操縦端末と通信を行う第1通信部と、
    前記飛行体をネットワーク経由で操縦するための第2操縦端末と通信を行う第2通信部と、
    前記第1通信部が前記第1操縦端末から受信した情報又は前記第2通信部が前記第2操縦端末から受信した情報に基づいて、前記第1操縦端末又は前記第2操縦端末のうちどちらが前記飛行体の操縦を行うかを判断する判断部と、
    前記第2操縦端末が前記飛行体の操縦を行うと判断された場合に、前記第2操縦端末から前記飛行体宛てに送信されてくる前記飛行体に対する動作の第1指示前記ネットワークを介して前記第1操縦端末に転送する遠隔制御部とを有し、
    前記第1操縦端末は、前記第1操縦端末が前記飛行体の操縦を行うと判断された場合には、操縦者の操作に応じた前記飛行体に対する動作の第2指示を無線で前記飛行体に送信し、前記第2操縦端末が前記飛行体の操縦を行うと判断された場合には、前記情報処理装置から転送された前記第1指示を無線で前記飛行体に送信する
    とを特徴とする飛行制御システム
  2. 前記遠隔制御部は、前記第2操縦端末が前記飛行体の操縦を行うと判断された場合に、
    前記第1通信部を用いて、前記第1操縦端末に対して、前記第2操縦端末が前記飛行体の操縦を行うことを通知し、当該通知に対する許可を受け取ると、前記第2操縦端末から前記飛行体宛てに送信されてくる前記第1指示を前記飛行体宛てに転送する
    ことを特徴とする請求項1記載の飛行制御システム
  3. 前記判断部は、前記第1通信部が前記第1操縦端末から受信した情報又は前記第2通信部が前記第2操縦端末から受信した情報に基づいて、前記第1操縦端末による操縦の技量レベルを特定し、当該技量レベルに基づいて前記判断を行う
    ことを特徴とする請求項1又は2に記載の飛行制御システム
  4. 前記判断部は、前記第1通信部が前記第1操縦端末から受信した情報又は前記第2通信部が前記第2操縦端末から受信した情報に基づいて、前記第1操縦端末による操縦の技量レベル及び前記飛行体の操縦の難易度を特定し、前記技量レベルが前記難易度以上である場合には前記第1操縦端末が前記飛行体の操縦を行うと判断し、前記技量レベルが前記難易度より低い場合には前記第2操縦端末が前記飛行体の操縦を行うと判断する
    ことを特徴とする請求項3に記載の飛行制御システム。
  5. 前記判断部は、前記第1通信部が前記第1操縦端末から受信した情報に基づいて、前記飛行体の飛行環境を特定し、当該飛行環境に基づいて前記判断を行う
    ことを特徴とする請求項1又は2に記載の飛行制御システム
  6. 前記判断部は、前記第1通信部が前記第1操縦端末から受信した情報に基づいて、前記飛行体の状態を特定し、当該状態に基づいて前記判断を行う
    ことを特徴とする請求項1又は2に記載の飛行制御システム
  7. 前記第1通信部及び前記第2通信部は、前記第1操縦端末及び前記第2操縦端末間の音声通話を中継し、
    さらに、前記第1通信部が前記第1操縦端末から受信した情報を、前記第2通信部を用いて音声で出力する
    ことを特徴とする請求項1〜のいずれか1項に記載の飛行制御システム
  8. 前記第1操縦端末及び前記第2操縦端末の組が複数ある場合に、
    前記判断部は、前記第1操縦端末及び前記第2操縦端末の組ごとに前記判断を行い、
    前記遠隔制御部は、前記第1操縦端末及び前記第2操縦端末の組ごとに前記第2操縦端末が前記飛行体の操縦を行うと判断された場合に、当該第2操縦端末から前記飛行体宛てに送信されてくる前記第1指示を前記飛行体宛てに転送する
    ことを特徴とする請求項1〜のいずれか1項に記載の飛行制御システム
  9. 前記第2操縦端末をさらに備える
    ことを特徴とする請求項1〜8のいずれか1項に記載の飛行制御システム。
JP2019551196A 2017-10-30 2018-10-24 飛行制御システム Active JP6945005B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017209454 2017-10-30
JP2017209454 2017-10-30
PCT/JP2018/039476 WO2019087891A1 (ja) 2017-10-30 2018-10-24 情報処理装置及び飛行制御システム

Publications (2)

Publication Number Publication Date
JPWO2019087891A1 JPWO2019087891A1 (ja) 2020-10-22
JP6945005B2 true JP6945005B2 (ja) 2021-10-06

Family

ID=66331801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019551196A Active JP6945005B2 (ja) 2017-10-30 2018-10-24 飛行制御システム

Country Status (3)

Country Link
US (1) US20200278673A1 (ja)
JP (1) JP6945005B2 (ja)
WO (1) WO2019087891A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818672A (zh) * 2017-11-14 2018-03-20 深圳市道通智能航空技术有限公司 一种控制飞行器的方法和装置
JP7032950B2 (ja) 2018-02-19 2022-03-09 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP7060418B2 (ja) * 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6085153B2 (ja) * 2012-11-26 2017-02-22 日立Geニュークリア・エナジー株式会社 建屋内調査システム
US9620004B2 (en) * 2014-09-04 2017-04-11 Cisco Technology, Inc. Multi-master wireless remote control
JP6633460B2 (ja) * 2015-09-04 2020-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 通知方法、通知装置及び端末
JP6224050B2 (ja) * 2015-10-14 2017-11-01 株式会社プロドローン 遠隔操縦型無人飛行機および遠隔操縦型無人飛行機の操縦引継方法
EP3438775A1 (en) * 2016-03-31 2019-02-06 Nikon Corporation Flight device, electronic device and program

Also Published As

Publication number Publication date
WO2019087891A1 (ja) 2019-05-09
US20200278673A1 (en) 2020-09-03
JPWO2019087891A1 (ja) 2020-10-22

Similar Documents

Publication Publication Date Title
US10281911B1 (en) System and method for controlling a remote aerial device for up-close inspection
US20190369613A1 (en) Electronic device and method for controlling multiple drones
EP3545509B1 (en) Electronic device for controlling unmanned aerial vehicle and method of operating the same
EP3346696B1 (en) Image capturing method and electronic device
CN110147705B (zh) 一种基于视觉感知的车辆定位方法及电子设备
US11175651B2 (en) Method, device and system for presenting operation information of a mobile platform
US10165406B2 (en) Method of providing route information and electronic device for processing same
US20170293297A1 (en) Electronic apparatus and operating method thereof
US10054946B2 (en) Electronic device and operating method thereof
JP6945005B2 (ja) 飛行制御システム
KR20170055213A (ko) 비행이 가능한 전자 장치를 이용한 촬영 방법 및 장치
JP7341991B2 (ja) 監視装置
KR20180065756A (ko) 무인비행체를 제어하는 전자 장치 및 그 제어 방법
JP6945004B2 (ja) 情報処理装置
WO2019227287A1 (zh) 无人机的数据处理方法和设备
JP7079345B2 (ja) 情報処理装置
JP7060616B2 (ja) 情報処理装置
KR20180106178A (ko) 무인 비행체, 전자 장치 및 그에 대한 제어 방법
CN113961659A (zh) 一种基于复杂地形的导航方法、***、计算机设备及介质
JP2010087989A (ja) 携帯端末装置
CN116745723A (zh) 无人机的控制方法、无人机及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210913

R150 Certificate of patent or registration of utility model

Ref document number: 6945005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150