JP2024516481A - リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する装置、方法およびソフトウェア - Google Patents

Abstract

リモートコントローラ（１５０）を使用してドローン（１６０）を飛行させる人間のオペレータ（１２０）を支援する装置（１００）、方法、およびソフトウェア。装置（１００）は、リモートコントローラ（１５０）からデータを受信する内部データ通信インタフェース（１０８）、データを表示する拡張現実ディスプレイ（１１２）、コンピュータプログラムコード（１０６）を含む１つ以上のメモリ（１０４）、装置（１００）に、人間のオペレータ（１２０）がドローン（１６０）の方を見ている間、ドローン（１６０）の位置を示すターゲットシンボル（２００）を拡張現実ディスプレイ（１１２）上に重畳させ、人間のオペレータ（１２０）がドローン（１６０）の方を見ている（２０４）間、ドローン（１６０）の方向を示す方位シンボル（２０２）を拡張現実ディスプレイ（１１２）上に重畳させ、ドローン（１６０）に関する地理的位置を取得させ、取得した地理的位置にワールドマーカを設定させる１つ以上のプロセッサ（１０２）を含む。【選択図】図１Ａ

Description

様々な実施形態は、リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する装置、リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する方法、および、前記方法を実行する、コンピュータプログラムコードを含むコンピュータ可読媒体に関し、それらは１つ以上のプロセッサによって実行されると方法のパフォーマンスが低下する。

（地上の）人間のオペレータは、リモートコントローラを使用してドローン（または無人航空機（ＵＶＡ））を飛行させる（場合によっては、少なくとも部分的に自動操縦によって支援される）。

人間のオペレータは、同時に空中のドローンの方向を向き、手持ちのリモートコントローラを操作し、時にはリモートコントローラのディスプレイの方も向く必要がある。これは状況認識の低下につながり、潜在的に危険な状況を引き起こす可能性がある。

法的要件として、人間のオペレータは、空中でドローンとの視覚的接触（視線による）を維持する必要がある。長距離、周囲光が低い、物理的な障害物などによりドローンが見えない可能性があるため、これは非常に困難である。

これらの問題は、別の人、いわゆる補助者（スポッター（spotter））が双眼鏡を使用する場合でもドローンとの視覚的接触を維持することで軽減され得るが、人間のオペレータはリモートコントローラの操作に集中しできる（ただし、それでも時にはリモートコントローラのディスプレイの表示を確認する必要がある場合がある）。当然、このようなセットアップでは、人間のオペレータとスポッターに優れたコミュニケーションスキルが必要である。さらに、手作業が倍増するため、ドローンの運用コストが増加する。

米国特許出願２０１８／０１９６４２５号明細書、米国特許出願２０１９／００７７５０４号明細書、および米国特許出願２０１９／００４９９４９号明細書は、ドローンの飛行におけるヘッドマウントディスプレイの使用に関するさまざまな態様を開示する。

一態様によれば、独立請求項の主題が提供される。従属請求項はいくつかの実施形態を定義する。

実装の１つ以上の例が、添付の図面および実施形態の説明においてより詳細に記載される。

図１Ａおよび図１Ｂは、リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する装置の実施形態を示す。 図１Ａおよび図１Ｂは、リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する装置の実施形態を示す。 図２および図３は、装置の拡張現実ディスプレイによって提供されるビューの実施形態を示す。 図２および図３は、装置の拡張現実ディスプレイによって提供されるビューの実施形態を示す。 図４、図５、図６、図７、図８および図９は、ドローンの向きの実施形態を示す。 図４、図５、図６、図７、図８および図９は、ドローンの向きの実施形態を示す。 図４、図５、図６、図７、図８および図９は、ドローンの向きの実施形態を示す。 図４、図５、図６、図７、図８および図９は、ドローンの向きの実施形態を示す。 図４、図５、図６、図７、図８および図９は、ドローンの向きの実施形態を示す。 図４、図５、図６、図７、図８および図９は、ドローンの向きの実施形態を示す。 図１０、図１１、図１２は、ドローンに関する障害物を視覚化する実施形態を示す。 図１０、図１１、図１２は、ドローンに関する障害物を視覚化する実施形態を示す。 図１０、図１１、図１２は、ドローンに関する障害物を視覚化する実施形態を示す。 図１３は、ドローンに関する中間地点（waypoint）を視覚化する実施形態を示す。 図１４および図１５は、ドローンによって捕捉されたデータを視覚化する実施形態を示す。 図１４および図１５は、ドローンによって捕捉されたデータを視覚化する実施形態を示す。 図１６および図１７は、ドローンの飛行に関するマップを視覚化する実施形態を示す。 図１６および図１７は、ドローンの飛行に関するマップを視覚化する実施形態を示す。 図１８および図１９は、装置のメニュー構造を視覚化する実施形態を示す。 図１８および図１９は、装置のメニュー構造を視覚化する実施形態を示す。 図２０、図２１、図２２は、ドローンの物理環境に関する外部データを視覚化する実施形態を示す。 図２０、図２１、図２２は、ドローンの物理環境に関する外部データを視覚化する実施形態を示す。 図２０、図２１、図２２は、ドローンの物理環境に関する外部データを視覚化する実施形態を示す。 図２３、図２４、図２５、図２６および図２７は、異なる可視性の間のドローンへの視線を視覚化する実施形態を示す。 図２３、図２４、図２５、図２６および図２７は、異なる可視性の間のドローンへの視線を視覚化する実施形態を示す。 図２３、図２４、図２５、図２６および図２７は、異なる可視性の間のドローンへの視線を視覚化する実施形態を示す。 図２３、図２４、図２５、図２６および図２７は、異なる可視性の間のドローンへの視線を視覚化する実施形態を示す。 図２３、図２４、図２５、図２６および図２７は、異なる可視性の間のドローンへの視線を視覚化する実施形態を示す。 図２８および図２９は、２つの装置を備えるシステムの実施形態を示す。 図２８および図２９は、２つの装置を備えるシステムの実施形態を示す。 図３０は、リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する方法の実施形態のフローチャートを示す。 図３１、図３２および図３３は、ワールドマーカに関する実施形態を示す。 図３１、図３２および図３３は、ワールドマーカに関する実施形態を示す。 図３１、図３２および図３３は、ワールドマーカに関する実施形態を示す。

次に、添付図面を参照していくつかの実施形態を説明する。

以下の実施形態は一例である。明細書では複数の箇所で“１つ”の実施形態に言及する場合があるが、これは必ずしも、そのような各言及が同じ実施形態に対すること、またはその特徴が個々の実施形態にのみ適用されることを意味するものではない。異なる実施形態の個々の特徴を組み合わせて、他の実施形態を提供してもよい。さらに、「comprising（備える、有する、含む）」および「including（備える、有する、含む）」の用語は、記載された実施形態が言及された特徴のみからなるように限定するものではないと理解されるべきであり、そのような実施形態は、特に言及されていない特徴／構造も含み得る。

実施形態の説明および特許請求の範囲の両方における参照符号は、図面を参照して実施形態を説明するものであり、これらの例のみに限定されない。

以下の説明に開示される実施形態および特徴であって、独立請求項の範囲に入らないものは、本発明のさまざまな実施形態を理解するのに役立つ例として解釈されるべきである。

図１Ａは、リモートコントローラ１５０を用いてドローン１６０を飛行させる人間のオペレータ（またはパイロット）１２０を支援する装置１００の、簡略化されたブロック図を示す。ドローン１６０は、無人航空機（ＵＡＶ：unmanned aerial vehicle）としても知られている。無人航空機システム（ＵＡＳ：unmanned aircraft system）は、ドローン（またはＵＡＶ）１６０、（地上の）リモートコントローラ１５０、およびリモートコントローラ１５０とドローン１６０との間の無線通信システム１５２を含むとして定義され得る。

同時に、図３０は、リモートコントローラ１５０を用いてドローン１６０を飛行させる人間のオペレータ１２０を支援する方法の実施形態のフローチャートを示す。

方法は、３０００で開始し、３０１０で終了する。方法は、工程３００２にループバックすることによって、必要な限り（装置１００の起動後、スイッチがオフになるまで）実行することができることに留意されたい。

図３０では、工程は厳密には時系列順ではない。一部の工程は同時に実行されてもよいし、所定の工程は異なる順序で実行されてもよい。他の機能も、工程間または工程内で実行され、工程間で交換される他のデータも実行され得る。一部の工程または工程の一部が省略されたり、対応する工程または工程の一部によって置き換えられ得る。処理順序の論理要件により必要な場合を除き、工程の特別な順序は必要ないことに留意されたい。

装置１００は、リモートコントローラ１５０から飛行に関するデータを受信３００２する内部データ通信インタフェース１０８を備える。飛行に関するデータは、ドローン１６０のテレメトリデータを含み得る。飛行に関連したデータは、限定されないが、ジャイロスコープや磁力計などのセンサの値、角速度、速度、高度や地球位置などの融合データ、バッテリ、ジンバル、飛行ステータスなどの航空機情報等を含み得る。ドローンの環境によっては、データはまた、装置１００によってドローン１６０から直接受信され得る。

内部データ通信インタフェース１０８は、リモートコントローラ１５０の無線トランシーバと通信する無線トランシーバを使用して実装され得る。内部データ通信インタフェース１０８の技術には、限定されないが、ＩＥＥＥ ８０２．１１ａｃ標準またはＷｉ－Ｆｉプロトコルスイートを用いて実装されたワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、ＢｌｕｅｔｏｏｔｈまたはＢｌｕｅｔｏｏｔｈ ＬＥ（Ｌｏｗ Ｅｎｅｒｇｙ）などの短距離無線ネットワーク、加入者識別モジュール（ＳＩＭ）またはｅＳＩＭ（組み込みＳＩＭ）を使用するセルラ無線ネットワーク、または他の標準または独自の無線接続手段、１つ以上を含む。いくつかの使用例では、内部データ通信インタフェース１０８は、追加または代替として、例えば適用可能なバスなどの標準または独自の有線接続を利用できることに留意されたい。実施形態では、ＵＳＢ（ユニバーサルシリアルバス）規格に従った有線接続を利用する。

装置１００はまた、飛行に関するデータを人間のオペレータ１２０に表示３００４する拡張現実（ＡＲ）ディスプレイ１１２を備える。図２から図２９は、特定の実施形態を示すが、これらに加えて、飛行に関する様々な通知およびステータスも拡張現実ディスプレイ１１２上に表示され得る。

図面では、拡張現実ディスプレイ１１２は、ヘッドバンドが取り付けられた（またはヘルメットに取り付けられた）ヘッドマウントディスプレイとして実装され、人間のオペレータ１２０によって目の前にバイザー（visor）として着用される。図面では、拡張現実ディスプレイ１１２は、ホログラフィック画像が表示されるシースルーディスプレイとして実装される。代替実施形態では、拡張現実ディスプレイ１１２は、カメラを使用して現実世界のビューを取得（intercept）し、現実世界の拡張ビューを投影として表示することができる。

実施形態では、装置１００は、拡張現実ディスプレイ１１２としてシースルーホログラフィックレンズを採用するＭｉｃｒｏｓｏｆｔ（登録商標）ＨｏｌｏＬｅｎｓ（登録商標）２（またはそれ以降のバージョン）複合現実スマートグラスを使用して実装され、完全な開発環境を提供する。ヘッドマウント装置１００は、必要なプロセッサ（システムオンチップ、カスタムメイドのホログラフィック処理ユニット、およびコプロセッサを含む）１０２、メモリ１０４およびソフトウェア１０６、深度カメラ、ビデオカメラ、投影レンズ、慣性測定装置（加速度計、ジャイロスコープ、および磁力計を含む）、無線接続装置１０８、１１０、および充電式バッテリを含む。これらの部品の一部は図１には示されていないことに留意されたい。このような既製の環境は、例えば、現実世界と拡張現実を融合し、人間のオペレータ１２０の頭と目の動きを追跡することに関する基本的な操作を提供する拡張現実エンジン１４４を提供する。

しかしながら、限定されないが、眼鏡、ヘッドアップディスプレイ、拡張現実イメージングを備えたコンタクトレンズなどを含む拡張現実ディスプレイ１１２の他の適用可能な実装も使用され得る。本実施形態の目的のために、拡張現実ディスプレイ１１２は、コンピュータ生成の知覚情報によって強化された、現実世界の飛行環境２１０およびドローン１６０の対話型リアルタイム体験を提供する。自然環境２１０およびドローン１６０に加えて、飛行に関するデータが重畳（またはオーバーレイ）される。

装置１００はまた、コンピュータプログラムコード１０６を含む１つ以上のメモリ１０４と、コンピュータプログラムコード１０６を実行して装置１００に必要なデータ処理を実行させる１つ以上のプロセッサ１０２とを備える。装置１００によって実行されるデータ処理は、方法またはアルゴリズム１３０として解釈され得る。

「プロセッサ」１０２の用語は、データを処理できるデバイスを指す。実施形態では、プロセッサ１０２は、集積回路上に中央処理装置（ＣＰＵ）の機能を実装するマイクロプロセッサとして実装される。ＣＰＵは、コンピュータプログラムコード１０６を実行する論理マシンである。ＣＰＵは、レジスタのセット、算術論理演算ユニット（ＡＬＵ）、および制御ユニット（ＣＵ）を含み得る。制御ユニットは、（作業）メモリ１０４からＣＰＵに転送されるコンピュータプログラムコード１０６のシーケンスによって制御される。制御ユニットは、基本作業のための多数のマイクロ命令を含むことができる。マイクロ命令の実装は、ＣＰＵ設計に応じて異なり得る。１つ以上のプロセッサ１０２は、個々のプロセッサのコアとして、および／または別個のプロセッサとして実装され得る。

「メモリ」１０４という用語は、データを実行時に（＝作業メモリ）または永続的に（＝不揮発性メモリ）格納できるデバイスを指す。作業メモリと不揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、フラッシュメモリ、ソリッドステートディスク（ＳＳＤ）、ＰＲＯＭ（プログラマブルリード)、適切な半導体、または電気コンピュータメモリを実装するその他の手段によって実装され得る。

コンピュータプログラムコード１０６はソフトウェアによって実装される。実施形態では、ソフトウェアは適切なプログラミング言語によって書かれてもよく、その結果得られる実行可能コードはメモリ１０４に格納され、１つ以上のプロセッサ１０２によって実行されてもよい。

コンピュータプログラムコード１０６は、方法／アルゴリズム１３０を実装する。コンピュータプログラムコード１０２は、Ｃ、Ｃ＋＋、またはＲｕｓｔなどの高級プログラミング言語であり得るプログラミング言語を使用してコンピュータプログラム（またはソフトウェア）としてコード化され得る。コンピュータプログラムコード１０６は、ソースコード形式、オブジェクトコード形式、実行可能ファイル、または何らかの中間形式であってもよいが、１つ以上のプロセッサ１０２で使用するためには、アプリケーション１４０として実行可能形式である。コンピュータプログラムコード１０６を構造化する多くの方法がある。ソフトウェア設計方法論および使用されるプログラミング言語に応じて、工程は、モジュール、サブルーチン、メソッド、クラス、オブジェクト、アプレット、マクロなどに分割され得る。最新のプログラミング環境では、ソフトウェアライブラリ、すなわち、既製の機能の編集物が存在し、これらは、多種多様な標準作業を実行するためにコンピュータプログラムコード１０６によって利用され得る。さらに、オペレーティングシステム（汎用オペレーティングシステムなど）は、コンピュータプログラムコード１０６にシステムサービスを提供することができる。

図３０に示すように、実施形態は、コンピュータプログラムコード１０６を記憶するコンピュータ可読媒体１７０を提供し、このコンピュータプログラムコード１０６は、１つ以上のプロセッサ１０２にロードされ、１つ以上のプロセッサ１０２によって実行されると、１つ以上のプロセッサ１０２に方法／アルゴリズム１３０を実行させる。コンピュータ可読媒体１７０は、少なくとも、コンピュータプログラムコード１０６を１つ以上のプロセッサ１０２に運ぶことができる任意の実体またはデバイス、記録媒体、コンピュータメモリ、読み取り専用メモリ、電気搬送信号、電気通信信号、およびソフトウェア配布媒体を含んでもよい。一部の管轄区域では、法律および特許実務に応じて、コンピュータ可読媒体１７０が電気通信信号でない場合がある。実施形態では、コンピュータ可読媒体１７０は、コンピュータ可読媒体であってもよい。実施形態では、コンピュータ可読媒体１７０は、非一時的なコンピュータ可読媒体であってもよい。

図１Ａおよび図１Ｂに示すように、コンピュータ可読媒体１７０は、装置１００の実行可能アプリケーション１４０として、また飛行に関するデータを装置１００に送信するためのリモートコントローラ１５０の実行可能アプリケーション１４２として、コンピュータプログラムコード１６０を担持することができる。ＤＪＩ（登録商標）などの典型的なドローン環境では、アプリケーション１４２がリモートコントローラ１５０とインタフェースするためにソフトウェア開発キットを使用することができる。

図１Ａは、拡張現実ディスプレイ１１２、コンピュータプログラムコード１０６を含む１つ以上のメモリ１０４、および１つ以上のプロセッサ１０２を備える統合ユニットとして装置１００を示す。

しかしながら、図１Ｂに示すように、装置１００は、人間のオペレータ１２０に拡張現実ディスプレイ１１２が提供されるが、別個の処理部１８０が提供されるように、分散型装置１００として実装されてもよい。装置１００は、拡張現実ディスプレイ１１２およびリモートコントローラ１５０と通信可能に結合される。また、装置１００は、コンピュータプログラムコード１０６を含む１つまたは複数のメモリ１０４と、１つまたは複数のプロセッサ１０２とを備える。これは、処理部１８０がスマートフォン、タブレットコンピュータ、またはポータブルコンピュータなどの人間のオペレータ１２０が携帯するユーザ装置であるように実装されてもよく、通信接続は有線でも無線でもよい。他の実施形態は、処理部１８０が、クライアントサーバアーキテクチャ、クラウドコンピューティングアーキテクチャ、ピアツーピアシステム、または他の適用可能な分散コンピューティングアーキテクチャ、に従って、拡張現実ディスプレイ１１２と相互運用する、ネットワーク化されたコンピュータサーバ等であり得る。

図２および図３は、装置１００の拡張現実ディスプレイ１１２によって提供されるビューの実施形態を示す。図２から図２９は、各使用例を２つの異なる視角の組み合わせとして示す。

図２および図３を詳しく検討する。第１の視角は飛行を示す。人間のオペレータ１２０は、リモートコントローラ１５０を操作し、装置１００を通じて、またはより正確に表現すると、装置１００の拡張現実ディスプレイ１１２を介して、空中２１０のドローン１６０を観察する（またはドローン１６０の方を見る）２０４。図示のように、第２の視角は、拡張現実ディスプレイ１１２上に示される要素２００、２０２を示す。

この規則は、図２から２９のすべての図面で使用される。点線の矢印線２０４は、人間のオペレータ１２０が見ている方向、通常は空中のドローン１６０の方向、を示す。しかしながら、いくつかの使用例では、人間のオペレータ１２０は地面の方など別の方向を見て、参照符号６００、１４０４、１７０６、１８０４、２６０２等の点線の矢印線で示される。しかしながら、前述の代替実施形態では、カメラを使用して現実世界のビューを遮断し、投影として、現実世界の拡張ビューを表示する。拡張現実ディスプレイ１１２に向かう視線の方向は、カメラの捕捉方向と異なる場合がある。例えば、飛行姿勢を楽にするために、人間のオペレータ１２０は空を見つめるために頭を傾ける必要はないが、カメラは上向きに傾けられる。

記載されたすべての実施形態において、人間のオペレータ１２０は地上５００に立っていて、ドローン１６０は空中２１０を飛行していることに留意されたい。しかしながら、実施形態は、ドローン１６０を、地下の洞窟内、人工構造物（建物やトンネルなど）内で飛行させる場合、またはドローン１６０が人間のオペレータ１２０の下を飛行している、すなわち、人間のオペレータ１２０は、ドローン１６０の方を見ており２４０、上ではなく下を見ているような他の種類の環境にも適用可能である。このような使用例では、人間のオペレータ１２０は高いプラットフォーム（高層ビルや山など）に立っていて、ドローン１６０はその下（道路の上や谷など）を飛行していてもよい。実施形態は、ドローン１６０を水中に沈めて飛行させることにも適用することができ、すなわち、ドローン１６０は無人水中飛行体（ＵＵＶ）となり、ドローンが、川、湖、海、水で満たされた鉱山やトンネルなどの水中にあるとき、人間のオペレータ１２０は、例えば陸上または船舶からドローン１６０を操作してもよい。

ある意味、図２から２９のすべての図面は、現実世界の上に拡張現実を表現したハイブリッドを示す。現実世界は、外部の視点（現実世界の外側からユースケースを観察している別の人の視点のような）から示されているのに対し、拡張現実ディスプレイ１１２は、人間のオペレータ１２０の第１の人の視点から示されている。

ここで、図２および図３に戻る。実施形態では、装置１００は、人間のオペレータ１２０が（ＵＡＶの場合は空中２１０の）ドローン１６０の方向を見ている２０４間、（ＵＡＶの場合は空中２１０の）ドローン１６０の位置を示すターゲットシンボル２００を、拡張現実ディスプレイ１１２上に重畳させる３００６。実施形態では、装置はまた、人間のオペレータ１２０が（ＵＡＶの場合は空中２１０の）ドローン１６０の方向を見ている２０４間、（ＵＡＶの場合は空中２１０の）ドローン１６０の方向を示す方位シンボル２０２を拡張現実ディスプレイ１１２上に重畳させる３００８。

拡張現実ディスプレイ１１２の使用により、人間のオペレータ１２０は、飛行中に空中２１０のドローン１６０の方を見る２０４ことが可能になる。これにより、スポッターを必要とせずに、オペレータ１２０の飛行に関する状況認識が向上する。人間のオペレータは、空中２１０のドローン１６０との視覚的接触（視線による）を維持するが、後述するように、実際の正しい世界位置における航空データも同時に示される。

ターゲットシンボル２００は、空中２１０のドローン１６０の位置を示し、これにより人間のオペレータ１２０が飛行中にドローン１６０を追跡することが容易になる。実施形態では、ターゲットシンボル２００は、図示されるようなレチクルである。レチクル２００は、銃器の望遠照準器で一般的に使用される。レチクル２００は、図３に示すように、円３００と部分的な十字線３０２の組み合わせを含むことができる。しかし、ドット、ポスト、シェブロンなどの他のパターンをしてもよい。

方位シンボル２０２は、空中２１０のドローン１６０の方位を示し、これにより、オペレータ１２０は、飛行中にリモートコントローラ１５０によってドローン１６０に与えられる操縦コマンドの効果を理解しやすくなる。実施形態では、方位シンボル２０２は、図示されているように矢印である。図３に示すように、矢印２０２は、人間のオペレータ１２０の周りの３６０度の円の一部を示す円弧３０４によって増大され得る。矢印２０２は、後で説明されるように、ドローン１６０の進行方向を指し得る。

拡張現実ディスプレイ１１２において、デジタル世界からのターゲットシンボル２００および方位シンボル２０２は、飛行環境２１０の自然な部分として知覚される没入感の統合を通じて、人間のオペレータ１２０の現実世界の認識に溶け込む。

ドローン１６０の向きの実施形態を示す図４、図５、図６、図７、図８および図９を検討する。

実施形態は、方位シンボル２０２は、空中２１０のドローン１６０の方向に関して固定された所定の方向を指す。人間のオペレータ１２０は所定の方向を認識しているため、人間のオペレータ１２にとって、リモートコントローラ１５０によって与えられるステアリングコマンドが飛行にどのように影響するかを理解することができる。図１３に示すように、リモートコントローラ１５０は、例えば、ステアリングコマンドを与えるために２つのジョイスティック３１０、３１２を含むことができる。当然のことながら、他の種類のステアリング装置も、説明した実施形態と互換性がある。しかしながら、リモートコントローラ１５０は、ドローン１６０を様々な自由度、すなわちドローン１６０を左右に傾けるロール、ドローン１６０を前方または後方に傾けるピッチ、およびドローン１６０を時計回りまたは反時計回りに回転させるヨーで制御することができる。さらに、高度制御装置は、ドローン１６０をより高くまたはより低く飛行するように制御する。リモートコントローラ１５０のいくつかのユーザインタフェース要素は、装置１００のユーザインタフェース操作が拡張現実環境で実行されることに加えて、（物理）リモートコントローラ１５０のユーザインタフェース要素でも実行できるように、装置１００と対話するようにプログラムされ得ることに留意されたい。

図４に示す実施形態では、所定の方向は、ドローン１６０の進行方向４００に対して固定される。航法において、ドローン１６０の進行方向４００は、ドローン１６０の機首が向いているコンパスの方位である。例えば、クアッドコプター（＝４つのローターを備えたヘリコプター）であるドローン１６０は、「自然な」機首を有していない可能性があり、その場合、ドローン１６０の一方向が単に機首として定義されることに留意されたい。

図５は、実施形態を可能にするために相互に関する必要がある様々な座標系５０２、５０４、５０６を示す。世界座標系５０２は、装置１００の座標系５０４およびドローン１６０の座標系５０６にマッピングされる３次元世界モデル視覚化を定義する。次いで、装置１００は、それ自体の座標系５０４を使用して拡張現実を示すが、世界座標系５０２におけるドローン１６０の位置と人間のオペレータ１２０の位置も示す。

図５および図６に示す実施形態では、装置１００は以下を実行する。
・世界座標系５０２における地上５００上のドローン１６０の位置の取得。
・装置１００の拡張現実座標系５０４における地上５００上のドローン１６０の位置の取得。
・拡張現実座標系５０４におけるドローン１６０の位置と世界座標系５０２におけるドローン１６０の位置とのロック。
・地上５００のドローン１６０の進行方向４００の取得。
・進行方向４００を、装置１００の拡張現実座標系５０４における校正方位シンボルの方向とする設定。

このようにして、人間のオペレータ１２０の頭の動きを常に追跡する拡張現実座標系５０４は、世界座標５０２にしっかりと基づいており、実際のコンパス方位６０２にも従う。このようにして、世界の緯度および経度（世界座標系５０２のｘおよびｚ）と、拡張現実プレゼンテーションへのコンパス方位情報６０２の結合が達成される。

より具体的な実施形態では、装置１００は以下を実行する。
・世界座標系５０２における地上５００上のドローン１６０の位置の（リモートコントローラ１５０またはドローン１６０からの）取得。
・拡張現実ディスプレイ１１２上への、校正位置シンボルの重畳。
・校正位置シンボルがドローン１６０上に（ドローン１６０の中心またはドローン１６０上の別の所定の点などに）配置された後、第１のユーザ確認の受信。
・装置１００の拡張現実座標系５０４における地上５００上のドローン１６０の位置の（拡張現実エンジン１４４からの）取得。
・拡張現実座標系５０４におけるドローン１６０の位置と世界座標系５０２におけるドローン１６０の位置とのロック。
・地上５００上のドローン１６０の進行方向４００を（リモートコントローラ１５０またはドローン１６０から）取得。
・拡張現実ディスプレイ１１２上への、校正方位シンボルの重畳。
・校正方位シンボルがドローン１６０と（例えば、ドローン１６０の尾翼と機首の線またはドローン１６０の別の所定の方向と）位置合わせされた後、第２のユーザの確認の受信。
・進行方向４００を、装置１００の拡張現実座標系５０４における校正方位シンボルの方向として設定。

第１に、拡張現実システムには、世界座標系５０２におけるドローン１６０の位置、および拡張現実座標系５０４に対するドローン１６０の位置が示される。拡張現実指標を用いて、ドローン１６０の中心が拡張現実のビュー１１２内の正確なスポットに位置していることを示すことによって、そのスポットは、現実世界座標系５０２と拡張現実座標系５０４の両方で知られる。この組み合わせにより、世界緯度および経度情報とともに、固定共通位置が得られる。この緯度と経度は、現時点では正確な座標（ＧＰＳまたは別の全地球航法衛星システム、またはセルラ無線ベースの測位などの別の測位技術によって提供される）を知っているため、ドローン１６０から取得される。拡張現実ポインタスティック、または別の種類の校正位置シンボルは、人間のオペレータ１２０に対して拡張現実ディスプレイ１１２内の位置を示すことができる。ドローン１６０の位置を示すとき、人間のオペレータ１６０の前方で一定の距離を移動して下を向く、このスティックは、ドローン１６０の中心の上に来るように誘導される。位置を確認するために安定して保持され、その後、座標系５０２、５０４が一緒にロックされる。あるいは、これは、マシンビジョンを使用して行うこともでき、ドローン１６０を見て、拡張現実座標系５０４におけるその位置を解読し、次にドローン１６０の緯度、経度をロックし、さらにはその形状に向かうことさえも行うことができる。ドローン１６０の位置を示すことは多くの方法で行うことができるが、世界と拡張現実座標系５０２、５０４を確実にロックするためには確実に行う必要がある。

第２に、ドローン１６０は、その機首がどこを向いているかを知っており、すなわち、ドローン１６０は、そのコンパスの方位を度（degree）で伝えるので、これを使用して、座標系５０２、５０４の結合を最終的に決定することができる。拡張現実システムは、表示された線、またはドローン１６０の尾翼線を備えた別の種類の校正方位シンボルと、位置合わせするために使用され、これが達成されると、世界座標系５０２における表示された線のこのコンパス方位が分かる。したがって、任意の方向、たとえば北の世界コンパスの方位をそこから計算できる。

オプションのステップとして、世界位置（緯度、経度）がドローン１６０から取得されるときに、正確な世界座標に基づいてマップシステムから正確な高度（世界座標系５０２におけるｙ）を問い合わせることもできる。したがって、（正確な精度が必要な場合、地面５００からドローン１６０の上面のドローン固有のオフセットを使用して）空間内のこの点の高度を校正することもでき、そのため、今後は他のワールドポイントの地形高度を正確に決定するためにマップデータを使用する。要約すると、ワールドロックを実現するには、緯度、経度、場合によっては高度、およびコンパスの方位が必要になる場合がある。

この結合の後、システム全体の他のすべては、ドローン１６０が世界座標５０２において実際にどこにあるか、そして世界の正確にその周囲に何があるのかという知識に基づいて構築される。カップリングに関する説明された実施形態は、他のすべての実施形態、また独立請求項および他の従属請求項に関連して説明された実施形態とは無関係に、独立した実施形態として動作し得ることに留意されたい。

飛行に関するデータは世界座標５０２にマッピングされ、その結果、拡張された現実座標系５０４にロックされている世界座標系５０２で表現されるその３次元位置を知ることを利用してその視覚化が行われるように表示される３００４、３００６、３００８。

図７に示す実施形態では、状況認識は、数値情報によってさらに強化され得る。装置１００は、人間のオペレータ１２０が空中２１０のドローン１６０の方を見ている２０４間、ターゲットシンボル２００と視覚的に結合された数値およびスケール７００を使用して、拡張現実ディスプレイ１１２上にドローン１６０の巡航高度７０４を重畳させる。図７に示すように、スケール７００は、それぞれが特定の高度を示す水平線を含むことができる。この装置はまた、人間のオペレータ１２０が空中２１０のドローン１６０の方を見ている２０４間、方位シンボル２０２と視覚的に結合された度７０２でのドローン１６０の進行方向７０６を拡張現実ディスプレイ１１２上に重畳させる。これは、熟練した人間のオペレータ１２０にとって有用であり得る。

図８に示す実施形態では、装置１００は、人間のオペレータ１２０が空中２１０のドローン１６０の方を見ている２０４間、拡張現実ディスプレイ１１２上に、地上５００上のドローン１６０の地理的位置まで水平に延び、そこから間接視線ガイドライン８０２が空中２１０のドローン１６０の巡航高度においてターゲットシンボル２００に垂直に延びる、間接視線ガイドライン８００を重畳させる。これは、人間のオペレータ１２０が、まず、水平ガイドライン８００を観察して、地表５００上のドローン１６０の地理的位置を確認し、次に、垂直ガイドライン８０２を観察して、ドローン１６０が空中２１０内のどこにあるかを把握することができるため、状況認識をさらに強化することができる。

図９に示す実施形態では、装置１００は、人間のオペレータ１２０が空中２１０のドローン１６０の方を見ている２０４間、空中２１０のドローン１６０の航跡９０２および速度を示す航跡シンボル９００を拡張現実ディスプレイ１１２上に重畳させる。ナビゲーションにおいて、航跡９０２は、ドローン１６０が実際に移動する経路である。進行方向４００と航跡９０２との間の差は、空中（Air）２１０の動き（気流など）によって引き起こされる。航跡９０２および速度を示すことによって、人間のオペレータ１２０は、必要に応じて調整できる現在の制御の効果を予測する。

次に、図１０、図１１、図１２に示す、ドローン１６０に関連して障害物を視覚化する実施形態を検討する。

図１０に示す実施形態では、装置１００は、人間のオペレータ１２０がドローン１６０の方向を見ている２０４間、ドローン１６０から現実の物体１００４までの距離１００２を描く障害指標シンボル１０００を拡張現実ディスプレイ１１２上に重畳させる。距離１００２は、ドローン１６０と現実の物体１００４との間の最短距離であり得る。図１０に示すように、障害指標シンボル１０００は、矢印を使用して距離をマークすることができ、場合によっては距離１００２を示す数値によって拡張される。現実の物体１００４は、建物、橋などの人工物であってもよいし、丘や森などの自然物であってもよい。

図１１は、追加の実施形態を示しており、障害指標シンボル１０００は、現実の物体１００４上に少なくとも部分的に重ね合わされた視覚指標１１００を含む。図１１に示すように、視覚指標１１００は、現実の物体１００４に重ねられたシェーディングまたは同様の視覚効果であってもよい。このようにして、人間のオペレータ１２０は、ドローン１６０が物体１００４に近づくと、衝突の危険を即座に認識する。

図１２は、図１０の実施形態または図１１の実施形態のいずれかに適用可能なさらなる実施形態を示す。障害指標シンボル１２００は、ドローン１６０から現実の物体１２０６までの最短の水平距離１２０２および垂直距離１２０４を表す要素を含む。このようにして、現実の物体１２０６との衝突を回避するために、ドローン１６０の垂直方向および水平方向の両方の動きの影響を認識することができる。

次にドローン１６０に関して中間地点を視覚化する実施形態を示す図１３を検討する。装置１００は、人間のオペレータ１２０の地理的位置１３０２、人間のオペレータ１２０の地理的位置１３０４を示すマップ１３００を、拡張現実ディスプレイ１１２上に重ね合わされる。このようにして、人間のオペレータ１２０は、飛行に関する周囲の状況を直観的によりよく理解することができる。図１３に示すように、マップ１３００およびドローン１６０は人間のオペレータ１２０の視野内に同時に存在することができ、視線はドローンに向けられる２０４またはマップ１３００に向けられる１３１０が交互に起こり得る。人間のオペレータ１２０がドローン１６０の方向２０４を見ている間、装置１００は、地上５００上の中間地点１３０６の地理的位置から始まり中間地点１３０６の所定の高度に向かって延びる垂直中間地点シンボル１３０８を拡張現実ディスプレイ１１２上に重畳する。中間地点シンボル１３０８の狭い部分は、地球５００上の地理的位置を正確に示すことができるが、中間地点シンボル１３０８のより広い部分は、空中２１０における中間地点の設定高度を示すことができる。中間地点シンボル１３０８は、現実世界の正しい位置に示されている。

次に、図１４および図１５は、ドローン１６０によって捕捉されたデータを視覚化する実施形態を示す。装置１００は、人間のオペレータ１２０が空中２１０のドローン１６０の方を見ている２０４間、ターゲットシンボル２００の近くの、ドローン１６０に搭載された１つ以上のセンサ１４０２を使用してリアルタイムで捕捉された１つ以上の視覚要素１４００を、拡張現実ディスプレイ１１２上に重畳させ、人間のオペレータ１２０が、空中２１０のドローン１６０の方を見ている２０４間、拡張現実ディスプレイ１１２上で、視線が遮られないように１つ以上の視覚要素１４００を配置する。視覚要素１４００は、図示のようにターゲットシンボル２００のどちらかの側に配置することができるが、ターゲットシンボル２００の周囲のどこにでも配置することができる。人間のオペレータ１２０は、視覚要素１４００を素早く一瞥１４０４することができるが、主にドローン１６０の方を見て２０４、同時にドローン１７０を操縦する。図示の実施形態では、画像センサ１４０２は画像またはビデオフィードをデータとして捕捉する。このようにして、人間のオペレータ１２０は、画像センサ１４０２が所望のビューを撮影するようにドローン１２０を操縦することができる。画像センサは、写真カメラやビデオカメラなどの（通常の）可視光カメラとして動作できることに留意されたい。これに加えて、画像センサは、例えば、熱（または赤外線）カメラ、マルチスペクトルカメラ、ハイパースペクトルカメラ、またはコロナ放電カメラとして動作することができる。ドローン１６０に搭載された１つ以上のセンサ１４０２は、限定されないが、ライダー（光検出および測距、またはレーザー画像化、検出および測距、または３Ｄレーザー走査）センサ、ソナー（音声ナビゲーションおよび測距）センサ、レーダー（無線探知および測距）センサ、化学センサ、生物学的センサ、放射線センサ、粒子センサ、磁気センサ、ネットワーク信号強度センサなどのうちの１つ以上を含むことができる。ドローン１６０は、これらのセンサ１４０２の任意の組み合わせをペイロードとして搭載することができ、そのデータは、動的に配置された１つ以上の視覚要素１４００を用いて説明したように視覚化される。

図１６および図１７は、ドローン１６０の飛行に関するマップを視覚化する実施形態を示す。人間のオペレータ１２０がマップ１６００、１７００のレイアウトを選択してもよいし、装置１００が飛行状況に応じてどのレイアウトを使用するかを自動的に決定してもよい。装置１００は、人間のオペレータ１２０が空中２１０のドローン１６０の方を見ている２０４間、拡張現実ディスプレイ１１２上に、ターゲットシンボル２００の近傍における人間のオペレータ１２０の地理的位置１６０２とドローン１６０の地理的位置１６０４を示す垂直レイアウトのマップ１６００を重畳させる。あるいは、人間のオペレータ１２０が地面５００の方向を見ている１７０６間、装置１００は、拡張現実ディスプレイ１１２上に、人間のオペレータ１１２の地理的位置１７０２とドローン１６０の地理的位置１７０４とを示す、水平レイアウトのマップ１７００を重畳させる。垂直レイアウトマップ１６００を使用することにより、人間のオペレータがドローン１６０の方を注視２０４し、横にあるマップ１６００を見るとき、状況認識を常に保持され得る。水平レイアウトマップ１７００を使用することにより、人間のオペレータ１２０は地面５００の方を見る１７０６必要があるが、図示するように、マップ１７００の表面が地表面５００と平行であるため、マップ１７００はより大きく、より直観的に示され得る。

図１７は、使用されるマップ１７００が、三次元の建物１７０８によって示される高度データも示す三次元地形図であり得ることも示す。

図１８および図１９は、装置１００のメニュー構造を視覚化する実施形態を示す。装置１００は、人間のオペレータ１２０が地面５００の方を見ている１８０４間、拡張現実ディスプレイ１１２上に、人間のオペレータ１２０の周囲にメニュー構造１８００を重畳させる。装置１００は、オペレータ１２０からのジェスチャ１８０２をメニュー構造１８００に関するコマンドとして検出し、そのコマンドに基づいて拡張現実ディスプレイ１１２における飛行に関するデータの表示１９００を制御する。このようにして、人間のオペレータ１２０は装置１００を素早く操作することができる。図示するように、図１８は、ターゲットシンボル２００と方位シンボル２０２の基本的な表示を示し、図１９において、人間のオペレータ１２０は、図７を参照して前述したように、ターゲットシンボル２００と視覚的に結合された数値およびスケール７００を使用してドローン１６０の巡航高度を表示することをメニュー構造１８００から選択した。

図２０、図２１、図２２は、ドローン１６０の物理環境に関する外部データを視覚化する実施形態を示す。

図１Ａおよび図１Ｂに示すように、装置１００は、ドローン１６０の物理環境に関する外部データ１１４を受信する外部データ通信インタフェース１１０を備える。外部データ通信インタフェース１１０は、実施形態では、内部データ通信インタフェース１０８を使用して実装され得ることに留意されたい。装置１００は、外部データ１１４の１つ以上の視覚化２０００を拡張現実ディスプレイ１１２上に重畳させる。このようにして、装置１００は、外部データソースを拡張現実ディスプレイ１１２に組み込むことによって、人間のオペレータ１２０の状況認識を高めることができる。上述したように、外部データ１１４は、世界座標５０２にマッピングされ、その結果、拡張現実座標系５０４にロックされる、世界座標系５０２で表現されるその三次元位置を知ることを利用して視覚化されるように表示される。様々なソースから外部データを取得することに加えて、外部データ通信インタフェース１１０は、飛行に関するデータを外部受信機１１６に通信するためにも使用され得る。データは、限定されないが、ドローン１６０の位置、人間のオペレータ１２０からの音声、ドローン１６０からの１つ以上のビデオフィードなどを含む。

図２０に示すように、外部データ１１４は気象データと、気象データを示す１つ以上の視覚化２０００とを含むことができる。実施形態では、気象データは、風速および風向に関する情報を含む。方向は矢印で示され、図示するような速度は矢印の目盛または数値で示される。さらに、または代わりに、気象データは、乱気流（予測または既知）、湿度、雲の視覚化、雨警報、ひょう警報、雪警報、暴風雨警報、雷に関する警報、照明条件（時刻、太陽および／または月の位置）、霧、気温と気圧、視程、露点（航空パイロットにとって重要）、“体感”温度（“feels like” temperature）の１つ以上を含むことができる。そして、これらすべては時間に関連付けてもよい、すなわち、到来する雲前線や風の変化などの天気予報を視覚化してもよい。

図２１に示すように、外部データは、空域の分類を含む１１４の航空交通制御データおよび、空中２１０のドローン１６０の位置と一致する空域の分類を示す１つ以上の視覚化２１００、２１０２を含むことができる。図示するように、自由空域２１００は「Ｉ」でマークされてもよく、制限空域２１０２は「ＩＩ」でマークされてもよく、図示するような影付きの長方形、あるいは別の三次元形状（ポリゴンメッシュなど）、あるいは二次元形状（ポリゴンなど）であり得る。一般に、空域の分類は、限定されないが、ドローン飛行禁止区域（エリア、容積）、ドローンおよび／またはその他の航空運用のための空域の予約と通知、飛行場管制区域、空域管制区域、送電線およびその他の障害物、国境地帯、さまざまな高度の前述のすべて、警告／危険／制限区域、ＵＶＡ予約エリア、ＵＡＳ予約エリア、模型飛行機予約エリアを含むことができる。航空マップは、さまざまな壁、屋根、飛行レベルなどを備えた三次元ポリゴンメッシュを使用して視覚化することができ、それらはすべて、拡張現実ディスプレイ１１２に見られるように正しい場所にある。

図２２に示すように、外部データは、空中２１０の航空機２２００の位置を含む１１４の航空交通制御データを含むことができ、１つ以上の視覚化２２０２、２２０４は、空中２１０の航空機２２００の位置を示す。実施形態は、空中２１０のドローン１６０の位置から所定の距離内（例えば、半径３、５、または１０キロメートル以内など）を飛行する航空機２２００のさらなる視覚化２２０２、２２０４を示す。視覚化は航空機２２００の位置を示す矢印２２０２、２２０４により実装されてもよく、追加的にまたは代替的に、航空機２２００のシミュレーションが示されてもよい。

図２３、図２４、図２５、図２６および図２７は、異なる視認性の間のドローン１６０への視線を視覚化する実施形態を示す。

図２３の実施形態では、装置１００は、視界が良好なとき、人間のオペレータ１２０が空中２１０のドローン１６０の方を見ている２０４間、のドローン１６０の飛行に関するデータを、視覚の視線で（with a visual line of sight）拡張現実ディスプレイ１１２上に重畳させる。これは、理想的な飛行状況である。

図２４に示す実施形態では、装置１００は、視界が低下したとき、人間のオペレータ１２０が空中２１０のドローン１６０を見ている２０４間、ドローン１６０の飛行に関するデータを拡張された視線で、拡張現実ディスプレイ１１２上に重畳させる。拡張された視線は、人間のオペレータ１２０がターゲットシンボル２００の正しい方向を見るように誘導することによって達成され得る。任意選択で、シミュレートされたドローン１６０が正しい位置に示され得る。視界の低下は、低照度条件、雲、霧、スモッグ、雨、降雪、またはその他の物理現象によって生じ得る。

図２５の実施形態では、装置１００は、視界が遮られたときに、人間のオペレータ１２０が空中２１０のドローン１６０を見ている２０４間、ドローン１６０へ拡張され、かつ、シミュレートされた視線で、飛行に関するデータを、拡張現実ディスプレイ１１２上に重畳させる。視界の遮蔽は、障害物２５０２によって引き起こされる可能性があり、すなわち、ドローン１６０が障害物２５０２の陰にある場合である。障害物２５０２は、図１０および図１１の現実の物体１００４であり得、すなわち、障害物２５０２は、建物、橋などの人工物であってもよく、または丘、森林などの自然物であってもよい。拡張は、人間のオペレータ１２０をターゲットシンボル２００で正しい方向を見るように誘導することによって達成され、シミュレートされたドローン１６０を正しい位置に示すことによって達成される。

実施形態では、装置１００は、人間のオペレータ１２０が、長距離視界であるときに、人間のオペレータ１２０が空中２１０のドローン１６０の方を見ている２０４間、ドローンへの拡張された視線で、飛行に関するデータを拡張現実ディスプレイ１１２上に重畳させる。これはいかなる図面にも示されていないが、基本的に、ドローン１６０は、例えば空の上、または地平線近くにあり、人間のオペレータ１２０は、ターゲットシンボル２００で正しい方向を見るように誘導され、それによって、人間のオペレータ１２０は、ドローン１６０を遠くにある小さな物体としてしか見ることができない。

図２６および図２７に示す実施形態では、装置１００は、人間のオペレータ１２０が空中２１０のドローン１６０の方を見ている２０４間、視線２６０２が遮られないように、拡張現実ディスプレイ１１２上で飛行に関するデータの表示２６００を調整する２７００。図２６に示すように、人間のオペレータ１２０は、自由な視線２６０２でドローン１６０の方を見る２０４。しかしながら、ドローンが降下しているとき２６０４、マップ２６００は最終的に視線２６０２を遮るであろう。図２７に示すように、ドローン１６０は現在比較的低空飛行しているが、マップ２６００の左への移動２７００により視線２６０２は自由なままである。

最後に、２つの装置１００、２８００を備えるシステムの実施形態を示す図２８および図２９を検討する。

第１の装置１００は、第１の人間のオペレータ１２０がリモートコントローラ１５０を用いて２１０、ドローン１６０を空中で飛行させる支援に使用される。

空中２１０のドローン１６０の位置に関する第１の人間のオペレータ１２０の第１の地理的位置２８１４は、第１のターゲットシンボル２００および第１の方位シンボル２０２を含む飛行に関するデータを、第１の装置１００の第１の拡張現実ディスプレイ１１２に重畳してレンダリングするため、第１の視点の調整に使用される。

図２８に示すように、第２の装置２８００は、空中２１０のドローン１６０の飛行に関して第２の人間のオペレータ２８０２に情報を与えるために使用される。

空中２１０のドローン１６０の位置に関する第２の人間のオペレータ２８０２の第２の地理的位置２８０４は、第２のターゲットシンボル２８０６および第２の方位シンボル２８０８を含む飛行に関するデータを、第２の装置２８００の第２の拡張現実ディスプレイ２８１０に重畳してレンダリングするため、第２の視点の調整に使用される。

このようにして、第２の人間のオペレータ２８０２は、少なくとも、空中２１０のドローン１６０の飛行を観察２８１２することができる。これは、例えば、単に楽しみのために、教育目的のために、飛行免許の試験に合格するために、監視のために、行方不明者の追跡のために、あるいは第１の人間のオペレータ１２０を支援するために、有用であり得る。上述したように、オペレータ１２０、２８０２の一方または両方には、ドローン１６０に搭載された１つ以上のセンサ１４０２を使用してリアルタイムで捕捉されたデータに基づいて、１つ以上の視覚要素が提供されてもよい。

図２９に示す実施形態では、第２の装置２８００は、ドローン１６０に搭載された１つ以上のセンサ１４０２の制御２９０２に関して第２の人間のオペレータ２８０２の支援に使用され、一方、第１の人間のオペレータ１２０は、ドローン１６０の飛行方向２９０８および速度を制御する。

例えば、センサ１４０２が前述した画像センサである場合、第２の人間のオペレータ２８０２の第２の地理的位置２８０４は、第２の装置２８００の第２の拡張現実ディスプレイ２８１０に重畳される、飛行に関するデータをレンダリングする第２の視点を調整するために使用される。飛行に関するデータは、ドローン１６０に搭載された１つ以上のビデオカメラ２９００からリアルタイムで捕捉された１つ以上のビデオフィードも含む。図２９に示すように、１つ以上のビデオフィード２９０４が第２の拡張現実ディスプレイ２８１０上に重畳される。

図２９の使用例は、両方のオペレータ１２０、２８０２が拡張現実ディスプレイ１１２、２８１０上で同じ情報を示され得、また、両方ともリモートコントローラ１５０、２９０６を有するため、飛行に対する責任は、オペレータ１２０、２８０２の間で飛行中にシームレスに転嫁し得ることに留意されたい。これは、訓練セッション中または長い任務中に特に役立つ可能性がある。特に危険なまたは制限された空域では、認可されたパイロット２８０２がドローン１６０を安全に操縦し、その後、（元の）オペレータ１２０がドローン１６０の制御を取り戻すことも想定される。

図２８および図２９に示す、第２の人間のオペレータ２８０２が、ドローン１６０および第１の人間のオペレータ１２０の近くに物理的に存在するシナリオは限定されないことに留意されたい。前述したように、外部データ通信インタフェース１１０は、飛行に関するデータを外部受信機１１６に通信することができる。受信機１１６は、クライアントサーバアーキテクチャ、クラウドコンピューティングアーキテクチャ、ピアツーピアシステム、または別の適用可能な分散コンピューティングアーキテクチャに従って、第１の装置１００および第２の装置２８００と相互運用する、ネットワーク化されたコンピュータサーバであってもよい。このようにして、第２の人間のオペレータ１２０は、たとえ別の都市、国、または大陸にいても遠く離れていても、依然として上述したように観察したり支援したりすることができる。当然のことながら、特に、例えば遠隔の第２の人間のオペレータ２８０２が１つ以上のセンサ１４０２を制御２９０２している場合、データ送信遅延を最小限に抑えて考慮する必要がある。

最後に、図３１、図３２および図３３を参照して、ワールドマーカに関する実施形態を検討する。

まず、装置１００は、ドローン１６０に関する地理的位置を取得する。次に、装置１００は、取得した地理的位置上にワールドマーカを設定する。ワールドマーカは、人間のオペレータ１２０によって実行されるユーザインタフェース操作によって設定されてもよいし、ワールドマーカは、装置１００によって自動的に（例えば、所定の条件が満たされた場合に）設定されてもよいし、あるいは装置１００が人間のオペレータ１２０にユーザインタフェース内のワールドマーカの設定を示唆して（また、人間のオペレータ１２０は、ワールドマーカを確認またはキャンセルすることができる）半自動的に設定されてもよい。このようにして、ワールドマーカはドローン１６０と地理的位置を相互に結び付ける。この結合はいくつかの異なる方法で行うことができる。図５を参照して前に説明したように、スポットは、現実世界座標５０２と拡張現実システム座標５０４の両方で知られうる。「ワールドマーカ」に関して参照される「地理的位置」は、現実世界座標５０２を指す場合があるが、場合によっては、それは拡張現実システム座標５０４を指す場合もある。違いは、現実世界座標５０２は（マップシステム内で、ＧＰＳまたは別の全地球航法衛星システム、または別の測位技術によって提供される）正確な位置を定義するのに対し、拡張現実システム座標５０４は、拡張現実内（現実世界に存在し拡張現実内でモデル化された建物または別の人工構造物内など）内の正確な位置を定義する。実際、先に説明したように座標系５０２、５０４が一緒にロックされている場合、ワールドマーカは両方の座標系５０２、５０４で定義される。

しかしながら、建物内で飛行する場合のように、ＧＮＳＳ測位が利用できない場合でも、拡張現実システム座標系５０４とドローン座標系５０６との間のロック関係が形成され得、ドローン１６０の位置決めおよび方向付けは、世界の拡張現実モデルで実行される。既知のモデルがドローン１６０の飛行環境内の物理的構造物に利用できる場合、構造物全体の実世界座標系５０２で表される位置を拡張現実座標系５０４にマッピングすることができる。したがって、ＧＮＳＳ無しでも、実世界座標系５０２におけるドローン１６０の位置は既知である。当然のことながら、屋内位置情報が利用可能な場合、それを融合して、ドローン１６０の位置および方位、および拡張現実座標系５０４におけるそのマッピングの精度をさらに向上させることができる。

図３１に示す実施形態では、ドローン１６０に関する地理的位置は、ドローン１６０の地理的位置である。これは、ドローン１６０の地理的位置３１００およびワールドマーカを決定することによって、ドローン１６０に関する地理的位置が取得されるように実装され得る。取得した地理的位置３１００は、ドローン１６０の地理的位置（緯度経度座標、地上の標高／海抜）上にワールドマーカ３１０２を設定することにより設定される。図３１に示すように、人間のオペレータ１２０は、装置１００を通じて現実世界の飛行環境２１０においてドローン１６０を観察し（２０４）、ドローン１６０の地理的位置３１００上にワールドマーカ３１０２を設定する。人間のオペレータ１２０は、拡張現実環境の使用による支援によって、（リモートコントローラ１５０によって制御される拡張現実環境１１２において）人間のオペレータ１２０によって実行されるユーザインタフェース操作によって引き起こされる、拡張現実ディスプレイ１１２上のワールドマーカ３１０２の設定を実際に見る。

ワールドマーカ３１０２は、ポール、または現実世界の物体（公園のベンチなど）をモデル化する別のシンボルなど、さまざまなグラフィック形状をとり得ることに留意されたい。人間のオペレータ１２０は、ワールドマーカ３１０２に関してコメント（「行方不明者のリュックサック」）または何らかの所定のテキストラベルを追加することができる。ドローン１６０は、ワールドマーカ３１０２の周囲のエリアから搭載されたセンサ１４０２を用いて画像データを捕捉し、ワールドマーカ３１０２を参照することによって画像データを後で見ることができるように、ワールドマーカ３１０２に結合してもよい。

図３２に示す実施形態でも、装置１００は、拡張現実ディスプレイ１１２上に、ワールドマーカ３１０２の地理的位置３１０６を示すマップ２６００を重畳させる。さらに、マップ２６００は、人間のオペレータ１２０の地理的位置３１０４も示し得る。さらに、マップ３６００は、ワールドマーカ３１０２の地理的位置３１０６の上空を飛行するドローン３１０８を示すこともできる。このようにして、オペレータ１２０は、現実世界２１０をマップ２６００と比較し、ドローン１６０の下の位置を関心のある地点として特定することができる。

図１に示される実施形態では、図３２に示すように、ドローン１６０に関する地理的位置は、ドローン１６０自体によって捕捉された画像データから取得される。これは、ドローン１６０に関する地理的位置が、以下によって取得されるように実装され得る。ドローン１６０に搭載された１つ以上のセンサ１４０２から画像データを取得し、画像データに示される位置をマークする人間のオペレータ１２０からユーザインタフェース選択３２０４を受信し、画像データに示される位置の現実世界の地理的位置３２００を決定する。さらに、現実世界の地理的位置３２００上にワールドマーカ３２０２を設定することにより、取得した地理的位置上のワールドマーカが設定される。図３２に示すように、人間のオペレータ１２０は、搭載されるビデオカメラ１４０２によって取得したビデオフィード２９０４を観察し、位置３２０４をマークする。しかしながら、前に説明したように、１つ以上のセンサ１４０２は、ビデオカメラに加えて、またはビデオカメラの代わりに、たとえば、写真カメラ、熱（または赤外線）カメラ、マルチスペクトルカメラ、ハイパースペクトルカメラ、コロナ放電カメラなどの（通常の）可視光カメラの１つ以上を備えてもよい。これらはすべて、画像データの形式で計測データを生成し得る。さらに、また、前に説明したように、ドローン１６０に搭載された１つ以上のセンサ１４０２は、限定されないが、以下の技術のうちの１つ以上を含むことができる。ライダー（光検出および測距、またはレーザー画像化、検出、および測距または３Ｄスキャン）センサ、ソナー（音声ナビゲーションおよび測距）センサ、レーダ（無線検出および測距）センサ、化学センサ、生物学的センサ、放射線センサ、粒子センサ、磁気センサ、ネットワーク信号強度センサ。これらすべては、さまざまな種類のデータを測定し、画像データとして視覚化できる。このようにして、人間のオペレータ１２０は、ドローン１６０からのビデオ２９０４内の位置３２０４をポイントすることによって世界位置をマークし、その後、既知のドローン１６０の位置および高さ、既知のドローン１６０の進行方向、既知のカメラ１４０２の視線方向、および示された位置における既知の地上高に基づいて、ビデオフレーム内のこの点を世界位置に外挿することができる。この実施形態は、緊急サービス、監視活動、または別の応用分野で使用するために、ドローン１６０のビデオビュー内で可能性のある人物を正確に特定し、その人物の緯度および経度を取得するために使用することができる。

図３３に示す実施形態では、ドローン１６０に関する地理的位置は、ドローン１６０に搭載された１つ以上のセンサ１４０２からのビューとして指定される。これは、ドローン１６０に関する地理的位置が、ドローン１６０に搭載された１つ以上のセンサ１４０２から画像データを取得すること、および、ドローン１６０の地理的位置および高度、１つ以上のセンサ１４０２の測定方向、および１つ以上のセンサ１４０２の視錐台３３０４に基づいて画像データ内のビュー３３１０を定義することによって取得されるように実装され得る。視錐台３３０４は、図１４に示されるように切り取られたピラミッドによって形成され得、３Ｄコンピュータグラフィックスでは、画面上に表示される３次元領域を定義する。ピラミッドは、カメラ１４０２の（通常は円錐形の）視覚の適応である。取得した地理的位置上のワールドマーカは、ビュー３３１０をワールドマーカとして設定することによって設定される。さらに、ドローン１６０の地理的位置から広がるビュー３３１０としてワールドマーカを示すマップ２６００は、拡張現実ディスプレイ１１２に重畳される。この実施形態を使用して、ドローン１６０からの（画像フィード２９０４によってキャプチャされた）画像フィード２９０４のビュー３３１０をマップ２６００に重ね合わせて、特定の特徴、例えば、人がマップ２６００に示されるどこにいるかをよりよく理解することができる。このように、人３３００および人３３００の現実世界の位置３３０２を推定することができる。図３３は、拡張現実ディスプレイ１１２上に示される人物３３０６を含む画像フィード２９０４も示す。人間のオペレータ１２０は、拡張現実ディスプレイ１１２内でドローン１６０を観察し、同時に拡張現実ディスプレイ１１２上の画像フィード２９０４およびマップ２６００のうちの少なくとも１つを観察することができる。

実施形態では、装置１００は、先に説明した外部データ通信インタフェース１１０を使用して、ワールドマーカに関するデータを外部受信機１１６と通信する。装置１００は、外部データ通信インタフェース１１０を使用して、ワールドに関するデータを送信させる。マーカ３１０２、３２０２、３３１２を、緊急要員、監視要員、オペレーションセンターなどの外部受信機１１６に送信する。

本発明を添付図面に従って１つ以上の実施形態を参照して説明したが、本発明がそれに限定されず、添付の特許請求の範囲内でいくつかの方法で修正できることは明らかである。すべての単語および表現は広く解釈されるべきであり、実施形態を限定するものではなく、例示することを意図している。技術の進歩に伴い、本発明の概念が様々な方法で実現できることが当業者には明らかであろう。

Claims (15)

1. リモートコントローラ（１５０）を用いてドローン（１６０）を飛行させる人間のオペレータ（１２０）を支援する装置（１００）であって、
   前記リモートコントローラ（１５０）から飛行に関するデータを受信する内部データ通信インタフェース（１０８）と、
   前記人間のオペレータ（１２０）に、前記飛行に関するデータを表示する拡張現実ディスプレイ（１１２）と、
   コンピュータプログラムコード（１０６）を含む１つ以上のメモリ（１０４）と、
   前記コンピュータプログラムコード（１０６）を実行し、前記装置（１００）に、少なくとも、前記人間のオペレータ（１２０）が前記ドローン（１６０）の方を見ている（２０４）間、前記ドローン（１６０）の位置を示すターゲットシンボル（２００）を前記拡張現実ディスプレイ（１１２）上に重畳させ、前記人間のオペレータ（１２０）が前記ドローン（１６０）の方を見ている（２０４）間、前記ドローン（１６０）の方向を示す方位シンボル（２０２）を前記拡張現実ディスプレイ（１１２）上に重畳させ、前記ドローン（１６０）に関する地理的位置を取得し、取得した地理的位置にワールドマーカを設定する、１つ以上のプロセッサ（１０２）と、
   を備える装置。
2. 前記ドローン（１６０）に関する地理的位置の取得は、前記ドローン（１６０）の地理的位置（３１００）の決定を含み、
   前記取得した地理的位置（３１００）への前記ワールドマーカの設定は、前記ドローン（１６０）の地理的位置にワールドマーカ（３１０２）を設定することを含む、
   請求項１に記載の装置。
3. 前記ドローン（１６０）に関する前記地理的位置の取得は、
   前記ドローン（１６０）に搭載された１つ以上のセンサ（１４０２）から画像データの取得、
   前記画像データに示される位置をマークする前記人間のオペレータ（１２０）からのユーザインタフェース選択（３２０４）の受信、および、
   前記画像データに示される前記位置の現実世界の地理的位置（３２００）を決定を含み、
   前記取得した前記地理的位置へのワールドマーカ（３２０２）の設定は、現実世界の地理的位置にワールドマーカを設定すること（３２００）を含む、
   請求項１に記載の装置。
4. 前記ドローン（１６０）に関する地理的位置の取得は、前記ドローン（１６０）に搭載された１つ以上のセンサ（１４０２）からの画像データの取得すること、および、前記ドローン（１６０）の地理的位置および高度と、前記１つ以上のセンサ（１４０２）の測定方向と、前記１つ以上のセンサ（１４０２）の視錐台（３３０４）とに基づいて、前記画像データにビュー（３３１０）を定義することを含み、
   前記取得した地理的位置へのワールドマーカの設定は、前記ビュー（３３１０）をワールドマーカとして設定することを含み、
   前記拡張現実ディスプレイ（１１２）上に、前記ドローン（１６０）の地理的位置から広がるビュー（３３１０）として前記ワールドマーカを示すマップ（２６００）を重ね合わせる、
   請求項１に記載の装置。
5. 前記拡張現実ディスプレイ（１１２）上に、前記ワールドマーカ（３１０２）の前記地理的位置（３１０６）を示すマップ（２６００）を重ね合わせる、
   請求項１から４のいずれか１に記載の装置。
6. 前記マップ（２６００）は、前記人間のオペレータ（１２０）の地理的位置（３１０４）も示す、
   請求項５に記載の装置。
7. 前記外部データ通信インタフェース（１１０）は、前記ドローン（１６０）の飛行に関するデータを送信し、
   前記外部データ通信インタフェース（１１０）を使用して、ワールドマーカ（３１０２、３２０２、３３１２）に関するデータを外部受信機（１１６）に送信する
   請求項１から６のいずれか１に記載の装置。
8. 世界座標系（５０２）における地上（５００）の前記ドローン（１６０）の位置の取得と、
   前記装置（１００）の拡張現実座標系（５０４）における地上（５００）の前記ドローン（１６０）の位置の取得と、
   前記拡張現実座標系（５０４）における前記ドローン（１６０）の位置と世界座標系（５０２）におけるドローン（１６０）の位置とのロックと、
   前記地上（５００）のドローン（１６０）の進行方向４００）の取得と、
   前記進行方向（４００）を、前記装置（１００）の前記拡張現実座標系（５０４）における校正方位シンボルの方向とする設定と、
   を実行する請求項１から７のいずれか１に記載の装置。
9. 人間のオペレータ（１２０）が空中（２１０）の前記ドローン（１６０）の方を見ている（２０４）間、拡張現実ディスプレイ（１１２）上に、地上（５００）上のドローン（１６０）の地理的位置まで水平に延び、そこから間接視線ガイドライン（８０２）が空中（２１０）のドローン（１６０）の巡航高度でターゲットシンボル（２００）まで垂直に伸びる間接視線ガイドライン（８００）を重畳させる
   請求項１から８のいずれか１に記載の装置。
10. 前記人間のオペレータ（１２０）の地理的位置（１３０２）、前記ドローン（１６０）の地理的位置（１３０４）、および、中間地点（waypoint）（１３０６）を示すマップ（１３００）を、前記拡張現実ディスプレイ（１１２）上に重畳し
    前記人間のオペレータ（１２０）が空中（２１０）の前記ドローン（１６０）の方を見ている（２０４）間、地上（５００）の前記中間地点（１３０６）の地理的位置から開始し、前記中間地点（１３０６）の所定高度に延長する垂直中間地点シンボル（１３０８）を、前記拡張現実ディスプレイ（１１２）上に重畳する、
    請求項１から９のいずれか１に記載の装置。
11. 前記人間のオペレータ（１２０）が空中（２１０）の前記ドローン（１６０）の方を見ている（２０４）間、前記ターゲットシンボル（２００）の近傍で前記ドローン（１６０）に搭載された１つ以上のセンサ（１４０２）を使用してリアルタイムで捕捉されたデータに基づく１つ以上の視覚要素（１４００）を、前記拡張現実ディスプレイ（１１２）上に重畳し、
    前記人間のオペレータ（１２０）が前記空中（２１０）の前記ドローン（１６０）の方を見ている（２０４）間、視線が遮られないように、前記１つ以上の視覚要素（１４００）を、前記拡張現実ディスプレイ（１１２）に配置する、
    請求項１から１０のいずれか１に記載の装置。
12. 前記人間のオペレータ（１２０）が空中（２１０）の前記ドローン（１６０）の方を見ている（２０４）間、前記人間のオペレータ（１２０）の地理的位置（１６０２）および前記ターゲットシンボル（２００）の近傍の前記ドローン（１６０）の地理的位置（１６０４）を示す垂直レイアウトのマップ（１６００）を、前記拡張現実ディスプレイ（１１２）上に重畳し、
    または、
    前記人間のオペレータ（１２０）が前記空中（２１０）の前記ドローン（１６０）の方を見ている（２０４）間、前記人間のオペレータ（１１２）の地理的位置（１７０２）と前記ドローン（１７０６）の地理的位置（１７０４）を示す水平レイアウトのマップ（１７００）を、前記拡張現実ディスプレイ（１１２）上に重畳する、
    請求項１から１１のいずれか１に記載の装置。
13. 人間のオペレータ（１２０）が空中（２１０）のドローン（１６０）の方を見ている（２０４）間、
    視界が良好なとき、前記ドローン（１６０）への視界の視線（２３００）で、
    視界が低下したとき、前記ドローン（１６０）への拡張された視線（２４００）で、
    視界が遮られているとき、前記ドローン（１６０）への拡張およびシミュレートされた視線で、または、
    長距離の視認性が確保されているとき、前記ドローン（１６０）への拡張された視線で、
    飛行に関するデータを、拡張現実ディスプレイ（１１２）上に重畳させる、
    請求項１から１２のいずれか１に記載の装置。
14. リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する方法であって、
    前記リモートコントローラから、前記飛行に関するデータを受信し（３００２）、
    前記人間のオペレータへの前記飛行に関する前記データを、拡張現実ディスプレイ上に表示し（３００４）、
    前記人間のオペレータが前記ドローンの方を見ている間、前記ドローンの位置を示すターゲットシンボルを前記拡張現実ディスプレイ上で重畳し（３００６）、
    前記人間のオペレータが前記ドローンの方を見ている間、前記ドローンの方向を示す方位シンボルを前記拡張現実ディスプレイ上に重畳し（３００８）、
    前記ドローン（１６０）に関する地理的位置を取得し、
    取得した地理的位置にワールドマーカを設定する、
    方法。
15. １つ以上のプロセッサ（１０２）に実行させることで、リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する方法を実現する、コンピュータプログラムコード（１０６）を含むコンピュータ可読媒体（１７０）であって、
    前記方法は、
    前記リモートコントローラから、前記飛行に関するデータの受信（３００２）と、
    前記人間のオペレータへの前記飛行に関する前記データの、拡張現実ディスプレイ上への表示（３００４）と、
    前記人間のオペレータが前記ドローンの方を見ている間、前記ドローンの位置を示すターゲットシンボルの前記拡張現実ディスプレイ上での重畳（３００６）と、
    前記人間のオペレータが前記ドローンの方を見ている間、前記ドローンの方向を示す方位シンボルの前記拡張現実ディスプレイ上での重畳（３００８）と、
    前記ドローン（１６０）に関する地理的位置の取得と
    取得した地理的位置にワールドマーカを設定とを含む、
    コンピュータ可読媒体。

Images