JP2011502068A - 無人ビークル制御ステーション - Google Patents

無人ビークル制御ステーション Download PDF

Info

Publication number
JP2011502068A
JP2011502068A JP2010531097A JP2010531097A JP2011502068A JP 2011502068 A JP2011502068 A JP 2011502068A JP 2010531097 A JP2010531097 A JP 2010531097A JP 2010531097 A JP2010531097 A JP 2010531097A JP 2011502068 A JP2011502068 A JP 2011502068A
Authority
JP
Japan
Prior art keywords
display
head
unmanned vehicle
function
control station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010531097A
Other languages
English (en)
Inventor
ジー カバルキン,ダリン
ジー フプキ,アラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Publication of JP2011502068A publication Critical patent/JP2011502068A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ある実施形態によれば、制御ステーションは単一位置から見ることのできるヘッド・ダウン・ディスプレイおよび少なくとも一つのヘッド・アップ・ディスプレイを含む。ヘッド・ダウン・ディスプレイは無人ビークルを制御するよう動作可能な無人ビークル制御システムに結合されている。少なくとも一つのヘッド・アップ・ディスプレイはヘッド・ダウン・ディスプレイに隣接し、無人ビークルを取り巻く環境の合成画像を表示するよう動作可能である。合成画像は地形レンダリング・エンジンによって生成されるレンダリング画像を含む。

Description

本開示は無人ビークル・システムに、より詳細には無人ビークル制御ステーションおよびその使用方法に関する。
無人ビークル(unmanned vehicle)とは、一般に、乗り込むパイロットや運転者なしで動作する型のビークルをいう。無人ビークルの制御は、典型的には、無線の(wireless)電波周波数(RF: radiofrequency)通信リンクを使って一つまたは複数の無人ビークルと通信する無人ビークル通信システムによって与えられる。さまざまな目的のためにさまざまな型の無人ビークルが設計されており、たとえば、空中を進む航空機、地上を進む陸上車および水面上を進むボートを含みうる。
本願発明は、従来技術の問題点を解決しようとするものである。
ある実施形態によれば、制御ステーションは、単一位置から見られうるヘッド・ダウン・ディスプレイおよび少なくとも一つのヘッド・アップ・ディスプレイを含む。前記ヘッド・ダウン・ディスプレイは、無人ビークルを制御するよう動作可能な無人ビークル制御システムに結合される。前記少なくとも一つのヘッド・アップ・ディスプレイは前記ヘッド・ダウン・ディスプレイに隣接し(adjacent)、無人ビークルの環境の合成画像を表示するよう動作可能である。合成画像(composite image)は、地形レンダリング・エンジン(terrain rendering engine)によって生成されるレンダリングされた画像を含む。
本発明のいくつかの実施形態は、数多くの技術的利点を提供しうる。ある実施形態の技術的利点は、無人ビークルの環境の合成画像の専用表示によって提供される改善された人間工学的機能性でありうる。無人ビークルの操作は、無人ビークルの環境の合成画像中における地理空間関係情報を認識し、この情報に応じて無人ビークルの適切な制御を提供することを伴いうる。しかしながら、既知の無人ビークル制御ステーションは、典型的には、この情報を、二次元地図、ビデオ画像、ペイロード表示および航行上のインジケータといった代わる代わる見られる複数の画像において呈示する。これらの画像の代わる代わるの閲覧は、各画像によって与えられる情報を頭の中で統合する必要のため、わずらわしいものでありうる。本発明の無人ビークル制御ステーションは、合成画像とヘッド・ダウン・ディスプレイとの間の切り換えの必要性を、ユーザーに対してそれらの合成画像の専用のビューのための別個のヘッド・アップ・ディスプレイを提供することによって、軽減する。
上記では個別的な利点が開示されたが、さまざまな実施形態は開示された利点の全部を含むこともありうるし、一部を含むこともありうるし、全く含まないこともありうることは理解されるであろう。さらに、付属の図面および関連する詳細な説明を吟味すれば、具体的に述べられていない他の技術的利点が当業者には明白となりうる。
本開示の諸実施形態のより完全な理解は、付属の図面との関連で理解される詳細な説明から明白となるであろう。
無人ビークル制御ステーションのある実施形態が実装されうる無人ビークル・システムを示す図である。 図1の無人ビークル制御ステーションの物理的なレイアウトの斜視図である。 図2の物理的なレイアウトの上面図である。 図1のヘッド・アップ・ディスプレイによって示されうる、例示的な合成画像および一つまたは複数のスーパーインポーズされてオーバーレイされた画像を示す図である。 図1の無人ビークル制御ステーションのユーザーによって実行されうる一連の操作を示すフローチャートである。
無人ビークルの制御は、無線通信リンクを使って無人ビークルと通信する無人ビークル制御ステーションによって容易にされうる。さまざまな型の無人ビークルの標準化を促進するために、いくつかの無人ビークル・メッセージ交換プロトコルが確立されてきた。無人システム用統合アーキテクチャ(JAUS: Joint Architecture for Unmanned Systems)は、米国国防省により無人ビークルとの使用のために実装されてきた一つの個別的なメッセージ交換プロトコルである。標準化協定(STANAG: STANdardization AGreement)4586プロトコルは、無人ビークルとの使用のために実装されてきたもう一つのメッセージ交換プロトコルである。対応するメッセージ交換プロトコルを定義する標準化協定4586仕様は北大西洋条約機構(NATO: North Atlantic Treaty Organization)の加盟国によって各加盟国間で無人ビークルの相互運用性を促進するために書かれている。
上記のようなメッセージ交換プロトコルを使う既知の無人ビークル制御ステーションは、ユーザーと対話し無人ビークルの動作特性のさまざまな側面を表示するためのユーザー・インターフェースをもつコンピューティング・システムを組み込む。しかしながら、現代の無人ビークルの一般に洗練された性質は、無人ビークルの制御をそのミッションを通じて実施するために比較的多数の動作特性を利用することがあり、それは二人以上のユーザーを必要としうる。
図1は、本開示の教示から裨益しうる無人ビークル・システム10の一つの実施形態を示している。無人ビークル・システム10は、ビークル制御ネットワーク16および無線リンク18を通じて無人ビークル14と通信する無人ビークル制御ステーション12を含む。ある実施形態では、無人ビークル・システム10は、標準化協定4586準拠のシステムに、標準化協定4586メッセージ交換プロトコルを使う無人ビークル制御ステーション12からのメッセージを無人ビークル14との通信のために好適なメッセージ交換プロトコルに翻訳するためのビークル固有モジュール20を組み込んだものである。
無人ビークル制御ステーション12は、無人ビークル14の環境の、一つまたは複数の合成画像の表示のための少なくとも一つのヘッド・アップ・ディスプレイ24と、無人ビークル14のさまざまな動作特性の表示のためのヘッド・ダウン・ディスプレイ28とを有しうる。ヘッド・アップ・ディスプレイ24およびヘッド・ダウン・ディスプレイ28は、陰極線管(CRT: cathode ray tube)または液晶ディスプレイ(LCD: liquid crystal display)のようないかなる好適なディスプレイ装置であってもよい。本開示の教示によれば、ヘッド・アップ・ディスプレイ24は、ヘッド・ダウン・ディスプレイ28が構成されるのとは異なるディスプレイ装置上に構成されうる。このようにして、ヘッド・アップ・ディスプレイ24は、ユーザーのために一つまたは複数の合成画像の専用ビューを提供する。
ヘッド・ダウン・ディスプレイ28および別個のヘッド・アップ・ディスプレイ24を組み込むある種の実施形態は、無人ビークルの環境の合成画像および無人ビークル14を制御するために使われる動作特性について同時ビューが提供されうるという点で、既知の無人ビークル制御ステーションに対して人間工学的な利点を提供しうる。既知の無人ビークル制御ステーションは典型的には、動作特性とビデオ画像26のような他の画像との表示のための択一的に選択可能な画面を使う。しかしながら、この動作様式は、ユーザーがビデオ画像26、他の地理空間関係情報および動作特性を無人ビークル14の動作中に同時に閲覧したい状況にとってはわずらわしいことがありうる。ユーザーは、また、無人ビークル14の動作中に生じうるさまざまな一過性の状況に応答して所望の画面ビューを手動で選択する必要のため、迅速に反応することを制限されることがありうる。
無人ビークル制御ステーション12は、無人ビークル14との間でメッセージを送受信し、ヘッド・ダウン・ディスプレイ28によって表示される表示情報を生成するよう構成されたビークル制御システム32を含む。ビークル制御システム32は、メモリに記憶されたコンピュータ命令を実行するプロセッサを用いて実装されてもよい。ある実施形態では、無人ビークル制御ステーション12は無人ビークル14を制御するおよび/または無人ビークル14に情報を要求するための一つまたは複数のユーザー入力装置34を組み込みうる。ユーザー入力装置34は、キーボード、ポインティング・デバイス、マウスおよび/または一つまたは複数のジョイスティックのようなビークル制御システム32に情報を入力するためのいかなる好適な装置であってもよい。
ヘッド・ダウン・ディスプレイ28は、無人ビークル14の動作に関連するさまざまな動作特性(operating characteristics)を表示するよう構成されうる。ある実施形態では、動作特性は、無人ビークルの動作を制御するためのいくつかの対話的に制御可能なボタンもしくはノブおよび/または無人ビークル14のさまざまな動作条件を表示するためのいくつかの表示フィールドを有するグラフィカル・ユーザー・インターフェース(GUI: graphical user interface)によって与えられてもよい。たとえば、無人航空機(UAV: unmanned aerial vehicle)のような特定の無人ビークル14は、風速、エンジン・スピード、高度、環境温度、環境気圧または無人ビークル14周辺の他の気象関係条件といったさまざまな動作条件を経験しうる。ヘッド・ダウン・ディスプレイ28はまた、ビークル制御ネットワーク16、ビークル固有モジュール20および/または無線リンク18のような通信リンクの諸構成要素の条件に関する情報をも表示しうる。
無人ビークル制御ステーション12は、無人ビークルの環境の合成画像を表示するヘッド・アップ・ディスプレイ処理システム34を含みうる。ある実施形態では、ヘッド・アップ・ディスプレイ処理システム34は、ジオード(geode)およびデジタル高度および地形データ(DETD: digital elevation and terrain data)から合成画像をレンダリングする地形レンダリング・エンジンを含みうる。ヘッド・アップ・ディスプレイ処理システム34は、メモリ内に記憶されたコンピュータ命令を実行するプロセッサを用いて実装された、いかなる好適な型のコンピューティング・システムであってもよい。ある実施形態では、ヘッド・アップ・ディスプレイ処理システム34は、無人ビークル制御ステーション12内に構成された複数のヘッド・アップ・ディスプレイ24に対応するいくつかのコンピューティング・システムを含んでいてもよい。複数のヘッド・アップ・ディスプレイ24は、ヘッド・アップ・ディスプレイ処理システム34によって生成される複数の合成画像の専用ビューを可能にしうる。のちにより詳細に述べるように、ヘッド・アップ・ディスプレイ処理システム34はまた、ヘッド・アップ・ディスプレイ24上に形成された合成画像上にオーバーレイ画像をスーパーインポーズするよう動作可能であってもよい。
ある実施形態では、無人ビークル制御ステーション12は、通信ネットワーク38に結合された通信システム36を含みうる。通信システム36は、メモリ内に記憶されているコンピュータ命令を実行するプロセッサを用いて実装されてもよい。通信ネットワーク38は、ユーザー間の情報の通信のために好適ないかなる型のネットワークであってもよく、たとえば、インターネット、イントラネットまたは別のネットワーク内に構成された仮想閉域網(VPN: virtual private network)でありうる。通信システム36は通信ディスプレイ40に結合される。通信ディスプレイ40は、ユーザーが通信ディスプレイ40、少なくとも一つのヘッド・アップ・ディスプレイ24およびヘッド・ダウン・ディスプレイを単一の位置から見ることができるような仕方で配置される。通信システム36は、電子メールまたはインスタント・メッセージ(IM: instant messaging)サービスのようないかなる好適な通信サービスを提供するよう構成されていてもよい。ある特定の実施形態では、通信システム36は、共通運用図(COP: common operational picture)サービスを組み込んでいてもよい。共通運用図サービスとは、一般に、複数の遠隔位置のユーザーどうしの間で地理空間関係情報(geo-spatially related information)を通信するよう構成された型の地理情報システム(GIS: geographical information system)をいう。共通運用図サービスは一般に共通に閲覧可能な地図を提供する。その地図上の地理的に配向された位置に、さまざまなセンサーからのデータが、ユーザーによる閲覧のために、リアルタイムで表示される。
ある実施形態では、ビークル制御システム32およびその関連するビークル制御ネットワーク16は、通信システム36およびその関連する通信ネットワーク38とは分離されている。つまり、通信システム36は、ビークル制御システム32が実装されている別のコンピューティング・システムとは別個の特定のコンピューティング・システム上に実装されうる。このようにして、ビークル制御システム32は、ハッカーまたは無人ビークル制御システム10の信頼性を危殆化しうるウイルスのような他の型のマルウェアからの望まれない侵入によって引き起こされるセキュリティ破れから保護されうる。
図2は、無人ビークル・システム10と使うために実装されうる無人ビークル制御ステーション12の物理的なレイアウトの一つの実施例の斜視図である。この特定の実施形態では、5つの個別のディスプレイが、ユーザーが単一位置から同時閲覧するよう構成されている。これら5つのディスプレイのうち、3つのヘッド・アップ・ディスプレイ24は互いに隣接して横に隣り合わせの構成で配置されている。残り2つのディスプレイは、上記のようにさまざまな動作特性を表示するよう動作可能なヘッド・ダウン・ディスプレイ28と、ユーザーのためにさまざまな通信サービスを表示する通信ディスプレイ40とを含む。
本開示の教示によれば、ヘッド・アップ・ディスプレイ24、ヘッド・ダウン・ディスプレイ28および任意的な通信ディスプレイ40は、本質的に一つの位置からユーザーによって見えるよう構成されうる。すなわち、ユーザーは、ヘッド・アップ・ディスプレイ24、ヘッド・ダウン・ディスプレイ28および任意的な通信ディスプレイ40を、ある位置から別の位置へと有意な動きをすることなく閲覧できうる。図示した特定の実施例では、椅子44が、本質的に一つの位置から無人ビークル制御ステーション12を管理するために提供される。立っている位置からなど、ユーザー位置を与える他の構成が利用されうることは認識しておくべきである。この特定の実施例では、椅子44は、ヘッド・アップ・ディスプレイ24、ヘッド・ダウン・ディスプレイ28および任意的な通信ディスプレイ40を見ることを、椅子44から動いたり椅子44を異なる位置に有意に動かしたりすることなく許容しうる。
ユーザー入力装置34の一つの型であるジョイスティック34′が無人ビークル14の制御のために設けられてもよい。ある実施形態では、ジョイスティック34′は、無人ビークル14および/またはビークル制御システム32の一つまたは複数の対応する機能を作動させるよう構成されている一つまたは複数の制御ノブ46を有していてもよい。制御ノブ46は、無人ビークル14のさまざまな機能を制御するモーメンタリー・スイッチまたはトグル・スイッチのようなスイッチを含みうる。さまざまな機能とは、「6時をチェック」機能、「3時をチェック」機能、「9時をチェック」機能、プッシュトゥトーク(push-to-talk)機能、武器発射機能および/またはレーザー機能などである。「6時をチェック」、「9時をチェック9」および「3時をチェック」の用語は一般に、無人ビークル14のそれぞれ背後、左および右の画像を見る動作をいう。制御ノブ46はまた、さまざまな機能の比例制御のための回転ノブをも含みうる。そのさまざまな機能とは、エンジン・スロットル、カーソル・ポインタ、自動操縦中断(autopilot break)、一つまたは複数のマウス動き機能、ズーム機能、トラック成長(track grow)機能および無人ビークル14のさまざまな制御表面(control surfaces)などである。ある実施形態では、これらの制御ノブ46は、単一の特定の機能を作動させるまたは制御するために専用にされてもよい。
特定の機能の専用にされた制御ノブ46を組み込む具体的な実施形態は、さまざまな機能の制御が人間工学的に向上した仕方で提供されうるという点で利点を提供しうる。既知の無人ビークル制御ステーションは、グラフィカル・ユーザー・インターフェース(GUI)のプルダウン・メニューまたは複数の機能の制御を提供するさまざまな制御ノブを使って無人ビークル14および/またはビークル制御システム32のさまざまな機能の制御を提供する。しかしながら、この制御様式は、典型的には、規定された一連の行動を要求し、それはユーザーにとって面倒またはわずらわしいものでありうる。本開示の専用制御ノブ46は、さまざまな機能の制御をユーザーからの単一の作動を使って可能にすることにより、この問題を軽減しうる。
図3は、図2の無人ビークル制御ステーション12の物理的レイアウトの平面図である。図では、航空機のコクピット窓から見えるビューと同様の仕方で地理空間関係情報の閲覧を容易にするために、三つのヘッド・アップ・ディスプレイ24が互いに隣接して横に隣り合わせの配位で配置されている。二つの外側のヘッド・アップ・ディスプレイ24′は、中央のヘッド・アップ・ディスプレイ24″に対して角度をもって配されており、それにより三つのヘッド・アップ・ディスプレイは全体的に凹型の閲覧表面を形成する。ある実施形態では、これらのディスプレイ24に表示される合成画像は、無人ビークルの環境の比較的シームレスなビューを与えるよう、連続的に整列されていてもよい。このようにして、三つのヘッド・アップ・ディスプレイ24は無人ビークル14の環境のパノラマ・ビューを提供しうる。これは、既知の無人ビークル制御ステーションを使って利用可能であるよりも、無人ビークルの環境の向上したビューを提供しうる。
図4は、無人ビークル制御ステーション12のヘッド・アップ・ディスプレイ24の一つに表示されうる例示的な合成画像である。先述したように、ヘッド・アップ・ディスプレイ24は、無人ビークルの環境の合成画像を表示するよう動作可能でありうる。ある実施形態では、合成画像はいかなる好適な地形レンダリング・エンジンから導出される地理空間関係情報を含んでもよい。たとえば、合成画像は、デジタル高度および地形データ(DETD)にスーパーインポーズされる一つの特定のジオード(geode)から導出される三次元画像であってもよい。
ある実施形態では、ヘッド・アップ・ディスプレイ24は、合成画像上に一つまたは複数の地理空間的に配向されたオーバーレイ画像48を表示するよう動作可能であってもよい。このようにして、ヘッド・アップ・ディスプレイ24は、無人ビークルの動作に関連するオブジェクトおよびイベントの二次元画像および三次元画像をもって注釈付けされうる。オーバーレイ画像48は、地理空間関係情報を表現するいかなる型の画像であってもよい。
オーバーレイ画像48は、政治的境界線48a、デジタル高度および地形データ48b、無人ビークル48e、一つまたは複数の他の無人ビークル48dといった、三次元世界注釈であってもよい。他の実施形態では、三次元世界注釈は、悪天候条件に起因する脅威ボリューム、敵の武器システム、民間航空交通制御または他の空域制御機関によって課される空域境界、帰投可能範囲境界、無人ビークル14の計画されたまたは実際の航路、別の有人もしくは無人の航空・海上・地上もしくは水中ビークルの軌跡、地理空間的に参照されたミッション・タスク要求またはポップアップ情報ウィンドウであってもよい。
別の実施形態では、オーバーレイ画像48は、ビデオ・カメラ、赤外線カメラまたはレーダー・センサーによって生成される画像のような、地理空間的にレンダリングされた画像であってもよい。図示した特定の実施形態では、無人ビークル14からのビデオ画像26が合成画像上にスーパーインポーズされている。他の実施形態では、オーバーレイ画像48は、無人機14の位置、速度および/または向きのようなテキスト情報を含むヘッド・アップ注釈であってもよい。
オーバーレイ画像48はアイコン、ベクトル・グラフィック記号、写真または他の好適な視覚的指示機構として提供されてもよい。これらのオーバーレイ画像48は、ヘッド・アップ・ディスプレイ24上の適切な位置で合成画像上にスーパーインポーズされうるよう、ビークル制御システム32によって特定の位置において地理空間的に参照されていてもよい。
図5は、本開示の教示に基づく無人ビークル制御ステーション12を使うために実行されうる一連の行動の一つの実施形態を示している。工程100において、プロセスが開始される。プロセスは、ヘッド・アップ・ディスプレイ34、ビークル制御システム32および通信システム36を初期化し、無人ビークル制御システム32と無人ビークル14との間の通信を確立し、無人ビークル14をミッションに向けて発する(launching)ことによって開始されてもよい。
工程102では、ユーザーは、ヘッド・ダウン・ディスプレイ28上でいくつかの制御システム特性(control system characteristics)を閲覧しうる。制御システム特性は、無人ビークル14のさまざまな動作条件を含みうる。ある実施形態では、ヘッド・ダウン・ディスプレイ28は、標準化協定4586準拠のメッセージ交換プロトコルを使って無人ビークル14と通信するビークル制御システム32によって生成される画像を生成してもよい。
工程104では、ユーザーは、ヘッド・ダウン・ディスプレイ28を閲覧したのと同じ位置から、ヘッド・アップ・ディスプレイ24上の合成画像を閲覧しうる。すなわち、ヘッド・アップ・ディスプレイ24は、ヘッド・ダウン・ディスプレイ28に隣接し、これと概略同じ方向に面していてもよく、それによりユーザーは両者を単一位置から無理に動くことなく閲覧しうる。ある特定の実施形態では、ヘッド・アップ・ディスプレイ24は、無人ビークル14の環境のパノラマ・ビューの表示のために、互いに隣接し横に隣り合わせの配位になっている三つのディスプレイを含みうる。別の実施形態では、ユーザーは、ヘッド・アップ・ディスプレイ24上にスーパーインポーズされたオーバーレイ画像を閲覧しうる。
工程106では、ユーザーはヘッド・ダウン・ディスプレイを閲覧するのと同じ位置から通信ディスプレイ40を閲覧しうる。通信ディスプレイ40は、通信システム36によって提供されるいかなる好適な通信サービスを表示してもよい。ある実施形態では、通信ディスプレイ40は共通運用図(COP)サービスを表示しうる。
先述したプロセスは、無人ビークル14のミッションを通じて続けられる。無人ビークル14のミッションが完了すると、無人ビークル制御ステーション12は工程108において停止されうる。
ヘッド・ダウン・ディスプレイ24を閲覧するのと同じ位置から無人ビークル14の環境の専用ビューを提供する少なくとも一つのヘッド・アップ・ディスプレイ24を設ける無人ビークル制御ステーション12について述べてきた。ヘッド・アップ・ディスプレイ24によって与えられる無人ビークルの環境の専用ビューは、単一のディスプレイからさまざまな地理空間関係画像を択一的に見ることを軽減しうる。こうして、ある種の実施形態は、ユーザーの疲労軽減のための向上した人間工学的使用を提供し、単一のユーザーによる無人ビークル14の運用を可能にしうる。無人ビークル制御ステーション12はまた、いくつかの実施形態では、向上した人間工学的使用のためにそれぞれ単一の機能の操作に専用にされたいくつかの専用制御ノブ46をも含んでいてもよい。このように、無人ビークル制御ステーション12は、既知の無人ビークル制御システムに比べて相対的に、使うのがより簡単でありうる。
本開示はいくつかの実施形態を用いて記述されてきたが、当業者には無数の変化、変形、変更、変換および修正が思いつきうる。本開示は、付属の請求項の範囲内にはいるそのような変化、変形、変更、変換および修正をも包含することが意図されている。

Claims (21)

  1. 制御ステーションであって:
    無人ビークルの複数の動作特性を表示するよう動作可能なヘッド・ダウン・ディスプレイを有する、前記無人ビークルを制御するよう動作可能な無人ビークル制御システムと;
    横に隣り合わせの配位で互いに隣接する複数のヘッド・アップ・ディスプレイであって、ユーザーが前記複数のヘッド・アップ・ディスプレイおよび前記ヘッド・ダウン・ディスプレイを単一位置から見ることができるよう前記ヘッド・ダウン・ディスプレイに隣接し、前記無人ビークルの環境の対応する複数の合成画像を表示するよう動作可能であり、前記複数の合成画像上にオーバーレイ画像を表示するよう動作可能な複数のヘッド・アップ・ディスプレイと;
    通信ディスプレイを有する通信システムであって、ユーザーが前記少なくとも一つのヘッド・ダウン・ディスプレイおよび前記通信ディスプレイを単一位置から見ることができるよう前記通信ディスプレイは横に隣り合わせの配位で前記ヘッド・ダウン・ディスプレイに隣接する、通信システムとを有する、制御ステーション。
  2. 前記複数のヘッド・アップ・ディスプレイが三つのヘッド・アップ・ディスプレイを含み、前記三つのヘッド・アップ・ディスプレイが中央ディスプレイおよび二つの外側ディスプレイを含み、前記三つのヘッド・アップ・ディスプレイが略凹型の閲覧表面を形成するよう前記二つの外側ディスプレイが前記中央ディスプレイに対して角度をもって配されている、請求項1記載の制御システム。
  3. 前記無人ビークル制御システムが、標準化協定4586メッセージ交換プロトコルを使って前記無人ビークルと通信するコア無人航空機制御ステーション(CUCS: Core unmanned aerial vehicle control station)である、請求項1記載の制御ステーション。
  4. 前記通信システムは共通運用図(COP)通信サービスをもつ、請求項1記載の制御ステーション。
  5. 制御ステーションであって:
    無人ビークルの複数の動作特性を表示するよう動作可能なヘッド・ダウン・ディスプレイを有する、前記無人ビークルを制御するよう動作可能な無人ビークル制御システムと;
    少なくとも一つのヘッド・アップ・ディスプレイであって、ユーザーが前記少なくとも一つのヘッド・アップ・ディスプレイおよび前記ヘッド・ダウン・ディスプレイを単一位置から見ることができるよう前記ヘッド・ダウン・ディスプレイに隣接し、レンダリングされた画像を含む前記無人ビークルの環境の合成画像を表示するよう動作可能である、ヘッド・アップ・ディスプレイとを有する、制御ステーション。
  6. 前記少なくとも一つのヘッド・アップ・ディスプレイが三つのヘッド・アップ・ディスプレイを含み、前記三つのヘッド・アップ・ディスプレイが横に隣り合わせの配位で互いに隣接しており、前記三つのヘッド・アップ・ディスプレイが前記合成画像をパノラマ・ビューで表示するよう動作可能である、請求項5記載の制御ステーション。
  7. 前記三つのヘッド・アップ・ディスプレイのそれぞれが中央ディスプレイおよび二つの外側ディスプレイを含み、前記三つのヘッド・アップ・ディスプレイが略凹型の閲覧表面を形成するよう前記二つの外側ディスプレイが前記中央ディスプレイに対して角度をもって配されている、請求項6記載の制御ステーション。
  8. 前記無人ビークル制御システムが、標準化協定4586メッセージ交換プロトコルを使って前記無人ビークルと通信するコア無人航空機制御ステーション(CUCS: core unmanned aerial vehicle control station)である、請求項5記載の制御ステーション。
  9. 前記ヘッド・アップ・ディスプレイはさらに、前記合成画像上にオーバーレイされた画像を表示するよう動作可能であり、前記オーバーレイされた画像は、三次元注釈、地理空間的にレンダリングされた画像およびヘッド・アップ注釈からなる群から選択される、請求項5記載の制御ステーション。
  10. ユーザーの他の人々との通信のための、通信ディスプレイを有する通信システムをさらに有する請求項5記載の制御ステーションであって、ユーザーが前記通信ディスプレイおよび前記ヘッド・ダウン・ディスプレイを単一位置から見ることができるよう前記通信ディスプレイは横に隣り合わせの配位で前記ヘッド・ダウン・ディスプレイに隣接する、制御ステーション。
  11. 前記通信システムは共通運用図(COP)通信サービスをもつ、請求項10記載の制御ステーション。
  12. 前記無人ビークル制御システムは、前記無人ビークルのある機能を制御するよう構成された少なくとも一つの専用機能ノブを含み、前記専用機能ノブは、「6時をチェック」機能、プッシュトゥトーク機能、武器発射機能、レーザー機能、エンジン・スロットル機能、カーソル・ポインタ機能、自動操縦中断機能、一つまたは複数のマウス動き機能、ズーム機能、トラック成長機能および前記無人ビークルの制御表面からなる群から選択される、請求項5記載の制御ステーション。
  13. 前記少なくとも一つの専用機能ノブはジョイスティック・コントローラ上に構成される、請求項12記載の制御ステーション。
  14. 無人ビークル制御ステーションを使う方法であって:
    ヘッド・ダウン・ディスプレイ上で、無人ビークルの動作に関連する複数の制御システム特性を見る段階と;
    前記ヘッド・ダウン・ディスプレイを見るのと実質的に同じ位置から、前記ヘッド・ダウン・ディスプレイに隣接するヘッド・アップ・ディスプレイ上の合成画像を見る段階とを含み、前記合成画像は前記無人ビークルの環境ビューであるレンダリングされた画像を含む、方法。
  15. ヘッド・アップ・ディスプレイ上で合成画像を見ることがさらに、三つのヘッド・アップ・ディスプレイ上で三つの合成画像を見ることを含み、前記三つの合成画像は前記無人ビークルのパノラマ・ビューをなす、請求項14記載の方法。
  16. 標準化協定4586メッセージ交換プロトコルを使って前記無人ビークルから前記複数の制御システム特性を受け取る段階をさらに有する請求項14記載の方法。
  17. 前記合成画像上のオーバーレイ画像を見ることをさらに含み、前記オーバーレイ画像は三次元注釈、地理空間的にレンダリングされた画像およびヘッド・アップ注釈からなる群から選択される、請求項14記載の方法。
  18. 前記ヘッド・ダウン・ディスプレイを見るのと実質的に同じ位置から通信ディスプレイを見ることをさらに含む、請求項14記載の方法。
  19. 請求項18記載の方法であって、前記ヘッド・ダウン・ディスプレイを見るのと実質的に同じ位置から通信ディスプレイを見ることが、前記ヘッド・ダウン・ディスプレイを見るのと実質的に同じ位置から共通運用図(COP)通信システムを見ることを含む、方法。
  20. 単一の機能を制御するために専用にされた少なくとも一つの専用機能ノブを作動させることをさらに含む、請求項14記載の方法であって、前記単一の機能は、「6時をチェック」機能、プッシュトゥトーク機能、武器発射機能、レーザー機能、エンジン・スロットル機能、カーソル・ポインタ機能、自動操縦中断機能、一つまたは複数のマウス動き機能、ズーム機能、トラック成長機能および前記無人ビークルの制御表面からなる群から選択される、方法。
  21. 前記少なくとも一つの専用制御ノブを作動させることがさらに、ジョイスティック上に配された前記少なくとも一つの制御ノブを作動させることを含む、請求項20記載の方法。
JP2010531097A 2007-10-30 2008-09-04 無人ビークル制御ステーション Pending JP2011502068A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/929,456 US20090112387A1 (en) 2007-10-30 2007-10-30 Unmanned Vehicle Control Station
PCT/US2008/075159 WO2009058476A2 (en) 2007-10-30 2008-09-04 Unmanned vehicle control station

Publications (1)

Publication Number Publication Date
JP2011502068A true JP2011502068A (ja) 2011-01-20

Family

ID=40583886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010531097A Pending JP2011502068A (ja) 2007-10-30 2008-09-04 無人ビークル制御ステーション

Country Status (8)

Country Link
US (1) US20090112387A1 (ja)
EP (1) EP2206028A2 (ja)
JP (1) JP2011502068A (ja)
CN (1) CN101842757A (ja)
AU (1) AU2008319128A1 (ja)
CA (1) CA2702229A1 (ja)
IL (1) IL205028A0 (ja)
WO (1) WO2009058476A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101506395B1 (ko) 2013-09-04 2015-04-07 한국항공우주연구원 노브 다이얼을 이용한 엔진 추력 입력장치 및 입력방법
KR20190123459A (ko) * 2018-04-24 2019-11-01 허창용 촬영용 드론에 의한 헤드마운트 고글 영상정보 제공 시스템

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8754786B2 (en) * 2011-06-30 2014-06-17 General Electric Company Method of operating a synthetic vision system in an aircraft
DE102011112618A1 (de) * 2011-09-08 2013-03-14 Eads Deutschland Gmbh Interaktion mit einem dreidimensionalen virtuellen Szenario
DE102011112620B3 (de) * 2011-09-08 2013-02-21 Eads Deutschland Gmbh Abgewinkeltes Display zur dreidimensionalen Darstellung eines Szenarios
AU2013204965B2 (en) 2012-11-12 2016-07-28 C2 Systems Limited A system, method, computer program and data signal for the registration, monitoring and control of machines and devices
US9591270B1 (en) * 2013-08-22 2017-03-07 Rockwell Collins, Inc. Combiner display system and method for a remote controlled system
US9676472B2 (en) * 2013-08-30 2017-06-13 Insitu, Inc. Systems and methods for configurable user interfaces
US10657867B1 (en) * 2014-06-12 2020-05-19 Rockwell Collins, Inc. Image control system and method for translucent and non-translucent displays
JP5957745B1 (ja) * 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US10200659B2 (en) * 2016-02-29 2019-02-05 Microsoft Technology Licensing, Llc Collaborative camera viewpoint control for interactive telepresence
CN107172341B (zh) * 2016-03-07 2019-11-22 深圳市朗驰欣创科技股份有限公司 一种无人机控制方法、无人机、地面站及无人机***
CA3024594A1 (en) * 2016-05-18 2017-11-23 Walmart Apollo, Llc Apparatus and method for displaying content with delivery vehicle
CN206516054U (zh) * 2016-12-22 2017-09-22 深圳市道通智能航空技术有限公司 摇杆结构及遥控器
US10139631B1 (en) 2017-06-05 2018-11-27 Microsoft Technology Licensing, Llc Apparatus and method of 1:1 matching head mounted display view to head movement that controls articulated camera

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4891633A (en) * 1984-07-23 1990-01-02 General Research Of Electronics, Inc. Digital image exchange system
US5300943A (en) * 1986-10-03 1994-04-05 Goldstar Electron Co., Ltd. Multiple display workstation with conductive surface overlay control
JPH06312700A (ja) * 1993-04-28 1994-11-08 Japan Aviation Electron Ind Ltd 操縦制御用ディスプレイシステム
JPH08164896A (ja) * 1994-12-15 1996-06-25 Mitsubishi Heavy Ind Ltd 無人機操縦における視界表示装置
US20020022909A1 (en) * 2000-05-17 2002-02-21 Karem Abraham E. Intuitive vehicle and machine control
US20030212478A1 (en) * 2002-05-09 2003-11-13 Rios Jeffrey P. Control system for remotely operated vehicles for operational payload employment
JP2004030132A (ja) * 2002-06-25 2004-01-29 Mitsubishi Heavy Ind Ltd 移動体制御装置及び方法、遠隔制御装置、移動体制御システム、コンピュータプログラム
US20070097609A1 (en) * 2002-06-13 2007-05-03 Gerald Moscovitch Graphics and monitor controller assemblies in multi-screen display systems
US20070244608A1 (en) * 2006-04-13 2007-10-18 Honeywell International Inc. Ground control station for UAV

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4814711A (en) * 1984-04-05 1989-03-21 Deseret Research, Inc. Survey system and method for real time collection and processing of geophysicals data using signals from a global positioning satellite network
US6718261B2 (en) * 2002-02-21 2004-04-06 Lockheed Martin Corporation Architecture for real-time maintenance of distributed mission plans
US7047861B2 (en) * 2002-04-22 2006-05-23 Neal Solomon System, methods and apparatus for managing a weapon system
IL153758A (en) * 2002-12-31 2007-09-20 Israel Aerospace Ind Ltd Unmanned tactical platform
US7911497B2 (en) * 2003-04-25 2011-03-22 Lockheed Martin Corporation Method and apparatus for video on demand
US7190496B2 (en) * 2003-07-24 2007-03-13 Zebra Imaging, Inc. Enhanced environment visualization using holographic stereograms
US7269513B2 (en) * 2005-05-03 2007-09-11 Herwitz Stanley R Ground-based sense-and-avoid display system (SAVDS) for unmanned aerial vehicles
US7925391B2 (en) * 2005-06-02 2011-04-12 The Boeing Company Systems and methods for remote display of an enhanced image
US8375301B2 (en) * 2005-07-15 2013-02-12 Barco N.V. Network displays and method of their operation
US7581702B2 (en) * 2006-06-09 2009-09-01 Insitu, Inc. Wirelessly controlling unmanned aircraft and accessing associated surveillance data
EP2036043A2 (en) * 2006-06-26 2009-03-18 Lockheed Martin Corporation Method and system for providing a perspective view image by intelligent fusion of a plurality of sensor data
US20080123586A1 (en) * 2006-08-29 2008-05-29 Manser David B Visualization of ad hoc network nodes
US7642953B2 (en) * 2007-07-19 2010-01-05 The Boeing Company Method and apparatus for three dimensional tomographic image reconstruction of objects

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4891633A (en) * 1984-07-23 1990-01-02 General Research Of Electronics, Inc. Digital image exchange system
US5300943A (en) * 1986-10-03 1994-04-05 Goldstar Electron Co., Ltd. Multiple display workstation with conductive surface overlay control
JPH06312700A (ja) * 1993-04-28 1994-11-08 Japan Aviation Electron Ind Ltd 操縦制御用ディスプレイシステム
JPH08164896A (ja) * 1994-12-15 1996-06-25 Mitsubishi Heavy Ind Ltd 無人機操縦における視界表示装置
US20020022909A1 (en) * 2000-05-17 2002-02-21 Karem Abraham E. Intuitive vehicle and machine control
US20030212478A1 (en) * 2002-05-09 2003-11-13 Rios Jeffrey P. Control system for remotely operated vehicles for operational payload employment
US20070097609A1 (en) * 2002-06-13 2007-05-03 Gerald Moscovitch Graphics and monitor controller assemblies in multi-screen display systems
JP2004030132A (ja) * 2002-06-25 2004-01-29 Mitsubishi Heavy Ind Ltd 移動体制御装置及び方法、遠隔制御装置、移動体制御システム、コンピュータプログラム
US20070244608A1 (en) * 2006-04-13 2007-10-18 Honeywell International Inc. Ground control station for UAV

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101506395B1 (ko) 2013-09-04 2015-04-07 한국항공우주연구원 노브 다이얼을 이용한 엔진 추력 입력장치 및 입력방법
KR20190123459A (ko) * 2018-04-24 2019-11-01 허창용 촬영용 드론에 의한 헤드마운트 고글 영상정보 제공 시스템
KR102062127B1 (ko) * 2018-04-24 2020-01-03 허창용 촬영용 드론에 의한 헤드마운트 고글 영상정보 제공 시스템

Also Published As

Publication number Publication date
WO2009058476A2 (en) 2009-05-07
US20090112387A1 (en) 2009-04-30
EP2206028A2 (en) 2010-07-14
AU2008319128A1 (en) 2009-05-07
CA2702229A1 (en) 2009-05-07
WO2009058476A3 (en) 2010-02-25
CN101842757A (zh) 2010-09-22
IL205028A0 (en) 2010-11-30

Similar Documents

Publication Publication Date Title
JP2011502068A (ja) 無人ビークル制御ステーション
US7605774B1 (en) Enhanced vision system (EVS) processing window tied to flight path
CN110389651B (zh) 头部可佩戴装置、***和方法
US10567497B2 (en) Reticle control and network based operation of an unmanned aerial vehicle
US10061486B2 (en) Area monitoring system implementing a virtual environment
EP3629309A2 (en) Drone real-time interactive communications system
US20150054826A1 (en) Augmented reality system for identifying force capability and occluded terrain
US20080158256A1 (en) Method and system for providing a perspective view image by intelligent fusion of a plurality of sensor data
WO2012103312A1 (en) 3d avionics viewpoint control system
US8886368B2 (en) Control of UAV
KR101408077B1 (ko) 가상 영상을 이용한 무인기 조종 장치 및 방법
CN110119196B (zh) 头部可佩戴装置、***和方法
KR101662032B1 (ko) 조종사의 시선 방향과 동기화 된 uav 항공 영상 촬영 시스템
US10163185B1 (en) Systems and methods for user driven avionics graphics
US10032386B2 (en) Method for carrying out a real situation simulation test including generation of various virtual contexts
US11262749B2 (en) Vehicle control system
US11249306B2 (en) System and method for providing synthetic information on a see-through device
Walter et al. Virtual UAV ground control station
US10659717B2 (en) Airborne optoelectronic equipment for imaging, monitoring and/or designating targets
JP7406360B2 (ja) 画像表示システム
US20220324562A1 (en) Mum-t asset handoff
Batkiewicz et al. Multimodal UAV ground control system
Nathan Vision of the Future
Saylor et al. ADVANCED SA–MODELING AND VISUALIZATION ENVIRONMENT
Haralson et al. Toward the panoramic cockpit, and 3-D cockpit displays

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121106

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130226