JP2019081456A

JP2019081456A - 頭部装着型表示装置、無人機の操縦方法

Info

Publication number: JP2019081456A
Application number: JP2017209970A
Authority: JP
Inventors: 直人有賀; Naoto Ariga; 勇一毛利; Yuichi Mori
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2017-10-31
Filing date: 2017-10-31
Publication date: 2019-05-30

Abstract

【課題】無人機を目的地まで精度良く航行させることを可能とする頭部装着型表示装置を提供する。【解決手段】無人機４００の操縦に関する制御を行うことが可能な頭部装着型表示装置１００であって、外界を視認可能な表示部２０と、ＧＮＳＳ情報を取得するＧＮＳＳ情報取得部と、前記無人機との間の無線通信を利用した通信を行い得る通信部と、制御部と、を備え、前記制御部は、前記無人機が、前記ＧＮＳＳ情報取得部によって取得される前記ＧＮＳＳ情報で示される位置に向けて移動する自動航行モードＭ１で航行している場合に、前記表示部によって視認可能な視界内に前記無人機が進入したか否かを判定し、前記視界内に前記無人機が進入したと判定された場合に、前記自動航行モードでの航行を前記無人機に対し中止させ、前記自動航行モードとは異なる特定の航行モードＭ２で前記無人機を航行させる頭部装着型表示装置。【選択図】図１０

Description

本開示は、頭部装着型表示装置を用いて、無人機を操縦することに関する。

近年、ドローン（Drone）と呼ばれる、遠隔操縦または自律飛行が可能な無人航空機の開発が進んでいる。従来の無人航空機は、例えば、特許文献１に記載されているように、ＧＮＳＳ電波を受信してＧＮＳＳ情報を取得するＧＮＳＳ受信部を搭載している。無人航空機は、ＧＮＳＳ情報によって、機体の姿勢や位置を推定することができる。無人航空機は、専用のリモコン装置以外にも、スマートフォンやタブレット等の他の装置で操縦することができる。

特開２００８−３０４２６０号公報

無人航空機では、ＧＮＳＳ情報を利用することで、目的地まで自動的に航行させることが考えられる。しかしながら、ＧＮＳＳ情報に含まれる位置情報は、数ｍ〜数十ｍと比較的、誤差が大きいため、従来の無人航空機では、目的地まで精度良く航行させることができないことがあった。例えば、山岳部や山間部、ビルの谷などでは、位置情報は誤差の大きいものとなり、目的地から大きく離れた地点に到達してしまうことがあった。そのため、無人航空機を操縦する装置において、目的地まで精度良く航行させることができる技術が望まれていた。なお、このような課題は、無人航空機に限らず、遠隔操作や自動運転される種々の人が搭乗しないヴィークル（すなわち、無人機）に共通する課題であった。

本開示の一形態は、無人機の操縦に関する制御を行うことが可能な頭部装着型表示装置であって；外界を視認可能な表示部と；ＧＮＳＳ情報を取得するＧＮＳＳ情報取得部と；前記無人機との間の無線通信を利用した通信を行い得る通信部と；制御部と、を備え；前記制御部は；前記無人機が、前記ＧＮＳＳ情報取得部によって取得される前記ＧＮＳＳ情報で示される位置に向けて移動する自動航行モードで航行している場合に、前記表示部によって視認可能な視界内に前記無人機が進入したか否かを判定し；前記視界内に前記無人機が進入したと判定された場合に、前記自動航行モードでの航行を前記無人機に対し中止させ、前記自動航行モードとは異なる特定の航行モードで前記無人機を航行させる頭部装着型表示装置である。この形態によれば、自動航行モードで航行している場合に、表示部によって視認可能な視界内に無人機が進入したときに、自動航行モードでの航行が中止され、自動航行モードとは異なる特定の航行モードで、無人機は航行する。このため、この形態によれば、精度の低いＧＮＳＳ情報を利用した自動航行モードでの航行を取りやめることができることから、目的地まで高い精度で航行させることが可能となる。

上記形態において、更に、前記視界を撮像するカメラを有し；前記制御部は、前記カメラの撮像画像を取得し、前記無人機を特定するために予め準備された目的画像と前記撮像画像とをパターンマッチングすることによって、前記無人機が前記視界に進入したか否かの判定を行うようにしてもよい。この形態によれば、表示部によって視認可能な視界内に無人機が進入したか否かを高精度に判定することができる。

上記形態において、前記ＧＮＳＳ情報取得部は、前記ＧＮＳＳ情報を受信するＧＮＳＳ受信部を備え；前記自動航行モードは、前記頭部装着型表示装置へ帰還させるものであってもよい。この形態によれば、頭部装着型表示装置の元へ帰還させることを、高い精度で行うことができる。

上記形態において、前記ＧＮＳＳ情報取得部は、前記頭部装着型表示装置から離れた位置に備えられたＧＮＳＳ受信部から前記ＧＮＳＳ情報を受信してもよい。この形態によれば、ＧＮＳＳ受信部が備えられた位置に向かって自動航行モードでの航行している場合に、特定の航行モードに航行を切り替えて、目的地まで高い精度で航行を行うことができる。

上記形態において、更に、前記無人機から送られてくる無線電波を受信する無線電波受信部を備え；前記特定の航行モードは、前記無線電波受信部によって受信される無線電波の強度を測定し、測定した前記強度の変化から航行ルートを定めるモードであってもよい。無線電波の強度に基づく航行モードは高い精度での航行を可能とすることから、この形態の表示装置によれば、目的地までの航行をより高い精度で行うことができる。

上記形態において、前記無人機は、機体の動きを検出する慣性センサーを備え、前記慣性センサーの検出値を逐次積算することによって、機体の位置を求め；前記特定の航行モードは、前記頭部装着型表示装置が、前記無人機が求めた前記機体の位置を取得し、取得した前記機体の位置から航行ルートを定めるモードであってもよい。この形態の表示装置によれば、目的地までの航行を高い精度で行うことができる。

上記形態において、前記慣性センサーは、第１慣性センサーであり；更に、動きを検出する第２慣性センサーを有し；前記特定の航行モードは、前記頭部装着型表示装置が、前記第２慣性センサーの検出値を逐次積算することによって、前記頭部装着型表示装置の位置を求め、求めた前記頭部装着型表示装置の位置と、取得した前記機体の位置と、から航行ルートを定めるモードであってもよい。この形態によれば、頭部装着型表示装置へ帰還させることを、より高い精度で行うことができる。

上記形態において、更に、使用者によって操作され、前記無人機の動きを指示する操作部を有し；前記特定の航行モードは、前記頭部装着型表示装置が、前記操作部に対する指示に従って航行ルートを定めるモードであってもよい。この形態によれば、頭部装着型表示装置へ帰還させることを、高い精度で行うことができる。

上記形態において、前記表示部は、外界を透過視認可能な表示部であり；前記制御部は；前記操作部のための操作画面を前記表示部に表示させ；前記視界内に前記無人機が進入したと判定された場合に、前記表示部における前記無人機の位置を推定し、推定された前記位置から離れた位置に前記操作画面を移動させてもよい。この形態によれば、使用者の視界において、無人機が操作画面によって隠されることがないことから、無人機を帰還させる操作性を向上させることができる。

上記形態において、前記通信部は、前記無人機によって撮像された画像である無人機画像を、前記無人機から無線通信で取得し；前記表示部は、外界を透過視認可能な表示部であり、当該頭部装着型表示装置から前記無人機までの距離である操縦距離が、第２距離よりも遠い場合、第１態様による表示をし、前記操縦距離が前記第２距離よりも近く第１距離以上の場合、第２態様による表示をし、前記操縦距離が前記第１距離よりも近い場合、第３態様による表示をし；前記第１，第２及び第３態様による表示は、前記無人機画像の表示を含んでもよい。この形態によれば、無人機画像を含む表示を、操縦距離に応じて変更することができる。

上記形態において、前記第２態様による表示における前記無人機画像の表示領域は、前記第１態様による表示における前記無人機画像の表示領域よりも狭くてもよい。この形態によれば、操縦距離が第２距離よりも小さい場合、つまり無人機が使用者に近い場合、表示部を通じた無人機の視認がしやすくなる。

上記形態において、前記第１態様による表示は、前記第１態様による表示であることを示す表示を含み；前記第２態様による表示は、前記第２態様による表示であることを示す表示を含み；前記第３態様による表示は、前記第３態様による表示であることを示す表示を含んでもよい。この形態によれば、使用者は、何れの態様による表示であるかを認識できる。

上記形態において、前記制御部は、前記第１及び第２距離の少なくとも何れか一方を、前記無人機と、前記無人機周辺の背景色との関係に基づき設定してもよい。この形態によれば、無人機の見えやすさに応じて、第１及び第２距離の少なくとも何れか一方を設定することが可能になる。

上記形態において、前記操縦距離が前記第１距離以下であることは、前記表示部によって視認可能な視界内に前記無人機が進入したと判定されることの必要条件であり；前記制御部は、前記自動航行モードによる航行によって前記操縦距離が前記第１距離よりも大きい距離から前記第１距離に縮まった場合、前記特定の航行モードによる航行が開始するまで、前記無人機に対し現在位置でのホバリングを指示してもよい。この形態によれば、自動航行モードから特定の航行モードに切り替える際に、時間的な余裕を持たせることができる。

上記形態において、前記制御部は、前記操縦距離が前記第１距離以下から前記第１距離より大きい距離に伸びた場合、前記無人機に対し前記自動航行モードによって前記操縦距離を縮めるように指示してもよい。この形態によれば、一旦、特定の航行モードになった後に第１距離よりも遠ざかった場合、自動航行モードに切り替えることができる。

上記形態において、前記制御部は、複数の前記無人機に対し、航行モードの指示が可能であってもよい。この形態によれば、１つの頭部装着型表示装置を用いて、複数の無人機を操縦できる。

上記形態において、更に、使用者によって操作され、前記無人機の動きを指示する操作部を有し；前記制御部は、前記操作部のための操作画面を前記表示部に表示させ；前記特定の航行モードは、前記頭部装着型表示装置が、前記操作部に対する指示に従って航行ルートを定めるモードであり；前記制御部は、前記操縦距離が前記第１距離以下の無人機が複数、存在する場合、前記複数の無人機の中から何れか１つを、前記操作部に対する指示に従って航行ルートを定める無人機である選択機として選択してもよい。この形態によれば、複数の無人機を１つずつ操縦することができる。

上記形態において、前記制御部は、前記操縦距離が前記第１距離以下の無人機の中で、前記選択機以外の無人機に対し、ホバリングを指示してもよい。この形態によれば、複数の無人機を１つずつ操縦することができる。

上記形態において、前記制御部は、前記操縦距離が前記第１距離以下の無人機の中で、前記選択機以外の無人機に対し、前記選択機に追従することを指示してもよい。この形態によれば、複数の無人機を一遍に操縦することができる。

上記形態において、前記表示部は、前記第３態様による表示として、前記選択機を、前記選択機以外の無人機と区別するための像を表示してもよい。この形態によれば、どの無人機を操縦しているのかが分かりやすくなる。

上記形態において、前記選択機以外の無人機には、当該頭部装着型表示装置による操縦対象の無人機と、当該頭部装着型表示装置による操縦対象外の無人機とが含まれ；前記表示部は、前記第３態様による表示として、当該頭部装着型表示装置による操縦対象の無人機と、当該頭部装着型表示装置による操縦対象外の無人機と区別するための像を表示してもよい。この形態によれば、どの無人機が操縦対象であり、どの無人機が操縦対象外かが分かりやすくなる。

上記形態において、前記制御部は、前記特定の航行モードにおける目的地の入力を使用者から受け付け、前記目的地に向かうことを前記無人機に指示してもよい。この形態によれば、任意の目的地に無人機を向かわせることができる。

本開示は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、無人機の操縦方法、頭部装着型表示装置の制御方法、頭部装着型表示装置の備える各構成要素の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記憶した記憶媒体等で実現できる。

頭部装着型表示装置を備える無人航空機システムの概略構成を示す説明図。画像表示部が備える光学系の構成を示す要部平面図。使用者から見た画像表示部の要部構成を示す図。カメラの画角を説明するための図。ＨＭＤの構成を機能的に示すブロック図。制御装置の構成を機能的に示すブロック図。ＨＭＤによる拡張現実感表示の一例を示す説明図。無人航空機とリモコン装置との電気的な構成を示すブロック図。帰還処理を示すフローチャートである。使用者によって画像表示部を通して視認可能な視界を説明するための図。Ｗｉ−Ｆｉ航行モードを説明するための図。第２実施形態のＨＭＤで実行される帰還処理を示すフローチャート。第３実施形態のＨＭＤで実行される帰還処理を示すフローチャート。第３実施形態における操作画面を示す説明図。第４実施形態における操作画面を示す説明図。第５実施形態のＨＭＤで実行される帰還処理を示すフローチャート。Ｌ１，Ｌ２を示す図。第１処理を示すフローチャート。第１態様による表示を例示する図。第２態様による表示を例示する図。第２処理を示すフローチャート。第３態様による表示を例示する図。個体が複数である場合における第３態様の表示を例示する図。第６実施形態における第２処理を示すフローチャート。第７実施形態における第２処理を示すフローチャート。目的地を指示するための画像を例示する図。第８実施形態における帰還処理を示すフローチャート。設定処理を示すフローチャート。変形例の画像表示部が備える光学系の構成を示す要部平面図。

Ａ．第１実施形態：
Ａ−１．全体の構成：
図１は、第１実施形態における頭部装着型表示装置を備える無人航空機システムの概略構成を示す説明図である。無人航空機システムは、頭部装着型表示装置１００と、無人航空機４００と、リモコン装置５００と、を備えている。

無人航空機４００は、ＧＮＳＳ（Global Navigation Satellite System）レシーバーやＩＭＵ（Inertial Measurement Unit）センサー等を搭載し、これらにより機体の姿勢や位置を把握しつつ飛行することができる。無人航空機４００は、いわゆるドローンである。リモコン装置５００は、無人航空機４００を遠隔から操縦する装置である。無人航空機４００は、リモコン装置５００によって遠隔操縦されるが、自律飛行も可能である。リモコン装置５００には、ＵＳＢケーブル３５０を介して、頭部装着型表示装置１００が接続されている。頭部装着型表示装置１００は、リモコン装置５００を介して、無人航空機４００を操縦することができる。まず、頭部装着型表示装置１００の構成について、詳述する。

Ａ−２．頭部装着型表示装置の構成：
頭部装着型表示装置１００は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型（透過型）の頭部装着型表示装置である。ＨＭＤ１００は、使用者に画像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０が「表示部」に相当する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する支持体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。

右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２および左表示ユニット２４を総称して「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって画像（拡張現実感（ＡＲ）画像）を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。

このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。

カメラ６１は、画像表示部２０の前部フレーム２７に配置されている。カメラ６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されている。カメラ６１は、前部フレーム２７の端部ＥＬ側に配置されていてもよく、右導光板２６と左導光板２８との連結部に配置されていてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界方向の、少なくとも一部の外界（実空間）を撮像する。換言すれば、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ６１の画角の広さは適宜設定できる。本実施形態では、カメラ６１の画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体と一致するように設定される。カメラ６１は、制御機能部１５０（図６）の制御に従って撮像を実行し、得られた撮像データを制御機能部１５０へ出力する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム２７の右導光板２６と左導光板２８との連結部分に配置することができる。測距センサーの測定方向は、ＭＤ１００の表側方向（カメラ６１の撮像方向と重複する方向）とすることができる。測距センサーは、例えば、ＬＥＤやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーはカメラ６１と同様に、制御機能部１５０（図６）により制御され、検出結果を制御機能部１５０へ出力する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。

右眼ＲＥに画像（ＡＲ画像）を視認させる構成として、右表示ユニット２２は、ＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。

ＯＬＥＤ駆動回路２２５は、制御機能部１５０（図６）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７（図５）が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に画像を視認させる。

左眼ＬＥに画像（ＡＲ画像）を視認させる構成として、左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、温度センサー２３９（図５）が実装される。また、左光学系２５２の詳細は右光学系２５１と同じである。

以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外界（実世界）が見えると共に、この外界に重なるようにして画像光Ｌによる画像（ＡＲ画像）が視認される。

ハーフミラー２６１およびハーフミラー２８１は、右表示ユニット２２および左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

図１において、制御装置１０と画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、制御装置１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端ＡＬから、画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。

コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す本実施形態の例では、コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を音声インターフェース１８２（図５）に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。

制御装置１０は、ＨＭＤ１００（特に画像表示部２０）を制御するための装置である。制御装置１０は、点灯部１２と、タッチパッド１４と、方向キー１６と、決定キー１７と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。

タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー１７は、押下操作を検出して、制御装置１０において操作された内容を決定するための信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。

図３は、使用者から見た画像表示部２０の要部構成を示す図である。図３では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図３の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者は、これらハーフミラー２６１、２８１を含む左右の導光板２６、２８の全体を透過して外界を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。

図４は、カメラ６１の画角を説明するための図である。図４では、カメラ６１と、使用者の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、カメラ６１の画角（撮像範囲）をλで示す。なお、カメラ６１の画角λは図示のように水平方向に拡がっている他、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。

上述のようにカメラ６１は、画像表示部２０において右側の端部に配置され、使用者の視線の方向（すなわち使用者の前方）を撮像する。このためカメラ６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外界は、無限遠とは限らない。例えば、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中の符号ＲＤ、ＬＤに示すように、対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められＨＭＤ１００にプリセットされていてもよいし、使用者が設定してもよい。カメラ６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。

なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢ（図４）であるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。使用者が画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。

本実施形態のカメラ６１の画角λは、使用者の視野と一致する範囲を撮像可能に設定される。カメラ６１の画角λは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定される構成としてもよい。実視野よりも広い範囲を撮像可能に設定される構成としてもよい。カメラ６１の画角λは、使用者の安定注視野より広い範囲を撮像可能に設定される構成としてもよく、使用者の両眼の視野角と一致する範囲を撮像可能に設定される構成としてもよい。このため、カメラ６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。

図５は、ＨＭＤ１００の電気的な構成を示すブロック図である。制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェースと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェース、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、制御装置１０が内蔵しているコントローラー基板１２０に実装されている。

記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。

入出力部には、タッチパッド１４と、操作部１１０とが含まれている。操作部１１０には、制御装置１０に備えられた方向キー１６と、決定キー１７と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。

センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＮＳＳレシーバー１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。

ＧＮＳＳレシーバー１１５は、図示しないＧＮＳＳアンテナを用いて、航法衛星から送信される電波を受信し、図示しないＧＮＳＳ回路を用いて、受信された電波を解析することにより、ＧＮＳＳ情報を取得する。ＧＮＳＳ情報は、緯度、経度、高度を含む位置情報や、撮影時刻および日付の情報を有する。

これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＮＳＳレシーバー１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。

インターフェースには、無線通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェース１８６と、ＵＳＢ（Universal Serial Bus）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェース１９６とが含まれている。これらは、外部とのインターフェースとして機能する。無線通信部１１７は、ＨＭＤ１００と外部機器との間における無線通信を実行する。無線通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。

音声コーデック１８０は、音声インターフェース１８２に接続され、音声インターフェース１８２を介して入出力される音声信号のエンコード／デコードを行う。音声インターフェース１８２は、音声信号を入出力するインターフェースである。音声コーデック１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。本実施形態のＨＭＤ１００は、音声を右イヤホン３２（図１）および左イヤホン３４から出力し、マイク６３により集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェース１８２を介して出力する。また、音声コーデック１８０は、音声インターフェース１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得る他、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース等の有線接続に対応したインターフェースや、無線ＬＡＮインターフェース、Ｂｌｕｅｔｏｏｔｈインターフェース等の無線接続に対応したインターフェースを採用できる。

外部メモリーインターフェース１８６は、可搬型のメモリーデバイスを接続可能なインターフェースである。外部メモリーインターフェース１８６は、例えば、カード型記憶媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェース回路とを含む。カード型記憶媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェースである。

ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェース回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。

センサーハブ１９２およびＦＰＧＡ１９４は、インターフェース（Ｉ／Ｆ）１９６を介して画像表示部２０に接続されている。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信されるデータの処理およびインターフェース１９６を介した伝送を実行する。インターフェース１９６は、画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０（図１）が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、制御装置１０のインターフェース１９６に接続される。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、ＨＭＤ１００の電源がオンオフされた場合等に所定の振動パターンでバイブレーター１９により振動を発生させる。

電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、制御装置１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、ＯＳ１４３への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、制御装置１０から画像表示部２０へと電力を供給してもよい。電源部１３０から制御装置１０の各部および画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。

右表示ユニット２２は、表示ユニット基板２１０と、ＯＬＥＤユニット２２１と、カメラ６１と、照度センサー６５と、ＬＥＤインジケーター６７と、温度センサー２１７とを備える。表示ユニット基板２１０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５とが実装されている。受信部２１３は、インターフェース２１１を介して制御装置１０から入力されるデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２２５（図２）へと出力する。

ＥＥＰＲＯＭ２１５は、各種のデータをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデータ等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを読み込んで各種の処理に利用する。

カメラ６１は、インターフェース２１１を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置１０へと出力する。照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。

左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェース２３１を介して制御装置１０から入力されるデータを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２４５（図２）へと出力する。

６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。６軸センサー２３５と磁気センサー２３７は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されている場合には、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向き、すなわち、使用者の視界が特定される。

温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５に内蔵されてもよい。詳細は温度センサー２１７と同様である。

右表示ユニット２２のカメラ６１、照度センサー６５、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、制御装置１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。センサーハブ１９２は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデータ形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。

ＦＰＧＡ１９４は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始および停止させることで、ＬＥＤインジケーター６７を点灯または消灯させる。

図６は、制御装置１０の構成を機能的に示すブロック図である。制御装置１０は、機能的には、記憶機能部１２２と、制御機能部１５０とを備える。記憶機能部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。記憶機能部１２２は、記憶機能部１２２のみを使用する構成に替えて、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８を使用する構成としてもよい。制御機能部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。

記憶機能部１２２には、制御機能部１５０における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部１２２には、設定データ１２３と、コンテンツデータ１２４と、が記憶されている。設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データ１２３には、制御機能部１５０がＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Look Up Table）等が含まれている。

コンテンツデータ１２４には、制御機能部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータ（画像データ、映像データ、音声データ等）が含まれている。なお、コンテンツデータ１２４には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部１１０によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部１５０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含み得る。映像データは、動画を示す動画データである。

制御機能部１５０は、記憶機能部１２２が記憶しているデータを利用して各種処理を実行することにより、ＯＳ１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、入出力制御部１５１、通信制御部１５３、無人航空機制御部１５５としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるコンピュータープログラムとして構成されている。

画像処理部１４５は、画像表示部２０により表示する画像／映像の画像データに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０がコンピュータープログラムを実行して実現される構成の他、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理や、ガンマ補正等である。２Ｄ／３Ｄ変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル４０を介して画像表示部２０へと送信する。

表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部１２２に一時的に記憶させる。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、撮像画像データをカメラ６１から取得して、記憶機能部１２２に一時的に記憶させる。

入出力制御部１５１は、タッチパッド１４（図１）と、方向キー１６と、決定キー１７とを適宜、制御して、これらから入力指令を取得する。取得した指令は、ＯＳ１４３、またはＯＳ１４３と共にＯＳ１４３上で動作するコンピュータープログラムに出力される。ＯＳ１４３、またはＯＳ１４３上で動作するコンピュータープログラムは、これらの入力指令に基づいて、画像表示部２０の画面に表示されるカーソルを移動させる。通信制御部１５３は、無線通信部１１７を制御して、外部機器との間で無線通信を行う。

無人航空機制御部１５５は、無人航空機４００との間で直接もしくは間接的に信号を送受信することによって、ＨＭＤ１００側から無人航空機４００を操縦することを可能としている。無人航空機制御部１５５の詳細については、後述する。

図７は、ＨＭＤ１００による拡張現実感表示の一例を示す説明図である。図７では、使用者の視界ＶＴを例示している。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実感（ＡＲ）としての画像ＡＩを視認する。図７の例では、画像ＡＩは、ＨＭＤ１００のＯＳのメニュー画面である。メニュー画面には、例えば、「メッセージ」、「電話」、「カメラ」、「ブラウザー」、「無人航空機」の各アプリケーションプログラムを起動するためのアイコンＩＣが含まれる。また、右左の導光板２６，２８が外界ＳＣからの光を透過することで、使用者は外界ＳＣを視認する。このように、本実施形態のＨＭＤ１００の使用者は、視界ＶＴのうち画像ＡＩが表示された部分については、外界ＳＣに重なるようにして画像ＡＩを見ることができる。また、視界ＶＴのうち画像ＡＩが表示されていない部分については、外界ＳＣだけを見ることができる。

Ａ−３．無人航空機とリモコン装置の構成：
図１に示すように、無人航空機４００は、４基のプロペラ４１０（２基は図示を省略）と、カメラ４２０と、を有する。無人航空機４００は、４基のプロペラ４１０によって、空中を自在にかつ安定的に飛び回ることができ、カメラ４２０によって、上空から地上を撮影することができる。

図８は、無人航空機４００の電気的な構成とリモコン装置５００の電気的な構成とを示すブロック図である。無人航空機４００は、４個のモーター４３０と、４個のＥＳＣ（Electronic Speed Controller）４３５と、ＧＮＳＳレシーバー４４０と、６軸センサー４５０と、無線通信部４６０と、Ｗｉ−Ｆｉ通信部４７０と、バッテリー４８０と、制御部４９０と、を備える。

各モーター４３０は、各プロペラ４１０と接続され、各プロペラ４１０を駆動する。各ＥＳＣは、各モーター４３０と接続され、入力信号に応じて各モーター４３０の回転数を制御する。

ＧＮＳＳレシーバー４４０は、図示しないＧＮＳＳアンテナを用いて、航法衛星から送信される電波を受信し、図示しないＧＮＳＳ回路を用いて、受信された電波を解析することにより、ＧＮＳＳ情報を取得する。ＧＮＳＳ情報は、緯度、経度、高度を含む位置情報や、撮影時刻および日付の情報を有する。ＧＮＳＳ情報によって、無人航空機４００は、機体（無人航空機４００）の現在位置（緯度、経度、高度）を知ることができる。

６軸センサー４５０は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー４５０は、これらセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。６軸センサー４５０によって、無人航空機４００は、機体の姿勢・速度などを知ることができる。

無線通信部４６０は、リモコン装置５００の有する無線通信部５４０との間における無線通信を実行する。Ｗｉ−Ｆｉ通信部４７０は、Ｗｉ−Ｆｉを含む無線ＬＡＮの規格に準拠した無線通信を行う。本実施形態では、後述するＷｉ−Ｆｉ航行モード時において、Ｗｉ−Ｆｉ通信部４７０は、ＨＭＤ１００の制御装置１０に備えられる無線通信部１１７との間でＷｉ−Ｆｉの電波のやり取りを行う。

バッテリー４８０は、無人航空機４００全体の電源であり、本実施形態では、リチウムポリマーバッテリーが採用されている。

制御部４９０には、カメラ４２０、各ＥＳＣ４３５、ＧＮＳＳレシーバー４４０、６軸センサー４５０、無線通信部４６０、Ｗｉ−Ｆｉ通信部４７０、およびバッテリー４８０がそれぞれ接続されている。制御部４９０は、メインプロセッサーと記憶部とを備えるマイクロコンピューターによって構成され、記憶部にプログラムを読み込んで実行することにより、種々の機能を実行する。具体的には、制御部４９０は、無線通信部４６０を介してリモコン装置５００との間で無線通信を実行して、リモコン装置５００からの制御指令に従って各モーター４３０の回転数を個別に制御する。この結果、制御部４９０は、リモコン装置５００からの指令に従って、機体を上昇、下降、前進、後進、左移動、右移動、ホバリングさせることができる。また、制御部４９０は、リモコン装置５００からの指令に従って、カメラ４２０による撮影を行うことができ、撮影画像をディスプレイ５１０に表示する。

制御部４９０は、さらに、自動航行モードＭ１にて、機体を移動することができる。自動航行モードＭ１は、目的地を示す位置情報を設定することによって、機体を自動的に目的地まで航行させるモードである。無人航空機４００は、前述したように、ＧＮＳＳレシーバー４４０によって機体の現在位置を知ることができることから、制御部４９０は、自動航行モードＭ１において、現在位置から目的地の位置までの方向と距離を常に演算し、方向と距離に応じて各モーター４３０の回転数を制御することによって、機体を目的地に自動的に移動させることができる。

自動航行モードＭ１を利用する機能の１つとして、例えば、無人航空機４００とリモコン装置５００との間の通信が途絶えた場合に、無人航空機４００を離陸地点に戻す機能がある。制御部４９０は、自動航行モードＭ１において、予め記憶しておいた離陸地点のＧＮＳＳ情報に含まれる位置情報を目的地に設定することによって、機体を離陸地点に戻すことができる。

図１に示すように、リモコン装置５００は、ディスプレイ５１０と、ジョイスティックタイプの操作部５２０と、を有する。また、図８に示すように、リモコン装置５００は、ＧＮＳＳレシーバー５３０と、無線通信部５４０と、ＵＳＢコネクター５５０と、制御部５９０と、を備える。

ＧＮＳＳレシーバー５３０は、図示しないＧＮＳＳアンテナを用いて、ＧＮＳＳ衛星から送信される電波を受信し、図示しないＧＮＳＳ回路を用いて、受信された電波を解析することにより、ＧＮＳＳ情報を取得する。ＧＮＳＳ情報は、緯度、経度、高度を含む位置情報や、撮影時刻および日付の情報を有する。ＧＮＳＳ情報によって、リモコン装置５００は、リモコン装置５００の現在位置（緯度、経度、高度）を知ることができる。

無線通信部５４０は、無人航空機４００の有する無線通信部４６０との間における無線通信を実行する。ＵＳＢコネクター５５０は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェース回路とを含む。ＵＳＢコネクター５５０は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェースである。本実施形態では、ＵＳＢコネクター５５０は、ＵＳＢケーブル３５０を介して、ＨＭＤ１００の制御装置１０に備えられたＵＳＢコネクター１８８と接続されている。制御装置１０に備えられたＵＳＢコネクター１８８が、「無人航空機４００との間の無線通信を利用した通信を行い得る通信部」に相当する。なお、リモコン装置５００と制御装置１０との間の接続は、ＵＳＢ接続に限る必要はなく、その他の有線の接続によるものであってもよい。さらに、有線に替えて、無線によってリモコン装置５００と制御装置１０との間を接続する構成であってもよい。

制御部５９０には、ディスプレイ５１０、操作部５２０、ＧＮＳＳレシーバー５３０、無線通信部５４０、およびＵＳＢコネクター５５０がそれぞれ接続されている。制御部５９０は、メインプロセッサーと記憶部とを備えるマイクロコンピューターによって構成され、記憶部にプログラムを読み込んで実行することにより、種々の機能を実行する。具体的には、制御部５９０は、操作部５２０からの操作指令を、無人航空機４００に対して送信することによって、無人航空機４００に、上昇、下降、前進、後進、左移動、右移動、ホバリングといった飛行形態を指令する。また、制御部５９０は、無人航空機４００に対して、カメラ４２０による撮影を指令する。

Ａ−４．ＨＭＤによる帰還処理：
図６を用いて先に説明したように、ＨＭＤ１００に備えられた制御装置１０は、制御機能部１５０の１つとして、無人航空機４００を操縦する無人航空機制御部１５５を備える。無人航空機制御部１５５は、リモコン装置５００の操作部５２０をソフトウェア的に実現した操作画面（例えば、図１４の操作画面ＣＢ）を、画像表示部２０に表示させ、ＨＭＤ１００の使用者によってこの操作画面に入力された操作指令を、リモコン装置５００に送信することによって、リモコン装置５００の有する機能を利用して、ＨＭＤ１００側から無人航空機４００を操縦する。無人航空機制御部１５５は、リモコン装置５００の全ての機能を有してもよく、リモコン装置５００の全ての機能のうちの一部だけでもよい。また、無人航空機制御部１５５は、上記の操作画面から撮影指令を受けた場合に、撮影指令をリモコン装置５００に送信することによって、リモコン装置５００の有する機能を利用して、ＨＭＤ１００側から無人航空機４００に対して、カメラ４２０による撮影を指令する。

また、操作部５２０をソフトウェア的に実現した操作画面には、「リターン・トゥ・ＨＭＤ」と呼ばれるソフトウェアボタンが用意されている。このソフトウェアボタンが方向キー１６（図１）と決定キー１７（図１）とによって操作された場合に、無人航空機制御部１５５は、ＨＭＤ１００の元に無人航空機４００を帰還させる帰還処理を実行する（帰還処理部１５５ａ）。

図９は、帰還処理を示すフローチャートである。この帰還処理は、図６に示した帰還処理部１５５ａによる処理であり、ＨＭＤ１００のメインプロセッサー１４０によって実行される。図７に例示したメニュー画面の「無人航空機」のアイコンＩＣが方向キー１６（図１）と決定キー１７（図１）とによって指示され、その後に、起動された「無人航空機」のアプリケーションプログラムにおいて、「リターン・トゥ・ＨＭＤ」のソフトウェアボタンが操作された場合に、帰還処理は実行開始される。

処理が開始されると、ＨＭＤ１００のメインプロセッサー１４０は、まず、ＧＮＳＳレシーバー１１５からＧＮＳＳ情報を取得する（Ｓ１１０）。メインプロセッサー１４０とＳ１１０の処理が、「ＧＮＳＳ情報取得部」に相当する。

次いで、メインプロセッサー１４０は、取得したＧＮＳＳ情報に含まれる位置情報（緯度、経度、高度）を目的地に設定した自動航行モードＭ１（図８）での航行を、無人航空機４００に対して指示する（Ｓ１２０）。この指示は、ＨＭＤ１００の制御装置１０の現在位置に無人航空機４００を帰還させる指示を、リモコン装置５００を介して無人航空機４００に対して行う。

続いて、メインプロセッサー１４０は、カメラ６１を起動して、使用者の視線方向の外界を撮影する（Ｓ１３０）。この撮影される外界は、使用者によって画像表示部２０を通して視認可能な視界に相当する。

続いて、メインプロセッサー１４０は、カメラ６１により撮影された画像の中に無人航空機４００が含まれるか否かを判定する（Ｓ１４０）。具体的には、無人航空機４００の形状的な特徴を示す画像を目的画像として準備し、パターンマッチングによって、撮影された画像の中から目的画像と一致度の高い画像部分が検出された場合に、撮影された画像の中に無人航空機４００が含まれていると判定する。

なお、無人航空機４００の形状的な特徴を示す画像を目的画像とする構成に替えて、無人航空機４００に予めマーカーを貼り付け、マーカーを目的画像としてもよい。マーカーは、二次元マーカーであり、パターンマッチングする目的画像を指定するための標識となる。

図１０は、使用者によって画像表示部２０を通して視認可能な視界を説明するための図である。図中において、例えば、２点鎖線で示した範囲が、画像表示部２０を通して視認可能な視界ＷＡである。Ｓ１４０による判定処理によって、視界ＷＡ内に無人航空機４００が進入したか否かが判定されることになる。

図９に戻り、Ｓ１４０で、撮影された画像の中に無人航空機４００が含まれていないと判定された場合、すなわち、視界ＷＡ内に無人航空機４００が進入していないと判定された場合には、メインプロセッサー１４０は、無人航空機４００がＳ１２０で設定した目的地に到着したか否かを判定する（Ｓ１５０）。目的地に到着したか否かは、リモコン装置５００が無人航空機４００と通信することによって把握しており、リモコン装置５００に問い合わせることによって、Ｓ１５０の判定がなされる。

Ｓ１５０で、目的地に到着していないと判定された場合、すなわち、視界ＷＡ内に無人航空機４００が進入しておらず、かつ目的地に到着していないと判定された場合には、メインプロセッサー１４０は、Ｓ１１０に処理を戻して、自動航行モードＭ１での帰還を継続して実行させる。図１０に例示するように、無人航空機４００は、視界ＷＡの外側を飛行している場合には、自動航行モードＭ１で航行する。

メインプロセッサー１４０は、Ｓ１１０からＳ１４０までの処理を繰り返し実行し、Ｓ１４０で、撮影された画像の中に無人航空機４００が含まれていると判定された場合、すなわち、視界ＷＡ内に無人航空機４００が進入していると判定された場合には、無人航空機４００に対して、自動航行モードでの航行を中止し、Ｗｉ−Ｆｉ航行モードでの航行を指示する（Ｓ１６０）。

図１１は、Ｗｉ−Ｆｉ航行モードを説明するための図である。Ｗｉ−Ｆｉ航行モードＭ２（図６参照）では、ＨＭＤ１００の制御装置１０と無人航空機４００との間でＷｉ−Ｆｉの電波Ｂ１，Ｂ２のやり取りを行い、Ｗｉ−Ｆｉの電波強度の変化から無人航空機４００の航行ルートを定める。具体的には、Ｗｉ−Ｆｉの電波強度が強くなる方向に航行ルートを定める。メインプロセッサー１４０は、Ｗｉ−Ｆｉ航行モードＭ２において、無人航空機４００からのＷｉ−Ｆｉの電波強度を測定し、電波強度の変化から、電波強度が強くなる方向を推定し、この電波強度が強くなる方向を航行ルートとし、この航行ルートを飛行するように、リモコン装置５００を介して無人航空機４００に対して飛行形態を指示する。飛行形態とは、上昇、下降、前進、後進、左移動、右移動、ホバリング等の機体の動きである。

なお、リモコン装置５００を介して無人航空機４００に飛行形態を指示する構成に替えて、制御装置１０が、無線通信部１１７から直接、無人航空機４００に飛行形態を指示する構成としてもよい。さらに、電波強度が強くなる方向を推定し、この電波強度が強くなる方向を航行ルートと求める処理を、制御装置１０の側で行うのではなく、無人航空機４００の制御部４９０で行い、この求めた航行ルートに従って、制御部４９０が、無人航空機４００の飛行形態を制御する構成としてもよい。

図９のＳ１６０の実行後、メインプロセッサー１４０は、無人航空機４００がＨＭＤ１００の制御装置１０の位置まで到着したか否かを判定し（Ｓ１７０）、到着するまで、Ｗｉ−Ｆｉ航行モードＭ２での帰還を継続して実行させる。図１０に例示するように、無人航空機４００は、視界ＷＡ内を飛行している場合には、Ｗｉ−Ｆｉ航行モードＭ２で航行する。ただし、到着する直前においては、無人航空機４００がＨＭＤ１００や使用者に衝突しないように、無人航空機４００は、カメラ４２０で障害物（ここでは、ＨＭＤ１００や使用者）を認識し、予め設定した距離を離して自動着陸する。

Ｓ１７０またはＳ１５０で、到着したと判定された場合には、メインプロセッサー１４０は、この帰還処理を終了する。

Ａ−５．実施形態の効果について：
以上のように構成された第１実施形態のＨＭＤ１００によれば、無人航空機４００が自動航行モードＭ１で制御装置１０へ向かって航行している場合に、画像表示部２０を通して視認可能な視界ＷＡ内に無人航空機４００が進入したときに、自動航行モードＭ１を中止して、Ｗｉ−Ｆｉの電波強度の変化から航行ルートを定めるＷｉ−Ｆｉ航行モードＭ２で、無人航空機４００を航行させる。このため、ＨＭＤ１００によれば、精度の低いＧＮＳＳ情報を利用した自動航行モードＭ１での航行を取りやめることができることから、ＨＭＤ１００まで高い精度で帰還させることが可能となる。特に本実施形態では、自動航行モードＭ１から切り替えられるＷｉ−Ｆｉ航行モードＭ２は、Ｗｉ−Ｆｉ電波の強度の変化から航行ルートを定めるもので、高い精度での航行を可能とする。このため、ＨＭＤ１００までの帰還をより高い精度で行うことができる。

第１実施形態の変形例として、Ｗｉ−Ｆｉ航行モードＭ２に替えて、Ｗｉ−Ｆｉ以外の電波、例えば、無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ、ｉＢｅａｃｏｎ（登録商標）等の強度によって、航行ルートを定めるモードとしてもよい。

Ｂ．第２実施形態：
図１２は、第２実施形態のＨＭＤで実行される帰還処理を示すフローチャートである。第２実施形態のＨＭＤで実行される帰還処理は、第１実施形態における帰還処理（図９）と比較して、Ｓ１６０に対応するＳ２６０の処理が相違し、その他のステップの処理は同一である。第２実施形態のＨＭＤのハードウェア構成は、第１実施形態のＨＭＤ１００のハードウェア構成と同一である。なお、以下の説明において、第１実施形態と同一のパーツについては、第１実施形態と同じ符号を付ける。

図１２の帰還処理におけるＳ２６０では、メインプロセッサー１４０は、無人航空機４００に対して、自動航行モードでの航行を中止し、デッドレコニング航行モードでの航行を指示する。すなわち、画像表示部２０を通して視認可能な視界ＷＡ内に無人航空機４００が進入した場合に、第１実施形態の帰還処理では、自動航行モードＭ１からＷｉ−Ｆｉ航行モードＭ２への切り替えを実行していたが、これに替えて、第２実施形態の帰還処理では、自動航行モードＭ１からデッドレコニング航行モードへの切り替えを行う。

無人航空機４００には、６軸センサー４５０が備えられている。６軸センサー４５０の検出信号から、無人航空機４００の機体の姿勢・速度などを知ることができる。このため、無人航空機４００が離陸前の状態にあるときの６軸センサー４５０の検出信号の値（検出値）を初期値とし、その初期値に６軸センサー４５０の検出値を逐次足し合わせる（積算する）ことによって、その初期値に該当する位置を基準とした相対的な位置と姿勢（無人航空機４００の位置と姿勢）を求めることができる。この対象の位置と姿勢を求める方法が、「デッドレコニング(Dead-Reckoning)」と呼ばれるものである。

一方、第２実施形態のＨＭＤの制御装置にも、第１実施形態と同様に６軸センサー１１１（図５）が設けられている。このため、デッドレコニングの手法を採用することによって、初期値に該当する位置と姿勢を基準とした相対的な位置と姿勢（ＨＭＤの制御装置の位置と姿勢）を求めることができる。帰還処理を実行する前に、無人航空機４００についての前記初期値に該当する位置と姿勢を、ＨＭＤの制御装置の前記初期値に該当する位置にキャリブレーションした上で、無人航空機４００側、ＨＭＤの制御装置側ともにデッドレコニングを行うことによって、ＨＭＤの制御装置の現在の位置と姿勢に対する、無人航空機４００の現在の位置と姿勢とを求めることができる。

Ｓ２６０で実行されるデッドレコニング航行モードにおいて、制御装置のメインプロセッサーは、上述したようにして、ＨＭＤの制御装置の現在の位置と姿勢に対する、無人航空機４００の現在の位置と姿勢とを求め、求めた位置と姿勢とから航行ルートを求め、この航行ルートを飛行するように、リモコン装置５００を介して無人航空機４００に対して飛行形態を指示する。飛行形態とは、上昇、下降、前進、後進、左移動、右移動、ホバリング等の機体の動きである。

なお、リモコン装置５００を介して無人航空機４００に飛行形態を指示する構成に替えて、制御装置が、無線通信部１１７（図５）から直接、無人航空機４００に飛行形態を指示する構成としてもよい。さらに、ＨＭＤの制御装置の現在の位置と姿勢に対する、無人航空機４００の現在の位置と姿勢とを求め、求めた位置と姿勢とから航行ルートを求める処理を、制御装置１０の側で行うのではなく、無人航空機４００の制御部４９０で行い、この求めた航行ルートに従って、制御部４９０が、無人航空機４００の飛行形態を制御する構成としてもよい。

デッドレコニング航行モードによれば、６軸センサー１１１，４５０の検出信号を利用して、ＨＭＤの制御装置の現在の位置と姿勢に対する、無人航空機４００の現在の位置と姿勢とを、高精度に求めることができる。このため、第２実施形態のＨＭＤによれば、第１実施形態のＨＭＤ１００と同様に、無人航空機４００をＨＭＤまで高い精度で帰還させることができる。

Ｃ．第３実施形態：
図１３は、第３実施形態のＨＭＤで実行される帰還処理を示すフローチャートである。第３実施形態のＨＭＤで実行される帰還処理は、第１実施形態における帰還処理（図９）と比較して、Ｓ１６０に対応するＳ２６０の処理が相違し、その他のステップの処理は同一である。第３実施形態のＨＭＤのハードウェア構成は、第１実施形態のＨＭＤのハードウェア構成と同一である。以下の説明において、第１実施形態と同一のパーツについては、第１実施形態と同じ符号を付ける。

図１３の帰還処理におけるＳ１６０では、メインプロセッサー１４０は、無人航空機４００に対して、自動航行モードでの航行を中止し、手動航行モードでの航行を指示する。すなわち、画像表示部２０を通して視認可能な視界ＷＡ内に無人航空機４００が進入した場合に、第１実施形態の帰還処理では、自動航行モードＭ１からＷｉ−Ｆｉ航行モードＭ２への切り替えを実行していたが、これに替えて、第３実施形態の帰還処理では、自動航行モードＭ１から手動航行モードへの切り替えを行う。

図１４は、リモコン装置５００（図１）の操作部５２０をソフトウェア的に実現した操作画面ＣＢを示す説明図である。操作画面ＣＢは画像表示部２０によって表示される。使用者は、方向キー１６（図１）と決定キー１７（図１）とを用いて操作画面ＣＢに対して入力操作を行う。手動航行モードでは、メインプロセッサー１４０は、操作画面ＣＢに入力された操作指令を、リモコン装置５００に送信することによって、リモコン装置５００の有する機能を利用して、ＨＭＤ１００側から無人航空機４００を操縦する。

なお、操作画面に入力された操作指令を、リモコン装置５００を介して無人航空機４００に送る構成に替えて、制御装置が、無線通信部１１７（図５）から直接、無人航空機４００に送る構成としてもよい。

以上のように構成された第３実施形態のＨＭＤによれば、無人航空機４００が自動航行モードＭ１で制御装置１０へ向かって航行している場合に、画像表示部２０を通して視認可能な視界ＷＡ内に無人航空機４００が進入したとき、ＧＮＳＳ情報を利用した自動航行モードＭ１を中止して、手動航行モードで無人航空機４００を航行させる。このため、第３実施形態のＨＭＤによれば、精度の低いＧＮＳＳ情報を利用した自動航行モードＭ１での航行を取りやめることができることから、第１および第２実施形態と同様に、ＨＭＤ１００まで高い精度で帰還させることが可能となる。

第３実施形態の変形例として、６軸センサー１１１、４５０を、３軸の加速度センサーだけを有する慣性センサーに替えてもよい。

Ｄ．第４実施形態：
図１５は、第４実施形態のＨＭＤにおいて表示される操作画面ＣＢＸを示す説明図である。操作画面ＣＢＸは、第３実施形態における操作画面ＣＢ（図１４）に相当するものである。操作画面ＣＢＸは、第３実施形態における操作画面ＣＢと比較して、画像表示部２０による表示位置が相違するだけで、形状や機能は同一である。その他のソフトウェア構成やハードウェア構成は、第３実施形態のＨＭＤと同一である。

図１５において、破線は、第３実施形態の操作画面ＣＢの表示位置を示している。第３実施形態では、視界ＶＴ内に無人航空機４００が進入した場合に、視界ＶＴ内の無人航空機４００の位置と操作画面ＣＢとが重なることがあった。これに対して、第４実施形態のＨＭＤでは、視界ＶＴ内の無人航空機４００の位置から離れた位置となるように、操作画面ＣＢＸの位置が変更される。具体的には、図９のＳ１４０で、パターンマッチングによって無人航空機４００が検出される位置を求め、その位置から視界ＶＴ内の無人航空機４００の位置を推定し、推定された位置から離れた位置に操作画面ＣＢＸを移動する。この結果、視界ＶＴ内の無人航空機４００の位置およびその周囲は、外界を透過することができ、無人航空機４００を使用者は確実に確認することができる。

したがって、第４実施形態のＨＭＤでは、第３実施形態と同様に、ＨＭＤ１００まで高い精度で帰還させることができる。特に第４実施形態のＨＭＤでは、視界ＶＴにおいて、無人航空機４００が操作画面ＣＢＸによって隠されることがないことから、無人航空機４００を手動にて帰還させる操作性を向上させることができる。なお、本実施形態における、無人航空機４００の位置と操作画面ＣＢとが重ならないように操作画面ＣＢの表示位置を変更する構成は、第１実施形態、および第２実施形態においても採用するようにしてもよい。

Ｅ．第５実施形態：
図１６は、第５実施形態のＨＭＤで実行される帰還処理を示すフローチャートである。第５実施形態の説明は、第１実施形態と異なる点を主な対象とする。特に説明しない点については、第１実施形態と同じである。

本実施形態における帰還処理は、複数の無人航空機４００を対象にすることができる。但し、まず１つの無人航空機４００のみを対象にする場合（以下「個体が１つの場合」という）を例にとって説明をする。その後、複数の無人航空機４００を対象にした場合を説明する。複数の無人航空機４００それぞれが異なるものであるとして表現する場合は、無人航空機４００を個体と呼ぶ。

まず、メインプロセッサー１４０は、各個体について、ＨＭＤ１００までの距離（以下、操縦距離）を取得する（Ｓ６１０）。Ｓ６１０には、実施形態１で説明した測距センサーが用いられる。

次に、メインプロセッサー１４０は、無人航空機４００の個体を識別する（Ｓ６２０）。但し、Ｓ６２０は、個体が１つの場合においては不要なステップであるので、詳細については、複数の無人航空機４００を対象にした場合の説明と共に後述する。

次に、メインプロセッサー１４０は、無人航空機４００を、操縦距離がＬ１より大きい個体と、操縦距離がＬ１以下の個体とに分類する（Ｓ６３０）。個体が１つの場合においては、その個体についての操縦距離がＬ１より大きいのか、操縦距離がＬ１以下なのかを判定することになる。

図１７は、Ｌ１，Ｌ２を示す図である。Ｌ１は、例えば１０ｍである。Ｌ１は、後述するように、手動航行モードに移行するための境界値として用いられる。人間は、約１０ｍまでは両眼視差が最も支配的であり、奥行き感度が最も高い。このため、本実施形態におけるＬ１は、１０ｍに設定されている。別の形態において、境界値は、例えば１１ｍ〜９ｍでもよい。

Ｌ２は、Ｌ１よりも長い距離である。本実施形態では、Ｌ２は、例えば、１５ｍである。Ｌ２は、後述する第１処理において用いられるので、第１処理と共に説明する。

次に、メインプロセッサー１４０は、図１８に示す第１処理を実行する（Ｓ７００）。第１処理は、操縦距離がＬ１より大きい個体を対象にする処理である。従って、操縦距離がＬ１より大きい個体が無ければ、実質的に第１処理はスキップされる。

メインプロセッサー１４０は、まず、ＧＮＳＳレシーバー１１５からＧＮＳＳ情報を取得する（Ｓ７１０）。次いで、メインプロセッサー１４０は、取得したＧＮＳＳ情報に含まれる位置情報を目的地に設定した自動航行モードＭ１での航行を、無人航空機４００に対して指示する（Ｓ７２０）。

次に、メインプロセッサー１４０は、操縦距離がＬ１以下の個体があるかを判定する（Ｓ７３０）。個体が１つの場合、その個体の操縦距離がＬ１以下であるとき、メインプロセッサー１４０は、Ｓ７３０でＮＯと判定し、第１処理を終える。一方、その無人航空機４００の操縦距離がＬ１より大きいとき、メインプロセッサー１４０は、Ｓ７３０でＹＥＳと判定し、Ｓ７４０に進む。

メインプロセッサー１４０は、Ｓ７４０において、Ｌ１＜操縦距離＜Ｌ２を満たす個体があるかを判定する。個体が１つの場合、その個体の操縦距離がＬ１より大きいはずなので、Ｓ７４０では、その無人航空機４００の操縦距離がＬ２より小さいかが判定される。

その無人航空機４００の操縦距離がＬ２以上である場合、メインプロセッサー１４０は、Ｓ７４０でＮＯと判定し、最も操縦距離が近い個体を用いて、第１態様で表示する（Ｓ７５０）。個体が１つの場合、最も操縦距離が近い個体とは、その１つの個体のことになる。

図１９は、第１態様による表示を例示する。第１態様は、画像ＡＩとして表示可能な全範囲において、無人航空機４００のカメラ４２０によって撮像された無人機画像Ｃを表示することを特徴とする。

ＨＭＤ１００の使用者は、視界ＶＴのうち画像ＡＩが表示された部分については、画像ＡＩに重なるようにして外界ＳＣを見ることができる。図１９では、画像ＡＩと重なった外界ＳＣは、破線で示されている。図１９に示された無人航空機４００は、画像ＡＩと重なった外界ＳＣの一部として視認される。無人航空機４００は、操縦距離がＬ２以上であるため、小さく見える。

図１９に示されるように、第１態様による表示には、航行モードＲと、位置情報Ｐとが含まれる。後述する第２，第３態様の表示にも、航行モードＲと、位置情報Ｐとが含まれる。航行モードＲとは、航行モードを示す情報のことである。図１９には、航行モードＲとして「ＡＵＴＯ」という文字が示されている。「ＡＵＴＯ」は、自動航行モードを示すと共に、第１態様による表示であることを示している。

位置情報Ｐは、無人航空機４００の位置を示す。位置情報Ｐは、垂直線と、水平線と、３つの同心円とに対して点がプロットされることによって、操縦距離と、方角とを示す。図１９は、点Ｐ１がプロットされた様子を示す。

垂直線と水平線との交点は、３つの同心円の中心に一致している。位置情報Ｐは、操縦距離および方角の情報を、極座標系によって示す。つまり、操縦距離の情報は、動径として示される。この動径とは、プロットされた点と、同心円の中心との距離のことである。３つの同心円のうち最も半径が短い円の半径は、Ｌ１に相当する。３つの同心円のうち２番目に半径が短い円の半径は、Ｌ２に相当する。

方角の情報は、偏角として示される。この偏角とは、垂直線と、仮想線とがなす角度のことである。この仮想線は、プロットされた点と、同心円の中心とを結ぶ仮想線のことであり、表示されない。ＨＭＤ１００の真正面に位置する場合、点は、垂直線上、且つ、中心よりも上部にプロットされる。

一方、メインプロセッサー１４０は、上記１つの無人航空機４００の操縦距離がＬ２未満である場合、Ｓ７４０でＹＥＳと判定し、Ｓ７５０に進む。メインプロセッサー１４０は、Ｓ７５０において、Ｌ１＜操縦距離＜Ｌ２を満たす個体に対し、減速モードによる航行を指示する。減速モードとは、通常の自動航行モードよりも速度を落として自動航行するモードである。

次に、メインプロセッサー１４０は、最も操縦距離が近い個体を用いて、第２態様で表示する（Ｓ７７０）。図２０は、第２態様による表示を例示する。第２態様は、画像ＡＩとして表示可能な範囲の一部において、無人機画像Ｃを表示することを特徴とする。このように表示するのは、外界ＳＣの一部としての無人航空機４００を視認しやすくするためである。第２態様における航行モードＲは、「ＷＡＩＴ」という文字によって示される。「ＷＡＩＴ」は、手動航行モードではないこと（つまり自動航行モードであること）を示すと共に、第２態様による表示であることを示す。

メインプロセッサー１４０は、Ｓ７５０又はＳ７７０を終えると第１処理を終え、第２処理を実行する（Ｓ８００）。

図２１は、第２処理を示すフローチャートである。第２処理は、操縦距離がＬ１以下の個体を対象にする処理である。従って、操縦距離がＬ１以下の個体が無ければ、実質的に第２処理はスキップされる。

まず、メインプロセッサー１４０は、操縦距離がＬ１の個体にホバリングを指示する（Ｓ８１０）。Ｓ８１０によってホバリングを指示された個体は、操縦距離がＬ１の位置においてホバリングを実施する。操縦距離がＬ１よりも遠い位置から帰還を開始した個体は、少なくとも一度、Ｓ８１０によってホバリングを実行することになる。そして、Ｓ８１０によってホバリングを指示された個体は、後述するＳ８６０によって手動航行モードによる航行を指示されるまでホバリングを継続する。

次に、メインプロセッサー１４０は、個体の選択を受け付ける（Ｓ８２０）。個体の選択とは、手動航行モードの対象にする個体を選択することである。Ｓ８２０は、個体が１つの場合、その個体が自動的に選択される。

次に、メインプロセッサー１４０は、選択されている個体（以下、選択機）が変更されたかを判定する（Ｓ８３０）。選択機が変更された場合には、選択された個体が無い状態から、或る個体が選択された場合が含まれる。従って、個体が１つの場合に、その個体の操縦距離がＬ１に到達したとき、Ｓ８３０ではＹＥＳと判定され、Ｓ８４０に進む。

メインプロセッサー１４０は、Ｓ８４０に進むと、カメラ６１により撮影された画像の中に、選択機が含まれるか否かを判定する。撮影された画像の中に選択機が含まれない場合（Ｓ８４０，ＮＯ）、メインプロセッサー１４０は、選択機に対し、ホバリングを指示する（Ｓ８５０）。一方、撮影された画像の中に選択機が含まれる場合（Ｓ８４０，ＹＥＳ）、メインプロセッサー１４０は、選択機に対し、手動航行モードでの航行を指示する（Ｓ８６０）。

Ｓ８５０又はＳ８６０の後、メインプロセッサー１４０は、選択されていない個体に対し、現在位置でホバリングを指示する（Ｓ８７０）。個体が１つの場合、Ｓ８７０は実質的にスキップされる。次に、メインプロセッサー１４０は、選択機を用いて、第３態様による表示を実行し（Ｓ８８０）、第２処理を終える。

図２２は、第３態様による表示を例示する。第３態様の場合、航行モードＲには「ＭＡＮＵＡＬ」と表示される。「ＭＡＮＵＡＬ」は、手動航行モードであることを示すと共に、第３態様による表示であることを示す。第３態様の場合、強調表示として、選択機を２重の破線で囲う。

メインプロセッサー１４０は、第２処理を終えると、全個体が目的地に到着したかを判定する（Ｓ９００）。個体が１つの場合は、その個体が目的地に到着したかを判定する。その個体が目的地に到着していない場合（Ｓ９００，ＮＯ）、Ｓ６１０に戻る。その個体が目的地に到着した場合（Ｓ９００，ＹＥＳ）、メインプロセッサー１４０は、帰還処理を終える。

続いて、複数の無人航空機４００を対象にした場合を説明する。個体が１つの場合と特に変わらないステップについては、適宜、説明を省略する。

メインプロセッサー１４０は、Ｓ６２０において、個体を識別する。本実施形態においては、複数の無人航空機４００それぞれについて、固有の識別記号が割り当てられている。無人航空機４００は、無線通信部４６０を用いて、自身の識別番号と、ＧＮＳＳレシーバー４４０によって取得したＧＮＳＳ情報とを定期的に送信する。以下、これらの情報を合わせて、識別情報と呼ぶ。

メインプロセッサー１４０は、識別記号を用いて、操縦対象である個体と、操縦対象でない個体とを分別する。メインプロセッサー１４０は、操縦対象である個体を対象に、Ｓ６１０において取得した各個体の操縦距離と、各個体から受信した識別情報と、ＧＮＳＳレシーバー１１５によって取得される制御装置１０のＧＮＳＳ情報とを加味することによって、各個体の操縦距離と、識別番号との組み合わせとして尤もらしいものを推定する。このようにしてＳ６２０が実現される。

なお、他の形態においては、識別番号に加えて或いは代えて、機影に基づき個体を推測してもよいし、航路と個体の位置に基づき個体を推定してもよい。

次に第１処理について、Ｓ７３０から説明する。操縦距離がＬ１以下の個体がある場合に（Ｓ７３０，ＹＥＳ）、第１処理を終えるのは、第３態様による表示を実行するために、Ｓ７４０〜Ｓ７７０をスキップすることを目的としている。

図２３は、個体が複数である場合における第３態様の表示を例示する。図２３は、操縦対象の個体として無人航空機４００ａ，４００ｂ，４００ｃを示し、操縦対象外の個体として無人航空機４００ｄを示している。

無人航空機４００ａの操縦距離は、Ｌ１より小さい。無人航空機４００ｂの操縦距離は、Ｌ１である。無人航空機４００ｃ，ｄの操縦距離は、Ｌ１より大きく、Ｌ２より小さい。

第３態様では、選択機の周囲に、二重の破線を表示する。図２３に示されている場合では、無人航空機４００ａが選択機であるので、無人航空機４００ａの周囲に二重の破線が表示されている。

第３態様では、選択されていない個体であって、選択可能な個体の周囲に、一重の破線を表示する。選択可能な個体とは、操縦距離がＬ１以下であること、及び、視界ＷＡ内に進入していることを満たす個体である。図２３に示されている場合、無人航空機４００ｂが、選択されていない個体であって、選択可能な個体に該当するので、無人航空機４００ｂの周囲に一重の破線が表示されている。

本実施形態において、個体の選択は、ポインターＱを用いて実行される。ポインターＱは、画像ＡＩ内において、虚像として表示される。使用者は、操作部１１０を用いて、ポインターＱの位置を移動させることができる。使用者が選択したい個体の機影にポインターＱを重ねた状態で、操作部１１０による選択操作を実行すると、その機影に該当する個体が選択機になる。新たな個体が選択されると、それまで選択機だった個体は、選択されていない個体になり、現在位置でホバリングを指示される（Ｓ８７０）。

なお、本実施形態において、個体の選択は、位置情報Ｐとして表示された点を選択することによっても実行できる。

第３態様では、操縦対象外の個体であって、操縦距離がＬ２以下の個体の機影に対し、操作対象外であること示す画像を重畳表示する。図２３では、無人航空機４００ｄに対し、Ｘ字状の画像が重畳表示されている。

本実施形態によれば、操縦距離に応じて表示の態様を変化させるので、手動航行モードを用いた帰還の際に、使用者が無人航空機４００を視認しやすくなる。さらに、複数の無人航空機４００を手動航行モードで帰還させる際、個体を１つずつ操作できるので、各々の目的地に順番に着陸させることができる。

Ｆ．第６実施形態：
第６実施形態を説明する。第６実施形態の説明は、第５実施形態と異なる点を主な対象とする。特に説明しない点については、第５実施形態と同じである。

図２４は、第６実施形態における第２処理を示すフローチャートである。第６実施形態では、第５実施形態において実行されるＳ８７０の代わりに、Ｓ８７５が実行される。Ｓ８７５では、メインプロセッサー１４０は、選択されていない個体に対し、選択機を追従する自動航行（以下、追従航行）を指示する。

追従航行を指示された個体が１つだけの場合、その個体は、選択機との操縦距離を所定距離に維持するように航行する。選択機との操縦距離は、カメラ４２０による撮像画像に基づき推定する。追従航行する個体は、選択機が目的地に到着した後、自動航行によって選択機の近傍に着陸する。

追従航行を指示された個体が複数の場合、それら複数の個体のうち、選択機に最も距離が近い個体が、選択機との操縦距離を所定操縦距離に維持するように航行する。追従航行を指示された複数の個体のうち、選択機にｎ（ｎは２以上の整数）番目に操縦距離が近い個体は、ｎ−１番目に操縦距離が近い個体との操縦距離を所定距離に維持するように航行する。本実施形態によれば、複数の個体を一遍に帰還させることができる。

Ｇ．第７実施形態：
第７実施形態を説明する。第７実施形態の説明は、第５実施形態と異なる点を主な対象とする。特に説明しない点については、第５実施形態と同じである。

図２５は、第７実施形態における第２処理を示すフローチャートである。第７実施形態においては、第５実施形態におけるＳ８３０及びＳ８７０は、省略される。このため、個体が選択されると（Ｓ８２０）、Ｓ８４０が実行される。Ｓ８４０でＹＥＳと判定されると、Ｓ８６０の代わりに、Ｓ８６５及びＳ８６７が実行される。

メインプロセッサー１４０は、Ｓ８６５において、選択機に対し、目的地を指示する。第５実施形態においては、第１実施形態と同じく、離陸地点が目的地として指示される（Ｓ７２０）。Ｓ７２０において、離陸地点が目的地として指示されるのは、第７実施形態においても同じである。但し、第７実施形態においては、Ｓ７２０における指示は、仮の目的地であり、Ｓ８６５において、改めて目的地が指示される。

図２６は、目的地を指示するための画像ＡＩを例示する。Ｓ８６５において、画像ＡＩとして、地図が表示される。使用者は、ポインターＱを操作して、目的地を指示する。なお、別の形態では、タブレット端末などを用いて、目的地を指示してもよい。

メインプロセッサー１４０は、Ｓ８６５において目的地が指示された個体に対し、Ｗｉ−Ｆｉ航行モードでの航行を指示する（Ｓ８６７）。別の形態では、デッドレコニング航行モードでの航行を指示してもよい。なお、本実施形態においては、一度、Ｗｉ−Ｆｉ航行モードでの航行が指示された個体は、Ｓ８２０における選択対象から除外される。本実施形態によれば、複数の個体を対象に、別々の目的地に自動で着陸させることができる。

Ｈ．第８実施形態：
第８実施形態を説明する。第８実施形態の説明は、第５実施形態と異なる点を主な対象とする。特に説明しない点については、第５実施形態と同じである。

図２７は、第８実施形態における帰還処理を示すフローチャートである。第８実施形態においては、Ｓ６２０の後、且つ、Ｓ６３０の前に、設定処理が実行される（Ｓ１０００）。

図２８は、設定処理を示すフローチャートである。メインプロセッサー１４０は、カメラ４２０による撮像画像から、各個体の機体の色を取得する（Ｓ１０１０）。続いて、メインプロセッサー１４０は、カメラ４２０による撮像画像から、各個体の周囲の背景色を取得する（Ｓ１０２０）。

続いて、メインプロセッサー１４０は、個体毎に、Ｌ１，Ｌ２としての距離の値を設定する（Ｓ１０３０）。Ｓ１０３０は、Ｓ１０１０及びＳ１０２０における取得結果が利用される。具体的には、背景色との関係で、機体が見やすければ、Ｌ１，Ｌ２の値を大きめの値に設定し、反対に機体が見にくければ、Ｌ１，Ｌ２の値を小さめの値に設定する。メインプロセッサー１４０は、機体の見やすさの程度を、背景色と機体の色とのコントラストの強さで決定する。本実施形態によれば、Ｌ１，Ｌ２を適切な値に設定できる。

Ｉ．変形例：
なお、この開示は上記した実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

・変形例１：
各実施形態および変形例では、無人航空機システムは、ＨＭＤ１００と、無人航空機４００と、リモコン装置５００と、を備えていた。これに対して、変形例として、無人航空機システムは、リモコン装置５００を備えずに、ＨＭＤ１００と、無人航空機４００と、を備えた構成としてもよい。この場合には、リモコン装置５００の機能を全て、ＨＭＤ１００がソフトウェアによって実現する構成とする。

・変形例２：
各実施形態および変形例では、自動航行モードでの行き先となるＧＮＳＳ情報は、ＨＭＤ１００の制御装置１０に備えられたＧＮＳＳレシーバー１１５によって取得する構成とした。これに対して、変形例として、ＨＭＤ１００の画像表示部２０にＧＮＳＳレシーバーを設け、そのＧＮＳＳレシーバーからＧＮＳＳ情報を取得するようにしてもよい。また、リモコン装置５００に備えられたＧＮＳＳレシーバー５３０によって取得されたＧＮＳＳ情報を、リモコン装置５００から取得する構成としてもよい。

・変形例３：
各実施形態および変形例では、ＨＭＤ１００の制御装置１０にＧＮＳＳレシーバー１１５を設け、自動航行モードは、ＨＭＤ１００の制御装置１０の現在位置に無人航空機４００を帰還させる構成とした。これに対して、変形例として、ＧＮＳＳレシーバーを頭部装着型表示装置から離れた位置に設けて、そのＧＮＳＳレシーバーの位置まで無人航空機４００を航行させる構成としてもよい。例えば、所定の施設内の予め定められた位置にＧＮＳＳレシーバーを配置し、その位置を自動航行モードでの行き先としてもよい。この場合には、無人航空機は、自動航行モードで所定の施設内までの航行を実行しており、ＨＭＤの使用者は、この施設に出向いた上で、自動航行モードとは異なる特定の航行モードで無人航空機を航行させることが可能となる。

また、無人航空機４００がホームポジションを出発地として航行した後、無人航空機４００を、ホームポジションに帰還させるようにしてもよい。ホームポジションとは、出発地および帰還先として、使用者が任意に決定できる位置である。使用者は、ホームポジションとして決定した位置に無人機４００を置き、その位置をホームポジションとしてもよい。無人航空機４００は、ホームポジションに帰還するために、ホームポジションにおけるＧＮＳＳ等の位置姿勢情報を出発前に取得し、頭部装着型表示装置１００に送信してもよい。無人機４００がホームポジションにおいて位置情報を頭部装着型表示装置１００に提供できればよいので、例えば、可搬性のあるＧＮＳＳレシーバーを任意の位置に設置することによって、その位置をホームポジションとしてもよい。ホームポジションに設置されたＧＮＳＳレシーバーは、無人航空機４００の出発後に撤去してもよい。頭部装着型表示装置１００は、送信されてきた位置姿勢情報を、目的地として記憶する。頭部装着型表示装置１００は、記憶した目的地を、自動航行モード及び特定の航行モードにおける目的地として用いる。この方法を用いれば、例えば、ＧＮＳＳレシーバーを設置した施設内に使用者が出向かなくても自動航行モードから特定の航行モードに切り替えが可能である。

・変形例４：
各実施形態および変形例では、カメラ６１の撮像画像が画像表示部２０によって視認可能な視界ＷＡと一致するものとして、カメラ６１の撮像画像を用いて、視界ＷＡ内に無人航空機４００が進入したか否かを判定していた。これに対して、変形例として、画像表示部２０に備えられた６軸センサー２３５と磁気センサー２３７から、画像表示部２０が向いている方位を求め、この方位が画像表示部２０によって視認可能な視界ＷＡを特定し得るとして、この方位と、無人航空機４００のＧＮＳＳレシーバー４４０によって取得したＧＮＳＳ情報で示される位置とから、視界ＷＡ内に無人航空機４００が進入したか否かを判定する構成としてもよい。この構成によっても、各実施形態および変形例と同様の効果を奏することができる。

さらに、他の変形例として、先に説明した測距センサーによって無人航空機４００までの距離を検出し、検出した距離が所定値以下である場合に、視界ＷＡ内に無人航空機４００が進入したと判定してもよい。上記所定値を例えば１１ｍ〜９ｍとし、無人航空機までの距離が所定値以下である場合に、視界ＷＡ内に無人航空機４００が進入したと判定する。この構成によっても、各実施形態および変形例と同様の効果を奏することができる。上記所定値は、例えば１０ｍとすることもできる。

さらに、他の変形例として、カメラ６１の撮像画像に換えて、無人航空機４００側のカメラ４２０の撮像画像を利用して、視界ＷＡ内に無人航空機４００が進入したか否かを判定する構成としてもよい。具体的には、無人航空機４００側のカメラ４２０の撮像画像に、ＨＭＤを装着した使用者が含まれるか否かから、視界ＷＡ内に無人航空機４００が進入したか否かを判定する構成とする。この構成によっても、各実施形態および変形例と同様の効果を奏することができる。また、リモコン装置５００（図８参照）のディスプレイ５１０に表示しているカメラ４２０の撮像画像をリモコン装置５００から取得し、この撮像画像を利用して、視界ＷＡ内に無人航空機４００が進入したか否かを判定する構成としてもよい。

・変形例５：
各実施形態および変形例では、自動航行モードでの航行中に、視界ＷＡ内に無人航空機４００が進入した場合に、自動航行モードからＷｉ−Ｆｉ航行モードへの切り替えを行う構成であった。これに対して、変形例として、上記Ｗｉ−Ｆｉ航行モードへの切り替えの後、無人航空機４００が使用者から離れる方向に旋回し、視界ＷＡの外に無人航空機４００が移動した場合には、Ｗｉ−Ｆｉ航行モードから自動航行モードへの切り替えを行う構成としてもよい。さらに、使用者の視界から出た後に、視界内に再び進入した場合等、繰り返し視界を出入りする場合であっても、本開示を適用可能である。

・変形例６：
第２実施形態では、ＨＭＤの制御装置の位置と姿勢を６軸センサー１１１（図５）の検出信号に基づいて求めていた。これに対して、変形例として、６軸センサー１１１の検出信号に加えて、ＧＮＳＳの検出信号やカメラの撮像画像を利用して、ＨＭＤの制御装置の位置と姿勢をより高精度に求める構成としてもよい。また、カメラと通信装置を備えた他のＨＭＤにおいて、使用者のＨＭＤ（本開示を適用したＨＭＤ）の位置と姿勢を観察可能な構成とし、観察された位置と姿勢を他のＨＭＤから通信によって受信することによって、使用者のＨＭＤの位置と姿勢を求めるようにしてもよい。

・変形例７：
第２実施形態におけるデッドレコニング航行モードでは、無人航空機４００が離陸前の状態にあるときの６軸センサー４５０の検出信号の値（検出値）を初期値としていた。これに対して、変形例として、無人航空機４００が離陸前の状態にあるときの位置と姿勢を、ＨＭＤ側のカメラ６１の撮像画像から求めて、その求めた位置と姿勢を初期値としてもよい。カメラ６１は、ステレオカメラとしてもよい。また、カメラ６１は単眼カメラとし、２枚以上の撮像画像から三角測量の原理に基づいて距離を算出することによって、位置と姿勢を求め、それを初期値としてもよい。さらに、無人航空機４００が離陸前の状態にあるときに換えて、離陸後の所定の状態のときとすることもできる。具体的には、無人航空機を離陸後、予め定めた所定の高さでホバリングさせ、そのときの位置と姿勢を初期値としてもよい。

・変形例８：
各実施形態および変形例では、ドローンのような遠隔操縦または自律飛行が可能な無人航空機を例として説明したが、これに限定されるものではなく、無人地上車両、無人水上艦、無人水上艇、無人水上船、無人潜水艦、無人潜水艇、無人宇宙機などの無人機に対しても本開示を適用可能である。

・変形例９：
各実施形態および変形例において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。

・変形例１０：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本開示の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

上記実施形態では、右導光板２６および左導光板２８が外光を透過する、いわゆる透過型のＨＭＤ１００について説明した。しかし、本開示は、例えば、外界を透過しないで画像を表示する、いわゆる非透過型のＨＭＤ１００に適用することもできる。また、非透過型のＨＭＤ１００には、カメラで外界を撮像して、その撮像画像を表示部に表示すれば良い。これらのＨＭＤ１００では、上記実施形態で説明した実空間に重畳して画像を表示するＡＲ（Augmented Reality）表示の他、撮像した実空間の画像と仮想画像とを組み合わせて表示するＭＲ（Mixed Reality）表示、あるいは、仮想空間を表示するＶＲ（Virtual Reality）表示を行うこともできる。

上記実施形態では、制御装置１０および画像表示部２０の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置１０に記憶機能部１２２および制御機能部１５０を搭載し、画像表示部２０には表示機能のみを搭載する態様。制御装置１０と画像表示部２０との両方に、記憶機能部１２２および制御機能部１５０を搭載する態様。制御装置１０と画像表示部２０とを一体化した態様。この場合、例えば、画像表示部２０に制御装置１０の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置１０の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置１０と画像表示部２０とを無線通信により接続し、接続ケーブル４０を配した態様。この場合、例えば、制御装置１０や画像表示部２０に対する給電についても無線で実施してよい。

・変形例１１：
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本開示の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

上記実施形態では、制御装置１０が備える入力手段の一例について説明した。しかし、制御装置１０は、例示した一部の入力手段を省略して構成されてもよく、上述しない他の入力手段を備えていてもよい。例えば、制御装置１０は、操作スティック、キーボード、マウス等を備えていてもよい。例えば、制御装置１０は、使用者の身体の動き等に対応付けられたコマンドを解釈する入力手段を備えていてもよい。使用者の身体の動き等とは、例えば、視線を検出する視線検出、手の動きを検出するジェスチャー検出、足の動きを検出するフットスイッチ等により取得できる。なお、視線検出は、例えば、画像表示部２０の内側を撮像するカメラにより実現できる。ジェスチャー検出は、例えば、カメラ６１により経時的に撮影された画像を画像解析することにより実現できる。

上記実施形態では、制御機能部１５０は、メインプロセッサー１４０が記憶機能部１２２内のコンピュータープログラムを実行することにより動作するとした。しかし、制御機能部１５０は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶機能部１２２に代えて、または記憶機能部１２２と共に、不揮発性記憶部１２１、ＥＥＰＲＯＭ２１５、メモリー１１８、他の外部記憶装置（各種インターフェースに挿入されているＵＳＢメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む）に格納されていてもよい。また、制御機能部１５０の各機能は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されてもよい。

・変形例１２：
特定の航行モードとして手動航行モードを採用する形態の変形例として、Ｌ１よりもさらに近いＬ０以下の距離に無人航空機４００が進入した場合に、操作部５２０に入力される操作量と、無人航空機４００の反応との関係を変更してもよい。無人航空機４００の反応とは、例えば、無人航空機４００が移動する移動量でもよいし、移動速度の変化量の範囲でもよい。上記の関係とは、例えば、ジョイスティックタイプの操作部５２０に対して最大の操作量を入力した場合に、関係の変更前に比べて、移動量を小さくしてもよいし、速度が遅くなるように設定してもよい。上記のように構成することで、無人機４００がＬ０よりも遠い場合に比べ、Ｌ０以下の距離に無人航空機４００が進入した場合、無人航空機４００の細かい移動を制御することができるようになる。

・変形例１３：
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本開示の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

図２９は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼ＲＥに対応したＯＬＥＤユニット２２１ａと、左眼ＬＥに対応したＯＬＥＤユニット２４１ａと、が設けられている。右眼ＲＥに対応したＯＬＥＤユニット２２１ａは、白色で発色するＯＬＥＤパネル２２３ａと、ＯＬＥＤパネル２２３ａを駆動して発光させるＯＬＥＤ駆動回路２２５とを備えている。ＯＬＥＤパネル２２３ａと右光学系２５１との間には、変調素子２２７（変調装置）が配置されている。変調素子２２７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２２３ａが発する光を変調して画像光Ｌを生成する。変調素子２２７を透過して変調された画像光Ｌは、右導光板２６によって右眼ＲＥに導かれる。

左眼ＬＥに対応したＯＬＥＤユニット２４１ａは、白色で発光するＯＬＥＤパネル２４３ａと、ＯＬＥＤパネル２４３ａを駆動して発光させるＯＬＥＤ駆動回路２４５とを備えている。ＯＬＥＤパネル２４３ａと左光学系２５２との間には、変調素子２４７（変調装置）が配置されている。変調素子２４７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２４３ａが発する光を変調して画像光Ｌを生成する。変調素子２４７を透過して変調された画像光Ｌは、左導光板２８によって左眼ＬＥに導かれる。変調素子２２７、２４７は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路（変調装置駆動部）は、例えば変調素子２２７、２４７の近傍に配置される基板に実装される。

変形例の画像表示部によれば、右表示ユニット２２および左表示ユニット２４は、それぞれ、光源部としてのＯＬＥＤパネル２２３ａ、２４３ａと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子２２７、２４７と、を備える映像素子として構成される。なお、ＯＬＥＤパネル２２３ａ、２４３ａが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のＨＭＤ１００としてもよい。

上記実施形態では、眼鏡型の画像表示部２０について説明したが、画像表示部２０の態様は任意に変更することができる。例えば、画像表示部２０を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部２０を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるＨＵＤ（Head Up Display）として構成してもよい。

上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板２６および左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。例えば、右導光板２６および左導光板２８の全面（または大部分）を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本開示の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６および左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品（例えば、回折格子、プリズム、ホログラフィー等）を用いる限り任意の態様を採用できる。

本開示は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御装置、１２…点灯部、１４…タッチパッド、１６…方向キー、１７…決定キー、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１００…頭部装着型表示装置（ＨＭＤ）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＮＳＳレシーバー、１１７…無線通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶機能部、１２３…設定データ、１２４…コンテンツデータ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御機能部、１５１…入出力制御部、１５３…通信制御部、１５５…無人航空機制御部、１５５ａ…帰還処理部、１８０…音声コーデック、１８２…音声インターフェース、１８４…外部コネクター、１８６…外部メモリーインターフェース、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９６…インターフェース、２１０…表示ユニット基板、２１１…インターフェース、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１、２２１ａ…ＯＬＥＤユニット、２２３、２２３ａ…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２２７…変調素子、２３０…表示ユニット基板、２３１…インターフェース、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１、２４１ａ…ＯＬＥＤユニット、２４３、２４３ａ…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２４７…変調素子、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、４００…無人航空機、４１０…プロペラ、４２０…カメラ、４３０…モーター、４４０…ＧＮＳＳレシーバー、４５０…６軸センサー、４６０…無線通信部、４７０…Ｗｉ−Ｆｉ通信部、４８０…バッテリー、４９０…制御部、５００…リモコン装置、５１０…ディスプレイ、５２０…操作部、５３０…ＧＮＳＳレシーバー、５４０…無線通信部、５５０…ＵＳＢコネクター、５９０…制御部、ＷＡ…外界

Claims

無人機の操縦に関する制御を行うことが可能な頭部装着型表示装置であって、
外界を視認可能な表示部と、
ＧＮＳＳ情報を取得するＧＮＳＳ情報取得部と、
前記無人機との間の無線通信を利用した通信を行い得る通信部と、
制御部と、を備え、
前記制御部は、
前記無人機が、前記ＧＮＳＳ情報取得部によって取得される前記ＧＮＳＳ情報で示される位置に向けて移動する自動航行モードで航行している場合に、前記表示部によって視認可能な視界内に前記無人機が進入したか否かを判定し、
前記視界内に前記無人機が進入したと判定された場合に、前記自動航行モードでの航行を前記無人機に対し中止させ、前記自動航行モードとは異なる特定の航行モードで前記無人機を航行させる
頭部装着型表示装置。
更に、前記視界を撮像するカメラを有し、
前記制御部は、前記カメラの撮像画像を取得し、前記無人機を特定するために予め準備された目的画像と前記撮像画像とをパターンマッチングすることによって、前記無人機が前記視界に進入したか否かの判定を行う
請求項１に記載の頭部装着型表示装置。
前記ＧＮＳＳ情報取得部は、前記ＧＮＳＳ情報を受信するＧＮＳＳ受信部を備え、
前記自動航行モードは、前記頭部装着型表示装置へ帰還させるものである
請求項１から請求項２までの何れか一項に記載の頭部装着型表示装置。
前記ＧＮＳＳ情報取得部は、前記頭部装着型表示装置から離れた位置に備えられたＧＮＳＳ受信部から前記ＧＮＳＳ情報を受信する
請求項１から請求項２までの何れか一項に記載の頭部装着型表示装置。
更に、前記無人機から送られてくる無線電波を受信する無線電波受信部を備え、
前記特定の航行モードは、前記無線電波受信部によって受信される無線電波の強度を測定し、測定した前記強度の変化から航行ルートを定めるモードである
請求項１から請求項４までの何れか一項に記載の頭部装着型表示装置。
前記無人機は、機体の動きを検出する慣性センサーを備え、前記慣性センサーの検出値を逐次積算することによって、機体の位置を求め、
前記特定の航行モードは、前記頭部装着型表示装置が、前記無人機が求めた前記機体の位置を取得し、取得した前記機体の位置から航行ルートを定めるモードである
請求項１から請求項４までの何れか一項に記載の頭部装着型表示装置。
前記慣性センサーは、第１慣性センサーであり、
更に、動きを検出する第２慣性センサーを有し、
前記特定の航行モードは、前記頭部装着型表示装置が、前記第２慣性センサーの検出値を逐次積算することによって、前記頭部装着型表示装置の位置を求め、求めた前記頭部装着型表示装置の位置と、取得した前記機体の位置と、から航行ルートを定めるモードである
請求項６に記載の頭部装着型表示装置。
更に、使用者によって操作され、前記無人機の動きを指示する操作部を有し、
前記特定の航行モードは、前記頭部装着型表示装置が、前記操作部に対する指示に従って航行ルートを定めるモードである
請求項１から請求項４までの何れか一項に記載の頭部装着型表示装置。
前記表示部は、外界を透過視認可能な表示部であり、
前記制御部は、
前記操作部のための操作画面を前記表示部に表示させ、
前記視界内に前記無人機が進入したと判定された場合に、前記表示部における前記無人機の位置を推定し、推定された前記位置から離れた位置に前記操作画面を移動させる
請求項８に記載の頭部装着型表示装置。
前記通信部は、前記無人機によって撮像された画像である無人機画像を、前記無人機から無線通信で取得し、
前記表示部は、外界を透過視認可能な表示部であり、当該頭部装着型表示装置から前記無人機までの距離である操縦距離が、第２距離よりも遠い場合、第１態様による表示をし、前記操縦距離が前記第２距離よりも近く第１距離以上の場合、第２態様による表示をし、前記操縦距離が前記第１距離よりも近い場合、第３態様による表示をし、
前記第１，第２及び第３態様による表示は、前記無人機画像の表示を含む
請求項１から請求項４までの何れか一項に記載の頭部装着型表示装置。
前記第２態様による表示における前記無人機画像の表示領域は、前記第１態様による表示における前記無人機画像の表示領域よりも狭い
請求項１０に記載の頭部装着型表示装置。
前記第１態様による表示は、前記第１態様による表示であることを示す表示を含み、
前記第２態様による表示は、前記第２態様による表示であることを示す表示を含み、
前記第３態様による表示は、前記第３態様による表示であることを示す表示を含む
請求項１０から請求項１１までの何れか一項に記載の頭部装着型表示装置。
前記制御部は、前記第１及び第２距離の少なくとも何れか一方を、前記無人機と、前記無人機周辺の背景色との関係に基づき設定する
請求項１０から請求項１２までの何れか一項に記載の頭部装着型表示装置。
前記操縦距離が前記第１距離以下であることは、前記表示部によって視認可能な視界内に前記無人機が進入したと判定されることの必要条件であり、
前記制御部は、前記自動航行モードによる航行によって前記操縦距離が前記第１距離よりも大きい距離から前記第１距離に縮まった場合、前記特定の航行モードによる航行が開始するまで、前記無人機に対し現在位置でのホバリングを指示する
請求項１０から請求項１３までの何れか一項に記載の頭部装着型表示装置。
前記制御部は、前記操縦距離が前記第１距離以下から前記第１距離より大きい距離に伸びた場合、前記無人機に対し前記自動航行モードによって前記操縦距離を縮めるように指示する
請求項１０から請求項１４までの何れか一項に記載の頭部装着型表示装置。
前記制御部は、複数の前記無人機に対し、航行モードの指示が可能である
請求項１０から請求項１５までの何れか一項に記載の頭部装着型表示装置。
更に、使用者によって操作され、前記無人機の動きを指示する操作部を有し、
前記制御部は、前記操作部のための操作画面を前記表示部に表示させ、
前記特定の航行モードは、前記頭部装着型表示装置が、前記操作部に対する指示に従って航行ルートを定めるモードであり、
前記制御部は、前記操縦距離が前記第１距離以下の無人機が複数、存在する場合、前記複数の無人機の中から何れか１つを、前記操作部に対する指示に従って航行ルートを定める無人機である選択機として選択する
請求項１６に記載の頭部装着型表示装置。
前記制御部は、前記操縦距離が前記第１距離以下の無人機の中で、前記選択機以外の無人機に対し、ホバリングを指示する
請求項１７に記載の頭部装着型表示装置。
前記制御部は、前記操縦距離が前記第１距離以下の無人機の中で、前記選択機以外の無人機に対し、前記選択機に追従することを指示する
請求項１７に記載の頭部装着型表示装置。
前記表示部は、前記第３態様による表示として、前記選択機を、前記選択機以外の無人機と区別するための像を表示する
請求項１７から請求項１９までの何れか一項に記載の頭部装着型表示装置。
前記選択機以外の無人機には、当該頭部装着型表示装置による操縦対象の無人機と、当該頭部装着型表示装置による操縦対象外の無人機とが含まれ、
前記表示部は、前記第３態様による表示として、当該頭部装着型表示装置による操縦対象の無人機と、当該頭部装着型表示装置による操縦対象外の無人機と区別するための像を表示する
請求項２０に記載の頭部装着型表示装置。
前記制御部は、前記特定の航行モードにおける目的地の入力を使用者から受け付け、前記目的地に向かうことを前記無人機に指示する
請求項１０から請求項１６までの何れか一項に記載の頭部装着型表示装置。
頭部装着型表示装置を用いて、無人機を操縦する方法であって、
ＧＮＳＳ情報で示される位置に向けて移動する自動航行モードで前記無人機が航行している場合に、前記頭部装着型表示装置によって視認可能な視界内に前記無人機が進入したか否かを前記頭部装着型表示装置が判定し、
前記視界内に前記無人機が進入したと判定された場合に、前記頭部装着型表示装置が、前記自動航行モードでの航行を前記無人機に対し中止させ、前記自動航行モードとは異なる特定の航行モードで前記無人機を航行させる
無人機の操縦方法。