JP2015115848A - 頭部装着型表示装置および頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】複数の検出部の検出結果のそれぞれに対して異なる制御を行なう頭部装着型表示装置を提供する。【解決手段】頭部装着型表示装置は、操作を受け付ける操作部と；操作部の位置と向きとの少なくとも一方である操作部状態を検出する第１の検出部と；使用者の頭部に装着された状態において、画像データに基づいて画像光を形成し、画像光を虚像として使用者に視認させる画像表示部と；画像表示部の位置と向きとの少なくとも一方である表示部状態を検出する第２の検出部と；頭部装着型表示装置に対して、検出された操作部状態に基づいて第１の制御を行ない、検出された表示部状態に基づいて第１の制御とは異なる第２の制御を行なう制御部と、を備える。【選択図】図１

Description

本発明は、頭部装着型表示装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置を制御するための手段として、ボタンやトラックパッドによる操作、および、各種センサーによって検出される使用者の頭部の動き等が知られている。

特許文献１には、操作部であるリモコンにジャイロセンサーを内蔵させて、ジャイロセンサーが検出した角速度に応じて操作する頭部装着型表示装置について開示されている。また、特許文献２には、複数のプレイヤーで同じゲームを体験し、かつ、ゲーム機の本体に対して、頭部装着型表示装置を着脱可能にすることで、頭部装着型表示装置の消毒を容易にさせるゲーム機について開示されている。

特開２０１１−８２７８１号公報 特開平５−３０５１８１号公報

しかし、特許文献１に記載された頭部装着型表示装置では、操作部に内蔵されたジャイロセンサーで頭部装着型表示装置の操作が行なえるものの、操作部に内蔵されたジャイロセンサーとは別のセンサーを搭載させて、別のセンサーの検出結果に応じて、ジャイロセンサーが検出した角速度による操作とは異なる操作を行なうことができないという課題があった。また、オペレーティングシステム（以下、単に「ＯＳ」とも呼ぶ）によっては、複数のセンサーの検出結果に対して、各検出結果に対応する複数の制御を行なうことができず、ＯＳ自体を変更しないと、これらの複数の制御を行なうことができないという課題があった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、操作を受け付ける操作部と；前記操作部の位置と向きとの少なくとも一方である操作部状態を検出する第１の検出部と；使用者の頭部に装着された状態において、画像データに基づいて画像光を形成し、前記画像光を虚像として使用者に視認させる画像表示部と；前記画像表示部の位置と向きとの少なくとも一方である表示部状態を検出する第２の検出部と；前記頭部装着型表示装置に対して、検出された前記操作部状態に基づいて第１の制御を行ない、検出された前記表示部状態に基づいて前記第１の制御とは異なる第２の制御を行なう制御部と、を備える。この形態の頭部装着型表示装置によれば、複数の検出部の検出結果に対して、各検出結果に対応する複数の制御を行なうことができる。

（２）上記形態の頭部装着型表示装置において、前記第１の検出部は、前記操作部に配置され、；前記第２の検出部は、前記画像表示部に配置されてもよい。この形態の頭部装着型表示装置によれば、操作部に配置された第１の検出部と、操作部とは別体である画像表示部に配置された第２の検出部と、によって検出された複数の検出結果に対応する操作が行なわれるために、使用者にとって操作が複雑ではなく、使用者は感覚的に操作でき、使用者の利便性が向上する。

（３）上記形態の頭部装着型表示装置において、前記第１の検出部は、前記操作部状態として、前記操作部の位置の変化を検出し；前記第２の検出部は、前記表示部状態として、前記画像表示部の向きの変化を検出してもよい。この形態の頭部装着型表示装置によれば、この形態の頭部装着型表示装置によれば、操作部の変化と、使用者の視線方向の変化や頭部の変化と、によって複数の操作が行なわれるために、使用者は感覚的に操作でき、使用者の利便性が向上する。

（４）上記形態の頭部装着型表示装置において、前記制御部は、前記第１の制御と前記第２の制御とを排他的に行なってもよい。この形態の頭部装着型表示装置によれば、複数の検出部のそれぞれによって複数の検出結果が処理される場合には、１つの検出結果に基づく制御が制御部によって行なわれるため、複数の検出結果に対応する制御が行なえない基本ソフトであるオペレーティングシステム（ＯＳ）のソフトウェア自体を変更する必要がなく、頭部装着型表示装置の開発期間を短縮できる。

（５）上記形態の頭部装着型表示装置において、前記制御部は、前記操作部の位置の変化が検出されると共に、前記表示部の向きの変化が検出された場合に、前記第１の制御と前記第２の制御との一方を行なってもよい。この形態の頭部装着型表示装置によれば、複数の検出部のそれぞれによって複数の検出結果が処理される場合には、１つの検出結果に基づく制御が優先的に行なわれることで、頭部装着型表示装置の誤動作を低減できる。

（６）上記形態の頭部装着型表示装置において、前記制御部は、前記第１の制御と前記第２の制御とを時分割して行なってもよい。この形態の頭部装着型表示装置によれば、制御部が複数の検出部の検出結果に対して、特定の時点では１つの検出結果のみに対応した処理を行なうにもかかわらず、処理の結果については、複数の結果が連続的に行なわれるので、特定の時点での制御部の処理の負荷を抑制した上で、連続的な出力処理を行なうことができる。

（７）上記形態の頭部装着型表示装置において、さらに；外景を撮像する撮像部を備え；前記第２の制御は、前記画像表示部の向きの変化に基づいて、前記撮像部によって撮像される方向が変更される処理であってもよい。この形態の頭部装着型表示装置によれば、画像表示部の向きによって特定された使用者の視線方向と撮像部の撮像方向とが対応付けられているため、使用者の視認したい方向に応じて撮像方向を自然に変更でき、使用者の利便性が向上する。

（８）上記形態の頭部装着型表示装置において、前記第１の制御と前記第２の制御との少なくとも一方は、前記画像光を制御する処理であってもよい。この形態の頭部装着型表示装置によれば、使用者の操作や状態変化に対応して使用者に視認される画像光が変化するため、使用者の利便性が向上する。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、操作部と、第１の検出部と、画像表示部と、第２の検出部と、制御部と、の５つの要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、操作部を有していてもよく、有していなくてもよい。また、装置は、第１の検出部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、第２の検出部を有していてもよく、有していなくてもよい。また、装置は、制御部を有していてもよく、有していなくてもよい。操作部は、例えば、操作を受け付けてもよい。第１の検出部は、例えば、操作部の位置と向きとの少なくとも一方である操作部状態を検出してもよい。画像表示部は、例えば、使用者の頭部に装着された状態において、画像データに基づいて画像光を形成し、画像光を虚像として使用者に視認させてもよい。第２の検出部は、例えば、画像表示部の位置と向きとの少なくとも一方である表示部状態を検出してもよい。制御部は、例えば、頭部装着型表示装置に対して、検出された操作部状態に基づいて第１の制御を行ない、検出された表示部状態に基づいて第１の制御とは異なる第２の制御を行なってもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示システム、頭部装着型表示システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

本発明の実施形態における頭部装着型表示装置１００を用いた遠隔操作システム５００の概略構成を示す説明図である。 頭部装着型表示装置１００の外観構成を示す説明図である。 頭部装着型表示装置１００の構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 ラジコンカー３００の外観構成を示す説明図である。 遠隔操作処理の流れを示す説明図である。 遠隔操作処理において使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。 使用者ＵＳの操作によって変化する制御部１０の角速度の一例を示す説明図である。 遠隔操作処理において使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。 時分割されて行なわれる処理における時間と処理との関係を示す説明図である。 変形例における頭部装着型表示装置の外観構成を示す説明図である。

次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
Ａ．実施形態：
Ａ−１．遠隔操作システムの構成：
Ａ−２．頭部装着型表示装置の構成
Ａ−３．ラジコンカーの構成：
Ａ−４．遠隔操作処理：
Ｂ．変形例：

Ａ．実施形態：
Ａ−１．遠隔操作システムの構成：
図１は、本発明の実施形態における頭部装着型表示装置１００を用いた遠隔操作システム５００の概略構成を示す説明図である。図１に示す遠隔操作システムでは、頭部装着型表示装置１００の使用者ＵＳが頭部装着型表示装置１００を操作することにより、ラジコンカー（radio control car）３００を遠隔操作できる。頭部装着型表示装置１００およびラジコンカー３００の構成の詳細については後述するが、頭部装着型表示装置１００に内蔵される通信部とラジコンカー３００に内蔵される通信部とによって、頭部装着型表示装置１００と３００ラジコンカー３００との間で制御信号が送受信されることで、使用者ＵＳはラジコンカー３００を遠隔操作できる。なお、本実施形態では、ラジコンカー３００は頭部装着型表示装置１００とは異なる装置としたが、ラジコンカー３００の代わりに頭部装着型表示装置１００の装置の一部が遠隔操作されてもよい。

Ａ−２．頭部装着型表示装置の構成：
図２は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者ＵＳが、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者ＵＳが視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者ＵＳの頭部に装着された状態において使用者ＵＳに虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者ＵＳの頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、姿勢センサーとしての１０軸センサー６６と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者ＵＳが画像表示部２０を装着した際に使用者ＵＳの右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者ＵＳの頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図３参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図３参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者ＵＳの眼に導く。調光板は、薄板状の光学素子であり、使用者ＵＳの眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者ＵＳの眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

姿勢センサーとしての１０軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、および、気圧（１軸）を検出するセンサーである。１０軸センサー６６は、画像表示部２０における表示駆動部２２の近くに内蔵されており、画像表示部２０が使用者ＵＳの頭部に装着されているときには、使用者ＵＳの頭部の動きや位置（以下、単に「画像表示部２０の状態」とも呼ぶ）を検出する。１０軸センサー６６は、例えば、使用者ＵＳが首を縦に振るような軌道ＲＮ１に沿った動きや、使用者が首を横に振るような軌道ＲＮ２に沿った動きを検出できる。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、頭部装着型表示装置１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、制御部１０の位置や位置の変化を検出するセンサーとしてのジャイロセンサー９と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者ＵＳの指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。ジャイロセンサー９は、制御部１０の角度および角速度を検出する。すなわち、ジャイロセンサー９は、制御部１０の位置の変化を検出する。そのため、ジャイロセンサー９は、制御部１０の向きの変化や制御部１０を動かされた場合における制御部１０の位置の変化を検出する。なお、ジャイロセンサー９によって検出される制御部１０の角度および角速度は、請求項における操作部状態に相当する。

図３は、頭部装着型表示装置１００の構成を機能的に示すブロック図である。図３に示すように、制御部１０は、通信部１３２と、記憶部１２０と、電源１３０と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者ＵＳによる操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、および、ジャイロセンサー９から構成されている。

通信部１３２は、無線通信によって、ラジコンカー３００の通信部へと信号を送信し、また、ラジコンカー３００からの信号を受信する。する。本実施形態では、通信部１３２は、電波を用いてラジコンカー３００と無線通信を行なうが、他の実施形態では、赤外線やレーザーなどの光や、超音波などの音によって無線通信を行なってもよい。また、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、無線通信が行なわれてもよい。

電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、１０軸センサー処理部１６７、入力処理部１６８、アプリケーションインターフェース１６５（ＡＰＩ１６５）、および、画像処理部１６０として機能する。

本実施形態で用いられるＯＳ１５０は、アンドロイド（Android（登録商標））である。アンドロイドでは、複数のセンサーから検出されたそれぞれの検出結果に対応させて複数の制御を行なうことができない。なお、本実施形態では、ＯＳ１５０として、アンドロイドを用いたが、他の実施形態では、他のＯＳが用いられてもよい。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。

１０軸センサー処理部１６７は、１０軸センサー６６によって検出された画像表示部２０の向きに基づいて、使用者ＵＳの視線方向を特定する。１０軸センサー処理部１６７は、通信部１３２を介して、ラジコンカー３００に形成されたカメラの角度を、特定された視線方向に基づいて変更する信号をラジコンカー３００に送信する。なお、ラジコンカー３００のカメラの詳細については後述する。１０軸センサー処理部１６７および１０軸センサー６６は、請求項における第２の検出部に相当し、検出された画像表示部２０の向きは、請求項における表示部状態に相当する。

入力処理部１６８は、操作部１３５が受け付けた操作と、ジャイロセンサー９によって検出された制御部１０の角度および角速度と、を取得し、各種処理を行なった後に、ＡＰＩ１６５へと処理に基づく信号を送信する。操作部１３５が受け付けた操作としては、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する入力操作がある。入力処理部１６８は、操作部１３５への入力操作と制御部１０の角速度とに特定されるラジコンカー３００の進行および進行方向の操作（以下、単に「進行操作」とも呼ぶ）に関する信号をＡＰＩ１６５へと送信する。なお、入力処理部１６８の処理に基づくラジコンカー３００の進行操作の詳細については、後述する。なお、ジャイロセンサー９および入力処理部１６８は、請求項における第１の検出部に相当する。

ＡＰＩ１６５は、１０軸センサー処理部１６７から送信されたラジコンカー３００のカメラの角度を変更する信号と、入力処理部１６８から送信されたラジコンカー３００の進行操作に関する信号と、を受信する。本実施形態では、ＡＰＩ１６５は、ラジコンカー３００のカメラの角度を変更する信号を受信すると共に、ラジコンカー３００の進行操作に関する信号を受信した場合には、ラジコンカー３００の進行操作に関する信号に基づく処理を優先的に行ない、カメラの角度を変更する信号に基づく処理を行なわない。すなわち、本実施形態の頭部装着型表示装置１００では、ジャイロセンサー９の検出結果に基づく処理と１０軸センサー処理部１６７の検出結果に基づく処理とは、排他的に行なわれる。なお、排他的に行なうとは、同時に行なわないことをいう。また、ＡＰＩ１６５は、ラジコンカー３００のカメラが撮像する外景画像に基づく画像信号を受信して、ＯＳ１５０へと画像信号を送信する。なお、ＯＳ１５０、ＡＰＩ１６５、および、画像処理部１６０は、請求項における制御部に相当する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

また、画像処理部１６０は、ラジコンカー３００から送信された画像信号を、ＯＳ１５０を介して受信し、画像信号に基づいて、画像表示部２０にラジコンカー３００のカメラが撮像した外景画像を表示させる。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、１０軸センサー６６と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者ＵＳの右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者ＵＳの左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図４は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図４のように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−３．ラジコンカーの構成：
図５は、ラジコンカー３００の外観構成を示す説明図である。図５に示すように、ラジコンカー３００は、本体部３１０と、カメラ３６０と、本体部３１０とカメラ３６０とを接続するジョイント３４０と、頭部装着型表示装置１００の通信部１３２と無線通信を行なう通信部３０５と、を有する。本体部３１０は、バッテリーを備えており、通信部３０５が受信する信号に基づいて走行する。また、図５に示すように、本体部３１０は、タイヤを備えており、操作部１３５が受け付けた進行操作により、ラジコンカー３００を進行させる。なお、本実施形態における進行とは、前進および後退を含み、ラジコンカー３００が停止状態以外である状態のことをいう。本体部３１０は、ジャイロセンサー９が検出した制御部１０の角速度に応じて、フロントタイヤの向きを変えることで、ラジコンカー３００の進行方向を変更する。カメラ３６０は、ラジコンカー３００の正面方向の外景を撮像し、外景画像を取得する。本実施形態では、カメラ３６０は、単眼カメラであるが、他の実施形態では、ステレオカメラであってもよい。また、カメラ３６０が撮像する方向（以下、「撮像方向」とも呼ぶ）については、進行方向に限られず、種々変形可能である。カメラ３６０は、請求項における撮像部に相当する。

ジョイント３４０は、本体部３１０とカメラ３６０とを接続し、一定の範囲内で本体部３１０とカメラ３６０との相対角度を変更できる。すなわち、カメラ３６０は、ラジコンカー３００の正面方向以外の外景を撮像できる。ジョイント３４０は、通信部３０５を介して受信される使用者ＵＳの視線方向に対応して、カメラ３６０の撮像方向を、軌道ＲＣ１および軌道ＲＣ２に沿って変更させる。通信部３０５は、頭部装着型表示装置１００の通信部１３２から送信されるカメラ３６０の撮像方向とラジコンカー３００の進行操作とを制御する信号を受信する。また、通信部３０５は、ジョイント３４０が撮像した外景画像を画像信号として頭部装着型表示装置１００の通信部１３２へと送信する。

Ａ−４．遠隔操作処理：
図６は、遠隔操作処理の流れを示す説明図である。遠隔操作処理は、操作部１３５が受け付けた進行操作と、１０軸センサー６６および１０軸センサー処理部１６７によって特定された使用者ＵＳの視線方向と、に基づいて、ラジコンカー３００が遠隔操作され、ラジコンカー３００のカメラ３６０が外景画像を撮像する処理である。図６には、遠隔操作処理において、頭部装着型表示装置１００およびラジコンカー３００の起動後に行なわれる処理の流れが示されている。

遠隔操作処理では、初めに、ジャイロセンサー９および入力処理部１６８が制御部１０の位置を初期値として取得し、１０軸センサー６６および１０軸センサー処理部１６７が画像表示部２０の向きを初期値として取得する（ステップＳ１１）。入力処理部１６８および１０軸センサー処理部１６７は、取得した初期値に対する変化に基づいて、各種処理を行なう。初期値が取得されると、ラジコンカー３００のカメラ３６０が外景の撮像を開始し、画像処理部１６０が撮像された外景画像を画像表示部２０に表示させる（ステップＳ１２）。撮像開始時では、カメラ３６０の向きは、進行方向、かつ、水平方向を向いている。

図７は、遠隔操作処理において使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。図７に示すように、本実施形態では、使用者ＵＳの視線の中心部分に、カメラ３６０によって撮像された撮像画像ＶＩ１が視認される。使用者ＵＳは、撮像画像ＶＩ１の部分以外では、光学像表示部２６，２８を透過し、実像としての外景を視認する。

図６のステップＳ１２の処理の後に、入力処理部１６８は、操作部１３５が受け付ける進行操作を監視する（ステップＳ１３）。本実施形態では、ラジコンカー３００が遠隔操作されるモードにおいて、操作部１３５の決定キー１１が押下されている場合には、ラジコンカー３００が前進し、操作部１３５の輝度切替キー１５が押下されている場合には、ラジコンカー３００が後退する。決定キー１１と輝度切替キー１５とのいずれも押下されていない場合には、ラジコンカー３００は、停止した状態である。操作部１３５および入力処理部１６８が決定キー１１または輝度切替キー１５への押下のボタン操作を検出すると（ステップＳ１３：ＹＥＳ）、ＡＰＩ１６５は、ラジコンカー３００を前進または後退させる（ステップＳ１４）。

ステップＳ１４の処理の後、または、ステップＳ１３の処理において進行操作が検出されなかった場合には（ステップＳ１３：ＮＯ）、ジャイロセンサー９および入力処理部１６８は、制御部１０の角速度の検出を監視する（ステップＳ１５）。制御部１０の角速度が検出されると（ステップＳ１５：ＹＥＳ）、ＡＰＩ１６５は、ラジコンカー３００のフロントタイヤの向きを変更する（ステップＳ１６）。

図８は、使用者ＵＳの操作によって変化する制御部１０の角速度の一例を示す説明図である。図８には、使用者ＵＳの右手ＨＤで制御部１０が保持され、決定キー１１と輝度切替キー１５とのいずれも押下されていない状態が示されている。ジャイロセンサー９は、制御部１０の操作面に垂直な軸ＯＬを中心とする円周方向の軌道ＲＤに沿った角速度を検出する。例えば、軌道ＲＤに沿って時計回りの方向に沿った制御部１０の角速度が検出された場合には、ＡＰＩ１６５は、ラジコンカー３００のフロントタイヤを、進行方向に対して右方向へと傾ける。この場合に、ラジコンカー３００の進行方向は、右方向へと変更される。入力処理部１６８は、ジャイロセンサー９によって検出された角速度の大きさに応じてフロントタイヤの傾きを変更する量を決定し、決定された変更する量の信号をＡＰＩ１６５へと送信する。以上のように、検出された軌道ＲＤに沿った制御部１０の角速度によって、ラジコンカー３００の向きが変更されるため、使用者ＵＳは、制御部１０を、自動車のハンドルのように操作することで、ラジコンカー３００の進行方向を決定できる。

図６のステップＳ１５の処理において制御部１０の角速度が検出されなかった場合には（ステップＳ１５：ＮＯ）、１０軸センサー６６および１０軸センサー処理部１６７は、使用者ＵＳの視線方向の変化の検出を監視する（ステップＳ１７）。視線方向の変化が検出された場合には（ステップＳ１７：ＹＥＳ）、ＡＰＩ１６５は、使用者ＵＳの視線方向の変化に応じて、ラジコンカー３００のカメラ３６０の撮像方向を変更する（ステップＳ１８）。ＡＰＩ１６５は、軌道ＲＮ１および軌道ＲＮ２（図２）のそれぞれに沿った使用者ＵＳの首振りに対応するように、カメラ３６０の撮像方向を、軌道ＲＣ１および軌道ＲＣ２（図５）に沿って変更させる。ラジコンカー３００の位置やカメラ３６０の撮像方向が変化すると、画像表示部２０に表示される表示画像も変化する。

図９は、遠隔操作処理において使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。図９には、使用者ＵＳの視線方向が初期値に対して、軌道ＲＮ１に沿って使用者ＵＳの首が動くことで、使用者ＵＳの視線方向が上向きになった場合に、使用者ＵＳが視認する視野ＶＲが示されている。図９に示すように、使用者ＵＳは、カメラ３６０によって撮像される撮像方向が変更された外景画像を表示画像ＶＩ２として視認する。表示画像ＶＩ２は、撮像画像ＶＩ１よりも水平方向に対して上側の外景画像であり、表示画像としての大きさは撮像画像ＶＩ１と同じである。また、使用者ＵＳは、表示画像ＶＩ２以外の部分では、光学像表示部２６，２８を透過した外景を実像として視認する。なお、図７に示す視野ＶＲと比較して、使用者ＵＳの視線方向が上側を向いているため、図９に示す視野ＶＲで透過されて使用者ＵＳに視認される外景は、図７に示す外景よりも水平方向に対して上側の外景である。

図６のステップＳ１６もしくはステップＳ１８の後、または、ステップＳ１７の処理において視線方向の変化が検出されなかった場合には（ステップＳ１７：ＮＯ）に、操作部１３５は、遠隔操作処理を終了する所定の操作の受付を監視する（ステップＳ１９）。遠隔操作処理を終了する操作が受け付けられなかった場合には（ステップＳ１９：ＮＯ）、制御部１０は、ステップＳ１３以降の処理を繰り返す。遠隔操作処理を終了する操作が受け付けられた場合には（ステップＳ１９：ＹＥＳ）、制御部１０は、遠隔操作処理を終了する。以上の遠隔操作処理で示すように、ＡＰＩ１６５は、ジャイロセンサー９によって制御部１０の角速度が検出されると、１０軸センサー６６によって使用者ＵＳの視線方向の変化が検出されたか否かにかかわらず、ラジコンカー３００のフロントタイヤの向きを変更する。なお、ジャイロセンサー９の検出結果に基づく処理は、請求項における第１の制御に相当し、１０軸センサー処理部１６７の検出結果に基づく処理は、請求項における第２の制御に相当する。

以上説明したように、本実施形態における頭部装着型表示装置１００を用いた遠隔操作システム５００では、ジャイロセンサー９および入力処理部１６８が、操作部１３５が形成されている制御部１０の状態である角速度を検出する。また、１０軸センサー６６および１０軸センサー処理部１６７が、画像表示部２０の状態である向きを特定し、ＡＰＩ１６５、ＯＳ１５０、および、画像処理部１６０は、特定された画像表示部２０の向きに対応させてラジコンカー３００のカメラ３６０の向きを変更し、カメラ３６０によって撮像された外景画像を画像表示部２０に表示させる。そのため、本実施形態の遠隔操作システム５００では、複数のセンサーの検出結果に対して、各検出結果に対応する複数の制御を行なうことができる。

また、本実施形態における遠隔操作システム５００では、画像表示部２０に内蔵された１０軸センサー６６および１０軸センサー処理部１６７が画像表示部２０の向きの変化を検出し、制御部１０に形成されたジャイロセンサー９および入力処理部１６８が制御部１０の位置の変化である角速度を検出する。そのため、本実施形態の遠隔操作システム５００では、使用者ＵＳの視線方向と制御部１０の動きとによって検出された複数の検出結果に対応する操作が行なわれるために、使用者ＵＳにとって操作が複雑ではなく、使用者ＵＳは感覚的に操作でき、使用者の利便性が向上する。

また、本実施形態における遠隔操作システム５００では、ＡＰＩ１６５は、ジャイロセンサー９の検出結果に基づく信号と、１０軸センサー６６の検出結果に基づく信号と、を同時に受信した場合には、信号に基づく２つの処理を排他的に行なう。そのため、本実施形態の遠隔操作システム５００では、複数のセンサーのそれぞれによって複数の検出結果が処理される場合には、２つの処理が同時に行なわれずに、１つの検出結果に基づく処理がＯＳ１５０によって行なわれるため、ＯＳ１５０のソフトウェア自体を変更する必要がなく、頭部装着型表示装置１００および遠隔操作システム５００の開発期間を短縮できる。

また、本実施形態における遠隔操作システム５００では、ＡＰＩ１６５は、ジャイロセンサー９の検出結果に基づく信号と、１０軸センサー６６の検出結果に基づく信号と、を同時に受信した場合には、ラジコンカー３００の進行操作に関する信号に基づく処理を優先的に行ない、カメラの角度を変更する信号に基づく処理を行なわない。そのため、本実施形態の遠隔操作システム５００では、１つの検出結果に基づく処理を優先的に行なうことで、頭部装着型表示装置１００やラジコンカー３００の誤動作を低減できる。

本実施形態における遠隔操作システム５００では、ラジコンカー３００のカメラ３６０が外景を撮像し、撮像方向は画像表示部２０の向きに応じて変更される。そのため、本実施形態の遠隔操作システム５００では、使用者ＵＳの視線方向とカメラ３６０の撮像方向とが対応付けられているため、使用者ＵＳの視認したい方向に応じて撮像方向を自然に変更でき、使用者ＵＳの利便性が向上する。

また、本実施形態における遠隔操作システム５００では、使用者ＵＳの視線方向の変化に応じて、図７および図９に示すように、画像表示部２０に表示される撮像画像ＶＩ１と表示画像ＶＩ２とは、異なる外景画像である。そのため、本実施形態の遠隔操作システム５００では、使用者ＵＳの操作や状態変化に対応して表示画像が変化するため、使用者の利便性が向上する。

Ｂ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｂ１．変形例１：
上記実施形態では、使用者ＵＳの視線方向の変化が検出されると共に、制御部１０の角速度が検出された場合には、ＡＰＩ１６５は、制御部１０の角速度に基づく処理を優先的に行なうとしたが、ＡＰＩ１６５によって行なわれる処理については、これに限られず、種々変形可能である。例えば、視線方向の変化に基づく処理がＡＰＩ１６５によって優先的に行なわれてもよいし、操作部１３５が受け付けた操作によって、どちらの処理を優先するかが使用者ＵＳによって決定されてもよい。

また、視線方向の変化に基づく処理と制御部１０の角速度に基づく処理とが時分割されて行なわれてもよい。図１０は、時分割されて行なわれる処理における時間と処理との関係を示す説明図である。図１０に示すように、ＡＰＩ１６５は、処理時間を期間ＴＴに区切り、入力処理部１６８から送信される進行操作に関する信号（以下、「入力処理」とも呼ぶ）と１０軸センサー処理部１６７から送信される画像表示部２０の向きに関する信号（以下、「１０軸センサー処理」とも呼ぶ）とに基づく処理を交互に行なう。例えば、図１０に示すように、時間ｔ０から時間ｔ１までの期間ＴＴでは、入力処理が行なわれ、時間ｔ１から時間ｔ２までの期間ＴＴでは、１０軸センサー処理が行なわれ、時間ｔ２から時間ｔ３までの期間ＴＴでは、再度、入力処理が行なわれる。ＡＰＩ１６５は、期間ＴＴの間に、期間ＴＴの２倍の長さの期間ＴＣに行なわれる処理の信号を、ラジコンカー３００に送信する。具体的には、時間ｔ０から時間ｔ１までの期間ＴＴには、時間ｔ０から時間ｔ２までの期間ＴＣに、ラジコンカー３００が行なう進行操作に関する処理の信号が送信され、時間ｔ１から時間ｔ２までの期間ＴＴには、ラジコンカー３００のカメラ３６０が行なう撮像方向の変更に関する処理の信号が送信される。そのため、ラジコンカー３００では、進行操作および撮像方向の変更の処理は、ＡＰＩ１６５の処理とは異なり、連続的に行なわれる。この変形例の頭部装着型表示装置１００を用いた遠隔操作システム５００では、ＡＰＩ１６５が複数のセンサーの検出結果に対して、特定の時点では１つの検出結果のみに対応した処理を行なうにもかかわらず、処理の結果については、複数の結果が連続的に行なわれるので、特定の時点でのＡＰＩ１６５の処理の負荷を抑制した上で、ラジコンカー３００における連続的な処理を行なうことができる。

図１０に示す例では、入力処理と１０軸センサー処理とは、期間ＴＴで交互に行なわれたが、必ずしも同じ期間ＴＴでなくてもよいし、交互でなくてもよく、入力処理と１０軸センサー処理とが行なわれるタイミングについては種々変形可能である。例えば、一方の処理では、期間ＴＴよりも長い期間が採用されてもよい。また、入力処理と１０軸センサー処理とは交互に行なわれず、期間ＴＴの３回の内の１回に入力処理が行なわれ、残りの２回に１０軸センサー処理が行なわれてもよい。また、期間ＴＴや期間ＴＣの設定については、処理の種類によって異なっていてもよいし、使用者ＵＳの操作によって自由に設定されてもよい。また、期間ＴＴと期間ＴＣとの関係についても、種々変形可能である。例えば、期間ＴＴと期間ＴＣとは同じ長さの期間であってもよいし、期間ＴＣは、期間ＴＴの２倍の長さよりも長い期間であってもよい。期間ＴＣと期間ＴＴとは、処理の種類によって異なっていてもよいし、使用者ＵＳの操作によって自由に設定されてもよい。

Ｂ２．変形例２：
上記実施形態では、画像表示部２０に内蔵された姿勢センサーとしての１０軸センサー６６が画像表示部２０の状態を検出し、制御部１０に含まれる制御部１０の位置や位置の変化を検出するセンサーとしてのジャイロセンサー９が制御部１０に作用する加速度を取得したが、各センサーの態様については種々変形可能である。例えば、制御部１０および画像表示部２０とは異なる部分に設置されたカメラによって、制御部１０の向きおよび画像表示部２０の位置の変化が検出されて、当該検出結果に基づいて画像表示部２０の表示画像が制御されてもよい。また、姿勢センサーや制御部１０の位置や位置の変化を検出するセンサーとして、ジャイロセンサー、加速度センサー、地磁気センサー、および、気圧センサー等が用いられてもよい。

また、画像表示部２０に内蔵された１０軸センサー６６の代わりに、制御部１０にジャイロセンサー９とは別に１０軸センサーが内蔵されてもよい。例えば、トラックパッド１４への入力がジャイロセンサー９および入力処理部１６８によって変換して出力され、制御部１０に内蔵された１０軸センサーが検出した加速度の変化によって、ラジコンカー３００の進行操作やカメラ３６０の撮像方向が変更されてもよい。

また、上記実施形態では、制御部１０の角速度や使用者ＵＳの視線方向によって、ラジコンカー３００の進行操作とカメラ３６０の撮像方向の変更とが行なわれたが、各種センサーの検出結果によって制御される内容については、種々変形可能である。例えば、各種センサーの検出結果に応じて、画像表示部２０に表示される表示画像の表示位置、大きさ、および、表示画像の種類等が変更されてもよい。また、検出結果によって制御される内容として、音声処理部１７０およびイヤホン３２，３４によって音声が出力されてもよいし、制御部１０によって画像表示部２０が振動させられてもよい。また、パーソナルコンピューターに付属されているマウスのスクロール感度やマウスのキーの割当などがセンサーの検出結果によって設定されてもよい。また、画像表示部２０に表示される動画コンテンツやゲームのようなアプリケーションを操作するための各種コマンドの割当がセンサーの検出結果によって設定されてもよい。

また、各種センサーの検出結果の組み合わせは、所定の操作や１０軸センサー６６の検出結果によって設定されてもよい。
また、ラジコンカー３００の操作として、例えば、制御部１０に加速度センサーが内蔵されて、重力方向に沿った制御部１０の加速度に基づいて、ラジコンカー３００の進行速度が設定され、重力方向に直交する水平方向に沿った制御部１０の加速度に基づいて、ラジコンカー３００のフロントタイヤの向きが変更されてもよい。また、例えば、１０軸センサー６６が閾値以上の角速度を検出した場合に、使用者ＵＳが、撮像画像ではなく、透過された外景を視認したいと判定されて、撮像画像が表示される領域が小さく変更されてもよいし、撮像画像が非表示に変更されてもよい。また、各種センサーの検出結果の組み合わせによって、制御される内容が決定されてもよい。例えば、ラジコンカー３００の進行速度や進行方向が、ジャイロセンサー９が検出した角速度に応じて大きく調整され、１０軸センサー６６が検出した角速度に応じて微調整されてもよい。

Ｂ３．変形例３：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者ＵＳの操作性が向上する。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置１００に対して本発明を適用することも可能である。

また、例えば、頭部装着型表示装置１００は、光学像表示部が使用者ＵＳの眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者ＵＳの眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、頭部装着型表示装置１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。

Ｂ４．変形例４：
上記実施形態における頭部装着型表示装置１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６やトラックパッド１４の一方を省略したり、方向キー１６やトラックパッド１４に加えてまたは方向キー１６やトラックパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。また、上記実施形態では、使用者ＵＳの頭の動きを検出するセンサーとして１０軸センサー６６を利用しているが、これに代えて、加速度センサー、角速度センサー、地磁気センサー、および、気圧センサーのうちの１つ以上から構成されたセンサーを利用するとしてもよい。

図１１は、変形例における頭部装着型表示装置の外観構成を示す説明図である。図１１（Ａ）の例の場合、図２に示した頭部装着型表示装置１００との違いは、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備える点と、左光学像表示部２８に代えて左光学像表示部２８ａを備える点とである。右光学像表示部２６ａは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ａの装着時における使用者ＵＳの右眼の斜め上に配置されている。同様に、左光学像表示部２８ｂは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ａの装着時における使用者ＵＳの左眼の斜め上に配置されている。図１１（Ｂ）の例の場合、図２に示した頭部装着型表示装置１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点とである。右光学像表示部２６ｂは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者ＵＳの右眼の斜め下に配置されている。左光学像表示部２８ｂは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者ＵＳの左眼の斜め下に配置されている。このように、光学像表示部は使用者ＵＳの眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者ＵＳの眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者ＵＳの眼を完全に覆わない態様の頭部装着型表示装置１００として実現できる。

また、上記実施形態において、頭部装着型表示装置１００は、使用者ＵＳの左右の眼に同じ画像を表わす画像光を導いて使用者ＵＳに二次元画像を視認させるとしてもよいし、使用者ＵＳの左右の眼に異なる画像を表わす画像光を導いて使用者ＵＳに三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図２および図３に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図３に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

また、制御部１０がＰＣに内蔵されて、ＰＣのモニターに代えて画像表示部２０が使用される態様であってもよいし、制御部１０と画像表示部２０とが一体化して、使用者ＵＳの衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

９…ジャイロセンサー（第１の検出部）
１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部（画像表示部）
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６６…１０軸センサー（第２の検出部）
１００…頭部装着型表示装置
１２０…記憶部
１３０…電源
１３２…通信部
１３５…操作部（操作部）
１４０…ＣＰＵ
１５０…ＯＳ（制御部）
１６０…画像処理部（制御部）
１６５…ＡＰＩ（制御部）
１６７…１０軸センサー処理部（第２の検出部）
１６８…入力処理部（第１の検出部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…ラジコンカー
３０５…通信部
３１０…本体部
３４０…ジョイント
３６０…カメラ（撮像部）
５００…遠隔操作システム
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＰＣＬＫ…クロック信号
ＵＳＢインターフェイス…マイクロ
２０１…右ＢＬ制御部
２２１…右ＢＬ
２０２…左ＢＬ制御部
２２２…左ＢＬ
ｔ０，ｔ１，ｔ２，ｔ３…時間
ＴＣ，ＴＴ…期間
ＶＲ…視野
ＵＳ…使用者
ＲＤ，ＲＣ１，ＲＣ２，ＲＮ１，ＲＮ２…軌道
ＶＩ１，ＶＩ２…撮像画像
ＨＤ…右手
ＲＥ…右眼
ＬＥ…左眼
ＩＬ…照明光
ＰＬ…画像光
ＯＬ…軸
ＥＬ，ＥＲ…端部
ＡＰ…先端部

Claims (9)

1. 頭部装着型表示装置であって、
   操作を受け付ける操作部と、
   前記操作部の位置と向きとの少なくとも一方である操作部状態を検出する第１の検出部と、
   使用者の頭部に装着された状態において、画像データに基づいて画像光を形成し、前記画像光を虚像として使用者に視認させる画像表示部と、
   前記画像表示部の位置と向きとの少なくとも一方である表示部状態を検出する第２の検出部と、
   前記頭部装着型表示装置に対して、検出された前記操作部状態に基づいて第１の制御を行ない、検出された前記表示部状態に基づいて前記第１の制御とは異なる第２の制御を行なう制御部と、を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記第１の検出部は、前記操作部に配置され、
   前記第２の検出部は、前記画像表示部に配置される、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記第１の検出部は、前記操作部状態として、前記操作部の位置の変化を検出し、
   前記第２の検出部は、前記表示部状態として、前記画像表示部の向きの変化を検出する、頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
   前記制御部は、前記第１の制御と前記第２の制御とを排他的に行なう、頭部装着型表示装置。
5. 請求項４に記載の頭部装着型表示装置であって、
   前記制御部は、前記操作部の位置の変化が検出されると共に、前記表示部の向きの変化が検出された場合に、前記第１の制御と前記第２の制御との一方を行なう、頭部装着型表示装置。
6. 請求項４に記載の頭部装着型表示装置であって、
   前記制御部は、前記第１の制御と前記第２の制御とを時分割して行なう、頭部装着型表示装置。
7. 請求項２から請求項６までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   外景を撮像する撮像部を備え、
   前記第２の制御は、前記画像表示部の向きの変化に基づいて、前記撮像部によって撮像される方向が変更される処理である、頭部装着型表示装置。
8. 請求項１から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、
   前記第１の制御と前記第２の制御との少なくとも一方は、前記画像光を制御する処理である、頭部装着型表示装置。
9. 操作を受け付ける操作部と、前記操作部の位置と向きとの少なくとも一方である操作部状態を検出する第１の検出部と、使用者の頭部に装着された状態において、画像データに基づいて画像光を形成し、前記画像光を虚像として使用者に視認させる画像表示部と、前記画像表示部の位置と向きとの少なくとも一方である表示部状態を検出する第２の検出部と、を備える、頭部装着型表示装置の制御方法であって、
   前記頭部装着型表示装置に対して、検出された前記操作部状態に基づいて第１の制御を行なう工程と、検出された前記表示部状態に基づいて前記第１の制御とは異なる第２の制御を行なう工程と、を備える、制御方法。

Images