JP2020071588A - 表示装置、及び、表示装置の制御方法 - Google Patents

Abstract

【課題】ユーザーの操作性を向上する。【解決手段】ＨＭＤ１００は、ユーザーの頭部に装着され、光を透過する透過型の画像表示部２０と、ユーザーの手の動きを検出する筋電センサー２００と、筋電センサー２００の検出値に基づき、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する操作推定部１４３と、操作推定部１４３の推定結果を判定する判定部１４４と、筋電センサー２００の検出値と、１つの入力用画像ＭＡと、判定部１４４の判定結果との組み合わせを含む学習データセット１４７ａに基づいて、筋電センサー２００の検出値から１つの入力用画像ＭＡを特定するための条件を機械学習する学習部１４５と、を備える。【選択図】図６

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、ユーザーの操作を受け付ける種々のインターフェイス装置が知られている（例えば、特許文献１参照）。
例えば、特許文献１に記載のインターフェイス装置は、操作者の手に装着される。このインターフェイス装置は、操作者の一方の手の平の少なくとも一部に接触する部材と、カメラと、検出手段とを備える。カメラは、この部材の一方の手の平に対向する面とは反対側の面上に配置される。検出手段は、このカメラにより撮像された画像に基づいて、一方の手の動作を検出する。

特開２０１２−７３８３０号公報

本発明は、ユーザーの操作性を向上可能な表示装置を提供することを目的とする。

上記目的を達成する一態様は、光を透過する透過型の表示部であって、ユーザーの頭部に装着される表示部と、前記表示部を透過して視認される前記ユーザーの手に重なる位置に、複数の入力用画像を前記表示部に表示させる表示制御部と、前記ユーザーの手の動きを検出する動きセンサーと、前記動きセンサーの検出値に基づき、前記複数の入力用画像の中から１つの入力用画像を選択する操作を推定する操作推定部と、前記操作推定部の推定結果を判定する判定部と、前記動きセンサーの検出値と、前記１つの入力用画像と、前記判定部の判定結果との組み合わせを含む学習データセットに基づいて、前記動きセンサーの検出値から前記１つの入力用画像を特定するための条件を機械学習する学習部と、を備える表示装置である。

上記表示装置において、撮像部を備え、前記判定部は、前記判定部は、前記操作推定部の推定結果の正否を、前記撮像部による画像に基づいて判定する構成であってもよい。

上記表示装置において、前記ユーザーからの音声の入力を受け付ける音声入力部を備え、前記判定部は、前記操作推定部の推定結果の正否を、前記音声入力部に入力された音声に基づいて判定する構成であってもよい。

上記表示装置において、前記複数の入力用画像の各々は、互いに相違する文字を示し、前記操作推定部は、前記動きセンサーの検出値に基づいて、入力する文字を推定する構成であってもよい。

上記表示装置において、前記複数の入力用画像の各々は、前記ユーザーの手の親指を除く各指において関節で区切られた領域に対応付けられ、前記１つの入力用画像を選択する操作は、前記ユーザーの手の親指を前記関節で区切られた領域に押圧する操作である構成であってもよい。

上記表示装置において、前記複数の入力用画像に含まれる２つ以上の所定個数の入力用画像は、前記ユーザーの手の親指を除く各指において関節で区切られた領域に対応付けられ、前記領域を選択する操作は、前記ユーザーの手の親指を前記関節で区切られた領域に押圧する操作であり、前記領域に対応付けられた前記所定個数の入力用画像から前記１つの入力用画像を選択する操作は、前記ユーザーの手の親指を所定方向に移動する操作である構成であってもよい。

上記表示装置において、前記表示制御部は、前記ユーザーの手の位置をガイドする第１ガイド画像を前記表示部に表示させる構成であってもよい。

上記表示装置において、前記表示制御部は、前記表示部を透過して視認される前記ユーザーの手の位置を追跡し、前記ユーザーの手の移動に応じて、前記複数の入力用画像の各々の表示位置を調整する構成であってもよい。

上記表示装置において、前記動きセンサーは、前記ユーザーの手首に装着される筋電センサーを含む構成であってもよい。

上記目的を達成する別の一態様は、光を透過する透過型の表示部であって、ユーザーの頭部に装着される表示部と、前記ユーザーの手の動きを検出する動きセンサーと、を備える表示装置の制御方法であって、前記動きセンサーの検出値から前記複数の入力用画像の中から１つの入力用画像を選択する操作を推定する操作推定ステップと、前記操作推定ステップの推定結果を判定する判定ステップと、前記動きセンサーの検出値と、前記１つの入力用画像と、前記判定ステップの判定結果との組み合わせを含む学習データセットに基づいて、前記動きセンサーの検出値から前記１つの入力用画像を特定するための条件を機械学習する学習ステップと、を含む、表示装置の制御方法である。

ＨＭＤの外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 画像表示部の要部構成を示す斜視図。 対象物の位置と撮像範囲との関係を示す模式図。 ＨＭＤを構成する各部の構成を示す図。 制御部の構成を示す図。 ガイド画像を示す図。 入力用画像を示す図。 制御部の処理を示すフローチャート。 制御部の機械学習処理を示すフローチャート。 学習処理後の制御部の処理を示すフローチャート。 入力用画像の他の形態を示す図。

以下、図面を参照して本実施形態について説明する。
図１は、ＨＭＤ１００の外観構成を示す説明図である。
図１に示すように、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１００は、いわゆるシースルー型（）のＨＭＤであって、制御装置１０と、画像表示部２０とを備える。ＨＭＤ１００は、「表示装置」の一例に相当する。シースルー型は、「透過型」ということもできる。
制御装置１０は、平たい箱形のケース１０Ａを備える。ケース１０Ａは、ユーザーの操作を受け付ける各種のスイッチやトラックパッド１４等を備え、これらをユーザーが操作することによって、制御装置１０は、ＨＭＤ１００を制御する制御装置として機能する。また、ケース１０Ａは、ＨＭＤ１００を制御する機能部を内蔵する。ケース１０Ａは、筐体の一例に対応する。

また、ＨＭＤ１００の制御装置１０は、筋電センサー２００と無線にて通信可能に接続される。筋電センサー２００は、ユーザーの手首に装着される。
筋電センサー２００は、ユーザーの指の筋肉の動きに応じて発生する電気信号を検出する。本実施形態では、筋電センサー２００は、主にユーザーの親指の筋肉の動きに応じて発生する電気信号を検出する。
筋電センサー２００は、後述にて図７を参照して説明するように、ユーザーの手首に装着される。筋電センサー２００は、円筒状に形成され、その内面側に複数のセンサーが配置される。「内面側」とは、ユーザーの手首の外周面と当接する側を示す。筋電センサー２００は、複数のセンサーによって、複数の筋肉の動きを検出可能に構成される。
筋電センサー２００は、バッテリー、通信部、制御部、入出力部を備える。通信部は、例えばBluetooth（登録商標）のような無線通信によって、ＨＭＤ１００の制御装置１０との間で通信可能である。
筋電センサー２００は、「動きセンサー」の一例に相当する。なお、「動きセンサー」は、ユーザーの指に装着されるジャイロセンサーでもよい。また、「動きセンサー」は、筋電センサー２００とジャイロセンサーとを含んでもよい。

画像表示部２０は、ユーザーの頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８を備える。画像表示部２０は、「表示部」の一例に相当する。
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプルのように、ユーザーの頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態においてユーザーの右側に位置する端部を端部ＥＲとし、ユーザーの左側に位置する端部を端部ＥＬとする。右保持部２１は、画像表示部２０の装着状態において、前部フレーム２７の端部ＥＲからユーザーの右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、画像表示部２０の装着状態において、端部ＥＬからユーザーの左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態においてユーザーの右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態においてユーザーの左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、ユーザーが画像表示部２０を装着する装着状態で、ユーザーの眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態でユーザーの鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０をユーザーの頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態においてユーザーの後頭部に接する図示しないベルトを連結してもよく、この場合、ベルトによって画像表示部２０をユーザーの頭部に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態においてユーザーの右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態においてユーザーの左側頭部の近傍に位置する。

本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、ユーザーの眼に導く。

また、右導光板２６及び左導光板２８の表面に、調光機能を有する図示しない電子シェードを設けてもよい。電子シェードは電圧を入力する図示しない端子、及び、端子間の電圧に応じて光の透過率が変化する図示しないシェード本体を有し、後述する制御部１４１の制御により、印加される電圧を調整可能である。電子シェードは、可視光を含む波長域全体の透過率が変化する構成であってもよいし、光の波長域により異なる透過率を有する構成であってもよい。電子シェードは、例えば、ユーザーの眼の側とは反対の側である前部フレーム２７の表側を覆うように配置される。電子シェードの光学特性を調整することにより、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導き、この画像光によって虚像をユーザーに視認させることによって、画像を表示する。ユーザーの前方から、右導光板２６及び左導光板２８を透過して外光がユーザーの眼に入射する場合、ユーザーの眼には、虚像を構成する画像光及び外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に電子シェードを装着し、電子シェードの光学特性を適宜選択あるいは調整することによって、虚像の視認のし易さを調整できる。

カメラ６１は、画像表示部２０の前部フレーム２７に配置される。カメラ６１は、ユーザーが画像表示部２０を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置される。カメラ６１は、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。カメラ６１は、「撮像部」の一例に相当する。

カメラ６１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態におけるユーザーの視界方向の少なくとも一部の外景を撮像する。外景は、実空間に対応する。別の表現では、カメラ６１は、ユーザーの視界と重なる範囲または方向を撮像し、ユーザーが注視する方向を撮像するということもできる。カメラ６１の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、ユーザーが右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能なユーザーの視界の全体を撮像できるように、カメラ６１の撮像範囲が設定される。
カメラ６１は、制御部１４１の指示に従って撮像処理を実行し、撮像画像データを表示制御部１４２及び判定部１４４に出力する。表示制御部１４２及び判定部１４４の各々については、後述にて図６を参照して説明する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー６４を備える。距離センサー６４は、例えば、ユーザーにとって前方に位置する測定対象物までの距離を検出する構成とすることができ、本実施形態では、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置される。この例では、画像表示部２０の装着状態において、距離センサー６４の位置は、水平方向ではユーザーの両眼のほぼ中間であり、鉛直方向ではユーザーの両眼より上である。距離センサー６４の測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればカメラ６１の撮像方向と重複する方向である。

距離センサー６４は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。距離センサー６４は、制御部１４１の指示に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー６４は、制御部１４１の指示に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

制御装置１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの端部に設けられるコネクター４２に着脱可能に接続される。すなわち、ケース１０Ａには、接続ケーブル４０を抜き差し可能なコネクター４２が設けられ、画像表示部２０を使用する場合にコネクター４２に接続ケーブル４０が接続される。

接続ケーブル４０は、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。
コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。コネクター４６は、オーディオコネクターという場合がある。図１に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、コネクター４６に接続される。

マイク６３は、例えば図１に示すように、マイク６３の集音部がユーザーの視線方向を向くように配置され、音声を集音して、音声信号を図５に示す音声インターフェイス１８２に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

制御装置１０は、ユーザーにより操作される***作部として、トラックパッド１４、上下キー１５、ＬＥＤ表示部１７及び電源スイッチ１８を備える。これらの***作部はケース１０Ａの表面に配置される。これらの***作部は、例えば、ユーザーの手指により操作される。

トラックパッド１４は、ケース１０Ａの前面において、ユーザーが指を接触させる、タッチ操作を行うための領域である。トラックパッド１４は、ケース１０Ａの前面と同様の平面であってもよいが、トラックパッド１４と、それ以外の領域とをユーザーが識別できる構成であることが好ましい。例えば、トラックパッド１４の縁を示す線が印刷または凹凸により形成されてもよいし、トラックパッド１４が、トラックパッド１４の表面の触感をそれ以外の領域と異ならせる表面加工を施されてもよい。

制御装置１０は、ケース１０Ａの前面において、図５に示すタッチセンサー１３により、ユーザーによるトラックパッド１４への接触操作を検出できる。制御装置１０は、タッチセンサー１３が接触操作を検出した場合に、操作を検出した位置を特定する。トラックパッド１４は、トラックパッド１４における絶対位置、或いは、相対位置を入力する操作のために使用できる。

ケース１０Ａの前面にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は、トラックパッド１４に位置し、ＬＥＤ表示部１７の表面は、ケース１０Ａの前面における他の領域と違わない。ＬＥＤ表示部１７は、光を透過可能な図示しない透過部を有し、透過部の直下に設置される１または複数のＬＥＤが点灯することにより、ユーザーが記号等を視認できるように、発光する。図１の例では、ＬＥＤ表示部１７のＬＥＤが点灯することにより、３つの記号△、記号○、記号□が現れる。記号△は、三角形を示す。記号○は丸を示す。記号□は四角形を示す。

制御装置１０は、ＬＥＤ表示部１７に対するユーザーの手指の接触操作を、タッチセンサー１３により検出し、操作位置を特定できる。このため、例えば操作位置が、ＬＥＤ表示部１７に現れる記号のどれに対応する位置かを特定できる。従って、ＬＥＤ表示部１７はソフトウェアボタンとして機能する。例えば、ＬＥＤ表示部１７に現れる記号を、ＨＭＤ１００の機能に対応付けることで、ＬＥＤ表示部１７へのタッチ操作を当該機能に対する操作として検出できる。ＨＭＤ１００は、図１の例で、記号○をホームボタンに割り当てることができる。この場合、記号○の位置に接触操作が行われると、制御部１４１は、ホームボタンの操作を検出する。また、記号□は履歴ボタンに割り当てることができる。この場合、記号□の接触操作を、制御部１４１は、履歴ボタンの操作として検出する。同様に、記号△は戻るボタンに割り当てることができる。制御部１４１は、記号△の接触操作を、戻るボタンの操作として検出する。

上下キー１５は、ケース１０Ａの側面に配置され、押圧操作を検出する一対のキーを備える。上下キー１５の右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。
電源スイッチ１８は、ＨＭＤ１００の電源のオン及びオフを切り替えるスイッチである。

ケース１０Ａにおいて電源スイッチ１８と同じ側の側面には、図５に示すＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクター１８８が設けられる。ＵＳＢコネクター１８８は、制御装置１０を、外部の装置に接続するインターフェイスであり、本実施形態ではインターフェイスの一例として、ＵＳＢ規格に準拠したコネクターを例示する。ＵＳＢコネクター１８８は、例えば、ｍｉｃｒｏＵＳＢ規格に適合する形状、及びサイズを有するコネクターであり、転送速度等の仕様は任意である。

制御装置１０は、図５に示すバッテリー１３２を有し、バッテリー１３２が供給する電力により制御装置１０及び画像表示部２０が動作する。バッテリー１３２への充電は、ＵＳＢコネクター１８８に対して電力を供給することにより行うことができる。ＨＭＤ１００は、制御装置１０と画像表示部２０とを取り外し、制御装置１０のみを専用の充電装置に接続することで、充電を行うことができる。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のためユーザーの左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。ユーザーの右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１を備える。また、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１を備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ、Ｇ、Ｂの色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。Ｒは、赤色を示す。Ｇは緑色を示す。Ｂは青色を示す。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１４１の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される図示しない基板に実装されてもよい。この基板には図５に示す温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗの光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。Ｗは白色を示す。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１が形成される。ハーフミラー２６１は、反射面の一例に対応する。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、ユーザーに画像を視認させる。

また、ユーザーの左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１４１の指示に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される図示しない基板に実装されてもよい。この基板には、温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１が形成される。ハーフミラー２８１は、反射面の一例に対応する。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、ユーザーに画像を視認させる。

この構成によれば、ＨＭＤ１００は、透過型の表示装置として機能する。すなわち、ユーザーの右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねてユーザーの眼に入射させ、ユーザーにとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いてユーザーの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図３及び図４は、画像表示部２０の要部の構成を示す図である。図３は、画像表示部２０をユーザーの頭部側から見た要部斜視図である。なお、図３では接続ケーブル４０の図示を省略する。図４は、対象物の位置とカメラ６１の撮像範囲との関係を示す模式図である。

図３は、画像表示部２０のユーザーの頭部に接する側、言い換えればユーザーの右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、図３では、右導光板２６及び左導光板２８の裏側が見えている。
図３では、ユーザーの右眼ＲＥに画像光を照射するハーフミラー２６１、及び、左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、ユーザーには、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

カメラ６１は、上記のように画像表示部２０において右側の端部に配置され、ユーザーの両眼が向く方向、すなわちユーザーにとって前方を撮像する。図４では、カメラ６１の位置を、ユーザーの右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す。カメラ６１の画角をＣで示す。画角Ｃは、撮像範囲の一例に対応する。なお、図４には水平方向の画角Ｃを示すが、カメラ６１の実際の画角は、一般的なデジタルカメラと同様に上下方向にも拡がる。

カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。ユーザーがＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば図４に示すように、ユーザーが両眼で対象物ＯＢを注視すると、ユーザーの視線は、図中の符号ＲＤ、ＬＤに示すように対象物ＯＢに向けられる。この場合、ユーザーから対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時におけるユーザーから対象物ＯＢまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいしユーザーが設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物ＯＢまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物ＯＢが画角に含まれるように、設定されることが好ましい。

また、一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図４の対象物ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、ユーザーが画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）と呼ぶことができる。図３に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過してユーザーが視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

カメラ６１の画角Ｃは、ユーザーの視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Ｃが、少なくともユーザーの有効視野よりも広いことが好ましい。また、画角Ｃが、ユーザーの実視野よりも広いことが、より好ましい。さらに好ましくは、画角Ｃが、ユーザーの安定注視野よりも広く、最も好ましくは、画角Ｃがユーザーの両眼の視野角よりも広い。

カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。

また、距離センサー６４は、右導光板２６と左導光板２８との中央において、前方を向いて配置される。例えば、距離センサー６４は、画像表示部２０の中央位置から、図４に示す対象物ＯＢのように、ユーザーの正面方向に位置する物体までの距離を検出可能に構成される。ＨＭＤ１００を装着したユーザーは、注視する方向に頭を向けるので、注視する対象は画像表示部２０の正面にあると考えることができる。このため、画像表示部２０の中央に配置された距離センサー６４が、画像表示部２０の正面を検出方向６４Ａとすれば、ユーザーが注視する対象までの距離を検出できる。

また、図３に示すように、画像表示部２０のユーザー側には内側カメラ６８が配置される。内側カメラ６８は、ユーザーの右眼ＲＥ、及び、左眼ＬＥのそれぞれに対応するように、右導光板２６と左導光板２８との中央位置に一対、設けられる。内側カメラ６８は、ユーザーの右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラである。内側カメラ６８は、制御部１４１の指示に従って撮像を行う。制御部１４１は、内側カメラ６８の撮像画像データを解析する。例えば、制御部１４１は、内側カメラ６８の撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、ユーザーの視線方向を特定する。また、制御部１４１は、ユーザーの視線方向の変化を求めることができ、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を検出してもよい。
ここで、ユーザーの視線の移動は、ユーザーの仮想視点の移動とみることもできる。

また、制御部１４１は、内側カメラ６８の撮像画像データからユーザーの右眼ＲＥ及び左眼ＬＥの瞼の画像を抽出して、眼瞼運動を検出してもよく、眼瞼の状態を検出してもよい。瞼を眼瞼という場合がある。本実施形態では画像表示部２０が一対の内側カメラ６８、６８を備える構成を例示するが、例えば、１つの内側カメラ６８を、画像表示部２０の中央位置に設けてもよい。この場合、１つの内側カメラ６８が、右眼ＲＥ及び左眼ＬＥを撮像できる画角を有することが好ましいが、例えば、右眼ＲＥまたは左眼ＬＥの一方のみを内側カメラ６８により撮像してもよい。すなわち、右眼ＲＥまたは左眼ＬＥのいずれか一方の視線方向、眼球運動、眼瞼運動、眼瞼の状態等を制御部１４１が検出する構成としてもよい。

また、制御部１４１は、内側カメラ６８の撮像画像から右眼ＲＥ及び左眼ＬＥの視線方向を検出した場合に、右眼ＲＥ及び左眼ＬＥの輻輳角を求めることができる。図４には輻輳角を符号ＰＡで示す。輻輳角ＰＡは、ユーザーが注視する対象物ＯＢまでの距離に対応する。すなわち、ユーザーが立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼ＲＥ及び左眼ＬＥの輻輳角が定まる。従って、輻輳角を検出することで、ユーザーが注視する距離を求めることができる。また、ユーザーの輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。

輻輳角は、例えば、内側カメラ６８の撮像画像データから求めることができる。例えば、内側カメラ６８に撮像画像データから右眼ＲＥの視線方向を求め、この視線方向から、右眼ＲＥの正面方向に対する右眼ＲＥの視線方向の角度ＬＡを求める。同様に、内側カメラ６８の撮像画像データから左眼ＬＥの視線方向を求め、この視線方向に基づき、左眼ＬＥの正面方向に対する左眼ＬＥの視線方向の角度ＲＡを求める。輻輳角ＰＡは、角度ＬＡと、角度ＲＡとの和に等しく、容易に輻輳角ＰＡを求めることができる。

図５は、ＨＭＤ１００を構成する各部の構成を示す図である。
図５に示すように、制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１４０には、入力装置として操作部１１０が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ１１５が接続される。また、メインプロセッサー１４０には、通信部１１７、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。

メモリー１１８は、メインプロセッサー１４０が制御プログラムを実行する場合に、実行される制御プログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。

メインプロセッサー１４０は、操作部１１０から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１、タッチセンサー１３、およびＬＥＤ表示部１７を含む。タッチセンサー１３は、トラックパッド１４へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。この場合、操作部１１０は、トラックパッド１４におけるタッチ位置を示すデータを含む操作信号をメインプロセッサー１４０に出力する。ボタン１１の操作が行われた場合、及び、タッチセンサー１３がタッチ操作を検出した場合、操作部１１０からメインプロセッサー１４０に対し、操作信号が出力される。
ＬＥＤ表示部１７は、図３に示すトラックパッド１４の直下に配置される図示しないＬＥＤ、及び、このＬＥＤを点灯させる駆動回路を含む。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。

６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。ジャイロセンサーは、角速度センサーの一例に対応する。モーションセンサーは、慣性センサーという場合がある。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。

通信部１１７は、外部の機器との間で無線通信を実行する。本実施形態では、通信部１１７は、筋電センサー２００と無線通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ等の規格に準拠した無線通信を行う。なお、無線ＬＡＮは、Ｗｉ−Ｆｉ（登録商標）含む。

音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられた図３に示すコネクター４６を含む。音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード及びデコードを行う。また、音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。
マイク６３、音声インターフェイス１８２及び音声コーデック１８０は、「音声入力部」の一例に相当する。

外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。

ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。ＨＭＤ１００とリモートコントローラー３５０とをＵＳＢケーブルによって接続する場合、ＵＳＢコネクター１８８が、リモートコントローラー３５０に接続される。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーター、偏心した図示しない回転子等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン及びオフされる場合等に、所定の振動パターンでバイブレーター１９により振動を発生する。

センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及び、インターフェイス１９６を介した伝送を実行する。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図３に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが制御装置１０に接続される。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５が実装される。ＥＥＰＲＯＭ２１５は、記憶部の一例に対応する。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。

ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図３に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着するユーザーの前方からの外光を受光するよう配置される。照度センサー６５は、受光量に対応する検出値を出力する。受光量は、受光強度という場合もある。
ＬＥＤインジケーター６７は、図３に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２１７は、図３に示すＯＬＥＤパネル２２３の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。

内側カメラ６８は、インターフェイス２１１を介して制御装置１０から入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。図３に示す一対の内側カメラ６８、６８が同時に動作してもよい。また、一対の内側カメラ６８、６８のそれぞれが、インターフェイス２１１に接続され、独立して動作する構成であってもよい。

距離センサー６４は、インターフェイス２１１を介して制御装置１０から入力される信号に従って距離検出を実行し、検出結果を示す信号を制御装置１０に出力する。図３に示す一対の距離センサー６４、６４が同時に動作してもよい。また、一対の距離センサー６４、６４のそれぞれが、インターフェイス２１１に接続され、独立して動作する構成であってもよい。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、図２に示すＯＬＥＤ駆動回路２２５に出力する。

左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部２３３が実装される。受信部を「Ｒｘ」と記載する場合がある。また、表示ユニット基板２１０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。６軸センサー２３５は、「動きセンサー」の一例に対応する。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、制御装置１０に接続する。

６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、図３に示すＯＬＥＤパネル２４３の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

右表示ユニット２２が備えるカメラ６１、距離センサー６４、照度センサー６５、内側カメラ６８、温度センサー２１７、左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。

制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。

ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続する図示しないインターフェイスを備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。

図６は、制御部１４１の構成を示す図である。
図６に示すように、制御部１４１は、表示制御部１４２と、操作推定部１４３と、判定部１４４と、学習部１４５と、信号記憶部１４６と、学習データ記憶部１４７と、画像記憶部１４８とを備える。具体的には、メインプロセッサー１４０がメモリー１１８の制御プログラムを実行することによって、表示制御部１４２、操作推定部１４３、判定部１４４及び学習部１４５として機能する。また、メインプロセッサー１４０がメモリー１１８の制御プログラムを実行することによって、メモリー１１８を、信号記憶部１４６、学習データ記憶部１４７及び画像記憶部１４８として機能させる。

表示制御部１４２は、複数の入力用画像ＭＮを、画像表示部２０を透過して視認されるユーザーの手と重なる位置に画像表示部２０に表示させる。
具体的には、表示制御部１４２は、カメラ６１によって取得される画像データに基づいて、外景に含まれるユーザーの手の位置を特定する。そして、表示制御部１４２は、複数の入力用画像ＭＮを、特定したユーザーの手の位置に重なるように、画像表示部２０に表示させる。すなわち、表示制御部１４２は、複数の入力用画像ＭＮの表示位置を、特定したユーザーの手の位置に決定する。
また、表示制御部１４２は、画像表示部２０を透過して視認されるユーザーの手の位置を追跡し、ユーザーの手の移動に応じて、複数の入力用画像ＭＮの表示位置を調整する。
具体的には、複数の入力用画像ＭＮの各々は、互いに相違する文字を示す。複数の入力用画像ＭＮについては、後述にて図８を参照して詳細に説明する。
また、表示制御部１４２は、ユーザーの手の位置をガイドする第１ガイド画像ＧＬ１を画像表示部２０に表示させる。また、表示制御部１４２は、筋電センサー２００の位置をガイドする第２ガイド画像ＧＬ２を画像表示部２０に表示させる。第１ガイド画像ＧＬ１及び第２ガイド画像ＧＬ２については、後述にて図７を参照して詳細に説明する。

信号記憶部１４６は、筋電センサー２００の基準値を記憶する。
具体的には、信号記憶部１４６は、複数の入力用画像ＭＮの各々を選択する操作に対応する筋電センサー２００の基準値を記憶する。
信号記憶部１４６が記憶する筋電センサー２００の基準値は、例えば、事前のキャリブレーションによって得られる。例えば、筋電センサー２００の基準値は、ユーザーを示す情報に対応付けて記憶する。換言すれば、筋電センサー２００の基準値は、ユーザー毎に記憶する。
また、信号記憶部１４６に記憶する筋電センサー２００の基準値は、ユーザーが筋電センサー２００を適正な位置に装着した状態で、繰り返し検出される。そして、その平均値が、信号記憶部１４６に記憶される。また、平均値に替えて、筋電センサー２００の基準値の範囲を信号記憶部１４６に記憶してもよい。

画像記憶部１４８は、表示制御部１４２が表示する画像を記憶する。具体的には、画像記憶部１４８は、複数の入力用画像ＭＮ、第１ガイド画像ＧＬ１、第２ガイド画像ＧＬ２等の画像を記憶する。

操作推定部１４３は、筋電センサー２００の検出値を取得し、筋電センサー２００の検出値に基づいて、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。
更に具体的には、学習部１４５が判定基準を生成するまでの期間において、操作推定部１４３は、以下のようにして複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。すなわち、操作推定部１４３は、筋電センサー２００の検出値と、信号記憶部１４６に記憶された筋電センサー２００の基準値とに基づいて、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。
学習部１４５が判定基準を生成した後の期間において、操作推定部１４３は、以下のようにして複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。すなわち、操作推定部１４３は、筋電センサー２００の検出値と、判定基準とに基づいて、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。

判定部１４４は、操作推定部１４３の推定結果を判定する。
具体的には、判定部１４４は、カメラ６１による画像に基づいて、操作推定部１４３の推定結果の正否を判定する。
更に具体的には、カメラ６１は、表示制御部１４２によって複数の入力用画像ＭＮの各々が表示される位置を含むユーザーの手の動画像を生成する。そして、判定部１４４は、ユーザーの手の動画像に基づいて、操作推定部１４３の推定結果の正否を判定する。

すなわち、ユーザーの手の動画像が、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を示す場合には、判定部１４４は、操作推定部１４３の推定結果が正しいと判定する。ユーザーの手の動画像が、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を示さない場合には、判定部１４４は、操作推定部１４３の推定結果が正しくないと判定する。
ユーザーの手の動画像が、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を示さない場合は、下記の２つの場合を含む。第１の場合は、ユーザーの手の動画像が、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡ以外の入力用画像を選択する操作を示す場合である。第２の場合は、ユーザーの手の動画像が、複数の入力用画像ＭＮのいずれかの入力用画像を選択する操作を示さない場合である。
本実施形態では、判定部１４４は、カメラ６１による画像に基づいて、操作推定部１４３の推定結果の正否を判定するが、これに限定されない。判定部１４４が、例えば、ユーザーからの操作に基づいて、操作推定部１４３の推定結果の正否を判定してもよい。また、判定部１４４が、例えば、ユーザーからの音声に基づいて、操作推定部１４３の推定結果の正否を判定してもよい。

学習データ記憶部１４７は、学習データセット１４７ａを記憶する。学習データセット１４７ａは、筋電センサー２００の検出値と、１つの入力用画像ＭＡと、判定部１４４の判定結果との組み合わせを含む。

学習部１４５は、学習データセット１４７ａに基づいて、筋電センサー２００の検出値から１つの入力用画像ＭＡを特定するための条件を機械学習する。
筋電センサー２００の検出値から１つの入力用画像ＭＡを特定するための条件は、例えば、筋電センサー２００の検出値が、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を示すか否かの判定基準である。学習部１４５が実行する機械学習処理については、後述にて図９を参照して詳細に説明する。
また、学習部１４５は、学習データセット１４７ａを学習データ記憶部１４７に記憶する。具体的には、操作推定部１４３の推定結果の正否を判定部１４４が判定する度に、学習部１４５は、学習データセット１４７ａを学習データ記憶部１４７に記憶する。

図７は、ガイド画像ＧＬを示す図である。
図７には、視野領域ＡＲ１と画像領域ＡＲ２とが示されている。視野領域ＡＲ１は、右導光板２６を透過した外光と、左導光板２８を透過した外光とによって、ユーザーが認識可能な実空間の景色の範囲を示す。換言すれば、視野領域ＡＲ１は、ＨＭＤ１００を装着したユーザーの視野の範囲を示す。視野領域ＡＲ１には、ユーザーの右手ＨＰが含まれる。また、ユーザーの右手ＨＰの手首の位置ＰＳ１には、筋電センサー２００が装着されている。
画像領域ＡＲ２は、右導光板２６により導かれた画像光と、左導光板２８により導かれた画像光とによって、ユーザーが認識可能な画像の範囲を示す。換言すれば、画像領域ＡＲ２は、ＨＭＤ１００を装着したユーザーが認識可能な画像の範囲を示す。画像領域ＡＲ２には、第１ガイド画像ＧＬ１と第２ガイド画像ＧＬ２とが含まれる。

第１ガイド画像ＧＬ１は、ユーザーの手の位置をガイドする。具体的には、第１ガイド画像ＧＬ１は、ユーザーの右手ＨＰを実空間において配置すべき位置を示す。図７に示すように、ユーザーの右手ＨＰは、第１ガイド画像ＧＬ１が示す位置に配置されている。
第２ガイド画像ＧＬ２は、筋電センサー２００によって適正な電気信号を検出するための筋電センサー２００のユーザーの右手ＨＰの手首への装着位置を示す。図７では、第２ガイド画像ＧＬ２は、実空間における筋電センサー２００の位置を示す位置ＰＳ１よりも手のひらに近い。
このように、筋電センサー２００の位置ＰＳ１が第２ガイド画像ＧＬ２と重なっていない場合には、表示制御部１４２は、第２ガイド画像ＧＬ２を点滅表示する。
また、ユーザーは、筋電センサー２００の位置ＰＳ１が第２ガイド画像ＧＬ２と重なるように、筋電センサー２００を手のひらに近付ける必要がある。

なお、本実施形態では、筋電センサー２００の位置ＰＳ１が第２ガイド画像ＧＬ２と重なっていない場合には、表示制御部１４２は、第２ガイド画像ＧＬ２を点滅表示するが、これに限定されない。筋電センサー２００の位置ＰＳ１が第２ガイド画像ＧＬ２と重なっていない場合には、表示制御部１４２は、第２ガイド画像ＧＬ２の表示形態を変更すればよい。例えば、表示制御部１４２は、第２ガイド画像ＧＬ２の表示色を変更してもよい。

図８は、本実施形態に係る入力用画像ＭＮを示す図である。
図８には、図７と同様に、視野領域ＡＲ１と画像領域ＡＲ２とが示されている。
画像領域ＡＲ２には、ユーザーの右手ＨＰが含まれる。また、ユーザーの右手ＨＰの手首の位置ＰＳ１には、筋電センサー２００が装着されている。

また、本実施形態では、ＨＭＤ１００がユーザーＩＤの入力を受け付ける場合について説明する。図８の画像領域ＡＲ２には、ガイド画像ＧＰ１が表示される。ガイド画像ＧＰ１には、「ＩＤ：１２３＿」と表示されている。
ガイド画像ＧＰ１は、ユーザーＩＤとして、「１」の数字と、「２」の数字と、「３」の数字とが入力されていることを示す。また、ガイド画像ＧＰ１のカーソルを示す「＿」は、ユーザーＩＤとして、４個目の文字の入力を待っている状態であることを示す。

複数の入力用画像ＭＮの各々は、互いに相違する文字を示す。図８に示すように、例えば、複数の入力用画像ＭＮの各々は、「０」〜「９」の数字と、「−」の記号と、決定コマンドと、戻るコマンドとを含む。
決定コマンドは、ユーザーＩＤの入力を決定する旨のコマンドを示す。戻るコマンドは、ユーザーＩＤとして入力された文字のうち１つの文字を消去する旨のコマンドを示す。
具体的には、複数の入力用画像ＭＮの各々は、ユーザーの右手ＨＰの指において関節で区切られた領域に対応付けられる。
更に具体的には、複数の入力用画像ＭＮの各々は、ユーザーの右手ＨＰの親指ＦＰ１を除く各指において関節で区切られた領域に対応付けられる。

ユーザーの右手ＨＰは、親指ＦＰ１、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５を含む。
人差し指ＦＰ２は、第１関節ＦＰ２１と、第２関節ＦＰ２２と、第３関節ＦＰ２３とを含む。
人差し指ＦＰ２において、第１関節ＦＰ２１の先端側の領域には、入力用画像Ｍ２１が表示される。入力用画像Ｍ２１は、「１」の数字を示す。先端側は、手のひらから離間する側を示す。
すなわち、表示制御部１４２は、入力用画像Ｍ２１を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの人差し指ＦＰ２の第１関節ＦＰ２１の先端側の領域と重なる位置に、画像表示部２０に表示させる。
具体的には、表示制御部１４２は、カメラ６１によって取得される画像データに基づいて、外景に含まれるユーザーの右手ＨＰの人差し指ＦＰ２の第１関節ＦＰ２１の先端側の領域の位置を特定する。そして、入力用画像Ｍ２１の表示位置を、特定したユーザーの右手ＨＰの人差し指ＦＰ２の第１関節ＦＰ２１の先端側の領域の位置に決定する。
なお、入力用画像Ｍ２１は、複数の入力用画像ＭＮに含まれる。
また、複数の入力用画像ＭＮに含まれる入力用画像Ｍ２１を除く入力用画像ＭＮについては、図８において、複数の入力用画像ＭＮを示す参照符号ＭＮの記載を省略している。

第１関節ＦＰ２１と第２関節ＦＰ２２との間の領域には、入力用画像Ｍ２２が表示される。入力用画像Ｍ２２は、「５」の数字を示す。
すなわち、表示制御部１４２は、入力用画像Ｍ２２を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの人差し指ＦＰ２の第１関節ＦＰ２１と第２関節ＦＰ２２との間の領域と重なる位置に、画像表示部２０に表示させる。
人差し指ＦＰ２において、第２関節ＦＰ２２と第３関節ＦＰ２３との間の領域には、入力用画像Ｍ２３が表示される。入力用画像Ｍ２３は、「９」の数字を示す。
すなわち、表示制御部１４２は、入力用画像Ｍ２３を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの人差し指ＦＰ２の第２関節ＦＰ２２と第３関節ＦＰ２３との間の領域と重なる位置に、画像表示部２０に表示させる。
人差し指ＦＰ２の第３関節ＦＰ２３と近接する手のひらの領域には、入力用画像Ｍ２４が表示される。入力用画像Ｍ２４は、決定コマンドを示す。
すなわち、入力用画像Ｍ２４は、ユーザーＩＤを構成する各数字及び記号の入力を確定する旨のコマンドを示す。また、入力用画像Ｍ２４は、ユーザーＩＤを確定する旨のコマンドを示す。入力用画像Ｍ２４は、「決定」の文字列を示す。
また、表示制御部１４２は、入力用画像Ｍ２４を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの第３関節ＦＰ２３と近接する手のひらの領域と重なる位置に、画像表示部２０に表示させる。

中指ＦＰ３は、第１関節ＦＰ３１と、第２関節ＦＰ３２と、第３関節ＦＰ３３とを含む。
中指ＦＰ３において、第１関節ＦＰ３１の先端側の領域には、入力用画像Ｍ３１が表示される。入力用画像Ｍ３１は、「２」の数字を示す。
中指ＦＰ３において、第１関節ＦＰ３１と第２関節ＦＰ３２との間の領域には、入力用画像Ｍ３２が表示される。入力用画像Ｍ３２は、「６」の数字を示す。
中指ＦＰ３において、第２関節ＦＰ３２と第３関節ＦＰ３３との間の領域には、入力用画像Ｍ３３が表示される。入力用画像Ｍ３３は、「０」の数字を示す。
表示制御部１４２は、入力用画像Ｍ３１〜入力用画像Ｍ３３の各々を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの中指ＦＰ３において関節で区切られた領域と重なる位置に、画像表示部２０に表示させる。関節で区切られた領域は、第１関節ＦＰ３１の先端側の領域と、第１関節ＦＰ３１と第２関節ＦＰ３２との間の領域と、第２関節ＦＰ３２と第３関節ＦＰ３３との間の領域とを含む。

薬指ＦＰ４は、第１関節ＦＰ４１と、第２関節ＦＰ４２と、第３関節ＦＰ４３とを含む。
薬指ＦＰ４において、第１関節ＦＰ４１の先端側の領域には、入力用画像Ｍ４１が表示される。入力用画像Ｍ４１は、「３」の数字を示す。
薬指ＦＰ４において、第１関節ＦＰ４１と第２関節ＦＰ４２との間の領域には、入力用画像Ｍ４２が表示される。入力用画像Ｍ４２は、「７」の数字を示す。
薬指ＦＰ４において、第２関節ＦＰ４２と第３関節ＦＰ４３との間の領域には、入力用画像Ｍ４３が表示される。入力用画像Ｍ４３は、「−」の記号を示す。
表示制御部１４２は、入力用画像Ｍ４１〜入力用画像Ｍ４３の各々を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの薬指ＦＰ４において関節で区切られた領域と重なる位置に、画像表示部２０に表示させる。関節で区切られた領域は、第１関節ＦＰ４１の先端側の領域と、第１関節ＦＰ４１と第２関節ＦＰ４２との間の領域と、第２関節ＦＰ４２と第３関節ＦＰ４３との間の領域とを含む。

小指ＦＰ５は、第１関節ＦＰ５１と、第２関節ＦＰ５２と、第３関節ＦＰ５３とを含む。
小指ＦＰ５において、第１関節ＦＰ５１の先端側の領域には、入力用画像Ｍ５１が表示される。入力用画像Ｍ５１は、「４」の数字を示す。
小指ＦＰ５において、第１関節ＦＰ５１と第２関節ＦＰ５２との間の領域には、入力用画像Ｍ５２が表示される。入力用画像Ｍ５２は、「８」の数字を示す。
小指ＦＰ５において、第２関節ＦＰ５２と第３関節ＦＰ５３との間の領域には、入力用画像Ｍ５３が表示される。入力用画像Ｍ５３は、ユーザーＩＤとして入力された文字のうち１つの文字を消去する旨のコマンドを示す。入力用画像Ｍ５３は、「戻」の文字を示す。
表示制御部１４２は、入力用画像Ｍ５１〜入力用画像Ｍ５３の各々を、画像表示部２０を透過して視認されるユーザーの右手ＨＰの小指ＦＰ５において関節で区切られた領域と重なる位置に、画像表示部２０に表示させる。関節で区切られた領域は、第１関節ＦＰ５１の先端側の領域と、第１関節ＦＰ５１と第２関節ＦＰ５２との間の領域と、第２関節ＦＰ５２と第３関節ＦＰ５３との間の領域とを含む。

操作推定部１４３は、筋電センサー２００の検出値に基づいて、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。
具体的には、１つの入力用画像ＭＡを選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５の各々における関節で区切られた領域に押圧する操作である。
換言すれば、１つの入力用画像ＭＡを選択するジェスチャーは、ユーザーの右手ＨＰの親指ＦＰ１を、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５の各々における関節で区切られた領域に押圧するジェスチャーである。
このジェスチャーは、筋電センサー２００の検出値に基づいて操作推定部１４３によって検出されるため、一般的なジェスチャーと区別できるように、「筋電ジェスチャー」と記載してもよい。
ユーザーの右手ＨＰの親指ＦＰ１は、第１関節ＦＰ１１と、第２関節ＦＰ１２とを含む。親指ＦＰ１において、第１関節ＦＰ１１の先端側の領域には、ガイド画像Ｍ１が表示される。ガイド画像Ｍ１は、例えば丸印「〇」の記号を示す。
ガイド画像Ｍ１は、第１関節ＦＰ１１の先端側の領域を、関節で区切られた領域に押圧する操作によって、１つの入力用画像ＭＡを選択することを示す。

例えば、「１」の数字を示す入力用画像Ｍ２１を選択する場合には、ユーザーは、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、人差し指ＦＰ２の第１関節ＦＰ２１の先端側の領域に押圧する操作を行う。
また、例えば、「６」の数字を示す入力用画像Ｍ３２を選択する場合には、ユーザーは、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、中指ＦＰ３の第１関節ＦＰ３１と第２関節ＦＰ３２との間の領域に押圧する操作を行う。
また、例えば、「−」の記号を示す入力用画像Ｍ４３を選択する場合には、ユーザーは、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、薬指ＦＰ４の第２関節ＦＰ４２と第３関節ＦＰ４３との間の領域に押圧する操作を行う。
また、例えば、決定コマンドを示す入力用画像Ｍ２４を選択する場合には、ユーザーは、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、人差し指ＦＰ２の第３関節ＦＰ２３と近接する手のひらの領域に押圧する操作を行う。

また、操作推定部１４３は、筋電センサー２００の検出値に基づいて、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。
複数の入力用画像ＭＮは、「０」〜「９」の数字と、「−」の記号と、決定コマンドと、戻るコマンドとを含む。具体的には、複数の入力用画像ＭＮは、入力用画像Ｍ２１〜入力用画像Ｍ２４、入力用画像Ｍ３１〜入力用画像Ｍ３３、入力用画像Ｍ４１〜入力用画像Ｍ４３、及び入力用画像Ｍ５１〜入力用画像Ｍ５３に対応する。すなわち、複数の入力用画像ＭＮは、図８に示す１３個の入力用画像ＭＮを示す。操作推定部１４３は、筋電センサー２００の検出値に基づいて、１３個の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。

信号記憶部１４６には、１３個の入力用画像ＭＮの各々を選択する操作に対応する筋電センサー２００の基準値を記憶する。
信号記憶部１４６に記憶する筋電センサー２００の基準値は、ユーザーが筋電センサー２００を適正な位置に装着した状態で、ユーザー毎に、且つ１３個の入力用画像ＭＮの各々を選択する操作毎に繰り返し検出される。そして、その平均値が、筋電センサー２００の基準値として、１３個の入力用画像ＭＮの各々を選択する操作に対応付けて信号記憶部１４６に記憶される。また、平均値に替えて、筋電センサー２００の検出値の範囲を信号記憶部１４６に記憶してもよい。

操作推定部１４３は、筋電センサー２００の検出値と、信号記憶部１４６に記憶された筋電センサー２００の基準値とに基づいて、１３個の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。
例えば、筋電センサー２００の検出値が、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、人差し指ＦＰ２の第１関節ＦＰ２１の先端側の領域に押圧する操作を示す場合には、操作推定部１４３は、入力用画像Ｍ２１を選択する操作を推定する。
また、例えば、筋電センサー２００の検出値が、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、中指ＦＰ３の第１関節ＦＰ３１と第２関節ＦＰ３２との間の領域に押圧する操作を示す場合には、操作推定部１４３は、以下の処理を行う。すなわち、操作推定部１４３は、入力用画像Ｍ３２を選択する操作を推定する。
また、例えば、筋電センサー２００の検出値が、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、薬指ＦＰ４の第２関節ＦＰ４２と第３関節ＦＰ４３との間の領域に押圧する操作を示す場合には、操作推定部１４３は、以下の処理を行う。すなわち、操作推定部１４３は、入力用画像Ｍ４３を選択する操作を推定する。
また、例えば、筋電センサー２００の検出値が、親指ＦＰ１の第１関節ＦＰ１１の先端側の領域を、人差し指ＦＰ２の第３関節ＦＰ２３と近接する手のひらの領域に押圧する操作を示す場合には、操作推定部１４３は、以下の処理を行う。すなわち、操作推定部１４３は、入力用画像Ｍ２４を選択する操作を推定する。

このようにして、操作推定部１４３が、筋電センサー２００の検出値と、信号記憶部１４６に記憶された筋電センサー２００の基準値とに基づいて、１３個の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。その結果、ユーザーＩＤが入力される。

図９は、制御部１４１の処理を示すフローチャートである。なお、本実施形態では、ユーザーの右手ＨＰが、第１ガイド画像ＧＬ１が示す位置に配置されている場合について説明する。
図９に示すように、まず、ステップＳ１０１において、表示制御部１４２が、ガイド画像ＧＬを表示する。ガイド画像ＧＬは、ユーザーの右手ＨＰの位置をガイドする第１ガイド画像ＧＬ１と、筋電センサー２００の位置をガイドする第２ガイド画像ＧＬ２とを含む。
次に、ステップＳ１０３において、表示制御部１４２は、第２ガイド画像ＧＬ２に基づいて、筋電センサー２００が装着されている位置ＰＳ１が適切であるか否かを判定する。
筋電センサー２００が装着されている位置ＰＳ１が適切であると表示制御部１４２が判定した場合（ステップＳ１０３でＹＥＳ）には、処理がステップＳ１０７に進む。筋電センサー２００が装着されている位置ＰＳ１が適切ではないと表示制御部１４２が判定した場合（ステップＳ１０３でＮＯ）には、処理がステップＳ１０５に進む。
そして、ステップＳ１０５において、ユーザーが、筋電センサー２００が装着されている位置ＰＳ１を修正する。換言すれば、表示制御部１４２は、筋電センサー２００が装着されている位置ＰＳ１が適切でないことを検出し、第２ガイド画像ＧＬ２を点滅表示する。そして、表示制御部１４２は、筋電センサー２００が装着されている位置ＰＳ１が修正されたことを検出する。その後、処理がステップＳ１０３に戻る。

ステップＳ１０３でＹＥＳの場合には、ステップＳ１０７において、表示制御部１４２は、複数の入力用画像ＭＮを画像表示部２０に表示させる。具体的には、表示制御部１４２は、複数の入力用画像ＭＮを、画像表示部２０を透過して視認されるユーザーの右手ＨＰと重なる位置に、画像表示部２０に表示させる。

次に、ステップＳ１０９において、操作推定部１４３が、筋電センサー２００の検出値を取得したか否かを判定する。
筋電センサー２００の検出値を取得していないと操作推定部１４３が判定した場合（ステップＳ１０９でＮＯ）には、処理が待機状態になる。筋電センサー２００の検出値を取得したと操作推定部１４３が判定した場合（ステップＳ１０９でＹＥＳ）には、処理がステップＳ１１１に進む。
そして、ステップＳ１１１において、判定部１４４は、カメラ６１が生成したユーザーの右手ＨＰの動画像を取得する。ユーザーの右手ＨＰの動画像は、複数の入力用画像ＭＮの中からいずれかの入力用画像を選択する操作を示す。よって、本実施形態では、「操作画像」と記載する場合がある。
次に、ステップＳ１１３において、操作推定部１４３は、筋電センサー２００の検出値に基づいて、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。
次に、ステップＳ１１５において、判定部１４４は、カメラ６１が生成したユーザーの右手ＨＰの動画像に基づいて、操作推定部１４３の推定結果の正否を判定する。
すなわち、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作が行われたと判定部１４４が判定した場合には、操作推定部１４３の推定結果が正しいと判定部１４４が判定する。また、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作が行われていないと判定部１４４が判定した場合には、操作推定部１４３の推定結果が正しくないと判定部１４４が判定する。
次に、ステップＳ１１７において、学習部１４５が「機械学習処理」を実行し、処理が終了する。「機械学習処理」は、学習部１４５が学習データセット１４７ａに基づいて、筋電センサー２００の検出値が複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を示すか否かの判定基準を生成する処理を示す。

なお、ステップＳ１０７は、「表示制御ステップ」の一例に相当する。ステップＳ１１３は、「操作推定ステップ」の一例に相当する。ステップＳ１１５は、「判定ステップ」の一例に相当する。ステップＳ１１７は、「学習ステップ」の一例に相当する。

図１０は、制御部１４１の機械学習処理を示すフローチャートである。
図１０に示すように、ステップＳ２０１において、学習部１４５は、学習データセット１４７ａを、複数の入力用画像ＭＮに含まれる入力用画像ＭＡ毎に分類して、学習データ記憶部１４７に記憶する。学習データセット１４７ａは、筋電センサー２００の検出値と、１つの入力用画像ＭＡと、判定部１４４の判定結果とを含む。
すなわち、学習データ記憶部１４７において、学習データセット１４７ａは、入力用画像ＭＡ毎に分類されて記憶される。
次に、ステップＳ２０３において、学習部１４５は、操作推定部１４３の推定結果が正しいと判定部１４４が判定したか否かを判定する。
操作推定部１４３の推定結果が正しくないと判定部１４４が判定した場合（ステップＳ２０３でＮＯ）には、処理がステップＳ２１１に進む。操作推定部１４３の推定結果が正しいと判定部１４４が判定した場合（ステップＳ２０３でＹＥＳ）には、処理がステップＳ２０５に進む。

そして、ステップＳ２０５において、学習部１４５は、筋電センサー２００の検出値から第１特徴量を抽出する。第１特徴量は、操作推定部１４３の推定結果が正しいと判定部１４４が判定した場合における筋電センサー２００の検出値の特徴を示す。
例えば、第１特徴量は、筋電センサー２００の検出値の周波数、及び振幅のいずれかを含む。具体的には、第１特徴量は、筋電センサー２００の検出値における周波数の最大値、周波数の平均値、周波数の最小値、振幅の最大値、振幅の平均値、及び振幅の最小値の少なくとも１つを含む。
また、第１特徴量が、例えば、筋電センサー２００の検出値の経時的な変化の特徴を示してもよい。
次に、ステップＳ２０７において、学習部１４５は、ステップＳ２０５で抽出した第１特徴量を学習データ記憶部１４７に記憶する。具体的には、学習部１４５は、図９のステップＳ１１３において操作推定部１４３が推定した操作によって選択された１つの入力用画像ＭＡに対応付けて、第１特徴量を学習データ記憶部１４７に記憶する。
次に、ステップＳ２０９において、学習部１４５は、第１特徴量を集計し、処理がステップＳ２１７に進む。
具体的には、学習データ記憶部１４７において、１つの入力用画像ＭＡに対応付けて記憶された複数の第１特徴量を集計する。例えば、学習部１４５は、第１特徴量の平均値、標準偏差、最大値、及び最小値の少なくとも１つを算出する。

ステップＳ２０３でＮＯの場合には、ステップＳ２１１において、学習部１４５は、筋電センサー２００の検出値から第２特徴量を抽出する。第２特徴量は、操作推定部１４３の推定結果が正しくないと判定部１４４が判定した場合における筋電センサー２００の検出値の特徴を示す。
例えば、第２特徴量は、筋電センサー２００の検出値の周波数、及び振幅のいずれかを含む。具体的には、第２特徴量は、筋電センサー２００の検出値における周波数の最大値、周波数の平均値、周波数の最小値、振幅の最大値、振幅の平均値、及び振幅の最小値の少なくとも１つを含む。
また、第２特徴量が、例えば、筋電センサー２００の検出値の経時的な変化の特徴を示してもよい。
次に、ステップＳ２１３において、学習部１４５は、ステップＳ２１１で抽出した第２特徴量を学習データ記憶部１４７に記憶する。具体的には、学習部１４５は、図９のステップＳ１１３において操作推定部１４３が推定した操作によって選択された１つの入力用画像ＭＡに対応付けて、第２特徴量を学習データ記憶部１４７に記憶する。
次に、ステップＳ２１５において、学習部１４５は、第２特徴量を集計し、処理がステップＳ２１７に進む。
具体的には、学習データ記憶部１４７において、１つの入力用画像ＭＡに対応付けて記憶された複数の第２特徴量を集計する。例えば、学習部１４５は、第２特徴量の平均値、標準偏差、最大値、及び最小値の少なくとも１つを算出する。

そして、ステップＳ２１７において、学習部１４５は、筋電センサー２００の検出値が複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を示すか否かの判定基準を生成し、処理が終了する。
例えば、第１特徴量の最小値が第２特徴量の最大値より大きい場合には、学習部１４５は、特徴量の値が第１特徴量の最小値以上であることを示す判定基準を生成する。
また、例えば、第１特徴量の最大値が第２特徴量の最小値より小さい場合には、学習部１４５は、特徴量の値が第１特徴量の最大値以下であることを示す判定基準を生成する。

図１１は、学習処理後の制御部１４１の処理を示すフローチャートである。
図１１に示すステップＳ３０１〜ステップＳ３１１の各々は、図８に示すステップＳ１０１〜ステップＳ１１１の各々と同一の処理であるため、その説明を省略する。
ステップＳ３１３において、学習部１４５は、筋電センサー２００の検出値から特徴量を抽出する。特徴量は、第１特徴量及び第２特徴量に対応する。
次に、ステップＳ３１５において、操作推定部１４３は、筋電センサー２００の検出値と、判定基準とに基づいて、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。その後、処理がステップＳ３１７に進む。
具体的には、操作推定部１４３は、ステップＳ３１３で抽出された特徴量と、判定基準とに基づいて、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。
図１１に示すステップＳ３１７〜ステップＳ３１９の各々は、図８に示すステップＳ１１５〜ステップＳ１１７の各々と同一の処理であるため、その説明を省略する。

図１２は、入力用画像ＭＮの他の形態を示す図である。図１２には、図７と同様に、視野領域ＡＲ１と画像領域ＡＲ２とが示されている。
画像領域ＡＲ２には、ユーザーの右手ＨＰが含まれる。また、ユーザーの右手ＨＰの手首の位置ＰＳ１には、筋電センサー２００が装着されている。

図８を参照して説明したように、ＨＭＤ１００が数字の入力を受け付けるのに対して、図１２では、ＨＭＤ１００がアルファベット等の入力を受け付ける点で相違している。
複数の入力用画像ＭＮの各々は、互いに相違する文字を示す。例えば、複数の入力用画像ＭＮの各々は、「Ａ」〜「Ｚ」のアルファベットと、「＠」マークと、バックスペースコマンドと、戻るコマンドと、文字種変更コマンドと、エンターコマンドとを含む。
バックスペースコマンドは、入力した文字を１文字削除する旨のコマンドを示す。戻るコマンドは、直前に行われた１つの操作を取り消す旨のコマンドを示す。文字種変更コマンドは、入力する文字の種類を変更する旨のコマンドを示す。エンターコマンドは、入力された操作を確定する旨のコマンドを示す。
複数の入力用画像ＭＮは、ユーザーの右手ＨＰの指において関節で区切られた領域に対応付けられる。
更に具体的には、複数の入力用画像ＭＮは、ユーザーの右手ＨＰの親指ＦＰ１を除く各指において関節で区切られた領域に対応付けられる。

ユーザーの右手ＨＰは、親指ＦＰ１、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５を含む。
人差し指ＦＰ２は、第１関節ＦＰ２１と、第２関節ＦＰ２２と、第３関節ＦＰ２３とを含む。中指ＦＰ３は、第１関節ＦＰ３１と、第２関節ＦＰ３２と、第３関節ＦＰ３３とを含む。薬指ＦＰ４は、第１関節ＦＰ４１と、第２関節ＦＰ４２と、第３関節ＦＰ４３とを含む。小指ＦＰ５は、第１関節ＦＰ５１と、第２関節ＦＰ５２と、第３関節ＦＰ５３とを含む。これらの関節に対応する参照符号は、図示を省略している。

複数の入力用画像ＭＮに含まれる２つ以上の所定個数の入力用画像は、ユーザーの右手ＨＰの親指を除く各指において関節で区切られた領域に対応付けられる。
例えば、人差し指ＦＰ２において、第１関節ＦＰ２１の先端側の領域には、３つの入力用画像Ｌ２１が表示される。３つの入力用画像Ｌ２１は、「Ｄ」のアルファベットと、「Ｅ」のアルファベットと、「Ｆ」のアルファベットとを示す。この場合には、所定個数は「３個」である。
また、例えば、人差し指ＦＰ２において、第１関節ＦＰ２１と第２関節ＦＰ２２との間の領域には、３つの入力用画像Ｌ２２が表示される。３つの入力用画像Ｌ２２は、「Ｍ」のアルファベットと、「Ｎ」のアルファベットと、「Ｏ」のアルファベットとを示す。この場合には、所定個数は「３個」である。
また、例えば、人差し指ＦＰ２において、第２関節ＦＰ２２と第３関節ＦＰ２３との間の領域には、４つの入力用画像Ｌ２３が表示される。４つの入力用画像Ｌ２３は、「Ｗ」のアルファベットと、「Ｘ」のアルファベットと、「Ｙ」のアルファベットと、「Ｚ」のアルファベットとを示す。この場合には、所定個数は「４個」である。

操作推定部１４３は、筋電センサー２００の検出値に基づいて、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。
具体的には、操作推定部１４３は、筋電センサー２００の検出値に基づいて、関節で区切られた領域を選択する操作と、領域に対応付けられた所定個数の入力用画像ＭＢから１つの入力用画像ＭＡを選択する操作とを推定する。
まず、関節で区切られた領域を選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を、人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５の各々における関節で区切られた領域に押圧する操作である。関節で区切られた領域を選択する操作によって、複数の入力用画像ＭＮの中から所定個数の入力用画像ＭＢが選択される。
次に、領域に対応付けられた所定個数の入力用画像ＭＢから１つの入力用画像ＭＡを選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を所定方向に移動する操作である。

更に、具体的には、例えば、人差し指ＦＰ２において、第２関節ＦＰ２２と第３関節ＦＰ２３との間の領域が選択されている場合には、以下のようにして１つの入力用画像ＭＡが選択される。
すなわち、「Ｗ」のアルファベットを選択する場合には、ユーザーは、右手ＨＰの親指ＦＰ１を、人差し指ＦＰ２の先端に向かう方向（上方向）に移動する操作を行う。「Ｘ」のアルファベットを選択する場合には、ユーザーは、右手ＨＰの親指ＦＰ１を、中指ＦＰ３から離間する方向（右方向）に移動する操作を行う。「Ｙ」のアルファベットを選択する場合には、ユーザーは、右手ＨＰの親指ＦＰ１を、人差し指ＦＰ２の基端に向かう方向（下方向）に移動する操作を行う。「Ｚ」のアルファベットを選択する場合には、ユーザーは、右手ＨＰの親指ＦＰ１を、中指ＦＰ３に向かう方向（左方向）に移動する操作を行う。

このようにして、操作推定部１４３が、筋電センサー２００の検出値に基づいて、関節で区切られた領域を選択する操作と、領域に対応付けられた所定個数の入力用画像ＭＢから１つの入力用画像ＭＡを選択する操作とを推定する。したがって、ユーザーは、アルファベットを入力することができる。

以上、図１〜図１２を参照して説明したように、本実施形態では、操作推定部１４３は、動きセンサーの一例である筋電センサー２００の検出値に基づいて、複数の入力用画像ＭＮの中から１つの入力用画像ＭＡを選択する操作を推定する。判定部１４４は、操作推定部１４３の推定結果を判定する。学習部１４５は、学習データセット１４７ａに基づいて、筋電センサー２００の検出値から１つの入力用画像ＭＡを特定するための条件を機械学習する。１つの入力用画像ＭＡを特定するための条件は、例えば、１つの入力用画像ＭＡを特定するための筋電センサー２００の検出値の特徴量の判定基準を示す。学習データセット１４７ａは、筋電センサー２００の検出値と、１つの入力用画像ＭＡと、判定部１４４の判定結果との組み合わせを含む。
よって、筋電センサー２００の検出値から１つの入力用画像ＭＡを特定するための条件を機械学習するため、操作推定部１４３が１つの入力用画像ＭＡを選択する操作を推定する精度を向上できる。したがって、ＨＭＤ１００の操作性を向上できる。

また、カメラ６１を備え、判定部１４４は、操作推定部１４３の推定結果の正否を、カメラ６１による画像に基づいて判定する。
よって、カメラ６１が、ユーザーの右手ＨＰの画像を生成できる。したがって、判定部１４４は、ユーザーの右手ＨＰの動きによる操作が１つの入力用画像ＭＡを選択する操作であるか否かを正確に判定できる。

また、複数の入力用画像ＭＮの各々は、互いに相違する文字を示す。操作推定部１４３は、筋電センサー２００の検出値に基づいて、入力する文字を推定する。
よって、ユーザーは、文字を入力する操作を容易に実行できる。したがって、ＨＭＤ１００の操作性を更に向上できる。

複数の入力用画像ＭＮの各々は、ユーザーの右手ＨＰの親指ＦＰ１を除く各指において関節で区切られた領域に対応付けられる。１つの入力用画像ＭＡを選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を関節で区切られた領域に押圧する操作である。
よって、筋電センサー２００は、１つの入力用画像ＭＡを選択する操作を正確に検出できる。また、ユーザーは、右手ＨＰだけを用いて、１つの入力用画像ＭＡを選択する操作を実行できる。したがって、ＨＭＤ１００の操作性を更に向上できる。

複数の入力用画像ＭＮに含まれる２つ以上の所定個数の入力用画像ＭＢは、ユーザーの右手ＨＰの親指ＦＰ１を除く各指において関節で区切られた領域に対応付けられている。領域を選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を関節で区切られた領域に押圧する操作である。領域に対応付けられた所定個数の入力用画像ＭＢから１つの入力用画像ＭＡを選択する操作は、ユーザーの右手ＨＰの親指ＦＰ１を所定方向に移動する操作である。
よって、筋電センサー２００は、１つの入力用画像ＭＡを選択する操作を正確に検出できる。また、ユーザーは、右手ＨＰだけを用いて、アルファベットのような多数の入力用画像ＭＮから１つの入力用画像ＭＡを選択する操作を実行できる。したがって、ＨＭＤ１００の操作性を更に向上できる。

また、表示制御部１４２は、ユーザーの右手ＨＰの位置をガイドする第１ガイド画像ＧＬ１を画像表示部２０に表示させる。
よって、例えば、筋電センサー２００の位置をガイドする第２ガイド画像ＧＬ２を画像表示部２０に表示させることによって、ユーザーに筋電センサー２００を適正な位置に装着させることができる。したがって、１つの入力用画像ＭＡを選択する操作を更に正確に検出できる。その結果、ＨＭＤ１００の操作性を更に向上できる。

また、表示制御部１４２は、画像表示部２０を透過して視認されるユーザーの手の位置を追跡し、ユーザーの手の移動に応じて、複数の入力用画像ＭＮの各々の表示位置を調整する。
よって、ユーザーの手が移動した場合にも、複数の入力用画像ＭＮの各々を適正な位置に表示できる。したがって、ＨＭＤ１００の操作性を更に向上できる。

また、動きセンサーは、ユーザーの手首に装着される筋電センサー２００を含む。
したがって、簡素な構成で、１つの入力用画像ＭＡを選択する操作を検出できる。

なお、本実施形態では、表示制御部１４２が、ユーザーの右手ＨＰと重なる位置に入力用の画像Ｍを表示するが、これに限定されない。表示制御部１４２が、ユーザーの手と重なる位置に複数の入力用画像ＭＮを表示すればよい。例えば、表示制御部１４２が、ユーザーの左手と重なる位置に複数の入力用画像ＭＮを表示してもよい。また、例えば、表示制御部１４２が、ユーザーの両手と重なる位置に複数の入力用画像ＭＮを表示してもよい。この場合には、ユーザーの右手ＨＰと重なる位置に入力用画像ＭＮを表示する場合と比較して、多数の入力用画像ＭＮを表示できる。

また、本実施形態では、複数の入力用画像ＭＮの各々が数字を示す場合について説明したが、これに限定されない。複数の入力用画像ＭＮの各々が記号を示せばよい。ここで、「記号」とは、文字、数学記号、及び図形記号等を含む。文字は、アルファベット、平仮名、及びカタカナを含む。例えば、複数の入力用画像ＭＮの各々がアルファベットのうちの１文字を示してもよい。この場合には、文章の入力が可能になる。

また、本実施形態では、動きセンサーが、ユーザーの右手ＨＰの手首に装着される筋電センサー２００である場合について説明したが、これに限定されない。動きセンサーが、ユーザーの右手ＨＰの指に装着されるジャイロセンサーでもよい。右手ＨＰの指は、例えば、親指ＦＰ１である。また、動きセンサーが、手首に装着される筋電センサー２００と、ユーザーの指に装着されるジャイロセンサーとを含んでもよい。
また、例えば、指に装着されるセンサーが、３軸の加速度センサーでもよいし、６軸センサーでもよい。６軸センサーは、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。６軸センサーは、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。
また、例えば、親指ＦＰ１以外の指にも、ジャイロセンサーが装着されてもよい。具体的には、右手ＨＰの人差し指ＦＰ２、中指ＦＰ３、薬指ＦＰ４、及び小指ＦＰ５にも、ジャイロセンサーが装着されてもよい。

また、本実施形態では、判定部１４４が、操作推定部１４３の推定結果の正否を判定するが、これに限定されない。判定部１４４が、操作推定部１４３の推定結果を判定すればよい。例えば、判定部１４４が、操作推定部１４３の推定結果が正しくない場合に、操作推定部１４３の推定結果が正しくない程度を判定してもよい。例えば、操作推定部１４３が１つの入力用画像ＭＡを選択する操作を推定し、判定部１４４が入力用画像ＭＡと相違する１つの入力用画像ＭＢを選択する操作が行われたと判定した場合に、判定部１４４が以下の処理を実行してもよい。すなわち、判定部１４４は、入力用画像ＭＡと入力用画像ＭＢとの間の距離に基づいて、推定部１４３の推定結果が正しくない程度を判定してもよい。

また、本実施形態では、１つの入力用画像ＭＡを特定するための条件が、１つの入力用画像ＭＡを特定するための筋電センサー２００の検出値の特徴量の判定基準を示すが、これに限定されない。１つの入力用画像ＭＡを特定するための条件が、１つの入力用画像ＭＡを特定するための筋電センサー２００の検出値に関する条件であればよい。
例えば、１つの入力用画像ＭＡを特定するための条件が、１つの入力用画像ＭＡを特定するための筋電センサー２００の検出値の特徴量の範囲でもよい。なお、筋電センサー２００の検出値の特徴量は、筋電センサー２００の検出値の周波数、及び振幅のいずれかを含む。具体的には、特徴量は、筋電センサー２００の検出値における周波数の最大値、周波数の平均値、周波数の最小値、振幅の最大値、振幅の平均値、及び振幅の最小値の少なくとも１つを含む。

なお、本実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、本実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、これに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。

また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。例えば、制御装置１０に代えて、ユーザーの身体、着衣、或いは、ユーザーが身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

さらに、本実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。これに限定されず、制御装置１０と画像表示部２０とが一体に構成され、ユーザーの頭部に装着される構成とすることも可能である。

また、本実施形態において、ユーザーが表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。例えば、カメラ６１により撮像する外景の画像と、表示画像とを合成した合成画像を画像表示部２０により表示する構成とすれば、画像表示部２０が外光を透過しなくても、ユーザーに外景と画像とを視認可能に表示できる。このような、いわゆるビデオシースルー型の表示装置に適用することも勿論可能である。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、ユーザーの左眼ＬＥに対応して画像を表示する表示部と、ユーザーの右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、表示装置は、例えば、自動車や飛行機等の車両に搭載されるＨＭＤとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたＨＭＤとして構成されてもよい。この場合、ユーザーの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光をユーザーの眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。これに限定されず、右導光板２６及び左導光板２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光をユーザーの眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図５、図６等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４１が実行するプログラムは、不揮発性記憶部１２１または制御装置１０内の他の図示しない記憶装置に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０がユーザーインターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１４０と同様のプロセッサーが画像表示部２０に配置されてもよいし、制御装置１０が備えるメインプロセッサー１４０と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、６１…カメラ（撮像部）、６３…マイク（音声入力部の一部）、１００…ＨＭＤ（表示装置）、１１０…操作部、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１３０…電源部、１４０…メインプロセッサー、１４１…制御部、１４２…表示制御部、１４３…操作推定部、１４４…判定部、１４５…学習部、１４６…信号記憶部、１４７…学習データ記憶部、１４７ａ…学習データセット、１４８…画像記憶部、１８０…音声コーデック（音声入力部の一部）、１８２…音声インターフェイス（音声入力部の一部）、２００…筋電センサー（動きセンサー）、ＡＲ１…視野領域、ＡＲ２…画像領域、ＦＰ１…親指、ＦＰ１１…第１関節、ＦＰ１２…第２関節、ＦＰ２…人差し指、ＦＰ２１…第１関節、ＦＰ２２…第２関節、ＦＰ２３…第３関節、ＦＰ３…中指、ＦＰ３１…第１関節、ＦＰ３２…第２関節、ＦＰ３３…第３関節、ＦＰ４…薬指、ＦＰ４１…第１関節、ＦＰ４２…第２関節、ＦＰ４３…第３関節、ＦＰ５…小指、ＦＰ５１…第１関節、ＦＰ５２…第２関節、ＦＰ５３…第３関節、ＧＬ…ガイド画像、ＧＬ１…第１ガイド画像、ＧＬ２…第２ガイド画像、ＨＰ…右手、ＭＡ…入力用画像、ＭＮ…入力用画像。

Claims (10)

1. 光を透過する透過型の表示部であって、ユーザーの頭部に装着される表示部と、
   前記表示部を透過して視認される前記ユーザーの手に重なる位置に、複数の入力用画像を前記表示部に表示させる表示制御部と、
   前記ユーザーの手の動きを検出する動きセンサーと、
   前記動きセンサーの検出値に基づき、前記複数の入力用画像の中から１つの入力用画像を選択する操作を推定する操作推定部と、
   前記操作推定部の推定結果を判定する判定部と、
   前記動きセンサーの検出値と、前記１つの入力用画像と、前記判定部の判定結果との組み合わせを含む学習データセットに基づいて、前記動きセンサーの検出値から前記１つの入力用画像を特定するための条件を機械学習する学習部と、
   を備える表示装置。
2. 撮像部を備え、
   前記判定部は、前記操作推定部の推定結果の正否を、前記撮像部による画像に基づいて判定する、
   請求項１に記載の表示装置。
3. 前記ユーザーからの音声の入力を受け付ける音声入力部を備え、
   前記判定部は、前記操作推定部の推定結果の正否を、前記音声入力部に入力された音声に基づいて判定する、
   請求項１又は２に記載の表示装置。
4. 前記複数の入力用画像の各々は、互いに相違する文字を示し、
   前記操作推定部は、前記動きセンサーの検出値に基づいて、入力する文字を推定する、
   請求項１から３のいずれか１項に記載の表示装置。
5. 前記複数の入力用画像の各々は、前記ユーザーの手の親指を除く各指において関節で区切られた領域に対応付けられ、
   前記１つの入力用画像を選択する操作は、前記ユーザーの手の親指を前記関節で区切られた領域に押圧する操作である、
   請求項１から４のいずれか１項に記載の表示装置。
6. 前記複数の入力用画像に含まれる２つ以上の所定個数の入力用画像は、前記ユーザーの手の親指を除く各指において関節で区切られた領域に対応付けられ、
   前記領域を選択する操作は、前記ユーザーの手の親指を前記関節で区切られた領域に押圧する操作であり、
   前記領域に対応付けられた前記所定個数の入力用画像から前記１つの入力用画像を選択する操作は、前記ユーザーの手の親指を所定方向に移動する操作である、
   請求項１から４のいずれか１項に記載の表示装置。
7. 前記表示制御部は、前記ユーザーの手の位置をガイドする第１ガイド画像を前記表示部に表示させる、
   請求項１から６のいずれか１項に記載の表示装置。
8. 前記表示制御部は、前記表示部を透過して視認される前記ユーザーの手の位置を追跡し、前記ユーザーの手の移動に応じて、前記複数の入力用画像の各々の表示位置を調整する、
   請求項１から７のいずれか１項に記載の表示装置。
9. 前記動きセンサーは、前記ユーザーの手首に装着される筋電センサーを含む、
   請求項１から８のいずれか１項に記載の表示装置。
10. 光を透過する透過型の表示部であって、ユーザーの頭部に装着される表示部と、前記ユーザーの手の動きを検出する動きセンサーと、を備える表示装置の制御方法であって、
    前記表示部を透過して視認される前記ユーザーの手に重なる位置に、複数の入力用画像を前記表示部に表示させる表示制御ステップと、
    前記動きセンサーの検出値に基づき、前記複数の入力用画像の中から１つの入力用画像を選択する操作を推定する操作推定ステップと、
    前記操作推定ステップの推定結果を判定する判定ステップと、
    前記動きセンサーの検出値と、前記１つの入力用画像と、前記判定ステップの判定結果との組み合わせを含む学習データセットに基づいて、前記動きセンサーの検出値から前記１つの入力用画像を特定するための条件を機械学習する学習ステップと、
    を含む、表示装置の制御方法。

Images