JP2009192559A - 画像表示装置 - Google Patents

Abstract

【課題】射出瞳を移動させることが可能な画像表示装置であって射出瞳の移動に起因した画像品質の劣化を抑制する機能を有するものを提供する。
【解決手段】画像表示装置１０に、光源部１２と、その光源部１２から出射する光を、観察者に表示すべき画像を表す画像光に変換することにより、その画像光を形成する画像光形成部１４と、当該画像表示装置の射出瞳の位置を制御する射出瞳制御部１８とを設ける。その射出瞳制御部１８は、液晶光学デバイス７０と、その液晶光学デバイス７０を制御することにより、射出瞳の位置を制御する射出瞳制御手段とを含んでいる。画像光形成部１４は、液晶光学デバイス７０の制御に起因する、観察者によって認識される画像の幾何学的特性の変化が打ち消されるように、液晶光学デバイス７０の制御量に基づき、画像光形成部１４が光源部１２からの出射光を画像光に変換する変換特性を補正する。
【選択図】図１

Description

本発明は、画像を光学的に表示する技術に関するものであり、特に、画像表示装置の射出瞳を移動させる技術の改良に関するものである。

画像を光学的に表示する技術として、例えば、表示すべき画像を表す画像光を直接的に観察者の網膜上に投影し、それにより、観察者が画像を虚像として観察することを可能にする技術や、そのような画像光を物理的なスクリーンに投影し、それにより、観察者が画像を実像として観察することを可能にする技術が存在する。

さらに、光源からの光を、表示すべき画像を表す画像光に変換する技術として、例えば、光源から一斉に入射した面状の光を、ＬＣＤ等、空間変調素子を用いて、各画素ごとに空間的に変調し、それにより、面状の画像光を形成する技術や、光源から入射したビーム状の光であって各画素ごとに強度変調されたものを、スキャナを用いて、面状の画像光に変換する技術が存在する。

特許文献１は、画像を光学的に表示する装置としての従来のヘッドマウントディスプレイ装置を開示している。このヘッドマウントディスプレイ装置は、表示すべき画像を表す画像光を直接的に網膜上に投影し、それにより、観察者が画像を虚像として観察することを可能にする技術と、光源から入射したビーム状の光であって各画素ごとに強度変調されたものを、スキャナを用いて、面状の画像光に変換する技術とを採用している。

この従来のヘッドマウントディスプレイ装置は、さらに、表示画像を観察しようとする観察者の瞳孔位置を検出し、その瞳孔の移動に合わせて当該ヘッドマウントディスプレイ装置の射出瞳を移動させる技術も採用している。
特表平８−５０２３７２号公報

本発明者は、画像表示装置の射出瞳を移動させるために、各々、光学素子の一例である回折格子および偏向ミラーを用いる技術を提案し、それについて研究を行った。その結果、それら回折格子および偏向ミラーを用いれば、射出瞳を移動させることは可能であるが、射出瞳の移動に起因して、表示画像の幾何学的特性、すなわち、例えば、位置やサイズが正規のものから異なってしまう可能性があることに気がついた。その可能性およびその原因については、後に詳述する。

このように、本発明者の提案した技術では、射出瞳の移動に起因して画像品質が劣化する可能性があった。

以上説明した事情を背景として、本発明は、射出瞳を移動させることが可能な画像表示装置であって射出瞳の移動に起因した画像品質の劣化を抑制する機能を有するものを提供することを課題としてなされたものである。

本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載する。これは、本発明が採用し得る技術的特徴の一部およびそれの組合せの理解を容易にするためであり、本発明が採用し得る技術的特徴およびそれの組合せが以下の態様に限定されると解釈すべきではない。すなわち、下記の態様には記載されていないが本明細書には記載されている技術的特徴を本発明の技術的特徴として適宜抽出して採用することは妨げられないと解釈すべきなのである。

さらに、各項を他の項の番号を引用する形式で記載することが必ずしも、各項に記載の技術的特徴を他の項に記載の技術的特徴から分離させて独立させることを妨げることを意味するわけではなく、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能であると解釈すべきである。

（１） 画像を光学的に表示する画像表示装置であって、
光源部と、
その光源部から出射する光を、観察者に表示すべき画像を表す画像光に変換することにより、その画像光を形成する画像光形成部と、
当該画像表示装置の射出瞳の位置を制御する射出瞳制御部と
を含み、
その射出瞳制御部は、
当該画像表示装置において前記画像光が進行する経路の途中に配置された光学素子と、
その光学素子を制御することにより、前記射出瞳の位置を制御する射出瞳制御手段と
を含み、
前記画像光形成部は、前記光学素子の制御に起因する、観察者によって認識される画像の幾何学的特性の変化が打ち消されるように、前記光学素子の制御量またはその制御量に関連する物理量に基づき、前記画像光形成部が前記光源部からの出射光を前記画像光に変換する変換特性を補正する変換特性補正手段を含む画像表示装置。

この画像表示装置によれば、射出瞳を移動させるための光学素子の制御に起因して、観察者によって認識される画像の幾何学的特性が変化する可能性がある場合に、その変化が完全にまたは部分的に打ち消されるように、画像光形成部が光源部からの出射光を画像光に変換する変換特性が補正される。

したがって、この画像表示装置によれば、射出瞳の移動に起因する、観察者によって認識される画像の幾何学的特性の変化が抑制され、その結果、射出瞳の移動に起因した画像品質の劣化が抑制される。

（２） 前記幾何学的特性は、観察者によって実際に認識される画像の位置を含む（１）項に記載の画像表示装置。

この画像表示装置によれば、射出瞳の移動の有無にかかわらず、観察者によって実際に認識される画像の位置が、正規の位置に維持される傾向が増す。その結果、表示画像の位置が、表示中、射出瞳の移動の有無にかかわらず、安定化させられる。

（３） 前記幾何学的特性は、観察者によって実際に認識される画像のスケールを含む（１）または（２）項に記載の画像表示装置。

この画像表示装置によれば、射出瞳の移動の有無にかかわらず、観察者によって実際に認識される画像のスケールが、正規のスケールに維持される傾向が増す。その結果、表示画像のサイズが、表示中、射出瞳の移動の有無にかかわらず、安定化させられる。

（４） 前記光学素子は、前記画像光形成部から入射した画像光に対して回折を行うとともに、回折光の角度が電気的に可変である電気的制御素子を含む（１）ないし（３）項のいずれかに記載の画像表示装置。

（５） 前記電気的制御素子は、液晶光学デバイスを含み、
その液晶光学デバイスは、各々ストライプ状を成す複数の電極と、それら複数の電極が形成された表面を有する液晶層とを含むように構成されるとともに、前記複数の電極にそれぞれ一斉に印加される複数の電圧値の分布パターンに応じて、当該液晶光学デバイスから出射する回折光の角度が変化する特性を有している（４）項に記載の画像表示装置。

（６） 前記光学素子は、電気光学効果偏向器ＥＯＤと、音響光学偏向器ＡＯＤとのうちの少なくとも一方を含む（１）ないし（３）項のいずれかに記載の画像表示装置。

（７） 当該画像表示装置は、前記画像光の経路の途中に中間像面を有し、
前記光学素子は、その中間像面の位置と概して等しい位置に配置された（１）ないし（６）項のいずれかに記載の画像表示装置。

（８） 当該画像表示装置は、前記画像光の経路の途中に中間像面を有し、
前記光学素子は、その中間像面の位置から外れた位置に配置された（１）ないし（６）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、光学素子が中間像面の位置と概して等しい位置に配置される場合より大きな断面積を有する光がこの光学素子に入射する。その結果、例えば、その光学素子が回折格子である場合には、回折効率が向上するという利点や、光学素子にほこりなどの異物が付着した場合にそれにもかかわらずそれに起因する画像の欠陥がそれほど目立たずに済むという利点などが得られる。

（９） 前記画像光形成部は、画像信号に基づき、前記光源部から入射した面状の光に対して各画素ごとに空間変調を施すことにより、前記画像光を形成するフラットパネルディスプレイを含み、
そのフラットパネルディスプレイは、前記画像信号に応じて、前記光源部からの出射光を前記画像光に変換し、
前記変換特性は、前記画像信号に依存しており、
前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像信号を補正する（１）ないし（８）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、フラットパネルディスプレイに供給されるべき画像信号が補正されることにより、射出瞳の移動に起因して、観察者によって認識される画像の幾何学的特性（例えば、画像の位置やサイズ）が変化する可能性が軽減され、その結果、射出瞳の移動に起因した画像品質の劣化が抑制される。

（１０） 前記フラットパネルディスプレイは、液晶ディスプレイと、有機エレクトロルミネッセンスと、デジタルマイクロミラーデバイスとのうちの少なくとも一つを含む（９）項に記載の画像表示装置。

（１１） 前記光学素子は、入射光に対する角度が可変である偏向ミラーを含み、
前記射出瞳制御手段は、その偏向ミラーの、入射光に対する角度を変化させることにより、観察者の瞳孔位置の変化に追従するように、前記射出瞳の位置を制御し、
前記変換特性補正手段は、前記偏向ミラーの、入射光に対する角度またはその角度に関連する物理量に基づいて前記変換特性を補正する（１）項に記載の画像表示装置。

（１２） 前記光源部は、画像信号に基づき、観察者に表示すべき画像の各画素ごとに輝度を実現するビーム状の光を発生させ、
前記画像光形成部は、前記光源部から入射したビーム状の光を、少なくとも１枚の揺動ミラーを用いて、２次元的にスキャンすることにより、前記画像光を形成する光スキャナを含み、
前記変換特性は、前記画像信号に依存しており、
前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像信号を補正する（１）ないし（８）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、光スキャナに光を出射する光源部に供給されるべき画像信号が補正されることにより、射出瞳の移動に起因して、観察者によって認識される画像の幾何学的特性（例えば、画像の位置やサイズ）が変化する可能性が軽減され、その結果、射出瞳の移動に起因した画像品質の劣化が抑制される。

（１３） 前記画像光形成部は、前記光源部から入射したビーム状の光を、少なくとも１枚の揺動ミラーを用いて、２次元的にスキャンすることにより、前記画像光を形成する光スキャナを含み、
前記変換特性は、前記揺動ミラーの最大揺動角に依存しており、
前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記揺動ミラーの最大揺動角を補正する（１）ないし（８）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、光スキャナにおける揺動ミラーの最大揺動角が補正されることにより、射出瞳の移動に起因して、観察者によって認識される画像の幾何学的特性（例えば、画像のサイズ）が変化する可能性が軽減され、その結果、射出瞳の移動に起因した画像品質の劣化が抑制される。

（１４） さらに、前記瞳孔の位置を検出する瞳孔位置検出部を含み、
前記射出瞳制御手段は、その瞳孔位置検出部からの出力信号に基づき、観察者の瞳孔の動きに追従するように前記射出瞳を移動させるために、前記光学素子を制御する（１）ないし（１３）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、観察者の瞳孔の動きに追従するように射出瞳が自動的に移動させられる。

（１５） 前記射出瞳制御手段は、ユーザからの指令を表す入力信号に応じて、前記光学素子を制御することにより、前記射出瞳の位置を、前記入力信号に応じた位置に移動するように制御する（１）ないし（１３）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、ユーザは、射出瞳の位置を任意の位置に移動させることが可能となる。例えば、ユーザは、手動で、観察者の瞳孔の動きに追従するように射出瞳を移動させることが可能となる。

（１６） 前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像の、前記回折の方向における平行移動量を決定する（４）項に記載の画像表示装置。

（１７） 前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像の、前記揺動ミラーの揺動方向における拡大・縮小率を決定する（１３）項に記載の画像表示装置。

（１８） 前記変換特性補正手段は、前記射出瞳の移動量に応じて、前記画像の位置の補正量を決定する（２）項に記載の画像表示装置。

（１９） 前記変換特性補正手段は、前記射出瞳の移動量に応じて、前記画像のスケールの補正量を決定する（３）項に記載の画像表示装置。

以下、本発明のさらに具体的な実施の形態のいくつかを図面に基づいて詳細に説明する。

図１には、本発明の第１実施形態に従うヘッドマウントディスプレイ装置１０が概念的に光路図で示されている。このヘッドマウントディスプレイ装置１０は、図示しない観察者の頭部に装着されて使用される形式の画像表示装置である。

このヘッドマウントディスプレイ装置１０は、概略的には、光源から一斉に入射した面状の光を、空間変調素子を用いて、各画素ごとに空間的に変調し、そのようにして形成された画像光を観察者の瞳孔を経て直接的に観察者の網膜上に投影し、それにより、観察者が画像を虚像として観察することを可能にするように構成されている。

具体的には、このヘッドマウントディスプレイ装置１０は、光源部１２と、画像光形成部１４と、リレー光学系１６と、射出瞳制御部１８と、瞳孔位置検出部２０と、接眼光学系２２とを、それらの順に、互いに直列に並ぶように備えている。それら要素の集まりは、観察者の右眼用と左眼用とにそれぞれ、用意されており、観察者のいずれの眼にも、画像光が入射させられる。

光源部１２は、光源としての白色ＬＥＤ３０と、その白色ＬＥＤ３０からの白色光が入射するフィールドレンズ３２とを含むように構成されている。白色ＬＥＤ３０は、ＬＥＤドライバ３４によって駆動され、それにより、白色光を発光する。

画像光形成部１４は、フラットパネルディスプレイ（空間変調素子の一例）としてのＬＣＤ（液晶ディスプレイ）４０を含むように構成されている。ＬＣＤ４０は、コリメートレンズ３２からの白色光を、各画素ごとに、３色の成分光（ＲＧＢ）に分解するカラーフィルタ（ＲＧＢフィルタ）と、各成分光の透過度を制御する液晶パネルとを含むように構成されている。その液晶パネルは、複数個の画素を有しており、各画素ごとに、各成分光の透過度を制御する。

ＬＣＤ４０のいくつかの例が特開平１１−１９４３１３号公報に開示されており、その公報は、引用によって本明細書に全体的に合体させられる。ＬＣＤ４０は、ＬＣＤドライバ４２によって駆動され、それにより、白色ＬＥＤ３０から出射した白色光に対して空間変調を施す。

本実施形態においては、画像光形成部１４がフラットパネルディスプレイを主体として構成されているが、これに限定されることなく、例えば、光スキャナを主体として構成することが可能である。この場合、このヘッドマウントディスプレイ装置１０は、網膜走査型ディスプレイ装置とも称される。

また、本実施形態においては、フラットパネルディスプレイの一例としてＬＣＤ４０が採用されているが、これに限定されることなく、例えば、有機エレクトロルミネッセンスとしたり、デジタルマイクロミラーデバイスとすることが可能である。

リレー光学系１６は、前段リレーレンズ６０と後段リレーレンズ６２とを含むように構成されている。

射出瞳制御部１８は、観察者の瞳孔位置の変化に追従するように、ヘッドマウントディスプレイ装置１０の射出瞳の位置を制御するために設けられている。この射出瞳制御部１８は、電気的制御素子の一例である液晶光学デバイス７０を主体として構成されている。

この液晶光学デバイス７０は、図１２に示すように、リレー光学系１６と接眼光学系２２との間に位置する中間像面から距離ｄだけオフセットした位置（本実施形態においては、接眼光学系２２寄りの位置）に配置されている。そのオフセット配置の影響については、後に詳述する。

この液晶光学デバイス７０は、回折角が電気的に可変である回折格子として機能する。さらに、この液晶光学デバイス７０は、透過型回折格子として機能するが、これに限定されることなく、反射型回折格子として機能する液晶光学デバイスを採用することが可能である。

この液晶光学デバイス７０は、２次元回折を行うように設計されているが、これに限定されず、１次元回折を行うように設計することが可能である。この液晶光学デバイス７０は、図２に断面図で示すように、入射光をＸ方向すなわち水平方向に回折するための第１部分７２と、入射光をＹ方向すなわち垂直方向に回折するための第２部分７４とが、共通の透明なガラス基板を介して、互いに積層されて一体的に構成されている。

この液晶光学デバイス７０の一従来例が特開２００１−１０００２６号公報に開示されており、この公報は、引用されることにより、全体的に本明細書に合体させられる。

図２に示すように、第１部分７２は、透明なガラス基板８０と液晶層８２とが積層されて構成されている。液晶層８２の表面には、各々ストライプ状を成す複数の電極８４が互いに並列に延びるように形成されている。それら複数の電極８４は、Ｘ方向に並んでいる複数の透明電極である。図３には、それら複数の電極８４が正面図で示されている。

これに対し、液晶層８２の裏面には、複数の電極８４に共通の接地電極８６が形成されている。この接地電極８６も透明電極である。

この第１部分７２を作動させるために、複数の電極８４のうち選択されたものと接地電極８６との間に電圧が印加され、それにより、選択された電極８４の位置に応じた電界が液晶層８２に印加される。その結果、液晶層８２内の液晶分子が傾き、それにより、液晶層８２の屈折率が変化する。

図３に示すように、複数の電極８４に印加される電圧値の分布パターンとして、モード１、モード２およびモード３が用意されている。モード１が採用されると、図３（ａ）に示すように、いずれの電極８４にも電圧が印加されない。このことが図４（ａ）にはグラフで表されている。その結果、図３（ａ）に示すように、第１部分７２は、リレー光学系１６からの入射光をそのまま、０次光として透過する。

これに対し、モード２が選択されると、図３（ｂ）に示すように、互いに隣接した２本の電極８４には電圧が印加されるが、その隣の２本の電極８４には電圧が印加されないというように、２本ずつ、２本置きに、電極８４に電圧が印加される。このことが図４（ｂ）にはグラフで表されている。その結果、図３（ｂ）に示すように、第１部分７２は、リレー光学系１６からの入射光から、２本の回折光、すなわち、＋１次光と−１次光とを発生させる。

また、モード３が選択されると、図３（ｃ）に示すように、１本ずつ、１本置きに、電極８４に電圧が印加される。このことが図４（ｃ）にはグラフで表されている。その結果、図３（ｃ）に示すように、第１部分７２は、リレー光学系１６からの入射光から、２本の回折光、すなわち、＋１次光と−１次光とを発生させる。それら１次光が第１部分７２から出射する角度（偏向角ないし回折角）は、モード２における角度より大きい。

したがって、第１部分７２に印加される電圧値の分布パターンをモード１、モード２およびモード３に変化させると、第１部分７２から出射する回折光の角度が変化する。

このようにして回折光の角度が変化すると、図５に光路図で示すように、射出瞳が移動する。具体的には、モード１が選択された場合には、液晶光学デバイス７０から光が、図５において点線で示す光路に沿って出射し、その結果、射出瞳が、光軸上の中立位置Ｐ１に位置させられる。

これに対し、モード２または３が選択されると、液晶光学デバイス７０から光が、図５において二重破線で示す光路に沿って出射し、その結果、射出瞳が、光軸から距離ａずれた位置Ｐ２に移動させられる。例えば、回折角θが７．１［ｄｅｇ］、距離ｂが４０［ｍｍ］である場合には、距離ａが５［ｍｍ］となる。

液晶光学デバイス７０は、モード２または３において、＋１次光と−１次光とを出射するが、図５には、説明を簡単にするために、それら＋１次光と−１次光とのうち、瞳孔に入射することとなる射出瞳を形成する回折光のみが示されている。

本実施形態においては、第１部分７２に印加される電圧値の分布パターンをモード１、モード２およびモード３に変化させると、第１部分７２から出射する回折光の角度が離散的に変化するため、ヘッドマウントディスプレイ装置１０の射出瞳の位置も離散的に（すなわち、不連続的にないし段階的に）変化させられる。

図２に示すように、第２部分７４は、第１部分７２と同様に、透明なガラス基板９０と液晶層９２とが積層されて構成されている。液晶層９２の表面には、各々ストライプ状を成す複数の電極９４が互いに並列に延びるように形成されている。それら複数の電極９４はいずれも、第１部分７２における複数の電極８４に対して直角に延びる透明電極である。それら複数の電極９４は、Ｙ方向に並んでいる。

これに対し、液晶層９２の裏面には、複数の電極９４に共通の接地電極９６が形成されている。この接地電極９６も透明電極である。

この第２部分７４の作動、その作動のために用意されているモードの種類およびモードと回折角との関係については、第１部分７２の場合と共通するため、重複した説明を省略する。

図１に示すように、この液晶光学デバイス７０は、液晶光学デバイスドライバ７２によって駆動される。

なお付言するに、本実施形態においては、射出瞳を移動させるために使用される光学素子として液晶光学デバイス７０が選択されているが、これに限定されず、例えば、電気光学効果偏向器ＥＯＤを選択したり、音響光学偏向器ＡＯＤを選択することが可能である。

さらに、そのような光学素子として、グレーティング・ライト・バルブＧＬＶを選択することが可能である。このグレーティング・ライト・バルブＧＬＶは、例えば、リボン状の反射面を備えた固定格子と、リボン状の反射面を有するとともに、電気信号に応じて、前記固定格子に対して移動可能な可動格子とを含むように構成される。

このグレーティング・ライト・バルブＧＬＶのいくつかの例が特開２００３−３４１１２８号公報に開示されており、この公報は、引用されることにより、全体として本明細書に合体させられる。

さらにまた、上述の光学素子として、回折ピッチの方向に電気的に伸張する素材により構成され、それにより、回折ピッチが電気的に可変である回折素子を選択することも可能である。

図１に示すように、以上説明した射出瞳制御部１８の直ぐ下流に、瞳孔位置検出部２０が配置されている。射出瞳制御部１８は、その瞳孔位置検出部２０によって検出された瞳孔位置に基づき、観察者の各眼ごとに、瞳孔位置の変化に追従するように、ヘッドマウントディスプレイ装置１０の射出瞳を移動させる。

瞳孔位置検出部２０は、観察者の眼の瞳孔位置を検出するために有用な情報を取得するために使用されるデバイスとして、観察者の眼からの反射光を取り出すハーフミラー１００を備えている。この瞳孔位置検出部２０は、さらに、そのハーフミラー１００からの入射光に基づき、瞳孔位置を光学的に検出する瞳孔位置検出回路１０２を備えている。

ハーフミラー１００は、液晶光学デバイス７０からの入射光を、接眼光学系２２に向けて透過させる一方、観察者の眼からの反射光であって、接眼光学系２２からの入射光を、瞳孔位置検出回路１０２の受光部（図示しない）に向けて反射するように設計されている。

瞳孔位置検出回路１０２は、瞳孔位置（例えば、瞳孔の中心位置）の、ヘッドマウントディスプレイ装置１０の光軸上の射出瞳（中立位置にある射出瞳）に対する相対的な位置を水平方向（Ｘ方向）と垂直方向（Ｙ方向）とについてそれぞれ検出する。この瞳孔位置検出回路１０２は、例えば、ＣＣＤカメラを主体として構成される。したがって、この瞳孔位置検出回路１０２は、瞳孔の水平方向位置Ｘを表す信号と、瞳孔の垂直方向位置Ｙを表す信号とを出力する。

接眼光学系２２は、接眼レンズ１１０と、その接眼レンズ１１０からの画像光をユーザの瞳孔に誘導する光ガイドとしてのハーフミラー１１２とを含むように構成されている。

本実施形態においては、その光ガイドがハーフミラー１１２として構成されているため、ユーザは、ハーフミラー１１２を通して現実外界を観察すると同時に、接眼レンズ１１０からの画像光を、ハーフミラー１１２の反射によって受光して表示画像を観察することが可能である。すなわち、このヘッドマウントディスプレイ装置１０は、現実外界に重ねて表示画像を観察可能なシースルー型なのである。

図６には、このヘッドマウントディスプレイ装置１０のうちの電気的な部分がブロック図で概念的に表されている。このヘッドマウントディスプレイ装置１０は、信号処理装置１２０を備えている。

その信号処理装置１２０は、コンピュータ１２２と、メモリ部１２４と、入出力インターフェイス１２６と、クロック発振器１２８とを含むように構成されている。入力インターフェイス１２６に、前述のＬＥＤドライバ３２、ＬＣＤドライバ４２、瞳孔位置検出回路１０２および液晶光学デバイスドライバ７２が電気的に接続されている。

図６に示すように、信号処理装置１２０は、概略的には、外部から入力されたコンテンツを表すデータに基づき、そのコンテンツを表示するために必要な信号を生成し、その信号に基づき、ＬＥＤドライバ３４を介して白色ＬＥＤ３０、ＬＣＤドライバ４２を介してＬＣＤ４０をそれぞれ制御する。

本実施形態においては、図１に示すように、ＬＣＤドライバ４２には、各画素ごとに、実現すべき色および輝度を表す画像信号に加えて、画像位置信号も入力される。その画像位置信号は、観察者に対する画像の表示位置を、デフォールト位置から水平方向と垂直方向とにそれぞれ変位するためにＬＣＤドライバ４２に入力される。そのため、その画像位置信号は、表示画像の、デフォールト位置からの水平方向移動量を表す成分と、垂直方向移動量を表す成分とを有するように生成される。

コンテンツは、Ｒ輝度信号、Ｇ輝度信号およびＢ輝度信号によって表現される。コンピュータ１２２は、それら信号を入力すると、Ｒ輝度信号、Ｇ輝度信号およびＢ輝度信号をＲ／Ｇ／Ｂバッファ１３０に保存する。コンピュータ１２２は、各フレームごとに、Ｒ輝度信号、Ｇ輝度信号およびＢ輝度信号から、ＬＣＤ４０制御用のＲ画像信号、Ｇ画像信号およびＢ画像信号を生成して、それら画像信号をＬＣＤドライバ４２に供給する。

図７に示すように、メモリ部１２４には、画像表示プログラムと、瞳孔トラッキングプログラムと、画像位置補正プログラムとが不揮発的に予め記憶されている。

画像表示プログラムは、コンテンツを表す輝度信号に基づいて画像信号を生成してそれをＬＣＤドライバ４２に供給し、それにより、目標画像を表示するためにコンピュータ１２２によって実行される。この画像表示プログラムは、よく知られた手順で実行されるものであるため、文章および図示による説明を省略する。

これに対し、瞳孔トラッキングプログラムは、瞳孔位置検出回路１０２からの信号であって瞳孔位置を表すものに基づき、その瞳孔位置の変化に追従するようにヘッドマウントディスプレイ装置１０の射出瞳を移動させるためにコンピュータ１２２によって実行される。すなわち、瞳孔トラッキングプログラムは、射出瞳が瞳孔位置をトラッキングするようにするためにコンピュータ１２２によって実行されるのである。

図８には、その瞳孔トラッキングプログラムが概念的にフローチャートで表されている。この瞳孔トラッキングプログラムは、ヘッドマウントディスプレイ装置１０の電源（図示しない）がユーザによって投入された後に、自動的に定期的に実行されるか、またはユーザからのリクエストに応答して実行される。

この瞳孔トラッキングプログラムの実行時には、まず、ステップＳ１において、瞳孔位置検出回路１０２からの信号に基づき、瞳孔の水平方向位置Ｘが検出され、次に、ステップＳ２において、瞳孔位置検出回路１０２からの信号に基づき、瞳孔の垂直方向位置Ｙが検出される。

続いて、ステップＳ３において、検出された水平方向位置Ｘに基づき、前述のモード１ないし３のうち、射出瞳が水平方向に瞳孔位置をトラッキングするために適切なモードが選択される。その後、ステップＳ４において、検出された水平方向位置Ｙに基づき、前述のモード１ないし３のうち、射出瞳が垂直方向に瞳孔位置をトラッキングするために適切なモードが選択される。

水平方向トラッキングのためのモード選択および垂直方向トラッキングのためのモード選択は、共通のアルゴリズムに従って行われる。以下、そのアルゴリズムを図９を参照して詳細に説明する。

図９には、このヘッドマウントディスプレイ装置１０が採用し得る複数の射出瞳の位置が、各モードごとに、横一列に並んだ５個の丸印でそれぞれ示されている。さらに、各モードごとに、瞳孔が、射出瞳を表す丸印より大きい丸印で示されている。実際に、瞳孔は射出瞳より大きい。

本実施形態においては、前述のように、モード１が選択されると、液晶光学デバイス７０が０次光を発生させ、また、モード２が選択されると、液晶光学デバイス７０が＋１次光と−１次光とを、小さな偏向角のもとに発生させ、また、モード３が選択されると、液晶光学デバイス７０が＋１次光と−１次光とを、大きな偏向角のもとに発生させる。

この液晶光学デバイス７０においては、複数の電極８４，９４のうち電圧が印加されるのは、１個の孤立電極を繰返し単位として一定ピッチで並ぶ複数の電極８４，９４（図３（ｃ）参照）、または１組の隣接電極を繰返し単位として一定ピッチで並ぶ複数の電極８４，９４（図３（ｂ）参照）である。この液晶光学デバイス７０においては、複数の繰返し単位が並ぶピッチが小さいほど、回折光の偏向角が大きくなる。

本実施形態においては、モードをモード１からモード２に変化させた場合と、モード２からモード３に変化させた場合とで、射出瞳の移動量がほぼ等しくなるように、液晶光学デバイス７０の構成およびその制御方法が予め設定されている。しかも、瞳孔の平均的直径の寸法をＡ、射出瞳の直径寸法をＢでそれぞれ表すとすると、モード１からモード２に変化させた場合も、モード２からモード３に変化させた場合も、射出瞳が、（Ａ−Ｂ）にほぼ等しい距離だけ移動するように、液晶光学デバイス７０の構成およびその制御方法が予め設定されている。

図９に示すように、本実施形態においては、射出瞳の位置が連続的にではなく離散的に変化させられる。一方、各瞬間において、瞳孔には１つの射出瞳のみが存在することが、画像多重化を防止する観点から望ましく、さらに、瞳孔には、１つの射出瞳が全体的に存在することが、表示画像の明るさを確保する観点から望ましい。

本実施形態においては、瞳孔位置が変化した場合、（１）瞳孔には１つの射出瞳のみが存在するという条件と、（２）瞳孔には、１つの射出瞳が全体的に存在するという条件とが同時に成立するように、離散的に取り得る複数個の射出瞳のうちのいずれか一つが選択される。

具体的には、例えば、水平方向トラッキングを例にとり説明すると、中立位置（水平方向位置Ｘ＝０）に対する瞳孔の水平方向位置Ｘ（すなわち、瞳孔の中心点の、中立位置からのずれ量）が、（Ａ−Ｂ）／２より小さい場合には、モード１が選択され、その結果、０次光による射出瞳が瞳孔内に存在するようにされる。

また、水平方向位置Ｘが、（Ａ−Ｂ）／２以上、かつ、３（Ａ−Ｂ）／２より小さい場合には、モード２が選択され、その結果、小さい偏向角を有する＋１次光または−１次光による射出瞳が瞳孔内に存在するようにされる。

また、水平方向位置Ｘが、３（Ａ−Ｂ）／２以上、かつ、５（Ａ−Ｂ）／２より小さい場合には、モード３が選択され、その結果、大きい偏向角を有する＋１次光または−１次光による射出瞳が瞳孔内に存在するようにされる。

なお付言するに、本実施形態においては、図９から明らかなように、モード１ではなく、モード２またはモード３が選択される場合には、２つの回折光が発生するが、それら回折光のうち、瞳孔内に存在する射出瞳の形成に寄与するのは１つの回折光のみである。そのため、モード１が選択される場合とは異なり、モード２またはモード３が選択される場合には、表示画像の明るさを維持するためには、光源部１２からの出射光の出力を増減させるなどの出力補正措置を講ずることが必要となる。すなわち、射出瞳の移動すなわちモード変化に合わせて光源部１２からの出射光の出力を変化させることにより、瞳孔に入射する光の光量が変動しないようにすることが必要なのである。

これに対し、液晶光学デバイス７０における複数の電極８２，９２に、図１０（ａ）にモード４として示すように、互いに連続した複数の電極から成る電極群ごとに、電圧値が単調に増加するように、電圧を印加すると、液晶光学デバイス７０がブレーズド格子として機能する。

液晶光学デバイス７０がブレーズド格子として機能すると、図１０（ｂ）に示すように、液晶光学デバイス７０の光軸に関する正側に出射する回折光と負側に出射する回折光とのうち予め定められた一方の回折光のパワーが他方の回折光のパワーより増加する。

したがって、瞳孔位置検出回路１０２からの信号に基づき、瞳孔位置が中立位置からずれた量のみならずずれた方向も検出され、その検出結果に基づき、複数の電極８２，９２に電圧が、液晶光学デバイス７０がブレーズド格子として機能するための電圧値分布パターンで印加される態様で本発明を実施することが可能である。

図８に戻ると、本実施形態においては、ステップＳ３において、上述のモード選択アルゴリズムに従い、瞳孔の水平方向位置Ｘに基づき、水平方向トラッキングのために採用すべきモードが選択される。その後、ステップＳ４において、上述のモード選択アルゴリズムに従い、瞳孔の垂直方向位置Ｙに基づき、垂直方向トラッキングのために採用すべきモードが選択される。

続いて、ステップＳ５において、液晶光学デバイス７０の第１部分７２、すなわち、射出瞳を水平方向に移動させるための部分における複数の電極８４に電圧が、ステップＳ３において選択されたモードに対応する電圧分布パターンで印加される。これにより、射出瞳の、水平方向における位置が、瞳孔の、現在の水平方向位置に接近ないし一致させられる。

その後、ステップＳ６において、液晶光学デバイス７０の第２部分７４、すなわち、射出瞳を垂直方向に移動させるための部分における複数の電極９４に電圧が、ステップＳ４において選択されたモードに対応する電圧分布パターンで印加される。これにより、射出瞳の垂直方向位置が、瞳孔の、現在の垂直方向位置に接近ないし一致させられる。

以上で、この瞳孔トラッキングプログラムの一回の実行が終了する。

図１１には、前述の画像位置補正プログラムが概念的にフローチャートで表されている。

前述のように、この液晶光学デバイス７０は、図１２に示すように、リレー光学系１６と接眼光学系２２との間に位置する中間像面から距離ｄだけオフセットした位置（本実施形態においては、接眼光学系２２寄りの位置）に配置されている。

図１２（ａ）には、液晶光学デバイス７０が、モード１において、０次光を出射し、その結果、射出瞳が中立位置Ｐ１に位置することが示されている。一方、液晶光学デバイス７０に各瞬間ごとに入射するレーザビームは、異なる点を通過する複数の光線の束であると考えられる。

図１２（ａ）において、「Ａ」は、液晶光学デバイス７０に入射するレーザビーム（中心光線）の光軸と中間像面との交点Ｏを通過する一垂直線と、前記複数の光線のうち最も上側に位置するものの中心線との交点を意味する。これに対し、「Ｂ」は、上記一垂直線と、前記複数の構成のうち最も下側に位置するものの中心線との交点を意味する。ＡとＯとＢとによって規定される位置は、液晶光学デバイス７０の背後に虚像として投影され、その位置関係は、観察者にとっては、表示画像の位置関係と等しい。

図１２（ｂ）には、液晶光学デバイス７０が、モード２または３において、１次光を出射し、その結果、射出瞳が、中立位置Ｐ１から距離ａだけオフセットした位置Ｐ２に位置することが示されている。

液晶光学デバイス７０は、モード２または３において、＋１次光と−１次光とを出射するが、図１２（ｂ）には、説明を簡単にするために、それら＋１次光と−１次光とのうち、瞳孔に入射することとなる射出瞳を形成する回折光のみが示されている。

図１２（ｂ）においては、液晶光学デバイス７０が、リレー光学系１６と接眼光学系２２との間に位置する中間像面から距離ｄだけオフセットした位置に配置されているという理由から、液晶光学デバイス７０の背後に形成される虚像の位置が、Ａから上方にずれたＡ’と、Ｏから上方にずれたＯ’と、Ｂから上方にずれたＢ’とによって規定される。

図１３（ａ）および図１３（ｂ）にはそれぞれ、図１２（ａ）に示すモード１および図１２（ｂ）に示すモード２または３の場合に観察者によって観察される画像（虚像）の一例が示されている。観察者は、モード２または３が選択されると、画像を、モード１が選択されたときより上方に移動するように観察する。このような移動は、予定されていないものであるため、解消ないし軽減することが、観察者が画像を安定的に観察することを可能にするために必要である。

一方、画像が予定外に移動する量は、射出瞳の移動量に依存する。したがって、射出瞳の移動量が決まれば、画像が予定外に移動する量が一義的に決まり、ひいては、その予定外移動量をキャンセルするために表示画像を移動させるべき量も一義的に決まる。

ここで、図１１を参照することにより、前述の画像位置補正プログラムを具体的に説明する。

この画像位置補正プログラムは、ヘッドマウントディスプレイ装置１０の電源が投入されている間、定期的に繰り返し実行される。

各回の実行時には、まず、ステップＳ１０１において、図８に示すステップＳ３の実行によって選択された水平方向トラッキング用モードの種類から、射出瞳の水平方向移動量が求められる。モードの種類と射出瞳の水平方向移動量との関係が予めメモリ部１２４に記憶されており、その関係に従い、今回のモードの種類から、射出瞳の水平方向移動量の今回値が求められる。

次に、ステップＳ１０２において、ステップＳ１０１に準じて、図８に示すステップＳ４の実行によって選択された垂直方向トラッキング用モードの種類から、射出瞳の垂直方向移動量が求められる。モードの種類と射出瞳の垂直方向移動量との関係が予めメモリ部１２４に記憶されており、その関係に従い、今回のモードの種類から、射出瞳の垂直方向移動量の今回値が求められる。

続いて、ステップＳ１０３において、画像位置の水平方向補正量が、射出瞳の水平方向移動量に応じて一義的に決まる、画像位置の水平方向移動量を打ち消すための値を有するように求められる。射出瞳の水平方向移動量と画像位置の水平方向移動量との関係が予めメモリ部１２４に記憶されており、その関係に従い、射出瞳の水平方向移動量の今回値から、画像位置の水平方向移動量の今回値が求められ、ひいては、画像位置の水平方向補正量の今回値が求められる。

その後、ステップＳ１０４において、ステップＳ１０３に準じて、画像位置の垂直方向補正量が、射出瞳の垂直方向移動量に応じて一義的に決まる、画像位置の垂直方向移動量を打ち消すための値を有するように求められる。射出瞳の垂直方向移動量と画像位置の垂直方向移動量との関係が予めメモリ部１２４に記憶されており、その関係に従い、射出瞳の垂直方向移動量の今回値から、画像位置の垂直方向移動量の今回値が求められ、ひいては、画像位置の垂直方向補正量の今回値が求められる。

続いて、ステップＳ１０５において、前述の画像位置信号が、上述のようにして求められた画像位置の水平方向補正量および垂直方向補正量を表すように生成される。その後、ステップＳ１０６において、その生成された画像位置信号がＬＣＤドライバ４２に出力される。

以上で、この画像位置補正プログラムの一回の実行が終了する。

したがって、本実施形態によれば、射出瞳の移動の有無にかかわらず、観察者は、安定した位置において画像を観察することが可能となり、その結果、ヘッドマウントディスプレイ装置１０による画像の表示品質が向上する。

以上の説明から明らかなように、本実施形態においては、説明の便宜上、液晶光学デバイス７０と、信号処理装置１２０のうち図８に示す瞳孔トラッキングプログラムを実行する部分とが互いに共同して、前記（１）項における「射出瞳制御部」の一例を構成し、液晶光学デバイス７０が同項における「光学素子」の一例を構成し、信号処理装置１２０のうち図８に示す瞳孔トラッキングプログラムを実行する部分が、同項における「射出瞳制御手段」の一例を構成し、信号処理装置１２０のうち図１１に示す画像位置補正プログラムを実行する部分が、同項における「変換特性補正手段」の一例を構成していると考えることが可能である。

さらに、本実施形態においては、説明の便宜上、ＬＣＤドライバ４２に供給される画像信号と画像位置信号との組合せが、前記（９）項における「画像信号」の一例を構成し、射出瞳の水平方向移動量と垂直方向移動量との組合せが、同項における「光学素子の制御量に関連する物理量」の一例を構成していると考えることが可能である。

なお付言するに、本実施形態においては、瞳孔の動きに追従するように自動的に射出瞳が移動させられるが、ユーザからの指令に応じた位置に射出瞳が移動するように液晶光学デバイス７０が電気的に制御される態様で本発明を実施することが可能である。

次に、本発明の第２実施形態を説明する。ただし、本実施形態は、第１実施形態に対して、光源部および画像光形成部についてのみ異なり、他の要素については共通するため、光源部および画像光形成部についてのみ説明する。

図１４には、本発明の第２実施形態に従うヘッドマウントディスプレイ装置１５０が概念的に光路図で示されている。

このヘッドマウントディスプレイ装置１５０は、概略的には、光源から入射したビーム状の光であって各画素ごとに強度変調されたものを、スキャナを用いて、面状の画像光に変換し、そのようにして形成された画像光を観察者の瞳孔を経て直接的に観察者の網膜上に投影し、それにより、観察者が画像を虚像として観察することを可能にするように構成されている。

図１４に示すように、このヘッドマウントディスプレイ装置１５０は、光源部１５２と、画像光形成部１５４とを、第１実施形態とは異なる要素として有する一方、射出瞳制御部１８と、瞳孔位置検出部２０と、接眼光学系２２とを、第１実施形態と共通する要素として有している。

光源部１５２は、赤色レーザビームを発するレーザ１６０と、緑色レーザビームを発するレーザ１６２と、青色レーザビームを発するレーザ１６４とを備えている、それらレーザ１６０，１６２，１６４はそれぞれ、個別のレーザドライバ１７０，１７２，１７４により、発生させるレーザビームの強度が変調される。具体的には、各レーザドライバ１７０，１７２，１７４は、各色のレーザビームに対応する画像信号に基づき、各画素ごとに強度（輝度）を実現するレーザビームを各レーザ１６０，１６２，１６４から発生させる。発生させられる各レーザビームの強度は時間的に変化する。

本実施形態においては、各レーザドライバ１７０，１７２，１７４に、上述の画像信号に加えて、画像位置信号も入力される。その画像位置信号は、３色のレーザビームを用いて最終的に２次元的に形成される画像の、観察者に対する位置を、デフォールト位置から水平方向と垂直方向とにそれぞれ変位するために各レーザドライバ１７０，１７２，１７４に入力される。そのため、その画像位置信号は、表示画像の、デフォールト位置からの水平方向移動量を表す成分と、垂直方向移動量を表す成分とを有するように生成される。

レーザ１６０，１６２，１６４から発生する３色のレーザビームは、対応する画素の色および輝度を反映する１つのレーザビームとして合成される。その合成されたレーザビームは、画像光形成部１５４に入射する。

画像光形成部１５４は、光源部１５２から入射したレーザビームを水平方向に走査するために駆動される主走査ミラー１８０（例えば、ポリゴンミラー）と、その主走査ミラー１８０から入射したレーザビームを今度は、垂直方向に走査するために駆動される副走査ミラー１８２（例えば、ガルバノミラー）とを備えている。主走査ミラー１８０は、主走査ミラードライバ１９０によって駆動され、また、副走査ミラー１８２は、副走査ミラードライバ１９２によって駆動される。

画像光形成部１５４は、さらに、前段リレーレンズ２００と、後段リレーレンズ２０２とを備えている。前段リレーレンズ２００は、主走査ミラー１８０と副走査ミラー１８２との間の中間像面と同じ位置に配置され、一方、後段リレーレンズ２０２は、副走査ミラー１８２と液晶光学デバイス７０との間の中間像面と同じ位置に配置されている。

なお付言するに、液晶光学デバイス７０は、後段リレーレンズ２０２と接眼レンズ１１０との間の中間像面と同じ位置に配置されているが、図１４においては、説明の便宜上、実際とは異なる配置とされている。

本実施形態においても、第１実施形態と同様にして、射出瞳制御部１８が、瞳孔位置検出部２０による瞳孔位置の検出結果に基づき、ヘッドマウントディスプレイ装置１５０の射出瞳を、瞳孔位置の変化に追従するように移動させる。その結果、観察者は、瞳孔移動の有無にかかわらず、表示画像を同じ表示状態で観察し続けることが可能となる。

ところで、第１実施形態においては、光源部１２からの出射光を画像光形成部１４が画像光に変換する変換特性が、ＬＣＤドライバ４２に入力される画像位置信号に依存しており、その画像位置信号は、射出瞳の移動量に応じて生成され、その結果、射出瞳の移動の有無にかかわらず、観察者が画像を安定した位置において観察し続けることが可能となる。

これに対し、本実施形態においては、光源部１５２からの出射光を画像光形成部１５４が画像光に変換する変換特性が、レーザドライバ１７０，１７２，１７４に入力される画像位置信号に依存しており、その画像位置信号は、射出瞳の移動量に応じて生成され、その結果、射出瞳の移動の有無にかかわらず、観察者が画像を安定した位置において観察し続けることが可能となる。

以上の説明から明らかなように、本実施形態においては、説明の便宜上、レーザドライバ１７０，１７２，１７４に供給される画像信号と画像位置信号との組合せが、前記（１２）項における「画像信号」の一例を構成し、射出瞳の水平方向移動量と垂直方向移動量とがそれぞれ、同項における「光学素子の制御量に関連する物理量」の一例を構成していると考えることが可能である。

次に、本発明の第３実施形態を説明する。ただし、本実施形態は、第１実施形態に対して、射出瞳制御部についてのみ異なり、他の要素については共通するため、射出瞳制御部についてのみ説明する。本実施形態につき、第１実施形態と共通する要素については、同一の符号または名称を用いて引用することにより、重複した説明を省略する。

図１５には、本実施形態に従うヘッドマウントディスプレイ装置３００が光路図で示されている。

図１に示すように、第１実施形態においては、射出瞳制御部１８が、透過型光学素子としての液晶光学デイバス７０を主体として構成されているが、本実施形態においては、図１５に示すように、射出瞳制御部３１０が、反射型光学素子としての偏向ミラー３１２を主体として構成されている。

具体的には、射出瞳制御部３１０は、観察者の瞳孔位置の変化に追従するように、ヘッドマウントディスプレイ装置３００の射出瞳の位置を制御するために設けられている。この射出瞳制御部３１０における偏向ミラー３１２は、ヘッドマウントディスプレイ装置３００におけるある中間像面の位置に一致する位置に配置されている。

図１６に示すように、偏向ミラー３１２は、水平方向に延びるＸ軸まわりに揺動可能なフレーム３１４に、垂直方向に延びるＹ軸まわりに揺動可能に装着された揺動ミラーである。フレーム３１４は、ヘッドマウントディスプレイ装置３００のうちの静止部材に装着された図示しないＸ軸アクチュエータによって揺動させられる一方、偏向ミラー３１２は、フレーム３１４に装着された図示しないＹ軸アクチュエータによって揺動させられる。その結果、ヘッドマウントディスプレイ装置３００のうちの静止部材に対する偏向ミラー３１２の角度は、２次元的に調整可能となる。

図１５に示すように、この偏向ミラー３１２は、偏向ミラードライバ３２０によって駆動される。

射出瞳制御部３１０は、瞳孔位置検出部２０によって検出された瞳孔位置に基づき、観察者の各眼ごとに、瞳孔位置の変化に追従するように、偏向ミラー３１２の角度を変更し、それにより、ヘッドマウントディスプレイ装置３００の射出瞳を移動させる。

瞳孔位置検出部２０は、観察者の眼の瞳孔位置を検出するために有用な情報を取得するために使用されるデバイスとして、観察者の眼からの反射光を取り出すハーフミラー３３０を備えている。この瞳孔位置検出部２０は、さらに、そのハーフミラー３３０からの入射光に基づき、瞳孔位置を光学的に検出する瞳孔位置検出回路１０２を備えている。

ハーフミラー３３０は、リレー光学系１６からの入射光を偏向ミラー３１２に向けて透過させるとともに、その透過光を接眼光学系２２に向けて反射する。このハーフミラー３３０は、さらに、観察者の眼からの反射光であって、接眼光学系２２からの入射光を、瞳孔位置検出回路１０２の受光部（図示しない）に向けて透過させる。

すなわち、このハーフミラー３３０は、観察者の眼からの反射光を瞳孔位置検出回路１０２に誘導する機能のみならず、偏向ミラー３１２からの出射光を接眼光学系２２に誘導する機能をも果たすように設計されているのである。

図１７には、このヘッドマウントディスプレイ装置３００のうちの電気的な部分がブロック図で概念的に表されている。このヘッドマウントディスプレイ装置３００は、第１実施形態におけると同様に、信号処理装置１２０を備えている。

その信号処理装置１２０は、ＬＥＤドライバ３２、ＬＣＤドライバ４２、瞳孔位置検出回路１０２、偏向ミラードライバ３２０および可変焦点レンズドライバ７２に電気的に接続されている。

図１８に示すように、メモリ部１２４には、画像表示プログラムと、瞳孔トラッキングプログラムと、画像スケール補正プログラムとが不揮発的に予め記憶されている。画像表示プログラムは、第１実施形態における画像表示プログラムと共通するため、重複した説明を省略する。

これに対し、瞳孔トラッキングプログラムは、瞳孔位置検出回路１０２からの信号であって瞳孔位置を表すものに基づき、その瞳孔位置の変化に追従するようにヘッドマウントディスプレイ装置３００の射出瞳を移動させるためにコンピュータ１２２によって実行される。すなわち、瞳孔トラッキングプログラムは、射出瞳が瞳孔位置をトラッキングするようにするためにコンピュータ１２２によって実行されるのである。

図１９には、その瞳孔トラッキングプログラムが概念的にフローチャートで表されている。この瞳孔トラッキングプログラムは、ヘッドマウントディスプレイ装置３００の電源（図示しない）がユーザによって投入された後に、自動的に定期的に実行されるか、またはユーザからのリクエストに応答して実行される。

その実行時には、まず、ステップＳ２０１において、瞳孔位置検出回路１０２からの信号に基づき、瞳孔の水平方向位置Ｘが検出され、次に、ステップＳ２０２において、瞳孔位置検出回路１０２からの信号に基づき、瞳孔の垂直方向位置Ｙが検出される。

続いて、ステップＳ２０３において、検出された水平方向位置Ｘに基づき、射出瞳が水平方向に瞳孔位置をトラッキングするために偏向ミラー３１２がＹ軸まわりに回転すべき角度、すなわち、Ｙ軸まわり角度変更量（偏向ミラー３１２を回転させる向きを含む）が決定される。

本実施形態においては、水平方向位置Ｘ（瞳孔位置の、中立位置からの水平方向ずれ量）と偏向ミラー３１２のＹ軸まわりの、中立位置からの回転角度量との対応関係がテーブルとしてメモリ部１２４に予め記憶されており、その関係に従い、瞳孔の水平方向位置Ｘの今回値に対応する偏向ミラー３１２のＹ軸まわり角度変更量が決定される。

その後、ステップＳ２０４において、ステップＳ２０３に準じて、検出された垂直方向位置Ｙに基づき、射出瞳が垂直方向に瞳孔位置をトラッキングするために偏向ミラー３１２がＸ軸まわりに回転すべき角度、すなわち、Ｘ軸まわり角度変更量（偏向ミラー３１２を回転させる向きを含む）が決定される。

本実施形態においては、垂直方向位置Ｙ（瞳孔位置の、中立位置からの垂直方向ずれ量）と偏向ミラー３１２のＸ軸まわりの、中立位置からの回転角度量との対応関係がテーブルとしてメモリ部１２４に予め記憶されており、その関係に従い、瞳孔の垂直方向位置Ｙの今回値に対応する偏向ミラー３１２のＸ軸まわり角度変更量が決定される。

続いて、ステップＳ２０５において、ステップＳ２０３およびＳ２０４においてそれぞれ決定されたＹ軸まわり角度変更量およびＸ軸まわり角度変更量を実現することを偏向ミラードライバ３２０に出力すべき制御信号が生成される。

その後、ステップＳ２０６において、その生成された制御信号が偏向ミラードライバ３２０に出力され、その結果、射出瞳の水平方向位置および垂直方向位置がそれぞれ、瞳孔の、現在の水平方向位置および垂直方向位置に接近ないし一致させられる。

以上で、この瞳孔トラッキングプログラムの一回の実行が終了する。

図２０には、前述の画像スケール補正プログラムが概念的にフローチャートで表されている。以下、この画像スケール補正プログラムを説明するが、それに先立ち、この画像スケール補正プログラムを用いる背景および目的を説明する。

図２１には、図１５に示すヘッドマウントディスプレイ装置３００のうち、リレー光学系１６と、ハーフミラー１００と、偏向ミラー３１２と、接眼光学系２２との間における光の経路が示されている。さらに、接眼光学系２２から出射した光が、射出瞳および観察者の眼球レンズを順に経て、観察者の眼の網膜上に到達する様子も示されている。

図２１には、偏向ミラー３１２が中立位置にあって、射出瞳が中立位置Ｐ１に一致する場合に、接眼光学系２２から出射する光によって形成される像面が示されている。この場合には、観察者は、寸法ｄＡの像面が投影された虚像を知覚することになる。

これに対して、図２２には、偏向ミラー３１２が、中立位置から回転した位置にあって、射出瞳が、中立位置Ｐ１から距離ａだけずれた位置Ｐ２に一致する場合に、偏向ミラー３１２に入射する光とそこから出射する光とが示されている。ここに、「偏向ミラー３１２が、中立位置から回転した位置にある状態」とは、偏向ミラー３１２上のすべての点が、図２２に示すように、中間像面上に位置するわけではない状態である。すなわち、偏向ミラー３１２が全体的に中間像面に一致するわけではない状態なのである。

図２２に示すように、各瞬間においてある２次元画像を構成する複数個の画素をそれぞれ形成する複数本の光線に着目すると、偏向ミラー３１２のうち、中間像面に対して射出瞳に近い部分（図２２においては、偏向ミラー３１２のうちの上部）に入射する光線は、中間像面より手前の位置で反射して射出瞳に向かう。

これに対し、図２２に示すように、偏向ミラー３１２のうち、中間像面に対して射出瞳から遠い部分（図２２においては、偏向ミラー３１２のうちの下部）に入射する光線は、中間像面より遠い位置で反射して射出瞳に向かう。

一方、観察者は、虚像を、中間像面上に存在するように知覚する。そのため、偏向ミラー３１２が全体的に中間像面に一致する場合には、虚像の大きさがｄＡの像面が投影された虚像となるが、偏向ミラー３１２が全体的に中間像面に一致するわけではない場合には、虚像の大きさがｄＢの像面が投影された像に一致する。寸法ｄＢは、寸法ｄＡより大きいから、結局、射出瞳が中立位置Ｐ１から外れている場合には、観察者は、表示画像を、理想的な画像より大きいものとして知覚することになる。

一方、実際に知覚される表示画像の大きさの、理想的な画像の大きさに対するスケールは、１より大きく、かつ、そのスケールは、射出瞳の、中立位置Ｐ１から移動量ａに応じて一義的に決まる。また、表示画像の大きさは、ＬＣＤドライバ４２に供給される画像信号を補正すれば、変更することが可能である。

そこで、本実施形態においては、射出瞳を移動させることが必要である場合に、その射出瞳の移動に起因する表示画像の拡大が、画像信号の事前補正によって抑制されるのである。

ここで、図２０を参照することにより、前述の画像スケール補正プログラムを具体的に説明する。

この画像スケール補正プログラムは、ヘッドマウントディスプレイ装置３００の電源が投入されている間、定期的に繰り返し実行される。

各回の実行時には、まず、ステップＳ３０１において、図１９に示すステップＳ２０３の実行によって決定された偏向ミラー３１２のＹ軸まわり角度変更量（中立位置からのずれ量）に応じて、射出瞳の水平方向移動量（中立位置からのずれ量）が求められる。

なお、射出瞳の水平方向移動量は、瞳孔の水平方向位置Ｘに常に実質的に一致させられることを前提としてもよい場合には、図１９に示すステップＳ２０１の実行によって検出された瞳孔の水平方向位置Ｘとして取得してもよい。

本実施形態においては、偏向ミラー３１２のＹ軸まわり角度変更量と射出瞳の水平方向移動量との関係が予めメモリ部１２４に記憶されており、その関係に従い、射出瞳の水平方向移動量の今回値が求められる。

次に、ステップＳ３０２において、ステップＳ３０１に準じて、図１９に示すステップＳ２０４の実行によって決定された偏向ミラー３１２のＸ軸まわり角度変更量（中立位置からのずれ量）に応じて、射出瞳の垂直方向移動量（中立位置からのずれ量）が求められる。

なお、射出瞳の垂直方向移動量は、瞳孔の垂直方向位置Ｙに常に実質的に一致させられることを前提としてもよい場合には、図１９に示すステップＳ２０２の実行によって検出された瞳孔の垂直方向位置Ｙとして取得してもよい。

本実施形態においては、偏向ミラー３１２のＸ軸まわり角度変更量と射出瞳の垂直方向移動量との関係が予めメモリ部１２４に記憶されており、その関係に従い、射出瞳の垂直方向移動量の今回値が求められる。

続いて、ステップＳ３０３において、射出瞳の水平方向移動に起因する表示画像の水平方向拡大を抑制するために実現すべきスケール補正率が決定される。このスケール補正率の大きさは、射出瞳の水平方向移動量（中立位置からの水平方向ずれ量）に基づいて決定される。具体的には、射出瞳の水平方向移動量と水平方向スケール補正率との間に予め定められた関係であってメモリ部１２４に予め記憶されているものに従い、今回の水平方向スケール補正率が決定される。

その後、ステップＳ３０４において、射出瞳の垂直方向移動に起因する表示画像の垂直方向拡大を抑制するために実現すべきスケール補正率が決定される。このスケール補正率の大きさは、射出瞳の垂直方向移動量（中立位置からの垂直方向ずれ量）に基づいて決定される。具体的には、射出瞳の垂直方向移動量と垂直方向スケール補正率との間に予め定められた関係であってメモリ部１２４に予め記憶されているものに従い、今回の垂直方向スケール補正率が決定される。

続いて、ステップＳ３０５において、もと画像信号がＲ／Ｇ／Ｂバッファ１３０から取り込まれる。その後、ステップＳ３０６において、その取り込まれたもと画像信号が、上記決定された水平方向スケール補正率および垂直方向スケール補正率が同時に実現されるように、補正される。図１８に示す画像表示プログラムは、その補正された画像信号をＬＣＤドライバ４２に供給することにより、画像を表示するように実行される。

以上で、この画像スケール補正プログラムの一回の実行が終了する。

したがって、本実施形態によれば、射出瞳の移動の有無にかかわらず、観察者は、画像を、その画像の予定外の拡大が抑制された状態で観察することが可能となり、その結果、ヘッドマウントディスプレイ装置３００による画像の表示品質が向上する。

以上の説明から明らかなように、本実施形態においては、説明の便宜上、可変焦点レンズ７０と、信号処理装置１２０のうち図１９に示す瞳孔トラッキングプログラムを実行する部分とが互いに共同して、前記（１）項における「射出瞳制御部」の一例を構成し、信号処理装置１２０のうち図１９に示す瞳孔トラッキングプログラムを実行する部分が、同項における「射出瞳制御手段」の一例を構成し、信号処理装置１２０のうち図２０に示す画像スケール補正プログラムを実行する部分が、同項における「変換特性補正手段」の一例を構成し、偏向ミラー３１２が同項における「光学素子」の一例を構成していると考えることが可能である。

さらに、本実施形態においては、説明の便宜上、ＬＣＤドライバ４２に供給される画像信号が、前記（９）項における「画像信号」の一例を構成し、射出瞳の水平方向移動量と垂直方向移動量とがそれぞれ、同項における「光学素子の制御量に関連する物理量」の一例を構成していると考えることが可能である。

以上、本発明の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の開示］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

本発明の第１実施形態に従うヘッドマウントディスプレイ装置１０を概念的に表す光路図である。 図１に示す液晶光学デバイス７０を示す断面図である。 図２に示す液晶光学デバイス７０による回折パターンと、その液晶光学デバイス７０の複数の電極８４に電圧を印加するためのモードの種類との関係を説明するための図である。 図２に示す液晶光学デバイス７０の複数の電極８４に電圧を印加するためのモードの種類を説明するためのグラフである。 図２に示す液晶光学デバイス７０の回折により、図１に示すヘッドマウントディスプレイ装置１０の射出瞳が移動する原理を説明するための光路図である。 図１に示すヘッドマウントディスプレイ装置１０のうちの電気的な構成を概念的に説明するためのブロック図である。 図６に示すメモリ部１２４に予め記憶されているプログラムを示す図である。 図７に示す瞳孔トラッキングプログラムを概念的に表すフローチャートである。 図８に示す瞳孔トラッキングプログラムにおいて、瞳孔位置に応じて３つのモードのうちのいずれかを選択するために従うアルゴリズムを説明するための図である。 図１０（ａ）は、図２に示す液晶光学デバイス７０の複数の電極８４に電圧を印加するための別のモード４を説明するためのグラフであり、図１０（ｂ）は、そのモード４を選択したときに実現される液晶光学デバイス７０の回折パターンを説明するための光路図である。 図７に示す画像位置補正プログラムを概念的に表すフローチャートである。 図１に示す液晶光学デバイス７０による回折によって射出瞳が移動するのに伴って中間像面上の虚像が移動する原理を説明するための光路図である。 図１に示す液晶光学デバイス７０による回折によって射出瞳が移動するのに伴って表示画像が観察者に対して相対的に移動する様子を説明するための図である。 本発明の第２実施形態に従うヘッドマウントディスプレイ装置１５０を概念的に表す光路図である。 本発明の第３実施形態に従うヘッドマウントディスプレイ装置３００を概念的に表す光路図である。 図１５に示す偏向ミラー３１２を拡大して示す正面図である。 図１５に示すヘッドマウントディスプレイ装置３００のうちの電気的な構成を概念的に説明するためのブロック図である。 図１７に示すメモリ部１２４に予め記憶されているプログラムを示す図である。 図１８に示す瞳孔トラッキングプログラムを概念的に表すフローチャートである。 図１８に示す画像スケール補正プログラムを概念的に表すフローチャートである。 図２０に示す画像スケール補正プログラムを説明するための光路図である。 図２０に示す画像スケール補正プログラムを説明するための別の光路図である。

符号の説明

１０ ヘッドマウントディスプレイ装置
１２ 光源部
１４ 画像光形成部
１８ 射出瞳制御部
２０ 瞳孔位置検出部
７０ 液晶光学デバイス
７２ 第１部分
７４ 第２部分
８４ 電極
９４ 電極
１００ ハーフミラー
１０２ 瞳孔位置検出回路
１２０ 信号処理装置
１２２ コンピュータ
１５０ ヘッドマウントディスプレイ装置
１５２ 光源部
１５４ 画像形成部
３００ ヘッドマウントディスプレイ装置
３１０ 射出瞳制御部
３１２ 偏向ミラー

Claims (19)

1. 画像を光学的に表示する画像表示装置であって、
   光源部と、
   その光源部から出射する光を、観察者に表示すべき画像を表す画像光に変換することにより、その画像光を形成する画像光形成部と、
   当該画像表示装置の射出瞳の位置を制御する射出瞳制御部と
   を含み、
   その射出瞳制御部は、
   当該画像表示装置において前記画像光が進行する経路の途中に配置された光学素子と、
   その光学素子を制御することにより、前記射出瞳の位置を制御する射出瞳制御手段と
   を含み、
   前記画像光形成部は、前記光学素子の制御に起因する、観察者によって認識される画像の幾何学的特性の変化が打ち消されるように、前記光学素子の制御量またはその制御量に関連する物理量に基づき、前記画像光形成部が前記光源部からの出射光を前記画像光に変換する変換特性を補正する変換特性補正手段を含む画像表示装置。
2. 前記幾何学的特性は、観察者によって実際に認識される画像の位置を含む請求項１に記載の画像表示装置。
3. 前記幾何学的特性は、観察者によって実際に認識される画像のスケールを含む請求項１または２に記載の画像表示装置。
4. 前記光学素子は、前記画像光形成部から入射した画像光に対して回折を行うとともに、回折光の角度が電気的に可変である電気的制御素子を含む請求項１ないし３のいずれかに記載の画像表示装置。
5. 前記電気的制御素子は、液晶光学デバイスを含み、
   その液晶光学デバイスは、各々ストライプ状を成す複数の電極と、それら複数の電極が形成された表面を有する液晶層とを含むように構成されるとともに、前記複数の電極にそれぞれ一斉に印加される複数の電圧値の分布パターンに応じて、当該液晶光学デバイスから出射する回折光の角度が変化する特性を有している請求項４に記載の画像表示装置。
6. 前記光学素子は、電気光学効果偏向器ＥＯＤと、音響光学偏向器ＡＯＤとのうちの少なくとも一方を含む請求項１ないし３のいずれかに記載の画像表示装置。
7. 当該画像表示装置は、前記画像光の経路の途中に中間像面を有し、
   前記光学素子は、その中間像面の位置と概して等しい位置に配置された請求項１ないし６のいずれかに記載の画像表示装置。
8. 当該画像表示装置は、前記画像光の経路の途中に中間像面を有し、
   前記光学素子は、その中間像面の位置から外れた位置に配置された請求項１ないし６のいずれかに記載の画像表示装置。
9. 前記画像光形成部は、画像信号に基づき、前記光源部から入射した面状の光に対して各画素ごとに空間変調を施すことにより、前記画像光を形成するフラットパネルディスプレイを含み、
   そのフラットパネルディスプレイは、前記画像信号に応じて、前記光源部からの出射光を前記画像光に変換し、
   前記変換特性は、前記画像信号に依存しており、
   前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像信号を補正する請求項１ないし８のいずれかに記載の画像表示装置。
10. 前記フラットパネルディスプレイは、液晶ディスプレイと、有機エレクトロルミネッセンスと、デジタルマイクロミラーデバイスとのうちの少なくとも一つを含む請求項９に記載の画像表示装置。
11. 前記光学素子は、入射光に対する角度が可変である偏向ミラーを含み、
    前記射出瞳制御手段は、その偏向ミラーの、入射光に対する角度を変化させることにより、観察者の瞳孔位置の変化に追従するように、前記射出瞳の位置を制御し、
    前記変換特性補正手段は、前記偏向ミラーの、入射光に対する角度またはその角度に関連する物理量に基づいて前記変換特性を補正する請求項１に記載の画像表示装置。
12. 前記光源部は、画像信号に基づき、観察者に表示すべき画像の各画素ごとに輝度を実現するビーム状の光を発生させ、
    前記画像光形成部は、前記光源部から入射したビーム状の光を、少なくとも１枚の揺動ミラーを用いて、２次元的にスキャンすることにより、前記画像光を形成する光スキャナを含み、
    前記変換特性は、前記画像信号に依存しており、
    前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像信号を補正する請求項１ないし８のいずれかに記載の画像表示装置。
13. 前記画像光形成部は、前記光源部から入射したビーム状の光を、少なくとも１枚の揺動ミラーを用いて、２次元的にスキャンすることにより、前記画像光を形成する光スキャナを含み、
    前記変換特性は、前記揺動ミラーの最大揺動角に依存しており、
    前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記揺動ミラーの最大揺動角を補正する請求項１ないし８のいずれかに記載の画像表示装置。
14. さらに、前記瞳孔の位置を検出する瞳孔位置検出部を含み、
    前記射出瞳制御手段は、その瞳孔位置検出部からの出力信号に基づき、観察者の瞳孔の動きに追従するように前記射出瞳を移動させるために、前記光学素子を制御する請求項１ないし１３のいずれかに記載の画像表示装置。
15. 前記射出瞳制御手段は、ユーザからの指令を表す入力信号に応じて、前記光学素子を制御することにより、前記射出瞳の位置を、前記入力信号に応じた位置に移動するように制御する請求項１ないし１３のいずれかに記載の画像表示装置。
16. 前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像の、前記回折の方向における平行移動量を決定する請求項４に記載の画像表示装置。
17. 前記変換特性補正手段は、前記光学素子の制御量またはそれに関連する物理量に基づき、前記画像の、前記揺動ミラーの揺動方向における拡大・縮小率を決定する請求項１３に記載の画像表示装置。
18. 前記変換特性補正手段は、前記射出瞳の移動量に応じて、前記画像の位置の補正量を決定する請求項２に記載の画像表示装置。
19. 前記変換特性補正手段は、前記射出瞳の移動量に応じて、前記画像のスケールの補正量を決定する請求項３に記載の画像表示装置。

Images