JP6128113B2 - 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム - Google Patents

Description

本明細書で開示する技術は、ユーザーの頭部に装着して画像の視聴に供される表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムに関する。

頭部に装着して画像を視聴する表示装置、すなわちヘッド・マウント・ディスプレイ（ＨＭＤ）が広く知られている。ヘッド・マウント・ディスプレイは、左右の眼毎に光学ユニットを持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う画像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば３Ｄ画像を提示することができる。

ヘッド・マウント・ディスプレイの左右の眼の表示部には、例えば液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子などからなる高解像度の画像表示素子を用いることができる。また、接眼光学系で画像表示素子を拡大投影して広画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができるであろう。

光学レンズには歪みがあることが知られている。例えば、ヘッド・マウント・ディスプレイで画角を大きくとると、接眼光学系で用いられるレンズの歪みに起因して、観察される画像に複雑や歪曲や色ずれが発生して、品質を劣化することが懸念される。

また、広画角を確保するために接眼光学系を構成するレンズの枚数を増やすと、ヘッド・マウント・ディスプレイの重量が増すため、これを装着するユーザーの負担が大きくなる。ここで、重量削減のためにレンズの枚数を少なくすると、各レンズで発生する歪みが大きくなるとともに、歪みを補正するレンズ系がなくなってしまう。その結果として、画角を大きくとることが困難になる。

接眼光学系で発生する歪みを信号処理によって補正する方法が知られている。例えば、光学系で発生する倍率の色収差をあらかじめ打ち消し合うように、画像表示素子上に表示する画像の大きさを波長毎に変えておくことによって、観察像としては、倍率の色収差があたかもないように観察することができるようにする表示装置について提案がなされている（例えば、特許文献１を参照のこと）。

この表示装置は、正レンズ系では、波長の長い光線ほど屈折率が弱く、波長が短い光線は屈折力が強いために、波長の長い赤色の像は小さく、波長の短い青色の像は大きく観察される、という現象を補償するものである。要するに、この表示装置は、色毎に大きさの違う画像を、倍率の色収差がある光学系を通すことによって、各色の光束を、接眼光学系の場合は眼球に入射する位置で、投影光学系の場合はスクリーン等に入射する位置で略一致させることによって、観察像としては倍率の色収差があたかもないように観察できるようにしたものである。

しかしながら、接眼光学系を通過した際に画像に発生する歪みは、波長に応じた屈折力の相違に起因する単純なものとは限らない。単に表示する画像の大きさ（表示比率）を波長毎に変える（波長の長い色を波長の短い色よりも小さく表示する）だけでは、レンズ歪みなどの複雑な現象に起因する画像の歪みを除去することはできない。

また、接眼光学系で発生する歪みを補正する他の信号処理方法として、アドレス変換が挙げられる。すなわち、理想的な光学系で得られる結像位置と実際の収差の影響を受けた結像位置との対応関係に基づいて、歪んだ画像を理想的な画像位置へと移動する。ここで、画像サイズが大きい場合や、高い変換精度が求められる場合には、変換後の座標との対応関係を格納した補正テーブルのサイズが肥大化してしまうという問題がある。例えば、画像に対して光学系の歪みが点対称（光軸に対して回転対称）であるという特性を利用して、画像全体の補正データではなく、画像の１／２や１／４の領域の補正データを対称領域に対しても使用する方法が提案されている（例えば、特許文献２、３を参照のこと）。しかしながら、表示画像の歪みが光軸に対して回転対称であることが補正テーブルのサイズを削減する前提となる。言い換えれば、光軸に対して回転対称でない歪みには適用できない。

また、接眼光学系を有する画像表示装置と、接眼光学系により画像に生ずる光学歪みに対する逆の歪みを含む画像信号を画像表示装置に出力する制御装置とを有し、制御装置側では設計値などから算出された代表的な補正データである基準データを記憶し、画像表示装置側で光学系の個体差に対応する補正データとしての差分データを記憶し、制御装置側では基準データと差分データを用いて逆の歪みを含む画像信号を生成する、画像表示システムについて提案がなされている（例えば、特許文献４を参照のこと）。この画像表示システムによれば、制御装置と画像表示装置それぞれで記憶する補正データの量が削減するとともに、制御装置が画像表示装置から補正データを読み込む時間を短縮することができる。しかしながら、画像全体の補正データを保持することに変わりはない。

特許３２１２７６２号公報 特開平５−１７６２１６号公報 特開平８−２０５１８１号公報 特開２００８−２５８８０２号公報

本明細書で開示する技術の目的は、ユーザーの頭部に装着して画像の視聴に供され、接眼光学系を用いて拡大投影して広画角で鮮明な画像を表示することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。

本明細書で開示する技術のさらなる目的は、接眼光学系に含まれるレンズ歪みの影響を画像補正により除去して、広画角で鮮明な画像を表示することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
表示面上に配列された複数の画素で画像を表示する画像表示部と、
前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部と、
前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部と、
を具備する表示装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の表示装置の画像補正部は、前記代表画素の位置で前記接眼光学部により発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部を備えている。

本願の請求項３に記載の技術によれば、請求項２に記載の表示装置は、前記画像表示部における表示画像が前記接眼光学部を通過した際の光線を追跡する光学シミュレーターと、前記光学シミュレーターにより得られた光線追跡データに基づいて、前記代表画素の位置における変位ベクトルを生成するベクトル生成部をさらに備えている。

本願の請求項４に記載の技術によれば、請求項２に記載の表示装置は、前記代表画素を発光させたときの前記接眼光学部が投影する虚像を実写して前記代表画素の位置における変位ベクトルを生成するベクトル生成部をさらに備えている。

本願の請求項５に記載の技術によれば、請求項１に記載の表示装置は、前記画像表示部が表示画像のアスペクト比よりも縦長の前記表示面を持ち、前記接眼光学部がおおむね糸巻き型の歪みを持ち、前記画像補正部が水平端での画角が変化しないように表示画像を補正するように構成されている。

本願の請求項６に記載の技術によれば、請求項２に記載の表示装置の画素補正部は、垂直方向の画素補正と水平方向の画素補正を分離して各方向の画素補正処理を直列に行なうように構成されている。

本願の請求項７に記載の技術によれば、請求項２に記載の表示装置の画素補正部は、垂直ライン毎に同じライン内で画素を移動させて垂直方向の補正を行なった後、続いて水平ライン毎に同じライン内で画素を移動させて水平方向の補正を行なうように構成されている。

本願の請求項８に記載の技術によれば、請求項７に記載の表示装置の画素補正部は、水平方向の変位ベクトルを、垂直方向の変位ベクトル分だけ移動させた位置で求めるように構成されている。

本願の請求項９に記載の技術によれば、請求項２に記載の表示装置は、表示画像の位置を低周波でシフトさせる変調部をさらに備えている。そして、前記画像補正部は、前記変調部による変調処理後の表示画像に対して、画素位置と変位ベクトルの対応関係をシフトさせながら補正を行ない、前記画像表示部は、焼き付き防止のために表示位置をシフトさせる機能を備え、前記画像補正部のシフトと前記画像表示部のシフトを連動させるように構成されている。

本願の請求項１０に記載の技術によれば、請求項１に記載の表示装置は、前記画像表示部の表示面の画素数に合わせて表示画像をスケーリングするスケーリング部をさらに備えている。そして、前記画像補正部は、ライン・メモリー上で表示画像の補正を行ない、前記画像表示部は、前記ライン・メモリーのサイズを最小にするタイミングで駆動するように構成されている。

また、本願の請求項１１に記載の技術は、
複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、
代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、
前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、
を具備する画像処理装置である。

また、本願の請求項１２に記載の技術は、
複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持ステップと、
代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間ステップと、
前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正ステップと、
を有する画像処理方法である。

また、本願の請求項１３に記載の技術は、
表示面上に配列された複数の画素で画像を表示する画像表示部、
前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部、
前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項１３に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１３に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る表示装置と同様の作用効果を得ることができる。

本明細書で開示する技術によれば、ユーザーの頭部に装着して画像の視聴に供され、接眼光学系を用いて拡大投影して広画角で鮮明な画像を表示することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。

また、本明細書で開示する技術によれば、接眼光学系等により表示画像に発生する歪みを、より少ない補正データに基づいて補正して、広画角で鮮明な画像を表示することができる、優れた表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示した図である。 図２は、ヘッド・マウント・ディスプレイにおいて、接眼光学系の投影像に発生する歪みを信号処理によって補正する機能ブロック図である。 図３は、接眼光学系によって提示画像に生じる糸巻き型歪みを例示した図である。 図４は、提示画像を樽型に歪曲させる信号処理例を示した図である。 図５は、接眼光学系によって提示画像に生じる樽型歪みを例示した図である。 図６は、提示画像を糸巻き型に歪曲させる信号処理例を示した図である。 図７は、画像補正部２０２による補正モデルを模式的に示した図である。 図８は、ヘッド・マウント・ディスプレイにおいて提示画像を補正する処理手順を説明するための図である。 図９Ａは、変位ベクトルを生成する方法を説明するための図である。 図９Ｂは、変位ベクトルを生成する方法を説明するための図である。 図１０は、画像補正部２０２の構成例を示した図である。 図１１は、表示部２０３の表示画面上を覆う粗い格子の格子点毎に変位ベクトルが得られた様子を示した図である。 図１２は、補間の対象となる画素の変位ベクトルを４近傍からバイリニア補間により求める様子を示した図である。 図１３は、変位ベクトルに基づいて画素データを補正する様子を示した図である。 図１４は、変位ベクトルの生成を含めた、ヘッド・マウント・ディスプレイの全体像を模式的に示した図である。 図１５は、表示スケールを決定するための方法を説明するための図である。 図１６Ａは、糸巻き型歪みが発生するように接眼光学系２０４をレンズ設計した場合の虚像を示した図である。 図１６Ｂは、図１６Ａに示した糸巻き型歪みの表示画像に対して補正を行なった結果を示した図である。 図１７は、垂直方向フィルターを用いて垂直ライン毎に同じライン内で画素を移動させて垂直方向の補正を行なう様子を示した図である。 図１８は、水平方向フィルターを用いて水平ライン毎に同じライン内で画素を移動させて水平方向の補正を行なう様子を示した図である。 図１９は、垂直及び水平方向のＦＩＲフィルターを組み合わせて画素補間処理を行なう画素補間部１００３の構成例を示した図である。 図２０は、各格子点の変位ベクトルに基づいて画素値を補間する仕組みを説明するための図である。 図２１は画素補間部１００３で垂直方向と水平方向に分離して補間処理を行なう際に使用する１次元フィルターの構成例を示した図である。 図２２は、画素補間部１００３において、垂直方向と水平方向それぞれ独立して行なう１次元の補間処理を説明するための図である。 図２３は、垂直方向と水平方向に分離して補間処理を行なう際の、垂直方向の変位ベクトルと水平方向の変位ベクトルを取得する方法を示した図である。 図２４は垂直方向と水平方向に分離して補間処理を行なう際の、垂直方向の変位ベクトルを事前に補正する方法を示した図である。 図２５は、焼き付き防止の原理図を示した図である。 図２６は、図２５に示した原理を適用した、焼き付き防止のための構成例を示した図である。 図２７は、図２６と等価な実装例を示した図である。 図２８は、接眼光学系２０４の投影像に発生する歪みを信号処理によって補正する機能ブロック図である。 図２９は、画像補正部２０２が装備すべきライン・メモリー１９０２の容量の見積もりを説明するための図である。 図３０は、画像補正部２０２が装備すべきライン・メモリー１９０２の容量の見積もりを説明するための図である。 図３１は、画像補正部２０２が装備すべきライン・メモリー１９０２の容量の見積もりを説明するための図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示している。図示のシステムは、視聴コンテンツのソースとなるブルーレイ・ディスク再生装置２０と、ブルーレイ・ディスク再生装置２０から出力されるＡＶ信号の処理を行なうフロント・エンド・ボックス４０と、ブルーレイ・ディスク再生装置２０の再生コンテンツの出力先となる頭部装着型の表示装置（ヘッド・マウント・ユニット）１０と、ブルーレイ・ディスク再生装置２０の再生コンテンツの他の出力先となるハイビジョン・ディスプレイ（例えば、ＨＤＭＩ対応テレビ）３０で構成される。ヘッド・マウント・ユニット１０とフロント・エンド・ボックス４０で、１つのヘッド・マウント・ディスプレイが構成される。

フロント・エンド・ボックス４０は、ブルーレイ・ディスク再生装置２０から出力されるＡＶ信号をＨＤＭＩ入力すると、例えば信号処理して、ＨＤＭＩ出力するＨＤＭＩリピーターに相当する。また、フロント・エンド・ボックス４０は、ブルーレイ・ディスク再生装置２０の出力先をヘッド・マウント・ユニット１０又はハイビジョン・ディスプレイ３０のいずれかに切り替える２出力スイッチャーでもある。図示の例では、フロント・エンド・ボックス４０は２出力であるが、３以上の出力を有していてもよい。但し、フロント・エンド・ボックス４０は、ＡＶ信号の出力先を排他的とし、且つ、ヘッド・マウント・ユニット１０への出力を最優先とする。

なお、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）は、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を基にし、物理層にＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ Ｍｉｎｉｍｉｚｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）を用いた、主に音声と映像の伝送を用途としたディジタル家電向けのインターフェース規格である。本システムは、例えばＨＤＭＩ１．４に準拠する。

ブルーレイ・ディスク再生装置２０とフロント・エンド・ボックス４０間、並びに、フロント・エンド・ボックス４０とハイビジョン・ディスプレイ３０間は、それぞれＨＤＭＩケーブルで接続されている。フロント・エンド・ボックス４０とヘッド・マウント・ユニット１０間も、ＨＤＭＩケーブルで接続するように構成することも可能であるが、その他の仕様のケーブルを用いてＡＶ信号をシリアル転送するようにしてもよい。但し、フロント・エンド・ボックス４０とヘッド・マウント・ユニット１０間を接続するケーブル１本で、ＡＶ信号と電力を供給するものとし、ヘッド・マウント・ユニット１０はこのケーブルを介して駆動電力も得ることができる。

ヘッド・マウント・ユニット１０は、左眼用及び右眼用の独立した表示部を備えている。各表示部は、例えば有機ＥＬ素子を用いている。また、左右の各表示部は、低歪みで且つ高解像度の広視野角の接眼光学系を装備している。接眼光学系で画像表示素子を拡大投影して広画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる。

ここで、接眼光学系で用いられるレンズの歪みに起因して、観察画像に歪みが生じることが懸念される。観察画像の典型例として、図３に示すように画面の４隅が外側に歪む「糸巻き型歪み」や、図５に示すように画面の４隅が膨らむ「樽型歪み」を挙げることができる。

糸巻き型歪みの場合、図３に示すように、画角はｂ´／ｂになる。下式（１）に示すように、Ｄ_b＞０であることから、画角は広くなる。

一方、樽型歪みの場合、図５に示すように、画角はａ´／ａになる。下式（２）に示すように、Ｄ_a＜０であることから、画角は狭くなる。

図３や図５に示したような観察画像の歪みを光学系で補正することが可能である。但し、この方法によると、歪み補正用のレンズが追加されるため、ヘッド・マウント・ユニット１０の重量が増し、装着するユーザーへの負担が懸念される。そこで、本実施形態では、接眼光学系で発生する歪みを信号処理によって補正する方法を採用する。

ここで言う信号処理とは、接眼光学系の投影像に発生する歪みとは逆方向の歪みを提示画像に与える処理に相当する。図２には、ヘッド・マウント・ディスプレイにおいて、接眼光学系の投影像に発生する歪みを信号処理によって補正する機能ブロック図を示している。ＨＤＭＩ受信部２０１は、ブルーレイ・ディスク再生装置２０のような画像ソースから提示画像を入力する。画像補正部２０２は、接眼光学系２０４によって発生する歪みとは逆方向となる歪みを提示画像に与える。表示部２０３は、有機ＥＬ素子などからなり、画像補正部２０２で逆方向の歪みで補正された後の提示画像を画面上に表示する。画面上の表示画像は、接眼光学系２０４を介して観察者の目の網膜に投影される。表示画像の光が接眼光学系２０４を通過する際に歪みが生じるが、表示画像にはこの歪みとは逆方向の歪みが与えられているので、網膜上には、歪みを含まない正常な虚像が結像される。

なお、画像補正部２０２は、ヘッド・マウント・ユニット１０又はフロント・エンド・ボックス４０のいずれに配設してもよい。ヘッド・マウント・ユニット１０内の接眼光学系２０４が持つ歪みパラメーターに基づく画像歪みを補正することを考慮すると、画像補正部２０２をヘッド・マウント・ユニット１０内に配設すれば、フロント・エンド・ボックス４０側では、どのヘッド・マウント・ユニット１０に出力するかを意識せずに画像信号を出力することができる。

例えば、図３に示したような糸巻き型の歪みが接眼光学系で発生する場合には、画像補正部２０２は、糸巻き型とは逆方向の歪みを与える信号処理を行なう、すなわち、画像補正部２０２は、図４に示すように、提示画像を視野中央では拡大し、端へ行くほど縮小して、樽型に歪曲させて表示することによって、接眼光学系の投影像から糸巻き型歪みを取り除くことができる。視野中央では、ｂ´／ｂ倍（上式（１）を参照のこと）に拡大する。また、図４において、表示画面上の点ｒ₂に表示する画素は、補正後視野の点ｒ₃から持ってくる（下式（３）を参照のこと）。また、補正後視野の点ｒ₃は、視野の拡大により元画像上の点ｒ₁に対応する（下式（４）を参照のこと）。また、表示画面上の点ｒ₂に表示する画素は、元画像上の点ｒ₁から持ってくる（下式（５）を参照のこと）。但し、視野の拡大により点ｒ₂での歪曲率をＤ_rとおく。

また、図５に示したような樽型の歪みが接眼光学系で発生する場合には、画像補正部２０２は、樽型とは逆の歪みを与える信号処理を行なう、すなわち、画像補正部２０２は、図６に示すように、元画像の４隅を不動点にしながら、視野中央に行くほど縮小して、提示画像を糸巻き型に歪曲させて表示することによって、接眼光学系の投影像から樽型歪みを取り除くことができる。視野中央では、ａ´／ａ倍（上式（２）を参照のこと）に縮小する。また、図６において、表示画面上の点ｒ₂に表示する画素は、補正後視野の点ｒ₃から持ってくる（下式（６）を参照のこと）。また、補正後視野の点ｒ₃は、視野の拡大により元画像上の点ｒ₁に対応する（下式（７）を参照のこと）。また、表示画面上の点ｒ₂に表示する画素は、元画像上の点ｒ₁から持ってくる（下式（８）を参照のこと）。但し、視野の拡大により点ｒ₂での歪曲率をＤ_rである。

図７には、画像補正部２０２による補正モデルを模式的に示している。以下では、ＨＤＭＩ受信部２０１に入力される提示画像の入力信号座標をｐ’（ｘ’，ｙ’）、表示部２０３の画面上の表示画像の表示画素座標をｐ（ｘ，ｙ）とする。また、表示部２０３の画面上でレンズを基準とした物理座標をＰ（Ｘ，Ｙ）とし、表示部２０３の画面を接眼光学系２０４で投影した虚像面上でのレンズを基準とした物理座標をＰ’（Ｘ’，Ｙ’）とする。

表示部２０３の画面上の表示画像の表示画素座標ｐ（ｘ，ｙ）と、表示部２０３の画面上で接眼光学系２０４のレンズを基準とした物理座標Ｐ（Ｘ，Ｙ）と間には、画素ピッチの相違と、表示部２０２をヘッド・マウント・ユニット１０内の該当部位に固定する際の画面の位置ずれが存在する。また、表示部２０３の画面上の物理座標Ｐ（Ｘ，Ｙ）と、これに対応する虚像面上の物理画像Ｐ’（Ｘ’，Ｙ’）との間には、接眼光学系２０４で発生した歪曲が含まれている。

図８には、本実施形態に係るヘッド・マウント・ディスプレイにおいて提示画像を補正する処理手順を図解している。

ＨＤＭＩ受信部２０１は、例えば１０２４×５７６画素サイズの提示画像が、ブルーレイ・ディスク再生装置２０などの画像ソースから入力される。

提示画像の各画素が、接眼光学系２０４を通過することによって歪みが生じる。画像補正部２０２は、逆方向の歪みを提示画像の各画素に与えることによって、Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ（ＭＣ）、すなわち、歪みによって生じる各画素の変位を補償して、事前逆歪みをかけた表示画像を生成する。画素に与える逆方向の歪みのことを、以下では、変位ベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ：ＭＶ）と呼ぶ。変位ベクトルは、提示画像上の画素位置を終点とし、この終点に対応する表示画像上の画素位置を始点とする。

事前逆歪みがかけられた表示画像は、１０２４×５７６＋α画素サイズとする。そして、画像補正部２０２は、表示部２０３の画面の画素ピッチを考慮して、１０２４×５７６＋α画素サイズの表示画像をサイズ変換して画面上に表示される。この表示画像は、接眼光学系２０４によって虚像面上に結像される。表示部２０３で画面表示される表示画像には事前逆歪みがかけられているので、虚像は、元の提示画像と同様に無歪みの画像となる。

表示部２０３の画面上の表示光が接眼光学系２０４を通過して虚像面に到達するまでの光線を追跡することで、上述した変位ベクトルＭＶを求めることができる。

また、提示画像と虚像は相似形である。相似係数すなわち、虚像面の画素ピッチを求めると、変位ベクトルを求めることができる。

画像は、ＲＧＢなど複数の色信号成分からなる。画像補正部２０２は、提示画像の色成分で分割して、上記の事前逆歪みの処理を色成分毎に行なうことで、接眼光学系２０４を通過する際に生じる歪みと色収差を同時に補正することができる。

変位ベクトルを生成する方法について、図９を参照しながら説明する。

図９Ａに示すように、表示部２０３の画面の表示面における画像座標をｐ（ｘ，ｙ）とし（単位：画素）、表示部２０３の画面上における物理座標をＰ（Ｘ，Ｙ）とする（単位：ミリメートル）。ここで、表示画像上の光軸の位置をｐ_a（ｘ_a，ｙ_a）とおくと、画像座標上の位置ｐ（ｘ，ｙ）に対する画面上での物理座標の位置Ｐ（Ｘ，Ｙ）は、下式（９）のように表わされる。但し、ｄ_pは、表示部２０３の画面の画素ピッチ（ミリメートル／画素）とする。

一方、図９Ｂに示すように、表示部２０３の画面を接眼光学系で投影した虚像の入力信号面上における画像座標をｐ´（ｘ´，ｙ´）とし（単位：画素）、その虚像面上における物理座標をＰ´（Ｘ´，Ｙ´）とする（単位：ミリメートル）。ここで、入力画像上の光軸の位置をｐ´_a（ｘ´_a，ｙ´_a）とおくと、入力画像上の座標位置ｐ´（ｘ´，ｙ´）に対する画面上での物理座標の位置Ｐ´（Ｘ´，Ｙ´）は、下式（１０）のように表わされる。但し、ｄ_vは、虚像上の画素ピッチ（ミリメートル／画素）とする。

ここで、表示部２０３の画面上における物理座標Ｐ（Ｘ，Ｙ）が、接眼光学系２０４によって発生する歪みｆによって、虚像面上における物理座標Ｐ´（Ｘ´，Ｙ´）に変位することを、下式（１１）のように表わす。但し、ｆは色収差も含むものとする。

この歪みｆを用いて、入力画像上の座標位置ｐ´（ｘ´，ｙ´）を、表示面上で対応する画像座標位置ｐ（ｘ，ｙ）と、表示画像上の光軸の位置をｐ_a（ｘ_a，ｙ_a）、入力画像上の光軸の位置をｐ´_a（ｘ´_a，ｙ´_a）を用いて、下式（１２）のように表わすことができる。ここで、ｐは変数、ｐ_a、ｐ´_aは設計値などの定数である。

したがって、表示面における任意の画像座標位置ｐ（ｘ，ｙ）において、歪みｆの逆方向の歪みを与える変位ベクトルＭＶ_(x,y)を得ることができる。

接眼光学系２０４によって発生する歪みｆを求める方法として、接眼光学系２０４を構成するレンズの設計に用いる光学シミュレーターで計算する方法や、出来上がった実物の接眼光学系２０４を使って実測する方法が挙げられる。後者の方法では、表示部２０３の表示画面上の特定の画素Ｐ（Ｘ，Ｙ）を発光させて、カメラでその虚像を撮影（すなわち、接眼光学系２０４越しに画面を撮影して）して、輝点Ｐ´（Ｘ´，Ｙ´）の位置を求める。

上記のいずれかの方法により、表示部２０３の画面上のすべての画素位置ｐ（ｘ，ｙ）において変位ベクトルＭＶ_(x,y)を得ることができる。そして、各画素位置ｐ（ｘ，ｙ）の変位ベクトルＭＶ_(x,y)をテーブル化して保持しておけば、画像補正部２０２は、画素位置ｐ（ｘ，ｙ）毎にテーブルを参照し、変位ベクトルＭＶ_(x,y)を得て、表示画像に逆方向の歪みを与えることができる。

しかしながら、表示部２０３の画面上のすべての画素位置ｐ（ｘ，ｙ）において変位ベクトルＭＶ_(x,y)を保持すると、画像サイズの大きさに伴ってテーブルが肥大化してしまう。

画像に対して光学系の歪みが点対称（光軸に対して回転対称）であるという特性を利用して、画像の１／２や１／４の領域の補正データを対称領域に対しても使用することにより、テーブルのサイズを削減する方法が既に知られている（前述）。しかしながら、このような削減方法では、接眼光学系２０４の点対称でない歪みに対して高い精度で画像補正できなくなってしまう。また、虚像面上に現れる歪みは、接眼光学系２０４のレンズの歪みが原因とは限らない。例えば、表示部２０２をヘッド・マウント・ユニット１０内の該当部位に固定する際の画面の位置ずれに起因する画像の歪みは、光軸に対して回転対称とはならない。

そこで、本実施形態では、虚像面に発生する歪みが光軸に対して回転対称になるという前提には立たないで、テーブルのサイズの削減を実現する。具体的には、表示部２０３の表示面上に離散的に代表画素を設定し、代表画素の位置においてのみ得た変位ベクトルを保持しておく。そして、代表画素以外の画素位置では、周辺の１以上の代表画素の変位ベクトルで補間することにより、すべての画素位置での変位ベクトルを得るようにしている。

図１０には、代表画素毎の変位ベクトルを用いて表示画像に逆歪みを与える画像補正部２０２の構成例を示している。

変位ベクトル保持部１００１は、表示部２０３の表示面上に離散的に設定された各代表画素の位置で得た変位ベクトルを保持する。代表画素の典型例は、表示部２０３の表示画面を粗い格子で覆ったときの各格子点である。そして、表示画面上（すなわち、接眼光学系２０４の入射側）の各格子点に対応する、入力信号面上（すなわち、接眼光学系の虚像側）の位置を、変位ベクトルのデータとしてテーブルに保持する。図１１には、表示部２０３の表示画面上を覆う粗い格子の格子点毎に変位ベクトルが得られた様子を示している。

ベクトル補間部１００２は、代表画素以外の画素位置で、周辺の１以上の代表画素の変位ベクトルで補間して、変位ベクトルを算出する。例えば、図１２に示すように、補間の対象となる画素の変位ベクトルを、４近傍、すなわち近隣の４つの格子点における変位ベクトルからバイリニア補間して算出する。あるいは、１６近傍の格子点からキュービック・スプライン補間により、代表画素以外の画素の変位ベクトルを補間するようにしてもよい。

そして、画素補正部１００３は、各画素について、変位ベクトル保持部１００１に保持された変位ベクトル、又は、ベクトル補間部１００２により補間された変位ベクトルに基づいて、接眼光学系２０４で発生する歪みとは逆方向の歪みを与える。図１３には、画素補正部１００３で、変位ベクトルに基づいて画素データを補正する様子を示している。図示のように、表示部２０３の表示画面上で、変位ベクトルの始点に位置に表示する画素データを、信号面上の変位ベクトルの終点の位置から持ってくる。その際、参照先すなわち変位ベクトルの終点の位置が画素と画素の間に位置するときには、近傍の画素値の重み付け和で補間する。

図１４には、変位ベクトルの生成を含めた、ヘッド・マウント・ディスプレイの全体像を模式的に示している。

接眼光学系２０４を構成するレンズの設計データは、レンズ設計の光学シミュレーター１４０１による幾度のシミュレーション結果に基づいて求めることができる。そして、得られた設計データに基づいてレンズを製造することで、接眼光学系２０４を構成するレンズが製作される。

また、接眼光学系２０４によって発生する歪みｆを光学シミュレーター１４０１で計算することができる（前述）。具体的には、表示部２０３の表示画面上の特定の画素Ｐ（Ｘ，Ｙ）に対応する虚像上の画素輝点Ｐ´（Ｘ´，Ｙ´）の位置を、光学シミュレーター１４０１による光線追跡により求める。そして、ベクトル生成部１４０２は、このような光線追跡データに基づいて、表示部２０３の表示画面を粗い格子で覆ったときの各格子点における変位ベクトルを生成する。

ベクトル生成部１４０２が生成した変位ベクトルは、変位ベクトル保持部１００１に格納される。そして、ベクトル補間部１００２は、代表画素以外の画素位置で、周辺の１以上の代表画素の変位ベクトルで補間して、変位ベクトルを算出する。画素補正部１００３は、各画素について、変位ベクトル保持部１００１に保持された変位ベクトル、又は、ベクトル補間部１００２により補間された変位ベクトルに基づいて、接眼光学系２０４で発生する歪みとは逆方向の歪みを与える。

画像補正部２０２で逆方向の歪みで補正された後の提示画像を画面上に表示する。画面上の表示画像は、接眼光学系を介して観察者の目の網膜に投影される。表示画像の光が接眼光学系を通過する際に歪みが生じるが、表示画像にはこの歪みとは逆方向の歪みが与えられているので、網膜上には、歪みを含まない正常な虚像が結像される。

画像補正のための変位ベクトルを生成するには、入力画像を虚像面に提示する大きさ（スケール）を決定する必要がある。表示スケールは、例えば、虚像面での画素ピッチとして表すことができる。

表示スケールは、入力画像が許容される範囲でできる限り最大であることが好ましい。図６に示した例では、入力画像が許容される範囲を点線で示している。所望のアスペクト比の長方形で、この許容される範囲を表す円に内接する最大のものを表示スケールとする。ＲＧＢの各色に分けて、最も狭いものに合わせる。表示部２０３の表示画面の画素範囲は、提示画像と同じアスペクト比の場合と、提示画像より縦長の場合がある。また、表示部２０３が表示画面の焼き付き防止機能（オービット処理）を有する場合、画素範囲よりもＩ／Ｆ有効範囲が狭いことがある。

表示スケールを決定する方法について、図１５を参照しながら説明する。まず、表示画面の画素によるスケール制限について説明する。下式（１４）に示すように入力画像の画枠上の画素ｐ_b´を表示画像上の対応する点ｐ_bに移動させる場合に、下式（１５）に示す条件が成り立つような、最大のｄ_vを求める。

続いて、イメージ・サークルによるスケール制限について説明する。下式（１６）に示すように入力画像の画枠上の画素ｐ_b´を表示画面上の対応する点Ｐ_bに移動させる場合に、下式（１７）に示す条件が成り立つような、最大のｄ_vを求める。但し、Ｒ_imは、光学系のイメージ・サークルの半径とする。

また、アスペクト比が４：３の表示画面にアスペクト比が１６：９の画像を表示するとき、表示画面の上下に画素が余ってしまうが、画像補正部２０２が補正する際に視野をロスしないようにすることが好ましい。

レンズ設計では、水平端で画角を測るようにする。補正では原理的に表示範囲を狭めることしかできない。水平端を補正の不動点にすれば、レンズ設計時の画角が保たれる。そこで、表示部２０３の画面を提示する画像のアスペクト比よりも縦長にするとともに、接眼光学系２０４がおおむね糸巻き型に歪ませるようにレンズ設計を行なう。そして、水平端が接するように（水平端での画角が画像補正によって変化しないように）、提示範囲を決めるようにする。

図１６Ａには、糸巻き型歪みが発生するように接眼光学系２０４をレンズ設計した場合の虚像を示している。糸巻き型に歪んだアスペクト比１６：９の画像をアスペクト比４：３の画面に表示する際、水平方向を合わせると、図示の通り、縦方向にはみ出す。

図１６Ｂには、図１６Ａに示した糸巻き型歪みの表示画像に対して樽型に歪曲させる補正を行なった結果を示している。上述したように、水平端を補正の不動点にする。画面の端に行くほど、画像は縮小表示される。縦方向にはみ出す箇所は発生するが、画面のアスペクト比が４：３なので問題はない。

画素補正部１００３では、画素補正を、垂直方向と水平方向の処理を分離して、各方向の処理を直列して行なう。すなわち、画素毎の変位ベクトルを計算しながら、垂直方向→水平方向の順で補正を行なう。

画素補正部１００３は、図１７に示すように、まず垂直ライン毎に同じライン内で画素を移動させて垂直方向の補正を行なう。その後、画素補正部１００３は、図１８に示すように、続いて水平ライン毎に同じライン内で画素を移動させて水平方向の補正を行なう。このように垂直方向と水平方向の処理を分離すると、各方向の処理をそれぞれ１次元のフィルターを用いて実現することができ、フィルターの積和回数を削減できるという利点がある。例えば、垂直方向フィルターのタップ数をＫ、水平方向フィルターのタップ数をＬとすると、積和回数は（Ｋ＋Ｌ）×Ｍ×Ｎとなる（但し、Ｍは垂直方向の画素数、Ｎは水平方向の画素数）。これに対し、垂直、水平各方向のタップ数を同じとする２次元フィルターを用いると積和回数はＫ×Ｌ×Ｍ×Ｎと大きくなる。タップ数を大きくすると、垂直、水平方向の分離処理による積和回数削減の効果は大きくなる。

図１９には、垂直及び水平方向のＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルターを組み合わせて画素補間処理を行なう画素補間部１００３の構成例を示している。

ダブル・バッファー１９０１は、片方のバッファーに入力データを書き込みながら、満杯になったらもう片方のバッファーを圧縮し、水平方向１６画素単位で圧縮処理する。圧縮ライン・メモリー１９０２は、水平方向１６画素単位で圧縮されたデータをストアし、その単位でランダム・アクセスが可能である。

圧縮ライン・メモリー１９０２から読み出されたデータは、伸長処理された後、畳み込み処理を行なうために、展開メモリー窓１９０３に保持される。但し、次に処理するところを先読みして展開するものとする。垂直方向のＦＩＲフィルター１９０４は、この展開メモリー窓１９０３上を水平方向にスキャンする。各補間位置では、補間位相毎のタップ係数が係数テーブル１９０５から読み出され、ＦＩＲフィルター１９０４の各タップに設定される。

ＦＩＲフィルター１９０４の出力は、水平バッファー１９０６の該当する水平位置に書き込まれる。この水平バッファー１９０６は、水平補正量＋タップ長のサイズを持つ。

水平方向のＦＩＲフィルター１９０７は、水平バッファー１９０６上をスキャンする。各補間位置では、補間位相毎のタップ係数が係数テーブル１９０８から読み出され、ＦＩＲフィルター１９０７の各タップに設定される。ＦＩＲフィルター１９０７の出力は、表示部２０３の表示画面の該当する画素位置における画素値となる。

図２０には、各格子点の変位ベクトルに基づいて画素値を補間する仕組みを図解している。

変位ベクトル保持部１００１には、表示画面上の格子点ｐ１１、ｐ１２、ｐ２１、ｐ２２の変位ベクトルとして、各々に表示する入力位置Ｐ１１、Ｐ１２、Ｐ２１、Ｐ２２が記述されている。

ベクトル補間部１００２は、４隅の格子点ｐ１１、ｐ１２、ｐ２１、ｐ２２に囲まれた画素ｐ＝（ｘ，ｙ）の変位ベクトル、すなわち表示座標ｐ（ｘ，ｙ）に表示する入力位置Ｐ＝（Ｘ，Ｙ）を、下式（１８）に従って算出する。

画素補正部１００３は、変位ベクトルの終点の位置Ｐ＝（Ｘ，Ｙ）が画素と画素の間に位置するときには、近傍の画素値の重み付け和で補間する（図１３を参照のこと）。

図２１には、画素補間部１００３で垂直方向と水平方向に分離して補間処理を行なう際に使用する１次元フィルターの構成例を示している。同図では、水平方向で使用するＦＩＲフィルターを示しており、表示位置Ｘを挟んだ６画素をアドレス計算し、水平６タップのフィルターでＸを補間する。各補間位置を８位相に分割し、表示位置Ｘを８分の１単位で丸める。係数テーブルは、補間位相毎に８通りのフィルター係数を格納している。

図２２には、画素補間部１００３において、垂直方向と水平方向それぞれ独立して行なう１次元の補間処理を図解している。画素補間部１００３は、８相ポリフェーズ・フィルターによってオーバー・サンプリングする。そして、ローパス・フィルターでは８通りの係数を持って、８分の１画素単位の移動量を実現する。図１９に示した例では、垂直方向に４タップ、水平方向に６タップであるが、位相分割数やタップ数は一例に過ぎない。画質評価と回路規模に基づいて位相分割数やタップ数が決定される。理想的なローパス・フィルターはｓｉｎ窓であり、インパルス応答が無限に続く。有限タップ数で打ち切るため、ｓｉｎ窓をかけるが、Ｌａｎｃｚｏｓ窓であってもよい。

また、画素補間部１００３で垂直方向と水平方向に分離して補間処理を行なう場合、変位ベクトルから垂直及び水平の方向毎の移動量を求める必要がある。２次元で補間処理を行なう場合、変位ベクトルと逆向きに、画素の表示位置を求めればよい。これに対し、垂直方向と水平方向に分離して補間処理を行なう場合には、まず変位ベクトルの垂直方向で表示位置を求め、続いて水平方向で表示位置を求めるが、単純に表示画面上の格子点で評価することはできない。すなわち、後から作用させる方の変位ベクトルを、先に作用させる方向の変位ベクトルの分だけ移動させた位置で求める必要がある。図２３には、垂直方向と水平方向に分離して補間処理を行なう際の、垂直方向の変位ベクトルと水平方向の変位ベクトルをそれぞれ取得する方法を図解している。

また、図２４には、垂直方向と水平方向に分離して補間処理を行なう際の、垂直方向の変位ベクトルを事前に補正する方法を図解している。格子点Ａについての変位ベクトルＭＶ（Ａ）を、変位ベクトル保持部１００１から読み出すことができる。ここで、ベクトル生成部１４０２は、Ａ＝Ｂ＋ＭＶ＿ｘ（Ｂ）となる格子点Ｂを、光線追跡により求める。但し、ＭＶ＿ｘ（Ｂ）は、変位ベクトルＭＶ（Ｂ）の水平成分である。そして、格子点Ａにおける変位ベクトルＭＶ（Ａ）の垂直成分をＭＶ´＿ｙ（Ａ）＝ＭＶ＿ｙ（Ｂ）に事前補正する。

既に述べたように、表示部２０３の表示パネルには、液晶や有機ＥＬ素子などが用いられるが、これらの表示素子は輝度差の大きな領域で焼き付き現象が発生し易くなることが当業界で知られている。焼き付き現象の防止には、表示画像を周期的に移動させる（超低周波で揺らす）オービット処理が有効であることが知られている。ところが、表示画像を移動させると、接眼光学系２０４により画素に発生する歪みと、補正により画素に与えられる逆方向の歪みが対応しなくなるので、歪みが除去されないという問題がある。

そこで、本実施形態では、変位ベクトル保持部１００１において、出力画素と変位ベクトルとの対応関係を水平、垂直方向にシフトできるように構成するとともに、その後段において（画像補正後に）画像の表示位置をシフトする手段を装備するようにしている。そして、出力画素と変位ベクトルの対応関係のシフトと、焼き付き防止のための表示位置のシフトを連動させるようにして、歪み除去のための画像補正にオービット処理を適用可能にしている。

図２５には、焼き付き防止の原理図を示している。変調部２５０１は、提示画像の表示位置にオフセットをかけて、入力画像を超低周波で揺らす。画像補正部２０２は、変位ベクトル保持部１００１に保持されている変位ベクトルを用いて、接眼光学系２０４で発生する歪みとは逆方向の歪みを、超低周波で揺れている入力画像に与える。

図２６には、図２５に示した原理を適用した、焼き付き防止のための構成例を示している。変調部２６０１は、提示画像の表示位置にオフセットをかけて、入力画像を超低周波で揺らす。画像補正部２０２は、変位ベクトル保持部１００１に保持されている変位ベクトルを用いて、接眼光学系２０４で発生する歪みとは逆方向の歪みを、超低周波で揺れている入力画像に与える。その後、逆変調部２６０２で、変調部２６０１とは逆方向の変調処理を施し、入力画像から表示画像を切り出して、ＸＧＡインターフェース２６０３を介して表示部２０３に出力する。表示部２０３は、表示パネルの焼き付き防止のために、表示位置を（超低周波で）シフトさせるオービット機能を備えている。

また、図２７には、図２６と等価な実装例を示している。同図において、変調部２７０１は、提示画像ではなく、（変位ベクトル保持部１００１内の）変位ベクトルを超低周波で揺らす。また、ＸＧＡインターフェース２７０３では、許容範囲内で表示スケールを決定する。表示画像の位置ｐ_a（ｘ_a，ｙ_a）を変調する際に、その分だけ変位ベクトルが変化するが、下式（１９）を満たす最大のｄ_vを求める。

図２には、接眼光学系２０４の投影像に発生する歪みを信号処理によって補正する機能ブロック図を示した。また、図１９には、画像補正部２０２はフレーム・メモリーを持たず、ライン・メモリー１９０２のみで画像補正する構成例を示した。装置コストを考慮すると、ライン・メモリー１９０２の容量を小さく抑えたい。そこで、図２８に示すように、ＨＤＭＩ受信部２０１は、外部からの入力画像を、表示部２０３の表示画面の画素数に合わせてスケーリング処理するスケーリング部２８０１を備えている。また、表示部２０３は、ライン・メモリー１９０２のサイズを最小にするようなタイミングで駆動する。

画像補正部２０２が装備すべきライン・メモリー１９０２の容量の見積もりについて、図２９〜図３１を参照しながら説明する。

画像信号の入力がすべて終了してからでないと、図２９中Ｃで示すラインを表示することができない。したがって、垂直方向にＣ−Ｄの分だけ位相差を設ける。

また、図２９中、Ａで示す入力の最初のラインは、Ｂで示すラインを表示するまでは使用される。したがって、垂直方向にＡ−Ｂの分だけライン・メモリー１９０２の容量が必要である。

また、図３０に示すように、ＨＤＭＩ受信部２０１で画像信号を入力した際に、スケーリング部２８０１で縮小して、図３０中Ｅで示す時刻までブランキングすると、ライン・メモリー１９０２の容量はＥ−Ｂの分で済む。

さらに、図３１に示すように、ライン・メモリー１９０２から表示部２０３へ画像データを読み出すタイミングを変更して、図３１中Ｆで示す時刻から出力を始めると、ライン・メモリー１９０２の容量はＡ−Ｆの分で済む。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）表示面上に配列された複数の画素で画像を表示する画像表示部と、前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部と、前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部と、を具備する表示装置。
（２）前記画像補正部は、前記代表画素の位置で前記接眼光学部により発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、を備える上記（１）に記載の表示装置。
（３）前記画像表示部における表示画像が前記接眼光学部を通過した際の光線を追跡する光学シミュレーターと、前記光学シミュレーターにより得られた光線追跡データに基づいて、前記代表画素の位置における変位ベクトルを生成するベクトル生成部と、をさらに備える上記（２）に記載の表示装置。
（４）前記代表画素を発光させたときの前記接眼光学部が投影する虚像を実写して前記代表画素の位置における変位ベクトルを生成するベクトル生成部をさらに備える上記（２）に記載の表示装置。
（５）前記画像表示部は、表示画像のアスペクト比よりも縦長の前記表示面を持ち、前記接眼光学部は、おおむね糸巻き型の歪みを持ち、前記画像補正部は、水平端での画角が変化しないように表示画像を補正する、上記（１）に記載の表示装置。
（６）前記画素補正部は、垂直方向の画素補正と水平方向の画素補正を分離して各方向の画素補正処理を直列に行なう、上記（２）に記載の表示装置。
（７）前記画素補正部は、垂直ライン毎に同じライン内で画素を移動させて垂直方向の補正を行なった後、続いて水平ライン毎に同じライン内で画素を移動させて水平方向の補正を行なう、上記（２）に記載の表示装置。
（８）前記画素補正部は、水平方向の変位ベクトルを、垂直方向の変位ベクトル分だけ移動させた位置で求める、上記（７）に記載の表示装置。
（９）表示画像の位置を低周波でシフトさせる変調部をさらに備え、前記画像補正部は、前記変調部による変調処理後の表示画像に対して、画素位置と変位ベクトルの対応関係をシフトさせながら補正を行ない、前記画像表示部は、焼き付き防止のために表示位置をシフトさせる機能を備え、前記画像補正部のシフトと前記画像表示部のシフトを連動させる、上記（２）に記載の表示装置。
（１０）前記画像表示部の表示面の画素数に合わせて表示画像をスケーリングするスケーリング部をさらに備え、前記画像補正部は、ライン・メモリー上で表示画像の補正を行ない、前記画像表示部は、前記ライン・メモリーのサイズを最小にするタイミングで駆動する、上記（１）に記載の表示装置。
（１１）複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持部と、代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間部と、前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、を具備する画像処理装置。
（１２）複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを表す変位ベクトルを保持する変位ベクトル保持ステップと、代表画素以外の各画素の位置における変位ベクトルを、近傍の１以上の代表画素の変位ベクトルに基づいて補間するベクトル補間ステップと、前記表示面上の各画素に対して、変位ベクトルを用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正ステップと、を有する画像処理方法。
（１３）表示面上に配列された複数の画素で画像を表示する画像表示部、前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部、前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部、としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、本明細書で開示する技術をヘッド・マウント・ディスプレイに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨は特定のヘッド・マウント・ディスプレイの構成に限定されるものではない。接眼光学系を介して表示画像をユーザーに提示するさまざまなタイプの表示システムにも、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１０…ヘッド・マウント・ユニット
２０…ブルーレイ・ディスク再生装置
３０…ハイビジョン・ディスプレイ
４０…フロント・エンド・ボックス
２０１…ＨＤＭＩ受信部
２０２…画像補正部
２０３…表示部
２０４…接眼光学系
１００１…変位ベクトル保持部
１００２…ベクトル補間部
１００３…画素補正部
１４０１…光学シミュレーター
１４０２…ベクトル生成部

Claims (12)

1. 表示面上に配列された複数の画素で画像を表示する画像表示部と、
   前記画像表示部の前記表示面を所定の画角となるように投影する接眼光学部と、
   前記接眼光学部により発生する歪みを補正するための代表画素の位置を変換する情報を保持する保持部と、代表画素以外の各画素の位置を変換するための情報を、近傍の１以上の代表画素の位置を変換する情報に基づいて生成する生成部と、前記表示面上の各画素に対して、前記位置を変換する情報を用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部を備え、前記表示面上に離散的に配置された各代表画素の位置で前記接眼光学部により発生する歪みに基づいて、前記表示面上の表示画像を補正する画像補正部と、
   表示画像の位置を低周波でシフトさせる変調部と、
   を具備し、
   前記画像補正部は、前記変調部による変調処理後の表示画像に対して、画素位置と位置を変換する情報の対応関係をシフトさせながら補正を行ない、
   前記画像表示部は、焼き付き防止のために表示位置をシフトさせる機能を備え、
   前記画像補正部のシフトと前記画像表示部のシフトを連動させる、
   表示装置。
2. 前記生成部は、代表画素以外の各画素の位置を変換するための情報を、近傍の１以上の代表画素の位置を変換する情報から線形補間により生成する、
   請求項１に記載の表示装置。
3. 前記保持部は、前記画像表示部における表示画像が前記接眼光学部を通過した際の光線を追跡する光学シミュレーターにより得られた光線追跡データに基づいて生成された、前記代表画素の位置を変換する情報を保持する、
   請求項１に記載の表示装置。
4. 前記保持部は、前記代表画素を発光させたときの前記接眼光学部が投影する虚像を実写した結果に基づいて生成された、前記代表画素の位置を変換する情報を保持する、
   請求項１に記載の表示装置。
5. 前記画像表示部は、表示画像のアスペクト比よりも縦長の前記表示面を持ち、
   前記接眼光学部は、おおむね糸巻き型の歪みを持ち、
   前記画像補正部は、水平端での画角が変化しないように表示画像を補正する、
   請求項１に記載の表示装置。
6. 前記画素補正部は、垂直方向の画素補正と水平方向の画素補正を分離して各方向の画素補正処理を直列に行なう、
   請求項１に記載の表示装置。
7. 前記画素補正部は、垂直ライン毎に同じライン内で画素を移動させて垂直方向の補正を行なった後、続いて水平ライン毎に同じライン内で画素を移動させて水平方向の補正を行なう、
   請求項１に記載の表示装置。
8. 前記画素補正部は、水平方向に位置を変換する情報を、垂直方向に位置を変換する情報の分だけ移動させた位置で求める、
   請求項７に記載の表示装置。
9. 前記画像表示部の表示面の画素数に合わせて表示画像をスケーリングするスケーリング部をさらに備え、
   前記画像補正部は、ライン・メモリー上で表示画像の補正を行ない、
   前記画像表示部は、前記ライン・メモリーのサイズを最小にするタイミングで駆動する、
   請求項１に記載の表示装置。
10. 複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを補正するための情報を保持する保持部と、
    代表画素以外の各画素の位置を変換するための情報を、近傍の１以上の代表画素の位置を変換する情報に基づいて生成する生成部と、
    前記表示面上の各画素に対して、前記位置を変換する情報を用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部と、
    画像の位置を低周波でシフトさせる変調部と、
    を具備し、
    前記変調部による変調処理後の画像に対して、画素位置と位置を変換する情報の対応関係をシフトさせながら画像補正を行ない、前記画像補正のシフトを焼き付き防止のために表示位置をシフトさせる機能を備えた表示装置の前記表示面のシフトと連動させる、
    画像処理装置。
11. 複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを補正するための情報を保持する保持ステップと、
    代表画素以外の各画素の位置を変換するための情報を、近傍の１以上の代表画素の位置を変換する情報に基づいて生成する生成ステップと、
    前記表示面上の各画素に対して、前記位置を変換する情報を用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正ステップと、
    画像の位置を低周波でシフトさせる変調ステップと、
    を有し、
    前記変調ステップによる変調処理後の画像に対して、画素位置と位置を変換する情報の対応関係をシフトさせながら画像補正を行ない、前記画像補正のシフトを焼き付き防止のために表示位置をシフトさせる機能を備えた表示装置の前記表示面のシフトと連動させる、
    画像処理方法。
12. 複数の画素が配列された表示面上に離散的に配置された各代表画素の位置における、前記表示面を所定の画角となるように接眼光学部で投影した際に発生する歪みを補正するための情報を保持する保持部、
    代表画素以外の各画素の位置を変換するための情報を、近傍の１以上の代表画素の位置を変換する情報に基づいて生成する生成部、
    前記表示面上の各画素に対して、前記位置を変換する情報を用いて、前記接眼光学部により発生する歪みと逆方向となる歪みを与えて、画素を補正する画素補正部、
    画像の位置を低周波でシフトさせる変調部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述され、
    前記変調部による変調処理後の画像に対して、画素位置と位置を変換する情報の対応関係をシフトさせながら画像補正を行ない、前記画像補正のシフトを焼き付き防止のために表示位置をシフトさせる機能を備えた表示装置の前記表示面のシフトと連動させる、
    コンピューター・プログラム。