JP2019047227A - 画像表示装置 - Google Patents

Abstract

【課題】観察者が鼻逃げ部側の画角を見たときに良好な画像が見えるようにする。【解決手段】画像処理装置１０２は、表示素子１０８上の原画像からの光を観察者の眼に導く観察光学系１０６を有する画像表示装置１０１とともに用いられる。観察光学系は、斜め視状態にてアイレリーフが第１の距離であるときに原画像のうち特定領域からの光を眼に導かず、第１の距離より短い第２の距離であるときに特定領域からの光を眼に導く。画像処理装置は、入力画像に対して観察光学系の光学収差に応じた補正データを用いた補正処理を行って原画像を生成する。斜め視状態のための補正処理において、原画像のうち特定領域以外の領域の生成に観察光学系から第１の距離に眼の回転半径を加えた距離だけ離れた第１の位置に対応する光学収差に応じた補正データを用い、特定領域の生成に第１の位置より近い第２の位置に対応する光学収差に応じた第２の補正データを用いる。【選択図】図５

Description

本発明は、表示素子に表示された画像（原画像）を観察光学系を介して観察するヘッドマウントディスプレイ（ＨＭＤ）等の画像表示装置に関する。

上記のような画像表示装置では、観察光学系の歪曲や倍率色収差等の光学収差を低減するための画像処理（補正処理）を行った原画像を表示素子に表示する。特許文献１には、観察光学系の歪曲とは逆の歪曲を有するように補正処理を行った原画像を表示素子に表示する画像表示装置が開示されている。またこの画像表示装置では、赤、緑および青の色ごとに補正処理を行うことで倍率色収差も低減させている。

一方、ヘッドマウントディスプレイでは、特許文献２に開示されているように、観察光学系が観察者の鼻と干渉しないように観察光学系の鼻側の一部を削って鼻逃げ部を形成している。

特開平１０−３２７３７３号公報 特開２００９−３６８３５号公報

観察光学系に鼻逃げ部が形成されているＨＭＤにおいて、観察者の眼が設計上予定された正規のアイレリーフ（観察光学系と眼の間の距離）にて正面視をする位置から回転して鼻逃げ部側の画角を見る場合がある。この場合、原画像からの光は鼻逃げ部によりケラレるため画像を観察することはできない。このため、観察光学系の鼻逃げ部側の画角の光学収差を実際に測定して補正処理に用いる補正データを得ることはできず、鼻逃げ部側の画角以外の画角の光学収差を用いたシミュレーションによって補正データを作成するしかない。

一方、観察者の眼が正規のアイレリーフよりも近づいて鼻逃げ部側の画角を見ると、原画像からの光が鼻逃げ部によりケラレずに画像を観察することが可能となる場合がある。この場合に、正規のアイレリーフでの光学収差を用いて作成した補正データを用いて原画像の補正処理を行うと、光学収差はアイレリーフに応じて変化するために光学収差を補正しきれず、良好な画像を観察することができない。特許文献１，２には、鼻逃げ部側の画角を見たときに良好な画像が見えるようにするための原画像の補正処理については何ら開示されていない。

本発明は、観察者が鼻逃げ部側の画角を見たときに良好な画像が見えるように原画像の補正処理を行えるようにした画像観察装置を提供する。

本発明の一側面としての画像処理装置は、原画像を表示する表示素子と、原画像からの光を観察者の眼に導く観察光学系であり、眼が正面を向く正面視状態から回転した斜め視状態において、観察光学系と眼との間の距離（アイレリーフ）が第１の距離であるときに原画像のうち特定領域からの光を眼に導かず、距離が第１の距離より短い第２の距離であるときに特定領域からの光を眼に導くように構成された観察光学系とを有する画像表示装置とともに用いられ、原画像を生成する。画像処理装置は、入力画像を取得する画像取得手段と、入力画像に対して、観察光学系の光学収差に応じた補正データを用いた補正処理を行って原画像を生成する処理手段とを有する。処理手段は、斜め視状態のための補正処理において、原画像のうち特定領域以外の領域の生成に、観察光学系から第１の距離に眼の回転半径を加えた距離だけ離れた第１の位置に対応する光学収差に応じた第１の補正データを用いる。そして、特定領域の生成に、観察光学系に対して第１の位置より近い第２の位置に対応する光学収差に応じた第２の補正データを用いることを特徴とする。

なお、上記画像処理装置と上記画像表示装置を含む画像表示システムも、本発明の他の一側面を構成する。また、コンピュータに、上記画像処理装置として機能するための画像処理を実行させる画像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、斜め視状態においてアイレリーフが第１の距離では見えずに第２の距離では見える画像が良好な画像となるように原画像を生成することができる。

本発明の実施例１である画像表示装置を示す図。 実施例１の画像表示装置の観察光学系を示す上面図。 実施例１において観察者の眼が正規位置で右に回転したときの観察光学系を示す上面図。 実施例１における歪曲補正処理を示す図。 実施例１において観察者の眼が正規位置より近づいたときの観察光学系を示す上面図。 実施例１における観察光学系の正面図。 本発明の実施例２である画像表示装置の観察光学系を示す上面図。 実施例２における観察光学系の正面図。 実施例２における観察光学系の側面図。 実施例２において観察者の眼が正規位置で右に回転したときの観察光学系を示す上面図。 実施例２における歪曲補正処理を示す図。 実施例２において観察者の眼が正規位置より近づいたときの観察光学系を示す上面図。 実施例２における収差補正値の算出領域を示す図。 実施例２における観察光学系の射出瞳位置ごとの歪曲収差を示す図。 実施例２における収差補正前後の画像を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、本発明の実施例１である画像表示装置としてのＨＭＤ１０１と画像処理装置１０２とを含む画像表示システムの構成を示す。ＨＭＤ１０１は、パーソナルコンピュータにより構成される画像処理装置１０２にケーブルまたは無線により通信可能に接続されている。画像処理装置１０２は、外部装置から入力された又は予め画像処理装置１０２内に保存された入力画像を取得する画像取得部（画像処理手段）１０２ａを有する。また、画像処理装置１０２は、入力画像に対してＨＭＤ１０１の観察光学系の光学収差に応じた収差補正値（補正データ）を用いた補正処理を行うことで原画像を生成する画像処理を行う処理部（処理手段）１０２ｂを有する。処理部１０２ｂは、画像処理により生成した原画像のデータをＨＭＤ１０１に出力する。

図２に、ＨＭＤ１０１の構成を示す。１０３，１０４はそれぞれ、観察者の右眼と左眼である。１０５は右眼用観察光学系であり、１０６は左眼用観察光学系である。１０７は右眼用表示素子であり、１０８は左眼用表示素子である。右眼用および左眼用表示素子１０７，１０８は、画像処理装置１０２から入力された原画像を表示する。本実施例では、右眼用および左眼用表示素子１０７，１０８として、自発光素子である有機ＥＬ素子を用いている。

右眼用観察光学系１０５は右眼用表示素子１０７に表示された原画像からの光（以下、光束ともいう）を観察者の右眼１０３に導き、左眼用観察光学系１０６は左眼用表示素子１０８に表示された原画像からの光束を観察者の左眼１０４に導く。この際、右眼用および左眼用観察光学系１０５，１０６はそれぞれ、原画像の拡大像を右眼１０３および左眼１０４に観察させる。右眼用および左眼用観察光学系１０５，１０６の水平表示画角は８０°、垂直表示画角は６０°、対角表示画角は９１°である。

右眼用および左眼用観察光学系１０５，１０６は、観察者がＨＭＤ１０１を頭部に装着した際にＨＭＤ１０１が観察者の鼻と干渉しないようにするために、鼻側の一部を削った形状の鼻逃げ部１０５ａ，１０６ａを有している。このため、図６に示すように、右眼用観察光学系１０５の鼻側の有効領域（画像観察に用いられる光束が通過する領域）１０５ｃが右耳側の有効領域１０５ｂに比べて狭くなる。また、左眼用観察光学系１０６の鼻側の有効領域１０６ｃが左耳側の有効領域１０６ｂに比べて狭くなる。

図２では、観察者の右眼１０３および左眼１０４は、右眼用および左眼用観察光学系１０５，１０６の設計上のアイレリーフ（第１の距離：以下、正規アイレリーフという）に対応する位置に配置され、右眼１０３および左眼１０４は正面を向く正面視位置にある。以下の説明において、右眼１０３および左眼１０４が正規アイレリーフに対応する位置に配置された状態を正規アイレリーフ状態といい、右眼１０３および左眼１０４が正面視位置にある状態を正面視状態という。

正面視状態では、右眼用観察光学系１０５は、鼻逃げ部１０５ａを有していても、右眼用表示素子１０７上の原画像の全体からの光束を右眼１０３に導く。また、左眼用観察光学系１０６は、鼻逃げ部１０６ａを有していても、左眼用表示素子１０８上の原画像の全体からの光束を左眼１０４に導く。すなわち、正面視状態では、各原画像からの光束が鼻逃げ部１０５ａ，１０６ａによりケラレることはなく、観察者は原画像の拡大像の全体を観察することができる。

一方、正規アイレリーフ状態において、図３に示すように観察者が右眼１０３および左眼１０４を正面視位置から右方向に回転させた場合、右眼用観察光学系１０５は右眼用表示素子１０７上の原画像の右側領域からの光束を右眼１０３に導く。しかし、左眼用観察光学系１０６は、鼻逃げ部１０６ａが存在するために、左眼用表示素子１０８上の原画像の右側領域からの光束を左眼１０４に導く（到達させる）ことができない。

同様に正規アイレリーフ状態において、観察者が右眼１０３および左眼１０４を正面視位置から左方向に回転させた場合、左眼用観察光学系１０６は左眼用表示素子１０８上の原画像の左側領域からの光束を左眼１０４に導く。しかし、右眼用観察光学系１０５は、鼻逃げ部１０５ａが存在するために、右眼用表示素子１０７上の原画像の左側領域からの光束を右眼１０３に導くことができない。

例えば、右眼用表示素子１０７に図４（ａ）に示すような歪みのない原画像を表示すると、観察者が右眼用観察光学系１０５を通して見る画像は、右眼用観察光学系１０５の歪曲収差（以下、単に歪曲という）により図４（ｂ）に示すように歪んだ画像となる。図４（ｂ）の画像の左下部分が欠けているのは鼻逃げ部１０５ａで原画像からの光束がケラレるためである。また、右眼用表示素子１０７に白色の線を表示すると、観察者が右眼用観察光学系１０５を通して見る画像は、白色の線が右眼用観察光学系１０５の倍率色収差によって赤、緑および青に分離した線となる。このことは、左眼用観察光学系１０６についても同様である。

このため、画像処理装置１０２の処理部１０２ｂにて、図４（ａ）に示す入力画像（未補正の原画像）を図４（ｃ）に示すように各観察光学系で生ずる歪曲とは逆の歪曲を含む原画像に補正する、すなわち補正された原画像を生成する画像処理（補正処理）を行う。これにより、観察者が各観察光学系を通して見る画像の歪みが低減される。さらに、画像処理装置１０２にて、赤、緑および青の色ごとに異なる形状の原画像を生成するように補正処理を行うことで、倍率色収差を低減することができる。各観察光学系の歪曲が少ない場合には、倍率色収差のみを低減するための補正処理を行ってもよいし、各観察光学系の倍率色収差が少ない場合には歪曲のみを低減するための補正処理を行ってもよい。

次に、画像処理装置１０２の処理部１０２ｂが行う補正処理について説明する。処理部１０２ｂは、補正処理を含む画像処理を、コンピュータプログラムである画像処理プログラムに従って実行する。

図２および図３から分かるように、観察者の眼（眼球）が正面視位置にあるときと右方向に回転したときとでは、右側の光束が観察光学系を通る位置が異なり、この結果、観察光学系の光学収差も異なる。観察者が観察光学系を通して画像を観察する場合には、その眼球を回転させて見たい方向を観察しているときに見える画像において観察光学系の光学収差が低減されていることが望ましい。このため、眼球を正面視位置から回転させた斜め視状態では、補正処理で原画像の光学収差補正に用いられる補正データとしての収差補正値は、アイレリーフより眼球の回転半径だけ離れた位置に射出瞳がある状態での光学収差に基づいて算出されることが望ましい。

具体的には、本実施例のＨＭＤ１０１の正規アイレリーフは２０ｍｍであり、成人の眼球の回転半径は約１０ｍｍであるため、射出瞳が観察光学系から３０ｍｍの位置にある斜め視状態での光学収差に基づいて収差補正値を算出すればよい。しかし、本実施例の観察光学系には鼻逃げ部があるため、射出瞳が３０ｍｍの位置にある斜め視状態では、図４（ｂ）に示したように鼻逃げ部を通過する光束により形成される画像を観察することができない。このため、この斜め視状態での鼻逃げ部側の画角の光学収差を実際に測定することはできない。

本実施例では、右眼用観察光学系１０５において、射出瞳が３０ｍｍの位置にある左方向への斜め視状態では、垂直表示画角０°における水平表示画角のうち画角中心より左側の４０°から３０°までの画角の光束が鼻逃げ部１０５ａによりケラレる。また、対角表示画角のうち画角中心より左下の４５．５°から３２°までの画角の光束が鼻逃げ部１０５ａでケラレる。一方、左眼用観察光学系１０６において、射出瞳が３０ｍｍの位置にある右方向への斜め視状態では、垂直表示画角０°における水平表示画角のうち画角中心より右側の４０°から３０°までの画角の光束が鼻逃げ部１０６ａでケラレる。また、対角表示画角のうち画角中心より右下の４５．５°から３２°までの画角の光束が鼻逃げ部１０６ａでケラレる。

このように、各観察光学系においてその画角中心より鼻逃げ部側にて鼻逃げ部により光束がケラレずに画像を観察できる対角表示画角は、画角中心より鼻逃げ部側とは反対側の対角表示画角（対角方向半画角）の７０％となる。以下の説明において、各表示素子に表示された原画像のうち斜め視状態にて各観察光学系の鼻逃げ部によりケラレる光束が出射する領域を特定領域という。

観察者がＨＭＤ１０１を頭部に装着した際に鼻と干渉しないようにするためには、鼻逃げ部１０５ａ，１０６ａは大きい方が望ましい。しかし、鼻逃げ部１０５ａ，１０６ａが大きすぎると光束のケラレにより表示画像が欠けてしまう。このため、各観察光学系が形成する対角表示画角においてその画角中心より鼻逃げ部側（特定領域側）の画角θ１は、画角中心より鼻逃げ部側とは反対側の画角θ２に対して以下の条件（１）を満足することが望ましい。
０．６５≦θ１／θ２≦０．８５ （１）
また、各観察光学系の設計値や面形状誤差シミュレーション値から、射出瞳が３０ｍｍの位置での光学収差に基づいて収差補正値を算出することは可能である。しかし、図５に示すように、観察者が右眼１０３および左眼１０４を右眼用および左眼用観察光学系１０５，１０６により近づけた結果、アイレリーフが正規アイレリーフより短い短アイレリーフ（第２の距離：例えば８ｍｍとなる場合がある。そして、この状態（以下、短アイレリーフ状態という）かつ右方向への斜め視状態では、正規アイレリーフ状態での斜め視状態では観察できなかった鼻逃げ部側の画角において画像を観察することができる。この短アイレリーフ状態において鼻逃げ部側の画角の光学収差を射出瞳が３０ｍｍの位置にあるものとして算出すると、その光学収差は短アイレリーフ状態での光学収差と異なるため、光学収差を十分に補正できずに良好（自然）な画像を観察することができない。

そこで本実施例では、原画像のうち上記特定領域以外の領域については、観察光学系から正規アイレリーフに眼球の回転半径を加えた３０ｍｍだけ離れた第１の位置に射出瞳があるときの光学収差を用いて収差補正値（第１の補正データ）を算出する。一方、特定領域については、観察光学系に対して３０ｍｍより近い第２の位置に射出瞳があるときの光学収差を用いて収差補正値（第２の補正データ）を算出する。本実施例では、第２の位置を、短アイレリーフ８ｍｍに眼球の回転半径を加えた１８ｍｍの位置とする。

図１１に示すように、右眼用の収差補正値は、（ａ）の特定領域以外の領域については射出瞳が右眼用観察光学系１０５から３０ｍｍの位置にあるときの光学収差に基づいて算出する。また、（ｂ）の特定領域は射出瞳が右眼用観察光学系１０５から１８ｍｍの位置にあるときの光学収差に基づいて算出する。そして、これら２つの収差補正値を合成することで、原画像の全体に対する補正処理で用いる収差補正値テーブルを作成する。左眼用の収差補正値についても同様である。

このように収差補正値を求めることで、特定領域以外の領域に対する収差補正値を、観察光学系から３０ｍｍの位置に射出瞳がある状態で実際に測定した光学収差（すなわち３０ｍｍの位置に対応する光学収差）を用いて算出することができる。さらに、特定領域に対する収差補正値を、観察光学系から１８ｍｍに射出瞳がある状態で実際に測定した光学収差（すなわち１８ｍｍの位置に対応する光学収差）を用いて算出することができる。このため、原画像の全体に対して実際に測定した光学収差を用いて収差補正値を算出することができる。また、設計値や面形状誤差シミュレーション値における光学収差に基づいて収差補正値を算出する場合は、射出瞳が３０ｍｍと１８ｍｍの位置にあるときの光学収差をそれぞれ求める。そして、特定領域以外の領域に対する収差補正値を３０ｍｍの位置に対応する光学収差を用いて算出し、特定領域に対する収差補正値を１８ｍｍの位置に対応する光学収差を用いて算出すればよい。

いずれの場合でも、短アイレリーフ状態かつ斜め視状態において、特定領域の画像として光学収差を良好に補正した自然な観察を観察することができる。

特定領域とそれ以外の領域の２つの収差補正値を合成する場合には、それらの間の境界領域の収差補正値が滑らかに変化して該境界領域に対応する画像が不自然に変化しないように合成することが望ましい。このため、境界領域の収差補正値を、特定領域とそれ以外の領域の２つの収差補正値を用いた線形補間やバイキュービック法等の補間処理により滑らかに変化するように算出することが望ましい。

本実施例における右眼用および左眼用観察光学系１０５，１０６はそれぞれ、回転対称な球面形状の単レンズで構成されている。観察光学系として回転対称なレンズを用いることで、歪曲や倍率色収差も回転対称な形状となるため、画像処理装置１０２で補正処理に用いる収差補正値を、表示素子の中心からの距離をパラメータとする関数としてもよい。また、製造誤差等で歪曲や倍率色収差が回転対称ではない場合は、表示素子の画素ごとに収差補正値を持つような収差補正値テーブルを用意してもよい。

右眼用および左眼用観察光学系１０５，１０６として、非球面形状を用いたり複数のレンズを用いたりしてもよい。また、本実施例における右眼用および左眼用表示素子１０７，１０８は有機ＥＬ素子であるが、透過型液晶素子、反射型液晶素子、デジタルマイクロミラーデバイス等の他の表示素子を用いてもよい。この場合、光源と該光源からの光を表示素子に導く照明光学系が必要となる。

図７は、本発明の実施例２であるＨＭＤ２０１の構成を示す。２０２，２０３はそれぞれ、観察者の右眼と左眼である。２０４は右眼用観察光学系であり、２０５は左眼用観察光学系である。２０６は右眼用表示素子であり、２０７は左眼用表示素子である。右眼用および左眼用表示素子２０６，２０７は、実施例１にて説明した画像処理装置１０２から入力された原画像を表示する。本実施例でも、右眼用および左眼用表示素子２０６，２０７として、自発光素子である有機ＥＬ素子を用いている。

右眼用観察光学系２０４は右眼用表示素子２０６に表示された原画像からの光束を観察者の右眼２０２に導き、左眼用観察光学系２０５は左眼用表示素子２０７に表示された原画像からの光束を観察者の左眼２０３に導く。この際、右眼用および左眼用観察光学系２０４，２０５はそれぞれ、原画像の拡大像を右眼２０２および左眼２０３に観察させる。右眼用および左眼用観察光学系２０４，２０５の水平表示画角は７０°、垂直表示画角は４０°、対角表示画角は７６°である。

右眼用および左眼用観察光学系２０４，２０５は、観察者がＨＭＤ２０１を頭部に装着した際にＨＭＤ２０１が観察者の鼻と干渉しないようにするために、鼻側の一部を削った形状の鼻逃げ部２０４ａ，２０５ａを有している。このため、図８に示すように、右眼用観察光学系２０４の鼻側の有効領域２０４ｃが右耳側の有効領域２０４ｂに比べて狭くなる。また、左眼用観察光学系２０５の鼻側の有効領域２０５ｃが左耳側の有効領域２０５ｂに比べて狭くなる。

本実施例でも、実施例１と同様に、画像処理装置１０２内の処理部１０２ｂが、入力画像に対して各観察光学系で生ずる歪曲とは逆の歪曲を含む原画像に補正する。すなわち、補正された原画像を生成する画像処理（補正処理）を行う。

本実施例の右眼用および左眼用観察光学系２０４，２０５は、図９に示すように偏心反射面を用いて光路を折り畳むことによって、該光学系の厚みを薄くしている。右眼用および左眼用観察光学系２０４，２０５は、屈折率が１より大きいガラスやプラスチック等の光学媒質で満たされたプリズム（光学素子）により構成されている。

右眼用表示素子２０６からの光束は、右眼用観察光学系２０４内で２回反射して右眼２０２に導かれる。右眼用観察光学系２０４内の右眼２０２への出射面は反射作用と透過作用を有する光学面であるため、反射は光量のロスをなくすために内部全反射であることが望ましい。また、右眼用観察光学系２０４を構成する面を自由曲面形状とすることで、偏心収差補正の自由度が増し、良好な画質の画像を表示することが可能となる。左眼用観察光学系２０５についても同様である。

図７では、観察者の右眼２０２および左眼２０３が右眼用および左眼用観察光学系２０４，２０５の正規アイレリーフに対応する位置に配置された正規レリーフ状態で、かつ右眼２０２および左眼２０３が正面視位置にある正面視状態を示している。この状態では、右眼用観察光学系２０４は、鼻逃げ部２０４ａを有していても、右眼用表示素子２０６上の原画像の全体からの光束を右眼２０２に導く。また、左眼用観察光学系２０５は、鼻逃げ部２０５ａを有していても、左眼用表示素子２０７上の原画像の全体からの光束を左眼２０３に導く。すなわち、正面視状態では、各原画像からの光束が鼻逃げ部２０４ａ，２０５ａによりケラレることはなく、観察者は原画像の拡大像の全体を観察することができる。

一方、正規アイレリーフ状態において、図１０に示すように観察者が右眼２０２および左眼２０３を正面視位置から右方向に回転させた場合、右眼用観察光学系２０４は右眼用表示素子２０７上の原画像の右側領域からの光束を右眼２０２に導く。しかし、左眼用観察光学系２０５は、鼻逃げ部２０５ａが存在するために、左眼用表示素子２０７上の原画像の右側領域からの光束を左眼２０３に導く（到達させる）ことができない。

同様に正規アイレリーフ状態において、観察者が右眼２０２および左眼２０３を正面視位置から左方向に回転させた場合、左眼用観察光学系２０５は左眼用表示素子２０７上の原画像の左側領域からの光束を左眼２０３に導く。しかし、右眼用観察光学系２０４は、鼻逃げ部２０４ａが存在するために、右眼用表示素子２０６上の原画像の左側領域からの光束を右眼２０２に導くことができない。

実施例１でも説明したように、右眼用表示素子２０６に図４（ａ）に示すような歪みのない原画像を表示すると、観察者が右眼用観察光学系２０４を通して見る画像は、右眼用観察光学系２０４の歪曲により図４（ｂ）に示すように歪んだ画像となる。図４（ｂ）の画像の左下部分が欠けているのは鼻逃げ部２０４ａで原画像からの光束がケラレるためである。また、右眼用表示素子２０６に白色の線を表示すると、観察者が右眼用観察光学系２０４を通して見る画像は、白色の線が右眼用観察光学系２０４の倍率色収差によって赤、緑および青に分離した線となる。このことは、左眼用観察光学系２０５についても同様である。

このため、本実施例でも、実施例１と同様に、画像処理装置１０２にて、図４（ａ）に示す原画像（入力画像）を図４（ｃ）に示すように各観察光学系で生ずる歪曲とは逆の歪曲を含む原画像に補正する補正処理を行う。これにより、観察者が各観察光学系を通して見る画像の歪みが低減される。さらに、画像処理装置１０２にて、赤、緑および青の色ごとに異なる形状の原画像を生成するように補正処理を行うことで、倍率色収差を低減することができる。各観察光学系の歪曲が少ない場合には、倍率色収差のみを低減するための補正処理を行ってもよいし、各観察光学系の倍率色収差が少ない場合には歪曲のみを低減するための補正処理を行ってもよい。

次に、本実施例において画像処理装置１０２の処理部１０２ｂが行う補正処理について説明する。図７および図１０から分かるように、観察者の眼（眼球）が正面視位置にあるときと右方向に回転したときとでは、右側の光束が観察光学系を通る位置が異なり、この結果、観察光学系の光学収差も異なる。実施例１でも説明したが、観察者が観察光学系を通して画像を観察する場合には、その眼球を回転させて見たい方向を観察しているときに見える画像において観察光学系の光学収差が低減されていることが望ましい。このため、眼球を正面視位置から回転させた斜め視状態では、補正処理で原画像の光学収差補正に用いられる補正データとしての収差補正値は、アイレリーフより眼球の回転半径だけ離れた位置に射出瞳がある状態での光学収差に基づいて算出されることが望ましい。

具体的には、本実施例のＨＭＤ２０１の正規アイレリーフは１８ｍｍであり、成人の眼球の回転半径は約１０ｍｍであるため、射出瞳が観察光学系から２８ｍｍの位置にある斜め視状態での光学収差に基づいて収差補正値を算出すればよい。しかし、本実施例の観察光学系には鼻逃げ部があるため、射出瞳が２８ｍｍの位置にある斜め視状態では、図４（ｂ）に示したように鼻逃げ部を通過する光束により形成される画像を観察することができない。このため、この斜め視状態での鼻逃げ部側の画角の光学収差を実際に測定することはできない。

本実施例でのＨＭＤ２０１の正規のアイレリーフは１８ｍｍであり、成人の眼球の回転半径は約１０ｍｍであるため、射出瞳が２８ｍｍの位置での観察光学系の光学収差を元に収差補正値を算出すればよい。しかし、本実施例の観察光学系には鼻逃げ部があるため、射出瞳が２８ｍｍの位置では図４（ｂ）のように鼻逃げ部の画像が観察できない。そのため、観察光学系の光学収差を測定する場合には、鼻逃げ部側の画角の光学収差を測定することができず収差補正値を算出することができない。

本実施例では、右眼用観察光学系２０４において、射出瞳が２８ｍｍの位置にある左方向への斜め視状態では、垂直表示画角０°における水平表示画角のうち画角中心より左側の３５°から３０°までの画角の光束が鼻逃げ部２０４ａによりケラレる。また、対角表示画角のうち画角中心より左下の３８°から２９°までの画角の光束が鼻逃げ部２０４ａでケラレる。一方、左眼用観察光学系２０５において、射出瞳が２８ｍｍの位置にある右方向への斜め視状態では、垂直表示画角０°における水平表示画角のうち画角中心より右側の３５°から３０°までの画角の光束が鼻逃げ部２０５ａでケラレる。また、対角表示画角のうち画角中心より右下の３８°から２９°までの画角の光束が鼻逃げ部２０５ａでケラレる。

このように、各観察光学系においてその画角中心より鼻逃げ部側にて鼻逃げ部により光束がケラレずに画像を観察できる対角表示画角は、画角中心より鼻逃げ部側とは反対側の対角表示画角（対角方向半画角）の７６％となる。本実施例でも、各表示素子に表示された原画像のうち斜め視状態にて各観察光学系の鼻逃げ部によりケラレる光束が出射する領域を特定領域という。

観察者がＨＭＤ２０１を頭部に装着した際に鼻と干渉しないようにするためには、鼻逃げ部２０４ａ，２０５ａは大きい方が望ましい。しかし、鼻逃げ部２０４ａ，２０５ａが大きすぎると光束のケラレにより表示画像が欠けてしまう。このため、本実施例でも、各観察光学系が形成する対角表示画角においてその画角中心より鼻逃げ部側（特定領域側）の画角θ１は、画角中心より鼻逃げ部側とは反対側の画角θ２に対して実施例１で説明した条件（１）を満足することが望ましい。さらに、本実施例では、以下の条件（２）を満足することがより望ましい。
０．７０≦θ１／θ２≦０．８０ （２）
また、各観察光学系の設計値や面形状誤差シミュレーション値から、射出瞳が２８ｍｍの位置での光学収差に基づいて収差補正値を算出することは可能である。しかし、図１２に示すように、観察者が右眼２０２および左眼２０３を右眼用および左眼用観察光学系２０４，２０５により近づけた結果、アイレリーフが正規アイレリーフより短い短アイレリーフ（第２の距離：例えば８ｍｍとなる場合がある。そして、この短アイレリーフ状態かつ右方向への斜め視状態では、正規アイレリーフ状態での斜め視状態では観察できなかった鼻逃げ部側の画角において画像を観察することができる。この短アイレリーフ状態において鼻逃げ部側の画角の光学収差を射出瞳が２８ｍｍの位置にあるものとして算出すると、その光学収差は短アイレリーフ状態での光学収差と異なるため、光学収差を十分に補正できずに良好（自然）な画像を観察することができない。

そこで本実施例では、原画像のうち上記特定領域以外の領域については、観察光学系から正規アイレリーフに眼球の回転半径を加えた２８ｍｍだけ離れた第１の位置に射出瞳があるときの光学収差を用いて収差補正値（第１の補正データ）を算出する。一方、特定領域については、観察光学系に対して２８ｍｍより近い第２の位置に射出瞳があるときの光学収差を用いて収差補正値（第２の補正データ）を算出する。

この際、本実施例では、特定領域内の収差補正値が鼻側から滑らかに変化して特定領域に隣接する領域の収差補正値に繋がるように、すなわち特定領域から隣接する領域に向かって原画像が不自然に変化しないように特定領域に対する収差補正値を算出する。具体的には、鼻側に近づくにつれて観察光学系に対して射出瞳が近づくように複数の第２の位置を設定する。例えば、図１３に示すように、右眼側の第２の位置を、鼻側に向かって２６ｍｍ、２４ｍｍ、２２ｍｍ、２０ｍｍおよび１８ｍｍと変化させる。言い換えれば、本実施例では、特定領域における複数の領域に対して互いに異なる複数の第２の位置のそれぞれに対応する光学収差に応じた収差補正値を用いる。

言い換えれば、特定領域のうち、第１の領域と該第１の領域よりも特定領域以外の領域から遠い第２の領域とに対して互いに異なる補正処理を行うことによって、第１の領域および第２の領域の原画像を生成する。左眼側の第２の位置についても同様である。

このように収差補正値を求めることで、特定領域以外の領域に対する収差補正値を、観察光学系から２８ｍｍの位置に射出瞳がある状態で実際に測定した光学収差（すなわち２８ｍｍの位置に対応する光学収差）を用いて算出することができる。さらに、特定領域に対する収差補正値を、観察光学系から２６ｍｍ、２４ｍｍ、２２ｍｍ、２０ｍｍおよび１８ｍｍに射出瞳がある状態で実際に測定した光学収差（すなわち各位置に対応する光学収差）を用いて算出することができる。このため、原画像の全体に対して実際に測定した光学収差を用いて収差補正値を算出することができる。また、設計値や面形状誤差シミュレーション値における光学収差に基づいて収差補正値を算出する場合は、射出瞳が２８ｍｍの位置にあるときの光学収差と、２６ｍｍ、２４ｍｍ、２２ｍｍ、２０ｍｍおよび１８ｍｍの位置にあるときの光学収差をそれぞれ求める。そして、特定領域以外の領域に対する収差補正値を２８ｍｍの位置に対応する光学収差を用いて算出し、特定領域に対する収差補正値を２６ｍｍ、２４ｍｍ、２２ｍｍ、２０ｍｍおよび１８ｍの位置に対応する光学収差を用いて算出すればよい。

図１４は、本実施例のＨＭＤ２０１における右眼用観察光学系２０４の光学収差（歪曲）のシミュレーション結果を示す。シミュレーョンによる算出であるため、左下の鼻逃げ部側の画角の歪曲も求めることができる。図１４（ａ）は射出瞳が観察光学系から２８ｍｍの位置にあるときの歪曲である。同様に、図１４（ｂ），（ｃ），（ｄ），（ｅ），（ｆ）はそれぞれ、射出瞳が２６ｍｍ、２４ｍｍ、２２ｍｍ、２０ｍｍ、１８ｍｍの位置にあるときの歪曲である。

この図１４から分かるように、射出瞳の位置に応じて歪曲の形状が変化する。特に左下の鼻逃げ部側の画角の歪曲の形状が射出瞳の位置に応じて大きく変化しており、図１４（ａ）と図１４（ｆ）での形状の差は顕著である。射出瞳が２８ｍｍ、２６ｍｍ、２４ｍｍ、２２ｍｍ、２０ｍｍおよび１８ｍｍの位置にあるときの歪曲を合成したものを図１４（ｇ）に示す。

本実施例では、図１４（ｇ）に示した合成歪曲と逆の歪曲を入力画像に与える補正処理を行う。この結果、図１３に示したように、特定領域に対して鼻側に向かって２６ｍｍ、２４ｍｍ、２２ｍｍ、２０ｍｍおよび１８ｍｍの射出瞳位置に応じた光学収差に基づく収差補正値が与えられた原画像が得られる。収差補正前の原画像を図１５（ａ）に、収差補正後の原画像を図１５（ｂ）にそれぞれ示す。これにより、短アイレリーフ状態かつ斜め視状態において、特定領域の画像として光学収差を良好に補正した自然な観察を観察することができる。

実施例１のように１つの射出瞳位置（第２の位置）での光学収差に基づいて特定領域に対する収差補正値を算出するのではなく、徐々に異なる複数の射出瞳位置での光学収差に基づいて複数の収差補正値を算出することで、収差補正値ごとの変化量が小さくなる。これにより、実施例１に比べてより滑らかに収差補正値、つまりは画像を変化させることができ、短アイレリーフ状態での正面視状態から斜め視状態までの画像の見え方の変化を感じにくくなる。

また、アイレリーフが少しずつ短くなるような場合でも、それぞれのアイレリーフでの斜め視状態に応じた収差補正値を用いることができるので、各アイレリーフでの斜め視状態で自然な画像を観察することができる。

さらに本実施例のように観察光学系に偏心した自由曲面を有するプリズムを用いることで、歪曲や倍率色収差が回転対称形状ではなくなる。このため表示素子の画素ごとに収差補正値を持つような収差補正値テーブルを用意することが望ましい。

なお、本実施例の観察光学系は、中間結像面を有さない光学系であるが、中間結像面を有する観察光学系としてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１，２０１ ＨＭＤ
１０２ 画像処理装置
１０３，２０２ 観察者の右眼
１０４，２０３ 観察者の左眼
１０５，２０４ 右眼用観察光学系
１０６，２０５ 左眼用観察光学系
１０７，２０６ 右眼用表示素子
１０８，２０７ 左眼用表示素子

Claims (13)

1. 原画像を表示する表示素子と、前記原画像からの光を観察者の眼に導く観察光学系であり、前記眼が正面を向く正面視状態から回転した斜め視状態において、前記観察光学系と前記眼との間の距離が第１の距離であるときに前記原画像のうち特定領域からの光を前記眼に導かず、前記距離が前記第１の距離より短い第２の距離であるときに前記特定領域からの光を前記眼に導くように構成された観察光学系とを有する画像表示装置とともに用いられ、前記原画像を生成する画像処理装置であって、
   入力画像を取得する画像取得手段と、
   前記入力画像に対して、前記観察光学系の光学収差に応じた補正データを用いた補正処理を行って前記原画像を生成する処理手段とを有し、
   前記処理手段は、前記斜め視状態のための前記補正処理において、
   前記原画像のうち前記特定領域以外の領域の生成に、前記観察光学系から前記第１の距離に前記眼の回転半径を加えた距離だけ離れた第１の位置に対応する前記光学収差に応じた第１の補正データを用い、
   前記特定領域の生成に、前記観察光学系に対して前記第１の位置より近い第２の位置に対応する前記光学収差に応じた第２の補正データを用いることを特徴とする画像表示装置。
2. 前記観察光学系のうち前記観察者の鼻側の部分に、該鼻との干渉を避けるための形状を有する鼻逃げ部を有し、
   前記眼が前記第１の距離にあるときは前記鼻逃げ部が前記特定領域からの光を前記眼に到達させないことを特徴とする請求項１に記載の画像表示装置。
3. 前記観察光学系は、前記眼が前記正面視位置にある状態では前記第１および第２の距離において前記原画像の全体からの光を該眼に導くことを特徴とする請求項１または２に記載の画像表示装置。
4. 前記処理手段は、前記斜め視状態のための前記補正処理において、前記特定領域に対しては、前記観察光学系から前記第２の距離に前記回転半径を加えた距離だけ離れた第２の位置に対応する前記光学収差に応じた前記第２の補正データを用いることを特徴とする請求項１から３のいずれか一項に記載の画像表示装置。
5. 前記処理手段は、前記斜め視状態のための前記補正処理において、前記特定領域と該特定領域以外の領域との境界領域に対して、前記第１および第２の補正データを用いた補間処理により得られた補正データを用いることを特徴とする請求項４に記載の画像表示装置。
6. 前記処理手段は、前記斜め視状態のための前記補正処理において、前記特定領域における複数の領域に対して互いに異なる複数の前記第２の位置のそれぞれに対応する前記光学収差に応じた前記第２の補正データを用いることを特徴とする請求項１から３のいずれか一項に記載の画像表示装置。
7. 前記観察光学系が形成する対角表示画角において、その画角中心より前記特定領域側の画角θ１と前記画角中心より前記特定領域側とは反対側の画角θ２とが、
   ０．６５≦θ１／θ２≦０．８５
   なる条件を満足することを特徴とする請求項１から６のいずれか一項に記載の画像表示装置。
8. 前記光学収差は歪曲収差であることを特徴とする請求項１から７のいずれか一項に記載の画像表示装置。
9. 前記光学収差は倍率色収差であることを特徴とする請求項１から８のいずれか一項に記載の画像表示装置。
10. 原画像を表示する表示素子と、前記原画像からの光を観察者の眼に導く観察光学系であり、前記眼が正面を向く正面視状態から回転した斜め視状態において、前記観察光学系と前記眼との間の距離が第１の距離であるときに前記原画像のうち特定領域からの光を前記眼に導かず、前記距離が前記第１の距離より短い第２の距離であるときに前記特定領域からの光を前記眼に導くように構成された観察光学系とを有する画像表示装置とともに用いられ、前記原画像を生成する画像処理装置であって、
    入力画像を取得する画像取得手段と、
    前記入力画像に対して、前記観察光学系の光学収差に応じた補正データを用いた補正処理を行って前記原画像を生成する処理手段とを有し、
    前記処理手段は、前記斜め視状態のための前記補正処理において、
    前記特定領域のうち、第１の領域と該第１の領域よりも前記特定領域以外の領域から遠い第２の領域とに対して互いに異なる補正処理を行うことによって、前記第１の領域および前記第２の領域の画像を生成することを特徴とする画像表示装置。
11. 前記観察光学系として、前記原画像からの光を前記観察者の右眼と左眼のそれぞれに導く右眼用観察光学系および左眼用観察光学系を有し、
    前記右眼用および左眼用観察光学系はそれぞれ、前記光を反射および透過する光学面と、少なくとも１つの反射面とを有する光学素子を含むことを特徴とする請求項１から９のいずれか一項に記載の画像表示装置。
12. 請求項１から１１のいずれか一項に記載の画像処理装置と、
    前記画像表示装置とを有することを特徴とする画像表示システム。
13. 原画像を表示する表示素子と、前記原画像からの光を観察者の眼に導く観察光学系であり、前記眼が正面を向く正面視状態から回転した斜め視状態において、前記観察光学系と前記眼との間の距離が第１の距離であるときに前記原画像のうち特定領域からの光を前記眼に導かず、前記距離が前記第１の距離より短い第２の距離であるときに前記特定領域からの光を前記眼に導くように構成された観察光学系とを有する画像表示装置とともに用いられるコンピュータに前記原画像を生成する画像処理を実行させるコンピュータプログラムであって、
    前記画像処理は、
    入力画像を取得する処理と、
    前記入力画像に対して、前記観察光学系の光学収差に応じた補正データを用いた補正処理を行って前記原画像を生成する処理とを含み、
    前記斜め視状態のための前記補正処理において、
    前記原画像のうち前記特定領域以外の領域の生成に、前記観察光学系から前記第１の距離に前記眼の回転半径を加えた距離だけ離れた第１の位置に対応する前記光学収差に応じた第１の補正データを用い、
    前記特定領域の生成に、前記観察光学系に対して前記第１の位置より近い第２の位置に対応する前記光学収差に応じた第２の補正データを用いることを特徴とする画像処理プログラム。