JP2004233869A - 画像表示装置 - Google Patents
画像表示装置 Download PDFInfo
- Publication number
- JP2004233869A JP2004233869A JP2003024793A JP2003024793A JP2004233869A JP 2004233869 A JP2004233869 A JP 2004233869A JP 2003024793 A JP2003024793 A JP 2003024793A JP 2003024793 A JP2003024793 A JP 2003024793A JP 2004233869 A JP2004233869 A JP 2004233869A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- display device
- optical system
- eyepiece optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
【課題】接眼光学系(11b)の収差及び/又はMTF特性に応じた逆補正を画像に施す機能を有した画像表示装置(10)において、その逆補正の特性を記憶する記憶手段(13)のメモリ量を削減しつつその逆補正の補正精度を保つ。
【解決手段】画像表示装置(10)の記憶手段(13b)には、画像において接眼光学系の光学中心に対応する点を中心として略等角度に分割された複数の部分領域の1つについての補正情報のみを格納する。接眼光学系(11b)の特性は、その光学中心周りに対称性を有しており、観察画像I上に生じる歪曲もその光学中心に対応する点の周りに対称性を有する。したがって、画像表示装置(10)の補正手段(13a,13g)がその対称性に基づく場合分け処理をすれば、その逆補正の補正精度を保つことができる。
【選択図】 図2
【解決手段】画像表示装置(10)の記憶手段(13b)には、画像において接眼光学系の光学中心に対応する点を中心として略等角度に分割された複数の部分領域の1つについての補正情報のみを格納する。接眼光学系(11b)の特性は、その光学中心周りに対称性を有しており、観察画像I上に生じる歪曲もその光学中心に対応する点の周りに対称性を有する。したがって、画像表示装置(10)の補正手段(13a,13g)がその対称性に基づく場合分け処理をすれば、その逆補正の補正精度を保つことができる。
【選択図】 図2
Description
【0001】
【発明の属する技術分野】
本発明は、ヘッドマウントディスプレイ(HMD)など、観察者の頭部に装着可能であり、かつ観察者の眼の前方に画像を虚像として表示する画像表示装置に関する。
【0002】
【従来の技術】
HMDには、観察者の眼の前方に画像を虚像として表示する表示部、及びその表示部を観察者の頭部に装着するための装着具が備えられる。表示部には、二次元表示素子と接眼光学系とが備えられる(特許文献1など)。
HMDの接眼光学系は、レンズ枚数やサイズを抑える必要があるので、収差が残存する。このため、接眼光学系を介して観察される画像(観察画像)Iは歪曲したり、コントラスト(特に画像周辺部の高い空間周波数の絵柄のコントラスト)が低下したりすることがある。
【0003】
それらの不都合を低減するため、元の画像(元画像)I”に対し接眼光学系の歪曲収差、MTF特性に応じた逆補正を施し、その補正された画像(補正画像)I’を表示する方法が発明された(特許文献2など)。
例えば、歪曲収差の影響で観察画像I上に生じる図9(a)のような樽型の歪曲を低減するためには、図9(a’)のような糸巻き型に逆補正された補正画像I’を表示すればよい。
【0004】
また、歪曲収差の影響で観察画像I上に生じる図9(b)のような糸巻き型の歪曲を低減するためには、図9(b’)のような樽型に逆補正された補正画像I’を表示すればよい。何れの場合も観察画像Iの歪曲は、図9(c)のとおり低減される。
また、MTF特性の影響で観察画像I上に生じるコントラストの低下を抑えるには、次のようにすればよい。
【0005】
一般に、観察画像Iのコントラストの低下量は、図9(d)に示すように、観察画像Iの位置により異なる。一般に、空間周波数が高い絵柄ほど、また、観察画像Iの周辺部ほどコントラストは低くなる傾向にある。
したがって、逆補正では、図9(e)に示すように、元画像I”の画素毎に空間周波数フィルタFを用意し、その空間周波数フィルタFで局所積和演算を施して元画像I”の画素値を変換すればよい。因みに、空間周波数フィルタFは、元画像I”の周辺画素に対応づけられたものほど強いエッジ強調処理をする。
【0006】
【特許文献1】
特開平8−320453号公報
【特許文献2】
特開平9−61750号公報
【0007】
【発明が解決しようとする課題】
ここで、以上の逆補正を効率的に行うために、HMDの回路部には、逆補正の補正特性の情報を記憶する記憶手段として、ルックアップテーブルが用いられることが多い。
【0008】
しかし、逆補正を精度高く行うためには、このルックアップテーブルのメモリ量を通常は大きく確保しなければならない。
例えば、歪曲収差に応じた逆補正を精度高く行うためには、元画像I”に非線形の座標変換を施す必要があるので、ルックアップテーブルには少なくとも補正画像I’の画素数と同じだけのテーブルアドレスが必要とされている。
【0009】
また、MTF特性に応じた逆補正を精度高く行うためには、元画像I”の画素毎にそれぞれ空間周波数フィルタFが必要なので、ルックアップテーブルには少なくとも元画像I”の画素数と同じだけのテーブルアドレスが必要とされている。
そこで本発明は、補正特性を記憶する記憶手段のメモリ量を削減しつつ逆補正の補正精度を保つことの可能な画像表示装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
請求項1に記載の画像表示装置は、二次元表示素子と、その二次元表示素子の表示画面の虚像を形成する接眼光学系とからなる表示部と、前記接眼光学系の収差及び/又はMTF特性に応じた逆補正を画像に施すための補正情報を格納した記憶手段と、前記記憶手段に格納された前記補正情報に基づき画像に逆補正を施すと共に、その逆補正された画像を前記二次元表示素子の表示画面に表示する補正手段と、前記虚像の形成位置が観察者の眼の略前方となるよう前記表示部を観察者の頭部に装着可能な装着手段とを備えた画像表示装置において、前記記憶手段は、前記画像のうち前記接眼光学系の光学中心に対応する点を中心として略等角度に分割された複数の部分領域のうち一つに関する前記補正情報を格納していることを特徴とする。
【0011】
請求項2に記載の画像表示装置は、請求項1に記載の画像表示装置において、前記部分領域は、前記画像のうち前記接眼光学系の光学中心に対応する点を通る線で分割される1/2の領域であることを特徴とする。
請求項3に記載の画像表示装置は、請求項1に記載の画像表示装置において、前記部分領域は、前記画像のうち前記接眼光学系の光学中心に対応する点を通る垂直線と水平線とで分割される1/4の領域であることを特徴とする。
【0012】
請求項4に記載の画像表示装置は、請求項1に記載の画像表示装置において、前記部分領域は、前記画像のうち、前記接眼光学系の光学中心に対応する点を通る垂直線及び水平線のうち長い方の直線と、それら直線に対し45°傾斜した直線とで分割される略1/8の領域であることを特徴とする。
請求項5に記載の画像表示装置は、カラー画像を表示可能な二次元表示素子と、その二次元表示素子の表示画面の虚像を形成する接眼光学系とからなる表示部と、前記接眼光学系の倍率色収差に応じた逆補正をカラー画像に施すための補正情報を格納した記憶手段と、前記記憶手段に格納された前記補正情報に基づきカラー画像に逆補正を施すと共に、その逆補正されたカラー画像を前記二次元表示素子の表示画面に表示する補正手段と、前記虚像の形成位置が観察者の眼の略前方となるよう前記表示部を観察者の頭部に装着可能な装着手段とを備えた画像表示装置において、前記記憶手段は、前記補正情報として、前記カラー画像の所定の色成分を基準とした他の色成分のずれの情報を格納していることを特徴とする。
【0013】
請求項6に記載の画像表示装置は、請求項5に記載の画像表示装置において、前記所定の色成分は、緑色成分であることを特徴とする。
請求項7に記載の画像表示装置は、請求項5に記載の画像表示装置において、前記所定の色成分は、前記カラー画像を構成する色成分の中で最も歪曲収差が小さい色成分であることを特徴とする。
【0014】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
[第1実施形態]
図1、図2、図3、図4を参照して本発明の第1実施形態について説明する。
本実施形態は、HMDの実施形態である。
【0015】
図1は、本実施形態のHMD10の外観図である。
図2は、HMD10の構成図である。
HMD10には、表示部11、回路部13、装着具12が備えられる。なお、回路部13は、表示部11に固定されていても、装着具12の何れかの箇所に固定されていても、またHMD10の本体とは別体に用意されてもよい(図1では、不図示)。
【0016】
表示部11には、二次元表示素子(以下、液晶表示素子を用いて説明し、「LCD」と略称する。)11aと接眼光学系11bとが備えられる。
回路部13は、LCD11aの表示画面E上に補正画像I’を表示するための回路である。
回路部13には、制御回路13a、アナログ処理回路13c、A/D変換回路13d、フレームメモリ13e、13f、画像処理回路13g、ルックアップテーブル(LUT)13bなどが備えられる。
【0017】
外部から回路部13に入力される元画像I”(一般に、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bそれぞれの動画像又は静止画像データである。)は、アナログ処理回路13c、A/D変換回路13dを介してフレームメモリ13eに入力される。
フレームメモリ13eに入力された元画像I”は、画像処理回路13gにより画像処理された後、補正画像I’として、フレームメモリ13fを介して表示部11のLCD11aに送出される。
【0018】
回路部13内のこれら一連の処理は、制御回路13aによって制御される。
表示部11内のLCD11aの表示画面E上には、回路部13から入力された信号に基づき補正画像I’が表示される。
表示部11内の接眼光学系11bは、LCD11aの表示画面Eの虚像をLCD11aの背後に形成する。
【0019】
すなわち、接眼光学系11bは、LCD11aの表示画面Eの各位置から射出する光束をそれぞれ平行光束に近づけて所定の位置(アイポイントE.P.)に導く。
装着具12は、観察者の眼2の瞳の位置にアイポイントE.P.が位置するよう、その表示部11を観察者の頭部に装着可能な構造をしている。
【0020】
眼2の瞳の位置にアイポイントE.P.が配置された状態では、観察者にはLCD11aの表示画面Eが実際よりも遠方にあるように見える。
なお、本実施形態のHMD10においては、眼2に対する表示部11の位置関係を観察者が積極的に変更することができるよう、調整機構(図1符号16,17,18)が装着具12に設けられる。
【0021】
図1に符号16,17で示したのは蝶番機構であり、図1に符号18で示したのはスライド機構である。
例えば、装着具12は、観察者の左右の耳にそれぞれ装着される耳かけ式のヘッドホン12R、12Lと、左右のヘッドホン12R、12Lを連結するリアアーム12bと、リアアーム12bに連結されたディスプレイアーム12cからなる。表示部11は、ディスプレイアーム12cの先端部に固定される。
【0022】
ディスプレイアーム12cは蝶番機構16,17によって矢印L1、L2の方向に折り曲げ可能である。
ディスプレイアーム12cはスライド機構18によって矢印L3の方向に伸縮可能である。
蝶番機構16,17、及びスライド機構18を利用すれば、観察者は眼2に対する表示部11の位置や姿勢を自在に変化させることができる。
【0023】
ところで、本実施形態のHMD10において、回路部13内の画像処理回路13gによる画像処理には、階調変換処理などの一般の処理の他、接眼光学系11bの歪曲収差に応じた逆補正(以下、「逆歪曲補正」という。)、及び/又はMTF特性に応じた逆補正(以下、「逆MTF補正」という。)を元画像I”に施す処理も含まれる。
【0024】
以下、逆歪曲補正の処理が元画像I”に施される場合について説明する。
フレームメモリ13eには、元画像I”が格納され、フレームメモリ13fには、補正画像I’が格納される。
LUT13bには、逆歪曲補正の補正特性を示す情報が予め格納されている。
この逆歪曲補正の補正特性は、接眼光学系11bから(接眼光学系11bの設計データや測定データなどから)予め求まる。
【0025】
ここで、本実施形態の逆歪曲補正の処理を説明するに当たり、比較のため、従来のHMDにおける逆歪曲補正の処理を説明する。
図3は、従来のHMDにおける逆歪曲補正の処理を説明する図である。
従来、LUT13bの各テーブルアドレス(x,y)は、補正画像I’の各画素アドレス(x,y)に対応づけられていた。
【0026】
テーブルアドレス(x,y)には、補正画像I’の画素アドレス(x,y)に書き込まれるべき画素値を示す元画像I”の画素アドレス(x’,y’)の情報が格納されていた。
制御回路13aは、補正画像I’の画素アドレス(x,y)に書き込むべき画素値を求めるに当たり、LUT13bのテーブルアドレス(x,y)にアクセスし(図3(1))、そのテーブルアドレス(x,y)に格納された画素アドレス(x’,y’)の情報を画像処理回路13gに与えていた。
【0027】
画像処理回路13gは、フレームメモリ13eにおける元画像I”の画素アドレス(x’,y’)の画素値を参照し(図3(2))、その画素値を、フレームメモリ13fにおける補正画像I’の画素アドレス(x,y)に書き込んでいた(図3(3))。
以上の処理が、フレームメモリ13fにおける補正画像I’の全ての画素アドレス(x,y)について行われることにより、逆歪曲補正が終了していた。
【0028】
一方、本実施形態の逆歪曲補正の処理は次のとおりである。
図4は、本実施形態の回路部13による逆歪曲補正の処理を説明する図である。
本実施形態では、「接眼光学系11bの特性は、その光学中心周りに対称性を有しており、観察画像I上に生じる歪曲もその光学中心に対応する点の周りに対称性を有する」という事実を利用する。
【0029】
本実施形態のLUT13bは、逆歪曲補正の補正特性を示す情報を、補正画像I’において接眼光学系11bの光学中心に対応する点(x0,y0)から縁部に至る部分領域に関してのみ格納している。
本実施形態においてこの部分領域は、補正画像I’において接眼光学系11bの光学中心に対応する点(x0,y0)を通る線で分割される1/2の領域である。
【0030】
したがって、LUT13bに用意すべきテーブルアドレス(x,y)は、1/2に削減される。
そして、LUT13bのテーブルアドレス(x,y)は、補正画像I’の単一の画素アドレスではなく、次のとおり、複数の画素アドレスに対応づけられる。
【0031】
以下、LUT13bのテーブルアドレス(x,y)が図4中斜線部のとおりに削減された場合について説明する。
制御回路13aは、補正画像I’の画素アドレス(x,y)に書き込むべき画素値を求めるに当たり、アクセス先を、LUT13bのテーブルアドレス(x,y)ではなく、LUT13bのテーブルアドレス(|x−x0|,y)とする(図4(1))。
【0032】
制御回路13aは、そのテーブルアドレス(|x−x0|,y)に格納された画素アドレス(x’, y’)の情報を参照すると、
画素アドレス(x’+ x0, y’)(x≧ x0の場合)、又は、
画素アドレス(x0−x’,y’)(x<x0の場合)の情報を画像処理回路13gに与える。
【0033】
画像処理回路13gは、フレームメモリ13eにおける元画像I”のうち前記与えられた画素アドレスの画素値を参照し(図4(2))、その画素値を、フレームメモリ13fにおける補正画像I’の画素アドレス(x,y)に書き込む(図4(3))。
以上の処理が、フレームメモリ13fにおける補正画像I’の全ての画素アドレス(x,y)について行われることにより、逆歪曲補正が終了する。
【0034】
このように、本実施形態の回路部13では、LUT13bのメモリ量が1/2に削減されるが、制御回路13aが上記のとおり光学中心周りの対称性に基づく「場合分け処理」を行う。
したがって、本実施形態のHMD10は、記憶手段(ここではLUT13b)のメモリ量を1/2に削減しつつ逆歪曲補正の補正精度を保つことができる。
【0035】
なお、接眼光学系11bは歪曲収差だけでなく倍率色収差も有するので、観察画像Iに生じる歪曲の程度は、色によって異なる。したがって、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bの間では、逆歪曲補正に必要な補正特性が若干異なる。
このため、LUT13bは、元画像I”のR色成分I”r、G色成分I”g、B色成分I”cに対しそれぞれ用意され(以下、LUT13b−r,13b−g,13b−bとする。図2参照。)、かつ、制御回路13a及び画像処理回路13gはそれらLUT13b−r,13b−g,13b−bに基づき、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bに対しそれぞれ個別の逆歪曲補正を施してもよい。
【0036】
この場合も同様に、LUT13b−r,13b−g,13b−bのメモリ量をそれぞれ1/2に削減し、光学中心周りの対称性に基づく「場合分け処理」を制御回路13aに行わせることができる。
[第1実施形態の第1変形例]
図5を参照して本発明の第1実施形態の第1変形例について説明する。
【0037】
図5は、本変形例の回路部13による逆歪曲補正の処理を説明する図である。
本変形例でも、「接眼光学系11bの特性は、光学中心周りに対称性を有しており、観察画像I上に生じる歪曲も、その光学中心に対応する点の周りに対称性を有する」という事実を利用する。
本変形例のLUT13bも、逆歪曲補正の補正特性を示す情報を、補正画像I’において接眼光学系11bの光学中心に対応する点(x0,y0)から縁部に至る部分領域に関してのみ格納している。
【0038】
本実施形態においてこの部分領域は、補正画像I’において接眼光学系11bの光学中心に対応する点(x0,y0)を通る垂直線及び水平線で分割される1/4の領域である。
したがって、LUT13bに用意すべきテーブルアドレス(x,y)は、1/4に削減される。
【0039】
そして、LUT13bのテーブルアドレス(x,y)は、補正画像I’の単一の画素アドレスではなく、次のとおり、複数の画素アドレスに対応づけられる。
以下、LUT13bのテーブルアドレス(x,y)が図5中斜線部のとおりに削減された場合について説明する。
制御回路13aは、補正画像I’の画素アドレス(x,y)に書き込むべき画素値を求めるに当たり、アクセス先を、LUT13bのテーブルアドレス(|x−x0|,|y−y0|)とする(図5(1))。
【0040】
制御回路13aは、そのテーブルアドレス(|x−x0|,|y−y0|)に格納された画素アドレス(x’, y’)の情報を参照すると、
画素アドレス(x’+x0,y’+y0)(x≧x0,かつy≧y0の場合) 、又は、
画素アドレス(x’+x0 ,y0−y’)(x≧x0,かつy<y0の場合) 、又は、
画素アドレス(x0−x’, y’+y0)(x<x0,かつy≧y0の場合) 、又は、
画素アドレス(x0−x’,y0−y’)(x<x0,かつy<y0の場合)の情報を画像処理回路13gに与える。
【0041】
画像処理回路13gは、フレームメモリ13eの元画像I”のうち前記与えられた画素アドレスの画素値を参照し(図5(2))、その画素値を、フレームメモリ13fにおける補正画像I’の画素アドレス(x,y)に書き込む(図5(3))。
以上の処理が、フレームメモリ13fの補正画像I’の全ての画素アドレス(x,y)について行われることにより、逆歪曲補正が終了する。
【0042】
このように、本変形例の回路部13では、LUT13bのメモリ量が1/4に削減されるが、制御回路13aが上記のとおり光学中心周りの対称性に基づく「場合分け処理」を行う。
したがって、本変形例のHMD10は、記憶手段(ここではLUT13b)のメモリ量を1/4に削減しつつ逆歪曲補正の補正精度を保つことができる。
【0043】
なお、本変形例においても、LUT13bは、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bに対しそれぞれ用意され(以下、LUT13b−r,13b−g,13b−bとする。)、かつ、制御回路13a及び画像処理回路13gはそれらLUT13b−r,13b−g,13b−bに基づき、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bに対しそれぞれ個別の逆歪曲補正を施してもよい。
【0044】
この場合も同様に、LUT13b−r,13b−g,13b−bのメモリ量をそれぞれ1/4に削減し、光学中心周りの対称性に基づく「場合分け処理」を制御回路13aに行わせることができる。
[第1実施形態の第2変形例]
図6を参照して本発明の第1実施形態の第2変形例について説明する。
【0045】
図6は、本変形例の回路部13による逆歪曲補正の処理を説明する図である。
本変形例でも、「接眼光学系11bの特性は、光学中心周りに対称性を有しており、観察画像I上に生じる歪曲も、その光学中心の周りに対称性を有する」という事実を利用する。
本変形例のLUT13bも、逆歪曲補正の補正特性を示す情報を、補正画像I’において接眼光学系11bの光学中心に対応する点(x0,y0)から縁部に至る部分領域に関してのみ格納している。
【0046】
本実施形態においてこの部分領域は、補正画像I’において接眼光学系11bの光学中心に対応する点(x0,y0)を通る垂直線及び水平線のうち長い方の直線と、それら直線に対し45°傾斜した直線とで分割される略1/8の領域である。
【0047】
したがって、LUT13bに用意すべきテーブルアドレス(x,y)は、略1/8に削減される。
そして、LUT13bのテーブルアドレス(x,y)は、補正画像I’の単一の画素アドレスではなく、次のとおり、複数の画素アドレスに対応づけられる。
以下、LUT13bのテーブルアドレス(x,y)が図6中斜線部のとおりに削減された場合について説明する。
【0048】
制御回路13aは、補正画像I’の画素アドレス(x,y)に書き込むべき画素値を求めるに当たり、アクセス先を、
LUT13bのテーブルアドレス(|x−x0|,|y−y0|)(|x−x0|≧|y−y0|の場合)、又は、
LUT13bのテーブルアドレス(|y−y0|,|x−x0|)(|x−x0|<|y−y0|の場合)
とする(図6(1))。
【0049】
制御回路13aは、そのアクセス先のテーブルアドレスに格納された画素アドレス(x’, y’)の情報を参照すると、
画素アドレス(x’+x0,y’+y0)(x≧x0,かつy≧y0,かつ|x−x0|≧|y−y0|の場合)、又は、
画素アドレス(y’+x0,x’+y0)(x≧x0,かつy≧y0,かつ|x−x0|<|y−y0|の場合)、又は、
画素アドレス(x’+x0,y0−y’)(x≧x0,かつy<y0,かつ|x−x0|≧|y−y0|の場合)、又は、
画素アドレス(y’+x0,y0−x’)(x≧x0,かつy<y0,かつ|x−x0|<|y−y0|の場合)、又は、
画素アドレス(x0−x’,y’+y0)(x<x0,かつy≧y0,かつ|x−x0|≧|y−y0|の場合)、又は、
画素アドレス(x0−y’,x’+y0)(x<x0,かつy≧y0,かつ|x−x0|<|y−y0|の場合)、又は、
画素アドレス(x0−x’,y0−y’)(x<x0,かつy<y0,かつ|x−x0|≧|y−y0|の場合)、又は、
画素アドレス(x0−y’,y0−x’)(x<x0,かつy<y0,かつ|x−x0|<|y−y0|の場合)の情報を画像処理回路13gに与える。
【0050】
画像処理回路13gは、フレームメモリ13eの元画像I”のうち前記与えられた画素アドレスの画素値を参照し(図6(2))、その画素値を、フレームメモリ13fにおける補正画像I’の画素アドレス(x,y)に書き込む(図6(3))。
以上の処理が、フレームメモリ13fの補正画像I’の全ての画素アドレス(x,y)について行われることにより、逆歪曲補正が終了する。
【0051】
このように、本変形例の回路部13では、LUT13bのメモリ量が略1/8に削減されるが、制御回路13aが上記のとおり光学中心周りの対称性に基づく「場合分け処理」を行う。
したがって、本変形例のHMD10は、記憶手段(ここではLUT13b)のメモリ量を略1/8に削減しつつ逆歪曲補正の補正精度を保つことができる。
【0052】
なお、本変形例においても、LUT13bは、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bに対しそれぞれ用意され(以下、LUT13b−r,13b−g,13b−bとする。)、かつ、制御回路13a及び画像処理回路13gはそれらLUT13b−r,13b−g,13b−bに基づき、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bに対しそれぞれ個別の逆歪曲補正を施してもよい。
【0053】
この場合も同様に、LUT13b−r,13b−g,13b−bのメモリ量をそれぞれ略1/8に削減し、光学中心周りの対称性に基づく「場合分け処理」を制御回路13aに行わせることができる。
【0054】
[その他]
なお、第1実施形態、第1変形例、第2変形例では、逆歪曲補正の処理が元画像I”に施される場合についてのみ説明したが、以下のとおり逆MTF補正の処理が元画像I”に施される場合にも、同様にして記憶手段(ここではLUT)のメモリ量の削減を図ることができる。
【0055】
先ず、回路部13には、逆MTF補正の補正特性を示す情報が予め格納されたLUT13hが備えられる(図2点線部)。
この逆MTF補正の補正特性は、接眼光学系11bから(接眼光学系11bの設計データや測定データなどから)予め求まる。
LUT13hのテーブルアドレス(x,y)は、元画像I”(又は補正画像I)の画素アドレス(x,y)に対応づけられている。
【0056】
テーブルアドレス(x,y)には、元画像I”のうち画素アドレス(x,y)の画素に適用されるべき空間周波数フィルタF(x,y)の情報が格納されている。
制御回路13aは、LUT13hのテーブルアドレス(x,y)にアクセスし、そのテーブルアドレス(x,y)に格納された空間周波数フィルタF(x,y)の情報を参照し、画像処理回路13gに与える。
【0057】
画像処理回路13gは、フレームメモリ13eにおける元画像I”の画素アドレス(x,y)及びその周辺アドレスの画素値を参照し、それら画素値に対しその与えられた空間周波数フィルタF(x,y)による局所積和演算を施し、得られた値をフレームメモリ13fにおける補正画像I’の画素アドレス(x,y)に書き込む。
【0058】
以上の処理が、元画像I”の全ての画素アドレス(x,y)について行われることにより、逆MTF補正が終了する。
この場合も第1実施形態及びその変形例と同様に、LUT13hのメモリ量を1/2,1/4,1/8などに削減し、光学中心周りの対称性に基づく「場合分け処理」を制御回路13aに行わせることができる。
【0059】
このようにすれば、逆MTF補正の補正精度を保ちながら記憶手段(ここではLUT13h)のメモリ量を削減することができる。
なお、以上の実施形態、変形例においては、補正画像I’(又は元画像I”)上の光学中心に対応する点(x0,y0)に代えて、補正画像I’(又は元画像I”)上の表示画面Eの中心(x0’,y0’)を用いても良い(LCD11aの表示画面Eの中心と、接眼光学系11bの光学中心に対応する点とは、通常は略一致しているので。)。
【0060】
[第2実施形態]
図7、図8を参照して本発明の第2実施形態について説明する。ここでは、第1実施形態のHMD10との相違点についてのみ説明し、その他の説明を省略する。
図7は、本実施形態のHMD20の構成図である。
【0061】
本実施形態のHMD20は、第1実施形態のHMD10において回路部13に代えて回路部23が備えられたものである。
回路部23は、回路部13において、制御回路13a,画像処理回路13g,LUT13b−r,13b−g,13b−bに代えて、制御回路23a,画像処理回路23g,LUT23b−r,23b−gが備えられたものである。
【0062】
本実施形態の画像処理回路23gによる画像処理には、接眼光学系11bの倍率色収差に応じた逆補正(以下、「逆色収差補正」という。)を元画像I”に施す処理が実施される。
一般に、観察画像I上に生じる色のずれ(図8(a)参照)を低減するためには、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bのそれぞれを歪曲させてできる補正画像I’(R色成分I’r、G色成分I’g、B色成分I’b)を表示し、観察画像I上でR色成分Ir,G色成分Ig,B色成分Ibが互いに重なるようにすることが考えられる。
【0063】
しかし、そのためには記憶手段(ここではLUT23b)のメモリ量が大きくなるので、本実施形態の逆色収差補正では、図8(a’)に示すように、元画像I”のR色成分I”rとB色成分I”bとを、観察画像I上でG色成分IgにR色成分IrとB色成分Ibとが重なる方向にそれぞれ歪曲させ、元画像I”のG色成分I”gについては何ら歪曲させないこととする。
【0064】
このとき観察画像Iには、図8(c)のように歪曲は残るものの、色のずれは確実に無くなる。
したがって、本実施形態のHMD20は、記憶手段(ここではLUT23b)の全体のメモリ量を削減(2/3に削減)しつつ倍率色収差を確実に補正することができる。
【0065】
なお、本実施形態の回路部23において、LUT23b−rは、元画像I”のR色成分I”rに対し用意されたものであり、R色成分I”rに与えるべき歪曲の情報を格納している。
また、LUT12b−bは、元画像I”のB色成分I”bに対し用意されたものであり、B色成分I”bに与えるべき歪曲の情報を格納している。
【0066】
これらの情報は、接眼光学系11bから(接眼光学系11bの設計データや測定データなどから)予め求まる。
具体的な処理は、以下のとおりである。以下に説明する処理と同様に、B色成分I”bに対してもLUT23b−bに基づく処理が施される。
LUT23b−rのテーブルアドレス(x,y)は、補正画像I’のR色成分I’rの画素アドレス(x,y)に対応づけられている。
【0067】
テーブルアドレス(x,y)には、補正画像I’のR色成分I’rの画素アドレス(x,y)に書き込まれるべき画素値を示す元画像I”のR色成分I”rの画素アドレス(x’,y’)の情報が格納されている。
制御回路23aは、LUT23b−rのテーブルアドレス(x,y)にアクセスし、そのテーブルアドレス(x,y)に格納された画素アドレス(x’,y’)の情報を参照し、その情報を画像処理回路23gに与える。
【0068】
画像処理回路23gは、フレームメモリ13eにおける元画像I”のR色成分I”rの画素アドレス(x’,y’)の画素値を参照し、その画素値を、フレームメモリ13fにおける補正画像I’のR色成分I’rの画素アドレス(x,y)に書き込む。
以上の処理が、フレームメモリ13fにおける補正画像I’のR色成分I’rの全ての画素アドレス(x,y)について行われることにより、R色成分I”rの逆色収差補正が終了する。
【0069】
[その他]
なお、本実施形態のHMD20においては、記憶手段(ここでは、LUT23b−r,23b−b)のメモリ量を第1実施形態と同様に削減することもできる。
本実施形態のように、逆補正において歪曲させない色としては、例えば緑が良い。緑は人間が最も感度よく見ることができる色であるため、G色成分の画像を選択することで、逆補正により生ずる画像の劣化を感じにくくすることができる。
【0070】
なお、本実施形態では、G色成分の画像に他の色成分の画像が重なるように逆色収差補正を行ったが、本発明はこれに限られない。
そもそも接眼光学系11bにより生じてしまう歪曲収差の最も小さい色成分の画像に、他の色成分の画像が合うようにすることでもよい。
このように歪曲収差の最も小さい色成分の画像に他の色成分の画像が合うよう逆色収差補正をかけることで、歪曲収差が小さい映像を得ることができ、さらに先の実施形態と同様な効果が得られる。
【0071】
【発明の効果】
以上説明したとおり本発明によれば、記憶手段のメモリ量を削減しつつ逆補正の補正精度を保つことの可能な画像表示装置が実現する。
【図面の簡単な説明】
【図1】第1実施形態のHMD10の外観図である。
【図2】HMD10の構成図である。
【図3】従来のHMDにおける逆歪曲補正の処理を説明する図である。
【図4】第1実施形態の回路部13による逆歪曲補正の処理を説明する図である。
【図5】第1実施形態の第1変形例の回路部13による逆歪曲補正の処理を説明する図である。
【図6】第1実施形態の第2変形例の回路部13による逆歪曲補正の処理を説明する図である。
【図7】第2実施形態のHMD20の構成図である。
【図8】回路部23による逆色収差補正の処理を説明する図である。
【図9】逆補正を説明する図である。
【符号の説明】
2 眼
10,20 HMD(画像表示装置に対応。)
13,23 回路部
13a,23a 制御回路(補正手段に対応。)
13b,13h,23b ルックアップテーブル(LUT)(記憶手段に対応。)
13c アナログ処理回路
13d A/D変換回路
13e,13f フレームメモリ
13g,23g 画像処理回路(補正手段に対応。)
11 表示部(表示部に対応。)
11a LCD(二次元表示素子に対応。)
11b 接眼光学系
12 装着具(装着手段に対応。)
12L,12R ヘッドホン
12b リアアーム
12c ディスプレイアーム
16,17 蝶番機構(調整機構に対応。)
18 スライド機構(調整機構に対応。)
【発明の属する技術分野】
本発明は、ヘッドマウントディスプレイ(HMD)など、観察者の頭部に装着可能であり、かつ観察者の眼の前方に画像を虚像として表示する画像表示装置に関する。
【0002】
【従来の技術】
HMDには、観察者の眼の前方に画像を虚像として表示する表示部、及びその表示部を観察者の頭部に装着するための装着具が備えられる。表示部には、二次元表示素子と接眼光学系とが備えられる(特許文献1など)。
HMDの接眼光学系は、レンズ枚数やサイズを抑える必要があるので、収差が残存する。このため、接眼光学系を介して観察される画像(観察画像)Iは歪曲したり、コントラスト(特に画像周辺部の高い空間周波数の絵柄のコントラスト)が低下したりすることがある。
【0003】
それらの不都合を低減するため、元の画像(元画像)I”に対し接眼光学系の歪曲収差、MTF特性に応じた逆補正を施し、その補正された画像(補正画像)I’を表示する方法が発明された(特許文献2など)。
例えば、歪曲収差の影響で観察画像I上に生じる図9(a)のような樽型の歪曲を低減するためには、図9(a’)のような糸巻き型に逆補正された補正画像I’を表示すればよい。
【0004】
また、歪曲収差の影響で観察画像I上に生じる図9(b)のような糸巻き型の歪曲を低減するためには、図9(b’)のような樽型に逆補正された補正画像I’を表示すればよい。何れの場合も観察画像Iの歪曲は、図9(c)のとおり低減される。
また、MTF特性の影響で観察画像I上に生じるコントラストの低下を抑えるには、次のようにすればよい。
【0005】
一般に、観察画像Iのコントラストの低下量は、図9(d)に示すように、観察画像Iの位置により異なる。一般に、空間周波数が高い絵柄ほど、また、観察画像Iの周辺部ほどコントラストは低くなる傾向にある。
したがって、逆補正では、図9(e)に示すように、元画像I”の画素毎に空間周波数フィルタFを用意し、その空間周波数フィルタFで局所積和演算を施して元画像I”の画素値を変換すればよい。因みに、空間周波数フィルタFは、元画像I”の周辺画素に対応づけられたものほど強いエッジ強調処理をする。
【0006】
【特許文献1】
特開平8−320453号公報
【特許文献2】
特開平9−61750号公報
【0007】
【発明が解決しようとする課題】
ここで、以上の逆補正を効率的に行うために、HMDの回路部には、逆補正の補正特性の情報を記憶する記憶手段として、ルックアップテーブルが用いられることが多い。
【0008】
しかし、逆補正を精度高く行うためには、このルックアップテーブルのメモリ量を通常は大きく確保しなければならない。
例えば、歪曲収差に応じた逆補正を精度高く行うためには、元画像I”に非線形の座標変換を施す必要があるので、ルックアップテーブルには少なくとも補正画像I’の画素数と同じだけのテーブルアドレスが必要とされている。
【0009】
また、MTF特性に応じた逆補正を精度高く行うためには、元画像I”の画素毎にそれぞれ空間周波数フィルタFが必要なので、ルックアップテーブルには少なくとも元画像I”の画素数と同じだけのテーブルアドレスが必要とされている。
そこで本発明は、補正特性を記憶する記憶手段のメモリ量を削減しつつ逆補正の補正精度を保つことの可能な画像表示装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
請求項1に記載の画像表示装置は、二次元表示素子と、その二次元表示素子の表示画面の虚像を形成する接眼光学系とからなる表示部と、前記接眼光学系の収差及び/又はMTF特性に応じた逆補正を画像に施すための補正情報を格納した記憶手段と、前記記憶手段に格納された前記補正情報に基づき画像に逆補正を施すと共に、その逆補正された画像を前記二次元表示素子の表示画面に表示する補正手段と、前記虚像の形成位置が観察者の眼の略前方となるよう前記表示部を観察者の頭部に装着可能な装着手段とを備えた画像表示装置において、前記記憶手段は、前記画像のうち前記接眼光学系の光学中心に対応する点を中心として略等角度に分割された複数の部分領域のうち一つに関する前記補正情報を格納していることを特徴とする。
【0011】
請求項2に記載の画像表示装置は、請求項1に記載の画像表示装置において、前記部分領域は、前記画像のうち前記接眼光学系の光学中心に対応する点を通る線で分割される1/2の領域であることを特徴とする。
請求項3に記載の画像表示装置は、請求項1に記載の画像表示装置において、前記部分領域は、前記画像のうち前記接眼光学系の光学中心に対応する点を通る垂直線と水平線とで分割される1/4の領域であることを特徴とする。
【0012】
請求項4に記載の画像表示装置は、請求項1に記載の画像表示装置において、前記部分領域は、前記画像のうち、前記接眼光学系の光学中心に対応する点を通る垂直線及び水平線のうち長い方の直線と、それら直線に対し45°傾斜した直線とで分割される略1/8の領域であることを特徴とする。
請求項5に記載の画像表示装置は、カラー画像を表示可能な二次元表示素子と、その二次元表示素子の表示画面の虚像を形成する接眼光学系とからなる表示部と、前記接眼光学系の倍率色収差に応じた逆補正をカラー画像に施すための補正情報を格納した記憶手段と、前記記憶手段に格納された前記補正情報に基づきカラー画像に逆補正を施すと共に、その逆補正されたカラー画像を前記二次元表示素子の表示画面に表示する補正手段と、前記虚像の形成位置が観察者の眼の略前方となるよう前記表示部を観察者の頭部に装着可能な装着手段とを備えた画像表示装置において、前記記憶手段は、前記補正情報として、前記カラー画像の所定の色成分を基準とした他の色成分のずれの情報を格納していることを特徴とする。
【0013】
請求項6に記載の画像表示装置は、請求項5に記載の画像表示装置において、前記所定の色成分は、緑色成分であることを特徴とする。
請求項7に記載の画像表示装置は、請求項5に記載の画像表示装置において、前記所定の色成分は、前記カラー画像を構成する色成分の中で最も歪曲収差が小さい色成分であることを特徴とする。
【0014】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
[第1実施形態]
図1、図2、図3、図4を参照して本発明の第1実施形態について説明する。
本実施形態は、HMDの実施形態である。
【0015】
図1は、本実施形態のHMD10の外観図である。
図2は、HMD10の構成図である。
HMD10には、表示部11、回路部13、装着具12が備えられる。なお、回路部13は、表示部11に固定されていても、装着具12の何れかの箇所に固定されていても、またHMD10の本体とは別体に用意されてもよい(図1では、不図示)。
【0016】
表示部11には、二次元表示素子(以下、液晶表示素子を用いて説明し、「LCD」と略称する。)11aと接眼光学系11bとが備えられる。
回路部13は、LCD11aの表示画面E上に補正画像I’を表示するための回路である。
回路部13には、制御回路13a、アナログ処理回路13c、A/D変換回路13d、フレームメモリ13e、13f、画像処理回路13g、ルックアップテーブル(LUT)13bなどが備えられる。
【0017】
外部から回路部13に入力される元画像I”(一般に、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bそれぞれの動画像又は静止画像データである。)は、アナログ処理回路13c、A/D変換回路13dを介してフレームメモリ13eに入力される。
フレームメモリ13eに入力された元画像I”は、画像処理回路13gにより画像処理された後、補正画像I’として、フレームメモリ13fを介して表示部11のLCD11aに送出される。
【0018】
回路部13内のこれら一連の処理は、制御回路13aによって制御される。
表示部11内のLCD11aの表示画面E上には、回路部13から入力された信号に基づき補正画像I’が表示される。
表示部11内の接眼光学系11bは、LCD11aの表示画面Eの虚像をLCD11aの背後に形成する。
【0019】
すなわち、接眼光学系11bは、LCD11aの表示画面Eの各位置から射出する光束をそれぞれ平行光束に近づけて所定の位置(アイポイントE.P.)に導く。
装着具12は、観察者の眼2の瞳の位置にアイポイントE.P.が位置するよう、その表示部11を観察者の頭部に装着可能な構造をしている。
【0020】
眼2の瞳の位置にアイポイントE.P.が配置された状態では、観察者にはLCD11aの表示画面Eが実際よりも遠方にあるように見える。
なお、本実施形態のHMD10においては、眼2に対する表示部11の位置関係を観察者が積極的に変更することができるよう、調整機構(図1符号16,17,18)が装着具12に設けられる。
【0021】
図1に符号16,17で示したのは蝶番機構であり、図1に符号18で示したのはスライド機構である。
例えば、装着具12は、観察者の左右の耳にそれぞれ装着される耳かけ式のヘッドホン12R、12Lと、左右のヘッドホン12R、12Lを連結するリアアーム12bと、リアアーム12bに連結されたディスプレイアーム12cからなる。表示部11は、ディスプレイアーム12cの先端部に固定される。
【0022】
ディスプレイアーム12cは蝶番機構16,17によって矢印L1、L2の方向に折り曲げ可能である。
ディスプレイアーム12cはスライド機構18によって矢印L3の方向に伸縮可能である。
蝶番機構16,17、及びスライド機構18を利用すれば、観察者は眼2に対する表示部11の位置や姿勢を自在に変化させることができる。
【0023】
ところで、本実施形態のHMD10において、回路部13内の画像処理回路13gによる画像処理には、階調変換処理などの一般の処理の他、接眼光学系11bの歪曲収差に応じた逆補正(以下、「逆歪曲補正」という。)、及び/又はMTF特性に応じた逆補正(以下、「逆MTF補正」という。)を元画像I”に施す処理も含まれる。
【0024】
以下、逆歪曲補正の処理が元画像I”に施される場合について説明する。
フレームメモリ13eには、元画像I”が格納され、フレームメモリ13fには、補正画像I’が格納される。
LUT13bには、逆歪曲補正の補正特性を示す情報が予め格納されている。
この逆歪曲補正の補正特性は、接眼光学系11bから(接眼光学系11bの設計データや測定データなどから)予め求まる。
【0025】
ここで、本実施形態の逆歪曲補正の処理を説明するに当たり、比較のため、従来のHMDにおける逆歪曲補正の処理を説明する。
図3は、従来のHMDにおける逆歪曲補正の処理を説明する図である。
従来、LUT13bの各テーブルアドレス(x,y)は、補正画像I’の各画素アドレス(x,y)に対応づけられていた。
【0026】
テーブルアドレス(x,y)には、補正画像I’の画素アドレス(x,y)に書き込まれるべき画素値を示す元画像I”の画素アドレス(x’,y’)の情報が格納されていた。
制御回路13aは、補正画像I’の画素アドレス(x,y)に書き込むべき画素値を求めるに当たり、LUT13bのテーブルアドレス(x,y)にアクセスし(図3(1))、そのテーブルアドレス(x,y)に格納された画素アドレス(x’,y’)の情報を画像処理回路13gに与えていた。
【0027】
画像処理回路13gは、フレームメモリ13eにおける元画像I”の画素アドレス(x’,y’)の画素値を参照し(図3(2))、その画素値を、フレームメモリ13fにおける補正画像I’の画素アドレス(x,y)に書き込んでいた(図3(3))。
以上の処理が、フレームメモリ13fにおける補正画像I’の全ての画素アドレス(x,y)について行われることにより、逆歪曲補正が終了していた。
【0028】
一方、本実施形態の逆歪曲補正の処理は次のとおりである。
図4は、本実施形態の回路部13による逆歪曲補正の処理を説明する図である。
本実施形態では、「接眼光学系11bの特性は、その光学中心周りに対称性を有しており、観察画像I上に生じる歪曲もその光学中心に対応する点の周りに対称性を有する」という事実を利用する。
【0029】
本実施形態のLUT13bは、逆歪曲補正の補正特性を示す情報を、補正画像I’において接眼光学系11bの光学中心に対応する点(x0,y0)から縁部に至る部分領域に関してのみ格納している。
本実施形態においてこの部分領域は、補正画像I’において接眼光学系11bの光学中心に対応する点(x0,y0)を通る線で分割される1/2の領域である。
【0030】
したがって、LUT13bに用意すべきテーブルアドレス(x,y)は、1/2に削減される。
そして、LUT13bのテーブルアドレス(x,y)は、補正画像I’の単一の画素アドレスではなく、次のとおり、複数の画素アドレスに対応づけられる。
【0031】
以下、LUT13bのテーブルアドレス(x,y)が図4中斜線部のとおりに削減された場合について説明する。
制御回路13aは、補正画像I’の画素アドレス(x,y)に書き込むべき画素値を求めるに当たり、アクセス先を、LUT13bのテーブルアドレス(x,y)ではなく、LUT13bのテーブルアドレス(|x−x0|,y)とする(図4(1))。
【0032】
制御回路13aは、そのテーブルアドレス(|x−x0|,y)に格納された画素アドレス(x’, y’)の情報を参照すると、
画素アドレス(x’+ x0, y’)(x≧ x0の場合)、又は、
画素アドレス(x0−x’,y’)(x<x0の場合)の情報を画像処理回路13gに与える。
【0033】
画像処理回路13gは、フレームメモリ13eにおける元画像I”のうち前記与えられた画素アドレスの画素値を参照し(図4(2))、その画素値を、フレームメモリ13fにおける補正画像I’の画素アドレス(x,y)に書き込む(図4(3))。
以上の処理が、フレームメモリ13fにおける補正画像I’の全ての画素アドレス(x,y)について行われることにより、逆歪曲補正が終了する。
【0034】
このように、本実施形態の回路部13では、LUT13bのメモリ量が1/2に削減されるが、制御回路13aが上記のとおり光学中心周りの対称性に基づく「場合分け処理」を行う。
したがって、本実施形態のHMD10は、記憶手段(ここではLUT13b)のメモリ量を1/2に削減しつつ逆歪曲補正の補正精度を保つことができる。
【0035】
なお、接眼光学系11bは歪曲収差だけでなく倍率色収差も有するので、観察画像Iに生じる歪曲の程度は、色によって異なる。したがって、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bの間では、逆歪曲補正に必要な補正特性が若干異なる。
このため、LUT13bは、元画像I”のR色成分I”r、G色成分I”g、B色成分I”cに対しそれぞれ用意され(以下、LUT13b−r,13b−g,13b−bとする。図2参照。)、かつ、制御回路13a及び画像処理回路13gはそれらLUT13b−r,13b−g,13b−bに基づき、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bに対しそれぞれ個別の逆歪曲補正を施してもよい。
【0036】
この場合も同様に、LUT13b−r,13b−g,13b−bのメモリ量をそれぞれ1/2に削減し、光学中心周りの対称性に基づく「場合分け処理」を制御回路13aに行わせることができる。
[第1実施形態の第1変形例]
図5を参照して本発明の第1実施形態の第1変形例について説明する。
【0037】
図5は、本変形例の回路部13による逆歪曲補正の処理を説明する図である。
本変形例でも、「接眼光学系11bの特性は、光学中心周りに対称性を有しており、観察画像I上に生じる歪曲も、その光学中心に対応する点の周りに対称性を有する」という事実を利用する。
本変形例のLUT13bも、逆歪曲補正の補正特性を示す情報を、補正画像I’において接眼光学系11bの光学中心に対応する点(x0,y0)から縁部に至る部分領域に関してのみ格納している。
【0038】
本実施形態においてこの部分領域は、補正画像I’において接眼光学系11bの光学中心に対応する点(x0,y0)を通る垂直線及び水平線で分割される1/4の領域である。
したがって、LUT13bに用意すべきテーブルアドレス(x,y)は、1/4に削減される。
【0039】
そして、LUT13bのテーブルアドレス(x,y)は、補正画像I’の単一の画素アドレスではなく、次のとおり、複数の画素アドレスに対応づけられる。
以下、LUT13bのテーブルアドレス(x,y)が図5中斜線部のとおりに削減された場合について説明する。
制御回路13aは、補正画像I’の画素アドレス(x,y)に書き込むべき画素値を求めるに当たり、アクセス先を、LUT13bのテーブルアドレス(|x−x0|,|y−y0|)とする(図5(1))。
【0040】
制御回路13aは、そのテーブルアドレス(|x−x0|,|y−y0|)に格納された画素アドレス(x’, y’)の情報を参照すると、
画素アドレス(x’+x0,y’+y0)(x≧x0,かつy≧y0の場合) 、又は、
画素アドレス(x’+x0 ,y0−y’)(x≧x0,かつy<y0の場合) 、又は、
画素アドレス(x0−x’, y’+y0)(x<x0,かつy≧y0の場合) 、又は、
画素アドレス(x0−x’,y0−y’)(x<x0,かつy<y0の場合)の情報を画像処理回路13gに与える。
【0041】
画像処理回路13gは、フレームメモリ13eの元画像I”のうち前記与えられた画素アドレスの画素値を参照し(図5(2))、その画素値を、フレームメモリ13fにおける補正画像I’の画素アドレス(x,y)に書き込む(図5(3))。
以上の処理が、フレームメモリ13fの補正画像I’の全ての画素アドレス(x,y)について行われることにより、逆歪曲補正が終了する。
【0042】
このように、本変形例の回路部13では、LUT13bのメモリ量が1/4に削減されるが、制御回路13aが上記のとおり光学中心周りの対称性に基づく「場合分け処理」を行う。
したがって、本変形例のHMD10は、記憶手段(ここではLUT13b)のメモリ量を1/4に削減しつつ逆歪曲補正の補正精度を保つことができる。
【0043】
なお、本変形例においても、LUT13bは、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bに対しそれぞれ用意され(以下、LUT13b−r,13b−g,13b−bとする。)、かつ、制御回路13a及び画像処理回路13gはそれらLUT13b−r,13b−g,13b−bに基づき、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bに対しそれぞれ個別の逆歪曲補正を施してもよい。
【0044】
この場合も同様に、LUT13b−r,13b−g,13b−bのメモリ量をそれぞれ1/4に削減し、光学中心周りの対称性に基づく「場合分け処理」を制御回路13aに行わせることができる。
[第1実施形態の第2変形例]
図6を参照して本発明の第1実施形態の第2変形例について説明する。
【0045】
図6は、本変形例の回路部13による逆歪曲補正の処理を説明する図である。
本変形例でも、「接眼光学系11bの特性は、光学中心周りに対称性を有しており、観察画像I上に生じる歪曲も、その光学中心の周りに対称性を有する」という事実を利用する。
本変形例のLUT13bも、逆歪曲補正の補正特性を示す情報を、補正画像I’において接眼光学系11bの光学中心に対応する点(x0,y0)から縁部に至る部分領域に関してのみ格納している。
【0046】
本実施形態においてこの部分領域は、補正画像I’において接眼光学系11bの光学中心に対応する点(x0,y0)を通る垂直線及び水平線のうち長い方の直線と、それら直線に対し45°傾斜した直線とで分割される略1/8の領域である。
【0047】
したがって、LUT13bに用意すべきテーブルアドレス(x,y)は、略1/8に削減される。
そして、LUT13bのテーブルアドレス(x,y)は、補正画像I’の単一の画素アドレスではなく、次のとおり、複数の画素アドレスに対応づけられる。
以下、LUT13bのテーブルアドレス(x,y)が図6中斜線部のとおりに削減された場合について説明する。
【0048】
制御回路13aは、補正画像I’の画素アドレス(x,y)に書き込むべき画素値を求めるに当たり、アクセス先を、
LUT13bのテーブルアドレス(|x−x0|,|y−y0|)(|x−x0|≧|y−y0|の場合)、又は、
LUT13bのテーブルアドレス(|y−y0|,|x−x0|)(|x−x0|<|y−y0|の場合)
とする(図6(1))。
【0049】
制御回路13aは、そのアクセス先のテーブルアドレスに格納された画素アドレス(x’, y’)の情報を参照すると、
画素アドレス(x’+x0,y’+y0)(x≧x0,かつy≧y0,かつ|x−x0|≧|y−y0|の場合)、又は、
画素アドレス(y’+x0,x’+y0)(x≧x0,かつy≧y0,かつ|x−x0|<|y−y0|の場合)、又は、
画素アドレス(x’+x0,y0−y’)(x≧x0,かつy<y0,かつ|x−x0|≧|y−y0|の場合)、又は、
画素アドレス(y’+x0,y0−x’)(x≧x0,かつy<y0,かつ|x−x0|<|y−y0|の場合)、又は、
画素アドレス(x0−x’,y’+y0)(x<x0,かつy≧y0,かつ|x−x0|≧|y−y0|の場合)、又は、
画素アドレス(x0−y’,x’+y0)(x<x0,かつy≧y0,かつ|x−x0|<|y−y0|の場合)、又は、
画素アドレス(x0−x’,y0−y’)(x<x0,かつy<y0,かつ|x−x0|≧|y−y0|の場合)、又は、
画素アドレス(x0−y’,y0−x’)(x<x0,かつy<y0,かつ|x−x0|<|y−y0|の場合)の情報を画像処理回路13gに与える。
【0050】
画像処理回路13gは、フレームメモリ13eの元画像I”のうち前記与えられた画素アドレスの画素値を参照し(図6(2))、その画素値を、フレームメモリ13fにおける補正画像I’の画素アドレス(x,y)に書き込む(図6(3))。
以上の処理が、フレームメモリ13fの補正画像I’の全ての画素アドレス(x,y)について行われることにより、逆歪曲補正が終了する。
【0051】
このように、本変形例の回路部13では、LUT13bのメモリ量が略1/8に削減されるが、制御回路13aが上記のとおり光学中心周りの対称性に基づく「場合分け処理」を行う。
したがって、本変形例のHMD10は、記憶手段(ここではLUT13b)のメモリ量を略1/8に削減しつつ逆歪曲補正の補正精度を保つことができる。
【0052】
なお、本変形例においても、LUT13bは、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bに対しそれぞれ用意され(以下、LUT13b−r,13b−g,13b−bとする。)、かつ、制御回路13a及び画像処理回路13gはそれらLUT13b−r,13b−g,13b−bに基づき、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bに対しそれぞれ個別の逆歪曲補正を施してもよい。
【0053】
この場合も同様に、LUT13b−r,13b−g,13b−bのメモリ量をそれぞれ略1/8に削減し、光学中心周りの対称性に基づく「場合分け処理」を制御回路13aに行わせることができる。
【0054】
[その他]
なお、第1実施形態、第1変形例、第2変形例では、逆歪曲補正の処理が元画像I”に施される場合についてのみ説明したが、以下のとおり逆MTF補正の処理が元画像I”に施される場合にも、同様にして記憶手段(ここではLUT)のメモリ量の削減を図ることができる。
【0055】
先ず、回路部13には、逆MTF補正の補正特性を示す情報が予め格納されたLUT13hが備えられる(図2点線部)。
この逆MTF補正の補正特性は、接眼光学系11bから(接眼光学系11bの設計データや測定データなどから)予め求まる。
LUT13hのテーブルアドレス(x,y)は、元画像I”(又は補正画像I)の画素アドレス(x,y)に対応づけられている。
【0056】
テーブルアドレス(x,y)には、元画像I”のうち画素アドレス(x,y)の画素に適用されるべき空間周波数フィルタF(x,y)の情報が格納されている。
制御回路13aは、LUT13hのテーブルアドレス(x,y)にアクセスし、そのテーブルアドレス(x,y)に格納された空間周波数フィルタF(x,y)の情報を参照し、画像処理回路13gに与える。
【0057】
画像処理回路13gは、フレームメモリ13eにおける元画像I”の画素アドレス(x,y)及びその周辺アドレスの画素値を参照し、それら画素値に対しその与えられた空間周波数フィルタF(x,y)による局所積和演算を施し、得られた値をフレームメモリ13fにおける補正画像I’の画素アドレス(x,y)に書き込む。
【0058】
以上の処理が、元画像I”の全ての画素アドレス(x,y)について行われることにより、逆MTF補正が終了する。
この場合も第1実施形態及びその変形例と同様に、LUT13hのメモリ量を1/2,1/4,1/8などに削減し、光学中心周りの対称性に基づく「場合分け処理」を制御回路13aに行わせることができる。
【0059】
このようにすれば、逆MTF補正の補正精度を保ちながら記憶手段(ここではLUT13h)のメモリ量を削減することができる。
なお、以上の実施形態、変形例においては、補正画像I’(又は元画像I”)上の光学中心に対応する点(x0,y0)に代えて、補正画像I’(又は元画像I”)上の表示画面Eの中心(x0’,y0’)を用いても良い(LCD11aの表示画面Eの中心と、接眼光学系11bの光学中心に対応する点とは、通常は略一致しているので。)。
【0060】
[第2実施形態]
図7、図8を参照して本発明の第2実施形態について説明する。ここでは、第1実施形態のHMD10との相違点についてのみ説明し、その他の説明を省略する。
図7は、本実施形態のHMD20の構成図である。
【0061】
本実施形態のHMD20は、第1実施形態のHMD10において回路部13に代えて回路部23が備えられたものである。
回路部23は、回路部13において、制御回路13a,画像処理回路13g,LUT13b−r,13b−g,13b−bに代えて、制御回路23a,画像処理回路23g,LUT23b−r,23b−gが備えられたものである。
【0062】
本実施形態の画像処理回路23gによる画像処理には、接眼光学系11bの倍率色収差に応じた逆補正(以下、「逆色収差補正」という。)を元画像I”に施す処理が実施される。
一般に、観察画像I上に生じる色のずれ(図8(a)参照)を低減するためには、元画像I”のR色成分I”r、G色成分I”g、B色成分I”bのそれぞれを歪曲させてできる補正画像I’(R色成分I’r、G色成分I’g、B色成分I’b)を表示し、観察画像I上でR色成分Ir,G色成分Ig,B色成分Ibが互いに重なるようにすることが考えられる。
【0063】
しかし、そのためには記憶手段(ここではLUT23b)のメモリ量が大きくなるので、本実施形態の逆色収差補正では、図8(a’)に示すように、元画像I”のR色成分I”rとB色成分I”bとを、観察画像I上でG色成分IgにR色成分IrとB色成分Ibとが重なる方向にそれぞれ歪曲させ、元画像I”のG色成分I”gについては何ら歪曲させないこととする。
【0064】
このとき観察画像Iには、図8(c)のように歪曲は残るものの、色のずれは確実に無くなる。
したがって、本実施形態のHMD20は、記憶手段(ここではLUT23b)の全体のメモリ量を削減(2/3に削減)しつつ倍率色収差を確実に補正することができる。
【0065】
なお、本実施形態の回路部23において、LUT23b−rは、元画像I”のR色成分I”rに対し用意されたものであり、R色成分I”rに与えるべき歪曲の情報を格納している。
また、LUT12b−bは、元画像I”のB色成分I”bに対し用意されたものであり、B色成分I”bに与えるべき歪曲の情報を格納している。
【0066】
これらの情報は、接眼光学系11bから(接眼光学系11bの設計データや測定データなどから)予め求まる。
具体的な処理は、以下のとおりである。以下に説明する処理と同様に、B色成分I”bに対してもLUT23b−bに基づく処理が施される。
LUT23b−rのテーブルアドレス(x,y)は、補正画像I’のR色成分I’rの画素アドレス(x,y)に対応づけられている。
【0067】
テーブルアドレス(x,y)には、補正画像I’のR色成分I’rの画素アドレス(x,y)に書き込まれるべき画素値を示す元画像I”のR色成分I”rの画素アドレス(x’,y’)の情報が格納されている。
制御回路23aは、LUT23b−rのテーブルアドレス(x,y)にアクセスし、そのテーブルアドレス(x,y)に格納された画素アドレス(x’,y’)の情報を参照し、その情報を画像処理回路23gに与える。
【0068】
画像処理回路23gは、フレームメモリ13eにおける元画像I”のR色成分I”rの画素アドレス(x’,y’)の画素値を参照し、その画素値を、フレームメモリ13fにおける補正画像I’のR色成分I’rの画素アドレス(x,y)に書き込む。
以上の処理が、フレームメモリ13fにおける補正画像I’のR色成分I’rの全ての画素アドレス(x,y)について行われることにより、R色成分I”rの逆色収差補正が終了する。
【0069】
[その他]
なお、本実施形態のHMD20においては、記憶手段(ここでは、LUT23b−r,23b−b)のメモリ量を第1実施形態と同様に削減することもできる。
本実施形態のように、逆補正において歪曲させない色としては、例えば緑が良い。緑は人間が最も感度よく見ることができる色であるため、G色成分の画像を選択することで、逆補正により生ずる画像の劣化を感じにくくすることができる。
【0070】
なお、本実施形態では、G色成分の画像に他の色成分の画像が重なるように逆色収差補正を行ったが、本発明はこれに限られない。
そもそも接眼光学系11bにより生じてしまう歪曲収差の最も小さい色成分の画像に、他の色成分の画像が合うようにすることでもよい。
このように歪曲収差の最も小さい色成分の画像に他の色成分の画像が合うよう逆色収差補正をかけることで、歪曲収差が小さい映像を得ることができ、さらに先の実施形態と同様な効果が得られる。
【0071】
【発明の効果】
以上説明したとおり本発明によれば、記憶手段のメモリ量を削減しつつ逆補正の補正精度を保つことの可能な画像表示装置が実現する。
【図面の簡単な説明】
【図1】第1実施形態のHMD10の外観図である。
【図2】HMD10の構成図である。
【図3】従来のHMDにおける逆歪曲補正の処理を説明する図である。
【図4】第1実施形態の回路部13による逆歪曲補正の処理を説明する図である。
【図5】第1実施形態の第1変形例の回路部13による逆歪曲補正の処理を説明する図である。
【図6】第1実施形態の第2変形例の回路部13による逆歪曲補正の処理を説明する図である。
【図7】第2実施形態のHMD20の構成図である。
【図8】回路部23による逆色収差補正の処理を説明する図である。
【図9】逆補正を説明する図である。
【符号の説明】
2 眼
10,20 HMD(画像表示装置に対応。)
13,23 回路部
13a,23a 制御回路(補正手段に対応。)
13b,13h,23b ルックアップテーブル(LUT)(記憶手段に対応。)
13c アナログ処理回路
13d A/D変換回路
13e,13f フレームメモリ
13g,23g 画像処理回路(補正手段に対応。)
11 表示部(表示部に対応。)
11a LCD(二次元表示素子に対応。)
11b 接眼光学系
12 装着具(装着手段に対応。)
12L,12R ヘッドホン
12b リアアーム
12c ディスプレイアーム
16,17 蝶番機構(調整機構に対応。)
18 スライド機構(調整機構に対応。)
Claims (7)
- 二次元表示素子と、その二次元表示素子の表示画面の虚像を形成する接眼光学系とからなる表示部と、
前記接眼光学系の収差及び/又はMTF特性に応じた逆補正を画像に施すための補正情報を格納した記憶手段と、
前記記憶手段に格納された前記補正情報に基づき画像に逆補正を施すと共に、その逆補正された画像を前記二次元表示素子の表示画面に表示する補正手段と、
前記虚像の形成位置が観察者の眼の略前方となるよう前記表示部を観察者の頭部に装着可能な装着手段と
を備えた画像表示装置において、
前記記憶手段は、
前記画像のうち前記接眼光学系の光学中心に対応する点を中心として略等角度に分割された複数の部分領域のうち一つに関する前記補正情報を格納している
ことを特徴とする画像表示装置。 - 請求項1に記載の画像表示装置において、
前記部分領域は、
前記画像のうち前記接眼光学系の光学中心に対応する点を通る線で分割される1/2の領域である
ことを特徴とする画像表示装置。 - 請求項1に記載の画像表示装置において、
前記部分領域は、
前記画像のうち前記接眼光学系の光学中心に対応する点を通る垂直線と水平線とで分割される1/4の領域である
ことを特徴とする画像表示装置。 - 請求項1に記載の画像表示装置において、
前記部分領域は、
前記画像のうち、前記接眼光学系の光学中心に対応する点を通る垂直線及び水平線のうち長い方の直線と、それら直線に対し45°傾斜した直線とで分割される略1/8の領域である
ことを特徴とする画像表示装置。 - カラー画像を表示可能な二次元表示素子と、その二次元表示素子の表示画面の虚像を形成する接眼光学系とからなる表示部と、
前記接眼光学系の倍率色収差に応じた逆補正をカラー画像に施すための補正情報を格納した記憶手段と、
前記記憶手段に格納された前記補正情報に基づきカラー画像に逆補正を施すと共に、その逆補正されたカラー画像を前記二次元表示素子の表示画面に表示する補正手段と、
前記虚像の形成位置が観察者の眼の略前方となるよう前記表示部を観察者の頭部に装着可能な装着手段と
を備えた画像表示装置において、
前記記憶手段は、
前記補正情報として、前記カラー画像の所定の色成分を基準とした他の色成分のずれの情報を格納している
ことを特徴とする画像表示装置。 - 請求項5に記載の画像表示装置において、
前記所定の色成分は、
緑色成分である
ことを特徴とする画像表示装置。 - 請求項5に記載の画像表示装置において、
前記所定の色成分は、
前記カラー画像を構成する色成分の中で最も歪曲収差が小さい色成分である
ことを特徴とする画像表示装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003024793A JP2004233869A (ja) | 2003-01-31 | 2003-01-31 | 画像表示装置 |
PCT/JP2003/016422 WO2004061519A1 (ja) | 2002-12-24 | 2003-12-22 | ヘッドマウントディスプレイ |
US11/154,893 US7542012B2 (en) | 2002-12-24 | 2005-06-16 | Head mounted display |
US12/430,637 US8400371B2 (en) | 2002-12-24 | 2009-04-27 | Head mount display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003024793A JP2004233869A (ja) | 2003-01-31 | 2003-01-31 | 画像表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004233869A true JP2004233869A (ja) | 2004-08-19 |
Family
ID=32953237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003024793A Pending JP2004233869A (ja) | 2002-12-24 | 2003-01-31 | 画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004233869A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007065899A (ja) * | 2005-08-30 | 2007-03-15 | Canon Inc | 表示装置、表示制御装置、及び制御方法 |
JP2010096864A (ja) * | 2008-10-14 | 2010-04-30 | Canon Inc | 収差補正方法、画像処理装置および画像処理システム |
JP2010230898A (ja) * | 2009-03-26 | 2010-10-14 | Brother Ind Ltd | カラー画像表示装置 |
EP3349475A4 (en) * | 2015-09-07 | 2019-01-09 | Sony Interactive Entertainment Inc. | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, OUTPUT DEVICE, PROGRAM AND RECORDING MEDIUM |
US10672110B2 (en) | 2015-09-07 | 2020-06-02 | Sony Interactive Entertainment Inc. | Information processing system, information processing apparatus, output apparatus, program, and recording medium |
WO2022158221A1 (ja) * | 2021-01-25 | 2022-07-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システム、表示装置、および画像表示方法 |
-
2003
- 2003-01-31 JP JP2003024793A patent/JP2004233869A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007065899A (ja) * | 2005-08-30 | 2007-03-15 | Canon Inc | 表示装置、表示制御装置、及び制御方法 |
JP4693552B2 (ja) * | 2005-08-30 | 2011-06-01 | キヤノン株式会社 | 表示装置、制御装置、及び制御方法 |
JP2010096864A (ja) * | 2008-10-14 | 2010-04-30 | Canon Inc | 収差補正方法、画像処理装置および画像処理システム |
JP2010230898A (ja) * | 2009-03-26 | 2010-10-14 | Brother Ind Ltd | カラー画像表示装置 |
EP3349475A4 (en) * | 2015-09-07 | 2019-01-09 | Sony Interactive Entertainment Inc. | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, OUTPUT DEVICE, PROGRAM AND RECORDING MEDIUM |
US10672110B2 (en) | 2015-09-07 | 2020-06-02 | Sony Interactive Entertainment Inc. | Information processing system, information processing apparatus, output apparatus, program, and recording medium |
US10930185B2 (en) | 2015-09-07 | 2021-02-23 | Sony Interactive Entertainment Inc. | Information processing system, information processing apparatus, output apparatus, program, and recording medium |
WO2022158221A1 (ja) * | 2021-01-25 | 2022-07-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システム、表示装置、および画像表示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8456485B2 (en) | Image processing apparatus and method, head mounted display, program, and recording medium | |
CN106575433B (zh) | 一种畸变减小***及装置 | |
US8242975B2 (en) | Image processing method, image processing apparatus, and system | |
JP5483796B2 (ja) | 画像表示装置および画像表示システム | |
US20150379772A1 (en) | Tracking accelerator for virtual and augmented reality displays | |
US7474799B2 (en) | System and method for electronic correction of optical anomalies | |
WO2013125138A1 (ja) | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム | |
EP1536399A1 (en) | Method and device for visual masking of defects in matrix displays by using characteristics of the human vision system | |
JPH10327373A (ja) | 接眼映像表示装置 | |
JP5886896B2 (ja) | 表示装置 | |
CA3063710A1 (en) | Multilayer high-dynamic-range head-mounted display | |
JP5200743B2 (ja) | 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム | |
JP2000258723A (ja) | 映像表示装置 | |
JP2015172616A (ja) | ディスプレイ装置 | |
JP2004233867A (ja) | 画像表示装置 | |
CN104020565B (zh) | 具有光学透镜和显示屏的显示***及其图像显示方法 | |
US20210356749A1 (en) | Low Latency Distortion Unit for Head Mounted Displays | |
JP2004233869A (ja) | 画像表示装置 | |
JP7081265B2 (ja) | 画像処理装置 | |
JP2004236191A (ja) | 画像表示装置 | |
US9762870B2 (en) | Image processing device and image display apparatus | |
JP3212762B2 (ja) | 表示装置 | |
CN107886465B (zh) | 图像处理器 | |
JP5522241B2 (ja) | 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム | |
US20210239973A1 (en) | Video display system, video display device, and video display method |