JP6932526B2

JP6932526B2 - 画像表示装置、画像表示方法及びプログラム

Info

Publication number: JP6932526B2
Application number: JP2017050378A
Authority: JP
Inventors: 中島　里志; 里志中島; 丈慶齋賀
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-03-15
Filing date: 2017-03-15
Publication date: 2021-09-08
Anticipated expiration: 2037-03-15
Also published as: JP2018157276A; US20180268779A1

Description

本発明は、画像表示装置の表示光学系によって発生する輝度分布のムラを補正する技術に関する。

従来から、使用者（ユーザ）の左右両眼それぞれに対して設けられた表示部に画像を表示する頭部装着型画像表示装置（ＨＭＤ：ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）が知られている。ＨＭＤのような画像表示装置では、高解像度で広画角であること、また頭部に装着しても違和感や疲労感が少ない小型軽量であることが求められる。しかし、一般的に、高解像度で広画角であるほど、また装置のサイズや重量を小型軽量にするほど、光学系を主とする原因によって画像の輝度分布にムラが発生する。

このような問題に対して、特許文献１には、表示部の光学性能情報である画像シェーディング等に基づいて、表示部に表示すべき画像を補正する技術が開示されている。

特開２０１０−１６６６９号公報

しかしながら、特許文献１には、どのように設計された画像シェーディングにも続いて画像を補正するのか記載がなく、ユーザが画像の周辺領域を観察する場合に、画像の中央領域と周辺領域とを見比べて輝度分布にムラがあると認識してしまう場合があった。そこで、本発明は、画像の中央領域と周辺領域とで輝度分布のムラを軽減することを目的とする。

上記課題を解決するために、本発明は、画像表示装置に、画像を表示する表示素子と、複数の補正テーブルから選択された１つの補正テーブルを用いて、前記表示素子が表示する画像の輝度を補正する補正手段と、を有し、前記複数の補正テーブルは、前記射出瞳の位置にユーザの眼球の瞳孔を置いた場合に、当該射出瞳の位置から前記ユーザの眼球の回転中心に相当する位置に向かう方向において、当該回転中心に相当する位置近傍の複数の位置に撮像装置の入射瞳を配置して撮像された前記表示素子の画像の複数の輝度分布に基づいて生成されることを特徴とする。

以上の構成によれば、本発明では、画像の中央領域と周辺領域とで輝度分布のムラを軽減することが可能になる。

第１の実施形態に係る画像表示システムの構成例を示す概略図。第１の実施形態に係る画像表示システムの構成を示すブロック図。第１の実施形態に係る表示ユニットの構成を示すブロック図。第１の実施形態に係る表示ユニットの光学系の構成を示す模式図第１の実施形態に係るシェーディング補正部の構成を示すブロック図。第１の実施形態における輝度分布の測定方法を説明する図。第１の実施形態において撮像装置により撮像された画像の輝度分布を示す図。第１の実施形態に係るシェーディング補正テーブルを説明する図。

［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。図１は、第１の実施形態における画像表示システムの構成例を示す概略図である。本実施形態に係る画像表示システムは、ユーザの頭部に装着され、眼前に仮想空間の画像を提供するＨＭＤ（画像表示装置）２００と、仮想空間の画像を生成してＨＭＤ２００に提供するコンピュータ装置２５０とを有する。また、ＨＭＤ２００とコンピュータ装置（画像処理装置）２５０とは、ケーブル２４０により接続されている。なお、本実施形態の画像処理システムでは、ＨＭＤ２００とコンピュータ装置（画像処理装置）２５０とがケーブル２４０を用いた有線の通信経路により通信する構成となっているが、代わりに無線の通信経路を用いても構わない。

図２は、本実施形態に係る画像表示システムのブロック図である。ＨＭＤ２００において、ＭＰＵ１３０は、ＨＭＤ２００内のメモリ１３１に格納されているコンピュータプログラムやデータを用いて処理を実行することで、バス１９０に接続されている各機能部の動作制御を行うとともに、ＨＭＤ２００全体の動作制御を行う。メモリ１３１は、ＭＰＵ１３０に実行させるためのコンピュータプログラムやデータ、後述する画像シェーディングに係る情報等を格納する。なお、メモリ１３１は、ＭＰＵ１３０が各種の処理を実行する際に用いるワークエリアを有するメモリ等も含むものである。

位置姿勢センサ１０５は、検出したＨＭＤ２００の位置姿勢に係る情報をコンピュータ装置２５０に送信する。左眼用表示ユニット１００Ｌ、右眼用表示ユニット１００Ｒは、コンピュータ装置２５０により生成されたＣＧ画像に対して後述する画像処理を行なって出力される表示画像を、それぞれの表示素子１に表示する。

コンピュータ装置２５０では、位置姿勢算出部１１０が、位置姿勢センサ１０５で検出した位置姿勢情報に基づいてＨＭＤ２００の三次元位置姿勢情報を求める。そして、ＣＧ描画部１１１は、算出した三次元位置姿勢情報とコンテンツＤＢ１１２に格納されている仮想画像のＣＧコンテンツとに基づいて、左眼用と右眼用のＣＧ画像を生成する。生成したＣＧ画像は、ＨＭＤ２００に送信する。

なお、コンピュータ装置２５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備え、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、上述した各機能構成による処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、各種のデータを格納する記憶領域を有する。

図３に、左眼用表示ユニット１００Ｌ、右眼用表示ユニット１００Ｒの各構成を示すブロック図である。なお、左眼用表示ユニット１００Ｌと右眼用表示ユニット１００Ｒとは同様の構成となっている。表示画像入力部５０は、コンピュータ装置２５０から出力された仮想空間のＣＧ画像を取得し、取得した画像を表示用の画像信号に変換する。シェーディング補正部３００は、表示用の画像信号に対して後述するシェーディング補正処理を実行し、表示駆動部５１に転送する。表示駆動部５１は、表示素子１を駆動して、シェーディング補正処理された表示画像を表示させる。

図４は、本実施形態に係る表示ユニットの光学系の構成を示す模式図である。図４（ａ）に示すように、本実施形態の表示ユニットは、表示素子１からの光（可視光）を射出瞳３に導く光学系２を有し、射出瞳３の位置にユーザの眼球１０の瞳孔１１が配置される。表示素子１は、例えば、ＬＣＤパネルや有機ＥＬ等によって構成されるものである。また、光学系２は、画像を拡大表示するための自由曲面プリズムなどによって構成されるものである。

表示素子１における画像の表示領域の中心から射出瞳３の中心に至る軸を光軸という。その光軸に沿った光線２０の向きに瞳孔１１を向けている状態のことを、画像中央領域を注視（または凝視）している状態という。また、表示素子１における画像左右端または画像上下端の画像周辺領域から射出瞳３の位置に至る光線２１と光線２２に対して、その光線の向きにそれぞれ瞳孔１１を向けた状態のことを、画像周辺領域を注視（または凝視）している状態という。図４（ｂ）に、この状態を示す。

図５は、本実施形態に係るシェーディング補正部の構成を示すブロック図である。以下では、左眼用表示ユニット１００Ｌにおける左眼の表示画像に対して行う処理を説明する。右眼用表示ユニット１００Ｒにおける右眼の表示画像に対する処理は左眼の表示画像に対する処理と対称の関係であり、同様な処理のため省略する。また、本実施形態では、表示素子１にて表示する画像データはフルＨＤ規格の水平１９２０、垂直１０８０ピクセルとするサイズとして説明する。

画像データ入力部５０１は、表示画像入力部５０から受けた表示用の画像信号を画素毎に処理するため、画素毎の画素値ｒ、ｇ、ｂとその画像位置情報ｘ、ｙを算出し、次の処理ブロックに転送する。画像位置情報ｘ、ｙは、表示画像左上を原点１、１として、画像横方向と縦方向で画素位置を指定する整数値である。また、画素値ｒ、ｇ、ｂは表示画像の赤、緑、青の輝度値のことで、通常０から２５５までの値域の整数値である。

ゲイン値算出部５０２は、画像位置情報ｘ、ｙを受けて、表示画像に掛け合わせるゲイン値（増減係数）を算出、決定する。具体的には、ゲイン値算出部５０２は、バス１９０を介してメモリ１３１に保持されているシェーディング補正テーブルを参照することにより、ゲイン値を決定する。シェーディング補正テーブルは、開始点を原点として、画像位置ｘ、ｙの表示画像に掛け合わせるゲイン値が指定されたデータ形式になっている。本実施形態では、シェーディング補正テーブルは全画像位置でのゲイン値が指定されたデータとして説明する。しかし、これに限らず、シェーディング補正テーブルは等間隔（または不等間隔）の格子点画像位置でのゲイン値が指定された間引きデータであってもよい。この場合、ゲイン値算出部５０２では画像位置ｘ、ｙから近傍の格子点画像位置でのゲイン値から線形補間などして画像位置ｘ、ｙでのゲイン値を算出する。メモリ１３１に保持されているシェーディング補正テーブルの作成方法については、後述する。

ゲイン重畳部５０３は、ゲイン値算出部５０２で決定したゲイン値を画素値ｒ、ｇ、ｂに掛け合わせる処理を行う。本実施形態では、画素値ｒ、ｇ、ｂの全てに同じゲイン値を掛け合わせる処理としているが、本発明はこれに限定されるものではない。例えば、各ｒ、ｇ、ｂで異なるシェーディング補正テーブルを用意しておくことにより、異なるゲイン値を掛け合わせる処理としてもよい。

画像データ出力部５０４は、ゲイン重畳部５０３から受けた画素毎の画素値ｒ、ｇ、ｂを表示用の画像信号として再合成し、次の処理ブロックである表示駆動部５１へ転送する。以上の構成により、表示画像の輝度分布を補正することが可能となる。

次に、本実施形態に係るシェーディング補正テーブルの作成方法について説明する。ＨＭＤ２００を装着したユーザは、眼球運動することで瞳孔１１の向きを変え表示画像の画像中央領域から画像周辺領域にかけ画像全体を観察することが可能である。これは、図４に示したように、光軸に沿った画像中央部の光線２０から画像周辺領域の光線２１、２２の方向に瞳孔１１の向きを変化させることが可能であるということを意味し、結果的に表示画像全体を注視することが可能であること意味する。

ここで、表示画像の画像中央領域と画像周辺領域で表示しているＣＧの色が同色であるならば、観察される色も同色である必要性が求められる。そのため、本実施形態で、表示画像における所望の輝度分布とは、瞳孔１１の向きを変えても表示画像の輝度分布が一様で、少なくとも同色と視認できる輝度差に収まる程度の一様性であることである。そこで、本実施形態では、ユーザが表示画像全体を注視した状態で観察する所望の輝度分布を、一様な輝度分布に設計する。つまり、本実施形態では、ユーザが表示画像全体を注視した状態で観察する際の輝度分布が一様な輝度分布となるようにシェーディング補正テーブルを作成するものである。

図４に示すように、ＨＭＤ２００を装着したユーザの眼球１０の瞳孔１１が射出瞳の位置３に配置されている状態において、瞳孔１１を光線２０、２１、２２に向けて画像全体を注視した場合の輝度分布の取得方法は、次のようにして行うことができる。すなわち、その取得方法は、眼球１０の回転中心１５に相当する位置に光軸の光線２０を向いた瞳孔１１を置いた時に観察される輝度分布を取得するものである。これは、光線２０、２１、２２が略交差する焦点が眼球１０の回転中心１５であり、この回転中心１５に相当する位置での表示画素１の像の輝度分布が画像全体を注視した場合の輝度分布に相当するからである。一般的に眼球の水平方向の直径は約２３〜２５ｍｍと言われているため、本実施形態では、射出瞳の位置から眼球回転方向の向きに１２ｍｍずらした位置を眼球１０の回転中心１５に相当する位置とする。ただし、この距離は、一般的に眼球の水平方向の直径を考慮すると、１１ｍｍから１３ｍｍの間であれば、本実施形態の効果を奏することができる。

次に、眼球１０の回転中心１５に相当する位置での表示画素１の像の輝度分布を、測定によって取得する具体的な方法について説明する。図６は、本実施形態における輝度分布の測定方法を説明する図である。図６（ａ）には、輝度分布の測定に使用する撮像カメラ６０を示している。撮像カメラ６０は、入射瞳の位置６５となる不図示の光学系とＣＣＤイメージセンサ等の撮像素子を有する。

図６（ｂ）は、撮像カメラ６０の入射瞳の位置６５を、眼球１０の回転中心１５に相当する位置に配置した図である。この状態で撮影することで、光線２０、２１、２２の画像中央領域、画像周辺領域など画像全体を注視した状態の像に相当する画像を得ることができる。ここで、測定時に光を取り込む瞳径は、標準的な明るさの表示画像を観察するとして標準的な瞳孔径４ｍｍとした。しかし、これに限らず、明るい表示画像の場合は２ｍｍ、暗い表示画像の場合は７ｍｍなどと、表示画像の明るさに応じて変更してもよい。

そして、この状態で得られる撮像画像の輝度分布を示したものが図７である。図７では、表示画像位置ｘ、ｙにおける輝度ｃｄ／ｍ２を等高線図で示している。輝度分布は、画像中央領域の輝度が約１００ｃｄ／ｍ２で、これに対して画像左右端領域で約１７５ｃｄ／ｍ２と７５％程度の輝度が増加し、画像左右上端領域で約２５０ｃｄ／ｍ２と１５０％程度も輝度が増加する分布をしている。この輝度分布は、シェーディング補正の画像補正処理をしていない画像表示装置の素の特性である。このような輝度分布となる原因は、主に光学系２による輝度分布ムラであるものの、表示素子１の面内発光ムラや視野角特性によるものもある。なお、撮像カメラ６０の持つ撮像シェーディングである輝度分布ムラは、その特性が予め調べられており、撮像シェーディング補正によって撮像カメラ６０の輝度分布ムラは補正されているものとする。よって、図７に示す、取得した輝度分布には撮像カメラ６０の輝度分布ムラは含まれていない。

次に、取得した輝度分布からシェーディング補正テーブルを作成する具体的な方法について説明する。図８は、表示画像全体を注視した状態のムラのある輝度分布から一様な輝度分布となるように、画像補正するための表示画像位置ｘ、ｙにおけるシェーディング補正テーブルのゲイン値を示してある。ゲイン値は、画像中央領域での輝度を基準として全画像領域で輝度が一様となるよう各画素での輝度で逆を取る計算をするなどして、画像中央領域で約１００％、画像左右端領域で約６０％、画像左右上端領域で約４０％と算出される。

以上説明したように、本実施形態では、表示画像の全体を注視した状態で輝度分布が一様となるようにシェーディング補正テーブルを作成した。そして、このシェーディング補正テーブルを用いて表示画像の補正を行うことで、画像の中央領域と周辺領域とで輝度分布のムラを軽減することができる。

［その他の実施形態］
上述の実施形態では、シェーディング補正のターゲットである表示画像の所望の輝度分布は一様な輝度分布であるとしたが、本発明は、これに限られない。すなわち、一様な輝度分布とまでは言えないまでも、例えば、表示素子１の経時的な輝度劣化が原因となる、いわゆる焼付きと言われる画像劣化を回避するために、表示素子１の中での輝度差が所定の範囲内に収まるようにすることをターゲットとしてもよい。また、表示画像の画像端で表示画画素が見える領域と見えない領域の境目である境界領域において、表示画素が見えない領域は通常真っ暗であり、見える領域の明るい画像からの輝度差が気になることがある。これを回避するため、画像周辺領域では画像境界領域である画像端にかけて徐々に輝度を弱めて行く輝度分布をターゲットとしてもよい。

また、上述の実施形態では、シェーディング補正テーブルの作成のために撮像カメラ６０を使って測定した輝度分布を使用した。しかし、これに限らず、例えば光学系の光線追跡などの計算結果から、表示画像の全画像領域を注視した際の位置に瞳孔１１を配置した状態での表示画素の輝度分布を取得してもよい。

また、上述の実施形態では、表示画像の全画像領域を注視した時の輝度分布として、射出瞳３の位置に観察の眼球１０の瞳孔１１を配置した際の、眼球１０の回転中心位置１５に相当する位置にて瞳孔１１を配置して観察される輝度分布とした。しかし、眼球１０の回転中心位置１５が最適な位置であるものの、本発明は、これに限られない。射出瞳３の位置から所定の方向、好適には眼球１０の回転中心位置１５の方向にずらした位置であり、所定の距離ずらした位置１５の近辺において得られる輝度分布を取得しても本発明の効果を得ることができる。

また、上述の実施形態では、一般的に眼球の水平方向の直径が約２３〜２５ｍｍと言われているため、射出瞳の位置から眼球回転方向の向きに１２ｍｍずらした位置を眼球１０の回転中心１５に相当する位置として輝度分布を取得した。しかし、眼球の水平方向の直径には個人差があるため、複数の位置で取得した輝度分布それぞれからシェーディング補正テーブルを作成するようにしてもよい。例えば、眼球１０の回転中心１５に相当する位置として、射出瞳の位置から眼球回転方向の向きに１１．５、１２．０、１２．５ｍｍと複数ずらした位置に設定して、それぞれで輝度分布を取得する。そして、取得した各輝度分布からシェーディング補正テーブルを作成しておく。ユーザがＨＭＤを使用する際、これらシェーディング補正テーブルそれぞれで補正された画像を実際に観察して、輝度ムラが最も発生していないと感じるものをユーザが指定し、その補正テーブルが使用されるようにしてもよい。

また、上述の実施形態では、標準的な瞳孔径４ｍｍを用いて度分布を取得してシェーディング補正テーブルを作成した。しかし、表示画像の明るさによってユーザの瞳孔径は異なるため、複数の瞳孔径によりシェーディング補正テーブルを作成しておくようにしてもよい。そして、ユーザがＨＭＤを使用する際、表示画像の明るさ（例えば、画像の全画素のｒ，ｇ，ｂの輝度値の合計）に基づいて、シェーディング補正テーブルを選択、使用するようにしてもよい。

また、上述の実施形態はＶＲに対応した画像表示システムの例であるが、本発明はＭＲに対応した画像表示システムにも適用できるものである。例えば、所謂ビデオシースルー型のＨＭＤでは、左右両眼それぞれに対応したカメラによって現実空間を撮影し、その撮影した現実空間の画像データを画像生成装置へと送る。そして、画像生成装置は、撮影された現実空間の画像に仮想画像のＣＧを重畳して合成画像を生成し、その合成画像をＨＭＤに送信する。ＨＭＤを装着したユーザは、このようにして生成された合成画像を観察することができるようになる。

また、画像表示装置はＨＭＤに限らず、表示光学系を備える画像表示装置に広く適用できるものであって、その一例としては、電子双眼鏡等が挙げられる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１表示素子
５０表示画像入力部
５１表示駆動部
２００ＨＭＤ
３００シェーディング補正部

Claims

画像を表示する表示素子と、前記表示素子からの光を射出瞳に導く光学系とを有する表示手段と、
複数の補正テーブルから選択された１つの補正テーブルを用いて、前記表示素子が表示する画像の輝度を補正する補正手段と、を有し、
前記複数の補正テーブルは、前記射出瞳の位置にユーザの眼球の瞳孔を置いた場合に、当該射出瞳の位置から前記ユーザの眼球の回転中心に相当する位置に向かう方向において、当該回転中心に相当する位置近傍の複数の位置に撮像装置の入射瞳を配置して撮像された前記表示素子の画像の複数の輝度分布に基づいて生成されることを特徴とする画像表示装置。
前記補正テーブルは、前記表示素子が表示する画像の輝度差が所定の範囲内に収まるように生成されていることを特徴とする請求項１に記載の画像表示装置。
前記射出瞳の位置から前記回転中心に相当する位置近傍の複数の位置までの距離は、１１ｍｍから１３ｍｍの間であることを特徴とする請求項１または２に記載の画像表示装置。
前記補正手段は、前記複数の補正テーブルから、ユーザによる指定で選択された１つの補正テーブルを用いて画像を補正することを特徴とする請求項１から３のいずれか１項記載の画像表示装置。
画像を表示する表示素子と、前記表示素子からの光を射出瞳に導く光学系とを有する表示手段と、
複数の補正テーブルから選択された１つの補正テーブルを用いて、前記表示素子が表示する画像の輝度を補正する補正手段と、を有し、
前記複数の補正テーブルは、前記射出瞳の位置にユーザの眼球の瞳孔を置いた場合に、当該射出瞳の位置から前記ユーザの眼球の回転中心に相当する位置に向かう方向において、当該回転中心に相当する位置に撮像装置の入射瞳を配置して、複数の異なる瞳孔径に基づいて撮像された前記表示素子の画像の複数の輝度分布に基づいて生成されることを特徴とする画像表示装置。
前記補正手段は、前記複数の補正テーブルから、前記表示素子が表示する画像の明るさに基づいて選択された１つの補正テーブルを用いて、当該画像を補正することを特徴とする請求項５に記載の画像表示装置。
ユーザの頭部に装着されて使用されることを特徴とする請求項１から６のいずれか１項に記載の画像表示装置。
前記表示素子は、現実空間の画像と仮想画像とが重畳されて生成された合成画像を表示することを特徴とする請求項１から７のいずれか１項に記載の画像表示装置。
画像を表示する表示素子と、前記表示素子からの光を射出瞳に導く光学系とを有する表示手段によって画像を表示するステップと、
複数の補正テーブルから選択された１つの補正テーブルを用いて、前記表示素子が表示する画像の輝度を補正する補正ステップと、を有し、
前記複数の補正テーブルは、前記射出瞳の位置にユーザの眼球の瞳孔を置いた場合に、当該射出瞳の位置から前記ユーザの眼球の回転中心に相当する位置に向かう方向において、当該回転中心に相当する位置近傍の複数の位置に撮像装置の入射瞳を配置して撮像された前記表示素子の画像の複数の輝度分布に基づいて生成されることを特徴とする画像表示方法。
画像を表示する表示素子と、前記表示素子からの光を射出瞳に導く光学系とを有する表示手段によって画像を表示するステップと、
複数の補正テーブルから選択された１つの補正テーブルを用いて、前記表示素子が表示する画像の輝度を補正する補正ステップと、を有し、
前記複数の補正テーブルは、前記射出瞳の位置にユーザの眼球の瞳孔を置いた場合に、当該射出瞳の位置から前記ユーザの眼球の回転中心に相当する位置に向かう方向において、当該回転中心に相当する位置に撮像装置の入射瞳を配置して、複数の異なる瞳孔径に基づいて撮像された前記表示素子の画像の複数の輝度分布に基づいて生成されることを特徴とする画像表示方法。
コンピュータを、請求項１から８のいずれか１項に記載の画像表示装置として機能させるためのプログラム。