WO2023276566A1

WO2023276566A1 - 画像表示システムおよび画像表示方法

Info

Publication number: WO2023276566A1
Application number: PCT/JP2022/022766
Authority: WO
Inventors: 渉一池上; 健一郎横田; 泰成畠澤
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2021-07-02
Filing date: 2022-06-06
Publication date: 2023-01-05
Also published as: US20240121520A1; JP2023007716A

Abstract

画像生成装置は、ユーザの目に入る光量が、視細胞の働きに影響を与える程度に変化した時刻ｔ０において、輝度分布の調整量を目標値Ｂまで引き上げることにより、本来の画像３１０ａより輝度が増加された画像３１０ｂをヘッドマウントディスプレイに表示させる。画像生成装置は、その後の時刻ｔ１で元の輝度分布を有する画像３１０ｃが表示されるように、復元期間Δｔにおいて輝度分布の調整量を逓減させる。

Description

画像表示システムおよび画像表示方法

　本発明は、コンテンツの画像を表示する画像表示システムおよび画像表示方法に関する。

　従来、テレビジョン放送や配信動画などの映像表示において画質を向上させるための様々な技術が開発されてきた。近年では解像度や色域を向上させる技術に加え、輝度のレンジを拡大したＨＤＲ（High Dynamic Range）の信号を処理する技術が普及しつつある。従来のＳＤＲ（Standard Dynamic Range）と比較し、ＨＤＲは輝度の許容範囲が１００倍程になるため、太陽光の反射光など実世界で眩しいと感じるような対象を、画像上でもよりリアルに表現することができる。テレビジョン放送や配信動画のみならず、ゲーム画像などコンピュータグラフィクスの世界でも、ＨＤＲで表現することによって仮想世界にリアリティを与えられる。

　一方、ヘッドマウントディスプレイを装着したユーザの頭部の動きを検出し、それに対応する視野で表示対象の空間を表すことにより、臨場感のある画像世界を表現できるシステムが普及している。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。ヘッドマウントディスプレイを装着した人の暗順応を利用し、表示部の輝度を低下させることにより、眩しさ感を抑えたり装置全体の長寿命化を図ったりする技術も提案されている（例えば特許文献１参照）。

国際公開第２０１３／０５４７２８号

　上記のとおり対応できる輝度レンジが拡張すると、強い反射光など高輝度の光をリアルに表現できるとともに、低輝度や中輝度の領域においても、原理上は細かい階調での高精細な表現が可能になる。しかしながら元の画像データにおいて、コンテンツ上重要なオブジェクトなどに多くの階調を割り当て、解像感を出すようにしても、表示までのデータ変換や人の視認性など様々な要因で、あまり高精細に見えなかったり却って見づらくなったりすることが起こり得る。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、コンテンツや表示装置が本来有する画像の表示品質に見合った画像を、鑑賞者に視認させる技術を提供することにある。

　本発明のある態様は画像表示システムに関する。この画像表示システムは、視細胞の働きにおいて視認性を低下させる程度の、ユーザの目に入射する光量の変化を、所定の情報に基づき検出し、前記光量の変化に対応する規則による、画像の輝度分布の調整を制御する輝度分布制御部と、当該規則に従い画像値が表す輝度を変換する輝度変換部と、輝度が変換された画像のデータを出力する出力部と、を備えたことを特徴とする。

　本発明の別の態様は画像表示方法に関する。この画像表示方法は、視細胞の働きにおいて視認性を低下させる程度の、ユーザの目に入射する光量の変化を、所定の情報に基づき検出するステップと、当該光量の変化に対応する規則による、画像の輝度分布の調整を制御するステップと、当該規則に従い画像値が表す輝度を変換するステップと、輝度が変換された画像のデータを出力するステップと、を含むことを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、コンテンツや表示装置が本来有する画像の表示品質に見合った画像を、鑑賞者に視認させることができる。

本実施の形態におけるヘッドマウントディスプレイの外観例を示す図である。本実施の形態における画像表示システムの構成例を示す図である。本実施の形態の画像表示システムが行う画像表示の処理の流れの概要を例示する図である。図３のＳ１０においてトーンマッピングを行う際の変換関数を例示する図である。光刺激の輝度範囲と視細胞の活動域の関係を示す図である。暗順応における視細胞の感度の変化を例示する図である。本実施の形態において、暗順応における輝度分布の調整効果を説明するための図である。本実施の形態における画像生成装置の内部回路構成を示す図である。本実施の形態におけるヘッドマウントディスプレイの内部構成を例示する図である。本実施の形態における画像生成装置およびヘッドマウントディスプレイの機能ブロックの構成を示す図である。本実施の形態における輝度分布制御部の制御により、輝度変換部が輝度変換に用いる輝度の変換規則を例示する図である。本実施の形態において輝度分布制御部により実現される、輝度分布調整の時間的な制御の様子を模式的に示す図である。本実施の形態において画像生成装置の輝度調整規則記憶部に格納される、輝度調整規則のデータ構造を例示する図である。本実施の形態の画像表示システムにおいて、明暗転換による輝度分布の調整処理を行うタイミングのバリエーションを示す図である。

　図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

　筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

　この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すればＡＲ（拡張現実）を実現できる。

　図２は、本実施の形態における画像表示システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインターフェースにより画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。

　画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する。この限りにおいて画像を表示する目的は様々であってよい。例えば画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界が実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。ユーザの視点を中心に広い画角でパノラマ画像を表示すれば、表示世界に没入した感覚を与えることができる。

　なお画像生成装置２００の機能の一部または全てを、ヘッドマウントディスプレイ１００の内部に設けてもよい。画像生成装置２００の全ての機能をヘッドマウントディスプレイ１００に内蔵させた場合、図示する画像処理システムが１つのヘッドマウントディスプレイ１００により実現される。

　図３は、本実施の形態の画像表示システムが行う画像表示の処理の流れの概要を例示している。まず画像生成装置２００は、処理対象のコンテンツのプログラムに則り画像を描画する（Ｓ１０）。典型的には画像生成装置２００は、所定のレートで画像を描画し続けることにより動画像を生成する。この場合、画像生成装置２００は、その時点で取得した、ヘッドマウントディスプレイ１００、ひいてはユーザ頭部の最新の位置や姿勢の情報に基づき画像の視野を決定することにより、ユーザの視線に対応する画像を逐次生成する。

　Ｓ１０の処理はコンテンツごとに定められたものであり、図ではそれを、「ゲームＡ」、「ゲームＢ」、「ゲームＣ」、・・・のコンテンツに対し個別の矩形で表している。Ｓ１０の処理により、画像平面を構成する各画素に対しＲＧＢの輝度が画素値として与えられる。ここで画像生成装置２００は、レイトレーシングなどの詳細な演算により決定した画素値を、表示可能な輝度レンジに収めるための変換処理を、トーンマッピングなどにより行ってよい。

　そして画像生成装置２００は、描画した画像に対し、表示に必要な補正処理を施す（Ｓ１２）。ヘッドマウントディスプレイ１００を表示先とする場合、画像生成装置２００はＳ１２において、歪み補正やリプロジェクションを実施する。歪み補正とは、ヘッドマウントディスプレイ１００が備える接眼レンズを介して鑑賞したときに歪みのない画像が視認されるよう、歪曲収差に応じて元の画像を逆方向に歪ませておく補正である。リプロジェクションは、Ｓ１０の描画開始からの経過時間における頭部の動きを考慮し、画像の視野を最新の状態に補正する処理である。

　画像生成装置２００はそのほか、ヘッドマウントディスプレイ１００の表示特性に応じた色域変換などを必要に応じて実施する。ヘッドマウントディスプレイ１００はそのように補正された画像のデータを順次受信し、画素値が表すＲＧＢの輝度に対応する駆動電圧を生成する（Ｓ１４）。なお画像生成装置２００からヘッドマウントディスプレイ１００への画像データの送信には、画素値の量子化や逆量子化など一般的な処理を介在させてよい。そしてヘッドマウントディスプレイ１００は、生成された駆動電圧で表示パネルを駆動させることにより、画像を順次表示する（Ｓ１６）。

　図４は、図３のＳ１０においてトーンマッピングを行う際の変換関数（以後、「トーンカーブ」と呼ぶ）を例示している。同図は代表的なトーンカーブであるReinhard関数を示しており、人の視覚特性を考慮して低輝度領域から高輝度側へ向かうほど階調を抑えるような変換を実現している。トーンカーブを適切に設定、選択することにより、表示先のディスプレイの特性や対応輝度レンジが変化しても、コンテンツ作成者が意図する色調で、同様に画像を表示させることが可能になる。

　ここでトーンカーブの最大値１．０は、ヘッドマウントディスプレイ１００が表示可能な輝度の上限に対応し、ＨＤＲの場合、最大の発光輝度は１０００（ｃｄ／ｍ^２）などとなる。また図示するようなトーンカーブによれば、例えば輝度Ａより小さい低輝度、中輝度の領域において、より多くの階調が割り当てられる。表示可能な輝度レンジが増えれば、それらの領域では特に、細かい色調変化によって解像感のある画像表現が可能になる。

　一方、ヘッドマウントディスプレイ１００を、外界光を遮蔽する構造とした場合、装着直後のユーザには、目に入る光量の急激な減少に応じて、明所視から薄明視または暗所視への視細胞の働きの切り替わりが発生する。図５は、光刺激の輝度範囲と視細胞の活動域の関係を示している（例えば"Chapter 16: Human eye sensitivity and photometric quantities"、［online］、［令和３年６月１９日検索］、インターネット<URL: https://www.ecse.rpi.edu/~schubert/Light-Emitting-Diodes-dot-org/Sample-Chapter.pdf>参照)。

　図示するように、１０^－２（ｃｄ／ｍ^２）程度以下の光刺激では桿体細胞のみが活動し、１０^２（ｃｄ／ｍ^２）程度以上の光刺激では錐体細胞のみが活動する。その中間の輝度範囲では桿体細胞と錐体細胞の双方が活動する。錐体細胞は色彩や物の見え方に対する感度が高く、桿体細胞は光の明暗に対する感度が高い。一般に、主に桿体細胞のみが活動するときの視覚を暗所視、錐体細胞のみが活動するときの視覚を明所視、双方が活動するときの視覚を薄明視と呼ぶ。明所視から薄明視や暗所視への移行時、視覚には、光の強さに対する網膜の自律機能として、一旦視認性が落ちたあと、徐々に目が慣れ視認性が上がる暗順応が起こる。

　図６は、暗順応における視細胞の感度の変化を例示している。同図は横方向の時間軸に対し、視覚上認識できる光の最小輝度の変化を示している。認識可能な最小輝度が小さいほど感度が高いことを意味する。明所視として感度が飽和している状態から、ユーザがヘッドマウントディスプレイ１００を被るなどして目に入る光量が急に減少した時刻を０とする。このときまず錐体細胞が、カーブＣに示すように感度を上げて飽和し、遅れて桿体細胞が、カーブＲに示すように感度を上げて飽和する。

　各細胞の感度が飽和するまでの時間は、光量の差にも依存する。一例として、錐体細胞の順応時間は数十秒から数分程度、桿体細胞の順応時間は３０分から１時間程度である。なお暗順応のあと、ユーザがヘッドマウントディスプレイ１００を外すなどして目に入る光量が急に増加した場合、明所視への切り替えがなされる。このとき視細胞の感度を下げて眩しさを軽減する明順応が起きる。図では３５分から明順応が起きている。明順応は暗順応と比較し短期間で達成される。

　このような、目に入る光量の変化に対する視細胞の働きの変化により、順応が十分でない状況において、表示されている画像に対するユーザの視認性が一時的に低下する。特に、ヘッドマウントディスプレイ１００を装着する前に見ていた周囲の環境が明るいほど、また、表示されている画像が暗いほど、光量の落差が大きく視認性が悪化しやすい。近年、ＶＳＬＡＭ（Visual Simultaneous Localization and Mapping）などにより、ステレオカメラ１１０による撮影画像を解析し、ユーザの動きを特定する技術が実用化されている。

　この場合、十分な解析精度を得るには、ある程度明るい環境での撮影が必要になるため、ステレオカメラ１１０の着脱による光量の差が大きくなりやすい。これにより、ヘッドマウントディスプレイ１００を装着した直後のユーザには、表示画像全体が実際より暗く見えることが考えられる。またユーザは、本来細かい階調で表現されている、輝度の低い部分の色調の変化を判別できず、見づらさを感じたり画質が良くないという印象を覚えたりし、それがコンテンツ全体の評価につながってしまうこともあり得る。

　同様の現象は、ヘッドマウントディスプレイ１００を装着した直後に限らず、明るい画面から暗い画面への切り替わり直後などでも起こり得る。そこで本実施の形態では、ユーザの目に入射する光量に、視細胞の働きを変化させる程度の差が生じたことを契機として、表示画像の輝度分布を調整する。ここで「輝度分布」とは、画像を構成する画素が有するＲＧＢの輝度の集合がなす分布を指し、輝度ヒストグラムと捉えることもできる。各画素に着目すると、「輝度分布の調整」は所定の規則に従った輝度値の変換である。

　図７は、暗順応における輝度分布の調整効果を説明するための図である。図の横方向は時間軸であり、図６と同様、光量が急に減少した時刻を０としている。なおコンテンツとしての画像の輝度は変化しないとする。（ａ）は、輝度を調整しない場合にユーザに視認される画像の変遷を模式的に示している。この場合、光量が下がる時刻０において視認上の画像が暗くなり、順応が進むにつれ見づらさが解消されていく。

　（ｂ）は、本実施の形態により輝度分布が調整された表示画像の変遷を模式的に示している。すなわち画像表示システムは、光量が下がる時刻０において、（ａ）で示したような視認性の低下を相殺するように、輝度を増加させる。実際には、視認性悪化の影響を受けにくい高輝度領域の輝度はそのままとし、見づらさが予想される低輝度、中輝度の領域の輝度を増加させるなど、元の輝度によって増加率を変化させてよい。そして暗順応により視認性が回復するのに合わせて、増加させていた輝度分布を徐々に元に戻していく。

　（ｃ）は、（ｂ）のような表示画像の輝度分布の調整によって、ユーザに視認される画像の変遷を模式的に示している。視認性の変化を相殺するように画像の輝度分布を調整することにより、目に入射する光量が変化しても視認される画像の輝度や階調がある程度維持され、安定して質の高い画像を認識させ続けることができる。なおユーザがヘッドマウントディスプレイ１００を装着したタイミングを時刻０とした場合、当然（ａ）、（ｃ）の左端の画像は認識されないが、視細胞の感度が飽和している状態で視認されるべき画像として示している。

　図８は、画像生成装置２００の内部回路構成を示している。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インターフェース２２８が接続されている。

　入出力インターフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

　ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、その結果を出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

　図９は、ヘッドマウントディスプレイ１００の内部構成を例示している。制御部１５０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。ステレオカメラ１１０は、撮影画像のデータを所定のレートで制御部１５０に供給する。表示パネル１５２は液晶や有機ＥＬなどの発光パネルとその制御機構で構成され、制御部１５０から画像信号を受け取り表示する。

　通信制御部１５４は、図示しないネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１５０から入力されるデータを外部に送信する。通信制御部１５４はまた、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、外部からデータを受信し、制御部１５０に出力する。記憶部１６０は、制御部１５０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

　センサ１６２はモーションセンサを含み、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を計測し、制御部１５０に逐次供給する。センサ１６２はまた、ユーザがヘッドマウントディスプレイ１００を装着したことを検出する接触センサや、表示パネルを見ているユーザの瞳孔の状態を撮影する赤外線カメラを必要に応じて含む。この場合もセンサ１６２は、取得した各種情報を制御部１５０に逐次供給する。例えば赤外線カメラは、表示画像に対するユーザの注視点を検出する注視点検出器の一部であってよい。

　外部入出力端子インターフェース１６４は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインターフェースである。外部メモリ１６６は、フラッシュメモリなどの外部メモリである。制御部１５０は、画像や音声データを表示パネル１５２や図示しないイヤホンやスピーカーに供給して出力させたり、通信制御部１５４に供給して外部に送信させたりすることができる。

　図１０は、本実施の形態における画像生成装置２００およびヘッドマウントディスプレイ１００の機能ブロックの構成を示している。画像生成装置２００は上述のとおり、電子ゲームを進捗させたりサーバと通信したりする一般的な情報処理を行ってよいが、図１０では特に、表示画像を生成する機能に着目して示している。なお図１０で示される画像生成装置２００の機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。

　また図１０に示す機能ブロックは、ハードウェア的には、図８または図９に示したＣＰＵ、ＧＰＵ、制御部、各種メモリ、センサなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　画像生成装置２００は、ヘッドマウントディスプレイ１００から送信されるデータを取得する入力データ取得部２６０、コンテンツの画像を描画する画像描画部２６２、コンテンツのデータを記憶するコンテンツデータ記憶部２６４、画素値として与えられた輝度を変換する輝度変換部２６６、人の視覚順応に対応する輝度分布の調整を制御する輝度分布制御部２７４、輝度分布の調整規則を記憶する輝度調整規則記憶部２６８、表示のための補正を行う補正部２７０、および、補正後の画像のデータをヘッドマウントディスプレイ１００に出力する出力部２７２を備える。

　入力データ取得部２６０は、ヘッドマウントディスプレイ１００から送信される、モーションセンサの計測値や、ステレオカメラ１１０が撮影した画像などのデータを所定のレートで取得する。入力データ取得部２６０はまた、視覚順応に対応する輝度分布制御に必要な所定の情報をヘッドマウントディスプレイ１００から逐次取得する。ここで「所定の情報」とは、視認性の低下をもたらす程度に、ユーザの目に入る光量に差が生じたこと（以後、「明暗転換」と呼ぶ）を検出できるデータであればよい。

　例えば入力データ取得部２６０は、接触センサが取得する、ヘッドマウントディスプレイ１００が着脱されたことを示す情報を取得する。入力データ取得部２６０は、赤外線カメラが撮影したユーザの瞳孔の画像、またはそれにより得られる瞳孔の状態情報を取得してもよい。入力データ取得部２６０はそのほか、図示しない入力装置などから、表示中のコンテンツに対する操作や、システム画面の呼び出しなど、表示画像の変化に係るユーザ操作の内容を取得してよい。

　画像描画部２６２は、ヘッドマウントディスプレイ１００の位置や姿勢を所定のレートで取得し、それに対応する視野で表示対象の画像を描画する。この処理は図３のＳ１０に対応する。ここで画像描画部２６２は、実行中のコンテンツのプログラムに則りレイトレーシングやラスタライズなどを行うことにより、ＲＧＢの要素からなる画素値を決定する。コンテンツデータ記憶部２６４は、オブジェクトのモデルデータや表示世界の構成に係るデータなど、画像の描画に必要なデータを格納する。

　なお画像描画部２６２が行う処理は画像の生成であればよく、コンピュータグラフィクスによる画像描画のほか、実写された映像データの復号伸張、実写映像とコンピュータグラフィクスの合成、といった処理でもよい。いずれの場合も、コンテンツデータ記憶部２６４は、表示シーンの切り替わりのタイミングなど、表示画像全体の輝度が所定値以上変化するタイミングを表すメタデータを格納してよい。

　輝度変換部２６６は、描画の結果得られた画素値の輝度レンジを、ヘッドマウントディスプレイ１００の表示パネルに適したレンジに変換する。例えば輝度変換部２６６は、図４で示したようなトーンカーブを内部で保持し、それを用いてトーンマッピングを実施する。輝度変換部２６６はまた、明暗転換が検出された際、輝度分布制御部２７４の制御により輝度分布を調整する。すなわち輝度変換部２６６は、輝度分布制御部２７４が決定した規則に従い画素値であるＲＧＢの各輝度を変換する。

　輝度分布制御部２７４は、入力データ取得部２６０などから取得した情報に基づき明暗転換を検出、または予測し、それに対応する規則で画素値の輝度分布が変化するように輝度変換部２６６を制御する。輝度分布制御部２７４は明暗転換のタイミングを、例えば次の少なくともいずれかにより検出する。

　１．ユーザがヘッドマウントディスプレイ１００を装着したことを、接触センサによる検出結果から取得する
２．表示中の画像の全体的な輝度（平均輝度）が低下したことを、赤外線カメラが撮影したユーザの瞳孔のサイズ変化により取得する
３．表示中の画像の全体的な輝度（平均輝度）が低下したことを、画像描画部２６２による描画結果またはコンテンツのメタデータから取得する
４．表示対象のコンテンツの切り替わりや、コンテンツ画面とシステム画面の切り替わりによる画面輝度の低下を、画像描画部２６２による描画結果または、ユーザ操作の内容とメタデータなどから取得する

　輝度分布制御部２７４はまた、次の少なくともいずれかにより明暗転換のタイミングを予測してもよい。
１．ヘッドマウントディスプレイ１００の起動を検出し、ユーザがヘッドマウントディスプレイ１００を装着することを予測する
２．表示中の画像の全体的な輝度が低下するタイミングを、コンテンツのメタデータから予測する

　輝度分布制御部２７４は、上記のように明暗転換のタイミングを検出するのみならず、当該明暗転換における光量の差を取得し、輝度分布の調整の度合いに反映させてもよい。定性的には輝度分布制御部２７４は、光量の差が大きいほど輝度分布の調整量を大きくする。例えば輝度分布制御部２７４は、ヘッドマウントディスプレイ１００のステレオカメラ１１０が撮影した画像を取得し、その平均輝度や輝度ヒストグラムなどに基づき、ユーザがいる環境の明るさを取得する。

　ユーザがいる環境が明るいほど、ヘッドマウントディスプレイ１００を装着した際の光量の落差が大きいため、視認性がより悪化する。したがって輝度分布制御部２７４は、周囲の環境が明るいほど、ヘッドマウントディスプレイ１００装着時の輝度の増加量を大きくする。光量の差はこのほか、ユーザの瞳孔のサイズの差や変化の割合、表示画像の平均輝度や輝度ヒストグラムの差などを根拠に決定してよい。

　ここで輝度分布制御部２７４が取得する「光量の差」は、厳密な物理量である必要はない。すなわち周囲の明るさなど、光量の差の根拠とする情報に応じて、その度合いを複数の段階などにより定義すればよい。このとき輝度調整規則記憶部２６８には、光量の差の段階と、輝度分布の調整規則とを対応づけて格納しておく。輝度分布制御部２７４はまた、視覚順応に対応する輝度分布の復元過程を制御する。例えば明暗転換における光量の差が大きければ、暗順応により視認性が十分改善されるまでの時間が長くなる。したがって輝度分布制御部２７４は、明暗転換における光量の差が大きいほど、輝度分布の復元速度を遅くし、長い時間で復元されるようにしてよい。

　輝度分布制御部２７４は光量の差に基づき、輝度分布の調整量および復元時間のどちらか一方を変化させてもよいし、双方を変化させてもよい。あるいは双方を固定値としてもよい。輝度分布制御部２７４はさらに、ユーザがヘッドマウントディスプレイ１００を外してから再度装着するまでの時間や周囲の明るさなどに応じて、輝度分布の調整を最初からやり直すか途中から再開させるかを決定してもよい。

　補正部２７０は、描画された画像または輝度変換がなされた画像に、歪み補正、リプロジェクション、色域補正など、表示に必要な補正を施す。この処理は図３のＳ１２に対応する。表示画像を立体視させる場合、補正部２７０は、元の基準となる画像から、視差を有する左目用、右目用の画像を生成してもよい。あるいは画像描画部２６２が直接、左目用、右目用の画像を生成してもよい。出力部２７２は、補正部２７０から供給される補正後の画像のデータを、ヘッドマウントディスプレイ１００に順次送出する。立体視させる場合、出力部２７２は、画像の左半分に左目用の画像、右半分に右目用の画像が配置されるような順序でデータを送出する。

　ヘッドマウントディスプレイ１００は、表示画像の描画に用いるデータや、輝度分布制御に必要なデータを画像生成装置２００に送信する出力データ送信部２８４、画像生成装置２００から送信された画像のデータを取得する画像データ取得部２８０、画像データに基づき表示パネルの発光輝度を制御する発光輝度制御部２８２、表示パネルを駆動させ画像を表示する表示部２８６を備える。

　出力データ送信部２８４は、ステレオカメラ１１０が撮影した画像やセンサ１６２に含まれるモーションセンサの計測値など、表示画像の描画に必要なデータを所定のレートで画像生成装置２００に送信する。出力データ送信部２８４はまた、視覚順応に対応する輝度分布制御に必要なデータを、画像生成装置２００に逐次送信する。このデータは上述のとおり、ヘッドマウントディスプレイ１００の着脱検出の結果、瞳孔の状態を表す情報、周囲の環境を撮影した画像などのうち所定のものである。

　画像データ取得部２８０は、画像生成装置２００から送信された画像のデータを取得する。この際、画像データ取得部２８０は、画像生成装置２００がラスタ順などで送出した画素値のデータを順次取得し、発光輝度制御部２８２に供給する。発光輝度制御部２８２は、各画素値が表すＲＧＢの輝度に基づき、表示パネルにおける発光素子の駆動電圧を決定する。この処理は、図３のＳ１４に対応する。表示部２８６は、発光輝度制御部２８２が生成した駆動電圧で、表示パネルの対応する素子を順次発光させることにより画像を表示する。この処理は、図３のＳ１６に対応する。

　図１１は、輝度分布制御部２７４の制御により輝度変換部２６６が輝度変換に用いる輝度の変換規則を例示している。（ａ）、（ｂ）は、視覚順応に係る調整を行わない場合の輝度分布を点線で示し、調整する場合の輝度分布の変化を太線で示している。なお調整前後における最高輝度を１．０として正規化している。（ａ）は、０＜Ｐ１＜１．０である所定輝度Ｐ１以下の輝度を、係数ｋ＝１．０／Ｐ１を乗算することで線形に増加させ、Ｐ１より高い輝度は全て最大輝度とする変換規則である。

　（ｂ）は、０＜Ｐ２＜１．０である所定輝度Ｐ２で増加割合が極大となるカーブで輝度を増加させる変換規則である。カーブを与える関数は限定されず、ガンマカーブのようなべき関数でもよいし、図４で示したようなトーンカーブでもよい。いずれにしろ図示する例では、低輝度領域や中輝度領域での輝度を確実に増加させることで、光量が下がる明暗転換によって見づらくなる領域に対し優先して階調を割り当てることができる。所定輝度Ｐ１やＰ２は、コンテンツにおいて重要な輝度領域や光量の差などに応じて決定してよい。

　なお本実施の形態において輝度分布の「調整量」は、厳密には調整前の輝度に依存する変数であるが、概念的には点線で示した調整なしの状態からの差分でよく、様々な定義が許容される。例えば「調整量」は、調整する際の変換規則を表す太線と、調整（変換）しない場合の点線とで囲まれた領域３００ａ、３００ｂの面積、すなわち各輝度の変化量の積分値でもよい。あるいは「調整量」は、調整前の輝度に乗算する係数ｋや、所定輝度Ｐ１、Ｐ２の調整後の増加量（最大増加量）などでもよい。また図示する変換規則は一例に過ぎず、輝度の範囲によって不連続な関数であってもよいし、変換前後の輝度を対応づけたルックアップテーブルとして表してもよい。

　図１２は、輝度分布制御部２７４により実現される、輝度分布調整の時間的な制御の様子を模式的に示している。図の上段は、輝度分布の調整量の時間変化を、横方向の時間軸に対し示している。時刻ｔ０において、光量の低下による明から暗への転換が生じたら、輝度分布制御部２７４は、輝度分布の調整量を０から目標値Ｂまで引き上げる。そして輝度分布制御部２７４は、復元期間Δｔ後の時刻ｔ１で調整のない状態、すなわち調整量が０に到達するように調整量を逓減させる。

　本実施の形態では、ＲＧＢの輝度により表される色の表現が、明暗転換によって損なわれないようにすることが重要である。したがって復元期間Δｔは概ね、人の視覚順応のうち、錐体細胞により色覚の感度が上がり飽和するまでの時間とする。すなわちΔｔは数十秒程度の時間であり、一例としてΔｔ＝５０秒とする。ただし上述のとおり、復元時間Δｔや調整量の目標値Ｂは、明暗転換における光量の差よって変化させてもよい。

　また調整量の逓減速度は、図示するように徐々に増加させてもよいし、固定としてもよい。このような制御によれば、図の下段に示すように、時刻ｔ０より前には本来の画像３１０ａが表示され、時刻ｔ１で輝度を増加した画像３１０ａへ切り替わり、徐々に輝度が下がることにより最終的に、元の画像３１０ａと同等の画像３１０ｃへ到達する、という表示画像の変遷が実現される。これにより、図７の（ｃ）で示したように、明暗転換が生じても安定して質の高い画像を認識させ続けることができる。

　なお時刻ｔ０における明暗転換が、ヘッドマウントディスプレイ１００を装着したことに起因する場合、それより前の期間の画像は視認されないため、前もって輝度を増加させておくことができる。また、復元期間Δｔの途中でユーザがヘッドマウントディスプレイ１００を取り外したり再度装着したりした場合、輝度分布制御部２７４は、そのタイミングに応じて、輝度分布の調整をやり直すか否かを決定してもよい。

　例えば輝度分布制御部２７４は、５秒など微小時間とみなせる所定時間内に、取り外されたヘッドマウントディスプレイ１００が再装着されたら、取り外された時点での調整量から逓減を再開させる。あるいは取り外しがなかったものとして輝度分布の調整量の逓減を持続させる。これにより、錐体細胞の感度が上がった状態にも関わらず調整量を無為に目標値Ｂまで上げるのを回避できる。一方、それより長い時間、取り外されていた場合や、ヘッドマウントディスプレイ１００を最初に装着した直後に取り外された場合など、感度の向上が進んでいないと見なせる状況においては、輝度分布の調整を最初からやり直してよい。

　輝度分布制御部２７４はまた、ヘッドマウントディスプレイ１００が装着されたことを契機として輝度分布の調整を開始したら、その他の変化によらず復元期間Δｔの調整を続行させてよい。例えば復元期間Δｔの途中に、表示対象のシーンやコンテンツの切り替わり、システム画面とコンテンツ画面の切り替わりなど、表示画像による明から暗への転換が生じても、ヘッドマウントディスプレイ１００の装着による輝度分布調整を優先させる。これにより、視覚順応が進んでいる状態で輝度分布が不自然に引き上げられるのを回避できる。

　図１３は、画像生成装置２００の輝度調整規則記憶部２６３に格納される、輝度調整規則のデータ構造を例示している。この例で輝度調整規則テーブル３２０は、明暗転換における光量の差に対し、輝度分布の調整量の目標値Ｂ、復元期間Δｔ、輝度分布の変換関数を対応づけている。ここで光量差は上述のとおり、周囲の明るさ、瞳孔のサイズ変化、表示画像の輝度平均や輝度ヒストグラムの変化などによって導出され、図の例では「小」、「中」、「大」の３段階を設定している。

　この例では、光量差が「小」の場合、輝度分布を調整しない設定としている。すなわち目標値Ｂ、復元期間Δｔは「０」であり、変換関数は設定しない。光量差が「中」の場合、目標値Ｂは１０％、復元期間Δｔは３０秒、変換関数は「Ｆ１」としている。光量差が「大」の場合、目標値Ｂは３０％、復元期間Δｔは５０秒、変換関数は「Ｆ２」としている。ここで目標値Ｂは、元の輝度からの最大増加割合などを百分率で示しているが、調整量の定義によって単位は様々となる。変換関数は図１１に例示したような輝度の変換規則を識別する情報であり、目標値Ｂとの組み合わせにより最終的な形状が決定する。

　図示するように、明暗転換における光量差が大きいほど大きな調整量で時間をかけて復元することにより、視覚順応に対応させた調整を実現できる。また暗い環境でヘッドマウントディスプレイ１００を装着した場合など、視覚的な変化が起きないほど光量差が小さければ、輝度分布の調整そのものを省略することにより、処理の無駄を省くことができる。なお図の例では、調整量の目標値Ｂ、復元期間Δｔ、変換関数を全て、光量差に依存させる設定としたが、本実施の形態はそれに限らず、一部のパラメータのみを変化させてもよい。また光量差の段階数も限定されない。

　図１４は、画像表示システムにおいて、明暗転換による輝度分布の調整処理を行うタイミングのバリエーションを示している。ここでは図３に示したように、画像の表示処理を、画像描画（Ｓ１０）、補正処理（Ｓ１２）、駆動電圧生成（Ｓ１４）、表示（Ｓ１６）、の４段階に大別している。また明暗転換による輝度分布の調整処理を、「ＶＢＡ（Visual Brightness Adaptation」と名づけ、個別のブロックで示している。（ａ）はこれまで述べた態様であり、輝度分布制御部２７４の制御により輝度変換部２６６が、補正部２７０による補正の前に輝度分布を調整する。

　輝度変換部２６６は本来、ヘッドマウントディスプレイ１００の対応輝度レンジなどに応じて、コンテンツに適したトーンカーブで輝度レンジを調整する機能を有する。輝度変換部２６６がＶＢＡの機能の一部を担うことにより、ＶＢＡを有効とする期間や図１３で示したような調整規則を、コンテンツ作成者がコンテンツに合わせて設定できる。一方、画像表示システム全体のプラットフォームにおいて、調整態様の一貫性が失われる懸念がある。また録画や配信などコンテンツ外の制御に起因してＶＢＡを無効にしたい場合の対応が困難になることが考えられる。

　（ｂ）は、画像生成装置２００の補正部２７０が、輝度分布制御部２７４の制御により輝度分布を調整する態様である。補正部２７０による補正処理はコンテンツに共通であるため、この態様によれば、画像表示システム全体のプラットフォームにおいて調整態様の一貫性が担保される。また、調整のための変換関数をべき関数とした場合、補正部２７０が元来行うデガンマ／ガンマ処理、すなわちガンマ補正などと同時の調整が可能となり、処理負荷が増大しない。なおガンマカーブでＶＢＡを実現する場合、復元期間においてガンマ値を徐々に本来の値に近づければよい。

　ただし（ｂ）の態様では、画像データ（映像信号）を出力する全ての機能ブロック、例えばコンテンツ外のシステムが提供する画像を生成する機能ブロックなどに、ＶＢＡを機能させるためのロジックを入れておく必要がある。また録画や配信により、ヘッドマウントディスプレイ１００を装着しないユーザが見る画像にも、ＶＢＡによる調整が反映されてしまう。

　（ｃ）は、ヘッドマウントディスプレイ１００の発光輝度制御部２８２が、輝度分布を調整する態様である。この場合、輝度分布制御部２７４も発光輝度制御部２８２に組み入れてよい。発光輝度制御部２８２による駆動電圧生成処理もコンテンツに共通であるため、この態様によっても、画像表示システム全体のプラットフォームにおいて調整態様の一貫性が担保される。また最終的な表示画像に対する調整のため、その他の機能ブロックにＶＢＡを機能させるためのロジックを入れておく必要がない。さらにヘッドマウントディスプレイ１００内部での処理のため、録画画像や配信画像には影響しない。

　さらに調整のための変換関数をべき関数とした場合、駆動電圧生成処理において表示パネルの特性に合わせたガンマ補正などと同時の調整が可能となり、処理負荷が増大しない。このように、明暗転換における輝度分布の調整タイミングは限定されないため、上述したような長所や短所、各装置の処理性能、要求される処理精度などに鑑み、適切な実装形態を選択する。

　なおヘッドマウントディスプレイ１００に、コンテンツ内部での輝度調整機構とは別に、発光輝度を調整できるユーザインターフェースを設けた場合、当該操作が有効な期間は、ＶＢＡの機能を無効にすることにより、制御が錯綜しないようにすることが望ましい。あるいは両者を同時に有効とすることで、視覚順応に合わせた制御と、ユーザの主観による操作を両立させてもよい。

　以上述べた本実施の形態によれば、コンテンツの画像をヘッドマウントディスプレイに表示するシステムにおいて、ユーザの目に入る光量が変化するタイミングを検出し、視細胞の働きに影響を与える程度の光量差が生じたとき、画像の輝度分布を調整する。これにより、光量の差に起因する視認性の低下を表示側で補うことができ、コンテンツやヘッドマウントディスプレイの本来の質や性能に見合った画像を視認させつづけることができる。

　例えばヘッドマウントディスプレイを装着することによる光量の落差に応じて、低輝度領域や中輝度領域の輝度を増加させることにより、視認性の低下によらず色表現の解像感を維持できる。また人の視覚順応のうち錐体細胞の感度が飽和する数十秒程度で、調整量を徐々に元に戻すことにより、色覚への働きかけを効率的に行える。結果として、ＨＤＲなどの広い輝度レンジに対応するコンテンツやヘッドマウントディスプレイでは特に、本来有する高い画質が損なわれない、豊かな映像体験を提供できる。

　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　例えば本実施の形態では主に、光量が低下することによる、明所視から薄明視または暗所視への切り替わりに着目し、画像の輝度を増加させた。この態様は、人の暗順応が明順応より長いことや、一般的な画像は概ね中程度以下の輝度で構成され、薄明視や暗所視への切り替わりにおいて見づらさが顕著になることなどから、より大きな効果を生むと考えられる。一方、ユーザの目に入る光量の変化と逆方向に輝度分布を調整すれば、光量の低下時のみならず増加時の視認性悪化に対しても、本実施の形態と同様の効果が得られる。

　つまり光量が増加する際の、暗所視や薄明視から明所視への切り替わりにおいても、輝度分布の調整技術を同様に適用できる。例えば全体的に暗い画像から、高輝度で表される領域が多いシーンへの切り替わりや、そのような画像を有する別のコンテンツあるいはシステム画面への表示の切り替わりにおいて、一旦、輝度を低減させたうえ、徐々に本来の輝度に戻す。輝度を減少方向に調整する以外は、本実施の形態と同様である。これにより、薄明視や暗所視で感度が上がった状態の視細胞に強い光が入射することによる眩しさや見づらさを防止できる。

　以上のように本発明は、コンテンツ処理装置、画像生成装置、ゲーム装置、表示装置など各種処理装置や、それらのいずれかを含むシステムなどに利用可能である。

　１００　ヘッドマウントディスプレイ、　１１０　ステレオカメラ、１５０　制御部、　１５２　表示パネル、　１５４　通信制御部、　１６０　記憶部、　１６２　センサ、　２００　画像生成装置、　２２２　ＣＰＵ、　２２４　ＧＰＵ、　２２６　メインメモリ、　２３４　記憶部、　２３６　出力部、　２６０　入力データ取得部、　２６２　画像描画部、　２６４　コンテンツデータ記憶部、　２６６　輝度変換部、　２６８　輝度調整規則記憶部、　２７０　補正部、　２７２　出力部、　２７４　輝度分布制御部、　２８０　画像データ取得部、　２８２　発光輝度制御部、　２８４　出力データ送信部、　２８６　表示部。

Claims

　視細胞の働きにおいて視認性を低下させる程度の、ユーザの目に入射する光量の変化を、所定の情報に基づき検出し、前記光量の変化に対応する規則による、画像の輝度分布の調整を制御する輝度分布制御部と、
　前記規則に従い画像値が表す輝度を変換する輝度変換部と、
　輝度が変換された画像のデータを出力する出力部と、
　を備えたことを特徴とする画像表示システム。
　前記輝度分布制御部は、前記光量の低下に応じて前記輝度を増加させ、前記光量の増加に応じて前記輝度を低減させることを特徴とする請求項１に記載の画像表示システム。
　前記輝度変換部は、前記輝度の変化率が、調整前の輝度に依存するように変換することを特徴とする請求項１または２に記載の画像表示システム。
　前記輝度変換部は、ガンマカーブを用いて前記輝度を変換することにより、他のガンマ補正と同時に、前記輝度分布制御部の制御による調整を実施することを特徴とする請求項１から３のいずれかに記載の画像表示システム。
　前記輝度分布制御部は、前記所定の情報に基づき前記光量の変化の度合いを取得し、当該度合いに応じた調整量で前記輝度分布の調整を制御することを特徴とする請求項１から４のいずれかに記載の画像表示システム。
　前記輝度分布制御部は、前記変化が生じた時刻における前記輝度分布の調整量を目標値としたうえ、当該調整量を逓減させ調整のない状態に到達させることを特徴とする請求項１から５のいずれかに記載の画像表示システム。
　前記輝度分布制御部は、前記所定の情報に基づき前記光量の変化の度合いを取得し、当該度合いに応じた時間で、前記調整のない状態に到達させることを特徴とする請求項４に記載の画像表示システム。
　前記輝度分布制御部は、画像の表示先であるヘッドマウントディスプレイが備える接触センサの検出結果に基づき、当該ヘッドマウントディスプレイが装着されたことによる前記光量の低下を検出することを特徴とする請求項１から７のいずれかに記載の画像表示システム。
　前記輝度分布制御部は、画像の表示先であるヘッドマウントディスプレイが備える赤外線カメラが撮影した画像に写る瞳孔のサイズ変化に基づき、前記光量の変化を検出することを特徴とする請求項１から８のいずれかに記載の画像表示システム。
　前記輝度分布制御部は、表示中の画像の輝度の変化を、当該画像の描画結果または、当該画像を表示させるコンテンツのメタデータに基づき取得することにより、前記光量の変化を検出することを特徴とする請求項１から９のいずれかに記載の画像表示システム。
　前記輝度分布制御部は、表示対象のコンテンツの切り替わり、またはコンテンツ画面とシステム画面の切り替わりを、ユーザ操作の内容に基づき特定することにより、前記光量の変化を検出することを特徴とする請求項１から１０のいずれかに記載の画像表示システム。
　前記輝度分布制御部は、画像の表示先であるヘッドマウントディスプレイの起動を検出し、当該ヘッドマウントディスプレイが装着されることによる前記光量の低下を予測して、当該装着より前の時点で、前記輝度を増加させるよう制御することを特徴とする請求項１から１１のいずれかに記載の画像表示システム。
　視細胞の働きにおいて視認性を低下させる程度の、ユーザの目に入射する光量の変化を、所定の情報に基づき検出するステップと、
　前記光量の変化に対応する規則による、画像の輝度分布の調整を制御するステップと、
　前記規則に従い画像値が表す輝度を変換するステップと、
　輝度が変換された画像のデータを出力するステップと、
　を含むことを特徴とする画像表示方法。
　視細胞の働きにおいて視認性を低下させる程度の、ユーザの目に入射する光量の変化を、所定の情報に基づき検出する機能と、
　前記光量の変化に対応する規則による、画像の輝度分布の調整を制御する機能と、
　前記規則に従い画像値が表す輝度を変換する機能と、
　輝度が変換された画像のデータを出力する機能と、
　をコンピュータに実現させることを特徴とするコンピュータプログラム。