JPWO2020170456A1 - 表示装置および画像表示方法 - Google Patents
表示装置および画像表示方法 Download PDFInfo
- Publication number
- JPWO2020170456A1 JPWO2020170456A1 JP2021501371A JP2021501371A JPWO2020170456A1 JP WO2020170456 A1 JPWO2020170456 A1 JP WO2020170456A1 JP 2021501371 A JP2021501371 A JP 2021501371A JP 2021501371 A JP2021501371 A JP 2021501371A JP WO2020170456 A1 JPWO2020170456 A1 JP WO2020170456A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- viewpoint
- head
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 55
- 238000012937 correction Methods 0.000 claims abstract description 46
- 230000004075 alteration Effects 0.000 claims abstract description 42
- 238000006073 displacement reaction Methods 0.000 claims description 64
- 239000013598 vector Substances 0.000 claims description 50
- 230000008859 change Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 abstract description 18
- 238000012545 processing Methods 0.000 description 41
- 230000033001 locomotion Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 23
- 210000001508 eye Anatomy 0.000 description 19
- 210000003128 head Anatomy 0.000 description 19
- 230000015654 memory Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 239000000872 buffer Substances 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000004043 responsiveness Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000000873 fovea centralis Anatomy 0.000 description 2
- 230000008570 general process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/005—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for correction of secondary colour or higher-order chromatic aberrations
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Controls And Circuits For Display Device (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
レンズを介して画像を見せる表示装置において、ユーザの瞳392の位置を、表示パネルに対する注視点に基づき特定する。注視点の代表点に対応づけて、表示画像のデータを構成する赤、緑、青の画像のレンズ歪み補正に用いるパラメータを準備しておく。そして実際の注視点の位置またはその予測値と代表点との位置関係に基づきパラメータを補間し、それを用いて原色ごとに補正することで色収差を補正する。
Description
この発明は、レンズを介して画像を見せる表示装置および画像表示方法に関する。
対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
表示装置の種類や視点の自由度によらず、視野が変化したり表示世界が動いていたりする場合、画像表示には高い応答性が求められる。一方でよりリアルな画像表現を実現するには、解像度を高めたり複雑な計算が必要になったりして画像処理の負荷が増大する。そのため視野や表示世界の動きに対し表示が追いつかず、結果として臨場感が損なわれてしまうこともあり得る。
本発明はこうした課題に鑑みてなされたものであり、その目的は、画像表示の応答性と品質を両立させることのできる技術を提供することにある。
上記課題を解決するために、本発明のある態様は表示装置に関する。この表示装置は、接眼レンズを介して表示画像を鑑賞させる表示装置であって、表示パネルに対するユーザの視点を検出する注視点取得部と、視点の位置またはその予測位置に応じて、補正に用いるパラメータを変化させて色収差を補正する補正部と、補正された表示画像を出力する表示部と、を備えたことを特徴とする。
本発明の別の態様は、画像表示方法に関する。この画像表示方法は、接眼レンズを介して表示画像を鑑賞させる表示装置が、表示パネルに対するユーザの視点を検出するステップと、視点の位置またはその予測位置に応じて、補正に用いるパラメータを変化させて色収差を補正するステップと、補正された表示画像を出力するステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、画像表示の応答性と品質を両立させることができる。
本実施の形態では、ユーザはディスプレイパネルに表示された画像を、接眼レンズを介して鑑賞することを想定する。この限りにおいて画像を表示させる装置の種類は特に限定されないが、ここではヘッドマウントディスプレイを例に説明する。図1はヘッドマウントディスプレイ100の外観例を示す。この例においてヘッドマウントディスプレイ100は、出力機構部102および装着機構部104で構成される。装着機構部104は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド106を含む。
出力機構部102は、ヘッドマウントディスプレイ100をユーザが装着した状態において左右の目を覆うような形状の筐体108を含み、内部には装着時に目に正対するように表示パネルを備える。筐体108内部にはさらに、ヘッドマウントディスプレイ100の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備える。またヘッドマウントディスプレイ100はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ100はモーションセンサを内蔵し、ヘッドマウントディスプレイ100を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。
この例でヘッドマウントディスプレイ100は、筐体108の前面にステレオカメラ110を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば拡張現実を実現できる。
図2は、本実施の形態における画像処理システムの構成例を示す。ヘッドマウントディスプレイ100は、無線通信またはUSBなどの周辺機器を接続するインターフェースにより画像生成装置200に接続される。画像生成装置200は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置200に提供してもよい。
画像生成装置200は、ヘッドマウントディスプレイ100を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ100に出力する。この限りにおいて画像を表示する目的は様々であってよい。例えば画像生成装置200は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界が実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。ユーザの視点を中心に広い画角でパノラマ画像を表示すれば、表示世界に没入した感覚を与えることができる。
なお画像生成装置200の機能の一部または全てを、ヘッドマウントディスプレイ100の内部に設けてもよい。画像生成装置200の全ての機能をヘッドマウントディスプレイ100に内蔵させた場合、図示する画像処理システムが1つのヘッドマウントディスプレイ100により実現される。
図3は、本実施の形態で画像生成装置200がヘッドマウントディスプレイ100に表示させる画像世界の例を説明するための図である。この例ではユーザ12が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置200は当該ワールド座標系に、ユーザ12の視点の位置や視線の方向に応じてビュースクリーン14を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。
ユーザ12の視点の位置や視線の方向(以後、これらを包括的に「視点」と呼ぶ場合がある)を所定のレートで取得し、これに応じてビュースクリーン14の位置や方向を変化させれば、ユーザの視点に対応する視野で画像を表示させることができる。視差を有するステレオ画像を生成し、表示パネルの左右の領域にそれぞれ表示させれば、仮想空間を立体視させることもできる。これによりユーザ12は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。
図4は、図3で示した形態において、ヘッドマウントディスプレイに表示させる画像を生成するまでの一般的な処理手順を説明するための図である。まずユーザの視点に対応するビュースクリーンに、仮想世界に存在するオブジェクトを射影することにより、ユーザの視野に対応する画像16を生成する。この処理は実際には、仮想世界を定義するワールド座標系におけるオブジェクトの頂点座標をビュースクリーンの座標系に変換したうえ、オブジェクトを構成する面にテクスチャをマッピングする処理となる。当該画像は本来、ユーザが視認すべき像を表す。
立体視させる場合は、左右の目の間隔に応じた視差分だけ画像16中の像を横方向にずらすか、画像16を各目に対し生成することにより、左目用画像18a、右目用画像18bからなるステレオ画像を生成する。さらにフォビエイテッドレンダリング(Foveated Rendering)を採用する場合は、ユーザが注視している一部領域の画像について、画像16より高い解像度の画像20を生成する。フォビエイテッドレンダリングは、視野のうち中心窩に対応する領域に比べその外側の像はぼやけて見えるという人の視覚特性を利用し、注視点近傍の領域を高い解像度、それ以外を低い解像度で表すことにより、処理負荷やデータ量を軽減させる技術である。
そして左目用画像18a、右目用画像18bにそれぞれ注視領域の画像20を合成したうえ、接眼レンズによる歪みに合わせて逆補正することで、最終的な表示画像22を生成する。ここで逆補正とは、接眼レンズを介して見たときに元の画像16が視認されるように、レンズによる歪みと逆方向に、画像をあらかじめ歪ませておく処理である。例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、図示するように画像を樽型に湾曲させておく。以後、レンズに対応する歪みが与えられた画像を「歪み画像」と呼ぶ。
図5は、一般的なビュースクリーンと歪み画像に対応するスクリーンの関係を説明するための図である。ビュースクリーン14は、図4における画像16を生成するためのスクリーンであり、スクリーン26は、仮に歪み画像を射影により生成するとしたときのスクリーンを表す。図では両スクリーンを、ユーザの視点24とともに側面から見た状態を示している。
人が視認すべき像を表すためのビュースクリーン14は、例えば視点24から視線方向に伸びる光軸oを中心に120°程度の画角を有する平面で構成される。そしてオブジェクト15の像は、光軸oから垂直方向の距離によらず、視点24とビュースクリーン14との距離に応じた縮尺率で一様に縮小された状態で表される。これを一般に中心射影と呼ぶ。一方、樽型の歪み画像は魚眼レンズによる撮影画像と同様の性質を有し、結果としてスクリーン26は図示するように湾曲した形状となる。ただしスクリーン26の詳細な形状はレンズの設計に依存する。
図から明らかなように、光軸oの近傍の角度範囲28では両スクリーンの対応する領域の面積差が小さいのに対し、角度範囲が光軸oから離れるほど面積差が広がる。このため、画像の中心領域34では中心射影の画像と歪み画像で像の大きさにほぼ差がないのに対し、周縁領域32a、32bでは、中心射影で描画した像が、歪み画像では著しく縮小されてしまう。つまり図4で示した一般的な処理手順により生成した中心射影の画像の一部は、表示画像には反映されない無駄な情報を含んでいるといえる。
そこで、最初から画像平面上の領域によって解像度を異ならせて描画すれば処理を効率化させることができる。しかしながら上述のフォビエイテッドレンダリングによれば、中心領域34を別途高解像度で描画する処理が必要になる。そこで本実施の形態では、ビュースクリーン14上の各画素の、レンズ歪みによる変位先を特定したうえ、当該変位先の色を該当画素の画素値とすることで歪み画像を直接描画する。この処理は、概念的にはスクリーン26上に画像を描画していることと同等であり、結果として中心領域は高解像度、周縁領域は低解像度の画像が生成される。
図6は、画像生成装置200の内部回路構成を示している。画像生成装置200は、CPU(Central Processing Unit)222、GPU(Graphics Processing Unit)224、メインメモリ226を含む。これらの各部は、バス230を介して相互に接続されている。バス230にはさらに入出力インターフェース228が接続されている。
入出力インターフェース228には、USBやIEEE1394などの周辺機器インターフェースや、有線又は無線LANのネットワークインターフェースからなる通信部232、ハードディスクドライブや不揮発性メモリなどの記憶部234、ヘッドマウントディスプレイ100へデータを出力する出力部236、ヘッドマウントディスプレイ100からデータを入力する入力部238、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部240が接続される。
CPU222は、記憶部234に記憶されているオペレーティングシステムを実行することにより画像生成装置200の全体を制御する。CPU222はまた、リムーバブル記録媒体から読み出されてメインメモリ226にロードされた、あるいは通信部232を介してダウンロードされた各種プログラムを実行する。GPU224は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU222からの描画命令に従って描画処理を行い、描画時点のタイムスタンプを伴って出力部236に出力する。メインメモリ226はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。
図7はヘッドマウントディスプレイ100の内部回路構成を示している。ヘッドマウントディスプレイ100は、CPU120、メインメモリ122、表示部124、音声出力部126を含む。これらの各部はバス128を介して相互に接続されている。バス128にはさらに入出力インターフェース130が接続されている。入出力インターフェース130には、有線又は無線LANのネットワークインターフェースからなる通信部132、およびモーションセンサ134が接続される。
CPU120は、バス128を介してヘッドマウントディスプレイ100の各部から取得した情報を処理し、画像生成装置200から取得した表示画像や音声のデータを表示部124や音声出力部126に供給する。メインメモリ122はCPU120における処理に必要なプログラムやデータを格納する。ただし実行するアプリケーションや装置の設計によっては、画像生成装置200がほぼ全ての処理を行い、ヘッドマウントディスプレイ100では画像生成装置200から送信されたデータを出力するのみで十分な場合がある。この場合、CPU120やメインメモリ122は、より簡易なデバイスで置き換えることができる。
表示部124は、液晶パネルや有機ELパネルなどの表示パネルで構成され、ヘッドマウントディスプレイ100を装着したユーザの眼前に画像を表示する。上述のとおり、左右の目に対応する領域に一対の視差画像を表示することにより立体視を実現してもよい。表示部124はさらに、ヘッドマウントディスプレイ100装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含む。
音声出力部126は、ヘッドマウントディスプレイ100の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。通信部132は、画像生成装置200との間でデータを送受するためのインターフェースであり、Bluetooth(登録商標)などの既知の無線通信技術を用いて実現できる。モーションセンサ134はジャイロセンサおよび加速度センサを含み、ヘッドマウントディスプレイ100の角速度や加速度を取得する。センサの出力値は通信部132を介して画像生成装置200に送信される。
図8は、本実施の形態における画像生成装置200の機能ブロックの構成を示している。画像生成装置200は上述のとおり、電子ゲームを進捗させたりサーバと通信したりする一般的な情報処理を行ってよいが、図8では特に、表示画像を生成する機能に着目して示している。なお図8で示される画像生成装置200の機能のうち少なくとも一部を、ヘッドマウントディスプレイ100に実装してもよい。あるいは、画像生成装置200の少なくとも一部の機能を、ネットワークを介して画像生成装置200に接続されたサーバに実装してもよい。
また図8および後述する図17に示す機能ブロックは、ハードウェア的には、図6または図7に示したCPU、GPU、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
画像生成装置200は、ヘッドマウントディスプレイ100から送信されるデータを取得する入力データ取得部260、ユーザの視点に係る情報を取得する視点情報取得部261、表示対象の空間を構築する空間構築部262、視点に対応するビュースクリーンを設定するビュースクリーン設定部264、ビュースクリーンの画素ごとに歪みによる変位先を決定しその色を画素値とすることで歪み画像を生成する歪み画像生成部266、歪み画像のデータをヘッドマウントディスプレイ100に出力する出力部268を備える。画像生成装置200はさらに、空間の構築に必要なオブジェクトモデルに係るデータを記憶するオブジェクトモデル記憶部254、および、レンズ歪みに係るデータを記憶する歪みパラメータ記憶部256を備える。
入力データ取得部260は図6の入力部238、CPU222などで構成され、ヘッドマウントディスプレイ100から送信される、モーションセンサの計測値や、ステレオカメラ110が撮影した画像などのデータを所定のレートで取得する。視点情報取得部261は図6のCPU222などで構成され、ユーザの視点の位置や視線の方向を所定のレートで取得する。例えばヘッドマウントディスプレイ100のモーションセンサの計測値に基づき頭部の位置や姿勢を特定する。ヘッドマウントディスプレイ100の外部に図示しない発光マーカーを設け、その撮影画像を図示しない撮像装置から取得して解析することで、頭部の位置や姿勢の情報を取得してもよい。
あるいはステレオカメラ110の撮影画像に基づきSLAMなどの技術により頭部の位置や姿勢を取得してもよい。このように頭部の位置や姿勢を取得できれば、ユーザの視点の位置および視線の方向はおよそ特定できる。後述のとおり画素の走査時間を考慮して、1フレームを描画する間にビュースクリーンの位置や姿勢を変化させる態様においては、視点情報取得部261は、過去の視点の動きから以後の視点の動きを予測する。なおユーザの視点に係る情報を取得したり予測したりする手段として様々に考えられることは当業者には理解されるところである。例えばヘッドマウントディスプレイ100の筐体108の内部に、ユーザの注視点を追跡する注視点追跡カメラを備え、その撮影結果に基づき視点を取得したり予測したりしてもよい。
空間構築部262は、図6のCPU222、GPU224、メインメモリ226などで構成され、表示対象のオブジェクトが存在する空間の形状モデルを構築する。図3で示した例では、室内を表す壁、床、窓、テーブル、テーブル上の物などのオブジェクトを、仮想空間を定義するワールド座標系に配置する。個々のオブジェクトの形状に係る情報はオブジェクトモデル記憶部254から読み出す。空間構築部262が構築する空間は固定としてもよいしゲームなどの進捗に応じて変化させてもよい。
ビュースクリーン設定部264は、図6のCPU222、GPU224、メインメモリ226などで構成され、視点情報取得部261が取得した視点の情報に応じてビュースクリーンを設定する。すなわち頭部の位置や顔面の向く方向に対応させてスクリーン座標を設定することにより、ユーザの位置や向く方向に応じた視野で、表示対象の空間がスクリーン平面に描画されるようにする。ここで設定するビュースクリーンは、ヘッドマウントディスプレイ100の表示パネルの平面に対応し、画素のマトリクスを定義するものである。
歪み画像生成部266は、図6のGPU224、メインメモリ226などで構成され、ヘッドマウントディスプレイ100の接眼レンズに応じた歪み画像を、表示画像として所定のレートで生成する。具体的には上述のとおり、ビュースクリーンにマトリクス状に定義した画素ごとに、レンズを介して見た時に対象画素がどの位置に変位するかを特定し、当該変位先の色を画素値として決定する。ここで変位先の色は、レイトレーシングにより決定する。すなわち視点から変位先を通る仮想的な光線(レイ)を発生させ、反射、透過、屈折などのインタラクションを考慮して追跡し、到達先の色情報を取得する。
レイトレーシングを採用することにより、画素ごとに独立した処理が可能となる。なおレイトレーシング自体は広く知られた技術であり、細かくはレイマーチング、パストレーシング、フォトンマッピングなど様々なモデルが提案されているが、そのいずれを採用してもよい。以後、モデルによらず、レイを発生させ3次元空間でのインタラクションを考慮して色情報を得る手法を「レイトレーシング」と総称する。
画素の変位方向や変位量(以後、「変位ベクトル」と呼ぶ)の分布は、ヘッドマウントディスプレイ100に実装される接眼レンズに依存するため、歪みパラメータ記憶部256には接眼レンズの歪みに係るデータを格納しておく。なお描画対象は3次元オブジェクトに限らず、別途撮影されたパノラマ画像などでもよいし、ステレオカメラ110が撮影しているリアルタイムの画像でもよい。
パノラマ画像の場合は、仮想世界にユーザの視点を中心とした天空を配置し、その内面にパノラマ画像をマッピングすれば、その他の処理は3次元オブジェクトと同様である。ステレオカメラ110が撮影した画像は元々、その時点での視点に対応する視野を有するため、歪み画像生成部266はレイを発生させることなく、撮影画像のうち変位先にある画素の値を、ビュースクリーン上の画素値として決定すればよい。
ここで撮影画像は一般に、カメラのレンズによる歪みが補正された中心射影の画像である。そのため図5で示した原理と同様に、ヘッドマウントディスプレイ100に表示される際は周縁部の情報が無駄となる。そこでステレオカメラ110の撮影画像を表示に含める場合は、カメラのレンズによる歪みを補正する前の画像を用いることで、撮影画像に対する補正処理を省略できる。ただしこのときのビュースクリーン上の画素の変位先は、ヘッドマウントディスプレイ100の接眼レンズによる歪みのほかに、ステレオカメラ110のレンズによる歪みも考慮する必要がある。
したがって歪みパラメータ記憶部256には、ステレオカメラ110のレンズの歪みに係る情報も格納しておく。表示画像を立体視させる場合、歪み画像生成部266は、左目用、右目用のそれぞれに対し表示画像を生成する。すなわち左目を視点とし左目用の接眼レンズを想定した歪み画像と、右目を視点として右目用の接眼レンズを想定した歪み画像を生成する。
出力部268は、図6のCPU222、メインメモリ226、出力部236などで構成され、歪み画像生成部266が生成した歪み画像のデータを、タイムスタンプを伴ってヘッドマウントディスプレイ100に順次送出する。立体視させる場合、出力されるデータは、画像の左半分に左目用の歪み画像、右半分に右目用の歪み画像が配置されたデータとなる。後述するように当該データを画素値が決定した画素列ごとに送信し、ヘッドマウントディスプレイにおいても取得した画素列を即時表示させることにより、極めて低い遅延時間での表示が可能となる。
次に、これまで述べた構成によって実現できる画像生成装置の動作について説明する。図9は、本実施の形態において画像生成装置200が表示画像を生成する処理手順を示すフローチャートである。このフローチャートは、画像生成装置200とヘッドマウントディスプレイ100の通信が確立され、画像生成装置200に対し処理を開始させるユーザ操作がなされたときなどに開始される。上述のとおり図示する表示処理と並行して電子ゲームなど各種情報処理がなされてもよい。まず空間構築部262は、表示対象のオブジェクトが存在する3次元空間をワールド座標系に構築する(S10)。
一方、視点情報取得部261は、モーションセンサの計測値に基づきユーザ頭部の位置や姿勢を取得することで、その時点での視点の位置や視線の方向を特定する(S12)。次にビュースクリーン設定部264は、視点に対応するようにビュースクリーンを設定する(S14)。続いて歪み画像生成部266は、ビュースクリーン上の画素のうち対象画素を1つ設定し(S16)、レンズを介して見たとき当該画素が視覚上、どの位置に変位するかを特定する(S18)。
そして歪み画像生成部266は、変位先の画素を通過するレイを発生させ、レイトレーシングにより決定した色情報を対象画素の画素値とする(S20)。S18、S20の処理を、ビュースクリーン上の全ての画素について繰り返す(S22のN、S16)。全画素の画素値を決定したら(S22のY)、出力部268は当該データを表示画像のデータとしてヘッドマウントディスプレイ100に出力する(S24)。表示を終了させる必要がなければ、次の視点情報を取得したうえで表示画像の生成、出力処理を繰り返す(S26のN、S12〜S24)。表示処理を終了させる必要が生じたら全ての処理を終了させる(S26のY)。
図10は、歪み画像生成部266が歪み画像の画素値を決定する手法を説明するための図である。一般的なレイトレーシングでは、図の左側に示すように、視点40からレイRを発生させ、それが到達するオブジェクト42の色や材質、光源の位置などを考慮した物理計算により画素値を決定する。このようにして描画される画像44aは、図4で示した中心射影の画像16と同等となる。一方、本実施の形態ではレンズを介して画像44aが視認されるように、歪み画像44bを直接描画する。
すなわち歪み画像生成部266は、ビュースクリーンの対象画素Aが、レンズを介して見た時にどの位置に変位するかを計算し、変位先の画素Bを通る、視点40からのレイにより得られる色情報を、対象画素Aの画素値とする。そのようにして描画される画像44bと、中心射影の画像44aとの関係は、一般的なカメラのレンズによって歪みのある撮影画像と、歪みを補正した画像との関係に等しい。したがって位置座標(x,y)の対象画素に対する変位ベクトル(Δx,Δy)は、次の一般式で算出できる。
ここでrはレンズの光軸から対象画素までの距離、(Cx,Cy)はレンズの光軸の位置である。またk1、k2、k3、・・・はレンズ歪み係数でありレンズの設計に依存する。補正の次数は特に限定されない。歪み画像生成部266は、対象画素Aの位置座標(x,y)に対し式1により変位ベクトル(Δx,Δy)を算出し、変位先である位置座標(x+Δx,y+Δy)の画素Bに対するレイトレーシングにより、対象画素Aの画素値を決定する。なお対象画素の変位先がビュースクリーンの範囲から外れる場合は、画素値を0などの所定値とする。
その後、歪み画像生成部266は、決定した画素値に対しガンマ補正など必要な処理を適宜実施する。このようにして決定した、画像44bの画素値のデータを、画素列単位でヘッドマウントディスプレイ100に順次出力することにより、画像44aのような中心射影の画像を一旦、生成してから逆補正する場合と比較し、遅延時間を大幅に抑えることができる。また中心射影の画像を格納するためのメモリ領域が必要なくなる。なお歪みパラメータ記憶部256には、歪み係数k1、k2、k3、・・・を格納してもよいし、変位ベクトルをあらかじめ計算してビュースクリーン平面にマッピングしたデータを格納しておいてもよい。
後者の場合、歪み画像生成部266は対象画素の位置座標に基づき歪みパラメータ記憶部256を参照し、変位ベクトルを取得することにより変位先の位置座標を取得する。ステレオカメラ110の撮影画像を表示に含める場合、上述のとおりカメラのレンズによる歪みを考慮する必要がある。すなわち式1により中心射影の画像への変位先が得られるため、それをさらにカメラのレンズ歪みの分だけ変位させる。この場合、あらかじめ変位ベクトルを演算しておきマップとして準備しておくことにより、歪み画像生成部266の処理の負荷を軽減させることができる。
図11は、様々な態様における表示画像の描画から表示までの時間経過を説明するための図である。図の縦軸が画像の縦方向に対応し、その各位置における画素列が描画されてから表示されるまでの時間を横軸に示している。まず(a)は、画像生成装置200が全ての画素の画素値を並列に決定するが、伝送は上の列からなされ、ヘッドマウントディスプレイ100において1フレーム分の画像のデータがフレームバッファに格納されてから表示される方式を示している。
この場合、画素の位置によらず同時刻の情報が表されるが、伝送時間のほかに、画像生成装置200から1フレーム分のデータを送出するための時間と、ヘッドマウントディスプレイ100のフレームバッファに1フレーム分のデータを格納するための時間が必要となり、画像全体で描画から表示までに遅延時間Laが生じる。
(b)は、画像生成装置200が画像の上側から画素値を決定し、決定した順に伝送する一方、ヘッドマウントディスプレイ100においては、1フレーム分の画像のデータがフレームバッファに格納されてから表示される方式を示している。この場合、画像生成装置200がいかに直近の情報を画素値に反映させても、ヘッドマウントディスプレイ100側では結局、フレームバッファに1フレーム分のデータを格納するための時間が必要となる。結果として描画から表示までに要する時間は画像上の位置によって異なり、最下段は伝送時間に近いLb’ですむものの、上段ほど遅延時間Lbが長くなる。
(c)は、画像生成装置200が画像の上側から画素値を決定し、決定した順に伝送するとともに、ヘッドマウントディスプレイ100においても、取得した画素列順に表示する方式を示している。この場合、描画から表示までの遅延時間Lcは画像上の位置によらず、原理上、伝送時間のみでよくなる。なお図示した例は全て、描画した画像を伝送する処理のみを考慮しているが、中心射影の画像を描画したうえ、それを一旦フレームバッファに格納し歪み画像に変換してから送信する場合は、遅延時間がさらに延びることになる。
(b)や(c)の方式で描画される画像は、画素を走査する時間により、1フレームの全体として見たとき、位置によって表示される色情報に時間差がある。しかしながら(c)に示すように、画素列単位で即時に伝送して表示するようにすると、位置によらず低遅延で最新の情報を表示させることができる。
人が注視できる領域は表示画像のごく一部に限られるため、視野やオブジェクトに動きのある画像の場合は特に(c)の方式を採用することにより、ユーザは画像のどこを見ても最新の状態を視認できることになる。(c)の方式を実現するには、例えば行ごとに即時出力できる電界放出ディスプレイ(FED:Field Emission Display)のようなラインバッファ対応のディスプレイを採用する。さらに描画時の時間経過を考慮してより正確に画素値を決定するため、好適には1フレームの描画期間にビュースクリーンを設定し直す。すなわち図9のS12における視点情報の取得と、S14におけるビュースクリーンの設定処理を、S22のNにおける対象画素ごとのループ処理の一部とする。
図12は、画素ごとにビュースクリーンを修正する態様を説明するための図である。ビュースクリーンは基本的に、ユーザの視点情報(視点の位置および視線の方向)と頭部の傾き角(首のかしげ角)によって決定され、それらは上述のとおりヘッドマウントディスプレイ100に内蔵するモーションセンサの計測値などに基づいて取得できる。すなわち視点を頂点、視線を軸とする視錐台の底面を、頭部の傾き角だけ回転させることにより、視点に応じたビュースクリーンが設定される。この計算は実際には、ビュー行列の生成、変換によって実現されるが一般的な処理のためここでは説明を省略する。
視点情報等がフレーム単位で得られる場合、フレーム内での対象画素の位置に基づき、その画素値を決定する時刻におけるそれらのパラメータを内挿により推定できる。図は1フレーム分の画素の走査時間を2次元平面で表しており、横方向w画素、縦方向h画素の画像自体の走査期間に、水平帰線期間Bh、垂直帰線期間Bvを加えたものである。1フレームを描画する時間を1とすると、1画素分を描画する時間dtは次のようになる。
dt=1/((w+Bh)・(h+Bv))
dt=1/((w+Bh)・(h+Bv))
対象画素Aの位置座標を(x,y)とすると、当該フレームの描画開始時刻から対象画素Aの描画までの時間t(x,y)は次のようになる。
t(x,y)=x・dt+y・(w+Bh)・dt
したがって、当該フレームの描画開始時刻、および次のフレームの描画開示時刻における、視点情報等の値をそれぞれv(0)、v(1)とすると、対象画素Aにおけるそれらの値Vは次のように求められる。
V=v(0)・(1−t(x,y))+v(1)・t(x,y)
ただし次のフレームの描画開示時刻における値v(1)は、それまでの各パラメータの変化に基づき視点情報取得部261が予測する。
t(x,y)=x・dt+y・(w+Bh)・dt
したがって、当該フレームの描画開始時刻、および次のフレームの描画開示時刻における、視点情報等の値をそれぞれv(0)、v(1)とすると、対象画素Aにおけるそれらの値Vは次のように求められる。
V=v(0)・(1−t(x,y))+v(1)・t(x,y)
ただし次のフレームの描画開示時刻における値v(1)は、それまでの各パラメータの変化に基づき視点情報取得部261が予測する。
ビュースクリーン設定部264は、対象画素ごとにそれを描画する時刻における視点情報等の値を上式により推定し、それに対応するようにビュースクリーンを設定し直す。歪み画像生成部266は修正されたビュースクリーン上に対象画素を設定し、上述と同様にレンズ歪みを考慮した変位先を通るように、その時刻に推定された視点からのレイを生成して画素値を決定する。これにより、画素の描画時点での最新の色情報を表示画像に反映させることができる。
図13は、ステレオカメラ110による撮影画像を表示に含める態様を説明するための図である。図示する表示対象の空間52には、3次元オブジェクト54、56や2次元オブジェクト、すなわち別途生成された画像58とともに、便宜上、撮影画像60を含めている。なおステレオカメラの撮影画像をステレオ画像として表す場合は当然、それぞれの画像平面がペアで必要となるが、図では簡単のためそのうち片方のみを示している。
これまで述べたように、視点50に対し、ビュースクリーン62を設定する。ビュースクリーン62上の各画素の描画時刻は、その位置座標によって異なる。ビュースクリーン62自体も、視点50の動きに応じて変動する。左上の画素の描画時刻をs、右下の画素の描画時刻をe、中間の画素の描画時刻をtとすると、表示画像における画素値R(s)、・・・、R(t)、・・・R(e)は、表示対象の全ての物の、時刻s、・・・、t、・・・、eにおける状態を反映したものとすることが望ましい。このため好適には、ステレオカメラ110にローリングシャッターセンサを採用する。
ローリングシャッターセンサは、左上の画素からラスタ順に画素を走査して輝度値を検出するイメージセンサである。ローリングシャッターセンサによる撮影と、表示画像の描画処理との間で、画素の走査の同期をとることにより、撮影により検出された輝度が即時に表示画像の画素値に反映される。これを図11の(c)で示したように即時に表示させれば、ステレオカメラ110による撮影からヘッドマウントディスプレイ100での表示までの遅延時間を最小限に抑えることができる。
例えばステレオカメラ110のレンズと、ヘッドマウントディスプレイ100の接眼レンズの歪み係数に大きな差がなければ、各時刻s、・・・、t、・・・eにおいて走査されるビュースクリーン62上の画素の位置と、レンズ歪みを補正しない撮影画像60において同時刻に走査される画素の位置はおよそ対応する。撮影画像60の各時刻における対応する画素の輝度値をC(s)、・・・、C(t)、・・・C(e)とすると、ビュースクリーン62上の画素値R(s)、・・・、R(t)、・・・R(e)は次のように決定できる。
R(s)=C(s)+Ts(t1(s),t2(s),t3(s))
R(t)=C(t)+Tt(t1(t),t2(t),t3(t))
R(e)=C(e)+Te(t1(e),t2(e),t3(e))
R(s)=C(s)+Ts(t1(s),t2(s),t3(s))
R(t)=C(t)+Tt(t1(t),t2(t),t3(t))
R(e)=C(e)+Te(t1(e),t2(e),t3(e))
ここでTs、Tt、Teは時刻s、t、eにおけるビュースクリーン62に対し、括弧内のオブジェクトのうちレイが到達するオブジェクトの色を決定する関数である。t1、t2、t3は、括弧内の時刻におけるオブジェクト54、56、58の状態を示す。また和は、撮影画像60とオブジェクトの像の合成を意味する。このように、ビュースクリーン62の位置や姿勢に加え、オブジェクトの状態や撮影画像60の輝度値についても、各画素の描画時刻s、・・・、t、・・・、eにおけるものを即時に反映させることにより、ユーザには常に最新の状態を見せることができる。
図14は、本実施の形態において撮影画像を表示させる場合の遅延時間について説明するための図である。図の左側は、表示画像のビュースクリーン70とステレオカメラ110のスクリーン72の関係を例示している。表示画像を歪み画像、撮影画像をカメラのレンズ歪みの補正前の画像とすると、ビュースクリーン70とカメラのスクリーン72は図示するように類似の形状となる。
図の右側の(a)に示す従来技術では、そのように撮影された歪みのある画像80を一旦、歪み補正により中心射影の画像82に変換し、さらにそれを補正して、表示用の歪み画像84を生成する。例えば画像80の端に近い領域86は、拡大され領域88とされたあと、再度縮小され領域90となる。また中心射影の画像82の1行分の領域88を生成するには、元の画像80の複数行分のデータが必要であり、表示時には画像84の複数行分に分散するため、画素列ごとに処理を完結させることができない。
一方、(b)に示す本実施の形態は、表示画像のビュースクリーン70とステレオカメラ110のスクリーン72の類似性を利用し処理を効率化している。すなわち撮影時の歪みのある画像92から、中心射影の画像への変換なく直接、表示用の歪み画像94を生成する。これにより、レンズ間の歪み係数の差が小さければ、画像92の1行分のデータから表示画像94の1行分のデータを生成できる。結果として、(a)の態様の遅延時間Ldと比較し、格段に短い遅延時間Leで表示が可能である。また、必要なラインバッファの数も抑えることができる。
図15は、歪み画像生成部266が歪み画像を生成する際、アンチエイリアシングを同時に行う場合の処理内容を説明するための図である。図はビュースクリーンの一部を示している。1画素分の領域のx軸方向、y軸方向の幅をそれぞれΔx、Δyとする。ここで位置座標(x,y)における画素値を決定する場合、その周囲の4点に対し上述同様に画素値を決定する。すなわち各点からの歪みによる変位先に対しレイトレーシングにより得られた色情報を画素値とする。
例えば図示するように(x±Δx/2,y±Δy/2)の4点を設定し、それぞれの画素値C00、C01、C10、C11が得られたとすると、位置座標(x,y)の画素値Cを4点の画素値の平均値として次のように求める。
C=(C00+C01+C10+C11)/4
上記計算を図9のS20で実施すれば、ジャギーの少ない歪み画像を直接描画できることになる。
C=(C00+C01+C10+C11)/4
上記計算を図9のS20で実施すれば、ジャギーの少ない歪み画像を直接描画できることになる。
図16は、歪み画像生成部266が色収差を補正した歪み画像を生成する態様を説明するための図である。レンズの色収差により、式1の歪み係数k1、k2、k3、・・・は色によって異なる。そこで歪み画像生成部266は、赤、緑、青それぞれに準備した歪み係数を用いて、歪み画像を色ごとに描画する。すなわち歪みによる対象画素の変位先を色ごとに特定し、当該変位先に対しレイトレーシングにより得られた色情報のうち対応する色成分の輝度を、対象画素の当該色の画素値とする。ここで赤、緑、青は、表示画像や表示パネルの画素の色を表現する原色の一例に過ぎず、それ以外の色の組み合わせであってもよい。
同図は図15と同様、ビュースクリーンの一部を示している。ここで位置座標(x,y)の画素値を決定する場合、(a)に示す態様では、その周囲の(x±Δx/2,y±Δy/2)なる4点に対し上述同様に画素値を決定する。図示する例では、表示パネルがベイヤ配列で画素を表現することを想定している。この場合、赤の歪み画像は赤の領域154の画素値、緑の歪み画像は緑の領域150、156の画素値、青の歪み画像は青の領域152の画素値に基づき生成することで、表示時の色ずれが生じにくい。ベイヤ配列以外の配列でも同様である。すなわち、前記歪み画像生成部266は、原色ごとに異なる位置に対象画素を設定する。
そのようにして得られた赤の画素値をC10(R)、緑の画素値をC00(G)およびC11(G)、青の画素値をC01(B)とすると、位置座標(x,y)に対する赤、緑、青の画素値C(R)、C(G)、C(B)を次のように求める。
C(R)=C10(R)
C(G)=(C00(G)+C11(G))/2
C(B)=C01(B)
C(R)=C10(R)
C(G)=(C00(G)+C11(G))/2
C(B)=C01(B)
(b)に示す態様では、位置座標(x,y)の周囲に設定する4点を、レンズ中心158から座標(x,y)への方位に依存して決定する。すなわち原点(0,0)から座標(x,y)へ向かうベクトルvの方向にある2点160、162と、座標(x,y)を通りベクトルvの垂直線上にある2点164、166を設定する。座標(x,y)から4点までの距離は、例えば(a)の場合と同様とする。各点に対し得られる各色の画素値から、位置座標(x,y)に対する画素値を決定する手法は(a)の場合と同様である。歪みの大きさは、レンズ中心からの距離に依存するため、(b)のように設定した4点は、歪みによる変位との親和性が高い。
これまで述べたように、画像生成装置200側で生成した歪み画像を、ヘッドマウントディスプレイ100の表示パネルに即時表示させれば、描画から表示までの遅延時間を最小限に抑えることができる。一方、ヘッドマウントディスプレイ100が、表示のタイミングやディスプレイ固有の情報に基づき、表示前の最終調整を行うことにより、画像の精度を高めたり、画像生成装置200が行う処理の自由度を向上させたりすることもできる。
図17は、表示画像を調整する機能を有するヘッドマウントディスプレイ100の機能ブロックの構成を示している。ヘッドマウントディスプレイ100は、画像生成装置200から表示画像のデータを取得する表示画像取得部170、ヘッドマウントディスプレイ100の位置や姿勢の情報を取得する位置姿勢情報取得部172、レンズ歪みに係るデータを記憶する歪みパラメータ記憶部174、表示画像を調整するリプロジェクション部176、および表示パネルとその駆動機構を含む表示部178を備える。
表示画像取得部170は、図7の通信部132およびCPU120で構成され、好適には画像生成装置200が上述のようにして生成した、歪み画像のデータを取得する。図11の(c)に示したように、画像の1行ごとに、生成された画素列をストリームデータとして取得し、以後の処理を順次実施することにより、表示までの遅延を最小限に抑えることができる。ただし表示画像取得部170は、図4に示したような一般的な技術により生成された表示画像のデータを取得してもよい。
位置姿勢情報取得部172は、図7のモーションセンサ134で実現でき、ヘッドマウントディスプレイ100の位置や姿勢をタイムスタンプと共に所定のレートで取得する。リプロジェクション部176は、図7のCPU120、メインメモリ122で構成され、表示画像取得部170が取得した表示画像に対し、表示のための最終調整を施す。具体的には、リプロジェクション部176は、位置姿勢情報取得部172から出力される、ヘッドマウントディスプレイ100の最新の位置や姿勢に対応するように画像を補正する。あるいはリプロジェクション部176は、画像生成装置200の代わりに色収差を補正したり、表示に好適なフレームレートとなるようにフレームを補間したりする。
リプロジェクション部176は、そのうち1つのみを実施してもよいし、2つ以上を組み合わせて実施してもよい。ここでリプロジェクション部176は、画像生成装置200から受け取ったタイムスタンプと、位置姿勢情報取得部172が情報を取得した時点のタイムスタンプとの差分に基づいて画像を補正する。表示部178は、図7の表示部124により構成され、リプロジェクション部176が最終調整した画像を順次表示する。
図18は、リプロジェクション部176が、ヘッドマウントディスプレイ100の位置や姿勢の情報に基づき表示画像を補正する態様を説明するための図である。(a)は画像生成装置200が生成する表示画像とユーザの頭部の側面図を模式的に示している。画像生成装置200の歪み画像生成部266は、例えば60fpsや120fpsなどのレートで、表示画像のフレームを順次生成する。図では横方向を時間軸として、各フレームが時系列順に生成されることを、概念的に示している。また各フレームがこれまで述べたような歪み画像であることを、面の湾曲で示している。
画像生成装置200は、時刻Tにおける、ヘッドマウントディスプレイ100の位置や姿勢の情報を取得して、それから得られる視点情報等に合致するようにビュースクリーンを設定したうえで表示画像を描画する。図示する例では、ヘッドマウントディスプレイ100の5軸のモーションセンサにより、画像の上下左右、ピッチ角、ヨー角、ロール角の位置姿勢データ182aが測定され、それに応じた表示画像が生成されていることを示している。
このデータをヘッドマウントディスプレイ100に伝送すると、実際の表示時刻である時刻tは当然、画像描画時の時刻Tより遅くなる。そこで(b)に示すように、ヘッドマウントディスプレイ100において、表示時刻により近い時刻tにおける位置姿勢データ182bを用いて表示画像を補正する。このように、一旦生成された表示画像を、好適に調整したうえで表示パネルに映し出すことを、本実施の形態では「リプロジェクション」と呼ぶ。リプロジェクションの結果である画像184を表示させることにより、ユーザの動きに対し高い応答性で画像を表示させることができる。
図19は、図18で示したリプロジェクションによる画像の変遷を模式的に示している。上述のとおり画像生成装置200からは、時刻Tの位置姿勢情報に基づいて描画された表示画像186を伝送する。なお表示画像186は実際には、赤、緑、青の3チャネルのデータで構成されることを3つの画像で示している。各色の画像は、好適には図16を参照して説明したように色収差が補正されている。
するとリプロジェクション部176は、最新時刻tの位置姿勢情報を位置姿勢情報取得部172から取得し、それに応じて各色の画像を補正する。上述の5軸のセンサを用いる場合、上下左右の並進運動に応じて表示画像を対応する方向に変位させ、ピッチ角、ヨー角の回転運動により、画像中の位置に依存する規則で拡大したり縮小したりして画像188aを生成する。さらにロール角の回転運動により画像を面方向に回転させて画像188bを生成する。これらの処理を各色の画像に施することにより、時刻tに対応する最終的な表示画像190を生成する。
なお視点を規定する位置姿勢情報に基づき画像を補正する演算は、実際には、適切な変換行列を用いてなされる一般的な処理でよい。ヘッドマウントディスプレイ100におけるリプロジェクションは、画像生成装置200における表示画像の生成と独立した処理のため、双方の処理頻度を独立に設定することができる。例えば表示画像を60fpsで生成しておき、リプロジェクション時にフレームを補間することにより、120fpsで表示させることもできる。これを踏まえると、実際に表示される画像の品質を維持しつつ、画像生成装置200側での処理内容の自由度を高められる。
すなわち表示画像の生成頻度を低くすることが許容されるため、歪み画像を直接描画せずに、一旦、中心射影の画像を生成した後、逆補正して表示画像を生成する手法とも組み合わせることができる。つまり表示画像の各フレームの生成に時間を要しても、ヘッドマウントディスプレイ100においてフレームを補間しながら表示することにより、高フレームレートでの表示を実現できる。
図20は、リプロジェクション部176が、表示画像の色収差を補正する場合の画像の変遷を模式的に示している。この場合、画像生成装置200からは、色収差を補正する前の表示画像192を伝送する。例えばYCbCrの色空間の輝度Yに対し準備された歪み係数を式1に導入することにより生成した、各色の歪み画像を伝送する。するとリプロジェクション部176は、各色の実際の歪み係数を用いて取得した変位ベクトルから、輝度Yの歪み係数を用いて取得した変位ベクトルを差し引いた差分ベクトルを画素ごとに計算し、各色の画像192の画素を差分ベクトル分だけ変位させることにより色収差を補正する。すなわち画像生成装置200が表示画像に与えた歪みを、表示画像に与えられている補正量を差し引いて画素を変位させることにより、色ごとに修正する。
輝度Y、赤、緑、青の歪み係数を用いて得られる、位置座標(x,y)の画素の変位ベクトルをDY(x,y)、DR(x,y)、DG(x,y)、DB(x,y)とすると、赤、緑、青の元の画像192からの各画素の差分ベクトルΔR(x,y)、ΔG(x,y)、ΔB(x,y)は次のように表せる。
ΔR(x,y)=DR(x,y)−DY(x,y)
ΔG(x,y)=DG(x,y)−DY(x,y)
ΔB(x,y)=DB(x,y)−DY(x,y)
ΔR(x,y)=DR(x,y)−DY(x,y)
ΔG(x,y)=DG(x,y)−DY(x,y)
ΔB(x,y)=DB(x,y)−DY(x,y)
リプロジェクション部176は、差分ベクトルΔR(x,y)、ΔG(x,y)、ΔB(x,y)分だけ各画素を変位させて得られた補正後の画像194a、194b、194cを最終的な画像として、表示部178の表示パネルに表示させる。なお画像生成装置200において歪み画像を生成する際に用いる歪み係数は輝度Yのものに限らない。例えば緑の歪み係数を用いて歪み画像を生成してもよい。この場合、元の画像192のうち緑の画像については色収差の補正まで完了しているため、さらなる補正の必要はない。
そこでリプロジェクション部176は、赤および青の差分ベクトルΔR(x,y)、ΔB(x,y)を次のように計算し、赤および青の色収差を補正し表示させる。
ΔR(x,y)=DR(x,y)−DG(x,y)
ΔB(x,y)=DB(x,y)−DG(x,y)
そのほか画像生成装置200では、理想面レンズの歪み係数を用いて歪み画像を生成しておき、ヘッドマウントディスプレイ100において実際のレンズに合わせた補正をしてもよい。
ΔR(x,y)=DR(x,y)−DG(x,y)
ΔB(x,y)=DB(x,y)−DG(x,y)
そのほか画像生成装置200では、理想面レンズの歪み係数を用いて歪み画像を生成しておき、ヘッドマウントディスプレイ100において実際のレンズに合わせた補正をしてもよい。
歪みパラメータ記憶部174には、実際のレンズの歪み係数を格納しておき、リプロジェクション部176が差分ベクトルをその場で算出してもよいし、差分ベクトルを事前に計算し画素の位置と対応づけたマップを色ごとに格納して、リプロジェクション部176が参照できるようにしてもよい。
図21は、リプロジェクション部176が、ヘッドマウントディスプレイ100の位置や姿勢の情報に基づく補正と色収差の補正の双方を実施する場合の、画像の変遷を模式的に示している。この場合、画像生成装置200からは、時刻Tの位置姿勢情報に基づいて描画された、色収差を補正する前の表示画像196を伝送する。するとリプロジェクション部176は、最新時刻tの位置姿勢情報を位置姿勢情報取得部172から取得し、図19で示したように各色の画像を補正する(S30)。
次にリプロジェクション部176は、各色の歪み係数により得られる変位ベクトルから、元の画像196を描画したときに求めた変位ベクトルを差し引いた差分ベクトルを計算し、図20に示したようにして色収差を補正する(S32)。これを最終的な画像として、表示部178の表示パネルに表示させる。このように、ヘッドマウントディスプレイ100の位置姿勢の変化に基づく補正と色収差の補正をヘッドマウントディスプレイ100において最終調整として実施することにより、頭部の動きに対し高い応答性が得られるとともに、画像生成装置200における処理を簡略化したり、フレームレートや処理内容の自由度を上げたりすることができる。
図22は、ヘッドマウントディスプレイ100にリプロジェクション部176を設けることによって実現できる処理のバリエーションを説明するための図である。例えば従来の中心射影の方式で、低解像度の全体画像310bと高解像度の中心領域の画像310aを生成して合成するフォビエイテッドレンダリングを考える。一般には画像の合成、歪み補正、表示といった一連の処理をシーケンシャルに実施するため、それらのフレームレートは当然、共通となる。
一方、本実施の形態においてヘッドマウントディスプレイ100にリプロジェクション部176を設けたことにより、上述のとおり表示画像の生成処理のレートを表示と独立に設定できる。そのため、全体画像を描画したうえ高解像度の中心領域をさらに描画することにより1フレームを生成するのに要する時間が増えても、表示時にはフレームレートを上げることができる。
歪画像を直接描画する態様においても、フォビエイテッドレンダリングを採用することが考えられる。すなわち低解像度の全体画像314aと高解像度の中心領域の画像314bをそれぞれ、図10で説明した手法により歪み画像として直接描画する。歪み画像自体が元来、中心領域において高解像度になる特性を有するが、フォビエイテッドレンダリングを採用すると、全体画像314aの解像度をさらに抑えるなどの効率化を図れる。
なおこの手法は画素ごとのレイトレーシングのため、全体画像314aのうち、中心領域の画像314bを合成する領域については描画を省略することができる。この場合も、画像生成装置200における表示画像の生成レートは、実際の表示のレートと独立に設定できる。また人の視覚特性として、視野のうち中心窩の外側の領域では動きに対する感度が高いことが知られている。したがって全体画像314aのフレームレートを、中心領域の画像314bのフレームレートより高く設定することが考えられる。いずれにしろ画像生成装置200の処理と独立に、様々な表示レートに対応できるため、将来、表示パネルの駆動が高速化しても容易に対応させることができる。
これまでの説明では、ユーザはレンズの中心付近を見ていることを前提としていた。この場合、画像の歪みは、式1のようにレンズの光軸からの距離で定まり、補正量は光軸に対し対称な特性となる。一方、視線が動きレンズ中心から離れると、瞳孔に入射する光の経路が変化するため、色収差を補正するための計算式が変化する。
図23は、ヘッドマウントディスプレイを装着したユーザの視線の方向の変化を例示している。図の上段は、ユーザの瞳322とレンズ320を側面から見た状態を示している。図の下段は各状態における、表示パネル324上のユーザの注視点326を示している。(a)に示すように、ユーザの瞳322がレンズ320の光軸o近傍にあるとき、すなわち注視点326が表示パネル324の中心近傍にあるときは、光軸からの距離によって補正量が決定する。
一方、(b)に示すように瞳322が上を向き、注視点326が表示パネルの上方に移動したり、(c)に示すように瞳322が下を向き、注視点326が表示パネルの下に移動したりすると、各色成分の光路が変化することから補正のための計算式が変化する。このため、ある歪み係数を用いて式1により補正した同じ画像を見たとき、(a)の状態では適正に見えていた像が、(b)や(c)では色がずれて見えることになる。
そこで好適には、注視点326の情報を用いて、色収差の補正に用いるパラメータを瞳322の位置に応じて調整する。図24は、瞳の位置に応じて色収差の補正を調整する態様における、ヘッドマウントディスプレイの機能ブロックの構成を示している。図17に示したヘッドマウントディスプレイ100と同じ機能を有するブロックについては同じ符号を付し説明を省略する。
この態様におけるヘッドマウントディスプレイ100aは、図17と同様、表示画像取得部170と表示部178を備える。またヘッドマウントディスプレイ100aは、ユーザの注視点の位置情報を取得する注視点取得部372、注視点の位置に応じたパラメータにより表示画像の色収差を補正するリプロジェクション部376、および補正に用いるパラメータを記憶する歪みパラメータ記憶部374を備える。
注視点取得部372は注視点検出器により実現される。注視点検出器は、眼球に照射した赤外線の反射を検出するなどして、人が見ている対象物のうち注視しているポイントを検出する一般的な装置である。リプロジェクション部376は、補正部として、注視点の位置、またはその予測値に応じて、用いるパラメータを変化させたうえで表示画像の色収差を補正する。歪みパラメータ記憶部374は、注視点の位置と補正に用いるパラメータとの対応を表すデータを格納する。
この限りにおいてデータの形式は特に限定されないが、本実施の形態では、歪みパラメータ記憶部374は、注視点の代表的な位置(代表値、代表点)に対応づけて、画像平面に変位ベクトルの分布を表した変位ベクトルマップを格納する。なおリプロジェクション部376は、図17に示したリプロジェクション部176の機能を兼ね備えていてもよい。この場合、ヘッドマウントディスプレイ100aにはさらに、位置姿勢情報取得部172を含めてよい。
図25は、歪みパラメータ記憶部374に格納するデータと補正の調整手法の例を説明するための図である。この例では、表示パネル380における注視点の5つの代表点382a、382b、382c、382d、382eに対し、変位ベクトルマップを準備している。各位置の変位ベクトルマップ384a、384b、384c、384d、384eはそれぞれ、赤用、緑用、青用の3つのマップで構成される。中央の注視点382aに対応づけられる変位ベクトルマップ384aは、レンズに応じた歪み係数を式1に代入して算出される変位ベクトル(Δx,Δy)の分布を表したデータとなる。
上端中央、左端中央、下端中央、左端中央の注視点382b、382c、382d、382eに対応づけられる変位ベクトルマップ384b、384c、384d、384eは、各注視点から眼球へ到達する光の経路を、各色の波長ごとに計算することで導出した変位ベクトルの分布を表す。このような色収差の数値計算自体は、レンズ設計の分野では一般的なものである。本実施の形態ではその分布を、画像平面上に表したマップとして記憶しておく。
なお変位ベクトルマップ384aなどにおいて変位ベクトルを対応づける単位は、最も詳細には1画素ごとであるが、それより広い面積に対し1つの変位ベクトルを対応づけてもよい。例えば画像平面を縦方向、横方向に所定数分割してなる画素ブロックごとに変位ベクトルを対応づけてもよい。また1つのマップ中の位置によって、変位ベクトルを対応づける面積を異ならせてもよい。例えば色収差が顕著になりやすい画像端に近づくほど面積を小さく、細かい単位で変位ベクトルと対応づけることにより、詳細に補正できるようにしてもよい。
リプロジェクション部176は、実際の注視点あるいはその予測値が代表点と一致する場合は、それに対応づけられた変位ベクトルマップを参照して色収差を補正する。注視点が代表点以外にあるときは基本的に、代表点からの距離に応じて補間した変位ベクトルマップに基づき色収差を補正する。例えば2つの代表点382b、382eをm:nに内分する位置に注視点386がある場合、変位ベクトル(Δx,Δy)を画素ごとに次のように決定する。
Δx=(n/m+n)Δx1+(m/m+n)Δx2
Δy=(n/m+n)Δy1+(m/m+n)Δy2
ここで(Δx1,Δy1)、(Δx2,Δy2)はそれぞれ、代表点382b、382eに対応づけられた変位ベクトルマップのうち、対応する画素の変位ベクトルである。
Δx=(n/m+n)Δx1+(m/m+n)Δx2
Δy=(n/m+n)Δy1+(m/m+n)Δy2
ここで(Δx1,Δy1)、(Δx2,Δy2)はそれぞれ、代表点382b、382eに対応づけられた変位ベクトルマップのうち、対応する画素の変位ベクトルである。
隣り合う3点の代表点を頂点とする三角形の領域内に注視点がある場合も同様に、3点の代表点からの距離に応じた重みで、画素ごとに変位ベクトルの重みづけ平均をとる。ただし代表点の位置設定や、任意の位置の注視点に対する変位ベクトルマップの求め方をこれらに限定する趣旨ではない。例えば注視点が画面中央近傍にあるとき、上述のように色収差はそれほど顕著でないため、中央を含む所定範囲の領域388では変位ベクトルの補間計算を行わず、代表点382aに対応づけられた変位ベクトルマップ384aをそのまま用いてもよい。その他の代表点についても、補間計算をしない領域をそれぞれ設けてよい。
図26は、図25の構成によって実現できる、各色の画像を瞳の位置に応じて補正してなる表示画像の鑑賞態様を概念的に示している。図では、瞳(例えば瞳392)の位置が異なるユーザの顔(例えば顔390)を5通り例示している。瞳には、表示パネルに表された画像(例えば画像394)の光がレンズを透過して入射する。瞳の位置に応じて色収差の補正に用いるパラメータを切り替えると、画像上の像の領域が色によって異なる方向および量で、微小に変位する。図では像の領域を、赤を破線、緑を実線、青を一点鎖線の楕円で表象しており、瞳の位置によって異なる態様でずれているのがわかる。
このように補正された赤、緑、青の画像を重ねて見ることにより、瞳の位置によらず、入射する光が表す像に色ずれが生じないようにできる。これにより、拡大率の高い接眼レンズを導入して広い視野で画像を鑑賞できるようにしても、視線の動きによって色収差が視認されるのを防ぐことができる。なお、周辺領域に物体が存在しなかったり、周波数の高い像が表れていたりして色収差が目立ちにくい画像の場合、視線の動きに応じた補正の調整の必要性が薄れることが考えられる。したがって画像の内容を解析し、その結果に応じて、色収差の補正を調整するか否かを切り替えてもよい。
また、注視点に基づき変位ベクトルマップを切り替えて色収差を補正する処理は、画像生成装置200において歪み画像生成部266が実施してもよい。この場合、画像生成装置200は、注視点の位置情報をヘッドマウントディスプレイ100から取得する。そして画像生成装置200において色収差の補正まで行った表示画像をヘッドマウントディスプレイ100に送信する。
このとき歪み画像生成部266は、注視点に応じて切り替えた変位ベクトルマップを用いて、図16において説明したように、変位先に対するレイトレーシングにより各色の画素値を決定する。またヘッドマウントディスプレイ100では、色収差の補正まで行った表示画像に対し、上述したようにヘッドマウントディスプレイ100の最新の位置姿勢に基づく補正を行ってもよいし、フレームを補間してもよい。
以上述べた本実施の形態によれば、接眼レンズを介して画像を鑑賞する表示形態において、レンズを介して見た時に歪みのない画像が視認されるように、元から歪みを与えた画像を直接描画する。具体的には、レンズ歪みによる画素の変位先に対しレイトレーシングを行うことにより得た色情報を、変位前の画素の画素値とする。これにより、中心射影の画像を補正する従来の手法と比較し、描画処理の効率が上がるとともに、必要なメモリ容量を節約できる。
また画素ごとに独立した描画が可能なため、画素列順に即時に伝送でき、描画から表示までの遅延時間を格段に抑えることができる。さらに、ヘッドマウントディスプレイに表示画像を最終調整する機能を設けることにより、例えば頭部の最新の位置姿勢情報を用いて画像を補正でき、ユーザの動きに対し高い応答性で違和感のない表示を実現できる。また色収差の補正やフレームレートの調整を、画像生成装置での表示画像の生成処理と独立させることにより、実際に表示される画像の品質を維持しつつ、画像生成装置での処理の負荷を軽減させたり、処理内容の自由度を高めたりすることができる。
さらに、表示パネルに対する注視点の位置に応じて、色収差の補正に調整を加える。これにより、接眼レンズに対する瞳の位置の変化によって光路が変化し、色ずれが視認されるのを防ぐことができる。以上述べた特徴によって、ユーザやオブジェクトの動きに対する応答性と画像の品質を両立させることができる。このことは、操作入力からの高速表示が求められるeスポーツの分野では特に有効である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
100 ヘッドマウントディスプレイ、 120 CPU、 122 メインメモリ、 124 表示部、 132 通信部、 134 モーションセンサ、 200 画像生成装置、 170 表示画像取得部、 172 位置姿勢情報取得部、 174 歪みパラメータ記憶部、 176 リプロジェクション部、 178 表示部、 222 CPU、 224 GPU、 226 メインメモリ、 236 出力部、 238 入力部、 254 オブジェクトモデル記憶部、 260 入力データ取得部、 261 視点情報取得部、 262 空間構築部、 264 ビュースクリーン設定部、 266 歪み画像生成部、 268 出力部、 372 注視点取得部、 374 歪みパラメータ記憶部、 376 リプロジェクション部。
以上のように本発明は、ヘッドマウントディスプレイ、ゲーム装置、画像表示装置、携帯端末、パーソナルコンピュータなど各種情報処理装置や、それらのいずれかを含む画像処理システムなどに利用可能である。
Claims (8)
- 接眼レンズを介して表示画像を鑑賞させる表示装置であって、
表示パネルに対するユーザの視点を検出する注視点取得部と、
前記視点の位置またはその予測位置に応じて、補正に用いるパラメータを変化させて色収差を補正する補正部と、
補正された表示画像を出力する表示部と、
を備えたことを特徴とする表示装置。 - 前記視点の位置の代表値に対応づけて前記パラメータを格納するパラメータ記憶部をさらに備え、
前記補正部は、前記視点の位置またはその予測値と、前記代表値との位置関係に基づき、前記パラメータを補間して補正に用いることを特徴とする請求項1に記載の表示装置。 - 前記視点の位置またはその予測値が前記代表値から所定の範囲にあるとき、他の代表値に対応づけられた前記パラメータとの補間を行わないことを特徴とする請求項2に記載の表示装置。
- 前記パラメータ記憶部は、補正量と補正方向を表す変位ベクトルを、前記表示画像の画像平面の位置に対応づけて表した変位ベクトルマップを、前記表示画像のデータを構成する原色ごとに格納し、
前記補正部は、前記変位ベクトルマップを参照することにより、画素及び原色ごとに前記表示画像を補正することを特徴とする請求項2または3に記載の表示装置。 - 前記パラメータ記憶部は、前記画像平面の位置によって、1つの前記変位ベクトルを対応づける領域の面積を異ならせることを特徴とする請求項4に記載の表示装置。
- 前記補正部は、前記表示画像の内容に基づき、前記視点の位置またはその予測位置に応じて前記パラメータを変化させるか否かを決定することを特徴とする請求項1から5のいずれかに記載の表示装置。
- 接眼レンズを介して表示画像を鑑賞させる表示装置が、
表示パネルに対するユーザの視点を検出するステップと、
前記視点の位置またはその予測位置に応じて、補正に用いるパラメータを変化させて色収差を補正するステップと、
補正された表示画像を出力するステップと、
を含むことを特徴とする画像表示方法。 - 接眼レンズを介して表示画像を鑑賞させる表示装置が備えるコンピュータに、
表示パネルに対するユーザの視点を検出する機能と、
前記視点の位置またはその予測位置に応じて、補正に用いるパラメータを変化させて色収差を補正する機能と、
補正された表示画像を出力する機能と、
を実現させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/006912 WO2020170456A1 (ja) | 2019-02-22 | 2019-02-22 | 表示装置および画像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020170456A1 true JPWO2020170456A1 (ja) | 2021-12-16 |
JP7142762B2 JP7142762B2 (ja) | 2022-09-27 |
Family
ID=72144066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021501371A Active JP7142762B2 (ja) | 2019-02-22 | 2019-02-22 | 表示装置および画像表示方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220113794A1 (ja) |
EP (1) | EP3930318A4 (ja) |
JP (1) | JP7142762B2 (ja) |
WO (1) | WO2020170456A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230289929A1 (en) * | 2020-09-08 | 2023-09-14 | Sony Interactive Entertainment Inc. | Image display system, head mounted display, and image display method |
WO2022070270A1 (ja) * | 2020-09-29 | 2022-04-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
US20230237730A1 (en) * | 2022-01-21 | 2023-07-27 | Meta Platforms Technologies, Llc | Memory structures to support changing view direction |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010092360A (ja) * | 2008-10-09 | 2010-04-22 | Canon Inc | 画像処理システム、画像処理装置、収差補正方法及びプログラム |
JP2011139158A (ja) * | 2009-12-25 | 2011-07-14 | Canon Inc | 画像処理装置および画像処理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5369450A (en) * | 1993-06-01 | 1994-11-29 | The Walt Disney Company | Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display |
CN103534748B (zh) * | 2012-03-22 | 2017-05-17 | 索尼公司 | 显示装置、图像处理装置和图像处理方法 |
US10228562B2 (en) * | 2014-02-21 | 2019-03-12 | Sony Interactive Entertainment Inc. | Realtime lens aberration correction from eye tracking |
US10102666B2 (en) * | 2015-06-12 | 2018-10-16 | Google Llc | Electronic display stabilization for head mounted display |
US10156723B2 (en) * | 2016-05-12 | 2018-12-18 | Google Llc | Display pre-distortion methods and apparatus for head-mounted displays |
US10398976B2 (en) * | 2016-05-27 | 2019-09-03 | Samsung Electronics Co., Ltd. | Display controller, electronic device, and virtual reality device |
US11194391B2 (en) * | 2017-09-27 | 2021-12-07 | Apple Inc. | Visual artifact mitigation of dynamic foveated displays |
US11960086B2 (en) * | 2019-02-22 | 2024-04-16 | Sony Interactive Entertainment Inc. | Image generation device, head-mounted display, and image generation method |
-
2019
- 2019-02-22 EP EP19915895.7A patent/EP3930318A4/en active Pending
- 2019-02-22 WO PCT/JP2019/006912 patent/WO2020170456A1/ja unknown
- 2019-02-22 JP JP2021501371A patent/JP7142762B2/ja active Active
- 2019-02-22 US US17/430,024 patent/US20220113794A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010092360A (ja) * | 2008-10-09 | 2010-04-22 | Canon Inc | 画像処理システム、画像処理装置、収差補正方法及びプログラム |
JP2011139158A (ja) * | 2009-12-25 | 2011-07-14 | Canon Inc | 画像処理装置および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3930318A1 (en) | 2021-12-29 |
US20220113794A1 (en) | 2022-04-14 |
JP7142762B2 (ja) | 2022-09-27 |
WO2020170456A1 (ja) | 2020-08-27 |
EP3930318A4 (en) | 2022-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10565779B2 (en) | Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component | |
JP7358448B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法 | |
JP7150134B2 (ja) | ヘッドマウントディスプレイおよび画像表示方法 | |
CN108292489B (zh) | 信息处理装置和图像生成方法 | |
US8456485B2 (en) | Image processing apparatus and method, head mounted display, program, and recording medium | |
WO2017212679A1 (ja) | 画像生成装置および画像生成方法 | |
KR20180038552A (ko) | 가상 및 증강 현실 시스템들 및 방법들 | |
JP6310898B2 (ja) | 画像処理装置、情報処理装置、および画像処理方法 | |
JP7142762B2 (ja) | 表示装置および画像表示方法 | |
US20210382313A1 (en) | Image generation appratus, head-mounted display, content processing system, and image display method | |
JP7365184B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
US11640058B2 (en) | Image processing method, image processing apparatus, and head-mounted display | |
JP7057785B2 (ja) | 画像生成装置および画像生成方法 | |
US11614627B2 (en) | Image processing apparatus, head-mounted display, and image displaying method | |
JP7429515B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
WO2022054118A1 (ja) | 画像表示システム、ヘッドマウントディスプレイ、および画像表示方法 | |
WO2022070270A1 (ja) | 画像生成装置および画像生成方法 | |
JP7365183B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法 | |
JP7526803B2 (ja) | 画像生成装置および画像生成方法 | |
WO2024004134A1 (ja) | 画像送信装置および画像送信方法 | |
WO2023140033A1 (ja) | 表示制御装置、ヘッドマウントディスプレイ、および表示制御方法 | |
JP6920440B2 (ja) | 画像生成装置および画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220913 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7142762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |