WO2016002657A1

WO2016002657A1 - 画像生成装置および画像生成方法

Info

Publication number: WO2016002657A1
Application number: PCT/JP2015/068526
Authority: WO
Inventors: 友博大戸
Original assignee: 株式会社ソニー・コンピュータエンタテインメント
Priority date: 2014-07-03
Filing date: 2015-06-26
Publication date: 2016-01-07
Also published as: US20170160796A1; EP3166080A4; JP5920897B2; JP2016015683A; EP3166080A1; CN106663336A; US9939890B2; CN106663336B

Abstract

　パノラマ画像処理部７５０は、与えられた視点から見えるパノラマ画像のような広視野角画像を生成する。画像変換部７８０は、生成された広視野角画像を、視点を中心とする単位角度あたりのピクセル数である角解像度を視点に向かう光線方向に応じて調整した伝送フォーマットに変換する。画像提供部７７０は、角解像度が調整された伝送フォーマットで画像をヘッドマウントディスプレイ１００に送信する。ヘッドマウントディスプレイ１００は受信した画像をデバイスの光学特性に適合するように変換して表示する。

Description

画像生成装置および画像生成方法

　この発明は、広視野角画像を生成する装置および方法に関する。

　ゲーム機に接続されたヘッドマウントディスプレイ（ＨＭＤ）を頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けることがある。その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。

　また、ヘッドマウントディスプレイにパノラマ画像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度のパノラマ画像や仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。

　広視野角の画像を表示するヘッドマウントディスプレイデバイスでは、デバイス内のレンズ等の光学系の歪みを完全に取り除く構成にすることが物理的に難しいため、デバイス内の画像表示ユニットの各ピクセルの表示位置と、光学系を通した視聴者の表示位置との対応関係が非線形になることが多い。特に、光学系の特性の違いからヘッドマウントディスプレイデバイス毎に上述の対応関係が異なるため、個々のヘッドマウントディスプレイに適した画像を生成するには、デバイス毎に異なる画像変換が必要となる。

　現在はゲーム機やパーソナルコンピュータなどの画像生成装置側で特定のヘッドマウントディスプレイデバイスの特性に適したフォーマットで画像を生成し、ヘッドマウントディスプレイに転送する方式が取られている。簡単に言えば、画像生成装置側で特定のヘッドマウントディスプレイのパネルに表示されるべき画像を直接生成している。しかし、この方式では、ヘッドマウントディスプレイデバイスの種類が今後増えてくると画像生成装置側で個々のヘッドマウントディスプレイに合わせて個別に画像を生成する必要があり、対応が難しくなる。今日、ヘッドマウントディスプレイを提供するベンダーがいくつかあるが、ヘッドマウントディスプレイに共通の画像伝送フォーマットがないため、個々のヘッドマウントディスプレイデバイスの特性に合わせて画像を生成するしかないのが現状である。

　一方、画像生成装置側で生成されたパノラマ画像のような広視野角画像をそのまま圧縮して伝送し、ヘッドマウントディスプレイ側で光学特性に合わせて変換して表示すると、視点に向かう光線方向によって角解像度に偏りが生じ、画像の中央部で見かけの画質が劣化する。これは、解像度が画面全体で均一である画像を広視野角で見た場合に生じる現象であり、ヘッドマウントディスプレイに限らず、横長または縦長のディスプレイでも課題となりうる。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイ等での表示に適した広視野角画像を生成することのできる画像生成装置および画像生成方法を提供することにある。

　上記課題を解決するために、本発明のある態様の画像生成装置は、与えられた視点から見える画像を生成する画像生成部と、生成された前記画像を、前記視点を中心とする単位角度あたりのピクセル数である角解像度を前記視点に向かう光線方向に応じて調整した伝送フォーマットに変換する画像変換部とを含む。

　本発明の別の態様もまた、画像生成装置である。この装置は、与えられた視点に向かう光線を逆方向に追跡することにより画像を描画するレイトレーシング部を含む。前記レイトレーシング部は、前記視点を中心とする単位角度あたりのピクセル数である角解像度を前記視点に向かう光線方向によって調整した伝送フォーマットで画像を生成する。

　本発明のさらに別の態様は、画像生成方法である。この方法は、与えられた視点から見える画像を生成する画像生成ステップと、生成された前記画像を、前記視点を中心とする単位角度あたりのピクセル数である角解像度を前記視点に向かう光線方向に応じて調整した伝送フォーマットに変換する画像変換ステップとを含む。

　本発明のさらに別の態様もまた、画像生成方法である。この方法は、与えられた視点に入る光線を逆方向に追跡することにより画像を描画するレイトレーシングステップを含む。前記レイトレーシングステップは、前記視点を中心とする単位角度あたりのピクセル数である角解像度を前記視点に向かう光線方向に応じて調整した伝送フォーマットで画像を生成する。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、ヘッドマウントディスプレイ等での表示に適した広視野角画像を生成することができる。

ヘッドマウントディスプレイの外観図である。ヘッドマウントディスプレイの機能構成図である。本実施の形態に係るパノラマ画像生成システムの構成図である。本実施の形態に係るパノラマ画像生成装置の機能構成図である。ディスプレイ面に表示された画像の角解像度を説明する図である。視点に向かう光線方向とディスプレイ面上のピクセルの位置の関係を説明する図である。角解像度が視点に向かう光線方向によらずに均一になるようにピクセルを配置した画像フォーマットを説明する図である。角解像度を視点に向かう光線方向によらずに均一にした正規化フォーマットを説明する図である。角解像度を視点に向かう光線方向によらずに均一にした正規化フォーマットを説明する図である。角解像度を視点に向かう光線方向によらずに均一にした正規化フォーマットの別の例を説明する図である。角解像度を視点に向かう光線方向によらずに均一にした正規化フォーマットの別の例を説明する図である。本実施の形態のパノラマ画像生成システムによる画像生成と画像伝送の手順を説明するシーケンス図である。図４のパノラマ画像処理部により生成されたパノラマ画像の一例を示す図である。図１１（ａ）および図１１（ｂ）は、比較のために通常の伝送フォーマットで図１０のパノラマ画像をヘッドマウントディスプレイに転送し、ヘッドマウントディスプレイで再生した場合を説明する図である。図１２（ａ）および図１２（ｂ）は、本実施の形態の広視野角画像伝送フォーマットで図１０のパノラマ画像をヘッドマウントディスプレイに転送し、ヘッドマウントディスプレイで再生した場合を説明する図である。

　図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。

　ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。

　ヘッドマウントディスプレイ１００に内蔵または外付けされたＧＰＳ（Global Positioning System）などの位置センサによりユーザの位置情報を計測することができる。また、ヘッドマウントディスプレイ１００に内蔵または外付けされた姿勢センサによりヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。

　本体部１１０には、ディスプレイ、位置情報取得センサ、姿勢センサ、通信装置などが含まれる。前頭部接触部１２０および側頭部接触部１３０には、オプションとして、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサをもたせてもよい。

　ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。

　ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

　図２は、ヘッドマウントディスプレイ１００の機能構成図である。

　制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、タッチパネルおよびタッチパネルコントローラから操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイに表示させる。バックライト３２は、液晶ディスプレイにバックライトを供給する。

　通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。

　記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

　ＧＰＳユニット６０は、制御部１０からの操作信号にしたがって、ＧＰＳ衛星から位置情報を受信して制御部１０に供給する。無線ユニット６２は、制御部１０からの操作信号にしたがって、無線基地局から位置情報を受信して制御部１０に供給する。

　姿勢センサ６４は、ヘッドマウントディスプレイ１００の本体部１１０の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。

　外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。

　時計部８０は、制御部１０からの設定信号によって時間情報を設定し、時間データを制御部１０に供給する。

　ヘッドマウントディスプレイ１００では、ユーザのすぐ目の前に配置されたディスプレイパネルに画像を表示するだけではピントが合わずにぼやけてしまうため、プリズムやレンズなどの光学系を用いて、広い視野角で歪みなく画像が見えるようにしている。画像変換部９０は、制御部１０から画像信号を受け取り、ヘッドマウントディスプレイ１００の光学系の歪み特性に応じて画像信号を変換し、制御部１０に返す。

　制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイに表示させたり、通信制御部４０に供給して外部に送信させることができる。

　図３は、本実施の形態に係るパノラマ画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェースでゲーム機２００に接続される。ゲーム機２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをゲーム機２００に提供してもよい。ヘッドマウントディスプレイ１００は、ゲーム機２００の代わりに、コンピュータや携帯端末に接続されてもよい。

　図４は、本実施の形態に係るパノラマ画像生成装置７００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。

　パノラマ画像生成装置７００は、ヘッドマウントディスプレイ１００が接続されたゲーム機２００に実装されるが、パノラマ画像生成装置７００の少なくとも一部の機能をヘッドマウントディスプレイ１００の制御部１０に実装してもよい。特に後述の画像変換部７８０の機能をヘッドマウントディスプレイ１００側に実装してもよい。あるいは、パノラマ画像生成装置７００の少なくとも一部の機能を、ネットワークを介してゲーム機２００に接続されたサーバに実装してもよい。

　ズーム指示取得部７１０は、ヘッドマウントディスプレイ１００の入力インタフェース２０を介してユーザが指示するズームの倍率を取得する。ズーム指示取得部７１０が取得したズーム倍率は感度調整部７２０とパノラマ画像処理部７５０に供給される。

　位置・回転情報取得部７３０は、ヘッドマウントディスプレイ１００のＧＰＳユニット６０やモーションセンサにより検知される位置情報と姿勢センサ６４により検知される姿勢情報にもとづいて、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置と回転に関する情報を取得する。ユーザの頭部の位置は、ゲーム機２００のカメラによりヘッドマウントディスプレイ１００の動きを検出することにより取得されてもよい。

　位置・回転情報取得部７３０は、感度調整部７２０から指示された感度にもとづいて、ユーザの頭部の位置と回転を取得する。たとえば、ユーザが首を回すと、姿勢センサ６４によりユーザの頭部の角度の変化が検出されるが、感度調整部７２０は、角度の変化が所定の値を超えるまでは検出された角度の変化を無視するように位置・回転情報取得部７３０に指示する。

　また、感度調整部７２０は、ズーム指示取得部７１０から取得されたズーム倍率にもとづいて頭部の角度検出の感度を調整する。ズーム倍率が大きくなるほど、頭部の角度検出の感度を下げる。ズームすると、画角が小さくなるため、頭部の角度検出感度を下げることで頭部の揺れによる表示画像の振動を抑えることができる。

　モーションセンサとして、３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上の組み合わせを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。また、ユーザの頭部の位置情報を組み合わせて頭部の動き検出の精度を向上させてもよい。

　座標変換部７４０は、位置・回転情報取得部７３０により取得されたヘッドマウントディスプレイ１００の位置および回転を用いて、トラッキング機能付きのヘッドマウントディスプレイ１００に表示すべき画像を生成するための座標変換を行う。

　パノラマ画像処理部７５０は、パノラマ画像記憶部７６０からパノラマ画像データを読み出し、座標変換部７４０による座標変換にしたがって、ヘッドマウントディスプレイ１００の位置および回転に応じたパノラマ画像を、ズーム指示取得部７１０から指定されたズーム倍率で生成し、画像変換部７８０に与える。ここで、パノラマ画像データは、事前に作成された動画または静止画コンテンツであってもよく、レンダリングされたコンピュータグラフィックスであってもよい。

　画像変換部７８０は、パノラマ画像処理部７５０が生成した広視野角画像のフォーマットをユーザの眼の特性に適した伝送フォーマットに変換する。

　一般的なＨＤＴＶ（High-Definition Television）の場合、水平画角は約３３度であるが、ヘッドマウントディスプレイ１００などでパノラマ画像のような広視野角画像を表示する場合、９０度を超える水平画角が求められる。同じ解像度の画像に対して画角が４０度から１００度に増えるとピクセル密度が下がり、画像の中心部の解像度（ｄｐｉ;dots per inch）は約１／３．２倍になる。

　特にヘッドマウントディスプレイ１００を装着したユーザが広視野角のパノラマ画像を見る場合、角解像度が画像の品質を左右する重要なファクターとなる。「角解像度」とは、視点を中心とする単位角度あたりのピクセル数である。パノラマ画像のように横長の画像を表示するヘッドマウントディスプレイ１００の場合、視点に向かう光線方向によって角解像度に偏りが生じる。

　画像変換部７８０は、ユーザの眼の特性に合わせて角解像度を調整することで、ヘッドマウントディスプレイ１００で広視野角のパノラマ画像を見るのに適した「広視野角画像伝送フォーマット」に画像を変換する。この画像変換処理の詳細については後述する。

　画像変換部７８０は、このように広視野角画像伝送フォーマットに変換された画像を画像提供部７７０に与える。画像提供部７７０は、画像変換部７８０により変換されたパノラマ画像データをヘッドマウントディスプレイ１００に供給する。

　図５は、ディスプレイ面に表示された画像の角解像度を説明する図である。この図では、ディスプレイ面４００に表示されるピクセルを黒点で模式的に示している。

　視点Ｏからディスプレイ面４００に映し出された画像を見た場合、視点Ｏに入る光線方向によってピクセル密度に偏りがある。真正面から視点Ｏに向かう光線方向の微小角αに対するピクセル数は符号４１０で示したように３個であるが、右斜めから視点Ｏに向かう光線方向の微小角αに対するピクセル数は符号４２０で示した７個である。このように、ディスプレイ面４００に等間隔でピクセルが配置された画像を視点Ｏから見た場合、真正面方向の角解像度が最も低く、横方向に行くにしたがって角解像度は高くなる。特にヘッドマウントディスプレイ１００で広視野角のパノラマ画像を見る場合、斜め横方向の角解像度と真正面方向の角解像度の差は顕著になる。本来は人間には真正面方向からの光線（画像の中心部）が主に意識され、斜め方向からの光線（画像の周辺部）はあまり意識されないにもかかわらず、画像の中心部の角解像度が周辺部の角解像度よりも低くなることは不都合である。

　本実施の形態では、パノラマ画像生成装置７００と個々のヘッドマウントディスプレイ１００との間でヘッドマウントディスプレイデバイスに依存しない共通の伝送フォーマットを定義し、パノラマ画像生成装置７００がその共通の伝送フォーマットで画像を直接生成するか、生成した画像をその共通の伝送フォーマットに変換してから個々のヘッドマウントディスプレイ１００に画像を送信する。個々のヘッドマウントディスプレイ１００はパノラマ画像生成装置７００から受信した共通の伝送フォーマットの画像を各デバイスの光学特性に適したフォーマットに変換し、ディスプレイパネルに表示する。パノラマ画像生成装置７００は、デバイスに依存しない共通の伝送フォーマットを用いることによって、ヘッドマウントディスプレイデバイスの違いを意識せずに画像を生成することができ、光学特性の異なる個別のヘッドマウントディスプレイに個別に対応する必要がなくなる。

　さらに、本実施の形態では、ヘッドマウントディスプレイ１００で広視野角画像を表示するのに適した共通の伝送フォーマットとして、角解像度を眼の特性に合わせて調整した「広視野角画像伝送フォーマット」を採用する。ここでは角解像度を眼の特性に合わせて調整する例として、角解像度を視点に向かう光線方向に応じて調整した広視野角画像伝送フォーマットを説明する。より具体的には、最初に、角解像度を視点に向かう光線方向によらずに均一になるように調整した伝送フォーマットを説明する。

　図６Ａは、視点に向かう光線方向とディスプレイ面上のピクセルの位置の関係を説明する図である。視点Ｏからディスプレイ面４００までの距離を１とする。視点Ｏからディスプレイ面４００を真正面に見たときのピクセルをＰとする。真正面に対して角度βの光線方向にあるディスプレイ面４００上のピクセルをＱとする。ピクセルＱはディスプレイ面４００上でピクセルＰからｔａｎβの距離だけ離れた位置にある。

　真正面に対して角度ｎβ（ｎは自然数）の光線方向にあるディスプレイ面４００上のピクセルをＲとする。ピクセルＲはディスプレイ面４００上でピクセルＰからｔａｎ（ｎβ）の距離だけ離れた位置にある。ピクセルをディスプレイ面４００上に等間隔に配置するのではなく、ピクセルＰからｔａｎβ、ｔａｎ２β、ｔａｎ３β…の距離だけ離れたディスプレイ面４００上の位置にピクセルを配置するなら、角解像度を視点Ｏに向かう光線方向によらずに均一にすることができる。

　図６Ｂは、角解像度が視点に向かう光線方向によらずに均一になるようにピクセルを配置した画像フォーマットを説明する図である。この図では、角度β毎にｔａｎ（ｎβ）（ｎは自然数）で示されるディスプレイ面４００上の位置にピクセルが配置されることで、視点Ｏに向かういずれの光線方向でも角解像度（単位角度あたりのピクセル数）を均一にすることができる。

　図７Ａおよび図７Ｂは、広視野角画像伝送フォーマットの一例として、角解像度を視点に向かう光線方向によらずに均一にした正規化フォーマットを説明する図である。

　通常のテレビやディスプレイでは発光させるパネルの位置のピクセルのカラー情報を伝送するが、広視野角画像伝送フォーマットでは、視点に向かう光線方向にあるピクセルのカラー情報を伝送する。ここで、視点の位置を（０，０，０）として、水平方向、垂直方向、前後方向をそれぞれＸ軸、Ｙ軸、Ｚ軸に取り、正面方向をＺ軸のプラスにする。生成された画像のピクセル（Ｘ，Ｙ）は等間隔に並んでいるとする。また、水平方向、垂直方向の解像度や画角は、パネルデバイス固有の値に設定され、画像の伝送フォーマットとは独立に決まっているものとする。

　従来の一般的に広く使用されている画像の伝送フォーマットは、ピクセル（Ｘ，Ｙ）は視点に向かう光線方向（Ｘ，Ｙ，１）にあるとしてピクセルの表示位置を決めており、ピクセルは等間隔に表示される。

　しかし、従来の伝送フォーマットでは、画像の中心部の角解像度が画像の周辺部の角解像度に比べて低くなってしまうため、広視野角のヘッドマウントディスプレイで表示するための伝送フォーマットとしては最適ではない。そこで、ピクセルのＸ軸、Ｙ軸を非線形にスケーリングして目盛りを取ることで角解像度を視点に向かう光線方向に応じて調整する。一例として、角解像度を視点に向かう光線方向によらずに一定にするために、ピクセルの座標を（Ｘ，Ｙ）で取るのではなく（ｔａｎ（Ｘ），ｔａｎ（Ｙ））で取る。

　Ｘ方向にｉ番目、Ｙ方向にｊ番目のピクセルを生成するとき、通常の画像フォーマットでは、
　Ｘ＝Ｘｓｃａｌｅ×ｉ＋Ｘｏｆｆｓｅｔ
　Ｙ＝Ｙｓｃａｌｅ×ｊ＋Ｙｏｆｆｓｅｔ
で決まる座標（Ｘ，Ｙ）のピクセルを生成するが、正規化フォーマットでは（ｔａｎ（Ｘ），ｔａｎ（Ｙ））の座標のピクセルを生成する。これは、ディスプレイ面で発光するピクセルの光が光線方向（ｔａｎ（Ｘ），ｔａｎ（Ｙ），１）から視点Ｏに入ることを意味する。

　このようにして通常フォーマットの画像は、（ｔａｎ（Ｘ），ｔａｎ（Ｙ））の位置にピクセルを配置した正規化フォーマットに変換される。この結果、ディスプレイ面上のピクセルの配置は図６Ｂに示したように画像の中央部ではピクセル密度が高く、周辺部ではピクセル密度が低いフォーマットになるが、角解像度は視点に向かう光線方向によらず均一になる。正規化フォーマットで伝送された画像をヘッドマウントディスプレイ１００で表示するときは、Ｘ方向にｉ番目、Ｙ方向にｊ番目のピクセルをディスプレイ面の座標（ｔａｎ（Ｘ），ｔａｎ（Ｙ））で示される位置に表示させればよい。

　図７Ａおよび図７Ｂは、正規化フォーマットへの変換を立体的に示したものであり、図６Ｂにおける視点Ｏを中心とする半径１の球面が図示されている。ただしこの正規化フォーマットへの変換では、ｚ＝１であるため、視点Ｏの前方で水平方向１８０度に広がる画像しか表現できない。ｚに負の値を許して、水平方向１８０度を超えて視点Ｏの後方の画像まで表現できるようにするため、全体にｃｏｓ（Ｘ）ｃｏｓ（Ｙ）をかけてピクセルの光線方向を（ｓｉｎ（Ｘ）ｃｏｓ（Ｙ），ｃｏｓ（Ｘ）ｓｉｎ（Ｙ），ｃｏｓ（Ｘ）ｃｏｓ（Ｙ））としてもよい。なお、この正規化フォーマットは、特異点が上下９０度にあるため、垂直方向に１８０度を超える画像は表現できないことに留意する。

　図８Ａおよび図８Ｂは、角解像度を視点に向かう光線方向によらずに均一にした正規化フォーマットの別の例を説明する図である。

　この正規化フォーマットでは、水平方向に３６０度、垂直方向に１８０度の画像を表示できるように、緯度、経度に相当する角度を用いる。すなわち、ピクセルの光が光線方向（ｓｉｎ（Ｘ）ｃｏｓ（Ｙ），ｓｉｎ（Ｙ），ｃｏｓ（Ｘ）ｃｏｓ（Ｙ））から視点Ｏに向かうとして画像のフォーマットを定義する。これは特異点や方向性を除けば光線方向（ｔａｎ（Ｘ），ｔａｎ（Ｙ）／ｃｏｓ（Ｘ），１）と同じである。このフォーマットは、上下９０度に特異点があるため、高さ方向に１８０度未満、横方向に１８０度を超えるパノラマ画像に適したフォーマットである。もちろん横方向に１８０度を超えなくてもこのフォーマットを使用できる。人間は両眼で見た場合、視野角は左右１８０度を超えると言われており、水平方向に１８０度を超える画像を表現できるフォーマットは、特にパノラマ画像に有利である。

　上記の説明では、角解像度（視点を中心とする単位角度あたりのピクセル数）が均一になるように正規化された画像伝送フォーマットを定義したが、人間の視界には画像の中央部（真正面方向に見える部分）が主に見えており、周辺部（斜め方向に見える部分）はあまり見えていない（意識されない）ことを考慮して、中央部の角解像度を高くし、周辺部の角解像度を低くするように角解像度を光線方向に応じて調整した画像伝送フォーマットを定義してもよい。また、光線方向に応じた角解像度の調整方法をパラメータを用いて指定可能な伝送フォーマットを定義してもよい。

　パラメータを含んだ関数を用いた伝送フォーマットを説明する。画像の中心部に比べて周辺部の解像度を減らすための伝送フォーマットとして、図７Ａおよび図７Ｂで説明した、角解像度を視点に向かう光線方向によらずに均一にした正規化フォーマットではピクセルの光線方向を（ｔａｎ（Ｘ），ｔａｎ（Ｙ），１）とした。パラメータ関数で定義する伝送フォーマットでは、光線方向を（ｓｉｎ（Ｘ）／（ｃｏｓ（Ｘ）^Ｐ１），ｓｉｎ（Ｙ）／（ｃｏｓ（Ｙ）^Ｐ２），１）とする。

　Ｐ１、Ｐ２はそれぞれ横方向、縦方向に効くパラメータであり、Ｐ１、Ｐ２の値が１の場合、ピクセル密度は光線方向によらずに均一であり、Ｐ１、Ｐ２の値が１よりも大きい場合、中心部（真正面からの光線方向）のピクセル密度が高くなり、Ｐ１、Ｐ２の値が１よりも小さい場合、周辺部（斜め横からの光線方向）のピクセル密度が高くなる。パノラマ画像生成装置７００がパラメータＰ１、Ｐ２を決定するか、パノラマ画像生成装置７００がヘッドマウントディスプレイ１００から指定されたパラメータＰ１、Ｐ２を受け取り、パノラマ画像生成装置７００は、所望のパラメータで角解像度を調整した伝送フォーマットの画像を生成する。

　一般に、パラメータ関数を用いた伝送フォーマットは、各ピクセルの光が視点に向かう光線方向をパラメータを含んだ関数で定義することにより定義することができる。

　次に、ピクセルの送信パターンを指定することで角解像度を調整可能な伝送フォーマットを説明する。ピクセルＸ、Ｙは、送信時のｉ，ｊ番目のピクセルに対して、スケールとオフセットをかけて、Ｘ＝Ｘｓｃａｌｅ×ｉ＋Ｘｏｆｆｓｅｔ、Ｙ＝Ｙｓｃａｌｅ×ｊ＋Ｙｏｆｆｓｅｔにより作成されるが、送信すべきピクセルを特定のパターンで省く。たとえば、１番から１９２０番までの１９２０個のピクセルを送る代わりに、１番から３０００番までの３０００個のピクセルに対して、１番から１０８０番までは奇数番のピクセルのみ送信し、１０８１番から１９２０番まではすべてのピクセルを送信し、１９２１番から３０００番までは偶数番のピクセルのみを送信することで、合計１９２０個をヘッドマウントディスプレイ１００に送信する。これにより、画像の中心部はピクセル密度を高くし、周辺部のピクセル密度を低くすることができる。このような送信パターンをパラメータとして指定できるような伝送フォーマットにすれば、パノラマ画像生成装置７００またはヘッドマウントディスプレイ１００が送信パターンを指定して画像の角解像度を可変にすることができる。

　図９は、本実施の形態のパノラマ画像生成システムによる画像生成と画像伝送の手順を説明するシーケンス図である。

　パノラマ画像生成装置７００のパノラマ画像処理部７５０は、ヘッドマウントディスプレイ１００に表示すべきパノラマ画像などの広視野角画像を生成する（Ｓ１０）。これは、たとえばカメラで実写されたパノラマ画像やコンピュータグラフィックスを用いてレンダリングされた人工画像であってもよい。パノラマ画像は水平方向の画角が１８０度を超える画像である必要はなく、水平方向の画角が１８０度以下の画像であってもよい。垂直方向の画角も１８０度を超えても、１８０度以下であってもよい。

　画像変換部７８０は、生成された画像の角解像度を視点に向かう光線方向に応じて調整した広視野角画像伝送フォーマットに変換する（Ｓ２０）。

　上記の説明では、いったん生成された画像のフォーマットを広視野角画像伝送フォーマットに変換したが、レイトレーシングを用いて視点に向かう光線を逆方向に追跡して各ピクセルのカラー情報を直接計算で求めることにより、広視野角画像伝送フォーマットの画像を直接、生成することも可能である。この場合、画像変換部７８０の構成は不要であり、レイトレーシング部の機能を有するパノラマ画像処理部７５０が広視野角画像伝送フォーマットで画像を生成すればよい。

　画像提供部７７０は、広視野角画像伝送フォーマットの画像をヘッドマウントディスプレイ１００に転送する（Ｓ３０）。

　ヘッドマウントディスプレイ１００は、広視野角画像伝送フォーマットの画像を受け取り、画像変換部９０がヘッドマウントディスプレイ１００の固有の光学特性に合わせて画像を変換することでディスプレイパネルに適した画像に変換する（Ｓ４０）。出力インタフェース３０は、ヘッドマウントディスプレイ１００用に変換された画像をディスプレイに表示する（Ｓ５０）。

　ヘッドマウントディスプレイ１００を装着したユーザが頭部を移動させたり、回転させると、ＧＰＳユニット６０やモーションセンサがユーザの頭部の位置に関する情報を取得し、姿勢センサ６４が頭部の回転に関する情報を取得する（Ｓ６０）。位置と回転に関する情報はパノラマ画像生成装置７００に送信される。

　パノラマ画像生成装置７００の座標変換部７４０は、取得されたユーザの頭部の位置と回転に関する情報からパノラマ画像を見る視点位置と視線方向を変更する（Ｓ７０）。ステップＳ１０に戻って、パノラマ画像処理部７５０は、新しい視点位置から新しい視点方向に見た場合のパノラマ画像を生成する。それ以降、ステップＳ２０～Ｓ７０を繰り返す。

　図１０は、パノラマ画像処理部７５０により生成されたパノラマ画像の一例を示す図である。この例では、水平方向の画角が１８０度の画像である。

　図１１（ａ）および図１１（ｂ）は、比較のために通常の伝送フォーマットで図１０のパノラマ画像をヘッドマウントディスプレイ１００に転送し、ヘッドマウントディスプレイ１００で再生した場合を説明する図である。

　図１１（ａ）は、図１０のパノラマ画像を通常の伝送フォーマットで圧縮した様子を示す。画像の中央部と周辺部で均一に画像が圧縮されている。このように通常の伝送フォーマットで圧縮された画像をヘッドマウントディスプレイ１００で伸長して表示すると、図１１（ｂ）のように、画像の全体がぼやけ、画像の中央部の解像度が周辺部と同じように劣化してしまう。

　図１２（ａ）および図１２（ｂ）は、本実施の形態の広視野角画像伝送フォーマットで図１０のパノラマ画像をヘッドマウントディスプレイに転送し、ヘッドマウントディスプレイで再生した場合を説明する図である。

　図１２（ａ）は、図１０のパノラマ画像を、角解像度を視点に向かう光線方向によらずに均一になるように調整した伝送フォーマットに変換したものである。画像の中央部の解像度が周辺部の解像度よりも高くなるように圧縮されている。図１２（ａ）の伝送フォーマットで圧縮された画像をヘッドマウントディスプレイ１００で伸長して表示すると、図１２（ｂ）のように、周辺部が中央部に比べてぼやけるが、中央部はピクセル密度が高いためにぼやけない。これはヘッドマウントディスプレイ１００での表示に適する。

　以上説明したように、本実施の形態によれば、画像生成装置が個別のヘッドマウントディスプレイデバイスの光学特性に依存しない共通の伝送フォーマットで広視野角画像を生成してヘッドマウントディスプレイに送信し、ヘッドマウントディスプレイにおいて光学特性に合わせて画像を変換するため、個々のヘッドマウントディスプレイデバイスの特性に合わせて画像を生成する必要がない。これによりヘッドマウントディスプレイデバイスに依存しない広視野角画像の生成処理を実現することができる。

　また、視点に向かう光線方向に応じて角解像度を調整した広視野角画像伝送フォーマットを用いることにより、いずれの種類のヘッドマウントディスプレイにも適した広視野角画像を提供することができる。画像全体を均一に圧縮する従来の伝送フォーマットで画像生成装置が生成した広視野角画像をヘッドマウントディスプレイに送信した場合、ヘッドマウントディスプレイで表示すると、画像の中央部で見かけの画質が劣化してしまう。しかし、本実施の形態によれば、角解像度を視点に向かう光線方向に応じて調整することで、画像の中央部の解像度を周辺部に比べて高くすることができ、画像の中央部での画質の劣化を防ぐことができる。

　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。

　上記の説明では、ヘッドマウントディスプレイに広視野角画像を表示する実施例を説明したが、頭部には装着しない通常の卓上型や壁掛け型のディスプレイに広視野角画像を表示する場合にも本実施の形態の画像生成方法を適用して、画像の角解像度を人間の眼の特性に適したフォーマットに変換してもよい。角解像度を視点に向かう光線方向に応じて調整する技術は、横長または縦長のディスプレイにパノラマ画像を表示する際にも有効である。

　１０　制御部、　２０　入力インタフェース、　３０　出力インタフェース、　３２　バックライト、　４０　通信制御部、　４２　ネットワークアダプタ、　４４　アンテナ、　５０　記憶部、　６０　ＧＰＳユニット、　６２　無線ユニット、　６４　姿勢センサ、　７０　外部入出力端子インタフェース、　７２　外部メモリ、　８０　時計部、　９０　画像変換部、　１００　ヘッドマウントディスプレイ、　１１０　本体部、　１２０　前頭部接触部、　１３０　側頭部接触部、　２００　ゲーム機、　７００　パノラマ画像生成装置、　７１０　ズーム指示取得部、　７２０　感度調整部、　７３０　位置・回転情報取得部、　７４０　座標変換部、　７５０　パノラマ画像処理部、　７６０　パノラマ画像記憶部、　７７０　画像提供部、　７８０　画像変換部。

　広視野角画像を生成する技術に利用できる。

Claims

　与えられた視点から見える画像を生成する画像生成部と、
　生成された前記画像を、前記視点を中心とする単位角度あたりのピクセル数である角解像度を前記視点に向かう光線方向に応じて調整した伝送フォーマットに変換する画像変換部とを含むことを特徴とする画像生成装置。
　前記画像変換部は、生成された前記画像を、前記角解像度が前記視点に向かう光線方向によらずに均一になるように調整した伝送フォーマットに変換することを特徴とする請求項１に記載の画像生成装置。
　前記画像変換部は、生成された前記画像を、前記角解像度が前記視点に斜めから向かう光線方向よりも前記視点に正面から向かう光線方向の方が大きくなるように調整した伝送フォーマットに変換することを特徴とする請求項１に記載の画像生成装置。
　前記伝送フォーマットは、前記角解像度を前記視点に向かう光線方向にしたがって調整することのできる可変パラメータを含むことを特徴とする請求項１から３のいずれかに記載の画像生成装置。
　生成された前記画像は、ヘッドマウントディスプレイに伝送されるべき広視野角の画像であり、前記伝送フォーマットは、個々のヘッドマウントディスプレイの光学特性に依存しない共通のフォーマットであることを特徴とする請求項１から４のいずれかに記載の画像生成装置。
　与えられた視点に向かう光線を逆方向に追跡することにより画像を描画するレイトレーシング部を含み、
　前記レイトレーシング部は、前記視点を中心とする単位角度あたりのピクセル数である角解像度を前記視点に向かう光線方向に応じて調整した伝送フォーマットで画像を生成することを特徴とする画像生成装置。
　与えられた視点から見える画像を生成する画像生成ステップと、
　生成された前記画像を、前記視点を中心とする単位角度あたりのピクセル数である角解像度を前記視点に向かう光線方向に応じて調整した伝送フォーマットに変換する画像変換ステップとを含むことを特徴とする画像生成方法。
　与えられた視点に入る光線を逆方向に追跡することにより画像を描画するレイトレーシングステップを含み、
　前記レイトレーシングステップは、前記視点を中心とする単位角度あたりのピクセル数である角解像度を前記視点に向かう光線方向に応じて調整した伝送フォーマットで画像を生成することを特徴とする画像生成方法。
　与えられた視点から見える画像を生成する画像生成ステップと、
　生成された前記画像を、前記視点を中心とする単位角度あたりのピクセル数である角解像度を前記視点に向かう光線方向に応じて調整した伝送フォーマットに変換する画像変換ステップとをコンピュータに実行させることを特徴とするプログラム。
　与えられた視点に入る光線を逆方向に追跡することにより画像を描画するレイトレーシングステップをコンピュータに実行させ、
　前記レイトレーシングステップは、前記視点を中心とする単位角度あたりのピクセル数である角解像度を前記視点に向かう光線方向に応じて調整した伝送フォーマットで画像を生成することを特徴とするプログラム。