JP2019028368A - レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法 - Google Patents

Abstract

【課題】ヘッドマウントディスプレイを装着したユーザは３Ｄ酔いを感じることがある。
【解決手段】レンダリング装置２００から伝送される画像を表示するヘッドマウントディスプレイ１００を提供する。姿勢センサ６４は、ヘッドマウントディスプレイ１００の姿勢を検出する。ＨＤＭＩ送受信部９０は、ヘッドマウントディスプレイ１００に表示すべき画像のフレームデータと、画像のフレームデータに同期して伝送されるヘッドマウントディスプレイ１００の予測姿勢情報とを受信する。リプロジェクション部６０は、姿勢センサ６４により検出された最新の姿勢情報と予測姿勢情報の差分にもとづいてヘッドマウントディスプレイ１００の最新の姿勢に合うように画像のフレームデータを補正する。
【選択図】図３

Description

この発明は、ヘッドマウントディスプレイのための画像伝送技術および画像補正技術に関する。

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（Virtual Reality）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。

このようにヘッドマウントディスプレイにヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイに表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイのＶＲ酔いに対処するための画像伝送技術および画像補正技術を提供することにある。

上記課題を解決するために、本発明のある態様のレンダリング装置は、ヘッドマウントディスプレイから受け取った姿勢情報をもとに遅延時間経過後の前記ヘッドマウントディスプレイの姿勢を予測し、予測姿勢情報を出力する予測部と、前記ヘッドマウントディスプレイの予測姿勢情報にもとづいてヘッドマウントディスプレイに表示すべき画像を生成する画像生成部と、前記ヘッドマウントディスプレイの前記予測姿勢情報を前記画像のフレームデータに同期させて前記ヘッドマウントディスプレイに伝送する送信部とを含む。

本発明の別の態様は、ヘッドマウントディスプレイである。このヘッドマウントディスプレイは、レンダリング装置から伝送される画像を表示するヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの姿勢情報を検出するセンサと、前記ヘッドマウントディスプレイに表示すべき画像のフレームデータと、前記画像のフレームデータに同期して伝送される前記ヘッドマウントディスプレイの予測姿勢情報とを受信する受信部と、前記センサにより検出された最新の姿勢情報と前記予測姿勢情報の差分にもとづいて前記ヘッドマウントディスプレイの最新の姿勢に合うように前記画像のフレームデータを補正するリプロジェクション部とを含む。

本発明のさらに別の態様は、画像伝送方法である。この方法は、ヘッドマウントディスプレイから受け取った姿勢情報をもとに遅延時間経過後の前記ヘッドマウントディスプレイの姿勢を予測し、予測姿勢情報を出力する予測ステップと、前記ヘッドマウントディスプレイの予測姿勢情報にもとづいてヘッドマウントディスプレイに表示すべき画像を生成する画像生成ステップと、前記ヘッドマウントディスプレイの前記予測姿勢情報を前記画像のフレームデータに同期させて前記ヘッドマウントディスプレイに伝送する送信ステップとを含む。

本発明のさらに別の態様は、画像補正方法である。この方法は、レンダリング装置から伝送されるヘッドマウントディスプレイに表示すべき画像を補正する画像補正方法であって、前記ヘッドマウントディスプレイに表示すべき画像のフレームデータと、前記画像のフレームデータに同期して伝送される前記ヘッドマウントディスプレイの予測姿勢情報とを受信する受信ステップと、前記ヘッドマウントディスプレイの最新の姿勢情報を検出する検出ステップと、前記最新の姿勢情報と前記予測姿勢情報の差分にもとづいて前記ヘッドマウントディスプレイの最新の姿勢に合うように前記画像のフレームデータを補正するリプロジェクションステップとを含む。

本発明のさらに別の態様もまた、画像補正方法である。この方法は、レンダリング装置からヘッドマウントディスプレイに画像を伝送しリプロジェクションを施す画像補正方法であって、前記レンダリング装置が、前記ヘッドマウントディスプレイに表示すべき画像を描画する際に前提とした情報であってヘッドマウントディスプレイにおけるリプロジェクションに必要な情報を前記画像のフレームデータに同期させて前記ヘッドマウントディスプレイに伝送するステップと、前記ヘッドマウントディスプレイが、前記画像のフレームデータに同期して伝送されたリプロジェクションに必要な情報を前記画像のフレームデータに適用して前記画像のフレームデータを補正するリプロジェクションステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイのＶＲ酔いに対処することができる。

ヘッドマウントディスプレイの外観図である。 本実施の形態に係る画像転送システムの構成図である。 ヘッドマウントディスプレイの機能構成図である。 本実施の形態に係るレンダリング装置の機能構成図である。 ヘッドマウントディスプレイに表示される全周囲画像を説明する図である。 ヘッドマウントディスプレイに表示される全周囲画像に遅れが生じる理由を説明する図である。 動的メタデータをフレームデータとは別の伝送路で伝送する方法を説明する図である。 動的メタデータをフレームデータに同期させて同一の伝送路で伝送する方法を説明する図である。 ヘッドマウントディスプレイとレンダリング装置によるリプロジェクション処理を説明するシーケンス図である。 マルチレゾルーションシェーディングの分割領域を説明する図である。 図１１（ａ）〜図１１（ｃ）は、グラフィックスプロセッシングユニットの負荷に応じてマルチレゾルーションシェーディングの分割領域の大きさが変化する様子を説明する図である。 中心窩レンダリングにおける凝視領域を説明する図である。 図１３（ａ）〜図１３（ｃ）は、凝視点の移動に応じて中心窩レンダリングの凝視領域の位置が変化する様子を説明する図である。 図１４（ａ）〜図１４（ｃ）は、マルチレゾルーションシェーディングに凝視追跡を組み合わせた場合に分割領域の位置が変化する様子を説明する図である。

図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。

ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。

ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの凝視方向、瞳孔の動き、瞬きなどを検出することができる。

ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

図２は、本実施の形態に係る画像転送システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのインタフェースでレンダリング装置２００に接続される。

本実施の形態では、ヘッドマウントディスプレイ１００とレンダリング装置２００の間のデータ伝送路３００はＨＤＭＩ伝送路である。

ＨＤＭＩ２．１規格には動的ＨＤＲ（High Dynamic Range）と呼ばれる機能があり、映像の動的メタデータ（Dynamic Metadata）を参照してシーンに応じてフレーム毎に輝度や色の深度を最適に調整した映像を生成することができる。ＨＤＭＩ２．１規格では動的メタデータは、シーンの最大輝度、平均輝度、最小輝度など動的ＨＤＲに必要な情報を映像に同期させて伝送することができる。

本実施の形態では、レンダリング装置２００が映像の生成から表示までの遅延を考慮してヘッドマウントディスプレイ１００の位置・姿勢情報を予測し、描画の際に前提としたヘッドマウントディスプレイ１００の予測位置・姿勢情報を動的メタデータに含め、動的メタデータを映像のフレームデータに同期させてヘッドマウントディスプレイ１００に伝送する。

ヘッドマウントディスプレイ１００とレンダリング装置２００の通信インタフェースは、動的メタデータを映像と同期させて伝送できるものであれば、ＨＤＭＩに限られない。

レンダリング装置２００の一例はゲーム機である。レンダリング装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをレンダリング装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、レンダリング装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。

ヘッドマウントディスプレイ１００に表示される映像は、あらかじめカメラで撮影された映像の他、ゲーム映像のようなコンピュータグラフィックスによる映像であってもよい。また、ネットワーク経由で配信される遠隔地のライブ映像であってもよい。

図３は、ヘッドマウントディスプレイ１００の機能構成図である。

制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイに表示させる。バックライト３２は、液晶ディスプレイにバックライトを供給する。

通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。

記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。

時計部８０は、制御部１０からの設定信号によって時間情報を設定し、時間データを制御部１０に供給する。

ＨＤＭＩ送受信部９０は、ＨＤＭＩにしたがって映像・音声のデジタル信号を送受信する。ＨＤＭＩ送受信部９０がレンダリング装置２００から受け取るフレームデータには動的メタデータが関連づけられており、動的メタデータにはレンダリング装置２００が当該フレームデータの描画の際に前提としたヘッドマウントディスプレイ１００の予測位置・姿勢情報Ｌ２が含まれる。

制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイに表示させたり、通信制御部４０に供給して外部に送信させることができる。

姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置情報と、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。

姿勢センサ６４が検出したヘッドマウントディスプレイ１００の現在の位置・姿勢情報Ｌ１は、通信制御部４０または外部入出力端子インタフェース７０を介してレンダリング装置２００に通知される。あるいは、ＨＤＭＩ送受信部９０がヘッドマウントディスプレイ１００の現在の位置・姿勢情報Ｌ１をレンダリング装置２００に送信してもよい。レンダリング装置２００は、受信したヘッドマウントディスプレイ１００の現在の位置・姿勢情報Ｌ１から、映像の生成から表示までの遅延を考慮してヘッドマウントディスプレイ１００の位置・姿勢情報を予測し、ヘッドマウントディスプレイ１００の予測位置・姿勢情報Ｌ２を前提としてヘッドマウントディスプレイ１００に表示されるべき画像を描画する。

姿勢センサ６４は、レンダリング装置２００から描画データを受け取った際、ヘッドマウントディスプレイ１００の最新の位置・姿勢情報Ｌ３を検出し、位置・姿勢差分計算部６２に与える。位置・姿勢差分計算部６２は、レンダリング装置２００が描画の際に前提とした予測位置・姿勢情報Ｌ２をＨＤＭＩ送受信部９０から受け取る。位置・姿勢差分計算部６２は、最新の位置・姿勢情報Ｌ３と予測位置・姿勢情報Ｌ２の差分ΔＬを求め、リプロジェクション部６０に与える。ここで、最新の位置・姿勢情報Ｌ３と予測位置・姿勢情報Ｌ２の差分ΔＬは、一般にはヘッドマウントディスプレイ１００の位置情報と姿勢情報の両方が異なるが、位置情報と姿勢情報のいずれか一方のみが異なる場合もあることに留意する。

リプロジェクション部６０は、ＨＤＭＩ送受信部９０がレンダリング装置２００から受け取った描画データに対して差分ΔＬにもとづいた補正をかけることにより、リプロジェクションを実行し、リプロジェクション後の描画データを制御部１０に与える。制御部１０は、リプロジェクション後の描画データを出力インタフェース３０に供給してディスプレイに表示させる。

図４は、本実施の形態に係るレンダリング装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。

レンダリング装置２００の少なくとも一部の機能をヘッドマウントディスプレイ１００に実装してもよい。あるいは、レンダリング装置２００の少なくとも一部の機能を、ネットワークを介してレンダリング装置２００に接続されたサーバに実装してもよい。

位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報Ｌ１をヘッドマウントディスプレイ１００から取得する。

遅延時間取得部２２０は、ある時刻での視点位置から視線方向に見える画像を描画してからヘッドマウントディスプレイ１００に表示するまでに要する遅延時間を取得する。この遅延時間には描画処理に要する時間の他、画像データを伝送するのに要する時間が含まれる。遅延時間取得部２２０は、３次元描画ハードウェア性能と伝送路の伝送遅延にもとづいて遅延時間を求める。

位置・姿勢予測部２３０は、遅延時間取得部２２０により求められた遅延時間の間の位置および姿勢の変化量を予測する。位置・姿勢予測部２３０は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進速度や角速度に遅延時間を乗じることで位置および姿勢の変化量を求めることができる。位置・姿勢予測部２３０は、現在の位置・姿勢情報Ｌ１に遅延時間の間の位置および姿勢の変化量を加算することにより遅延時間経過後の位置・姿勢情報Ｌ２を予測し、予測位置・姿勢情報Ｌ２を視点・視線設定部２４０とメタデータ生成部２７０に供給する。

視点・視線設定部２４０は、位置・姿勢予測部２３０により取得されたヘッドマウントディスプレイ１００の予測位置・姿勢情報Ｌ２を用いて、ユーザの視点位置および視線方向を更新する。

画像生成部２５０は、画像記憶部２６０から画像データを読み出し、視点・視線設定部２４０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える画像を生成し、ＨＤＭＩ送受信部２８０に与える。ここで、画像データは、事前に作成された動画または静止画コンテンツであってもよく、レンダリングされたコンピュータグラフィックスであってもよい。

メタデータ生成部２７０は、位置・姿勢予測部２３０から予測位置・姿勢情報Ｌ２を取得し、フレームデータに関連づけるべき動的メタデータに予測位置・姿勢情報Ｌ２を埋め込み、動的メタデータをＨＤＭＩ送受信部２８０に供給する。

ＨＤＭＩ送受信部２８０は、画像生成部２５０からフレームデータを受け取り、メタデータ生成部２７０から予測位置・姿勢情報Ｌ２が埋め込まれた動的メタデータを受け取る。ＨＤＭＩ送受信部２８０は、ＨＤＭＩにしたがってフレームデータに動的メタデータを同期させ、フレームデータと動的メタデータをヘッドマウントディスプレイ１００に伝送する。

図５は、ヘッドマウントディスプレイ１００に表示される全周囲画像５００を説明する図である。全周囲画像５００に対して、ユーザが左前方を向いている場合、ヘッドマウントディスプレイ１００ａの方向で画角１５０ａの範囲にある画像５１０ａが表示され、ユーザが首を回して右前方を向いている場合、ヘッドマウントディスプレイ１００ｂの方向で画角１５０ｂの範囲にある画像５１０ｂが表示される。

このように頭部の動きに応じてヘッドマウントディスプレイ１００に表示される全周囲画像を見る視点位置と視線方向も変わるため、全周囲画像に対する没入感を高めることができる。

図６は、ヘッドマウントディスプレイ１００に表示される全周囲画像に遅れが生じる理由を説明する図である。ユーザが首を回して右前方を向いた場合、ヘッドマウントディスプレイ１００ｂの方向で画角１５０ｂの範囲にある画像５１０ｂを生成し、ヘッドマウントディスプレイ１００に表示するが、画像５１０ｂの表示の時点では、既にヘッドマウントディスプレイ１００ｂの位置と回転が符号１５０ｃで示すように変化している。そのため、本来は画角１５０ｃの範囲で見える画像をヘッドマウントディスプレイ１００ｃに表示する必要があるが、実際に生成されて表示される画像は、少し前の時点のヘッドマウントディスプレイ１００ｂの方向で画角１５０ｂの範囲で見える画像となってしまう。この時間差によるずれのため、ユーザが見ている方向とは少しずれた画像がヘッドマウントディスプレイ１００に表示され、ユーザはある種の「酔い」を感じることがある。

このように、ヘッドマウントディスプレイ１００の回転を検知し、次の描画範囲を確定し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がヘッドマウントディスプレイ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われているとすると、ＣＰＵが十分高速であったとしても、ヘッドマウントディスプレイ１００の回転を検知してから画像を出力するまでに１フレーム分の遅れが生じる。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。

さらに、レンダリング装置２００で描画された画像をデータ伝送路３００でヘッドマウントディスプレイ１００に伝送する際にもレイテンシが生じる。

そこで、生成された画像に対してリプロジェクション処理を行うことで人間がずれを感知しにくいようにしている。レンダリング装置２００が遅延時間経過後のヘッドマウントディスプレイ１００の位置・姿勢情報を予測して描画を行うこともリプロジェクションの一種であるが、本実施の形態では、レンダリング装置２００が描画の際に前提としたヘッドマウントディスプレイ１００の予測位置・姿勢情報と、レンダリング装置２００により描画された画像をヘッドマウントディスプレイ１００で表示する際のヘッドマウントディスプレイ１００の最新の位置・姿勢情報とのずれを補償するための画像の補正処理をリプロジェクションと呼ぶ。

具体的には描画の際に前提としたヘッドマウントディスプレイ１００の予測位置・姿勢情報とヘッドマウントディスプレイ１００の最新の位置・姿勢情報の差分を求め、ヘッドマウントディスプレイ１００の最新の位置・姿勢情報に合うように画像を補正する処理であり、画像変換やフレーム補間などの技術が用いられる。

レンダリング装置２００は、リプロジェクションに必要な情報を動的メタデータとして画像のフレームデータに同期させてヘッドマウントディスプレイ１００に伝送する。描画の際に前提としたヘッドマウントディスプレイ１００の予測位置・姿勢情報はレンダリング装置２００がもっているため、レンダリング装置２００からヘッドマウントディスプレイ１００にフレーム毎に動的メタデータとして伝送しなければ、ヘッドマウントディスプレイ１００側ではわからない。そこで、レンダリング装置２００は、ヘッドマウントディスプレイ１００の予測位置・姿勢情報を動的メタデータに埋め込み、動的メタデータをフレームデータに同期させてヘッドマウントディスプレイ１００に伝送する。ヘッドマウントディスプレイ１００の予測位置・姿勢情報は、リプロジェクションに必要なデータの一例であり、リプロジェクションに必要な情報であればそれ以外の情報を動的メタデータに埋め込んでヘッドマウントディスプレイ１００に伝送してもよい。

ここで、フレームデータとは別に動的メタデータを伝送すると、フレームデータと動的メタデータを関連づけることができず、フレームデータに動的メタデータを適用することができない。比較のため、図７を参照して、動的メタデータをフレームデータと関連付けることなく、別々に伝送する方法を説明し、その後、図８を参照して、動的メタデータをフレームデータに同期させて伝送する方法を説明する。

図７は、動的メタデータをフレームデータとは別の伝送路で伝送する方法を説明する図である。

フレームデータはＨＤＭＩ伝送路で伝送される。各フレームデータの直前には垂直ブランキング信号ＶＢｌａｎｋが挿入される。ここでは、Ｎ番目のフレームデータ６００の直前にＶＢｌａｎｋ６０２が挿入され、（Ｎ＋１）番目のフレームデータ６１０の直前にＶＢｌａｎｋ６１２が挿入される。

各フレームデータに適用すべき動的メタデータは一例としてＵＳＢ伝送路で伝送される。ＵＳＢ接続以外に、たとえば無線通信でメタデータを伝送してもよい。Ｎ番目のフレームデータ６００に適用すべきＮ番目の動的メタデータ６０４、（Ｎ＋１）番目のフレームデータ６１０に適用すべき（Ｎ＋１）番目の動的メタデータ６１４がＵＳＢ伝送路で伝送されるが、これらの動的メタデータ６０４、６１４はフレームデータ６００、６１０には同期していない。そのため、ヘッドマウントディスプレイ１００が動的メタデータ６０４、６１４を受け取ってもいずれのフレームデータ６００、６１０に適用させればよいかわからない。

図８は、動的メタデータをフレームデータに同期させて同一の伝送路で伝送する方法を説明する図である。

フレームデータと動的メタデータはＨＤＭＩ伝送路で伝送される。各フレームデータの直前には垂直ブランキング信号ＶＢｌａｎｋが挿入されるが、垂直ブランキング信号ＶＢｌａｎｋにメタデータが挿入される。ここでは、Ｎ番目のフレームデータ６００の直前にＶＢｌａｎｋ６０２が挿入され、ＶＢｌａｎｋ６０２にＮ番目の動的メタデータ６０４が挿入される。また、（Ｎ＋１）番目のフレームデータ６１０の直前にＶＢｌａｎｋ６１２が挿入され、ＶＢｌａｎｋ６１２に（Ｎ＋１）番目の動的メタデータ６１４が挿入される。

このように各フレームデータ６００、６１０の垂直ブランキング信号ＶＢｌａｎｋに各フレームデータ６００、６１０に適用すべき各動的メタデータ６０４、６１４を挿入して同一のＨＤＭＩ伝送路で伝送すれば、各フレームデータ６００、６１０に各動的メタデータ６０４、６１４が同期するため、ヘッドマウントディスプレイ１００は各動的メタデータ６０４、６１４を対応する各フレームデータ６００、６１０に正しく適用することができる。

ＨＤＭＩ２．１規格では各フレームデータのＶＢｌａｎｋ信号に各フレームに適用すべき動的メタデータを挿入して伝送することが検討されている。動的メタデータにヘッドマウントディスプレイ１００の予測位置・姿勢情報を埋め込めば、レンダリング装置２００が利用したヘッドマウントディスプレイ１００の予測位置・姿勢情報をフレームデータに同期させてヘッドマウントディスプレイ１００に伝送することができる。ここではＨＤＭＩ２．１規格のＶＢｌａｎｋ信号に動的メタデータを挿入する例を説明したが、これは一例であり、各フレームに同期する何らかの同期信号に動的メタデータを挿入して伝送すればよい。

図９は、ヘッドマウントディスプレイ１００とレンダリング装置２００によるリプロジェクション処理を説明するシーケンス図である。

ヘッドマウントディスプレイ１００の姿勢センサ６４は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報Ｌ１を検出する（Ｓ１０）。ヘッドマウントディスプレイ１００は現在の位置・姿勢情報Ｌ１をレンダリング装置２００に通知する（Ｓ１２）。

レンダリング装置２００は、ヘッドマウントディスプレイ１００とレンダリング装置２００の間の伝送遅延とレンダリング装置２００における描画にかかる処理遅延により発生する遅延時間を求める。レンダリング装置２００の位置・姿勢予測部２３０は、現在の位置・姿勢情報Ｌ１から、遅延時間を経過した後のヘッドマウントディスプレイ１００の位置・姿勢情報Ｌ２を予測する（Ｓ１４）。

レンダリング装置２００の画像生成部２５０は、予測位置・姿勢情報Ｌ２にもとづいてヘッドマウントディスプレイ１００を装着したユーザに見える画像を描画する（Ｓ１６）。

レンダリング装置２００のＨＤＭＩ送受信部２８０は、描画されたフレームデータに予測位置・姿勢情報Ｌ２を動的メタデータとして関連づけてヘッドマウントディスプレイ１００に伝送する（Ｓ１８）。

レンダリング装置２００からフレームデータを受け取ると、ヘッドマウントディスプレイ１００の姿勢センサ６４は、ヘッドマウントディスプレイ１００の最新の位置・姿勢情報Ｌ３を検出し、位置・姿勢差分計算部６２は、最新の位置・姿勢情報Ｌ３と予測位置・姿勢情報Ｌ２の差分ΔＬを求める（Ｓ２０）。

リプロジェクション部６０は、差分ΔＬにもとづいてフレームデータにリプロジェクション処理を施し、最新の位置・姿勢情報Ｌ３に合った画像を生成する（Ｓ２２）。

上記の説明では、動的メタデータに予測位置・姿勢情報Ｌ２を埋め込み、フレームデータに同期させて伝送したが、一般的にはリプロジェクションに必要な情報を動的メタデータに埋め込んで伝送する。以下、リプロジェクションを用いた実施例を挙げて、動的メタデータに埋め込むべき他の情報を説明する。

図１０は、マルチレゾルーションシェーディングの分割領域を説明する図である。ヘッドマウントディスプレイ１００に映像を表示する場合、画像にレンズ歪みの補正をかける必要があり、画像の中央領域は解像度が維持されるが、視野の端の領域は圧縮されて解像度が落ちる。そこで、画像の中央領域４００は高解像度で描画し、それ以外の周辺領域は低解像度で描画することで描画処理の負荷を低減するマルチレゾルーションシェーディング（Multi-Resolution Shading）と呼ばれる方法がある。ヘッドマウントディスプレイ１００では左目用画像と右目用画像のそれぞれにおいてマルチレゾルーションシェーディングが行われるが、ここでは片方の目の画像について図示している。

レンダリング装置２００がマルチレゾルーションシェーディングにより描画した画像をヘッドマウントディスプレイ１００に伝送し、ヘッドマウントディスプレイ１００のリプロジェクション部６０が最新の位置・姿勢情報Ｌ３に合わせて画像に対してリプロジェクションを実行する。ヘッドマウントディスプレイ１００は、画像に対してリプロジェクションを実行する際、マルチレゾルーションシェーディングにおいて画像がどのように分割されて複数の解像度で描画されたかを知る必要がある。画像に対してリプロジェクションを施す際に分割領域毎の解像度の違いを考慮しなければならないからである。

そこで、レンダリング装置２００は、予測位置・姿勢情報Ｌ２以外に、マルチレゾルーションシェーディングにおける分割領域の情報を動的メタデータに含めてフレームデータに同期させてヘッドマウントディスプレイ１００に伝送する。

図１１（ａ）〜図１１（ｃ）は、グラフィックスプロセッシングユニット（ＧＰＵ）の負荷に応じてマルチレゾルーションシェーディングの分割領域の大きさが変化する様子を説明する図である。ＧＰＵの負荷が小さい場合、図１１（ａ）に示すように高解像度で描画する中央領域を広げるが（符号４０２）、ＧＰＵの負荷が高まるにつれて、図１１（ｂ）、図１１（ｃ）に示すように中央領域４０２の狭くしていく（符号４０４、４０６）。このようにＧＰＵの負荷に応じて分割領域の大きさが変化する場合、動的に変化する分割領域の範囲情報をフレーム毎に動的メタデータに含めてヘッドマウントディスプレイ１００に伝送する。

図１２は、中心窩レンダリングにおける凝視領域を説明する図である。ユーザの凝視追跡（Gaze Tracking）を行い、凝視点を中心とする領域を高解像度で描画し、周囲を低解像度で描画することで描画処理の負荷を低減する中心窩レンダリング（Foveated Rendering）と呼ばれる方法がある。凝視点を中心とする中央領域４１０は高解像で描画し、中央領域４１０の外側の周辺領域４２０は中解像度で描画し、周辺領域４２０のさらに外側は低解像度で描画する。

レンダリング装置２００が中心窩レンダリングにより描画した画像をヘッドマウントディスプレイ１００に伝送し、ヘッドマウントディスプレイ１００のリプロジェクション部６０が最新の位置・姿勢情報Ｌ３に合わせて画像に対してリプロジェクションを実行する。ヘッドマウントディスプレイ１００は、画像に対してリプロジェクションを実行する際、中心窩レンダリングにおける凝視領域の情報が必要になる。そこで、レンダリング装置２００は、予測位置・姿勢情報Ｌ２以外に、中心窩レンダリングにおける凝視領域の情報、具体的には凝視点の位置と凝視領域の円の半径の情報を動的メタデータに含めてフレームデータに同期させてヘッドマウントディスプレイ１００に伝送する。

図１３（ａ）〜図１３（ｃ）は、凝視点の移動に応じて中心窩レンダリングの凝視領域の位置が変化する様子を説明する図である。凝視点が左下にある場合、図１３（ａ）に示すように凝視領域は左下にあり（中央領域４１２、周辺領域４２２）、凝視点が正面にある場合、図１３（ｂ）に示すように凝視領域は正面にあり（中央領域４１４、周辺領域４２４）、凝視点が右上にある場合、図１３（ｃ）に示すように凝視領域は右上にある（中央領域４１６、周辺領域４２６）。このように凝視点の位置に応じて凝視領域の位置が変化する場合、動的に変化する凝視領域の位置情報をフレーム毎に動的メタデータに含めてヘッドマウントディスプレイ１００に伝送する。

図１１（ａ）〜図１１（ｃ）と同様、ＧＰＵの負荷に応じて中心窩レンダリングの凝視領域の大きさが変化する場合、すなわち、ＧＰＵの負荷が小さい場合は凝視領域を広げ、ＧＰＵの負荷が高まるにつれて凝視領域を狭くする場合、動的に変化する凝視領域の範囲情報をフレーム毎に動的メタデータに含めてヘッドマウントディスプレイ１００に伝送する。

図１４（ａ）〜図１４（ｃ）は、マルチレゾルーションシェーディングに凝視追跡を組み合わせた場合に分割領域の位置が変化する様子を説明する図である。凝視点が左下にある場合、図１４（ａ）に示すように高解像度で描画する注視領域４３２は左下にあり、凝視点が正面にある場合、図１４（ｂ）に示すように注視領域４３４は正面にあり、凝視点が右上にある場合、図１４（ｃ）に示すように注視領域４３６は右上にある。このように凝視点の位置に応じて注視領域の位置が変化する場合、動的に変化する注視領域の位置情報をフレーム毎に動的メタデータに含めてヘッドマウントディスプレイ１００に伝送する。

以上述べたように、本実施の形態のレンダリング装置２００によれば、リプロジェクションに必要な情報を動的メタデータとして画像のフレームデータに同期させてヘッドマウントディスプレイ１００に伝送することができる。ヘッドマウントディスプレイ１００は、動的メタデータからリプロジェクションに必要な情報を抽出し、画像のフレームデータにリプロジェクションを施すことができる。これにより、ヘッドマウントディスプレイ１００を装着したユーザのＶＲ酔いを防ぐことができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。

１０ 制御部、 ２０ 入力インタフェース、 ３０ 出力インタフェース、 ３２ バックライト、 ４０ 通信制御部、 ４２ ネットワークアダプタ、 ４４ アンテナ、 ５０ 記憶部、 ６０ リプロジェクション部、 ６２ 位置・姿勢差分計算部、 ６４ 姿勢センサ、 ７０ 外部入出力端子インタフェース、 ７２ 外部メモリ、 ８０ 時計部、 ９０ ＨＤＭＩ送受信部、 １００ ヘッドマウントディスプレイ、 ２００ レンダリング装置、 ２１０ 位置・姿勢取得部、 ２２０ 遅延時間取得部、 ２３０ 位置・姿勢予測部、 ２４０ 視点・視線設定部、 ２５０ 画像生成部、 ２６０ 画像記憶部、 ２７０ メタデータ生成部、 ２８０ ＨＤＭＩ送受信部、 ３００ データ伝送路、 ５００ 全周囲画像。

Claims (10)

1. ヘッドマウントディスプレイから受け取った姿勢情報をもとに遅延時間経過後の前記ヘッドマウントディスプレイの姿勢を予測し、予測姿勢情報を出力する予測部と、
   前記ヘッドマウントディスプレイの予測姿勢情報にもとづいてヘッドマウントディスプレイに表示すべき画像を生成する画像生成部と、
   前記ヘッドマウントディスプレイの前記予測姿勢情報を前記画像のフレームデータに同期させて前記ヘッドマウントディスプレイに伝送する送信部とを含むことを特徴とするレンダリング装置。
2. 前記送信部は、前記ヘッドマウントディスプレイの前記予測姿勢情報を各フレームの同期信号にメタデータとして挿入して伝送することを特徴とする請求項１に記載のレンダリング装置。
3. レンダリング装置から伝送される画像を表示するヘッドマウントディスプレイであって、
   前記ヘッドマウントディスプレイの姿勢情報を検出するセンサと、
   前記ヘッドマウントディスプレイに表示すべき画像のフレームデータと、前記画像のフレームデータに同期して伝送される前記ヘッドマウントディスプレイの予測姿勢情報とを受信する受信部と、
   前記センサにより検出された最新の姿勢情報と前記予測姿勢情報の差分にもとづいて前記ヘッドマウントディスプレイの最新の姿勢に合うように前記画像のフレームデータを補正するリプロジェクション部とを含むことを特徴とするヘッドマウントディスプレイ。
4. 前記受信部は、各フレームの同期信号にメタデータとして挿入して伝送された前記予測姿勢情報を受信することを特徴とする請求項３に記載のヘッドマウントディスプレイ。
5. 前記メタデータには、処理負荷または凝視点の移動に応じて動的に変化するマルチレゾルーションシェーディングの分割領域の位置または大きさの情報が含まれ、
   前記リプロジェクション部は、マルチレゾルーションシェーディングの分割領域の位置または大きさの情報を参照して前記画像のフレームデータを補正することを特徴とする請求項４に記載のヘッドマウントディスプレイ。
6. 前記メタデータには、処理負荷または凝視点の移動に応じて動的に変化する中心窩レンダリングの凝視領域の位置または大きさの情報が含まれ、
   前記リプロジェクション部は、中心窩レンダリングの凝視領域の位置または大きさの情報を参照して前記画像のフレームデータを補正することを特徴とする請求項４に記載のヘッドマウントディスプレイ。
7. ヘッドマウントディスプレイから受け取った姿勢情報をもとに遅延時間経過後の前記ヘッドマウントディスプレイの姿勢を予測し、予測姿勢情報を出力する予測ステップと、
   前記ヘッドマウントディスプレイの予測姿勢情報にもとづいてヘッドマウントディスプレイに表示すべき画像を生成する画像生成ステップと、
   前記ヘッドマウントディスプレイの前記予測姿勢情報を前記画像のフレームデータに同期させて前記ヘッドマウントディスプレイに伝送する送信ステップとを含むことを特徴とする画像伝送方法。
8. レンダリング装置から伝送されるヘッドマウントディスプレイに表示すべき画像を補正する画像補正方法であって、
   前記ヘッドマウントディスプレイに表示すべき画像のフレームデータと、前記画像のフレームデータに同期して伝送される前記ヘッドマウントディスプレイの予測姿勢情報とを受信する受信ステップと、
   前記ヘッドマウントディスプレイの最新の姿勢情報を検出する検出ステップと、
   前記最新の姿勢情報と前記予測姿勢情報の差分にもとづいて前記ヘッドマウントディスプレイの最新の姿勢に合うように前記画像のフレームデータを補正するリプロジェクションステップとを含むことを特徴とする画像補正方法。
9. レンダリング装置からヘッドマウントディスプレイに画像を伝送しリプロジェクションを施す画像補正方法であって、
   前記レンダリング装置が、前記ヘッドマウントディスプレイに表示すべき画像を描画する際に前提とした情報であってヘッドマウントディスプレイにおけるリプロジェクションに必要な情報を前記画像のフレームデータに同期させて前記ヘッドマウントディスプレイに伝送するステップと、
   前記ヘッドマウントディスプレイが、前記画像のフレームデータに同期して伝送されたリプロジェクションに必要な情報を前記画像のフレームデータに適用して前記画像のフレームデータを補正するリプロジェクションステップとを含むことを特徴とする画像補正方法。
10. レンダリング装置から伝送されるヘッドマウントディスプレイに表示すべき画像を補正するプログラムであって、
    ヘッドマウントディスプレイに表示すべき画像のフレームデータに同期して伝送される前記ヘッドマウントディスプレイの予測姿勢情報と前記ヘッドマウントディスプレイの最新の姿勢情報の差分を計算する差分計算機能と、
    前記差分にもとづいて前記ヘッドマウントディスプレイの最新の姿勢に合うように前記画像のフレームデータを補正するリプロジェクション機能をコンピュータに実現させることを特徴とするプログラム。

Images