JP2022034091A

JP2022034091A - 三次元データ再生装置

Info

Publication number: JP2022034091A
Application number: JP2018241449A
Authority: JP
Inventors: 智幸山本; Tomoyuki Yamamoto; 靖昭徳毛; Yasuaki Tokuge; 真毅高橋; Masatake Takahashi
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2018-12-25
Filing date: 2018-12-25
Publication date: 2022-03-03
Also published as: WO2020137877A1

Abstract

【課題】多様な三次元シーンと多様なトラッキング機能に対応する三次元データ生成装置および三次元データ再生装置を提供する。【解決手段】三次元データ再生装置（1）は、シーン情報とトラッキング情報に基づいて仮想空間におけるシーン配置およびユーザ視点の少なくとも何れか一方を決定する構成を備えている。【選択図】図1

Description

本発明の一態様は、ユーザが視点を制御して三次元シーンを鑑賞するためのサービスを提供するシステムを構成する三次元データ再生装置に関する。

ユーザが視点の位置および方向を制御して三次元シーン（3Dシーン、シーン）を鑑賞するサービス（6DoFサービス）は、三次元データ生成装置により生成された三次元シーンを表す三次元データを、三次元データ再生装置に入力して再生することで実現される。

三次元データ再生装置は、ユーザの方向または位置を検出するトラッキング情報を参照して、ユーザ視点の三次元シーンに相当する映像（視点映像）を生成して提示する。映像の提示には例えばヘッドマウントディスプレイ（HMD: Head Mount Display）が利用され
る。

一般的な6DoFサービスは、単一のサービス提供者が特定のトラッキング機能を有するHMD向けに三次元シーンを準備しユーザに提供することで実現されている。例えば、特許文献１では、ユーザの位置、速度、加速度に基づいて蓄積された三次元シーン（VRコンテンツ）からユーザの状態に合わせて視点映像を生成して配信する方法が開示されている。

特開２０１８－１６６２７９号公報

高度な6DoFサービスでは、多様なサービス提供者またはユーザが三次元シーン構成要素を提供し、別のサービス提供者やユーザが三次元シーンを構成して提供する形態も想定される。この場合、多数かつ多様な三次元シーンが提供されることになる。

また、トラッキング技術の開発が進み、多様なトラッキング機能を有するHMDやトラッ
キングシステムが存在している。例えば、ユーザの向きを表す3自由度の方向をトラッキ
ング可能なシステム、ユーザの向きを表す方向とユーザの位置の計6自由度をトラッキン
グ可能なシステムが利用されている。

特定のサービス提供者が特定のトラッキングシステムを利用するユーザに対して6DoFサービスを提供する場合、事前に適切な三次元シーンとユーザ視点を関連付ける方法を決めておく事で、対象となるトラッキングシステムを利用するユーザに対して6DoFサービスを提供できる。しかしながら、多様な三次元シーンを多様なトラッキングシステムを利用するユーザに提供する場合において、事前に全ての組み合わせを考慮した設計を行うことは困難であり、従来技術においてはユーザに好ましい視点映像を提供できないという課題があった。

上記課題を解決するために、本発明の一態様に係る予測画像生成装置は、シーン情報およびトラッキング情報に基づいてシーン配置を決定するシーン配置部、または、シーン情報およびトラッキング情報に基づいてユーザ視点を設定する視点設定部を備え、前記トラッキング情報はトラッキングシステム情報を含むことを特徴としている。

本発明の一態様によれば、多様な三次元シーンを多様なトラッキングシステムで再生する場合にユーザに対して好適な視点映像を合成して提示できる。

実施形態１に係る三次元データ再生装置の機能ブロック図である。実施形態１に係る三次元データ再生装置を含む三次元データ配信システムの機能ブロック図である。３Ｄシーン、仮想空間（描画対象空間）、ユーザ視点、トラッキングシステム、視点映像を説明に用いる図である。三次元データ再生処理の手順を表すフロー図である。トラッキング情報の構成を例示した図である。３Ｄシーン情報の構成を例示する図である。シーン範囲を利用した配置対象領域への３Ｄシーン配置の例を表す図である。

以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。

〔第１の実施形態〕
以下、図面を参照しながら本発明の実施形態について説明する。

図1は、本実施形態（第１の実施形態、実施形態１）に係る三次元データ再生装置1の構成を示す概略図である。三次元データ再生装置1は、トラッキング情報取得部11、3Dシー
ン情報取得部12、3Dシーン配置部13、視点設定部14、メディアデータ取得部15、および、視点映像描画部16から構成される。三次元データ再生装置1は、概略的には、外部から取
得した三次元シーン（3Dシーン）を仮想空間（描画対象空間）に配置し、ユーザ視点に合わせて描画することで視点映像を生成して出力する。

三次元データ再生装置１の説明に先立って、以下の説明で言及する3Dシーンとシーン座標、ユーザ視点と仮想空間（描画対象空間）、トラッキングシステムとトラッキング座標、および、視点映像について図3を参照して説明する。

図3(a)は、3Dシーンとシーン座標の関係を例示した図である。3Dシーンは複数の構成要素から構成される。図3(a)は、3DシーンS1を正面（x軸およびy軸と直交する方向）から見た配置と、3DシーンS1を上方（x軸およびz軸と直交する方向）から見た配置を図示している。3DシーンS1は構成要素として2つの3Dオブジェクト(O1およびO2)を含んでいる。また
、図示していないが、背景映像に相当する構成要素BGを含んでいる。3DオブジェクトO1、O2の位置および大きさはシーン座標を用いて表現される。

図3(b)は、仮想空間（描画対象空間）とユーザ視点と3Dシーンの関係を例示した図である。

仮想空間は3Dシーンとユーザ視点を共通の空間内に配置して視点映像を描画するために用いられる。その意味で、仮想空間を描画対象空間とも呼ぶ。図3(b)は、仮想空間を正面（x軸およびy軸と直交する方向）から見た配置と、仮想空間を上方（x軸およびz軸と直交する方向）から見た配置を図示している。仮想空間には3DシーンS1とユーザ視点VPが配置
されている。ユーザ視点VPは仮想空間内の位置に加え、視線方向および視野に相当する情報（三角形で図示）を含む。仮想空間での位置やサイズを表現するための座標をプレゼンテーション座標と呼ぶ。シーン座標とプレゼンテーション座標は必ずしも一致しないが、一致する場合もある。

図3(c)は、トラッキングシステムとトラッキング座標とユーザ位置の関係を例示した図である。

トラッキング座標はトラッキングシステムにより利用される座標であり検出した位置や方向を表現することができる。図3(c)では、2台の設置型赤外線センサ（T1、T2）を利用
したアウトサイドイン方式のトラッキングシステムにおけるトラッキング範囲TAを鉛直方向上方から見た場合の概観を示している。トラッキングシステムは、トラッキング範囲TA内のユーザ位置DPを検出できる。ユーザ位置DPはトラッキング座標で表現される。

図3(d)は、特定ユーザ視点における視点映像を例示した図である。

視点映像は、図3(b)で説明したように仮想空間内に設置されたシーンS1を仮想空間内に設置されたユーザ視点から観察した場合の映像に相当する。図3(b)に示した配置の例では、ユーザ視点VPから見て3DシーンS1に含まれるオブジェクトO1、O2の双方が視野に入っており、かつオブジェクトO2はオブジェクトO1より視点側であるため、図3(d)に示したような映像が視点映像となる。

（視点映像再生処理フロー）
図4は、三次元データ再生処理の手順を表すフロー図である。

三次元データ再生装置１は時刻毎に入力される3Dシーン情報とトラッキング情報に基づいて各時点の視点映像を生成して出力することで三次元データを再生する。時刻tの三次
元データ再生処理は以下の手順で実行される。

(T1) トラッキング情報取得部11は時刻tのトラッキング情報を取得し3Dシーン配置部13および視点設定部14に出力する。

(T2) 3Dシーン情報取得部は時刻tの3Dシーン情報を取得し3Dシーン配置部13および視点設定部14に出力する。

(T3) 3Dシーン配置部13は、入力されたトラッキング情報および3Dシーン情報に基づき
描画対象空間にシーンを配置し、配置結果をシーン配置情報としてメディアデータ取得部15および視点映像描画部16に出力する。

(T4) 視点設定部14は、入力されたトラッキング情報、および、3Dシーン情報に基づき
描画対象空間におけるユーザ視点を決定しメディアデータ取得部15および視点映像描画部16に出力する。

(T5) メディアデータ取得部15は、入力されたシーン配置情報とユーザ視点に基づいて
視点映像の描画に必要なメディアデータを決定し、決定したメディアデータを外部から取得して視点映像描画部16に出力する。

(T6) 視点映像描画部16は、入力されたシーン配置情報、ユーザ視点、メディアデータ
に基づいて視点映像を描画して出力し、時刻tの三次元データ再生処理を終了する。

三次元データ再生装置１は、以上の手順により各時刻の視点映像を生成することで三次元データを再生する。なお手順については必ずしも厳密に図4で説明した順序である必要
なく、入出力の依存関係が許す範囲で順序の変更や並列実行しても構わない。例えば、トラッキング情報取得（T1）とシーン情報取得（T2）は依存関係がなく並列に実行できる。

（トラッキング情報取得部11）
トラッキング情報取得部11はトラッキング情報をトラッキングシステムから取得して3Dシーン配置部13および視点設定部14に出力する。トラッキング情報は、位置方向情報とトラッキングシステム情報を含む。トラッキングシステムは実世界におけるユーザの位置または方向の少なくとも何れかを所定の時刻毎に推定し位置方向情報とする。トラッキングシステムにはジャイロセンサにより方向を検出するシステム（3DoFシステム）、固定設置された外部センサを利用してユーザの位置および方向を検出するシステム（アウトサイドイン6DoFシステム）、ユーザが装着した機器に搭載されたカメラの画像を利用して自己位置推定により位置および方向を検出するシステム（インサイドアウト6DoFシステム）がある。位置方向情報は、例えば三次元のトラッキング座標で表現された三次元位置ベクトル、および、トラッキング座標系における回転を表す3次元のベクトルにより表現される。
回転を表す三次元のベクトルは、例えば、一般的に利用される各軸周りの回転の合成による回転のパラメータであるロール、ピッチ、ヨーの3パラメータにより表現できる。

トラッキングシステム情報は概略的にはトラッキングシステムの機能や性能を示す情報を含む。トラッキングシステム情報は位置方向情報に比べて変更頻度が少ないため、より少ない頻度でトラッキング情報に含めることでトラッキング情報のデータ量を低減できる。

トラッキングシステム情報は、トラッキングシステム種別を含んでいてもよい。トラッキングシステム種別は、ユーザが使用しているトラッキングシステムが、既定のトラッキングシステムの何れであるかを特定する情報である。例えば、既定のトラッキングシステム種別が3DoFシステム、アウトサイドイン6DoFシステム、インサイドアウト6DoFシステムである場合、トラッキングシステム情報に含まれるトラッキングシステム種別により、ユーザが何れのトラッキングシステムを利用しているかを特定できる。トラッキングシステム種別を利用して、ユーザに対して好ましいシーン配置や視点位置を決定できる。

トラッキングシステム情報は、特定のトラッキング機能の提供有無および機能の程度を表す情報（トラッキング機能情報）を追加で含んでいてもよい。以下では、トラッキング機能情報の具体例を示す。

（１）方向トラッキング機能の有無：方向のトラッキングが有効か無効かを示す情報。方向を表す各自由度に対するトラッキング機能の有無の集合により方向トラッキング機能の有無を表現してもよい。例えば、方向がロール、ピッチ、ヨーの三個のパラメータにより表現される場合、各パラメータに対応する方向の回転のトラッキング機能の有無の集合を方向トラッキング機能の有無としてもよい。単一のフラグにより方向トラッキング機能を表現する場合に比べてデータ量は増加するが、より多様なトラッキングシステムに対応できる。

（２）位置トラッキング機能の有無：位置のトラッキングが有効か無効かを示す情報。位置を表す各自由度に対するトラッキング機能の有無の集合により方向トラッキング機能の有無を表現してもよい。例えば、位置がトラッキング座標における各座標軸の方向のトラッキング機能の有無の集合を位置トラッキング機能の有無としてもよい。単一のフラグにより方向トラッキング機能を表現する場合に比べてデータ量は増加するが、より多様なトラッキングシステムに対応できる。また、位置トラッキングの種別毎に機能の有効無効
を示してもよい。例えば、GPSを用いたトラッキングの有無、空間に固定された基準点に
対する位置のトラッキング有無、特定時刻のユーザ位置を基準点とする相対位置トラッキングの有無を個別に示す情報により位置トラッキング機能の有無に相当する情報を構成してもよい。

（３）方向トラッキング範囲：方向のトラッキングが有効な範囲を表す情報。例えば、方向をロール、ピッチ、ヨーの三種類の回転の合成により定義し、各回転成分がとり得る回転角の範囲を指定する。これにより、水平方向の回転のみトラッキング可能、垂直方向の回転のみトラッキング可能といった情報を通知することもできる。

（４）位置トラッキング範囲：位置のトラッキングが有効な範囲を表す情報。例えば、位置をトラッキング座標系で定義されたx軸、y軸、z軸の各座標成分の取り得る範囲によ
り範囲を指定する。トラッキング可能な空間を表す幾何形状を指定することで範囲を表現してもよい。その場合、より柔軟な範囲指定が可能となる。空間をグリッド状もしくは八分木により小領域に分割し、小領域毎に範囲内か範囲外の情報を示すことで範囲を表現してもよい。その場合、データ量は増えるが、範囲内か範囲外かを高速に判定できる。

（５）トラッキング間隔：トラッキングが実行され方向または位置情報が取得される時間間隔を表す情報。方向と位置で異なるトラッキング間隔を設定してもよい。メディアデータ取得時に事前に取得するべき対象の決定に利用することで受信する三次元データのデータ量を低減できる。

（６）トラッキング遅延：トラッキングが実行され方向または位置情報が取得されるまでの遅延を表す情報。方向と位置で異なるトラッキング遅延を設定してもよい。メディアデータ取得時に事前に取得するべき対象の決定に利用することで受信する三次元データのデータ量を低減できる。

トラッキングシステム情報はトラッキング情報に含まれる位置情報の基準となる位置（トラッキング基準位置）を追加で含んでいてもよい。例えば、トラッキングシステムにより検知された地面位置を基準位置として利用できる。地面位置を利用して、実空間の地面位置と3Dシーンの地面位置を合わせることができる。また、例えば、トラッキングシステムの起動時またはアプリケーション起動時のユーザ位置（起動時位置）を基準位置としてトラッキングシステム情報に含んでもよい。起動時位置を利用して、現在位置のみを利用する場合に較べて柔軟に3Dシーン内での位置の決定ができる。地面位置と起動時位置の両方を基準位置としてトラッキング情報に含んでもよい。また、鉛直成分を地面位置、水平成分を起動位置とする座標を基準位置としてトラッキングシステム情報に含んでいてもよい。

図5は、トラッキング情報の構成を例示した図である。

図5(a)に示すトラッキング情報には、トラッキングシステム情報を周期的に含まれている。これにより、三次元データ再生装置は途中から（時刻t>0の時点から）トラッキング
システムに接続した場合でもトラッキングシステム情報が取得できる。また、トラッキング情報は各時刻の位置方向情報を含んでいる。図5(a)に示すようにトラッキング情報においてトラッキングシステム情報の個数は、位置方向情報の個数よりも少ないことが好ましい。言い換えると、トラッキングシステム情報の受信頻度は、位置方向情報の受信頻度よりも低いことが好ましい。トラッキングシステム情報は位置方向情報に比べて変化の頻度が低いため、上記構成によりトラッキング情報は少ないデータ量で表現できる。

図5(b)は、トラッキングシステム情報の構成例を示す。トラッキングシステム情報は、
トラッキングシステムタイプ(tracking_system_type)を含んでおり、値は「3dof」に設定されている。また、トラッキングシステム情報はトラッキング機能情報(tracking_system_info)を含む。トラッキング機能情報は、方向トラッキング機能の有無(orientation_tracking)、位置トラッキング機能の有無(position_tracking)、方向トラッキング範囲(orientation_tracking_range)、位置トラッキング範囲(position_tracking_range)、トラッキング間隔(tracking_frequency)、トラッキング遅延(tracking_latency)を含む。また、トラッキングシステム情報はトラッキング基準位置(tracking_ref_pos)を含む。

（3Dシーン情報取得部12）
3Dシーン情報取得部12は3Dシーン情報を取得して3Dシーン配置部13および視点設定部14に出力する。3Dシーン情報はシーン情報とも呼ぶ。3Dシーン情報の取得は記録媒体に記録されたデータを能動的に取得してもよいし、伝送されたデータを受動的に取得してもよい。3Dシーン情報は3Dシーンに含まれる構成要素、および、各構成要素の空間内の配置情報を含む。加えて、3Dシーン情報は、仮想空間内へのシーン配置時に参照されるシーン配置補助情報を含んでいる。シーン配置補助情報は、少なくともシーン範囲、シーン観測範囲、シーン主方向、シーンスケール、シーン基準地面情報の何れか一つ以上を含んで構成される。シーン配置補助情報により、3Dシーンの各構成要素を詳しく分析することなくシーン配置が決定できるため、シーン配置に要する処理が軽減する。したがって、三次元データ再生装置の処理量が制限されている場合でも多様な3Dシーンに対するシーン配置を決定して視点映像を生成できる。

図6は3Dシーン情報の構成を例示する図である。

図6に示した3Dシーン情報(scene_info)は、図3(a)の3Dシーンを記述する3Dシーン情報
を記述した3Dシーン情報に相当する。図3(a)に示した記述対象の3Dシーンは、3DオブジェクトO1および3DオブジェクトO2を含む。また、図示しないが、3Dシーンはシーン背景BGV
、シーン音声BGA、音声オブジェクトA1、音声オブジェクトA2を含んでいる。ここで、音
声オブジェクトA1は3DオブジェクトO1に、音声オブジェクトA2は3DオブジェクトO2が発する音に相当する。図6に示した3Dシーン情報(scene_info)には、シーン構成要素セット(components)が含まれる。シーン構成要素セットには、シーン背景(scene_background)、シーン音声(scene_audio)、2個の3Dオブジェクト(3d_object)、2個の音声オブジェクト(audio_object)が構成要素として含まれる。各構成要素に対して構成要素の再生に必要なメディアデータの場所(url)が含まれる。メディアデータの場所は例えばURL(Uniform Resource Locator)を表す文字列により指定される。また、3Dオブジェクトおよび音声オブジェクトに対応する各構成要素に対して、シーン中のオブジェクト位置(pos)およびオブジェクト方向(dir)が含まれる。オブジェクト位置は例えばシーン座標系における三次元の位置ベクトルにより記述される。図6の[x0,y0,z0]はx0、y0、z0を要素とする三次元のベクトルを表す。オブジェクト方向が記述されている。シーン中のオブジェクト方向は、シーン基準方向からオブジェクト方向への回転により記述される。オブジェクト方向は、例えば回転のロール、ピッチ、ヨー成分に相当する三次元ベクトルにより記述される。図6の[roll0, pitch0, yaw0]はroll0、pitch0、yaw0を要素とする三次元のベクトルを表す。なお、オブジェクト方向として、特定のオブジェクト方向を持たない旨を表す情報を記述してもよい。図6ではオブジェクト方向(dir)の値に文字列「na」を記述することで、オブジェクト方向を持たないことを示している。オブジェクト位置とオブジェクト方向は同等の情報を含んでいる別の表現により記述してもよい。例えば、オブジェクト位置とオブジェクト方向を合わせて変換を表す行列により表現してもよい。

3Dシーン情報は、シーン全体の方向を表すシーン主方向(scene_orientation)を含んで
いる。シーン主方向は、シーン座標系における三次元ベクトルにより記述される。例えば、3Dシーンを正面から見る方向と対向する方向を表すベクトルがシーン方向として設定される。シーン主方向を用いることで、シーン配置決定時にトラッキング性能に応じた好適な配置が可能となる。詳細は3Dシーン配置部13の説明で述べる。シーン主方向は、言い換えると、シーン観察のための推奨される方向を示す情報とも言える。この観点から、前述の3Dオブジェクトの方向と同様に、シーン主方向が存在しないことをシーン主方向の値として記述してもよい。また、シーン主方向は必ずしも一方向である必要はなく複数の方向から構成されていもよい。ただし、その場合には、方向の重要度が容易に判別できるよう重要性の高い方向から順に方向を記述することが好ましい。

3Dシーン情報は、シーン範囲(scene_range)を含んでいる。シーン範囲は3Dシーン情報
が記述するシーン全体がシーン座標系において占有する範囲を示す情報である。シーン範囲を用いることで、3Dシーンの全ての構成要素の配置や占有範囲を個別に計算することなくシーン全体の占有範囲を知ることができるためシーン配置計算や視点決定の処理量が軽減される。シーン範囲は例えばシーン全体を内包する直方体により表現できる。図6の例
では、直方体を対向する2頂点の位置(box_corner)により記述している。シーン範囲は直
方体に限らずシーン全体を内包する凸包により表現してもよい。しかしながら、シーン配置計算の簡略化、伝送データ量の削減の観点から直方体サイズによる表現の方が好ましい。また、シーン占有空間情報は必ずしも三次元の領域を記述する必要はなく、二次元の領域を記述してもよい。例えば、シーンに地面が存在する場合、地面に水平な二次元の領域を指定する表現を用いることができる。この場合、アプリケーションは限定されるが、三次元データ生成装置のおけるシーン範囲の導出処理を削減し、シーン範囲のデータ量を削減できる。シーン範囲がいずれの表現方法により記述されるかを示す情報(scene_range_type)をシーン範囲の情報に含むことで、3Dシーンの性質に応じた好ましいシーン範囲の表現方法を選択できる。

3Dシーン情報は、シーン観測範囲(scene_observe_range)を含んでいる。シーン観測範
囲は、シーン座標系において対象3Dシーンを観測可能な範囲を示す情報である。現実の3Dシーンと異なり、メディアデータで表現された仮想的な3Dシーンは必ずしも全ての位置や方向から観測されることができない。例えば、360度ビデオで表現された3Dシーン背景は
、360度ビデオの撮影地点から大きく離れると現実3Dシーンの目による観測結果との乖離
が大きくなるため、撮影地点を中心とする一定の距離内の範囲をシーン範囲に指定する。シーン観測範囲は、前述のシーン範囲と同様の表現により記述できる。シーン観測範囲を利用することで、3Dシーンを構成する個々の構成要素の観測範囲を調べることなく3Dシーン全体の観測可能範囲が分かるため、シーン配置や視点決定の処理量を低減できる。

シーン情報は、シーンスケール(scene_scale)を含む。シーンスケールはシーン全体の
座標単位を調整するための比率を示す情報である。例えばシーンスケールとして、3Dシーン情報においてオブジェクト位置の記述に使われている座標の単位とメートル単位との間の比率を利用できる。3Dシーン情報を利用するアプリケーションが事前に分かっている場合には当該アプリケーションで処理が容易となるよう座標の単位を利用して3Dシーン情報を構成しておけばよい。しかしながら、3Dシーン情報作成時にはアプリケーションが決定しない状況では、シーンスケールを利用して所望の座標の単位に変換した上で3Dシーン情報を利用することができる。図6の例ではシーンスケールにスケール比率の値0.01が記述
されている。この場合、シーン座標系における距離dにスケール比率を乗じた値である0.01dがメートル単位の距離となる。

3Dシーン情報は、シーン基準地面情報(scene_ground_info)を含む。シーン基準地面情
報は3Dシーンの地面を表す情報である。シーン基準地面情報は、少なくとも3Dシーンにおける地面の高さを導出するために必要な情報を含む。例えばシーン座標系のy座標軸が鉛
直方向に相当する場合、地面に相当するy座標値を記述することで基準地面の高さを導出
できる。基準地面位置を参照してシーン配置やユーザ視点位置を決定することでユーザに
対して高さの違和感が少ない映像を提示できる。

（3Dシーン配置部13）
3Dシーン配置部13は3Dシーン情報とトラッキングシステム情報に基づいてシーン配置を決定して出力する。シーン配置は、3Dシーン情報により記述されるシーンの描画対象空間における位置、方向、および、スケールを示す情報である。シーン配置は、例えば、4×4サイズの行列により表現される。以下ではシーン配置の導出処理の具体例を挙げる。

＜シーン配置導出処理1：実寸大でのシーン配置＞
描画対象空間にシーンを実寸大で配置する要求がある場合のシーン配置導出処理は次の通りである。3Dシーン配置部１３は、3Dシーン情報に含まれるシーン配置補助情報を参照してシーンが実寸大となるよう調整した上で描画対象空間に配置する。具体的には、シーンスケールを参照してシーンを構成する3Dオブジェクトおよび音声オブジェクトの座標を調整して各オブジェクトを配置する。シーンスケールをα、3Dシーン情報におけるオブジェクト位置p、シーン基準位置p0が与えられる場合、描画対象空間におけるオブジェクト位置p'は式 p' = α (p - p0) により導出される。以上の手順により描画対象空間にシーンを実寸大で配置する場合、シーンに相当する仮想空間内をユーザが自由に移動して探索するアプリケーションを実現できる。

また、3Dシーン配置部13は、3Dシーン情報に含まれるシーン配置補助情報を参照してシーンの地面位置が描画対象空間の地面位置と一致するよう調整した上で描画対象空間に配置する。具体的には、シーン基準地面情報を参照してシーンの地面の高さが描画対象空間で想定する地面の高さと一致するよう3Dシーンを配置する。以上の手順によりシーンを配置することで、ユーザがアプリケーション内で感じる高さの違いによる違和感を軽減できる。

＜シーン配置導出処理2：配置対象領域へのシーン配置＞
描画対象空間内の配置対象領域にシーンを配置する要求がある場合のシーン配置導出処理は次の通りである。3Dシーン配置部13は、3Dシーン情報に含まれるシーン配置補助情報を参照してシーンが配置対象領域に収まるよう調整した上で描画対象空間に配置する。具体的には、シーン範囲を参照してシーンに含まれる各オブジェクトの位置を表す座標を補正する。

例えば、配置対象領域とシーン範囲がともに直方体で指定される場合、シーン範囲を表す直方体が配置対象領域を表す直方体に内包されるよう3Dシーンを回転およびスケールして描画対象空間に配置する。スケール後のシーン範囲のサイズが最大となるような条件で回転およびスケールすることが好ましい。以上の手順により3Dシーンを配置することで、実世界の指定領域（例えばテーブルの上）に仮想的なシーンを配置して鑑賞するアプリケーションを実現できる。

配置対象領域は必ずしも三次元空間で指定する必要はなく、平面上の二次元領域として指定してもよい。

図7はシーン範囲を利用した配置対象領域への3Dシーン配置の例を表す図である。

図7(a)はシーン座標系におけるシーン範囲TAを示す。図7(b)は描画対象空間における配置対象範囲TBを示す。図7(c)は描画対象空間において配置対象範囲TBに内包されるようにシーン範囲TAを移動、回転、および、スケールしたシーン範囲TA’を示す。

なお、シーン範囲を二次元の領域で表現する場合、シーン配置補助情報に含まれるシー
ン鉛直方向を参照することでシーンの自然な配置を実現できる。具体的な手順としては、シーン占有空間とシーン鉛直方向を参照してシーン水平面上における矩形の二次元占有領域を導出する。続いて、二次元占有領域が配置対象領域に包含されるようシーンに移動、回転、スケールを適用する。以上の手順により鉛直方向が定義されるシーンを配置する場合に自然な配置が実現できる。例えば、実世界のテーブル上に仮想的なシーンとして伝送された建物を配置して鑑賞する場合に不自然な傾きが生じることを抑止できる。

また、3Dシーン配置部13がトラッキング情報を参照することでユーザ視点位置を考慮してシーンを配置することもできる。具体的には、3Dシーン配置時点におけるユーザ視点位置を参照し、当該ユーザ視点位置から見て配置されるシーンの正面がユーザの視線となるよう配置する。手順としては、まず、ユーザ視点位置をpu、配置対象領域の中心をptとする場合、ptからpuへのベクトルの方向と、シーン主方向の向きが一致するようシーンを回転する。続いて、配置対象領域に包含されるようシーンに移動およびスケールを適用する。以上の手順によりシーンを配置することで、ユーザが特定領域を指定して仮想的なシーンを配置するアプリケーションにおいて、シーンの正面がユーザ側に向くよう配置される。したがって、配置後にユーザがシーンの向きを調整することなくシーンを鑑賞できる。

（視点設定部14）
視点設定部14は3Dシーン情報とトラッキング情報に基づいて描画対象シーンにおけるユーザ視点位置を決定して出力する。以下に示す視点設定処理の少なくとも何れか一つを適用してユーザ視点位置を決定することで多様な3Dシーン情報を性能の異なるトラッキングシステムを用いて鑑賞する場合であっても好適な視点を設定できる。

＜視点設定処理１Ａ：トラッキングシステム種別による高さ調整＞
トラッキングシステムの種別がアウトサイドイン方式である場合、トラッキングシステムで検知される座標は、実世界空間に対して固定される。これは検知される座標が実世界で固定された外部センサの位置に依存するためである。一方、トラッキングシステム種別がインサイドアウト方式である場合、トラッキングシステムで検知される座標は、実世界空間に対して固定されない。これは、検知される座標が特定時刻のカメラ位置（例えば起動時のカメラ搭載HMDの位置）に依存するためである。したがって、トラッキングシステ
ム種別がアウトサイドイン方式である場合は、ユーザ視点位置の地面（または基準面）からの高さはトラッキングで得られる高さをそのまま利用できる。一方、インサイドアウト方式である場合は、トラッキングシステムが地面からの高さを推定し、高さ補正情報としてトラッキング情報に追加して送る。視点設定部14は、受信したトラッキング情報に含まれる位置情報を、前記高さ補正情報を参照して補正することにより描画対象空間内での好ましいユーザ視点位置を設定できる。なお、トラッキングシステムで高さ情報による補正を行い、補正した位置情報をトラッキング情報として送る場合でも同様の機能が実現できる。しかしながら、アプリケーションによっては高さが不要な場合もあるため、前者の構成の方が多様なアプリケーションに対応できるため好ましい。

高さ情報を一定間隔でトラッキング情報に含めることもできる。その場合、視点設定部14は、最新の高さ情報を参照して位置情報を補正し視点位置を設定する。ここで高さ情報が不連続に変化するとユーザ視点位置が急激に変化しユーザに対して不快感を与える恐れがある。そのため、時間的なユーザ視点位置の変化が一定以内となるよう補正する必要がある。例えば、最新の高さ情報を受信した時刻から、規定の時間にわたって、計算に使用する高さ情報を時刻に応じて直前の高さ情報から最新の高さ情報へ滑らかに変化するよう設定することで急減な視点位置の変化を抑制できる。インサイドアウト方式のトラッキングシステムでステレオ方式を利用して地面からの高さを推定する場合、起動直後は地面の高さが正確に推定できていない場合が多い。そうのような場合に、上記のように高さ情報を更新することで、高さ推定が完了するまでユーザを待たせることなくコンテンツを提示
できる。

＜視点設定処理１Ｂ：トラッキング機能情報による高さ調整＞
トラッキング機能情報で高さ方向のトラッキングが無効に設定されている場合、ユーザ視点位置の地面からの高さを推定して設定する必要がある。視点設定部14では、以下の手順でユーザ視点位置の地面からの高さを推定する。3Dシーン情報が推奨視点位置を含む場合、当該推奨視点位置に相当する高さとなるようユーザ視点位置を設定する。それ以外の場合、既定の高さとなるようユーザ視点位置を設定する。既定の高さは、例えば、ユーザが事前に登録した身長に基づき導出された目の高さを使用できる。なお、高さ方向のトラッキングを利用可能なトラッキングシステムでも高さ方向のトラッキング情報を利用することが適当ではない場合も存在する。例えば、インサイドアウト6DoFトラッキング機能搭載のHMDを装着したユーザが椅子に座り、スリッパ型のコントローラを用いて仮想空間内を移動する場合、実空間での地面からの高さを、仮想空間におけるユーザ視点位置の高さに直接反映させるべきではない。そのような場合に、トラッキング機能情報で高さ方向のトラッキングが無効である旨を通知した上で、前述の手順によりユーザ視点位置を設定することで好ましい視点位置を設定できる。トラッキングシステムにおいて、高さ方向のトラッキングの必要有無をユーザの姿勢や利用しているデバイスの種別から推定して制御することで、ユーザが直接トラッキング機能情報を設定する手順を省略できる。

なお、トラッキング機能情報で高さ方向の相対的位置トラッキングのみ有効とし、高さ方向の絶対的位置のトラッキングを無効とする情報を通知してもよい。最初のユーザ視点位置の高さは上記の場合と同様に3Dシーン情報または既定の値に基づいて設定される。以降は時刻毎に受信されるトラッキング情報を参照して算出される相対的な高さの変化に基づいてユーザ視点位置の高さを導出する。このような構成によれば、ユーザは実世界で座った状態で仮想空間を歩いてシーンを鑑賞し、加えて、頭の位置を変えて視点位置を変更することもできる。

上記の視点設定処理１Ａと視点設定処理１Ｂに関する記載より、視点設定部14は、トラッキング種別またはトラッキング機能情報に基づいて描画対象空間における視点の基準面（地面）からの高さを決定する、と表現できる。

＜視点設定処理２：3DoFと6DoFによる開始時視点位置の適応＞
シーン方向の情報に基づきシーンの正面の向きが通知されている場合、トラッキング種別が3DoFトラッキングであれば実世界におけるユーザの正面の向きをシーンの正面の向きと一致させるようユーザ視点の視線方向を決定することで他の向きに視線方向を設定する場合に較べて好ましいシーンの観察環境をユーザに提供できる。一方、トラッキング種別が6DoFトラッキングである場合には、必ずしも実世界におけるユーザの正面の向きをシーンの正面の向きに一致させるよう視線方向を設定することが適切ではない状況が存在する。一般に6DoFトラッキングでは無限の範囲までトラッキングが可能ではない。そのため、シーンの観察を最大限に楽しむ機会を提供するためにはシーン観測範囲、トラッキング範囲、トラッキング位置に基づいてユーザ視点を設定することが好ましい。具体的には、描画対象空間において、シーン観測範囲に相当する範囲とトラッキング範囲の重複範囲が最大となるよう開始時刻におけるユーザ視点を決定する。後続の時刻においては、トラッキング情報に含まれる視点位置の相対変化に基づいて前記開始時刻におけるユーザ視点を移動することで各時刻のユーザ視点を決定する。描画対象空間において、ユーザはトラッキング範囲外のシーンに移動することができない。そのため、シーン観測範囲とトラッキング範囲の重複が増えるほど様々な位置からシーンを鑑賞できるようになる。したがって、シーン観測範囲とトラッキング範囲の重複範囲を増やすよう開始時刻におけるユーザ視点を決定することで、ユーザがよりシーン鑑賞を楽しむことができる。

上記の説明でトラッキング種別が3DoFトラッキングであることは位置トラッキングが無効であることに相当し、トラッキング種別が6DoFトラッキングであることは位置トラッキングが有効であることに相当する。位置トラッキングが有効か無効かはトラッキング機能情報に含まれる位置トラッキング機能の有無を参照して判定してもよい。

なお、上記の説明ではシーン観測範囲を利用する例を説明したが、シーン範囲を利用しても類似の効果は実現できる。具体的には、シーン範囲に視聴可能距離に相当する既定のマージンを加えて得られる範囲をシーン観測範囲として利用することもできる。この場合、シーン観測範囲指定の自由度は下がるが、シーン情報のデータ量を削減できる。

なお、6DoFトラッキング利用時の開始時刻ユーザ視点位置の決定において、前述の重複範囲を最大化する条件に追加条件を加えてユーザ視点位置を決定してもよい。具体的には、3Dシーン情報に記述されたオブジェクト位置および各オブジェクトの占有範囲を参照し、何れのオブジェクトの占有範囲にも含まれない位置にユーザ視点位置を設定するという追加条件を利用できる。開始時刻においてユーザがオブジェクトに内部に位置するという好ましくない状態を回避することができる。ここで、オブジェクトの占有範囲は、オブジェクトが占有する空間の範囲を表す情報であり、例えばオブジェクトを内包する直方体により表現できる。

また、シーン観測範囲がトラッキング範囲に比べて小さい場合、トラッキング範囲の中心に近い位置にシーン占有空間が配置されるようユーザ視点の位置と方向を設定する追加条件を利用できる。シーンを外から観察できる範囲が増加するため好ましい。加えて、アウトサイドイン6DoFトラッキングの場合には、トラッキング範囲の中心部分の方が安全であり範囲外のアラートが発生する機会も低減できるためユーザの満足度を高めることができる。

上記視点設定処理２によれば、視点設定部14は、トラッキング種別またはトラッキング機能情報に基づいて位置トラッキングの有効有無を特定し、位置トラッキングが有効な場合と無効な場合とで異なる方法でユーザ視点を決定する。これにより、多様なトラッキングシステムを利用する場合に、好適な視点位置を設定できる。

また、上記視点設定処理２によれば、視点設定部14は、位置トラッキングが有効な場合、シーン情報に含まれるシーン範囲またはシーン観測範囲を用いて視点位置を設定する。これにより、位置トラッキングが有効である場合に、多様な3Dシーンに対して好適な視点位置を設定できる。

＜視点設定処理３：可動範囲のフィッティング＞
描画対象空間においてシーン観測範囲がトラッキング範囲に比べて広い場合、通常のユーザ視点位置の決定方法ではユーザがシーン全体を探索することができない。そのような場合、ユーザ視点位置をシーン観測範囲内での位置、シーン観測範囲とトラッキング範囲の比率に応じて調整することで狭いトラッキング範囲であってもシーン全体を探索することが可能となる。具体的には、以下の手順でユーザ視点位置を決定する。まず、3Dシーン情報に含まれるシーン観測範囲とトラッキング情報に含まれるトラッキング範囲を参照して、描画対象空間におけるシーン観測範囲とトラッキング範囲の比率βを導出する。比率βはシーン観測範囲がトラッキング範囲のβ倍であることを意味する。続いて、トラッキング情報に含まれる視点位置の変位にβを乗算した変位を描画対象空間におけるユーザ視点位置の変位として適用する。以上の手順によりユーザ視点位置を設定することで、トラッキング範囲の端から端までユーザが移動した場合に、描画対象空間においてシーン占有空間の端から端までユーザが移動することに相当するため、ユーザがシーン全体を探索できるようになる。なお、上記の比率βを乗算した変位を利用して視点位置を移動する場合には、その事が分かる情報をユーザに提示することが好ましい。例えば、「βx高速移動中」と提示する。これにより、実世界の移動量と提示される映像から推定される移動量にギャップがある事をユーザが知覚できるため運動と視覚情報のギャップに起因する酔いを抑制できる。また、体の移動と頭の移動をそれぞれ検知し、体の移動に対しては前述の比率βを利用した視点移動調整を適用し、頭の移動に対しては通常の（比率1相当の）視点移動を行ってもよい。これにより、ユーザはシーン全体を探索でき、かつ、頭を動かした場合に自然な視差でシーンを観察できる。

上記視点設定処理３によれば、視点設定部14は、トラッキング情報に含まれるトラッキング範囲と、シーン情報に含まれるシーン範囲またはシーン観測範囲とを用いてユーザ視点を決定する。これにより、多様なシーンおよび多様なトラッキングシステムを利用する場合に、好適な視点位置を設定できる。

＜視点設定処理４：トラッキング自由度制約時の処理＞
トラッキング機能情報において、特定のトラッキング自由度が制約されている場合に、当該制約を考慮してユーザ視点の位置や方向を決定することで、より好ましい体験をユーザに提供できる。具体的には、方向トラッキングの自由度が制約されている場合、制約されている自由度の方向成分を3Dシーン情報に含まれるシーン主方向の対応する成分と一致するよう導出する。例えば、水平方向の回転が有効であり、鉛直方向の回転が無効である場合、ユーザの視線方向をトラッキングにより検知された水平方向の回転成分とシーン主方向の鉛直方向の回転成分との合成により導出する。これにより、ユーザは、横たわった姿勢で首の水平方向の回転のみを使用してシーンを観察する状況においても、好ましい方向からシーンを観察することができる。

（メディアデータ取得部15）
メディアデータ取得部15は3Dシーン情報、シーン配置、ユーザ視点位置を参照して視点映像の生成に必要なメディアデータを特定する。続いて特定したメディアデータを出力する。メディアデータの特定は次の手順で実行する。まず、レンダリング対象空間におけるユーザ視点の位置と視線方向に基づいてユーザ視点の映像生成に必要なシーンの構成要素を特定する。具体的にはレンダリング対象空間においてユーザの視界内に含まれる3Dオブジェクトとシーン背景を選択する。図3(a)で例示した3Dシーンにおいてユーザの視界内に3DオブジェクトO1が含まれ、3DオブジェクトO2が含まれない場合、シーン背景BGVおよび3DオブジェクトO1をメディアデータが必要なオブジェクトとして選択する。続いて選択さ
れた各構成要素について、3Dシーン情報に含まれる各構成要素に対応するURLを参照して
メディアデータを取得して出力する。

＜背景のレンダリング省略＞
上記説明によればシーン背景はユーザ視点の位置に依らず視点映像の生成に必要なものとして選択される。しかしながら、実世界にシーンを配置し観測する場合には必ずしもシーンの背景は必要ない。そのため、3Dシーン情報に含まれるシーン占有空間を参照し、描画対象空間においてシーン外にユーザ視点位置が設定されている場合にはシーン背景を選択しないことが好ましい。これによりシーン再生に必要なメディアデータの伝送量を抑制できる。

＜音声メディアの選択＞
上記ではシーンの映像生成に必要なメディアデータの選択方法について説明したが、視点依存でシーンの音声を再生する場合には音声に関わるシーン構成要素を選択しメディアデータを取得する必要がある。図3(a)で例示したシーンにおいてユーザの視界内に音声オブジェクトO1が含まれ、音声オブジェクトO2が含まれない場合、シーン音声BGA、音声オ
ブジェクトA1、音声オブジェクトA2をメディアデータが必要なオブジェクトとして選択す
る。ここで視界内に含まれない音声オブジェクトO2が選択されるのは、視覚情報と異なり音情報は視野に関係なく全方向の音が知覚可能なためである。なお、音声オブジェクトに音の到達範囲を設定し、ユーザ視点が音の到達範囲内にある場合のみ当該音声オブジェクトを選択するような選択方法を利用してもよい。その場合、音の再生に必要なメディアデータの伝送量が低減できる。また、音声オブジェクトに音の大きさを表す量を設定し、その大きさに応じて音の到達範囲を計算して導出してもよい。その場合、直接到達範囲を設定する場合に比べて計算は増えるが、音の伝達率が異なるシーンでも適切な音声オブジェクトが選択できるようになる。

＜トラッキング範囲を考慮したプリフェッチ＞
メディアデータ取得部15におけるメディアデータの取得は、必ずしも視点映像生成部１６における視点映像の生成と同じ頻度で実行する必要はない。これはビデオデータが必ずしも細かい時間粒度で選択できないためである。したがってメディアデータ取得部15は、現時刻の視点映像生成に必要なメディアデータだけではなく、近い時刻に必要とされる可能性の高いメディアデータを選択することが好ましい。例えば、現時刻のユーザ視点位置の近傍位置の視点画像合成に必要なシーンの構成要素に関するメディアデータも取得する。

なお、トラッキングシステム情報からトラッキング範囲を参照できる場合、トラッキング範囲を参照してより好ましいメディアデータを取得できる。具体的にはユーザ視点位置の近傍であって、トラッキング範囲内の視点位置の視点映像合成に必要なメディアデータを取得する。トラッキング範囲外の視点映像を合成する状況は発生しないため、ユーザが体感する視点映像の品質を低下することなくメディアデータの伝送量を削減できる。

また、トラッキング種別やトラッキング機能情報を参照して特定のトラッキング自由度が制限されている場合、その制限を利用してより好ましいメディアデータを取得できる。具体的には、ユーザ視点位置の近傍であって、自由度が制限されていない方向に変位または回転した場合の視点の視点映像合成に必要なメディアデータを取得する。この場合もユーザが体感する視点映像の品質を低下することなくメディアデータの伝送量を削減できる。

（視点映像描画部16）
視点映像生成部16は描画対象シーン、ユーザ視点位置、メディアデータを参照して視点映像を生成して出力する。特定の時刻tにおける視点映像描画処理は以下の手順で実行さ
れる。

（S1）シーン背景に相当するメディアデータが入力されている場合、当該メディアデータとユーザ視点を参照して、描画対象空間における背景のユーザ視点からの観察結果に相当する画像を合成しバッファに記録する。

（S2）3Dオブジェクトに相当する各メディアデータを対象として、S2-1の処理を実行する
（S2-1）対象メディアデータとユーザ視点を参照して、描画対象空間における対応3Dオブジェクトのユーザ視点からの観測結果に相当する画像を合成しバッファに記録する。

（S3）S1およびS2-1で生成したバッファを１枚のバッファに統合して視点画像として出力する。バッファの合成はデプスも参照して行う。

上記の処理では、処理対象をシーンに含まれる全メディアデータではなく、メディアデータ取得部15で選択され視点映像生成部16に入力されたメディアデータに制限することで、視点映像描画処理の処理量を低減している。なお、描画対象空間においてユーザ視点から観測されるシーン背景および3Dオブジェクトの観測結果に相当する画像が合成されるのであれば、別の手順により合成しても構わない。例えば、複数のバッファにそれぞれ3Dオブジェクトを描画した後に1枚のバッファに合成するのではなく、1枚のバッファに3Dオブジェクトのデプスを参照しつつ3Dオブジェクトを上書き描画していく手順も適用できる。

上述したように、本実施形態に係る三次元データ再生装置は、三次元データを再生する三次元データ送信装置であって、シーン情報およびトラッキング情報に基づいてシーン配置を決定するシーン配置部、または、シーン情報およびトラッキング情報に基づいてユーザ視点を設定する視点設定部を備えている構成である。上記構成によれば、多様な3Dシーンを多様なトラッキングシステムを利用して再生する場合であっても好適な視点映像を合成して出力する三次元データ再生装置を実現できる。

〔実施形態1の三次元データ再生装置を含むシステム〕
図2は実施形態1の三次元データ再生装置を含んで実現される三次元データ配信システムの構成を表すブロック図である。

三次元データ配信システムは、三次元データ再生装置1、三次元データ生成装置2、三次元データ記録装置3、三次元データ表示装置5、および、トラッキングシステム6を備えて
いる。

三次元データ生成装置2は、配信の対象となる三次元シーンを入力として三次元データ
を生成して出力する。三次元データ生成装置2が生成する三次元データは、実施形態1の三次元データ再生装置1の説明で記載したシーン情報およびメディアデータを含む。

三次元データ記録装置3は、三次元データを蓄積し、外部からの要求に応じて、指定さ
れた時刻のシーン情報やメディアデータを出力する。

伝送チャンネル4は三次元データが伝送されるチャンネルを表す。例えば、伝送チャン
ネル4としてインターネットネットワーク回線が利用できる。

三次元データ表示装置5は、入力される視点映像を表示してユーザに提示する。表示装
置として、例えば二次元の平面ディスプレイ、三次元ディスプレイ、ヘッドマウントディスプレイを用いることができる。

トラッキングシステム6は、トラッキング情報を生成して出力する。トラッキング情報
は、実施形態1の説明に記載したトラッキング情報と同一である。

図2に示す三次元データ配信システムは、シーン情報を含む三次元データを生成する三
次元データ生成装置2と、トラッキング情報を生成するトラッキングシステム6と、前記三次元データとトラッキング情報を用いて視点映像を生成して出力する三次元データ再生装置1を含んで構成される。上記構成によれば、シーン情報とトラッキング情報の両方を参
照することで多様な3Dシーンおよび多様なトラッキングシステムが利用される場合であっても、好適な視点映像を生成してユーザに提示できる。

〔実施形態１の変形例１〕
上記実施形態１で説明した三次元データ再生装置1は3Dシーン配置部13と視点設定部14
の両方を含むが、視点設定部14のみを含む構成も可能である。具体的には、三次元データ再生装置1から3Dシーン配置部13を削除する。3Dシーン配置部13から出力されていたシー
ン配置としては、3Dシーン情報に含まれるシーン配置を直接用いる。この場合の三次元デ
ータ再生装置は多様な3Dシーンに対応することはできないが、三次元データ再生装置1と
同様に多様なトラッキングシステムを利用するユーザに対して好適な視点映像を出力することがより少ない回路規模で実現できる。

〔ソフトウェアによる実現例〕
三次元データ再生装置１の制御ブロック（特に3Dシーン配置部、視点設定部、メディアデータ取得部および視点映像描画部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、三次元データ再生装置は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

1 三次元データ再生装置
11 トラッキング情報取得部
12 3Dシーン情報取得部
13 3Dシーン配置部
14 視点設定部
15 メディアデータ取得部
16 視点映像描画部
2 三次元データ生成装置
3 三次元データ記録装置
5 三次元データ表示装置
6 トラッキングシステム

Claims

シーン情報およびトラッキング情報に基づいてシーン配置を決定するシーン配置部、または、シーン情報およびトラッキング情報に基づいてユーザ視点を設定する視点設定部を備え、前記トラッキング情報はトラッキングシステム情報を含むことを特徴とする三次元データ再生装置。
前記トラッキングシステム情報はトラッキングシステム種別を含むことを特徴とする請求項１に記載の三次元データ再生装置。
前記トラッキングシステム情報は位置トラッキング機能の有無、方向トラッキング機能の有無、方向トラッキング範囲、位置トラッキング範囲、トラッキング間隔、および、トラッキング遅延の少なくとも何れか一つ以上を含むトラッキング機能情報を含むことを特徴とする請求項２に記載の三次元データ再生装置。
前記方向トラッキング機能の有無は、方向を表す各自由度に対するトラッキング機能の有無の集合により表現されることを特徴とする請求項３に記載の三次元データ再生装置。
前記位置トラッキング機能の有無は、位置を表す各自由度に対するトラッキング機能の有無の集合により表現されることを特徴とする請求項３に記載の三次元データ再生装置。
前記視点設定部は、トラッキング種別またはトラッキング機能情報に基づいて描画対象空間における視点の基準面からの高さを決定することを特徴とする請求項３に記載の三次元データ再生装置。
前記視点設定部は、トラッキング種別またはトラッキング機能情報に基づいて位置トラッキングの有効有無を特定し、位置トラッキングが有効な場合と無効な場合とで異なる方法でユーザ視点を決定することを特徴とする請求項３に記載の三次元データ再生装置。
前記視点設定部は、位置トラッキングが有効な場合、前記シーン情報に含まれるシーン範囲またはシーン観測範囲を用いて視点位置を設定することを特徴とする請求項７に記載の三次元データ再生装置。
前記視点設定部は、前記トラッキング情報に含まれるトラッキング範囲と、前記シーン情報に含まれるシーン範囲またはシーン観測範囲とを用いてユーザ視点を決定することを特徴とする請求項３に記載の三次元データ再生装置。
前記シーン情報は、シーン範囲、シーン観測範囲、シーン主方向、シーンスケール、および、シーン基準地面情報のうち少なくとも何れか一つ以上を含むシーン配置補助情報を含むことを特徴とする請求項１から請求項９の何れか一項に記載の三次元データ再生装置。