JP2021064822A - 通信装置、通信装置の制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザの姿勢に応じた映像データの配信を、映像データ受信側の処理負荷を軽減しつつ実行する。【解決手段】通信装置は、映像データを取得するための情報を記述する記述ファイルを取得する取得手段と、取得された記述ファイルに記述される映像データの基準となる方向を示す第１の方向の情報を解析する解析手段と、通信装置の表示装置が向いている方向を示す第２の方向の情報を検出する検出手段と、第１の方向の情報および第２の方向の情報に基づいて、映像データを領域分割した複数のセグメントの中から受信すべき映像データのセグメントを決定する決定手段と、取得された記述ファイルに記述される情報の中から決定されたセグメントに対応する映像データを取得するための情報を指定し、他の通信装置から前記セグメントを受信する受信手段と、受信されたセグメントから表示すべき映像データを生成する生成手段とを備える。【選択図】図９

Description

本発明は、メディアデータをストリーミング配信ないし再生可能な通信装置に関する。

近年、音声データや映像データ等で構成されるストリーミング形式のコンテンツを、ユーザにリアルタイムに配信する配信システムが提供されている。このような配信システムを利用することで、ユーザは、自身の端末装置を介して、ライブ映像等の所望のコンテンツをリアルタイムで再生することができる。
また、スマートフォンやタブレット等の携帯型端末の普及により、様々な端末装置を介していつでもどこでもストリーミングコンテンツを再生したいという要請が高まっている。このような要請に応えるための技術として、端末装置の能力や端末装置が設置される通信状況に応じて、取得する映像データの品質を動的に変更する適応型ストリーミング（Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ）が注目されている。

ＭＰＥＧ−ＤＡＳＨ（ＭＰＥＧ Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）、ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ等により、ＨＴＴＰプロトコルでの適応型ストリーミングを実現することができる。
これらの技術では、配信装置は、映像データを細かい時間単位のセグメントに分割し、セグメントを取得させるためのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｃｅ Ｌｏｃａｔｏｒ）をプレイリストと呼ばれるファイルに記述する。受信装置は、まずこのプレイリストを取得し、プレイリストに記述される情報を参照して所望の品質の映像データのセグメントを取得する。プレイリスト中には、複数のバージョンの映像データのセグメントの取得先アドレスであるＵＲＬが記述されている。受信装置は、セグメントのＵＲＬを指定することで、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）プロトコルで、自身の能力や通信環境に応じた最適なバージョンの映像データのセグメントを取得することができる。

適応型ストリーミングを用いて、ユーザが視点を自由に移動できる自由視点映像（３次元映像）をストリーミング配信することができる。
特許文献１は、ユーザの頭部追跡データに基づいて、パノラマ映像の解像度を調整してストリーミング配信する方法を開示する。具体的には、特許文献１の配信方法において、配信側は、ユーザの頭部に装着されるヘッドマウントディスプレイ装置で取得される頭部の向きおよび動きを示す頭部追跡データを受信する。受信された頭部追跡データに基づいてユーザの現在視野を決定し、現在視野内のパノラマ映像の解像度を、現在視野の外側のパノラマ映像の解像度より高く調整し、調整された解像度のパノラマ映像のサブストリームをクライアントへ提供する。

特開２０１６−１６５１０５号公報

しかしながら、より広視野、例えば３６０°の３次元映像をストリーミングで視聴しようとする場合、現在の視野外の３次元映像を低い解像度に調整しても、映像データをストリーミング配信するためのネットワーク帯域を十分に削減することは困難であった。また、受信された３次元映像をクライアント側で復号する処理負荷も十分に低減され得ず、映像データの視聴のリアルタイム性が損なわれる場合があった。
特に、ユーザの姿勢（視野領域）の変化に追従して３６０°の３次元映像を再生表示する場合、ユーザの姿勢にかかわりなく３６０°の３次元映像をストリーミング配信すると、本来不要であるネットワーク帯域の使用や復号処理が発生してしまう。

本発明の目的は、ユーザの姿勢に応じた映像データの配信を、映像データ受信側の処理負荷を軽減しつつ実行することにある。

上記課題を解決するため、本発明に係る通信装置は、映像データを取得するための情報を記述する記述ファイルを取得する取得手段と、前記取得手段により取得された前記記述ファイルに記述される前記映像データの基準となる方向を示す第１の方向の情報を解析する解析手段と、前記通信装置の表示装置が向いている方向を示す第２の方向の情報を検出する検出手段と、前記第１の方向の情報および前記第２の方向の情報に基づいて、前記映像データを領域分割した複数のセグメントの中から受信すべき映像データのセグメントを決定する決定手段と、前記取得手段により取得された前記記述ファイルに記述される情報の中から前記決定手段により決定された前記セグメントに対応する映像データを取得するための情報を指定し、他の通信装置から前記セグメントを受信する受信手段と、前記受信手段により受信された前記セグメントから表示すべき映像データを生成する生成手段とを備える。

本発明によれば、ユーザの姿勢に応じた映像データの配信を、映像データ受信側の処理負荷を軽減しつつ実行することができる。

実施形態１に係る通信システムのネットワーク構成の一例を示す図。 ユーザの姿勢と３次元映像データとの位置関係の一例を示す模式図。 複数の姿勢の表現形式を例示的に示す図。 実施形態１に係るクライアントのハードウエア構成の一例を示すブロック図。 実施形態１に係るサーバのハードウエア構成の一例を示すブロック図。 実施形態１に係るクライアントの機能構成の一例を示すブロック図。 実施形態１に係るサーバの機能構成の一例を示すブロック図。 実施形態１に係るクライアントおよびサーバ間の映像データ配信動作の一例を示すシーケンス図である。 実施形態１に係るクライアントが実行する映像データ受信および再生処理の処理手順の一例を示すフローチャート。 実施形態１に係るサーバが実行する映像データ配信処理の処理手順の一例を示す図。 ＭＰＥＧ−ＤＡＳＨにおけるＭＰＤファイルの記述の一例を示す図。 ＭＰＥＧ−ＤＡＳＨにおけるＭＰＤファイルの記述の他の例を示す図。 ＭＰＥＧ−ＤＡＳＨにおけるＭＰＤファイルの記述の他の例を示す図。 実施形態２に係るクライアントおよびサーバ間の映像データ配信動作の一例を示すシーケンス図である。 実施形態２に係るサーバが実行する映像データ配信処理の処理手順の一例を示す図。 ＭＰＥＧ−ＤＡＳＨにおけるＭＰＤファイルの記述の他の例を示す図。

以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

以下、通信装置間で、動画等の映像データをＭＰＥＧ−ＤＡＳＨ（ＭＰＥＧ Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）規格に基づき配信する例を説明するが、本実施形態はこれに限定されない。例えば、通信装置は、静止画等の画像データ、音声データ、テキストデータ等の他のデータを送受信してもよい。また、通信装置は、ＭＰＥＧ−ＤＡＳＨ規格に替えて、例えば、ＨＴＴＰ Ｓｍｏｏｔｈ Ｓｔｒｅａｍｉｎｇ、ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ、ＨＴＴＰ Ｄｙｎａｍｉｃ Ｓｔｒｅａｍｉｎｇ等のＨＴＴＰストリーミング方式を使用してもよい。あるいは、その他の適応型ストリーミング方式を使用してもよい。

（実施形態１）
＜本実施形態のネットワーク構成＞
図１は、本実施形態に係る通信システムのネットワーク構成の一例を示す図である。
図１に示す通信システムは、ネットワーク３を介して相互に接続されるクライアント１およびサーバ２を備え、ネットワーク３上で通信を実行する。なお、図１には、１つのクライアント１と１つのサーバ２が図示されているが、ネットワーク３を介して相互接続されるクライアント１およびサーバ２はそれぞれ複数であってもよい。

クライアント１は、例えば、ＤＴＶ（Ｄｉｇｉｔａｌ ＴＶ）、ＨＭＤ（ＨｅａｄＭｏｕｎｔ Ｄｉｓｐｌａｙ）、マルチビューテレビジョン、スマートフォン、タブレット等の表示機能を備える通信装置であってよい。クライアント１は、サーバ２から配信される映像データを受信および表示するクライアント装置として機能する。あるいは、クライアント１の機能は、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）上のＷｅｂブラウザや、その他のインストールされたアプリケーションに実装されてもよい。あるいは、クライアント１は、投影装置を備えるプロジェクタであってもよく、複数の投影装置を備えるマルチプロジェクタであってもよい。また、クライアント１の機能を複数のクライアント装置により分散して実行してもよい。

サーバ２は、デジタルカメラ、デジタルビデオカメラ、ネットワークカメラ、プロジェクタ、携帯電話、スマートフォン、ＰＣ、及びサーバ装置等の、映像データをクライアント１へ配信するサーバ装置として機能する。以下、本実施形態では、サーバ２を１つのＰＣによって実現する例を説明するが、サーバ２の機能は、クラウド上で分散して配置されていてもよい。

ネットワーク３は、クライアント１とサーバ２とを接続して相互通信可能にする。ネットワーク３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）や５Ｇ等の公衆移動体通信、またはこれらの組み合わせにより構成されてよい。ＬＡＮは、例えばＥｔｈｅｒｎｅｔ（登録商標）に準拠する有線ＬＡＮや、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．１１シリーズに準拠する無線ＬＡＮ等であってよい。ＷＡＮは、例えばインターネット等であってよい。
なお、クライアント１とサーバ２とは、図１のネットワーク３を介さずに、直接接続されてもよい。例えば、無線アドホックネットワークを用いて、クライアント１とサーバ２とが通信してもよい。本実施形態はネットワーク３の形態如何により限定されるものではない。

図２は、ユーザの姿勢と３次元映像データとの位置関係の一例を説明する図である。図２（ａ）に示すように、ユーザ２ａの姿勢方向２ｅは、ｘ軸２ｃ、ｙ軸２ｄ、ｚ軸２ｂの３軸のそれぞれを基準として表現することができる。この姿勢表現による姿勢方向２ｅはユーザの視点の方向（すなわち、ＨＭＤ等の表示装置が向いている方向）を示すものと見做すことができ、本実施形態では、３種類の姿勢表現形式のいずれかによって表現可能であるが、その詳細は図３を参照して後述する。
一方、図２（ｂ）を参照して、３次元映像データの映像領域２ｇは、３６０°の映像を撮像する際のカメラの基準となる方向（以下、「基準方向」という）２ｈを有する。本実施形態において、図２（ａ）のユーザ２ａの姿勢方向２ｅに対応する図２（ｂ）のユーザ２ａの姿勢方向２ｆが向く映像領域２ｉを、ユーザ２ａは、クライアント１を介してサーバ２に対して、選択的にリクエストすることができる。

例えば、３次元映像データがダイナミックにカメラの撮像姿勢を変化させながら撮像された映像であって、それをユーザ２ａが一定の姿勢を保った状態で当該３次元映像データを視聴するものとする。この場合、３次元映像の基準方向２ｈが無い場合は、カメラの撮像姿勢の変化による映像の変化がそのままユーザ２ａが視聴する映像に反映される。一方、本実施形態では、ユーザ２ａの姿勢方向２ｅから３次元映像の基準方向２ｈを相殺した方向２ｆの映像領域を選択的に取得する。これにより、３次元映像データの映像が不所望に変化することなく、ユーザ２ａが一定の姿勢を保った状態で３次元映像を表示し続けることができる。

図２（ｃ）は、３次元映像データの映像領域（ユーザ２ａの空間領域）を、姿勢方向の３軸に基づいて複数の領域に分割した一例を示す。図２（ｃ）では、３次元映像データの映像領域２ｇを平面分割した例が示されている。
本実施形態では、３次元映像データを分割した平面領域ごとに、符号化を実行してよい。これにより、クライアント１は、ユーザ自身が必要とする領域の映像データだけを取得し、取得された当該領域の映像データを復号化して再生することが可能となる。従来のような３次元映像データ全体を配信し復号化する場合と比較して、３次元映像データの視聴のために必要となるネットワークの帯域を削減することができ、復号化処理の負荷も軽減される。

本実施形態において、ユーザ２ａは、現在視聴中の３次元映像データの視点位置から、ユーザ２ａ自身が向いている姿勢方向２ｆに対応する領域２ｉの映像データのみを取得する。図２（ｃ）を参照して、ユーザ２ａの姿勢方向がｘ軸２ｃ方向に回転し、２ｋの領域に入った場合は、領域２ｋの映像データを取得する。一方、ユーザ２ａの姿勢方向が反対に回転し、２ｊの領域に回転した場合は、領域２ｊの映像データを取得する。

なお、本実施形態では３軸それぞれで平面分割を行うものとするが、本実施形態はこれに限定されず、例えば、１平面のみで平面分割を行ってもよい。すなわち、Ｚ軸２ｂに沿ってＸＹ平面で分割するような分割手法、Ｘ軸２ｃに沿ってＹＺ平面で分割する手法、あるいはＹ軸２ｄに沿っててＸＺ平面で分割する手法を本実施形態に適用してもよい。
また、本実施形態では姿勢の回転方向のみで分割を行っているが、本実施形態はこれに限定されず、さらに移動方向または焦点位置での分割も併せて行ってもよい。これにより、ユーザが必要とする３次元映像データをより小さいデータサイズで配信することが可能となり、映像データ配信におけるネットワークの負荷を低減することができる。

このように、クライアント１が、ユーザが視聴したい姿勢方向の映像データのみを取得することで、３次元映像データの視聴のため必要となるネットワークの帯域が削減できるとともに、復号化処理の負荷も軽減される。

図３は、３つの姿勢表現形式の相違を説明する図である。図３に示す姿勢表現形式で表現可能なユーザ２ａの姿勢方向と３次元映像データの基準方向を示すカメラの撮像姿勢は、クライアント１およびサーバ２の姿勢検出部により検出されるがその詳細は、図４および図５を参照して後述する。
図３を参照して、オイラー角（Ｅｕｌｅｒ Ａｎｇｌｅ）３ａ、回転行列（Ｒｏｔａｔｉｏｎ Ｍａｔｒｉｘ）３ｂ、四元数（Ｑｕａｔｅｒｎｉｏｎ）３ｃの表現形式のうちいずれかによって姿勢を表現することが可能である。これらの姿勢表現形式は、ユーザ２ａの姿勢方向および３次元映像データの基準方向をそれぞれ表現することができ、３次元映像データを取得する際、および表示する際の姿勢の内部演算に用いられる。

各姿勢表現形式の関係式につきここでは詳細な説明を割愛するが、オイラー角３ａ、回転行列３ｂ、および四元数３ｃでの姿勢表現形式はそれぞれ、図３に示すような可逆性を有し、相互に表現形式を変換することができる。
なお、表示する３次元映像の姿勢表現に用いられる姿勢表現形式は、３次元映像データを受信するクライアント１のアプリケーションによって異なり得る。このため、３次元映像データが有する基準方向（カメラの撮像姿勢）の姿勢表現形式と、ユーザの姿勢方向の姿勢表現形式とが異なり得る。この場合、上記のユーザ２ａの姿勢方向２ｅから３次元映像の基準方向２ｈを相殺した姿勢方向２ｆの映像領域を取得しようとする際、相殺のための演算処理に先だって姿勢表現形式の変換処理を実行しなければならず、演算処理負荷が増大する。このような姿勢表現形式の変換処理を避けてストリーミング再生のリアルタイム性を維持するため、３次元映像データの姿勢表現形式とユーザの姿勢方向の姿勢表現形式とが一致していることが望ましいことになる。

＜クライアント１のハードウエア構成＞
図４は、本実施形態に係るクライアント１のハードウエア構成の一例を示す図である。
図４に示すクライアント１は、制御部１１、記憶部１２、表示部１３、姿勢検出部１４、復号化部１５、操作部１６、通信部１７、およびインタフェース１８を備える。
図４のクライアント１の各構成部は、システムバス１９により通信可能に相互接続される。なお、クライアント１は、上記のモジュール全てを備えなくともよく、図４の構成に加えて追加のモジュール等を備えてもよい。

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の１つまたは複数のプロセッサにより構成される。制御部１１は、記憶部１２に記憶されたプログラムを実行することにより、クライアント１の動作を統括的に制御し、システムバス１９を介して各構成部を制御する。
記憶部１２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリにより構成され、後述する各種動作を実行するためのプログラム、各種データ、通信パラメータ等の情報を記憶する。なお、記憶部１２として、ＲＯＭやＲＡＭ等のメモリの他、例えば、フレキシブルディスク、ハードディスク、光ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性メモリカード、ＤＶＤ等の記憶媒体を用いてよい。また、記憶部１２は、複数のメモリを備えてよい。

表示部１３は、例えば液晶パネル等を備え、制御部１１の制御の下で各種の表示を行う。なお、図４では、映像データを表示する表示部１３がクライアント１のハードウエアに含まれているが、本実施形態はこれに限定されない。表示部１３は、クライアント１にＨＤＭＩ（Ｈｉ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）等を介して接続されるディスプレイ、テレビ等の表示機能を備える別個の装置であってもよい。

姿勢検出部１４は、例えばジャイロセンサ、加速度センサ、または地磁気センサ等を備え、ユーザの姿勢方向の時間上の変化を検出する。姿勢検出部１４により検出されたユーザの姿勢方向（姿勢情報）は、記憶部１２に記憶される。
復号化部１５は、サーバ２で符号化された映像データの復号化処理を行う。
操作部１６は、マウス等のポインティングデバイスや音声入力、ボタン操作等を介してユーザからの各種操作の受付を行う。操作部１６はまた、ヘッドマウントディスプレイ（ＨＭＤ）等を装着するユーザの視点、姿勢、焦点等に関する操作を検出する。

通信部１７は、インタフェース１８を制御して、各種通信処理を制御する。
インタフェース１８は、無線ＬＡＮ、有線ＬＡＮ、または公衆移動体通信を介した通信を提供する。

＜サーバ２のハードウエア構成＞
図５は、本実施形態に係るサーバ２のハードウエア構成の一例を示す図である。
図５に示すサーバ２は、制御部２１、記憶部２２、表示部２３、姿勢検出部２４、符号化部２５、操作部２６、通信部２７、撮像部２８、およびインタフェース２９を備える。
図５のサーバ２の各構成部は、システムバス２９ｂにより通信可能に相互接続される。なお、クライアント２は、上記のモジュール全てを備えなくともよく、図５の構成に加えて追加のモジュール等を備えてもよい。

制御部２１は、ＣＰＵやＭＰＵ等の１つまたは複数のプロセッサにより構成される。制御部２１は、記憶部２２に記憶されたプログラムを実行することにより、サーバ２の動作を統括的に制御し、システムバス２９ｂを介して各構成部を制御する。
記憶部２２は、ＲＯＭやＲＡＭ等のメモリにより構成され、後述する各種動作を実行するためのプログラム、各種データ、通信パラメータ等の情報を記憶する。なお、記憶部２２として、ＲＯＭやＲＡＭ等のメモリの他、例えば、フレキシブルディスク、ハードディスク、光ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性メモリカード、ＤＶＤ等の記憶媒体を用いてよい。また、記憶部２２は、複数のメモリを備えてよい。

表示部２３は、例えば液晶パネル等を備え、制御部２１の制御の下で各種の表示を行う。
姿勢検出部２４は、例えばジャイロセンサ、加速度センサ、または地磁気センサ等を備え、サーバ２の撮像部２８の撮像姿勢の時間上の変化を検出する。
符号化部２５は、配信すべき映像データの符号化処理を行う。なお、図５では、映像データを符号化する符号化部２５がサーバ２のハードウエアに含まれているが、本実施形態はこれに限定されず、サーバ２は、他の装置から符号化済みの映像データを取得してもよい。
操作部２６は、マウス等のポインティングデバイスや音声入力、ボタン操作等を介してユーザからの各種操作の受付を行う。

通信部２７は、インタフェース２９を制御して、各種通信処理を制御する。
インタフェース２９は、無線ＬＡＮ、有線ＬＡＮ、または公衆移動体通信を介した通信を提供する。
撮像部２８は、映像データを撮像する。なお、図５では、映像データを撮像する撮像部２８がサーバ２のハードウエアに含まれているが、本実施形態はこれに限定されない。サーバ２は、他の通信装置から映像データを取得してもよく、この場合、サーバ２は撮像部２８を備えなくてよい。また、本実施形態では、１つのサーバ２が取得した映像データを使用しているが、これに限らず、サーバ２は、複数の機器から取得した映像データを元に配信すべき映像データを生成してもよい。さらに、サーバ２は、複数の機器から取得された映像データを元に生成された映像データを、他の機器から取得してもよい。

＜クライアント１の機能構成＞
図６は、クライアント１の機能構成の一例を示すブロック図である。
図６に示す各機能部は、１つ以上のＣＰＵ（不図示）が、記憶部１２に格納されたプログラムを実行することにより実現され得る。すなわち、後述する各フローチャートは、１つ以上のＣＰＵが、記憶部１２に格納されたプログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現され得る。ただし、図６に示す各機能部の一部またはすべてが専用のハードウェアにより実現されてもよい。
なお、本実施形態では以下に示す各機能ブロックの機能は、制御部１１のＣＰＵ（不図示）がメモリ（不図示）に格納されているソフトウェアプログラムを実行することにより実施されるものとする。但し、各機能ブロックに含まれる一部または全部がハードウェア化されていてもよい。後述する図７に示すサーバ２の各機能部についても同様である。

クライアント１は、ＭＰＤ取得部１０１、ＭＰＤ解析部１０２、視点制御部１０３、姿勢制御部１０４、復号化制御部１０５、表現判定部１０６、表示制御部１０７、アダプテーションセット管理部１０８、および操作制御部１０９を備える。クライアント１はさらに、通信制御部１１０、セグメント取得部１１２、およびセグメント解析部１１３を備える。

ＭＰＤ取得部１０１は、通信制御部１１０を介して、サーバ２からＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）ファイルを取得する。
ＭＰＥＧ−ＤＡＳＨのコンテンツは、セグメントとＭＰＤとの２種類のファイルで構成されている。セグメントは、符号化された映像データを数秒〜数十秒単位に分割した映像データのファイルである。ＭＰＤは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式のメタデータであり、映像データのストリーミング再生に必要な情報を記述する記述ファイル（マニュフェストファイル）ないしプレイリストである。
具体的には、ＭＰＤは、符号化方式やビットレート等の符号化パラメータ、およびセグメントの分割単位や取得先等のセグメントの情報を記述する。セグメントの取得先は、特定のタイミングに当該セグメントにアクセスするためのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）として記述され、セグメントに一意に付与されるＵＲＬを指定することでセグメントを取得することができる。

ＭＰＤ解析部１０２は、ＭＰＤ取得部１０１によりサーバ２から取得されたＭＰＤファイルを解析する。具体的には、ＭＰＤ解析部１０２は、ＭＰＤファイルに記述されている３次元映像データの取得および再生に使用されるメタデータを解析するが、このＭＰＤファイルのメタデータの記述例は図１１〜図１３を参照して後述する。
視点制御部１０３は、３次元映像データの空間内での視点移動を制御する。具体的には、視点制御部１０３は、ユーザの現在の視点位置と３次元映像データの視点移動可能範囲とを保持し、視点位置が３次元映像データの範囲外に移動しないように制御する。また、視点制御部１０３は、空間領域が図２（ｃ）に示すように分割されている場合、分割されたそれぞれの分割領域（分割空間）について視点移動可能範囲を保持する。

姿勢制御部１０４は、３次元映像データの空間内でのユーザの姿勢方向および姿勢範囲を制御する。具体的には、姿勢制御部１０４は、ユーザの現在の姿勢方向と姿勢範囲、および３次元映像データに含まれている基準方向およびその移動可能範囲を保持し、ユーザの姿勢方向や姿勢範囲が３次元映像データの範囲外にならないように制御する。
復号化制御部１０５は復号化部１５を制御し、符号化された３次元映像データの復号化を行う。なお、復号化制御部１０５は、３次元映像データに限らず、その他の符号化方式で符号化された各種映像データを復号してもよい。

姿勢表現判定部１０６は、クライアント１が複数の姿勢表現形式のうち、所定の姿勢表現形式を判別できるかを判定する。例えば、姿勢表現判定部１０６は、クライアント１が取得したＭＰＤファイルに記述されるｃｏｄｅｃｓの値を取得する。そして、姿勢表現判定部１０６は、当該ｃｏｄｅｃｓを含むＡｄａｐｔａｔｉｏｎＳｅｔ、または、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎに含まれる映像データが判別可能かを判定する（図１１〜図１３参照）。
表示制御部１０７は、視点制御部１０３、姿勢制御部１０４、および姿勢表現判定部１０６等の制御処理の実行結果に基づいて、表示部１３に表示される３次元映像データの表示を制御する。表示制御部１０７は、セグメント単位でサーバ２から配信される３次元映像データを、サーバ２から受信されるＭＰＤファイルに記述される映像データの構成にしたがい、クライアント１の映像再生用バッファ内でつなぎ合わせて、表示部１３に表示させる。また、表示制御部１０７は、３次元映像データの拡大・縮小等のズーム処理も行う。

適応セット管理部１０８は、ＭＰＤファイルに含まれるＡｄａｐｔａｔｉｏｎＳｅｔと、それぞれのＡｄａｐｔａｔｉｏｎＳｅｔに含まれるメタデータとを管理する。また、適応セット管理部１０８は、再生中のセグメントのＡｄａｐｔａｔｉｏｎＳｅｔを管理する。
操作制御部１０９は、操作部１６を制御して、ユーザからの各種操作を受け付ける。
通信制御部１１０は、通信部１７を制御して、サーバ２を含む他の通信装置との間での通信を制御する。具体的には、通信制御部１１０は、ＨＴＴＰ、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等の各種通信プロトコルによる通信を制御する。

セグメント取得部１１１は、通信制御部１１０を介して、サーバ２から３次元映像データのセグメントを取得する。本実施形態において、セグメント取得部１１１は、ＭＰＤファイルに記述されている３次元映像データの基準方向と、姿勢制御部１０４が保持する視点位置からのユーザの姿勢方向とに基づいて、３次元映像データの視点の初期方向を演算する。そして、セグメント取得部１１１は、サーバに対して、演算された初期方向を使用して、ユーザが向いている領域に対応するセグメントを選択的に要求することができる。ここで要求されるセグメントは、３次元映像データを分割した分割領域のそれぞれに対応してよく、それぞれ異なるＵＲＬが付与され、分割領域のセグメントの方向がそれぞれＭＤＰファイルに記述されてよい。
セグメント解析部１１２は、セグメント取得部１１１を介して取得された３次元映像データのセグメントを解析する。解析された３次元映像データのセグメントは、復号化制御部１０５を介して復号化され、表示制御部１０７により、当該セグメントに付与された方向と、現在のユーザの姿勢とを演算して、表示部１３を介してレンダリング表示される。

＜サーバ２の機能構成＞
図７は、サーバ２の機能構成の一例を示すブロック図である。
サーバ２は、ＭＰＤ生成部２０１、視点移動範囲生成部２０２、姿勢演算部２０３、符号化制御部２０４、通信制御部２０５、およびセグメント管理部２０６を備える。
ＭＰＤ生成部２０１は、配信すべき３次元映像データに対応するＭＰＤファイルを生成する。本実施形態において、ＭＰＤ生成部２０１は、クライアント１から通知される姿勢表現形式で、ＭＰＤファイルに３次元映像データの撮像姿勢を記述する。

視点移動範囲生成部２０２は、ＭＰＤファイルに記述する３次元映像データの視点位置の移動可能範囲を生成する。視点移動範囲生成部２０２は、視点が移動可能な範囲を、３次元映像データ、または３次元映像データのコンテナを解析して取得する。
基準方向演算部２０３は、ＭＰＤファイルに記述する３次元映像データの基準方向の移動範囲を生成する。基準方向演算部２０３は、基準方向が移動可能な範囲を、３次元映像データ、または３次元映像データのコンテナを解析して取得する。

符号化制御部２０４は、配信すべき映像データの符号化方式を判定して、ＭＰＤファイルに当該映像データの符号化方式を記述する。符号化制御部２０４は、符号化部２５を制御し、配信すべき映像データを符号化する。あるいは、他の機器で符号化された映像データを配信する場合、符号化制御部２０４は、３次元映像形式で符号化された映像データ、および、その他の符号化方式で符号化された映像データを、符号化データまたは、符号化データのコンテナを解析して取得する。

通信制御部２０５は、通信部２７を介してクライアント１や他の通信装置との通信を制御する。
セグメント管理部２０６は、３次元映像形式で符号化された映像データのセグメント、あるいは３次元映像形式以外の形式で符号化された映像データのセグメントを管理する。セグメント管理部２０６は、映像データのセグメントを生成してもよいし、他の機器で生成されたセグメントを当該他の機器から取得してもよい。

＜クライアントとサーバ間の映像データ配信シーケンス＞
図８は、クライアントとサーバ間で実行される映像データ配信処理の処理シーケンスの一例を示す図である。
Ｓ１で、クライアント１は、自機器が判別可能な姿勢表現形式をサーバ２へ通知する。
Ｓ２で、サーバ２のＭＰＤ生成部２０１は、クライアント１から通知される姿勢表現形式を判定する。ＭＰＤ生成部２０１は、クライアント１から通知された姿勢表現形式で、３次元映像データの基準方向の情報をＭＰＤファイルの適応セット（ＡｄａｐｔａｔｉｏｎＳｅｔ）に含まれる補充プロパティ（ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ）に記述する。

図１１を参照して、ＭＰＤファイル１１ａの一部の記述１１ｂは、３つのＡｄａｐｔａｔｉｏｎＳｅｔ１１ｃ、１１ｄ、１１ｅを含む。図１１は、サーバ２が四元数（Ｑｕａｔｅｒｎｉоｎ）を姿勢表現形式として通知された場合の記述例である。１番目の適応セット１１ｃの補充プロパティは、ＳｃｈｅｍｅｌｄＵｒｉの識別子として四元数で姿勢情報を表現する旨のＵＲＮ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｎａｍｅ）記述と、四元数で記述された３次元映像データの基準方向の値を含む。
同様に、図１２を参照して、ＭＰＤファイル１２ａの一部の記述１２ｂは、３つのＡｄａｐｔａｔｉｏｎＳｅｔ１２ｃ、１２ｄ、１２ｅを含む。図１２は、サーバ２がオイラー角（ＥｕｌｅｒＡｎｇｌｅ）を姿勢表現形式として通知された場合の記述例である。１番目の適応セット１２ｃの補充プロパティは、ＳｃｈｅｍｅｌｄＵｒｉの識別子としてオイラー角で姿勢情報を表現する旨のＵＲＮ記述と、オイラー角で記述された３次元映像データの基準方向の値を含む。
同様に、図１３を参照して、ＭＰＤファイル１３ａの一部の記述１３ｂは、３つのＡｄａｐｔａｔｉｏｎＳｅｔ１３ｃ、１３ｄ、１３ｅを含む。図１３は、サーバ２が回転行列（ＲｏｔａｔｉｏｎＭａｔｒｉｘ）を姿勢表現形式として通知された場合の記述例である。１番目の適応セット１３ｃの補充プロパティは、ＳｃｈｅｍｅｌｄＵｒｉの識別子として回転行列で姿勢情報を表現する旨のＵＲＮ記述と、回転行列で記述された３次元映像データの基準方向の値を含む。いずれの姿勢表現形式であっても、ＭＰＤファイルは、３６０°等の広範囲の３次元映像データの基準方向とともに、３次元映像を空間分割した分割領域（分割映像）のそれぞれについての方向を記述してよい。

図８に戻り、Ｓ３で、クライアント１は、ＭＰＤファイルの送信リクエストをサーバ２へ送信し、Ｓ４で、サーバ２は、クライアント１へ、要求されたＭＰＤファイルを送信する。
Ｓ５で、クライアント１は、Ｓ４で受信されたＭＰＤファイルに記述されたメタデータを解析する。
Ｓ６で、クライアント１は、Ｓ５で解析されたＭＰＤファイルの解析結果に基づいて、セグメントの送信リクエストをサーバ２へ送信する。クライアント１は、視点位置からのユーザの姿勢方向に対応する分割領域についての３次元映像データのセグメントの送信リクエストをサーバ２へ送信してよい。
Ｓ７で、サーバ２は、Ｓ６で受信された映像データのセグメントの送信リクエストに応じて、３次元映像データのセグメントを生成し、Ｓ８で、生成されたセグメントを映像ストリームとしてクライアント１へ配信する。
Ｓ９で、クライアント１は、映像ストリームとして受信される映像データのセグメントを、自装置（ユーザ）の現在の姿勢の情報に応じてレンダリングして表示する。

＜クライアント１が実行する３次元映像データの受信および表示処理＞
図９は、クライアント１が実行する３次元映像データの受信および表示処理の処理手順の一例を示すフローチャートである。
なお、図９の各ステップは、クライアント１の記憶部１２に記憶されたプログラムを制御部１１が読み出し、実行することで実現される。また、図９に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。

Ｓ９０１で、姿勢表現判定部１０６は、自装置の姿勢表現形式を取得する。Ｓ９０１で取得される姿勢表現形式は、四元数（Ｑｕａｔｅｒｎｉｏｎ）、オイラー角（ＥｕｌｅｒＡｎｇｌｅ）、および回転行列（ＲｏｔａｔｉｏｎＭａｔｒｉｘ）のいずれかを含む。
Ｓ９０２で、姿勢表現判定部１０６は、通信制御部１１０を介して、Ｓ９０１で取得された姿勢表現形式をサーバ２へ通知する。
Ｓ９０３で、ＭＰＤ取得部１０１は、ＭＰＤファイルの取得リクエストをサーバ２へ送信する。
Ｓ９０４で、ＭＰＤ解析部１０２は、Ｓ９０３での取得リクエストに応じて取得されたＭＰＤファイルを解析する。
Ｓ９０５で、ＭＰＤ解析部１０２は、取得されたＭＰＤファイルに３次元映像データの符号化方式の適応セット（ＡｄａｐｔａｔｉｏｎＳｅｔ）があるか否かをｃоｄｅｃｓの情報を参照して判定する。

取得されたＭＰＤファイルが３次元映像データに対応するメタデータを含む、すなわち取得されたＭＰＤファイルが３次元映像の符号化方式に対応する記述を有する場合（Ｓ９０５：Ｙ）、Ｓ９０６に進む。一方、取得されたＭＰＤファイルが３次元映像データに対応するメタデータを含まない場合（Ｓ９０５：Ｎ）、Ｓ９１４へ進む。
Ｓ９０６で、姿勢表現判定部１０６は、自装置が判別可能な姿勢表現形式に一致する姿勢表現形式がＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙに記述されているか否かを判定する。

取得されたＭＰＤファイルに記述される３次元映像データの姿勢表現形式が自装置の姿勢表現形式に一致すれば（Ｓ９０６：Ｙ）、取得された３次元映像データの姿勢表現形式が判別可能であり、Ｓ９０９に進む。一方、ＭＰＤファイルに記述される３次元映像データの姿勢表現形式が自装置の姿勢表現形式と一致しない場合（Ｓ９０６：Ｎ）、Ｓ９０７に進む。Ｓ９０７で、姿勢表現判定部１０６は、ＭＰＤファイルに記述される３次元映像データの姿勢表現形式を自機器の姿勢表現形式に変換する。
Ｓ９０８で、姿勢表現判定部１０６は、変換後の姿勢表現形式が判別可能であるか否かを再度判定する。変換後の姿勢表現形式が判別可能である場合（Ｓ９０８：Ｙ）、Ｓ９０９に進み、一方、変換後の姿勢表現形式が判別可能でない場合（Ｓ９０８：Ｎ）、Ｓ９１４に進む。

Ｓ９０９で、姿勢制御部１０４は、取得されたＭＰＤファイルのＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐａｔｙに記述される３次元映像データの基準方向と、自装置（ユーザ）の姿勢方向とを掛け合わせて、取得する３次元映像データの視点の初期方向を演算する。
Ｓ９１０で、セグメント取得部１１１は、Ｓ９０９で演算された３次元映像データの初期方向に対応するセグメントの選択的取得リクエストをサーバ２へ送信する。
Ｓ９１１で、サーバ２から、Ｓ９１０で要求されたセグメントが受信されると（Ｓ９１１：Ｙ）、Ｓ９１２に進み、一方、セグメントが受信されない間、Ｓ９１１のセグメント受信判定を繰り返す。
Ｓ９１２で、セグメント解析部１１２は、Ｓ９１１で受信されたセグメントを解析する。Ｓ９１２でさらに、表示制御部１０７は、受信されたセグメントに付与される方向と現在の自装置（ユーザ）の姿勢方向とを演算してレンダリングし、レンダリングされた３次元映像データを表示部１３に表示させる。
Ｓ９１３で、Ｓ９０３で取得されたＭＰＤファイルに記述される単位の３次元映像データ（メディアコンテンツ）の視聴が終了するまで、Ｓ９０５〜Ｓ９１５までの処理を繰り返す。

一方、Ｓ９０５またはＳ９０８のいずれかでＮの場合、Ｓ９１４で、ＭＰＤ解析部１０２は、取得されたＭＰＤファイルが判別可能な適応セット（ＡｄａｐｔａｔｉｏｎＳｅｔ）を含むか否かを判定する。判別可能な適応セットを含む場合（Ｓ９１４：Ｙ）、Ｓ９１５に進み、判別可能な適応セットに対応するセグメントの取得リクエストをサーバ２に送信する。一方、判別可能な適応セットを含まない場合（Ｓ９１４：Ｎ）、Ｓ９１６に進み、エラー処理を実行する。

＜サーバ２が実行する３次元映像データの配信処理＞
図１０は、サーバ２が実行する３次元映像データの配信処理の処理手順の一例を示すフローチャートである。
Ｓ１０１で、サーバ２の通信制御部２０５は、クライアント１からセグメント取得リクエストを受信したか否かを判定する。セグメント取得リクエストが受信された場合（Ｓ１０１：Ｙ）、Ｓ１０８に進んで、セグメント管理部２０６は、Ｓ１０１で要求された３次元映像データのセグメントを生成し、Ｓ１０９で、生成されたセグメントをクライアント１へ配信する。Ｓ１０９で配信されるセグメントには、３次元映像を分割した映像領域の方向の情報が付与されている。
一方、セグメント取得リクエストが無い場合（Ｓ１０１：Ｎ）、Ｓ１０２に進んで、通信制御部２０５は、クライアント１からＭＰＤ取得リクエストを受信したか否かを判定する。

クライアント１からＭＰＤ取得リクエストを受信しない場合（Ｓ１０２：Ｎ）、通信制御部２０５は、Ｓ１０１に戻って、セグメント取得リクエストの受信判定を繰り返す。一方、クライアント１からＭＰＤ取得リクエストを受信した場合（Ｓ１０２：Ｙ）、Ｓ １０３に進み、基準方向演算部２０３は、クライアント１から、クライアント１で判別可能な姿勢表現形式の通知を受信したか否かを判定する。
クライアント１から姿勢表現形式の通知が無い場合（Ｓ１０３：Ｎ）、Ｓ１０５に進み、ＭＰＤ生成部２０１は、汎用の姿勢表現形式を採用する。汎用の姿勢表現形式として、例えば、図１１に示すように四元数（Ｑｕａｔｅｒｎｉｏｎ）が採用されてよいが、他の姿勢表現形式が採用されてもよい。一方、クライアント１から姿勢表現形式の通知がされた場合（Ｓ１０３：Ｙ）、Ｓ１０４に進む。
Ｓ１０４で、ＭＰＤ生成部２０１は、Ｓ１０３で通知された姿勢表現形式に一致する姿勢表現形式で、３次元映像データの基準方向を、ＭＰＤのＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙに記述する。

図１２を参照して、例えば、Ｓ１０３で通知された姿勢表現形式がオイラー角（ＥｕｌｅｒＡｎｇｌｅ）であった場合、図１２に示すように、ＭＰＤファイルの適応セット１２ｃに姿勢表現形式がオイラー角である旨とオイラー角による姿勢情報を記述する。同様に、例えば、Ｓ１０３で通知された姿勢表現形式が回転行列（ＲｏｔａｔｉｏｎＭａｔｒｉｘ）であった場合、図１３に示すように、ＭＰＤファイルの適応セット１３ｃに表現形式が回転行列である旨と回転行列による姿勢情報を記述する。
Ｓ１０６で、ＭＰＤ生成部２０１は、Ｓ１０４またはＳ１０５で決定された姿勢表現形式で３次元映像データの基準方向の記述が付加されたＭＰＤファイルを生成し、Ｓ１０７で、通信制御部２０５は、生成されたＭＰＤファイルをクライアント１へ配信する。

なお、上記では、ＭＰＤで記述する姿勢表現形式を、汎用的な記述形式である四元数（Ｑｕａｔｅｒｎｉｏｎ）、またはオイラー角（ＥｕｌｅｒＡｎｇｌｅ）、回転行列（ＲｏｔａｔｉｏｎＭａｔｒｉｘ）である例を挙げたがこれらに限定されない。ＭＰＤに記述する姿勢表現形式は、クライアント１が判別可能な表現形式であればよい。
Ｓ１１０で、Ｓ１０１〜Ｓ１０９までの処理を、映像データの配信が終了するまで繰り返す。

以上説明したように、本実施形態によれば、クライアント１は、自装置で判別可能な姿勢表現形式をサーバ２に通知する。クライアント１は、サーバ２から通知された姿勢表現形式で記述された３次元映像データの基準方向を含む記述ファイルを解析して、３次元映像データの基準方向と自装置の姿勢方向とに基づいて、３次元映像データの初期方向を演算する。さらに、クライアント１は、演算された３次元映像データの初期方向に対応する領域の３次元映像データのセグメントを、サーバ２に対して要求して取得し、３次元映像データをレンダリング表示する。
また、サーバ２は、クライアント１から通知される、クライアント１で判別可能な姿勢表現形式で、３次元映像データの基準方向を記述ファイルに記述し、生成された記述ファイルをクライアント１へ送信する。サーバ２はまた、クライアント１で演算された３次元映像データの初期方向に対応する領域の３次元映像データのセグメントを生成ないし取得して、クライアント１に配信する。
これにより、適応型ストリーミングにおいて、３次元映像データのうち、クライアント１の表示装置が向いている姿勢方向の領域の３次元映像データのセグメントを選択的に配信および再生することができる。従って、ユーザの姿勢に応じた映像データの配信を、映像データ受信側の処理負荷を軽減しつつ実行することが可能となる。

（実施形態２）
以下、図１４から図１６を参照して、実施形態２を、実施形態１と異なる点についてのみ詳細に説明する。
実施形態１では、クライアント１は、自機器で判別可能な姿勢表現形式をサーバ２へ通知した。これに対して本実施形態では、サーバ２は、クライアント１からの姿勢表現形式の通知の有無にかかわりなく、想定される複数のすべての姿勢表現形式で、３次元映像データの基準方向を記述ファイル（ＭＰＤファイル）に記述する。
実施形態２に係るクライアント１およびサーバ２のハードウエアおよび機能構成は、図４〜図７を参照して説明した実施形態１に係るクライアント１およびサーバ２とそれぞれ同様であるため、その説明を省略する。

図１４は、本実施形態におけるクライアントとサーバ間で実行される映像データ配信処理の処理シーケンスの一例を示す図である。
Ｓ３に先だって、Ｓ１４１で、サーバ２は、クライアント１からの姿勢表現形式の通知の有無にかかわりなく、想定される全ての姿勢表現形式で、３次元映像データの基準方向をＭＰＤファイルに記述する。
Ｓ１４１に続き、Ｓ３で、クライアント１は、ＭＰＤファイルの送信リクエストをサーバ２へ送信し、Ｓ４で、サーバ２は、クライアント１へ、要求されたＭＰＤファイルを送信する。Ｓ４で、サーバ２からクライアント１へ送信されるＭＰＤファイルには、想定される全ての姿勢表現形式で、３次元映像データの基準方向が記述されている。

Ｓ４に続き、Ｓ１４２で、クライアント１は、ＭＰＤ解析部１０２により、ＭＰＤファイルを解析し、姿勢表現判定部１０６により、ＭＰＤファイル記述された複数の姿勢表現形式から、自装置で判別可能な姿勢表現形式と一致する姿勢表現形式を判定する。その後、クライアント１は、姿勢制御部１０４により、Ｓ４で受信されたＭＰＤファイルに記述されるメタデータに含まれる情報を用いて、３次元映像データの視点の初期方向を、姿勢表現判定部１０６により判定された姿勢表現形式で演算する。

Ｓ６で、クライアント１は、Ｓ１４２で取得された３次元映像データの初期方向に基づいて、クライアント１で判別可能な姿勢表現形式を含むＲｅｐｒｅｓｅｎｔａｔｉｏｎに含まれるセグメントの選択的配信リクエストをサーバ２へ送信する。
Ｓ７で、サーバ２は、Ｓ６で受信された映像データのセグメントの送信リクエストに応じて、３次元映像データのセグメントを生成し、Ｓ８で、生成されたセグメントを映像ストリームとしてクライアント１へ配信する。
Ｓ９で、クライアント１は、映像ストリームとして受信される映像データのセグメントを、自装置（ユーザ）の現在の姿勢の情報に応じてレンダリング表示する。

本実施形態に係るクライアント１が実行する３次元映像データの受信および表示処理は、図９を参照して説明した実施形態１と同様であるが、図９において、Ｓ９０２の自機器が判別可能な姿勢表現形式をサーバ２へ通知する処理を省略することができる。
図１５は、本実施形態に係るサーバ２が実行する３次元映像データ配信処理の処理手順の一例を示すフローチャートである。
Ｓ１０１に先だって、Ｓ１５１で、サーバ２のＭＰＤ生成部２０１は、想定される複数のすべての姿勢表現形式を用いて、３次元映像データの基準方向の情報をＭＰＤファイルに記述する。

Ｓ１０１〜Ｓ１０２の処理は、図１０に示す実施形態１と同様である。Ｓ１０２で、サーバ２の通信制御部２０５が、クライアント１からＭＰＤファイルの取得リクエストを受信したと判定すると（Ｓ１０２：Ｙ）、ＭＰＤ生成部２０１は、ＭＰＤファイルを生成する。
Ｓ１０７で、通信制御部２０５は、生成されたＭＰＤファイルを、クライアント１に配信して、Ｓ１１０に進む。
一方、Ｓ１０１で、クライアント１からセグメントの取得リクエストを受信した場合（Ｓ１０１：Ｙ）、Ｓ１０８で、サーバ２のセグメント管理部２０６は、クライアント１から要求されるセグメント取得リクエストに応答して、セグメントを生成する。具体的には、セグメント管理部２０６は、セグメント取得リクエストに含まれるＳｃｈｅｍｉｄＵｒｉに該当するセグメントを生成する。
Ｓ１０９で、セグメント管理部２０６は、通信制御部２０５を介して、Ｓ１０８で生成されたセグメントを、クライアント１に配信する。
Ｓ１１０で、セグメント管理部２０６は、配信したＭＰＤに対応する、サーバ２からの３次元映像データの配信が終了するまで、図１５に示すＳ１０１、Ｓ１０２、Ｓ１０７〜Ｓ１１０の処理を繰り返す。

図１６を参照して、本実施形態におけるＭＰＤファイル１６ａの記述１６ｂは、３つの適応セット（ＡｄａｐｔａｔｉｏｎＳｅｔ）の記述１６ｃ〜１６ｅ、１６ｆ、１６ｇを含む。１番目のＡｄａｐｔａｔｉｏｎＳｅｔは、３つのＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ１６ｃ、１６ｄ、および１６ｅを含む。ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙのＳｃｈｅｍｌｄＵｒｉの属性には、３次元映像データの基準方向の姿勢表現形式の識別子として、それぞれ、四元数、オイラー角、および回転行列が記述されている。
クライアント１は、このＭＰＤファイルのＳｃｈｅｍｉｄＵｒｉに記述された識別子を判定することにより、記述された姿勢表現形式を判別する。判別不能であった場合、クライアント１は、判別可能なＡｄａｐｔａｔｉｏｎＳｅｔｉｄ１６ｆ、１６ｄを順に選択して、映像データのセグメントをリクエスト可能としている。

以上説明したように、本実施形態では、サーバ２は、クライアント１からの姿勢表現形式の通知の有無にかかわりなく、想定される複数のすべての姿勢表現形式で、３次元映像データの基準方向をプレイリストに記述する。
これにより、クライアント１から、クライアント１で判別可能な姿勢表現形式を通知されなくても、実施形態１と同様の効果が得られる。すなわち、適応型ストリーミングにおいて、３次元映像データのうち、クライアント１が向いている姿勢方向の領域の３次元映像データのセグメントを選択的に配信および再生することができる。従って、ユーザの姿勢に応じた映像データの配信を、映像データ受信側の処理負荷を軽減しつつ実行することが可能となる。

（他の実施形態）
本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、Ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
また、本発明は、上述の実施形態の一部または１以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）における１つ以上のプロセッサがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
また、コンピュータが読みだしたプログラムを実行することにより、実施形態の機能が実現されるものに限定されない。例えば、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。

１…クライアント、２…サーバ、３…ネットワーク、１０１…ＭＰＤ取得部、１０２…ＭＰＤ解析部、１０３…視点制御部、１０４…姿勢制御部、１０５…復号化制御部、１０６…姿勢表現判定部、１０７…表示制御部、１０８…適応セット管理部、１０９…操作制御部、１１０…通信制御部、１１１…セグメント取得部、１１２…セグメント解析部、２０１…ＭＰＤ生成部、２０２…視点移動範囲生成部、２０３…基準方向演算部、２０４…符号化制御部、２０５…通信制御部、２０６…セグメント管理部

Claims (15)

1. 通信装置であって、
   映像データを取得するための情報を記述する記述ファイルを取得する取得手段と、
   前記取得手段により取得された前記記述ファイルに記述される前記映像データの基準となる方向を示す第１の方向の情報を解析する解析手段と、
   前記通信装置の表示装置が向いている方向を示す第２の方向の情報を検出する検出手段と、
   前記第１の方向の情報および前記第２の方向の情報に基づいて、前記映像データを領域分割した複数のセグメントの中から受信すべき映像データのセグメントを決定する決定手段と、
   前記取得手段により取得された前記記述ファイルに記述される情報の中から前記決定手段により決定された前記セグメントに対応する映像データを取得するための情報を指定し、他の通信装置から前記セグメントを受信する受信手段と、
   前記受信手段により受信された前記セグメントから表示すべき映像データを生成する生成手段と
   を備えることを特徴とする通信装置。
2. 前記解析手段は、前記記述ファイルに記述され得る前記第１の方向の情報の複数の表現形式を判別して、前記第１の方向の情報を解析する
   ことを特徴とする請求項１に記載の通信装置。
3. 前記解析手段は、前記記述ファイルに記述される前記第１の方向の情報の表現形式が、前記通信装置が判別可能な表現形式であるか否かを判定し、判別可能な表現形式でない場合、前記通信装置が判別可能な他の表現形式に変換して、前記第１の方向の情報を解析する
   ことを特徴とする請求項１または２に記載の通信装置。
4. 前記記述ファイルに記述される複数のセグメントのそれぞれは、３次元映像データを分割した領域ごとに符号化され、互いに異なるアドレスおよび方向が付与されている
   ことを特徴とする請求項１から３のいずれか１項に記載の通信装置。
5. 前記決定手段は、前記第１の方向の情報と前記第２の方向の情報とを演算して、前記表示すべき映像データの視点の初期方向を取得し、取得された前記初期方向に基づいて、受信すべき映像データのセグメントを決定する
   ことを特徴とする請求項１から４のいずれか１項に記載の通信装置。
6. 前記解析手段は、前記記述ファイルが前記第１の方向の情報を含まない場合、前記記述ファイルから他の判別可能な符号化方式のセグメントを受信すべきセグメントとして決定する
   ことを特徴とする請求項１から５のいずれか１項に記載の通信装置。
7. 前記通信装置が判別可能な表現形式を、前記他の通信装置へ通知する通知手段をさらに備える
   ことを特徴とする請求項１から６のいずれか１項に記載の通信装置。
8. 前記映像データは、ＭＰＥＧ−ＤＡＳＨ（ＭＰＥＧ Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）に準拠する映像ストリームであり、
   前記記述ファイルは、ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）ファイルである
   ことを特徴とする請求項１から７のいずれか１項に記載の通信装置。
9. 前記第１の方向の情報は、前記ＭＰＤファイルのＳｕｐｐｌｅｍｅｎｔａｌ Ｐｒｏｐｅｒｔｙとして記述される
   ことを特徴とする請求項８に記載の通信装置。
10. 他の通信装置に映像データを取得させるための情報を記述する記述ファイルを生成する生成手段と、
    前記記述ファイルに記述すべき映像データの基準となる方向を示す第１の方向の情報を前記記述ファイルに付加する付加手段と、
    前記付加手段により前記第１の方向の情報が付加された前記記述ファイルを、前記他の通信装置へ送信する送信手段と、
    前記記述ファイルに記述される前記映像データのうち、前記他の通信装置から要求される映像データのセグメントを、前記他の通信装置へ配信する配信手段と
    を備えることを特徴とする通信装置。
11. 前記他の通信装置から、前記他の通信装置が判別可能な表現形式を受信する受信手段をさらに備え、
    前記付加手段は、前記受信手段により受信された前記表現形式で、前記第１の方向の情報を前記記述ファイルに付加する
    ことを特徴とする請求項１０に記載の通信装置。
12. 前記付加手段は、複数の表現形式で、前記第１の方向の情報を前記記述ファイルに付加する
    ことを特徴とする請求項１０または１１に記載の通信装置。
13. 通信装置の制御方法であって、
    映像データを取得するための情報を記述する記述ファイルを取得するステップと、
    取得された前記記述ファイルに記述される映像データの基準となる方向を示す第１の方向の情報を解析するステップと、
    前記通信装置の表示装置が向いている方向を示す第２の方向の情報を検出するステップと、
    前記第１の方向の情報および前記第２の方向の情報に基づいて、前記映像データを領域分割した複数のセグメントの中から受信すべき映像データのセグメントを決定するステップと、
    取得された前記記述ファイルに記述される情報の中から決定された前記セグメントに対応する映像データを取得するための情報を指定し、他の通信装置から前記セグメントを受信するステップと、
    受信された前記セグメントから表示すべき映像データを生成するステップと
    を含むことを特徴とする通信装置の制御方法。
14. 通信装置の制御方法であって、
    他の通信装置に映像データを取得させるための情報を記述する記述ファイルを生成するステップと、
    前記記述ファイルに記述すべき映像データの基準となる方向を示す第１の方向の情報を前記記述ファイルに付加するステップと、
    前記第１の方向の情報が付加された前記記述ファイルを、前記他の通信装置へ送信するステップと、
    前記記述ファイルに記述される前記映像データのうち、前記他の通信装置から要求される映像データのセグメントを、前記他の通信装置へ配信するステップと
    を含むことを特徴とする通信装置の制御方法。
15. コンピュータを、請求項１から１２のいずれか１項に記載の通信装置の各手段として機能させるためのプログラム。

Images