JP6758268B2 - 表示可能解像度に基づいて配信プロファイルを決定するクライアント、プログラム及び方法 - Google Patents

Description

本発明は、自由視点映像を合成するための多視点映像データの配信技術に関する。

次世代における高い臨場感を提供可能なメディアの一つとして、自由視点映像が注目されている。この自由視点映像を合成する技術は、対象物（オブジェクト）に対する視点をユーザが任意に指定し、指定された視点からの映像を随時提供する、といったインタラクティブな視聴サービスを可能にする技術となっている。

この自由視点映像の合成方式の１つとして、３次元モデル上に視点毎のオブジェクトを配置し、ユーザが指定した任意の仮想視点からの見え方を計算して、この仮想視点の２次元画像を描画する方法が挙げられる。ここで特に、配置されるオブジェクトの表現として２次元画像を用いる手法はビルボード方式と呼ばれている。

このビルボード方式による自由視点映像の配信においては、サーバが以下の情報（ａ）〜（ｃ）を含む自由視点コンテンツをクライアントに向けて配信する。
（ａ）各視点の映像ストリーム
（ｂ）各視点に存在するオブジェクト情報（マスク画像，３次元位置，大きさ情報）
（ｃ）各視点のカメラキャリブレーション情報

クライアントは、配信された映像ストリームをデコードし、各フレームと取得したマスク画像とを比較してオブジェクト画像（ビルボード画像）を抽出した後、ユーザが指定した仮想視点からの見え方を計算して２次元画像を描画し、自由視点映像を合成するのである。

このようにクライアント側で自由視点映像の合成処理を行うためには、サーバ側で、全視点分のコンテンツを予め準備しておく必要がある。ここで特に、上記（ａ）の映像ストリームについては、高解像度化によって１視点当たりのビットレートも相当に高くなっており、インターネット経由で配信することを考えると、配信データ量が大きくなり過ぎるという問題が生じていた。

この問題に対し、例えば特許文献１では、全視点分の映像ストリームを配信しつつ、ユーザが現在指定している視点以外の映像についてはそのビットレートを下げることによって、全体のレートをできる限り低減させる技術が提案されている。

ちなみに、自由視点映像の配信方式として、例えば予め作成された映像コンテンツを配信する場合、ＶｏＤ（Video on Demand）型配信方式を用いることが一般的である。具体的には、ＭＰＥＧ−ＤＡＳＨ（Dynamic Adaptive Streaming over Hyper transfer protocol）や、ＨＬＳ（HTTP Live Streaming）といったプロトコルが広く利用されている。このような方式では、予め映像ストリームを数〜１０秒程度の再生時間長を有するセグメントファイルに分割しておき、クライアント側がこのセグメント単位で受信及び再生開始を行うことによって、映像ストリームを受信しながら再生する擬似ストリーミングが実現される。

さらに、映像ストリームに異なる品質（ビットレート）のものを用意し、セグメント毎に、互いに異なるビットレートのセグメントファイルを準備しておくことによって、セグメント単位でビットレートを切り替えることも可能となる。この場合、通信ネットワークの通信状況に応じ、クライアント側が要求するコンテンツの品質を変更することも可能である。具体的には、セグメント長間隔の要求時点で、直近で計測したスループットを超えない範囲内のビットレートを有するセグメントファイルを要求することができる。

特開２０１３−１８３２０９号公報

特許文献１に記載された技術では、ユーザが視点を選択する度に、選択された視点におけるビットレートが最大となるように確率分布を更新し、各視点へ割り当てるべきビットレートを決定している。ここで、選択される「視点」は、撮影時のカメラ視点に対応した離散的に位置する視点である。

すなわち、特許文献１に記載の技術は、各視点に割り当てるビットレートの配分を、離散的な視点のみに依存して決定している。そのため、例えば、自由視点映像を合成する際の（連続的な空間座標値である）視点位置からすると、オブジェクト画像は小さく表示され、この表示を行うのに高い品質の画像を用いても見た目としてほとんど意味がないにもかかわらず、選択された視点との関係で、より高い品質の画像が配信される、といった場合も生じてしまう。

また一方で、この視点位置からすると、オブジェクト画像が大きく詳細に表示されるので、より高い品質の画像が取得されるべきにもかかわらず、選択された視点との関係で、それほど高い品質の画像が配信されないといった場合も生じ得るのである。

さらに、例えば超高解像度の８Ｋカメラをもって撮影されたオブジェクト画像を含む映像データを受信し、このオブジェクト画像を高解像度の４Ｋディスプレイで表示した場合、この４Ｋディスプレイでは、このオブジェクト画像が実際の表示の２倍の大きさで表示されるような視点位置でなければ、８Ｋ相当の解像度による表示ができず、結局、無駄に大容量の映像データを取得したことになってしまう。

このように、選択された離散的な視点に対し、単純により多くのビットレートを割り当てるというだけでは、実際の視点位置から見たオブジェクトの状態に即した品質を、このオブジェクトの画像に割り当てることにはならない。したがって、配信される各視点の映像データに対し割り当てるビットレートの配分、すなわち「配信プロファイル」を、オブジェクトの見え方も考慮して決定することが非常に重要となるのである。

そこで、本発明は、オブジェクト画像の表示状態に合わせた品質を当該オブジェクト画像に割り当て得るような配信プロファイルを決定することができるクライアント、配信プロファイル決定プログラム及び配信プロファイル決定方法を提供することを目的とする。

本発明によれば、オブジェクトの画像を含み互いに視点の異なる複数の映像データを配信可能なサーバから、ビットレートを指定して当該映像データを取得することによって、指定された視点位置及び向きに係る映像を生成可能なクライアントであって、
指定された視点位置及び向きと当該オブジェクトの位置との関係に基づいて、当該映像データに係る複数の視点のうちから、当該オブジェクトに係る視点を選択する視点選択手段と、
指定された視点位置及び向きに係る画像において当該オブジェクトを表示する際に可能となる解像度である表示可能解像度を算出する解像度算出手段と、
当該映像データ毎に、当該映像データに係る視点が選択されたオブジェクトについて算出された表示可能解像度に基づいて、当該映像データのビットレートを決定する配信プロファイル決定手段と
を有するクライアントが提供される。

本発明によれば、また、オブジェクトの画像を含み互いに視点の異なる複数の映像データを配信可能なサーバから、ビットレートを指定して当該映像データを取得することによって、指定された視点位置及び向きに係る映像を生成可能なクライアントに搭載されたコンピュータを機能させる配信プロファイル決定プログラムであって、
指定された視点位置及び向きと当該オブジェクトの位置との関係に基づいて、当該映像データに係る複数の視点のうちから、当該オブジェクトに係る視点を選択する視点選択手段と、
指定された視点位置及び向きに係る画像において当該オブジェクトを表示する際に可能となる解像度である表示可能解像度を算出する解像度算出手段と、
当該映像データ毎に、当該映像データに係る視点が選択されたオブジェクトについて算出された表示可能解像度に基づいて、当該映像データのビットレートを決定する配信プロファイル決定手段と
してコンピュータを機能させる配信プロファイル決定プログラムが提供される。

本発明によれば、さらに、オブジェクトの画像を含み互いに視点の異なる複数の映像データを配信可能なサーバから、ビットレートを指定して当該映像データを取得することによって、指定された視点位置及び向きに係る映像を生成可能なクライアントに搭載されたコンピュータにおける配信プロファイル決定方法であって、
指定された視点位置及び向きと当該オブジェクトの位置との関係に基づいて、当該映像データに係る複数の視点のうちから、当該オブジェクトに係る視点を選択するステップと、
指定された視点位置及び向きに係る画像において当該オブジェクトを表示する際に可能となる解像度である表示可能解像度を算出するステップと、
当該映像データ毎に、当該映像データに係る視点が選択されたオブジェクトについて算出された表示可能解像度に基づいて、当該映像データのビットレートを決定するステップと
を有する配信プロファイル決定方法が提供される。

本発明のクライアント、配信プロファイル決定プログラム及び配信プロファイル決定方法によれば、オブジェクト画像の表示状態に合わせた品質を当該オブジェクト画像に割り当て得るような配信プロファイルを決定することができる。

本発明によるクライアントを備えた映像データ配信システムの一実施形態における機能構成を示す機能ブロック図である。 配信される多視点映像データの一実施形態を示す模式図である。 ユーザによって指定される視点位置及び向きと、配信映像データの視点との関係を説明するための模式図である。 自由視点合成部における自由視点映像合成処理の概略を説明するための模式図である。 自由視点合成部における自由視点映像合成処理の一実施形態を示す模式図である。 解像度算出の必要性を説明するための模式図である。 解像度算出の際の視点の選択について説明するための模式図である。 解像度算出部による表示可能解像度算出処理の一実施形態を説明するための模式図である。 配信プロファイル決定部による配信プロファイル決定処理の一実施例を示す模式図である。 本発明による配信プロファイル決定方法の一実施形態を含む配信制御方法の概略を示すシーケンス図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

［映像データ配信システム］
図１は、本発明によるクライアントを備えた映像データ配信システムの一実施形態における機能構成を示す機能ブロック図である。

図１に示した本実施形態のスマートフォン１は、配信サーバ２に対し、通信ネットワークを介して大容量の多視点映像ストリームデータの送信要求を行い、受信した当該データを用いて自由視点映像を合成して表示するクライアント（端末）である。ここで、スマートフォン１、配信サーバ２、及び両者を接続する通信ネットワークは、本発明による映像データ配信システムを構成している。

本実施形態において、配信サーバ２の保存する多視点映像ストリームデータは、対象物（オブジェクト）の画像を含む複数視点の映像データであるが、それぞれ複数のセグメントに分割されている。すなわち、配信サーバ２には、各セグメントについて互いに視点の異なる複数の映像データ（複数種のセグメントファイル）が準備されている。スマートフォン１は、このような互いに視点の異なる複数種のセグメントファイルを受信して合成し、指定された視点位置から見たオブジェクトを含む自由視点映像を生成するのである。

さらに、本実施形態の配信サーバ２では、複数種のセグメントファイルの各々について、互いにビットレート（品質）の異なる複数のセグメントファイルが準備されている。ここで、スマートフォン１は、１つ又は複数のセグメント分を受信するにあたり、各視点のセグメントファイルについて、いずれのビットレートのものを取得したいかを指定した「配信プロファイル」を含む配信要求（HTTP Request）を行う。後に詳細に説明するように、スマートフォン１は、この「配信プロファイル」の決定処理に顕著な特徴を有している。

ちなみに本実施形態において、多視点映像ストリームデータは、多視点映像のＨＴＴＰ型ストリーミング方式に基づいて送受信され、そのプロトコルとして具体的に、例えばＤＡＳＨ（Dynamic Adaptive Streaming over Hyper transfer protocol）が使用可能となっている。また、ＨＴＴＰサーバである配信サーバ２は、予め作成された映像コンテンツとしての多視点映像ストリームデータを、ＶｏＤ（Video on Demand）型配信方式を用いて配信することができる。

このような方式では、上述したように、映像ストリームを数〜１０秒程度の再生時間長を有するセグメントファイルに予め分割しておき、クライアント側がこのセグメント単位で受信及び再生開始を行うことによって、映像ストリームを受信しながら再生する擬似ストリーミングが実現される。なお当然に、本映像データ配信システムにおける多視点映像ストリームデータの配信方式及び採用可能なプロトコルは、以上に述べたものに限定されるものではない。

ここで、クライアント側が「配信プロファイル」を決定する際、例えば特許文献１に記載された技術のように、選択された離散的な視点に対し、単純により多くのビットレートを割り当てるというだけでは、指定された視点位置から見たオブジェクトの状態に即した品質を、オブジェクト画像に割り当てることにはならない。

例えば、指定された視点位置からすると、オブジェクト画像は小さく表示され、この表示を行うのに高い品質の画像を用いても見た目としてほとんど意味がないにもかかわらず、選択された視点との関係で、より高い品質の画像が配信される場合も生じてしまう。また一方で、指定された視点位置からすると、オブジェクト画像が大きく詳細に表示されるので、より高い品質の画像が取得されるべきにもかかわらず、選択された視点との関係で、それほど高い品質の画像が配信されないといった場合も生じ得る。

このような問題を解決すべく、スマートフォン１は、同じく図１に示すように、
（Ａ）配信された映像データから生成された（オブジェクトを含む）３次元モデルを用い、指定された視点位置及び向きとオブジェクトの位置との関係に基づいて、配信された映像データに係る複数の視点のうちから、オブジェクトに係る視点を選択する視点選択部１２５と、
（Ｂ）指定された視点位置及び向きに係る画像においてオブジェクトを表示する際に可能となる解像度である「表示可能解像度」を算出する解像度算出部１２６と、
（Ｃ）配信される映像データ毎に、当該映像データに係る視点が選択されたオブジェクトについて算出された「表示可能解像度」に基づいて、当該映像データのビットレート、すなわち「配信プロファイル」を決定する配信プロファイル決定部１３と
を有することを特徴としている。

このように、スマートフォン１は、「配信プロファイル」を決定する際、従来考慮されてこなかった（連続的な空間座標値である）視点位置及び視点の向きと、オブジェクトの位置との関係を考慮し、さらに、配信される映像データ毎に、対応するオブジェクトの「表示可能解像度」を勘案している。これにより、オブジェクト画像の表示状態に合わせた品質を当該オブジェクト画像に割り当て得るような「配信プロファイル」を決定することが可能となる。

なお、以下に示す実施形態では、オブジェクトに係る視点を選択し、この選択された視点の情報も、配信プロファイルの決定のために使用される。すなわち、オブジェクトの見え情報（オブジェクトの表示可能解像度、及びオブジェクトに係る視点）に基づいて配信プロファイルが決定されるのである。

ここで、重要となる「表示可能解像度」を算出する１つの方法として、指定された視点位置及び向きに係る画像における表示に係る所定のパラメータを変化させた際の、当該オブジェクトについての「拡大率」を算出し、この「拡大率」と、指定された視点位置及び向きに係る画像の表示に係る所定の解像度とに基づいて、当該オブジェクトの「表示可能解像度」を算出する方法を採用することができる。

また、スマートフォン１によれば、以上に説明したような好適に決定された「配信プロファイル」に基づいて映像データが配信されるので、この配信に使用される通信ネットワークにおいて、通信資源を無駄に使用してトラヒックを無用に増大させるような事態が回避可能となるのである。

［クライアントの機能構成、配信プロファイル決定方法］
図１に示した機能ブロック図によれば、スマートフォン１は、通信インタフェース部１０１と、タッチパネルディスプレイ（ＴＰ・ＤＰ）１０２と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、スマートフォン１のコンピュータを機能させるプログラムを実行することによって、本発明による配信プロファイル決定方法の一実施形態としての配信プロファイル決定機能、データ要求機能及び自由視点映像合成機能を具現化する。

さらに、このプロセッサ・メモリは、機能構成部として、通信制御部１１と、データ処理部１２と、配信プロファイル決定部１３とを有する。このうち、通信制御部１１は、映像データ受信部１１１と、スループット算出部１１２と、プロファイルリスト取得部１１３と、要求送信部１１４とを含む。また、データ処理部１２は、視点位置検出部１２１と、メディアエンジン１２２と、自由視点合成部１２３と、視点選択部１２５と、解像度算出部１２６とを含む。さらに、配信プロファイル決定部１３は、第１リスト範囲決定部１３１と、第２リスト範囲決定部１３２とを含む。ここで、図１におけるスマートフォン１の機能構成部間を矢印で接続して示した処理の流れは、本発明による配信プロファイル決定方法の一実施形態としても理解される。

同じく図１において、通信インタフェース部１０１は、
（ａ）要求送信部１１４で生成された、配信プロファイルを含むHTTP Request（セグメント要求）を、事業者通信網やインターネット等の無線又は有線の通信ネットワークを介し、配信サーバ２宛てに送信する。また、
（ｂ）配信サーバ２から、後に詳述する、互いに視点の異なる配信映像データ毎にビットレートと解像度とが対応付けられたプロファイルリストを受信し、さらに、
（ｃ）配信サーバ２から、HTTP Requestへの応答として、要求した配信プロファイル相当のセグメントファイルを受信する。

また、通信インタフェース部１０１は、
（ｄ）データ処理部１２で生成された自由視点映像データを、外部の情報処理装置宛てに送信してもよく、
（ｅ）外部のサーバから、本発明による配信プロファイル決定プログラム（アプリ）をダウンロードしてもよい。

通信制御部１１の映像データ受信部１１１は、通信インタフェース部１０１を介して受信したセグメントファイル（多視点映像データ）を管理し、適宜、データ処理部１２へ出力する。ここで、配信される多視点映像データの具体的構成を説明する。

図２は、配信される多視点映像データの一実施形態を示す模式図である。

図２において、配信サーバ２は、配信用として保存・管理する多視点映像ストリームデータを準備するため、最初に、設定された複数の視点（本実施形態では５つの視点A〜E）の各々についての映像データを含む１つの多視点映像コンテンツにおいて、例えば圧縮符号化等の公知技術を用いて、視点毎に、互いにビットレートの異なる複数の映像データを用意する。

次いで、複数の視点（５つの視点A〜E）の各々について、各ビットレートの映像データを、時間軸上で複数のセグメントに分割する。ここで、１つの映像データを構成する複数のセグメントは、再生の順番である再生時間1，2，3，・・・に対応している。また、１つのセグメントは、例えば数〜１０秒程度の再生時間長を有するものとすることができる。ちなみに、１つの映像データを構成するセグメントの再生時間長は、特にＶｏＤ配信の場合、一定値に設定されることが好ましい。

以上に述べた準備処理によって、図２に示すように、多視点映像ストリームデータは、各視点について、再生時間毎に、互いにビットレートの異なる複数の（図２では４つの）セグメントファイルが用意されたデータセットとして保存・管理される。図２では、セグメントファイルを示す矩形の相対的な高さ（高さ方向の幅）が、ビットレートの高低を表している。また、例えば、視点「A」の映像データにおける再生時間「1」のセグメントファイルには、「A1」との記号が付され区別されている。

以上に説明したような配信サーバ２で準備された多視点映像ストリームデータを取得するため、スマートフォン１（の通信インタフェース部１０１）は、本実施形態において配信サーバ２との間でデータの送受信を行う。ちなみに、ビルボード方式の自由視点映像の配信においては、以下の（ａ）〜（ｃ）を含むコンテンツが用意され配信される。
（ａ）各視点の映像ストリームデータ
（ｂ）各視点に存在するオブジェクト情報（マスク画像，３次元位置，大きさ情報）
（ｃ）各視点のカメラキャリブレーション情報

また、配信サーバ２は、上記のコンテンツと合わせて、プロファイルリストを生成し配信する。このプロファイルリストは、後に図９を用いて詳細に説明するが、視点A〜Eの映像データ毎に、予め準備された１つ以上のビットレートと、当該ビットレートの映像データにおける解像度とが対応付けられたリストとなっている。

図１に戻って、スループット算出部１１２は、受信されたセグメントファイルのファイルサイズと、要求時刻から見て当該セグメントファイルをダウンロードするのに要した時間とに基づいて、使用している通信ネットワークのスループットを算出し、算出されたスループットの情報を、適宜、配信プロファイル決定部１３へ出力する。

また、プロファイルリスト取得部１１３は、通信インタフェース部１０１を介して受信したプロファイルリストを管理し、適宜、配信プロファイル決定部１３へ出力する。さらに、要求送信部１１４は、この配信プロファイル決定部１３で決定された配信プロファイルを含むHTTP Request（セグメント要求）を生成し、通信インタフェース部１０１によって配信サーバ２宛てに送信する。

データ処理部１２は、以上に述べたような配信された１つ又は複数のセグメント分のセグメントファイルの処理を実行し、タッチパネルディスプレイ１０２を介しユーザによって指定された視点位置及び向きに基づいた自由視点映像を合成して、タッチパネルディスプレイ１０２に表示させる。以下、このデータ処理部１２に含まれる視点位置検出部１２１、自由視点合成部１２３、及びメディアエンジン１２２の説明を行う。

最初に、視点位置検出部１２１は、常時、ユーザによる視点位置及び向きを指定する操作を監視し、ユーザによる当該指定操作を受けて、指定された視点位置及び向きの情報を自由視点合成部１２３及び視点選択部１２５へ出力する。また、自由視点合成部１２３は、取得された多視点のセグメントファイルを合成して、３次元モデル空間内にオブジェクト画像（ビルボード画像）が貼付されたビルボード方式の３次元モデルを生成する。

さらに、自由視点合成部１２３は、この３次元モデルを用い、指定された視点位置及び向きの情報に基づいて自由視点映像を生成する。最後に、メディアエンジン１２２は、生成された自由視点映像を、例えばタッチパネルディスプレイ１０２へ出力してユーザに提供させる。または、スマートフォン１に搭載されたアプリ（アプリケーションプログラム）に出力し、当該アプリに生成した自由視点映像を利用させてもよい。

図３は、ユーザによって指定される視点位置及び向きと、配信映像データの視点との関係を説明するための模式図である。

図３によれば、基準位置にある撮影対象（オブジェクト）に対し、５つの視点A〜Eが設定されている。これらの視点からの映像が、多視点映像データとして配信されるのである。また、同図には、ユーザによって指定された視点位置及び向きが示されている。ここで、指定された視点位置は連続的な座標値をとる一方、視点A〜Eは離散的であるが、視点A〜Eの各々は、撮影対象から見た方向角θ（0°≦θ＜360°）で表される所定の視点位置範囲をカバーしている。例えば図３では、視点Bは、視点位置の範囲として方位角範囲36°〜108°を仮想的にカバーしており、指定された視点位置は、この視点Bに属することになる。

ユーザは、タッチパネルディスプレイ１０２（図１）に表示された視点操作用画像に対する操作や、又はそのような表示に関わらない（暗黙の）操作等によって、自らが見たいと思う視点位置及び向きを指定する。これにより、指定された視点位置及び向きの属する視点が、視点A〜Eのうちから１つ選択され、注視点とされるのである。なお、ユーザは、随時にしかも連続的に、指定する視点位置及び向きを変更することが可能であってもよい。

図４は、自由視点合成部１２３における自由視点映像合成処理の概略を説明するための模式図である。

図４によれば、自由視点合成部１２３は、最初に、スマートフォン１に配信された多視点の映像データをデコードしてフレーム画像を生成し、さらに、同時に配信されたビルボード情報内のマスク画像を、このフレーム画像に適用してビルボード画像領域のみの画像であるビルボード画像（オブジェクト画像）を抽出する。次いで、抽出したビルボード画像を、同じくビルボード情報内の３次元位置に従って３次元モデル空間(X, Y, Z)内に配置し、３次元モデルを生成する。

自由視点合成部１２３は、次いで、この３次元モデルを用い、視点位置検出部１２２から入力した指定された視点位置及び向きの情報に基づいて自由視点映像を生成する。ここで、自由視点映像は、指定された視点位置に配置され、その向きを撮影向きとする仮想カメラによって撮影される（射影される）２次元カメラ画像上での映像となる。図４に示すように、視点位置及び向きが切り替われば、この２次元カメラ画像の位置及び向きも変化し、対応するビルボード画像も切り替わる。その結果、自由視点映像も、切り替わった視点位置及び向きに対応する映像となるのである。

以上に説明したような処理を、生成したフレーム毎に実行することによって、ユーザは、例えば任意の視点位置を指定しながら、この視点位置に係る映像を享受することも可能となるのである。

図５は、自由視点合成部１２３における自由視点映像合成処理の一実施形態を示す模式図である。

図５に示した実施形態において、自由視点映像は、指定された視点位置からその向きに３次元モデルを見た際の２次元カメラ画像を、フレーム毎に生成することによって生成される。ここで、３次元モデルには、
（ａ）絶対的な３次元世界座標系(X, Y, Z)と、
（ｂ）ユーザによって指定された視点位置及び向きを基準とした３次元カメラ座標系(x, y, z)と
の２種類の座標系が定義される。この３次元カメラ座標系の原点(x0, y0, z0)は、指定された視点位置（仮想カメラ位置）としてもよく、またz軸は、指定された向きの軸、すなわち仮想カメラの光軸とすることができる。

さらに、２次元カメラ画像には、２次元カメラ画像座標系(u, v)が定義される。この座標系の原点(u0, v0)は、例えば、仮想カメラ光軸（z軸）と２次元カメラ画像との交点、すなわち原点(x0, y0, z0)の投影点としてもよい。

自由視点合成部１２３は、このように定義された座標系を利用し、３次元世界座標空間(X, Y, Z)に存在する１つの点を、ひとまず３次元カメラ座標空間(x, y, z)における１つの点に変換し、次いで、この対応点を２次元カメラ画像上の点(u, v)に変換することによって、２次元カメラ画像を生成する。これらの変換は、次式

によって表される。

上式（１）において、sはスケーリングファクタであり既知の値が使用される。また、行列[A]は、仮想カメラの内部パラメータ行列である。この行列[A]の要素であるf_x及びf_yは、視点位置に設置された仮想カメラの焦点距離であり、例えば画素単位で表される値とすることができる。さらに、行列[A]の要素であるc_x及びc_yは、カメラ基準点の座標値であり、通常、(c_x, c_y)が２次元カメラ画像の中心点となるように設定される。なお、この内部パラメータ行列[A]は、視点位置に依存するものではないので以下、所与のものとする。

また、行列[R|t]は、仮想カメラの外部パラメータ行列である。この行列[R|t]の要素r₁₁〜r₃₃だけを要素とする行列[R]は、仮想カメラの回転変換行列に相当し、一方、行列[R|t]の要素t₁〜t₃だけを要素とする行列[t]は、仮想カメラの並進変換行列に相当する。したがって、この外部パラメータ行列[R|t]は、回転・並進の同時変換行列と捉えることができ、３次元世界座標系に対する回転・並進を表現する行列となっている。

ここで、式（１）のうち、３次元世界座標系(X, Y, Z)を３次元カメラ座標系(x, y, z)に対応させる部分を定式化すると、次式

にように表される。また、上式（２）の結果を用いて２次元カメラ画像座標の点(u, v)を導出するための式は、
（３） u＝x'＋c_x＝f_x・x/z＋c_x
v＝y'＋c_y＝f_y・y/z＋c_y
と表される。ここで、スケーリングファクタsは1としている。また、変換（投影方式）は透視投影となっている。

以上に説明した変換を３次元モデルの各点に対して実行することによって、２次元カメラ画像が生成される。ちなみに、このような座標変換処理は、ＧＰＵ（Graphics Processing Unit）上の公知のライブラリ等によって実施されることが一般的である。

次いで以下、データ処理部１２における視点選択部１２５及び解像度算出部１２６の説明を行うが、最初に、図６及び図７を用いて、選択された視点に係る解像度算出の必要性を説明する。

図６は、解像度算出の必要性を説明するための模式図である。また、図７は、解像度算出の際の視点の選択について説明するための模式図である。

図６に示すように、例えば超高解像度の８Ｋカメラをもって撮影されたオブジェクト画像を含む映像データを受信し、このオブジェクト画像を高解像度の４Ｋディスプレイで表示する場合を考える。この４Ｋディスプレイでは、このオブジェクト画像が実際の表示の２倍の大きさで表示されるような視点位置でなければ、８Ｋ相当の解像度、すなわち８Ｋ相当のピクセル数による表示ができず、結局、無駄に大容量の映像データを取得したことになってしまう。

例えば、８Ｋカメラをもって撮影された幅w及び高さhのオブジェクト画像は、図６におけるドリーインする前の４Ｋ仮想カメラによる２次元４Ｋカメラ画像においては、同じ幅w及び高さhの画像として表示され、結果的に８Ｋカメラによる超高解像度は生かされない。このオブジェクト画像の超高解像度を生かすには、同じく図６に示すように、４Ｋ仮想カメラをドリーインし、このオブジェクト画像を、２次元４Ｋカメラ画像において２倍ズームで、すなわち幅2w及び高さ2hの画像として表示する必要がある。

このように、オブジェクト画像が表示される際、その見え方の向上に貢献できるような解像度をオブジェクト画像に割り当てることが重要となることが理解される。したがって、例えば特許文献１の技術のように、選択された離散的な視点に対し、単純により多くのビットレート（品質）を割り当てるというだけでは、指定された視点位置から見たオブジェクトの見え方に適した解像度を、オブジェクト画像に割り当てることにはならないのである。

ここで特に、多視点映像データから自由視点映像を合成することを考えると、多視点のオブジェクト画像が存在しているのであるから、指定された視点位置に基づいて、オブジェクト画像毎にいずれの視点の映像データを選択すべきかを決定することが重要となる。

例えば、図７に示した例では、オブジェクトOJ2については、視点Bの画像が選択されるが、このオブジェクトOJ2は、視点Bのカメラ位置から遠いので、２次元合成画像においても遠くに、すなわちより小さく表示されることになる。したがって、オブジェクトOJ2の画像の解像度としては、例えば720pまでのものを選択すれば十分であると判断される。

一方、オブジェクトOJ1については、視点Aの画像が選択されるが、このオブジェクトOJ1は、視点Aのカメラ位置から近いので、２次元合成画像においても近くに、すなわちより大きく表示されることになる。したがって、オブジェクトOJ1の画像の解像度として、例えば720pよりも大きい1080pのものを選択すれば、効果的にオブジェクトOJ1の画質を向上させることができるのである。

ちなみに、図７に示した例では、ユーザによって指定された視点位置及び向きによって選択される視点は、視点Bとなる。従来は、例えば、オブジェクトOJ1やオブジェクトOJ2の見え方にかかわらず、この選択された視点Bのみに基づいて配信ビットレートが決められてきたのである。

以上説明したように、表示において奏功するオブジェクト画像の解像度を実現するべく配信ビットレート（品質）を決定するためには、指定された視点位置とオブジェクト位置との関係によって決まるオブジェクトの見え方を勘案しなければならない。逆に言えば、図７を用いて説明したように、このオブジェクトの見え方を勘案することによって、例えば視点Bに配分された余分な（表示に奏功しない）ビットレート分を視点Aに割り振り、２次元合成画像において、オブジェクトを、その表示状態に合った解像度で表示することが可能となるのである。

図１に戻って、データ処理部１２の視点選択部１２５は、指定された視点位置及び向きとオブジェクトの位置との関係に基づいて、配信される映像データに係る複数の視点のうちから、このオブジェクトに係る視点を選択する。例えば、指定された視点位置からこのオブジェクトへ向かう視線ベクトルとの間で最大の内積値をとる視線ベクトルであって、このオブジェクトを終点とする視線ベクトルの始点となる視点を、このオブジェクトに係る視点として選択することができる。

具体的には、視点nからオブジェクトへ向かう視線ベクトルをX_nとし、指定された視点位置からオブジェクトへ向かう視線ベクトルをYとすると、選択すべき視点n_Sは、次式
（４） n_S＝Argmax(n){X_n・Y}
によって算出される。この式（４）に従えば、例えば、図７に示したような２つのオブジェクトOJ1及びOJ2を有する３次元カメラ座標空間において、オブジェクトOJ1について選択される視点は、視点Aとなり、一方、オブジェクトOJ2について選択される視点は、視点Bとなる。

同じく図１において、解像度算出部１２６は、指定された視点位置及び向きに係る画像においてオブジェクトを表示する際に可能となる解像度である表示可能解像度を算出する。具体的には、指定された視点位置及び向きに係る画像における表示に係る所定パラメータを変化させた際の、オブジェクトについての「拡大率」を算出し、この「拡大率」と、指定された視点位置及び向きに係る画像の表示に係る所定の解像度とに基づいて、このオブジェクトの表示可能解像度を算出することができる。

ここで、表示可能解像度は、ディスプレイの論理解像度に、次に図８を用いて説明するように求められた「拡大率」を乗じて算出してもよい。なお、(論理解像度)＜(物理解像度)の場合は、ディスプレイの物理解像度を用いることができる。また、上記の所定パラメータとして、同じく図８を用いて説明するように、視点位置の座標、並びに、指定された視点位置及び向きに係る画像を構成する仮想視点の焦点距離のうちの少なくとも１つを変化させることも好ましい。

図８は、解像度算出部１２６による表示可能解像度算出処理の一実施形態を説明するための模式図である。

図８には、３次元カメラ座標空間における視点位置の仮想的切り替えによって「拡大率」を算出する様子が示されている。視点位置を仮想的に切り替えた際、対象となる１つのオブジェクトにおける３次元カメラ座標空間内の１点(x, y, z)は、別の１点(x', y', z')へ移動する。

また、この視点位置切り替えに伴い、２次元カメラ画像（座標）でも、対応する１点(u, v)が別の１点(u', v')へ移動するが、ここで、１つのオブジェクト内の２点(u₁, v₁)及び(u₂, v₂)がそれぞれ、別の２点(u₁', v₁')及び(u₂', v₂')に移動する場合を考える。この場合、拡大率Rmは、次式
（５） Rm＝D((u₁', v₁'), (u₂', v₂'))／D((u₁, v₁), (u₂, v₂))
によって算出することができる。

上式（５）において、Dは２点間のユーグリッド距離を求める関数である。このような拡大率の算出は、２次元カメラ画像への射影後の情報に基づいて行われるといえる。なお、上記の２点として、例えば、オブジェクト画像（ビルボード画像）を規定する当該画像矩形における上方左側の頂点及び下方右側の頂点を用いることも好ましい。

また、変更態様として、上述したような視点切り替えにおいて、拡大率は単純にz座標値、及び２次元カメラ画像平面までの距離にのみ依存すると仮定すると、拡大率Rmは、次式
（６） Rm＝(f_x／z')／(f_x／z)＝ｚ／z'
によっても算出可能となる。

また、更なる変更態様として、上述したように視点位置を切り替えることなく、光学ズームのように焦点距離を変化させるだけの仮想的な拡大操作を考えてもよい。この場合、拡大率は上述した仮想カメラにおける内部パラメータ行列[A]の要素である焦点距離f_x及びf_yに比例して大きくなるため、焦点距離を変化させた後の焦点距離をf_x'及びf_y'とすると、拡大率Rmは、次式
（７） Rm＝(f_x'／f_x)・(f_y'／f_y)
によって算出可能となる。

なお、以上に説明したような拡大率の算出処理は、前提として変換の際に透視投影が行われる場合のものである。当然に、他の投影方式を採用する場合、その方式に合った拡大率を求めることになる。

次に、オブジェクトの拡大率を算出して利用する一実施例として、図７に示したような２つのオブジェクトOJ1及びOJ2を有する３次元カメラ座標空間を考える。また、これらのオブジェクトが表示されるディスプレイの解像度は360pであるとする。

ここで、オブジェクトOJ1に対する拡大率Rmが2.0（倍）と算出されたとすると、このオブジェクトOJ1は、上記の解像度360pのディスプレイにおいて、解像度が720p（＝360p×2.0）相当となるまで表示することが可能となる。一方、オブジェクトOJ2に対する拡大率Rmが3.0（倍）であれば、このオブジェクトOJ2は、このディスプレイにおいて、解像度が1080p（＝360p×3.0）相当となるまで表示することが可能となる。

すなわち、まとめると、あるオブジェクトの「表示可能解像度」は、このオブジェクトを表示する「ディスプレイの解像度」と、このオブジェクトについての「拡大率」との積として算出することができるのである。以下引き続き、図７に示した２つのオブジェクトOJ1及びOJ2について説明を進めていく。

上述したように表示可能解像度が720pであるオブジェクトOJ1については、上式（４）のところで説明したように、選択される視点は視点Aとなっている。そこで、解像度算出部１２６（図１）は、この視点Aの表示可能解像度を720pに設定する。一方、表示可能解像度が1080pであるオブジェクトOJ2について選択される視点は視点Bとなるので、解像度算出部１２６（図１）は、この視点Bの表示可能解像度を1080pに設定する。

ちなみに、１つの視点に複数のオブジェクトが存在する場合、すなわち複数のオブジェクトについてこの１つの視点が選択される場合、例えば、それらのオブジェクトに係る表示可能解像度における最大値や平均値等を、この視点の表示可能解像度に設定してもよい。

また、解像度算出部１２６(図１)では、対象となるオブジェクトの拡大率における限界値に基づいて、表示可能解像度の制限範囲を決定してもよい。例えば、通常、ディスプレイのサイズから、オブジェクトを拡大して表示可能な範囲にも必ず上限が存在する。解像度算出部１２６（図１）は、この拡大率の上限値を設定し、例えば、この上限値とディスプレイの解像度との積を、表示可能解像度の解像度上限値とし、この解像度上限値を超えない範囲で、各視点について表示可能解像度を設定することも好ましい。

これにより、そこまで表示されることのない過剰に高い解像度の映像データを、無用に取得する事態を回避することができる。また、その分の解像度（ビットレート）を別の視点の映像データに振り分けることによって、通信資源を浪費することなく好適な品質の自由視点映像を提供することも可能となるのである。

図１に戻って、配信プロファイル決定部１３は、配信される映像データ毎に、当該映像データに係る視点が選択されたオブジェクトについて算出された表示可能解像度に基づいて、当該映像データのビットレートを決定する。例えば、配信サーバ２より取得したプロファイルリストから、各映像データについて、計測されたスループットに係る条件を満たすビットレートを有し、さらに、各映像データについて、算出された当該表示可能解像度に応じた解像度を有するプロファイルを決定してもよい。

以下、取得したプロファイルリストを用いた配信プロファイル決定処理の一実施形態を説明する。具体的に、配信プロファイル決定部１３は、第１リスト範囲決定部１３１と、第２リスト範囲決定部１３２とを含む。ここで、
（ａ）第１リスト範囲決定部１３１は、取得されたプロファイルリストから、各映像データについて、計測されたスループットに係る条件を満たすビットレートを有する第１リスト範囲を抽出し、さらに、
（ｂ）第２リスト範囲決定部１３２は、各映像データについて、算出された表示可能解像度に応じた解像度を有する第２リスト範囲を抽出し、最後に、
（ｃ）配信プロファイル決定部１３は、第１リスト範囲が第２リスト範囲よりも広い映像データから、第２リスト範囲が第１リスト範囲よりも広い映像データへ、ビットレート分を移動させる形で配信プロファイルを決定する
ことも好ましい。

図９は、配信プロファイル決定部１３による配信プロファイル決定処理の一実施例を示す模式図である。

図９に示すように、配信プロファイル決定部１３は、プロファイルリスト取得部１１３によって取得されたプロファイルリストPL0を用い、スループット算出部１１２で算出されたスループットと、解像度算出部１２６で決定された視点毎の表示可能解像度とに基づいて、視点毎に、配信時に選択されるビットレート（解像度）を決定する。

ここで、プロファイルリストPL0は、視点A〜Eの映像データの各々について（多視点の映像データの視点毎に）、予め準備された１つ以上のビットレートと、当該ビットレートの映像データにおける解像度とが対応付けられたリストとなっている。ちなみに、図９には、見易さのため、プロファイルリストPL0のうち視点A〜Cに関するプロファイルのみが示されている。以下これに従い説明を容易にするため、視点A〜Cに関する配信プロファイルの決定処理を示すが、本来は当然に、視点A〜Eの映像データ毎に配信プロファイルが決定されるのである。

最初に、第１リスト範囲決定部１３１は、予め設定された視点間の選択確率分布p(xi|xi-1)に基づき、スループット算出部１１２で算出されたスループットを超えない最大の合計ビットレートb(t)を、視点A〜Cの各々へ配分する。ここで、この選択確率分布p(x_i|x_i-1)として例えば、x_i＝x_i-1の場合に最大値をとる正規分布を採用してもよい。このような選択確率分布を用いると、視点x_iのビットレートb_i(t)は、選択された視点をx_i-1として、次式
（８） b_i(t)＝p(x_i|x_i-1)＊b(t)
によって決定される。ちなみに、このようなスループットに基づくビットレートの仮配分処理は、予めスループット算出部１１２で実施されていてもよい。

第１リスト範囲決定部１３１は、本実施例において視点Bが選択されているので、上式（８）に従い例えば、
視点A：視点B：視点C＝3Mbps：5Mbps：3Mbps
といったビットレート配分を決定し、各視点についてビットレートが、このビットレート配分値を上限とする範囲内に収まるような第１リスト範囲PL1を抽出する。

次に、第２リスト範囲決定部１３２は、視点A〜Cの各々について、解像度算出部１２６で決定された表示可能解像度を超えない最大の解像度を有する第２リスト範囲PL2を抽出する。図７に示した実施例においては、視点A及び視点Bの表示可能解像度はそれぞれ1080p及び720pであるから（また、視点Cは720pであるとして）、表示可能解像度を超えない最大の解像度を有するビットレート配分は、
視点A：視点B：視点C＝5Mbps：3Mbps：3Mbps
となり、第２リスト範囲決定部１３２は、各視点についてビットレートが、このビットレート配分値を上限とする範囲内に収まるような第２リスト範囲PL2を抽出する。

配信プロファイル決定部１３は、最後に、第１リスト範囲PL1が第２リスト範囲PL2よりも広い視点（の映像データ）から、第２リスト範囲PL2が第１リスト範囲PL1よりも広い視点（の映像データ）へ、ビットレート分を移動させる形で配信プロファイルを決定する。具体的には、例えば、
（ａ）（第２リスト範囲PL2のプロファイル数）＞（第１リスト範囲PL1のプロファイル数）となる視点αと、
（ｂ）（第２リスト範囲PL2のプロファイル数）＜（第１リスト範囲PL1のプロファイル数）となる視点βと
が存在する場合、第１リスト範囲PL1において、視点βのプロファイルを１段下げる一方、視点αのプロファイルを１段上げることも好ましい。

例えば、図９に示した実施例では、視点Ａでは、第２リスト範囲PL2のプロファイル数（リストの段数）が４であって、第１リスト範囲PL1のプロファイル数（リストの段数）が３である。一方、視点Ｂでは、全くその逆となっている。そこで、配信プロファイル決定部１３は、第１リスト範囲PL1において、視点Aのプロファイルを１段上げて視点Bのプロファイルを１段下げ、最終的に、
視点A：視点B：視点C＝5Mbps：3Mbps：3Mbps
といったビットレート配分を決定するのである。

ちなみに、以上に説明した実施例では、視点プロファイル間のビットレート分の振り替えは、プロファイル１段分を単位としているが、当然、それ以外の分を単位として振り替えを行うことも可能である。

ここで、従来技術のように、視点毎の表示可能解像度を考慮せず、選択された視点Bに基づいて配信ビットレートを決定すると、ビットレート配分は、
視点A：視点B：視点C＝3Mbps：5Mbps：3Mbps
となる。これによると、結局、視点Bに係る映像データの取得について、通信資源を過度に使用してしまう一方、視点Aについて、表示品質の点でより好適となる、より解像度の高い映像データの取得を逸してしまう。

いずれにしても本実施例のように、各視点において、スループットを超えない合計ビットレートの範囲内で、表示可能解像度を超えない解像度に対応する、できるだけ大きなビットレートを有するプロファイルを決定することによって、通信資源を無駄に使用する事態を回避しつつ、オブジェクト画像の表示状態に合わせた解像度を当該オブジェクト画像に割り当て、より好適な品質の自由視点映像を生成することができるのである。

またここで、オブジェクトの表示可能解像度を超えるプロファイルは選択せず、さらに、オブジェクトの表示可能解像度に満たない解像度を有する視点のプロファイルに、過剰な解像度を有する視点のビットレート分を振り分けることによって、合成した映像の画質を効果的に向上させることも可能となる。

言い換えると、オブジェクトがいずれの視点においてどの程度の解像度をもって表示可能であるかを予め算出しておき、表示解像度が最も高くなる視点へより多くのビットレートを配分することによって、通信資源を浪費せずに品質の向上した自由視点映像を合成することができるのである。

なお、高解像度のオブジェクトを低解像度にダウンコンバートして表示することも可能であるが、同一のビットレートであれば画質は一般に低下してしまうので、以上に説明したように、解像度を考慮してビットレートの配分を判断することが非常に好ましい。

図１０は、本発明による配信プロファイル決定方法の一実施形態を含む配信制御方法の概略を示すシーケンス図である。ここで、ベースとなる配信手順は、ＨＴＴＰクライアントとＨＴＴＰサーバとの通信に係るものであって、公知のＨＬＳやＭＰＥＧ−ＤＡＳＨ等のプロトコルに沿ったものとなっている。

（Ｓ１０１）スマートフォン１は、ユーザによって指定された視点位置及び向きの情報を取得する。
（Ｓ１０２）スマートフォン１は、直近のスループットを算出し、このスループットを超えない合計ビットレートを各視点に仮配分する。
（Ｓ１０３）スマートフォン１は、各視点について、オブジェクトの表示可能解像度を算出する。

（Ｓ１０４）スマートフォン１は、プロファイルリストPL0の取得要求を、配信サーバ２宛てに送信する。
（Ｓ１０５）配信サーバ２は、プロファイルリストPL0を含む応答を、スマートフォン１宛てに送信する。

なお、スマートフォン１はこのプロファイルリストPL0を、ＨＬＳの場合にはｍ３ｕ８として、また、ＭＰＥＧ−ＤＡＳＨの場合にはＭＰＤとして、配信サーバ２から受信することができる。

（Ｓ１０６）スマートフォン１は、取得したプロファイルリストPL0に基づき、算出したスループットから第１リスト範囲PL1を抽出する。
（Ｓ１０７）スマートフォン１は、同じく取得したプロファイルリストPL0に基づき、算出した表示可能解像度から第２リスト範囲PL2を抽出する。

（Ｓ１０８）スマートフォン１は、PL1のプロファイル数（リストの段数）がPL2のプロファイル数（リストの段数）よりも大きくなる視点βと、PL2のプロファイル数（リストの段数）がPL1のプロファイル数（リストの段数）よりも大きくなる視点αとが存在するか否かを判定する。ここで、偽の判定（視点α及びβの両者は存在しないとの判定）を行った場合、ステップＳ１１０へ移行する。

（Ｓ１０９）一方、ステップＳ１０８で真の判定（視点α及びβの両者が存在するとの判定）を行った場合、視点βから視点αへ所定のビットレート分を移動する。具体的には、第１リスト範囲PL1において、視点βのプロファイルを１段下げる一方、視点αのプロファイルを１段上げてもよい。
（Ｓ１１０）スマートフォン１は、この段階での第１リスト範囲PL1における、ビットレートが最大であるプロファイルを、配信プロファイルに決定する。

（Ｓ１１１）スマートフォン１は、決定した配信プロファイルをもってオブジェクトファイル（各視点のセグメントファイル）の取得要求（HTTP Request）を、配信サーバ２宛てに送信する。
（Ｓ１１２）配信サーバ２は、オブジェクトファイルを含む応答を、スマートフォン１宛てに送信する。
（Ｓ１１３）スマートフォン１は、取得したオブジェクトファイル（各視点のセグメントファイル）を用いて自由視点映像を合成する。

これ以降、スマートフォン１と配信サーバ２とは、Ｓ１０１〜Ｓ１１３と同様の手順を繰り返し順次、各再生時間のオブジェクトファイル（各視点のセグメントファイル）の要求、送受信、自由視点映像の合成・再生を実施していく。なお、通常、スマートフォン１によるオブジェクトファイルの取得要求（HTTP Request）は、１セグメント（に含まれるメディア）分の再生時間長（例えば数〜１０秒程度）の経過毎に、周期的に行われることになる。

ちなみに、以上に説明した実施形態では、多視点映像データのうちの、オブジェクト毎に準備された当該オブジェクトに係る画像データであるオブジェクトファイルが配信されている。この場合、当該多視点映像データのうちの背景データは、オブジェクトファイルよりも少ない頻度で（例えば5〜10分経過毎に）配信されるものであってもよい。実際、例えばスポーツ観戦の映像データでは、背景となるグラウンドの画像は頻繁に差し替える必要はなく、したがって背景映像データは、通信資源を有効に使用するべく間隔をあけて配信すればよい場合がほとんどである。

以上、詳細に説明したように、本発明によれば、多視点映像データの配信プロファイルを決定する際、従来考慮されてこなかった視点位置及び視点の向きと、オブジェクトの位置との関係を考慮し、さらに、配信される映像データ毎に、対応するオブジェクトの表示可能解像度を勘案している。これにより、オブジェクト画像の表示状態に合わせた品質を当該オブジェクト画像に割り当て得るような配信プロファイルを決定することが可能となる。

また、以上に説明したような好適に決定された配信プロファイルに基づいて多視点映像データが配信されるので、この配信に使用される通信ネットワークにおいて、通信資源を無駄に使用してトラヒックを無用に増大させるような事態が回避可能となるのである。この点、自由視点合成技術においては、来る５Ｇ（第５世代移動通信システム）においても、膨大な容量の多視点映像データを遅延なく配信できるか否かが重要なポイントになると予測されており、本発明は、所定の映像品質を確保しつつ、そのような課題を解決するための重要な技術を提供するものとなっている。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲内での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例示であって、何ら制約を意図するものではない。本発明は、特許請求の範囲及びその均等物によってのみ制約される。

１ スマートフォン（クライアント）
１０１ 通信インタフェース部
１０２ タッチパネルディスプレイ（ＴＰ・ＤＰ）
１１ 通信制御部
１１１ 映像データ受信部
１１２ スループット算出部
１１３ プロファイルリスト取得部
１１４ 要求送信部
１２ データ処理部
１２１ 視点位置検出部
１２２ メディアエンジン
１２３ 自由視点合成部
１２５ 視点選択部
１２６ 解像度算出部
１３ 配信プロファイル決定部
１３１ 第１リスト範囲決定部
１３２ 第２リスト範囲決定部
２ 配信サーバ

Claims (9)

1. オブジェクトの画像を含み互いに視点の異なる複数の映像データを配信可能なサーバから、ビットレートを指定して当該映像データを取得することによって、指定された視点位置及び向きに係る映像を生成可能なクライアントであって、
   指定された視点位置及び向きと当該オブジェクトの位置との関係に基づいて、当該映像データに係る複数の視点のうちから、当該オブジェクトに係る視点を選択する視点選択手段と、
   指定された視点位置及び向きに係る画像において当該オブジェクトを表示する際に可能となる解像度である表示可能解像度を算出する解像度算出手段と、
   当該映像データ毎に、当該映像データに係る視点が選択されたオブジェクトについて算出された表示可能解像度に基づいて、当該映像データのビットレートを決定する配信プロファイル決定手段と
   を有することを特徴とするクライアント。
2. 前記サーバから、互いに視点の異なる当該映像データ毎にビットレートと解像度とが対応付けられたプロファイルリストを取得可能な通信制御手段を更に有し、
   前記配信プロファイル決定手段は、取得された当該プロファイルリストから、各映像データについて、計測されたスループットに係る条件を満たすビットレートを有し、さらに、各映像データについて、算出された当該表示可能解像度に応じた解像度を有するプロファイルを決定する
   ことを特徴とする請求項１に記載のクライアント。
3. 前記配信プロファイル決定手段は、
   取得された当該プロファイルリストから、各映像データについて、計測されたスループットに係る条件を満たすビットレートを有する第１のリスト範囲を抽出し、さらに、各映像データについて、算出された当該表示可能解像度に応じた解像度を有する第２のリスト範囲を抽出し、
   第１のリスト範囲が第２のリスト範囲よりも広い映像データから、第２のリスト範囲が第１のリスト範囲よりも広い映像データへ、ビットレート分を移動させる形で当該プロファイルを決定する
   ことを特徴とする請求項２に記載のクライアント。
4. 前記解像度算出手段は、指定された視点位置及び向きに係る画像における表示に係る所定のパラメータを変化させた際の、当該オブジェクトについての拡大率を算出し、当該拡大率と、指定された視点位置及び向きに係る画像の表示に係る所定の解像度とに基づいて、当該オブジェクトの表示可能解像度を算出することを特徴とする請求項１から３のいずれか１項に記載のクライアント。
5. 前記解像度算出手段は、当該オブジェクトの拡大率における限界値に基づいて、当該表示可能解像度の制限範囲を決定することを特徴とする請求項４に記載のクライアント。
6. 前記解像度算出手段は、当該所定のパラメータとして、当該視点位置の座標、並びに、指定された視点位置及び向きに係る画像を構成する仮想視点の焦点距離のうちの少なくとも１つを変化させることを特徴とする請求項４又は５に記載のクライアント。
7. 前記視点選択手段は、指定された視点位置から当該オブジェクトへ向かう視線ベクトルとの間で最大の内積値をとる視線ベクトルであって、当該オブジェクトを終点とする視線ベクトルの始点となる視点を、当該オブジェクトに係る視点として選択することを特徴とする請求項１から６のいずれか１項に記載のクライアント。
8. オブジェクトの画像を含み互いに視点の異なる複数の映像データを配信可能なサーバから、ビットレートを指定して当該映像データを取得することによって、指定された視点位置及び向きに係る映像を生成可能なクライアントに搭載されたコンピュータを機能させる配信プロファイル決定プログラムであって、
   指定された視点位置及び向きと当該オブジェクトの位置との関係に基づいて、当該映像データに係る複数の視点のうちから、当該オブジェクトに係る視点を選択する視点選択手段と、
   指定された視点位置及び向きに係る画像において当該オブジェクトを表示する際に可能となる解像度である表示可能解像度を算出する解像度算出手段と、
   当該映像データ毎に、当該映像データに係る視点が選択されたオブジェクトについて算出された表示可能解像度に基づいて、当該映像データのビットレートを決定する配信プロファイル決定手段と
   してコンピュータを機能させることを特徴とする配信プロファイル決定プログラム。
9. オブジェクトの画像を含み互いに視点の異なる複数の映像データを配信可能なサーバから、ビットレートを指定して当該映像データを取得することによって、指定された視点位置及び向きに係る映像を生成可能なクライアントに搭載されたコンピュータにおける配信プロファイル決定方法であって、
   指定された視点位置及び向きと当該オブジェクトの位置との関係に基づいて、当該映像データに係る複数の視点のうちから、当該オブジェクトに係る視点を選択するステップと、
   指定された視点位置及び向きに係る画像において当該オブジェクトを表示する際に可能となる解像度である表示可能解像度を算出するステップと、
   当該映像データ毎に、当該映像データに係る視点が選択されたオブジェクトについて算出された表示可能解像度に基づいて、当該映像データのビットレートを決定するステップと
   を有することを特徴とする配信プロファイル決定方法。