JP2019516297A - ビューを意識した３６０度ビデオストリーミング - Google Patents

Abstract

本開示は、仮想現実及び拡張現実のコンテンツ内で使用され得る３６０°ビデオストリームを配信するシステム及び方法に関する。つまり、３６０°ビデオストリームを複数のビデオストリームに分割することができ、その各ストリームはビューボリューム又はビュー球体の一部に対応する。加えて、元の３６０°ビデオストリームを低解像度の３６０°ビデオストリームにダウンサンプリングすることができる。利用者の所与のビュー角度について複数のビデオストリームの１つ又は複数をアクティブストリームと見なし、データのダウンロードのためにユーザインタフェース又はディスプレイに接続することができる。かかるシナリオでは、ユーザインタフェースが利用者のビュー角度に対応する少なくとも１つの高解像度のビデオストリーム並びに低解像度の３６０°ビデオストリームに接続され得る。

Description

関連出願の相互参照
本願は、参照によりその内容を本明細書に援用する、２０１６年４月８日に出願された米国仮特許出願第６２／３２０，４５１号の本出願である。

背景
３６０°ビデオ（又は球体ビデオ）は仮想現実（ＶＲ）及び拡張現実（ＡＲ）向けの没入環境を提供する用途を含め、多くの用途のための重要なメディア形式である。３６０°ビデオを見る人は任意の角度で、及びことによると小さい視野（ＦＯＶ）内でビデオを見ることができる。従って、くっきりと見えるために３６０°ビデオは通常のビデオよりもはるかに高い解像度を必要とし得る。かかるシナリオでは、３６０°ビデオストリームが従来のビデオストリームよりもはるかに高いビットレートを必要とし得る。例えば典型的な１０８０ｐビデオは約１ＭＢｐｓのビットレート（又は１分のビデオに対して６０ＭＢのファイルサイズ）を有し得るが、同じビュー解像度の３６０°ビデオは約１０ＭＢｐｓ以上のビットレート（又は１分のビデオに対して６００ＭＢのファイルサイズ）を含み得る。ビュー解像度は見る人が所与の時点に観察し得るビデオフレームの解像度を含み得る。

３６０°ビデオのビットレートは既存の消費者レベルの無線ネットワーク内のデータ転送レートを上回り得る。その結果、３６０°ビデオは事前にダウンロードされ且つ／又はストリーミングのために強引にダウンサンプリングされる場合があり、かかる操作は一部の用途に関して許容し難くはないにせよ不所望であり得る。

利用者のビューに基づいて３６０°ビデオの一部をストリーミングする、ビューを意識したストリーミング方法はビデオテレプレゼンス用途に使用されてきたが、ストリーミングサーバ内の著しい計算コストを伴う。ビューを意識したストリーミングは３６０°ビデオストリーミングにも適用されてきたが、サーバにおける著しい追加の記憶コストを伴う。

概要
一態様ではシステムを提供する。このシステムは、ディスプレイ、センサ、通信インタフェース、及びコントローラを含む。コントローラはメモリ及び少なくとも１個のプロセッサを含む。少なくとも１個のプロセッサは、動作を実行するためにメモリ内に記憶される命令を実行するように構成される。動作は、ビューボリューム内のビュー方向を示す情報をセンサから受信することを含む。ビュー方向は視野に対応する。動作は、ビュー方向に基づいてビューボリューム内の複数のビュー可能領域から複数のアクティブ領域を決定することも含む。動作は、通信インタフェースを介して、複数のアクティブ領域に対応する複数のビデオストリームに接続することをまた更に含む。動作は、複数のアクティブ領域に対応する第１のビデオ情報を複数のビデオストリームを介して受信することを追加で含む。動作は、３６０°の視野に対応する第２のビデオ情報を受信することを含む。第１のビデオ情報は第２のビデオ情報よりも高い解像度を有する。動作は、複数のアクティブ領域内で第１のビデオ情報に基づいて且つ複数のアクティブ領域の外側のビューボリュームの領域内で第２のビデオ情報に基づいて３６０°ビデオをレンダリングすることも含む。また更に、動作は視野に対応する３６０°ビデオの少なくとも一部をディスプレイによって表示することを含む。

一態様ではシステムを提供する。このシステムは、通信インタフェース及びコントローラを含む。コントローラはメモリ及び少なくとも１個のプロセッサを含む。少なくとも１個のプロセッサは、動作を実行するためにメモリ内に記憶される命令を実行するように構成される。動作は、３６０°ビデオストリームを複数のリージョナルストリーム（regional stream）に分割することを含む。動作は、３６０°ビデオストリームをダウンサンプリングして低解像度の３６０°ビデオストリームを提供し、通信インタフェースを介して要求を受信することも含む。要求は少なくとも１つのアクティブ領域を含む。動作は、通信インタフェースを介して、少なくとも１つのアクティブ領域に対応する少なくとも１つのリージョナルストリームを提供することをまた更に含む。動作は、通信インタフェースを介して、低解像度の３６０°ビデオストリームを提供することも含む。

一態様では方法を提供する。この方法は、ビューボリューム内のビュー方向を示す情報をセンサから受信することを含む。ビュー方向は視野に対応する。この方法は、ビュー方向に基づいてビューボリューム内の複数のビュー可能領域から複数のアクティブ領域を決定することも含む。この方法は、通信インタフェースを介して、複数のアクティブ領域に対応する複数のビデオストリームに接続することを追加で含む。この方法は、複数のアクティブ領域に対応する第１のビデオ情報を複数のビデオストリームを介して受信することをまた更に含む。この方法は、３６０°の視野に対応する第２のビデオ情報を受信することを含む。第１のビデオ情報は第２のビデオ情報よりも高い解像度を有する。この方法は、複数のアクティブ領域内で第１のビデオ情報に基づいて且つ複数のアクティブ領域の外側のビューボリュームの領域内で第２のビデオ情報に基づいて３６０°ビデオをレンダリングすることを更に含む。この方法は、視野に対応する３６０°ビデオの少なくとも一部をディスプレイによって表示することを追加で含む。

一態様ではシステムを提供する。このシステムは、本明細書に記載の他のそれぞれの態様の動作を実行するための様々な手段を含む。

以下の詳細な説明を必要に応じて添付図面を参照して読むことにより、これらの並びに他の実施形態、態様、利点、及び代替策が当業者に明らかになる。更に、この概要並びに本明細書で示す他の説明及び図面は実施形態を例として示すことを意図するに過ぎず、そのため数多くの改変が可能であることを理解すべきである。例えば特許請求の範囲に記載の実施形態の範囲内にとどめながら、構造上の要素及びプロセスのステップを再配置し、組み合わせ、分散し、なくし、又は他のやり方で変えることができる。

実施形態の一例によるビュー球体を示す。 実施形態の一例による、世界の正距円筒図法による投影を示す。 実施形態の一例による、正距円筒図法による投影の複数の領域を示す。 実施形態の一例による立方体マップを示す。 実施形態の一例によるタイル状ビデオストリームを示す。 実施形態の一例による概略的な通信図である。 実施形態の一例による、トンネル接続を示す概略的な通信図である。 実施形態の一例による、タイル及びトランスポーテーションセグメントを示す概略的なビデオ細分図である。 実施形態の一例による、複数の細分されたビデオストリームを示す概略図である。

詳細な説明
本明細書では方法、装置、及びシステムの例について説明する。本明細書では「例」及び「例示的」という用語は「例、実例、又は例証である」ことを意味するように使用されることを理解すべきである。「例」又は「例示的」として本明細書に記載する如何なる実施形態又は特徴も、必ずしも他の実施形態又は特徴よりも好ましい又は有利であると解釈すべきではない。本明細書で提示する主題の範囲から逸脱することなしに他の実施形態も利用することができ、他の変更も加えることができる。

従って、本明細書に記載の実施形態の例は限定的であることは意図しない。本明細書で概して説明し図中に示す本開示の態様は、その全てが本明細書で予期される多岐にわたる異なる構成で配置され、置換され、組み合わせられ、分けられ、設計され得る。

更に、別段の定めがない限り、図面のそれぞれの中で示す特徴を互いに組み合わせて使用することができる。従って、図示の全ての特徴が各実施形態に必要ではないという理解の下で、図面は１つ又は複数の全体的な実施形態のコンポーネントの態様として広く捉えられるべきである。

Ｉ．概略
本開示は、利用者が見ている可能性があるビューボリューム又はビュー球体の一部をストリーミングするためのシステム及び方法に関する。実施形態の一例では、ビューを意識したストリーミングのシステム及び方法がストリーミングサーバ内の著しい追加の記憶コスト又は計算コストなしに、３６０°ビデオをストリーミングするための帯域幅要件を減らし得る。

ＩＩ．実施形態の例
Ａ．ストリーミングクライアント装置の動作
図１Ａは、実施形態の一例によるビュー球体１００を示す。図１Ａに示すように、かかるシナリオではビュー球体１００がｎ個の領域に分割されている。実施形態の一例では、隣接する領域間で重複が殆ど又は全くない場合がある。領域は矩形であり得るが、他の形状又は様々な形状の組み合わせが可能である。代替的実施形態では、ビューボリュームが球体以外の形状を含み得る。例えばビューボリュームは、円筒、正方形、角錐、又は別の種類のビューボリュームを含み得る。

実施形態の一例では、様々な異なる投影の種類に基づいて、（例えば３６０度カメラ又は３６０度コンテンツを見る人に対する）ビュー球体が二次元で投影され得る。例えば、正距円筒図法による投影は球体のビューを矩形画像へと歪めるための一般的な方法である。図１Ｂは、実施形態の一例による世界の正距円筒図法による投影１１０を示す。

同様のやり方で、正距円筒図法による投影を使用して３６０度ビデオ内の各フレームを２Ｄ画像として表すことができる。一実施形態では、この正距円筒図法による提示を複数の領域に分割することができる。この分割は様々なやり方で行うことができる。例えば地図を同一の矩形へと均等に分割することができる。つまり、３６０度ビデオフレームの正距円筒図法による提示をほぼ同一の面積を有する矩形領域へと分割することができる。図１Ｂでは正距円筒図法による投影を示すが、他の種類の投影も予期される。例えば、横メルカトル、メルカトル、ランバート等の投影が本明細書で可能であり予期される。或いは、擬円筒図法、方位図法、又は円錐図法も考えられる可能性である。

加えて又は或いは、各領域が同一の又は同様のビデオ情報量を含むように、（投影の種類に関係なく）３６０度のビュー球体を複数の領域に分割することができる。更に、領域間の相関を減らし又は最小化するためにそれらの領域を分割することができる。

例えば多くの３６０度ビデオにおいて、上部の視野は相対的に低い情報密度を含み得る広い面積の青空を含む。かかるシナリオでは、地平線に近い視野が多くの詳細を含み得る。そのため同様のビデオ情報量を含むようにビュー球体を分割する場合、より少ない（例えばより広い面積を有する）領域が上部の視野（又は情報密度が低い他の領域）に配置され得る。それに対して、地平線沿いの視野は（そのより高い情報密度に基づいて）更に狭い面積の領域へと分割することができる。

図１Ｃは、実施形態の一例による、３６０度ビデオフレームの正距円筒図法による投影の複数の領域１２０を示す。図１Ｃに示すように、上部の視野は相対的に広い面積の領域（例えば領域１２２）へと分割することができる。更に、地平線近くの視野は相対的に狭い面積の領域（例えば領域１２４）へと分割することができる。

図１Ｃでは特定の複数の領域１２０を示すが、３６０度ビデオフレームを分割する他の様々なやり方が可能であり予期されることが理解されよう。実施形態の一例では、各領域内のほぼ「等しい情報」を実現するために、投影した３６０度ビデオフレームを領域分割プロセスにかけることができる。例えば、ビデオのフレームごとにエントロピマップ（又は画素若しくは画素領域ごとの情報に基づく別の種類のマップ）を計算することができる。所与のビデオセグメント又はクリップのエントロピマップを画素ごとに平均することができる。この平均化プロセスは、所与のビデオセグメント又はクリップにわたる平均エントロピの二次元マップ：Ｅ（ｘ，ｙ）をもたらし得る。できる限り等しい画素情報の総量を有する複数の領域へとＥ（ｘ，ｙ）を分割するために、様々なアルゴリズム（リニアプログラミング、ダイナミックプログラミング、又は他の数値最適化アルゴリズム）を使用することができる。つまり、所与のビデオセグメント又はクリップのエントロピマップに基づき、同様の画素情報量を有する領域を作成するように領域の分割を行うことができる。この脈絡において本明細書で使用するとき、「同様の画素情報量」は各リージョナルストリームがほぼ同じ帯域幅要件（例えば１％又は５％の範囲内）を有することを含み得る。加えて又は或いは、「同様の画素情報量」はメモリサイズがほぼ同じである（例えばここでも１％又は５％の範囲内）リージョナルストリームを含み得る。そのため、リージョナル３６０度ビデオストリームをより効率的に扱うことができる。

一実施形態では、元の球体内でほぼ同じ領域を占める可能性がある複数の領域に矩形マップを分割することを提案する。それにより各領域がストリーミング中に同様のデータ量を運び、従ってストリームの質を改善する可能性が高い。この分割の一例を以下に示すが、他の領域のサイズ及び／又はマップ分割プロセスを含む実施形態も予期される。

図２は、実施形態の一例による立方体マップ２００を示す。図２に示すように、３６０°ビューは立方体マップ２００として表現することもできる。つまり、３６０°ビューを６個のビューに分割することができ、立方体マップ２００の側面ごとに１つのビューがある。更に、一例として立方体の各面を複数のタイルへと更に細分することができる。実施形態の一例では、Ｈ_ａ、Ｈ_ｂ、Ｈ_ｃ、．．．Ｈ_ｎと名付けることができるｎ個のリージョナルストリームへと元の３６０°ビデオストリームを分割することができる。加えて、システム及び方法は元の３６０°ビデオストリームを低解像度の３６０°ストリームＬにダウンサンプリングすることを含み得る。

かかるシナリオでは、複数のビデオ及び音声ストリームをストリーミングクライアントに提供することができる。ストリーミングクライアントは、スマートフォン上のアプリケーション、モバイルＶＲヘッドセット（例えばSamsung Gear VR）、テザーＶＲヘッドセット（例えばOculus Rift）、又は別の種類の計算装置若しくはディスプレイ装置を含み得る。

実施形態の一例では、システム又は方法がビュー方向に関する情報を受信することを含み得る。例えば、ビュー方向はＶＲヘッドセット上のセンサによって提供され得る。利用者の所与のビュー角度について、コントローラが少なくともそのビュー方向に対応する視野を対象範囲に含むｍ≦ｎであるｍ個の領域を決定し得る。例えば図２では矢印２０２が現在のビュー角度を示す。実施形態の一例では、現在のビュー角度に近いアクティブ領域（例えば領域ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、及びｉ）を利用者のビュー角度に対応する領域として識別することができる。これらのアクティブ領域２０４のストリームは「アクティブストリーム」と呼ぶことができる。対照的に、利用者のビュー角度から離れて位置する領域は「非アクティブ領域」２０６を含み得る。

一例として、クライアント装置（例えばＶＲヘッドセット）は１つ又は複数のサーバにアクティブストリームを要求することができる。かかるシナリオでは、クライアント装置が高解像度のアクティブストリームＨ_ａ、Ｈ_ｂ、Ｈ_ｃ、Ｈ_ｄ、Ｈ_ｅ、Ｈ_ｆ、Ｈ_ｇ、Ｈ_ｈ、及びＨ_ｉ、並びに低解像度のストリームＬを要求し、それに接続することができる。サーバは、それに応答してアクティブストリーム（例えばアクティブ領域２０４に対応するビデオストリーム）及び低解像度のストリームＬに関連するデータを提供することができる。従ってクライアント装置は、ビュー方向に対応するアクティブ領域に関係する高解像度のビデオデータ並びにビュー球体全体に対応する低解像度のビデオデータの両方をダウンロードすることができる。実施形態の一例では、ビュー方向に関係なく少なくともビュー球体全体の低解像度のビデオの表示を提供するために、ストリームＬ（例えば低解像度のビデオストリーム）が常に接続され得ることを指摘しておく。

本明細書に記載のシステム及び方法は、ストリームＬのデータを使用してビュー可能な３６０°ビデオをレンダリングすることを含み得る。更に、レンダリングは高解像度画素の「モザイク」を含むことができ、モザイクはビュー球体に沿ってその対応する領域に従って方向付けられた隣接するアクティブストリームをステッチすることによって形成され得る。実施形態の一例では、全てのレンダリングが時間の点で同期される。同期は１つ又は複数のタイムスタンプ又は別の種類のフレーム同期に基づいて実現することができる。

実施形態の一例では、ビュー方向の変化を検出することができる。つまり、クライアント装置（例えばＶＲヘッドセット）の角度は例えば見る人が自分の頭部を回転させ又は他のやり方で動かすことによって変わり得る。かかるビュー方向の変化が検出されると、更新されたビュー方向に基づいて１組の更新されたアクティブ領域が決定され得る。例えば図２に示すように、タイル「ｂ」を中心とするようにビュー角度が移動する場合、アクティブ領域はｂ、ｋ、ｌ、ｃ、ｄ、ａ、ｈ、ｉ、及びｊになる。ビュー方向の他の種類の変化も可能であり本明細書で予期される。

一実施形態では、低解像度の３６０°ビデオ及び対応するサウンドトラックが常に利用可能であり得ることを確実にするために、サウンドトラック（例えば音声ストリーム）を常に接続された低解像度のビデオストリームＬと組み合わせることができる。

別の実施形態では、サウンドトラックを別個のストリームを介して配信することができる。このストリームは常に接続されていても良く、その音声データはビデオデータと同期され、ビデオ画像と同期してレンダリング（再生）される。

Ｂ．ネットワークレイテンシ及び運動予測
一部のシナリオでは、高解像度のビデオがまだ利用可能ではない状態でビュー方向が新たなビュー領域に変わる場合がある。つまり、高解像度のビデオがビデオストリームを介してダウンロードされる前にヘッドセットが新たなビュー方向に動く場合がある。かかるシナリオでは、ヘッドセットのディスプレイが持続ストリームＬからの低解像度のビデオを一時的に表示することができ、そのデータは予めバッファに入れることができる。ストリームＬはクライアントに常に優先的に接続され得る。レイテンシは、利用者が最初のビュー角度から離れるときとヘッドセットにおいて適切な高解像度のビデオストリームが表示されているときとの間の期間として考えることができる。レイテンシが閾値を上回るようになる場合、高解像度のビデオストリームが同期するのを待つ間、低解像度のビデオストリームを見る人に提示することができる。このレイテンシ期間の間、見る人はストリームＬからの低解像度のフレームしか見ることができない。

一部の実施形態では、１つ又は複数の高解像度のビデオストリームが中断し、遅れ、又は破損する場合がある。かかるシナリオでは、１つ又は複数の高解像度のビデオストリームが回復するまでクライアント装置がストリームＬから低解像度のビデオを提供することができる。

加えて又は或いは、運動予測を使用してレイテンシを減らすことができる。例えば、クライアント装置の速度Ｖ及び／又は加速度Ａを提供するようにセンサを構成することができる。Ｖ及びＡから、Ｖ^＊ｔ＋０．５^＊Ａ^＊ｔ^＊ｔであるように時間ｔ内の角度変化を予測することができる。そのため、クライアント装置は対応するビデオストリームを事前に要求し、そのビデオストリームに事前に接続することができる。ビュー方向の複雑な軌道（例えば振動や他の種類の周期運動又は反復運動に基づく動き）を予測するために更に複雑な運動予測を使用することができる。他の実施形態では、ビデオコンテンツ自体に基づいて運動予測を行うことができる。例えばビデオコンテンツがテニスの試合を含む場合、見る人がテニスボールの飛ぶ方向を追いたい可能性があるという想定の下、運動予測アルゴリズムがビデオコンテンツ内のテニスボールの位置に基づいてビデオストリームを提供し得る。

実施形態の一例では、アクティブストリームが視野よりも幅広い領域を対象範囲に含む場合がある。かかるシナリオでは、視野が引き続き過去のアクティブ領域内にある限り、隣接する新たなアクティブ領域がロードされている間、利用者は高解像度のコンテンツを見ることができる。しかし、ビュー方向が短期間のうちに大きく変わる場合は利用者に（ストリームＬからの）低解像度のビデオコンテンツを提供することができる。言い換えれば、アクティブ領域を視野よりも大きくすることによってダウンロードレイテンシを減らすことができる。

一部の実施形態では、視野と比べたアクティブ領域の全体的なサイズが例えば要求されたビデオストリームの平均レイテンシに応じて変わり得る。そのためクライアント装置は、アクティブ領域のストリーム間を移動するとき表示品質と低レイテンシとのバランスをとる目的で視野に対するアクティブ領域のサイズ及び／又はアクティブ領域の解像度を動的に調節することができる。

別の実施形態では、ビュー方向が変わる可能性がより高い方向にアクティブストリームが（視野に対して）より幅広であり得る。例えば見る人がビュー方向を垂直にパンするよりも水平にパンする可能性がより高い（例えば砂浜からサーファーを見る）シナリオでは、アクティブ領域を垂直よりも水平に幅広とすることができる。

本明細書に記載の通り、アクティブストリームは複数の解像度を有し得る。例えば最も高い相対的解像度を有するとしてビュー方向に最も近いアクティブ領域を指定することができる。かかるシナリオでは、ビュー方向の軸から外向きに進み、他のアクティブ領域が中程度の方向を有し得る。また更に、全体的なアクティブ領域の最も外側の広がりの周囲にあるアクティブ領域は最も低い相対的解像度を有し得る。従って利用者が自分のビュー方向を変えるとき、その利用者は解像度が急に低下するのではなく、徐々に低下することに気付き得る。

Ｃ．ビデオのトランスコーディング及びストリーミング
図３は、実施形態の一例によるタイル状ビデオストリーム３００を示す。例えば図３に示すように、ストリーミングクライアントは複数のストリーミングソースと柔軟な数の接続を維持することができる。この設計では、元のビデオストリーム３０２が多くのリージョナルビデオストリーム３０４に分割されており、それらのリージョナルビデオストリーム３０４は様々なビットレート及びダウンサンプリングされた球体ストリーム３０６、Ｌを含み得る。そのため、クライアント装置はどのビデオストリームに接続するのか及びいつ接続するのかを決定することができる。図３に示すように、最初に元のビデオストリーミングをｎ個のリージョナルストリーム３０４又はタイルに分割する。その後、任意の特定の時間においてクライアントは１つ又は複数のリージョナルストリーム３０４に接続することに決めることができる。１つ又は複数のリージョナルストリーム３０４からの受信情報に基づき、クライアント装置はストリームされたタイルをレンダリングし、リージョナルストリーム３０４の少なくとも一部を利用者に表示することができる。更に、ダウンサンプリングされた球体ストリーム３０６を利用者に対してレンダリングし、リージョナルストリーム３０４と並行して、及び／又は例えば高レイテンシのネットワーク条件や不十分な帯域幅を理由に必要に応じて提供することができる。

図４は、実施形態の一例による概略的な通信図４００である。図４に示すように、クライアント４２０は固定数のＵＤＰ、ＴＣＰ／ＩＰ、又はＨＴＴＰ接続４３０を１つ又は複数のストリーミングサーバ４１０と維持することができる。ビュー方向が変わる又は更新される場合、新たな接続を初期設定することなしに既存のネットワーク接続４３０を再利用するように新たなリージョナルビデオストリーム４０２及び／又はダウンサンプリングされた球体ストリーム４０４をルーティングすることができる。この形態は効率を改善することができる、ネットワーク接続を初期設定する時間及びネットワークレイテンシを減らし又はなくすになる。

図５は、実施形態の一例による、トンネル接続を示す概略的な通信図５００である。この実施形態では、クライアント装置５２０がストリーミングサーバ５１０と単一のトンネルＴＣＰ／ＩＰ接続５３０を維持することができる。そのため、リージョナルビデオストリーム５０２及び低解像度のビデオストリームＬ５０４との接続がトンネル５３０内に含まれ得る。例えば、リージョナルストリーム５０２及び低解像度のストリーム５０４からのパケットを単一のトンネリングされた接続５３０へと統合するようにサーバ５１０上のプロキシ５１２を構成することができる。

図６は、実施形態の一例による、タイル及びトランスポーテーションセグメントを示す概略的なビデオ細分図６００である。この実施形態では、クライアントはビデオストリーミングサーバと１つのストリーミング接続だけを維持するように構成され得る。そのため本システム及び方法の下、ストリーミングサーバは複数のビデオストリーム及び／又は音声ストリームに関する情報を含む多重化ストリームを提供することができる。トランスコーディングのステップは以下の通り進み得る。

図６に示すように、最初に元のストリーム６０２をｍ個のリージョナルストリーム６０４又はタイルビデオに分割する。各リージョナルストリーム６０４は、固定長（例えば５００ミリ秒から２秒の間）のトランスポーテーション（又はトランスポート）セグメント６０６（ＴＳ）に更に細分することができる。各ＴＳ６０６はイントラ符号化画像（例えばＩフレーム）で始まることができ、予測フレーム（例えばＰフレーム）又はＩフレームで終わり得る。そのため、各トランスポートセグメント６０６は他のトランスポートセグメントからの情報なしに復号することができる。

実施形態の一例では、各ＴＳ６０６が固定数のフレームを含み得る。例えば、トランスポートセグメントは１６８個の個々のビデオフレームを含み得る。加えて又は或いは、一部の又は全てのトランスポートセグメントが音声フレームを含んでも良い。

図７は、実施形態の一例による、複数の細分されたビデオストリームを示す概略図７００である。ビュー方向又はビュー角度ごとに、メディアインデックスファイルを作成することができる。メディアインデックスファイルは、図７に示すように多重化ビデオストリーム内で情報がどのように配置されるのかに関する情報を含み得る。非限定的な例として、３つのアクティブ領域１、２、及び３が、それぞれ１秒の長さであるトランスポートセグメント７０２、７０４、及び７０６を提供し得る。つまり１秒単位で３つのアクティブ領域それぞれからの３つのＴＳ７０２、７０４、及び７０６がクライアントにストリーミングされる。この実施形態の一例では、各ビュー角度が１組の異なるアクティブ領域を有する。図７に示すように、例えば球体がＮ個の不連続なビュー角度を有すると想定すると、マスタインデックスファイルはＮ個のメディアインデックスファイルの連結を含み得る。例えばHTTP Live Streamingプロトコルでは、マスタインデックスファイルが「マスタプレイリスト」と呼ばれ、メディアインデックスファイルが「メディアプレイリスト」と呼ばれる。

図７では、全てのＴＳセグメントが重複又は冗長性なしに合計して元のストリーミングになることに留意されたい。そのようなやり方で複数のタイルビューを組み合わせることによって様々なアクティブ領域を提供し、トランスコーディングに著しい追加の記憶域が必要ではないように、タイルの組み合わせがインデックスファイルによって定められる。

クライアント側では、受信するビデオフレームごとにクライアントはフレームのタイル＃及びビデオ内の再生時間を以下の等式からタイムスタンプ（Ｔ）によって復号することができる。
Ｔ＝（ν×Ｔ_ν）＋（χ×Ｔ_χ）＋（ｃ×Ｔ_ｃ）＋（ｆ×Ｔ_ｆ）
但しｖはビューインデックスであり、ｘは１つのリージョナルストリーミング内のチャンクインデックスであり、ｃはタイルインデックスであり、ｆはＴＳセグメント内のフレームインデックスであり、Ｔ_ｖ＝ビデオ長であり（パディングはＴ_ｘの乗数（multiplier）である）、Ｔ_ｘ＝ｘチャンクの持続時間（図７では３秒）であり、Ｔｃ＝チャンクの持続時間（例えば１秒）であり、Ｔ_ｆ＝フレームの持続時間である。

加えて、Ｔ_ｖ、Ｔ_ｘ、Ｔ_ｃ、Ｔ_ｆはトランスコーディング時に知られており、以下の関係を有する：
Ｔｖ＝Ｔｘ^＊合計チャンク＃
Ｔｘ＝Ｔｃ^＊アクティブビュー＃
Ｔｃ＝Ｔｆ^＊ＴＳ内の合計フレーム＃
Ｔｆ＝各フレーム内に符号化され、概してフレームごとに一定である。

従って、クライアントはフレームタイムスタンプ（Ｔ）からｖ、ｘ、ｃ、及びｆを一意に導出することができる。

実施形態の一例では、見る人が自分のビュー角度を変えるときビューインデックスｖが変わる。上記のＴの方程式から、更新されたビュー角度（ビューインデックス）について新たなタイムスタンプＴを見つけることができる。かかるシナリオでは、更新されたタイムスタンプに基づいてサーバが新たなＴＳをストリームすることをクライアントが要求することができる。このシステム及び方法を使用し、クライアントは受信する全てのフレームを正しい画面位置にレンダリングすることができる。

図中に示す特定の構成は限定と見なすべきではない。他の実施形態は、所与の図中に示す各要素を更に多く又は少なく含み得ることを理解すべきである。更に、図示の要素の一部は組み合わせる又は省略することができる。また更に、例示的実施形態は図中に示されていない要素を含み得る。

情報を処理することを表すステップ又はブロックは、本明細書に記載した方法又は技法の特定の論理機能を実行するように構成され得る回路に対応することができる。或いは又は加えて、情報を処理することを表すステップ又はブロックはプログラムコード（関連データを含む）のモジュール、セグメント、又は一部に対応し得る。プログラムコードは、本方法又は技法内の特定の論理機能又はアクションを実装するためのプロセッサによって実行可能な１つ又は複数の命令を含み得る。プログラムコード及び／又は関連データは、ディスク、ハードドライブ、又は他の記憶媒体を含む記憶装置等の任意の種類のコンピュータ可読媒体上に記憶され得る。

コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、ランダムアクセスメモリ（ＲＡＭ）のように短期間にわたってデータを記憶するコンピュータ可読媒体等の非一時的コンピュータ可読媒体も含み得る。コンピュータ可読媒体は、プログラムコード及び／又はデータを長期間にわたって記憶する非一時的コンピュータ可読媒体も含み得る。従ってコンピュータ可読媒体は、例えば読取専用メモリ（ＲＯＭ）、光又は磁気ディスク、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）のような二次的又は永続的な長期記憶域を含み得る。コンピュータ可読媒体は他の任意の揮発性又は不揮発性記憶システムとすることもできる。コンピュータ可読媒体は例えばコンピュータ可読記憶媒体又は有形の記憶装置と考えることができる。

様々な例及び実施形態を開示してきたが、他の例及び実施形態が当業者に明らかになる。開示した様々な例及び実施形態は例示目的であり、限定であることは意図せず、真の範囲は添付の特許請求の範囲によって示す。

Claims (20)

1. システムであって、
   ディスプレイと、
   センサと、
   通信インタフェースと、
   メモリ及び少なくとも１個のプロセッサを含むコントローラと、
   ビューボリューム内のビュー方向を示す情報を前記センサから受信することであって、前記ビュー方向は視野に対応する、受信すること、
   前記ビュー方向に基づいて前記ビューボリューム内の複数のビュー可能領域から複数のアクティブ領域を決定すること、
   前記通信インタフェースを介して、前記複数のアクティブ領域に対応する複数のビデオストリームに接続すること、
   前記複数のアクティブ領域に対応する第１のビデオ情報を前記複数のビデオストリームを介して受信すること、
   ３６０°の視野に対応する第２のビデオ情報を受信することであって、前記第１のビデオ情報は前記第２のビデオ情報よりも高い解像度を有する、受信すること、
   前記複数のアクティブ領域内で前記第１のビデオ情報に基づいて且つ前記複数のアクティブ領域の外側の前記ビューボリュームの領域内で前記第２のビデオ情報に基づいて３６０°ビデオをレンダリングすること、及び
   前記視野に対応する前記３６０°ビデオの少なくとも一部を前記ディスプレイによって表示すること
   を含む動作を行うために前記メモリ内に記憶され、前記少なくとも１個のプロセッサによって実行可能なプログラム命令と
   を含む、システム。
2. 前記動作が、
   更新されたビュー方向を示す情報を前記センサから受信することであって、前記更新されたビュー方向は更新された視野に対応する、受信すること、
   前記更新されたビュー方向に基づいて前記ビューボリューム内の複数のビュー可能領域から複数の更新されたアクティブ領域を決定すること、
   前記複数の更新されたアクティブ領域に対応しない少なくとも１つのビデオストリームを切断すること、
   前記通信インタフェースを介して、前記複数の更新されたアクティブ領域に対応する複数の更新されたビデオストリームに接続すること、
   前記複数の更新されたアクティブ領域に対応する更新されたビデオ情報を前記複数の更新されたビデオストリームを介して受信すること、
   前記複数の更新されたアクティブ領域内で前記更新されたビデオ情報に基づいて且つ前記複数の更新されたアクティブ領域の外側の前記ビューボリュームの領域内で前記第２のビデオ情報に基づいて、更新された３６０°ビデオをレンダリングすること、及び
   前記更新された視野に対応する前記更新された３６０°ビデオの少なくとも一部を前記ディスプレイによって表示すること
   を更に含む、請求項１に記載のシステム。
3. 請求項１に記載のシステムであって、
   前記動作が、
   前記システムの動きを示す情報を前記センサから受信すること、及び
   前記システムの前記動きに基づいて予測される変化率又は予測される動きを決定することであって、前記複数のアクティブ領域を決定することが前記予測される変化率又は予測される動きに更に基づく、決定すること
   を更に含む、システム。
4. 前記複数のアクティブ領域が前記視野よりも前記ビューボリュームの大きい部分を含む、請求項１に記載のシステム。
5. 前記第１のビデオ情報及び前記第２のビデオ情報を表示することが時間の点で同期される、請求項１に記載のシステム。
6. 前記動作が、
   前記通信インタフェースを介して、少なくとも１つの音声ストリームに接続すること、
   前記少なくとも１つの音声ストリームを介してサウンドトラックを受信すること、及び
   前記第１のビデオ情報及び前記第２のビデオ情報と同期して前記サウンドトラックを再生すること
   を更に含む、請求項１に記載のシステム。
7. 少なくとも前記ディスプレイ及びセンサが仮想現実ヘッドセットに組み込まれる、請求項１に記載のシステム。
8. 前記複数のビデオストリームに接続することが少なくとも１つのＵＤＰ、ＴＣＰ／ＩＰ、又はＨＴＴＰ接続によって少なくとも１つのストリーミングサーバに接続することを含む、請求項１に記載のシステム。
9. 前記複数のビデオストリームに接続することが１つのトンネルＵＤＰ、ＴＣＰ／ＩＰ、又はＨＴＴＰ接続によってストリーミングサーバに接続することを含む、請求項１に記載のシステム。
10. 前記複数のビデオストリームに接続することが多重化ネットワーク接続によってストリーミングサーバに接続することを含み、前記多重化ネットワーク接続は前記第１のビデオ情報からの固定長のトランスポーテーションセグメントを通信するように構成されるネットワーク接続を含む、請求項１に記載のシステム。
11. システムであって、
    通信インタフェースと、
    メモリ及び少なくとも１個のプロセッサを含むコントローラと、
    ３６０°ビデオストリームを複数のリージョナルストリームに分割すること、
    前記３６０°ビデオストリームをダウンサンプリングして低解像度の３６０°ビデオストリームを提供すること、
    前記通信インタフェースを介して要求を受信することであって、前記要求は少なくとも１つのアクティブ領域を含む、受信すること、
    前記通信インタフェースを介して、前記少なくとも１つのアクティブ領域に対応する少なくとも１つのリージョナルストリームを提供すること、及び
    前記通信インタフェースを介して、前記低解像度の３６０°ビデオストリームを提供すること
    を含む動作を行うために前記メモリ内に記憶され、前記少なくとも１個のプロセッサによって実行可能なプログラム命令と
    を含む、システム。
12. 前記動作が、前記通信インタフェースを介して、少なくとも１つの音声ストリームを提供することであって、前記通信インタフェースは少なくとも１つのクライアント装置との少なくとも１つのネットワーク接続又は少なくとも１つのクライアント装置との少なくとも１つのトンネルＴＣＰ接続のうちの少なくとも１つを含む、提供することを更に含む、請求項１１に記載のシステム。
13. 前記３６０°ビデオストリームを前記複数のリージョナルストリームに分割することが、
    前記３６０°ビデオストリームの少なくとも一部のフレームごとにエントロピマップを計算すること、
    平均エントロピマップを提供するために前記３６０°ビデオストリームの一部分に対応する前記エントロピマップを画素ごとに平均することであって、前記平均エントロピマップは平均画素情報を示す、平均すること、及び
    前記平均エントロピマップを複数の領域に分割することであって、各領域は同様の画素情報量を有し、前記複数のリージョナルストリームは前記複数の領域に対応する、分割すること
    を含む、請求項１１に記載のシステム。
14. 前記平均エントロピマップを複数の領域に分割することが、リニアプログラミング、ダイナミックプログラミング、又は少なくとも１つの数値最適化アルゴリズムのうちの少なくとも１つを使用して行われる、請求項１３に記載のシステム。
15. 前記通信インタフェースが少なくとも１つのクライアント装置との多重化ネットワーク接続を含み、前記少なくとも１つのリージョナルストリームを提供することが、前記低解像度の３６０°ビデオストリームからの固定長のトランスポーテーションセグメント及び前記少なくとも１つのアクティブ領域に対応する前記少なくとも１つのリージョナルストリームを提供することを含む、請求項１１に記載のシステム。
16. 方法であって、
    ビューボリューム内のビュー方向を示す情報をセンサから受信することであって、前記ビュー方向は視野に対応する、受信すること、
    前記ビュー方向に基づいて前記ビューボリューム内の複数のビュー可能領域から複数のアクティブ領域を決定すること、
    通信インタフェースを介して、前記複数のアクティブ領域に対応する複数のビデオストリームに接続すること、
    前記複数のアクティブ領域に対応する第１のビデオ情報を前記複数のビデオストリームを介して受信すること、
    ３６０°の視野に対応する第２のビデオ情報を受信することであって、前記第１のビデオ情報は前記第２のビデオ情報よりも高い解像度を有する、受信すること、
    前記複数のアクティブ領域内で前記第１のビデオ情報に基づいて且つ前記複数のアクティブ領域の外側の前記ビューボリュームの領域内で前記第２のビデオ情報に基づいて３６０°ビデオをレンダリングすること、及び
    前記視野に対応する前記３６０°ビデオの少なくとも一部をディスプレイによって表示すること
    を含む、方法。
17. 更新されたビュー方向を示す情報を前記センサから受信することであって、前記更新されたビュー方向は更新された視野に対応する、受信すること、
    前記更新されたビュー方向に基づいて前記ビューボリューム内の複数のビュー可能領域から複数の更新されたアクティブ領域を決定すること、
    前記複数の更新されたアクティブ領域に対応しない少なくとも１つのビデオストリームを切断すること、
    前記通信インタフェースを介して、前記複数の更新されたアクティブ領域に対応する複数の更新されたビデオストリームに接続すること、
    前記複数の更新されたアクティブ領域に対応する更新されたビデオ情報を前記複数の更新されたビデオストリームを介して受信すること、
    前記複数の更新されたアクティブ領域内で前記更新されたビデオ情報に基づいて且つ前記複数の更新されたアクティブ領域の外側の前記ビューボリュームの領域内で前記第２のビデオ情報に基づいて、更新された３６０°ビデオをレンダリングすること、及び
    前記更新された視野に対応する前記更新された３６０°ビデオの少なくとも一部を前記ディスプレイによって表示すること
    を更に含む、請求項１６に記載の方法。
18. 前記通信インタフェースを介して、少なくとも１つの音声ストリームに接続すること、
    前記少なくとも１つの音声ストリームを介してサウンドトラックを受信すること、及び
    前記第１のビデオ情報及び前記第２のビデオ情報と同期して前記サウンドトラックを再生すること
    を更に含む、請求項１６に記載の方法。
19. 前記複数のビデオストリームに接続することが、１つのトンネルＴＣＰ又はＨＴＴＰ接続によってストリーミングサーバに接続することを含む、請求項１６に記載の方法。
20. 前記複数のビデオストリームに接続することが多重化ネットワーク接続によってストリーミングサーバに接続することを含み、前記多重化ネットワーク接続は前記第１のビデオ情報からの固定長のトランスポーテーションセグメントを通信するように構成される、請求項１６に記載の方法。