JP2020501436A5

JP2020501436A5 -

Info

Publication number: JP2020501436A5
Application number: JP2019529241A
Authority: JP
Filing date: 2017-12-01
Publication date: 2020-07-27
Anticipated expiration: 2037-12-01

Claims

ビデオデータを処理する方法であって、
360度ビデオデータに関連するメディアファイルを取得するステップであって、前記360度ビデオデータが、シーンの球形表現を含み、前記メディアファイルが、前記球形表現における関心領域(ROI)に対応するビューポート領域の第1のシグナリング情報および第2のシグナリング情報を含み、前記第1のシグナリング情報が、前記球形表現に関連する球形空間の中で測定された前記ビューポート領域の中心位置および寸法を含み、前記第2のシグナリング情報が、前記ROIを含む前記球形表現を平面上に投影することによって形成されるピクチャの、前記ビューポート領域を含む領域を示し、前記ピクチャが複数のタイルを含む、ステップと、
前記第1のシグナリング情報および第2のシグナリング情報に基づいて、前記ピクチャのデータから前記ビューポート領域に対応するピクセルを抽出するステップと、
前記ビューポート領域を表示用にレンダリングするために前記ピクセルを提供するステップと
を備え、
前記第2のシグナリング情報が、前記ビューポート領域を含む、前記複数のタイルのうちのタイルの最小セットを識別し、
前記最小セットが、前記ビューポート領域に対応する前記ピクセルの全部を含む、前記複数のタイルのうちの最も少ないタイルのセットである、方法。
前記第1のシグナリング情報が、前記シーンの前記球形表現の球中心に対する前記ビューポート領域の中心の第1の角度および第2の角度を含み、前記第1の角度が第1の平面上に形成され、前記第2の角度が第2の平面上に形成され、前記第1の平面が前記第2の平面に直交する、請求項1に記載の方法。
前記第1のシグナリング情報が、前記ビューポート領域の幅に関連する第3の角度、および前記ビューポート領域の高さに関連する第4の角度をさらに含む、請求項1に記載の方法。
前記第3の角度が、前記ビューポート領域の第1の縁部と第2の縁部との間に形成され、前記第4の角度が、前記ビューポート領域の第3の縁部と第4の縁部との間に形成される、請求項3に記載の方法。
前記ROIが、前記球形表現と交差する少なくとも4つの平面によって画定され、前記4つの平面の各々が、前記球中心とも交差する、請求項2に記載の方法。
前記球形表現との前記少なくとも4つの平面の前記交差に基づいて前記ビューポート領域の形状をさらに決定する請求項5に記載の方法。
前記ビューポート領域に対応する前記ピクセルが、前記形状に基づいて抽出される、請求項6に記載の方法。
抽出するステップが、前記第1のシグナリング情報を使用して、前記識別された最小セット内のビューポートの境界を決定するステップを含む、請求項1に記載の方法。
前記第2のシグナリング情報が、前記ピクチャの中の1つまたは複数のタイルに関連する1つまたは複数の座標を含む、請求項1に記載の方法。
1つまたは複数のタイルが、タイルグループを形成し、前記第2のシグナリング情報が、前記タイルグループに関連するグループ識別子を含む、請求項1に記載の方法。
前記複数のタイルが動き制約付きタイルである、請求項1に記載の方法。
前記第2のシグナリング情報が、前記ROIを平面上に投影することによって形成されるビューポート領域内の事前決定されたロケーションに関連するピクセル座標、前記ビューポート領域の幅、および前記ビューポート領域の高さを含む、請求項1に記載の方法。
前記メディアファイルが、国際標準化機構(ISO)ベースメディアファイルフォーマット(ISOBMFF)に基づく、請求項1に記載の方法。
前記メディアファイルが、前記シーンの前記球形表現に対応するビデオサンプルを含むサンプルグループを識別し、前記第1のシグナリング情報および前記第2のシグナリング情報が、前記サンプルグループの1つまたは複数のシンタックス要素の中に含まれる、請求項13に記載の方法。
前記メディアファイルが、メディアプレゼンテーション記述(MPD)フォーマットに基づくとともに1つまたは複数の適合セットを含み、
前記1つまたは複数の適合セットの各々が、1つまたは複数の表現を含み、
前記第1のシグナリング情報、前記第2のシグナリング情報、および前記ピクチャへのリンクが、前記1つまたは複数の表現の中に含まれる前記ROIに関連する1つまたは複数の要素の中に含まれ、
前記方法が、前記メディアファイルの中に含まれる前記リンクに基づいて前記ピクチャを取得するステップを備える、
請求項1に記載の方法。
前記1つまたは複数の表現が、タイルベース表現であり、前記第2のシグナリング情報が、前記タイルベース表現の中に含まれる前記ROIを含むタイルに関連する識別子を含む、請求項15に記載の方法。
前記シーンの前記球形表現が、直線的投影を使用して前記平面上に投影される、請求項1に記載の方法。
前記第1のシグナリング情報および前記第2のシグナリング情報に基づいて前記ピクチャから複数のROIのピクセルを抽出するステップをさらに備える請求項1に記載の方法。
ビデオデータを処理するための装置であって、
360度ビデオデータを記憶するように構成されたメモリと、
プロセッサとを備え、前記プロセッサが、
前記360度ビデオデータに関連するメディアファイルを取得することであって、前記360度ビデオデータが、シーンの球形表現を含み、前記メディアファイルが、前記球形表現における関心領域(ROI)に対応するビューポート領域の第1のシグナリング情報および第2のシグナリング情報を含み、前記第1のシグナリング情報が、前記球形表現に関連する球形空間の中で測定された前記ビューポート領域の中心位置および寸法を含み、前記第2のシグナリング情報が、前記ROIを含む前記球形表現を平面上に投影することによって形成されるピクチャの、前記ビューポート領域を含む領域を示し、前記ピクチャが複数のタイルを含む、ことと、
前記第1のシグナリング情報および第2のシグナリング情報に基づいて、前記ピクチャのデータから前記ビューポート領域に対応するピクセルを抽出することと、
前記ビューポート領域を表示用にレンダリングするために前記ピクセルを提供することとを行うように構成され、
前記第2のシグナリング情報が、前記ビューポート領域を含む、前記複数のタイルのうちのタイルの最小セットを識別し、
前記最小セットが、前記ビューポート領域に対応する前記ピクセルの全部を含む、前記複数のタイルのうちの最も少ないタイルのセットである、装置。
前記プロセッサが、
前記シーンの前記球形表現の球中心に対する前記ビューポート領域の中心の第1の角度および第2の角度を前記第1のシグナリング情報から決定するようにさらに構成され、前記第1の角度が第1の平面上に形成され、前記第2の角度が第2の平面上に形成され、前記第1の平面が前記第2の平面に直交する、
請求項19に記載の装置。
前記プロセッサが、
前記ビューポート領域の幅に関連する第3の角度、および前記ビューポート領域の高さに関連する第4の角度を、前記第1のシグナリング情報から決定するようにさらに構成される、
請求項19に記載の装置。
第3の角度が、前記ビューポート領域の第1の縁部と第2の縁部との間に形成され、第4の角度が、前記ビューポート領域の第3の縁部と第4の縁部との間に形成される、請求項20に記載の装置。
前記ROIが、前記球形表現と交差する少なくとも4つの平面によって画定され、前記4つの平面の各々が、球中心とも交差する、請求項19に記載の装置。
前記プロセッサが、前記球形表現との前記少なくとも4つの平面の前記交差に基づいて前記ビューポート領域の形状を決定するようにさらに構成される、請求項23に記載の装置。
前記プロセッサが、前記ビューポート領域に対応する前記ピクセルを前記形状に基づいて抽出するように構成される、請求項24に記載の装置。
前記ピクセルを抽出するように構成された前記プロセッサが、前記第1のシグナリング情報を使用して、前記識別された最小セット内のビューポートの境界を決定するようにさらに構成される、請求項19に記載の装置。
前記プロセッサが、前記ピクチャの中の1つまたは複数のタイルに関連する1つまたは複数の座標を前記第2のシグナリング情報から決定するようにさらに構成される、請求項19に記載の装置。
1つまたは複数のタイルが、タイルグループを形成し、前記プロセッサが、前記タイルグループに関連するグループ識別子を前記第2のシグナリング情報から決定するようにさらに構成される、請求項19に記載の装置。
前記複数のタイルが動き制約付きタイルである、請求項19に記載の装置。
前記プロセッサが、前記ROIを平面上に投影することによって形成されるビューポート領域内の事前決定されたロケーションに関連するピクセル座標、前記ビューポート領域の幅、および前記ビューポート領域の高さを、前記第2のシグナリング情報から決定するようにさらに構成される、請求項19に記載の装置。
前記メディアファイルが、国際標準化機構(ISO)ベースメディアファイルフォーマット(ISOBMFF)に基づく、請求項19に記載の装置。
前記メディアファイルが、前記シーンの前記球形表現に対応するビデオサンプルを含むサンプルグループを識別し、前記プロセッサが、前記サンプルグループの1つまたは複数のシンタックス要素から前記第1のシグナリング情報および前記第2のシグナリング情報を抽出するようにさらに構成される、請求項31に記載の装置。
前記メディアファイルが、メディアプレゼンテーション記述(MPD)フォーマットに基づくとともに1つまたは複数の適合セットを含み、
前記1つまたは複数の適合セットの各々が、1つまたは複数の表現を含み、
前記プロセッサが、
前記1つまたは複数の表現の中に含まれる前記ROIに関連する1つまたは複数の要素に基づいて、前記第1のシグナリング情報、前記第2のシグナリング情報、および前記ピクチャへのリンクを決定し、
前記メディアファイルの中に含まれる前記リンクに基づいて前記ピクチャを取得するようにさらに構成される、
請求項19に記載の装置。
前記1つまたは複数の表現が、タイルベース表現であり、前記プロセッサが、前記タイルベース表現の中に含まれる前記ROIを含むタイルに関連する識別子を前記第2のシグナリング情報に基づいて決定するように構成される、請求項33に記載の装置。
前記シーンの前記球形表現が、直線的投影を使用して前記平面上に投影される、請求項19に記載の装置。
前記プロセッサが、前記第1のシグナリング情報および前記第2のシグナリング情報に基づいて前記ピクチャから複数のROIのピクセルを抽出するようにさらに構成される、請求項19に記載の装置。
前記360度ビデオデータをキャプチャするための1つまたは複数のカメラを有するモバイルデバイスを備える請求項19に記載の装置。
前記ビューポート領域をレンダリングするためのディスプレイを備える請求項19に記載の装置。
命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
360度ビデオデータに関連するメディアファイルを取得することであって、前記360度ビデオデータが、シーンの球形表現を含み、前記メディアファイルが、前記球形表現における関心領域(ROI)に対応するビューポート領域の第1のシグナリング情報および第2のシグナリング情報を含み、前記第1のシグナリング情報が、前記球形表現に関連する球形空間の中で測定された前記ビューポート領域の中心位置および寸法を含み、前記第2のシグナリング情報が、前記ROIを含む前記球形表現を平面上に投影することによって形成されるピクチャの、前記ビューポート領域を含む領域を示し、前記ピクチャが複数のタイルを含む、ことと、
前記第1のシグナリング情報および第2のシグナリング情報に基づいて、前記ピクチャのデータから前記ビューポート領域に対応するピクセルを抽出することと、
前記ビューポート領域を表示用にレンダリングするために前記ピクセルを提供することとをさせ、
前記第2のシグナリング情報が、前記ビューポート領域を含む、前記複数のタイルのうちのタイルの最小セットを識別し、
前記最小セットが、前記ビューポート領域に対応する前記ピクセルの全部を含む、前記複数のタイルのうちの最も少ないタイルのセットである、非一時的コンピュータ可読記憶媒体。
ビデオデータを処理する方法であって、
360度ビデオデータを取得するステップであって、前記360度ビデオデータが、シーンの球形表現を含む、ステップと、
前記シーンの前記球形表現における関心領域(ROI)を決定するステップと、
前記ROIに対応するビューポート領域の第1のシグナリング情報および第2のシグナリング情報を含むメディアファイルを生成するステップであって、前記第1のシグナリング情報が、前記球形表現に関連する球形空間の中で測定された前記ビューポート領域の中心位置および寸法を含み、前記第2のシグナリング情報が、前記ROIを含む前記球形表現を平面上に投影することによって形成されるピクチャの、前記ビューポート領域を含む領域を示し、前記ピクチャが複数のタイルを含む、ステップと、
前記360度ビデオデータをレンダリングするために、または少なくとも前記ROIを含む前記360度ビデオデータの一部分の送信のために、前記メディアファイルを提供するステップと
を備え、
前記第2のシグナリング情報が、前記ビューポート領域を含む、前記複数のタイルのうちのタイルの最小セットを識別し、
前記最小セットが、前記ビューポート領域に対応するピクセルの全部を含む、前記複数のタイルのうちの最も少ないタイルのセットである、方法。
ビデオデータを処理するための装置であって、
360度ビデオデータを記憶するように構成されたメモリと、
プロセッサとを備え、前記プロセッサが、
360度ビデオデータを取得することであって、前記360度ビデオデータが、シーンの球形表現を含むことと、
前記シーンの前記球形表現における関心領域(ROI)を決定することと、
前記ROIに対応するビューポート領域の第1のシグナリング情報および第2のシグナリング情報を含むメディアファイルを生成することであって、前記第1のシグナリング情報が、前記球形表現に関連する球形空間の中で測定された前記ビューポート領域の中心位置および寸法を含み、前記第2のシグナリング情報が、前記ROIを含む前記球形表現を平面上に投影することによって形成されるピクチャの、前記ビューポート領域を含む領域を示し、前記ピクチャが複数のタイルを含む、ことと、
前記360度ビデオデータをレンダリングするために、または少なくとも前記ROIを含む前記360度ビデオデータの一部分の送信のために、前記メディアファイルを提供することとを行うように構成され、
前記第2のシグナリング情報が、前記ビューポート領域を含む、前記複数のタイルのうちのタイルの最小セットを識別し、
前記最小セットが、前記ビューポート領域に対応するピクセルの全部を含む、前記複数のタイルのうちの最も少ないタイルのセットである、装置。
命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
360度ビデオデータを取得することであって、前記360度ビデオデータが、シーンの球形表現を含むことと、
前記シーンの前記球形表現における関心領域(ROI)を決定することと、
前記ROIに対応するビューポート領域の第1のシグナリング情報および第2のシグナリング情報を含むメディアファイルを生成することであって、前記第1のシグナリング情報が、前記球形表現に関連する球形空間の中で測定された前記ビューポート領域の中心位置および寸法を含み、前記第2のシグナリング情報が、前記ROIを含む前記球形表現を平面上に投影することによって形成されるピクチャの、前記ビューポート領域を含む領域を示し、前記ピクチャが複数のタイルを含む、ことと、
前記360度ビデオデータをレンダリングするために、または少なくとも前記ROIを含む前記360度ビデオデータの一部分の送信のために、前記メディアファイルを提供することとをさせ、
前記第2のシグナリング情報が、前記ビューポート領域を含む、前記複数のタイルのうちのタイルの最小セットを識別し、
前記最小セットが、前記ビューポート領域に対応するピクセルの全部を含む、前記複数のタイルのうちの最も少ないタイルのセットである、非一時的コンピュータ可読記憶媒体。