JP2020508618A - マルチビュービデオのためのビデオ符号化技術 - Google Patents

Abstract

立方体マップ画像としてキャプチャされるビデオを符号化して復号するための技術が開示される。これらの技術によれば、パディングされた基準画像が、入力データを予測する間に使用するために生成される。基準画像は、立方体マップフォーマットで記憶される。パディングされた基準画像は、基準画像から生成され、その中には基準画像に含まれる第１のビューの画像データが複製されて立方体マップ画像に含まれる第２のビューに隣接して配置される。入力画像の画素ブロックを符号化すると、予測検索は入力画素ブロックとパディングされた基準画像のコンテンツの間で実行することができる。予測検索が一致を識別すると、画素ブロックはパディングされた基準画像からの一致しているデータに関して符号化することができる。パディングされた基準画像の複製されたデータの存在は、十分な予測一致が入力画素ブロックデータに対して識別されるという可能性を増加させると考えられ、それはビデオ符号化の全体的な効率を上昇させる。【選択図】図５

Description

本開示は、マルチビュー撮像システムの符号化／復号システムに関し、特に、最初はマルチビュー画像データのための平坦な画像用に開発された符号化技術の使用に関する。

ビデオ符号化システムは、通常はビデオコンテンツの空間及び／又は時間的冗長性を利用することによって、ビデオ信号の帯域幅を減らした。入力データの所与の部分（便宜上「画素ブロック」と呼ばれる）は、類似のコンテンツを識別するために、以前に符号化された画像と比較される。検索が適切な一致を識別する場合、入力画素ブロックは一致しているデータ（「基準ブロック」）に関して以前の画像から差分的に符号化される。多くの最新の符号化プロトコル、例えばＩＴＵ−Ｔ Ｈ．２６５、Ｈ．２６４、Ｈ．２６３及びそれらの先行プロトコルは、これらの基本原則の周辺で設計されている。

このようなビデオ符号化プロトコルは画像データが「平面である」という仮定で動作し、これは、画像コンテンツが連続的な二次元の視野を表すことを意味する。しかしながら、これらの仮定の下で作動しない最新のビデオシステムが開発されつつある。

マルチビュー撮像は、画像データが平坦ではない１つのアプリケーションである。マルチビュー撮像システムによって生成される画像は、画像データの二次元アレイの画像データを表すことができるが、画像の中に含まれる画像データに空間的不連続性が存在することがあり得る。自由空間における比較的小さいオブジェクト運動は、オブジェクトを表す画像データの中での大きい空間移動によって表すことができる。したがって、最新の符号化システムは、これらの運動の例を差分符号化の機会として認識できない場合がある。このような現象を認識することができないことによって、このような符号化システムは、それらが可能であろうと思われるほど効率的には画像データを符号化しない。

したがって、本発明者らは、符号化システムを改善して、マルチビュー画像データにおいて生じ得る運動効果に適応する必要性を認識した。

本開示の実施形態での使用に適したシステムを示す。 本開示の一実施形態に係る符号化システムの機能ブロック図である。 例示的な立方体マップ画像及び自由空間の画像コンテンツとのその関係を示す。 例示的な立方体マップ画像及び自由空間の画像コンテンツとのその関係を示す。 例示的な立方体マップ画像及び自由空間の画像コンテンツとのその関係を示す。 本開示の一実施形態に係る方法を示す。 本開示の一実施形態に係るパディングされた立方体マップ画像を示す。 本開示の一実施形態に係る、別の例示的な立方体マップ画像及びそこから生成され得るパディングされた画像を示す。 本開示の一実施形態に係る、別の例示的な立方体マップ画像及びそこから生成され得るパディングされた画像を示す。 本開示の別の実施形態に係る方法を示す。 例示的な立方体マップ画像を示す。 本開示の実施形態によって符号化され得る例示的なパディングされた基準画像を示す。 本開示の実施形態によって符号化され得る例示的なパディングされた基準画像を示す。 別の例示的な立方体マップ画像及び自由空間の画像コンテンツとのその関係を示す。 本開示の一実施形態に係る、マルチビュー画像データの例示的な投影を示す。 本開示の一実施形態に係る、マルチビュー画像データの例示的な投影を示す。 本開示の一実施形態に係る、マルチビュー画像データの例示的な投影を示す。 本開示の一実施形態に係る、マルチビュー画像データの例示的な投影を示す。 本開示の一実施形態に係る、球面投影画像データと共に使用されるパディングデータの適用を示す。 本開示の一実施形態に係る、球面投影画像データと共に使用されるパディングデータの適用を示す。 本開示の一実施形態に係る、球面投影画像データと共に使用されるパディングデータの適用を示す。 本開示の一実施形態に係る、球面投影画像データと共に使用されるパディングデータの適用を示す。 本開示の一実施形態に係る、球面投影画像データと共に使用されるパディングデータの適用を示す。 本開示の一実施形態に係る方法を示す。 図１２の方法及びそのための球面投影によって処理され得る例示的な正距円筒画像を示す。 図１２の方法及びそのための球面投影によって処理され得る例示的な正距円筒画像を示す。 本開示の一実施形態に係る符号化システムの機能ブロック図である。 本開示の一実施形態に係る復号システムの機能ブロック図である。 本開示の実施形態での使用に適した例示的コンピュータシステムを示す。

本開示の実施形態は、立方体マップ画像用のビデオ符号化／復号技術を提供する。これらの技術によれば、パディングされた基準画像が、入力データを予測する間に使用するために生成される。基準画像は、立方体マップフォーマットで記憶される。パディングされた基準画像は、基準画像から生成され、その中には基準画像に含まれる第１のビューの画像データが複製されて立方体マップ画像に含まれる第２のビューに隣接して配置される。入力画像の画素ブロックを符号化すると、予測検索は入力画素ブロックとパディングされた基準画像のコンテンツの間で実行することができる。予測検索が一致を識別すると、画素ブロックはパディングされた基準画像からの一致しているデータに関して符号化することができる。パディングされた基準画像の複製されたデータの存在は、十分な予測一致が入力画素ブロックデータに対して識別されるという可能性を増加させると考えられ、それはビデオ符号化の全体的な効率を上昇させる。

図１は、本開示の実施形態が使用され得るシステム１００を示す。システム１００は、ネットワーク１３０を介して相互接続される少なくとも２つの端末１１０〜１２０を含むことができる。第１の端末１１０は、マルチビュービデオを生成する画像ソースを有することができる。端末１１０は、符号化システム及び伝送システム（図示せず）も含んで、マルチビュービデオの符号化表現を第２の端末１２０に送信することができ、そこで、それは消費されてもよい。例えば、第２の端末１２０は、マルチビュービデオをローカルディスプレイ上に表示することができ、それはマルチビュービデオを修正するためにビデオ編集プログラムを実行することができるか、又はマルチビューをアプリケーション（例えば、仮想現実プログラム）に組み込むことができ、ヘッドマウントディスプレイ（例えば、仮想現実アプリケーション）に表すことができ、又は、それは後で使用するためにマルチビュービデオを記憶することができる。

図１は、第１の端末１１０から第２の端末１２０へのマルチビュービデオの一方向送信に適したコンポーネントを示す。いくつかの用途で、ビデオデータの双方向性の交換を提供することは適切であり得て、この場合、第２の端末１２０はそれ自身の画像ソース、ビデオ符号器及び送信器（図示せず）を含むことができ、第１の端末１１０はそれ自身の受信機及びディスプレイ（これも図示せず）を含むことができる。マルチビュービデオを双方向に交換することが望ましい場合、以下に述べられる技術はマルチビュービデオの一対の独立した一方向交換を生成するために繰り返すことができる。他の用途では、マルチビュービデオを一方向へ（例えば、第１の端末１１０から第２の端末１２０へ）送信して、「平面」ビデオ（例えば、限られた視野からのビデオ）を逆方向に送信することは、差し支えない。

図１において、第２の端末１２０はコンピュータディスプレイとして示すが、本開示の原理はそのように限定されるわけではない。本開示の実施形態は、ラップトップコンピュータ、タブレット型コンピュータ、スマートフォン、サーバ、メディアプレーヤ、仮想現実頭部装着ディスプレイ、拡張現実ディスプレイ、ホログラムディスプレイ及び／又は専用のテレビ会議装置での用途がある。ネットワーク１３０は、例えば、有線及び／又は無線通信ネットワークを含む端末１１０〜１２０の中の符号化ビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク１３０は、回線交換及び／又はパケット交換チャネルのデータを交換することができる。代表的なネットワークとしては、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク及び／又はインターネットを挙げることができる。本説明の目的上、ネットワーク１３０のアーキテクチャ及びトポロジは、以下に説明されない限り、本開示の動作にとって重要ではない。

図２は、本開示の一実施形態に係る符号化システム２００の機能ブロック図である。システム２００は、画像ソース２１０、画像処理システム２２０、ビデオ符号器２３０、ビデオ復号器２４０、基準ピクチャ記憶２５０、予測器２６０、パディングユニット２７０及び、任意選択的に、一対の球面変換ユニット２８０．１、２８０．２を含むことができる。画像ソース２１０はマルチビュー画像として画像データを生成することができ、複数の方向に基準点周辺で拡がる視野の画像データを含む。画像処理システム２２０は必要に応じて画像ソース２１０から画像データを変換することができて、ビデオ符号器２３０の要件に適合する。ビデオ符号器２３０は、通常画像データの空間及び／又は時間的冗長性を利用することによって、その入力画像データの符号化表現を生成することができる。ビデオ符号器２３０は、送信され、及び／又は格納されるときに、入力データより少ない帯域幅を消費する入力データの符号化表現を出力することができる。

ビデオ復号器２４０は、ビデオエンコーダ２３０によって実行された符号化動作を反転することができて、符号化ビデオデータから再構成されたピクチャを取得する。通常、ビデオ符号器２３０によって適用される符号化処理は損失性プロセスであり、それによって、再構成されたピクチャは元のピクチャと比較されるときに、種々のエラーを有することになる。ビデオ復号器２４０は、「基準ピクチャ」と呼ばれる選択された符号化ピクチャのピクチャを再構成することができて、復号された基準ピクチャを基準ピクチャ記憶２５０に記憶することができる。送信エラーがない場合、復号された基準ピクチャは、復号器（図２に示さず）によって取得される復号された基準ピクチャを複製する。

予測器２６０は新規な入力ピクチャのための予測基準を、それらが符号化されるときに選択することができる。符号化されている入力ピクチャの各部分（便宜上「画素ブロック」と呼ぶ）に対して、予測器２６０は、符号化モードを選択することができて、符号化されている画素ブロックの予測基準検索として役立ち得る基準ピクチャの一部を識別することができる。符号化モードはイントラ符号化モードであってもよく、その場合には、予測基準は符号化されているピクチャの予め符号化された（及び、復号された）部分から引き出すことができる。あるいは、符号化モードはインター符号化モードであってもよく、その場合には、予測基準は他の予め符号化及び復号されたピクチャから引き出すことができる。予測器２６０は、本明細書において記載されるパディングユニット２７０によって生成される、パディングされた基準画像データにおいて作動することができる。

一実施形態において、予測器２６０は、入力ピクチャ及び球面投影表現に変換された基準ピクチャに作用して符号化されているピクチャの予測基準を検索することができる。球面変換ユニット２８０．１、２８０．２は、入力ピクチャ及び基準ピクチャを球面投影表現に変換することができる。

適切な予測基準が識別されると、予測器２６０は予測データをビデオ符号器２３０に与えることができる。ビデオ符号器２３０は、予測器２６０によって供給される予測データに関して、差分的に入力ビデオデータを符号化することができる。通常、予測動作及び差分符号化は、画素ブロックごとのベースで作用する。入力画素ブロックと予測画素ブロックの間の画素ごとの違いを表す予測残差は、更なる符号化動作の対象とすることができ、更に帯域幅を減らすことができる。

示されるように、出力されるビデオ符号器２３０による符号化ビデオデータは、送信及び／又は格納されるときに、入力データより少ない帯域幅を消費するはずである。符号化システム２００は、符号化ビデオデータを出力装置２９０、例えば通信ネットワーク１３０（図１）全体に符号化ビデオデータを送信することができる送信器（図示せず）又は電子、磁気及び／又は光記憶媒体などの記憶装置（これも図示せず）に、出力することができる。

図３は、本発明の実施形態での使用に適した立方体マップ画像３００を示す。示されるように、全方向カメラは、「正面」ビュー３１０、「左側」ビュー３２０、「背面」ビュー３３０、「右側」ビュー３４０、「上面」ビュー３５０及び「底面」ビュー３６０をそれぞれ表すいくつかの視野の画像データをキャプチャすることができる。これらのビュー３１０〜３６０の画像データは、異なる視野の間に存在する空間関係に従って、ＭｘＮ画素の画像に組み立てることができる。

図３（ａ）は、より大きな立方体マップ画像３００におけるビュー３１０〜３６０の向きを示す。図３（ｂ）は、これらのビュー３１０〜３６０に対応する画像をキャプチャするカメラを中心としたビュー３１０〜３６０の向きを示す。便宜上、これらの視野ごとにキャプチャされる画像データは、立方体マップ画像３００のコンテンツを説明するときに、「ビュー」３１０〜３６０として記述される。

図３（ｃ）はビューの空間的向きの分解図であり、ビュー３１０〜３６０の間に発生するエッジ３１２〜３１８、３２２〜３２６、３３２〜３３６、３４２〜３４４を示す。したがって、図３（ｂ）に示すように、エッジ３１２と直ちに隣接している正面ビュー３１０からの画像コンテンツは、これもエッジ３１２と直ちに隣接している左側ビュー３２０からの画素コンテンツと空間的に隣接している。同様に、エッジ３１４と直ちに隣接している正面ビュー３１０からの画素コンテンツは、これもエッジ３１４と直ちに隣接している右側ビュー３４０からの画素コンテンツと空間的に隣接している。エッジ３１６及び３１８と直ちに隣接している正面ビュー３１０からの画素コンテンツは、それぞれ、それらのエッジと直ちに隣接している上面ビュー３５０及び底面ビュー３６０からの画素コンテンツと空間的に隣接している。

ビュー３１０〜３６０は立方体マップ画像３００内に配置されて、ビュー３１０〜３６０の間の境界のいくつかにわたって連続性を保持することができる。図３（ａ）に示すように、画像連続性は、正面ビュー３１０と隣接した左側、上面及び底面ビュー３２０、３５０及び３６０の間で、それらのそれぞれのエッジ３１２、３１６及び３１８に沿って維持することができる。画像連続性は、それぞれ、左側ビュー３２０と正面と背面ビュー３１０、３３０の間で、エッジ３１２及び３２２に沿って維持することができる。画像連続性は、背面ビュー３３０と左側と右側のビュー３２０、３４０の間のそれぞれエッジ３２２及び３３２に沿って維持することができる。

しかしながら、画像連続性は、エッジ３１４、３２４、３２６、３３４、３３６、３４２、３４４にわたっては維持されない。したがって、これらのエッジと隣接しているビュー３１０〜３６０からの画像コンテンツは、それらが隣接する画像コンテンツを表すが、互いに近接してはない。例えば、エッジ３１４と隣接している正面ビュー３１０及び右側ビュー３４０からのコンテンツは、図３（ｃ）に示すように、空間的に互いに隣接しているが、それらは図３（ａ）に示される立方体マップ画像３００の反対側のエッジに沿って現れる。同様に、上面ビュー３５０のエッジ３２４、３３６及び３４４に沿った画像コンテンツは、それぞれ左側ビュー３２０、背面ビュー３３０及び右側ビュー３４０のエッジ３２４、３３６及び３４４に沿ったそれらの対応物から遠く離れている。更に、底面ビュー３６０のエッジ３２６、３３４及び３４２に沿った画像コンテンツは、それぞれ左側ビュー３２０、背面ビュー３３０及び右側ビュー３４０のエッジ３２６、３３４及び３４２に沿ったそれらの対応物から遠く離れている。

図４は、本開示の一実施形態に係る方法を示す。方法４００は、例えば図３（ａ）に示すような立方体マップ画像フォーマットに配置される基準ピクチャを処理することができる。候補基準ピクチャごとに、方法４００は、ソース立方体マップ画像のヌル領域内にパディングされた画像を作成することができる（ボックス４１０）。方法４００は、ボックス４１０で生成されたパディングされた画像全体の入力画素ブロックの運動予測検索を実行することもできる（ボックス４２０）。方法４００は予測検索が一致を生成するかどうか判定することができ（ボックス４３０）、生成すると判定された場合は、方法４００は運動予測検索から識別される一致している基準ブロックを用いて予測される入力画素ブロックを符号化することができる（ボックス４４０）。そうでない場合は、方法４００は、代替の技術によって、例えばイントラ符号化によって、入力画素ブロックを符号化することができる。

図５は、本開示の一実施形態に係る、パディングされた立方体マップ画像５００を示す。パディングされた立方体マップ画像５００は、図３（ａ）のようなソース立方体マップ画像の作成から生成される、正面、左側、背面、右側、上面及び底面ビュー３１０〜３６０からの画像データを含むことができる。図３（ａ）に示されるヌル領域３７０．１、３７０．２であった立方体マップ画像３００の領域は、エッジ３２４、３２６、３３４、３３６、３４２及び３４４に接していてそれらのエッジにわたる連続画像コンテンツを展開するのに必要なビューからの画像データを含むことができる。したがって、ヌル領域３７０．１（図３）の場合、上面ビュー３５０の画像コンテンツはパディングされた画像５１０、５２０及び５３０として配置されてもよく、上面ビュー３５０の各インスタンスは回転されて、そのエッジを左側ビュー３２０、背面ビュー３３０及び右側ビュー３４０のエッジ３２４、３３６及び３４４に位置合わせしてもよい。同様に、ヌル領域３７０．２（図３）の場合、底面ビュー３６０の画像コンテンツはパディングされた画像５４０、５５０及び５６０として配置されてもよく、底面ビュー３６０の各インスタンスは回転されて、そのエッジを左側ビュー３２０、背面ビュー３３０及び右側ビュー３４０のエッジ３２６、３３４及び３４２に位置合わせしてもよい。図５において、パディングされた画像５１０〜５６０のテキストは、これらのエッジ３２４、３２６、３３４、３３６、３４２及び３４４にデータを位置合わせするために発生し得る画像データの回転を示す。

パディングされた画像の提供は、予測ビデオ符号器が画像全体の画像コンテンツの移動を検出することができる可能性を増大させる。図３に示されるオブジェクトを左側ビュー３２０内の位置Ｌｏｃ１で考察する。オブジェクトの画像コンテンツは、以前に符号化された基準フレーム内の上面ビュー３５０の位置Ｌｏｃ２から移動したものであってもよい。したがって、上面ビュー３５０の位置Ｌｏｃ２のオブジェクトの画像コンテンツは、位置Ｌｏｃ１におけるオブジェクトのための予測基準としての役割を果たすことができる。しかしながら、実際には、符号化されているフレームの位置Ｌｏｃ１にあるオブジェクトのための予測一致を検索するビデオ符号器が、基準フレームの位置Ｌｏｃ２で、画像コンテンツを検出することができない場合があり、これは、正距円筒画像３００の位置Ｌｏｃ１からのオブジェクトの距離かその向きのいずれか、又は両方ともによるものである。

図５に示すように、パディングされた画像を用いて、オブジェクトの冗長コピーは、基準フレームの位置Ｌｏｃ３で与えることができる。上面ビュー３５０の画像コンテンツは、エッジ３２４で左側ビュー３２０の画像コンテンツと共にエッジ３２４で上面ビュー３５０の画像コンテンツに隣接する向きで、パディングされたビュー５１０に現れる。位置Ｌｏｃ３の画像コンテンツの位置及び向きは、（位置Ｌｏｃ１で）符号化されているオブジェクトにより近く、したがって、それは、予測ビデオ符号器による予測の基礎としての役割を果たす可能性がより高い。

本発明の原理は、様々なフォーマットの立方体マップ画像での用途がある。別のフォーマットが図６に示され、これは４つのヌル領域６７０．１〜６７０．４を有する代替的な表現における正面、左側、背面、右側、上面及び底面ビュー６１０〜６６０を示す（図６（ａ））。ここで、パディングされた画像６８０．１〜６８０．６はヌル領域６７０．１〜６７０．４において与えることができ、これらはビュー６１０〜６６０のそれぞれから引き出される（図６（ｂ））。この例では、パディングされた画像６８０．１及び６８０．４は右側ビュー６４０から導出することができ、パディングされた画像６８０．２〜６８０．３及び６８０．５〜６８０．６は上面ビュー６５０から導出することができる。

図５に戻ると、パディングされた画像の使用がすべてのエッジにわたって画像連続性を作り出すというわけではないことが理解できる。例えば、上面ビュー３５０に関して、連続性は、エッジ３２４、３４４又は３３６にわたって維持されない。パディングされた画像５１０は、（それが左側ビュー３２０で対応物のエッジ３２４にわたる連続性を作り出す場合であっても）エッジ３２４にわたる連続性を作り出さない、上面ビューのデータを含む。更に、画像データは、画像５００の境界エッジを表すエッジ３３６及び３４４にはない。同様に、底面ビュー３６０に関しては、エッジ３２６、３３４又は３４２にわたって連続性は維持されない。パディングされた画像５４０は、（それが左側ビュー３２０で対応物のエッジ３２６にわたる連続性を作り出す場合であっても）エッジ３２６にわたる連続性を作り出さない、底面ビューのデータを含む。更に、画像データは、画像５００の境界エッジを表すエッジ３３４及び３４２にはない。したがって、予測検索はこのような境界にわたって一致を識別しない可能性があり、任意選択的に、パディングが適用された後に画像コンテンツの不連続性を有するエッジ３２４、３２６、３３４、３３６、３４２、３４４にわたる検索を回避することを強いられることがあり得る。

更に別の実施形態では、基準画像は、画像の周辺について、パディングによって拡大されてもよい。したがって、Ｍ×Ｎ画素の画像としてビデオエンコーダ及び復号器によって処理される基準画像は、画像の周辺に沿って、それぞれ、量ΔＭ及びΔＮにだけ拡大されて、（Ｍ＋２ΔＭ）×（Ｎ＋２ΔＮ）の画像を得ることができる。パディングされた画像データはＭ×Ｎ画素の画像の周辺エッジに沿って提供されて、周辺のビュー３１０、３４０、３５０、３６０のエッジに沿って、パディングされた画像データを提供することができる。このようなパディングされた画像データは、立方体マップビューの周辺エッジに当接するビューから引き出すことができる。例えば、右側ビューデータは正面ビュー３１０の周辺エッジに沿って提供することができ、正面ビューデータは右側ビュー３４０の周辺エッジに沿って提供することができる。したがって、予測検索は、Ｍ×Ｎ画像の周辺エッジから、ΔＭ及び／又はΔＮ拡大により提供されるパディングされた領域に拡大することができる。

図７は、本開示の別の実施態様に係る方法７００を示す。方法７００は、符号化されている立方体マップ画像の画素ブロックごとに実行することができる。方法７００は、符号化されている画素ブロックと関連したビューを識別することができる（ボックス７１０）。次に、入力画素ブロックのための予測基準として役割を果たすことができる各候補基準ピクチャに関して、方法７００は、ボックス７１０において識別されるビューと隣接しているビューからの画像データを使用して、パディングされた基準画像を作成することができる（ボックス７２０）。方法７００は、ボックス７２０で作成されたパディングされた基準画像の中で、運動予測検索７３０を実行することができる（ボックス７３０）。候補基準ピクチャについての考慮の後、方法７００は、予測検索が一致を得たかどうかを判定することができる（ボックス７４０）。一致がある場合は、方法７００は、運動予測検索から識別される一致している基準ブロックを用いて、予測される入力画素ブロックを符号化することができる（ボックス７５０）。そうでない場合は、方法７００は、代替の技術によって、例えばイントラ符号化によって、入力画素ブロックを符号化することができる。

図８は、図７の方法によって符号化され得る例示的な立方体マップ画像８００を示す。図８（ａ）は、画素ブロックにそれぞれ分割される正面、左側、背面、右側、上面及び底面ビュー８１０〜８８０を有する立方体マップ画像８００を示す。図８（ｂ）は画素ブロックＰＢ１が上面ビュー８５０から符号化されるときに生成され得るパディングされた基準画像８７０を示し、図８（ｃ）は画素ブロックＰＢ１が背面ビュー８３０から符号化されるときに生成され得るパディングされた基準画像８８０を示す。

図８（ｂ）を参照すると、入力画像８００の上面ビュー８５０からの画素ブロックＰＢ１が符号化されると、方法７００は、基準ピクチャの上面ビュー８７２からの画像データを含むパディングされた基準画像８７０及び上面ビュー８７２のエッジに沿って提供されるパディングされた画像８７４．１〜８７４．４を生成することができる。この例では、パディングされた画像８７４．１〜８７４．４は、基準画像の正面ビュー８７４．１、基準画像の左側ビュー８７４．２、基準画像の背面ビュー８７４．３及び基準画像の右側ビュー８７４．４の画像データをそれぞれ含む。これらのビュー８７４．１〜８７４．４の画像データはそれぞれ回転されて、上面ビュー８７２のエッジにわたる画像データの連続性を提供することができる。

パディングされた基準画像８７０は、画素ブロックＰＢ１が符号化されるビュー８５０のすべてのエッジに沿って、連続的基準ピクチャデータを提供することができる。したがって、画素ブロックＰＢ１を符号化するときに、ビデオ符号化システムは画素ブロックＰＢ１が位置するビュー８５０のエッジにわたる予測基準を検索することができる。

同様に、図８（ｃ）を参照すると、入力画像８００の背面ビュー８３０からの画素ブロックＰＢ２が符号化されると、方法７００は、基準ピクチャの背面ビュー８８２からの画像データを含むパディングされた基準画像８８０及び背面ビュー８８２のエッジに沿って提供されるパディングされた画像８８４．１〜８８４．４を生成することができる。この例では、パディングされた画像８８４．１〜８８４．４は、基準画像の底面ビュー８８４．１、基準画像の右側ビュー８８４．２、基準画像の上面ビュー８８４．３及び基準画像の左側ビュー８８４．４の画像データをそれぞれ含む。これらのビュー８８４．１〜８８４．４の画像データはそれぞれ回転されて、上面ビュー８８２のエッジにわたる画像データの連続性を提供することができる。

パディングされた基準画像８８０は、画素ブロックＰＢ２が符号化されるビュー８３０のすべてのエッジに沿って、連続的基準ピクチャデータを提供することができる。したがって、画素ブロックＰＢ２を符号化するときに、ビデオ符号化システムは画素ブロックＰＢ２が位置するビュー８０のエッジにわたる予測基準を検索することができる。

方法７００の動作は、符号化されている画像８００の各ビュー８１０〜８６０の画素ブロックに対して繰り返すことができる。

図８（ｂ）及び図８（ｃ）はそれぞれ、パディングされた画像データ８７４．１〜８７４．４及び８８４．１〜８８４．４のインスタンスの間の領域内に提供されるそれぞれのヌル領域８７６．１〜８７６．４及び８８６．１〜８８６．４を示す。一実施形態では、これらのヌル領域に画像データを提供する必要がない。しかしながら、代替的に、隣接する画像から、パディングされた画像データを複製することは許容できる。例えば、ヌル領域８７６．３は、パディングされた画像８４７．１及び８４７．４と隣接しており、パディングされた画像の１つは、必要に応じて、ヌル領域８７６．３において複製することができる。

図７は、パディングされた画像の作成（ボックス７２０）が符号化されている画素ブロックごとに新たに実行され得ることを示すが、実際には、パディングされた画像の作成は一度実行されて、所与のビューの中ですべての画素ブロックを符号化するために再使用されてもよい。したがって、入力画像８００の上面ビュー８５０の画素ブロックを符号化するときに、上面ビュー８５０からのすべての画素ブロックを符号化するのに使用する、パディングされた基準画像８７０の単一のインスタンスが作成されてもよい。同様に、入力画像８００の背面ビュー８３０の画素ブロックを符号化するときに、背面ビュー８３０からのすべての画素ブロックを符号化するのに使用する、パディングされた基準画像８８０の単一のインスタンスが作成されてもよい。

更に、パディングされた基準画像を構築するときに、所与のビューのすべての画像データを使用する必要はない。その代わりに、実行されている運動予測検索の検索ウィンドウに対応する領域に画像データを展開するのに十分なパディングされた画像データの一部を提供するので十分である。例えば、図８（ａ）は、符号化されている画像８００の上面ビュー８５０の画素ブロックＰＢ１周囲に設けられている例示的な検索ウィンドウＳＷを示す。それは、所与のビュー（ビュー８５０など）のすべての画素ブロックのための検索ウィンドウの結合に対応する領域をカバーするのに十分なデータを有するパディングされた基準画像を展開するのに十分である。したがって、パディングされた基準画像は、符号化されている画素ブロックとして同じ位置にあるビュー及び同じ位置にあるビューに隣接した画像の部分に対応する、基準画像からの画像データから取得することができる。図８（ｂ）において、基準画像の上面ビュー８７２はＰＢ１があるビュー８５０と同じ位置にあり、基準画像からの正面、左側、背面及び右側ビューの部分は、ビュー８５０のすべての画素ブロックのための検索ウィンドウの結合と同一の広がりをもつパディングされた基準画像８７０を構築するために用いることができる。上面ビュー８５０（図８（ａ））の画素ブロックのまわりの検索ウィンドウが基準画像からの正面、左側、背面及び右側ビューに達することができない場合、それらの全部を使用する必要はない。

図７の方法７００は、代替のフォーマットの立方体マップ画像データでの用途があり得る。例えば、図９（ａ）は、ヌル領域の使用を回避するレイアウトを有する立方体マップ画像９００を示す。この例では、立方体マップ画像９００は、図９（ｂ）に示される視野から展開された正面ビュー９１０、左側ビュー９２０、背面ビュー９３０、右側ビュー９４０、上面ビュー９５０及び底面ビュー９６０をそれぞれ含む。ビュー９１０〜９６０は、図９（ａ）に示す３ｘ２配列などの規則的な配列で画像内にレイアウトすることができる。しかしながら、そうすることで、立方体マップ画像９００は、異なるレイアウト（例えば図３及び図６に図示されるレイアウト）であれば回避されたかもしれない、ビューのエッジに沿った追加の不連続性をもたらす。

図９の例において、正面、左側及び背面ビュー９１０、９２０、９３０は、エッジ９１２｜９２８及び９２２｜９３６にわたる画像連続性を維持するように配置される。同様に、右側、上面及び底面ビューは、エッジ９４６｜９５４及び９４２｜９６２にわたる画像連続性を維持するように配置される。

不連続性は、正面と底面ビュー９１０、９６０の間、左側と右側ビュー９２０、９４０の間、そして、上面と背面ビュー９３０、９５０の間の継ぎ目で出現する。例えば、正面及び底面ビュー９１０、９６０が立方体マップ画像９００において接触する場合、エッジ９１６及び９６８は、それらが（図９（ｂ）によって表される）自由空間において隣接していない場合であっても、互いに隣接して配置される。同様に、左側及び右側ビュー９２０、９４０が立方体マップ画像において接触する場合、エッジ９２４及び９４４は、それらが自由空間において互いに隣接していない場合であっても、互いに隣接して配置される。また、更に、背面及び上面ビュー９３０、９５０が立方体マップ画像９００において接触する場合、エッジ９３８及び９５２は互いに隣接して配置されるが、自由空間でのそれらの向きとは異なった向きに置かれる（上面ビューは反転される）。これらの不連続性は、連続的である画像ビュー間の継ぎ目が実線で表される図９（ａ）において破線で示される。

図７の技術を用いて、パディングされた基準画像は、図９において示すような立方体マップ画像のビューのために展開することができる。立方体マップ画像９００の上面ビュー９５０からの画素ブロックデータを符号化するとき、パディングされた基準画像は、図８（ｂ）に示すように、基準ピクチャの上面ビューから、そして、正面、左側、背面及び右側画像から導出されるパディングされた画像から導出されてもよい。同様に、立方体マップ画像９００の背面ビュー９３０からの画素ブロックデータを符号化するとき、パディングされた基準画像は、図８（ｃ）に示すように、基準ピクチャの背面ビューから、そして、基準ピクチャの底面、右側、上面及び左側画像から導出されるパディングされた画像から導出されてもよい。

一実施形態では、画像変換は、運動予測検索の前に、パディングされた画像データに実行することができる。このような変換は、パディングされた画像からの画像データを、パディングされた画像データが追加されるビューのドメインに投影するために実行することができる。

図１０は、本開示の一実施形態に係るそのような投影を示す。図１０（ａ）に示すように、オブジェクトの画像データが立方体マップ画像１０００の複数のビューに現れることが可能である。例えば、オブジェクトＯｂｊ（図１０（ｂ））の画像データが、立方体マップ画像１０００の右側ビュー１０１０及び上面ビュー１０２０に現れるもととして例示する。これらのビュー１０１０、１０２０の画像データをキャプチャする画像センサの異なる視点のために、右側及び上面ビュー１０１０、１０２０が単一の、「平面」画像として処理された場合には、オブジェクトは歪みを伴って現れ得る。一実施形態では、パディングされた画像データは、視野の間の差のため起こる歪みに反対に作用するように変換してもよい。

図１０（ｃ）は、本開示の一実施形態に係る変換の動作を概略的に示す。この実施形態では、上面ビュー１０２０からのパディングされた画像データが右側ビュー１０１０からの画像データに隣接した配置のために生成されると仮定することができる。この実施形態では、上面ビュー１０２０からの画像データの投影は、それが右側ビュー１０３０の平面に現れるものとして推定される。例えば、オブジェクトＯｂｊ（図１０（ａ））は、上面ビューにおいて長さｌ１を有すると推定することができる。この長さは、立方体マップ画像のビューの仮定的中心から測定される角度αを占める。角度αから、それが右側ビュー１０１０の平面に現れる際のオブジェクトの長さｌ２を導出することができる。したがって、視野の異なる視点から生じる画像歪みに反対に作用して、予測目的のために画像データに改良された連続性を提供する、パディングされた画像データ１０３０を展開することができる（図１０（ｄ））。

本発明の原理はまた、球面投影フォーマットの正距円筒画像での用途がある。図１１は、球面投影画像データと共に使用されるパディングデータの適用を示す。図１１（ａ）は平面投影の第１のビュー１１１０の画像データを示し、図１１（ｂ）は球面投影に従って変換された図１１（ａ）のビューの画像データ１１２０を示す。このような変換は、例えば、全方向カメラの上面ビューから正距円筒画像データをマッピングするときに、一般的なものである。基本的に、ビュー１１１０は、画像空間の「北極」のデータを表すことができる。

図１１（ｃ）及び図１１（ｄ）は、平面画像フォーマット（参照番号１１３０）及び球面投影（参照番号１１４０）による例示的な基準画像を表す。ビデオ符号化中に、球面投影基準画像１１４０の画像データは、新たな画像のための予測基準としての役割を果たすことができ、球面投影画像１１２０によって表される。画像データの球面投影のため、平面ドメインのデータの運動のかなり控え目の変更（例えば、画素ブロック１１５０と１１５２の間）が正距円筒画像における大幅な移動を引き起こし得るということが発生する場合があり、図１１（ｄ）の運動ベクトルｍｖによって例示する。

図１１（ｅ）に示される画像パディングは、正距円筒画像の周辺に沿って予測データを複製することができる。図１１（ｅ）の例において、パディングされた基準画像は、そのエッジ１１４２（図１１（ｄ））に沿って基準画像１１４０のコンテンツを複製して、複製された画像を反転させて、それをエッジ１１４２に隣接して配置することによって作成される。このように、パディングされた基準画像はエッジ１１４２に沿って画像コンテンツの連続性を作り出し、それは予測検索の間に、より短い運動ベクトルを作り出すことができて、このことにより符号化の効率の改善に結び付けることができる。

図１２は、本開示の一実施形態に係る方法１２００を示す。方法１２００は、同じ画像から以前符号化された画素ブロックの運動ベクトルに従って、正距円筒画像の画素ブロックのための検索ウィンドウを予測する。方法１２００は、正距円筒画像のドメインから以前符号化された画素ブロックの運動ベクトルを球面ドメインに投影することができる（ボックス１２１０）。方法１２００は、以前符号化された画素ブロックの球面投影された運動ベクトルから符号化される新規な画素ブロックの検索ウィンドウを推定することができる（ボックス１２２０）。方法１２００は、検索ウィンドウを球面投影から入力画像の正距円筒投影に戻して変換することができる（ボックス１２３０）。その後、方法１２００は、変換された検索ウィンドウの中で、基準の予測検索を実行する（ボックス１２４０）。

図１３は、図１２の方法１２００によって処理される可能性がある例示的な正距円筒画像１３００を示す。画素ブロック１３１０が符号化される時点で、画像１３００からの他の画素ブロック１３２０、１３３０はすでに符号化された状態であり得て、したがって、運動ベクトルｍｖ１、ｍｖ２は、符号化された画素ブロック１３２０、１３３０のために定めることができる（図１３（ａ））。これらの運動ベクトルｍｖ１、ｍｖ２は、球面ドメイン１３５０に投影することができる（図１３（ｂ））。多くの例において、運動ベクトルｍｖ１、ｍｖ２が正距円筒フォーマットの同じ位置にある領域を指さない場合であっても、運動ベクトルｍｖ１、ｍｖ２は、球面投影（図１３（ｂ））の画像コンテンツの同じ位置にある領域を指すことができる。検索ウィンドウは、例えば、運動ベクトルを平均して、そこから取得される結果としてのベクトルについて所定サイズの検索領域を定めることによって、球面投影の運動ベクトルから導出することができる。その後、検索ウィンドウは、正距円筒画像１３００のドメインへ戻して変換することができる。

球面投影に対する正距円筒フォーマット間の変換は、２０１６年１２月２３日に出願された同時係属出願第１５／３９０，２０２号に記載されている技術に従って実行することができ、その開示内容は本明細書に組み込まれる。

図１４は、本開示の一実施形態に係る符号化システム１４００の機能ブロック図である。システム１４００は、画素ブロック符号器１４１０と、画素ブロック復号器１４２０と、インループフィルタシステム１４３０と、基準ピクチャ記憶１４４０と、パディングユニット１４５０と、予測器１４６０と、コントローラ１４７０と、シンタックスユニット１４８０とを含むことができる。パディングユニット１４５０は、前述の考察の実施形態の１つ以上に従って、パディングされた画像データを生成することができる。画素ブロック符号器及び復号器１４１０、１４２０並びに予測器１４６０は、ピクチャの個々の画素ブロックに対して繰り返し動作することができる。予測器１４６０は、新たに提示された入力画素ブロックの符号化中に使用するためのデータを予測することができる。画素ブロック符号器１４１０は、予測符号化技術によって新規な画素ブロックを符号化し、符号化された画素ブロックデータをシンタックスユニット１４８０に提示することができる。画素ブロック復号器１４２０は、符号化された画素ブロックデータを復号し、そこから復号された画素ブロックデータを生成することができる。インループフィルタ１４３０は、画素ブロック復号器１４２０によって取得される復号された画素ブロックから組み立てられる復号されたピクチャに対して様々なフィルタリング動作を実行することができる。フィルタリングされたピクチャは、基準ピクチャ記憶１４４０に格納することができ、それを後で受信した画素ブロックの予測のソースとして使用することができる。シンタックスユニット１４８０は、統制する符号化プロトコルに適合する符号化された画素ブロックデータからデータストリームを組み立てることができる。

画素ブロック符号器１４１０は、減算器１４１２と、変換ユニット１４１４と、量子化器１４１６と、エントロピ符号器１４１８とを含むことができる。画素ブロック符号器１４１０は、減算器１４１２で入力データの画素ブロックを受け入れることができる。減算器１４１２は、予測器１４６０から予測された画素ブロックを受信し、そこから入力画素ブロックと予測された画素ブロックの差を表す画素残差のアレイを生成することができる。変換ユニット１４１４は減算器１４１２からサンプルデータ出力に変換を適用し、画素ドメインから変換係数のドメインにデータを変換することができる。量子化器１４１６は、変換ユニット１４１４によって出力された変換係数の量子化を実行することができる。量子化器１４１６は、一様又は非一様量子化器とすることができる。エントロピ符号器１４１８は、例えば、可変長符号語により出力を符号化することにより、係数量子化器の出力の帯域幅を低減することができる。

変換ユニット１４１４は、コントローラ１４７０によって判定される様々な変換モードで動作することができる。例えば、変換ユニット１４１４は、離散型コサイン変換（discrete cosine transform、ＤＣＴ）、離散サイン変換（discrete sine transform、ＤＳＴ）、Ｗａｌｓｈ−Ｈａｄａｍａｒｄ変換、Ｈａａｒ変換、Ｄａｕｂｅｃｈｉｅｓウェーブレット変換などを適用することができる。一実施形態では、コントローラ１４７０は、変換ユニット１４１５によって適用される符号化モードＭを選択してもよく、それに応じて変換ユニット１４１５を構成してもよく、符号化されたビデオデータ中の符号化モードＭを明示的に又は暗示的にシグナリングしてもよい。

量子化器１４１６は、コントローラ１４７０によって供給される量子化パラメータＱ_Pに従って作動することができる。一実施形態では、量子化パラメータＱ_Pは、変換係数にマルチ値量子化パラメータとして適用されてもよく、このパラメータは、例えば、変換ドメイン画素ブロック内の異なる係数位置にわたって変動し得る。したがって、量子化パラメータＱ_Pは、量子化パラメータアレイとして提供することができる。

画素ブロック復号器１４２０は、画素ブロック符号器１４１０の符号化動作を反転することができる。例えば、画素ブロック復号器１４２０は、逆量子化器１４２２と、逆変換ユニット１４２４と、加算器１４２６とを含むことができる。画素ブロック復号器１４２０は、量子化器１４１６の出力からその入力データを取ることができる。許容されてはいるが、画素ブロック復号器１４２０は、エントロピ符号化が無損失のイベントであるため、エントロピ符号化されたデータのエントロピ復号を実行する必要はない。逆量子化器１４２２は、画素ブロック符号器１４１０の量子化器１４１６の動作を反転することができる。逆量子化器１４２２は、復号された信号Ｑ_Pによって指定される一様又は非一様逆量子化を実行することができる。同様に、逆変換ユニット１４２４は、変換ユニット１４１４の動作を反転することができる。逆量子化器１４２２及び逆変換ユニット１４２４は、画素ブロック符号器１４１０のそれらの対応物として、同じ量子化パラメータＱ_P及び変換モードＭを使用することができる。量子化動作は、様々な点でデータを切り捨てることになる可能性があり、したがって逆量子化器１４２２によって回復されたデータは、画素ブロック符号器１４１０内の量子化器１４１６に提示されたデータと比較したとき、符号化誤差を有することになる可能性がある。

加算器１４２６は、減算器１４１２によって実行される動作を反転することができる。それは、残差信号を生成するのに減算器１４１２が使用したのと同じ予測画素ブロックを予測器１４６０から受信することができる。加算器１４２６は、予測画素ブロックを逆変換ユニット１４２４によって出力された再構成された残差値に加えることができ、再構成された画素ブロックデータを出力することができる。

インループフィルタ１４３０は、回復した画素ブロックデータに対して様々なフィルタリング動作を実行することができる。例えば、インループフィルタ１４３０は、デブロッキングフィルタ１４３２及びサンプル適応オフセット（sample adaptive offset、ＳＡＯ）フィルタ１４３３を含むことができる。デブロッキングフィルタ１４３２は、再構成された画素ブロック間の継ぎ目でデータをフィルタリングし、符号化に起因して発生する画素ブロック間の不連続性を低減することができる。ＳＡＯフィルタは、ＳＡＯの「タイプ」に従って、例えば、エッジ方向／形状及び／又は画素／色成分レベルに基づいて、オフセットを画素値に加えることができる。インループフィルタ１４３０は、コントローラ１４７０によって選択されたパラメータに従って動作することができる。

基準ピクチャ記憶１４４０は、後の他の画素ブロックの予測で使用するフィルタリングされた画素データを記憶することができる。異なる予測モードに対して異なる種類の予測データが、予測器１４６０にて利用可能になる。例えば、入力画素ブロックに対して、イントラ予測は、入力画素ブロックが位置する同じピクチャの復号されたデータから予測基準を取る。したがって、基準ピクチャ記憶１４４０は、それぞれのピクチャの復号された画素ブロックデータをそれが符号化されるにつれて記憶することができる。同じ入力画素ブロックに対して、インター予測は、基準ピクチャとして指定された予め符号化され復号されたピクチャ（単数又は複数）から予測基準を取ることができる。したがって、基準ピクチャ記憶１４４０は、これらの復号された基準ピクチャを記憶することができる。

パディングユニット１４５０は、前述の実施形態で論じたように、パディングされた画像データを生成することができる。したがって、パディングユニットは、図４〜図１２に図示される動作を実行して、予測器１４６０が予測基準を選択することができるパディングされた画像データを生成することができる。

説明したように、予測器１４６０は、残差を生成するのに使用する予測データを画素ブロック符号器１４１０に供給することができる。予測器１４６０は、インター予測器１４６２と、イントラ予測器１４６３と、モード決定ユニット１４６４とを含むことができる。インター予測器１４６２は、符号化されることになる新しい画素ブロックを表す球面投影された画素ブロックデータを受信することができ、入力画素ブロックを符号化するのに使用する基準ピクチャ（単数又は複数）からの画素ブロックデータに対して記憶１４４０からの基準ピクチャデータの球面投影を検索することができる。インター予測器１４６２は、Ｐモード符号化及びＢモード符号化などの複数の予測モードをサポートすることができる。インター予測器１４６２は、インター予測モード及び、符号化される入力画素ブロックに対する最も近い一致を提供する候補予測基準データの識別を選択することができる。インター予測器１４６２は、運動ベクトルなどの予測基準メタデータを生成し、どの基準ピクチャのどの部分（単数又は複数）が入力画素ブロックに対する予測のソース（単数又は複数）として選択されたかを識別することができる。

イントラ予測器１４６３は、イントラ（Ｉ）モード符号化をサポートすることができる。イントラ予測器１４６３は、球面投影された入力画素ブロックに対する最も近い一致を提供する符号化される画素ブロックと同じピクチャからの球面投影された画素ブロックデータの中から検索することができる。イントラ予測器１４６３はまた、予測基準インジケータを生成し、ピクチャのどの部分が入力画素ブロックに対する予測のソースとして選択されたかを識別することができる。

モード決定ユニット１４６４は、入力画素ブロックに適用されることになる最終の符号化モードを選択することができる。通常は、上述のように、モード決定ユニット１４６４は、与えられた目標ビットレートでビデオが復号されたときに最も小さい歪みを実現することになる予測モードを選択する。特定のチャネル挙動を満たすこと、又はランダムアクセス若しくはデータリフレッシュポリシーをサポートするといった、符号化システム１４００が準拠する他のポリシーを満たすように符号化モードが選択される場合に、例外が発生することがある。モード決定が最終的な符号化モードを選択すると、モード決定ユニット１４６４は、非球面投影基準ブロックをストア１４４０から画素ブロック符号器及び復号器１４１０、１４２０に出力することができ、選択されたモードに対応する予測基準インジケータとともに選択された予測モードの識別をコントローラ１４７０に供給することができる。

コントローラ１４７０は、符号化システム１４００の動作全体を制御することができる。コントローラ１４７０は、入力画素ブロック、並びにまた符号化ビットレート目標及び他の動作パラメータなどの外部制約条件の分析に基づいて、画素ブロック符号器１４１０及び予測器１４６０に対する動作パラメータを選択することができる。本説明に関連するように、それが量子化パラメータＱ_P、一様又は非一様量子化器の使用及び／又は変換モードＭを選択するとき、それらのパラメータをシンタックスユニット１４８０に提供することができ、これは、それらのパラメータを表すデータをシステム１４００によって出力される符号化されたビデオデータのデータストリームに含めることができる。コントローラ１４７０はまた、システムがパディングされた基準画像を生成することができて、符号化データの各部分について選択されたモードを識別するメタデータを含むことができる、異なる動作モードの間で選択することができる。

動作中、コントローラ１４７０は、量子化器１４１６及び変換ユニット１４１５の動作パラメータを画像データの異なる粒度で、画素ブロックごと又はより大きな粒度（例えば、ピクチャごと、スライスごと、最大符号化ユニット（largest coding unit、ＬＣＵ）ごと、又は別の領域）のいずれかで修正することができる。一実施形態では、量子化パラメータは、符号化されたピクチャ内の画素ごとに修正することができる。

加えて、説明したように、コントローラ１４７０は、インループフィルタ１４３０及び予測ユニット１４６０の動作を制御することができる。そのような制御としては、予測ユニット１４６０に対してはモード選択（ラムダ、テストされることになるモード、検索ウィンドウ、歪み戦略など）、及びインループフィルタ１４３０に対しては、フィルタパラメータの選択、パラメータの並べ替え、加重予測などを挙げることができる。

一実施形態では、予測器１４６０は、球面投影で入力画素ブロックデータ及び基準画素ブロックデータを使用して予測検索を実行することができる。このような予測技術の動作は、２０１６年１２月２３日に出願され、本出願の譲受人に譲渡された米国特許出願第１５／３９０，２０２号に記載されている。そのような実施形態では、符号器１４００は、予測器１４６０に入力される前に入力画素ブロックデータを球面ドメインに変換する球面変換ユニット１４９０を含むことができる。パディングユニット１４５０は、予測器１４６０に入力される前に、（上述の変換を実行することに加えて）球面ドメインに基準ピクチャデータを変換することができる。

説明したように、ビデオ符号化システム１４００は、符号化システム１４００によって選択されるパディング技術のパラメータを識別する符号化ビデオデータにメタデータを提供することができる。Ｈ．２６５（「ＨＥＶＣ」）符号化プロトコルに関連して使用され得る例示的なシンタックスが以下に記載される。

ビデオパラメータセットシンタックスは、「ｖｐｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ＿ｉｄ」として以下に示す新しいフィールドを、以下のようにｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐに追加することによって変更することができる。

この例では、ｖｐｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ＿ｉｄは、エンコーダによって適用される投影フォーマットを識別する２ビットのフィールドであってもよい。

投影フォーマットは、以下のようにシーケンスパラメータセット（ｓｅｑ＿ｐａｒａｍｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（））でシグナリングされてもよい。

例として、ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ＿ｉｄは、以下の値をとることができる。

加えて、ｃｕｂｅ＿ｍａｐ＿ｐａｃｋｉｎｇ＿ｉｄは、以下のようにシグナリングされてもよい。

当然のことながら、符号の数は、他の立方体マップフォーマットに適応するために、必要に応じて拡張されてもよい。

更に、ｒｅｆｅｒｅｎｃｅ＿ｐａｄｄｉｎｇ＿ｍｏｄｅは符号化されて、エンコーダによって適用される異なる変換を識別することができる。例えば、ｒｅｆｅｒｅｎｃｅ＿ｐａｄｄｉｎｇ＿ｍｏｄｅが「０」にセットされた場合、それは変換が使用されなかったことを示すことができる。ｒｅｆｅｒｅｎｃｅ＿ｐａｄｄｉｎｇ＿ｍｏｄｅが「１」にセットされた場合、それは変換が図１４に従って実行されたことを示すことができる。ここでも、符号の数は、他の変換に適応するために、必要に応じて拡張されてもよい。

図１５は、本開示の一実施形態に係る復号システム１５００の機能ブロック図である。復号システム１５００は、シンタックスユニット１５１０と、画素ブロック復号器１５２０と、インループフィルタ１５３０と、基準ピクチャ記憶１１４０と、パディングユニット１５５０と、予測器１５６０と、コントローラ１５７０とを含むことができる。シンタックスユニット１５１０は、符号化されたビデオデータストリームを受信することができ、符号化されたデータをその成分部分に解析することができる。符号化パラメータを表すデータは、コントローラ１５７０に供給することができ、符号化された残差を表すデータ（図１１の画素ブロック符号器１１１０によって出力されたデータ）は、画素ブロック復号器１５２０に供給することができる。画素ブロック復号器１５２０は、（図１１の）画素ブロック符号器１１１０によって提供される符号化動作を反転することができる。インループフィルタ１５３０は、再構成された画素ブロックデータをフィルタリングすることができる。再構成された画素ブロックデータは、表示のためにピクチャに組み立てて、復号システム１５００から出力ビデオとして出力することができる。ピクチャはまた、予測動作に使用する予測バッファ１５４０に記憶することができる。パディングユニット１５５０は、前述の考察において説明したように、符号化されたデータに含まれるメタデータに基づいて、パディングされた基準画像を生成することができる。予測器１５６０は、符号化されたビデオデータストリーム内で受信した符号化データによって判定されたように、予測データを画素ブロック復号器１５２０に供給することができる。

画素ブロック復号器１５２０は、エントロピ復号器１５２２と、逆量子化器１５２４と、逆変換ユニット１５２６と、加算器１５２８とを含むことができる。エントロピ復号器１５２２は、エントロピ復号を実行し、（図１１の）エントロピ符号器１１１８によって実行されるプロセスを反転することができる。逆量子化器１５２４は、（図１１の）画素ブロック符号器１１１０の量子化器１１１６の動作を反転することができる。同様に、逆変換ユニット１５２６は、（図１１の）変換ユニット１１１４の動作を反転することができる。それらは、符号化されたビデオデータストリーム内で提供される量子化パラメータＱ_P及び変換モードＭを使用することができる。量子化は、データを切り捨てる可能性があるため、逆量子化器１５２４によって回復されたデータは、画素ブロック符号器１１１０内の対応物の（図１１の）量子化器１１１６に提示された入力データと比較したとき、符号化誤差を有することになる可能性がある。

加算器１５２８は、（図１１の）減算器１１１１によって実行される動作を反転することができる。それは、符号化されたビデオデータストリーム内の予測基準によって判定されたように、予測器１５６０から予測画素ブロックを受信することができる。加算器１５２８は、予測画素ブロックを逆変換ユニット１５２６によって出力された再構成された残差値に加えることができ、再構成された画素ブロックデータを出力することができる。

インループフィルタ１５３０は、再構成された画素ブロックデータに対して様々なフィルタリング動作を実行することができる。図示するように、インループフィルタ１５３０は、デブロッキングフィルタ１５３２及びＳＡＯフィルタ１５３４を含むことができる。デブロッキングフィルタ１５３２は、再構成された画素ブロック間の継ぎ目でデータをフィルタリングし、符号化に起因して発生する画素ブロック間の不連続性を低減することができる。ＳＡＯフィルタ１５３４は、ＳＡＯタイプに従って、例えば、エッジ方向／形状及び／又は画素レベルに基づいて、オフセットを画素値に加えることができる。他の種類のインループフィルタも同様に使用することができる。デブロッキングフィルタ１５３２及びＳＡＯフィルタ１５３４の動作は、理想的には、（図１１の）符号化システム１１００内のそれらに対応物の動作を模倣することになる。したがって、通信エラー又は他の異常がない場合、復号システム１５００のインループフィルタ１５３０から得られる復号されたピクチャは、（図１１の）符号化システム１１００のインループフィルタ１１５０から得られる復号されたピクチャと同じになり、このようにして、符号化システム１１００及び復号システム１５００は、それらの対応する基準ピクチャ記憶１１４０、１５４０に基準ピクチャの共通の組を記憶しなければならない。

基準ピクチャ記憶１５４０は、後の他の画素ブロックの予測で使用するフィルタリングされた画素データを記憶することができる。基準ピクチャ記憶１５４０は、イントラ予測に使用する、それぞれのピクチャの復号された画素ブロックデータをそれが符号化されるにつれて記憶することができる。基準ピクチャ記憶１５４０は、復号された基準ピクチャを記憶することができる。

パディングユニット１５５０は、前述の考察において説明したように、符号化されたデータに含まれるメタデータに基づいて、パディングされた基準画像を生成することができる。したがって、パディングユニット１５５０はまた、前述の図４〜図１１において説明したような動作を実行して、予測器１５６０が作動することができるパディングされた基準画像を生成することができる。復号器１５００において、パディングされた画像データのタイプは、エンコーダによって実行されたパディング動作を識別する符号化された画像データに提供されるメタデータによって判定される。パディングユニット１５５０は、パディング動作を繰り返して、エンコーダによって生成されたパディングされた基準画像データと一致する、パディングされた基準画像データを生成することができる。

当然のことながら、パディングユニット１５５０は、符号化された画素ブロックと関連した予測情報がパディングされた基準画像のパディングされた領域のデータを参照しない限り、パディング動作を実行する必要はない。図８を参照すると、エンコーダがパディングされた基準画像８７０の上面ビュー８７２からの予測データを使用して画素ブロックＰＢ１を符号化する場合、画素ブロックＰＢ１はパディングされた画像８７４．１〜８７４．４のいずれからのデータにも依存しない。復号器では、パディングユニット１５５０は、符号化された画素ブロックＰＢ１を復号するためにパディングされた画像データを導出する動作を実行する必要はない。一方で、異なる画素ブロック（即ち、ＰＢ２）は、パディングされた画像８８４．３（図８（ｃ））からのデータを使用して符号化されてもよい。この例では、パディングユニット１５５０（図１５）は、エンコーダによって選択された基準データに対応するパディングされた画像データを展開することができる。したがって、復号器１５００は、所与の符号化された画素ブロックのためのパディングされた画像データを生成する前に、パディングされた画像データが予測によって参照されるかどうかを判定する。

説明したように、予測器１５６０は変換された基準ブロックデータを画素ブロック復号器１５２０に供給することができる。予測器１５６０は、符号化されたビデオデータストリーム内に供給される予測基準インジケータによって判定されたように、予測された画素ブロックデータを供給することができる。予測器１５６０は、図１２〜図１３に記載されている変換技術を繰り返すこともできる。

コントローラ１５７０は、符号化システム１５００の動作全体を制御することができる。コントローラ１５７０は、符号化されたビデオデータストリーム内で受信したパラメータに基づいて、画素ブロック復号器１５２０及び予測器１５６０に対する動作パラメータを設定することができる。本説明に関連するように、これらの動作パラメータは、逆量子化器１５２４に対する量子化パラメータＱ_P及び逆変換ユニット１５１５に対する変換モードＭを含むことができる。説明したように、受信したパラメータは、画像データの様々な粒度で、例えば、画素ブロックごとに、ピクチャごとに、スライスごとに、ＬＣＵごとに、又は入力画像に対して定義された他の種類の領域に基づいて、設定することができる。

前述の考察では、本開示の実施形態の動作をビデオ符号器と復号器との関連で説明した。一般に、これらの構成要素は電子デバイスとして提供される。ビデオ復号器及び／又はコントローラは、特定用途向け集積回路、フィールドプログラマブルゲートアレイ及び／又はデジタル信号プロセッサなどの集積回路に具現化することができる。あるいは、それらは、カメラデバイス、パーソナルコンピュータ、ノートブックコンピュータ、タブレット型コンピュータ、スマートフォン又はコンピュータサーバ上で実行するコンピュータプログラムに具体化することができる。このようなコンピュータプログラムは、通常は、電子、磁気及び／又は光学ベースの記憶デバイスなどの物理記憶媒体に記憶され、それらがプロセッサに読み込まれて実行される。復号器は通常、スマートフォン、タブレット型コンピュータ、ゲームシステム、ＤＶＤプレーヤ、携帯メディアプレーヤなどのような民生電子機器内にパッケージされ、またビデオゲーム、メディアプレーヤ、メディアエディタなどのような民生用ソフトウェアアプリケーション内にパッケージすることもできる。そして、勿論、これらの構成要素は、必要に応じて、専用のハードウェア構成要素とプログラムされた汎用プロセッサにわたって機能性を分散するハイブリッドシステムとして提供することもできる。

例えば、本明細書に記載される技術は、コンピュータシステムの中央処理装置によって実行されてもよい。図１６は、このような技術を実行することができる例示的なコンピュータシステム１６００を示す。コンピュータシステム１６００は、互いに通信して提供される中央処理装置１６１０、１つ以上のカメラ１６２０、メモリ１６３０及び送受信機１６４０を含むことができる。カメラ１６２０は、画像キャプチャを実行することができて、キャプチャされた画像データをメモリ１６３０に記憶することができる。任意選択的に、デバイスは、必要に応じて、符号器１６５０及びディスプレイ１６６０などのシンク構成要素を含むこともできる。

中央処理装置１６１０は、システム１６００のオペレーティングシステム１６１２及び様々なアプリケーション１６１４．１〜１６１４．Ｎを定義するメモリ１６３０に記憶された様々なプログラム命令を読み取り、実行することができる。プログラム命令は、本明細書に記載される技術に従って、符号化モード制御を実行することができる。それがそれらのプログラム命令を実行するにつれて、中央処理装置１６１０は、メモリ１６３０から、カメラ１６２０又はアプリケーション１６１４．１〜１６１４．Ｎのいずれかによって作成された画像データを読み出すことができ、それは送信のために符号化され得る。中央処理装置１６１０は、図６の原理に従って動作するプログラムを実行することができる。あるいは、システム１６００は、スタンドアロン型処理システム及び／又は集積回路として提供される専用の符号器１６５０を有することができる。

示されるように、メモリ１６３０は、実行されるとプロセッサに上記の技術を実行させるプログラム命令を記憶することができる。メモリ１６３０は、プログラム命令を電気的、磁気的及び／又は、光学的ベースの記憶媒体に保存することができる。

送受信機１６４０は、送信単位を送信し、ネットワーク（図示せず）から確認応答メッセージを受信するための通信システムを表すことができる。中央処理装置１６１０がソフトウェアベースのビデオ符号器を動作させる実施形態において、送受信機１６４０は、確認応答メッセージの状態を表すデータを、プロセッサ１６１０による取り出しに対してメモリ１６３０に置くことができる。システム１６００が専用の符号器を有する実施形態において、送受信機１６４０は、状態情報を符号器１６５０と交換することができる。

前述の説明は、例示及び説明を目的として、提示されている。それは網羅的ではなく、本開示の実施形態を開示される正確な形に限定するものではない。修正及び変形は、上記の教示を考慮して可能であるか、又は本開示と整合した実践的実施形態から得ることができる。本明細書で別途記載のない限り、方法のいずれも任意の組み合わせで実施することができる。

Claims (26)

1. ビデオ符号化の方法であって、
   立方体マップフォーマットで記憶される基準画像に対して、前記立方体マップフォーマットに含まれる第１のビューの画像データが複製されて前記立方体マップ画像に含まれる第２のビューに隣接して配置される、パディングされた基準画像を生成することと、
   符号化される入力画像の画素ブロックに対して、前記入力画像と前記パディングされた基準画像のコンテンツ間の予測一致を検索することであって、前記検索は前記第１のビューの前記複製されたデータを含む、ことと、
   一致が発生すると、前記画素ブロックを前記パディングされた基準画像からの一致しているデータに関して差分的に符号化することと、
   を含む、方法。
2. 前記基準画像が複数のビューのデータと画像コンテンツを含まない少なくとも１つのヌル領域とを含み、
   前記パディングされた基準画像が前記複数のビューのデータを含み、前記複製されたビューのデータが前記基準画像のヌル領域の位置に対応する位置において提供される、請求項１に記載の方法。
3. 前記基準画像が複数のビューのデータを含み、
   前記パディングされた基準画像が、符号化される前記画素ブロックに空間的に対応する前記基準画像のビューのデータを含み、
   前記複製されたデータが、符号化される前記画素ブロックに空間的に対応する前記基準画像の前記ビューとエッジを共有する前記基準画像からの別のビューのデータである、請求項１に記載の方法。
4. 前記生成することが、前記第１のビューの画像データを前記基準画像の第２のビューの平面に投影することを含み、前記第２のビューは符号化される前記画素ブロックの空間位置に対応する、請求項１に記載の方法。
5. 前記生成することが、前記第２のビューに関して前記第１のビューの画像データを配向して前記ビューの間の継ぎ目にわたる画像データの連続性を提供する、請求項１に記載の方法。
6. 前記基準画像が複数のビューを有する立方体マップ画像であり、画像連続性は前記立方体マップ画像のすべての内部エッジにわたって維持される、請求項１に記載の方法。
7. 前記基準画像が複数のビューを有する立方体マップ画像であり、画像連続性は前記立方体マップ画像の複数の内部エッジにわたって維持されるが、画像連続性は前記立方体マップ画像の他の内部エッジにわたっては維持されない、請求項１に記載の方法。
8. 前記入力画像が全方向カメラによって生成される、請求項１に記載の方法。
9. 前記入力画像がコンピュータアプリケーションによって生成される、請求項１に記載の方法。
10. 符号化される画素ブロックに対する入力及び予測された画素ブロックを有するビデオ符号器と、
    前記ビデオ符号器の出力に結合された入力を有するビデオ復号器と、
    前記ビデオ復号器によって生成される立方体マップフォーマットの復号されたピクチャを記憶する基準ピクチャ記憶と、
    前記基準ピクチャ記憶に記憶される復号されたピクチャからのパディングされた基準画像を生成するためのパディングユニットであって、前記パディングされた基準画像は、複製されて前記立法マップ画像に含まれる第２のビューに隣接して配置される前記復号されたピクチャの第１のビューの画像データを有する、パディングユニットと、
    前記パディングユニットに結合された入力及び前記ビデオ符号器に結合された出力を有する予測器と、
    を備えるビデオ符号化システム。
11. 前記復号されたピクチャが複数のビューのデータと画像コンテンツを含まない少なくとも１つのヌル領域とを含み、
    前記パディングされた基準画像が前記複数のビューのデータを含み、前記複製されたビューのデータが前記基準画像のヌル領域の位置に対応する位置において提供される、請求項１０に記載のシステム。
12. 前記復号されたピクチャが複数のビューのデータを含み、
    前記パディングされた基準画像が、
    符号化される前記画素ブロックに空間的に対応する前記基準画像のビューのデータを含み、
    前記複製されたデータが、符号化される前記画素ブロックに空間的に対応する前記基準画像の前記ビューとエッジを共有するデータを含む前記復号されたピクチャからの別のビューのデータである、請求項１０に記載のシステム。
13. 前記パディングユニットが前記第１のビューの画像データを前記復号されたピクチャの第２のビューの平面に投影し、前記第２のビューは符号化される前記画素ブロックの空間位置に対応する、請求項１０に記載のシステム。
14. 前記パディングユニットが、前記第２のビューに関して前記第１のビューの画像データを配向して前記ビューの間の継ぎ目にわたる画像データの連続性を提供する、請求項１０に記載のシステム。
15. 前記立方体マップフォーマットが複数のビューを有し、画像連続性は前記立方体マップ画像のすべての内部エッジにわたって維持される、請求項１０に記載のシステム。
16. 前記立方体マップフォーマットが複数のビューを有し、画像連続性は前記立方体マップ画像の複数の内部エッジにわたって維持されるが、画像連続性は前記立方体マップ画像の他の内部エッジにわたっては維持されない、請求項１０に記載のシステム。
17. 入力画素ブロックが導出される画像データを供給する全方向カメラを更に備える、請求項１０に記載のシステム。
18. 入力画素ブロックが導出される画像データを生成するコンピュータアプリケーションを更に備える、請求項１０に記載のシステム。
19. 処理デバイスによって実行されると、前記デバイスに、
    立方体マップフォーマットで記憶される基準画像に対して、前記立方体マップフォーマットに含まれる第１のビューの画像データが複製されて前記立方体マップ画像に含まれる第２のビューに隣接して配置される、パディングされた基準画像を生成し、
    符号化される入力画像の画素ブロックに対して、前記入力画像と前記パディングされた基準画像のコンテンツ間の予測一致を検索し、前記検索は前記第１のビューの前記複製されたデータを含み、
    一致が発生すると、前記画素ブロックを前記パディングされた基準画像からの一致しているデータに関して差分的に符号化する、
    ようにさせるプログラム命令を記憶する、コンピュータ可読媒体。
20. 前記基準画像が複数のビューのデータと画像コンテンツを含まない少なくとも１つのヌル領域とを含み、
    前記パディングされた基準画像が前記複数のビューのデータを含み、前記複製されたビューのデータが前記基準画像のヌル領域の位置に対応する位置において提供される、請求項１９に記載の媒体。
21. 前記基準画像が複数のビューのデータを含み、
    前記パディングされた基準画像が、
    符号化される前記画素ブロックに空間的に対応する前記基準画像のビューのデータを含み、
    前記複製されたデータが、符号化される前記画素ブロックに空間的に対応する前記基準画像の前記ビューとエッジを共有する前記基準画像からの別のビューのデータである、請求項１９に記載の媒体。
22. 前記デバイスが前記第１のビューの画像データを前記基準画像の第２のビューの平面に投影し、前記第２のビューは符号化される前記画素ブロックの空間位置に対応する、請求項１９に記載の媒体。
23. ビデオ符号化の方法であって、
    立方体マップフォーマットで記憶される基準画像に対して、前記立方体マップフォーマットに含まれる第１のビューの画像データが複製されて前記立方体マップ画像に含まれる第２のビューに隣接して配置される、パディングされた基準画像を生成することと、
    符号化される入力画像の画素ブロックに対して、前記入力画像と前記パディングされた基準画像のコンテンツ間の予測一致を検索することであって、前記検索は前記第１のビューの前記複製されたデータを含む、ことと、
    一致が発生すると、前記画素ブロックを前記パディングされた基準画像からの一致しているデータに関して差分的に符号化することと、
    を含む、方法。
24. ビデオ符号化の方法であって、
    符号化された画素ブロックに対して、前記符号化された画素ブロックの予測データから、前記符号化された画素ブロックがパディングされた基準画像データを参照して符号化されているかどうか判定することと、
    前記符号化された画素ブロックがパディングされた基準画像データを参照して符号化されているとき、前記基準画像の第１のビューの複製された画像データによって記憶された基準画像からパディングされた基準画像を生成して、前記パディングされた基準画像を前記基準画像の第２のビューに隣接して配置することと、
    前記符号化された画素ブロックのための予測基準として前記パディングされた基準画像データを使用して前記符号化された画素ブロックを復号することと、
    を含む、方法。
25. 符号化された画素ブロックデータに対する入力を有するビデオ復号器と、
    前記ビデオ復号器によって生成される復号されたピクチャであって、立方体マップフォーマットの前記復号されたピクチャを記憶する基準ピクチャ記憶と、
    前記基準ピクチャ記憶に記憶される復号されたピクチャからのパディングされた基準画像を生成するためのパディングユニットであって、前記パディングされた基準画像は、複製されて前記立法マップ画像に含まれる第２のビューに隣接して配置される前記復号されたピクチャの第１のビューの画像データを有する、パディングユニットと、
    前記パディングユニットに結合された入力及び前記ビデオ復号器に結合された出力を有する予測器と、
    を備えるビデオ復号器。
26. ビデオ符号化の方法であって、
    球面投影に従って表される基準画像に対して、前記基準画像の一部の画像データが複製されて前記基準画像のエッジに隣接して配置される、パディングされた基準画像を生成することと、
    符号化される入力画像の画素ブロックに対して、前記入力画像と前記パディングされた基準画像のコンテンツ間の予測一致を検索することであって、前記検索は前記複製されたデータを含む、ことと、
    一致が発生すると、前記画素ブロックを前記パディングされた基準画像からの一致しているデータに関して差分的に符号化することと、
    を含む、方法。