JP2020508618A - Video coding techniques for multi-view video - Google Patents

Abstract

立方体マップ画像としてキャプチャされるビデオを符号化して復号するための技術が開示される。これらの技術によれば、パディングされた基準画像が、入力データを予測する間に使用するために生成される。基準画像は、立方体マップフォーマットで記憶される。パディングされた基準画像は、基準画像から生成され、その中には基準画像に含まれる第１のビューの画像データが複製されて立方体マップ画像に含まれる第２のビューに隣接して配置される。入力画像の画素ブロックを符号化すると、予測検索は入力画素ブロックとパディングされた基準画像のコンテンツの間で実行することができる。予測検索が一致を識別すると、画素ブロックはパディングされた基準画像からの一致しているデータに関して符号化することができる。パディングされた基準画像の複製されたデータの存在は、十分な予測一致が入力画素ブロックデータに対して識別されるという可能性を増加させると考えられ、それはビデオ符号化の全体的な効率を上昇させる。【選択図】図５Techniques for encoding and decoding video captured as a cubic map image are disclosed. According to these techniques, a padded reference image is generated for use during predicting input data. The reference image is stored in a cube map format. The padded reference image is generated from the reference image, in which the image data of the first view included in the reference image is duplicated and arranged adjacent to the second view included in the cubic map image. . Once the pixel blocks of the input image have been encoded, a predictive search can be performed between the input pixel blocks and the padded reference image content. Once the predictive search has identified a match, the pixel block can be encoded with respect to the matching data from the padded reference image. It is believed that the presence of duplicated data in the padded reference image increases the likelihood that sufficient predictive matches will be identified for the input pixel block data, which increases the overall efficiency of video coding Let it. [Selection diagram] FIG.

Description

本開示は、マルチビュー撮像システムの符号化／復号システムに関し、特に、最初はマルチビュー画像データのための平坦な画像用に開発された符号化技術の使用に関する。   The present disclosure relates to encoding / decoding systems for multi-view imaging systems, and more particularly, to the use of encoding techniques originally developed for flat images for multi-view image data.

ビデオ符号化システムは、通常はビデオコンテンツの空間及び／又は時間的冗長性を利用することによって、ビデオ信号の帯域幅を減らした。入力データの所与の部分（便宜上「画素ブロック」と呼ばれる）は、類似のコンテンツを識別するために、以前に符号化された画像と比較される。検索が適切な一致を識別する場合、入力画素ブロックは一致しているデータ（「基準ブロック」）に関して以前の画像から差分的に符号化される。多くの最新の符号化プロトコル、例えばＩＴＵ−Ｔ Ｈ．２６５、Ｈ．２６４、Ｈ．２６３及びそれらの先行プロトコルは、これらの基本原則の周辺で設計されている。   Video coding systems have reduced the bandwidth of video signals, typically by exploiting the spatial and / or temporal redundancy of the video content. A given portion of the input data (referred to as a "pixel block" for convenience) is compared to previously encoded images to identify similar content. If the search identifies a proper match, the input pixel block is differentially encoded from the previous image with respect to the matching data ("reference block"). Many modern coding protocols, such as ITU-T H.264. 265, H .; 264, H .; H.263 and their predecessor protocols are designed around these basic principles.

このようなビデオ符号化プロトコルは画像データが「平面である」という仮定で動作し、これは、画像コンテンツが連続的な二次元の視野を表すことを意味する。しかしながら、これらの仮定の下で作動しない最新のビデオシステムが開発されつつある。   Such video coding protocols operate on the assumption that the image data is "planar", which means that the image content represents a continuous two-dimensional view. However, modern video systems that do not work under these assumptions are being developed.

マルチビュー撮像は、画像データが平坦ではない１つのアプリケーションである。マルチビュー撮像システムによって生成される画像は、画像データの二次元アレイの画像データを表すことができるが、画像の中に含まれる画像データに空間的不連続性が存在することがあり得る。自由空間における比較的小さいオブジェクト運動は、オブジェクトを表す画像データの中での大きい空間移動によって表すことができる。したがって、最新の符号化システムは、これらの運動の例を差分符号化の機会として認識できない場合がある。このような現象を認識することができないことによって、このような符号化システムは、それらが可能であろうと思われるほど効率的には画像データを符号化しない。   Multi-view imaging is one application where image data is not flat. Images generated by a multi-view imaging system can represent image data of a two-dimensional array of image data, but there can be spatial discontinuities in the image data contained within the image. Relatively small object motions in free space can be represented by large spatial movements in the image data representing the object. Thus, modern coding systems may not be able to recognize these motion examples as differential coding opportunities. Due to the inability to recognize such phenomena, such encoding systems do not encode image data as efficiently as they would be possible.

したがって、本発明者らは、符号化システムを改善して、マルチビュー画像データにおいて生じ得る運動効果に適応する必要性を認識した。   Accordingly, the present inventors have recognized the need to improve the coding system to accommodate for possible motion effects in multi-view image data.

本開示の実施形態での使用に適したシステムを示す。1 illustrates a system suitable for use in embodiments of the present disclosure. 本開示の一実施形態に係る符号化システムの機能ブロック図である。1 is a functional block diagram of an encoding system according to an embodiment of the present disclosure. 例示的な立方体マップ画像及び自由空間の画像コンテンツとのその関係を示す。FIG. 4 illustrates an exemplary cube map image and its relationship to free space image content. 例示的な立方体マップ画像及び自由空間の画像コンテンツとのその関係を示す。FIG. 4 illustrates an exemplary cube map image and its relationship to free space image content. 例示的な立方体マップ画像及び自由空間の画像コンテンツとのその関係を示す。FIG. 4 illustrates an exemplary cube map image and its relationship to free space image content. 本開示の一実施形態に係る方法を示す。4 illustrates a method according to an embodiment of the present disclosure. 本開示の一実施形態に係るパディングされた立方体マップ画像を示す。5 illustrates a padded cubic map image according to an embodiment of the present disclosure. 本開示の一実施形態に係る、別の例示的な立方体マップ画像及びそこから生成され得るパディングされた画像を示す。4 illustrates another exemplary cube map image and padded images that may be generated therefrom, according to one embodiment of the present disclosure. 本開示の一実施形態に係る、別の例示的な立方体マップ画像及びそこから生成され得るパディングされた画像を示す。4 illustrates another exemplary cube map image and padded images that may be generated therefrom, according to one embodiment of the present disclosure. 本開示の別の実施形態に係る方法を示す。4 illustrates a method according to another embodiment of the present disclosure. 例示的な立方体マップ画像を示す。4 shows an exemplary cube map image. 本開示の実施形態によって符号化され得る例示的なパディングされた基準画像を示す。5 illustrates an exemplary padded reference image that may be encoded according to embodiments of the present disclosure. 本開示の実施形態によって符号化され得る例示的なパディングされた基準画像を示す。5 illustrates an exemplary padded reference image that may be encoded according to embodiments of the present disclosure. 別の例示的な立方体マップ画像及び自由空間の画像コンテンツとのその関係を示す。FIG. 4 illustrates another exemplary cube map image and its relationship to free space image content. 本開示の一実施形態に係る、マルチビュー画像データの例示的な投影を示す。4 illustrates an exemplary projection of multi-view image data according to one embodiment of the present disclosure. 本開示の一実施形態に係る、マルチビュー画像データの例示的な投影を示す。4 illustrates an exemplary projection of multi-view image data according to one embodiment of the present disclosure. 本開示の一実施形態に係る、マルチビュー画像データの例示的な投影を示す。4 illustrates an exemplary projection of multi-view image data according to one embodiment of the present disclosure. 本開示の一実施形態に係る、マルチビュー画像データの例示的な投影を示す。4 illustrates an exemplary projection of multi-view image data according to one embodiment of the present disclosure. 本開示の一実施形態に係る、球面投影画像データと共に使用されるパディングデータの適用を示す。4 illustrates the application of padding data used with spherical projection image data according to one embodiment of the present disclosure. 本開示の一実施形態に係る、球面投影画像データと共に使用されるパディングデータの適用を示す。4 illustrates the application of padding data used with spherical projection image data according to one embodiment of the present disclosure. 本開示の一実施形態に係る、球面投影画像データと共に使用されるパディングデータの適用を示す。4 illustrates the application of padding data used with spherical projection image data according to one embodiment of the present disclosure. 本開示の一実施形態に係る、球面投影画像データと共に使用されるパディングデータの適用を示す。4 illustrates the application of padding data used with spherical projection image data according to one embodiment of the present disclosure. 本開示の一実施形態に係る、球面投影画像データと共に使用されるパディングデータの適用を示す。4 illustrates the application of padding data used with spherical projection image data according to one embodiment of the present disclosure. 本開示の一実施形態に係る方法を示す。4 illustrates a method according to an embodiment of the present disclosure. 図１２の方法及びそのための球面投影によって処理され得る例示的な正距円筒画像を示す。13 illustrates an exemplary equirectangular image that may be processed by the method of FIG. 12 and a spherical projection therefor. 図１２の方法及びそのための球面投影によって処理され得る例示的な正距円筒画像を示す。13 illustrates an exemplary equirectangular image that may be processed by the method of FIG. 12 and a spherical projection therefor. 本開示の一実施形態に係る符号化システムの機能ブロック図である。1 is a functional block diagram of an encoding system according to an embodiment of the present disclosure. 本開示の一実施形態に係る復号システムの機能ブロック図である。It is a functional block diagram of a decoding system concerning one embodiment of the present disclosure. 本開示の実施形態での使用に適した例示的コンピュータシステムを示す。1 illustrates an exemplary computer system suitable for use in embodiments of the present disclosure.

本開示の実施形態は、立方体マップ画像用のビデオ符号化／復号技術を提供する。これらの技術によれば、パディングされた基準画像が、入力データを予測する間に使用するために生成される。基準画像は、立方体マップフォーマットで記憶される。パディングされた基準画像は、基準画像から生成され、その中には基準画像に含まれる第１のビューの画像データが複製されて立方体マップ画像に含まれる第２のビューに隣接して配置される。入力画像の画素ブロックを符号化すると、予測検索は入力画素ブロックとパディングされた基準画像のコンテンツの間で実行することができる。予測検索が一致を識別すると、画素ブロックはパディングされた基準画像からの一致しているデータに関して符号化することができる。パディングされた基準画像の複製されたデータの存在は、十分な予測一致が入力画素ブロックデータに対して識別されるという可能性を増加させると考えられ、それはビデオ符号化の全体的な効率を上昇させる。   Embodiments of the present disclosure provide video encoding / decoding techniques for cubic map images. According to these techniques, a padded reference image is generated for use during predicting input data. The reference image is stored in a cube map format. The padded reference image is generated from the reference image, in which the image data of the first view included in the reference image is duplicated and arranged adjacent to the second view included in the cubic map image. . Once the pixel blocks of the input image have been encoded, a predictive search can be performed between the input pixel blocks and the content of the padded reference image. Once the predictive search has identified a match, the pixel block can be encoded with respect to the matching data from the padded reference image. It is believed that the presence of duplicated data in the padded reference image increases the likelihood that sufficient prediction matches will be identified for the input pixel block data, which increases the overall efficiency of video coding Let it.

図１は、本開示の実施形態が使用され得るシステム１００を示す。システム１００は、ネットワーク１３０を介して相互接続される少なくとも２つの端末１１０〜１２０を含むことができる。第１の端末１１０は、マルチビュービデオを生成する画像ソースを有することができる。端末１１０は、符号化システム及び伝送システム（図示せず）も含んで、マルチビュービデオの符号化表現を第２の端末１２０に送信することができ、そこで、それは消費されてもよい。例えば、第２の端末１２０は、マルチビュービデオをローカルディスプレイ上に表示することができ、それはマルチビュービデオを修正するためにビデオ編集プログラムを実行することができるか、又はマルチビューをアプリケーション（例えば、仮想現実プログラム）に組み込むことができ、ヘッドマウントディスプレイ（例えば、仮想現実アプリケーション）に表すことができ、又は、それは後で使用するためにマルチビュービデオを記憶することができる。   FIG. 1 illustrates a system 100 in which embodiments of the present disclosure may be used. System 100 may include at least two terminals 110-120 interconnected via network 130. The first terminal 110 may have an image source that generates a multi-view video. Terminal 110 may also include a coding system and a transmission system (not shown) to send the coded representation of the multi-view video to second terminal 120, where it may be consumed. For example, the second terminal 120 can display the multi-view video on a local display, which can execute a video editing program to modify the multi-view video, or can convert the multi-view video to an application (eg, , A virtual reality program), can be represented on a head mounted display (eg, a virtual reality application), or it can store multi-view video for later use.

図１は、第１の端末１１０から第２の端末１２０へのマルチビュービデオの一方向送信に適したコンポーネントを示す。いくつかの用途で、ビデオデータの双方向性の交換を提供することは適切であり得て、この場合、第２の端末１２０はそれ自身の画像ソース、ビデオ符号器及び送信器（図示せず）を含むことができ、第１の端末１１０はそれ自身の受信機及びディスプレイ（これも図示せず）を含むことができる。マルチビュービデオを双方向に交換することが望ましい場合、以下に述べられる技術はマルチビュービデオの一対の独立した一方向交換を生成するために繰り返すことができる。他の用途では、マルチビュービデオを一方向へ（例えば、第１の端末１１０から第２の端末１２０へ）送信して、「平面」ビデオ（例えば、限られた視野からのビデオ）を逆方向に送信することは、差し支えない。   FIG. 1 shows components suitable for one-way transmission of multi-view video from a first terminal 110 to a second terminal 120. In some applications, it may be appropriate to provide a bidirectional exchange of video data, in which case the second terminal 120 will have its own image source, video encoder and transmitter (not shown). ), And the first terminal 110 may include its own receiver and display (also not shown). If it is desirable to exchange multi-view video in both directions, the techniques described below can be repeated to generate a pair of independent one-way exchanges of multi-view video. In other applications, the multi-view video is transmitted in one direction (eg, from the first terminal 110 to the second terminal 120) and “flat” video (eg, video from a limited field of view) is transmitted in the reverse direction. Can be sent to

図１において、第２の端末１２０はコンピュータディスプレイとして示すが、本開示の原理はそのように限定されるわけではない。本開示の実施形態は、ラップトップコンピュータ、タブレット型コンピュータ、スマートフォン、サーバ、メディアプレーヤ、仮想現実頭部装着ディスプレイ、拡張現実ディスプレイ、ホログラムディスプレイ及び／又は専用のテレビ会議装置での用途がある。ネットワーク１３０は、例えば、有線及び／又は無線通信ネットワークを含む端末１１０〜１２０の中の符号化ビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク１３０は、回線交換及び／又はパケット交換チャネルのデータを交換することができる。代表的なネットワークとしては、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク及び／又はインターネットを挙げることができる。本説明の目的上、ネットワーク１３０のアーキテクチャ及びトポロジは、以下に説明されない限り、本開示の動作にとって重要ではない。   In FIG. 1, the second terminal 120 is shown as a computer display, but the principles of the present disclosure are not so limited. Embodiments of the present disclosure have application in laptop computers, tablet computers, smartphones, servers, media players, virtual reality head mounted displays, augmented reality displays, hologram displays, and / or dedicated video conferencing devices. Network 130 represents any number of networks that carry encoded video data among terminals 110-120, including, for example, wired and / or wireless communication networks. Communication network 130 may exchange data on circuit-switched and / or packet-switched channels. Representative networks may include telecommunications networks, local area networks, wide area networks, and / or the Internet. For the purpose of this description, the architecture and topology of the network 130 are not important to the operation of the present disclosure unless described below.

図２は、本開示の一実施形態に係る符号化システム２００の機能ブロック図である。システム２００は、画像ソース２１０、画像処理システム２２０、ビデオ符号器２３０、ビデオ復号器２４０、基準ピクチャ記憶２５０、予測器２６０、パディングユニット２７０及び、任意選択的に、一対の球面変換ユニット２８０．１、２８０．２を含むことができる。画像ソース２１０はマルチビュー画像として画像データを生成することができ、複数の方向に基準点周辺で拡がる視野の画像データを含む。画像処理システム２２０は必要に応じて画像ソース２１０から画像データを変換することができて、ビデオ符号器２３０の要件に適合する。ビデオ符号器２３０は、通常画像データの空間及び／又は時間的冗長性を利用することによって、その入力画像データの符号化表現を生成することができる。ビデオ符号器２３０は、送信され、及び／又は格納されるときに、入力データより少ない帯域幅を消費する入力データの符号化表現を出力することができる。   FIG. 2 is a functional block diagram of the encoding system 200 according to an embodiment of the present disclosure. The system 200 includes an image source 210, an image processing system 220, a video encoder 230, a video decoder 240, a reference picture store 250, a predictor 260, a padding unit 270, and, optionally, a pair of spherical transform units 280.1. , 280.2. Image source 210 can generate image data as a multi-view image, including image data of a field of view extending around a reference point in multiple directions. The image processing system 220 can convert the image data from the image source 210 as needed to meet the requirements of the video encoder 230. Video encoder 230 can generate an encoded representation of its input image data, typically by exploiting the spatial and / or temporal redundancy of the image data. Video encoder 230 may output a coded representation of the input data that, when transmitted and / or stored, consumes less bandwidth than the input data.

ビデオ復号器２４０は、ビデオエンコーダ２３０によって実行された符号化動作を反転することができて、符号化ビデオデータから再構成されたピクチャを取得する。通常、ビデオ符号器２３０によって適用される符号化処理は損失性プロセスであり、それによって、再構成されたピクチャは元のピクチャと比較されるときに、種々のエラーを有することになる。ビデオ復号器２４０は、「基準ピクチャ」と呼ばれる選択された符号化ピクチャのピクチャを再構成することができて、復号された基準ピクチャを基準ピクチャ記憶２５０に記憶することができる。送信エラーがない場合、復号された基準ピクチャは、復号器（図２に示さず）によって取得される復号された基準ピクチャを複製する。   Video decoder 240 may invert the encoding operation performed by video encoder 230 to obtain a reconstructed picture from the encoded video data. Typically, the encoding process applied by video encoder 230 is a lossy process, whereby the reconstructed picture will have various errors when compared to the original picture. Video decoder 240 may reconstruct a picture of the selected coded picture, referred to as a “reference picture,” and may store the decoded reference picture in reference picture store 250. If there are no transmission errors, the decoded reference picture duplicates the decoded reference picture obtained by the decoder (not shown in FIG. 2).

予測器２６０は新規な入力ピクチャのための予測基準を、それらが符号化されるときに選択することができる。符号化されている入力ピクチャの各部分（便宜上「画素ブロック」と呼ぶ）に対して、予測器２６０は、符号化モードを選択することができて、符号化されている画素ブロックの予測基準検索として役立ち得る基準ピクチャの一部を識別することができる。符号化モードはイントラ符号化モードであってもよく、その場合には、予測基準は符号化されているピクチャの予め符号化された（及び、復号された）部分から引き出すことができる。あるいは、符号化モードはインター符号化モードであってもよく、その場合には、予測基準は他の予め符号化及び復号されたピクチャから引き出すことができる。予測器２６０は、本明細書において記載されるパディングユニット２７０によって生成される、パディングされた基準画像データにおいて作動することができる。   Predictor 260 can select prediction criteria for new input pictures as they are encoded. For each part of the input picture that is being coded (referred to as a “pixel block” for convenience), the predictor 260 can select a coding mode and perform a prediction criterion search for the coded pixel block. Can be identified as part of the reference picture that can serve as The encoding mode may be an intra-coding mode, in which case the prediction criterion may be derived from the pre-encoded (and decoded) portion of the picture being encoded. Alternatively, the encoding mode may be an inter-coding mode, in which case the prediction criteria may be derived from other pre-encoded and decoded pictures. The predictor 260 can operate on the padded reference image data generated by the padding unit 270 described herein.

一実施形態において、予測器２６０は、入力ピクチャ及び球面投影表現に変換された基準ピクチャに作用して符号化されているピクチャの予測基準を検索することができる。球面変換ユニット２８０．１、２８０．２は、入力ピクチャ及び基準ピクチャを球面投影表現に変換することができる。   In one embodiment, the predictor 260 can operate on the input picture and the reference picture converted to the spherical projection representation to retrieve the prediction reference of the picture being coded. The spherical transform units 280.1, 280.2 can transform the input picture and the reference picture into a spherical projection representation.

適切な予測基準が識別されると、予測器２６０は予測データをビデオ符号器２３０に与えることができる。ビデオ符号器２３０は、予測器２６０によって供給される予測データに関して、差分的に入力ビデオデータを符号化することができる。通常、予測動作及び差分符号化は、画素ブロックごとのベースで作用する。入力画素ブロックと予測画素ブロックの間の画素ごとの違いを表す予測残差は、更なる符号化動作の対象とすることができ、更に帯域幅を減らすことができる。   Once a suitable prediction criterion has been identified, predictor 260 may provide prediction data to video encoder 230. Video encoder 230 may differentially encode the input video data with respect to the prediction data provided by predictor 260. Normally, the prediction operation and the difference coding operate on a pixel block basis. The prediction residual, which represents the pixel-by-pixel difference between the input pixel block and the prediction pixel block, can be subject to further encoding operations, further reducing bandwidth.

示されるように、出力されるビデオ符号器２３０による符号化ビデオデータは、送信及び／又は格納されるときに、入力データより少ない帯域幅を消費するはずである。符号化システム２００は、符号化ビデオデータを出力装置２９０、例えば通信ネットワーク１３０（図１）全体に符号化ビデオデータを送信することができる送信器（図示せず）又は電子、磁気及び／又は光記憶媒体などの記憶装置（これも図示せず）に、出力することができる。   As shown, the output encoded video data by video encoder 230, when transmitted and / or stored, should consume less bandwidth than the input data. The encoding system 200 may transmit the encoded video data to an output device 290, such as a transmitter (not shown) or electronic, magnetic and / or optical, capable of transmitting the encoded video data across the communication network 130 (FIG. 1). The data can be output to a storage device such as a storage medium (also not shown).

図３は、本発明の実施形態での使用に適した立方体マップ画像３００を示す。示されるように、全方向カメラは、「正面」ビュー３１０、「左側」ビュー３２０、「背面」ビュー３３０、「右側」ビュー３４０、「上面」ビュー３５０及び「底面」ビュー３６０をそれぞれ表すいくつかの視野の画像データをキャプチャすることができる。これらのビュー３１０〜３６０の画像データは、異なる視野の間に存在する空間関係に従って、ＭｘＮ画素の画像に組み立てることができる。   FIG. 3 shows a cubic map image 300 suitable for use in an embodiment of the present invention. As shown, the omnidirectional camera has several representations of a “front” view 310, a “left” view 320, a “back” view 330, a “right” view 340, a “top” view 350, and a “bottom” view 360, respectively. Image data of the field of view can be captured. The image data of these views 310-360 can be assembled into MxN pixel images according to the spatial relationship that exists between the different fields of view.

図３（ａ）は、より大きな立方体マップ画像３００におけるビュー３１０〜３６０の向きを示す。図３（ｂ）は、これらのビュー３１０〜３６０に対応する画像をキャプチャするカメラを中心としたビュー３１０〜３６０の向きを示す。便宜上、これらの視野ごとにキャプチャされる画像データは、立方体マップ画像３００のコンテンツを説明するときに、「ビュー」３１０〜３６０として記述される。   FIG. 3A shows the orientation of the views 310 to 360 in the larger cubic map image 300. FIG. 3B shows the orientation of the views 310 to 360 around the camera that captures images corresponding to these views 310 to 360. For convenience, these image data captured for each field of view are described as "views" 310-360 when describing the content of the cubic map image 300.

図３（ｃ）はビューの空間的向きの分解図であり、ビュー３１０〜３６０の間に発生するエッジ３１２〜３１８、３２２〜３２６、３３２〜３３６、３４２〜３４４を示す。したがって、図３（ｂ）に示すように、エッジ３１２と直ちに隣接している正面ビュー３１０からの画像コンテンツは、これもエッジ３１２と直ちに隣接している左側ビュー３２０からの画素コンテンツと空間的に隣接している。同様に、エッジ３１４と直ちに隣接している正面ビュー３１０からの画素コンテンツは、これもエッジ３１４と直ちに隣接している右側ビュー３４０からの画素コンテンツと空間的に隣接している。エッジ３１６及び３１８と直ちに隣接している正面ビュー３１０からの画素コンテンツは、それぞれ、それらのエッジと直ちに隣接している上面ビュー３５０及び底面ビュー３６０からの画素コンテンツと空間的に隣接している。   FIG. 3C is an exploded view of the spatial orientation of the view, showing edges 312-318, 322-326, 332-336, 342-344 that occur between views 310-360. Thus, as shown in FIG. 3 (b), the image content from the front view 310 immediately adjacent to the edge 312 is spatially different from the pixel content from the left view 320 which is also immediately adjacent to the edge 312. Adjacent. Similarly, pixel content from the front view 310 immediately adjacent to the edge 314 is also spatially adjacent to pixel content from the right view 340, which is also immediately adjacent to the edge 314. Pixel content from the front view 310 immediately adjacent to the edges 316 and 318 is spatially adjacent to pixel content from the top view 350 and the bottom view 360, respectively, immediately adjacent to those edges.

ビュー３１０〜３６０は立方体マップ画像３００内に配置されて、ビュー３１０〜３６０の間の境界のいくつかにわたって連続性を保持することができる。図３（ａ）に示すように、画像連続性は、正面ビュー３１０と隣接した左側、上面及び底面ビュー３２０、３５０及び３６０の間で、それらのそれぞれのエッジ３１２、３１６及び３１８に沿って維持することができる。画像連続性は、それぞれ、左側ビュー３２０と正面と背面ビュー３１０、３３０の間で、エッジ３１２及び３２２に沿って維持することができる。画像連続性は、背面ビュー３３０と左側と右側のビュー３２０、３４０の間のそれぞれエッジ３２２及び３３２に沿って維持することができる。   The views 310-360 can be placed in the cubic map image 300 to maintain continuity over some of the boundaries between the views 310-360. As shown in FIG. 3 (a), image continuity is maintained between the front view 310 and adjacent left, top and bottom views 320, 350 and 360 along their respective edges 312, 316 and 318. can do. Image continuity may be maintained along edges 312 and 322 between left view 320 and front and back views 310, 330, respectively. Image continuity may be maintained along edges 322 and 332 between rear view 330 and left and right views 320, 340, respectively.

しかしながら、画像連続性は、エッジ３１４、３２４、３２６、３３４、３３６、３４２、３４４にわたっては維持されない。したがって、これらのエッジと隣接しているビュー３１０〜３６０からの画像コンテンツは、それらが隣接する画像コンテンツを表すが、互いに近接してはない。例えば、エッジ３１４と隣接している正面ビュー３１０及び右側ビュー３４０からのコンテンツは、図３（ｃ）に示すように、空間的に互いに隣接しているが、それらは図３（ａ）に示される立方体マップ画像３００の反対側のエッジに沿って現れる。同様に、上面ビュー３５０のエッジ３２４、３３６及び３４４に沿った画像コンテンツは、それぞれ左側ビュー３２０、背面ビュー３３０及び右側ビュー３４０のエッジ３２４、３３６及び３４４に沿ったそれらの対応物から遠く離れている。更に、底面ビュー３６０のエッジ３２６、３３４及び３４２に沿った画像コンテンツは、それぞれ左側ビュー３２０、背面ビュー３３０及び右側ビュー３４０のエッジ３２６、３３４及び３４２に沿ったそれらの対応物から遠く離れている。   However, image continuity is not maintained across edges 314,324,326,334,336,342,344. Thus, the image content from views 310-360 adjacent to these edges represents the image content they are adjacent to, but not adjacent to each other. For example, content from the front view 310 and the right view 340 adjacent to the edge 314 are spatially adjacent to each other as shown in FIG. 3 (c), but they are shown in FIG. 3 (a). Appear along the opposite edge of the cubic map image 300. Similarly, image content along edges 324, 336, and 344 of top view 350 are far away from their counterparts along edges 324, 336, and 344 of left view 320, back view 330, and right view 340, respectively. I have. Further, image content along edges 326, 334, and 342 of bottom view 360 are far away from their counterparts along edges 326, 334, and 342 of left view 320, back view 330, and right view 340, respectively. .

図４は、本開示の一実施形態に係る方法を示す。方法４００は、例えば図３（ａ）に示すような立方体マップ画像フォーマットに配置される基準ピクチャを処理することができる。候補基準ピクチャごとに、方法４００は、ソース立方体マップ画像のヌル領域内にパディングされた画像を作成することができる（ボックス４１０）。方法４００は、ボックス４１０で生成されたパディングされた画像全体の入力画素ブロックの運動予測検索を実行することもできる（ボックス４２０）。方法４００は予測検索が一致を生成するかどうか判定することができ（ボックス４３０）、生成すると判定された場合は、方法４００は運動予測検索から識別される一致している基準ブロックを用いて予測される入力画素ブロックを符号化することができる（ボックス４４０）。そうでない場合は、方法４００は、代替の技術によって、例えばイントラ符号化によって、入力画素ブロックを符号化することができる。   FIG. 4 illustrates a method according to an embodiment of the present disclosure. The method 400 can process reference pictures arranged in a cubic map image format, for example, as shown in FIG. For each candidate reference picture, the method 400 may create an image padded in the null region of the source cube map image (box 410). The method 400 may also perform a motion prediction search of the input pixel block of the entire padded image generated in box 410 (box 420). The method 400 may determine whether the predictive search produces a match (box 430), and if so, the method 400 predicts using the matching reference block identified from the motion predictive search. The input pixel block to be encoded can be encoded (box 440). Otherwise, the method 400 may encode the input pixel block by an alternative technique, for example, by intra-coding.

図５は、本開示の一実施形態に係る、パディングされた立方体マップ画像５００を示す。パディングされた立方体マップ画像５００は、図３（ａ）のようなソース立方体マップ画像の作成から生成される、正面、左側、背面、右側、上面及び底面ビュー３１０〜３６０からの画像データを含むことができる。図３（ａ）に示されるヌル領域３７０．１、３７０．２であった立方体マップ画像３００の領域は、エッジ３２４、３２６、３３４、３３６、３４２及び３４４に接していてそれらのエッジにわたる連続画像コンテンツを展開するのに必要なビューからの画像データを含むことができる。したがって、ヌル領域３７０．１（図３）の場合、上面ビュー３５０の画像コンテンツはパディングされた画像５１０、５２０及び５３０として配置されてもよく、上面ビュー３５０の各インスタンスは回転されて、そのエッジを左側ビュー３２０、背面ビュー３３０及び右側ビュー３４０のエッジ３２４、３３６及び３４４に位置合わせしてもよい。同様に、ヌル領域３７０．２（図３）の場合、底面ビュー３６０の画像コンテンツはパディングされた画像５４０、５５０及び５６０として配置されてもよく、底面ビュー３６０の各インスタンスは回転されて、そのエッジを左側ビュー３２０、背面ビュー３３０及び右側ビュー３４０のエッジ３２６、３３４及び３４２に位置合わせしてもよい。図５において、パディングされた画像５１０〜５６０のテキストは、これらのエッジ３２４、３２６、３３４、３３６、３４２及び３４４にデータを位置合わせするために発生し得る画像データの回転を示す。   FIG. 5 illustrates a padded cubic map image 500 according to one embodiment of the present disclosure. The padded cube map image 500 should include image data from the front, left, back, right, top, and bottom views 310-360, generated from the creation of the source cube map image as in FIG. Can be. The areas of the cubic map image 300 that were null areas 370.1 and 370.2 shown in FIG. 3A are continuous images that touch the edges 324, 326, 334, 336, 342, and 344 and extend over those edges. It can include image data from the views needed to deploy the content. Thus, for the null region 370.1 (FIG. 3), the image content of the top view 350 may be arranged as padded images 510, 520 and 530, and each instance of the top view 350 is rotated to its edge May be aligned with edges 324, 336 and 344 of left view 320, rear view 330 and right view 340. Similarly, for the null region 370.2 (FIG. 3), the image content of the bottom view 360 may be arranged as padded images 540, 550, and 560, and each instance of the bottom view 360 is rotated and its The edges may be aligned with edges 326, 334, and 342 of left view 320, rear view 330, and right view 340. In FIG. 5, the text of the padded images 510-560 shows the rotation of the image data that can occur to align the data to these edges 324, 326, 334, 336, 342, and 344.

パディングされた画像の提供は、予測ビデオ符号器が画像全体の画像コンテンツの移動を検出することができる可能性を増大させる。図３に示されるオブジェクトを左側ビュー３２０内の位置Ｌｏｃ１で考察する。オブジェクトの画像コンテンツは、以前に符号化された基準フレーム内の上面ビュー３５０の位置Ｌｏｃ２から移動したものであってもよい。したがって、上面ビュー３５０の位置Ｌｏｃ２のオブジェクトの画像コンテンツは、位置Ｌｏｃ１におけるオブジェクトのための予測基準としての役割を果たすことができる。しかしながら、実際には、符号化されているフレームの位置Ｌｏｃ１にあるオブジェクトのための予測一致を検索するビデオ符号器が、基準フレームの位置Ｌｏｃ２で、画像コンテンツを検出することができない場合があり、これは、正距円筒画像３００の位置Ｌｏｃ１からのオブジェクトの距離かその向きのいずれか、又は両方ともによるものである。   Providing padded images increases the likelihood that the predictive video encoder can detect movement of image content throughout the image. Consider the object shown in FIG. 3 at position Loc1 in the left view 320. The image content of the object may have been moved from the position Loc2 of the top view 350 in the previously encoded reference frame. Thus, the image content of the object at position Loc2 in top view 350 can serve as a predictor for the object at position Loc1. However, in practice, the video encoder searching for a prediction match for the object at position Loc1 of the frame being coded may not be able to detect the image content at position Loc2 of the reference frame, This is due to either the distance of the object from the position Loc1 of the equirectangular cylinder image 300 or its orientation, or both.

図５に示すように、パディングされた画像を用いて、オブジェクトの冗長コピーは、基準フレームの位置Ｌｏｃ３で与えることができる。上面ビュー３５０の画像コンテンツは、エッジ３２４で左側ビュー３２０の画像コンテンツと共にエッジ３２４で上面ビュー３５０の画像コンテンツに隣接する向きで、パディングされたビュー５１０に現れる。位置Ｌｏｃ３の画像コンテンツの位置及び向きは、（位置Ｌｏｃ１で）符号化されているオブジェクトにより近く、したがって、それは、予測ビデオ符号器による予測の基礎としての役割を果たす可能性がより高い。   As shown in FIG. 5, using the padded image, a redundant copy of the object can be given at position Loc3 of the reference frame. The image content of top view 350 appears in padded view 510 along with the image content of left view 320 at edge 324 in an orientation adjacent to the image content of top view 350 at edge 324. The position and orientation of the image content at position Loc3 is closer to the object being coded (at position Loc1), so it is more likely to serve as the basis for prediction by the predictive video encoder.

本発明の原理は、様々なフォーマットの立方体マップ画像での用途がある。別のフォーマットが図６に示され、これは４つのヌル領域６７０．１〜６７０．４を有する代替的な表現における正面、左側、背面、右側、上面及び底面ビュー６１０〜６６０を示す（図６（ａ））。ここで、パディングされた画像６８０．１〜６８０．６はヌル領域６７０．１〜６７０．４において与えることができ、これらはビュー６１０〜６６０のそれぞれから引き出される（図６（ｂ））。この例では、パディングされた画像６８０．１及び６８０．４は右側ビュー６４０から導出することができ、パディングされた画像６８０．２〜６８０．３及び６８０．５〜６８０．６は上面ビュー６５０から導出することができる。   The principles of the present invention have application in cubic map images in various formats. Another format is shown in FIG. 6, which shows the front, left, back, right, top and bottom views 610-660 in an alternative representation with four null regions 670.1-670.4 (FIG. 6). (A)). Here, padded images 680.1-680.6 can be provided in null regions 670.1-670.4, which are derived from each of views 610-660 (FIG. 6 (b)). In this example, padded images 680.1 and 680.4 can be derived from right view 640, and padded images 680.2-680.3 and 680.5-680.6 can be derived from top view 650. Can be derived.

図５に戻ると、パディングされた画像の使用がすべてのエッジにわたって画像連続性を作り出すというわけではないことが理解できる。例えば、上面ビュー３５０に関して、連続性は、エッジ３２４、３４４又は３３６にわたって維持されない。パディングされた画像５１０は、（それが左側ビュー３２０で対応物のエッジ３２４にわたる連続性を作り出す場合であっても）エッジ３２４にわたる連続性を作り出さない、上面ビューのデータを含む。更に、画像データは、画像５００の境界エッジを表すエッジ３３６及び３４４にはない。同様に、底面ビュー３６０に関しては、エッジ３２６、３３４又は３４２にわたって連続性は維持されない。パディングされた画像５４０は、（それが左側ビュー３２０で対応物のエッジ３２６にわたる連続性を作り出す場合であっても）エッジ３２６にわたる連続性を作り出さない、底面ビューのデータを含む。更に、画像データは、画像５００の境界エッジを表すエッジ３３４及び３４２にはない。したがって、予測検索はこのような境界にわたって一致を識別しない可能性があり、任意選択的に、パディングが適用された後に画像コンテンツの不連続性を有するエッジ３２４、３２６、３３４、３３６、３４２、３４４にわたる検索を回避することを強いられることがあり得る。   Returning to FIG. 5, it can be seen that the use of padded images does not create image continuity across all edges. For example, for top view 350, continuity is not maintained across edges 324, 344, or 336. Padded image 510 includes data from the top view that does not create continuity across edge 324 (even if it creates continuity across edge 324 of the counterpart in left view 320). Further, the image data is not at edges 336 and 344 that represent the boundary edges of image 500. Similarly, for bottom view 360, continuity is not maintained across edges 326, 334, or 342. Padded image 540 includes data for the bottom view that does not create continuity across edge 326 (even if it creates continuity across counterpart edge 326 in left view 320). Further, the image data is not at edges 334 and 342 that represent the boundary edges of image 500. Thus, the predictive search may not identify matches across such boundaries, and optionally, edges 324, 326, 334, 336, 342, 344 with discontinuities in the image content after padding has been applied. May be forced to avoid a search over.

更に別の実施形態では、基準画像は、画像の周辺について、パディングによって拡大されてもよい。したがって、Ｍ×Ｎ画素の画像としてビデオエンコーダ及び復号器によって処理される基準画像は、画像の周辺に沿って、それぞれ、量ΔＭ及びΔＮにだけ拡大されて、（Ｍ＋２ΔＭ）×（Ｎ＋２ΔＮ）の画像を得ることができる。パディングされた画像データはＭ×Ｎ画素の画像の周辺エッジに沿って提供されて、周辺のビュー３１０、３４０、３５０、３６０のエッジに沿って、パディングされた画像データを提供することができる。このようなパディングされた画像データは、立方体マップビューの周辺エッジに当接するビューから引き出すことができる。例えば、右側ビューデータは正面ビュー３１０の周辺エッジに沿って提供することができ、正面ビューデータは右側ビュー３４０の周辺エッジに沿って提供することができる。したがって、予測検索は、Ｍ×Ｎ画像の周辺エッジから、ΔＭ及び／又はΔＮ拡大により提供されるパディングされた領域に拡大することができる。   In yet another embodiment, the reference image may be enlarged by padding around the image. Therefore, the reference image, which is processed by the video encoder and the decoder as an image of M × N pixels, is enlarged along the periphery of the image by the amounts ΔM and ΔN, respectively, to obtain an (M + 2ΔM) × (N + 2ΔN) image Can be obtained. The padded image data may be provided along a peripheral edge of the M × N pixel image to provide padded image data along the edges of the peripheral views 310, 340, 350, 360. Such padded image data can be derived from a view that abuts the peripheral edge of the cubic map view. For example, right view data may be provided along a peripheral edge of the front view 310 and front view data may be provided along a peripheral edge of the right view 340. Thus, the predictive search can extend from the peripheral edge of the M × N image to the padded area provided by ΔM and / or ΔN enlargement.

図７は、本開示の別の実施態様に係る方法７００を示す。方法７００は、符号化されている立方体マップ画像の画素ブロックごとに実行することができる。方法７００は、符号化されている画素ブロックと関連したビューを識別することができる（ボックス７１０）。次に、入力画素ブロックのための予測基準として役割を果たすことができる各候補基準ピクチャに関して、方法７００は、ボックス７１０において識別されるビューと隣接しているビューからの画像データを使用して、パディングされた基準画像を作成することができる（ボックス７２０）。方法７００は、ボックス７２０で作成されたパディングされた基準画像の中で、運動予測検索７３０を実行することができる（ボックス７３０）。候補基準ピクチャについての考慮の後、方法７００は、予測検索が一致を得たかどうかを判定することができる（ボックス７４０）。一致がある場合は、方法７００は、運動予測検索から識別される一致している基準ブロックを用いて、予測される入力画素ブロックを符号化することができる（ボックス７５０）。そうでない場合は、方法７００は、代替の技術によって、例えばイントラ符号化によって、入力画素ブロックを符号化することができる。   FIG. 7 illustrates a method 700 according to another embodiment of the present disclosure. Method 700 may be performed for each pixel block of a cubic map image that is being encoded. The method 700 may identify a view associated with the pixel block being encoded (box 710). Next, for each candidate reference picture that can serve as a prediction criterion for the input pixel block, the method 700 uses image data from a view adjacent to the view identified in box 710 to: A padded reference image can be created (box 720). The method 700 may perform a motion prediction search 730 in the padded reference image created in box 720 (box 730). After considering the candidate reference picture, method 700 may determine whether the predictive search yielded a match (box 740). If there is a match, the method 700 may encode the predicted input pixel block using the matching reference block identified from the motion prediction search (box 750). Otherwise, the method 700 may encode the input pixel block by an alternative technique, for example, by intra-coding.

図８は、図７の方法によって符号化され得る例示的な立方体マップ画像８００を示す。図８（ａ）は、画素ブロックにそれぞれ分割される正面、左側、背面、右側、上面及び底面ビュー８１０〜８８０を有する立方体マップ画像８００を示す。図８（ｂ）は画素ブロックＰＢ１が上面ビュー８５０から符号化されるときに生成され得るパディングされた基準画像８７０を示し、図８（ｃ）は画素ブロックＰＢ１が背面ビュー８３０から符号化されるときに生成され得るパディングされた基準画像８８０を示す。   FIG. 8 illustrates an exemplary cube map image 800 that may be encoded by the method of FIG. FIG. 8A shows a cubic map image 800 having front, left, back, right, top, and bottom views 810-880, each of which is divided into pixel blocks. FIG. 8B illustrates a padded reference image 870 that may be generated when the pixel block PB1 is encoded from the top view 850, and FIG. 8C illustrates the pixel block PB1 encoded from the back view 830. 136 illustrates a padded reference image 880 that may sometimes be generated.

図８（ｂ）を参照すると、入力画像８００の上面ビュー８５０からの画素ブロックＰＢ１が符号化されると、方法７００は、基準ピクチャの上面ビュー８７２からの画像データを含むパディングされた基準画像８７０及び上面ビュー８７２のエッジに沿って提供されるパディングされた画像８７４．１〜８７４．４を生成することができる。この例では、パディングされた画像８７４．１〜８７４．４は、基準画像の正面ビュー８７４．１、基準画像の左側ビュー８７４．２、基準画像の背面ビュー８７４．３及び基準画像の右側ビュー８７４．４の画像データをそれぞれ含む。これらのビュー８７４．１〜８７４．４の画像データはそれぞれ回転されて、上面ビュー８７２のエッジにわたる画像データの連続性を提供することができる。   Referring to FIG. 8 (b), once the pixel block PB1 from the top view 850 of the input image 800 has been encoded, the method 700 may include a padded reference image 870 including image data from the top view 872 of the reference picture. And padded images 874.1-874.4 provided along the edges of the top view 872. In this example, the padded images 874.1-874.4 are a reference image front view 874.1, a reference image left view 874.2, a reference image back view 874.3, and a reference image right view 874. .4 image data. The image data of each of these views 874.1-874.4 can be rotated to provide continuity of the image data across the edges of the top view 872.

パディングされた基準画像８７０は、画素ブロックＰＢ１が符号化されるビュー８５０のすべてのエッジに沿って、連続的基準ピクチャデータを提供することができる。したがって、画素ブロックＰＢ１を符号化するときに、ビデオ符号化システムは画素ブロックＰＢ１が位置するビュー８５０のエッジにわたる予測基準を検索することができる。   Padded reference image 870 may provide continuous reference picture data along all edges of view 850 in which pixel block PB1 is encoded. Thus, when encoding the pixel block PB1, the video encoding system can search for a prediction criterion over the edge of the view 850 where the pixel block PB1 is located.

同様に、図８（ｃ）を参照すると、入力画像８００の背面ビュー８３０からの画素ブロックＰＢ２が符号化されると、方法７００は、基準ピクチャの背面ビュー８８２からの画像データを含むパディングされた基準画像８８０及び背面ビュー８８２のエッジに沿って提供されるパディングされた画像８８４．１〜８８４．４を生成することができる。この例では、パディングされた画像８８４．１〜８８４．４は、基準画像の底面ビュー８８４．１、基準画像の右側ビュー８８４．２、基準画像の上面ビュー８８４．３及び基準画像の左側ビュー８８４．４の画像データをそれぞれ含む。これらのビュー８８４．１〜８８４．４の画像データはそれぞれ回転されて、上面ビュー８８２のエッジにわたる画像データの連続性を提供することができる。   Similarly, with reference to FIG. 8 (c), once the pixel block PB2 from the rear view 830 of the input image 800 has been encoded, the method 700 may be padded with image data from the rear view 882 of the reference picture. Padded images 884.1-884.4 can be generated that are provided along the edges of the reference image 880 and the back view 882. In this example, the padded images 884.1-884.4 are a reference image bottom view 884.1, a reference image right view 884.2, a reference image top view 884.3, and a reference image left view 884. .4 image data. The image data for each of these views 884.1-884.4 can be rotated to provide continuity of the image data across the edges of the top view 882.

パディングされた基準画像８８０は、画素ブロックＰＢ２が符号化されるビュー８３０のすべてのエッジに沿って、連続的基準ピクチャデータを提供することができる。したがって、画素ブロックＰＢ２を符号化するときに、ビデオ符号化システムは画素ブロックＰＢ２が位置するビュー８０のエッジにわたる予測基準を検索することができる。   The padded reference image 880 can provide continuous reference picture data along all edges of the view 830 where the pixel block PB2 is encoded. Therefore, when encoding the pixel block PB2, the video encoding system can search for a prediction criterion over the edge of the view 80 where the pixel block PB2 is located.

方法７００の動作は、符号化されている画像８００の各ビュー８１０〜８６０の画素ブロックに対して繰り返すことができる。   The operations of method 700 may be repeated for each view 810-860 pixel block of image 800 being encoded.

図８（ｂ）及び図８（ｃ）はそれぞれ、パディングされた画像データ８７４．１〜８７４．４及び８８４．１〜８８４．４のインスタンスの間の領域内に提供されるそれぞれのヌル領域８７６．１〜８７６．４及び８８６．１〜８８６．４を示す。一実施形態では、これらのヌル領域に画像データを提供する必要がない。しかしながら、代替的に、隣接する画像から、パディングされた画像データを複製することは許容できる。例えば、ヌル領域８７６．３は、パディングされた画像８４７．１及び８４７．４と隣接しており、パディングされた画像の１つは、必要に応じて、ヌル領域８７６．３において複製することができる。   8 (b) and 8 (c) show respective null regions 876 provided within the region between instances of padded image data 874.1-874.4 and 884.1-884.4, respectively. .1 to 876.4 and 886.1 to 886.4. In one embodiment, there is no need to provide image data for these null regions. However, it is alternatively acceptable to duplicate padded image data from adjacent images. For example, null region 876.3 is adjacent to padded images 847.1 and 847.4, and one of the padded images may be duplicated in null region 876.3 if necessary. it can.

図７は、パディングされた画像の作成（ボックス７２０）が符号化されている画素ブロックごとに新たに実行され得ることを示すが、実際には、パディングされた画像の作成は一度実行されて、所与のビューの中ですべての画素ブロックを符号化するために再使用されてもよい。したがって、入力画像８００の上面ビュー８５０の画素ブロックを符号化するときに、上面ビュー８５０からのすべての画素ブロックを符号化するのに使用する、パディングされた基準画像８７０の単一のインスタンスが作成されてもよい。同様に、入力画像８００の背面ビュー８３０の画素ブロックを符号化するときに、背面ビュー８３０からのすべての画素ブロックを符号化するのに使用する、パディングされた基準画像８８０の単一のインスタンスが作成されてもよい。   FIG. 7 shows that the creation of the padded image (box 720) can be performed anew for each pixel block being coded, but in practice the creation of the padded image is performed once, It may be reused to encode all pixel blocks in a given view. Thus, when encoding a pixel block of top view 850 of input image 800, a single instance of padded reference image 870 is created that is used to encode all pixel blocks from top view 850. May be done. Similarly, when encoding a pixel block of the rear view 830 of the input image 800, a single instance of the padded reference image 880 used to encode all the pixel blocks from the rear view 830 is May be created.

更に、パディングされた基準画像を構築するときに、所与のビューのすべての画像データを使用する必要はない。その代わりに、実行されている運動予測検索の検索ウィンドウに対応する領域に画像データを展開するのに十分なパディングされた画像データの一部を提供するので十分である。例えば、図８（ａ）は、符号化されている画像８００の上面ビュー８５０の画素ブロックＰＢ１周囲に設けられている例示的な検索ウィンドウＳＷを示す。それは、所与のビュー（ビュー８５０など）のすべての画素ブロックのための検索ウィンドウの結合に対応する領域をカバーするのに十分なデータを有するパディングされた基準画像を展開するのに十分である。したがって、パディングされた基準画像は、符号化されている画素ブロックとして同じ位置にあるビュー及び同じ位置にあるビューに隣接した画像の部分に対応する、基準画像からの画像データから取得することができる。図８（ｂ）において、基準画像の上面ビュー８７２はＰＢ１があるビュー８５０と同じ位置にあり、基準画像からの正面、左側、背面及び右側ビューの部分は、ビュー８５０のすべての画素ブロックのための検索ウィンドウの結合と同一の広がりをもつパディングされた基準画像８７０を構築するために用いることができる。上面ビュー８５０（図８（ａ））の画素ブロックのまわりの検索ウィンドウが基準画像からの正面、左側、背面及び右側ビューに達することができない場合、それらの全部を使用する必要はない。   Further, it is not necessary to use all image data for a given view when constructing a padded reference image. Instead, it is sufficient to provide enough padded image data to expand the image data into an area corresponding to the search window of the motion prediction search being performed. For example, FIG. 8A shows an exemplary search window SW provided around the pixel block PB1 in the top view 850 of the image 800 being encoded. It is sufficient to develop a padded reference image with enough data to cover the area corresponding to the union of the search windows for all pixel blocks in a given view (eg, view 850). . Thus, the padded reference image can be obtained from image data from the reference image corresponding to the view at the same position as the pixel block being coded and the portion of the image adjacent to the view at the same position. . In FIG. 8B, the top view 872 of the reference image is at the same position as the view 850 with PB1, and the front, left, back, and right views from the reference image are for all the pixel blocks of the view 850. Can be used to construct a padded reference image 870 coextensive with the combination of the search windows. If the search window around the pixel block in the top view 850 (FIG. 8 (a)) cannot reach the front, left, back and right views from the reference image, it is not necessary to use all of them.

図７の方法７００は、代替のフォーマットの立方体マップ画像データでの用途があり得る。例えば、図９（ａ）は、ヌル領域の使用を回避するレイアウトを有する立方体マップ画像９００を示す。この例では、立方体マップ画像９００は、図９（ｂ）に示される視野から展開された正面ビュー９１０、左側ビュー９２０、背面ビュー９３０、右側ビュー９４０、上面ビュー９５０及び底面ビュー９６０をそれぞれ含む。ビュー９１０〜９６０は、図９（ａ）に示す３ｘ２配列などの規則的な配列で画像内にレイアウトすることができる。しかしながら、そうすることで、立方体マップ画像９００は、異なるレイアウト（例えば図３及び図６に図示されるレイアウト）であれば回避されたかもしれない、ビューのエッジに沿った追加の不連続性をもたらす。   The method 700 of FIG. 7 may have application with alternative formats of cubic map image data. For example, FIG. 9A shows a cube map image 900 having a layout that avoids the use of null regions. In this example, the cubic map image 900 includes a front view 910, a left view 920, a rear view 930, a right view 940, a top view 950, and a bottom view 960 developed from the field of view shown in FIG. 9B, respectively. The views 910 to 960 can be laid out in an image in a regular array such as the 3 × 2 array shown in FIG. However, in doing so, the cubic map image 900 has additional discontinuities along the edges of the view that might have been avoided with different layouts (eg, the layouts illustrated in FIGS. 3 and 6). Bring.

図９の例において、正面、左側及び背面ビュー９１０、９２０、９３０は、エッジ９１２｜９２８及び９２２｜９３６にわたる画像連続性を維持するように配置される。同様に、右側、上面及び底面ビューは、エッジ９４６｜９５４及び９４２｜９６２にわたる画像連続性を維持するように配置される。   In the example of FIG. 9, the front, left and rear views 910, 920, 930 are arranged to maintain image continuity across edges 912 | 928 and 922 | 936. Similarly, the right, top, and bottom views are positioned to maintain image continuity across edges 946 | 954 and 942 | 962.

不連続性は、正面と底面ビュー９１０、９６０の間、左側と右側ビュー９２０、９４０の間、そして、上面と背面ビュー９３０、９５０の間の継ぎ目で出現する。例えば、正面及び底面ビュー９１０、９６０が立方体マップ画像９００において接触する場合、エッジ９１６及び９６８は、それらが（図９（ｂ）によって表される）自由空間において隣接していない場合であっても、互いに隣接して配置される。同様に、左側及び右側ビュー９２０、９４０が立方体マップ画像において接触する場合、エッジ９２４及び９４４は、それらが自由空間において互いに隣接していない場合であっても、互いに隣接して配置される。また、更に、背面及び上面ビュー９３０、９５０が立方体マップ画像９００において接触する場合、エッジ９３８及び９５２は互いに隣接して配置されるが、自由空間でのそれらの向きとは異なった向きに置かれる（上面ビューは反転される）。これらの不連続性は、連続的である画像ビュー間の継ぎ目が実線で表される図９（ａ）において破線で示される。   Discontinuities appear at seams between the front and bottom views 910, 960, between the left and right views 920, 940, and between the top and back views 930, 950. For example, if the front and bottom views 910, 960 touch in the cube map image 900, the edges 916 and 968 will be even if they are not adjacent in free space (represented by FIG. 9 (b)). , Are arranged adjacent to each other. Similarly, when the left and right views 920, 940 touch in the cubic map image, the edges 924 and 944 are positioned adjacent to each other, even if they are not adjacent to each other in free space. Still further, if the back and top views 930, 950 touch in the cube map image 900, the edges 938 and 952 are positioned adjacent to each other, but in a different orientation than their orientation in free space. (Top view flipped). These discontinuities are indicated by dashed lines in FIG. 9 (a) where the seams between continuous image views are represented by solid lines.

図７の技術を用いて、パディングされた基準画像は、図９において示すような立方体マップ画像のビューのために展開することができる。立方体マップ画像９００の上面ビュー９５０からの画素ブロックデータを符号化するとき、パディングされた基準画像は、図８（ｂ）に示すように、基準ピクチャの上面ビューから、そして、正面、左側、背面及び右側画像から導出されるパディングされた画像から導出されてもよい。同様に、立方体マップ画像９００の背面ビュー９３０からの画素ブロックデータを符号化するとき、パディングされた基準画像は、図８（ｃ）に示すように、基準ピクチャの背面ビューから、そして、基準ピクチャの底面、右側、上面及び左側画像から導出されるパディングされた画像から導出されてもよい。   Using the technique of FIG. 7, a padded reference image can be expanded for a view of a cubic map image as shown in FIG. When encoding the pixel block data from the top view 950 of the cubic map image 900, the padded reference image is moved from the top view of the reference picture, as shown in FIG. And a padded image derived from the right image. Similarly, when encoding the pixel block data from the back view 930 of the cubic map image 900, the padded reference image is, as shown in FIG. 8 (c), from the back view of the reference picture and from the reference picture May be derived from padded images derived from the bottom, right, top, and left images.

一実施形態では、画像変換は、運動予測検索の前に、パディングされた画像データに実行することができる。このような変換は、パディングされた画像からの画像データを、パディングされた画像データが追加されるビューのドメインに投影するために実行することができる。   In one embodiment, the image transformation may be performed on the padded image data prior to the motion prediction search. Such a transformation can be performed to project image data from the padded image into the domain of the view to which the padded image data is added.

図１０は、本開示の一実施形態に係るそのような投影を示す。図１０（ａ）に示すように、オブジェクトの画像データが立方体マップ画像１０００の複数のビューに現れることが可能である。例えば、オブジェクトＯｂｊ（図１０（ｂ））の画像データが、立方体マップ画像１０００の右側ビュー１０１０及び上面ビュー１０２０に現れるもととして例示する。これらのビュー１０１０、１０２０の画像データをキャプチャする画像センサの異なる視点のために、右側及び上面ビュー１０１０、１０２０が単一の、「平面」画像として処理された場合には、オブジェクトは歪みを伴って現れ得る。一実施形態では、パディングされた画像データは、視野の間の差のため起こる歪みに反対に作用するように変換してもよい。   FIG. 10 illustrates such a projection according to one embodiment of the present disclosure. As shown in FIG. 10A, image data of an object can appear in a plurality of views of the cubic map image 1000. For example, the image data of the object Obj (FIG. 10B) is illustrated as a source that appears in the right view 1010 and the top view 1020 of the cubic map image 1000. Due to the different viewpoints of the image sensor capturing the image data of these views 1010, 1020, the object will be distorted if the right and top views 1010, 1020 are treated as a single, "planar" image. Can appear. In one embodiment, the padded image data may be transformed to counteract distortion that occurs due to differences between the fields of view.

図１０（ｃ）は、本開示の一実施形態に係る変換の動作を概略的に示す。この実施形態では、上面ビュー１０２０からのパディングされた画像データが右側ビュー１０１０からの画像データに隣接した配置のために生成されると仮定することができる。この実施形態では、上面ビュー１０２０からの画像データの投影は、それが右側ビュー１０３０の平面に現れるものとして推定される。例えば、オブジェクトＯｂｊ（図１０（ａ））は、上面ビューにおいて長さｌ１を有すると推定することができる。この長さは、立方体マップ画像のビューの仮定的中心から測定される角度αを占める。角度αから、それが右側ビュー１０１０の平面に現れる際のオブジェクトの長さｌ２を導出することができる。したがって、視野の異なる視点から生じる画像歪みに反対に作用して、予測目的のために画像データに改良された連続性を提供する、パディングされた画像データ１０３０を展開することができる（図１０（ｄ））。   FIG. 10C schematically illustrates a conversion operation according to an embodiment of the present disclosure. In this embodiment, it can be assumed that padded image data from top view 1020 is generated for placement adjacent to image data from right view 1010. In this embodiment, the projection of the image data from top view 1020 is estimated as it appears in the plane of right view 1030. For example, the object Obj (FIG. 10A) can be estimated to have a length 11 in the top view. This length occupies the angle α measured from the hypothetical center of the view of the cube map image. From the angle α, the length l2 of the object as it appears in the plane of the right view 1010 can be derived. Thus, padded image data 1030 can be developed that counteracts image distortion arising from different viewpoints of the field of view and provides improved continuity to the image data for prediction purposes (FIG. 10 ( d)).

本発明の原理はまた、球面投影フォーマットの正距円筒画像での用途がある。図１１は、球面投影画像データと共に使用されるパディングデータの適用を示す。図１１（ａ）は平面投影の第１のビュー１１１０の画像データを示し、図１１（ｂ）は球面投影に従って変換された図１１（ａ）のビューの画像データ１１２０を示す。このような変換は、例えば、全方向カメラの上面ビューから正距円筒画像データをマッピングするときに、一般的なものである。基本的に、ビュー１１１０は、画像空間の「北極」のデータを表すことができる。   The principles of the present invention also find use with equirectangular images in spherical projection format. FIG. 11 illustrates the application of padding data used with spherical projection image data. FIG. 11A shows image data of the first view 1110 in planar projection, and FIG. 11B shows image data 1120 of the view in FIG. 11A converted according to spherical projection. Such a conversion is common, for example, when mapping equirectangular image data from a top view of an omnidirectional camera. Basically, the view 1110 can represent data for the "North Pole" in image space.

図１１（ｃ）及び図１１（ｄ）は、平面画像フォーマット（参照番号１１３０）及び球面投影（参照番号１１４０）による例示的な基準画像を表す。ビデオ符号化中に、球面投影基準画像１１４０の画像データは、新たな画像のための予測基準としての役割を果たすことができ、球面投影画像１１２０によって表される。画像データの球面投影のため、平面ドメインのデータの運動のかなり控え目の変更（例えば、画素ブロック１１５０と１１５２の間）が正距円筒画像における大幅な移動を引き起こし得るということが発生する場合があり、図１１（ｄ）の運動ベクトルｍｖによって例示する。   FIGS. 11 (c) and 11 (d) represent exemplary reference images in planar image format (reference 1130) and spherical projection (reference 1140). During video encoding, the image data of the spherical projection reference image 1140 can serve as a prediction criterion for a new image and is represented by the spherical projection image 1120. Due to the spherical projection of the image data, it may occur that rather conservative changes in the motion of the data in the planar domain (eg, between pixel blocks 1150 and 1152) can cause significant movement in the equirectangular image. , The motion vector mv in FIG.

図１１（ｅ）に示される画像パディングは、正距円筒画像の周辺に沿って予測データを複製することができる。図１１（ｅ）の例において、パディングされた基準画像は、そのエッジ１１４２（図１１（ｄ））に沿って基準画像１１４０のコンテンツを複製して、複製された画像を反転させて、それをエッジ１１４２に隣接して配置することによって作成される。このように、パディングされた基準画像はエッジ１１４２に沿って画像コンテンツの連続性を作り出し、それは予測検索の間に、より短い運動ベクトルを作り出すことができて、このことにより符号化の効率の改善に結び付けることができる。   The image padding shown in FIG. 11E can duplicate the prediction data along the periphery of the equirectangular image. In the example of FIG. 11E, the padded reference image is obtained by copying the content of the reference image 1140 along its edge 1142 (FIG. 11D), inverting the copied image, Created by placing adjacent edge 1142. In this way, the padded reference image creates a continuity of image content along the edge 1142, which can create shorter motion vectors during predictive search, thereby improving coding efficiency. Can be tied to

図１２は、本開示の一実施形態に係る方法１２００を示す。方法１２００は、同じ画像から以前符号化された画素ブロックの運動ベクトルに従って、正距円筒画像の画素ブロックのための検索ウィンドウを予測する。方法１２００は、正距円筒画像のドメインから以前符号化された画素ブロックの運動ベクトルを球面ドメインに投影することができる（ボックス１２１０）。方法１２００は、以前符号化された画素ブロックの球面投影された運動ベクトルから符号化される新規な画素ブロックの検索ウィンドウを推定することができる（ボックス１２２０）。方法１２００は、検索ウィンドウを球面投影から入力画像の正距円筒投影に戻して変換することができる（ボックス１２３０）。その後、方法１２００は、変換された検索ウィンドウの中で、基準の予測検索を実行する（ボックス１２４０）。   FIG. 12 illustrates a method 1200 according to one embodiment of the present disclosure. The method 1200 predicts a search window for a pixel block of an equirectangular image according to a motion vector of a previously encoded pixel block from the same image. The method 1200 may project motion vectors of previously encoded pixel blocks from the domain of the equirectangular image to the spherical domain (box 1210). The method 1200 may estimate a search window for a new pixel block to be encoded from the spherically projected motion vector of the previously encoded pixel block (box 1220). The method 1200 can convert the search window from a spherical projection back to an equirectangular projection of the input image (box 1230). Thereafter, the method 1200 performs a predictive search of the criteria within the transformed search window (box 1240).

図１３は、図１２の方法１２００によって処理される可能性がある例示的な正距円筒画像１３００を示す。画素ブロック１３１０が符号化される時点で、画像１３００からの他の画素ブロック１３２０、１３３０はすでに符号化された状態であり得て、したがって、運動ベクトルｍｖ１、ｍｖ２は、符号化された画素ブロック１３２０、１３３０のために定めることができる（図１３（ａ））。これらの運動ベクトルｍｖ１、ｍｖ２は、球面ドメイン１３５０に投影することができる（図１３（ｂ））。多くの例において、運動ベクトルｍｖ１、ｍｖ２が正距円筒フォーマットの同じ位置にある領域を指さない場合であっても、運動ベクトルｍｖ１、ｍｖ２は、球面投影（図１３（ｂ））の画像コンテンツの同じ位置にある領域を指すことができる。検索ウィンドウは、例えば、運動ベクトルを平均して、そこから取得される結果としてのベクトルについて所定サイズの検索領域を定めることによって、球面投影の運動ベクトルから導出することができる。その後、検索ウィンドウは、正距円筒画像１３００のドメインへ戻して変換することができる。   FIG. 13 illustrates an exemplary equirectangular image 1300 that may be processed by the method 1200 of FIG. At the time the pixel block 1310 is encoded, the other pixel blocks 1320, 1330 from the image 1300 may already be in the encoded state, so the motion vectors mv1, mv2 are , 1330 (FIG. 13A). These motion vectors mv1 and mv2 can be projected onto the spherical domain 1350 (FIG. 13B). In many instances, the motion vectors mv1, mv2 will be the image content of the spherical projection (FIG. 13 (b)), even if the motion vectors mv1, mv2 do not point to co-located regions in equirectangular format. In the same location. The search window can be derived from the spherical projection motion vectors, for example, by averaging the motion vectors and defining a search area of predetermined size for the resulting vectors obtained therefrom. Thereafter, the search window can be converted back to the domain of the equirectangular image 1300.

球面投影に対する正距円筒フォーマット間の変換は、２０１６年１２月２３日に出願された同時係属出願第１５／３９０，２０２号に記載されている技術に従って実行することができ、その開示内容は本明細書に組み込まれる。   Conversion between equirectangular formats for spherical projections can be performed in accordance with the techniques described in co-pending application Ser. No. 15 / 390,202, filed Dec. 23, 2016, the disclosure of which is hereby incorporated by reference. Incorporated in the specification.

図１４は、本開示の一実施形態に係る符号化システム１４００の機能ブロック図である。システム１４００は、画素ブロック符号器１４１０と、画素ブロック復号器１４２０と、インループフィルタシステム１４３０と、基準ピクチャ記憶１４４０と、パディングユニット１４５０と、予測器１４６０と、コントローラ１４７０と、シンタックスユニット１４８０とを含むことができる。パディングユニット１４５０は、前述の考察の実施形態の１つ以上に従って、パディングされた画像データを生成することができる。画素ブロック符号器及び復号器１４１０、１４２０並びに予測器１４６０は、ピクチャの個々の画素ブロックに対して繰り返し動作することができる。予測器１４６０は、新たに提示された入力画素ブロックの符号化中に使用するためのデータを予測することができる。画素ブロック符号器１４１０は、予測符号化技術によって新規な画素ブロックを符号化し、符号化された画素ブロックデータをシンタックスユニット１４８０に提示することができる。画素ブロック復号器１４２０は、符号化された画素ブロックデータを復号し、そこから復号された画素ブロックデータを生成することができる。インループフィルタ１４３０は、画素ブロック復号器１４２０によって取得される復号された画素ブロックから組み立てられる復号されたピクチャに対して様々なフィルタリング動作を実行することができる。フィルタリングされたピクチャは、基準ピクチャ記憶１４４０に格納することができ、それを後で受信した画素ブロックの予測のソースとして使用することができる。シンタックスユニット１４８０は、統制する符号化プロトコルに適合する符号化された画素ブロックデータからデータストリームを組み立てることができる。   FIG. 14 is a functional block diagram of an encoding system 1400 according to an embodiment of the present disclosure. The system 1400 includes a pixel block encoder 1410, a pixel block decoder 1420, an in-loop filter system 1430, a reference picture store 1440, a padding unit 1450, a predictor 1460, a controller 1470, a syntax unit 1480, Can be included. Padding unit 1450 may generate padded image data according to one or more of the embodiments discussed above. Pixel block encoders and decoders 1410, 1420 and predictor 1460 can operate repeatedly on individual pixel blocks of a picture. Predictor 1460 can predict data for use during encoding of the newly presented input pixel block. The pixel block encoder 1410 may encode a new pixel block using a predictive encoding technique, and may present the encoded pixel block data to the syntax unit 1480. Pixel block decoder 1420 may decode the encoded pixel block data and generate decoded pixel block data therefrom. In-loop filter 1430 may perform various filtering operations on the decoded pictures assembled from the decoded pixel blocks obtained by pixel block decoder 1420. The filtered picture can be stored in reference picture store 1440, which can be used as a source of prediction for a later received pixel block. Syntax unit 1480 may assemble a data stream from encoded pixel block data that conforms to the governing encoding protocol.

画素ブロック符号器１４１０は、減算器１４１２と、変換ユニット１４１４と、量子化器１４１６と、エントロピ符号器１４１８とを含むことができる。画素ブロック符号器１４１０は、減算器１４１２で入力データの画素ブロックを受け入れることができる。減算器１４１２は、予測器１４６０から予測された画素ブロックを受信し、そこから入力画素ブロックと予測された画素ブロックの差を表す画素残差のアレイを生成することができる。変換ユニット１４１４は減算器１４１２からサンプルデータ出力に変換を適用し、画素ドメインから変換係数のドメインにデータを変換することができる。量子化器１４１６は、変換ユニット１４１４によって出力された変換係数の量子化を実行することができる。量子化器１４１６は、一様又は非一様量子化器とすることができる。エントロピ符号器１４１８は、例えば、可変長符号語により出力を符号化することにより、係数量子化器の出力の帯域幅を低減することができる。   The pixel block encoder 1410 can include a subtractor 1412, a transform unit 1414, a quantizer 1416, and an entropy encoder 1418. Pixel block encoder 1410 can accept a pixel block of input data at subtractor 1412. Subtractor 1412 may receive the predicted pixel block from predictor 1460 and generate therefrom an array of pixel residuals representing the difference between the input pixel block and the predicted pixel block. Transform unit 1414 can apply a transform to the sample data output from subtractor 1412 to transform the data from the pixel domain to the domain of the transform coefficients. Quantizer 1416 may perform quantization of the transform coefficients output by transform unit 1414. Quantizer 1416 may be a uniform or non-uniform quantizer. The entropy encoder 1418 can reduce the bandwidth of the output of the coefficient quantizer, for example, by encoding the output with a variable length codeword.

変換ユニット１４１４は、コントローラ１４７０によって判定される様々な変換モードで動作することができる。例えば、変換ユニット１４１４は、離散型コサイン変換（discrete cosine transform、ＤＣＴ）、離散サイン変換（discrete sine transform、ＤＳＴ）、Ｗａｌｓｈ−Ｈａｄａｍａｒｄ変換、Ｈａａｒ変換、Ｄａｕｂｅｃｈｉｅｓウェーブレット変換などを適用することができる。一実施形態では、コントローラ１４７０は、変換ユニット１４１５によって適用される符号化モードＭを選択してもよく、それに応じて変換ユニット１４１５を構成してもよく、符号化されたビデオデータ中の符号化モードＭを明示的に又は暗示的にシグナリングしてもよい。   The conversion unit 1414 can operate in various conversion modes determined by the controller 1470. For example, the transform unit 1414 may apply a discrete cosine transform (DCT), a discrete sine transform (discrete sine transform, DST), a Walsh-Hadamard transform, a Haar transform, a Daubechies wavelet transform, or the like. In one embodiment, the controller 1470 may select the encoding mode M applied by the transform unit 1415, and may configure the transform unit 1415 accordingly, and encode the encoding mode in the encoded video data. Mode M may be signaled explicitly or implicitly.

量子化器１４１６は、コントローラ１４７０によって供給される量子化パラメータＱ_Pに従って作動することができる。一実施形態では、量子化パラメータＱ_Pは、変換係数にマルチ値量子化パラメータとして適用されてもよく、このパラメータは、例えば、変換ドメイン画素ブロック内の異なる係数位置にわたって変動し得る。したがって、量子化パラメータＱ_Pは、量子化パラメータアレイとして提供することができる。 Quantizer 1416 may operate according to a quantization parameter Q _P provided by controller 1470. In one embodiment, the quantization parameter Q _P may be applied to the transform coefficients as a multi-valued quantization parameter, which may vary, for example, over different coefficient positions within the transform domain pixel block. Therefore, the quantization parameter Q _P can be provided as a quantization parameter array.

画素ブロック復号器１４２０は、画素ブロック符号器１４１０の符号化動作を反転することができる。例えば、画素ブロック復号器１４２０は、逆量子化器１４２２と、逆変換ユニット１４２４と、加算器１４２６とを含むことができる。画素ブロック復号器１４２０は、量子化器１４１６の出力からその入力データを取ることができる。許容されてはいるが、画素ブロック復号器１４２０は、エントロピ符号化が無損失のイベントであるため、エントロピ符号化されたデータのエントロピ復号を実行する必要はない。逆量子化器１４２２は、画素ブロック符号器１４１０の量子化器１４１６の動作を反転することができる。逆量子化器１４２２は、復号された信号Ｑ_Pによって指定される一様又は非一様逆量子化を実行することができる。同様に、逆変換ユニット１４２４は、変換ユニット１４１４の動作を反転することができる。逆量子化器１４２２及び逆変換ユニット１４２４は、画素ブロック符号器１４１０のそれらの対応物として、同じ量子化パラメータＱ_P及び変換モードＭを使用することができる。量子化動作は、様々な点でデータを切り捨てることになる可能性があり、したがって逆量子化器１４２２によって回復されたデータは、画素ブロック符号器１４１０内の量子化器１４１６に提示されたデータと比較したとき、符号化誤差を有することになる可能性がある。 The pixel block decoder 1420 can invert the encoding operation of the pixel block encoder 1410. For example, the pixel block decoder 1420 can include an inverse quantizer 1422, an inverse transform unit 1424, and an adder 1426. Pixel block decoder 1420 can take its input data from the output of quantizer 1416. Although allowed, the pixel block decoder 1420 does not need to perform entropy decoding of entropy coded data because entropy coding is a lossless event. The inverse quantizer 1422 can invert the operation of the quantizer 1416 of the pixel block encoder 1410. Inverse quantizer 1422 may perform uniform or non-uniform inverse quantization specified by decoded signal Q _P. Similarly, the inverse transform unit 1424 can reverse the operation of the transform unit 1414. The inverse quantizer 1422 and the inverse transform unit 1424 may use the same quantization parameter Q _P and transform mode M as their counterparts of the pixel block encoder 1410. The quantization operation may result in truncation of the data at various points, so that the data recovered by the inverse quantizer 1422 is different from the data presented to the quantizer 1416 in the pixel block encoder 1410. When compared, they can have coding errors.

加算器１４２６は、減算器１４１２によって実行される動作を反転することができる。それは、残差信号を生成するのに減算器１４１２が使用したのと同じ予測画素ブロックを予測器１４６０から受信することができる。加算器１４２６は、予測画素ブロックを逆変換ユニット１４２４によって出力された再構成された残差値に加えることができ、再構成された画素ブロックデータを出力することができる。   Adder 1426 may invert the operation performed by subtractor 1412. It can receive from predictor 1460 the same predicted pixel block used by subtractor 1412 to generate the residual signal. An adder 1426 can add the predicted pixel block to the reconstructed residual value output by the inverse transform unit 1424 and can output reconstructed pixel block data.

インループフィルタ１４３０は、回復した画素ブロックデータに対して様々なフィルタリング動作を実行することができる。例えば、インループフィルタ１４３０は、デブロッキングフィルタ１４３２及びサンプル適応オフセット（sample adaptive offset、ＳＡＯ）フィルタ１４３３を含むことができる。デブロッキングフィルタ１４３２は、再構成された画素ブロック間の継ぎ目でデータをフィルタリングし、符号化に起因して発生する画素ブロック間の不連続性を低減することができる。ＳＡＯフィルタは、ＳＡＯの「タイプ」に従って、例えば、エッジ方向／形状及び／又は画素／色成分レベルに基づいて、オフセットを画素値に加えることができる。インループフィルタ１４３０は、コントローラ１４７０によって選択されたパラメータに従って動作することができる。   The in-loop filter 1430 may perform various filtering operations on the recovered pixel block data. For example, the in-loop filter 1430 can include a deblocking filter 1432 and a sample adaptive offset (SAO) filter 1433. The deblocking filter 1432 can filter data at seams between reconstructed pixel blocks, and reduce discontinuities between pixel blocks that occur due to encoding. The SAO filter can add an offset to pixel values according to the SAO "type", for example, based on edge direction / shape and / or pixel / color component level. In-loop filter 1430 may operate according to the parameters selected by controller 1470.

基準ピクチャ記憶１４４０は、後の他の画素ブロックの予測で使用するフィルタリングされた画素データを記憶することができる。異なる予測モードに対して異なる種類の予測データが、予測器１４６０にて利用可能になる。例えば、入力画素ブロックに対して、イントラ予測は、入力画素ブロックが位置する同じピクチャの復号されたデータから予測基準を取る。したがって、基準ピクチャ記憶１４４０は、それぞれのピクチャの復号された画素ブロックデータをそれが符号化されるにつれて記憶することができる。同じ入力画素ブロックに対して、インター予測は、基準ピクチャとして指定された予め符号化され復号されたピクチャ（単数又は複数）から予測基準を取ることができる。したがって、基準ピクチャ記憶１４４０は、これらの復号された基準ピクチャを記憶することができる。   Reference picture store 1440 may store filtered pixel data for use in subsequent predictions of other pixel blocks. Different types of prediction data for different prediction modes are made available to the predictor 1460. For example, for an input pixel block, intra prediction takes prediction criteria from decoded data of the same picture in which the input pixel block is located. Thus, reference picture store 1440 can store the decoded pixel block data for each picture as it is encoded. For the same input pixel block, inter prediction can take a prediction criterion from the pre-encoded and decoded picture (s) designated as reference pictures. Thus, reference picture store 1440 can store these decoded reference pictures.

パディングユニット１４５０は、前述の実施形態で論じたように、パディングされた画像データを生成することができる。したがって、パディングユニットは、図４〜図１２に図示される動作を実行して、予測器１４６０が予測基準を選択することができるパディングされた画像データを生成することができる。   The padding unit 1450 can generate padded image data as discussed in the previous embodiment. Accordingly, the padding unit may perform the operations illustrated in FIGS. 4 to 12 to generate padded image data from which the predictor 1460 may select a prediction criterion.

説明したように、予測器１４６０は、残差を生成するのに使用する予測データを画素ブロック符号器１４１０に供給することができる。予測器１４６０は、インター予測器１４６２と、イントラ予測器１４６３と、モード決定ユニット１４６４とを含むことができる。インター予測器１４６２は、符号化されることになる新しい画素ブロックを表す球面投影された画素ブロックデータを受信することができ、入力画素ブロックを符号化するのに使用する基準ピクチャ（単数又は複数）からの画素ブロックデータに対して記憶１４４０からの基準ピクチャデータの球面投影を検索することができる。インター予測器１４６２は、Ｐモード符号化及びＢモード符号化などの複数の予測モードをサポートすることができる。インター予測器１４６２は、インター予測モード及び、符号化される入力画素ブロックに対する最も近い一致を提供する候補予測基準データの識別を選択することができる。インター予測器１４６２は、運動ベクトルなどの予測基準メタデータを生成し、どの基準ピクチャのどの部分（単数又は複数）が入力画素ブロックに対する予測のソース（単数又は複数）として選択されたかを識別することができる。   As described, the predictor 1460 can provide prediction data to the pixel block encoder 1410 for use in generating the residual. The predictor 1460 may include an inter predictor 1462, an intra predictor 1463, and a mode determination unit 1464. Inter predictor 1462 may receive spherically projected pixel block data representing a new pixel block to be encoded, and reference picture (s) used to encode the input pixel block. The spherical projection of reference picture data from storage 1440 can be searched for pixel block data from. The inter predictor 1462 can support multiple prediction modes, such as P-mode coding and B-mode coding. The inter predictor 1462 may select the inter prediction mode and the identification of candidate prediction reference data that provides the closest match to the input pixel block to be encoded. Inter predictor 1462 generates prediction reference metadata, such as a motion vector, to identify which portion (s) of which reference picture was selected as source (s) of prediction for the input pixel block. Can be.

イントラ予測器１４６３は、イントラ（Ｉ）モード符号化をサポートすることができる。イントラ予測器１４６３は、球面投影された入力画素ブロックに対する最も近い一致を提供する符号化される画素ブロックと同じピクチャからの球面投影された画素ブロックデータの中から検索することができる。イントラ予測器１４６３はまた、予測基準インジケータを生成し、ピクチャのどの部分が入力画素ブロックに対する予測のソースとして選択されたかを識別することができる。   Intra predictor 1463 can support intra (I) mode encoding. The intra predictor 1463 can search among spherical projected pixel block data from the same picture as the encoded pixel block that provides the closest match to the spherical projected input pixel block. Intra predictor 1463 may also generate a prediction criterion indicator to identify which portion of the picture was selected as the source of prediction for the input pixel block.

モード決定ユニット１４６４は、入力画素ブロックに適用されることになる最終の符号化モードを選択することができる。通常は、上述のように、モード決定ユニット１４６４は、与えられた目標ビットレートでビデオが復号されたときに最も小さい歪みを実現することになる予測モードを選択する。特定のチャネル挙動を満たすこと、又はランダムアクセス若しくはデータリフレッシュポリシーをサポートするといった、符号化システム１４００が準拠する他のポリシーを満たすように符号化モードが選択される場合に、例外が発生することがある。モード決定が最終的な符号化モードを選択すると、モード決定ユニット１４６４は、非球面投影基準ブロックをストア１４４０から画素ブロック符号器及び復号器１４１０、１４２０に出力することができ、選択されたモードに対応する予測基準インジケータとともに選択された予測モードの識別をコントローラ１４７０に供給することができる。   The mode determination unit 1464 can select the final encoding mode to be applied to the input pixel block. Typically, as described above, mode determination unit 1464 selects a prediction mode that will achieve the least distortion when video is decoded at a given target bit rate. An exception may occur if the encoding mode is selected to meet certain channel behaviors or to meet other policies with which the encoding system 1400 complies, such as supporting a random access or data refresh policy. is there. When the mode decision selects the final encoding mode, the mode decision unit 1464 can output the aspheric projection reference block from the store 1440 to the pixel block encoder and decoder 1410, 1420, where the selected mode is selected. An identification of the selected prediction mode along with a corresponding prediction criterion indicator may be provided to the controller 1470.

コントローラ１４７０は、符号化システム１４００の動作全体を制御することができる。コントローラ１４７０は、入力画素ブロック、並びにまた符号化ビットレート目標及び他の動作パラメータなどの外部制約条件の分析に基づいて、画素ブロック符号器１４１０及び予測器１４６０に対する動作パラメータを選択することができる。本説明に関連するように、それが量子化パラメータＱ_P、一様又は非一様量子化器の使用及び／又は変換モードＭを選択するとき、それらのパラメータをシンタックスユニット１４８０に提供することができ、これは、それらのパラメータを表すデータをシステム１４００によって出力される符号化されたビデオデータのデータストリームに含めることができる。コントローラ１４７０はまた、システムがパディングされた基準画像を生成することができて、符号化データの各部分について選択されたモードを識別するメタデータを含むことができる、異なる動作モードの間で選択することができる。 Controller 1470 can control the overall operation of encoding system 1400. Controller 1470 may select operating parameters for pixel block encoder 1410 and predictor 1460 based on an analysis of the input pixel block and also external constraints such as coding bit rate targets and other operating parameters. As relevant to this description, providing those parameters to the syntax unit 1480 when it selects the quantization parameter Q _P , the use of a uniform or non-uniform quantizer, and / or the transformation mode M Which can include data representing those parameters in a data stream of encoded video data output by system 1400. Controller 1470 may also select between different modes of operation, where the system may generate a padded reference image and may include metadata identifying a selected mode for each portion of the encoded data. be able to.

動作中、コントローラ１４７０は、量子化器１４１６及び変換ユニット１４１５の動作パラメータを画像データの異なる粒度で、画素ブロックごと又はより大きな粒度（例えば、ピクチャごと、スライスごと、最大符号化ユニット（largest coding unit、ＬＣＵ）ごと、又は別の領域）のいずれかで修正することができる。一実施形態では、量子化パラメータは、符号化されたピクチャ内の画素ごとに修正することができる。   In operation, the controller 1470 may control the operating parameters of the quantizer 1416 and the transform unit 1415 at different granularities of the image data, per pixel block or larger granularities (eg, per picture, per slice, largest coding unit). , LCU), or in another region). In one embodiment, the quantization parameters can be modified for each pixel in the encoded picture.

加えて、説明したように、コントローラ１４７０は、インループフィルタ１４３０及び予測ユニット１４６０の動作を制御することができる。そのような制御としては、予測ユニット１４６０に対してはモード選択（ラムダ、テストされることになるモード、検索ウィンドウ、歪み戦略など）、及びインループフィルタ１４３０に対しては、フィルタパラメータの選択、パラメータの並べ替え、加重予測などを挙げることができる。   In addition, as described, the controller 1470 can control the operation of the in-loop filter 1430 and the prediction unit 1460. Such controls include mode selection (lambda, mode to be tested, search window, distortion strategy, etc.) for prediction unit 1460, and selection of filter parameters for in-loop filter 1430, Reordering of parameters, weighted prediction, etc. can be mentioned.

一実施形態では、予測器１４６０は、球面投影で入力画素ブロックデータ及び基準画素ブロックデータを使用して予測検索を実行することができる。このような予測技術の動作は、２０１６年１２月２３日に出願され、本出願の譲受人に譲渡された米国特許出願第１５／３９０，２０２号に記載されている。そのような実施形態では、符号器１４００は、予測器１４６０に入力される前に入力画素ブロックデータを球面ドメインに変換する球面変換ユニット１４９０を含むことができる。パディングユニット１４５０は、予測器１４６０に入力される前に、（上述の変換を実行することに加えて）球面ドメインに基準ピクチャデータを変換することができる。   In one embodiment, the predictor 1460 may perform a prediction search using the input pixel block data and the reference pixel block data in a spherical projection. The operation of such a prediction technique is described in US patent application Ser. No. 15 / 390,202, filed Dec. 23, 2016, and assigned to the assignee of the present application. In such an embodiment, encoder 1400 can include a spherical transform unit 1490 that transforms the input pixel block data into a spherical domain before being input to predictor 1460. Padding unit 1450 may transform the reference picture data into the spherical domain (in addition to performing the transform described above) before being input to predictor 1460.

説明したように、ビデオ符号化システム１４００は、符号化システム１４００によって選択されるパディング技術のパラメータを識別する符号化ビデオデータにメタデータを提供することができる。Ｈ．２６５（「ＨＥＶＣ」）符号化プロトコルに関連して使用され得る例示的なシンタックスが以下に記載される。   As described, the video encoding system 1400 can provide metadata to the encoded video data identifying parameters of the padding technique selected by the encoding system 1400. H. Exemplary syntax that may be used in connection with the H.265 ("HEVC") encoding protocol is described below.

ビデオパラメータセットシンタックスは、「ｖｐｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ＿ｉｄ」として以下に示す新しいフィールドを、以下のようにｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐに追加することによって変更することができる。
The video parameter set syntax can be modified by adding a new field shown below as "vps_projection_format_id" to video_parameter_set_rbsp as follows.

この例では、ｖｐｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ＿ｉｄは、エンコーダによって適用される投影フォーマットを識別する２ビットのフィールドであってもよい。   In this example, vps_projection_format_id may be a 2-bit field that identifies the projection format applied by the encoder.

投影フォーマットは、以下のようにシーケンスパラメータセット（ｓｅｑ＿ｐａｒａｍｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（））でシグナリングされてもよい。
The projection format may be signaled in the sequence parameter set (seq_parameter_set_rbsp ()) as follows.

例として、ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ＿ｉｄは、以下の値をとることができる。
By way of example, projection_format_id can take the following values:

加えて、ｃｕｂｅ＿ｍａｐ＿ｐａｃｋｉｎｇ＿ｉｄは、以下のようにシグナリングされてもよい。
In addition, the cube_map_packing_id may be signaled as follows.

当然のことながら、符号の数は、他の立方体マップフォーマットに適応するために、必要に応じて拡張されてもよい。   Of course, the number of codes may be extended as needed to accommodate other cubic map formats.

更に、ｒｅｆｅｒｅｎｃｅ＿ｐａｄｄｉｎｇ＿ｍｏｄｅは符号化されて、エンコーダによって適用される異なる変換を識別することができる。例えば、ｒｅｆｅｒｅｎｃｅ＿ｐａｄｄｉｎｇ＿ｍｏｄｅが「０」にセットされた場合、それは変換が使用されなかったことを示すことができる。ｒｅｆｅｒｅｎｃｅ＿ｐａｄｄｉｎｇ＿ｍｏｄｅが「１」にセットされた場合、それは変換が図１４に従って実行されたことを示すことができる。ここでも、符号の数は、他の変換に適応するために、必要に応じて拡張されてもよい。   Further, the reference_padding_mode can be encoded to identify different transforms applied by the encoder. For example, if reference_padding_mode is set to “0”, it may indicate that no transform was used. If reference_padding_mode is set to “1”, it can indicate that the conversion was performed according to FIG. Again, the number of codes may be extended as needed to accommodate other transforms.

図１５は、本開示の一実施形態に係る復号システム１５００の機能ブロック図である。復号システム１５００は、シンタックスユニット１５１０と、画素ブロック復号器１５２０と、インループフィルタ１５３０と、基準ピクチャ記憶１１４０と、パディングユニット１５５０と、予測器１５６０と、コントローラ１５７０とを含むことができる。シンタックスユニット１５１０は、符号化されたビデオデータストリームを受信することができ、符号化されたデータをその成分部分に解析することができる。符号化パラメータを表すデータは、コントローラ１５７０に供給することができ、符号化された残差を表すデータ（図１１の画素ブロック符号器１１１０によって出力されたデータ）は、画素ブロック復号器１５２０に供給することができる。画素ブロック復号器１５２０は、（図１１の）画素ブロック符号器１１１０によって提供される符号化動作を反転することができる。インループフィルタ１５３０は、再構成された画素ブロックデータをフィルタリングすることができる。再構成された画素ブロックデータは、表示のためにピクチャに組み立てて、復号システム１５００から出力ビデオとして出力することができる。ピクチャはまた、予測動作に使用する予測バッファ１５４０に記憶することができる。パディングユニット１５５０は、前述の考察において説明したように、符号化されたデータに含まれるメタデータに基づいて、パディングされた基準画像を生成することができる。予測器１５６０は、符号化されたビデオデータストリーム内で受信した符号化データによって判定されたように、予測データを画素ブロック復号器１５２０に供給することができる。   FIG. 15 is a functional block diagram of a decoding system 1500 according to an embodiment of the present disclosure. The decoding system 1500 may include a syntax unit 1510, a pixel block decoder 1520, an in-loop filter 1530, a reference picture store 1140, a padding unit 1550, a predictor 1560, and a controller 1570. Syntax unit 1510 can receive the encoded video data stream and can parse the encoded data into its component parts. Data representing encoding parameters can be provided to a controller 1570, and data representing encoded residuals (data output by the pixel block encoder 1110 of FIG. 11) is provided to a pixel block decoder 1520. can do. Pixel block decoder 1520 may invert the encoding operation provided by pixel block encoder 1110 (of FIG. 11). The in-loop filter 1530 may filter the reconstructed pixel block data. The reconstructed pixel block data can be assembled into pictures for display and output from decoding system 1500 as output video. Pictures can also be stored in a prediction buffer 1540 used for prediction operations. Padding unit 1550 may generate a padded reference image based on the metadata included in the encoded data, as described in the discussion above. Predictor 1560 can provide predicted data to pixel block decoder 1520, as determined by the encoded data received in the encoded video data stream.

画素ブロック復号器１５２０は、エントロピ復号器１５２２と、逆量子化器１５２４と、逆変換ユニット１５２６と、加算器１５２８とを含むことができる。エントロピ復号器１５２２は、エントロピ復号を実行し、（図１１の）エントロピ符号器１１１８によって実行されるプロセスを反転することができる。逆量子化器１５２４は、（図１１の）画素ブロック符号器１１１０の量子化器１１１６の動作を反転することができる。同様に、逆変換ユニット１５２６は、（図１１の）変換ユニット１１１４の動作を反転することができる。それらは、符号化されたビデオデータストリーム内で提供される量子化パラメータＱ_P及び変換モードＭを使用することができる。量子化は、データを切り捨てる可能性があるため、逆量子化器１５２４によって回復されたデータは、画素ブロック符号器１１１０内の対応物の（図１１の）量子化器１１１６に提示された入力データと比較したとき、符号化誤差を有することになる可能性がある。 The pixel block decoder 1520 may include an entropy decoder 1522, an inverse quantizer 1524, an inverse transform unit 1526, and an adder 1528. Entropy decoder 1522 may perform entropy decoding and invert the process performed by entropy encoder 1118 (of FIG. 11). Inverse quantizer 1524 may invert the operation of quantizer 1116 of pixel block encoder 1110 (of FIG. 11). Similarly, the inverse transform unit 1526 can reverse the operation of the transform unit 1114 (of FIG. 11). They can use the quantization parameter Q _P and the transformation mode M provided in the encoded video data stream. Since the quantization may truncate the data, the data recovered by the inverse quantizer 1524 is the input data presented to the counterpart quantizer 1116 (of FIG. 11) in the pixel block encoder 1110. May have coding errors when compared to.

加算器１５２８は、（図１１の）減算器１１１１によって実行される動作を反転することができる。それは、符号化されたビデオデータストリーム内の予測基準によって判定されたように、予測器１５６０から予測画素ブロックを受信することができる。加算器１５２８は、予測画素ブロックを逆変換ユニット１５２６によって出力された再構成された残差値に加えることができ、再構成された画素ブロックデータを出力することができる。   Adder 1528 may invert the operation performed by subtractor 1111 (of FIG. 11). It can receive a predicted pixel block from the predictor 1560 as determined by a prediction criterion in the encoded video data stream. An adder 1528 can add the predicted pixel block to the reconstructed residual value output by the inverse transform unit 1526, and can output reconstructed pixel block data.

インループフィルタ１５３０は、再構成された画素ブロックデータに対して様々なフィルタリング動作を実行することができる。図示するように、インループフィルタ１５３０は、デブロッキングフィルタ１５３２及びＳＡＯフィルタ１５３４を含むことができる。デブロッキングフィルタ１５３２は、再構成された画素ブロック間の継ぎ目でデータをフィルタリングし、符号化に起因して発生する画素ブロック間の不連続性を低減することができる。ＳＡＯフィルタ１５３４は、ＳＡＯタイプに従って、例えば、エッジ方向／形状及び／又は画素レベルに基づいて、オフセットを画素値に加えることができる。他の種類のインループフィルタも同様に使用することができる。デブロッキングフィルタ１５３２及びＳＡＯフィルタ１５３４の動作は、理想的には、（図１１の）符号化システム１１００内のそれらに対応物の動作を模倣することになる。したがって、通信エラー又は他の異常がない場合、復号システム１５００のインループフィルタ１５３０から得られる復号されたピクチャは、（図１１の）符号化システム１１００のインループフィルタ１１５０から得られる復号されたピクチャと同じになり、このようにして、符号化システム１１００及び復号システム１５００は、それらの対応する基準ピクチャ記憶１１４０、１５４０に基準ピクチャの共通の組を記憶しなければならない。   The in-loop filter 1530 can perform various filtering operations on the reconstructed pixel block data. As shown, the in-loop filter 1530 can include a deblocking filter 1532 and a SAO filter 1534. The deblocking filter 1532 can filter data at seams between reconstructed pixel blocks, and reduce discontinuities between pixel blocks caused by encoding. The SAO filter 1534 can add an offset to the pixel value according to the SAO type, for example, based on edge direction / shape and / or pixel level. Other types of in-loop filters can be used as well. The operation of the deblocking filter 1532 and SAO filter 1534 will ideally mimic the operation of their counterparts in the encoding system 1100 (of FIG. 11). Thus, in the absence of communication errors or other anomalies, the decoded picture obtained from the in-loop filter 1530 of the decoding system 1500 will be the decoded picture obtained from the in-loop filter 1150 of the encoding system 1100 (of FIG. 11). And thus the encoding system 1100 and the decoding system 1500 must store a common set of reference pictures in their corresponding reference picture stores 1140, 1540.

基準ピクチャ記憶１５４０は、後の他の画素ブロックの予測で使用するフィルタリングされた画素データを記憶することができる。基準ピクチャ記憶１５４０は、イントラ予測に使用する、それぞれのピクチャの復号された画素ブロックデータをそれが符号化されるにつれて記憶することができる。基準ピクチャ記憶１５４０は、復号された基準ピクチャを記憶することができる。   Reference picture store 1540 may store filtered pixel data for later prediction of other pixel blocks. Reference picture store 1540 may store the decoded pixel block data for each picture as it is encoded, for use in intra prediction. Reference picture store 1540 may store the decoded reference picture.

パディングユニット１５５０は、前述の考察において説明したように、符号化されたデータに含まれるメタデータに基づいて、パディングされた基準画像を生成することができる。したがって、パディングユニット１５５０はまた、前述の図４〜図１１において説明したような動作を実行して、予測器１５６０が作動することができるパディングされた基準画像を生成することができる。復号器１５００において、パディングされた画像データのタイプは、エンコーダによって実行されたパディング動作を識別する符号化された画像データに提供されるメタデータによって判定される。パディングユニット１５５０は、パディング動作を繰り返して、エンコーダによって生成されたパディングされた基準画像データと一致する、パディングされた基準画像データを生成することができる。   Padding unit 1550 may generate a padded reference image based on the metadata included in the encoded data, as described in the discussion above. Accordingly, padding unit 1550 may also perform operations as described in FIGS. 4-11 above to generate a padded reference image on which predictor 1560 may operate. At the decoder 1500, the type of padded image data is determined by the metadata provided to the encoded image data that identifies the padding operation performed by the encoder. Padding unit 1550 may repeat the padding operation to generate padded reference image data that matches the padded reference image data generated by the encoder.

当然のことながら、パディングユニット１５５０は、符号化された画素ブロックと関連した予測情報がパディングされた基準画像のパディングされた領域のデータを参照しない限り、パディング動作を実行する必要はない。図８を参照すると、エンコーダがパディングされた基準画像８７０の上面ビュー８７２からの予測データを使用して画素ブロックＰＢ１を符号化する場合、画素ブロックＰＢ１はパディングされた画像８７４．１〜８７４．４のいずれからのデータにも依存しない。復号器では、パディングユニット１５５０は、符号化された画素ブロックＰＢ１を復号するためにパディングされた画像データを導出する動作を実行する必要はない。一方で、異なる画素ブロック（即ち、ＰＢ２）は、パディングされた画像８８４．３（図８（ｃ））からのデータを使用して符号化されてもよい。この例では、パディングユニット１５５０（図１５）は、エンコーダによって選択された基準データに対応するパディングされた画像データを展開することができる。したがって、復号器１５００は、所与の符号化された画素ブロックのためのパディングされた画像データを生成する前に、パディングされた画像データが予測によって参照されるかどうかを判定する。   As a matter of course, the padding unit 1550 does not need to perform the padding operation unless the prediction information related to the encoded pixel block refers to the data of the padded region of the padded reference image. Referring to FIG. 8, when the encoder encodes pixel block PB1 using prediction data from top view 872 of padded reference image 870, pixel block PB1 is padded images 874.1-874.4. Does not depend on data from any of At the decoder, padding unit 1550 does not need to perform operations to derive padded image data to decode encoded pixel block PB1. On the other hand, a different block of pixels (ie, PB2) may be encoded using data from padded image 884.3 (FIG. 8 (c)). In this example, padding unit 1550 (FIG. 15) can expand padded image data corresponding to the reference data selected by the encoder. Thus, before generating the padded image data for a given encoded pixel block, decoder 1500 determines whether the padded image data is referenced by prediction.

説明したように、予測器１５６０は変換された基準ブロックデータを画素ブロック復号器１５２０に供給することができる。予測器１５６０は、符号化されたビデオデータストリーム内に供給される予測基準インジケータによって判定されたように、予測された画素ブロックデータを供給することができる。予測器１５６０は、図１２〜図１３に記載されている変換技術を繰り返すこともできる。   As described, the predictor 1560 may provide the transformed reference block data to the pixel block decoder 1520. Predictor 1560 can provide predicted pixel block data as determined by a prediction criterion indicator provided in the encoded video data stream. Predictor 1560 can also repeat the conversion techniques described in FIGS.

コントローラ１５７０は、符号化システム１５００の動作全体を制御することができる。コントローラ１５７０は、符号化されたビデオデータストリーム内で受信したパラメータに基づいて、画素ブロック復号器１５２０及び予測器１５６０に対する動作パラメータを設定することができる。本説明に関連するように、これらの動作パラメータは、逆量子化器１５２４に対する量子化パラメータＱ_P及び逆変換ユニット１５１５に対する変換モードＭを含むことができる。説明したように、受信したパラメータは、画像データの様々な粒度で、例えば、画素ブロックごとに、ピクチャごとに、スライスごとに、ＬＣＵごとに、又は入力画像に対して定義された他の種類の領域に基づいて、設定することができる。 Controller 1570 can control the overall operation of encoding system 1500. Controller 1570 can set operating parameters for pixel block decoder 1520 and predictor 1560 based on parameters received in the encoded video data stream. As relevant to this description, these operating parameters may include a quantization parameter Q _P for the inverse quantizer 1524 and a transform mode M for the inverse transform unit 1515. As described, the received parameters may be at different granularities of the image data, e.g., per pixel block, per picture, per slice, per LCU, or any other type defined for the input image. It can be set based on the area.

前述の考察では、本開示の実施形態の動作をビデオ符号器と復号器との関連で説明した。一般に、これらの構成要素は電子デバイスとして提供される。ビデオ復号器及び／又はコントローラは、特定用途向け集積回路、フィールドプログラマブルゲートアレイ及び／又はデジタル信号プロセッサなどの集積回路に具現化することができる。あるいは、それらは、カメラデバイス、パーソナルコンピュータ、ノートブックコンピュータ、タブレット型コンピュータ、スマートフォン又はコンピュータサーバ上で実行するコンピュータプログラムに具体化することができる。このようなコンピュータプログラムは、通常は、電子、磁気及び／又は光学ベースの記憶デバイスなどの物理記憶媒体に記憶され、それらがプロセッサに読み込まれて実行される。復号器は通常、スマートフォン、タブレット型コンピュータ、ゲームシステム、ＤＶＤプレーヤ、携帯メディアプレーヤなどのような民生電子機器内にパッケージされ、またビデオゲーム、メディアプレーヤ、メディアエディタなどのような民生用ソフトウェアアプリケーション内にパッケージすることもできる。そして、勿論、これらの構成要素は、必要に応じて、専用のハードウェア構成要素とプログラムされた汎用プロセッサにわたって機能性を分散するハイブリッドシステムとして提供することもできる。   In the foregoing discussion, the operation of the embodiments of the present disclosure has been described in the context of a video encoder and a decoder. Generally, these components are provided as electronic devices. The video decoder and / or controller may be embodied in an integrated circuit such as an application specific integrated circuit, a field programmable gate array and / or a digital signal processor. Alternatively, they can be embodied in a computer program running on a camera device, personal computer, notebook computer, tablet computer, smartphone or computer server. Such computer programs are typically stored on physical storage media, such as electronic, magnetic and / or optical based storage devices, which are read and executed by a processor. Decoders are typically packaged in consumer electronics devices such as smartphones, tablet computers, gaming systems, DVD players, portable media players, etc., and in consumer software applications such as video games, media players, media editors, etc. It can also be packaged in And, of course, these components may be provided as needed as a hybrid system that distributes functionality across dedicated hardware components and programmed general-purpose processors.

例えば、本明細書に記載される技術は、コンピュータシステムの中央処理装置によって実行されてもよい。図１６は、このような技術を実行することができる例示的なコンピュータシステム１６００を示す。コンピュータシステム１６００は、互いに通信して提供される中央処理装置１６１０、１つ以上のカメラ１６２０、メモリ１６３０及び送受信機１６４０を含むことができる。カメラ１６２０は、画像キャプチャを実行することができて、キャプチャされた画像データをメモリ１６３０に記憶することができる。任意選択的に、デバイスは、必要に応じて、符号器１６５０及びディスプレイ１６６０などのシンク構成要素を含むこともできる。   For example, the techniques described herein may be performed by a central processing unit of a computer system. FIG. 16 illustrates an exemplary computer system 1600 that can perform such techniques. Computer system 1600 can include a central processing unit 1610, one or more cameras 1620, a memory 1630, and a transceiver 1640 provided in communication with each other. The camera 1620 can perform image capture and store the captured image data in the memory 1630. Optionally, the device can also include a sink component, such as an encoder 1650 and a display 1660, as needed.

中央処理装置１６１０は、システム１６００のオペレーティングシステム１６１２及び様々なアプリケーション１６１４．１〜１６１４．Ｎを定義するメモリ１６３０に記憶された様々なプログラム命令を読み取り、実行することができる。プログラム命令は、本明細書に記載される技術に従って、符号化モード制御を実行することができる。それがそれらのプログラム命令を実行するにつれて、中央処理装置１６１０は、メモリ１６３０から、カメラ１６２０又はアプリケーション１６１４．１〜１６１４．Ｎのいずれかによって作成された画像データを読み出すことができ、それは送信のために符号化され得る。中央処理装置１６１０は、図６の原理に従って動作するプログラムを実行することができる。あるいは、システム１６００は、スタンドアロン型処理システム及び／又は集積回路として提供される専用の符号器１６５０を有することができる。   Central processing unit 1610 includes operating system 1612 of system 1600 and various applications 1614.1 to 1614. Various program instructions stored in memory 1630 defining N can be read and executed. Program instructions may perform encoding mode control according to the techniques described herein. As it executes those program instructions, the central processing unit 1610 reads from the memory 1630 the camera 1620 or the application 164.1-1614. N can read out the image data created by any of N, which can be encoded for transmission. The central processing unit 1610 can execute a program that operates according to the principle of FIG. Alternatively, system 1600 can include a dedicated encoder 1650 provided as a stand-alone processing system and / or as an integrated circuit.

示されるように、メモリ１６３０は、実行されるとプロセッサに上記の技術を実行させるプログラム命令を記憶することができる。メモリ１６３０は、プログラム命令を電気的、磁気的及び／又は、光学的ベースの記憶媒体に保存することができる。   As shown, memory 1630 can store program instructions that, when executed, cause the processor to perform the techniques described above. Memory 1630 can store program instructions on an electrical, magnetic, and / or optical based storage medium.

送受信機１６４０は、送信単位を送信し、ネットワーク（図示せず）から確認応答メッセージを受信するための通信システムを表すことができる。中央処理装置１６１０がソフトウェアベースのビデオ符号器を動作させる実施形態において、送受信機１６４０は、確認応答メッセージの状態を表すデータを、プロセッサ１６１０による取り出しに対してメモリ１６３０に置くことができる。システム１６００が専用の符号器を有する実施形態において、送受信機１６４０は、状態情報を符号器１６５０と交換することができる。   Transceiver 1640 may represent a communication system for transmitting transmission units and receiving acknowledgment messages from a network (not shown). In embodiments where the central processing unit 1610 operates a software-based video encoder, the transceiver 1640 may place data representing the status of the acknowledgment message in the memory 1630 for retrieval by the processor 1610. In embodiments in which system 1600 has a dedicated encoder, transceiver 1640 may exchange state information with encoder 1650.

前述の説明は、例示及び説明を目的として、提示されている。それは網羅的ではなく、本開示の実施形態を開示される正確な形に限定するものではない。修正及び変形は、上記の教示を考慮して可能であるか、又は本開示と整合した実践的実施形態から得ることができる。本明細書で別途記載のない限り、方法のいずれも任意の組み合わせで実施することができる。   The foregoing description has been presented for purposes of illustration and description. It is not exhaustive and does not limit embodiments of the present disclosure to the precise form disclosed. Modifications and variations are possible in light of the above teachings or may be obtained from practical embodiments consistent with the present disclosure. Unless otherwise stated herein, any of the methods can be performed in any combination.

Claims (26)

ビデオ符号化の方法であって、
立方体マップフォーマットで記憶される基準画像に対して、前記立方体マップフォーマットに含まれる第１のビューの画像データが複製されて前記立方体マップ画像に含まれる第２のビューに隣接して配置される、パディングされた基準画像を生成することと、
符号化される入力画像の画素ブロックに対して、前記入力画像と前記パディングされた基準画像のコンテンツ間の予測一致を検索することであって、前記検索は前記第１のビューの前記複製されたデータを含む、ことと、
一致が発生すると、前記画素ブロックを前記パディングされた基準画像からの一致しているデータに関して差分的に符号化することと、
を含む、方法。 A method of video encoding,
For a reference image stored in a cubic map format, image data of a first view included in the cubic map format is duplicated and arranged adjacent to a second view included in the cubic map image. Generating a padded reference image;
Searching for a predicted match between the input image and the content of the padded reference image for a pixel block of the input image to be encoded, wherein the search is performed on the duplicated view of the first view. Contain data, and
When a match occurs, differentially encoding the pixel block with respect to matching data from the padded reference image;
Including, methods. 前記基準画像が複数のビューのデータと画像コンテンツを含まない少なくとも１つのヌル領域とを含み、
前記パディングされた基準画像が前記複数のビューのデータを含み、前記複製されたビューのデータが前記基準画像のヌル領域の位置に対応する位置において提供される、請求項１に記載の方法。 The reference image includes a plurality of views of data and at least one null region that does not include image content;
The method of claim 1, wherein the padded reference image includes data of the plurality of views, and wherein the duplicated view data is provided at a location corresponding to a location of a null region of the reference image. 前記基準画像が複数のビューのデータを含み、
前記パディングされた基準画像が、符号化される前記画素ブロックに空間的に対応する前記基準画像のビューのデータを含み、
前記複製されたデータが、符号化される前記画素ブロックに空間的に対応する前記基準画像の前記ビューとエッジを共有する前記基準画像からの別のビューのデータである、請求項１に記載の方法。 The reference image includes a plurality of views of data,
The padded reference image includes data of a view of the reference image that spatially corresponds to the pixel block to be encoded;
The method of claim 1, wherein the replicated data is data of another view from the reference image that shares an edge with the view of the reference image spatially corresponding to the pixel block to be encoded. Method. 前記生成することが、前記第１のビューの画像データを前記基準画像の第２のビューの平面に投影することを含み、前記第２のビューは符号化される前記画素ブロックの空間位置に対応する、請求項１に記載の方法。   The generating comprises projecting the image data of the first view onto a plane of a second view of the reference image, the second view corresponding to a spatial position of the pixel block to be encoded. The method of claim 1, wherein 前記生成することが、前記第２のビューに関して前記第１のビューの画像データを配向して前記ビューの間の継ぎ目にわたる画像データの連続性を提供する、請求項１に記載の方法。   The method of claim 1, wherein the generating orients image data of the first view with respect to the second view to provide continuity of image data across seams between the views. 前記基準画像が複数のビューを有する立方体マップ画像であり、画像連続性は前記立方体マップ画像のすべての内部エッジにわたって維持される、請求項１に記載の方法。   The method of claim 1, wherein the reference image is a cubic map image having a plurality of views, and wherein image continuity is maintained across all internal edges of the cubic map image. 前記基準画像が複数のビューを有する立方体マップ画像であり、画像連続性は前記立方体マップ画像の複数の内部エッジにわたって維持されるが、画像連続性は前記立方体マップ画像の他の内部エッジにわたっては維持されない、請求項１に記載の方法。   The reference image is a cubic map image having a plurality of views, wherein image continuity is maintained over a plurality of internal edges of the cubic map image, while image continuity is maintained over other internal edges of the cubic map image. The method of claim 1, wherein the method is not performed. 前記入力画像が全方向カメラによって生成される、請求項１に記載の方法。   The method of claim 1, wherein the input image is generated by an omni-directional camera. 前記入力画像がコンピュータアプリケーションによって生成される、請求項１に記載の方法。   The method of claim 1, wherein the input image is generated by a computer application. 符号化される画素ブロックに対する入力及び予測された画素ブロックを有するビデオ符号器と、
前記ビデオ符号器の出力に結合された入力を有するビデオ復号器と、
前記ビデオ復号器によって生成される立方体マップフォーマットの復号されたピクチャを記憶する基準ピクチャ記憶と、
前記基準ピクチャ記憶に記憶される復号されたピクチャからのパディングされた基準画像を生成するためのパディングユニットであって、前記パディングされた基準画像は、複製されて前記立法マップ画像に含まれる第２のビューに隣接して配置される前記復号されたピクチャの第１のビューの画像データを有する、パディングユニットと、
前記パディングユニットに結合された入力及び前記ビデオ符号器に結合された出力を有する予測器と、
を備えるビデオ符号化システム。 A video encoder having an input for the pixel block to be encoded and a predicted pixel block;
A video decoder having an input coupled to an output of the video encoder;
Reference picture storage for storing decoded pictures in a cubic map format generated by the video decoder;
A padding unit for generating a padded reference image from a decoded picture stored in the reference picture storage, wherein the padded reference image is duplicated and included in the legislative map image. A padding unit having image data of a first view of the decoded picture arranged adjacent to a view of
A predictor having an input coupled to the padding unit and an output coupled to the video encoder;
A video encoding system comprising: 前記復号されたピクチャが複数のビューのデータと画像コンテンツを含まない少なくとも１つのヌル領域とを含み、
前記パディングされた基準画像が前記複数のビューのデータを含み、前記複製されたビューのデータが前記基準画像のヌル領域の位置に対応する位置において提供される、請求項１０に記載のシステム。 The decoded picture includes a plurality of views of data and at least one null region that does not include image content;
The system of claim 10, wherein the padded reference image includes data of the plurality of views, and wherein the duplicated view data is provided at a location corresponding to a location of a null region of the reference image. 前記復号されたピクチャが複数のビューのデータを含み、
前記パディングされた基準画像が、
符号化される前記画素ブロックに空間的に対応する前記基準画像のビューのデータを含み、
前記複製されたデータが、符号化される前記画素ブロックに空間的に対応する前記基準画像の前記ビューとエッジを共有するデータを含む前記復号されたピクチャからの別のビューのデータである、請求項１０に記載のシステム。 The decoded picture includes a plurality of views of data;
The padded reference image is
Including data of a view of the reference image that spatially corresponds to the pixel block to be encoded;
The duplicated data is data of another view from the decoded picture including data sharing edges with the view of the reference image that spatially corresponds to the pixel block to be encoded. Item 11. The system according to Item 10. 前記パディングユニットが前記第１のビューの画像データを前記復号されたピクチャの第２のビューの平面に投影し、前記第２のビューは符号化される前記画素ブロックの空間位置に対応する、請求項１０に記載のシステム。   The padding unit projects the image data of the first view onto a plane of a second view of the decoded picture, wherein the second view corresponds to a spatial position of the pixel block to be encoded. Item 11. The system according to Item 10. 前記パディングユニットが、前記第２のビューに関して前記第１のビューの画像データを配向して前記ビューの間の継ぎ目にわたる画像データの連続性を提供する、請求項１０に記載のシステム。   The system of claim 10, wherein the padding unit orients image data of the first view with respect to the second view to provide continuity of image data across seams between the views. 前記立方体マップフォーマットが複数のビューを有し、画像連続性は前記立方体マップ画像のすべての内部エッジにわたって維持される、請求項１０に記載のシステム。   The system of claim 10, wherein the cubic map format has multiple views, and image continuity is maintained across all interior edges of the cubic map image. 前記立方体マップフォーマットが複数のビューを有し、画像連続性は前記立方体マップ画像の複数の内部エッジにわたって維持されるが、画像連続性は前記立方体マップ画像の他の内部エッジにわたっては維持されない、請求項１０に記載のシステム。   The cubic map format having multiple views, wherein image continuity is maintained across multiple internal edges of the cubic map image, but image continuity is not maintained across other internal edges of the cubic map image. Item 11. The system according to Item 10. 入力画素ブロックが導出される画像データを供給する全方向カメラを更に備える、請求項１０に記載のシステム。   The system of claim 10, further comprising an omni-directional camera that provides image data from which the input pixel blocks are derived. 入力画素ブロックが導出される画像データを生成するコンピュータアプリケーションを更に備える、請求項１０に記載のシステム。   The system of claim 10, further comprising a computer application that generates image data from which an input pixel block is derived. 処理デバイスによって実行されると、前記デバイスに、
立方体マップフォーマットで記憶される基準画像に対して、前記立方体マップフォーマットに含まれる第１のビューの画像データが複製されて前記立方体マップ画像に含まれる第２のビューに隣接して配置される、パディングされた基準画像を生成し、
符号化される入力画像の画素ブロックに対して、前記入力画像と前記パディングされた基準画像のコンテンツ間の予測一致を検索し、前記検索は前記第１のビューの前記複製されたデータを含み、
一致が発生すると、前記画素ブロックを前記パディングされた基準画像からの一致しているデータに関して差分的に符号化する、
ようにさせるプログラム命令を記憶する、コンピュータ可読媒体。 When executed by a processing device, the device:
For a reference image stored in a cubic map format, image data of a first view included in the cubic map format is duplicated and arranged adjacent to a second view included in the cubic map image. Generate a padded reference image,
Searching for a predicted match between the input image and the content of the padded reference image for a pixel block of the input image to be encoded, wherein the search includes the duplicated data of the first view;
If a match occurs, differentially encode the pixel block with respect to matching data from the padded reference image;
A computer-readable medium that stores program instructions for causing the 前記基準画像が複数のビューのデータと画像コンテンツを含まない少なくとも１つのヌル領域とを含み、
前記パディングされた基準画像が前記複数のビューのデータを含み、前記複製されたビューのデータが前記基準画像のヌル領域の位置に対応する位置において提供される、請求項１９に記載の媒体。 The reference image includes a plurality of views of data and at least one null region that does not include image content;
20. The medium of claim 19, wherein the padded reference image includes data for the plurality of views, and the duplicated view data is provided at a location corresponding to a location of a null region of the reference image. 前記基準画像が複数のビューのデータを含み、
前記パディングされた基準画像が、
符号化される前記画素ブロックに空間的に対応する前記基準画像のビューのデータを含み、
前記複製されたデータが、符号化される前記画素ブロックに空間的に対応する前記基準画像の前記ビューとエッジを共有する前記基準画像からの別のビューのデータである、請求項１９に記載の媒体。 The reference image includes a plurality of views of data,
The padded reference image is
Including data of a view of the reference image that spatially corresponds to the pixel block to be encoded;
20. The replicated data of claim 19, wherein the replicated data is data of another view from the reference image that shares an edge with the view of the reference image that spatially corresponds to the pixel block to be encoded. Medium. 前記デバイスが前記第１のビューの画像データを前記基準画像の第２のビューの平面に投影し、前記第２のビューは符号化される前記画素ブロックの空間位置に対応する、請求項１９に記載の媒体。   20. The device of claim 19, wherein the device projects image data of the first view onto a plane of a second view of the reference image, wherein the second view corresponds to a spatial position of the pixel block to be encoded. The described medium. ビデオ符号化の方法であって、
立方体マップフォーマットで記憶される基準画像に対して、前記立方体マップフォーマットに含まれる第１のビューの画像データが複製されて前記立方体マップ画像に含まれる第２のビューに隣接して配置される、パディングされた基準画像を生成することと、
符号化される入力画像の画素ブロックに対して、前記入力画像と前記パディングされた基準画像のコンテンツ間の予測一致を検索することであって、前記検索は前記第１のビューの前記複製されたデータを含む、ことと、
一致が発生すると、前記画素ブロックを前記パディングされた基準画像からの一致しているデータに関して差分的に符号化することと、
を含む、方法。 A method of video encoding,
For a reference image stored in a cubic map format, image data of a first view included in the cubic map format is duplicated and arranged adjacent to a second view included in the cubic map image. Generating a padded reference image;
Searching for a predicted match between the input image and the content of the padded reference image for a pixel block of the input image to be encoded, wherein the search is performed on the duplicated view of the first view. Contain data, and
When a match occurs, differentially encoding the pixel block with respect to matching data from the padded reference image;
Including, methods. ビデオ符号化の方法であって、
符号化された画素ブロックに対して、前記符号化された画素ブロックの予測データから、前記符号化された画素ブロックがパディングされた基準画像データを参照して符号化されているかどうか判定することと、
前記符号化された画素ブロックがパディングされた基準画像データを参照して符号化されているとき、前記基準画像の第１のビューの複製された画像データによって記憶された基準画像からパディングされた基準画像を生成して、前記パディングされた基準画像を前記基準画像の第２のビューに隣接して配置することと、
前記符号化された画素ブロックのための予測基準として前記パディングされた基準画像データを使用して前記符号化された画素ブロックを復号することと、
を含む、方法。 A method of video encoding,
For an encoded pixel block, from the prediction data of the encoded pixel block, determining whether the encoded pixel block is encoded with reference to padded reference image data. ,
A reference padded from a reference image stored by duplicate image data of a first view of the reference image when the encoded pixel block is encoded with reference to padded reference image data. Generating an image and placing the padded reference image adjacent to a second view of the reference image;
Decoding the encoded pixel block using the padded reference image data as a prediction criterion for the encoded pixel block;
Including, methods. 符号化された画素ブロックデータに対する入力を有するビデオ復号器と、
前記ビデオ復号器によって生成される復号されたピクチャであって、立方体マップフォーマットの前記復号されたピクチャを記憶する基準ピクチャ記憶と、
前記基準ピクチャ記憶に記憶される復号されたピクチャからのパディングされた基準画像を生成するためのパディングユニットであって、前記パディングされた基準画像は、複製されて前記立法マップ画像に含まれる第２のビューに隣接して配置される前記復号されたピクチャの第１のビューの画像データを有する、パディングユニットと、
前記パディングユニットに結合された入力及び前記ビデオ復号器に結合された出力を有する予測器と、
を備えるビデオ復号器。 A video decoder having an input for the encoded pixel block data;
A reference picture store for storing the decoded pictures generated by the video decoder, wherein the decoded pictures are in cubic map format;
A padding unit for generating a padded reference image from a decoded picture stored in the reference picture storage, wherein the padded reference image is duplicated and included in the legislative map image. A padding unit having image data of a first view of the decoded picture arranged adjacent to a view of
A predictor having an input coupled to the padding unit and an output coupled to the video decoder;
Video decoder comprising: ビデオ符号化の方法であって、
球面投影に従って表される基準画像に対して、前記基準画像の一部の画像データが複製されて前記基準画像のエッジに隣接して配置される、パディングされた基準画像を生成することと、
符号化される入力画像の画素ブロックに対して、前記入力画像と前記パディングされた基準画像のコンテンツ間の予測一致を検索することであって、前記検索は前記複製されたデータを含む、ことと、
一致が発生すると、前記画素ブロックを前記パディングされた基準画像からの一致しているデータに関して差分的に符号化することと、
を含む、方法。 A method of video encoding,
For a reference image represented according to a spherical projection, a portion of the reference image is duplicated and arranged adjacent to an edge of the reference image, generating a padded reference image;
Searching a pixel block of the input image to be encoded for a predicted match between the content of the input image and the padded reference image, wherein the search includes the duplicated data; ,
When a match occurs, differentially encoding the pixel block with respect to matching data from the padded reference image;
Including, methods.