KR20210095958A - Improved flexible tiling in video coding - Google Patents

Abstract

비디오 코딩 메커니즘이 개시된다. 이 메커니즘은 픽처를 복수의 제1 레벨 타일로 분할하는 단계를 포함한다. 제1 레벨 타일의 서브 세트는 복수의 제2 레벨 타일로 분할된다. 제1 레벨 타일 및 제2 레벨 타일은 제2 레벨 타일을 포함하는 할당된 타일 그룹의 모든 타일이 픽처의 직사각형 영역을 덮도록 제한되도록 하나 이상의 타일 그룹에 할당된다. 제1 레벨 타일 및 제2 레벨 타일은 비트스트림으로 인코딩된다. 비트스트림은 디코더를 향한 통신을 위해 저장된다.A video coding mechanism is disclosed. The mechanism includes partitioning the picture into a plurality of first level tiles. The subset of first level tiles is divided into a plurality of second level tiles. The first level tiles and the second level tiles are assigned to one or more tile groups such that all tiles of the assigned tile group including the second level tiles are constrained to cover a rectangular area of the picture. The first level tile and the second level tile are encoded into a bitstream. The bitstream is stored for communication towards the decoder.

Description

비디오 코딩의 유연한 타일링 개선Improved flexible tiling in video coding

본 특허 출원은 FNU Hendry 등에 의해 2018년 12월 27일에 출원된 미국 가특허 출원 제62/785,511호(비디오 코딩의 유연한 타일링 개선(Flexible Tiling in Video Coding))의 이익을 주장하며, 이것은 참조로서 본 명세서에 포함된다.This patent application claims the benefit of U.S. Provisional Patent Application No. 62/785,511 (Flexible Tiling in Video Coding), filed December 27, 2018 by FNU Hendry et al., which is hereby incorporated by reference. incorporated herein.

본 개시는 일반적으로 비디오 코딩에 관한 것으로, 구체적으로는 동일한 픽처(picture)에서 상이한 해상도를 갖는 다중 타일(tile)을 지원하는 유연한 비디오 타일링 방식에 관한 것이다.BACKGROUND This disclosure relates generally to video coding, and more particularly to a flexible video tiling scheme that supports multiple tiles having different resolutions in the same picture.

비교적 짧은 비디오라도 이를 묘사하는 데 필요한 비디오 데이터의 양은 상당할 수 있으며, 이로 인해 데이터가 스트리밍되거나 또는 제한된 대역폭 용량으로 통신 네트워크를 통해 통신될 때 어려움이 초래될 수 있다. 따라서, 비디오 데이터는 일반적으로 현대 통신 네트워크를 통해 통신되기 전에 압축된다. 메모리 자원이 한정될 수 있기 때문에 비디오가 저장 장치에 저장될 때 비디오의 크기가 또한 문제가 될 수 있다. 비디오 압축 장치는 종종 소스에서 소프트웨어 및/또는 하드웨어를 사용하여 전송 또는 저장 전에 비디오 데이터를 코딩하므로, 디지털 비디오 이미지를 표현하는 데 필요한 데이터의 양이 감소할 수 있다. 그 후, 압축된 데이터는 비디오 데이터를 디코딩하는 비디오 압축해제 장치에 의해 목적지에서 수신된다. 제한된 네트워크 자원과 더 높은 비디오 품질에 대한 요구가 계속 증가함에 따라, 이미지 품질을 거의 또는 전혀 희생하지 않고 압축 비율을 개선하는 개선된 압축 및 압축해제 기술이 요구된다.The amount of video data required to depict even a relatively short video can be significant, which can create difficulties when the data is streamed or communicated over communication networks with limited bandwidth capacity. Accordingly, video data is typically compressed before being communicated over modern communication networks. The size of the video can also be an issue when the video is stored on a storage device because memory resources may be limited. Video compression devices often use software and/or hardware at the source to code video data prior to transmission or storage, thus reducing the amount of data required to represent a digital video image. The compressed data is then received at the destination by a video decompression device that decodes the video data. As limited network resources and the ever-increasing demand for higher video quality require improved compression and decompression techniques that improve compression ratios with little or no sacrificing image quality.

실시예에서, 본 개시는 인코더에서 구현되는 방법을 포함하고, 이 방법은, 상기 인코더의 프로세서에 의해, 픽처를 복수의 제1 레벨 타일로 분할하는 단계; 상기 프로세서에 의해, 상기 제1 레벨 타일의 서브 세트를 복수의 제2 레벨 타일로 분할하는 단계; 상기 프로세서에 의해, 상기 제2 레벨 타일 슬라이스를 포함하는 할당된 타일 그룹의 모든 타일이 상기 픽처의 직사각형 영역을 덮도록 제한되도록 상기 제1 레벨 타일 및 상기 제2 레벨 타일을 하나 이상의 타일 그룹으로 할당하는 단계; 상기 프로세서에 의해, 상기 제1 레벨 타일 및 상기 제2 레벨 타일을 비트스트림으로 인코딩하는 단계; 및 디코더를 향한 통신을 위한 비트스트림을 상기 인코더의 메모리에 저장하는 단계를 포함한다. 비디오 코딩 시스템은 픽처를 분할하기 위해 슬라이스 및 타일을 사용할 수 있다. 특정 스트리밍 애플리케이션(예를 들어, 가상 현실(VR) 및 원격 회의)은 서로 다른 해상도로 인코딩된 여러 영역을 포함하는 단일 이미지가 전송될 수 있는 경우 개선될 수 있다. 일부 슬라이싱 및 타일링 메커니즘은 다른 해상도의 타일이 다르게 취급될 수 있기 때문에 이러한 기능을 지원하지 않을 수 있다. 예를 들어, 제1 해상도의 타일은 단일 데이터 슬라이스를 포함할 수 있는 반면, 제2 해상도의 타일은 픽셀 밀도의 차이로 인해 여러 슬라이스 데이터를 운반할 수 있다. 본 측면은 제1 레벨 타일 및 제2 레벨 타일을 포함하는 유연한 타일링 방식을 사용한다. 제2 레벨 타일은 제1 레벨 타일을 분할하여 생성된다. 이러한 타일링 방식은 제1 레벨 타일이 제1 해상도에서 하나의 데이터 슬라이스를 포함하게 하고 제2 레벨 타일을 포함하는 제1 레벨 타일이 제2 해상도에서 복수의 슬라이스를 포함하게 한다. 타일은 타일 그룹에 할당될 수 있다. 본 측면은 래스터 스캔과는 대조적으로 제2 레벨 타일을 포함하는 타일 그룹을 직사각형으로 제한한다. 이러한 접근 방식은 서로 다른 컨텐츠의 별도 추출 및 처리를 지원하는 경계를 생성한다. 예를 들어, 제1 해상도의 컨텐츠를 포함하는 타일 그룹과 제2 해상도의 컨텐츠를 포함하는 타일 그룹은 자연스럽게 스크린에 동시 디스플레이 및/또는 머리 장착형 디스플레이에서의 사용을 위한 별도의 추출을 지원하도록 형성된다. 따라서, 개시된 유연한 타일링 방식은 인코더/디코더(코덱)가 다중 해상도를 포함하는 픽처를 지원할 수 있게 하므로, 인코더와 디코더 모두의 기능을 증가시킬 수 있다.In an embodiment, the present disclosure includes a method implemented in an encoder, the method comprising: dividing, by a processor of the encoder, a picture into a plurality of first level tiles; dividing, by the processor, the subset of first level tiles into a plurality of second level tiles; allocating, by the processor, the first level tile and the second level tile to one or more tile groups such that all tiles of the assigned tile group including the second level tile slice are restricted to cover a rectangular area of the picture to do; encoding, by the processor, the first level tile and the second level tile into a bitstream; and storing a bitstream for communication towards a decoder in a memory of the encoder. A video coding system can use slices and tiles to divide a picture. Certain streaming applications (eg, virtual reality (VR) and teleconferencing) may be improved if a single image containing multiple regions encoded at different resolutions can be transmitted. Some slicing and tiling mechanisms may not support these features because tiles of different resolutions may be treated differently. For example, a tile of a first resolution may contain a single data slice, while a tile of a second resolution may carry multiple slices of data due to differences in pixel densities. This aspect uses a flexible tiling scheme including a first-level tile and a second-level tile. The second level tile is generated by dividing the first level tile. This tiling scheme causes a first level tile to contain one data slice at a first resolution and a first level tile including a second level tile to contain a plurality of slices at a second resolution. A tile may be assigned to a tile group. This aspect limits the tile group containing the second level tiles to a rectangle as opposed to a raster scan. This approach creates boundaries that support the separate extraction and processing of different content. For example, a group of tiles containing content at a first resolution and a group of tiles containing content at a second resolution are naturally formed to support simultaneous display on the screen and/or separate extraction for use in head mounted displays. . Thus, the disclosed flexible tiling scheme enables the encoder/decoder (codec) to support pictures including multiple resolutions, thereby increasing the functionality of both the encoder and the decoder.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 다른 구현이 제공하며, 여기서 상기 서브 세트 외부의 제1 레벨 타일은 제1 해상도의 픽처 데이터를 포함하고 제2 레벨 타일은 상기 제1 해상도와 다른 제2 해상도의 픽처 데이터를 포함한다.Optionally, in any of the preceding aspects, another implementation of the aspect provides, wherein a first level tile outside the subset comprises picture data at a first resolution and a second level tile comprises a second level tile different from the first resolution. Contains 2 resolution picture data.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공하며, 여기서 상기 하나 이상의 타일 그룹 각각은 임의의 제1 레벨 타일이 복수의 제2 레벨 타일로 분할되는 경우 상기 픽처의 직사각형 영역을 덮도록 제한된다.Optionally, in any of the preceding aspects, another implementation of the aspect provides, wherein each group of one or more tiles defines a rectangular area of the picture when any first level tile is divided into a plurality of second level tiles. limited to cover.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 여기서 상기 제1 레벨 타일 및 상기 제2 레벨 타일은 왼쪽 경계에서 오른쪽 경계로 상기 픽처를 수평으로 횡단하는 래스터 스캔(raster scan) 순서에 의해 상기 하나 이상의 타일 그룹에 할당되지 않는다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein the first level tile and the second level tile horizontally traverse the picture from a left boundary to a right boundary. ) is not assigned to the one or more tile groups by order.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 여기서 상기 픽처의 직사각형 영역을 덮는 것은 상기 픽처의 완전한 수평 영역보다 작은 영역을 덮는 것을 포함한다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein covering a rectangular area of the picture comprises covering an area smaller than a perfectly horizontal area of the picture.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 여기서 각각의 제2 레벨 타일은 상기 픽처로부터의 픽처 데이터의 단일 슬라이스를 포함한다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein each second level tile comprises a single slice of picture data from the picture.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 상기 프로세서에 의해, 분할된 제1 레벨 타일에 대한 제2 레벨 타일 행(row) 및 제2 레벨 타일 열(column)을 인코딩하는 단계를 더 포함하며, 여기서 상기 제2 레벨 타일 행 및 상기 제2 레벨 타일 열은 상기 픽처와 연관된 픽처 파라미터 세트로 인코딩된다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein a second level tile row and a second level tile column for a partitioned first level tile are provided by the processor. encoding, wherein the second level tile row and the second level tile column are encoded with a picture parameter set associated with the picture.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 여기서 제1 레벨 타일이 제2 레벨 타일로 분할되는지 여부를 명시적으로 지시하는 데이터는 최소 폭 임계값보다 작은 폭을 갖는 제1 레벨 타일에 대해 비트스트림으로부터 생략되고 높이는 최소 높이 임계값보다 작으며, 제2 레벨 타일 행 및 제2 레벨 타일 열은 상기 최소 폭 임계값의 두 배보다 작은 폭을 갖는 분할된 제1 레벨 타일에 대해 상기 비트스트림으로부터 생략되고 높이는 상기 최소 높이 임계값의 두 배보다 작다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein data explicitly indicating whether a first level tile is divided into a second level tile has a width less than a minimum width threshold a partitioned first level that is omitted from the bitstream for a first level tile and whose height is less than a minimum height threshold, and wherein the second level tile row and second level tile column have a width less than twice the minimum width threshold. is omitted from the bitstream for a tile and the height is less than twice the minimum height threshold.

실시예에서, 본 개시는 디코더에서 구현되는 방법을 포함하고, 상기 방법은, 상기 디코더의 프로세서에 의해 수신기를 통해, 복수의 제1 레벨 타일로 분할된 픽처를 포함하는 비트스트림을 수신하는 단계 ― 상기 제1 레벨 타일의 서브 세트는 복수의 제2 레벨 타일로 추가로 분할되고, 상기 제1 레벨 타일 및 상기 제2 레벨 타일은 상기 제2 레벨 타일을 포함하는 할당된 타일 그룹의 모든 타일이 상기 픽처의 직사각형 영역을 덮도록 제한되도록 하나 이상의 타일 그룹으로 할당됨 ―; 상기 프로세서에 의해, 상기 하나 이상의 타일 그룹에 기초하여 상기 제1 레벨 타일의 구성 및 상기 제2 레벨 타일의 구성을 결정하는 단계; 상기 프로세서에 의해, 상기 제1 레벨 타일의 구성 및 상기 제2 레벨 타일의 구성에 기초하여 상기 제1 레벨 타일 및 상기 제2 레벨 타일을 디코딩하는 단계; 및 상기 프로세서에 의해, 디코딩된 제1 레벨 타일 및 제2 레벨 타일에 기초하여 디스플레이를 위한 재구성된 비디오 시퀀스를 생성하는 단계를 포함한다. 비디오 코딩 시스템은 픽처를 분할하기 위해 슬라이스 및 타일을 사용할 수 있다. 특정 스트리밍 애플리케이션(예를 들어, VR 및 원격 회의)은 서로 다른 해상도로 인코딩된 여러 영역을 포함하는 단일 이미지가 전송될 수 있는 경우 개선될 수 있다. 일부 슬라이싱 및 타일링 메커니즘은 다른 해상도의 타일이 다르게 취급될 수 있기 때문에 이러한 기능을 지원하지 않을 수 있다. 예를 들어, 제1 해상도의 타일은 단일 데이터 슬라이스를 포함할 수 있는 반면, 제2 해상도의 타일은 픽셀 밀도의 차이로 인해 여러 슬라이스 데이터를 운반할 수 있다. 본 측면은 제1 레벨 타일 및 제2 레벨 타일을 포함하는 유연한 타일링 방식을 사용한다. 제2 레벨 타일은 제1 레벨 타일을 분할하여 생성된다. 이러한 타일링 방식은 제1 레벨 타일이 제1 해상도에서 하나의 데이터 슬라이스를 포함하게 하고 제2 레벨 타일을 포함하는 제1 레벨 타일이 제2 해상도에서 복수의 슬라이스를 포함하게 한다. 타일은 타일 그룹에 할당될 수 있다. 본 측면은 래스터 스캔과는 대조적으로 제2 레벨 타일을 포함하는 타일 그룹을 직사각형으로 제한한다. 이러한 접근 방식은 서로 다른 컨텐츠의 별도 추출 및 처리를 지원하는 경계를 생성한다. 예를 들어, 제1 해상도의 컨텐츠를 포함하는 타일 그룹과 제2 해상도의 컨텐츠를 포함하는 타일 그룹은 자연스럽게 스크린에 동시 디스플레이 및/또는 머리 장착형 디스플레이에서의 사용을 위한 별도의 추출을 지원하도록 형성된다. 따라서, 개시된 유연한 타일링 방식은 코덱이 다중 해상도를 포함하는 픽처를 지원할 수 있게 하므로, 인코더와 디코더 모두의 기능을 증가시킬 수 있다.In an embodiment, the present disclosure includes a method implemented in a decoder, the method comprising: receiving, by a processor of the decoder, via a receiver, a bitstream comprising a picture divided into a plurality of first level tiles; The subset of first level tiles is further divided into a plurality of second level tiles, wherein all tiles of the assigned tile group including the second level tiles are the first level tiles and the second level tiles. assigned to one or more groups of tiles to be constrained to cover a rectangular area of the picture; determining, by the processor, a configuration of the first level tile and a configuration of the second level tile based on the one or more tile groups; decoding, by the processor, the first level tile and the second level tile based on the configuration of the first level tile and the configuration of the second level tile; and generating, by the processor, a reconstructed video sequence for display based on the decoded first level tile and the second level tile. A video coding system can use slices and tiles to divide a picture. Certain streaming applications (eg VR and teleconferencing) may be improved if a single image containing multiple regions encoded at different resolutions can be transmitted. Some slicing and tiling mechanisms may not support these features because tiles of different resolutions may be treated differently. For example, a tile of a first resolution may contain a single data slice, while a tile of a second resolution may carry multiple slices of data due to differences in pixel densities. This aspect uses a flexible tiling scheme including a first-level tile and a second-level tile. The second level tile is generated by dividing the first level tile. This tiling scheme causes a first level tile to contain one data slice at a first resolution and a first level tile including a second level tile to contain a plurality of slices at a second resolution. A tile may be assigned to a tile group. This aspect limits the tile group containing the second level tiles to a rectangle as opposed to a raster scan. This approach creates boundaries that support the separate extraction and processing of different content. For example, a group of tiles containing content at a first resolution and a group of tiles containing content at a second resolution are naturally formed to support simultaneous display on the screen and/or separate extraction for use in head mounted displays. . Accordingly, the disclosed flexible tiling scheme enables the codec to support pictures including multiple resolutions, thereby increasing the functionality of both the encoder and the decoder.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 여기서 상기 서브 세트 외부의 제1 레벨 타일은 제1 해상도의 픽처 데이터를 포함하고 제2 레벨 타일은 상기 제1 해상도와 다른 제2 해상도의 픽처 데이터를 포함한다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein a first level tile outside the subset comprises picture data at a first resolution and a second level tile different from the first resolution. It includes picture data of the second resolution.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 여기서, 상기 하나 이상의 타일 그룹 각각은 임의의 제1 레벨 타일이 복수의 제2 레벨 타일로 분할되는 경우 상기 픽처의 직사각형 영역을 덮도록 제한된다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein each of the one or more groups of tiles is a rectangular area of the picture when any first level tile is divided into a plurality of second level tiles. limited to cover

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 여기서 상기 제1 레벨 타일 및 상기 제2 레벨 타일은 왼쪽 경계에서 오른쪽 경계로 상기 픽처를 수평으로 횡단하는 래스터 스캔 순서에 의해 상기 하나 이상의 타일 그룹에 할당되지 않는다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein the first level tile and the second level tile are by a raster scan order that horizontally traverses the picture from a left boundary to a right boundary. It is not assigned to the one or more tile groups.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 여기서 상기 픽처의 직사각형 영역을 덮는 것은 상기 픽처의 완전한 수평 영역보다 작은 영역을 덮는 것을 포함한다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein covering a rectangular area of the picture comprises covering an area smaller than a perfectly horizontal area of the picture.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 여기서 각각의 제2 레벨 타일은 상기 픽처로부터의 픽처 데이터의 단일 슬라이스를 포함한다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein each second level tile comprises a single slice of picture data from the picture.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 상기 프로세서에 의해, 상기 픽처와 연관된 픽처 파라미터 세트로부터 분할된 제1 레벨 타일에 대한 제2 레벨 타일 행 및 제2 레벨 타일 열을 획득하는 단계를 더 포함한다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein a second level tile row and a second level tile for a first level tile partitioned from a set of picture parameters associated with the picture, by the processor Further comprising the step of obtaining heat.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 여기서 제1 레벨 타일이 제2 레벨 타일로 분할되는지 여부를 명시적으로 지시하는 데이터는 최소 폭 임계값보다 작은 폭을 갖는 제1 레벨 타일에 대해 비트스트림으로부터 생략되고 높이는 최소 높이 임계값보다 작으며, 제2 레벨 타일 행 및 제2 레벨 타일 열은 상기 최소 폭 임계값의 두 배보다 작은 폭을 갖는 분할된 제1 레벨 타일에 대해 상기 비트스트림으로부터 생략되고 높이는 상기 최소 높이 임계값의 두 배보다 작다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein data explicitly indicating whether a first level tile is divided into a second level tile has a width less than a minimum width threshold a partitioned first level that is omitted from the bitstream for a first level tile and whose height is less than a minimum height threshold, and wherein the second level tile row and second level tile column have a width less than twice the minimum width threshold. is omitted from the bitstream for a tile and the height is less than twice the minimum height threshold.

실시예에서, 본 개시는 비디오 코딩 장치를 포함하며, 이 비디오 코딩 장치는 프로세서, 상기 프로세서에 결합된 수신기, 및 상기 프로세서에 결합된 전송기를 포함하며, 상기 프로세서, 수신기 및 전송기는 선행 측면 중 어느 하나의 방법을 수행하도록 구성된다.In an embodiment, the present disclosure includes a video coding apparatus comprising a processor, a receiver coupled to the processor, and a transmitter coupled to the processor, the processor, receiver and transmitter comprising any of the preceding aspects. configured to perform one method.

실시예에서, 본 개시는 비 일시적 컴퓨터 판독 가능 매체를 포함하며, 이 비 일시적 컴퓨터 판독 가능 매체는 비디오 코딩 장치에 의한 사용을 위한 컴퓨터 프로그램 제품을 포함하며, 상기 컴퓨터 프로그램 제품은 프로세서에 의해 실행될 때 상기 비디오 코딩 장치로 하여금 선행 측면 중 어느 하나의 방법을 수행하도록 상기 비 일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 실행 가능 명령을 포함한다.In an embodiment, the present disclosure includes a non-transitory computer readable medium comprising a computer program product for use by a video coding apparatus, the computer program product when executed by a processor and computer-executable instructions stored on the non-transitory computer-readable medium to cause the video coding apparatus to perform the method of any one of the preceding aspects.

실시예에서, 본 개시는 인코더를 포함하며, 이 인코더는 픽처를 복수의 제1 레벨 타일로 분할하고, 상기 제1 레벨 타일의 서브 세트를 복수의 제2 레벨 타일로 분할하기 위한 분할 수단; 상기 제2 레벨 타일을 포함하는 할당된 타일 그룹의 모든 타일이 상기 픽처의 직사각형 영역을 덮도록 제한되도록 상기 제1 레벨 타일 및 상기 제2 레벨 타일을 하나 이상의 타일 그룹으로 할당하기 위한 할당 수단; 상기 프로세서에 의해, 상기 제1 레벨 타일 및 상기 제2 레벨 타일을 비트스트림으로 인코딩하기 위한 인코딩 수단; 및 디코더를 향한 통신을 위한 비트스트림을 저장하기 위한 저장 수단을 포함한다.In an embodiment, the present disclosure includes an encoder, comprising: dividing means for dividing a picture into a plurality of first level tiles, and dividing a subset of the first level tiles into a plurality of second level tiles; allocating means for allocating the first level tile and the second level tile to one or more tile groups such that all tiles of the assigned tile group including the second level tile are restricted to cover a rectangular area of the picture; encoding means for encoding, by the processor, the first level tile and the second level tile into a bitstream; and storage means for storing the bitstream for communication towards the decoder.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 여기서 상기 인코더는 선행 측면 중 어느 하나의 방법을 수행하도록 추가로 구성된다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein the encoder is further configured to perform the method of any one of the preceding aspects.

실시예에서, 본 개시는 디코더를 포함하며, 이 디코더는 복수의 제1 레벨 타일로 분할된 픽처를 포함하는 비트스트림을 수신하기 위한 수신 수단 ― 상기 제1 레벨 타일의 서브 세트는 복수의 제2 레벨 타일로 추가로 분할되고, 상기 제1 레벨 타일 및 상기 제2 레벨 타일은 상기 제2 레벨 타일을 포함하는 할당된 타일 그룹의 모든 타일이 상기 픽처의 직사각형 영역을 덮도록 제한되도록 하나 이상의 타일 그룹으로 할당됨 ―; 상기 하나 이상의 타일 그룹에 기초하여 상기 제1 레벨 타일의 구성 및 상기 제2 레벨 타일의 구성을 결정하기 위한 결정 수단; 상기 제1 레벨 타일의 구성 및 상기 제2 레벨 타일의 구성에 기초하여 상기 제1 레벨 타일 및 상기 제2 레벨 타일을 디코딩하기 위한 디코딩 수단; 및 디코딩된 제1 레벨 타일 및 제2 레벨 타일에 기초하여 디스플레이를 위한 재구성된 비디오 시퀀스를 생성하기 위한 생성 수단을 포함한다.In an embodiment, the present disclosure includes a decoder, the decoder receiving means for receiving a bitstream comprising a picture divided into a plurality of first level tiles, wherein the subset of first level tiles comprises a plurality of second level tiles is further divided into level tiles, wherein the first level tile and the second level tile are grouped at least one tile such that all tiles of the assigned tile group including the second level tile are constrained to cover a rectangular area of the picture. assigned as ―; determining means for determining a configuration of the first level tile and a configuration of the second level tile based on the one or more tile groups; decoding means for decoding the first level tile and the second level tile based on the configuration of the first level tile and the configuration of the second level tile; and generating means for generating a reconstructed video sequence for display based on the decoded first level tile and the second level tile.

선택적으로, 선행 측면 중 어느 하나에서, 측면의 또 다른 구현이 제공되며, 여기서 디코더는 선행 측면 중 어느 하나의 방법을 수행하도록 추가로 구성된다.Optionally, in any of the preceding aspects, another implementation of the aspect is provided, wherein the decoder is further configured to perform the method of any one of the preceding aspects.

명확성을 위해, 전술한 실시예 중 어느 하나는 본 개시의 범위 내에서 새로운 실시예를 생성하기 위해 다른 전술한 실시예 중 어느 하나 이상과 결합될 수 있다.For clarity, any one of the foregoing embodiments may be combined with any one or more of the other aforementioned embodiments to create new embodiments within the scope of the present disclosure.

이들 및 다른 특징은 첨부 도면 및 청구 범위와 관련하여 취해진 다음의 상세한 설명으로부터 보다 명확하게 이해될 것이다.These and other features will be more clearly understood from the following detailed description taken in conjunction with the accompanying drawings and claims.

본 개시의 보다 완전한 이해를 위해, 첨부 도면 및 상세한 설명과 관련하여 취해진 다음의 간단한 설명이 참조되며, 여기서 동일한 참조 번호는 동일한 부분을 나타낸다.
도 1은 비디오 신호를 코딩하는 예시적인 방법의 흐름도이다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템의 개략도이다.
도 3은 예시 비디오 인코더를 도시한 개략도이다.
도 4는 예시 비디오 디코더를 도시한 개략도이다.
도 5는 인코딩된 비디오 시퀀스를 포함하는 예시 비트스트림을 도시한 개략도이다.
도 6a-6e는 가상 현실(VR) 애플리케이션에서의 사용을 위해 상이한 비트스트림으로부터의 다중 해상도의 서브 픽처를 단일 픽처로 결합하기 위한 추출기 트랙을 생성하기 위한 예시 메커니즘을 도시한다.
도 7은 디스플레이를 위해 상이한 비트스트림으로부터의 다중 해상도의 픽처를 단일 픽처로 연결하는 예시 픽처 회의 애플리케이션을 도시한다.
도 8a-8b는 동일한 픽처에서 상이한 해상도를 갖는 다중 타일을 지원할 수 있는 예시적인 유연한 비디오 타일링 방식을 도시한 개략도이다.
도 9는 예시 비디오 코딩 장치의 개략도이다.
도 10은 유연한 타일링 방식을 사용하여 이미지를 인코딩하는 예시 방법의 흐름도이다.
도 11은 유연한 타일링 방식을 사용하여 이미지를 디코딩하는 예시 방법의 흐름도이다.
도 12는 유연한 타일링 방식을 사용하여 비디오 시퀀스를 코딩하기 위한 예시 시스템의 개략도이다.For a more complete understanding of the present disclosure, reference is made to the accompanying drawings and the following brief description taken in conjunction with the detailed description, wherein like reference numerals refer to like parts.
1 is a flow diagram of an exemplary method of coding a video signal.
2 is a schematic diagram of an exemplary coding and decoding (codec) system for video coding.
3 is a schematic diagram illustrating an example video encoder;
4 is a schematic diagram illustrating an example video decoder.
5 is a schematic diagram illustrating an example bitstream comprising an encoded video sequence.
6A-6E show an example mechanism for creating an extractor track for combining subpictures of multiple resolutions from different bitstreams into a single picture for use in virtual reality (VR) applications.
7 shows an example picture conferencing application that concatenates pictures of multiple resolutions from different bitstreams into a single picture for display.
8A-8B are schematic diagrams illustrating example flexible video tiling schemes that can support multiple tiles with different resolutions in the same picture.
9 is a schematic diagram of an example video coding apparatus.
10 is a flow diagram of an example method of encoding an image using a flexible tiling scheme.
11 is a flowchart of an example method of decoding an image using a flexible tiling scheme.
12 is a schematic diagram of an example system for coding a video sequence using a flexible tiling scheme.

하나 이상의 실시예의 예시적인 구현이 아래에서 제공되지만, 개시된 시스템 및/또는 방법은 현재 알려져 있거나 또는 존재하는지의 여부에 관계없이 임의의 수량의 기술을 사용하여 구현될 수 있다는 것이 이해되어야 한다. 본 개시는 여기에서 예시되고 설명된 예시적인 설계 및 구현을 포함하여 아래에서 도시된 예시적인 구현, 도면 및 기술로 제한되지 않아야 하며, 등가물의 전체 범위와 함께 첨부된 청구항의 범위 내에서 수정될 수 있다.Although exemplary implementations of one or more embodiments are provided below, it should be understood that the disclosed systems and/or methods may be implemented using any number of techniques, whether presently known or existing. The present disclosure is not to be limited to the exemplary implementations, drawings and techniques shown below, including the exemplary designs and implementations illustrated and described herein, but may be modified within the scope of the appended claims along with the full scope of equivalents. there is.

코딩 트리 블록(coding tree block, CTB), 코딩 트리 단위(coding tree unit, CTU), 코딩 단위(coding unit, CU), 코딩된 비디오 시퀀스(coded video sequence, CVS), JVET(Joint Video Experts Team), 모션 제한 타일 세트(motion constrained tile set, MCTS), 최대 전송 유닛(maximum transfer unit, MTU), 네트워크 추상화 계층(network abstraction layer, NAL), 픽처 순서 카운트(picture order count, POC), 원시 바이트 시퀀스 페이로드(raw byte sequence payload, RBSP), 시퀀스 파라미터 세트(sequence parameter set, SPS), VVC(versatile video coding) 및 작업 드래프트(working draft, WD)와 같은 다양한 약어가 여기에서 사용된다.Coding tree block (CTB), coding tree unit (CTU), coding unit (CU), coded video sequence (CVS), Joint Video Experts Team (JVET) , motion constrained tile set (MCTS), maximum transfer unit (MTU), network abstraction layer (NAL), picture order count (POC), raw byte sequence Various abbreviations are used herein, such as raw byte sequence payload (RBSP), sequence parameter set (SPS), versatile video coding (VVC), and working draft (WD).

데이터 손실을 최소화하면서 비디오 파일의 크기를 줄이기 위해 많은 비디오 압축 기술이 사용될 수 있다. 예를 들어, 비디오 압축 기술은 비디오 시퀀스에서 데이터 중복성을 감소시키거나 또는 제거하기 위해 공간적(예를 들어, 픽처 내) 예측 및/또는 시간적(예를 들어, 픽처 간) 예측을 수행하는 것을 포함할 수 있다. 블록 기반 비디오 코딩의 경우, 비디오 슬라이스(예를 들어, 비디오 픽처 또는 비디오 픽처의 일부)는 비디오 블록으로 분할될 수 있으며, 이는 트리 블록, 코딩 트리 블록(CTB), 코딩 트리 유닛, 코딩 유닛(CU) 및/또는 코딩 노드로서 지칭될 수도 있다. 픽처의 인트라 코딩된(intra-coded, I) 슬라이스의 비디오 블록은 동일한 픽처의 인접 블록에 있는 참조 샘플에 대한 공간적 예측을 사용하여 코딩된다. 픽처의 인터 코딩된 단방향 예측(P) 또는 양방향 예측(B) 슬라이스의 비디오 블록은 동일한 픽처의 인접 블록에 있는 참조 샘플에 대한 공간적 예측 또는 다른 참조 픽처의 참조 샘플에 대한 시간적 예측을 사용하여 코딩될 수 있다. 픽처는 프레임 및/또는 이미지로 지칭될 수 있고, 참조 픽처는 참조 프레임 및/또는 참조 이미지로 지칭될 수 있다. 공간적 또는 시간적 예측은 이미지 블록을 나타내는 예측 블록을 생성한다. 잔여 데이터는 원본 이미지 블록과 예측 블록 사이의 픽셀 차이를 나타낸다. 따라서, 인터 코딩된 블록은 예측 블록을 형성하는 참조 샘플의 블록을 가리키는 모션 벡터 및 코딩된 블록과 예측 블록 사이의 차이를 지시하는 잔여 데이터에 따라 인코딩된다. 인트라 코딩된 블록은 인트라 코딩 모드 및 잔여 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔여 데이터는 픽셀 도메인에서 변환 도메인으로 변환될 수 있다. 이로 인해 양자화될 수 있는 잔여 변환 계수가 생성된다. 양자화된 변환 계수는 초기에 2차원 어레이로 배열될 수 있다. 양자화된 변환 계수는 변환 계수의 1차원 벡터를 생성하기 위해 스캔될 수 있다. 더 많은 압축을 달성하기 위해 엔트로피 코딩이 적용될 수 있다. 이러한 비디오 압축 기술은 아래에서 자세히 설명된다.Many video compression techniques can be used to reduce the size of a video file while minimizing data loss. For example, video compression techniques may include performing spatial (eg, intra-picture) prediction and/or temporal (eg, inter-picture) prediction to reduce or remove data redundancy in a video sequence. can For block-based video coding, a video slice (eg, a video picture or part of a video picture) can be divided into video blocks, which are tree blocks, coding tree blocks (CTBs), coding tree units, coding units (CUs). ) and/or as a coding node. Video blocks of an intra-coded (I) slice of a picture are coded using spatial prediction for reference samples in adjacent blocks of the same picture. A video block of an inter-coded uni-prediction (P) or bi-prediction (B) slice of a picture is to be coded using spatial prediction for reference samples in adjacent blocks of the same picture or temporal prediction for reference samples in other reference pictures. can A picture may be referred to as a frame and/or an image, and a reference picture may be referred to as a reference frame and/or a reference image. Spatial or temporal prediction produces predictive blocks that represent image blocks. The residual data represents the pixel difference between the original image block and the prediction block. Accordingly, an inter-coded block is encoded according to a motion vector pointing to a block of reference samples forming the predictive block and residual data indicating the difference between the coded block and the predictive block. The intra-coded block is encoded according to the intra-coding mode and residual data. For further compression, the residual data may be transformed from the pixel domain to the transform domain. This results in residual transform coefficients that can be quantized. The quantized transform coefficients may be initially arranged in a two-dimensional array. The quantized transform coefficients may be scanned to produce a one-dimensional vector of transform coefficients. Entropy coding may be applied to achieve more compression. These video compression techniques are described in detail below.

인코딩된 비디오가 정확하게 디코딩될 수 있음을 보장하기 위해, 비디오는 대응하는 비디오 코딩 표준에 따라 인코딩되고 디코딩된다. 비디오 코딩 표준에는 ITU(International Telecommunication Union) Standardization Sector(ITU-T) H.261, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG(Motion Picture Experts Group)-1 Part 2, ITU-T H.262 또는 ISO/IEC MPEG-2 Part 2, ITU-T H.263, ISO/IEC MPEG-4 Part 2, AVC(Advanced Video Coding)(또한 ITU-T H.264 또는 ISO/IEC MPEG-4 Part 10으로 알려짐) 및 HEVC(High Efficiency Video Coding)(ITU-T H.265 또는 MPEG-H Part 2로 알려짐)이 포함된다. AVC는 SVC(Scalable Video Coding), MVC(Multiview Video Coding) MVC+D(Multiview Video Coding plus Depth ) 및 3차원(three dimensional, 3D) AVC(3D-AVC)와 같은 확장을 포함한다. HEVC는 SHVC(Scalable HEVC), MV-HEVC(Multiview HEVC) 및 3D HEVC와 같은 확장을 포함한다. ITU-T와 ISO/IEC의 JVET(joint video experts team)는 VVC(Versatile Video Coding)로 지칭되는 비디오 코딩 표준을 개발하기 시작했다. VVC는 JVET-L1001-v5를 포함하는 작업 드래프트(WD)에 포함된다.To ensure that the encoded video can be decoded correctly, the video is encoded and decoded according to the corresponding video coding standard. Video coding standards include ITU (International Telecommunication Union) Standardization Sector (ITU-T) H.261, ISO/IEC (International Organization for Standardization/International Electrotechnical Commission) MPEG (Motion Picture Experts Group)-1 Part 2, ITU-T H .262 or ISO/IEC MPEG-2 Part 2, ITU-T H.263, ISO/IEC MPEG-4 Part 2, Advanced Video Coding (AVC) (also ITU-T H.264 or ISO/IEC MPEG-4 Part 10) and High Efficiency Video Coding (HEVC) (known as ITU-T H.265 or MPEG-H Part 2). AVC includes extensions such as Scalable Video Coding (SVC), Multiview Video Coding (MVC) Multiview Video Coding plus Depth (MVC+D), and three dimensional (3D) AVC (3D-AVC). HEVC includes extensions such as Scalable HEVC (SHVC), Multiview HEVC (MV-HEVC), and 3D HEVC. The joint video experts team (JVET) of ITU-T and ISO/IEC started developing a video coding standard called Versatile Video Coding (VVC). VVC is included in a working draft (WD) that includes JVET-L1001-v5.

비디오 이미지를 코딩하기 위해, 이미지가 먼저 분할되고, 분할은 비트스트림으로 코딩된다. 다양한 픽처 분할 방식이 사용될 수 있다. 예를 들어, 이미지는 정규 슬라이스, 종속 슬라이스, 타일 및/또는 WPP(Wavefront Parallel Processing)에 따라 분할될 수 있다. 단순성을 위해, HEVC는 인코더를 제한하여 비디오 코딩을 위해 슬라이스를 CTB 그룹으로 분할할 때 정규 슬라이스, 종속 슬라이스, 타일, WPP 및 이들의 조합만이 사용될 수 있도록 한다. 이러한 분할은 MTU(Maximum Transfer Unit) 크기 매칭, 병렬 처리 및 종단 간 지연 감소를 지원하기 위해 적용될 수 있다. MTU는 단일 패킷으로 전송될 수 있는 최대 데이터 양을 나타낸다. 패킷 페이로드가 MTU를 초과하는 경우, 해당 페이로드는 단편화(fragmentation)로 불리는 프로세스를 통해 두 개의 패킷으로 분할된다.To code a video image, the image is first segmented, and the segmentation is coded into a bitstream. Various picture division methods may be used. For example, an image may be partitioned according to a canonical slice, a dependent slice, a tile, and/or Wavefront Parallel Processing (WPP). For simplicity, HEVC limits the encoder so that only regular slices, dependent slices, tiles, WPP, and combinations thereof can be used when partitioning a slice into CTB groups for video coding. This partitioning may be applied to support Maximum Transfer Unit (MTU) size matching, parallel processing, and end-to-end delay reduction. MTU indicates the maximum amount of data that can be transmitted in a single packet. When a packet payload exceeds the MTU, the payload is split into two packets through a process called fragmentation.

간단히 슬라이스로도 지칭되는 정규 슬라이스는 루프 필터링 작동으로 인한 일부 상호 의존성에도 불구하고 동일한 픽처 내의 다른 정규 슬라이스와 독립적으로 재구성될 수 있는 이미지의 분할된 부분이다. 각각의 정규 슬라이스는 전송을 위해 자체 네트워크 추상화 계층(Network Abstraction Layer, NAL) 유닛으로 캡슐화된다. 또한, 픽처 내 예측(인트라 샘플 예측, 모션 정보 예측, 코딩 모드 예측) 및 슬라이스 경계를 통한 엔트로피 코딩 종속성은 독립적인 재구성을 지원하기 위해 비활성화될 수 있다. 이러한 독립적 재구성은 병렬화를 지원한다. 예를 들어, 정규 슬라이스 기반 병렬화는 최소한의 프로세서 간 또는 코어 간 통신을 사용한다. 그러나, 각각의 정규 슬라이스가 독립적이므로, 각각의 슬라이스는 별도의 슬라이스 헤더와 연관된다. 정규 슬라이스를 사용하면 각각의 슬라이스에 대한 슬라이스 헤더의 비트 비용과 슬라이스 경계에 걸친 예측 부족으로 인해 상당한 코딩 오버헤드가 발생할 수 있다. 또한, MTU 크기 요구사항에 대한 매칭을 지원하기 위해 정규 슬라이스가 사용될 수 있다. 특히, 정규 슬라이스는 별도의 NAL 유닛으로 캡슐화되고 독립적으로 코딩될 수 있으므로, 각각의 정규 슬라이스는 슬라이스가 여러 패킷으로 분할되는 것을 방지하기 위해 MTU 방식에서의 MTU보다 작아야 한다. 따라서, 병렬화의 목표와 MTU 크기 매칭의 목표는 픽처의 슬라이스 레이아웃에 모순되는 요구를 둘 수 있다.A canonical slice, also simply referred to as a slice, is a segmented portion of an image that can be reconstructed independently of other canonical slices within the same picture despite some interdependencies due to loop filtering operations. Each canonical slice is encapsulated into its own Network Abstraction Layer (NAL) unit for transport. In addition, intra-picture prediction (intra-sample prediction, motion information prediction, coding mode prediction) and entropy coding dependency across slice boundaries can be disabled to support independent reconstruction. This independent reconstruction supports parallelization. For example, regular slice-based parallelism uses minimal interprocessor or intercore communication. However, since each regular slice is independent, each slice is associated with a separate slice header. Using regular slices can incur significant coding overhead due to the bit cost of the slice header for each slice and the lack of prediction across slice boundaries. In addition, regular slices may be used to support matching to MTU size requirements. In particular, since a normal slice is encapsulated in a separate NAL unit and can be independently coded, each normal slice must be smaller than the MTU in the MTU scheme to prevent the slice from being split into multiple packets. Therefore, the goal of parallelization and the goal of MTU size matching may place contradictory demands on the slice layout of a picture.

종속 슬라이스는 정규 슬라이스와 유사하지만, 단축된 슬라이스 헤더를 가지며 픽처 내 예측을 깨지 않고 이미지 트리 블록 경계의 분할을 허용한다. 따라서, 종속 슬라이스는 전체 정규 슬라이스의 인코딩이 완료되기 전에 정규 슬라이스의 일부가 전송되도록 허용함으로써 감소된 종단 간 지연을 제공하는 정규 슬라이스가 다수의 NAL 유닛으로 단편화될 수 있게 한다.Dependent slices are similar to regular slices, but have a shortened slice header and allow segmentation of image tree block boundaries without breaking intra-picture prediction. Thus, dependent slices allow a normal slice to be fragmented into multiple NAL units, providing reduced end-to-end delay by allowing a portion of a normal slice to be transmitted before encoding of the entire normal slice is complete.

타일은 타일의 열과 행을 생성하는 수평 및 수직 경계에 의해 생성된 이미지의 분할된 부분이다. 타일은 래스터 스캔(raster scan) 순서(오른쪽에서 왼쪽 및 위에서 아래)로 코딩될 수 있다. CTB의 스캔 순서는 타일 내에서 국부적이다. 따라서, 제1 타일의 CTB는 다음 타일의 CTB로 진행하기 전에 래스터 스캔 순서로 코딩된다. 정규 슬라이스와 마찬가지로, 타일은 엔트로피 디코딩 종속성뿐만 아니라 픽처 내 예측 종속성을 깨뜨린다. 그러나, 타일은 개별 NAL 유닛에 포함되지 않을 수 있으므로, 타일은 MTU 크기 매칭을 위해 사용될 수 없을 수 있다. 각각의 타일은 하나의 프로세서/코어에 의해 처리될 수 있으며, 인접 타일을 디코딩하는 처리 유닛 사이의 픽처 내 예측에 사용되는 프로세서 간/코어 간 통신은 공유된 슬라이스 헤더를 전달하고(인접 타일이 동일한 슬라이스에 있는 경우) 재구성된 샘플 및 메타 데이터의 공유와 관련된 루프 필터링을 수행하는 것으로 제한될 수 있다. 하나 이상의 타일이 슬라이스에 포함되는 경우, 슬라이스의 제1 엔트리 포인트 오프셋을 제외한 각각의 타일에 대한 엔트리 포인트 바이트 오프셋은 슬라이스 헤더에서 시그널링될 수 있다. 각 슬라이스 및 타일에 대해, 다음의 조건 중 적어도 하나가 충족되어야 한다. 1) 슬라이스의 모든 코딩된 트리 블록이 동일한 타일에 속하고, 2) 타일의 모든 코딩된 트리 블록이 동일한 슬라이스에 속한다.A tile is a segmented portion of an image created by horizontal and vertical boundaries that create columns and rows of tiles. Tiles may be coded in a raster scan order (right to left and top to bottom). The scan order of the CTB is local within the tile. Thus, the CTB of the first tile is coded in raster scan order before proceeding to the CTB of the next tile. Like regular slices, tiles break entropy decoding dependencies as well as intra-picture prediction dependencies. However, since the tile may not be included in an individual NAL unit, the tile may not be used for MTU size matching. Each tile can be processed by one processor/core, and inter-processor/inter-core communication used for intra-picture prediction between processing units that decode adjacent tiles carries a shared slice header (neighboring tiles are identical slice) and may be limited to performing loop filtering related to sharing of reconstructed samples and metadata. When more than one tile is included in the slice, the entry point byte offset for each tile except the first entry point offset of the slice may be signaled in the slice header. For each slice and tile, at least one of the following conditions must be met. 1) all coded tree blocks of a slice belong to the same tile, and 2) all coded tree blocks of a tile belong to the same slice.

WPP에서, 이미지는 단일 행의 CTB로 분할된다. 엔트로피 디코딩 및 예측 메커니즘은 다른 행에 있는 CTB의 데이터를 사용할 수 있다. 병렬 처리는 CTB 행의 병렬 디코딩을 통해 가능하다. 예를 들어, 현재 행은 이전 행과 병렬로 디코딩될 수 있다. 그러나, 현재 행의 디코딩은 이전 행의 복호화 과정에서 2개의 CTB만큼 지연된다. 이러한 지연은 현재 CTB가 코딩되기 전에 위의 CTB와 현재 행에서 현재 CTB의 위와 오른쪽에 있는 CTB와 관련된 데이터가 사용될 수 있는 것을 보장한다. 이러한 접근 방식은 그래픽으로 나타낼 때 파면(wavefront)으로 나타난다. 이러한 시차를 둔 시작은 이미지가 CTB 행을 포함하는 만큼의 프로세서/코어까지 병렬화할 수 있다. 픽처 내에서 인접한 트리 블록 행 사이의 픽처 내 예측이 허용되기 때문에, 픽처 내 예측을 가능하게 하는 프로세서 간/코어 간 통신이 상당할 수 있다. WPP 분할은 NAL 유닛 크기를 고려한다. 따라서, WPP는 MTU 크기 매칭을 지원하지 않는다. 그러나, MTU 크기 매칭을 원하는대로 구현하기 위해 특정 코딩 오버헤드가 있는 WPP와 함께 정규 슬라이스가 사용될 수 있다.In WPP, an image is divided into a single row of CTBs. Entropy decoding and prediction mechanisms may use data from CTBs in different rows. Parallel processing is possible through parallel decoding of CTB rows. For example, the current row may be decoded in parallel with the previous row. However, decoding of the current row is delayed by two CTBs in the decoding process of the previous row. This delay ensures that the data associated with the CTB above and the CTB above and to the right of the current CTB in the current row are available before the current CTB is coded. This approach appears as a wavefront when presented graphically. This staggered start can parallelize up to as many processors/cores as the image contains a row of CTBs. Because intra-picture prediction between adjacent tree block rows within a picture is allowed, the inter-processor/inter-core communication that enables intra-picture prediction can be significant. WPP partitioning considers the NAL unit size. Therefore, WPP does not support MTU size matching. However, regular slices can be used with WPP with certain coding overhead to implement MTU size matching as desired.

타일은 또한 모션 제한 타일 세트를 포함할 수 있다. 모션 제한 타일 세트(motion constrained tile set, MCTS)는 연관된 모션 벡터가 MCTS 내부의 전체 샘플 위치 및 보간을 위해 MCTS 내부의 전체 샘플 위치만을 필요로 하는 부분 샘플 위치를 가리키기 위해 제한되도록 설계된 타일 세트이다. 또한, MCTS 외부의 블록에서 도출된 시간적 모션 벡터 예측을 위한 모션 벡터 후보의 사용은 허용되지 않는다. 이렇게 하면, 각각의 MCTS는 MCTS에 포함되지 않은 타일의 존재없이 독립적으로 디코딩될 수 있다. 시간적 MCTS 보충 향상 정보(supplemental enhancement information, SEI) 메시지는 비트스트림에서 MCTS의 존재를 지시하고 MCTS를 시그널링하는 데 사용될 수 있다. MCTS SEI 메시지는 MCTS에 대한 적합한 비트스트림을 생성하기 위해 MCTS 서브 비트스트림 추출(SEI 메시지의 시맨틱스의 일부로 지정됨)에서 사용될 수 있는 보충 정보를 제공한다. 이 정보에는 다수의 추출 정보 세트가 포함되며, 각각은 MCTS 개수를 정의하고 MCTS 서브 비트스트림 추출 프로세스 중에 사용될 대체 비디오 파라미터 세트(video parameter set, VPS), 시퀀스 파라미터 세트(sequence parameter set, SPS) 및 픽처 파라미터 세트(picture parameter set, PPS)의 원시 바이트 시퀀스 페이로드(raw bytes sequence payload, RBSP) 바이트를 포함한다. MCTS 서브 비트스트림 추출 프로세스에 따라 서브 비트스트림을 추출하는 경우, 파라미터 세트(VPS, SPS, PPS)는 재작성되거나 교체될 수 있으며, 슬라이스 주소 관련 신택스 요소(first_slice_segment_in_pic_flag 및 slice_segment_address를 포함함) 중 하나 또는 전부가 추출된 서브 비트스트림에서 상이한 값을 사용할 수 있기 때문에 있기 때문에 슬라이스 헤더가 업데이트될 수 있다. Tiles may also include motion constrained tile sets. A motion constrained tile set (MCTS) is a set of tiles whose associated motion vectors are designed to be constrained to indicate full sample positions within the MCTS and partial sample positions that only require full sample positions within the MCTS for interpolation. . In addition, the use of motion vector candidates for temporal motion vector prediction derived from a block outside the MCTS is not allowed. In this way, each MCTS can be independently decoded without the presence of tiles not included in the MCTS. A temporal MCTS supplemental enhancement information (SEI) message may be used to indicate the presence of an MCTS in a bitstream and to signal the MCTS. The MCTS SEI message provides supplemental information that can be used in the MCTS sub-bitstream extraction (specified as part of the semantics of the SEI message) to generate an appropriate bitstream for the MCTS. This information includes a number of extraction information sets, each defining the number of MCTS and an alternative video parameter set (VPS), sequence parameter set (SPS) and Contains raw bytes sequence payload (RBSP) bytes of a picture parameter set (PPS). When extracting a sub-bitstream according to the MCTS sub-bitstream extraction process, the parameter sets (VPS, SPS, PPS) may be rewritten or replaced, and one of the slice address related syntax elements (including first_slice_segment_in_pic_flag and slice_segment_address) or The slice header can be updated because all can use different values in the extracted sub-bitstream.

추가 인코딩을 위해 픽처를 분할하는 경우 다양한 타일링 방식이 사용될 수 있다. 특정 예로서, 타일은 일부 예에서 슬라이스를 대신할 수 있는 타일 그룹에 할당될 수 있다. 일부 예에서, 각각의 타일 그룹은 다른 타일 그룹과 독립적으로 추출될 수 있다. 따라서, 타일 그룹화는 각각의 타일 그룹이 서로 다른 프로세서에 할당되도록 하여 병렬화를 지원할 수 있다. 디코더가 전체 이미지를 디코딩하지 않을 수 있는 경우에 타일 그룹화가 또한 사용될 수도 있다. 특정 예로서, OMAF(Omnidirectional Media Application Format)에 따라 인코딩될 수 있는 가상 현실(VR) 비디오를 지원하기 위해 비디오 코딩 방식이 사용될 수 있다.When dividing a picture for further encoding, various tiling schemes may be used. As a specific example, a tile may be assigned to a group of tiles that may in some instances take the place of a slice. In some examples, each tile group may be extracted independently of other tile groups. Accordingly, tile grouping can support parallelism by allowing each tile group to be assigned to a different processor. Tile grouping may also be used in cases where the decoder may not decode the entire image. As a specific example, a video coding scheme may be used to support virtual reality (VR) video that may be encoded according to the Omnidirectional Media Application Format (OMAF).

VR 비디오에서, 하나 이상의 카메라가 카메라(들) 주변의 환경을 녹화할 수 있다. 그러면, 사용자는 마치 사용자가 카메라와 같은 위치에 있는 것처럼 VR 비디오를 볼 수 있다. VR 비디오에서, 픽처는 사용자 주변의 전체 환경을 포함한다. 그런 다음, 사용자는 픽처의 하위 부분을 본다. 예를 들어, 사용자는 사용자의 머리 모션에 기초하여 디스플레이되는 픽처의 하위 부분을 변경하는 머리 장착형 디스플레이를 사용할 수 있다. 디스플레이되는 비디오 부분은 뷰포트(viewport)로서 지칭될 수 있다.In VR video, one or more cameras may record the environment around the camera(s). The user can then watch the VR video as if the user is in the same position as the camera. In VR video, a picture includes the entire environment around the user. Then, the user sees a sub-portion of the picture. For example, a user may use a head mounted display that changes a sub-portion of a displayed picture based on the user's head motion. The portion of the video that is displayed may be referred to as a viewport.

따라서, 전방향 비디오의 뚜렷한 특징은 특정 시간에 뷰포트만 디스플레이된다는 점이다. 이는 전체 비디오를 디스플레이할 수 있는 다른 비디오 애플리케이션과는 대조적이다. 이러한 특징은 예를 들어 사용자의 뷰포트(또는 권장 뷰포트 시간 메타 데이터와 같은 기타 기준)에 따라 선택적 전달을 통해 전방향 비디오 시스템의 성능을 개선하는 데 사용될 수 있다. 뷰포트 종속 전달은 예를 들어 영역별 패킹(packing) 및/또는 뷰포트 종속 비디오 코딩을 사용함으로써 활성화될 수 있다. 성능 향상은 동일한 비디오 해상도/품질을 사용할 때 다른 전방향 비디오 시스템과 비교하는 경우 전송 대역폭, 디코딩 복잡성 또는 둘 모두를 낮출 수 있다.Thus, a distinct characteristic of omnidirectional video is that only the viewport is displayed at a particular time. This is in contrast to other video applications that can display full video. This feature can be used, for example, to improve the performance of an omnidirectional video system through selective delivery based on the user's viewport (or other criteria such as recommended viewport time metadata). Viewport dependent delivery may be activated, for example, by using region-by-region packing and/or viewport dependent video coding. The performance improvement can lower transmission bandwidth, decoding complexity, or both when compared to other omni-directional video systems when using the same video resolution/quality.

예시적인 뷰포트 종속 작동은 HEVC 기반 뷰포트 종속 OMAF 비디오 프로파일을 갖는 5,000개의 샘플(예를 들어, 5120×2560 루마(luma) 샘플) 해상도(5K) ERP(effective equirectangle projection) 해상도를 달성하기 위한 MCTS 기반 접근 방식이다. 이러한 접근 방식은 아래에서 자세하게 설명된다. 그러나, 일반적으로, 이러한 접근 방식은 VR 비디오를 타일 그룹으로 분할하고 비디오를 복수의 해상도로 인코딩한다. 디코더는 스트리밍 중에 사용자에 의해 현재 사용되는 뷰포트를 지시할 수 있다. VR 비디오 데이터를 제공하는 비디오 서버는 고해상도로 뷰포트와 연관된 타일 그룹(들)을 전달하고 저해상도로 보여지지 않고 있는 타일 그룹을 전달할 수 있다. 이를 통해 사용자는 전체 픽처을 고해상도로 전송하지 않고도 고해상도로 VR 비디오를 볼 수 있다. 보여지지 않는 하위 부분은 삭제되므로, 사용자는 낮은 해상도를 인식하지 못할 수 있다. 그러나, 사용자가 뷰포트를 변경하면 저해상도 타일 그룹이 사용자에게 디스플레이될 수 있다. 그런 다음, 비디오가 진행됨에 따라 새로운 뷰포트의 해상도가 증가될 수 있다. 이러한 시스템을 구현하기 위해, 고해상도 타일 그룹과 저해상도 타일 그룹을 모두 포함하는 픽처가 생성되어야 한다.An exemplary viewport-dependent operation is an MCTS-based approach to achieve 5,000-sample (eg, 5120×2560 luma samples) resolution (5K) effective equirectangle projection (ERP) resolution with an HEVC-based viewport-dependent OMAF video profile. method. This approach is described in detail below. However, in general, this approach splits the VR video into groups of tiles and encodes the video into multiple resolutions. The decoder may indicate the viewport currently used by the user during streaming. A video server providing VR video data may deliver the tile group(s) associated with the viewport in high resolution and tile groups that are not being viewed in low resolution. This allows users to watch VR video in high resolution without having to transfer the entire picture in high resolution. Since the invisible sub-part is deleted, the user may not recognize the low resolution. However, if the user changes the viewport, a lower resolution group of tiles may be displayed to the user. The resolution of the new viewport can then be increased as the video progresses. In order to implement such a system, a picture including both a high-resolution tile group and a low-resolution tile group must be generated.

다른 예에서, 비디오 회의 애플리케이션은 다중 해상도를 포함하는 픽처를 전달하도록 설계될 수 있다. 예를 들어, 비디오 회의에는 여러 참가자가 포함될 수 있다. 현재 말하는 참가자는 더 높은 해상도로 디스플레이될 수 있고 다른 참가자는 더 낮은 해상도로 디스플레이될 수 있다. 이러한 시스템을 구현하기 위해, 고해상도 타일 그룹과 저해상도 타일 그룹을 모두 포함하는 픽처가 생성되어야 한다.In another example, a video conferencing application may be designed to convey pictures that include multiple resolutions. For example, a video conference may include multiple participants. The currently speaking participant may be displayed at a higher resolution and other participants may be displayed at a lower resolution. In order to implement such a system, a picture including both a high-resolution tile group and a low-resolution tile group must be generated.

다중 해상도로 코딩된 서브 픽처를 갖는 픽처 생성을 지원하는 다양한 유연한 타일링 메커니즘이 여기에서 개시된다. 예를 들어, 비디오는 복수의 해상도로 코딩될 수 있다. 비디오는 각각의 해상도에서 슬라이스를 사용하여 코딩될 수도 있다. 저해상도 슬라이스는 고해상도 슬라이스보다 더 작다. 여러 해상도를 갖는 픽처를 생성하기 위해, 픽처는 제1 레벨 타일로 분할될 수 있다. 가장 높은 해상도의 슬라이스는 제1 레벨 타일에 직접 포함될 수 있다. 또한, 제1 레벨 타일은 제1 레벨 타일보다 작은 제2 레벨 타일로 분할될 수 있다. 따라서, 더 작은 제2 레벨 타일은 더 낮은 해상도의 슬라이스를 직접 수용할 수 있다. 이와 같이, 일관된 어드레싱 방식을 사용하기 위해 상이한 해상도 타일이 동적으로 재어드레싱될 할 필요없이 각각의 해상도의 슬라이스는 타일 인덱스 관계를 통해 단일 픽처로 압축될 수 있다. 제1 레벨 타일 및 제2 레벨 타일은 MCTS로 구현될 수 있으며, 따라서 상이한 해상도에서 모션 제한된 이미지 데이터를 수용할 수 있다. 본 개시는 많은 측면을 포함한다. 특정 예로서, 제1 레벨 타일은 제2 레벨 타일로 분할된다. 그런 다음, 제2 레벨 타일은 각각 (예를 들어, 더 작은 해상도로) 픽처 데이터의 단일의 직사각형 슬라이스를 포함하도록 제한된다. 여기에서 사용된 바와 같이, 타일은 수평 및 수직 경계(예를 들어, 열 및 행에 따라)에 의해 생성된 픽처의 분할된 부분이다. 직사각형 슬라이스는 직사각형 형상을 유지하도록 제한된 슬라이스이므로, 수평 및 수직 픽처 경계에 기초하여 코딩된다. 따라서, 직사각형 슬라이스는 래스터 스캔 그룹(왼쪽에서 오른쪽으로, 위에서 아래로 선에 CTU를 포함하고 직사각형 형상을 유지하지 않을 수 있음)에 기초하여 코딩되지 않는다. 슬라이스는 동일한 프레임/픽처의 다른 영역과 별도로 인코딩되는 픽처/프레임의 공간적으로 구별되는 영역이다. 추가 측면에서, 제1 레벨 타일 및 제2 레벨 타일은 타일 그룹에 할당된다. 유연한 타일링 방식과 함께 사용되는 타일 그룹은 래스터 스캔과 달리 직사각형으로 제한된다. 예를 들어, 제1 레벨 타일은 직사각형 타일 그룹에 포함되고 대응하는 제2 레벨 타일은 그러한 제2 레벨 타일이 분할되는 제1 레벨 타일과 동일한 타일 그룹의 일부가 되도록 제한된다. 이러한 접근 방식은 왼쪽에서 오른쪽으로, 위에서 아래로 진행되며 일반적으로 직사각형이 아닌 래스터 스캔 경계 대신에 직사각형 경계를 생성한다. 타일 그룹을 직사각형 형상으로 제한함으로써, 타일 그룹이 서브 픽처 추출 및 디스플레이를 지원하는 형상이 된다. 따라서, 상이한 해상도의 서브 픽처를 포함하는 타일 그룹은 자연스럽게 스크린 상의 동시 디스플레이 및/또는 머리 장착형 디스플레이 상의 사용을 위한 별도의 추출을 지원하도록 형상이 지정된다.Various flexible tiling mechanisms are disclosed herein to support picture generation with subpictures coded with multiple resolutions. For example, a video may be coded with multiple resolutions. A video may be coded using a slice at each resolution. A low-resolution slice is smaller than a high-resolution slice. To create a picture with different resolutions, the picture can be divided into first level tiles. The highest resolution slice may be directly included in the first level tile. Also, the first level tile may be divided into smaller second level tiles than the first level tile. Thus, a smaller second level tile can directly accommodate a lower resolution slice. As such, slices of each resolution can be compressed into a single picture through a tile index relationship without the need to dynamically re-address different resolution tiles to use a consistent addressing scheme. The first level tile and the second level tile may be implemented with MCTS, thus accommodating motion limited image data at different resolutions. The present disclosure encompasses many aspects. As a specific example, a first level tile is divided into second level tiles. The second level tiles are then constrained to each contain a single rectangular slice of picture data (eg, at a smaller resolution). As used herein, a tile is a divided portion of a picture created by horizontal and vertical boundaries (eg, along columns and rows). Since a rectangular slice is a slice constrained to maintain a rectangular shape, it is coded based on horizontal and vertical picture boundaries. Thus, rectangular slices are not coded based on raster scan groups (which may contain CTUs in lines from left to right, top to bottom and not retain a rectangular shape). A slice is a spatially distinct region of a picture/frame that is encoded separately from other regions of the same frame/picture. In a further aspect, the first level tile and the second level tile are assigned to a tile group. Tile groups used with flexible tiling schemes are limited to rectangles as opposed to raster scans. For example, a first level tile is included in a rectangular tile group and a corresponding second level tile is constrained to be part of the same tile group as the first level tile into which the second level tile is divided. This approach goes from left to right, top to bottom, and usually produces a rectangular boundary instead of a non-rectangular raster scan boundary. By limiting the tile group to a rectangular shape, the tile group becomes a shape that supports sub-picture extraction and display. Thus, groups of tiles containing subpictures of different resolutions are naturally shaped to support simultaneous display on screen and/or separate extraction for use on head mounted displays.

도 1은 비디오 신호를 코딩하는 예시적인 작동 방법(100)의 흐름도이다. 구체적으로, 비디오 신호는 인코더에서 인코딩된다. 인코딩 프로세스는 비디오 파일 크기를 줄이기 위해 다양한 메커니즘을 사용하여 비디오 신호를 압축한다. 파일 크기가 작을수록 압축된 비디오 파일을 사용자에게 전송하는 동시에 연관된 대역폭 오버헤드를 줄일 수 있다. 그런 다음, 디코더는 압축된 비디오 파일을 디코딩하여 최종 사용자에게 디스플레이할 원본 비디오 신호를 재구성한다. 디코딩 프로세스는 일반적으로 디코더가 비디오 신호를 일관되게 재구성할 수 있도록 인코딩 프로세스를 반영한다.1 is a flow diagram of an exemplary operating method 100 for coding a video signal. Specifically, the video signal is encoded at the encoder. The encoding process compresses the video signal using various mechanisms to reduce the video file size. A smaller file size can reduce the associated bandwidth overhead while delivering a compressed video file to the user. The decoder then decodes the compressed video file to reconstruct the original video signal for display to the end user. The decoding process generally reflects the encoding process so that the decoder can consistently reconstruct the video signal.

단계 101에서, 비디오 신호가 인코더에 입력된다. 예를 들어, 비디오 신호는 메모리에 저장된 비 압축 비디오 파일일 수 있다. 다른 예로서, 비디오 파일은 비디오 카메라와 같은 비디오 캡처 장치에 의해 캡처될 수 있고, 비디오의 라이브 스트리밍을 지원하도록 인코딩될 수 있다. 비디오 파일은 오디오 컴포넌트와 비디오 컴포넌트를 모두 포함할 수 있다. 비디오 컴포넌트는 순서적으로 시청될 때 모션의 시각적인 인상을 주는 일련의 이미지 프레임을 포함한다. 프레임은 여기에서 루마(luma) 컴포넌트(또는 루마 샘플)로 지칭되는, 빛의 관점에서 표현되는 픽셀과 크로마 컴포넌트(색상 샘플)로서 지칭되는 색상을 포함한다. 일부 예에서, 프레임은 또한 3차원 보기를 지원하기 위해 깊이 값을 포함할 수 있다.In step 101, a video signal is input to an encoder. For example, the video signal may be an uncompressed video file stored in memory. As another example, a video file may be captured by a video capture device, such as a video camera, and encoded to support live streaming of the video. A video file may include both an audio component and a video component. A video component contains a series of image frames that, when viewed in sequence, give the visual impression of motion. A frame contains pixels represented in terms of light, referred to herein as luma components (or luma samples), and colors, referred to as chroma components (color samples). In some examples, the frame may also include a depth value to support three-dimensional viewing.

단계 103에서, 비디오는 블록으로 분할된다. 분할(partitioning)은 압축을 위해 각각의 프레임의 픽셀을 정사각형 및/또는 직사각형 블록으로 세분화하는 것을 포함한다. 예를 들어, HEVC(High Efficiency Video Coding)(또한 H.265 및 MPEG-H Part 2라고도 함)에서, 프레임은 먼저 미리 정의된 크기(예를 들어, 64 픽셀 × 64 픽셀)의 블록인 코딩 트리 유닛(CTU)으로 분할될 수 있다. CTU는 루마 및 크로마 샘플을 모두 포함한다. 코딩 트리는 CTU를 블록으로 분할한 다음 추가 인코딩을 지원하는 구성이 달성될 때까지 블록을 재귀적으로 세분화하기 위해 사용될 수 있다. 예를 들어, 프레임의 루마 컴포넌트는 개별 블록이 상대적으로 균일한 라이팅(lighting) 값을 포함할 때까지 세분화될 수 있다. 또한, 프레임의 크로마 컴포넌트는 개별 블록이 상대적으로 균일한 색상 값을 포함할 때까지 세분화될 수 있다. 따라서, 분할 메커니즘은 비디오 프레임의 컨텐츠에 따라 달라진다.In step 103, the video is divided into blocks. Partitioning involves subdividing the pixels of each frame into square and/or rectangular blocks for compression. For example, in High Efficiency Video Coding (HEVC) (also called H.265 and MPEG-H Part 2), a frame is first a coding tree, which is a block of a predefined size (e.g., 64 pixels by 64 pixels). It may be divided into units (CTUs). CTU includes both luma and chroma samples. The coding tree can be used to split the CTU into blocks and then recursively subdivide the blocks until a configuration that supports further encoding is achieved. For example, the luma component of a frame may be subdivided until individual blocks contain relatively uniform lighting values. Also, the chroma component of a frame can be subdivided until individual blocks contain relatively uniform color values. Thus, the segmentation mechanism depends on the content of the video frame.

단계 105에서, 단계 103에서 분할된 이미지 블록을 압축하기 위해 다양한 압축 메커니즘이 사용된다. 예를 들어, 인터 예측 및/또는 인트라 예측이 사용될 수 있다. 인터 예측은 공통 장면의 객체가 연속 프레임에 나타나는 경향이 있다는 사실을 활용하도록 설계된다. 따라서, 참조 프레임에서 객체를 묘사하는 블록은 인접한 프레임에서 반복적으로 기술될 필요가 없다. 구체적으로, 테이블과 같은 객체는 여러 프레임에 걸쳐 일정한 위치에 남아 있을 수 있다. 따라서, 테이블은 한 번 설명되고 인접 프레임은 참조 프레임을 다시 참조할 수 있다. 패턴 매칭 메커니즘은 여러 프레임에 걸쳐 객체를 매칭하기 위해 사용될 수 있다. 또한, 움직이는 객체는 예를 들어 객체 이동 또는 카메라 이동으로 인해 여러 프레임에 걸쳐 표현될 수 있다. 특정 예로서, 비디오는 여러 프레임에 걸쳐 스크린을 가로 질러 이동하는 자동차를 보여줄 수 있다. 이러한 이동을 설명하기 위해 모션 벡터가 사용될 수 있다. 모션 벡터는 프레임에 있는 객체의 좌표에서 참조 프레임에 있는 객체의 좌표까지의 오프셋을 제공하는 2차원 벡터이다. 이와 같이, 인터 예측은 현재 프레임의 이미지 블록을 참조 프레임의 대응하는 블록으로부터의 오프셋을 지시하는 모션 벡터의 세트로서 인코딩할 수 있다.In step 105 , various compression mechanisms are used to compress the image block partitioned in step 103 . For example, inter prediction and/or intra prediction may be used. Inter prediction is designed to take advantage of the fact that objects in a common scene tend to appear in successive frames. Accordingly, a block depicting an object in a reference frame does not need to be repeatedly described in an adjacent frame. Specifically, an object such as a table may remain in a constant position over several frames. Thus, the table is described once and adjacent frames can refer back to the reference frame. A pattern matching mechanism can be used to match objects across multiple frames. Also, a moving object may be represented over several frames due to, for example, object movement or camera movement. As a specific example, a video may show a car moving across a screen over several frames. A motion vector can be used to describe this movement. A motion vector is a two-dimensional vector that provides the offset from the coordinates of an object in a frame to the coordinates of an object in a reference frame. As such, inter prediction can encode an image block of a current frame as a set of motion vectors that indicate offsets from a corresponding block of a reference frame.

인트라 예측은 공통 프레임의 블록을 인코딩한다. 인트라 예측은 루마 및 크로마 컴포넌트가 프레임에 클러스터되는 경향이 있다는 사실을 활용한다. 예를 들어, 나무의 일부에 있는 녹색 패치는 유사한 녹색 패치 옆에 위치하는 경향이 있다. 인트라 예측은 다중 방향 예측 모드(예를 들어, HEVC에서 33), 평면 모드 및 직류(DC) 모드를 사용한다. 방향 모드는 현재 블록이 대응하는 방향의 이웃 블록 샘플과 유사/동일함을 나타낸다. 평면 모드는 행/열(예를 들어, 평면)을 따라 일련의 블록이 행의 에지에 있는 이웃 블록에 기초하여 보간될 수 있음을 지시한다. 사실상, 평면 모드는 값을 변경할 때 상대적으로 일정한 기울기를 사용함으로써 행/열에 걸쳐 빛/색상이 부드러운 전환을 지시한다. DC 모드는 경계 평활화에 사용되며 블록이 방향 예측 모드의 각도 방향과 연관된 모든 이웃 블록의 샘플과 연관된 평균 값과 유사/동일함을 지시한다. 따라서, 인트라 예측 블록은 실제 값 대신에 다양한 관계형 예측 모드 값으로 이미지 블록을 나타낼 수 있다. 또한, 인터 예측 블록은 이미지 블록을 실제 값 대신에 모션 벡터 값으로 나타낼 수 있다. 두 경우 모두, 예측 블록은 경우에 따라 이미지 블록을 정확하게 표현하지 못할 수 있다. 모든 차이는 잔여 블록에 저장된다. 파일을 추가로 압축하기 위해 잔여 블록에 변환이 적용될 수 있다.Intra prediction encodes blocks of a common frame. Intra prediction takes advantage of the fact that luma and chroma components tend to cluster in a frame. For example, a green patch on a part of a tree tends to be next to a similar green patch. Intra prediction uses a multi-directional prediction mode (eg, 33 in HEVC), a planar mode, and a direct current (DC) mode. The direction mode indicates that the current block is similar/same as a sample of a neighboring block in the corresponding direction. Planar mode indicates that a series of blocks along a row/column (eg, plane) may be interpolated based on neighboring blocks at the edge of the row. In effect, planar mode dictates a smooth transition of light/color across rows/columns by using a relatively constant gradient when changing values. DC mode is used for boundary smoothing and indicates that the block is similar/same as the average value associated with samples of all neighboring blocks associated with the angular direction of the directional prediction mode. Accordingly, the intra prediction block may represent the image block with various relational prediction mode values instead of actual values. In addition, the inter prediction block may represent the image block as a motion vector value instead of an actual value. In both cases, the prediction block may not accurately represent the image block in some cases. All differences are stored in the residual block. A transform may be applied to the residual blocks to further compress the file.

단계 107에서, 다양한 필터링 기술이 적용될 수 있다. HEVC에서, 필터는 인-루프(in-loop) 필터링 방식에 따라 적용된다. 상기한 블록 기반 예측은 디코더에서 블록 이미지의 생성을 초래할 수 있다. 또한, 블록 기반 예측 방식은 블록을 인코딩한 후 나중에 참조 블록으로 사용하기 위해 인코딩된 블록을 재구성할 수 있다. 인-루프 필터링 방식은 잡음 억제 필터, 디블로킹(de-blocking) 필터, 적응형 루프 필터 및 샘플 적응 오프셋(sample adaptive offset, SAO) 필터를 블록/프레임에 반복적으로 적용한다. 이러한 필터는 이러한 차단 아티팩트(artifact)를 완화하여 인코딩된 파일이 정확하게 재구성될 수 있도록 할 수 있다. 또한, 이러한 필터는 재구성된 참조 블록에서 아티팩트를 완화하여 아티팩트가 재구성된 참조 블록을 기반으로 인코딩된 후속 블록에서 추가 아티팩트를 생성할 가능성을 줄일 수 있다.In step 107, various filtering techniques may be applied. In HEVC, filters are applied according to an in-loop filtering scheme. The block-based prediction described above may result in the generation of a block image at the decoder. In addition, the block-based prediction method can reconstruct the encoded block for later use as a reference block after encoding the block. In the in-loop filtering method, a noise suppression filter, a de-blocking filter, an adaptive loop filter, and a sample adaptive offset (SAO) filter are repeatedly applied to blocks/frames. Such a filter can mitigate this blocking artifact so that the encoded file can be accurately reconstructed. In addition, such a filter can mitigate artifacts in the reconstructed reference block, thereby reducing the likelihood that artifacts generate additional artifacts in subsequent blocks encoded based on the reconstructed reference block.

일단 비디오 신호가 분할되고, 압축되며, 필터링되면, 결과 데이터는 단계 109에서 비트스트림으로 인코딩된다. 비트스트림은 위에서 설명된 데이터는 물론 디코더에서 적절한 비디오 신호 재구성을 지원하기 위해 원하는 시그널링 데이터를 포함한다. 예를 들어, 그러한 데이터는 분할 데이터, 예측 데이터, 잔여 블록, 및 디코더에게 코딩 명령을 제공하는 다양한 플래그를 포함할 수 있다. 비트스트림은 요청시 디코더를 향한 전송을 위해 메모리에 저장될 수 있다. 비트스트림은 또한 복수의 디코더를 향해 브로드캐스트 및/또는 멀티캐스트될 수 있다. 비트스트림의 생성은 반복적인 프로세스이다. 따라서, 단계 101, 103, 105, 107 및 109는 많은 프레임 및 블록에 걸쳐 연속적으로 그리고/또는 동시에 발생할 수 있다. 도 1에 도시된 순서는 명확성과 논의의 용이함을 위해 제시된 것이며, 비디오 코딩 프로세스를 특정 순서로 제한하려는 것이 아니다.Once the video signal is segmented, compressed, and filtered, the resulting data is encoded into a bitstream at step 109 . The bitstream contains the data described above as well as the signaling data desired to support proper video signal reconstruction at the decoder. For example, such data may include partition data, prediction data, residual blocks, and various flags that provide coding instructions to the decoder. The bitstream may be stored in memory for transmission towards a decoder upon request. The bitstream may also be broadcast and/or multicast towards multiple decoders. The creation of a bitstream is an iterative process. Accordingly, steps 101 , 103 , 105 , 107 and 109 may occur sequentially and/or simultaneously over many frames and blocks. The order shown in FIG. 1 is presented for clarity and ease of discussion, and is not intended to limit the video coding process to a specific order.

디코더는 단계 111에서 비트스트림을 수신하고 디코딩 프로세스를 시작한다. 구체적으로, 디코더는 비트스트림을 대응하는 신택스 및 비디오 데이터로 변환하기 위해 엔트로피 디코딩 방식을 사용한다. 디코더는 단계 111에서 프레임에 대한 분할을 결정하기 위해 비트스트림으로부터의 신택스 데이터를 사용한다. 분할은 단계 103에서 블록 분할의 결과와 매칭되어야 한다. 이제 단계 111에서 사용되는 엔트로피 인코딩/디코딩이 설명된다. 인코더는 입력 이미지(들)에서 값의 공간적 위치에 기초하여 여러 가지 가능한 선택에서 블록 분할 방식을 선택하는 것과 같이 압축 프로세스 중에 많은 선택을 한다. 정확한 선택을 시그널링하는 데 많은 빈(bin)이 사용될 수 있다. 여기에서 사용되는 바와 같이, 빈은 변수로 취급되는 이진 값(예를 들어, 컨텍스트에 따라 달라질 수 있는 비트 값)이다. 엔트로피 코딩은 인코더가 특정 경우에 명확하게 실행 불가능한 옵션을 버리고 허용 가능한 옵션 세트를 남길 수 있게 한다. 그런 다음, 각각의 허용 가능한 옵션에 코드 워드가 할당된다. 코드 워드의 길이는 허용 가능한 옵션의 수량을 기반으로 한다(예를 들어, 2개의 옵션에 대해 하나의 빈, 3 ~ 4개의 옵션에 대해 2개의 빈 등). 그런 다음, 인코더는 선택된 옵션에 대한 코드 워드를 인코딩한다. 이러한 방식은 가능한 모든 옵션의 잠재적으로 큰 세트에서 선택을 고유하게 지시하는 것과 반대로 허용 가능한 옵션의 작은 서브 세트에서 선택을 고유하게 지시하기 위해 코드 워드가 원하는 만큼 크기 때문에 코드 워드의 크기를 감소시킨다. 그런 다음, 디코더는 인코더와 유사한 방식으로 허용 가능한 옵션 세트를 결정하여 선택을 디코딩한다. 허용 가능한 옵션 세트를 결정함으로써, 디코더는 코드 워드를 읽고 인코더에 의해 행해진 선택을 결정할 수 있다.The decoder receives the bitstream in step 111 and starts the decoding process. Specifically, the decoder uses an entropy decoding scheme to convert the bitstream into the corresponding syntax and video data. The decoder uses the syntax data from the bitstream to determine the division for the frame in step 111 . The partitioning should match the result of the block partitioning in step 103 . The entropy encoding/decoding used in step 111 is now described. The encoder makes many choices during the compression process, such as choosing a block partitioning scheme from several possible choices based on the spatial location of the values in the input image(s). Many bins can be used to signal the correct selection. As used herein, a bin is a binary value (eg, a bit value that may vary depending on context) treated as a variable. Entropy coding allows encoders to discard options that are explicitly infeasible in certain cases, leaving a set of acceptable options. A code word is then assigned to each allowable option. The length of the code word is based on the number of allowable options (eg, one bin for 2 options, 2 bins for 3 to 4 options, etc.). The encoder then encodes the code word for the selected option. This approach reduces the size of the code word because it is as large as desired to uniquely dictate a selection from a small subset of allowable options as opposed to uniquely dictating a selection from a potentially large set of all possible options. The decoder then decodes the selection by determining the set of allowable options in a manner similar to the encoder. By determining the set of acceptable options, the decoder can read the code word and determine the selection made by the encoder.

단계 113에서, 디코더는 블록 디코딩을 수행한다. 구체적으로, 디코더는 잔여 블록을 생성하기 위해 역변환을 사용한다. 그런 다음, 디코더는 분할에 따라 이미지 블록을 재구성하기 위해 잔여 블록 및 대응하는 예측 블록을 사용한다. 예측 블록은 단계 105에서 인코더에서 생성된 바와 같이 인트라 예측 블록 및 인터 예측 블록을 모두 포함할 수 있다. 그 후, 재구성된 이미지 블록은 단계 111에서 결정된 분할 데이터에 따라 재구성된 비디오 신호의 프레임으로 위치 결정된다. 단계 113에서의 신택스는 또한 전술한 바와 같이 엔트로피 코딩을 통해 비트스트림으로 시그널링될 수 있다.In step 113, the decoder performs block decoding. Specifically, the decoder uses an inverse transform to generate a residual block. The decoder then uses the residual block and the corresponding prediction block to reconstruct the image block according to the partitioning. The prediction block may include both an intra prediction block and an inter prediction block as generated by the encoder in step 105 . Thereafter, the reconstructed image block is positioned as a frame of the reconstructed video signal according to the divided data determined in step 111 . The syntax in step 113 may also be signaled in the bitstream through entropy coding as described above.

단계 115에서, 인코더에서의 단계 107과 유사한 방식으로 재구성된 비디오 신호의 프레임에 대해 필터링이 수행된다. 예를 들어, 노이즈 억제 필터, 디블로킹 필터, 적응형 루프 필터 및 SAO 필터는 블록킹 아티팩트를 제거하기 위해 프레임에 적용될 수 있다. 프레임이 필터링되면, 비디오 신호는 최종 사용자가 볼 수 있도록 단계 117에서 디스플레이로 출력될 수 있다.In step 115, filtering is performed on the frame of the reconstructed video signal in a similar manner to step 107 in the encoder. For example, a noise suppression filter, a deblocking filter, an adaptive loop filter, and a SAO filter may be applied to a frame to remove blocking artifacts. Once the frames have been filtered, the video signal may be output to a display at step 117 for viewing by the end user.

도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템(200)의 개략도이다. 구체적으로, 코덱 시스템(200)은 작동 방법(100)의 구현을 지원하는 기능을 제공한다. 코덱 시스템(200)은 인코더 및 디코더 모두에서 사용되는 컴포넌트를 묘사하도록 일반화된다. 코덱 시스템(200)은 작동 방법(100)에서 단계 101 및 103과 관련하여 논의된 바와 같이 비디오 신호를 수신하고 분할하며, 이는 분할된 비디오 신호(201)를 생성한다. 그 후, 코덱 시스템(200)은 방법(100)에서 단계 105, 107 및 109에 관해 설명된 바와 같은 인코더로 동작하는 경우 분할된 비디오 신호(201)를 코딩된 비트스트림으로 압축한다. 디코더로서 동작하는 경우 코덱 시스템(200)은 작동 방법(100)에서 단계 111, 113, 115 및 117에 관해 논의된 바와 같이 비트스트림으로부터 출력 비디오 신호를 생성한다. 코덱 시스템(200)은 일반적인 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라 픽처 추정 컴포넌트(215), 인트라 픽처 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 모션 추정 컴포넌트(221), 스케일링 및 역변환 컴포넌트(229), 필터 제어 분석 컴포넌트(227), 인-루프 필터 컴포넌트(225), 디코딩된 픽처 버퍼 컴포넌트(223) 및 헤더 포맷팅 및 컨텍스트 적응 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC) 컴포넌트(231)을 포함한다. 이러한 컴포넌트는 도시된 바와 같이 결합된다. 도 2에서, 검은색 선은 인코딩/디코딩될 데이터의 이동을 나타내고, 점선은 다른 컴포넌트의 작동을 제어하는 제어 데이터의 이동을 나타낸다. 코덱 시스템(200)의 컴포넌트는 모두 인코더에 존재할 수 있다. 디코더는 코덱 시스템(200)의 컴포넌트의 서브 세트를 포함할 수 있다. 예를 들어, 디코더는 픽처 내 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 스케일링 및 역변환 컴포넌트(229), 인-루프 필터 컴포넌트(225) 및 디코딩된 픽처 버퍼 컴포넌트(223)를 포함활 수 있다. 이들 컴포넌트가 이제 설명될 것이다.2 is a schematic diagram of an exemplary coding and decoding (codec) system 200 for video coding. Specifically, the codec system 200 provides functions that support the implementation of the method 100 of operation. Codec system 200 is generalized to describe components used in both encoders and decoders. The codec system 200 receives and divides the video signal as discussed with respect to steps 101 and 103 in the method 100 of operation, which produces a segmented video signal 201 . The codec system 200 then compresses the segmented video signal 201 into a coded bitstream when operating as an encoder as described with respect to steps 105 , 107 and 109 in the method 100 . When operating as a decoder, the codec system 200 generates an output video signal from the bitstream as discussed with respect to steps 111 , 113 , 115 and 117 in the method 100 of operation. The codec system 200 includes a general coder control component 211, a transform scaling and quantization component 213, an intra picture estimation component 215, an intra picture prediction component 217, a motion compensation component 219, a motion estimation component ( 221), scaling and inverse transform component 229, filter control analysis component 227, in-loop filter component 225, decoded picture buffer component 223 and header formatting and context adaptive binary arithmetic coding (context adaptive binary arithmetic) coding, CABAC) component 231 . These components are combined as shown. In FIG. 2 , a black line indicates movement of data to be encoded/decoded, and a dotted line indicates movement of control data that controls operation of other components. All components of the codec system 200 may exist in the encoder. The decoder may include a subset of the components of the codec system 200 . For example, the decoder may include an intra-picture prediction component 217 , a motion compensation component 219 , a scaling and inverse transform component 229 , an in-loop filter component 225 , and a decoded picture buffer component 223 . there is. These components will now be described.

분할된 비디오 신호(201)는 코딩 트리에 의해 픽셀 블록으로 분할된 캡처된 비디오 시퀀스이다. 코딩 트리는 픽셀 블록을 더 작은 픽셀 블록으로 세분화하기 위해 다양한 분할 모드를 사용한다. 이 블록은 코딩 트리에서 노드로 지칭될 수 있다. 더 큰 부모 노드는 더 작은 자식 노드로 분할된다. 노드가 세분화되는 횟수는 노드/코딩 트리의 깊이로서 지칭된다. 분할된 블록은 경우에 따라 코딩 유닛(CU)에 포함될 수 있다. 예를 들어, CU는 CU에 대한 대응하는 신택스 명령과 함께 루마 블록, 빨간색 차이 크로마(Cr) 블록 및 파란색 차이 크로마(Cb) 블록을 포함하는 CTU의 하위 부분이 될 수 있다. 분할 모드는 노드를 사용되는 분할 모드에 따른 다양한 형상의 2개, 3개 또는 4개의 자식 노드로 각각 분할하는 데 사용되는 이진 트리(binary tree, BT), 트리플 트리(triple tree, TT) 및 쿼드 트리(quad tree, QT)를 포함할 수 있다. 분할된 비디오 신호(201)는 일반적인 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라 픽처 추정 컴포넌트(215), 필터 제어 분석 컴포넌트(227), 및 압축을 위한 모션 추정 컴포넌트(221)로 전달된다.The segmented video signal 201 is a captured video sequence segmented into blocks of pixels by a coding tree. The coding tree uses various partitioning modes to subdivide a block of pixels into smaller blocks of pixels. This block may be referred to as a node in the coding tree. A larger parent node is split into smaller child nodes. The number of times a node is subdivided is referred to as the depth of the node/coding tree. The divided block may be included in a coding unit (CU) in some cases. For example, a CU may be a sub-part of a CTU that includes a luma block, a red difference chroma (Cr) block, and a blue difference chroma (Cb) block along with a corresponding syntax instruction for the CU. The split mode is a binary tree (BT), triple tree (TT) and quad used to split a node into 2, 3 or 4 child nodes of various shapes, respectively, depending on the splitting mode used. It may contain a quad tree (QT). The segmented video signal 201 includes a general coder control component 211 , a transform scaling and quantization component 213 , an intra picture estimation component 215 , a filter control analysis component 227 , and a motion estimation component for compression 221 . ) is transferred to

일반적인 코더 제어 컴포넌트(211)는 애플리케이션 제약에 따라 비디오 시퀀스의 이미지를 비트스트림으로 코딩하는 것과 관련된 결정을 내리도록 구성된다. 예를 들어, 일반적인 코더 제어 컴포넌트(211)는 비트레이트/비트스트림 크기 대 재구성 품질의 최적화를 관리한다. 이러한 결정은 저장 공간/대역폭 가용성 및 이미지 해상도 요청에 기초하여 행해질 수 있다. 일반적인 코더 제어 컴포넌트(211)는 또한 버퍼 언더런(underrun) 및 오버런(overrun) 문제를 완화하기 위해 전송 속도 측면에서 버퍼 활용도를 관리한다. 이러한 문제를 관리하기 위해, 일반적인 코더 제어 컴포넌트(211)는 다른 컴포넌트에 의한 분할, 예측 및 필터링을 관리한다. 예를 들어, 일반적인 코더 제어 컴포넌트(211)는 해상도를 증가시키고 대역폭 사용을 증가시키기 위해 압축 복잡도를 동적으로 증가시키거나 또는 해상도 및 대역폭 사용을 감소시키기 위해 압축 복잡도를 감소시킬 수 있다. 따라서, 일반적인 코더 제어 컴포넌트(211)는 비디오 신호 재구성 품질과 비트레이트 문제의 균형을 맞추기 위해 코덱 시스템(200)의 다른 컴포넌트를 제어한다. 일반적인 코더 제어 컴포넌트(211)는 다른 컴포넌트의 작동을 제어하는 제어 데이터를 생성한다. 제어 데이터는 또한 디코더에서 디코딩을 위한 파라미터를 시그널링하기 위해 비트스트림으로 인코딩되도록 헤더 포맷팅 및 CABAC 컴포넌트(231)로 전달된다.The general coder control component 211 is configured to make decisions related to coding an image of a video sequence into a bitstream according to application constraints. For example, the generic coder control component 211 manages optimization of bitrate/bitstream size versus reconstruction quality. This determination may be made based on storage space/bandwidth availability and image resolution requests. The general coder control component 211 also manages buffer utilization in terms of transfer rates to mitigate buffer underrun and overrun problems. To manage this problem, the generic coder control component 211 manages segmentation, prediction and filtering by other components. For example, generic coder control component 211 may dynamically increase compression complexity to increase resolution and increase bandwidth usage, or decrease compression complexity to decrease resolution and bandwidth usage. Thus, the generic coder control component 211 controls the other components of the codec system 200 to balance the video signal reconstruction quality and bitrate issues. A generic coder control component 211 generates control data that controls the operation of other components. The control data is also passed to the header formatting and CABAC component 231 to be encoded into a bitstream to signal parameters for decoding at the decoder.

분할된 비디오 신호(201)는 또한 인터 예측을 위해 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)로 전송된다. 분할된 비디오 신호(201)의 프레임 또는 슬라이스는 다수의 비디오 블록으로 분할될 수 있다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 시간적 예측을 제공하기 위해 하나 이상의 참조 프레임에서 하나 이상의 블록에 대해 수신된 비디오 블록의 인터 예측 코딩을 수행한다. 코덱 시스템(200)은 예를 들어 비디오 데이터의 각각의 블록에 대한 적절한 코딩 모드를 선택하기 위해 다중 코딩 패스(pass)를 수행할 수 있다.The segmented video signal 201 is also sent to a motion estimation component 221 and a motion compensation component 219 for inter prediction. A frame or slice of the divided video signal 201 may be divided into multiple video blocks. Motion estimation component 221 and motion compensation component 219 perform inter-predictive coding of received video blocks relative to one or more blocks in one or more reference frames to provide temporal prediction. The codec system 200 may perform multiple coding passes, for example, to select an appropriate coding mode for each block of video data.

모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 고도로 통합될 수 있지만, 개념적 목적을 위해 별도로 예시된다. 모션 추정 컴포넌트(221)에 의해 수행되는 모션 추정은 비디오 블록에 대한 모션을 추정하는 모션 벡터를 생성하는 프로세스이다. 예를 들어, 모션 벡터는 예측 블록에 대한 코딩된 객체의 변위를 지시할 수 있다. 예측 블록은 픽셀 차이 측면에서 코딩될 블록과 밀접하게 매칭되는 것으로 확인된 블록이다. 예측 블록은 또한 참조 블록으로 지칭될 수 있다. 이러한 픽셀 차이는 절대 차이의 합(sum of absolute difference, SAD), 제곱 차이의 합(sum of square difference, SSD) 또는 다른 차이 메트릭에 의해 결정될 수 있다. HEVC는 CTU, 코딩 트리 블록(CTB) 및 CU를 포함하는 여러 코딩된 객체를 사용한다. 예를 들어, CTU는 CTB로 분할될 수 있으며, 그런 다음 CU에 포함시키기 위해 CB로 분할될 수 있다. CU는 예측 데이터를 포함하는 예측 유닛(prediction unit, PU) 및/또는 CU에 대한 변환된 잔여 데이터를 포함하는 변환 유닛(transform unit, TU)으로서 인코딩될 수 있다. 모션 추정 컴포넌트(221)는 레이트(rate) 왜곡 최적화 프로세스의 일부로서 레이트 왜곡 분석을 사용함으로써 모션 벡터, PU 및 TU를 생성한다. 예를 들어, 모션 추정 컴포넌트(221)는 현재 블록/프레임에 대한 다수의 참조 블록, 다수의 모션 벡터 등을 결정할 수 있고, 최상의 레이트 왜곡 특성을 갖는 참조 블록, 모션 벡터 등을 선택할 수 있다. 최상의 레이트 왜곡 특성은 비디오 재구성 품질(예를 들어, 압축에 의한 데이터 손실량)과 코딩 효율성(예를 들어, 최종 인코딩 크기) 모두의 균형을 맞춘다.Motion estimation component 221 and motion compensation component 219 may be highly integrated, but are illustrated separately for conceptual purposes. Motion estimation, performed by motion estimation component 221 , is the process of generating a motion vector that estimates motion for a video block. For example, a motion vector may indicate the displacement of a coded object with respect to a predictive block. A prediction block is a block identified as closely matching a block to be coded in terms of pixel difference. A predictive block may also be referred to as a reference block. This pixel difference may be determined by a sum of absolute difference (SAD), a sum of square difference (SSD), or other difference metric. HEVC uses several coded objects, including CTUs, Coding Tree Blocks (CTBs), and CUs. For example, a CTU may be split into CTBs and then split into CBs for inclusion in a CU. A CU may be encoded as a prediction unit (PU) including prediction data and/or a transform unit (TU) including transformed residual data for the CU. Motion estimation component 221 generates motion vectors, PUs, and TUs by using rate distortion analysis as part of a rate distortion optimization process. For example, motion estimation component 221 may determine multiple reference blocks, multiple motion vectors, etc. for the current block/frame, and may select the reference block, motion vector, etc. with the best rate distortion characteristics. The best rate distortion characteristics balance both video reconstruction quality (eg amount of data loss due to compression) and coding efficiency (eg final encoding size).

일부 예에서, 코덱 시스템(200)은 디코딩된 픽처 버퍼 컴포넌트(223)에 저장된 참조 픽처의 서브 정수 픽셀 위치에 대한 값을 계산할 수 있다. 예를 들어, 비디오 코덱 시스템(200)은 참조 픽셀의 1/4 픽셀 위치, 1/8 픽셀 위치 또는 다른 분수 픽셀 위치의 값을 보간할 수 있다. 따라서, 모션 추정 컴포넌트(221)는 전체 픽셀 위치 및 분수 픽셀 위치에 대한 모션 검색을 수행하고 분수 픽셀 정밀도를 갖는 모션 벡터를 출력할 수 있다. 모션 추정 컴포넌트(221)는 PU의 위치를 참조 픽처의 예측 블록의 위치와 비교함으로써 인터 코딩된 슬라이스에서 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 모션 추정 컴포넌트(221)는 모션 보상 컴포넌트(219)에 대한 인코딩 및 모션을 위해 헤더 포맷팅 및 CABAC 컴포넌트(231)에 모션 데이터로서 계산된 모션 벡터를 출력한다.In some examples, the codec system 200 can calculate a value for a sub-integer pixel position of a reference picture stored in the decoded picture buffer component 223 . For example, the video codec system 200 may interpolate the values of a quarter pixel position, an eighth pixel position, or other fractional pixel position of a reference pixel. Accordingly, the motion estimation component 221 can perform a motion search for full pixel positions and fractional pixel positions and output a motion vector with fractional pixel precision. Motion estimation component 221 calculates a motion vector for a PU of a video block in an inter-coded slice by comparing the position of the PU with the position of the predictive block of a reference picture. Motion estimation component 221 outputs the calculated motion vector as motion data to header formatting and CABAC component 231 for encoding and motion to motion compensation component 219 .

모션 보상 컴포넌트(219)에 의해 수행되는 모션 보상은 모션 추정 컴포넌트(221)에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치(fetch)하거나 생성하는 것을 포함할 수 있다. 다시, 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 일부 예에서 기능적으로 통합될 수 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 컴포넌트(219)는 모션 벡터가 가리키는 예측 블록을 찾을 수 있다. 그 후, 잔여 비디오 블록은 코딩되는 현재 비디오 블록의 픽셀 값에서 예측 블록의 픽셀 값을 감산하여 픽셀 차이 값을 형성함으로써 형성된다. 일반적으로, 모션 추정 컴포넌트(221)는 루마 컴포넌트에 대한 모션 추정을 수행하고, 모션 보상 컴포넌트(219)는 크로마 컴포넌트 및 루마 컴포넌트 모두에 대해 루마 컴포넌트에 기초하여 계산된 모션 벡터를 사용한다. 예측 블록 및 잔여 블록은 변환 스케일링 및 양자화 컴포넌트(213)로 전달된다.Motion compensation, performed by motion compensation component 219 , may include fetching or generating a predictive block based on the motion vector determined by motion estimation component 221 . Again, motion estimation component 221 and motion compensation component 219 may be functionally integrated in some examples. Upon receiving the motion vector for the PU of the current video block, motion compensation component 219 can find the predictive block to which the motion vector points. Then, a residual video block is formed by subtracting the pixel value of the predictive block from the pixel value of the current video block being coded to form a pixel difference value. In general, motion estimation component 221 performs motion estimation on the luma component, and motion compensation component 219 uses a motion vector calculated based on the luma component for both the chroma component and the luma component. The predictive block and residual block are passed to a transform scaling and quantization component 213 .

분할된 비디오 신호(201)는 또한 픽처 내 추정 컴포넌트(215) 및 픽처 내 예측 컴포넌트(217)로 전송된다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)와 마찬가지로, 픽처 내 추정 컴포넌트(215) 및 픽처 내 예측 컴포넌트(217)는 고도로 통합될 수 있지만, 개념적 목적을 위해 별도로 설명된다. 픽처 내 추정 컴포넌트(215) 및 픽처 내 예측 컴포넌트(217)는 상기한 바와 같이, 프레임 사이에 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)에 의해 수행되는 인터 예측에 대한 대안으로서 현재 프레임의 블록에 대한 현재 블록을 인터 예측한다. 특히, 픽처 내 추정 컴포넌트(215)는 현재 블록을 인코딩하는 데 사용할 인트라 예측 모드를 결정한다. 일부 예에서, 픽처 내 추정 컴포넌트(215)는 다수의 테스트된 인트라 예측 모드로부터 현재 블록을 인코딩하기 위해 적절한 인트라 예측 모드를 선택한다. 그 후, 선택된 인트라 예측 모드는 인코딩을 위해 헤더 포맷팅 및 CABAC 컴포넌트(231)로 전달된다.The segmented video signal 201 is also sent to an intra-picture estimation component 215 and an intra-picture prediction component 217 . Like motion estimation component 221 and motion compensation component 219 , intra-picture estimation component 215 and intra-picture prediction component 217 may be highly integrated, but are described separately for conceptual purposes. The intra-picture estimation component 215 and the intra-picture prediction component 217 are, as described above, of the current frame as an alternative to the inter prediction performed by the motion estimation component 221 and the motion compensation component 219 between frames. Inter-predict the current block for the block. In particular, the intra-picture estimation component 215 determines the intra prediction mode to use to encode the current block. In some examples, intra-picture estimation component 215 selects an appropriate intra-prediction mode for encoding the current block from a number of tested intra-prediction modes. The selected intra prediction mode is then passed to the header formatting and CABAC component 231 for encoding.

예를 들어, 픽처 내 추정 컴포넌트(215)는 테스트된 다양한 인트라 예측 모드에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값을 계산하고, 테스트된 모드 중에서 최상의 레이트 왜곡 특성을 갖는 인트라 예측 모드를 선택한다. 레이트 왜곡 분석은 일반적으로 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩된 원래의 인코딩되지 않은 블록 사이의 왜곡(또는 오류)의 양은 물론 인코딩된 블록을 생성하는 데 사용되는 비트레이트(예를 들어, 비트의 개수)를 결정한다. 픽처 내 추정 컴포넌트(215)는 인트라 예측 모드가 블록에 대한 최상의 레이트 왜곡 값을 나타내는 지 여부를 결정하기 위해 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산한다. 또한, 픽처 내 추정 컴포넌트(215)는 레이트 왜곡 최적화(rate-distortion optimization, RDO)에 기초한 깊이 모델링 모드(depth modeling mode, DMM)를 사용하여 깊이 맵의 깊이 블록을 코딩하도록 구성될 수 있다.For example, the intra-picture estimation component 215 calculates a rate-distortion value using rate-distortion analysis for the various tested intra-prediction modes, and selects the intra-prediction mode having the best rate-distortion characteristic among the tested modes. Rate distortion analysis generally determines the amount of distortion (or error) between the encoded block and the original unencoded block encoded to produce the encoded block, as well as the bitrate (e.g., the bitrate used to create the encoded block). , the number of bits). Intra-picture estimation component 215 calculates a ratio from the distortion and rate for the various encoded blocks to determine whether the intra prediction mode represents the best rate distortion value for the block. Further, the intra-picture estimation component 215 may be configured to code the depth block of the depth map using a depth modeling mode (DMM) based on rate-distortion optimization (RDO).

픽처 내 예측 컴포넌트(217)는 인코더에서 구현될 때 픽처 내 추정 컴포넌트(215)에 의해 결정된 선택된 인트라 예측 모드에 기초하여 예측 블록으로부터 잔여 블록을 생성하거나 또는 디코더에서 구현될 때 비트스트림으로부터 잔여 블록을 읽을 수 있다. 잔여 블록은 매트릭스로 표현된, 예측 블록과 원래 블록 사이의 값의 차이를 포함한다. 그 후, 잔여 블록은 변환 스케일링 및 양자화 컴포넌트(213)로 전달된다. 픽처 내 추정 컴포넌트(215) 및 픽처 내 예측 컴포넌트(217)는 루마 및 크로마 컴포넌트 모두에서 작동할 수 있다.The intra-picture prediction component 217, when implemented in an encoder, generates a residual block from a predictive block based on the selected intra prediction mode determined by the intra-picture estimation component 215, or when implemented in a decoder, a residual block from the bitstream. can read The residual block contains the difference in values between the prediction block and the original block, expressed as a matrix. The residual block is then passed to the transform scaling and quantization component 213 . The intra-picture estimation component 215 and the intra-picture prediction component 217 can operate on both luma and chroma components.

변환 스케일링 및 양자화 컴포넌트(213)는 잔여 블록을 추가로 압축하도록 구성된다. 변환 스케일링 및 양자화 컴포넌트(213)는 이산 코사인 변환(discrete cosine transform, DCT), 이산 사인 변환(discrete sine transform, DST) 또는 개념적으로 유사한 변환과 같은 변환을 잔여 블록에 적용하여 잔여 변환 계수 값을 포함하는 비디오 블록을 생성한다. 웨이블릿 변환, 정수 변환, 서브 밴드 변환 또는 기타 유형의 변환도 사용할 수 있다. 변환은 잔여 정보를 픽셀 값 도메인으로부터 주파수 도메인과 같은 변환 도메인으로 변환할 수 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 또한 예를 들어 주파수에 기초하여 변환된 잔여 정보를 스케일링하도록 구성된다. 이러한 스케일링은 스케일 팩터를 잔여 정보에 적용하여 상이한 주파수 정보가 상이한 입도에서 양자화되도록하는 것을 포함하며, 이는 재구성된 비디오의 최종 시각적 품질에 영향을 미칠 수 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 또한 비트 레이트를 더 감소시키기 위해 변환 계수를 양자화하도록 구성된다. 양자화 프로세스는 계수의 일부 또는 전부와 관련된 비트 깊이를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예에서, 변환 스케일링 및 양자화 컴포넌트(213)는 양자화된 변환 계수를 포함하는 매트릭스의 스캔을 수행할 수 있다. 양자화된 변환 계수는 헤더 포맷팅 및 CABAC 컴포넌트(231)로 전달되어 비트스트림으로 인코딩된다.The transform scaling and quantization component 213 is configured to further compress the residual block. The transform scaling and quantization component 213 applies a transform such as a discrete cosine transform (DCT), a discrete sine transform (DST), or a conceptually similar transform to the residual block to include residual transform coefficient values. Create a video block that Wavelet transforms, integer transforms, subband transforms, or other types of transforms can also be used. The transform may transform the residual information from a pixel value domain to a transform domain such as a frequency domain. The transform scaling and quantization component 213 is also configured to scale the transformed residual information based, for example, on frequency. Such scaling involves applying a scale factor to the residual information so that different frequency information is quantized at different granularities, which can affect the final visual quality of the reconstructed video. The transform scaling and quantization component 213 is also configured to quantize the transform coefficients to further reduce the bit rate. The quantization process may reduce the bit depth associated with some or all of the coefficients. The degree of quantization can be modified by adjusting the quantization parameter. In some examples, transform scaling and quantization component 213 can perform a scan of the matrix including the quantized transform coefficients. The quantized transform coefficients are passed to the header formatting and CABAC component 231 to be encoded into a bitstream.

스케일링 및 역변환 컴포넌트(229)는 모션 추정을 지원하기 위해 변환 스케일링 및 양자화 컴포넌트(213)의 역 작동을 적용한다. 스케일링 및 역변환 컴포넌트(229)는, 예를 들어, 다른 현재 블록에 대한 예측 블록이 될 수 있는 참조 블록으로서 나중에 사용하기 위해 픽셀 도메인에서 잔여 블록을 재구성하기 위해 역 스케일링, 변환 및/또는 양자화를 적용한다. 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)는 추후의 블록/프레임의 모션 추정에 사용하기 위해 잔여 블록을 대응하는 예측 블록에 다시 추가함으로써 참조 블록을 계산할 수 있다. 스케일링, 양자화 및 변환 중에 생성된 아티팩트를 완화하기 위해 재구성된 참조 블록에 필터가 적용된다. 그렇지 않으면 이러한 아티팩트는 후속 블록이 예측될 때 부정확한 예측(및 추가 아티팩트 생성)을 유발할 수 있다.The scaling and inverse transform component 229 applies the inverse operation of the transform scaling and quantization component 213 to support motion estimation. The scaling and inverse transform component 229 applies inverse scaling, transforms and/or quantization to reconstruct the residual block in the pixel domain for later use as, for example, a reference block that can be a predictive block for another current block. do. Motion estimation component 221 and/or motion compensation component 219 may calculate a reference block by adding the residual block back to the corresponding predictive block for use in motion estimation of a later block/frame. A filter is applied to the reconstructed reference block to mitigate artifacts generated during scaling, quantization and transformation. Otherwise, these artifacts can cause inaccurate predictions (and create additional artifacts) when subsequent blocks are predicted.

필터 제어 분석 컴포넌트(227) 및 인-루프 필터 컴포넌트(225)는 필터를 잔여 블록 및/또는 재구성된 이미지 블록에 적용한다. 예를 들어, 스케일링 및 역 변환 컴포넌트(229)로부터 변환된 잔여 블록은 원본 이미지 블록을 재구성하기 위해 픽처 내 예측 컴포넌트(217) 및/또는 모션 보상 컴포넌트(219)로부터 대응하는 예측 블록과 결합될 수 있다. 그 후, 필터는 재구성된 이미지 블록에 적용될 수 있다. 일부 예에서, 필터는 대신에 잔여 블록에 적용될 수 있다. 도 2에서의 다른 컴포넌트와 마찬가지로, 필터 제어 분석 컴포넌트(227) 및 인-루프 필터 컴포넌트(225)는 고도로 통합되고 함께 구현될 수 있지만, 개념적 목적을 위해 별도로 도시된다. 재구성된 참조 블록에 적용된 필터는 특정 공간 영역에 적용되며 이러한 필터가 적용되는 방식을 조정하는 여러 파라미터를 포함한다. 필터 제어 분석 컴포넌트(227)는 재구성된 참조 블록을 분석하여 그러한 필터가 적용되어야 하는 위치를 결정하고 대응하는 파라미터를 설정한다. 이러한 데이터는 인코딩을 위한 필터 제어 데이터로서 헤더 포맷팅 및 CABAC 컴포넌트(231)로 전달된다. 인-루프 필터 컴포넌트(225)는 필터 제어 데이터에 기초하여 이러한 필터를 적용한다. 필터는 디블로킹 필터, 노이즈 억제 필터, SAO 필터 및 적응형 루프 필터를 포함할 수 있다. 그러한 필터는 예에 따라 공간/픽셀 도메인(예를 들어, 재구성된 픽셀 블록) 또는 주파수 도메인에서 적용될 수 있다.Filter control analysis component 227 and in-loop filter component 225 apply the filter to the residual block and/or the reconstructed image block. For example, the transformed residual block from the scaling and inverse transform component 229 can be combined with the corresponding prediction block from the intra-picture prediction component 217 and/or the motion compensation component 219 to reconstruct the original image block. there is. The filter can then be applied to the reconstructed image block. In some examples, a filter may be applied to the residual block instead. Like the other components in FIG. 2 , filter control analysis component 227 and in-loop filter component 225 are highly integrated and may be implemented together, but are shown separately for conceptual purposes. Filters applied to the reconstructed reference block are applied to a specific spatial region and contain several parameters that control how these filters are applied. Filter control analysis component 227 analyzes the reconstructed reference block to determine where such filters should be applied and sets corresponding parameters. This data is passed to the header formatting and CABAC component 231 as filter control data for encoding. The in-loop filter component 225 applies these filters based on the filter control data. Filters may include deblocking filters, noise suppression filters, SAO filters, and adaptive loop filters. Such a filter may be applied in either the spatial/pixel domain (eg the reconstructed pixel block) or the frequency domain, depending on the example.

인코더로서 작동하는 경우, 필터링된 재구성된 이미지 블록, 잔여 블록 및/또는 예측 블록은 상기한 바와 같이 모션 추정에서 나중의 사용을 위해 디코딩된 픽처 버퍼 컴포넌트(223)에 저장된다. 디코더로서 작동하는 경우, 디코딩된 픽처 버퍼 컴포넌트(223)는 출력 비디오 신호의 일부로서 디스플레이를 향해 재구성되고 필터링된 블록을 저장하고 전달한다. 디코딩된 픽처 버퍼 컴포넌트(223)는 예측 블록, 잔여 블록 및/또는 재구성된 이미지 블록을 저장할 수 있는 임의의 메모리 장치일 수 있다.When operating as an encoder, the filtered reconstructed image blocks, residual blocks and/or prediction blocks are stored in decoded picture buffer component 223 for later use in motion estimation as described above. When acting as a decoder, the decoded picture buffer component 223 stores and delivers the reconstructed and filtered blocks towards the display as part of the output video signal. The decoded picture buffer component 223 may be any memory device capable of storing a predictive block, a residual block, and/or a reconstructed image block.

헤더 포맷팅 및 CABAC 컴포넌트(231)는 코덱 시스템(200)의 다양한 컴포넌트로부터 데이터를 수신하고 디코더를 향한 전송을 위해 이러한 데이터를 코딩된 비트스트림으로 인코딩한다. 구체적으로, 헤더 포맷팅 및 CABAC 컴포넌트(231)는 일반적인 제어 데이터 및 필터 제어 데이터와 같은 제어 데이터를 인코딩하기 위해 다양한 헤더를 생성한다. 또한, 인트라 예측 및 모션 데이터를 포함하는 예측 데이터는 물론 양자화된 변환 계수 데이터 형태의 잔여 데이터가 모두 비트스트림으로 인코딩된다. 최종 비트스트림은 원래 분할된 비디오 신호(201)를 재구성하기 위해 디코더에 의해 요구되는 모든 정보를 포함한다. 이러한 정보는 또한 인트라 예측 모드 인덱스 테이블(코드워드 매핑 테이블로 지칭되기도 함), 다양한 블록에 대한 인코딩 컨텍스트의 정의, 가장 가능성 있는 인트라 예측 모드의 지시, 분할 정보의 지시 등을 포함할 수 있다. 이러한 데이터는 엔트로피 코딩을 사용하여 인코딩될 수 있다. 예를 들어, 정보는 컨텍스트 적응 가변 길이 코딩(Context adaptive variable length coding, CAVLC), CABAC, 신택스 기반 컨텍스트 적응 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 간격 분할 엔트로피(probability interval partitioning entropy, PIPE) 코딩 또는 다른 엔트로피 코딩 기술을 사용하여 인코딩될 수 있다. 엔트로피 코딩 후에, 코딩된 비트스트림은 다른 장치(예를 들어, 비디오 디코더)로 전송되거나 또는 추후 전송 또는 검색을 위해 보관될 수 있다.The header formatting and CABAC component 231 receives data from the various components of the codec system 200 and encodes the data into a coded bitstream for transmission towards a decoder. Specifically, the header formatting and CABAC component 231 generates various headers to encode control data, such as general control data and filter control data. In addition, prediction data including intra prediction and motion data as well as residual data in the form of quantized transform coefficient data are all encoded into a bitstream. The final bitstream contains all the information required by the decoder to reconstruct the original segmented video signal 201 . Such information may also include an intra prediction mode index table (also referred to as a codeword mapping table), a definition of encoding contexts for various blocks, an indication of a most probable intra prediction mode, an indication of partition information, and the like. Such data may be encoded using entropy coding. For example, the information may include Context adaptive variable length coding (CAVLC), CABAC, syntax-based context-adaptive binary arithmetic coding (SBAC), probability interval partitioning entropy (probability). interval partitioning entropy (PIPE) coding or other entropy coding techniques. After entropy coding, the coded bitstream may be transmitted to another device (eg, a video decoder) or archived for later transmission or retrieval.

도 3은 예시적인 비디오 인코더(300)를 도시한 블록도이다. 비디오 인코더(300)는 코덱 시스템(200)의 인코딩 기능을 구현하고 그리고/또는 작동 방법(100)의 단계 101, 103, 105, 107 및/또는 109를 구현하기 위해 사용될 수 있다. 인코더(300)는 입력 비디오 신호를 분할하여 분할된 비디오 신호(301)를 생성하며, 이는 분할된 비디오 신호(201)와 실질적으로 유사하다. 그 후, 분할된 비디오 신호(301)는 인코더(300)의 컴포넌트에 의해 압축되고 비트스트림으로 인코딩된다.3 is a block diagram illustrating an example video encoder 300 . The video encoder 300 may be used to implement the encoding function of the codec system 200 and/or to implement steps 101 , 103 , 105 , 107 and/or 109 of the method 100 of operation. The encoder 300 divides the input video signal to generate a segmented video signal 301 , which is substantially similar to the segmented video signal 201 . Then, the segmented video signal 301 is compressed by the components of the encoder 300 and encoded into a bitstream.

구체적으로, 분할된 비디오 신호(301)는 인트라 예측을 위해 픽처 내 예측 컴포넌트(317)로 전달된다. 픽처 내 예측 컴포넌트(317)는 픽처 내 추정 컴포넌트(215) 및 픽처 내 예측 컴포넌트(217)와 실질적으로 유사할 수 있다. 분할된 비디오 신호(301)는 또한 디코딩된 픽처 버퍼 컴포넌트(323)의 참조 블록에 기초하여 인터 예측을 위해 모션 보상 컴포넌트(321)로 전달된다. 모션 보상 컴포넌트(321)는 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)와 실질적으로 유사할 수 있다. 픽처 내 예측 컴포넌트(317) 및 모션 보상 컴포넌트(321)로부터의 예측 블록 및 잔여 블록은 잔여 블록의 변환 및 양자화를 위한 변환 및 양자화 컴포넌트(313)로 전달된다. 변환 및 양자화 컴포넌트(313)는 변환 스케일링 및 양자화 컴포넌트(213)와 실질적으로 유사할 수 있다. 변환 및 양자화된 잔여 블록 및 대응하는 예측 블록(연관된 제어 데이터와 함께)은 비트스트림으로의 코딩을 위해 엔트로피 코딩 컴포넌트(331)로 전달된다. 엔트로피 코딩 컴포넌트(331)는 헤더 포맷팅 및 CABAC 컴포넌트(231)와 실질적으로 유사할 수 있다.Specifically, the segmented video signal 301 is passed to an intra-picture prediction component 317 for intra prediction. The intra-picture prediction component 317 can be substantially similar to the intra-picture estimation component 215 and the intra-picture prediction component 217 . The segmented video signal 301 is also passed to a motion compensation component 321 for inter prediction based on the reference block of the decoded picture buffer component 323 . Motion compensation component 321 can be substantially similar to motion estimation component 221 and motion compensation component 219 . The prediction block and residual block from intra-picture prediction component 317 and motion compensation component 321 are passed to a transform and quantization component 313 for transform and quantization of the residual block. The transform and quantization component 313 can be substantially similar to the transform scaling and quantization component 213 . The transformed and quantized residual block and the corresponding prediction block (along with associated control data) are passed to an entropy coding component 331 for coding into a bitstream. The entropy coding component 331 can be substantially similar to the header formatting and CABAC component 231 .

변환되고 양자화된 잔여 블록 및/또는 대응하는 예측 블록은 또한 모션 보상 컴포넌트(321)에 의한 사용을 위한 참조 블록으로의 재구성을 위해 변환 및 양자화 컴포넌트(313)로 전달된다. 역변환 및 양자화 컴포넌트(329)는 스케일링 및 역변환 컴포넌트(229)와 실질적으로 유사할 수 있다. 인-루프 필터 컴포넌트(325)의 인-루프 필터는 또한 예에 따라 잔여 블록 및/또는 재구성된 참조 블록에 적용된다. 인-루프 필터 컴포넌트(325)는 필터 제어 분석 컴포넌트(227) 및 인-루프 필터 컴포넌트(225)와 실질적으로 유사할 수 있다. 인-루프 필터 컴포넌트(325)는 인-루프 필터 컴포넌트(225)에 대해 논의된 바와 같이 다수의 필터를 포함할 수 있다. 그 후, 필터링된 블록은 모션 보상 컴포넌트(321)에 의해 참조 블록으로 사용하기 위해 디코딩된 픽처 버퍼 컴포넌트(323)에 저장된다. 디코딩된 픽처 버퍼 컴포넌트(323)는 디코딩된 픽처 버퍼 컴포넌트(223)와 실질적으로 유사할 수 있다.The transformed and quantized residual block and/or the corresponding predictive block is also passed to a transform and quantization component 313 for reconstruction into a reference block for use by the motion compensation component 321 . Inverse transform and quantization component 329 can be substantially similar to scaling and inverse transform component 229 . The in-loop filter of the in-loop filter component 325 is also applied to the residual block and/or the reconstructed reference block according to the example. In-loop filter component 325 can be substantially similar to filter control analysis component 227 and in-loop filter component 225 . In-loop filter component 325 may include multiple filters as discussed for in-loop filter component 225 . The filtered block is then stored in decoded picture buffer component 323 for use as a reference block by motion compensation component 321 . The decoded picture buffer component 323 can be substantially similar to the decoded picture buffer component 223 .

도 4는 예시적인 비디오 디코더(400)를 도시한 블록도이다. 비디오 디코더(400)는 코덱 시스템(200)의 디코딩 기능을 구현하고 그리고/또는 작동 방법(100)의 단계 111, 113, 115 및/또는 117을 구현하기 위해 사용될 수 있다. 디코더(400)는 예를 들어 인코더(300)로부터 비트스트림을 수신하고, 최종 사용자에게 디스플레이하기 위해 비트스트림에 기초하여 재구성된 출력 비디오 신호를 생성한다.4 is a block diagram illustrating an exemplary video decoder 400 . The video decoder 400 may be used to implement the decoding function of the codec system 200 and/or to implement steps 111 , 113 , 115 and/or 117 of the method 100 of operation. The decoder 400 receives, for example, a bitstream from the encoder 300 and generates a reconstructed output video signal based on the bitstream for display to an end user.

비트스트림은 엔트로피 디코딩 컴포넌트(433)에 의해 수신된다. 엔트로피 디코딩 컴포넌트(433)는 CAVLC, CABAC, SBAC, PIPE 코딩, 또는 다른 엔트로피 코딩 기술과 같은 엔트로피 디코딩 방식을 구현하도록 구성된다. 예를 들어, 엔트로피 디코딩 컴포넌트(433)는 비트스트림에서 코드워드로 인코딩된 추가 데이터를 해석하기 위한 컨텍스트를 제공하기 위해 헤더 정보를 사용할 수 있다. 디코딩된 정보는 일반적인 제어 데이터, 필터 제어 데이터, 분할 정보, 모션 데이터, 예측 데이터 및 잔여 블록으로부터의 양자화된 변환 계수와 같은 비디오 신호를 디코딩하기위한 임의의 원하는 정보를 포함한다. 양자화된 변환 계수는 잔여 블록으로의 재구성을 위해 역변환 및 양자화 컴포넌트(429)로 전달된다. 역변환 및 양자화 컴포넌트(429)는 역변환 및 양자화 컴포넌트(329)와 유사할 수 있다.The bitstream is received by entropy decoding component 433 . Entropy decoding component 433 is configured to implement an entropy decoding scheme, such as CAVLC, CABAC, SBAC, PIPE coding, or other entropy coding technique. For example, entropy decoding component 433 can use the header information to provide context for interpreting additional data encoded into codewords in the bitstream. The decoded information includes any desired information for decoding a video signal such as general control data, filter control data, partition information, motion data, prediction data, and quantized transform coefficients from residual blocks. The quantized transform coefficients are passed to an inverse transform and quantization component 429 for reconstruction into a residual block. Inverse transform and quantization component 429 can be similar to inverse transform and quantization component 329 .

재구성된 잔여 블록 및/또는 예측 블록은 인트라 예측 작동에 기초하여 이미지 블록으로 재구성하기 위해 픽처 내 예측 컴포넌트(417)로 전달된다. 픽처 내 예측 컴포넌트(417)는 픽처 내 추정 컴포넌트(215) 및 픽처 내 예측 컴포넌트(217)와 유사할 수 있다. 구체적으로, 픽처 내 예측 컴포넌트(417)는 프레임에서 참조 블록을 찾기 위해 예측 모드를 사용하고 인트라 예측된 이미지 블록을 재구성하기 위해 결과에 잔여 블록을 적용한다. 재구성된 인트라 예측된 이미지 블록 및/또는 잔여 블록 및 대응하는 인터 예측 데이터는 인-루프 필터 컴포넌트(425)를 통해 디코딩된 픽처 버퍼 컴포넌트(423)로 전달되며, 이는 디코딩된 픽처 버퍼 컴포넌트(223) 및 인-루프 필터 컴포넌트(225)와 각각 실질적으로 유사할 수 있다. 인-루프 필터 컴포넌트(425)는 재구성된 이미지 블록, 잔여 블록 및/또는 예측 블록을 필터링하고, 이러한 정보는 디코딩된 픽처 버퍼 컴포넌트(423)에 저장된다. 디코딩된 픽처 버퍼 컴포넌트(423)로부터의 재구성된 이미지 블록은 인터 예측을 위해 모션 보상 컴포넌트(421)로 전달된다. 모션 보상 컴포넌트(421)는 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)와 실질적으로 유사할 수 있다. 구체적으로, 모션 보상 컴포넌트(421)는 예측 블록을 생성하고 이미지 블록을 재구성하기 위해 잔여 블록을 결과에 적용하기 위해 참조 블록으로부터의 모션 벡터를 사용한다. 결과적인 재구성된 블록은 또한 인-루프 필터 컴포넌트(425)를 통해 디코딩된 픽처 버퍼 컴포넌트(423)로 전달될 수 있다. 디코딩된 픽처 버퍼 컴포넌트(423)는 분할 정보를 통해 프레임으로 재구성될 수 있는 추가의 재구성된 이미지 블록을 계속 저장한다. 이러한 프레임은 또한 시퀀스로 배치될 수도 있다. 시퀀스는 재구성된 출력 비디오 신호로서 디스플레이에 출력된다.The reconstructed residual block and/or the prediction block are passed to the intra-picture prediction component 417 for reconstructing into an image block based on the intra prediction operation. The intra-picture prediction component 417 can be similar to the intra-picture estimation component 215 and the intra-picture prediction component 217 . Specifically, the intra-picture prediction component 417 uses the prediction mode to find a reference block in a frame and applies the residual block to the result to reconstruct the intra-predicted image block. The reconstructed intra-predicted image block and/or residual block and the corresponding inter-prediction data are passed to a decoded picture buffer component 423 via an in-loop filter component 425 , which is a decoded picture buffer component 223 . and in-loop filter component 225 , respectively. The in-loop filter component 425 filters the reconstructed image block, the residual block and/or the prediction block, and this information is stored in the decoded picture buffer component 423 . The reconstructed image block from decoded picture buffer component 423 is passed to motion compensation component 421 for inter prediction. Motion compensation component 421 can be substantially similar to motion estimation component 221 and/or motion compensation component 219 . Specifically, motion compensation component 421 uses the motion vector from the reference block to generate the predictive block and apply the residual block to the result to reconstruct the image block. The resulting reconstructed block may also be passed to decoded picture buffer component 423 via in-loop filter component 425 . The decoded picture buffer component 423 continues to store additional reconstructed image blocks that can be reconstructed into frames via segmentation information. These frames may also be placed in a sequence. The sequence is output to the display as a reconstructed output video signal.

도 5는 인코딩된 비디오 시퀀스를 포함하는 예시적인 비트스트림(500)을 도시한 개략도이다. 예를 들어, 비트스트림(500)은 코덱 시스템(200) 및/또는 디코더(400)에 의한 디코딩을 위해 코덱 시스템(200) 및/또는 인코더(300)에 의해 생성될 수 있다. 다른 예로서, 비트스트림(500)은 단계 111에서 디코더에 의한 사용을 위해 방법(100)의 단계 109에서 인코더에 의해 생성될 수 있다.5 is a schematic diagram illustrating an example bitstream 500 including an encoded video sequence. For example, the bitstream 500 may be generated by the codec system 200 and/or the encoder 300 for decoding by the codec system 200 and/or the decoder 400 . As another example, the bitstream 500 may be generated by an encoder at step 109 of the method 100 for use by a decoder at step 111 .

비트스트림(500)은 시퀀스 파라미터 세트(sequence parameter set, SPS)(510), 복수의 픽처 파라미터 세트(picture parameter set, PPS)(512), 타일 그룹 헤더(514) 및 이미지 데이터(520)를 포함한다. SPS(510)는 비트스트림(500)에 포함된 비디오 시퀀스의 모든 픽처에 공통된 시퀀스 데이터를 포함한다. 이러한 데이터는 픽처 사이징, 비트 깊이, 코딩 도구 파라미터, 비트 레이트 제한 등을 포함할 수 있다. PPS(512)는 하나 이상의 대응하는 픽처에 특정된 파라미터를 포함한다. 따라서, 비디오 시퀀스의 각각의 픽처는 하나의 PPS(512)를 참조할 수 있다. PPS(512)는 대응하는 픽처의 타일, 양자화 파라미터, 오프셋, 픽처 특정 코딩 도구 파라미터(예를 들어, 필터 제어) 등에 사용할 수 있는 코딩 도구를 지시할 수 있다. 타일 그룹 헤더(514)는 픽처의 각각의 타일 그룹에 특정된 파라미터를 포함한다. 따라서, 비디오 시퀀스에서 타일 그룹당 하나의 타일 그룹 헤더(514)가 있을 수 있다. 타일 그룹 헤더(514)는 타일 그룹 정보, 픽처 순서 카운트(picture order count, POC), 참조 픽처 리스트, 예측 가중치, 타일 엔트리 포인트, 디블로킹 파라미터 등을 포함할 수 있다. 일부 시스템은 타일 그룹 헤더(514)를 슬라이스 헤더로 지칭하고, 타일 그룹 대신에 슬라이스를 지원하기 위해 이러한 정보를 사용한다.The bitstream 500 includes a sequence parameter set (SPS) 510 , a plurality of picture parameter sets (PPS) 512 , a tile group header 514 and image data 520 . do. The SPS 510 includes sequence data common to all pictures of a video sequence included in the bitstream 500 . Such data may include picture sizing, bit depth, coding tool parameters, bit rate limits, and the like. The PPS 512 includes parameters specific to one or more corresponding pictures. Thus, each picture in the video sequence may reference one PPS 512 . The PPS 512 may indicate which coding tools to use, such as tiles of the corresponding picture, quantization parameters, offsets, picture specific coding tool parameters (eg, filter control), and the like. The tile group header 514 contains parameters specific to each tile group of a picture. Thus, there may be one tile group header 514 per tile group in a video sequence. The tile group header 514 may include tile group information, a picture order count (POC), a reference picture list, a prediction weight, a tile entry point, a deblocking parameter, and the like. Some systems refer to the tile group header 514 as the slice header and use this information to support slices instead of tile groups.

이미지 데이터(520)는 인터 예측 및/또는 인트라 예측에 따라 인코딩된 비디오 데이터는 물론 대응되는 변환되고 양자화된 잔여 데이터를 포함한다. 이러한 이미지 데이터(520)는 인코딩 전에 이미지를 분할하는 데 사용되는 분할에 따라 분류된다. 예를 들어, 이미지 데이터(520)의 이미지는 타일(523)로 분할된다. 타일(523)은 코딩 트리 유닛(CTU)으로 더 분할된다. CTU는 코딩 트리를 기반으로 코딩 블록으로 더 분할된다. 그 후, 코딩 블록은 예측 메커니즘에 따라 인코딩/디코딩될 수 있다. 이미지/픽처는 하나 이상의 타일(523)을 포함할 수 있다.Image data 520 includes video data encoded according to inter prediction and/or intra prediction as well as corresponding transformed and quantized residual data. This image data 520 is classified according to the segmentation used to segment the image before encoding. For example, an image of image data 520 is divided into tiles 523 . Tiles 523 are further divided into coding tree units (CTUs). The CTU is further divided into coding blocks based on the coding tree. Then, the coding block can be encoded/decoded according to the prediction mechanism. An image/picture may include one or more tiles 523 .

타일(523)은 수평 및 수직 경계에 의해 생성된 픽처의 분할된 부분이다. 타일(523)은 직사각형 및/또는 정사각형일 수 있다. 구체적으로, 타일(523)은 직각으로 연결된 4개의 면을 포함한다. 네 개의 면은 두 쌍의 평행한 면을 포함한다. 또한, 평행한 면 쌍의 면은 길이가 같다. 따라서, 타일(523)은 임의의 직사각형 형상일 수 있으며, 여기서 정사각형은 네 개의 면이 모두 동일한 길이인 직사각형의 특수한 경우이다. 픽처는 타일(523)의 행과 열로 분할될 수 있다. 타일 행은 픽처의 왼쪽 경계에서 오른쪽 경계로(또는 그 반대로) 연속적인 선을 생성하기 위해 수평으로 인접한 방식으로 배치된 일련의 타일(523)이다. 타일 열은 픽처의 상단 경계에서 하단 경계까지(또는 그 반대로) 연속적인 선을 생성하기 위해 수직으로 인접한 방식으로 배치된 타일 세트(523)이다. 타일(523)은 예에 따라 다른 타일(523)에 기초한 예측을 허용하거나 허용하지 않을 수 있다. 각각의 타일(523)은 픽처에서 고유한 타일 인덱스를 가질 수 있다. 타일 인덱스는 하나의 타일(523)을 다른 것과 구별하는 데 사용될 수 있는 절차적으로 선택된 숫자 식별자이다. 예를 들어, 타일 인덱스는 래스터 스캔 순서에서 숫자로 증가할 수 있다. 래스터 스캔 순서는 왼쪽에서 오른쪽으로 그리고 위에서 아래로이다. 일부 예에서, 타일(523)은 또한 할당된 타일 식별자(tile identifiers, ID)일 수 있다는 점에 유의해야 한다. 타일 ID는 하나의 타일(523)을 다른 것과 구별하는 데 사용될 수 있는 할당된 식별자이다. 계산은 일부 예에서 타일 인덱스 대신에 타일 ID를 사용할 수 있다. 또한, 일부 예에서 타일 인덱스와 동일한 값을 갖도록 타일 ID가 할당될 수 있다. 타일 인덱스 및/또는 ID는 타일(523)을 포함하는 타일 그룹을 지시하도록 시그널링될 수 있다. 예를 들어, 타일 인덱스 및/또는 ID는 디스플레이를 위한 적절한 위치에 타일(523)과 연관된 픽처 데이터를 매핑하기 위해 사용될 수 있다. 타일 그룹은 예를 들어 관심 영역의 디스플레이를 지원하고 그리고/또는 병렬 처리를 지원하기 위해 개별적으로 추출되고 코딩될 수 있는 관련된 타일 세트(523)이다. 타일 그룹의 타일(523)은 타일 그룹 외부의 타일(523)을 참조하지 않고 코딩될 수 있다. 각각의 타일(523)은 대응하는 타일 그룹에 할당될 수 있으며, 따라서 픽처는 복수의 타일 그룹을 포함할 수 있다.A tile 523 is a divided portion of a picture created by horizontal and vertical boundaries. Tile 523 may be rectangular and/or square. Specifically, the tile 523 includes four faces connected at right angles. The four faces contain two pairs of parallel faces. Also, the faces of a pair of parallel faces are the same length. Thus, tile 523 can be of any rectangular shape, where a square is a special case of a rectangle with all four sides of the same length. The picture may be divided into rows and columns of tiles 523 . A tile row is a series of tiles 523 arranged in a horizontally contiguous manner to create a continuous line from the left border to the right border (or vice versa) of a picture. A tile column is a set of tiles 523 arranged in a vertically contiguous manner to create a continuous line from the top boundary to the bottom boundary of the picture (or vice versa). A tile 523 may or may not allow prediction based on another tile 523 , depending on the example. Each tile 523 may have a unique tile index in the picture. A tile index is a procedurally selected numeric identifier that can be used to distinguish one tile 523 from another. For example, the tile index may increase numerically in raster scan order. The raster scan order is left to right and top to bottom. It should be noted that, in some examples, tile 523 may also be assigned tile identifiers (IDs). A tile ID is an assigned identifier that can be used to distinguish one tile 523 from another. The calculation may use a tile ID instead of a tile index in some examples. Also, in some examples, the tile ID may be assigned to have the same value as the tile index. The tile index and/or ID may be signaled to indicate the tile group including the tile 523 . For example, the tile index and/or ID may be used to map the picture data associated with the tile 523 to an appropriate location for display. A group of tiles is a set of related tiles 523 that may be individually extracted and coded to support display of a region of interest and/or support parallel processing, for example. A tile 523 of a tile group may be coded without reference to a tile 523 outside the tile group. Each tile 523 may be assigned to a corresponding tile group, and thus a picture may include a plurality of tile groups.

도 6a-6e는 가상 현실(VR) 애플리케이션에서의 사용을 위해 상이한 비트스트림으로부터의 다중 해상도의 서브 픽처를 단일 픽처로 결합하기 위한 추출기 트랙(610)을 생성하기 위한 예시적인 메커니즘(600)을 도시한다. 메커니즘(600)은 방법(100)의 예시적인 사용 사례를 지원하기 위해 사용될 수 있다. 예를 들어, 메커니즘(600)은 코덱 시스템(200) 및/또는 인코더(300)로부터 코덱 시스템(200) 및/또는 디코더(400)를 향한 전송을 위해 비트스트림(500)을 생성하도록 사용될 수 있다. 특정 예로서, 메커니즘(600)은 VR, OMAF, 360도 비디오 등과 함께 사용하기 위해 사용될 수 있다.6A-6E illustrate an example mechanism 600 for creating an extractor track 610 for combining subpictures of multiple resolutions from different bitstreams into a single picture for use in a virtual reality (VR) application. do. Mechanism 600 may be used to support exemplary use cases of method 100 . For example, mechanism 600 may be used to generate bitstream 500 for transmission from codec system 200 and/or encoder 300 towards codec system 200 and/or decoder 400 . . As a specific example, mechanism 600 may be used for use with VR, OMAF, 360 degree video, and the like.

VR에서, 비디오의 일부만이 사용자에게 디스플레이된다. 예를 들어, VR 비디오는 사용자를 둘러싼 구를 포함하도록 촬영될 수 있다. 사용자는 VR 비디오를 보기 위해 머리 장착형 디스플레이(head mounted display, HMD)를 사용할 수 있다. 사용자는 관심 영역을 향해 HMD를 가리킬 수 있다. 관심 영역은 사용자에게 디스플레이되고 다른 비디오 데이터는 삭제된다. 이러한 방식으로, 사용자는 언제든지 VR 비디오의 사용자가 선택한 부분만 본다. 이러한 접근 방식은 사용자의 인식을 모방하므로, 사용자가 실제 환경을 모방하는 방식으로 가상 환경을 경험하게 한다. 이러한 접근 방식의 문제 중 하나는 전체 VR 비디오가 사용자에게 전달될 수 있지만, 실제로 비디오의 현재 뷰포트만 사용되고 나머지는 폐기된다는 것이다. 스트리밍 애플리케이션의 시그널링 효율성을 높이기 위해, 사용자의 현재 뷰포트는 더 높은 제1 해상도로 전송되고 다른 뷰포트는 더 낮은 제2 해상도로 전송될 수 있다. 이러한 방식으로, 폐기될 가능성이 있는 뷰포트는 사용자가 볼 가능성이 있는 뷰포트(들)보다 대역폭을 덜 차지한다. 사용자가 새로운 뷰포트를 선택하는 경우, 디코더가 더 높은 제1 해상도로 다른 현재 뷰포트가 전송되도록 요청할 때까지 저해상도 콘텐츠가 표시될 수 있다. 메커니즘(600)은 도 6e에 도시된 바와 같이 이러한 기능을 지원하기 위해 추출기 트랙(610)을 생성하는 데 사용될 수 있다. 추출기 트랙(610)은 전술한 바와 같이 사용을 위해 다중 해상도로 픽처를 캡슐화하는 이미지 데이터의 트랙이다.In VR, only a portion of the video is displayed to the user. For example, a VR video may be shot to include a sphere surrounding the user. Users can use a head mounted display (HMD) to view VR video. The user may point the HMD towards the region of interest. The region of interest is displayed to the user and other video data is deleted. In this way, the user sees only the user-selected portion of the VR video at any time. This approach mimics the user's perception, allowing the user to experience the virtual environment in a way that mimics the real environment. One of the problems with this approach is that the entire VR video can be delivered to the user, but in fact only the current viewport of the video is used and the rest is discarded. In order to increase the signaling efficiency of the streaming application, the user's current viewport may be transmitted in a higher first resolution and other viewports may be transmitted in a lower second resolution. In this way, the viewports that are likely to be discarded occupy less bandwidth than the viewport(s) that the user is likely to see. When the user selects a new viewport, the lower resolution content may be displayed until the decoder requests that another current viewport be transmitted at a higher first resolution. Mechanism 600 may be used to create an extractor track 610 to support this function as shown in FIG. 6E . Extractor track 610 is a track of image data that encapsulates pictures at multiple resolutions for use as described above.

메카니즘(600)은 도 6a 및 도 6b에 각각 도시된 바와 같이, 제1 해상도(611) 및 제2 해상도(612)에서 동일한 비디오 컨텐츠를 인코딩한다. 구체적인 예로서, 제1 해상도(611)는 5120×2560 루마 샘플일 수 있고, 제2 해상도(612)는 2560×1280 루마 샘플일 수 있다. 비디오의 픽처는 각각 제1 해상도(611)에서의 타일(601) 및 제2 해상도(612)에서의 타일(603)로 분할될 수 있다. 도시된 예에서, 타일(601 및 603)은 각각 4x2 그리드로 분할된다. 또한, MCTS는 각각의 타일(601 및 603) 위치에 대해 코딩될 수 있다. 제1 해상도(611) 및 제2 해상도(612)의 픽처는 각각 대응하는 해상도에서 시간에 따른 비디오를 설명하는 MCTS 시퀀스를 생성한다. 각각 코딩된 MCTS 시퀀스는 서브 픽처 트랙 또는 타일 트랙으로 저장된다. 그 다음, 메커니즘(600)은 뷰포트 적응 MCTS 선택을 지원하는 세그먼트를 생성하기 위해 픽처를 사용할 수 있다. 예를 들어, 고해상도 및 저해상도 MCTS의 상이한 선택을 유발하는 각각의 보기 방향 범위가 고려된다. 예시된 예에서, 제1 해상도(611)에서 MCTS를 포함하는 4개의 타일(601) 및 제2 해상도(613)에서 MCTS를 포함하는 4개의 타일(603)이 획득된다.The mechanism 600 encodes the same video content at a first resolution 611 and a second resolution 612 , as shown in FIGS. 6A and 6B , respectively. As a specific example, the first resolution 611 may be 5120×2560 luma samples, and the second resolution 612 may be 2560×1280 luma samples. A picture of the video may be divided into a tile 601 at a first resolution 611 and a tile 603 at a second resolution 612 , respectively. In the example shown, tiles 601 and 603 are each divided into a 4x2 grid. In addition, the MCTS may be coded for each tile 601 and 603 location. The pictures of the first resolution 611 and the second resolution 612 each generate an MCTS sequence describing the video over time at the corresponding resolution. Each coded MCTS sequence is stored as a sub-picture track or a tile track. Mechanism 600 may then use the picture to generate a segment that supports viewport adaptive MCTS selection. For example, each viewing direction range leading to different selection of high and low resolution MCTS is considered. In the illustrated example, four tiles 601 comprising MCTS at a first resolution 611 and four tiles 603 comprising MCTS at a second resolution 613 are obtained.

그 다음, 메커니즘(600)은 각각의 가능한 뷰포트 적응 MCTS 선택에 대해 추출기 트랙(610)을 생성할 수 있다. 도 6c 및 6d는 예시적인 뷰포트 적응 MCTS 선택을 도시한다. 구체적으로, 선택된 타일 세트(605 및 607)는 각각 제1 해상도(611) 및 제2 해상도(612)에서 선택된다. 선택된 타일(605 및 607)은 회색 음영으로 도시된다. 도시된 예에서, 선택된 타일(605)은 사용자에게 보여질 제1 해상도(611)의 타일(601)이고 선택된 타일(607)은 폐기될 가능성이 있지만 사용자가 새로운 뷰포트를 선택하는 경우에 디스플레이를 지원하도록 유지되는 제2 해상도(612)의 타일(603)이다. 그 다음, 선택된 타일(605 및 607)은 제1 해상도(611) 및 제2 해상도(612) 모두에서 이미지 데이터를 포함하는 단일 픽처로 결합된다. 이러한 픽처는 추출기 트랙(610)을 생성하도록 결합된다. 도 6e는 예시의 목적을 위해 추출기 트랙(610)으로부터의 단일 픽처를 도시한다. 도시된 바와 같이, 추출기 트랙(610)의 픽처는 제1 해상도(611) 및 제2 해상도(612)로부터 선택된 타일(605 및 607)을 포함한다. 상기한 바와 같이, 도 6c-6e는 단일 뷰포트 적응 MCTS 선택을 도시한다. 임의의 뷰포트의 사용자 선택을 허용하기 위해, 추출기 트랙(610)은 선택된 타일(605 및 607)의 가능한 조합 각각에 대해 생성되어야 한다.The mechanism 600 may then generate an extractor track 610 for each possible viewport adaptive MCTS selection. 6C and 6D show exemplary viewport adaptive MCTS selection. Specifically, the selected tile sets 605 and 607 are selected from a first resolution 611 and a second resolution 612, respectively. Selected tiles 605 and 607 are shown in shades of gray. In the example shown, the selected tile 605 is a tile 601 of a first resolution 611 to be shown to the user and the selected tile 607 is likely to be discarded but supports display when the user selects a new viewport. A tile 603 of a second resolution 612 that is maintained so as to The selected tiles 605 and 607 are then combined into a single picture containing image data at both the first resolution 611 and the second resolution 612 . These pictures are combined to create an extractor track 610 . 6E shows a single picture from extractor track 610 for illustrative purposes. As shown, the picture in the extractor track 610 includes tiles 605 and 607 selected from a first resolution 611 and a second resolution 612 . As noted above, Figures 6c-6e illustrate single viewport adaptive MCTS selection. To allow user selection of any viewport, an extractor track 610 must be created for each possible combination of selected tiles 605 and 607 .

도시된 예에서, 제2 해상도(612) 비트스트림으로부터 컨텐츠를 캡슐화하는 타일(603)의 각각의 선택은 2개의 슬라이스를 포함한다. RegionWisePackingBox는 패킹된 픽처와 ERP 포맷의 투영된 픽처 사이의 맵핑을 생성하기 위해 추출기 트랙(610)에 포함될 수 있다. 제시된 예에서, 추출기 트랙에서 분석된 비트스트림의 해상도는 3200×2560이다. 결과적으로, 4천 샘플(4K) 가능 디코더는 뷰포트가 5천 샘플 5K(5120×2560) 해상도로 코딩된 비트스트림으로부터 추출되는 컨텐츠를 디코딩할 수 있다.In the example shown, each selection of tiles 603 encapsulating content from the second resolution 612 bitstream includes two slices. RegionWisePackingBox may be included in the extractor track 610 to create a mapping between the packed picture and the projected picture in ERP format. In the example presented, the resolution of the bitstream analyzed in the extractor track is 3200×2560. As a result, a 4,000 sample (4K) capable decoder can decode content extracted from a bitstream whose viewport is coded at 5,000 sample 5K (5120×2560) resolution.

도시된 바와 같이, 추출기 트랙(610)은 2행의 고해상도 타일(601)과 4행의 저해상도 타일(603)을 포함한다. 따라서, 추출기 트랙(610)은 고해상도 컨텐츠의 2개 슬라이스 및 저해상도 컨텐츠의 4개 슬라이스를 포함한다. 균일한 타일링은 이러한 사용 사례를 지원하지 않을 수 있다. 균일한 타일링은 타일 열 세트와 타일 행 세트로 정의된다. 타일 열은 픽처의 상단에서 픽처의 하단으로 확장된다. 마찬가지로, 타일 행은 픽처의 왼쪽에서 픽처의 오른쪽으로 확장된다. 이러한 구조는 간단하게 정의될 수 있지만, 이러한 구조는 메커니즘(600)에 의해 설명된 사용 사례와 같은 진보된 사용 사례를 효과적으로 지원할 수 없다. 도시된 예에서, 추출기 트랙(610)의 다른 섹션에서 다른 수량의 행이 사용된다. 균일한 타일링이 사용되는 경우, 추출기 트랙(610)의 우측 면에 있는 타일은 각각 2개의 슬라이스를 수용하도록 재작성되어야 한다. 이러한 접근 방식은 비효율적이고 계산적으로 복잡하다.As shown, the extractor track 610 includes two rows of high resolution tiles 601 and four rows of low resolution tiles 603 . Accordingly, the extractor track 610 includes two slices of high-resolution content and four slices of low-resolution content. Uniform tiling may not support this use case. Uniform tiling is defined as a set of tile columns and a set of tile rows. The tile column extends from the top of the picture to the bottom of the picture. Similarly, tile rows extend from the left of the picture to the right of the picture. Although such a structure can be defined simply, such structure cannot effectively support advanced use cases such as the use case described by mechanism 600 . In the example shown, different quantities of rows are used in different sections of the extractor track 610 . If uniform tiling is used, the tiles on the right side of the extractor track 610 must be rewritten to accommodate two slices each. This approach is inefficient and computationally complex.

본 개시는 후술하는 바와 같이, 상이한 수량의 슬라이스를 포함하도록 타일이 재작성될 필요가 없는 유연한 타일링 방식을 포함한다. 유연한 타일링 방식은 타일(601)이 제1 해상도(611)에서 컨텐츠를 포함할 수 있도록 한다. 유연한 타일링 방식은 또한 타일(601)이 제2 해상도(612)에서 타일(603)에 각각 직접 맵핑될 수 있는 더 작은 타일로 분할될 수 있도록 한다. 이러한 직접 맵핑은 상기한 바와 같이 상이한 해상도가 결합되는 경우 타일이 재작성/재주소지정될 필요가 없기 때문에 더 효율적이다.The present disclosure includes a flexible tiling scheme in which tiles do not need to be rewritten to include different quantities of slices, as described below. The flexible tiling scheme allows the tile 601 to contain content at a first resolution 611 . The flexible tiling scheme also allows tiles 601 to be partitioned into smaller tiles that can each be mapped directly to tiles 603 at a second resolution 612 . This direct mapping is more efficient because tiles do not need to be rewritten/re-addressed when different resolutions are combined as described above.

도 7은 디스플레이를 위해 상이한 비트스트림으로부터의 다중 해상도의 픽처를 단일 픽처로 연결하는 예시적인 비디오 회의 애플리케이션(700)을 도시한다. 애플리케이션(700)은 방법(100)의 예시적인 사용 사례를 지원하기 위해 사용될 수 있다. 예를 들어, 애플리케이션(700)은 코덱 시스템(200) 및/또는 인코더(300)로부터의 비트스트림으로부터 비디오 컨텐츠를 디스플레이하기 위해 코덱 시스템(200) 및/또는 디코더(400)에서 사용될 수 있다. 비디오 회의 애플리케이션(700)은 사용자에게 비디오 시퀀스를 디스플레이한다. 비디오 시퀀스는 발언 참가자(701) 및 다른 참가자(703)를 디스플레이하는 픽처를 포함한다. 발언 참가자(701)는 더 높은 제1 해상도로 디스플레이되고 다른 참가자(703)는 더 작은 제2 해상도로 디스플레이된다. 이러한 픽처를 코딩하기 위해, 픽처는 단일 행이 있는 부분과 3개의 행이 있는 부분을 포함해야 한다. 균일한 타일링으로 이러한 시나리오를 지원하기 위해, 픽처는 왼쪽 및 오른쪽 타일로 분할된다. 그런 다음, 오른쪽 타일은 3개의 행을 포함하기 위해 재작성/재주소지정된다. 이러한 재주소지정은 압축 및 성능 저하 모두를 초래한다. 아래에서 설명되는 유연한 타일링 방식은 단일 타일이 더 작은 타일로 분할되고 다른 참가자(703)와 연관된 서브 픽처 비트스트림의 타일에 맵핑될 수 있게 한다. 이러한 방식으로, 발언 참가자(701)는 제1 레벨 타일에 직접 맵핑될 수 있고 다른 참가자(703)는 그러한 재작성/재주소지정 없이 제1 타일로부터 분할된 제2 레벨 타일에 맵핑될 수 있다.7 shows an example video conferencing application 700 that concatenates pictures of multiple resolutions from different bitstreams into a single picture for display. Applications 700 may be used to support example use cases of method 100 . For example, application 700 may be used in codec system 200 and/or decoder 400 to display video content from a bitstream from codec system 200 and/or encoder 300 . The video conferencing application 700 displays a video sequence to the user. The video sequence includes pictures displaying a speaking participant 701 and another participant 703 . A speaking participant 701 is displayed at a higher first resolution and another participant 703 is displayed at a smaller second resolution. To code such a picture, the picture must contain a part with a single row and a part with three rows. To support this scenario with uniform tiling, the picture is divided into left and right tiles. Then the right tile is rewritten/readdressed to contain 3 rows. This re-addressing results in both compression and performance degradation. The flexible tiling scheme described below allows a single tile to be split into smaller tiles and mapped to tiles in the sub-picture bitstream associated with different participants 703 . In this way, a speaking participant 701 may be mapped directly to a first level tile and another participant 703 may be mapped to a second level tile partitioned from the first tile without such rewriting/re-addressing.

도 8a-8b는 동일한 픽처에서 상이한 해상도를 갖는 다수의 타일을 지원할 수 있는 예시적인 유연한 비디오 타일링 방식(800)을 도시한 개략도이다. 유연한 비디오 타일링 방식(800)은 보다 효율적인 코딩 메커니즘(600) 및 애플리케이션(700)을 지원하기 위해 사용될 수 있다. 따라서, 유연한 비디오 타일링 방식(800)은 방법(100)의 일부로서 사용될 수 있다. 또한, 유연한 비디오 타일링 방식(800)은 코덱 시스템(200), 인코더(300) 및/또는 디코더(400)에 의해 사용될 수 있다. 유연한 비디오 타일링 방식(800)의 결과는 인코더와 디코더 사이의 전송을 위해 비트스트림(500)에 저장될 수 있다.8A-8B are schematic diagrams illustrating an example flexible video tiling scheme 800 that can support multiple tiles with different resolutions in the same picture. The flexible video tiling scheme 800 may be used to support a more efficient coding mechanism 600 and applications 700 . Accordingly, the flexible video tiling scheme 800 may be used as part of the method 100 . Additionally, the flexible video tiling scheme 800 may be used by the codec system 200 , the encoder 300 and/or the decoder 400 . The result of the flexible video tiling scheme 800 may be stored in a bitstream 500 for transmission between an encoder and a decoder.

도 8a에 도시된 바와 같이, 픽처(예를 들어, 프레임, 이미지 등)는 레벨 1 타일로도 알려진 제1 레벨 타일(801)로 분할될 수 있다. 도 8b에 도시된 바와 같이, 제1 레벨 타일(801)은 레벨 2 타일로도 알려진 제2 레벨 타일(803)을 생성하기 위해 선택적으로 분할될 수 있다. 제1 레벨 타일(801) 및 제2 레벨 타일(803)은 다수의 해상도로 코딩된 서브 픽처를 갖는 픽처를 생성하기 위해 사용될 수 있다. 제1 레벨 타일(801)은 픽처를 열의 세트와 행의 세트로 완전히 분할하여 생성된 타일이다. 제2 레벨 타일(803)은 제1 레벨 타일(801)을 분할하여 생성된 타일이다.As shown in FIG. 8A , a picture (eg, a frame, an image, etc.) may be divided into first level tiles 801 , also known as level 1 tiles. As shown in FIG. 8B , a first level tile 801 may be selectively partitioned to create a second level tile 803 , also known as a level 2 tile. The first level tile 801 and the second level tile 803 may be used to generate a picture having subpictures coded with multiple resolutions. The first level tile 801 is a tile generated by completely dividing a picture into a set of columns and a set of rows. The second level tile 803 is a tile generated by dividing the first level tile 801 .

상기한 바와 같이, 다양한 시나리오에서 비디오는 예를 들어 VR 및/또는 원격 회의에서 복수의 해상도로 코딩될 수 있다. 비디오는 또한 각각의 해상도에서 슬라이스를 사용하여 코딩될 수도 있다. 저해상도 슬라이스는 고해상도 슬라이스보다 더 작다. 다수의 해상도를 갖는 픽처를 생성하기 위해, 픽처는 제1 레벨 타일(801)로 분할될 수 있다. 가장 높은 해상도의 슬라이스는 제1 레벨 타일(801)에 직접 포함될 수 있다. 또한, 제1 레벨 타일(801)은 제1 레벨 타일(801)보다 더 작은 제2 레벨 타일로 분할될 수 있다. 따라서, 더 작은 제2 레벨 타일(803)은 저해상도 슬라이스를 직접 수용할 수 있다. 이러한 방식으로, 일관된 주소지정 방식을 사용하기 위해 상이한 해상도 타일을 동적으로 재주소지정할 필요없이 각각의 해상도의 슬라이스가 예를 들어 타일 인덱스 관계를 통해 단일 픽처로 압축될 수 있다. 제1 레벨 타일(801) 및 제2 레벨 타일(803)은 MCTS로 구현될 수 있고, 따라서 상이한 해상도에서 모션 제약 이미지 데이터를 수용할 수 있다.As noted above, in various scenarios the video may be coded in multiple resolutions, for example in VR and/or teleconference. Video may also be coded using slices at each resolution. A low-resolution slice is smaller than a high-resolution slice. To create a picture with multiple resolutions, the picture may be divided into first level tiles 801 . The highest resolution slice may be directly included in the first level tile 801 . Also, the first level tile 801 may be divided into smaller second level tiles than the first level tile 801 . Thus, a smaller second level tile 803 can directly accommodate a lower resolution slice. In this way, slices of each resolution can be compressed into a single picture, for example via a tile index relationship, without the need to dynamically re-address different resolution tiles to use a consistent addressing scheme. The first level tile 801 and the second level tile 803 can be implemented with MCTS, and thus can accommodate motion constrained image data at different resolutions.

제1 레벨 타일(801) 및 제2 레벨 타일(803)은 또한 타일 그룹(811, 812 및/또는 813)에 할당될 수 있다. 타일 그룹(811, 812 및/또는 813)은 인코딩 및 디코딩 중에 유사한 처리를 받는 관련된 타일의 선택이다. 예로서, 타일 그룹(811, 812, 및/또는 813)은 상이한 해상도에서 상이한 서브 픽처를 저장하기 위해 사용될 수 있다. 상이한 타일 그룹(811, 812, 및/또는 813)은 상이한 파라미터를 가질 수 있고, 따라서 타일 그룹(811, 812 및/또는 813)은 상이한 서브 픽처가 인코더 및/또는 디코더에 의해 다르게 처리되도록 허용한다. 타일 그룹(811, 812 및/또는 813)은 여기에 설명된 기능을 지원하기 위해 래스터 스캔 순서 대신에 직사각형으로 제한될 수 있다. 정사각형은 직사각형의 특별한 경우이므로, 직사각형 형상은 정사각형 형상을 포함하는 것으로 이해되어야 함에 유의한다. 특정 예로서, 제1 레벨 타일(801)은 직사각형 타일 그룹(811, 812, 및/또는 813)에 할당될 수 있다. 그런 다음, 제1 레벨 타일(801)을 분할함으로써 생성된 제2 레벨 타일(803)은 각각 제2 레벨 타일(803)이 분할된 대응하는 제1 레벨 타일(801)과 연관된 직사각형 타일 그룹(811, 812, 및/또는 813)에 할당될 수 있다. 상기한 바와 같이, 타일 그룹(811, 812, 및/또는 813)은 직사각형이고 래스터 스캔이 아니다. 래스터 스캔 순서는 픽처의 오른쪽 면이 도달될 때까지 픽처를 가로 질러 왼쪽에서 오른쪽으로 CTU 순서로 진행된다. 그런 다음, 래스터 스캔은 CTU의 다음 줄로 이동하고 픽처의 왼쪽 면에서 오른쪽 면을 향해 이동한다. 예를 들어, 래스터 스캔 순서 타일 그룹은 도 8b에 도시된 바와 같이 래스터 스캔 순서가 아래로 이동하기 전에 픽처를 가로 질러 진행됨에 따라 제1 레벨 타일(801)만 또는 제2 레벨 타일(803)만을 포함할 수는 없다. 이와 같이, 직사각형 타일 그룹(811, 812 및/또는 813)은 상이한 해상도 서브 픽처를 포함할 수 있는 제1 레벨 타일(801) 및 제2 레벨 타일(803)만을 개별적으로 처리할 수 있게 한다.The first level tile 801 and the second level tile 803 may also be assigned to the tile groups 811 , 812 and/or 813 . A group of tiles 811 , 812 and/or 813 is a selection of related tiles that are subjected to similar processing during encoding and decoding. As an example, tile groups 811 , 812 , and/or 813 may be used to store different sub-pictures at different resolutions. Different tile groups 811 , 812 , and/or 813 may have different parameters, and thus tile groups 811 , 812 and/or 813 allow different subpictures to be processed differently by encoders and/or decoders. . Tile groups 811 , 812 , and/or 813 may be constrained to a rectangle instead of a raster scan order to support the functionality described herein. Note that since a square is a special case of a rectangle, a rectangular shape should be understood to include a square shape. As a specific example, first level tile 801 may be assigned to rectangular tile groups 811 , 812 , and/or 813 . Then, the second level tile 803 generated by dividing the first level tile 801 is a rectangular tile group 811 associated with the corresponding first level tile 801 from which the second level tile 803 is divided, respectively. , 812, and/or 813). As noted above, tile groups 811 , 812 , and/or 813 are rectangular and not raster scans. The raster scan order proceeds in CTU order from left to right across the picture until the right side of the picture is reached. Then, the raster scan moves to the next line of CTU and moves from the left side of the picture towards the right side. For example, a raster scan order tile group may only have first level tiles 801 or only second level tiles 803 as the raster scan order advances across the picture before moving down, as shown in FIG. 8B . cannot include As such, the rectangular tile groups 811 , 812 and/or 813 allow only the first level tile 801 and the second level tile 803 that may include different resolution subpictures to be processed separately.

본 개시는 많은 측면을 포함한다. 특정 예로서, 제1 레벨 타일(801)은 제2 레벨 타일(803)로 분할된다. 그 다음, 제2 레벨 타일(803)은 (예를 들어, 더 작은 해상도에서) 픽처 데이터의 단일 직사각형 슬라이스를 각각 포함하도록 제한될 수 있다. 직사각형 슬라이스는 직사각형 형상을 유지하도록 제한된 슬라이스이므로, 수평 및 수직 픽처 경계에 기초하여 코딩된다. 따라서, 직사각형 슬라이스는 래스터 스캔 그룹(왼쪽에서 오른쪽으로 그리고 위에서 아래로 선의 CTU를 포함하고 직사각형 형상을 유지하지 않을 수 있음)에 기초하여 코딩되지 않는다. 슬라이스는 동일한 프레임/픽처의 다른 영역과 별도로 인코딩되는 픽처/프레임의 공간적으로 구별되는 영역이다. 다른 예에서, 제1 레벨 타일(801)은 둘 이상의 완전한 제2 레벨 타일(803)로 분할될 수 있다. 이러한 경우에, 제1 레벨 타일(801)은 부분적인 제2 레벨 타일(803)을 포함하지 않을 수 있다. 다른 예에서, 제1 레벨 타일(801) 및 제2 레벨 타일(803)의 구성은 타일을 생성하기 위해 분할된 픽처와 연관된 PPS와 같은 비트스트림의 파라미터 세트로 시그널링될 수 있다. 일 예에서, 플래그와 같은 분할 지시는 각각의 제1 레벨 타일(801)에 대한 파라미터 세트로 코딩될 수 있다. 지시는 제1 레벨 타일(801)이 제2 레벨 타일(803)로 추가로 분할됨을 나타낸다. 다른 예에서, 제2 레벨 타일(803)의 구성은 다수의 제2 레벨 타일 열 및 다수의 제2 레벨 타일 행으로서 시그널링될 수 있다.The present disclosure encompasses many aspects. As a specific example, a first level tile 801 is divided into a second level tile 803 . Second level tiles 803 can then be constrained to each contain a single rectangular slice of picture data (eg, at a smaller resolution). Since a rectangular slice is a slice constrained to maintain a rectangular shape, it is coded based on horizontal and vertical picture boundaries. Thus, rectangular slices are not coded based on raster scan groups (which may contain CTUs of lines from left to right and top to bottom and not retain a rectangular shape). A slice is a spatially distinct region of a picture/frame that is encoded separately from other regions of the same frame/picture. In another example, the first level tile 801 may be divided into two or more complete second level tiles 803 . In this case, the first level tile 801 may not include the partial second level tile 803 . In another example, the configuration of the first level tile 801 and the second level tile 803 may be signaled as a parameter set of a bitstream, such as a PPS associated with a picture partitioned to generate the tile. In one example, a partition indication, such as a flag, may be coded into a parameter set for each first level tile 801 . The indication indicates that the first level tile 801 is further divided into second level tiles 803 . In another example, the configuration of second level tiles 803 may be signaled as multiple second level tile columns and multiple second level tile rows.

다른 예에서, 제1 레벨 타일(801) 및 제2 레벨 타일(803)은 타일 그룹으로 할당될 수 있다. 이러한 타일 그룹은 대응하는 타일 그룹의 모든 타일이 픽처의 직사각형 영역을 덮도록 제한되도록 제한될 수 있다(예를 들어, 래스터 스캔과 대조적임). 예를 들어, 일부 시스템은 래스터 스캔 순서로 타일 그룹에 타일을 추가할 수 있다. 이것은 현재 행에 초기 타일을 추가하고, 현재 행의 왼쪽 픽처 경계가 도달될 때까지 행에 각각의 타일을 추가하며, 다음 행의 오른쪽 경계로 진행하고, 최종 타일이 도달될 때까지 다음 행에 각각의 타일을 추가하는 등을 포함한다. 이러한 접근 방식은 픽처를 가로 질러 확장되는 비 직사각형 형상이 될 수 있다. 이러한 형상은 여기에서 설명된 바와 같이 다수의 해상도로 픽처를 생성하는 데 유용하지 않을 수 있다. 대신에, 본 예는 임의의 제1 레벨 타일(801) 및/또는 제2 레벨 타일(803)이 (예를 들어, 임의의 순서로) 타일 그룹에 추가될 수 있도록 타일 그룹을 제한할 수 있지만, 결과적인 타일 그룹은 직사각형 또는 정사각형(예를 들어, 직각으로 연결된 네 개의 면을 포함함)이어야 한다. 이러한 제약은 단일 제1 레벨 타일(801)로부터 분할된 제2 레벨 타일(803)이 상이한 타일 그룹에 배치되지 않는 것을 보장할 수 있다.In another example, the first level tile 801 and the second level tile 803 may be allocated as a tile group. This group of tiles may be constrained such that all tiles in the corresponding group of tiles are constrained to cover a rectangular area of the picture (as opposed to raster scan, for example). For example, some systems may add tiles to a group of tiles in raster scan order. This adds the initial tile to the current row, adds each tile to the row until the left picture boundary of the current row is reached, advances to the right border of the next row, and each to the next row until the final tile is reached. including adding tiles of This approach can result in a non-rectangular shape that extends across the picture. Such shapes may not be useful for creating pictures at multiple resolutions as described herein. Instead, this example may limit the tile group such that any first level tile 801 and/or second level tile 803 can be added to the tile group (eg, in any order), but , the resulting tile group must be rectangular or square (eg, containing four faces connected at right angles). This constraint may ensure that the second level tile 803 divided from the single first level tile 801 is not placed in different tile groups.

다른 예로서, 제1 레벨 타일 폭이 최소 폭 임계값의 두 배보다 작고 제1 레벨 타일 높이가 최소 높이 임계값의 두 배보다 작은 경우 다수의 제2 레벨 타일 열 및 다수의 제2 레벨 타일 행을 명시적으로 지시하는 데이터가 비트스트림에서 생략될 수 있다. 이는 그러한 조건을 충족하는 제1 레벨 타일(801)이 각각 하나 이상의 열 또는 하나의 행으로 분할되지 않을 수 있고, 따라서 그러한 정보가 디코더에 의해 추론될 수 있기 때문이다. 다른 예에서, 제1 레벨 타일(801)이 제2 레벨 타일(803)로 분할도미을 지시하는 분할 지시는 제1 레벨 타일(801)에 대한 비트스트림에서 생략될 수 있다. 예를 들어, 이러한 데이터는 제1 레벨 타일(801)이 최소 폭 임계값보다 작은 제1 레벨 타일(801)을 가지며 제1 레벨 타일 높이가 최소 높이 임계값보다 작은 경우에 생략될 수 있다. 이는 그러한 조건을 충족하는 제1 레벨 타일(801)이 너무 작아서 제2 레벨 타일(803)로 분할될 수 없기 때문이며, 따라서 그러한 정보는 디코더에 의해 추론될 수 있다.As another example, a plurality of second level tile columns and a plurality of second level tile rows when the first level tile width is less than twice the minimum width threshold and the first level tile height is less than twice the minimum height threshold. Data explicitly indicating ? may be omitted from the bitstream. This is because the first level tile 801 satisfying such a condition may not be divided into one or more columns or one row, respectively, and thus such information may be inferred by the decoder. In another example, a division instruction indicating that the first level tile 801 is divided into the second level tile 803 may be omitted from the bitstream for the first level tile 801 . For example, such data may be omitted when the first level tile 801 has the first level tile 801 smaller than the minimum width threshold and the first level tile height is smaller than the minimum height threshold. This is because the first level tile 801 satisfying such a condition is too small to be divided into the second level tile 803 , and thus such information can be inferred by the decoder.

전술한 바와 같이, 유연한 비디오 타일링 방식(800)은 상이한 비트스트림으로부터의 서브 픽처를 다수의 해상도를 포함하는 픽처로 병합하는 것을 지원한다. 다음은 이러한 기능을 지원하는 다양한 실시예를 설명한다. 일반적으로, 본 개시는 HEVC의 타일링 방식보다 더 유연한 방식으로 픽처를 분할하는 비디오 코딩에서 타일의 시그널링 및 코딩을 위한 방법을 설명한다. 보다 구체적으로, 본 개시는 일부 타일링 방식을 설명하며, 여기서 타일 열은 코딩된 픽처의 상단에서 하단으로 균일하게 확장되지 않을 수 있고 마찬가지로 타일 행은 코딩된 픽처의 왼쪽에서 오른쪽으로 균일하게 확장되지 않을 수 있다.As described above, the flexible video tiling scheme 800 supports merging subpictures from different bitstreams into pictures with multiple resolutions. The following describes various embodiments that support these functions. In general, this disclosure describes a method for signaling and coding a tile in video coding that divides a picture in a more flexible manner than the tiling scheme of HEVC. More specifically, this disclosure describes some tiling schemes, in which tile columns may not extend uniformly from top to bottom of a coded picture and likewise rows of tiles may not extend uniformly from left to right of a coded picture. can

예를 들어, HEVC 타일링 접근 방식법에 기초하여, 일부 타일은 도 6a-6e 및 7에서 설명된 기능을 지원하기 위해 다수의 타일 행으로 추가로 분할되어야 한다. 또한, 타일이 위치되는 방법에 따라, 타일은 타일 열로 추가로 분할되어야 한다. 예를 들어, 도 7에서, 참가자 2-4명은 경우에 따라 참가자 1 아래에 배치될 수 있으며, 이는 타일을 열로 분할함으로써 지원될 수 있다. 이러한 시나리오를 만족시키기 위해, 제1 레벨 타일은 아래에 설명된 바와 같이 제2 레벨 타일의 타일 행과 타일 열로 분할될 수 있다.For example, based on the HEVC tiling approach, some tiles must be further divided into multiple tile rows to support the functionality described in FIGS. 6A-6E and 7 . Also, depending on how the tiles are placed, the tiles must be further divided into rows of tiles. For example, in FIG. 7 , 2-4 participants may optionally be placed below participant 1, which may be supported by splitting tiles into columns. To satisfy this scenario, the first level tiles may be divided into tile rows and tile columns of the second level tiles as described below.

예를 들어, 타일 구조는 다음과 같이 완화될 수 있다. 동일한 픽처의 타일은 특정 수량의 타일 행일 필요는 없다. 또한, 동일한 픽처의 타일은 특정 수량의 타일 열일 필요는 없다. 유연한 타일의 시그널링을 위해, 다음 단계가 사용될 수 있다. 제1 레벨 타일 구조는 HEVC에 정의된 바와 같이 타일 열 및 타일 행에 의해 정의될 수 있다. 타일 열과 타일 행은 크기가 균일하거나 균일하지 않을 수 있다. 이러한 타일 각각은 제1 레벨 타일로 지칭될 수 있다. 각각의 제1 레벨 타일이 하나 이상의 타일 열과 하나 이상의 타일 행으로 추가로 분할되는지 여부를 지정하기 위해 플래그가 시그널링될 수 있다. 제1 레벨 타일이 추가로 분할되면, 타일 열과 타일 행은 크기가 균일하거나 균일하지 않을 수 있다. 제1 레벨 타일의 분할로 인한 새로운 타일은 제2 레벨 타일로 지칭된다. 유연한 타일 구조는 제2 레벨 타일로만 제한될 수 있으며, 따라서 일부 예에서 임의의 제2 레벨 타일의 추가 분할이 허용되지 않는다. 다른 예에서, 제1 레벨 타일로부터 제2 레벨 타일을 생성하는 것과 유사한 방식으로 후속 레벨 타일을 생성하기 위해 제2 레벨 타일의 추가 분할이 적용될 수 있다.For example, the tile structure may be relaxed as follows. Tiles of the same picture do not have to be a specific number of tile rows. Also, the tiles of the same picture do not have to be a specific number of tile columns. For signaling of flexible tiles, the following steps may be used. The first level tile structure may be defined by tile columns and tile rows as defined in HEVC. Tile columns and tile rows may or may not be uniform in size. Each of these tiles may be referred to as a first level tile. A flag may be signaled to specify whether each first level tile is further divided into one or more tile columns and one or more tile rows. When the first level tiles are further divided, the tile columns and the tile rows may or may not have uniform sizes. A new tile resulting from the division of the first level tile is referred to as a second level tile. The flexible tile structure may be limited to only second level tiles, and thus further division of any second level tiles is not allowed in some examples. In another example, further segmentation of the second level tiles may be applied to generate subsequent level tiles in a similar manner to generating second level tiles from first level tiles.

단순화를 위해, 제1 레벨 타일이 둘 이상의 제2 레벨 타일로 분할되는 경우, 분할은 항상 균일한 크기의 타일 열과 균일한 타일 행을 사용할 수 있다. 이러한 접근 방식에 의해 정의된 유연한 타일의 타일 위치, 크기, 인덱스 및 스캔 순서의 도출은 아래에 설명된다. 단순화를 위해, 그러한 유연한 타일 구조가 사용되는 경우, 타일 그룹은 하나 이상의 완전한 제1 레벨 타일을 포함하도록 제한될 수 있다. 본 예에서, 타일 그룹이 제2 레벨 타일을 포함하는 경우, 동일한 제1 레벨 타일의 분할로부터 생성된 모든 제2 레벨 타일은 타일 그룹에 포함되어야 한다. 이러한 유연한 타일 구조가 사용되는 경우, 타일 그룹은 하나 이상의 타일을 포함하고 모든 타일은 함께 픽처의 직사각형 영역을 덮는 타일 그룹에 속한다는 것이 또한 제한될 수 있다. 또 다른 측면에서, 그러한 유연한 타일 구조가 사용되는 경우, 타일 그룹은 하나 이상의 제1 레벨 타일을 포함하고 모든 타일은 함께 픽처의 직사각형 영역을 덮는 타일 그룹에 속한다.For simplicity, when a first level tile is divided into two or more second level tiles, the division may always use a tile column of a uniform size and a uniform tile row. The derivation of the tile position, size, index and scan order of the flexible tiles defined by this approach is described below. For simplicity, when such a flexible tile structure is used, the tile group may be constrained to include one or more complete first level tiles. In this example, when a tile group includes second-level tiles, all second-level tiles generated from division of the same first-level tile should be included in the tile group. When such a flexible tile structure is used, it may also be restricted that a tile group contains one or more tiles and all tiles belong to a tile group that together cover a rectangular area of the picture. In another aspect, when such a flexible tile structure is used, a tile group includes one or more first level tiles and all tiles belong to a tile group that together cover a rectangular area of the picture.

일 예에서, 유연한 타일의 시그널링은 다음과 같을 수 있다. 최소 타일 폭 및 최소 타일 높이는 정의된 값이다. 제1 레벨 타일 구조는 타일 열과 타일 행으로 정의될 수 있다. 타일 열과 타일 행은 크기가 균일하거나 균일하지 않을 수 있다. 이러한 타일 각각은 제1 레벨 타일로 지칭될 수 있다. 제1 레벨 타일 중 어느 것이 추가로 분할될 수 있는지 여부를 지정하기 위해 플래그가 시그널링될 수 있다. 이러한 플래그는 각각의 제1 레벨 타일의 폭이 최소 타일 폭의 두 배보다 크지 않고 각각의 제1 레벨 타일의 높이가 최소 타일 높이의 두 배보다 크지 않은 경우에 존재하지 않을 수 있다. 존재하지 않는 경우, 플래그의 값은 0과 같은 것으로 추론된다.In one example, the signaling of the flexible tile may be as follows. Minimum tile width and minimum tile height are defined values. The first level tile structure may be defined by tile columns and tile rows. Tile columns and tile rows may or may not be uniform in size. Each of these tiles may be referred to as a first level tile. A flag may be signaled to specify which of the first level tiles may be further divided. This flag may not be present if the width of each first level tile is not greater than twice the minimum tile width and the height of each first level tile is not greater than twice the minimum tile height. If not present, the value of the flag is inferred to be equal to 0.

예에서, 다음은 각각의 제1 레벨 타일에 적용된다. 제1 레벨 타일이 하나 이상의 타일 열과 하나 이상의 타일 행으로 추가로 분할되는지 여부를 지정하기 위해 플래그가 시그널링될 있다. 플래그의 존재는 다음과 같이 제한될 수 있다. 제1 레벨 타일 폭이 최소 타일 폭보다 크거나 또는 제1 레벨 타일 높이가 최소 타일 높이보다 크면, 플래그가 존재하고/시그널링된다. 그렇지 않으면, 플래그는 존재하지 않고 플래그의 값은 제1 레벨 타일이 더 이상 분할되지 않음을 지시하는 0과 같은 것으로 추론된다. In the example, the following applies to each first level tile. A flag may be signaled to specify whether the first level tile is further split into one or more tile columns and one or more tile rows. The presence of flags can be limited as follows. If the first level tile width is greater than the minimum tile width or the first level tile height is greater than the minimum tile height, the flag is present/signaled. Otherwise, the flag is not present and the value of the flag is inferred to be equal to 0 indicating that the first level tile is no longer split.

제1 레벨 타일이 더 분할되면, 이러한 분할에 대한 타일 열의 개수와 타일 행의 개수가 추가로 시그널링될 수 있다. 타일 열과 타일 행은 크기가 균일하거나 균일하지 않을 수 있다. 제1 레벨 타일의 분할로 생성된 타일은 제2 레벨 타일로 지칭된다. 타일 열의 개수와 타일 행의 개수의 존재는 다음과 같이 제한될 수 있다. 제1 레벨 타일 폭이 최소 타일 폭의 두 배보다 작은 경우, 타일 열의 개수가 시그널링되지 않을 수 있으며 타일 열의 개수 값은 1과 동일하다고 추론될 수 있다. 시그널링은 시그널링된 신택스 요소 값이 0이 될 수 있고 타일 열의 개수가 신택스 요소의 값에 1을 더한 값이 되도록 _minus1 신택스 요소를 사용할 수 있다. 이러한 접근 방식은 시그널링 데이터를 추가로 압축할 수 있다. 제1 레벨 타일 높이가 최소 타일 높이의 2배보다 작은 경우, 타일 행의 개수는 시그널링되지 않을 수 있으며 타일 행의 개수 값은 0과 동일하다고 추론될 수 있다. 시그널링된 신택스 요소 값은 0일 수 있고 타일 행의 개수는 시그널링 데이터를 추가로 압축하기 위해 신택스 요소 값에 1을 더한 값일 수 있다. 제1 레벨 타일의 분할로 인해 생성된 타일은 제2 레벨 타일로 지칭될 수 있다. 유연한 타일 구조는 임의의 제2 레벨 타일의 추가 분할이 허용되지 않을 수 있도록 제2 레벨 타일로만 제한될 수 있다. 다른 예에서, 제1 레벨 타일을 제2 레벨 타일로 분할하는 것과 유사한 방식으로 제2 레벨 타일의 추가 분할이 적용될 수 있다.If the first level tile is further divided, the number of tile columns and the number of tile rows for this division may be further signaled. Tile columns and tile rows may or may not be uniform in size. A tile generated by dividing the first level tile is referred to as a second level tile. The existence of the number of tile columns and the number of tile rows may be limited as follows. When the first level tile width is less than twice the minimum tile width, the number of tile columns may not be signaled and it may be inferred that the value of the number of tile columns is equal to 1. Signaling may use the _minus1 syntax element so that the signaled syntax element value may be 0 and the number of tile columns is a value obtained by adding 1 to the value of the syntax element. This approach may further compress the signaling data. If the first level tile height is less than twice the minimum tile height, the number of tile rows may not be signaled and it may be inferred that the number of tile rows value is equal to 0. The signaled syntax element value may be 0 and the number of tile rows may be a value obtained by adding 1 to the syntax element value to further compress the signaling data. A tile generated due to the division of the first level tile may be referred to as a second level tile. The flexible tile structure may be limited to only second level tiles so that further division of any second level tiles may not be allowed. In another example, further partitioning of second level tiles may be applied in a similar manner to partitioning of first level tiles into second level tiles.

예에서, 유연한 타일 구조의 시그널링은 다음과 같을 수 있다. 픽처가 하나 이상의 타일을 포함하는 경우, 플래그와 같은 신호는 대응하는 타일 그룹에 의해 직접 또는 간접적으로 참조되는 파라미터 세트에서 사용될 수 있다. 플래그는 대응하는 타일 구조가 균일한 타일 구조인지 또는 불균일한 타일 구조(예를 들어, 여기에서 설명된 바와 같은 유연한 타일 구조)인지 여부를 지정할 수 있다. 플래그는 uniform_tile_structure_flag라고 할 수 있다. uniform_tile_structure_flag가 1과 같은 경우, 예를 들어 단일 레벨의 균일한 타일을 지시하기 위해 num_tile_columns_minus1 및 num_tile_rows_minus1을 시그널링함으로써 HEVC 스타일의 균일한 타일 구조의 시그널링이 사용된다. uniform_tile_structure_flag가 0과 같은 경우, 다음의 정보가 또한 시그널링될 수 있다. 픽처의 타일 개수는 픽처의 타일 개수(NumTilesInPic)가 num_tiles_minus2 + 2임을 지시하는 신택스 요소 num_tiles_minus2에 의해 시그널링될 수 있다. 이는 픽처가 디폴트로 타일일 것으로 고려될 수 있기 때문에 시그널링 중에 비트 절약을 초래할 수 있다. 마지막 타일을 제외한 각각의 타일에 대해, 제1 코딩 블록(예를 들어, CTU)의 주소와 타일의 마지막 코딩 블록이 시그널링된다. 코딩 블록의 주소는 픽처 내 블록의 인덱스(예를 들어, 픽처 내 CTU의 인덱스)일 수 있다. 이러한 코딩 블록에 대한 신택스 요소는 tile_first_block_address[i] 및 tile_last_block_address[i]일 수 있다. 이러한 신택스 요소는 ue(v) 또는 u(v)로서 코딩될 수 있다. 신택스 요소가 u(v)로서 코딩되는 경우, 각각의 신택스 요소를 나타내는데 사용되는 비트 개수는 ceil(log2(픽처 내 코딩 블록의 최대 개수))이다. 마지막 타일의 제1 및 마지막 코딩 블록의 주소는 시그널링되지 않을 수 있으며, 대신에 루마 샘플의 픽처 크기 및 픽처의 다른 모든 타일의 집계에 기초하여 도출될 수 있다.In an example, the signaling of the flexible tile structure may be as follows. When a picture contains more than one tile, a signal such as a flag may be used in a parameter set referenced directly or indirectly by the corresponding tile group. The flag may specify whether the corresponding tile structure is a uniform tile structure or a non-uniform tile structure (eg, a flexible tile structure as described herein). The flag can be called uniform_tile_structure_flag. When uniform_tile_structure_flag is equal to 1, for example, signaling of a uniform tile structure of HEVC style is used by signaling num_tile_columns_minus1 and num_tile_rows_minus1 to indicate a uniform tile of a single level. If uniform_tile_structure_flag is equal to 0, the following information may also be signaled. The number of tiles of a picture may be signaled by a syntax element num_tiles_minus2 indicating that the number of tiles (NumTilesInPic) of a picture is num_tiles_minus2 + 2. This may result in bit savings during signaling since a picture may be considered to be a tile by default. For each tile except the last tile, the address of the first coding block (eg, CTU) and the last coding block of the tile are signaled. The address of the coding block may be the index of the block within the picture (eg, the index of the CTU within the picture). The syntax elements for this coding block may be tile_first_block_address[i] and tile_last_block_address[i]. This syntax element may be coded as ue(v) or u(v). When a syntax element is coded as u(v), the number of bits used to represent each syntax element is ceil(log2(maximum number of coding blocks in a picture)). The addresses of the first and last coding blocks of the last tile may not be signaled, but instead may be derived based on the picture size of the luma samples and the aggregation of all other tiles of the picture.

일 예에서, 타일의 제1 및 마지막 코딩 블록의 주소를 시그널링 하는 대신에, 마지막 타일을 제외한 각각의 타일에 대해, 타일의 제1 코딩 블록의 주소 및 타일의 폭 및 높이가 시그널링될 수 있다. 다른 예에서, 타일의 제1 및 마지막 코딩 블록의 주소를 시그널링하는 대신에 마지막 타일을 제외한 각각의 타일에 대해, 픽처의 원본(예를 들어, 픽처의 왼쪽 상단)에 대한 타일의 왼쪽 상단 지점의 오프셋 및 타일의 폭 및 높이가 시그널링될 수 있다. 또 다른 예에서, 타일의 제1 및 마지막 코딩 블록의 주소를 시그널링하는 대신에, 마지막 타일을 제외한 각각의 타일에 대해, 다음 정보가 시그널링될 수 있다. 타일의 폭 및 높이가 시그널링될 수 있다. 또한, 각각의 타일의 위치가 시그널링되지 않을 수 있다. 대신에 타일을 바로 오른쪽 또는 이전 타일 바로 아래에 배치할지 여부를 지정하기 위해 플래그가 시그널링될 수 있다. 이러한 플래그는 타일이 오른쪽에만 있을 수 있거나 또는 이전 타일 아래에만 있을 수 있는 경우 존재하지 않을 수 있다. 제1 타일의 왼쪽 상단 오프셋은 항상 픽처의 원점/왼쪽 상단으로 설정될 수 있다(예를 들어, x = 0 및 y = 0).In one example, instead of signaling the address of the first and last coding block of a tile, for each tile except the last tile, the address of the first coding block of the tile and the width and height of the tile may be signaled. In another example, instead of signaling the addresses of the first and last coding blocks of the tile, for each tile except the last tile, the top-left point of the tile relative to the original (eg, top-left of the picture) of the picture. The offset and the width and height of the tile may be signaled. In another example, instead of signaling the addresses of the first and last coding blocks of a tile, for each tile except the last tile, the following information may be signaled. The width and height of the tile may be signaled. Also, the position of each tile may not be signaled. Instead, a flag may be signaled to specify whether to place the tile immediately to the right or immediately below the previous tile. These flags may not be present if the tile can only be on the right or only below the previous tile. The upper-left offset of the first tile may always be set to the origin/upper-left of the picture (eg, x = 0 and y = 0).

시그널링 효율을 위해, 고유한 타일 크기의 세트(예를 들어, 폭 및 높이)가 시그널링될 수 있다. 이러한 고유한 타일 크기의 리스트는 각각의 타일 크기의 시그널링을 포함하는 루프로부터의 인덱스에 의해 참조될 수 있다. 일부 예에서, 시그널링된 타일 구조로부터 도출된 타일 위치 및 크기는 임의의 타일 사이에 갭 및 중첩이 발생하지 않음을 보장하기 위해 분할을 제한해야 한다.For signaling efficiency, a set of unique tile sizes (eg, width and height) may be signaled. This list of unique tile sizes can be referenced by the index from the loop containing the signaling of each tile size. In some examples, the tile position and size derived from the signaled tile structure should constrain the partitioning to ensure that gaps and overlaps do not occur between any tiles.

다음과 같은 제약이 또한 적용될 수 있다. 타일 형상은 직사각형일 필요가 있다(예를 들어, 래스터 스캔 형상이 아님). 픽처의 타일 유닛은 타일 사이에 임의의 갭 및 임의의 중첩없이 픽처를 커버해야 한다. 하나의 코어만으로 디코딩이 수행되는 경우, 픽처의 왼쪽 경계에 있지 않은 현재 코딩 블록(예를 들어, CTU)의 코딩을 위해, 현재 코딩 블록 전에 왼쪽의 이웃 코딩 블록이 디코딩되어야 한다. 하나의 코어만으로 디코딩이 수행되는 경우, 픽처의 상단 경계에 있지 않은 현재 코딩 블록(예를 들어, CTU)의 코딩을 위해, 상단의 이웃 코딩 블록이 현재 코딩 블록보다 디코딩되어야 한다. 두 개의 타일이 서로 옆에 있는 타일 인덱스(예를 들어, idx 3 및 idx 4)를 갖는 경우, 다음 중 하나가 참이다. 두 개의 타일은 수직 경계를 공유하고 그리고/또는 제1 타일이 크기(Wa 및 Ha는 그의 폭 및 높이를 나타냄)를 가지면서 (Xa, Ya)에 왼쪽 상단 위치를 갖는 경우 그리고 제2 타일이 (Xb, Yb)에 왼쪽 상단 위치를 갖는 경우에 Yb = Ya + Ha이다.The following restrictions may also apply. The tile shape needs to be rectangular (eg not a raster scan shape). A tile unit of a picture should cover the picture without any gaps and any overlap between tiles. When decoding is performed with only one core, for coding of the current coding block (eg, CTU) that is not on the left boundary of the picture, the left neighboring coding block must be decoded before the current coding block. When decoding is performed with only one core, for coding of the current coding block (eg, CTU) that is not on the upper boundary of the picture, the upper neighboring coding block must be decoded than the current coding block. If two tiles have tile indices next to each other (eg, idx 3 and idx 4), one of the following is true: two tiles share a vertical boundary and/or if the first tile has a size (Wa and Ha represent its width and height) and has a top-left position at (Xa, Ya) and the second tile has (Xa, Ya) Yb = Ya + Ha in the case of having the upper left position in Xb, Yb).

다음 제약이 또한 적용될 수 있다. 타일이 하나 이상의 왼쪽 이웃 타일을 갖는 경우, 타일의 높이는 모든 왼쪽 이웃 타일의 높이의 합과 같아야 한다. 타일이 하나 이상의 오른쪽 이웃 타일을 갖는 경우, 타일의 높이는 모든 왼쪽 이웃 타일의 높이의 합과 같아야 한다. 타일이 하나 이상의 상단 이웃 타일을 갖는 경우, 타일의 폭은 모든 상단 이웃 타일의 폭의 합과 같아야 한다. 타일이 하나 이상의 하단 이웃 타일을 갖는 경우, 타일의 폭은 모든 하단 이웃 타일의 폭의 합과 같아야 한다.The following restrictions may also apply. If a tile has more than one left neighboring tile, the height of the tile must be equal to the sum of the heights of all left neighboring tiles. If a tile has more than one right neighboring tile, the height of the tile must be equal to the sum of the heights of all left neighboring tiles. If a tile has more than one top neighbor tile, the width of the tile must be equal to the sum of the widths of all top neighbor tiles. If a tile has more than one bottom neighbor tile, the width of the tile must be equal to the sum of the widths of all bottom neighbor tiles.

다음은 전술한 측면의 특정 예시 실시예이다. CTB 래스터 및 타일 스캐닝 프로세스는 다음과 같을 수 있다. CTB의 유닛으로 i번째 제1 레벨 타일 열의 폭을 지정하는, 0에서 num_level1_tile_columns_minus1(포함함)까지의 범위인 i에 대한 리스트 ColWidth[i]는 다음의 (6-1)과 같이 도출될 수 있다.The following are specific illustrative embodiments of the aforementioned aspects. The CTB raster and tile scanning process may be as follows. The list ColWidth[i] for i in the range from 0 to num_level1_tile_columns_minus1 (inclusive), which specifies the width of the i-th first level tile column in units of CTB, may be derived as follows (6-1).

(6-1)(6-1)

if( uniform_level1_tile_spacing_flag )if( uniform_level1_tile_spacing_flag )

for( i = 0; i <= num_level1_tile_columns_minus1; i++ )for( i = 0; i <= num_level1_tile_columns_minus1; i++ )

ColWidth[i] = ((i　+　1) * PicWidthInCtbsY　) / ColWidth[i] = ((i　+　1) * PicWidthInCtbsY　) /

(　num_level1_tile_columns_minus1　+　1　) - (　num_level1_tile_columns_minus1　+　1　) -

(　i * PicWidthInCtbsY　) / (　num_level1_tile_columns_minus1　+　1　) (　i * PicWidthInCtbsY　) / (　num_level1_tile_columns_minus1　+　1　)

else {else {

ColWidth[　num_level1_tile_columns_minus1　] = PicWidthInCtbsY ColWidth[　num_level1_tile_columns_minus1　] = PicWidthInCtbsY

for( i = 0; i < num_level1_tile_columns_minus1; i++ ) { for( i = 0; i < num_level1_tile_columns_minus1; i++ ) {

ColWidth[i] = tile_level1_column_width_minus1[i] + 1 ColWidth[i] = tile_level1_column_width_minus1[i] + 1

ColWidth[　num_tile_level1_columns_minus1　] -= ColWidth[i] ColWidth[　num_tile_level1_columns_minus1　] -= ColWidth[i]

} }

}}

CTB 유닛으로 j번째 타일 행의 높이를 지정하는, 0부터 num_level1_tile_rows_minus1(포함함)까지의 j에 대한 리스트 RowHeight[j]는 다음의 (6-2)와 같이 도출될 수 있다.A list RowHeight[j] for j from 0 to num_level1_tile_rows_minus1 (inclusive), which designates the height of the j-th tile row in CTB units, may be derived as follows (6-2).

(6-2)(6-2)

if( uniform_level1_tile_spacing_flag )if( uniform_level1_tile_spacing_flag )

for( j = 0; j <= num_level1_tile_rows_minus1; j++ ) for( j = 0; j <= num_level1_tile_rows_minus1; j++ )

RowHeight[j] = (( j + 1 ) * PicHeightInCtbsY ) / RowHeight[j] = (( j + 1 ) * PicHeightInCtbsY ) /

( num_level1_tile_rows_minus1　+　1 ) - ( num_level1_tile_rows_minus1　+　1 ) -

( j * PicHeightInCtbsY ) / ( num_level1_tile_rows_minus1　+　1 ) ( j * PicHeightInCtbsY ) / ( num_level1_tile_rows_minus1　+　1 )

else {else {

RowHeight[　num_level1_tile_rows_minus1　] = PicHeightInCtbsY RowHeight[　num_level1_tile_rows_minus1　] = PicHeightInCtbsY

for( j = 0; j < num_level1_tile_rows_minus1; j++ ) { for( j = 0; j < num_level1_tile_rows_minus1; j++ ) {

RowHeight[j] = tile_level1_row_height_minus1[j] + 1 RowHeight[j] = tile_level1_row_height_minus1[j] + 1

RowHeight[　num_level1_tile_rows_minus1　] -= RowHeight[j] RowHeight[　num_level1_tile_rows_minus1　] -= RowHeight[j]

} }

}}

CTB 유닛으로 i번째 타일 열 경계의 위치를 지정하는, 0에서 num_level1_tile_columns_minus1 + 1(포함함)까지의 i에 대한 리스트 colBd[i]는 다음의 (6-3)과 같이 도출될 수 있다.A list colBd[i] for i from 0 to num_level1_tile_columns_minus1 + 1 (inclusive), which specifies the position of the i-th tile column boundary in CTB units, may be derived as follows (6-3).

(6-3)(6-3)

for( colBd[0] = 0, i = 0; i <= num_level1_tile_columns_minus1; i++ )for( colBd[0] = 0, i = 0; i <= num_level1_tile_columns_minus1; i++ )

colBd[i　+　1] = colBd[i] + ColWidth[i] colBd[i　+　1] = colBd[i] + ColWidth[i]

CTB 유닛으로 j번째 타일 행 경계의 위치를 지정하는, 0부터 num_level1_tile_rows_minus1 + 1(포함함)까지의 j에 대한 리스트 rowBd[j]는 다음의 (6-4)와 같이 도출될 수 있다.A list rowBd[j] for j from 0 to num_level1_tile_rows_minus1 + 1 (inclusive), which specifies the position of the j-th tile row boundary in CTB units, may be derived as follows (6-4).

(6-4)(6-4)

for( rowBd[0] = 0, j = 0; j <= num_level1_tile_rows_minus1; j++ )for( rowBd[0] = 0, j = 0; j <= num_level1_tile_rows_minus1; j++ )

rowBd[j　+　1] = rowBd[j] + RowHeight[j] rowBd[j　+　1] = rowBd[j] + RowHeight[j]

PPS를 참조하는 픽처의 타일 개수를 지정하는 변수 NumTilesInPic, 및 CTB 유닛으로 i번째 타일 열 경계의 위치, CTB 유닛으로 i번째 타일 행 경계의 위치, CTB 유닛으로 i번째 타일 열의 폭, 및 CTB 유닛으로 i번째 타일 열의 높이를 지정하는, 0에서 NumTilesInPic-1(포함함)까지의 i에 대한 리스트 TileColBd[i], TileRowBd[i], TileWidth[i] 및 TileHeight[i]는 다음의 (6-5)와 같이 도출될 수 있다. A variable NumTilesInPic that specifies the number of tiles in the picture referring to PPS, and the position of the ith tile column boundary in CTB units, the position of the ith tile row boundary in CTB units, the width of the ith tile column in CTB units, and the width of the ith tile column in CTB units. A list of i from 0 to NumTilesInPic-1 (inclusive), specifying the height of the i-th tile column TileColBd[i], TileRowBd[i], TileWidth[i], and TileHeight[i] are: ) can be derived as

(6-5)(6-5)

for ( tileIdx = 0, i = 0; i < NumLevel1Tiles; i++ ) {for ( tileIdx = 0, i = 0; i < NumLevel1Tiles; i++ ) {

tileX = i % ( num_level1_tile_columns_minus1 + 1 ) tileX = i % ( num_level1_tile_columns_minus1 + 1 )

tileY = i / ( num_level1_tile_columns_minus1 + 1 ) tileY = i / ( num_level1_tile_columns_minus1 + 1 )

if ( !level2_tile_split_flag[i]) { if ( !level2_tile_split_flag[i]) {

TileColBd[tileIdx] = colBd[tileX] TileColBd[tileIdx] = colBd[tileX]

TileRowBd[tileIdx] = rowBd[tileY] TileRowBd[tileIdx] = rowBd[tileY]

TileWidth[tileIdx] = ColWidth[tileX] TileWidth[tileIdx] = ColWidth[tileX]

TileHeight[tileIdx]　= RowHeight[tileY] TileHeight[tileIdx]　= RowHeight[tileY]

tileIdx++ tileIdx++

} else { } else {

for( k = 0; k <= num_level2_tile_columns_minus1[i]; k++ ) for( k = 0; k <= num_level2_tile_columns_minus1[i]; k++ )

colWidth2[k] = (　(　k　+　1　) * ColWidth[tileX　]) / colWidth2[k] = (　(　k　+　1　) * ColWidth[tileX　]) /

(　num_level2_tile_columns_minus1[i]　+　1　) - (　num_level2_tile_columns_minus1[i]　+　1　) -

(　k * ColWidth[tileX]　) / (　num_level2_tile_columns_minus1[　i　]　+　1　) (　k * ColWidth[tileX]　) / (　num_level2_tile_columns_minus1[　i　]　+　1　)

for( k = 0; k <= num_level2_tile_rows_minus1[i]; k++ ) for( k = 0; k <= num_level2_tile_rows_minus1[i]; k++ )

rowHeight2[k] = (　(　k　+　1　) * RowHeight[tileY]　) / rowHeight2[k] = (　(　k　+　1　) * RowHeight[tileY]　) /

(　num_level2_tile_rows_minus1[i]　+　1　) - (　num_level2_tile_rows_minus1[i]　+　1　) -

(　k * RowHeight[tileY]　) / (　num_level2_tile_rows_minus1[i]　+　1　) (　k * RowHeight[tileY]　) / (　num_level2_tile_rows_minus1[i]　+　1　)

for( colBd2[0] = 0, k = 0; k <= num_level2_tile_columns_minus1[i]; k++ ) for( colBd2[0] = 0, k = 0; k <= num_level2_tile_columns_minus1[i]; k++ )

colBd2[k　+　1] = colBd2[k] + colWidth2[k] colBd2[k　+　1] = colBd2[k] + colWidth2[k]

for( rowBd2[0] = 0, k = 0; k <= num_level2_tile_rows_minus1[i]; k++ ) for( rowBd2[0] = 0, k = 0; k <= num_level2_tile_rows_minus1[i]; k++ )

rowBd2[k　+　1] = rowBd2[k] + rowHeight2[k] rowBd2[k　+　1] = rowBd2[k] + rowHeight2[k]

numSplitTiles = (num_level2_tile_columns_minus1　i] + 1) * numSplitTiles = (num_level2_tile_columns_minus1　i] + 1) *

(num_level2_tile_rows_minus1[i] + 1) (num_level2_tile_rows_minus1[i] + 1)

for( k = 0; k < numSplitTiles; k++ ) { for( k = 0; k < numSplitTiles; k++ ) {

tileX2 = k % (num_level2_tile_columns_minus1[i] + 1) tileX2 = k % (num_level2_tile_columns_minus1[i] + 1)

tileY2 = k / (num_level2_tile_columns_minus1[i] + 1) tileY2 = k / (num_level2_tile_columns_minus1[i] + 1)

TileColBd[tileIdx] = colBd[tileX] + colBd2[tileX2] TileColBd[tileIdx] = colBd[tileX] + colBd2[tileX2]

TileRowBd[tileIdx] = rowBd[tileY] + rowBd2[tileY2] TileRowBd[tileIdx] = rowBd[tileY] + rowBd2[tileY2]

TileWidth[tileIdx] = colWidth2[tileX2] TileWidth[tileIdx] = colWidth2[tileX2]

TileHeight[tileIdx] = rowHeight2[tileY2] TileHeight[tileIdx] = rowHeight2[tileY2]

tileIdx++ tileIdx++

} }

} }

}}

NumTilesInPic = tileIdxNumTilesInPic = tileIdx

픽처의 CTB 래스터 스캔의 CTB 주소에서 타일 스캔의 CTB 주소로의 변환을 지정하는, 0에서 PicSizeInCtbsY-1(포함함)까지의 ctbAddrRs에 대한 리스트 CtbAddrRsToTs[ctbAddrRs]는 다음의 (6-6)과 같이 도출될 수 있다.A list of ctbAddrRs from 0 to PicSizeInCtbsY-1 (inclusive) CtbAddrRsToTs[ctbAddrRs], specifying the conversion from the CTB address of the picture's CTB raster scan to the CTB address of the tile scan, is as follows (6-6) can be derived.

(6-6)(6-6)

for (ctbAddrRs = 0; ctbAddrRs < PicSizeInCtbsY; ctbAddrRs++ ) {for (ctbAddrRs = 0; ctbAddrRs < PicSizeInCtbsY; ctbAddrRs++ ) {

tbX = ctbAddrRs　%　PicWidthInCtbsY tbX = ctbAddrRs　%　PicWidthInCtbsY

tbY = ctbAddrRs　/　PicWidthInCtbsYtileFound = FALSE tbY = ctbAddrRs　/　PicWidthInCtbsYtileFound = FALSE

for ( tileIdx = NumTilesInPic　-　1, i = 0; i < NumTilesInPic　- 1　　&&　　!tileFound; i++ ) { for ( tileIdx = NumTilesInPic　-　1, i = 0; i < NumTilesInPic　- 1　　&&!tileFound; i++ ) {

tileFound = tbX　　<　　(TileColBd[i] + TileWidth[i])　　&&　　tbY　　<　　( TileRowBd[i] + TileHeight[i]) tileFound = tbX　　<　　(TileColBd[i] + TileWidth[i])　　&&　　tbY　　<　　( TileRowBd[i] + TileHeight[i])

if (tileFound) if (tileFound)

tileIdx = i tileIdx = i

} }

CtbAddrRsToTs[ctbAddrRs] = 0 CtbAddrRsToTs[ctbAddrRs] = 0

for( i = 0; i < tileIdx; i++ ) for( i = 0; i < tileIdx; i++ )

CtbAddrRsToTs[ctbAddrRs]　　+=　　TileHeight[i]　*　TileWidth[i] CtbAddrRsToTs[ctbAddrRs]　　+=　　TileHeight[i]　*　TileWidth[i]

CtbAddrRsToTs[　ctbAddrRs　]　　+= CtbAddrRsToTs[　ctbAddrRs　]　　+=

(tbY　-　TileRowBd[tileIdx])　*　TileWidth[tileIdx]　+　tbX - TileColBd[tileIdx] (tbY　-　TileRowBd[tileIdx])　*　TileWidth[tileIdx]　+　tbX - TileColBd[tileIdx]

}}

타일 스캔의 CTB 주소에서 픽처의 CTB 래스터 스캔의 CTB 주소로의 변환을 지정하는, 0부터 PicSizeInCtbsY-1(포함함)까지의 ctbAddrTs에 대한 리스트 CtbAddrTsToRs[ctbAddrTs]는 다음의 (6-7)과 같이 도출될 수 있다.A list of ctbAddrTs from 0 to PicSizeInCtbsY-1 (inclusive) CtbAddrTsToRs[ctbAddrTs] specifying the conversion from the CTB address of the tile scan to the CTB address of the CTB raster scan of the picture. can be derived.

(6-7)(6-7)

for( ctbAddrRs = 0; ctbAddrRs < PicSizeInCtbsY; ctbAddrRs++ )for( ctbAddrRs = 0; ctbAddrRs < PicSizeInCtbsY; ctbAddrRs++ )

CtbAddrTsToRs[CtbAddrRsToTs[ctbAddrRs]] = ctbAddrRs CtbAddrTsToRs[CtbAddrRsToTs[ctbAddrRs]] = ctbAddrRs

타일 스캔의 CTB 주소에서 타일 ID로의 변환을 지정하는, 0부터 PicSizeInCtbsY-1(포함함)까지의 ctbAddrTs에 대한 리스트 TileId[ctbAddrTs]는 다음의 (6-8)과 같이 도출될 수 있다.The list TileId[ctbAddrTs] for ctbAddrTs from 0 to PicSizeInCtbsY-1 (inclusive), which specifies the conversion from the CTB address of the tile scan to the tile ID, may be derived as follows (6-8).

(6-8)(6-8)

for( i = 0, tileIdx = 0; i　　<=　　NumTilesInPic; i++, tileIdx++ )for( i = 0, tileIdx = 0; i　　<=　　NumTilesInPic; i++, tileIdx++ )

for( y = TileRowBd[i]; y < TileRowBd[i　+　1]; y++ ) for( y = TileRowBd[i]; y < TileRowBd[i　+　1]; y++ )

for( x = TileColBd[i]; x < TileColBd[i　+　1]; x++ ) for( x = TileColBd[i]; x < TileColBd[i　+　1]; x++ )

TileId[CtbAddrRsToTs[y　*　PicWidthInCtbsY+　x]] = tileIdx TileId[CtbAddrRsToTs[y　*　PicWidthInCtbsY+　x]] = tileIdx

타일 인덱스에서 타일 내의 CTU의 개수로의 변환을 지정하는, 0부터 NumTilesInPic-1(포함함)까지의 tileIdx에 대한 리스트 NumCtusInTile[tileIdx]는 다음의 (6-9)와 같이 도출될 수 있다.The list NumCtusInTile[tileIdx] for tileIdx from 0 to NumTilesInPic-1 (inclusive), which specifies the conversion from the tile index to the number of CTUs in the tile, can be derived as follows (6-9).

(6-9)(6-9)

for( i = 0,tileIdx = 0; i < NumTilesInPic; i++, tileIdx++ )for( i = 0,tileIdx = 0; i < NumTilesInPic; i++, tileIdx++ )

NumCtusInTile[tileIdx] = TileColWidth[tileIdx]　*　TileRowHeight[tileIdx]NumCtusInTile[tileIdx] = TileColWidth[tileIdx]　*　TileRowHeight[tileIdx]

예시적인 픽처 파라미터 세트 RBSP 신택스는 [표 1]과 같다.An exemplary picture parameter set RBSP syntax is shown in [Table 1].

pic_parameter_set_rbsp(　) {pic_parameter_set_rbsp(　) { 설명자explainer pps_pic_parameter_set_idpps_pic_parameter_set_id ue(v)ue(v) pps_seq_parameter_set_idpps_seq_parameter_set_id ue(v)ue(v) transform_skip_enabled_flagtransform_skip_enabled_flag u(1)u(1) single_tile_in_pic_flagsingle_tile_in_pic_flag u(1)u(1) if( !single_tile_in_pic_flag ) { if( !single_tile_in_pic_flag ) { num_level1_tile_columns_minus1num_level1_tile_columns_minus1 ue(v)ue(v) num_level1_tile_rows_minus1num_level1_tile_rows_minus1 ue(v)ue(v) uniform_level1_tile_spacing_flaguniform_level1_tile_spacing_flag u(1)u(1) if( !uniform_level1_tile_spacing_flag ) { if( !uniform_level1_tile_spacing_flag ) { for( i = 0; i < num_level1_tile_columns_minus1; i++ ) for( i = 0; i < num_level1_tile_columns_minus1; i++ ) level1_tile_column_width_minus1[　i　] level1_tile_column_width_minus1[　i　] ue(v)ue(v) for( i = 0; i < num_level1_tile_rows_minus1; i++ ) for( i = 0; i < num_level1_tile_rows_minus1; i++ ) level1_tile_row_height_minus1[　i　] level1_tile_row_height_minus1[　i　] ue(v)ue(v) } } level2_tile_present_flaglevel2_tile_present_flag u(1)u(1) for( i = 0; level2_tile_present_flag && i < NumLevel1Tiles; i++ ) { for( i = 0; level2_tile_present_flag && i < NumLevel1Tiles; i++ ) { level2_tile_split_flag[　i　] level2_tile_split_flag[　i　] u(1)u(1) if( level2_tile_split_flag ) { if( level2_tile_split_flag ) { num_level2_tile_columns_minus1[　i　] num_level2_tile_columns_minus1[　i　] ue(v)ue(v) num_level2_tile_rows_minus1[　i　] num_level2_tile_rows_minus1[　i　] ue(v)ue(v) } } } } if( NumTilesInPic > 1 ) if( NumTilesInPic > 1 ) loop_filter_across_tiles_enabled_flagloop_filter_across_tiles_enabled_flag u(1)u(1) } } rbsp_trailing_bits(　) rbsp_trailing_bits(　) }}

예시적인 픽처 파라미터 세트 RBSP 시맨틱스는 다음과 같다. num_level1_tile_columns_minus1 + 1은 픽처를 분할하는 레벨 1 타일 열의 개수를 지정한다. num_level1_tile_columns_minus1은 0 내지 PicWidthInCtbsY - 1 (포함함)의 이내 이어야 한다. 존재하지 않는 경우, num_level1_tile_columns_minus1의 값은 0과 같은 것으로 추론된다. num_level1_tile_rows_minus1 + 1은 픽처를 분할하는 레벨 1 타일 행의 개수를 지정한다. num_level1_tile_rows_minus1은 0 내지 PicHeightInCtbsY - 1(포함함) 이내 이어야 한다. 존재하지 않는 경우, num_level1_tile_rows_minus1의 값은 0과 같은 것으로 추론된다. 변수 NumLevel1Tiles는 (num_level1_tile_columns_minus1 + 1) * (num_level1_tile_rows_minus1 + 1)로 설정된다. single_tile_in_pic_flag가 0과 같은 경우, NumTilesInPic은 1보다 커야 한다. uniform_level1_tile_spacing_flag는 레벨 1 타일 열 경계와 마찬가지로 레벨 1 타일 행 경계가 픽처 전체에 균일하게 분산되도록 지정하기 위해 1과 동일하게 설정된다. uniform_level1_tile_spacing_flag는 레벨 1 타일 열 경계와 마찬가지로 레벨 1 타일 행 경계가 픽처 전체에 균일하게 분포되지 않고 신택스 요소 level1_tile_column_width_minus1[i] 및 level1_tile_row_height_minus1[i]를 사용하여 명시적으로 시그널링되도록 지정하기 위해 0과 같다. 존재하지 않는 경우, uniform_level1_tile_spacing_flag의 값은 1과 같은 것으로 추론된다. level1_tile_column_width_minus1[i] + 1은 i번째 레벨 1 타일 열의 폭을 CTB 유닛으로 지정한다. level1_tile_row_height_minus1[i] + 1은 i번째 타일 레벨 1 행의 높이를 CTB 유닛으로 지정한다. level2_tile_present_flag는 하나 이상의 레벨 1 타일이 더 많은 타일로 분할되도록 지정한다. level2_tile_split_flag[i] + 1은 i번째 레벨 1 타일이 두 개 이상의 타일로 분할되도록 지정한다. num_level2_tile_columns_minus1[i] + 1은 i번째 타일을 분할하는 타일 열의 개수를 지정한다. num_level2_tile_columns_minus1[i]는 0에서 ColWidth[i](포함함)까지의 이내이어야 한다. 존재하지 않는 경우, num_level2_tile_columns_minus1[i]의 값은 0과 같은 것으로 추론된다. num_level2_tile_rows_minus1[i] + 1은 i번째 타일을 분할하는 타일 행의 개수를 지정한다. num_level2_tile_rows_minus1[i]는 0에서 RowHeight[i]까지 이내 이어야 한다. 존재하지 않는 경우, num_level2_tile_rows_minus1[i]의 값은 0과 같은 것으로 추론된다.다음의 변수는 CTB 래스터 및 타일 스캐닝 변환 프로세스, 즉 i번째 레벨 1 타일 열의 폭를 CTB 유닛으로 지정하는, 0에서 num_level1_tile_columns_minus1(포함함)까지의 i에 대한 리스트 ColWidth[i]; j번째 레벨 1 타일 행의 높이를 CTB 유닛으로 지정하는, 0에서 num_level1_tile_rows_minus1(포함함)까지의 j에 대한 리스트 RowHeight[j]; PPS를 참조하는 픽처의 타일 개수를 지정하는 변수 NumTilesInPic; i번째 타일의 폭을 CTB 유닛으로 지정하는, 0에서 NumTilesInPic(포함함)까지의 i에 대한 리스트 TileWidth[i]; i번째 타일의 높이를 CTB 유닛으로 지정하는, 0에서 NumTilesInPic(포함함)까지의 i에 대한 리스트 TileHeight[i]; i번째 타일 열 경계의 위치를 CTB 유닛으로 지정하는, 0에서 NumTilesInPic(포함함)까지의 i에 대한 리스트 TileColBd[i]; i번째 타일 행 경계의 위치를 CTB 유닛으로 지정하는, 0에서 NumTilesInPic(포함함)까지의 j에 대한 리스트 TileRowBd[i]; 픽처의 CTB 래스터 스캔의 CTB 주소에서 타일 스캔의 CTB 주소로의 변환을 지정하는, 0에서 PicSizeInCtbsY - 1(포함함)까지의 ctbAddrRs에 대한 리스트 CtbAddrRsToTs[ctbAddrRs]; 타일 스캔의 CTB 주소에서 픽처의 CTB 래스터 스캔의 CTB 주소로의 변환을 지정하는, 0에서 PicSizeInCtbsY - 1(포함함)까지의 ctbAddrTs에 대한 리스트 CtbAddrTsToRs[ctbAddrTs]; 타일 스캔의 CTB 주소에서 타일 ID로의 변환을 지정하는, 0에서 PicSizeInCtbsY - 1(포함함)까지의 ctbAddrTs에 대한 리스트 TileId[ctbAddrTs]; 타일 인덱스에서 타일의 CTU의 개수로의 변환을 지정하는, 0에서 PicSizeInCtbsY - 1(포함함)까지의 tileIdx에 대한 리스트 NumCtusInTile[tileIdx]; 및 타일 ID에서 타일의 제1 CTB의 타일 스캔의 CTB 주소로의 변환을 지정하는, 0에서 NumTilesInPic - 1(포함함)까지의 tileIdx에 대한 리스트 FirstCtbAddrTs[tileIdx]를 호출함으로써 도출된다. An exemplary picture parameter set RBSP semantics is as follows. num_level1_tile_columns_minus1 + 1 designates the number of level 1 tile columns dividing a picture. num_level1_tile_columns_minus1 must be within 0 to PicWidthInCtbsY - 1 (inclusive). If not present, the value of num_level1_tile_columns_minus1 is inferred to be equal to 0. num_level1_tile_rows_minus1 + 1 designates the number of level 1 tile rows dividing a picture. num_level1_tile_rows_minus1 must be within 0 to PicHeightInCtbsY - 1 (inclusive). If not present, the value of num_level1_tile_rows_minus1 is inferred to be equal to 0. The variable NumLevel1Tiles is set to (num_level1_tile_columns_minus1 + 1) * (num_level1_tile_rows_minus1 + 1). When single_tile_in_pic_flag is equal to 0, NumTilesInPic must be greater than 1. uniform_level1_tile_spacing_flag is set equal to 1 to specify that level 1 tile row boundaries are uniformly distributed throughout the picture, like level 1 tile column boundaries. uniform_level1_tile_spacing_flag is equal to 0 to specify that, like level 1 tile column boundaries, level 1 tile row boundaries are not uniformly distributed throughout the picture and explicitly signaled using the syntax elements level1_tile_column_width_minus1[i] and level1_tile_row_height_minus1[i]. If not present, the value of uniform_level1_tile_spacing_flag is inferred to be equal to 1. level1_tile_column_width_minus1[i] + 1 designates the width of the i-th level 1 tile column in CTB units. level1_tile_row_height_minus1[i] + 1 designates the height of the i-th tile level 1 row in CTB units. level2_tile_present_flag specifies that one or more level 1 tiles are divided into more tiles. level2_tile_split_flag[i] + 1 specifies that the i-th level 1 tile is divided into two or more tiles. num_level2_tile_columns_minus1[i] + 1 designates the number of tile columns dividing the i-th tile. num_level2_tile_columns_minus1[i] must be within 0 to ColWidth[i] (inclusive). If it does not exist, the value of num_level2_tile_columns_minus1[i] is inferred to be equal to 0. num_level2_tile_rows_minus1[i] + 1 designates the number of tile rows dividing the i-th tile. num_level2_tile_rows_minus1[i] must be within 0 to RowHeight[i]. If not present, the value of num_level2_tile_rows_minus1[i] is inferred to be equal to 0. The following variable specifies the CTB raster and tile scanning transformation process, i.e., the width of the i-th level 1 tile column in CTB units, from 0 to num_level1_tile_columns_minus1 (inclusive) List for i up to ) ColWidth[i]; List RowHeight[j] for j from 0 to num_level1_tile_rows_minus1 (inclusive), specifying the height of the jth level 1 tile row in CTB units; Variable NumTilesInPic; List TileWidth[i] for i from 0 to NumTilesInPic (inclusive), specifying the width of the i-th tile in CTB units; A list of i from 0 to NumTilesInPic (inclusive), specifying the height of the ith tile in CTB units TileHeight[i]; A list of i from 0 to NumTilesInPic (inclusive) TileColBd[i], specifying the position of the i-th tile column boundary in CTB units; A list of j from 0 to NumTilesInPic (inclusive), specifying the position of the i-th tile row boundary in CTB units TileRowBd[i]; A list of ctbAddrRs from 0 to PicSizeInCtbsY - 1 (inclusive) CtbAddrRsToTs[ctbAddrRs], specifying the conversion from the CTB address of the picture's CTB raster scan to the CTB address of the tile scan; List of ctbAddrTs from 0 to PicSizeInCtbsY - 1 (inclusive) CtbAddrTsToRs[ctbAddrTs], specifying the conversion from the CTB address of the tile scan to the CTB address of the CTB raster scan of the picture; List of ctbAddrTs from 0 to PicSizeInCtbsY - 1 (inclusive) TileId[ctbAddrTs], specifying the CTB address to tile ID conversion of the tile scan; List of tileIdx from 0 to PicSizeInCtbsY - 1 inclusive NumCtusInTile[tileIdx], specifying the conversion from tile index to number of CTUs in the tile; and a list FirstCtbAddrTs[tileIdx] for tileIdx from 0 to NumTilesInPic - 1 (inclusive), specifying the translation from the tile ID to the CTB address of the tile scan of the first CTB of the tile.

예시적인 타일 그룹 헤더 시맨틱스는 다음과 같다. tile_group_address는 타일 그룹의 제1 타일의 타일 주소를 지정하며, 여기서 타일 주소는 수학식 (6-8)에서 지정된 바와 같이 TileId[firstCtbAddrTs]와 같으며, firstCtbAddrTs는 타일 그룹의 제1 CTU의 CTB에 대한 타일 스캔의 CTB 주소이다. tile_group_address의 길이는 Ceil(Log2(NumTilesInPic)) 비트이다. tile_group_address의 값은 0 내지 NumTilesInPic - 1(포함함)까지 이내이어야 하고, tile_group_address의 값은 동일한 코딩된 픽처의 다른 코딩된 타일 그룹 NAL 유닛의 tile_group_address 값과 동일하지 않아야 한다. tile_group_address가 존재하지 않는 경우, 0과 같은 것으로 추론된다.Exemplary tile group header semantics are as follows. tile_group_address specifies the tile address of the first tile of the tile group, where the tile address is equal to TileId[firstCtbAddrTs] as specified in Equation (6-8), and firstCtbAddrTs is the CTB of the first CTU of the tile group. The CTB address of the tile scan. The length of the tile_group_address is Ceil(Log2(NumTilesInPic)) bits. The value of tile_group_address must be within 0 to NumTilesInPic - 1 (inclusive), and the value of tile_group_address must not be the same as the tile_group_address value of other coded tile group NAL units of the same coded picture. If tile_group_address does not exist, it is inferred to be equal to 0.

다음은 전술한 측면의 제2 특정 예시 실시예이다. 예시적인 CTB 래스터 및 타일 스캐닝 프로세스는 다음과 같다. PPS를 참조하는 픽처의 타일 개수를 지정하는 변수 NumTilesInPic과, CTB 유닛으로 i번째 타일 열 경계의 위치, CTB 유닛으로 i번째 타일 행 경계의 위치, CTB 유닛으로 i번째 타일 열의 폭, 및 CTB 유닛으로 i번째 타일 열의 높이를 지정하는, 0 내지 NumTilesInPic - 1(포함함)까지의 i에 대한 리스트 TileColBd[i], TileRowBd[i], TileWidth[i] 및 TileHeight[i]는 다음의 (6-5)와 같이 도출된다.The following is a second specific illustrative embodiment of the aforementioned aspect. An exemplary CTB raster and tile scanning process is as follows. A variable NumTilesInPic that specifies the number of tiles in a picture referring to PPS, the position of the ith tile column boundary in CTB units, the position of the ith tile row boundary in CTB units, the width of the ith tile column in CTB units, and the width of the ith tile column in CTB units A list of i from 0 to NumTilesInPic - 1 (inclusive), specifying the height of the i-th tile column TileColBd[i], TileRowBd[i], TileWidth[i] and TileHeight[i] are the following (6-5 ) is derived as

(6-5)(6-5)

for ( tileIdx = 0, i = 0; i < NumLevel1Tiles; i++ ) {for ( tileIdx = 0, i = 0; i < NumLevel1Tiles; i++ ) {

tileX = i % ( num_level1_tile_columns_minus1 + 1 ) tileX = i % ( num_level1_tile_columns_minus1 + 1 )

tileY = i / ( num_level1_tile_columns_minus1 + 1 ) tileY = i / ( num_level1_tile_columns_minus1 + 1 )

if ( !level2_tile_split_flag[i] ) { if ( !level2_tile_split_flag[i] ) {

TileColBd[tileIdx] = colBd[tileX] TileColBd[tileIdx] = colBd[tileX]

TileRowBd[tileIdx] = rowBd[tileY] TileRowBd[tileIdx] = rowBd[tileY]

TileWidth[tileIdx] = ColWidth[tileX] TileWidth[tileIdx] = ColWidth[tileX]

TileHeight[tileIdx] = RowHeight[tileY] TileHeight[tileIdx] = RowHeight[tileY]

tileIdx++ tileIdx++

} else { } else {

if ( uniform_level2_tile_spacing_flag[i] ) { if ( uniform_level2_tile_spacing_flag[i] ) {

for( k = 0; k <= num_level2_tile_columns_minus1[i]; k++ ) for( k = 0; k <= num_level2_tile_columns_minus1[i]; k++ )

colWidth2[k] = (　(　k　+　1　) * ColWidth[tileX]　) / colWidth2[k] = (　(　k　+　1　) * ColWidth[tileX]　) /

(　num_level2_tile_columns_minus1[i]　+　1　) - (　num_level2_tile_columns_minus1[i]　+　1　) -

(　k * ColWidth[tileX]　) / (　num_level2_tile_columns_minus1[i]　+　1　) (　k * ColWidth[tileX]　) / (　num_level2_tile_columns_minus1[i]　+　1　)

for( k = 0; k <= num_level2_tile_rows_minus1[i]; k++ ) for( k = 0; k <= num_level2_tile_rows_minus1[i]; k++ )

rowHeight2[k] = (　(　k　+　1　) * RowHeight[tileY]　) / rowHeight2[k] = (　(　k　+　1　) * RowHeight[tileY]　) /

(　num_level2_tile_rows_minus1[i]　+　1　) - (　num_level2_tile_rows_minus1[i]　+　1　) -

(　k * RowHeight[tileY]　) / (　num_level2_tile_rows_minus1[i]　+　1　) (　k * RowHeight[tileY]　) / (　num_level2_tile_rows_minus1[i]　+　1　)

} else { } else {

colWidth2[　num_level2_tile_columns_minus1[i]　] = ColWidth[tileX]　) colWidth2[　num_level2_tile_columns_minus1[i]　] = ColWidth[tileX]　)

for( k = 0; k <= num_level2_tile_columns_minus1[i]; k++ ) { for( k = 0; k <= num_level2_tile_columns_minus1[i]; k++ ) {

colWidth2[k] = tile_level2_column_width_minus1[k] + 1 colWidth2[k] = tile_level2_column_width_minus1[k] + 1

colWidth2[k] -= colWidth2[k] colWidth2[k] -= colWidth2[k]

} }

rowHeight2[num_level2_tile_rows_minus1[i]] = RowHeight[tileY]　) rowHeight2[num_level2_tile_rows_minus1[i]] = RowHeight[tileY]　)

for( k = 0; k <= num_level2_tile_rows_minus1[i]; k++ ) { for( k = 0; k <= num_level2_tile_rows_minus1[i]; k++ ) {

rowHeigh2[k] = tile_level2_column_width_minus1[k] + 1 rowHeigh2[k] = tile_level2_column_width_minus1[k] + 1

rowHeight2[k] --= rowHeight2[k] rowHeight2[k] --= rowHeight2[k]

} }

} }

for( colBd2[0] = 0, k = 0; k <= num_level2_tile_columns_minus1[i]; k++ ) for( colBd2[0] = 0, k = 0; k <= num_level2_tile_columns_minus1[i]; k++ )

colBd2[k　+　1] = colBd2[k] + colWidth2[k] colBd2[k　+　1] = colBd2[k] + colWidth2[k]

for( rowBd2[0] = 0, k = 0; k <= num_level2_tile_rows_minus1[i]; k++ ) for( rowBd2[0] = 0, k = 0; k <= num_level2_tile_rows_minus1[i]; k++ )

rowBd2[k　+　1] = rowBd2[k] + rowHeight2[k] rowBd2[k　+　1] = rowBd2[k] + rowHeight2[k]

numSplitTiles = (num_level2_tile_columns_minus1[i] + 1) * numSplitTiles = (num_level2_tile_columns_minus1[i] + 1) *

(num_level2_tile_rows_minus1[i] + 1) (num_level2_tile_rows_minus1[i] + 1)

for( k = 0; k < numSplitTiles; k++ ) { for( k = 0; k < numSplitTiles; k++ ) {

tileX2 = k % (num_level2_tile_columns_minus1[i] + 1) tileX2 = k % (num_level2_tile_columns_minus1[i] + 1)

tileY2 = k / (num_level2_tile_columns_minus1[i] + 1) tileY2 = k / (num_level2_tile_columns_minus1[i] + 1)

TileColBd[tileIdx] = colBd[tileX] + colBd2[tileX2] TileColBd[tileIdx] = colBd[tileX] + colBd2[tileX2]

TileRowBd[tileIdx] = rowBd[tileY] + rowBd2[tileY2] TileRowBd[tileIdx] = rowBd[tileY] + rowBd2[tileY2]

TileWidth[tileIdx] = colWidth2[tileX2] TileWidth[tileIdx] = colWidth2[tileX2]

TileHeight[tileIdx] = rowHeight2[tileY2] TileHeight[tileIdx] = rowHeight2[tileY2]

tileIdx++ tileIdx++

} }

}}

}}

NumTilesInPic = tileIdxNumTilesInPic = tileIdx

예시적인 픽처 파라미터 세트 RBSP 신택스는 [표 2]와 같다.An exemplary picture parameter set RBSP syntax is shown in [Table 2].

pic_parameter_set_rbsp(　) {pic_parameter_set_rbsp(　) { 설명자explainer pps_pic_parameter_set_id pps_pic_parameter_set_id ue(v)ue(v) pps_seq_parameter_set_id pps_seq_parameter_set_id ue(v)ue(v) transform_skip_enabled_flag transform_skip_enabled_flag u(1)u(1) single_tile_in_pic_flag single_tile_in_pic_flag u(1)u(1) if( !single_tile_in_pic_flag ) { if( !single_tile_in_pic_flag ) { num_level1_tile_columns_minus1 num_level1_tile_columns_minus1 ue(v)ue(v) num_level1_tile_rows_minus1 num_level1_tile_rows_minus1 ue(v)ue(v) uniform_level1_tile_spacing_flag uniform_level1_tile_spacing_flag u(1)u(1) if( !uniform_level1_tile_spacing_flag ) { if( !uniform_level1_tile_spacing_flag ) { for( i = 0; i < num_level1_tile_columns_minus1; i++ ) for( i = 0; i < num_level1_tile_columns_minus1; i++ ) level1_tile_column_width_minus1[　i　] level1_tile_column_width_minus1[　i　] ue(v)ue(v) for( i = 0; i < num_level1_tile_rows_minus1; i++ ) for( i = 0; i < num_level1_tile_rows_minus1; i++ ) level1_tile_row_height_minus1[　i　] level1_tile_row_height_minus1[　i　] ue(v)ue(v) } } level2_tile_present_flag level2_tile_present_flag u(1)u(1) for( i = 0; level2_tile_present_flag && i < NumLevel1Tiles; i++ ) { for( i = 0; level2_tile_present_flag && i < NumLevel1Tiles; i++ ) { level2_tile_split_flag[　i　] level2_tile_split_flag[　i　] u(1)u(1) if( level2_tile_split_flag ) { if( level2_tile_split_flag ) { num_level2_tile_columns_minus1[　i　] num_level2_tile_columns_minus1[　i　] ue(v)ue(v) num_level2_tile_rows_minus1[　i　] num_level2_tile_rows_minus1[　i　] ue(v)ue(v) uniform_level2_tile_spacing_flag[　i　] uniform_level2_tile_spacing_flag[　i　] u(1)u(1) if( !uniform_level2_tile_spacing_flag[　i　] ) { if( !uniform_level2_tile_spacing_flag[　i　] ) { for( j = 0; j < num_level2_tile_columns_minus1[　i　]; j++ ) for( j = 0; j < num_level2_tile_columns_minus1[　i　]; j++ ) level2_tile_column_width_minus1[　j　] level2_tile_column_width_minus1[　j　] ue(v)ue(v) for( j = 0; j < num_level2_tile_rows_minus1[　i　]; j++ ) for( j = 0; j < num_level2_tile_rows_minus1[　i　]; j++ ) level2_tile_row_height_minus1[　j　] level2_tile_row_height_minus1[　j　] ue(v)ue(v) } } } } } } if( NumTilesInPic > 1 ) if( NumTilesInPic > 1 ) loop_filter_across_tiles_enabled_flag loop_filter_across_tiles_enabled_flag u(1)u(1) } } rbsp_trailing_bits(　) rbsp_trailing_bits(　) }}

예시적인 픽처 파라미터 세트 RBSP 시맨틱스는 다음과 같다. uniform_level2_tile_spacing_flag[i]는 i번째 레벨 1 타일의 레벨 2 타일 열 경계와 마찬가지로 i번째 레벨 1 타일의 레벨 2 타일 행 경계가 픽처 전체에 균일하게 분포되도록 지정하기 위해 1과 동일하게 설정된다. uniform_level2_tile_spacing_flag[i]는 i번째 레벨 1 타일의 레벨 2 타일 열 경계와 마찬가지로 i번째 레벨 1 타일의 레벨 2 타일 행 경계가 픽처 전체에 균일하게 분포되지 않지만 신택스 요소 level2_tile_column_width_minus1[j] 및 level2_tile_row_height_minus1[j]를 사용하여 명시적으로 시그널링되도록 지정하기 위해 0과 동일하게 설정될 수 있다. 존재하지 않는 경우, uniform_level2_tile_spacing_flag[i]의 값은 1과 같은 것으로 추론된다. level2_tile_column_width_minus1[j] + 1은 i번째 레벨 1 타일의 j번째 레벨 2 타일 열의 폭를 CTB 유닛으로 지정한다. level2_tile_row_height_minus1[j] + 1은 i번째 레벨 1 타일의 j번째 타일 레벨 2행의 높이를 CTB 유닛으로 지정한다.다음은 전술한 측면의 제3 특정 예시 실시예이다. 픽처 파라미터 세트 RBSP 신택스의 예는 [표 3]과 같다.An exemplary picture parameter set RBSP semantics is as follows. uniform_level2_tile_spacing_flag[i] is set equal to 1 to specify that the level 2 tile row boundary of the i-th level 1 tile is uniformly distributed throughout the picture as well as the level 2 tile column boundary of the i-th level 1 tile. uniform_level2_tile_spacing_flag[i] has syntax elements level2_tile_column_width_minus1[j] and level2_tile_row_height_minus1[j], although the level 2 tile row boundary of the ith level 1 tile is not uniformly distributed throughout the picture like the level 2 tile column boundary of the ith level 1 tile. can be set equal to 0 to specify to be explicitly signaled using If not present, the value of uniform_level2_tile_spacing_flag[i] is inferred to be equal to 1. level2_tile_column_width_minus1[j] + 1 designates the width of the j-th level 2 tile column of the i-th level 1 tile in CTB units. level2_tile_row_height_minus1[j] + 1 designates the height of the j-th tile level 2 row of the i-th level 1 tile in CTB units. The following is a third specific exemplary embodiment of the above-described aspect. An example of the picture parameter set RBSP syntax is shown in [Table 3].

pic_parameter_set_rbsp(　) {pic_parameter_set_rbsp(　) { 설명자explainer pps_pic_parameter_set_id pps_pic_parameter_set_id ue(v)ue(v) pps_seq_parameter_set_id pps_seq_parameter_set_id ue(v)ue(v) transform_skip_enabled_flag transform_skip_enabled_flag u(1)u(1) if ( (　PicWidthInCtbsY * CtbSizeY　) >= (　2 * MinTileWidth　) |　|
(　PicHeightInCtbsY * CtbSizeY　) >= (　2 * MinTileHeight　) )if ( ( PicWidthInCtbsY * CtbSizeY ) >= ( 2 * MinTileWidth ) |
( PicHeightInCtbsY * CtbSizeY ) >= ( 2 * MinTileHeight ) ) single_tile_in_pic_flag single_tile_in_pic_flag u(1)u(1) if( !single_tile_in_pic_flag ) { if( !single_tile_in_pic_flag ) { if ( PicWidthInCtbsY * CtbSizeY >= (　2 * MinTileWidth　) ) if ( PicWidthInCtbsY * CtbSizeY >= (　2 * MinTileWidth　) ) num_level1_tile_columns_minus1 num_level1_tile_columns_minus1 ue(v)ue(v) if ( PicHeightInCtbsY * CtbSizeY >= (　2 * MinTileHeight　) ) if ( PicHeightInCtbsY * CtbSizeY >= (　2 * MinTileHeight　) ) num_level1_tile_rows_minus1 num_level1_tile_rows_minus1 ue(v)ue(v) uniform_level1_tile_spacing_flag uniform_level1_tile_spacing_flag u(1)u(1) if( !uniform_level1_tile_spacing_flag ) { if( !uniform_level1_tile_spacing_flag ) { for( i = 0; i < num_level1_tile_columns_minus1; i++ ) for( i = 0; i < num_level1_tile_columns_minus1; i++ ) level1_tile_column_width_minus1[　i　] level1_tile_column_width_minus1[　i　] ue(v)ue(v) for( i = 0; i < num_level1_tile_rows_minus1; i++ ) for( i = 0; i < num_level1_tile_rows_minus1; i++ ) level1_tile_row_height_minus1[　i　] level1_tile_row_height_minus1[　i　] ue(v)ue(v) } } if( Level1TilesMayFurtherBeSplit ) if( Level1TilesMayFurtherBeSplit ) level2_tile_present_flag level2_tile_present_flag u(1)u(1) for( i = 0; level2_tile_present_flag && i < NumLevel1Tiles; i++ ) { for( i = 0; level2_tile_present_flag && i < NumLevel1Tiles; i++ ) { if ( (　PicWidthInCtbsY * CtbSizeY　) >= (　2 * MinTileWidth　) || (　PicHeightInCtbsY * CtbSizeY　) >= (　2 * MinTileHeight　) ) if ( (　PicWidthInCtbsY * CtbSizeY　) >= (　2 * MinTileWidth　) || (　PicHeightInCtbsY * CtbSizeY　) >= (　2 * MinTileHeight　) ) level2_tile_split_flag[　i　] level2_tile_split_flag[　i　] u(1)u(1) if( level2_tile_split_flag ) { if( level2_tile_split_flag ) { if ( ColWidth[　i　] * CtbSizeY >= (　2 * MinTileWidth　) ) if ( ColWidth[　i　] * CtbSizeY >= (　2 * MinTileWidth　) ) num_level2_tile_columns_minus1[　i　] num_level2_tile_columns_minus1[　i　] ue(v)ue(v) if ( RowHeight[　i　] * CtbSizeY >= (　2 * MinTileHeight　) ) if ( RowHeight[　i　] * CtbSizeY >= (　2 * MinTileHeight　) ) num_level2_tile_rows_minus1[　i　] num_level2_tile_rows_minus1[　i　] ue(v)ue(v) } } } } if (NumTilesInPic > 1) if (NumTilesInPic > 1) loop_filter_across_tiles_enabled_flag loop_filter_across_tiles_enabled_flag u(1)u(1) } } rbsp_trailing_bits(　) rbsp_trailing_bits(　) }}

예시적인 픽처 파라미터 세트 RBSP 시맨틱스는 다음과 같다. 비트스트림 준수를 위해서는 다음의 제약 조건이 적용될 수 있다. MinTileWidth 값은 최소 타일 폭을 지정하며 255개의 루마 샘플과 같아야 한다. MinTileHeight 값은 최소 타일 높이를 지정하며 64개의 루마 샘플과 같아야 한다. 최소 타일 폭 및 최소 타일 높이 값은 프로파일 및 레벨 정의에 따라 변경될 수 있다. 변수 Level1TilesMayBeFurtherSplit은 다음과 같이 도출될 수 있다.Level1TilesMayBeFurtherSplit = 0An exemplary picture parameter set RBSP semantics is as follows. For bitstream compliance, the following constraints may be applied. The MinTileWidth value specifies the minimum tile width and must be equal to 255 luma samples. The MinTileHeight value specifies the minimum tile height and must be equal to 64 luma samples. Minimum tile width and minimum tile height values may be changed according to profile and level definitions. The variable Level1TilesMayBeFurtherSplit can be derived as follows: Level1TilesMayBeFurtherSplit = 0

for ( i = 0, !Level1TilesMayBeFurtherSplit && i = 0; i < NumLevel1Tiles; i++ )for ( i = 0, !Level1TilesMayBeFurtherSplit && i = 0; i < NumLevel1Tiles; i++ )

if ((　ColWidth[i] * CtbSizeY >= (　2 * MinTileWidth　)) || if ((　ColWidth[i] * CtbSizeY >= (　2 * MinTileWidth　)) ||

(　RowHeight[i] * CtbSizeY >= (　2 * MinTileHeight　))) (　RowHeight[i] * CtbSizeY >= (　2 * MinTileHeight　)))

Level1TilesMayBeFurtherSplit = 1 Level1TilesMayBeFurtherSplit = 1

level2_tile_present_flag는 하나 이상의 레벨 타일이 더 많은 타일로 분할되는 것을 지정한다. 존재하지 않는 경우, level2_tile_present_flag의 값은 0과 같은 것으로 추론된다. level2_tile_split_flag[i] + 1은 i번째 레벨 1 타일이 두 개 이상의 타일로 분할되도록 지정한다. 존재하지 않은 경우, level2_tile_split_flag[i]의 값은 0과 같은 것으로 추론된다.level2_tile_present_flag specifies that one or more level tiles are divided into more tiles. If not present, the value of level2_tile_present_flag is inferred to be equal to 0. level2_tile_split_flag[i] + 1 specifies that the i-th level 1 tile is divided into two or more tiles. If not present, the value of level2_tile_split_flag[i] is inferred to be equal to 0.

다음은 전술한 측면의 제4 특정 예시 실시예이다. 각각의 타일 위치 및 크기가 시그널링될 수 있다. 이러한 타일 구조 시그널링을 지원하는 신택스는 아래 표와 같다. tile_top_left_address[i] 및 tile_bottom_right_address[i]는 타일에 의해 커버되는 직사각형 영역을 지시하는 픽처 내의 CTU 인덱스이다. 이러한 신택스 요소를 시그널링 비트 개수는 픽처에서 최대 CTU 개수를 나타내기에 충분해야 한다.The following is a fourth specific illustrative embodiment of the aforementioned aspect. Each tile position and size may be signaled. The syntax supporting this tile structure signaling is shown in the table below. tile_top_left_address[i] and tile_bottom_right_address[i] are CTU indexes in the picture indicating the rectangular area covered by the tile. The number of signaling bits for this syntax element should be sufficient to indicate the maximum number of CTUs in the picture.

pic_parameter_set_rbsp(　) {pic_parameter_set_rbsp(　) { 설명자explainer ... ... .. single_tile_in_pic_flag single_tile_in_pic_flag u(1)u(1) if( !single_tile_in_pic_flag ) { if( !single_tile_in_pic_flag ) { tile_size_unit_idc tile_size_unit_idc ue(v)ue(v) uniform_tile_flag uniform_tile_flag u(1)u(1) if( uniform_tile_flag ) { if( uniform_tile_flag ) { num_tile_columns_minus1 num_tile_columns_minus1 ue(v)ue(v) num_tile_rows_minus1 num_tile_rows_minus1 ue(v)ue(v) } } else { else { num_tiles_minus2 num_tiles_minus2 ue(v)ue(v) for( i = 0; i < (num_tiles_minus2 + 2); i++ ) { for( i = 0; i < (num_tiles_minus2 + 2); i++ ) { tile_top_left_address[　i　] tile_top_left_address[　i　] u(v)u(v) tile_bottom_right_address[　i　] tile_bottom_right_address[　i　] u(v)u(v) } } } } loop_filter_across_tiles_enabled_flag loop_filter_across_tiles_enabled_flag u(1)u(1) } } rbsp_trailing_bits(　) rbsp_trailing_bits(　) }}

각각의 타일 위치 및 크기가 시그널링될 수 있다. 이러한 타일 구조 시그널링을 지원하는 신택스는 아래 표와 같을 수 있다. tile_top_left_address[i]는 픽처의 CTU 래스터 스캔 순서로 타일에 있는 제1 CTU의 CTU 인덱스이다. 타일 폭 및 타일 높이는 타일의 크기를 지정한다. 공통 타일 크기 유닛을 먼저 시그널링함으로써 이들 두 개의 신택스 요소를 시그널링할 때 일부 비트가 절약될 수 있다.Each tile position and size may be signaled. A syntax supporting such tile structure signaling may be as shown in the table below. tile_top_left_address[i] is the CTU index of the first CTU in the tile in CTU raster scan order of the picture. Tile width and tile height specify the size of the tile. Some bits can be saved when signaling these two syntax elements by signaling the common tile size unit first.

pic_parameter_set_rbsp(　) {pic_parameter_set_rbsp(　) { 설명자explainer ... ... .. single_tile_in_pic_flag single_tile_in_pic_flag u(1)u(1) if( !single_tile_in_pic_flag ) { if( !single_tile_in_pic_flag ) { tile_size_unit_idc tile_size_unit_idc ue(v)ue(v) uniform_tile_flag uniform_tile_flag u(1)u(1) if( uniform_tile_flag ) { if( uniform_tile_flag ) { num_tile_columns_minus1 num_tile_columns_minus1 ue(v)ue(v) num_tile_rows_minus1 num_tile_rows_minus1 ue(v)ue(v) } } else { else { num_tiles_minus2 num_tiles_minus2 ue(v)ue(v) for( i = 0; i < (num_tiles_minus2 + 2); i++ ) { for( i = 0; i < (num_tiles_minus2 + 2); i++ ) { tile_top_left_address[　i　] tile_top_left_address[　i　] u(v)u(v) tile_width_minus1[　i　] tile_width_minus1[　i　] ue(v)ue(v) tile_height_minus1[　i　] tile_height_minus1[　i　] ue(v)ue(v) } } } } loop_filter_across_tiles_enabled_flag loop_filter_across_tiles_enabled_flag u(1)u(1) } } rbsp_trailing_bits(　) rbsp_trailing_bits(　) }}

다르게는, 시그널링은 [표 6]과 같을 수 있다.Alternatively, the signaling may be as shown in [Table 6].

pic_parameter_set_rbsp(　) {pic_parameter_set_rbsp(　) { 설명자explainer ... ... .. single_tile_in_pic_flag single_tile_in_pic_flag u(1)u(1) if( !single_tile_in_pic_flag ) { if( !single_tile_in_pic_flag ) { tile_size_unit_idc tile_size_unit_idc ue(v)ue(v) uniform_tile_flag uniform_tile_flag u(1)u(1) if( uniform_tile_flag ) { if( uniform_tile_flag ) { num_tile_columns_minus1 num_tile_columns_minus1 ue(v)ue(v) num_tile_rows_minus1 num_tile_rows_minus1 ue(v)ue(v) } } else { else { num_tiles_minus2 num_tiles_minus2 ue(v)ue(v) for( i = 0; i < (num_tiles_minus2 + 2); i++ ) { for( i = 0; i < (num_tiles_minus2 + 2); i++ ) { tile_x_offset[　i　] tile_x_offset[　i　] ue(v)ue(v) tile_y_offset[　i　] tile_y_offset[　i　] ue(v)ue(v) tile_width_minus1[　i　] tile_width_minus1[　i　] ue(v)ue(v) tile_height_minus1[　i　] tile_height_minus1[　i　] ue(v)ue(v) } } } } loop_filter_across_tiles_enabled_flag loop_filter_across_tiles_enabled_flag u(1)u(1) } } rbsp_trailing_bits(　) rbsp_trailing_bits(　) }}

다른 예에서, 각각의 타일 크기는 다음과 같이 시그널링될 수 있다. 유연한 타일 구조를 시그널링하기 위해, 각각의 타일의 위치는 시그널링되지 않을 수 있다. 대신에, 타일을 이전 타일의 바로 오른쪽 또는 바로 아래에 배치할지 여부를 지정하기 위해 플래그가 시그널링될 수 있다. 타일이 현재 타일의 오른쪽에만 있을 수 있거나 또는 아래에만 있을 수 있는 경우 이러한 플래그는 존재하지 않을 수 있다.tile_x_offset[i] 및 tile_y_offset[i]의 값은 다음의 순서화된 단계에 의해 도출될 수 있다.In another example, each tile size may be signaled as follows. In order to signal a flexible tile structure, the position of each tile may not be signaled. Instead, a flag may be signaled to specify whether to place the tile immediately to the right of or directly below the previous tile. This flag may not be present if the tile may only be to the right or only below the current tile. The values of tile_x_offset[i] and tile_y_offset[i] may be derived by the following ordered steps.

tile_x_offset[0] 및 tile_y_offset[0]은 0과 같도록 설정된다.tile_x_offset[0] and tile_y_offset[0] are set equal to 0.

maxWidth는 tile_width[0]과 같도록 설정되고 maxHeight는 tile_height[0]과 같도록 설정된다.maxWidth is set equal to tile_width[0] and maxHeight is set equal to tile_height[0].

runningWidth는 tile_width[0]과 같도록 설정되고 runningHeight는 tile_height[0]과 같도록 설정된다.runningWidth is set equal to tile_width[0] and runningHeight is set equal to tile_height[0].

lastNewRowHeight는 0과 같도록 설정된다.lastNewRowHeight is set equal to 0.

TilePositionCannotBeInferred = falseTilePositionCannotBeInferred = false

For i > 0, 다음이 적용된다:For i > 0, the following applies:

값 isRight는 다음과 같이 설정되는 것으로 한다:The value isRight shall be set as follows:

if runningWidth + tile_width[i] <= PictureWidth, then isRight = = 1if runningWidth + tile_width[i] <= PictureWidth, then isRight = = 1

else, isRight = = 0else, isRight = = 0

값 isBelow는 다음과 같이 설정되는 것으로 한다:The value isBelow is assumed to be set as follows:

if runningHeight + tile_height[i] <= PictureHeight, then isBelow =　 = 1if runningHeight + tile_height[i] <= PictureHeight, then isBelow =　 = 1

else, isBelow =　= 0else, isBelow =　= 0

If isRight =　= 1 && isBelow =　= 1 then TilePositionCannotBeInferred = trueIf isRight =　= 1 && isBelow =　= 1 then TilePositionCannotBeInferred = true

If isRight =　= 1 && isBelow =　= 0 then 다음이 적용된다:If isRight =　= 1 && isBelow =　= 0 then the following applies:

right_tile_flag[i] = 1right_tile_flag[i] = 1

tile_x_offset[i] = runningWidth.tile_x_offset[i] = runningWidth.

tile_y_offset[i] = (runningWidth == maxWidth) ? 0 : lastNewRowHeighttile_y_offset[i] = (runningWidth == maxWidth) ? 0 : lastNewRowHeight

lastNewRowHeight = (runningWidth == maxWidth) ? 0 : lastNewRowHeightlastNewRowHeight = (runningWidth == maxWidth) ? 0 : lastNewRowHeight

else if isRight =　= 0 && isBelow =　= 1 then 다음이 적용된다:else if isRight =　= 0 && isBelow =　= 1 then the following applies:

right_tile_flag[i] = 0right_tile_flag[i] = 0

tile_y_offset[i] = runningHeighttile_y_offset[i] = runningHeight

tile_x_offset[i] = (runningHeight == maxHeight) ? 0 : tile_x_offset[i　-　1]tile_x_offset[i] = (runningHeight == maxHeight) ? 0 : tile_x_offset[i　-　1]

lastNewRowHeight = (runningHeight == maxHeight && runningWidth == maxWidth) ? runningHeight : lastNewRowHeightlastNewRowHeight = (runningHeight == maxHeight && runningWidth == maxWidth) ? runningHeight : lastNewRowHeight

else if isRight =　= 1 && isBelow =　= 1 && right_tile_flag[i] =　= 1 then 다음이 적용된다:else if isRight =　= 1 && isBelow =　= 1 && right_tile_flag[i] =　= 1 then the following applies:

tile_x_offset[i] = runningWidth.tile_x_offset[i] = runningWidth.

tile_y_offset[i] = (runningWidth == maxWidth) ? 0 : lastNewRowHeighttile_y_offset[i] = (runningWidth == maxWidth) ? 0 : lastNewRowHeight

lastNewRowHeight = (runningWidth == maxWidth) ? 0 : lastNewRowHeightlastNewRowHeight = (runningWidth == maxWidth) ? 0 : lastNewRowHeight

else (즉, isRight =　= 1 && isBelow =　= 1 && right_tile_flag[i] =　= 0) then 다음이 적용된다:else (ie isRight =　= 1 && isBelow =　= 1 && right_tile_flag[i] =　= 0) then the following applies:

tile_y_offset[i] = runningHeighttile_y_offset[i] = runningHeight

tile_x_offset[i] = (runningHeight == maxHeight) ? 0 : tile_x_offset[i　-　1]tile_x_offset[i] = (runningHeight == maxHeight) ? 0 : tile_x_offset[i　-　1]

lastNewRowHeight = (runningHeight == maxHeight && runningWidth == maxWidth) ? runningHeight : lastNewRowHeightlastNewRowHeight = (runningHeight == maxHeight && runningWidth == maxWidth) ? runningHeight : lastNewRowHeight

if right_tile_flag[i] =　= 1, 다음이 적용된다:if right_tile_flag[i] =　= 1, the following applies:

runningWidth = runningWidth + tile_width[i]runningWidth = runningWidth + tile_width[i]

if runningWidth > maxWidth, then maxWidth를 runningWidth과 같도록 설정if runningWidth > maxWidth, then set maxWidth equal to runningWidth

runningHeight는 tile_y_offset[i] + tile_height[i]와 같다runningHeight equals tile_y_offset[i] + tile_height[i]

else (즉, right_tile_flag[i] =　= 0), 다음이 적용된다:else (ie right_tile_flag[i] =　= 0), the following applies:

runningHeight = runningHeight + tile_height[i]runningHeight = runningHeight + tile_height[i]

if runningHeight > maxHeight, then maxHeight를 runningHeight와 같도록 설정if runningHeight > maxHeight, then set maxHeight equal to runningHeight

runningWidth는 tile_x_offset[i] + tile_width[i]와 같다runningWidth equals tile_x_offset[i] + tile_width[i]

전술한 것은 다음과 같이 의사코드로 설명될 수 있다.The foregoing can be described in pseudocode as follows.

tile_x_offset[0] = 0tile_x_offset[0] = 0

tile_y_offset[0] = 0tile_y_offset[0] = 0

maxWidth = tile_width[0]maxWidth = tile_width[0]

maxHeight = tile_height[0]maxHeight = tile_height[0]

runningWidth = tile_width[0]runningWidth = tile_width[0]

runningHeight = tile_height[0]runningHeight = tile_height[0]

lastNewRowHeight = 0lastNewRowHeight = 0

isRight = falseisRight = false

isBelow = falseisBelow = false

TilePositionCannotBeInferred = falseTilePositionCannotBeInferred = false

for( i = 1; i < num_tiles_minus2 + 2; i++ ) {for( i = 1; i < num_tiles_minus2 + 2; i++ ) {

TilePositionCannotBeInferred = falseTilePositionCannotBeInferred = false

isRight = ( runningWidth + tile_width[i] <= PictureWidth ) ? true : falseisRight = ( runningWidth + tile_width[i] <= PictureWidth ) ? true : false

isbelow = ( runningHeight + tile_height[i] <= PictureHeight ) ? true : falseisbelow = ( runningHeight + tile_height[i] <= PictureHeight ) ? true : false

if (!isRight && !isBelow) if (!isRight && !isBelow)

//오류. 이러한 경우는 발생하지 않을 것이다! //error. Such a case will not happen!

if (isRight && isBelow) if (isRight && isBelow)

TilePositionCannotBeInferred = true TilePositionCannotBeInferred = true

if (isRight && !isBelow) { if (isRight && !isBelow) {

right_tile_flag[i] = true right_tile_flag[i] = true

tile_x_offst[i] = runningWidth tile_x_offst[i] = runningWidth

tile_y_offset[i] = (runningWidth == maxWidth) ? 0 : lastNewRowHeight tile_y_offset[i] = (runningWidth == maxWidth) ? 0 : lastNewRowHeight

lastNewRowHeight = tile_y_offset[i] lastNewRowHeight = tile_y_offset[i]

}}

else if (!isRight && isBelow) {else if (!isRight && isBelow) {

right_tile_flag[i] = false right_tile_flag[i] = false

tile_y_offset[i] = runningHeight tile_y_offset[i] = runningHeight

tile_x_offset[i] = (runningHeight == maxHeight) ? 0 : tile_x_offset[i-1] tile_x_offset[i] = (runningHeight == maxHeight) ? 0 : tile_x_offset[i-1]

lastNewRowHeight = (runningHeight == maxHeight && runningWidth == maxWidth) ? lastNewRowHeight = (runningHeight == maxHeight && runningWidth == maxWidth) ?

runningHeight : lastNewRowHeight runningHeight : lastNewRowHeight

}}

else if ( right_tile_flag[i] ) {else if ( right_tile_flag[i] ) {

tile_x_offst[i] = runningWidth tile_x_offst[i] = runningWidth

tile_y_offset[i] = (runningWidth == maxWidth) ? 0 : lastNewRowHeight tile_y_offset[i] = (runningWidth == maxWidth) ? 0 : lastNewRowHeight

lastNewRowHeight = tile_y_offset[i] lastNewRowHeight = tile_y_offset[i]

}}

else {else {

tile_y_offset[i] = runningHeight tile_y_offset[i] = runningHeight

tile_x_offset[i] = (runningHeight == maxHeight) ? 0 : tile_x_offset[i-1] tile_x_offset[i] = (runningHeight == maxHeight) ? 0 : tile_x_offset[i-1]

lastNewRowHeight = (runningHeight == maxHeight && runningWidth == maxWidth) ? lastNewRowHeight = (runningHeight == maxHeight && runningWidth == maxWidth) ?

runningHeight : lastNewRowHeight runningHeight : lastNewRowHeight

}}

}}

if ( right_tile_flag[i] ) {if ( right_tile_flag[i] ) {

runningWidth += tile_width[i]runningWidth += tile_width[i]

if ( runningWidth > maxWidth ) maxWidth = runningWidthif ( runningWidth > maxWidth ) maxWidth = runningWidth

runningHeight = tile_y_offset[i] + tile_height[i]runningHeight = tile_y_offset[i] + tile_height[i]

}}

else {else {

runningHeight += tile_height[i]runningHeight += tile_height[i]

if ( runningHeight > maxHeight ) maxHeight = runningHeightif ( runningHeight > maxHeight ) maxHeight = runningHeight

runningWidth = tile_x_offset[i] + tile_width[i]runningWidth = tile_x_offset[i] + tile_width[i]

}}

pic_parameter_set_rbsp(　) {pic_parameter_set_rbsp(　) { 설명자explainer ... ... .. single_tile_in_pic_flag single_tile_in_pic_flag u(1)u(1) if( !single_tile_in_pic_flag ) { if( !single_tile_in_pic_flag ) { tile_size_unit_idc tile_size_unit_idc ue(v)ue(v) uniform_tile_flag uniform_tile_flag u(1)u(1) if( uniform_tile_flag ) { if( uniform_tile_flag ) { num_tile_columns_minus1 num_tile_columns_minus1 ue(v)ue(v) num_tile_rows_minus1 num_tile_rows_minus1 ue(v)ue(v) } } else { else { num_tiles_minus2 num_tiles_minus2 ue(v)ue(v) for( i = 0; i < (num_tiles_minus2 + 2); i++ ) { for( i = 0; i < (num_tiles_minus2 + 2); i++ ) { tile_width_minus1 [　i　] tile_width_minus1 [　i　] ue(v)ue(v) tile_height_minus1 [　i　] tile_height_minus1 [　i　] ue(v)ue(v) if( TilePositionCannotBeInferred ) if( TilePositionCannotBeInferred ) right_tile_flag[　i　] right_tile_flag[　i　] u(1)u(1) } } } } loop_filter_across_tiles_enabled_flag loop_filter_across_tiles_enabled_flag u(1)u(1) } } rbsp_trailing_bits(　) rbsp_trailing_bits(　) }}

다음은 의사코드에서 마지막 타일의 크기를 도출하는 구현이다.tile_x_offset[0] = 0The following is an implementation that derives the size of the last tile in pseudocode. tile_x_offset[0] = 0

tile_y_offset[0] = 0tile_y_offset[0] = 0

maxWidth = tile_width[0]maxWidth = tile_width[0]

maxHeight = tile_height[0]maxHeight = tile_height[0]

runningWidth = tile_width[0]runningWidth = tile_width[0]

runningHeight = tile_height[0]runningHeight = tile_height[0]

lastNewRowHeight = 0lastNewRowHeight = 0

isRight = falseisRight = false

isBelow = falseisBelow = false

TilePositionCannotBeInferred = falseTilePositionCannotBeInferred = false

for( i = 1; i < num_tiles_minus2 + 2; i++ ) {for( i = 1; i < num_tiles_minus2 + 2; i++ ) {

currentTileWidth = ( i == num_tiles_minus2 + 1 ) ? (PictureWidth - runningWidth) % PictureWidth currentTileWidth = ( i == num_tiles_minus2 + 1 ) ? (PictureWidth - runningWidth) % PictureWidth

: tile_width[i] : tile_width[i]

currentTileHeight = ( i == num_tiles_minus2 + 1 ) ? (PictureHeight - runningHeight) % PictureHeight currentTileHeight = ( i == num_tiles_minus2 + 1 ) ? (PictureHeight - runningHeight) % PictureHeight

: tile_Height[i] : tile_Height[i]

isRight = ( runningWidth + currentTileWidth <= PictureWidth ) ? true : falseisRight = ( runningWidth + currentTileWidth <= PictureWidth ) ? true : false

isbelow = ( runningHeight + currentTileHeight <= PictureHeight ) ? true : falseisbelow = ( runningHeight + currentTileHeight <= PictureHeight ) ? true : false

if (!isRight && !isBelow) if (!isRight && !isBelow)

//오류. 이러한 경우는 발생하지 않을 것이다! //error. Such a case will not happen!

if (isRight && isBelow) if (isRight && isBelow)

TilePositionCannotBeInferred = true TilePositionCannotBeInferred = true

if (isRight && !isBelow) {if (isRight && !isBelow) {

right_tile_flag[i] = true right_tile_flag[i] = true

tile_x_offst[i] = runningWidth tile_x_offst[i] = runningWidth

tile_y_offset[i] = (runningWidth == maxWidth) ? 0 : lastNewRowHeight tile_y_offset[i] = (runningWidth == maxWidth) ? 0 : lastNewRowHeight

lastNewRowHeight = tile_y_offset[i] lastNewRowHeight = tile_y_offset[i]

}}

else if (!isRight && isBelow) {else if (!isRight && isBelow) {

right_tile_flag[i] = false right_tile_flag[i] = false

tile_y_offset[i] = runningHeight tile_y_offset[i] = runningHeight

tile_x_offset[i] = (runningHeight == maxHeight) ? 0 : tile_x_offset[i-1] tile_x_offset[i] = (runningHeight == maxHeight) ? 0 : tile_x_offset[i-1]

lastNewRowHeight = (runningHeight == maxHeight && runningWidth == maxWidth) ?lastNewRowHeight = (runningHeight == maxHeight && runningWidth == maxWidth) ?

runningHeight : lastNewRowHeight runningHeight : lastNewRowHeight

}}

else if ( right_tile_flag[i] ) {else if ( right_tile_flag[i] ) {

tile_x_offst[i] = runningWidth tile_x_offst[i] = runningWidth

tile_y_offset[i] = (runningWidth == maxWidth) ? 0 : lastNewRowHeight tile_y_offset[i] = (runningWidth == maxWidth) ? 0 : lastNewRowHeight

lastNewRowHeight = tile_y_offset[i] lastNewRowHeight = tile_y_offset[i]

}}

else {else {

tile_y_offset[i] = runningHeight tile_y_offset[i] = runningHeight

tile_x_offset[i] = (runningHeight == maxHeight) ? 0 : tile_x_offset[i-1] tile_x_offset[i] = (runningHeight == maxHeight) ? 0 : tile_x_offset[i-1]

lastNewRowHeight = (runningHeight == maxHeight && runningWidth == maxWidth) ?lastNewRowHeight = (runningHeight == maxHeight && runningWidth == maxWidth) ?

runningHeight : lastNewRowHeight runningHeight : lastNewRowHeight

}}

}}

if ( right_tile_flag[i] ) {if ( right_tile_flag[i] ) {

runningWidth += currentTileWidthrunningWidth += currentTileWidth

if ( runningWidth > maxWidth ) maxWidth = runningWidthif ( runningWidth > maxWidth ) maxWidth = runningWidth

runningHeight = tile_y_offset[i] + currentTileHeightrunningHeight = tile_y_offset[i] + currentTileHeight

}}

else {else {

runningHeight += currentTileHeightrunningHeight += currentTileHeight

if ( runningHeight > maxHeight ) maxHeight = runningHeightif ( runningHeight > maxHeight ) maxHeight = runningHeight

runningWidth = tile_x_offset[i] + currentTileWidthrunningWidth = tile_x_offset[i] + currentTileWidth

}}

pic_parameter_set_rbsp(　) {pic_parameter_set_rbsp(　) { 설명자explainer ... ... .. single_tile_in_pic_flag single_tile_in_pic_flag u(1)u(1) if( !single_tile_in_pic_flag ) { if( !single_tile_in_pic_flag ) { tile_size_unit_idc tile_size_unit_idc ue(v)ue(v) uniform_tile_flag uniform_tile_flag u(1)u(1) if( uniform_tile_flag ) { if( uniform_tile_flag ) { num_tile_columns_minus1 num_tile_columns_minus1 ue(v)ue(v) num_tile_rows_minus1 num_tile_rows_minus1 ue(v)ue(v) } } else { else { num_tiles_minus2 num_tiles_minus2 ue(v)ue(v) for( i = 0; i < (num_tiles_minus2 + 1); i++ ) { for( i = 0; i < (num_tiles_minus2 + 1); i++ ) { tile_width_minus1[　i　] tile_width_minus1[　i　] ue(v)ue(v) tile_height_minus1[　i　] tile_height_minus1[　i　] ue(v)ue(v) if( TilePositionCannotBeInferred ) if( TilePositionCannotBeInferred ) right_tile_flag[　i　] right_tile_flag[　i　] u(1)u(1) } } } } loop_filter_across_tiles_enabled_flag loop_filter_across_tiles_enabled_flag u(1)u(1) } } rbsp_trailing_bits(　) rbsp_trailing_bits(　) }}

추가 시그널링 비트 절약을 위해, 고유 타일 크기의 개수는 유닛 타일 크기의 표를 지원하도록 시그널링될 수 있다. 따라서, 타일 크기는 인덱스로만 참조될 수 있다.For additional signaling bit savings, the number of unique tile sizes may be signaled to support a table of unit tile sizes. Therefore, the tile size can be referenced only as an index.

pic_parameter_set_rbsp(　) {pic_parameter_set_rbsp(　) { 설명자explainer ... ... .. single_tile_in_pic_flag single_tile_in_pic_flag u(1)u(1) if( !single_tile_in_pic_flag ) { if( !single_tile_in_pic_flag ) { tile_size_unit_idc tile_size_unit_idc ue(v)ue(v) uniform_tile_flag uniform_tile_flag u(1)u(1) if( uniform_tile_flag ) { if( uniform_tile_flag ) { num_tile_columns_minus1 num_tile_columns_minus1 ue(v)ue(v) num_tile_rows_minus1 num_tile_rows_minus1 ue(v)ue(v) } } else { else { num_tiles_minus2 num_tiles_minus2 ue(v)ue(v) num_unique_tile_sizes num_unique_tile_sizes ue(v)ue(v) for( i = 0; i < num_unique_tile_sizes; i++ ) { for( i = 0; i < num_unique_tile_sizes; i++ ) { preset_tile_width_minus1[　i　] preset_tile_width_minus1[　i　] ue(v)ue(v) preset_tile_height_minus1[　i　] preset_tile_height_minus1[　i　] ue(v)ue(v) } } for( i = 0; i < (num_tiles_minus2 + 2); i++ ) { for( i = 0; i < (num_tiles_minus2 + 2); i++ ) { if ( num_unique_tile_sizes ) if ( num_unique_tile_sizes ) tile_size_idx[　i　] tile_size_idx[　i　] u(v)u(v) else { else { tile_width_minus1[　i　] tile_width_minus1[　i　] ue(v)ue(v) tile_height_minus1[　i　] tile_height_minus1[　i　] ue(v)ue(v) } } if( TilePositionCannotBeInferred ) if( TilePositionCannotBeInferred ) right_tile_flag[　i　] right_tile_flag[　i　] u(1)u(1) } } } } loop_filter_across_tiles_enabled_flag loop_filter_across_tiles_enabled_flag u(1)u(1) } } rbsp_trailing_bits(　) rbsp_trailing_bits(　) }}

도 9는 예시적인 비디오 코딩 장치(900)의 개략도이다. 비디오 코딩 장치(900)는 여기에서 설명된 바와 같이 개시된 예시/실시예를 구현하는데 적합하다. 비디오 코딩 장치(900)는 다운스트림 포트(920), 업스트림 포트(950), 및/또는 네트워크를 통해 데이터 업스트림 및/또는 다운스트림을 통신하기 위한 전송기 및/또는 수신기를 포함하는 트랜시버 유닛(Tx/Rx)(910)을 포함한다. 비디오 코딩 장치(900)는 또한 데이터를 처리하기 위한 로직 유닛 및/또는 중앙 처리 유닛(central processing unit, CPU)을 포함하는 프로세서(930) 및 데이터를 저장하기 위한 메모리(932)를 포함한다. 비디오 코딩 장치(900)는 또한 전기, 광학 또는 무선 통신 네트워크를 통한 데이터의 통신을 위해 업스트림 포트(950) 및/또는 다운스트림 포트(920)에 연결된 전기, 광-전기(optical-to-electrical, OE) 컴포넌트, 전기-광(electrical-to-optical, EO) 컴포넌트 및/또는 무선 통신 컴포넌트를 포함할 수 있다. 비디오 코딩 장치(900)는 또한 사용자와 데이터를 통신하기 위한 입력 및/또는 출력(I/O) 장치(960)를 포함할 수 있다. I/O 장치(960)는 비디오 데이터를 디스플레이하기 위한 디스플레이, 오디오 데이터를 출력하기 위한 스피커 등과 같은 출력 장치를 포함할 수 있다. I/O 장치(960)는 또한 키보드, 마우스, 트랙볼 등과 같은 입력 장치, 및/또는 이러한 출력 장치와 상호 작용하기 위한 대응하는 인터페이스를 포함할 수 있다.프로세서(930)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(930)는 하나 이상의 CPU 칩, 코어(예를 들어, 멀티 코어 프로세서), FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 및 DSP(digital signal processor)로서 구현될 수 있다. 프로세서(930)는 다운스트림 포트(920), Tx/Rx(910), 업스트림 포트(950) 및 메모리(932)와 통신한다. 프로세서(930)는 코딩 모듈(914)을 포함한다. 코딩 모듈(914)은 비트스트림(500) 및/또는 유연한 비디오 타일링 방식(800)에 따라 분할된 이미지를 사용할 수 있는 방법(100, 1000, 1100), 메커니즘(600), 및/또는 애플리케이션(700)과 같은 여기에서 설명된 개시된 실시예를 구현한다. 코딩 모듈(914)은 또한 여기에서 설명된 임의의 다른 방법/메커니즘을 구현할 수 있다. 또한, 코딩 모듈(914)은 코덱 시스템(200), 인코더(300), 및/또는 디코더(400)를 구현할 수 있다. 예를 들어, 코딩 모듈(914)은 픽처 제1 레벨 타일을 분할하고 제1 레벨 타일을 제2 레벨 타일로 분할할 수 있다. 코딩 모듈(914)은 또한 별도의 서브 픽처 추출을 지원하기 위해 이러한 타일을 직사각형 타일 그룹으로 할당할 수 있다. 코딩 모듈(914)은 또한 제1 레벨 타일 및 제2 레벨 타일의 구성을 지시하기 위해 지원 데이터를 시그널링할 수 있다. 코딩 모듈(914)은 여기에서 설명된 바와 같은 다양한 사용 사례에 대해 상이한 해상도의 서브 픽처를 단일 픽처로 결합하기 위해 이러한 메커니즘을 사용하는 것을 추가로 지원한다. 이와 같이, 코딩 모듈(914)은 비디오 코딩 장치(900)의 기능을 개선할 뿐만 아니라 비디오 코딩 기술에 특정한 문제를 해결한다. 또한, 코딩 모듈(914)은 비디오 코딩 장치(900)를 상이한 상태로 변환시킨다. 다르게는, 코딩 모듈(914)은 메모리(932)에 저장된 명령으로서 구현될 수 있고 프로세서(930)에 의해 실행될 수 있다(예를 들어, 비일시적 매체에 저장된 컴퓨터 프로그램 제품으로서임).9 is a schematic diagram of an exemplary video coding apparatus 900 . Video coding apparatus 900 is suitable for implementing the disclosed examples/embodiments as described herein. The video coding apparatus 900 includes a downstream port 920 , an upstream port 950 , and/or a transceiver unit (Tx/or receiver) for communicating data upstream and/or downstream via a network. Rx) (910). The video coding apparatus 900 also includes a processor 930 including a logic unit and/or a central processing unit (CPU) for processing data and a memory 932 for storing data. The video coding device 900 may also be electrically, optical-to-electrical, coupled to an upstream port 950 and/or a downstream port 920 for communication of data over an electrical, optical, or wireless communication network. OE) components, electrical-to-optical (EO) components, and/or wireless communication components. The video coding apparatus 900 may also include an input and/or output (I/O) device 960 for communicating data with a user. The I/O device 960 may include an output device such as a display for displaying video data, a speaker for outputting audio data, and the like. I/O devices 960 may also include input devices such as keyboards, mice, trackballs, etc., and/or corresponding interfaces for interacting with such output devices. Processor 930 may be implemented by hardware and software. do. The processor 930 may be implemented as one or more CPU chips, a core (eg, a multi-core processor), a field-programmable gate array (FPGA), an application specific integrated circuit (ASIC), and a digital signal processor (DSP). Processor 930 communicates with downstream port 920 , Tx/Rx 910 , upstream port 950 and memory 932 . The processor 930 includes a coding module 914 . The coding module 914 may include a method 100 , 1000 , 1100 , a mechanism 600 , and/or an application 700 that may use the segmented image according to the bitstream 500 and/or the flexible video tiling scheme 800 . ) implement the disclosed embodiments described herein, such as Coding module 914 may also implement any other method/mechanism described herein. Also, the coding module 914 may implement the codec system 200 , the encoder 300 , and/or the decoder 400 . For example, the coding module 914 may divide the picture first level tiles and divide the first level tiles into second level tiles. Coding module 914 may also assign these tiles to rectangular tile groups to support separate sub-picture extraction. The coding module 914 may also signal assistance data to indicate the configuration of the first level tile and the second level tile. The coding module 914 further supports using this mechanism to combine subpictures of different resolutions into a single picture for various use cases as described herein. As such, the coding module 914 not only improves the functionality of the video coding apparatus 900 but also solves problems specific to video coding techniques. Also, the coding module 914 transforms the video coding apparatus 900 to a different state. Alternatively, coding module 914 may be implemented as instructions stored in memory 932 and executed by processor 930 (eg, as a computer program product stored on a non-transitory medium).

메모리(932)는 디스크, 테이프 드라이브, 솔리드 스테이트 드라이브, 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 플래시 메모리, TCAM(ternary content-addressable memory), SRAM(static random-access memory) 등과 같은 하나 이상의 메모리 유형을 포함한다. 메모리(932)는 그러한 프로그램이 실행을 위해 선택될 때 프로그램을 저장하고, 프로그램 실행 중에 판독되는 명령 및 데이터를 저장하기 위해 오버 플로우 데이터 저장 장치로 사용될 수 있다.Memory 932 may include disks, tape drives, solid state drives, read-only memory (ROM), random access memory (RAM), flash memory, ternary content-addressable memory (TCAM), static random-access memory (SRAM), etc. Contains one or more memory types. Memory 932 may be used as an overflow data storage device to store programs when such programs are selected for execution, and to store instructions and data that are read during program execution.

도 10은 유연한 비디오 타일링 방식(800)과 같은 유연한 타일링 방식을 사용함으로써 이미지를 인코딩하는 예시적인 방법(1000)의 흐름도이다. 방법(1000)은 방법(100), 메커니즘(600) 및/또는 지원 애플리케이션(700)을 수행하는 경우 코덱 시스템(200), 인코더(300) 및/또는 비디오 코딩 장치(900)와 같은 인코더에 의해 사용될 수 있다. 또한, 방법(1000)은 디코더(400)와 같은 디코더로의 전송을 위한 비트스트림(500)을 생성하기 위해 사용될 수 있다.10 is a flow diagram of an example method 1000 for encoding an image by using a flexible tiling scheme, such as a flexible video tiling scheme 800 . Method 1000 is performed by an encoder such as codec system 200 , encoder 300 and/or video coding apparatus 900 when performing method 100 , mechanism 600 and/or supporting application 700 . can be used Method 1000 may also be used to generate bitstream 500 for transmission to a decoder, such as decoder 400 .

방법(1000)은 인코더가 복수의 이미지를 포함하는 비디오 시퀀스를 수신하고 예를 들어 사용자 입력에 기초하여 해당 비디오 시퀀스를 비트스트림으로 인코딩하기는 것으로 결정하는 경우에 시작될 수 있다. 예를 들어, 비디오 시퀀스 및 그에 따른 이미지는 복수의 해상도로 인코딩될 수 있다. 단계 1001에서, 픽처는 복수의 제1 레벨 타일로 분할된다. 단계 1003에서, 제1 레벨 타일의 서브 세트가 복수의 제2 레벨 타일로 분할된다. 각각의 제2 레벨 타일은 픽처 데이터의 단일 직사각형 슬라이스를 포함할 수 있다. 일부 예에서, 서브 세트 외부의 제1 레벨 타일은 제1 해상도의 픽처 데이터를 포함하고, 제2 레벨 타일은 제1 해상도와 다른 제2 해상도의 픽처 데이터를 포함한다. 일부 예에서, 제1 레벨 타일의 서브 세트 내의 각각의 제1 레벨 타일은 둘 이상의 완전한 제2 레벨 타일을 포함한다.Method 1000 may begin when an encoder receives a video sequence comprising a plurality of images and determines to encode the video sequence into a bitstream, eg, based on user input. For example, a video sequence and thus an image may be encoded in multiple resolutions. In step 1001, the picture is divided into a plurality of first level tiles. In step 1003, the subset of first level tiles is divided into a plurality of second level tiles. Each second level tile may contain a single rectangular slice of picture data. In some examples, the first level tiles outside the subset include picture data at a first resolution, and the second level tiles include picture data at a second resolution different from the first resolution. In some examples, each first level tile in the subset of first level tiles includes two or more complete second level tiles.

단계 1005에서, 제1 레벨 타일 및 제2 레벨 타일은 제2 레벨 타일을 포함하는 할당된 타일 그룹의 모든 타일이 픽처의 직사각형 부분을 덮도록 제한되도록 하나 이상의 타일 그룹으로 할당된다. 특정 예로서, 하나 이상의 타일 그룹 각각은 임의의 제1 레벨 타일이 복수의 제2 레벨 타일로 분할되는 경우(예를 들어, 임의의 유연한 타일링이 사용되는 경우) 픽처의 직사각형 부분을 덮도록 제한될 수 있다. 따라서, 제1 레벨 타일 및 제2 레벨 타일은 왼쪽 경계에서 오른쪽 경계로 픽처를 수평으로 횡단하는 래스터 스캔 순서에 의해 하나 이상의 타일 그룹에 할당되지 않는다. 또한, 픽처의 직사각형 부분을 덮는 것은 픽처의 완전한 수평 부분보다 적게 덮는 것을 포함할 수 있다.In step 1005, the first level tiles and the second level tiles are assigned to one or more tile groups such that all tiles of the assigned tile group including the second level tiles are constrained to cover a rectangular portion of the picture. As a specific example, each of the one or more tile groups may be constrained to cover a rectangular portion of the picture when any first level tile is divided into a plurality of second level tiles (eg, when any flexible tiling is used). can Accordingly, the first level tiles and the second level tiles are not assigned to one or more tile groups by a raster scan order that horizontally traverses the picture from the left boundary to the right boundary. Also, covering a rectangular portion of the picture may include covering less than a completely horizontal portion of the picture.

단계 1007에서, 제1 레벨 타일 및 제2 레벨 타일은 비트스트림으로 인코딩된다. 일부 예에서, 제2 레벨 타일의 구성을 지시하는 데이터는 픽처와 연관된 픽처 파라미터 세트의 비트스트림으로 인코딩될 수 있다. 제2 레벨 타일의 구성은 (예를 들어, PPS에서) 분할된 제1 레벨 타일에 대한 다수의 제2 레벨 타일 열 및 다수의 제2 레벨 타일 행으로서 시그널링될 수 있다. 일부 예에서, 제1 레벨 타일 폭이 최소 폭 임계값의 2배 미만이고 제1 레벨 타일 높이가 최소 높이 임계값의 2배 미만인 경우 제2 레벨 타일 열의 개수 및 제2 레벨 타일 행의 개수를 명시적으로 지시하는 데이터가 비트스트림에서 생략된다. 일부 예에서, 제2 레벨 타일로 분할되는 제1 레벨 타일을 지시하는 분할 지시는 비트스트림(예를 들어, PPS)에서 인코딩될 수 있다. 일부 예에서, 제1 레벨 타일 폭이 최소 폭 임계값 미만이고 제1 레벨 타일 높이가 최소 높이 임계값 미만인 경우 대응하는 제1 레벨 타일에 대한 비트스트림으로부터 분할 지시가 생략될 수 있다.In step 1007, the first level tile and the second level tile are encoded into a bitstream. In some examples, data indicating the configuration of the second level tile may be encoded into a bitstream of a picture parameter set associated with a picture. The configuration of the second level tile may be signaled (eg, in the PPS) as multiple second level tile columns and multiple second level tile rows for the partitioned first level tile. In some examples, specify the number of second level tile columns and the number of second level tile rows if the first level tile width is less than twice the minimum width threshold and the first level tile height is less than twice the minimum height threshold Data that is indicated by the specified data is omitted from the bitstream. In some examples, a division indication indicating a first level tile to be divided into a second level tile may be encoded in a bitstream (eg, PPS). In some examples, when the first level tile width is less than the minimum width threshold and the first level tile height is less than the minimum height threshold, the division indication may be omitted from the bitstream for the corresponding first level tile.

단계 1009에서, 비트스트림은 디코더를 향한 통신을 위해 메모리에 저장될 수 있다. 비트스트림은 요청시 디코더로 전송될 수 있다.At step 1009, the bitstream may be stored in memory for communication towards a decoder. The bitstream may be transmitted to the decoder upon request.

도 11은 유연한 비디오 타일링 방식(800)과 같은 유연한 타일링 방식을 사용함으로써 이미지를 디코딩하는 예시적인 방법(1100)의 흐름도이다. 11 is a flow diagram of an example method 1100 of decoding an image by using a flexible tiling scheme, such as a flexible video tiling scheme 800 .

방법(1100)은 방법(100), 메커니즘(600) 및/또는 지원 애플리케이션(700)을 수행하는 경우 코덱 시스템(200), 디코더(400) 및/또는 비디오 코딩 장치(900)와 같은 디코더에 의해 사용될 수 있다. 또한, 방법(1100)은 인코더(300)와 같은 인코더로부터의 비트스트림(500)을 수신할 때 사용될 수 있다.Method 1100 is performed by a decoder such as codec system 200 , decoder 400 and/or video coding apparatus 900 when performing method 100 , mechanism 600 and/or supporting application 700 . can be used Method 1100 may also be used when receiving a bitstream 500 from an encoder, such as encoder 300 .

방법(1100)은 디코더가 예를 들어 방법(1000)의 결과로서 비디오 시퀀스를 나타내는 코딩된 데이터의 비트스트림을 수신하기 시작할 때 시작될 수 있다. 비트스트림은 복수의 해상도로 코딩된 비디오 시퀀스로부터의 비디오 데이터를 포함할 수 있다. 단계 1101에서, 비트스트림이 수신된다. 비트스트림은 복수의 제1 레벨 타일로 분할된 픽처를 포함한다. 제1 레벨 타일의 서브 세트는 복수의 제2 레벨 타일로 추가로 분할된다. 각각의 제2 레벨 타일은 픽처 데이터의 단일 직사각형 슬라이스를 포함할 수 있다. 일부 예에서, 서브 세트 외부의 제1 레벨 타일은 제1 해상도의 픽처 데이터를 포함하고 제2 레벨 타일은 제1 해상도와 다른 제2 해상도의 픽처 데이터를 포함한다. 일부 예에서, 제1 레벨 타일의 서브 세트 내의 각각의 제1 레벨 타일은 둘 이상의 완전한 제2 레벨 타일을 포함한다. 제1 레벨 타일 및 제2 레벨 타일은 제2 레벨 타일을 포함하는 할당된 타일 그룹의 모든 타일이 픽처의 직사각형 부분을 덮도록 제한되도록 하나 이상의 타일 그룹으로 할당될 수 있다. 예를 들어, 하나 이상의 타일 그룹 각각은 임의의 제1 레벨 타일이 복수의 제2 레벨 타일로 분할되는 경우 픽처의 직사각형 부분을 덮도록 제한될 수 있다(예를 들어, 유연한 타일링이 사용됨). 또한, 제1 레벨 타일 및 제2 레벨 타일은 왼쪽 경계에서 오른쪽 경계로 픽처를 수평으로 횡단하는 래스터 스캔 순서에 의해 하나 이상의 타일 그룹에 할당되지 않을 수 있다. 일부 경우에, 픽처의 직사각형 부분을 덮는 것은 픽처의 완전한 수평 부분보다 적게 덮는 것을 포함한다.Method 1100 may begin when a decoder begins receiving a bitstream of coded data representing a video sequence, for example, as a result of method 1000 . A bitstream may include video data from a video sequence coded at multiple resolutions. In step 1101, a bitstream is received. The bitstream includes a picture divided into a plurality of first level tiles. The subset of first level tiles is further divided into a plurality of second level tiles. Each second level tile may contain a single rectangular slice of picture data. In some examples, the first level tiles outside the subset include picture data at a first resolution and the second level tiles include picture data at a second resolution different from the first resolution. In some examples, each first level tile in the subset of first level tiles includes two or more complete second level tiles. The first level tiles and the second level tiles may be assigned to one or more tile groups such that all tiles of the assigned tile group including the second level tiles are constrained to cover a rectangular portion of the picture. For example, each of the one or more tile groups may be constrained to cover a rectangular portion of the picture when any first level tile is divided into a plurality of second level tiles (eg, flexible tiling is used). Also, the first level tile and the second level tile may not be assigned to one or more tile groups by a raster scan order that horizontally traverses the picture from the left boundary to the right boundary. In some cases, covering a rectangular portion of the picture includes covering less than a completely horizontal portion of the picture.

단계 1103에서, 제1 레벨 타일의 구성 및 제2 레벨 타일의 구성은 하나 이상의 타일 그룹에 기초하여 결정된다. 예를 들어, 제2 레벨 타일의 구성을 지시하는 데이터는 픽처와 연관된 픽처 파라미터 세트로부터 획득될 수 있다. 일부 예에서, 제2 레벨 타일의 구성은 분할된 제1 레벨 타일에 대한 제2 레벨 타일 열의 개수 및 제2 레벨 타일 행의 개수를 지시하는 데이터로부터 획득된다. 일부 예에서, 제1 레벨 타일 폭이 최소 폭 임계값의 두 배 미만이고 제1 레벨 타일 높이가 최소 높이 임계값 미만일 때 제2 레벨 타일 열의 개수 및 제2 레벨 타일 행의 개수를 명시적으로 지시하는 데이터는 대응하는 타일에 대한 비트스트림으로부터 생략된다. 일부 예에서, 분할 지시는 제1 레벨 타일 및 제2 레벨 타일의 구성을 결정하는 일부로서 비트스트림으로부터 획득될 수 있다. 분할 지시는 제2 레벨 타일로 분할된 제1 레벨 타일을 지시할 수 있다. 일부 예에서, 제1 레벨 타일 폭이 최소 폭 임계값 미만이고 제1 레벨 타일 높이가 최소 높이 임계값 미만인 경우 제1 레벨 타일이 제2 레벨 타일로 분할되는지 여부를 명시적으로 지시하는 분할 지시 데이터는 비트스트림에서 생략된다.In step 1103 , the configuration of the first level tile and the configuration of the second level tile are determined based on one or more tile groups. For example, data indicating the configuration of the second level tile may be obtained from a picture parameter set associated with a picture. In some examples, the configuration of the second level tile is obtained from data indicating the number of second level tile columns and the number of second level tile rows for the divided first level tiles. In some examples, explicitly indicating the number of second level tile columns and the number of second level tile rows when the first level tile width is less than twice the minimum width threshold and the first level tile height is less than the minimum height threshold data is omitted from the bitstream for the corresponding tile. In some examples, the division indication may be obtained from the bitstream as part of determining the configuration of the first level tile and the second level tile. The division indication may indicate a first level tile divided into a second level tile. In some examples, splitting indication data explicitly indicating whether a first level tile is split into a second level tile when the first level tile width is less than the minimum width threshold and the first level tile height is less than the minimum height threshold is omitted from the bitstream.

단계 1105에서, 제1 레벨 타일 및 제2 레벨 타일은 제1 레벨 타일의 구성 및 제2 레벨 타일의 구성에 기초하여 디코딩된다. 단계 1107에서, 디코딩된 제1 레벨 타일 및 제2 레벨 타일에 기초하여 디스플레이를 위해 재구성된 비디오 시퀀스가 생성된다.In step 1105 , the first level tile and the second level tile are decoded based on the configuration of the first level tile and the configuration of the second level tile. In step 1107, a reconstructed video sequence is generated for display based on the decoded first level tiles and second level tiles.

도 12는 유연한 비디오 타일링 방식(800)과 같은 유연한 타일링 방식을 사용함으로써 비디오 시퀀스를 코딩하기 위한 예시 시스템(1200)의 개략도이다. 시스템(1200)은 코덱 시스템(200), 인코더(300), 디코더(400), 및/또는 비디오 코딩 장치(900)와 같은 인코더 및 디코더에 의해 구현될 수 있다. 또한, 시스템(1200)은 방법(100, 1000, 1100), 메커니즘(600) 및/또는 애플리케이션(700)을 구현할 때 사용될 수 있다. 시스템(1200)은 또한 데이터를 비트스트림(500)과 같은 비트스트림으로 인코딩하고, 사용자에게 디스플레이하기 위해 이러한 비트스트림을 디코딩할 수 있다.12 is a schematic diagram of an example system 1200 for coding a video sequence by using a flexible tiling scheme, such as flexible video tiling scheme 800 . System 1200 may be implemented by encoders and decoders, such as codec system 200 , encoder 300 , decoder 400 , and/or video coding apparatus 900 . In addition, system 1200 may be used in implementing method 100 , 1000 , 1100 , mechanism 600 , and/or application 700 . System 1200 may also encode data into a bitstream, such as bitstream 500 , and decode this bitstream for display to a user.

시스템(1200)은 비디오 인코더(1202)를 포함한다. 비디오 인코더(1202)는 픽처를 복수의 제1 레벨 타일로 분할하고 제1 레벨 타일의 서브 세트를 복수의 제2 레벨 타일로 분할하기 위한 분할 모듈(1201)을 포함한다. 비디오 인코더(1202)는 제2 레벨 타일을 포함하는 할당된 타일 그룹의 모든 타일이 픽처의 직사각형 부분을 덮도록 제한되도록 제1 레벨 타일 및 제2 레벨 타일을 하나 이상의 타일 그룹으로 할당하기 위한 할당 모듈(1203)을 더 포함한다. 비디오 인코더(1202)는 제1 레벨 타일 및 제2 레벨 타일을 비트스트림으로 인코딩하기 위한 인코딩 모듈(1205)을 더 포함한다. 비디오 인코더(1202)는 디코더를 향한 통신을 위해 비트스트림을 저장하기 위한 저장 모듈(1207)을 더 포함한다. 비디오 인코더(1202)는 디코더를 향해 비트스트림을 전송하기 위한 전송 모듈(1209)을 더 포함한다. 비디오 인코더(1202)는 방법(1000)의 임의의 단계를 수행하도록 추가로 구성될 수 있다.The system 1200 includes a video encoder 1202 . The video encoder 1202 includes a partitioning module 1201 for partitioning a picture into a plurality of first level tiles and partitioning a subset of the first level tiles into a plurality of second level tiles. The video encoder 1202 is configured to allocate a first level tile and a second level tile to one or more tile groups such that all tiles of the assigned tile group including the second level tile are constrained to cover a rectangular portion of the picture. (1203). The video encoder 1202 further includes an encoding module 1205 for encoding the first level tile and the second level tile into a bitstream. The video encoder 1202 further includes a storage module 1207 for storing the bitstream for communication towards the decoder. The video encoder 1202 further includes a sending module 1209 for sending the bitstream towards the decoder. The video encoder 1202 may be further configured to perform any step of the method 1000 .

시스템(1200)은 또한 비디오 디코더(1210)를 포함한다. 비디오 디코더(1210)는 복수의 제1 레벨 타일로 분할된 픽처를 포함하는 비트스트림을 수신하기 위한 수신 모듈(1211)을 포함하며, 여기서 제1 레벨 타일의 서브 세트는 복수의 제2 레벨 타일로 추가로 분할되고, 제1 레벨 타일 및 제2 레벨 타일은 제2 레벨 타일을 포함하는 할당된 타일 그룹의 모든 타일이 픽처의 직사각형 부분을 덮도록 제한되도록 하나 이상의 타일 그룹으로 할당된다. 비디오 디코더(1210)는 하나 이의 타일 그룹에 기초하여 제1 레벨 타일의 구성 및 제2 레벨 타일의 구성을 결정하기 위한 결정 모듈(1213)을 더 포함한다. 비디오 디코더(1210)는 제1 레벨 타일의 구성 및 제2 레벨 타일의 구성에 기초하여 제1 레벨 타일 및 제2 레벨 타일을 디코딩하기 위한 디코딩 모듈(1215)을 더 포함한다. 비디오 디코더(1210)는 디코딩된 제1 레벨 타일 및 제2 레벨 타일에 기초하여 디스플레이를 위한 재구성된 비디오 시퀀스를 생성하기 위한 생성 모듈(1217)을 더 포함한다. 비디오 디코더(1210)는 방법(1100)의 임의의 단계를 수행하도록 추가로 구성될 수 있다.System 1200 also includes a video decoder 1210 . The video decoder 1210 includes a receiving module 1211 for receiving a bitstream comprising a picture divided into a plurality of first level tiles, wherein the subset of the first level tiles is divided into a plurality of second level tiles. are further divided, and the first level tiles and the second level tiles are assigned to one or more tile groups such that all tiles of the assigned tile group including the second level tiles are constrained to cover a rectangular portion of the picture. The video decoder 1210 further includes a determining module 1213 for determining the configuration of the first level tile and the configuration of the second level tile based on one group of tiles. The video decoder 1210 further includes a decoding module 1215 for decoding the first level tile and the second level tile based on the configuration of the first level tile and the configuration of the second level tile. The video decoder 1210 further includes a generating module 1217 for generating a reconstructed video sequence for display based on the decoded first-level tile and the second-level tile. The video decoder 1210 may be further configured to perform any step of the method 1100 .

제1 컴포넌트와 제2 컴포넌트 사이에 라인, 트레이스 또는 다른 매체를 제외하고 중간 컴포넌트가 없을 때 제1 컴포넌트는 제2 컴포넌트에 직접 결합된다. 제1 컴포넌트와 제2 컴포넌트 사이에 라인, 트레이스 또는 다른 매체 이외의 중간 컴포넌트가 있을 때 제1 컴포넌트는 제2 컴포넌트에 간접적으로 결합된다. 용어 "결합된" 및 그 변형은 직접 결합 및 간접 결합을 모두 포함한다. 용어 "약"의 사용은 달리 명시되지 않는 한 후속 숫자의 ± 10%를 포함하는 범위를 의미한다.A first component is directly coupled to a second component when there are no intermediate components except for lines, traces or other media between the first and second components. A first component is indirectly coupled to a second component when there is an intermediate component other than a line, trace or other medium between the first component and the second component. The term “coupled” and variations thereof includes both direct and indirect bonds. The use of the term “about” means a range including ±10% of the subsequent number, unless otherwise specified.

또한, 여기에서 설명된 예시적인 방법의 단계가 반드시 설명된 순서로 수행되어야 하는 것은 아니며, 그러한 방법의 단계의 순서는 단지 예시적인 것으로 이해되어야 함이 이해되어야 한다. 마찬가지로, 추가 단계가 이러한 방법에 포함될 수 있고, 본 개시의 다양한 실시예와 일치하는 방법에서 특정 단계가 생략되거나 결합될 수 있다.Also, it is to be understood that the steps of the exemplary method steps described herein are not necessarily performed in the order described, and that the order of steps of such method steps is to be understood as exemplary only. Likewise, additional steps may be included in these methods, and certain steps may be omitted or combined in methods consistent with various embodiments of the present disclosure.

본 개시에서 여러 실시예가 제공되었지만, 개시된 시스템 및 방법은 본 개시의 사상 또는 범위를 벗어나지 않고 많은 다른 특정 형태로 구현 될 수 있이 이해될 수 있다. 본 예시는 제한적인 것이 아니라 예시적인 것으로 간주되어야 하며, 의도는 여기에서 제공된 세부 사항에 제한되지 않는다. 예를 들어, 다양한 요소 또는 컴포넌트는 다른 시스템에서 결합되거나 또는 통합될 수 있거나, 또는 특정 기능이 생략되거나 구현되지 않을 수 있다.While several embodiments have been provided in this disclosure, it is to be understood that the disclosed systems and methods may be embodied in many other specific forms without departing from the spirit or scope of the disclosure. This example is to be considered illustrative rather than restrictive, and the intent is not to limit the details provided herein. For example, various elements or components may be combined or integrated in other systems, or certain functions may be omitted or not implemented.

또한, 다양한 실시예에서 개별적이거나 별개로 설명되고 예시된 기술, 시스템, 서브 시스템 및 방법은 본 개시의 범위를 벗어나지 않고 다른 시스템, 컴포넌트, 기술 또는 방법과 결합되거나 통합될 수 있다. 변경, 대체 및 변형의 다른 예는 당업자에 의해 확인될 수 있으며 여기에 개시된 사상 및 범위를 벗어나지 않고 행해질 수 있다.In addition, techniques, systems, subsystems, and methods described and illustrated separately or separately in the various embodiments may be combined or integrated with other systems, components, techniques, or methods without departing from the scope of the present disclosure. Other examples of changes, substitutions, and modifications will be apparent to those skilled in the art and may be made without departing from the spirit and scope disclosed herein.

Claims (22)

인코더에서 구현되는 방법으로서,
상기 인코더의 프로세서에 의해, 픽처(picture)를 복수의 제1 레벨 타일로 분할하는 단계;
상기 프로세서에 의해, 상기 제1 레벨 타일의 서브 세트를 복수의 제2 레벨 타일로 분할하는 단계;
상기 프로세서에 의해, 상기 제2 레벨 타일 슬라이스를 포함하는 할당된 타일 그룹의 모든 타일이 상기 픽처의 직사각형 영역을 덮도록 제한되도록 상기 제1 레벨 타일 및 상기 제2 레벨 타일을 하나 이상의 타일 그룹으로 할당하는 단계;
상기 프로세서에 의해, 상기 제1 레벨 타일 및 상기 제2 레벨 타일을 비트스트림으로 인코딩하는 단계; 및
디코더를 향한 통신을 위한 비트스트림을 상기 인코더의 메모리에 저장하는 단계
를 포함하는 방법.A method implemented in an encoder, comprising:
dividing, by a processor of the encoder, a picture into a plurality of first level tiles;
dividing, by the processor, the subset of first level tiles into a plurality of second level tiles;
allocating, by the processor, the first level tile and the second level tile to one or more tile groups such that all tiles of the assigned tile group including the second level tile slice are restricted to cover a rectangular area of the picture to do;
encoding, by the processor, the first level tile and the second level tile into a bitstream; and
storing a bitstream for communication towards a decoder in a memory of the encoder;
How to include. 제1항에 있어서,
상기 서브 세트 외부의 제1 레벨 타일은 제1 해상도의 픽처 데이터를 포함하고 제2 레벨 타일은 상기 제1 해상도와 다른 제2 해상도의 픽처 데이터를 포함하는,
방법.According to claim 1,
a first level tile outside the subset includes picture data of a first resolution and a second level tile includes picture data of a second resolution different from the first resolution;
method. 제1항 내지 제2항 중 어느 한 항에 있어서,
상기 하나 이상의 타일 그룹 각각은 임의의 제1 레벨 타일이 복수의 제2 레벨 타일로 분할되는 경우 상기 픽처의 직사각형 영역을 덮도록 제한되는,
방법.The method according to any one of claims 1 to 2,
each of the one or more tile groups is constrained to cover a rectangular area of the picture when any first level tile is divided into a plurality of second level tiles;
method. 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 레벨 타일 및 상기 제2 레벨 타일은 왼쪽 경계에서 오른쪽 경계로 상기 픽처를 수평으로 횡단하는 래스터 스캔(raster scan) 순서에 의해 상기 하나 이상의 타일 그룹에 할당되지 않는,
방법. 4. The method according to any one of claims 1 to 3,
The first level tile and the second level tile are not assigned to the one or more tile groups by a raster scan order that horizontally traverses the picture from a left boundary to a right boundary,
method. 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 픽처의 직사각형 영역을 덮는 것은 상기 픽처의 완전한 수평 영역보다 작은 영역을 덮는 것을 포함하는,
방법.5. The method according to any one of claims 1 to 4,
covering a rectangular area of the picture comprises covering an area smaller than a perfectly horizontal area of the picture;
method. 제1항 내지 제5항 중 어느 한 항에 있어서,
각각의 제2 레벨 타일은 상기 픽처로부터의 픽처 데이터의 단일 슬라이스를 포함하는,
방법.6. The method according to any one of claims 1 to 5,
each second level tile contains a single slice of picture data from the picture,
method. 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 프로세서에 의해, 분할된 제1 레벨 타일에 대한 제2 레벨 타일 행(row) 및 제2 레벨 타일 열(column)을 인코딩하는 단계
를 더 포함하며,
상기 제2 레벨 타일 행 및 상기 제2 레벨 타일 열은 상기 픽처와 연관된 픽처 파라미터 세트로 인코딩되는,
방법.7. The method according to any one of claims 1 to 6,
encoding, by the processor, a second level tile row and a second level tile column for the divided first level tile;
further comprising,
wherein the second level tile row and the second level tile column are encoded with a picture parameter set associated with the picture.
method. 제1항 내지 제7항 중 어느 한 항에 있어서,
제1 레벨 타일이 제2 레벨 타일로 분할되는지 여부를 명시적으로 지시하는 데이터는 최소 폭 임계값보다 작은 폭을 갖는 제1 레벨 타일에 대해 상기 비트스트림으로부터 생략되고 높이는 최소 높이 임계값보다 작으며, 제2 레벨 타일 행 및 제2 레벨 타일 열은 상기 최소 폭 임계값의 두 배보다 작은 폭을 갖는 분할된 제1 레벨 타일에 대해 상기 비트스트림으로부터 생략되고 높이는 상기 최소 높이 임계값의 두 배보다 작은,
방법.8. The method according to any one of claims 1 to 7,
Data explicitly indicating whether a first level tile is divided into second level tiles is omitted from the bitstream for a first level tile having a width less than a minimum width threshold and a height is less than a minimum height threshold; , second level tile rows and second level tile columns are omitted from the bitstream for a partitioned first level tile having a width less than twice the minimum width threshold and a height greater than twice the minimum height threshold small,
method. 디코더에서 구현되는 방법으로서,
상기 디코더의 프로세서에 의해 수신기를 통해, 복수의 제1 레벨 타일로 분할된 픽처를 포함하는 비트스트림을 수신하는 단계 ― 상기 제1 레벨 타일의 서브 세트는 복수의 제2 레벨 타일로 추가로 분할되고, 상기 제1 레벨 타일 및 상기 제2 레벨 타일은 상기 제2 레벨 타일을 포함하는 할당된 타일 그룹의 모든 타일이 상기 픽처의 직사각형 영역을 덮도록 제한되도록 하나 이상의 타일 그룹으로 할당됨 ―;
상기 프로세서에 의해, 상기 하나 이상의 타일 그룹에 기초하여 상기 제1 레벨 타일의 구성 및 상기 제2 레벨 타일의 구성을 결정하는 단계;
상기 프로세서에 의해, 상기 제1 레벨 타일의 구성 및 상기 제2 레벨 타일의 구성에 기초하여 상기 제1 레벨 타일 및 상기 제2 레벨 타일을 디코딩하는 단계; 및
상기 프로세서에 의해, 디코딩된 제1 레벨 타일 및 제2 레벨 타일에 기초하여 디스플레이를 위한 재구성된 비디오 시퀀스를 생성하는 단계
를 포함하는 방법.A method implemented in a decoder, comprising:
receiving, by a processor of the decoder, via a receiver, a bitstream comprising a picture partitioned into a plurality of first level tiles, wherein the subset of first level tiles is further partitioned into a plurality of second level tiles; , the first level tile and the second level tile are assigned to one or more tile groups such that all tiles of the assigned tile group including the second level tile are constrained to cover a rectangular area of the picture;
determining, by the processor, a configuration of the first level tile and a configuration of the second level tile based on the one or more tile groups;
decoding, by the processor, the first level tile and the second level tile based on the configuration of the first level tile and the configuration of the second level tile; and
generating, by the processor, a reconstructed video sequence for display based on the decoded first level tiles and second level tiles;
How to include. 제9항에 있어서,
상기 서브 세트 외부의 제1 레벨 타일은 제1 해상도의 픽처 데이터를 포함하고 제2 레벨 타일은 상기 제1 해상도와 다른 제2 해상도의 픽처 데이터를 포함하는,
방법.10. The method of claim 9,
a first level tile outside the subset includes picture data of a first resolution and a second level tile includes picture data of a second resolution different from the first resolution;
method. 제9항 내지 제10항 중 어느 한 항에 있어서,
상기 하나 이상의 타일 그룹 각각은 임의의 제1 레벨 타일이 복수의 제2 레벨 타일로 분할되는 경우 상기 픽처의 직사각형 영역을 덮도록 제한되는,
방법.11. The method according to any one of claims 9 to 10,
each of the one or more tile groups is constrained to cover a rectangular area of the picture when any first level tile is divided into a plurality of second level tiles;
method. 제9항 내지 제11항 중 어느 한 항에 있어서,
상기 제1 레벨 타일 및 상기 제2 레벨 타일은 왼쪽 경계에서 오른쪽 경계로 상기 픽처를 수평으로 횡단하는 래스터 스캔 순서에 의해 상기 하나 이상의 타일 그룹에 할당되지 않는,
방법.12. The method according to any one of claims 9 to 11,
The first level tile and the second level tile are not assigned to the one or more tile groups by a raster scan order that horizontally traverses the picture from a left boundary to a right boundary.
method. 제9항 내지 제12항 중 어느 한 항에 있어서,
상기 픽처의 직사각형 영역을 덮는 것은 상기 픽처의 완전한 수평 영역보다 작은 영역을 덮는 것을 포함하는,
방법.13. The method according to any one of claims 9 to 12,
covering a rectangular area of the picture comprises covering an area smaller than a perfectly horizontal area of the picture;
method. 제9항 내지 제13항 중 어느 한 항에 있어서,
각각의 제2 레벨 타일은 상기 픽처로부터의 픽처 데이터의 단일 슬라이스를 포함하는,
방법.14. The method according to any one of claims 9 to 13,
each second level tile contains a single slice of picture data from the picture,
method. 제9항 내지 제14항 중 어느 한 항에 있어서,
상기 프로세서에 의해, 상기 픽처와 연관된 픽처 파라미터 세트로부터 분할된 제1 레벨 타일에 대한 제2 레벨 타일 행 및 제2 레벨 타일 열을 획득하는 단계
를 더 포함하는, 방법.15. The method according to any one of claims 9 to 14,
obtaining, by the processor, a second level tile row and a second level tile column for a partitioned first level tile from a picture parameter set associated with the picture;
A method further comprising: 제9항 내지 제15항 중 어느 한 항에 있어서,
제1 레벨 타일이 제2 레벨 타일로 분할되는지 여부를 명시적으로 지시하는 데이터는 최소 폭 임계값보다 작은 폭을 갖는 제1 레벨 타일에 대해 상기 비트스트림으로부터 생략되고 높이는 최소 높이 임계값보다 작으며, 제2 레벨 타일 행 및 제2 레벨 타일 열은 상기 최소 폭 임계값의 두 배보다 작은 폭을 갖는 분할된 제1 레벨 타일에 대해 상기 비트스트림으로부터 생략되고 높이는 상기 최소 높이 임계값의 두 배보다 작은,
방법.16. The method according to any one of claims 9 to 15,
Data explicitly indicating whether a first level tile is divided into second level tiles is omitted from the bitstream for a first level tile having a width less than a minimum width threshold and a height is less than a minimum height threshold; , second level tile rows and second level tile columns are omitted from the bitstream for a partitioned first level tile having a width less than twice the minimum width threshold and a height greater than twice the minimum height threshold small,
method. 비디오 코딩 장치로서,
프로세서, 상기 프로세서에 결합된 수신기, 및 상기 프로세서에 결합된 전송기
를 포함하며,
상기 프로세서, 수신기 및 전송기는 제1항 내지 제16항 중 어느 한 항의 방법을 수행하도록 구성되는,
비디오 코딩 장치A video coding device comprising:
a processor, a receiver coupled to the processor, and a transmitter coupled to the processor
includes,
17. The processor, receiver and transmitter are configured to perform the method of any one of claims 1 to 16.
video coding device 비 일시적 컴퓨터 판독 가능 매체로서,
비디오 코딩 장치에 의한 사용을 위한 컴퓨터 프로그램 제품을 포함하며,
상기 컴퓨터 프로그램 제품은 프로세서에 의해 실행될 때 상기 비디오 코딩 장치로 하여금 제1항 내지 제16항 중 어느 한 항의 방법을 수행하도록 상기 비 일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 실행 가능 명령을 포함하는,
비 일시적 컴퓨터 판독 가능 매체.A non-transitory computer-readable medium comprising:
a computer program product for use by a video coding device;
The computer program product comprising computer executable instructions stored in the non-transitory computer readable medium to cause the video coding apparatus to perform the method of any one of claims 1 to 16 when executed by a processor.
Non-transitory computer-readable media. 인코더로서,
픽처를 복수의 제1 레벨 타일로 분할하고,
상기 제1 레벨 타일의 서브 세트를 복수의 제2 레벨 타일로 분할하기 위한
분할 수단;
상기 제2 레벨 타일을 포함하는 할당된 타일 그룹의 모든 타일이 상기 픽처의 직사각형 영역을 덮도록 제한되도록 상기 제1 레벨 타일 및 상기 제2 레벨 타일을 하나 이상의 타일 그룹으로 할당하기 위한 할당 수단;
상기 프로세서에 의해, 상기 제1 레벨 타일 및 상기 제2 레벨 타일을 비트스트림으로 인코딩하기 위한 인코딩 수단; 및
디코더를 향한 통신을 위한 비트스트림을 저장하기 위한 저장 수단
을 포함하는 인코더.As an encoder,
Split the picture into a plurality of first level tiles,
for dividing the subset of the first level tiles into a plurality of second level tiles;
division means;
allocating means for allocating the first level tile and the second level tile to one or more tile groups such that all tiles of the assigned tile group including the second level tile are restricted to cover a rectangular area of the picture;
encoding means for encoding, by the processor, the first level tile and the second level tile into a bitstream; and
storage means for storing the bitstream for communication towards the decoder
Encoder containing 제19항에 있어서,
상기 인코더는 제1항 내지 제8항 중 어느 한 항의 방법을 수행하도록 추가로 구성되는,
인코더.20. The method of claim 19,
The encoder is further configured to perform the method of any one of claims 1 to 8,
encoder. 디코더로서,
복수의 제1 레벨 타일로 분할된 픽처를 포함하는 비트스트림을 수신하기 위한 수신 수단 ― 상기 제1 레벨 타일의 서브 세트는 복수의 제2 레벨 타일로 추가로 분할되고, 상기 제1 레벨 타일 및 상기 제2 레벨 타일은 상기 제2 레벨 타일을 포함하는 할당된 타일 그룹의 모든 타일이 상기 픽처의 직사각형 영역을 덮도록 제한되도록 하나 이상의 타일 그룹으로 할당됨 ―;
상기 하나 이상의 타일 그룹에 기초하여 상기 제1 레벨 타일의 구성 및 상기 제2 레벨 타일의 구성을 결정하기 위한 결정 수단;
상기 제1 레벨 타일의 구성 및 상기 제2 레벨 타일의 구성에 기초하여 상기 제1 레벨 타일 및 상기 제2 레벨 타일을 디코딩하기 위한 디코딩 수단; 및
디코딩된 제1 레벨 타일 및 제2 레벨 타일에 기초하여 디스플레이를 위한 재구성된 비디오 시퀀스를 생성하기 위한 생성 수단
을 포함하는 디코더.As a decoder,
receiving means for receiving a bitstream comprising a picture divided into a plurality of first level tiles, wherein the subset of first level tiles is further divided into a plurality of second level tiles, the first level tiles and the second level tiles are assigned to one or more tile groups such that all tiles of the assigned tile group containing the second level tiles are constrained to cover a rectangular area of the picture;
determining means for determining a configuration of the first level tile and a configuration of the second level tile based on the one or more tile groups;
decoding means for decoding the first level tile and the second level tile based on the configuration of the first level tile and the configuration of the second level tile; and
generating means for generating a reconstructed video sequence for display based on the decoded first level tile and the second level tile
A decoder comprising 제20항에 있어서,
상기 디코더는 제9항 내지 제16항 중 어느 한 항의 방법을 수행하도록 추가로 구성되는,
디코더.21. The method of claim 20,
The decoder is further configured to perform the method of any one of claims 9 to 16,
decoder.

Images