KR102602633B1 - Method and apparatus for image encoding/decoding - Google Patents

Abstract

복수의 계층을 지원하는 영상 부호화/복호화 방법 및 장치가 개시된다. 상기 복수의 계층을 지원하는 영상 복호화 방법은 현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 단계, 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하는 단계, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계 및 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행하여 상기 현재 복호화 대상 블록의 예측 샘플들을 생성하는 단계를 포함한다. A video encoding/decoding method and device supporting multiple layers are disclosed. The video decoding method supporting the plurality of layers includes decoding first layer information referenced by a second layer picture including a current decoding target block, and decoding the first layer information with the picture size of the second layer. Mapping, adding the mapped first layer information to construct a reference picture list for the picture of the second layer, and determining the current decoding target of the second layer based on the reference picture list. It includes performing prediction on a block to generate prediction samples of the current block to be decoded.

Description

영상 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR IMAGE ENCODING/DECODING}Image encoding/decoding method and device {METHOD AND APPARATUS FOR IMAGE ENCODING/DECODING}

본 발명은 영상 부호화 및 복호화에 관한 것으로, 보다 상세하게는 다계층 구조의 영상 부호화 및 복호화 시 하위 계층의 정보를 이용하여 상위 계층의 영상을 예측하고 부호화 및 복호화 하는 방법에 관한 것이다. The present invention relates to video encoding and decoding, and more specifically, to a method of predicting, encoding, and decoding an image of a higher layer using information of a lower layer when encoding and decoding a multi-layered image.

최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다. Recently, as a multimedia environment has been established, various terminals and networks are being used, and user demands are also diversifying accordingly.

예컨대, 단말의 성능과 컴퓨팅 능력(computing capability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 또한 기업이 사용자에게 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다. For example, as the performance and computing capabilities of terminals become more diverse, the performance supported by each device is also becoming more diverse. In addition, the networks through which information is transmitted are becoming more diverse not only in terms of external structure, such as wired and wireless networks, but also in terms of functions, such as the type of information being transmitted, the amount of information, and the speed. Users select the terminal and network to use according to the desired function, and the spectrum of terminals and networks provided by companies to users is also becoming more diverse.

이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 많은 노력을 하고 있다. In relation to this, as broadcasting with high definition (HD) resolution has recently expanded not only domestically but also globally, many users are becoming accustomed to high-resolution, high-definition video. Accordingly, many video service-related organizations are making great efforts to develop next-generation video devices.

또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 가지는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다. In addition, as interest in UHD (Ultra High Definition), which has a resolution four times higher than that of HDTV, increases along with HDTV, the demand for technology to compress and process higher resolution and higher quality images is increasing.

영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 다른 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 인코딩 기술 등이 사용될 수 있다.In order to compress and process images, inter prediction technology predicts pixel values included in the current picture from temporally previous and/or subsequent pictures, and uses pixel information in the current picture to determine other pixels included in the current picture. Intra prediction technology that predicts values, entropy encoding technology that assigns short codes to symbols with high frequency of occurrence and long codes to symbols with low frequency of appearance, etc. can be used.

상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자의 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다. As described above, considering each terminal and network with different supported functions and the diversified needs of users, the quality, size, and frame of the supported video also need to be diversified accordingly.

이와 같이, 이종의 통신망과 다양한 기능 및 종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 율 등을 다양하게 지원하는 스케일러빌리티(scalability)는 비디오 포맷의 중요한 기능이 되고 있다. In this way, due to heterogeneous communication networks and various functions and types of terminals, scalability, which supports various image quality, resolution, size, frame rate, etc., has become an important function of the video format.

따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질 등의 측면에서 효율적인 비디오 부호화와 복호화가 가능하도록 스케일러빌리티 기능을 제공하는 것이 필요하다.Therefore, in order to provide services required by users in various environments based on a highly efficient video encoding method, it is necessary to provide a scalability function to enable efficient video encoding and decoding in terms of time, space, image quality, etc.

본 발명은 스케일러블 비디오 코딩에서 하위 계층의 정보를 이용하여 상위 계층을 부호화/복호화하는 방법 및 장치를 제공한다.The present invention provides a method and device for encoding/decoding a higher layer using lower layer information in scalable video coding.

본 발명은 스케일러블 비디오 코딩에서 하위 계층 영상을 매핑하는 방법 및 장치를 제공한다. The present invention provides a method and device for mapping lower layer images in scalable video coding.

본 발명은 스케일러블 비디오 코딩에서 하위 계층 영상을 이용하여 상위 계층 영상의 참조 픽처 리스트를 구성하고 예측을 수행하는 방법 및 장치를 제공한다. The present invention provides a method and apparatus for constructing a reference picture list of a higher layer image using a lower layer image and performing prediction in scalable video coding.

본 발명의 일 실시예에 따르면, 복수의 계층을 지원하는 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 단계, 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하는 단계, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계 및 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행하여 상기 현재 복호화 대상 블록의 예측 샘플들을 생성하는 단계를 포함한다. According to an embodiment of the present invention, an image decoding method supporting multiple layers is provided. The image decoding method includes decoding first layer information referenced by a second layer picture including a current decoding target block, mapping the first layer information to the second layer picture size. Constructing a reference picture list for the picture of the second layer by adding the mapped first layer information, and performing prediction on the current decoding target block of the second layer based on the reference picture list. and generating prediction samples of the current decoding target block.

상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함할 수 있다. The first layer information may include at least one of a sample value and motion information of the first layer picture.

본 발명의 다른 실시예에 따르면, 복수의 계층을 지원하는 영상 복호화 장치가 제공된다. 상기 영상 복호화 장치는 현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 복호화부 및 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하고, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하고, 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행하여 상기 현재 복호화 대상 블록의 예측 샘플들을 생성하는 예측부를 포함한다. According to another embodiment of the present invention, a video decoding device supporting multiple layers is provided. The video decoding device includes a decoder that decodes the information of the first layer referred to by the picture of the second layer including the current decoding target block, and maps the information of the first layer to the picture size of the second layer. Construct a reference picture list for the picture of the second layer by adding the mapped first layer information, and perform prediction on the current decoding target block of the second layer based on the reference picture list. and a prediction unit that generates prediction samples of the current decoding target block.

상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함할 수 있다. The first layer information may include at least one of a sample value and motion information of the first layer picture.

본 발명의 또 다른 실시예에 따르면, 복수의 계층을 지원하는 영상 부호화 방법이 제공된다. 상기 영상 부호화 방법은 현재 부호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 단계, 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하는 단계, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계 및 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 부호화 대상 블록에 대한 예측을 수행하여 상기 현재 부호화 대상 블록의 예측 샘플들을 생성하는 단계를 포함한다. According to another embodiment of the present invention, an image encoding method supporting multiple layers is provided. The image encoding method includes the steps of decoding first layer information referenced by a second layer picture including a current encoding target block, mapping the first layer information to the picture size of the second layer. Constructing a reference picture list for the picture of the second layer by adding the mapped first layer information, and performing prediction on the current encoding target block of the second layer based on the reference picture list. and generating prediction samples of the current encoding target block.

상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함할 수 있다. The first layer information may include at least one of a sample value and motion information of the first layer picture.

본 발명의 또 다른 실시예에 따르면, 복수의 계층을 지원하는 영상 부호화 장치가 제공된다. 상기 영상 부호화 장치는 현재 부호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 부호화하는 부호화부 및 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하고, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하고, 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 부호화 대상 블록에 대한 예측을 수행하여 상기 현재 부호화 대상 블록의 예측 샘플들을 생성하는 예측부를 포함한다. According to another embodiment of the present invention, a video encoding device supporting multiple layers is provided. The video encoding device includes an encoder that encodes the first layer information referenced by the second layer picture including the current encoding target block, and maps the first layer information to the second layer picture size. Construct a reference picture list for the picture of the second layer by adding the mapped first layer information, and perform prediction on the current encoding target block of the second layer based on the reference picture list. and a prediction unit that generates prediction samples of the current encoding target block.

상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함할 수 있다. The first layer information may include at least one of a sample value and motion information of the first layer picture.

종래 기술에서는 하위 계층의 움직임 정보를 매핑하는 과정에서, 상위 계층의 시간 움직임 벡터 예측이 수행되지 않는 경우에도, 불필요한 움직임 정보 매핑 과정이 수행되는 문제점이 있다. 또한, 하위 계층의 움직임 정보 매핑을 수행하지 않는 경우, 상위 계층에서 시간 움직임 벡터를 위한 대응 픽처(collocated picture)로 하위 계층의 복호화된 픽처를 지시할 수 있기 때문에 상위 계층의 시간 움직임 벡터 예측을 수행하지 못하는 경우가 발생하여 부호화 효율이 저하되는 문제점이 있다. In the prior art, in the process of mapping motion information of a lower layer, there is a problem in that an unnecessary motion information mapping process is performed even when temporal motion vector prediction of the upper layer is not performed. In addition, if the motion information mapping of the lower layer is not performed, the higher layer can indicate the decoded picture of the lower layer as the corresponding picture (collocated picture) for the temporal motion vector, so temporal motion vector prediction of the upper layer is performed. There are cases where this is not possible, and there is a problem that coding efficiency is reduced.

본 발명에 따르면, 상위 계층이 참조하는 하위 계층의 움직임 정보를 상위 계층의 영상 크기로 매핑을 수행한 후 매핑된 하위 계층의 영상 신호를 이용하여 상위 계층을 예측하여 복원함으로써, 부호화/복호화 효율을 향상시킬 수 있다. 또한, 상위 레벨 신택스를 수정함으로써, 불필요한 하위 계층의 움직임 정보에 대한 매핑 과정을 생략할 수 있으며 복잡도를 감소시킬 수 있다. 또한, 잘못된 대응 픽처가 사용되는 것을 방지하여 부호화 효율의 저하를 방지할 수 있다. According to the present invention, the motion information of the lower layer referred to by the upper layer is mapped to the image size of the upper layer, and then the upper layer is predicted and restored using the mapped image signal of the lower layer, thereby improving encoding/decoding efficiency. It can be improved. Additionally, by modifying the upper level syntax, the mapping process for unnecessary lower layer motion information can be omitted and complexity can be reduced. Additionally, it is possible to prevent a decrease in coding efficiency by preventing an incorrect corresponding picture from being used.

도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명의 실시예에 따른 스케일러블 비디오 코딩에서 계층간 예측(인터 레이어 예측)을 수행하는 방법을 개략적으로 나타낸 순서도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 계층 간 움직임 정보 매핑 방법을 설명하기 위해 도시된 도면이다.Figure 1 is a block diagram showing the configuration of a video encoding device according to an embodiment to which the invention is applied.
Figure 2 is a block diagram showing the configuration of a video decoding device according to an embodiment to which the present invention is applied.
Figure 3 is a conceptual diagram schematically showing an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
Figure 4 is a flowchart schematically showing a method of performing inter-layer prediction (inter-layer prediction) in scalable video coding according to an embodiment of the present invention.
Figures 5 and 6 are diagrams to explain a method for mapping inter-layer motion information according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In describing embodiments of the present specification, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present specification, the corresponding description may be omitted.

본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.In this specification, when a component is referred to as “connected” or “connected” to another component, it may mean that it is directly connected or connected to the other component, or may mean that it is connected to another component in the middle. It can also mean that an element exists. In addition, the description of “including” a specific configuration in this specification does not exclude configurations other than the configuration, and means that additional configurations may be included in the practice of the present invention or the scope of the technical idea of the present invention.

제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.Terms such as first, second, etc. may be used to describe various configurations, but the configurations are not limited by the terms. The above terms are used for the purpose of distinguishing one configuration from another. For example, a first configuration may be referred to as a second configuration, and similarly, a second configuration may be referred to as the first configuration without departing from the scope of the present invention.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.Additionally, the components appearing in the embodiments of the present invention are shown independently to represent different characteristic functions, and this does not mean that each component is comprised of separate hardware or a single software component. That is, each component is listed and included as a separate component for convenience of explanation, and at least two components among each component may form one component, or one component may be divided into a plurality of components to perform a function. Integrated embodiments and separate embodiments of each component are also included in the scope of the present invention as long as they do not deviate from the essence of the present invention.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.Additionally, some components may not be essential components that perform essential functions in the present invention, but may simply be optional components to improve performance. The present invention can be implemented by including only essential components for implementing the essence of the present invention excluding components used only to improve performance, and a structure including only essential components excluding optional components used only to improve performance. is also included in the scope of rights of the present invention.

도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. Figure 1 is a block diagram showing the configuration of a video encoding device according to an embodiment to which the invention is applied.

멀티 레이어(multi-layer) 구조를 지원하는 스케일러블(scalable) 비디오 부호화 장치는, 단일 레이어 구조의 일반적인 영상 부호화 장치를 확장(extension)하여 구현될 수 있다. 도 1의 블록도는 멀티 레이어 구조에 적용 가능한 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.A scalable video coding device that supports a multi-layer structure can be implemented by extending a general video coding device with a single layer structure. The block diagram of FIG. 1 shows an embodiment of a video encoding device that can be the basis of a scalable video encoding device applicable to a multi-layer structure.

도 1을 참조하면, 영상 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함한다.Referring to FIG. 1, the image encoding device 100 includes an inter prediction unit 110, an intra prediction unit 120, a switch 115, a subtractor 125, a transform unit 130, a quantization unit 140, and an entropy It includes an encoder 150, an inverse quantization unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a reference picture buffer 190.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. The image encoding device 100 may encode an input image in intra mode or inter mode and output a bitstream.

인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다. 이때, 입력 영상은 원 영상(original picture)를 의미할 수 있다.In the case of intra mode, the switch 115 may be switched to intra, and in the case of inter mode, the switch 115 may be switched to inter. Intra prediction refers to prediction within a screen, and inter prediction refers to prediction between screens. The image encoding apparatus 100 may generate a prediction block for an input block of an input image and then encode the residual between the input block and the prediction block. At this time, the input image may mean the original picture.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화/복호화된 블록의 샘플 값을 참조 샘플로 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 공간적 예측을 수행하고 현재 블록에 대한 예측 샘플들을 생성할 수 있다.In the case of intra mode, the intra prediction unit 120 may use the sample value of an already encoded/decoded block surrounding the current block as a reference sample. The intra prediction unit 120 may perform spatial prediction using a reference sample and generate prediction samples for the current block.

인터 모드인 경우, 인터 예측부(110)는, 움직임 예측 과정에서 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처에서 입력 블록(현재 블록)과의 차이가 가장 적은 참조 블록을 특정하는 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.In the case of inter mode, the inter prediction unit 110 generates a motion vector that specifies the reference block with the smallest difference from the input block (current block) from the reference picture stored in the reference picture buffer 190 during the motion prediction process. You can get it. The inter prediction unit 110 may generate a prediction block for the current block by performing motion compensation using a motion vector and a reference picture stored in the reference picture buffer 190.

멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(110)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다. In the case of a multi-layer structure, inter prediction applied in inter mode may include inter-layer prediction. The inter prediction unit 110 may construct an inter-layer reference picture by sampling a picture of the reference layer and perform inter-layer prediction by including the inter-layer reference picture in the reference picture list. Reference relationships between layers can be signaled through information specifying dependencies between layers.

한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사 또는 보간에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.Meanwhile, when the current layer picture and the reference layer picture are the same size, sampling applied to the reference layer picture may mean creating a reference sample by copying or interpolating samples from the reference layer picture. When the resolution of the current layer picture and the reference layer picture are different, sampling applied to the reference layer picture may mean upsampling.

예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에는 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.For example, when the resolution between layers is different, an inter-layer reference picture can be constructed by upsampling the reconstructed picture of the reference layer between layers that support scalability regarding resolution.

어떤 레이어의 픽처를 이용하여 인터 레이어 참조 픽처를 구성할 것인지는 부호화 코스트 등을 고려하여 결정될 수 있다. 부호화 장치는 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보를 복호화 장치로 전송할 수 있다. Which layer's picture to use to construct an inter-layer reference picture can be determined by considering coding costs, etc. The encoding device may transmit information specifying the layer to which the picture to be used as an inter-layer reference picture belongs to the decoding device.

또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.Additionally, the layer referenced in inter-layer prediction, that is, the picture used for prediction of the current block within the reference layer, may be a picture of the same AU (Access Unit) as the current picture (the prediction target picture within the current layer).

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다. The subtractor 125 may generate a residual block by the difference between the input block and the generated prediction block.

변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다. The transform unit 130 may perform transform on the residual block and output a transform coefficient. Here, the transformation coefficient may mean a coefficient value generated by performing transformation on the residual block and/or the residual signal. Hereinafter, in this specification, a quantized transform coefficient level generated by applying quantization to a transform coefficient may also be referred to as a transform coefficient.

변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔차 블록에 대한 변환을 생략할 수도 있다.When the transform skip mode is applied, the transform unit 130 may skip transforming the residual block.

양자화부(140)는 입력된 변환 계수를 양자화 파라미터(quantization parameter, 또는 양자화 매개변수)에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. 양자화된 계수는 양자화된 변환 계수 레벨(quantized transform coefficient level)로 불릴 수도 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 입력된 변환 계수를 양자화할 수 있다.The quantization unit 140 may quantize the input transform coefficient according to a quantization parameter (quantization parameter) and output a quantized coefficient. Quantized coefficients may also be called quantized transform coefficient levels. At this time, the quantization unit 140 may quantize the input transform coefficient using a quantization matrix.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화부(150)는 비디오의 화소 정보 외에 비디오 디코딩을 위한 정보(예컨대, 신택스 엘리먼트(syntax element) 등)을 엔트로피 부호화 할 수도 있다.The entropy encoding unit 150 may entropy encode the values calculated by the quantization unit 140 or the encoding parameter values calculated during the encoding process according to a probability distribution and output a bitstream. The entropy encoding unit 150 may entropy encode information for video decoding (eg, syntax elements, etc.) in addition to video pixel information.

부호화 파라미터는 부호화 및 복호화에 필요한 정보로서, 신택스 엘리먼트와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다.Encoding parameters are information necessary for encoding and decoding, and may include information that is encoded in the encoding device and transmitted to the decoding device, such as syntax elements, as well as information that can be inferred during the encoding or decoding process.

예를 들어, 부호화 파라미터는 인트라/인터 예측 모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔차 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. For example, encoding parameters include intra/inter prediction mode, translation/motion vector, reference image index, coding block pattern, presence/absence of residual signal, transform coefficient, quantized transform coefficient, quantization parameter, block size, block division information, etc. Or it may include statistics.

잔차 신호는 원신호와 예측 신호 간의 차이를 의미할 수 있고, 또한 원신호와 예측 신호 간의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호 간의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔차 신호는 블록 단위에서는 잔차 블록이라 할 수 있다.The residual signal can refer to the difference between the original signal and the predicted signal, and can also mean that the difference between the original signal and the predicted signal is a transformed signal, or the difference between the original signal and the predicted signal is a transformed and quantized signal. It could mean. The residual signal can be referred to as a residual block in block units.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.When entropy coding is applied, a small number of bits are allocated to symbols with a high probability of occurrence and a large number of bits are allocated to symbols with a low probability of occurrence to represent the symbols, thereby reducing the size of the bit string for the symbols to be encoded. can be reduced. Therefore, the compression performance of video encoding can be improved through entropy coding.

엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.The entropy encoding unit 150 may use encoding methods such as exponential gollomb, context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC) for entropy encoding. For example, the entropy encoding unit 150 may perform entropy encoding using a Variable Lenghth Coding/Code (VLC) table. In addition, the entropy encoding unit 150 derives a binarization method of the target symbol and a probability model of the target symbol/bin, and then performs entropy encoding using the derived binarization method or probability model. You may.

도 1의 실시예에 따른 영상 부호화 장치(100)는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.Since the video encoding apparatus 100 according to the embodiment of FIG. 1 performs inter predictive coding, that is, inter-screen predictive coding, the currently encoded video needs to be decoded and stored to be used as a reference video. Therefore, the quantized coefficient may be inversely quantized in the inverse quantization unit 160 and inversely transformed in the inverse transformation unit 170. The inverse-quantized and inverse-transformed coefficients are added to the prediction block through the adder 175, and a reconstructed block is generated.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽처 버퍼(190)에 저장될 수 있다.The restored block passes through the filter unit 180, and the filter unit 180 applies at least one of a deblocking filter, Sample Adaptive Offset (SAO), and Adaptive Loop Filter (ALF) to the restored block or restored picture. can do. The filter unit 180 may also be called an adaptive in-loop filter. The deblocking filter can remove block distortion at the boundaries between blocks. SAO can add an appropriate offset value to the pixel value to compensate for coding errors. ALF can perform filtering based on the comparison between the restored image and the original image. The restored block that has passed through the filter unit 180 may be stored in the reference picture buffer 190.

도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.Figure 2 is a block diagram showing the configuration of a video decoding device according to an embodiment to which the present invention is applied.

멀티 레이어(multi-layer) 구조를 지원하는 스케일러블(scalable) 비디오 복호화 장치는, 단일 레이어 구조의 일반적인 영상 복호화 장치를 확장(extension)하여 구현될 수 있다. 도 2의 블록도는 멀티 레이어 구조에 적용 가능한 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.A scalable video decoding device that supports a multi-layer structure can be implemented by extending a general video decoding device with a single layer structure. The block diagram of FIG. 2 shows an embodiment of a video decoding device that can be the basis of a scalable video decoding device applicable to a multi-layer structure.

도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.Referring to FIG. 2, the image decoding device 200 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, and an adder 255. ), a filter unit 260, and a reference picture buffer 270.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. The image decoding device 200 may receive a bitstream output from an encoder, perform decoding in intra mode or inter mode, and output a reconstructed image, that is, a reconstructed image.

인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.In the case of intra mode, the switch may be converted to intra, and in the case of inter mode, the switch may be converted to inter.

영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.The image decoding device 200 obtains a reconstructed residual block from the input bitstream, generates a prediction block, and then adds the reconstructed residual block and the prediction block to generate a reconstructed block, that is, a restored block. .

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient)와 신택스 엘리먼트 등의 정보를 출력할 수 있다.The entropy decoding unit 210 may entropy decode the input bitstream according to a probability distribution and output information such as quantized coefficients and syntax elements.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환된다. 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다. 이때, 역양자화부(220)에서는 양자화된 계수에 양자화 행렬을 적용할 수 있다.The quantized coefficient is inversely quantized in the inverse quantization unit 220 and inversely transformed in the inverse transformation unit 230. As a result of inverse quantization/inverse transformation of the quantized coefficients, a restored residual block may be generated. At this time, the inverse quantization unit 220 may apply a quantization matrix to the quantized coefficient.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 샘플 값을 이용하여 공간적 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 생성할 수 있다. In the intra mode, the intra prediction unit 240 may perform spatial prediction using sample values of already decoded blocks surrounding the current block and generate prediction samples for the current block.

인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.In the case of inter mode, the inter prediction unit 250 can generate a prediction block for the current block by performing motion compensation using a motion vector and a reference picture stored in the reference picture buffer 270.

멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(250)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.In the case of a multi-layer structure, inter prediction applied in inter mode may include inter-layer prediction. The inter prediction unit 250 may construct an inter-layer reference picture by sampling a picture of the reference layer and perform inter-layer prediction by including the inter-layer reference picture in the reference picture list. Reference relationships between layers can be signaled through information specifying dependencies between layers.

한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사 또는 보간에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.Meanwhile, when the current layer picture and the reference layer picture are the same size, sampling applied to the reference layer picture may mean creating a reference sample by copying or interpolating samples from the reference layer picture. When the resolution of the current layer picture and the reference layer picture are different, sampling applied to the reference layer picture may mean upsampling.

예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에 인터 레이어 예측이 적용된다면, 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다. For example, if the resolution between layers is different and inter-layer prediction is applied between layers that support scalability regarding resolution, an inter-layer reference picture can be constructed by upsampling the reconstructed picture of the reference layer.

이때, 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보는 부호화 장치로부터 복호화 장치로 전송될 수 있다.At this time, information specifying the layer to which the picture to be used as an inter-layer reference picture belongs may be transmitted from the encoding device to the decoding device.

또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.Additionally, the layer referenced in inter-layer prediction, that is, the picture used for prediction of the current block within the reference layer, may be a picture of the same AU (Access Unit) as the current picture (the prediction target picture within the current layer).

복원된 레지듀얼 블록과 예측 블록은 가산기(255)에서 더해져서, 복원 블록이 생성된다. 다시 말하면, 레지듀얼 샘플과 예측 샘플이 더해져서 복원된 샘플 또는 복원된 픽처가 생성된다.The restored residual block and the prediction block are added in the adder 255 to generate a restored block. In other words, the residual sample and the prediction sample are added to generate a restored sample or restored picture.

복원된 픽처는 필터부(260)에서 필터링 된다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된(modified) 혹은 필터링된(filtered) 복원 픽처(reconstructed picture)를 출력한다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.The restored picture is filtered in the filter unit 260. The filter unit 260 may apply at least one of a deblocking filter, SAO, and ALF to a reconstructed block or a reconstructed picture. The filter unit 260 outputs a reconstructed picture that is modified or filtered. The reconstructed image can be stored in the reference picture buffer 270 and used for inter prediction.

또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 파싱부(미도시)를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.Additionally, the video decoding device 200 may further include a parsing unit (not shown) that parses information related to the encoded video included in the bitstream. The parsing unit may include an entropy decoding unit 210 or may be included in the entropy decoding unit 210. This parsing unit may also be implemented as a component of the decoding unit.

도 1과 도 2에서는 하나의 부호화 장치/복호화 장치가 멀티 레이어에 대한 부호화/복호화를 모두 처리하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 부호화 장치/복호화 장치는 레이어별로 구성될 수도 있다.In FIGS. 1 and 2, it is explained that one encoding device/decoding device processes all encoding/decoding for multiple layers. However, this is for convenience of explanation, and the encoding device/decoding device may be configured for each layer.

이 경우, 상위 레이어의 부호화 장치/복호화 장치는 상위 레이어의 정보 및 하위 레이어의 정보를 이용하여 해당 상위 레이어의 부호화/복호화를 수행할 수 있다. 예컨대, 상위 레이어의 예측부(인터 예측부)는 상위 레이어의 픽셀 정보 또는 픽처 정보를 이용하여 현재 블록에 대한 인트라 예측 또는 인터 예측을 수행할 수도 있고, 하위 레이어로부터 복원된 픽처 정보를 수신하고 이를 이용하여 상위 레이어의 현재 블록에 대한 인터 예측(인터 레이어 예측)을 수행할 수도 있다. 여기서는, 레이어 간의 예측만을 예로서 설명하였으나, 부호화 장치/복호화 장치는 레이어별로 구성되든, 하나의 장치가 멀티 레이어를 처리하든 상관없이, 다른 레이어의 정보를 이용하여 현재 레이어에 대한 부호화/복호화를 수행할 수 있다. In this case, the encoding/decoding device of the upper layer can perform encoding/decoding of the higher layer using the information of the upper layer and the information of the lower layer. For example, the prediction unit (inter prediction unit) of the upper layer may perform intra prediction or inter prediction for the current block using the pixel information or picture information of the upper layer, and may receive the reconstructed picture information from the lower layer and use it. You can also use this to perform inter prediction (inter-layer prediction) on the current block of the upper layer. Here, only prediction between layers is explained as an example, but the encoding/decoding device performs encoding/decoding for the current layer using information from other layers, regardless of whether it is configured by layer or one device processes multiple layers. can do.

본 발명에서 레이어는 뷰(view)를 포함할 수 있다. 이 경우, 인터 레이어 예측의 경우는 단순히 하위 레이어의 정보를 이용하여 상위 레이어의 예측을 수행하는 것이 아니라, 레이어 간 의존성을 특정하는 정보에 의해 의존성이 있는 것으로 특정된 레이어들 사이에서 다른 레이어의 정보를 이용하여 인터 레이어 예측이 수행될 수도 있다.In the present invention, a layer may include a view. In this case, in the case of inter-layer prediction, the prediction of the upper layer is not simply performed using the information of the lower layer, but the information of other layers is determined as being dependent by information specifying the inter-layer dependency. Interlayer prediction may be performed using .

도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.Figure 3 is a conceptual diagram schematically showing an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied. In Figure 3, GOP (Group of Picture) represents a picture group, that is, a group of pictures.

영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.A transmission medium is required to transmit video data, and its performance varies depending on the transmission medium depending on various network environments. A scalable video coding method may be provided for application to these various transmission media or network environments.

스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’혹은 ‘스케일러블 비디오 코딩’이라 함)은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적(spatial), 시간적(temporal), 화질적(혹은 품질적, quality), 시점(view) 관점에서 다양한 스케일러빌리티를 제공할 수 있다.A video coding method that supports scalability (hereinafter referred to as 'scalable coding' or 'scalable video coding') removes redundancy between layers by utilizing texture information, motion information, and residual signals between layers. This is a coding method that improves encoding and decoding performance. The scalable video coding method uses various scalers in terms of spatial, temporal, picture quality (or quality), and viewpoint, depending on surrounding conditions such as transmission bit rate, transmission error rate, and system resources. ability can be provided.

스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 디코딩 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 디코딩 정보 및 일반적인 영상 디코딩 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.Scalable video coding can be performed using a multiple layer structure to provide a bitstream applicable to various network situations. For example, the scalable video coding structure may include a base layer that compresses and processes video data using a general video decoding method, and compresses video data using the decoding information of the base layer and a general video decoding method together. May include an enhancement layer for processing.

기본 계층(Base layer)은 베이스 레이어라고 지칭할 수도 있고, 하위 계층(lower layer)이라 지칭할 수도 있다. 향상 계층(Enhancement layer)은 인핸스먼트 레이어 혹은 상위 계층(higher layer)이라 지칭할 수도 있다. 이때, 하위 계층은 특정 계층 보다 낮은 스케일러빌러티를 지원하는 계층을 의미할 수 있으며, 상위 계층은 특정 계층 보다 높은 스케일러빌러티를 지원하는 계층을 의미할 수 있다. 또한, 다른 계층의 부호화/복호화에 참조되는 계층을 참조 계층(참조 레이어)라고 하고, 다른 계층을 이용하여 부호화/복호화되는 계층을 현재 계층(현재 레이어)라고 할 수 있다. 참조 계층은 현재 계층보다 하위 계층일 수 있으며, 현재 계층은 참조 계층보다 상위 계층일 수 있다. The base layer may be referred to as a base layer or a lower layer. The enhancement layer may also be referred to as an enhancement layer or a higher layer. At this time, the lower layer may refer to a layer that supports lower scalability than a specific layer, and the upper layer may refer to a layer that supports higher scalability than a specific layer. Additionally, a layer that is referenced for encoding/decoding of another layer may be referred to as a reference layer (reference layer), and a layer that is encoded/decoded using another layer may be referred to as a current layer (current layer). The reference layer may be a lower layer than the current layer, and the current layer may be a higher layer than the reference layer.

여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 디코딩 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도, 시점(view) 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다.Here, the layer is based on spatial (e.g., image size), time (e.g., decoding order, image output order, frame rate), image quality, complexity, view, etc. It refers to a set of distinct images and bitstreams.

도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHD (ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다. Referring to FIG. 3, for example, the base layer may be defined as SD (standard definition), a frame rate of 15 Hz, and a 1 Mbps bit rate, and the first enhancement layer may be defined as HD (high definition), a frame rate of 30 Hz, and a 3.9 Mbps bit rate. It can be defined as , and the second enhancement layer can be defined as 4K-UHD (ultra high definition), a frame rate of 60Hz, and a bit rate of 27.2Mbps.

상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다. 예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 향상계층 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다. The format, frame rate, bit rate, etc. are one embodiment and may be determined differently depending on need. Additionally, the number of layers used is not limited to this embodiment and may be determined differently depending on the situation. For example, if the transmission bandwidth is 4Mbps, the frame rate of the first enhancement layer HD can be reduced and transmitted at 15Hz or less.

스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적, 시점 스케일러빌리티를 제공할 수 있다. 본 명세서에서 스케일러블 비디오 코딩은 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.The scalable video coding method can provide temporal, spatial, image quality, and viewpoint scalability by the method described above in the embodiment of FIG. 3. In this specification, scalable video coding has the same meaning as scalable video encoding from an encoding perspective and scalable video decoding from a decoding perspective.

통상적으로, 화면간 예측(이하, 인터 예측)은 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하고, 참조 픽처를 기반으로 현재 블록에 대한 예측을 수행할 수 있다. Typically, inter-screen prediction (hereinafter referred to as inter prediction) uses at least one of the picture before or after the current picture as a reference picture, and prediction of the current block can be performed based on the reference picture.

현재 블록의 예측에 이용되는 영상을 참조 픽처(reference picture) 또는 참조 프레임(reference frame)이라고 한다. The image used for prediction of the current block is called a reference picture or reference frame.

참조 픽처 내에서 현재 블록의 예측에 이용되는 영역(참조 블록)은 참조 픽처를 지시하는 참조 픽처 인덱스(refIdx) 및 움직임 벡터(motion vector) 등을 이용하여 나타낼 수 있다. The area (reference block) used for prediction of the current block within the reference picture can be indicated using a reference picture index (refIdx) and a motion vector that indicate the reference picture.

인터 예측은 참조 픽처 및 참조 픽처 내에서 현재 블록에 대응하는 참조 블록을 선택해서, 현재 블록에 대한 예측 블록을 생성할 수 있다. 이때, 인터 예측은 현재 블록과의 레지듀얼(residual) 신호가 최소화되며, 움직임 벡터 크기 역시 최소가 되도록 예측 블록을 생성할 수 있다. Inter prediction can generate a prediction block for the current block by selecting a reference picture and a reference block corresponding to the current block within the reference picture. At this time, inter prediction can generate a prediction block so that the residual signal with the current block is minimized and the motion vector size is also minimized.

인터 예측 시 참조 픽처의 정보를 이용하기 위해, 현재 블록 주변에 위치한 주변 블록들의 정보를 이용할 수 있다. 예컨대, 인터 예측은 주변 블록들의 정보를 이용하는 방법에 따라, 스킵(skip) 모드, 머지(merge) 모드, AMVP(Advanced Motion Vector Prediction) 등을 적용할 수 있다. 이러한 스킵 모드, 머지 모드, AMVP 모드는 주변 블록의 정보에 기반하여 현재 블록에 대한 예측 블록을 생성할 수 있다. In order to use information on the reference picture during inter prediction, information on neighboring blocks located around the current block can be used. For example, inter prediction can apply skip mode, merge mode, AMVP (Advanced Motion Vector Prediction), etc. depending on how information on neighboring blocks is used. These skip mode, merge mode, and AMVP mode can generate a prediction block for the current block based on information about neighboring blocks.

스킵 모드는 주변 블록의 정보를 그대로 현재 블록에 이용할 수 있다. 따라서, 스킵 모드가 적용되는 경우, 부호화기는 현재 블록의 움직임 정보로서 어떤 주변 블록의 움직임 정보를 이용할 것인지를 지시하는 정보를 복호화기로 전송하면 되고, 이외 레지듀얼 등과 같은 신택스 정보는 복호화기로 전송하지 않는다. Skip mode allows information from surrounding blocks to be used as is in the current block. Therefore, when skip mode is applied, the encoder only needs to transmit information indicating which neighboring block's motion information to use as motion information of the current block to the decoder, and syntax information such as residuals is not transmitted to the decoder. .

머지 모드는 주변 블록의 움직임 정보를 그대로 이용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 머지 모드가 적용되는 경우, 부호화기는 현재 블록에 대하여 머지 모드를 적용하는지를 지시하는 정보, 어떤 주변 블록의 움직임 정보를 이용할 것인지를 지시하는 정보, 현재 블록에 대한 레지듀얼 정보 등을 복호화기에 전송할 수 있다. 복호화기는 부호화기로부터 지시된 주변 블록의 움직임 정보를 이용하여 현재 블록에 대한 예측 블록을 생성하고, 생성된 예측 블록과 부호화기로부터 전송되는 레지듀얼을 더하여 현재 블록을 복원할 수 있다. Merge mode can generate a prediction block for the current block by using the motion information of neighboring blocks. When merge mode is applied, the encoder can transmit information indicating whether to apply merge mode to the current block, information indicating which neighboring block's motion information to use, residual information for the current block, etc. to the decoder. . The decoder can generate a prediction block for the current block using motion information of neighboring blocks indicated by the encoder, and restore the current block by adding the generated prediction block and the residual transmitted from the encoder.

AMVP는 주변 블록들의 움직임 정보를 이용하여 현재 블록의 움직임 벡터를 예측할 수 있다. AMVP가 적용되는 경우, 부호화기는 어떤 주변 블록의 움직임 정보를 이용하는지를 지시하는 정보, 현재 블록의 움직임 벡터와 예측된 움직임 벡터 사이의 차이, 참조 픽처를 지시하는 참조 픽처 인덱스 등을 복호화기에 전송할 수 있다. 복호화기는 주변 블록의 움직임 정보(움직임 벡터)를 이용하여 현재 블록의 움직임 벡터를 예측하고, 부호화기로부터 수신된 움직임 벡터 차이를 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 복호화기는 유도한 움직임 벡터와 부호화기로부터 수신된 참조 픽처 인덱스 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다. AMVP can predict the motion vector of the current block using motion information of neighboring blocks. When AMVP is applied, the encoder can transmit to the decoder information indicating which neighboring block's motion information is used, the difference between the motion vector of the current block and the predicted motion vector, and a reference picture index indicating a reference picture. . The decoder can predict the motion vector of the current block using motion information (motion vector) of neighboring blocks, and derive the motion vector for the current block using the motion vector difference received from the encoder. The decoder can generate a prediction block for the current block based on the derived motion vector and reference picture index information received from the encoder.

인터 예측의 경우, 복호화기는 부호화기로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고, 확인한 정보에 따라 현재 블록의 인터 예측에 필요한 움직임 정보(예컨대, 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보)를 유도할 수 있다. In the case of inter prediction, the decoder checks the skip flag, merge flag, etc. received from the encoder, and derives motion information (e.g., information about motion vector, reference picture index, etc.) required for inter prediction of the current block according to the confirmed information. You can.

예측이 수행되는 처리 단위는 예측 방법 및 구체적인 내용이 정해지는 처리 단위와 다를 수 있다. 예컨대, 코딩 유닛(CU: Coding Unit) 단위로 인터 예측인지 인트라 예측인지 정해질 수 있고, 예측 유닛(PU: Prediction Unit) 단위로 인트라 예측에 대한 예측 모드 및 인터 예측에 대한 예측 모드가 정해질 수 있다. 또는 예측 유닛 단위로 예측 모드가 정해져서 변환 유닛(TU: Transform Unit) 단위로 예측이 수행될 수도 있다.The processing unit in which the prediction is performed may be different from the processing unit in which the prediction method and specific contents are determined. For example, whether inter prediction or intra prediction can be determined in units of coding units (CUs), and the prediction mode for intra prediction and the prediction mode for inter predictions can be determined in units of prediction units (PUs). there is. Alternatively, the prediction mode may be determined in units of prediction units, and prediction may be performed in units of transform units (TUs).

한편, 복수의 계층을 지원하는 스케일러블 비디오 코딩 구조에서는 계층 간 강한 연관성(correlation)이 존재하므로 이러한 연관성을 이용하여 예측을 수행하면 데이터의 중복 요소를 제거할 수 있고 영상의 부호화 성능을 향상시킬 수 있다. 따라서, 부호화/복호화되는 현재 계층(상위 계층)의 픽처(영상)를 예측할 경우, 현재 계층의 정보를 이용한 인터 예측 혹은 인트라 예측뿐만 아니라, 다른 계층의 정보를 이용한 계층간 예측(inter-layer prediction, 혹은 인터 레이어 예측)을 수행할 수 있다.Meanwhile, in a scalable video coding structure that supports multiple layers, there is a strong correlation between layers, so performing prediction using this correlation can remove redundant elements of data and improve video encoding performance. there is. Therefore, when predicting a picture (video) of the current layer (upper layer) to be encoded/decoded, not only inter-prediction or intra-prediction using information of the current layer, but also inter-layer prediction (inter-layer prediction, Or inter-layer prediction) can be performed.

복수의 계층들은 해상도, 프레임 레이트, 컬러 포맷, 시점 중 적어도 하나가 서로 다를 수 있기 때문에(즉, 계층 간의 스케일러빌리티 차이), 현재 계층에 대한 인터 레이어 예측 시 신호 왜곡이 생길 수도 있고, 레지듀얼 신호가 증가하게 될 수도 있다. Since multiple layers may differ in at least one of resolution, frame rate, color format, and viewpoint (i.e., scalability difference between layers), signal distortion may occur when inter-layer prediction for the current layer, and residual signal may increase.

따라서, 본 발명에서는 현재 계층(상위 계층)이 참조하는 참조 계층(하위 계층)의 움직임 정보들을 현재 계층의 영상 크기로 매핑(mapping)을 수행한 후 현재 계층의 참조 픽처 리스트에 추가하여 현재 계층에 대한 인터 예측을 수행할 수 있는 방법을 제공한다. Therefore, in the present invention, the motion information of the reference layer (lower layer) referenced by the current layer (upper layer) is mapped to the image size of the current layer and then added to the reference picture list of the current layer to be stored in the current layer. Provides a method to perform inter prediction.

또한, 본 발명은 복수의 계층(layer) 또는 시점(view)을 포함하는 영상의 부호화 및 복호화에 관한 것으로, 복수의 계층 또는 시점은 제1, 제2, 제3, 제n 계층 또는 제1, 제2, 제3, 제n 시점으로 표현될 수 있다. In addition, the present invention relates to encoding and decoding of an image including a plurality of layers or views, where the plurality of layers or views include the first, second, third, nth layer or first, It can be expressed as the second, third, or nth viewpoint.

이하, 본 발명의 실시예에서는 설명의 편의상 제1 계층과 제2 계층이 존재하는 영상을 예로 들어 기술하나, 그 이상의 계층 또는 시점이 존재하는 영상에도 동일한 방법으로 적용될 수 있다. 또한, 제1 계층은 하위 계층(base layer) 혹은 기본 계층 혹은 참조 계층으로, 제2 계층은 상위 계층(enhancement layer) 혹은 향상 계층 혹은 현재 계층으로 표현될 수도 있다. Hereinafter, in the embodiment of the present invention, for convenience of explanation, an image in which a first layer and a second layer exist is described as an example, but the same method can be applied to an image in which more layers or viewpoints exist. Additionally, the first layer may be expressed as a lower layer (base layer), base layer, or reference layer, and the second layer may be expressed as a higher layer (enhancement layer), enhancement layer, or current layer.

도 4는 본 발명의 실시예에 따른 스케일러블 비디오 코딩에서 계층간 예측(인터 레이어 예측)을 수행하는 방법을 개략적으로 나타낸 순서도이다. 도 4의 방법은 상술한 도 1의 영상 부호화 장치 및 도 2의 영상 복호화 장치에서 수행될 수 있다. Figure 4 is a flowchart schematically showing a method of performing inter-layer prediction (inter-layer prediction) in scalable video coding according to an embodiment of the present invention. The method of FIG. 4 can be performed in the video encoding device of FIG. 1 and the video decoding device of FIG. 2 described above.

도 4를 참조하면, 부호화/복호화 장치는 제2 계층의 영상(픽처)이 참조하고 있는 제1 계층의 정보를 복호화한다(S400). Referring to FIG. 4, the encoding/decoding device decodes the first layer information referenced by the second layer image (picture) (S400).

상술한 바와 같이, 제2 계층은 현재 부호화/복호화를 수행하는 계층을 의미하며, 제1 계층보다 높은 스케일러빌리티를 제공하는 상위 계층일 수 있다. 제1 계층은 제2 계층의 부호화/복호화를 위해 참조되는 계층일 수 있으며, 참조 계층 혹은 하위 계층으로 지칭될 수 있다. As described above, the second layer refers to a layer currently performing encoding/decoding and may be a higher layer that provides higher scalability than the first layer. The first layer may be a layer referenced for encoding/decoding of the second layer, and may be referred to as a reference layer or a lower layer.

부호화/복호화 장치는 제2 계층의 영상 내 부호화/복호화 대상 블록을 예측하기 위한 참조 신호로 제1 계층의 정보를 복호화하여 사용할 수 있다. The encoding/decoding device can decode and use the information of the first layer as a reference signal for predicting the encoding/decoding target block in the image of the second layer.

복호화할 제1 계층의 정보(제1 계층의 복호화 대상 정보)는 제1 계층 영상(픽처)의 샘플 값 및 움직임 정보 등을 포함할 수 있다. 여기서, 움직임 정보는 움직임 벡터 값, 참조 픽처 인덱스, 예측 방향 지시자, 참조 픽처 POC(Picture Order Count), 예측 모드, 참조 픽처 리스트, 머지 플래그, 머지 색인, 참조 픽처의 픽처 타입(단기(short-term) 참조 픽처, 장기(long-term) 참조 픽처) 등에 관한 정보일 수 있다. The first layer information to be decoded (first layer decoding target information) may include sample values and motion information of the first layer image (picture). Here, the motion information includes motion vector value, reference picture index, prediction direction indicator, reference picture POC (Picture Order Count), prediction mode, reference picture list, merge flag, merge index, and picture type (short-term) of the reference picture. ) It may be information about a reference picture, a long-term reference picture, etc.

제1 계층의 복호화된 움직임 정보는 NxN 크기의 단위 블록으로 압축되어 저장될 수 있다. 예를 들어, 제1 계층의 복호화된 움직임 정보는 16x16 블록마다 압축되어 저장될 수 있다. The decoded motion information of the first layer can be compressed and stored in unit blocks of NxN size. For example, the decoded motion information of the first layer may be compressed and stored for every 16x16 block.

부호화/복호화 장치는 복호화된 제1 계층의 정보를 제2 계층의 영상 크기로 매핑(mapping)한다(S410). The encoding/decoding device maps the decoded first layer information to the second layer image size (S410).

여기서, 매핑은 영상들 사이의 크기나 해상도가 다른 경우에 영상 크기나 해상도를 동일하게 조정하기 위해서 영상의 샘플에 대해 샘플링을 수행하는 것일 수 있으며, 영상의 샘플 값에 대한 샘플링 및 영상의 움직임 정보에 대한 샘플링을 포함할 수 있다. Here, mapping may be performed on samples of the image in order to adjust the image size or resolution to be the same when the size or resolution between the images is different, and may include sampling of the sample value of the image and motion information of the image. Sampling may be included.

다시 말해, 부호화/복호화 장치는 복호화된 제1 계층 영상을 제2 계층 영상의 크기로 매핑하기 위해서, 복호화된 제1 계층 영상에 대해 샘플링을 수행할 수 있으며, 샘플링된 제1 계층 영상의 샘플 값 및 움직임 정보 등을 참조할 수 있다. In other words, the encoding/decoding device may perform sampling on the decoded first layer image in order to map the decoded first layer image to the size of the second layer image, and the sample value of the sampled first layer image. and movement information, etc. may be referred to.

스케일러블 비디오 코딩 구조에서는 계층 간 영상의 크기가 다를 수 있으므로, 계층 간(제1 계층과 제2 계층 간) 영상의 크기가 다를 경우, 부호화/복호화 장치는 복호화된 제1 계층의 영상 크기를 제2 계층의 영상 크기로 매핑하기 위해 복호화된 제1 계층 영상의 샘플 값들에 대해 리샘플링(resampling)을 수행할 수 있다. In the scalable video coding structure, the size of the image between layers may be different, so if the size of the image between layers (between the first layer and the second layer) is different, the encoding/decoding device determines the size of the decoded image of the first layer. In order to map to the 2-layer image size, resampling may be performed on sample values of the decoded first layer image.

예를 들어, 복호화된 제1 계층의 영상 크기가 960x540이며 제2 계층의 영상 크기가 1920x1080인 경우, 부호화/복호화 장치는 복호화된 제1 계층의 영상 크기를 제2 계층의 영상 크기인 1920x1080 크기로 매핑하는 업샘플링(upsampling)을 수행할 수 있다. 업샘플링은 서로 다른 영상 크기를 가지는 계층 간에 영상 크기를 조정하기 위해 수행될 수 있으며, 작은 영상 크기를 가지는 계층(참조 계층 혹은 하위 계층)의 영상에 보간(interpolation)을 적용함으로써 보간된 샘플들이 유도되어 영상 크기가 조정될 수 있다. For example, if the decoded image size of the first layer is 960x540 and the image size of the second layer is 1920x1080, the encoding/decoding device changes the decoded image size of the first layer to 1920x1080, which is the image size of the second layer. Mapping upsampling can be performed. Upsampling can be performed to adjust the image size between layers with different image sizes, and the interpolated samples are derived by applying interpolation to the image of the layer (reference layer or lower layer) with a small image size. The image size can be adjusted.

부호화/복호화 장치는 복호화된 제1 계층의 움직임 정보를 제2 계층의 영상 크기로 매핑을 하여 사용할 수 있다. 이러한 복호화된 제1 계층 영상의 움직임 정보를 제2 계층의 영상 크기로 매핑하는 계층 간 움직임 정보 매핑은, 제2 계층 영상을 NxN 크기의 단위 블록으로 구분을 하고, 제2 계층의 NxN 단위 블록마다 대응되는 제1 계층의 움직임 정보를 제2 계층 해당 블록의 움직임 정보로 사용할 수 있다. The encoding/decoding device can use the decoded first layer motion information by mapping it to the second layer image size. Inter-layer motion information mapping, which maps the motion information of the decoded first layer image to the image size of the second layer, divides the second layer image into unit blocks of NxN size, and each NxN unit block of the second layer The motion information of the corresponding first layer can be used as the motion information of the corresponding block of the second layer.

이하에서 본 발명의 일 실시예에 따른 계층 간 움직임 정보 매핑 방법을 도 5 및 도 6의 실시예를 통해 설명한다. Below, an inter-layer motion information mapping method according to an embodiment of the present invention will be described through the embodiment of FIGS. 5 and 6.

도 5 및 도 6은 본 발명의 일 실시예에 따른 계층 간 움직임 정보 매핑 방법을 설명하기 위해 도시된 도면이다. Figures 5 and 6 are diagrams to explain a method for mapping inter-layer motion information according to an embodiment of the present invention.

도 5는 NxN 크기의 단위 블록으로 분할된 제2 계층의 영상을 나타낸다.Figure 5 shows a second layer image divided into unit blocks of NxN size.

예를 들어, 도 5에 도시된 바와 같이, 제2 계층의 영상 크기가 1920x1080이고 N=16인 경우, 부호화/복호화 장치는 제2 계층의 영상을 총 8160개의 16x16 단위 블록으로 분할할 수 있으며, 제2 계층의 각 단위 블록마다 대응되는 제1 계층 블록의 움직임 정보를 제2 계층 해당 블록의 움직임 정보로 사용할 수 있다. For example, as shown in FIG. 5, when the image size of the second layer is 1920x1080 and N=16, the encoding/decoding device can divide the image of the second layer into a total of 8160 16x16 unit blocks, For each unit block of the second layer, the motion information of the corresponding first layer block can be used as the motion information of the corresponding block of the second layer.

이때, 움직임 정보는 각 단위 블록마다 저장될 수 있다. 또는, 움직임 정보는 픽처마다 룩업 테이블(look-up table) 형태로 저장되어 각 단위 블록이 참조하여 사용할 수 있다. At this time, motion information can be stored for each unit block. Alternatively, motion information can be stored in the form of a look-up table for each picture and used for reference by each unit block.

도 6은 제2 계층의 NxN 블록을 나타내며, 일예로 N=16인 경우의 16x16 블록(600)을 도시하였다. 16x16 블록(600) 내 각각의 사각형은 하나의 샘플을 의미하며, 16x16 블록(600) 내 가장 왼쪽 맨 위쪽의 샘플 위치를 (xP, yP)로 가정한다. Figure 6 shows NxN blocks of the second layer, and as an example, shows a 16x16 block 600 when N=16. Each square in the 16x16 block 600 represents one sample, and the position of the top leftmost sample in the 16x16 block 600 is assumed to be (xP, yP).

상술한 바와 같이, 계층 간 움직임 정보를 매핑할 때, 제2 계층의 NxN 단위 블록마다 대응되는 제1 계층 블록의 움직임 정보를 제2 계층의 움직임 정보로 매핑하여 사용한다. 이때, 제2 계층의 NxN 블록마다 대응되는 제1 계층 블록의 움직임 정보는, 제2 계층 NxN 블록의 기준 샘플 위치에 대응되는 제1 계층 샘플 위치의 움직임 정보일 수 있다. As described above, when mapping inter-layer motion information, the motion information of the first layer block corresponding to each NxN unit block of the second layer is mapped to the motion information of the second layer and used. At this time, the motion information of the first layer block corresponding to each NxN block of the second layer may be the motion information of the first layer sample position corresponding to the reference sample position of the second layer NxN block.

예를 들어, 도 6에 도시된 바와 같이, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP+8, yP+8) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP+8, yP+8)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다. For example, as shown in FIG. 6, the encoding/decoding device determines the position (xP+8, yP+8) within the 16x16 block 600 of the second layer as the reference sample position, and uses the reference sample position (xP Inter-layer motion information mapping can be performed using motion information of the first layer sample position corresponding to (+8, yP+8).

또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP, yP) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP, yP)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다. Alternatively, the encoding/decoding device determines the (xP, yP) position within the 16x16 block 600 of the second layer as the reference sample position, and motion information of the first layer sample position corresponding to the reference sample position (xP, yP). You can perform motion information mapping between layers using .

또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP+15, yP) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP+15, yP)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다. Alternatively, the encoding/decoding device determines the position (xP+15, yP) within the 16x16 block 600 of the second layer as the reference sample position, and the first layer sample corresponding to the reference sample position (xP+15, yP). Inter-layer motion information mapping can be performed using location motion information.

또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP, yP+15) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP, yP+15)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다. Alternatively, the encoding/decoding device determines the position (xP, yP+15) within the 16x16 block 600 of the second layer as the reference sample position, and selects the first layer sample corresponding to the reference sample position (xP, yP+15). Inter-layer motion information mapping can be performed using location motion information.

또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP+15, yP+15) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP+15, yP+15)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다. Alternatively, the encoding/decoding device determines the location (xP+15, yP+15) within the 16x16 block 600 of the second layer as the reference sample location, and the location corresponding to the reference sample location (xP+15, yP+15). Inter-layer motion information mapping can be performed using motion information of the first layer sample position.

또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP+1, yP+1) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP+1, yP+1)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다. Alternatively, the encoding/decoding device determines the location (xP+1, yP+1) within the 16x16 block 600 of the second layer as the reference sample location, and the location corresponding to the reference sample location (xP+1, yP+1). Inter-layer motion information mapping can be performed using motion information of the first layer sample position.

부호화/복호화 장치는 상기에서 언급한 기준 샘플 위치뿐만 아니라, 다른 기준 샘플 위치를 사용하여 이에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다. The encoding/decoding device can perform inter-layer motion information mapping using not only the above-mentioned reference sample positions but also other reference sample positions and the motion information of the corresponding first layer sample positions.

제2 계층의 기준 샘플 위치에 대응되는 제1 계층의 샘플 위치는, 계층 간 영상의 크기를 고려하여 아래 수학식 1과 같이 계산될 수 있다. The sample position of the first layer corresponding to the reference sample position of the second layer can be calculated as shown in Equation 1 below, considering the size of the image between layers.

여기서, xRef와 yRef는 제1 계층의 샘플 위치이며, xP와 yP는 제2 계층의 기준 샘플 위치이며, ScaledW와 ScaledH는 스케일링된 제1 계층 픽처의 가로 및 세로 크기이며, picWRL와 picHRL는 제1 계층 픽처의 가로 및 세로 크기이다. Here, xRef and yRef are the sample positions of the first layer, xP and yP are the reference sample positions of the second layer, ScaledW and ScaledH are the horizontal and vertical sizes of the scaled first layer picture, and picWRL and picHRL are the first layer picture. These are the horizontal and vertical sizes of the layer picture.

예를 들어, 제1 계층의 움직임 정보가 16x16 단위로 압축되어 저장되어 있는 경우, 상기 수학식 1에 의해 계산된 제1 계층의 샘플 위치는 아래 수학식 2를 통해 16x16 단위의 움직임 정보를 사용할 수 있도록 조정될 수 있다. For example, if the motion information of the first layer is compressed and stored in 16x16 units, the sample position of the first layer calculated by Equation 1 above can use the motion information in 16x16 units through Equation 2 below. It can be adjusted so that

다른 예로, 제1 계층의 움직임 정보가 8x8 단위로 압축되어 저장되어 있는 경우, 상기 수학식 1에 의해 계산된 제1 계층의 샘플 위치는 아래 수학식 3을 통해 8x8 단위의 움직임 정보를 사용할 수 있도록 조정될 수 있다. As another example, when the motion information of the first layer is compressed and stored in 8x8 units, the sample position of the first layer calculated by Equation 1 above can be used to use the motion information in 8x8 units through Equation 3 below. It can be adjusted.

제2 계층의 기준 샘플 위치에 대응되는 제1 계층 샘플 위치의 예측 모드가 인트라 예측 모드인 경우, 부호화/복호화 장치는 제2 계층 해당 블록의 움직임 벡터 값으로 (0, 0)을 사용할 수 있으며, 제2 계층 해당 블록의 참조 픽처 인덱스 및 참조 픽처 POC에는 -1 값을 할당할 수 있다. If the prediction mode of the first layer sample position corresponding to the reference sample position of the second layer is the intra prediction mode, the encoding/decoding device may use (0, 0) as the motion vector value of the corresponding block in the second layer, A value of -1 can be assigned to the reference picture index and reference picture POC of the second layer corresponding block.

또는, 제2 계층의 기준 샘플 위치에 대응되는 제1 계층 샘플 위치의 예측 모드가 인트라 예측 모드인 경우, 부호화/복호화 장치는 제2 계층 해당 블록의 움직임 벡터 값으로 (0, 0)을 사용할 수 있으며, 제2 계층 해당 블록의 참조 픽처 인덱스 및 참조 픽처 POC에는 특정 값(예를 들어, 참조 픽처 인덱스는 0으로 할당하고, 참조 픽처 POC는 참조 픽처 인덱스 0이 지시하는 픽처의 POC로 할당)을 할당할 수 있다. Alternatively, if the prediction mode of the first layer sample position corresponding to the reference sample position of the second layer is the intra prediction mode, the encoding/decoding device may use (0, 0) as the motion vector value of the corresponding block in the second layer. The reference picture index and reference picture POC of the corresponding block in the second layer are assigned specific values (for example, the reference picture index is assigned 0, and the reference picture POC is assigned the POC of the picture indicated by the reference picture index 0). Can be assigned.

제2 계층의 기준 샘플 위치에 대응되는 제1 계층 샘플 위치의 예측 모드가 인터 예측 모드인 경우, 부호화/복호화 장치는 제2 계층 해당 블록의 움직임 정보로 제1 계층 샘플 위치의 움직임 벡터 값, 참조 픽처 인덱스, 참조 픽처 POC 값을 사용할 수 있다. If the prediction mode of the first layer sample position corresponding to the reference sample position of the second layer is the inter prediction mode, the encoding/decoding device refers to the motion vector value of the first layer sample position as the motion information of the second layer corresponding block. Picture index and reference picture POC values can be used.

제1 계층의 움직임 벡터를 사용할 경우, 부호화/복호화 장치는 아래 수학식 4와 같이 계층 간 영상의 크기를 반영하여 제1 계층의 움직임 벡터를 사용할 수 있다. When using the motion vector of the first layer, the encoding/decoding device can use the motion vector of the first layer by reflecting the size of the image between layers as shown in Equation 4 below.

부호화/복호화 장치는 제2 계층의 블록에 대응되는 제1 계층의 대응 블록이 참조하고 있는 참조 픽처의 픽처 타입 정보(참조 픽처가 단기 참조 픽처인지 장기 참조 픽처인지에 대한 픽처 타입 정보)를 제2 계층 해당 블록의 정보로 사용할 수 있다. The encoding/decoding device sends picture type information (picture type information regarding whether the reference picture is a short-term reference picture or a long-term reference picture) of the reference picture referenced by the corresponding block of the first layer corresponding to the block of the second layer to the second layer. It can be used as information for the corresponding layer block.

상술한 계층 간 움직임 정보 매핑은 상위 레벨에서 결정될 수 있으며, 부호화 장치는 계층 간 움직임 정보 매핑 관련 정보를 상위 레벨에서 전송할 수 있다. 복호화 장치는 상위 레벨로부터 계층 간 움직임 정보 매핑 관련 정보를 획득할 수 있다. The above-described inter-layer motion information mapping can be determined at a higher level, and the encoding device can transmit information related to inter-layer motion information mapping at a higher level. The decoding device can obtain information related to inter-layer motion information mapping from a higher level.

상위 레벨은 비디오 파라미터 세트(VPS: Video Parameter Set), 시퀀스 파라미터 세트(SPS: Sequence Parameter Set), 픽처 파라미터 세트(PPS: Picture Parameter Set), 슬라이스 세그먼트 헤더(Slice segment header) 등일 수 있다. The upper level may be a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a slice segment header, etc.

이하에서는 본 발명의 실시예에 따라 움직임 정보 매핑과 관련된 정보를 상위 레벨에서 시그널링하는 방법에 대해 설명한다. Hereinafter, a method of signaling information related to motion information mapping at a high level will be described according to an embodiment of the present invention.

본 발명의 일 실시예에 의하면, 표 1에서와 같이 VPS에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다. According to an embodiment of the present invention, as shown in Table 1, information related to motion information mapping of the corresponding layer may be signaled in the VPS.

표 1을 참조하면, inter_layer_mfm_enable_flag가 0인 경우, i번째 계층의 움직임 정보 매핑을 수행하지 않을 수 있다. Referring to Table 1, when inter_layer_mfm_enable_flag is 0, motion information mapping of the ith layer may not be performed.

inter_layer_mfm_enable_flag가 1인 경우, 상기 i번재 계층의 움직임 정보 매핑을 수행할 수 있다.If inter_layer_mfm_enable_flag is 1, motion information mapping of the i-th layer can be performed.

본 발명의 다른 실시예에 의하면, 표 2에서와 같이 SPS의 확장(extension)에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다. According to another embodiment of the present invention, as shown in Table 2, information related to motion information mapping of the corresponding layer may be signaled in the extension of SPS.

표 2를 참조하면, sps_inter_layer_mfm_enable_flag가 0인 경우, 제1 계층의 움직임 정보 매핑을 수행하지 않을 수 있다. Referring to Table 2, when sps_inter_layer_mfm_enable_flag is 0, motion information mapping of the first layer may not be performed.

sps_inter_layer_mfm_enable_flag가 1인 경우, 제 1계층의 움직임 정보 매핑을 수행할 수 있다.If sps_inter_layer_mfm_enable_flag is 1, motion information mapping of the first layer can be performed.

*본 발명의 또 다른 실시예에 의하면, 표 3에서와 같이 SPS에서 전송되는 시간 움직임 벡터 예측 사용 여부를 알려주는 정보(예를 들어, sps_temporal_mvp_enabled_flag)에 따라 해당 계층의 움직임 정보 매핑 수행 여부를 알려주는 정보(예를 들어, sps_inter_layer_mfm_enable_flag)의 전송 여부를 결정할 수 있다. *According to another embodiment of the present invention, as shown in Table 3, information indicating whether to use temporal motion vector prediction transmitted from SPS (e.g., sps_temporal_mvp_enabled_flag) indicates whether to perform motion information mapping of the corresponding layer. It is possible to determine whether to transmit information (for example, sps_inter_layer_mfm_enable_flag).

표 3을 참조하면, 시간 움직임 벡터 예측 사용 여부를 알려주는 sps_temporal_mvp_enabled_flag가 1인 경우, 제1 계층의 움직임 정보 매핑을 수행할지 여부를 알려주는 sps_inter_layer_mfm_enable_flag를 전송할 수 있다. Referring to Table 3, when sps_temporal_mvp_enabled_flag, which indicates whether to use temporal motion vector prediction, is 1, sps_inter_layer_mfm_enable_flag, which indicates whether to perform motion information mapping of the first layer, can be transmitted.

sps_temporal_mvp_enabled_flag가 1이고 sps_inter_layer_mfm_enable_flag가 0인 경우, 제1 계층의 움직임 정보를 제2 계층에서 사용하지 않을 수 있다. 즉, 제1 계층의 복원된 영상이 제2 계층의 TMVP(temporal motion vector predictor)로 사용되지 않을 수 있다.If sps_temporal_mvp_enabled_flag is 1 and sps_inter_layer_mfm_enable_flag is 0, motion information of the first layer may not be used in the second layer. That is, the reconstructed image of the first layer may not be used as a temporal motion vector predictor (TMVP) of the second layer.

본 발명의 또 다른 실시예에 의하면, 상기 표 3에서와 같은 sps_inter_layer_mfm_enable_flag 전송 없이, sps_temporal_mvp_enabled_flag 값에 의해 해당 계층의 움직임 정보 매핑 수행 여부가 결정될 수 있다. 예를 들어, sps_temporal_mvp_enabled_flag가 1인 경우에는 sps_inter_layer_mfm_enable_flag 가 1인 것으로 간주하여, 해당 계층의 움직임 정보 매핑을 수행할 수 있다. sps_temporal_mvp_enabled_flag가 0 인 경우에는 sps_inter_layer_mfm_enable_flag 가 0인 것으로 간주하여, 해당 계층의 움직임 정보 매핑을 수행할 수 있다.According to another embodiment of the present invention, whether to perform motion information mapping of the corresponding layer can be determined based on the value of sps_temporal_mvp_enabled_flag, without transmitting sps_inter_layer_mfm_enable_flag as shown in Table 3 above. For example, if sps_temporal_mvp_enabled_flag is 1, sps_inter_layer_mfm_enable_flag is considered to be 1, and motion information mapping of the corresponding layer can be performed. If sps_temporal_mvp_enabled_flag is 0, sps_inter_layer_mfm_enable_flag is considered to be 0, and motion information mapping of the corresponding layer can be performed.

본 발명의 또 다른 실시예에 의하면, 표 4에서와 같이 PPS의 확장(extension)에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.According to another embodiment of the present invention, as shown in Table 4, information related to motion information mapping of the corresponding layer may be signaled in the extension of PPS.

표 4를 참조하면, pps_inter_layer_mfm_enable_flag가 0인 경우, 제 1계층의 움직임 정보 매핑을 수행하지 않을 수 있다. Referring to Table 4, when pps_inter_layer_mfm_enable_flag is 0, motion information mapping of the first layer may not be performed.

pps_inter_layer_mfm_enable_flag가 1인 경우, 제 1계층의 움직임 정보 매핑을 수행할 수 있다.If pps_inter_layer_mfm_enable_flag is 1, motion information mapping of the first layer can be performed.

본 발명의 또 다른 실시예에 의하면, 표 5에서와 같이 슬라이스 세그먼트 헤더의 확장(extension)에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.According to another embodiment of the present invention, as shown in Table 5, information related to motion information mapping of the corresponding layer may be signaled in the extension of the slice segment header.

표 5를 참조하면, slice_inter_layer_mfm_enable_flag가 0인 경우, 제 1계층의 움직임 정보 매핑을 수행하지 않을 수 있다. Referring to Table 5, when slice_inter_layer_mfm_enable_flag is 0, motion information mapping of the first layer may not be performed.

slice_inter_layer_mfm_enable_flag가 1인 경우, 제 1계층의 움직임 정보 매핑을 수행할 수 있다.If slice_inter_layer_mfm_enable_flag is 1, motion information mapping of the first layer can be performed.

본 발명의 또 다른 실시예에 의하면, 표 6에서와 같이 슬라이스 세그먼트 헤더의 확장(extension)에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.According to another embodiment of the present invention, as shown in Table 6, information related to motion information mapping of the corresponding layer may be signaled in the extension of the slice segment header.

표 6을 참조하면, 시간 움직임 벡터 예측 사용 여부를 알려주는 slice_temporal_mvp_enabled_flag가 1인 경우, 제1 계층의 움직임 정보 매핑을 수행할지 여부를 알려주는 slice_inter_layer_mfm_enable_flag를 전송할 수 있다. slice_inter_layer_mfm_enable_flag는 기본 계층이 아닌 계층(즉, 향상 계층)에서만 전송이 되며, 향상 계층의 경우 움직임 예측에 사용되는 계층이 존재하지 않을 경우 slice_inter_layer_mfm_enable_flag를 전송하지 않을 수 있다. 해당 플래그가 존재하지 않을 경우에는 해당 플래그 값을 0으로 유추 할 수 있다.Referring to Table 6, when slice_temporal_mvp_enabled_flag, which indicates whether to use temporal motion vector prediction, is 1, slice_inter_layer_mfm_enable_flag, which indicates whether to perform motion information mapping of the first layer, can be transmitted. slice_inter_layer_mfm_enable_flag is transmitted only in layers other than the base layer (i.e., enhancement layer), and in the case of the enhancement layer, slice_inter_layer_mfm_enable_flag may not be transmitted if the layer used for motion prediction does not exist. If the flag does not exist, the flag value can be inferred to be 0.

slice_temporal_mvp_enabled_flag가 1이고 slice_inter_layer_mfm_enable_flag가 0인 경우, 제1 계층의 움직임 정보를 제2 계층에서 사용하지 않을 수 있다. 즉, 제1 계층의 복원된 영상이 제2 계층의 시간 움직임 벡터 예측(TMVP: Temporal Motion Vector Predictor)으로 사용되지 않을 수 있다.If slice_temporal_mvp_enabled_flag is 1 and slice_inter_layer_mfm_enable_flag is 0, motion information of the first layer may not be used in the second layer. That is, the reconstructed image of the first layer may not be used as a temporal motion vector prediction (TMVP) of the second layer.

slice_inter_layer_mfm_enable_flag가 기본 계층이 아닌 계층(즉, 향상 계층)에서 전송되는 경우, slice_inter_layer_mfm_enable_flag는 표 7에서와 같이 기본 계층이 아닌 계층(즉, 향상 계층)의 슬라이스 세그먼트 헤더에서 slice_segement_header_extension_present_flag 상위에 존재할 수 있다. If slice_inter_layer_mfm_enable_flag is transmitted in a layer other than the basic layer (i.e., enhancement layer), slice_inter_layer_mfm_enable_flag may be present above slice_segment_header_extension_present_flag in the slice segment header of the layer other than the basic layer (i.e., enhancement layer), as shown in Table 7.

표 7을 참조하면, 시간 움직임 벡터 예측 사용 여부를 알려주는 slice_temporal_mvp_enabled_flag가 1인 경우, 제1 계층의 움직임 정보 매핑을 수행할지 여부를 알려주는 slice_inter_layer_mfm_enable_flag를 전송할 수 있다. Referring to Table 7, when slice_temporal_mvp_enabled_flag, which indicates whether to use temporal motion vector prediction, is 1, slice_inter_layer_mfm_enable_flag, which indicates whether to perform motion information mapping of the first layer, can be transmitted.

slice_temporal_mvp_enabled_flag가 1이고 slice_inter_layer_mfm_enable_flag가 0인 경우, 제1 계층의 움직임 정보를 제2 계층에서 사용하지 않을 수 있다. 즉, 제1 계층의 복원된 영상이 제2 계층의 TMVP(temporal motion vector predictor)로 사용되지 않을 수 있다.If slice_temporal_mvp_enabled_flag is 1 and slice_inter_layer_mfm_enable_flag is 0, motion information of the first layer may not be used in the second layer. That is, the reconstructed image of the first layer may not be used as a temporal motion vector predictor (TMVP) of the second layer.

slice_temporal_mvp_enabled_flag가 1이고 slice_inter_layer_mfm_enable_flag가 1인 경우, 제1 계층의 움직임 정보를 제2 계층에서 사용할 수 있다. 즉, 제1 계층의 움직임 정보를 제2 계층의 크기로 매핑을 수행한 후 제1 계층의 복원된 영상을 제2 계층의 TMVP를 위한 대응 픽처(ColPic, Collocated picture)로 사용할 수 있다.If slice_temporal_mvp_enabled_flag is 1 and slice_inter_layer_mfm_enable_flag is 1, motion information of the first layer can be used in the second layer. That is, after mapping the motion information of the first layer to the size of the second layer, the reconstructed image of the first layer can be used as a corresponding picture (ColPic, Collocated picture) for TMVP of the second layer.

slice_inter_layer_mfm_enable_flag가 1인 경우, 표 8에서와 같이 추가 신택스 정보를 통해 제2 계층의 TMVP를 위한 제1 계층의 대응 픽처(ColPic, Collocated picture)에 대한 정보가 시그널링될 수 있다. 예를 들어, collocated_ref_layer_idx를 통하여 참조하는 계층의 정보를 알 수 있으며, 상기 참조 계층 대응 픽처의 움직임 정보를 제2 계층의 영상 크기로 매핑할 수 있다. 또한 B 슬라이스인 경우, collocated_ref_layer_from_l0_flag를 통하여 대응 픽처로 사용할 수 있는 참조 계층의 픽처가 위치하는 참조 픽처 리스트 방향을 정할 수 있다.When slice_inter_layer_mfm_enable_flag is 1, information about the corresponding picture (ColPic, Collocated picture) of the first layer for the TMVP of the second layer may be signaled through additional syntax information as shown in Table 8. For example, information on the reference layer can be known through collocated_ref_layer_idx, and motion information of the picture corresponding to the reference layer can be mapped to the image size of the second layer. Additionally, in the case of a B slice, the direction of the reference picture list where the picture of the reference layer that can be used as the corresponding picture is located can be determined through collocated_ref_layer_from_l0_flag.

표 8을 참조하면, collocated_ref_layer_idx는 움직임 예측을 위해 사용되는 참조 계층의 개수가 2개 이상일 경우, 움직임 예측에 사용되는 참조 계층의 정보를 알려주는 지시자이다. 움직임 예측을 위해 사용되는 참조 계층의 개수가 1개일 경우 collocated_ref_layer_idx는 생략될 수 있다. 이때, 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다. Referring to Table 8, collocated_ref_layer_idx is an indicator that provides information on the reference layer used for motion prediction when the number of reference layers used for motion prediction is two or more. If the number of reference layers used for motion prediction is 1, collocated_ref_layer_idx can be omitted. At this time, a restriction may be imposed that all slices in the picture must have the same value.

collocated_ref_layer_from_l0_flag는 B 슬라이스에서 전송된다. collocated_ref_layer_from_l0_flag 값이 1인 경우는 LIST0 내에 존재하는 참조 계층의 픽처를 대응 픽처(ColPic)로 한다. collocated_ref_layer_from_l0_flag 값이 0인 경우는 LIST1 내에 존재하는 참조 계층의 픽처를 대응 픽처(ColPic)로 한다. 이후, 대응 픽처(ColPic) 내의 대응 블록(ColPb)의 움직임 벡터를 구하는 과정에서 collocated_from_l0_flag 대신 collocated_ref_layer_from_l0_flag 값을 동일한 의미로 사용할 수 있다. 이때, 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다. 또는, 대응 픽처(ColPic) 내의 대응 블록(ColPb)의 움직임 벡터를 구하는 과정에서 대응 블록이 LIST0와 LIST1 방향의 움직임 정보를 둘 다 가지고 있는 경우, 현재 부호화/복호화 대상 픽처가 가리키고 있는 방향과 동일한 방향의 움직임 정보를 가져올 수 있다. collocated_ref_layer_from_l0_flag is transmitted in B slice. If the collocated_ref_layer_from_l0_flag value is 1, the picture of the reference layer existing in LIST0 is set as the corresponding picture (ColPic). If the collocated_ref_layer_from_l0_flag value is 0, the picture of the reference layer existing in LIST1 is used as the corresponding picture (ColPic). Thereafter, in the process of obtaining the motion vector of the corresponding block (ColPb) in the corresponding picture (ColPic), the collocated_ref_layer_from_l0_flag value can be used instead of collocated_from_l0_flag with the same meaning. At this time, a restriction may be imposed that all slices in the picture must have the same value. Alternatively, in the process of obtaining the motion vector of the corresponding block (ColPb) in the corresponding picture (ColPic), if the corresponding block has motion information in both the LIST0 and LIST1 directions, the direction is the same as the direction pointed by the current encoding/decoding target picture. Movement information can be retrieved.

기본 계층 또는 slice_inter_layer_mfm_enable_flag가 0 인 경우, 참조 계층의 움직임 정보를 이용하지 않고 collocated_from_l0_flag와 collocated_ref_idx를 사용하여 제2 계층 내의 리스트 방향과 대응 픽처를 알려 줄 수 있다.If the base layer or slice_inter_layer_mfm_enable_flag is 0, the list direction and corresponding picture in the second layer can be informed using collocated_from_l0_flag and collocated_ref_idx without using the motion information of the reference layer.

slice_inter_layer_mfm_enable_flag가 1인 경우, 표 9에서와 같이 추가 신택스 정보를 사용하여 제2 계층의 TMVP를 위한 제1 계층의 대응 픽처(ColPic, Collocated picture)에 대한 정보 및 참조 픽처 리스트 방향 정보가 시그널링될 수 있다. 예를 들어, slice_temporal_mvp_enabled_flag가 1인 경우, B 슬라이스에 대해서는 collocated_from_l0_flag 값으로부터 대응 픽처의 참조 픽처 리스트 방향을 정할 수 있으며, collocated_ref_layer_idx 값으로부터 참조하는 계층을 알 수 있다.When slice_inter_layer_mfm_enable_flag is 1, information about the corresponding picture (ColPic, Collocated picture) of the first layer for the TMVP of the second layer and reference picture list direction information can be signaled using additional syntax information as shown in Table 9. . For example, when slice_temporal_mvp_enabled_flag is 1, for a B slice, the direction of the reference picture list of the corresponding picture can be determined from the collocated_from_l0_flag value, and the reference layer can be known from the collocated_ref_layer_idx value.

표 9를 참조하면, collocated_from_l0_flag는 slice_temporal_mvp_enabled_flag가 1이고 B 슬라이스일 경우, 대응 픽처가 속해 있는 참조 픽처 리스트 방향을 지시한다. collocated_from_l0_flag가 존재하지 않을 경우, collocated_from_l0_flag는 1로 유추할 수 있다. 이때, 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다. Referring to Table 9, collocated_from_l0_flag indicates the direction of the reference picture list to which the corresponding picture belongs when slice_temporal_mvp_enabled_flag is 1 and it is a B slice. If collocated_from_l0_flag does not exist, collocated_from_l0_flag can be inferred to be 1. At this time, a restriction may be imposed that all slices in the picture must have the same value.

collocated_ref_layer_idx는 움직임 예측을 위해 사용되는 참조 계층의 개수가 2개 이상일 경우, 움직임 예측에 사용되는 참조 계층의 정보를 알려주는 지시자이다. 움직임 예측을 위해 사용되는 참조 계층의 개수가 1개일 경우 collocated_ref_layer_idx는 생략될 수 있다. 이때, 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다. 상위에서 전송된 collocated_from_l0_flag로부터 대응 픽처에 대한 리스트 방향을 정할 수 있다. collocated_ref_layer_idx is an indicator that provides information on the reference layer used for motion prediction when the number of reference layers used for motion prediction is two or more. If the number of reference layers used for motion prediction is 1, collocated_ref_layer_idx can be omitted. At this time, a restriction may be imposed that all slices in the picture must have the same value. The list direction for the corresponding picture can be determined from collocated_from_l0_flag transmitted from the top.

기본 계층 또는 slice_inter_layer_mfm_enable_flag가 0 인 경우, 참조 계층의 움직임 정보를 이용하지 않고 collocated_from_l0_flag와 collocated_ref_idx를 사용하여 제2 계층 내의 리스트 방향과 대응 픽처를 알려 줄 수 있다.If the base layer or slice_inter_layer_mfm_enable_flag is 0, the list direction and corresponding picture in the second layer can be informed using collocated_from_l0_flag and collocated_ref_idx without using the motion information of the reference layer.

slice_inter_layer_mfm_enable_flag가 1인 경우, 표 10에서와 같이 collocated_ref_layer_idx를 통하여 참조하는 계층의 정보를 알 수 있으며 상기 참조 계층 대응 픽처의 움직임 정보를 제2 계층의 영상 크기로 매핑할 수 있다. 이때, 슬라이스 타입에 따라 P 슬라이스인 경우에는 LIST0 내에 존재하는 참조 계층의 픽처를 대응 픽처로 하며, B 슬라이스인 경우에는 LIST0 또는 LIST1 중 하나의 방향으로 규약을 하고 해당하는 참조 계층의 픽처를 대응 픽처로 하여 부호화/복호화 장치가 동일하게 사용할 수 있다.If slice_inter_layer_mfm_enable_flag is 1, the information of the reference layer can be known through collocated_ref_layer_idx as shown in Table 10, and the motion information of the picture corresponding to the reference layer can be mapped to the image size of the second layer. At this time, depending on the slice type, in the case of a P slice, the picture of the reference layer existing in LIST0 is used as the corresponding picture, and in the case of B slice, a convention is made in one direction of LIST0 or LIST1, and the picture of the corresponding reference layer is used as the corresponding picture. As a result, encoding/decoding devices can be used equally.

기본 계층 또는 slice_inter_layer_mfm_enable_flag가 0인 경우, 참조 계층의 움직임 정보를 이용하지 않고 collocated_from_l0_flag와 collocated_ref_idx를 사용하여 제2 계층 내의 리스트 방향과 대응 픽처를 알려 줄 수 있다.If the base layer or slice_inter_layer_mfm_enable_flag is 0, the list direction and corresponding picture in the second layer can be informed using collocated_from_l0_flag and collocated_ref_idx without using the motion information of the reference layer.

본 발명의 또 다른 실시예에 따르면, 픽처가 N개의 인디펜던트 슬라이스(independent slice)로 분할되어 있을 경우, 각각의 슬라이스 세그먼트 헤더 내의 slice_inter_layer_mfm_enable_flag는 동일한 값을 가져야 하며, 첫번째 인디펜던트 슬라이스 세그먼트 헤더 내의 slice_inter_layer_mfm_enable_flag 값에 따라 픽처 당 한번의 움직임 정보 매핑 과정을 수행할 수 있다.According to another embodiment of the present invention, when a picture is divided into N independent slices, slice_inter_layer_mfm_enable_flag in each slice segment header must have the same value, and depending on the slice_inter_layer_mfm_enable_flag value in the first independent slice segment header, The motion information mapping process can be performed once per picture.

상술한 본 발명의 실시예들에서는, 상위 레벨에서 전송되는 ‘sps_inter_layer_mfm_enable_flag’가 움직임 정보 매핑 수행 여부를 알려주는 정보로 사용되었으나, 이 정보를 확장하여 계층 간 신택스 예측 여부를 알려주는 정보로 활용될 수 있다. 예를 들어, sps_inter_layer_mfm_enable_flag가 1인 경우, 움직임 정보 매핑 수행뿐만 아니라, 계층 간 신택스(움직임 정보) 예측을 수행할 수도 있다.In the above-described embodiments of the present invention, 'sps_inter_layer_mfm_enable_flag' transmitted at the upper level is used as information indicating whether motion information mapping is performed, but this information can be expanded to be used as information indicating whether inter-layer syntax prediction is performed. there is. For example, if sps_inter_layer_mfm_enable_flag is 1, not only can motion information mapping be performed, but inter-layer syntax (motion information) prediction can also be performed.

상술한 본 발명의 실시예들에서는, 움직임 정보 매핑 수행 여부를 알려주는 별도의 신택스를 사용하였지만, 별도의 신택스 전송 없이 계층 간 예측 수행에 관한 신택스 정보 값에 따라 움직임 정보 매핑을 수행할 수도 있다. In the above-described embodiments of the present invention, a separate syntax is used to indicate whether motion information mapping is performed, but motion information mapping can also be performed according to syntax information values regarding inter-layer prediction performance without transmitting a separate syntax.

본 발명에서는 상위 계층에서 시그널링되는 계층 간 예측 수행 여부를 알려주는 신택스 정보를 이용하여 움직임 정보 매핑 수행 여부를 판단할 수 있다. 상기 계층 간 예측 수행 여부를 알려주는 신택스 정보는 상위 레벨에서 시그널링될 수 있다. In the present invention, it is possible to determine whether to perform motion information mapping using syntax information that indicates whether inter-layer prediction signaled from a higher layer is performed. Syntax information indicating whether the inter-layer prediction is performed may be signaled at a higher level.

여기서, 상위 레벨은 비디오 파라미터 세트(VPS: Video Parameter Set), 시퀀스 파라미터 세트(SPS: Sequence Parameter Set), 픽처 파라미터 세트(PPS: Picture Parameter Set), 슬라이스 세그먼트 헤더(Slice segment header) 등일 수 있다.Here, the upper level may be a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a slice segment header, etc.

본 발명의 일 실시예에 의하면, 표 11에서와 같이 VPS에서 계층 간 예측 수행 여부를 알려주는 신택스가 전송될 수 있다. According to an embodiment of the present invention, as shown in Table 11, a syntax indicating whether inter-layer prediction is performed in the VPS may be transmitted.

표 11을 참조하면, VPS에서 계층 간 예측 수행 여부를 알려주는 신택스가 전송될 경우, no_inter_layer_pred_flag가 1이면 움직임 정보 매핑을 수행하지 않을 수 있으며, no_inter_layer_pred_flag가 0이면, 움직임 정보 매핑을 수행할 수 있다.Referring to Table 11, when a syntax indicating whether to perform inter-layer prediction is transmitted in the VPS, if no_inter_layer_pred_flag is 1, motion information mapping may not be performed, and if no_inter_layer_pred_flag is 0, motion information mapping may be performed.

본 발명에서는 상위 계층에서 시그널링되는 계층 간 신택스 예측 수행 여부를 알려주는 신택스 정보를 이용하여 움직임 정보 매핑 수행 여부를 판단할 수 있다. 상기 계층 간 신택스 예측 수행 여부를 알려주는 신택스 정보는 상위 레벨에서 시그널링될 수 있다. In the present invention, it is possible to determine whether to perform motion information mapping using syntax information that indicates whether inter-layer syntax prediction signaled from a higher layer is performed. Syntax information indicating whether inter-layer syntax prediction is performed may be signaled at a higher level.

여기서, 상위 레벨은 비디오 파라미터 세트(VPS: Video Parameter Set), 시퀀스 파라미터 세트(SPS: Sequence Parameter Set), 픽처 파라미터 세트(PPS: Picture Parameter Set), 슬라이스 세그먼트 헤더(Slice segment header) 등일 수 있다.Here, the upper level may be a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a slice segment header, etc.

본 발명의 일 실시예에 의하면, 표 12에서와 같이 PPS에서 계층 간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 수 있다. According to an embodiment of the present invention, as shown in Table 12, a syntax indicating whether inter-layer syntax prediction is performed in the PPS may be transmitted.

표 12를 참조하면, PPS에서 계층 간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 경우, no_inter_layer_syntax_pred_flag가 0이면, 움직임 정보 매핑을 수행할 수 있으며, no_inter_layer_syntax_pred_flag가 1이면, 움직임 정보 매핑을 수행하지 않을 수 있다.Referring to Table 12, when a syntax indicating whether to perform inter-layer syntax prediction is transmitted in the PPS, if no_inter_layer_syntax_pred_flag is 0, motion information mapping can be performed, and if no_inter_layer_syntax_pred_flag is 1, motion information mapping can not be performed. there is.

본 발명의 다른 실시예에 의하면, 표 13에서와 같이 슬라이스 세그먼트 헤더에서 계층 간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 수 있다. According to another embodiment of the present invention, as shown in Table 13, a syntax indicating whether inter-layer syntax prediction is performed may be transmitted in the slice segment header.

표 13을 참조하면, 슬라이스 세그먼트 헤더에서 계층 간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 경우, no_inter_layer_syntax_pred_flag가 0이면, 움직임 정보 매핑을 수행할 수 있으며, no_inter_layer_syntax_pred_flag가 1이면, 움직임 정보 매핑을 수행하지 않을 수 있다.Referring to Table 13, when a syntax indicating whether to perform inter-layer syntax prediction is transmitted in the slice segment header, if no_inter_layer_syntax_pred_flag is 0, motion information mapping can be performed, and if no_inter_layer_syntax_pred_flag is 1, motion information mapping is not performed. It may not be possible.

다시 도 4를 참조하면, 부호화/복호화 장치는 제1 계층의 정보를 제2 계층의 참조 픽처 리스트에 추가하여 제2 계층의 영상을 부호화/복호화한다(S420).Referring again to FIG. 4, the encoding/decoding device encodes/decodes the second layer image by adding the first layer information to the second layer reference picture list (S420).

즉, 부호화/복호화 장치는 상술한 단계 S400 ~ S410을 통해 제2 계층 영상 크기로 매핑된 제1 계층의 복호화된 샘플 값들과 움직임 정보들을 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트에 추가할 수 있으며, 추가된 제1 계층의 정보를 이용하여 제2 계층 영상의 참조 픽처 리스트를 구성할 수 있다. 그리고 부호화/복호화 장치는 상기 참조 픽처 리스트를 기반으로 제2 계층의 영상에 대해 예측 신호를 생성하는 인터 예측을 수행할 수 있다. That is, the encoding/decoding device stores the decoded sample values and motion information of the first layer mapped to the second layer image size through the above-described steps S400 to S410 into a reference picture list for the current encoding/decoding target image of the second layer. , and a reference picture list of the second layer image can be constructed using the added first layer information. And the encoding/decoding device can perform inter prediction to generate a prediction signal for the second layer image based on the reference picture list.

제2 계층의 참조 픽처 리스트를 구성할 때, 제1 계층의 복호화된 영상은 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트의 마지막 위치에 추가될 수 있다. When constructing a reference picture list of the second layer, the decoded image of the first layer may be added to the last position of the reference picture list for the current encoding/decoding target image of the second layer.

또는, 제1 계층의 복호화된 영상은 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트의 특정 위치에 추가될 수 있다. 이때, 특정 위치는 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 알려 줄 수 있으며, 혹은 추가 정보의 전송 없이 정해진 규약에 의해 특정 위치가 지정될 수도 있다. Alternatively, the decoded image of the first layer may be added to a specific position in the reference picture list for the current encoding/decoding target image of the second layer. At this time, the specific location may be announced at a higher level (e.g., VPS, SPS, PPS, slice segment header, etc.), or the specific location may be designated according to a set protocol without transmitting additional information.

또는, 제1 계층의 복호화된 영상은 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트 L0와 L1에 추가될 수 있다. 이 경우, 참조 픽처 리스트 L0와 L1에 추가되는 위치는 동일할 수도 있으며, 상이할 수도 있다. 예를 들어, 참조 픽처 리스트 L0에서는 첫번째 위치에 제1 계층의 복호화된 영상을 추가하고, 참조 픽처 리스트 L1에서는 마지막 위치에 제1 계층의 복호화된 영상을 추가할 수 있다. Alternatively, the decoded image of the first layer may be added to the reference picture lists L0 and L1 for the current encoding/decoding target image of the second layer. In this case, the positions added to the reference picture lists L0 and L1 may be the same or different. For example, in the reference picture list L0, the decoded image of the first layer can be added to the first position, and in the reference picture list L1, the decoded image of the first layer can be added to the last position.

또는, 제1 계층의 복호화된 영상은 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트 방향(L0와 L1) 중 어느 하나에 추가될 수 있다. 예를 들어, 제2 계층의 현재 부호화/복호화 대상 영상이 B 슬라이스로 부호화/복호화 되는 경우, 참조 픽처 리스트 L0 혹은 참조 픽처 리스트 L1에만 제1 계층의 복호화된 영상을 추가할 수 있다. Alternatively, the decoded image of the first layer may be added to one of the reference picture list directions (L0 and L1) for the current encoding/decoding target image of the second layer. For example, when the current encoding/decoding target image of the second layer is encoded/decoded using a B slice, the decoded image of the first layer can be added only to the reference picture list L0 or the reference picture list L1.

이때, 특정 방향의 참조 픽처 리스트에 제1 계층의 복호화된 영상을 추가할 때, 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 특정 방향의 참조 픽처 리스트 내 어느 위치에 추가될 것인지 위치를 알려 줄 있으며, 혹은 추가 정보의 전송 없이 정해진 규약에 의해 특정 위치가 지정될 수도 있다. At this time, when adding the decoded image of the first layer to the reference picture list in a specific direction, at a certain position in the reference picture list in a specific direction at a higher level (e.g., VPS, SPS, PPS, slice segment header, etc.) The location may be notified of whether it will be added, or a specific location may be designated according to a set protocol without transmitting additional information.

또는, 제1 계층의 복호화된 영상은 예측 구조의 계층적 깊이(hierarchical depth) 정보를 이용하여 깊이에 따라 참조 픽처 리스트의 서로 다른 위치에 추가될 수 있다. 이때, 위치에 대한 정보는 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 알려 줄 수 있다. 예를 들어, 제1 계층의 복호화된 영상은 계층적 깊이에 따라 갖는 시간 레벨(temporal_Id) 값을 기반으로 참조 픽처 리스트 내에 추가되는 위치를 달리 할 수 있다. 일예로, 시간 레벨(temporal_Id) 2 이상을 갖는 경우에, 참조 픽처 리스트의 마지막 위치에 제1 계층의 복호화된 영상을 추가할 수 있고, 시간 레벨(temporal_Id)이 2보다 작은 경우에, 참조 픽처 리스트의 첫번째 위치에 제1 계층의 복호화된 영상을 추가할 수 있다. 이때, 기준 시간 레벨 값은 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 알려줄 수 있다. Alternatively, the decoded image of the first layer may be added to different positions in the reference picture list according to depth using hierarchical depth information of the prediction structure. At this time, information about the location can be provided at a higher level (eg, VPS, SPS, PPS, slice segment header, etc.). For example, the decoded image of the first layer may be added to a different location in the reference picture list based on the temporal level (temporal_Id) value depending on the hierarchical depth. For example, if the temporal level (temporal_Id) is 2 or more, the decoded image of the first layer can be added to the last position of the reference picture list, and if the temporal level (temporal_Id) is less than 2, the reference picture list The decoded image of the first layer can be added to the first position of . At this time, the reference time level value can be announced at a higher level (eg, VPS, SPS, PPS, slice segment header, etc.).

상술한 제1 계층의 복호화된 영상은 제1 계층의 복호화된 샘플 값들뿐만 아니라, 제2 계층의 영상 크기로 매핑된 제1 계층의 복호화된 움직임 정보를 포함할 수 있다. The decoded image of the first layer described above may include not only the decoded sample values of the first layer, but also the decoded motion information of the first layer mapped to the image size of the second layer.

부호화/복호화 장치는 상술한 바와 같은 방법으로, 제1 계층의 복호화된 영상을 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트에 추가한 후, 통상의 인터 예측 방법으로 제2 계층의 현재 부호화/복호화 대상 영상에 대한 예측을 수행할 수 있다. The encoding/decoding device adds the decoded image of the first layer to the reference picture list for the current encoding/decoding target image of the second layer using the method described above, and then encodes the image of the second layer using a normal inter prediction method. Prediction can be performed on the current encoding/decoding target image.

제1 계층의 복호화된 영상을 제2 계층의 현재 부호화 대상 영상의 참조 신호로 사용하여 예측을 수행하는 경우(인터 레이어 예측을 수행하는 경우), 부호화 장치는 움직임 예측 과정 없이 현재 부호화 대상 영상 내 예측 블록과 동일한 위치의 제1 계층 샘플 값을 예측 신호로 사용할 수 있다. 이 경우, 부호화 장치는 해당 블록의 움직임 정보(예를 들어, 움직임 벡터 차분 값, 움직임 예측 후보 플래그 등)를 전송하지 않을 수 있다. When prediction is performed using the decoded image of the first layer as a reference signal for the current encoding target image of the second layer (when performing inter-layer prediction), the encoding device makes predictions within the current encoding target image without a motion prediction process. The first layer sample value at the same location as the block can be used as a prediction signal. In this case, the encoding device may not transmit motion information (eg, motion vector difference value, motion prediction candidate flag, etc.) of the corresponding block.

복호화 장치는 제2 계층의 참조 픽처 인덱스가 지시하는 영상이 참조 픽처 리스트 내 제1 계층의 복호화된 영상인 경우, 제2 계층의 현재 복호화 대상 영상 내 예측 블록에 대한 움직임 정보(예를 들어, 움직임 벡터 차분 값, 움직임 예측 후보 플래그 등)를 복호화하지 않고, 현재 복호화 대상 영상 내 예측 블록과 동일한 위치의 제1 계층 샘플 값을 예측 신호로 사용할 수 있다. When the image indicated by the reference picture index of the second layer is the decoded image of the first layer in the reference picture list, the decoding device provides motion information (e.g., motion information) about the prediction block in the current decoding target image of the second layer. Without decoding the vector difference value, motion prediction candidate flag, etc.), the first layer sample value at the same location as the prediction block in the current image to be decoded can be used as a prediction signal.

제2 계층 현재 복호화 대상 블록의 참조 픽처 인덱스가 지시하는 영상이 참조 픽처 리스트 내 제1 계층의 복호화된 영상인 경우(인터 레이어 예측이 수행되는 경우), 복호화 장치는 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 전송되는 정보를 기반으로 하여, 제2 계층의 현재 복호화 대상 블록에 대한 움직임 정보(예를 들어, 움직임 벡터 차분 값, 움직임 예측 후보 플래그 등)를 복호화할지 여부를 판단하여 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행할 수 있다. If the image indicated by the reference picture index of the second layer current decoding target block is the decoded image of the first layer in the reference picture list (when inter-layer prediction is performed), the decoding device , SPS, PPS, slice segment header, etc.), whether to decode the motion information (e.g., motion vector difference value, motion prediction candidate flag, etc.) for the current decoding target block of the second layer. By determining whether or not, prediction can be performed on the current decoding target block of the second layer.

표 14는 계층 간 움직임 벡터가 (0, 0) 값을 가지는지 여부를 지시하는 정보(sps_inter_layer_mv_zero_flag)가 SPS에서 전송되는 신택스의 일예를 나타낸다. Table 14 shows an example of syntax in which information (sps_inter_layer_mv_zero_flag) indicating whether the inter-layer motion vector has the value (0, 0) is transmitted in the SPS.

표 14를 참조하면, SPS에서 전송되는 sps_inter_layer_mv_zero_flag가 1의 값을 가지며, 현재 복호화 대상 블록의 참조 픽처 인덱스가 참조 픽처 리스트 내에서 제1 계층의 복호화된 영상을 지시할 경우, 복호화 장치는 움직임 벡터 차분 값과 움직임 예측 후보 플래그를 복호화하지 않고 현재 복호화 대상 블록의 위치와 동일한 위치를 갖는 복호화된 제1 계층 영상의 샘플 값을 현재 복호화 대상 블록에 대한 예측 신호로 사용할 수 있다.Referring to Table 14, if sps_inter_layer_mv_zero_flag transmitted in SPS has a value of 1, and the reference picture index of the current decoding target block indicates the decoded image of the first layer in the reference picture list, the decoding device uses motion vector differential. The sample value of the decoded first layer image having the same position as the position of the current decoding target block can be used as a prediction signal for the current decoding target block without decoding the value and motion prediction candidate flag.

SPS에서 전송되는 sps_inter_layer_mv_zero_flag가 0의 값을 가지며, 현재 복호화 대상 블록의 참조 픽처 인덱스가 참조 픽처 리스트 내에서 제1 계층의 복호화된 영상을 지시할 경우, 복호화 장치는 움직임 벡터 차분 값과 움직임 예측 후보 플래그를 복호화한 후 움직임 벡터 값을 구하고, 상기 구해진 움직임 벡터 값의 위치에 있는 복호화된 제1 계층 영상의 샘플 값을 현재 복호화 대상 블록에 대한 예측 신호로 사용할 수 있다. If sps_inter_layer_mv_zero_flag transmitted in SPS has a value of 0, and the reference picture index of the current decoding target block indicates the decoded image of the first layer in the reference picture list, the decoding device uses the motion vector difference value and the motion prediction candidate flag. After decoding, the motion vector value is obtained, and the sample value of the decoded first layer image at the position of the obtained motion vector value can be used as a prediction signal for the current decoding target block.

한편, 부호화 장치에서는 매핑된 제1 계층의 움직임 정보를 제2 계층의 현재 부호화 대상 블록에 대한 시간 움직임 벡터 후보로 사용하기 위해서, 제1 계층의 복호화된 영상을 제2 계층의 시간 움직임 벡터 예측을 위한 대응 영상(collocated picture)로 사용할 수 있다. 이 경우, 부호화 장치는 슬라이스 세그먼트 헤더 내의 내의 대응 픽처를 지시하는 정보(collocated_ref_idx)를 통해 제1계층의 복호화된 영상을 대응 영상으로 지정할 수 있다.Meanwhile, in the encoding device, in order to use the mapped motion information of the first layer as a temporal motion vector candidate for the current encoding target block of the second layer, the decoded image of the first layer is used to predict the temporal motion vector of the second layer. It can be used as a collocated picture for In this case, the encoding device can designate the first layer decoded image as the corresponding image through information (collocated_ref_idx) indicating the corresponding picture in the slice segment header.

부호화기에서 전송된 슬라이스 세그먼트 헤더 내의 대응 픽처를 지시하는 정보(collocated_ref_idx)가 제1 계층의 복호화된 영상을 지시하는 경우, 복호화 장치에서는 매핑된 제1 계층의 움직임 정보를 제2 계층의 시간 움직임 벡터 후보로 사용할 수 있다. If the information (collocated_ref_idx) indicating the corresponding picture in the slice segment header transmitted from the encoder indicates the decoded image of the first layer, the decoder uses the mapped motion information of the first layer as a temporal motion vector candidate of the second layer. It can be used as

매핑된 제1 계층의 움직임 정보를 제2 계층의 시간 움직임 벡터 후보로 사용하는 경우, 부호화/복호화 장치는 상기 매핑된 제1 계층의 움직임 정보, 즉 참조 픽처 POC, 참조 픽처 리스트, 참조 픽처의 픽처 타입(단기 참조 픽처, 장기 참조 픽처) 정보 중 하나 이상을 이용할 수 있으며, 하나 이상의 매핑된 제1 계층의 움직임 정보를 이용함으로써 제2 계층의 움직임 벡터를 시간적 거리에 맞게 스케일링(scaling)하여 사용할 수 있다. When using the mapped motion information of the first layer as a temporal motion vector candidate for the second layer, the encoding/decoding device uses the mapped motion information of the first layer, that is, the reference picture POC, reference picture list, and picture of the reference picture. One or more of the type (short-term reference picture, long-term reference picture) information can be used, and by using one or more mapped first layer motion information, the second layer motion vector can be scaled according to the temporal distance. there is.

상위 레벨에서 제1 계층의 움직임 정보 매핑을 허용하지 않고 복호화된 제1 계층 영상의 참조 샘플 값들만 참조 픽처 리스트에 추가하여 예측을 수행하는 경우, 대응 픽처를 지시하는 정보(collocated_ref_idx)는 제1 계층의 복호화된 영상을 대응 픽처로 지시하지 않도록 표준 문서 상에 제약을 둘 수 있다. When prediction is performed by adding only reference sample values of the decoded first layer image to the reference picture list without allowing mapping of motion information of the first layer at a higher level, information indicating the corresponding picture (collocated_ref_idx) is stored in the first layer Restrictions can be placed on the standard document not to indicate the decoded image of as the corresponding picture.

매핑된 제1 계층의 움직임 정보를 제2 계층의 움직임 정보로 사용하는 다른 예로, 매핑된 제1 계층의 움직임 정보를 제2 계층의 시간 움직임 벡터 후보가 아닌 추가적인 후보 모드로 사용할 수도 있다. 이 경우, 제2 계층의 시간 움직임 벡터 후보가 제2 계층의 참조 픽처로부터 유도될 수 있도록 하기 위해, 대응 픽처를 지시하는 정보(collocated_ref_idx)는 제1 계층의 복호화된 영상을 대응 픽처로 지시하지 않도록 표준 문서 상에 제약을 둘 수 있다. 또한, 추가적인 후보 모드로 매핑된 제1 계층의 움직임 정보를 사용하기 위해, 부호화 장치는 추가적으로 참조 픽처 리스트 내의 제1 계층의 매핑된 영상 위치를 알려줄 수 있는 인덱스(예를 들어, base_ref_idx)를 슬라이스 세그먼트 헤더 등에서 전송할 수 있다. 참조 픽처 리스트 내 추가적인 후모 모드의 위치는 부호화 장치와 복호화 장치에 동일하게 적용될 수 있다. As another example of using the mapped first layer motion information as the second layer motion information, the mapped first layer motion information may be used as an additional candidate mode rather than a second layer temporal motion vector candidate. In this case, in order to ensure that the temporal motion vector candidate of the second layer can be derived from the reference picture of the second layer, the information indicating the corresponding picture (collocated_ref_idx) does not indicate the decoded image of the first layer as the corresponding picture. Restrictions can be placed on standard documents. In addition, in order to use the motion information of the first layer mapped as an additional candidate mode, the encoding device additionally adds an index (e.g., base_ref_idx) that can indicate the mapped image position of the first layer in the reference picture list to the slice segment. It can be transmitted in headers, etc. The location of the additional Humo mode in the reference picture list can be applied equally to the encoding device and the decoding device.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.The method according to the present invention described above can be produced as a program to be executed on a computer and stored in a computer-readable recording medium. Examples of computer-readable recording media include ROM, RAM, CD-ROM, and magnetic tape. , floppy disks, optical data storage devices, etc., and also includes those implemented in the form of carrier waves (for example, transmission via the Internet).

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer-readable recording medium is distributed in a computer system connected to a network, so that computer-readable code can be stored and executed in a distributed manner. And, functional programs, codes, and code segments for implementing the method can be easily deduced by programmers in the technical field to which the present invention pertains.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.In the above-described embodiments, the methods are described based on flowcharts as a series of steps or blocks, but the present invention is not limited to the order of steps, and some steps may occur in a different order or simultaneously with other steps as described above. You can. Additionally, a person of ordinary skill in the art will recognize that the steps shown in the flowchart are not exclusive and that other steps may be included or one or more steps in the flowchart may be deleted without affecting the scope of the present invention. You will understand.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다. The above description is merely an illustrative explanation of the technical idea of the present invention, and various modifications and variations will be possible to those skilled in the art without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but rather to explain it, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted in accordance with the scope of the patent claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of rights of the present invention.

Claims (5)

계층간 예측을 수행하는 영상 복호화 방법에 있어서,
제1 계층의 픽처를 복호화하는 단계;
상기 제1 계층의 픽처가 현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 픽처인 경우, 상기 제1 계층의 픽처를 상기 제2 계층의 픽처에 대한 참조 픽처 리스트에 추가하는 단계, 상기 제1 계층은, 상기 제2 계층과 상이한 계층임;
상기 참조 픽처 리스트에 포함된 참조 픽처들 중 하나를 대응 픽처로 선택하는 단계;
상기 대응 픽처를 이용하여, 상기 제2 계층의 픽처에 포함된 상기 현재 복호화 대상 블록에 대한 움직임 정보를 획득하는 단계; 및
상기 움직임 정보에 기초하여, 상기 현재 복호화 대상 블록에 대한 예측 블록을 획득하는 단계를 포함하되,
상기 제1 계층의 픽처와 상기 제2 계층의 픽처가 상이한 크기를 가지는 경우, 상기 제1 계층의 픽처는, 상기 대응 픽처로 결정되지 않고,
상기 대응 픽처를 지시하는 정보는 상기 참조 픽처 리스트에 포함된 참조 픽처들 중 상기 제1 계층의 픽처를 지시하지 않는 것을 특징으로 하는, 영상 복호화 방법.In an image decoding method that performs inter-layer prediction,
Decoding a picture of a first layer;
If the picture of the first layer is a picture referenced by a picture of the second layer including the current block to be decoded, adding the picture of the first layer to a reference picture list for the picture of the second layer, The first layer is a different layer from the second layer;
selecting one of the reference pictures included in the reference picture list as a corresponding picture;
Obtaining motion information about the current block to be decoded included in the picture of the second layer using the corresponding picture; and
Based on the motion information, obtaining a prediction block for the current decoding target block,
When the picture of the first layer and the picture of the second layer have different sizes, the picture of the first layer is not determined as the corresponding picture,
An image decoding method, wherein the information indicating the corresponding picture does not indicate a picture of the first layer among reference pictures included in the reference picture list. 제 1항에 있어서,
상기 제1 계층의 픽처는, 상기 제2 계층의 픽처와 POC (Picture Order Count)가 동일한 경우, 상기 참조 픽처 리스트에 추가되는 것을 특징으로 하는, 영상 복호화 방법.According to clause 1,
A video decoding method, characterized in that the picture of the first layer is added to the reference picture list when the picture of the second layer has the same picture order count (POC). 제 1항에 있어서,
상기 제1 계층의 픽처가, 상기 제2 계층의 픽처가 참조하는 픽처인지 여부는 상기 제2 계층 픽처의 레이어 아이디에 기초하여 결정되는 것을 특징으로 하는, 영상 복호화 방법.According to clause 1,
An image decoding method, characterized in that whether the first layer picture is a picture referenced by the second layer picture is determined based on the layer ID of the second layer picture. 계층간 예측을 수행하는 영상 부호화 방법에 있어서,
제1 계층의 픽처를 복원하는 단계;
상기 제1 계층의 픽처가 현재 부호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 픽처인 경우, 상기 제1 계층의 픽처를, 상기 제2 계층이 픽처에 대한 참조 픽처 리스트에 추가하는 단계, 상기 제1 계층은, 상기 제2 계층과 상이한 계층임;
상기 참조 픽처 리스트에 포함된 참조 픽처들 중 하나를 대응 픽처로 선택하는 단계;
상기 대응 픽처를 이용하여, 상기 제2 계층의 픽처에 포함된 상기 현재 부호화 대상 블록에 대한 움직임 정보를 획득하는 단계; 및
상기 움직임 정보에 기초하여, 상기 현재 부호화 대상 블록에 대한 예측 블록을 획득하는 단계를 포함하되,
상기 제1 계층의 픽처와 상기 제2 계층의 픽처가 상이한 크기를 가지는 경우, 상기 제1 계층의 픽처는, 상기 대응 픽처로 결정되지 않고,
상기 대응 픽처를 지시하는 정보는 상기 참조 픽처 리스트에 포함된 참조 픽처들 중 상기 제1 계층의 픽처를 지시하지 않는 것을 특징으로 하는, 영상 부호화 방법.In an image encoding method that performs inter-layer prediction,
Reconstructing a picture of a first layer;
When the first layer picture is a picture referenced by a second layer picture including a current encoding target block, adding the first layer picture to a reference picture list for the second layer picture, the first layer is a different layer from the second layer;
selecting one of the reference pictures included in the reference picture list as a corresponding picture;
Obtaining motion information about the current encoding target block included in the picture of the second layer using the corresponding picture; and
Based on the motion information, obtaining a prediction block for the current encoding target block,
When the picture of the first layer and the picture of the second layer have different sizes, the picture of the first layer is not determined as the corresponding picture,
An image encoding method, wherein the information indicating the corresponding picture does not indicate a picture of the first layer among reference pictures included in the reference picture list. 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 기록매체에 있어서,
상기 영상 부호화 방법은,
제1 계층의 픽처를 복원하는 단계;
상기 제1 계층의 픽처가 현재 부호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 픽처인 경우, 상기 제1 계층의 픽처를, 상기 제2 계층이 픽처에 대한 참조 픽처 리스트에 추가하는 단계, 상기 제1 계층은, 상기 제2 계층과 상이한 계층임;
상기 참조 픽처 리스트에 포함된 참조 픽처들 중 하나를 대응 픽처로 선택하는 단계;
상기 대응 픽처를 이용하여, 상기 제2 계층의 픽처에 포함된 상기 현재 부호화 대상 블록에 대한 움직임 정보를 획득하는 단계; 및
상기 움직임 정보에 기초하여, 상기 현재 부호화 대상 블록에 대한 예측 블록을 획득하는 단계를 포함하되,
상기 제1 계층의 픽처와 상기 제2 계층의 픽처가 상이한 크기를 가지는 경우, 상기 제1 계층의 픽처는, 상기 대응 픽처로 결정되지 않고,
상기 대응 픽처를 지시하는 정보는 상기 참조 픽처 리스트에 포함된 참조 픽처들 중 상기 제1 계층의 픽처를 지시하지 않는 것을 특징으로 하는, 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 기록매체.In a recording medium storing a bitstream generated by a video encoding method,
The video encoding method is,
Reconstructing a picture of a first layer;
When the first layer picture is a picture referenced by a second layer picture including a current encoding target block, adding the first layer picture to a reference picture list for the second layer picture, the first layer is a different layer from the second layer;
selecting one of the reference pictures included in the reference picture list as a corresponding picture;
Obtaining motion information about the current encoding target block included in the picture of the second layer using the corresponding picture; and
Based on the motion information, obtaining a prediction block for the current encoding target block,
When the picture of the first layer and the picture of the second layer have different sizes, the picture of the first layer is not determined as the corresponding picture,
A recording medium storing a bitstream generated by an image encoding method, wherein the information indicating the corresponding picture does not indicate a picture of the first layer among reference pictures included in the reference picture list.