KR20240090216A

KR20240090216A - Video signal processing method and device for determining intra prediction mode based on reference picture

Info

Publication number: KR20240090216A
Application number: KR1020247013318A
Authority: KR
Inventors: 김경용; 김동철; 손주형; 곽진삼
Original assignee: 주식회사 윌러스표준기술연구소
Priority date: 2021-10-01
Filing date: 2022-10-04
Publication date: 2024-06-21
Also published as: WO2023055220A1

Abstract

프로세서를 포함하는 비디오 신호 디코딩 장치는 비디오 신호 디코딩 장치가 개시된다. 상기 프로세서는 인트라 예측을 사용하여 현재 블록을 복원할 때, 상기 현재 블록의 주변 블록의 모션 정보 및 상기 주변 블록이 참조하는 참조 픽처를 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 유도하고, 상기 주변 블록에 해당하는 인트라 예측 모드를 사용하여 상기 현재 블록을 복원한다. 상기 주변 블록은 인터 예측을 사용하여 복원된 것이다.A video signal decoding device including a processor is disclosed. When restoring a current block using intra prediction, the processor derives an intra prediction mode corresponding to the neighboring block based on motion information of the neighboring block of the current block and a reference picture referenced by the neighboring block, The current block is restored using the intra prediction mode corresponding to the neighboring block. The neighboring blocks are restored using inter prediction.

Description

참조 픽쳐를 기초로 인트라 예측 모드를 결정하는 비디오 신호 처리 방법 및 이를 위한 장치Video signal processing method and device for determining intra prediction mode based on reference picture

본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.The present invention relates to a method and device for processing video signals, and more particularly, to a method and device for processing video signals for encoding or decoding video signals.

압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.Compression encoding refers to a series of signal processing technologies for transmitting digitized information through communication lines or storing it in a form suitable for storage media. Targets of compression coding include audio, video, and text. In particular, the technology for performing compression coding on video is called video image compression. Compression coding for video signals is accomplished by removing redundant information by considering spatial correlation, temporal correlation, and probabilistic correlation. However, due to recent developments in various media and data transmission media, more highly efficient video signal processing methods and devices are required.

본 명세서는 비디오 신호 처리 방법 및 이를 위한 장치를 제공하여 비디오 신호의 코딩 효율을 높이기 위한 목적이 있다.The purpose of this specification is to increase the coding efficiency of video signals by providing a video signal processing method and apparatus for the same.

본 발명의 실시 예에 따른 비디오 신호 디코딩 장치는 프로세서를 포함한다. 상기 프로세서는 인트라 예측을 사용하여 현재 블록을 복원할 때, 상기 현재 블록의 주변 블록의 모션 정보 및 상기 주변 블록이 참조하는 참조 픽처를 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 유도하고, 상기 주변 블록에 해당하는 인트라 예측 모드를 사용하여 상기 현재 블록을 복원한다. 상기 주변 블록은 인터 예측을 사용하여 복원된 것이다.A video signal decoding device according to an embodiment of the present invention includes a processor. When restoring a current block using intra prediction, the processor derives an intra prediction mode corresponding to the neighboring block based on motion information of the neighboring block of the current block and a reference picture referenced by the neighboring block, The current block is restored using the intra prediction mode corresponding to the neighboring block. The neighboring blocks are restored using inter prediction.

상기 프로세서는 상기 인트라 예측을 사용하여 상기 현재 블록을 복원할 때, 상기 주변 블록의 모션 정보에 따라 상기 참조 픽처에서 상기 현재 블록의 주변 블록의 어느 하나의 픽셀에 대응하는 픽셀의 인트라 예측 모드를 상기 주변 블록에 해당하는 인트라 예측 모드로 유도할 수 있다. When restoring the current block using the intra prediction, the processor sets the intra prediction mode of a pixel corresponding to any one pixel of a neighboring block of the current block in the reference picture according to the motion information of the neighboring block. It can be induced into the intra prediction mode corresponding to the surrounding block.

상기 프로세서는 상기 인트라 예측을 사용하여 상기 현재 블록을 복원할 때, 상기 주변 블록의 모션 정보에 따라 상기 참조 픽처에서 상기 현재 블록의 어느 하나의 픽셀에 대응하는 픽셀의 인트라 예측 모드를 상기 주변 블록에 해당하는 인트라 예측 모드로 유도할 수 있다.When restoring the current block using the intra prediction, the processor sets the intra prediction mode of a pixel corresponding to any one pixel of the current block in the reference picture to the neighboring block according to the motion information of the neighboring block. It can be guided to the corresponding intra prediction mode.

상기 프로세서는 미리 지정된 조건을 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 초기화할 수 있다.The processor may initialize the intra prediction mode corresponding to the neighboring block based on a pre-specified condition.

상기 미리 지정된 조건은 상기 현재 블록을 포함하는 현재 픽처의 POC(picture order count)와 상기 참조 픽처의 POC 사이의 차이에 관한 조건을 포함할 수 있다.The pre-specified condition may include a condition regarding the difference between the picture order count (POC) of the current picture including the current block and the POC of the reference picture.

상기 미리 지정된 조건은 상기 현재 블록을 포함하는 현재 픽처의 디코딩 순서와 상기 참조 픽처의 디코딩 순서의 차이에 관한 조건을 포함할 수 있다.The pre-specified condition may include a condition regarding the difference between the decoding order of the current picture including the current block and the decoding order of the reference picture.

상기 프로세서는 상기 미리 지정된 조건을 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 초기화할 때, 상기 주변 블록에 해당하는 인트라 예측 모드의 값을 미리 지정된 모드로 설정할 수 있다.When initializing the intra-prediction mode corresponding to the neighboring block based on the pre-designated condition, the processor may set the value of the intra-prediction mode corresponding to the neighboring block to the pre-designated mode.

상기 프로세서는 상기 주변 블록에 해당하는 인트라 예측 모드를 상기 디코딩 장치의 메모리에 저장할 때, 상기 인트라 예측 모드의 값을 미리 지정된 값으로 나누어 저장할 수 있다.When the processor stores the intra prediction mode corresponding to the neighboring block in the memory of the decoding device, the processor may divide the value of the intra prediction mode by a predetermined value and store it.

상기 프로세서는 상기 주변 블록에 해당하는 인트라 예측 모드를 상기 디코딩 장치의 메모리에 저장할 때, 인트라 예측 모드의 값의 미리 지정된 범위의 연속한 값을 하나의 값으로 저장할 수 있다.When the processor stores the intra prediction mode corresponding to the neighboring block in the memory of the decoding device, the processor may store consecutive values of the intra prediction mode value in a predetermined range as one value.

상기 프로세서는 상기 주변 블록에 해당하는 인트라 예측 모드를 사용하여 MPM(most probale mode) 리스트를 생성할 수 있다.The processor may generate a most probale mode (MPM) list using the intra prediction mode corresponding to the neighboring block.

상기 현재 블록은 GPM(geometric partitioning mode)이 적용되는 블록일 수 있다. 이때, 상기 프로세서는 상기 참조 블록으로부터 유도된 인트라 예측 모드를 기초로 현재 블록을 분할하는 사선의 각도를 유추하고, 상기 유추한 사선의 각도를 사용하여 상기 현재 블록을 복원할 수 있다.The current block may be a block to which GPM (geometric partitioning mode) is applied. At this time, the processor may infer the angle of the diagonal line dividing the current block based on the intra prediction mode derived from the reference block and restore the current block using the inferred angle of the diagonal line.

본 발명의 실시 예에 따른 비디오 신호 인코딩 장치는 프로세서를 포함하며, 상기 프로세서는 디코딩 방법에 의해 디코딩되는 비트스트림을 획득한다. 상기 디코딩 방법은 인트라 예측을 사용하여 현재 블록이 복원될 때, 상기 현재 블록의 주변 블록의 모션 정보 및 상기 주변 블록이 참조하는 참조 픽처를 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 유도하고, 상기 주변 블록에 해당하는 인트라 예측 모드를 사용하여 상기 현재 블록을 복원하는 단계를 포함한다. 상기 주변 블록은 인터 예측을 사용하여 복원된다.A video signal encoding device according to an embodiment of the present invention includes a processor, and the processor obtains a bitstream to be decoded by a decoding method. When the current block is restored using intra prediction, the decoding method derives an intra prediction mode corresponding to the neighboring block based on motion information of the neighboring block of the current block and a reference picture referenced by the neighboring block, and restoring the current block using an intra prediction mode corresponding to the neighboring block. The neighboring blocks are restored using inter prediction.

상기 현재 블록을 복원하는 단계는 상기 주변 블록의 모션 정보에 따라 상기 참조 픽처에서 상기 현재 블록의 주변 블록의 어느 하나의 픽셀에 대응하는 픽셀의 인트라 예측 모드를 상기 주변 블록에 해당하는 인트라 예측 모드로 유도하는 단계를 포함할 수 있다.The step of restoring the current block changes the intra prediction mode of a pixel corresponding to any pixel of a neighboring block of the current block in the reference picture to an intra prediction mode corresponding to the neighboring block according to the motion information of the neighboring block. It may include an inducing step.

상기 현재 블록을 복원하는 단계는 상기 주변 블록의 모션 정보에 따라 상기 참조 픽처에서 상기 현재 블록의 어느 하나의 픽셀에 대응하는 픽셀의 인트라 예측 모드를 상기 주변 블록에 해당하는 인트라 예측 모드로 유도하는 단계를 포함할 수 있다.Restoring the current block includes deriving an intra prediction mode of a pixel corresponding to a pixel of the current block in the reference picture to an intra prediction mode corresponding to the neighboring block according to motion information of the neighboring block. may include.

상기 디코딩 방법은 미리 지정된 조건을 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 초기화하는 단계를 더 포함할 수 있다.The decoding method may further include the step of initializing an intra prediction mode corresponding to the neighboring block based on a pre-specified condition.

상기 미리 지정된 조건을 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 초기화는 단계는 상기 주변 블록에 해당하는 인트라 예측 모드의 값을 미리 지정된 모드의 갑승로 초기화하는 단계를 포함할 수 있다.The step of initializing the intra prediction mode corresponding to the neighboring block based on the pre-designated condition may include initializing the value of the intra prediction mode corresponding to the neighboring block to the double of the pre-designated mode.

상기 현재 블록을 복원하는 단계는 상기 주변 블록에 해당하는 인트라 예측 모드를 사용하여 MPM(most probale mode) 리스트를 생성하는 단계를 더 포함할 수 있다.Restoring the current block may further include generating a most probale mode (MPM) list using an intra prediction mode corresponding to the neighboring block.

본 발명의 실시 예에 따라 비트스트림을 저장하는 컴퓨터 판독 가능한 비 일시적 저장 매체에 있어서, 상기 비트스트림은 디코딩 방법에 의해 디코딩된다. 상기 디코딩 방법은 인트라 예측을 사용하여 현재 블록이 복원될 때, 상기 현재 블록의 주변 블록의 모션 정보 및 상기 주변 블록이 참조하는 참조 픽처를 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 유도하고, 상기 주변 블록에 해당하는 인트라 예측 모드를 사용하여 상기 현재 블록을 복원하는 단계를 포함한다. 상기 주변 블록은 인터 예측을 사용하여 복원된다.In a computer-readable non-transitory storage medium storing a bitstream according to an embodiment of the present invention, the bitstream is decoded using a decoding method. When the current block is restored using intra prediction, the decoding method derives an intra prediction mode corresponding to the neighboring block based on motion information of the neighboring block of the current block and a reference picture referenced by the neighboring block, and restoring the current block using an intra prediction mode corresponding to the neighboring block. The neighboring blocks are restored using inter prediction.

본 명세서는 효율적으로 비디오 신호를 처리하기 위한 방법을 제공한다. 본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.This specification provides a method for efficiently processing video signals. The effects that can be obtained in this specification are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below. will be.

도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치의 개략적인 블록도이다.
도 3은 픽쳐 내에서 코딩 트리 유닛이 코딩 유닛들로 분할되는 실시예를 도시한다.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다.
도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다.
도 7은 인터 예측에서 움직임 후보 리스트를 구성하기 위해 사용되는 주변 블록들의 위치를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 비디오 신호 처리 장치가 현재 블록의 화면 내 및 화면 간 예측 모드를 저장하는 것을 보여준다.
도 9는 도 8을 통해 설명한 현재 블록의 주변 블록의 정보를 이용하여 현재 블록을 예측하는 것을 보여준다.
도 10은 본 발명의 실시 예에 따른 디코더가 인터 예측을 사용하여 복원한 블록의 움직임 정보를 사용하여 인트라 예측에서 참조된 블록의 인트라 예측 모드를 인터 예측을 사용하여 복원한 블록에 대응하는 인트라 예측 모드로 유도하는 것을 보여준다.
도 11은 본 발명의 실시 예에 따른 디코더가 현재 블록에 인트라 예측을 사용하여 현재 블록을 복원하는 경우, 인터 예측을 사용하여 복원된 현재 블록의 주변 블록의 인트라 예측 모드를 유도하는 것을 보여준다.
도 12는 본 발명의 실시 예에 따른 디코더가 인터 예측을 사용하여 복원한 주변 블록의 움직임 정보를 현재 블록의 픽셀에 적용하여 주변 블록에 대응하는 인트라 예측 모드를 유도하는 과정을 보여준다.
도 13은 본 발명의 실시 예에 따른 디코더가 인터 예측을 사용하여 복원한 주변 블록의 움직임 정보를 현재 블록의 서브 블록의 픽셀에 적용하여 주변 블록에 대응하는 인트라 예측 모드를 유도하는 과정을 보여준다.
도 14는 본 발명의 실시 예에 따른 디코더가 현재 블록을 인트라 예측을 사용하여 복원할 때, 현재 블록을 위한 모션 정보를 저장하는 방법을 보여준다.
도 15는 본 발명의 실시 예에 따른 디코더가 I픽쳐에서 결정한 인트라 예측 모드를 다음 픽쳐에서 인터 예측을 사용해 복원된 블록에 해당하는 인트라 예측 모드로 저장하는 것을 보여준다.
도 16은 본 발명의 실시 예에 따른 디코더가 디코딩을 수행할 때, 네트워크 상황으로 인해 특정 픽쳐의 비트스트림이 드랍(drop)되는 것을 보여준다.
도 17은 본 발명의 실시 예에 따른 디코더가 인터 예측을 통해 복원된 블록에 해당하는 인트라 예측 모드를 저장하는 방법을 보여준다.
도 18은 본 발명의 실시 예에 따른 디코더가 CIIP모드로 부호화되는 블록에서 인트라 예측 모드를 유도하는 것을 보여준다.
도 19는 본 발명의 실시 예에 따른 디코더가 GPM을 사용하여 현재 블록을 복원하는 것을 보여준다.
도 20은 본 발명의 실시 예에 따른 merge_gpm_delta_angle와 merge_gpm_distance_idx의 문맥 모델을 보여준다.
도 21은 본 발명의 실시 예에 따른 merge_gpm_delta_angle와 merge_gpm_distance_idx의 문맥 모델을 보여준다.
도 22는 본 발명의 실시 예에 따라 인코더와 디코더가 잔여 블록에 대한 변환을 수행하여 변환 계수를 획득하는 것과 양자화된 변환 계수에 역양자화를 수행하여 잔여블록을 복원하는 것을 보여준다.
도 23은 본 발명의 실시 예에 따른 인코더 및 디코더가 현재 블록 및 주변 블록의 정보, 인트라 예측 모드, 부호화 모드, 및 파싱된 변환 타입 인덱스 정보 중 적어도 하나 이상을 사용하여 변환 타입을 유도하는 과정을 보여준다.
도 24는 본 발명의 실시 예에 따른 현재 블록의 화면 내 방향성 모드(0~34 및 MIP)와 현재 블록의 크기 인덱스(0~15)에 매핑되는 변환 타입 세트의 인덱스를 보여준다.
도 25는 본 발명의 실시 예에 따라 nTrSet에 대응하는 변환 타입 세트를 보여준다.
도 26은 본 발명의 실시 예에 따른 변환 타입 조합 테이블을 보여준다.
도 27은 본 발명의 실시 예에 따른 IDT 변환 타입에 대한 임계값 테이블을 보여준다.
도 28은 본 발명의 실시 예에 따라 변환 타입의 세트를 획득하기 위해, 현재 블록의 폭과 높이의 비율에 따라 결정된 확장 각도 모드를 각도 모드에 재매핑하는 것을 보여준다.
도 29는 본 발명의 실시 예에 따른 디코더가 인트라 예측에 의해 예측된 블록을 복원하는 방법을 보여준다.
도 30은 본 발명의 실시 예에 따른 인코더 및 디코더가 사용할 수 있는 변환 커널을 보여준다.1 is a schematic block diagram of a video signal encoding device according to an embodiment of the present invention.
Figure 2 is a schematic block diagram of a video signal decoding device according to an embodiment of the present invention.
Figure 3 shows an embodiment in which a coding tree unit is divided into coding units within a picture.
Figure 4 shows one embodiment of a method for signaling splitting of quad trees and multi-type trees.
Figures 5 and 6 show the intra prediction method according to an embodiment of the present invention in more detail.
Figure 7 is a diagram showing the positions of neighboring blocks used to construct a motion candidate list in inter prediction.
Figure 8 shows that a video signal processing device according to an embodiment of the present invention stores intra-screen and inter-screen prediction modes of the current block.
FIG. 9 shows predicting the current block using information on neighboring blocks of the current block described in FIG. 8.
10 shows the intra prediction mode of a block referenced in intra prediction using the motion information of the block restored using inter prediction by the decoder according to an embodiment of the present invention, and the intra prediction corresponding to the block restored using inter prediction. It shows how to induce the mode.
Figure 11 shows that when a decoder according to an embodiment of the present invention restores a current block using intra prediction, it derives an intra prediction mode of a neighboring block of the restored current block using inter prediction.
Figure 12 shows a process in which a decoder according to an embodiment of the present invention applies motion information of a neighboring block restored using inter prediction to pixels of the current block to derive an intra prediction mode corresponding to the neighboring block.
Figure 13 shows a process in which a decoder according to an embodiment of the present invention applies motion information of a neighboring block restored using inter prediction to pixels of a subblock of the current block to derive an intra prediction mode corresponding to the neighboring block.
Figure 14 shows a method for storing motion information for the current block when the decoder according to an embodiment of the present invention restores the current block using intra prediction.
Figure 15 shows that the decoder according to an embodiment of the present invention stores the intra prediction mode determined in the I picture as the intra prediction mode corresponding to the block restored using inter prediction in the next picture.
Figure 16 shows that when a decoder according to an embodiment of the present invention performs decoding, the bitstream of a specific picture is dropped due to network conditions.
Figure 17 shows how a decoder according to an embodiment of the present invention stores an intra prediction mode corresponding to a block restored through inter prediction.
Figure 18 shows that the decoder according to an embodiment of the present invention derives an intra prediction mode from a block encoded in CIIP mode.
Figure 19 shows that a decoder according to an embodiment of the present invention restores the current block using GPM.
Figure 20 shows the context model of merge_gpm_delta_angle and merge_gpm_distance_idx according to an embodiment of the present invention.
Figure 21 shows the context model of merge_gpm_delta_angle and merge_gpm_distance_idx according to an embodiment of the present invention.
Figure 22 shows that, according to an embodiment of the present invention, the encoder and decoder obtain transform coefficients by performing transformation on the residual block and restore the residual block by performing inverse quantization on the quantized transform coefficient.
Figure 23 shows a process in which the encoder and decoder according to an embodiment of the present invention derive a transform type using at least one of information on the current block and neighboring blocks, intra prediction mode, encoding mode, and parsed transform type index information. It shows.
Figure 24 shows the index of the transformation type set mapped to the on-screen orientation mode (0 to 34 and MIP) of the current block and the size index (0 to 15) of the current block according to an embodiment of the present invention.
Figure 25 shows a set of transformation types corresponding to nTrSet according to an embodiment of the present invention.
Figure 26 shows a conversion type combination table according to an embodiment of the present invention.
Figure 27 shows a threshold table for the IDT conversion type according to an embodiment of the present invention.
Figure 28 shows remapping an extended angle mode determined according to the ratio of the width and height of the current block to an angle mode to obtain a set of transformation types according to an embodiment of the present invention.
Figure 29 shows how a decoder according to an embodiment of the present invention restores a block predicted by intra prediction.
Figure 30 shows a conversion kernel that can be used by the encoder and decoder according to an embodiment of the present invention.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.The terms used in this specification are general terms that are currently widely used as much as possible while considering the function in the present invention, but this may vary depending on the intention of a person skilled in the art, custom, or the emergence of new technology. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in the description of the relevant invention. Therefore, we would like to clarify that the terms used in this specification should be interpreted based on the actual meaning of the term and the overall content of this specification, not just the name of the term.

본 명세서에서 'A 및/또는 B'는 'A 또는 B 중 적어도 하나를 포함하는'과 같은 의미로 해석될 수 있다.In this specification, ‘A and/or B’ may be interpreted as meaning ‘including at least one of A or B.’

본 명세서에서 일부 용어들은 다음과 같이 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있다. 본 명세서에서 비디오 신호의 인코딩(부호화)을 수행하여 비디오 신호 비트스트림을 생성하는 장치는 인코딩 장치 또는 인코더로 지칭되며, 비디오 신호 비트스트림의 디코딩(복호화)을 수행하여 비디오 신호를 복원하는 장치는 디코딩 장치 또는 디코더로 지칭된다. 또한, 본 명세서에서 비디오 신호 처리 장치는 인코더 및 디코더를 모두 포함하는 개념의 용어로 사용된다. 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛'은 영상 처리의 기본 단위 또는 픽쳐의 특정 위치를 지칭하는 의미로 사용되며, 휘도(luma) 성분 및 색차(chroma) 성분 중 적어도 하나를 포함하는 이미지 영역을 가리킨다. 또한, '블록'은 휘도 성분 및 색차 성분들(즉, Cb 및 Cr) 중 특정 성분을 포함하는 이미지 영역을 가리킨다. 다만, 실시예에 따라서 '유닛', '블록', '파티션', '신호' 및 '영역' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '현재 블록'은 현재 부호화를 진행할 예정인 블록을 의미하며, '참조 블록'은 이미 부호화 또는 복호화가 완료된 블록으로 현재 블록에서 참조로 사용되는 블록을 의미한다. 또한, 본 명세서에서 '루마', 'luma', '휘도', 'Y' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '크로마', 'chroma' '색차', 'Cb 또는 Cr' 등의 용어는 서로 혼용하여 사용될 수 있으며, 색차 성분은 Cb와 Cr 2가지로 나누어지므로 각 색차 성분은 구분되어 사용될 수 있다. 또한, 본 명세서에서 유닛은 코딩 유닛, 예측 유닛, 변환 유닛을 모두 포함하는 개념으로 사용될 수 있다. 픽쳐는 필드 또는 프레임을 가리키며, 실시예에 따라 상기 용어들은 서로 혼용하여 사용될 수 있다. 구체적으로 촬영된 영상이 비월주사식(interlace) 영상일 경우, 하나의 프레임은 홀수(또는 기수, top) 필드와 짝수(또는 우수, bottom) 필드로 분리되어, 각 필드는 하나의 픽쳐 단위로 구성되어 부호화 또는 복호화 될 수 있다. 만일 촬영된 영상이 순차주사(progressive) 영상일 경우, 하나의 프레임이 픽쳐로서 구성되어 부호화 또는 복호화 될 수 있다. 또한, 본 명세서에서 '오차 신호', '레지듀얼 신호', '잔차 신호', '잔여 신호' 및 '차분 신호' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '인트라 예측 모드', '인트라 예측 방향성 모드', '화면 내 예측 모드' 및 '화면 내 예측 방향성 모드' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '모션', '움직임' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '좌측', '좌상측', '상측', '우상측', '우측', '우하측', '하측', '좌하측'은 '좌단', '좌상단', '상단', '우상단', '우단', '우하단', '하단', '좌하단'와 서로 혼용하여 사용될 수 있다. 또한, 원소(element), 멤버(member)는 서로 혼용하여 사용될 수 있다. POC(Picture Order Count)는 픽쳐(또는 프레임)의 시간적 위치 정보를 나타내며, 화면에 출력되는 재생 순서가 될 수 있으며, 픽쳐마다 고유의 POC를 가질 수 있다.Some terms in this specification may be interpreted as follows. Coding can be interpreted as encoding or decoding depending on the case. In this specification, a device that performs encoding (encoding) of a video signal to generate a video signal bitstream is referred to as an encoding device or encoder, and a device that performs decoding (decoding) of a video signal bitstream to restore a video signal is referred to as a decoder. It is referred to as a device or decoder. Additionally, in this specification, a video signal processing device is used as a term that includes both an encoder and a decoder. Information is a term that includes values, parameters, coefficients, elements, etc., and the meaning may be interpreted differently depending on the case, so the present invention is not limited thereto. 'Unit' is used to refer to a basic unit of image processing or a specific location of a picture, and refers to an image area containing at least one of a luminance (luma) component and a chrominance (chroma) component. Additionally, 'block' refers to an image area containing specific components among the luminance component and chrominance component (i.e., Cb and Cr). However, depending on the embodiment, terms such as 'unit', 'block', 'partition', 'signal', and 'area' may be used interchangeably. Additionally, in this specification, 'current block' refers to a block currently scheduled to be encoded, and 'reference block' refers to a block for which encoding or decoding has already been completed and is used as a reference in the current block. Additionally, in this specification, terms such as 'luma', 'luma', 'luminance', and 'Y' may be used interchangeably. In addition, in this specification, terms such as 'chroma', 'chroma', 'color difference', and 'Cb or Cr' may be used interchangeably, and since the color difference component is divided into two types, Cb and Cr, each color difference component will be used separately. You can. Additionally, in this specification, a unit may be used as a concept that includes all coding units, prediction units, and transformation units. A picture refers to a field or frame, and depending on the embodiment, the above terms may be used interchangeably. Specifically, when the captured image is an interlaced image, one frame is divided into an odd (or odd, top) field and an even (or even, bottom) field, and each field consists of one picture unit. and can be encoded or decoded. If the captured image is a progressive image, one frame can be configured as a picture and encoded or decoded. Additionally, in this specification, terms such as 'error signal', 'residual signal', 'residual signal', 'residual signal', and 'difference signal' may be used interchangeably. Additionally, in this specification, terms such as 'intra prediction mode', 'intra prediction directional mode', 'intra-screen prediction mode', and 'intra-screen prediction directional mode' may be used interchangeably. Additionally, in this specification, terms such as 'motion' and 'movement' may be used interchangeably. In addition, in this specification, 'left', 'upper left', 'upper', 'upper right', 'right', 'lower right', 'bottom', and 'lower left' mean 'left', 'upper left', ' It can be used interchangeably with 'top', 'top right', 'bottom right', 'bottom right', 'bottom', and 'bottom left'. Additionally, element and member can be used interchangeably. POC (Picture Order Count) represents temporal location information of a picture (or frame), can be the playback order displayed on the screen, and each picture can have a unique POC.

도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치(100)의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.Figure 1 is a schematic block diagram of a video signal encoding device 100 according to an embodiment of the present invention. Referring to Figure 1, the encoding device 100 of the present invention includes a transform unit 110, a quantization unit 115, an inverse quantization unit 120, an inverse transform unit 125, a filtering unit 130, and a prediction unit 150. ) and an entropy coding unit 160.

변환부(110)는 입력 받은 비디오 신호와 예측부(150)에서 생성된 예측 신호의 차이인 레지듀얼 신호를 변환하여 변환 계수 값을 획득한다. 예를 들어, 이산 코사인 변환(Discrete Cosine Transform, DCT), 이산 사인 변환(Discrete Sine Transform, DST) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 이산 코사인 변환 및 이산 사인 변환은 입력된 픽쳐 신호를 블록 형태로 나누어 변환을 수행하게 된다. 변환에 있어서 변환 영역 내의 값들의 분포와 특성에 따라서 코딩 효율이 달라질 수 있다. 레지듀얼 블록에 대한 변환에 사용되는 변환 커널은 수직 변환 및 수평 변환의 분리 가능한 특성을 가지는 변환 커널일 수 있다. 이 경우, 레지듀얼 블록에 대한 변환은 수직 변환 및 수평 변환으로 분리되어 수행될 수 있다. 예를 들어, 인코더는 레지듀얼 블록의 수직 방향으로 변환 커널을 적용하여 수직 변환을 수행할 수 있다. 또한, 인코더는 레지듀얼 블록의 수평 방향으로 변환 커널을 적용하여 수평 변환을 수행할 수 있다. 본 개시에서, 변환 커널은 변환 매트릭스, 변환 어레이, 변환 함수, 변환과 같이 레지듀얼 신호의 변환에 사용되는 파라미터 세트를 지칭하는 용어로 사용될 수 있다. 예를 들어, 변환 커널은 복수의 사용 가능한 커널들 중 어느 하나일 수 있다. 또한, 수직 변환 및 수평 변환 각각에 대해 서로 다른 변환 타입에 기반한 변환 커널이 사용될 수도 있다.The conversion unit 110 obtains a conversion coefficient value by converting the residual signal, which is the difference between the input video signal and the prediction signal generated by the prediction unit 150. For example, Discrete Cosine Transform (DCT), Discrete Sine Transform (DST), or Wavelet Transform may be used. Discrete cosine transform and discrete sine transform perform transformation by dividing the input picture signal into blocks. In transformation, coding efficiency may vary depending on the distribution and characteristics of values within the transformation region. The transformation kernel used for transformation of the residual block may be a transformation kernel with separable characteristics of vertical transformation and horizontal transformation. In this case, transformation for the residual block can be performed separately into vertical transformation and horizontal transformation. For example, the encoder can perform vertical transformation by applying a transformation kernel in the vertical direction of the residual block. Additionally, the encoder can perform horizontal transformation by applying a transformation kernel in the horizontal direction of the residual block. In this disclosure, a transform kernel may be used as a term to refer to a set of parameters used for transforming a residual signal, such as a transform matrix, transform array, transform function, or transform. For example, the transformation kernel may be any one of a plurality of available kernels. Additionally, transformation kernels based on different transformation types may be used for each of vertical transformation and horizontal transformation.

변환계수는 블록의 좌상단으로 갈수록 높은 계수가 분포하고, 블록의 우하단으로 갈수록 '0'에 가까운 계수가 분포한다. 현재 블록의 크기가 커질수록 우하단 영역에서 계수 '0'이 많이 존재할 가능성이 있다. 크기가 큰 블록의 변환 복잡도를 감소시키기 위해서, 임의의 좌상단 영역만을 남기고 나머지 영역은 '0'으로 재설정될 수 있다.Higher conversion coefficients are distributed toward the top left of the block, and coefficients closer to '0' are distributed toward the bottom right of the block. As the size of the current block increases, there is a possibility that there will be more coefficients of '0' in the lower right area. In order to reduce the conversion complexity of large blocks, only the upper left area can be left and the remaining areas can be reset to '0'.

또한, 코딩 블록에서 일부 영역에만 오차 신호가 존재할 수 있다. 이 경우, 임의의 일부 영역에 대해서만 변환 과정이 수행될 수 있다. 실시 일 예로, 2Nx2N 크기의 블록에서 첫번째 2NxN 블록에만 오차 신호가 존재할 수 있으며, 첫번째 2NxN블록에만 변환과정이 수행되지만 두번째 2NxN 블록은 변환과정이 수행되지 않고 인코딩 또는 디코딩되지 않을 수 있다. 여기서 N은 임의의 양의 정수가 될 수 있다.Additionally, error signals may exist only in some areas of the coding block. In this case, the conversion process may be performed only for some arbitrary areas. As an example, in a block of size 2Nx2N, an error signal may exist only in the first 2NxN block, and a conversion process is performed only on the first 2NxN block, but the conversion process is not performed on the second 2NxN block and may not be encoded or decoded. Here N can be any positive integer.

인코더는 변환 계수가 양자화되기 전에 추가적인 변환을 수행할 수 있다. 전술한 변환 방법은 1차 변환(primary transform)으로 지칭되고, 추가적인 변환은 2차 변환(secondary transform)으로 지칭될 수 있다. 2차 변환은 레지듀얼 블록 별로 선택적일 수 있다. 일 실시예에 따라, 인코더는 1차 변환만으로 저주파 영역에 에너지를 집중시키기 어려운 영역에 대해 2차 변환을 수행하여 코딩 효율을 향상시킬 수 있다. 예를 들어, 레지듀얼 값들이 레지듀얼 블록의 수평 또는 수직 방향 이외의 방향에서 크게 나타나는 블록에 대해 2차 변환이 추가로 수행될 수 있다. 2차 변환은 1차 변환과 달리 수직 변환 및 수평 변환으로 분리되어 수행되지 않을 수 있다. 이러한 2차 변환은 저대역 비-분리 변환(Low Frequency Non-Separable Transform, LFNST)으로 지칭될 수 있다.The encoder may perform additional transformations before the transform coefficients are quantized. The above-described transformation method may be referred to as a primary transform, and additional transformation may be referred to as a secondary transform. Secondary transformation may be optional for each residual block. According to one embodiment, the encoder may improve coding efficiency by performing secondary transformation on a region where it is difficult to concentrate energy in the low-frequency region only through primary transformation. For example, secondary transformation may be additionally performed on a block whose residual values appear large in directions other than the horizontal or vertical direction of the residual block. Unlike primary transformation, secondary transformation may not be performed separately into vertical transformation and horizontal transformation. This secondary transform may be referred to as Low Frequency Non-Separable Transform (LFNST).

양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다.The quantization unit 115 quantizes the transform coefficient value output from the transform unit 110.

코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인코더와 디코더에서 미스매치가 발생되지 않도록 하기 위해, 인코더에서 예측을 수행할 때에는 디코더에서도 사용 가능한 정보를 사용해야 한다. 이를 위해, 인코더에서는 부호화한 현재 블록을 다시 복원하는 과정을 수행한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 레지듀얼 값을 복원한다. 한편, 필터링부(130)는 복원된 픽쳐의 품질 개선 및 부호화 효율 향상을 위한 필터링 연산을 수행한다. 예를 들어, 디블록킹 필터, 샘플 적응적 오프셋(Sample Adaptive Offset, SAO) 및 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(Decoded Picture Buffer, DPB, 156)에 저장된다.In order to increase coding efficiency, rather than coding the picture signal as is, the picture is predicted using the already coded area through the prediction unit 150, and the residual value between the original picture and the predicted picture is added to the predicted picture to create a reconstructed picture. A method of obtaining is used. To prevent mismatches between the encoder and decoder, information available in the decoder must be used when performing prediction in the encoder. For this purpose, the encoder performs a process of restoring the current encoded block. The inverse quantization unit 120 inversely quantizes the transform coefficient value, and the inverse transform unit 125 restores the residual value using the inverse quantized transform coefficient value. Meanwhile, the filtering unit 130 performs a filtering operation to improve the quality of the reconstructed picture and improve coding efficiency. For example, deblocking filters, sample adaptive offset (SAO), and adaptive loop filters may be included. The filtered picture is output or stored in a decoded picture buffer (DPB, 156) to be used as a reference picture.

디블록킹 필터(deblocking filter)는 복원된 픽쳐에서 블록 간의 경계에 생성된 블록 내의 왜곡을 제거하기 위한 필터이다. 인코더는 블록 내의 임의 경계(edge)를 기준으로 몇 개의 열 또는 행에 포함된 픽셀들의 분포를 통해, 해당 경계에 디블록킹 필터를 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용되는 경우, 인코더는 디블록킹 필터링 강도에 따라 긴 필터(Long Filter), 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한, 수평 방향 필터링 및 수직 방향 필터링이 병렬적으로 처리될 수 있다. 샘플 적응적 오프셋(SAO)은 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋을 보정하는데 사용될 수 있다. 인코더는 특정 픽쳐에 대한 오프셋을 보정하기 위하여 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후, 오프셋 보정을 수행할 영역을 결정하고, 해당 영역에 오프셋을 적용하는 방법(Band Offset)을 사용할 수 있다. 또는 인코더는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법(Edge Offset)을 사용할 수 있다. 적응적 루프 필터(Adaptive Loop Filter, ALF)는 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후, 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행하는 방법이다. ALF를 적용할지 여부에 관련된 정보는 코딩 유닛 단위로 시그널링될 수 있고, 각각의 블록에 따라 적용될 ALF 필터의 모양 및 필터 계수가 달라질 수 있다. 또한, 적용할 대상 블록의 특성에 관계없이 동일한 형태(고정된 형태)의 ALF 필터가 적용될 수도 있다.A deblocking filter is a filter for removing distortion within blocks created at the boundaries between blocks in a restored picture. The encoder can determine whether to apply a deblocking filter to the edge based on the distribution of pixels included in several columns or rows based on an arbitrary edge within the block. When a deblocking filter is applied to a block, the encoder can apply a long filter, strong filter, or weak filter depending on the deblocking filtering strength. Additionally, horizontal filtering and vertical filtering can be processed in parallel. Sample adaptive offset (SAO) can be used to correct the offset from the original image on a pixel basis for a residual block to which a deblocking filter has been applied. In order to correct the offset for a specific picture, the encoder divides the pixels included in the image into a certain number of areas, determines the area to perform offset correction, and uses a method (Band Offset) to apply the offset to the area. You can. Alternatively, the encoder can use a method of applying an offset (Edge Offset) by considering the edge information of each pixel. Adaptive Loop Filter (ALF) is a method of dividing pixels included in an image into predetermined groups, then determining one filter to be applied to the group, and performing differential filtering for each group. Information related to whether to apply ALF may be signaled in units of coding units, and the shape and filter coefficients of the ALF filter to be applied may vary for each block. Additionally, an ALF filter of the same type (fixed type) may be applied regardless of the characteristics of the target block to be applied.

예측부(150)는 인트라 예측부(152)와 인터 예측부(154)를 포함한다. 인트라 예측부(152)에서는 현재 픽쳐 내에서 인트라(intra) 예측을 수행하며, 인터 예측부(154)에서는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측하는 인터(inter) 예측을 수행한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 영역들로부터 인트라 예측을 수행하여, 인트라 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스, 참조 샘플에 관한 정보 중 적어도 하나를 포함할 수 있다. 인터 예측부(154)는 다시 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)에서는 복원된 참조 픽쳐의 특정 영역을 참조하여 현재 영역과 가장 유사한 부분을 찾고 영역 간의 거리인 모션 벡터 값을 획득한다. 모션 추정부(154a)에서 획득한 참조 영역에 대한 모션 정보(참조 방향 지시 정보(L0 예측, L1 예측, 양방향 예측), 참조 픽쳐 인덱스, 모션 벡터 정보 등) 등을 엔트로피 코딩부(160)로 전달하여 비트스트림에 포함될 수 있도록 한다. 모션 추정부(154a)에서 전달된 모션 정보를 이용하여 모션 보상부(154b)에서는 인터 모션 보상을 수행하여 현재 블록을 위한 예측 블록을 생성한다. 인터 예측부(154)는 참조 영역에 대한 모션 정보를 포함하는 인터 부호화 정보를 엔트로피 코딩부(160)에 전달한다.The prediction unit 150 includes an intra prediction unit 152 and an inter prediction unit 154. The intra prediction unit 152 performs intra prediction within the current picture, and the inter prediction unit 154 performs inter prediction using the reference picture stored in the decoded picture buffer 156. Perform. The intra prediction unit 152 performs intra prediction from the reconstructed areas in the current picture and transmits intra encoding information to the entropy coding unit 160. Intra encoding information may include at least one of an intra prediction mode, a Most Probable Mode (MPM) flag, an MPM index, and information about a reference sample. The inter prediction unit 154 may again include a motion estimation unit 154a and a motion compensation unit 154b. The motion estimation unit 154a refers to a specific region of the reconstructed reference picture, finds the part most similar to the current region, and obtains a motion vector value that is the distance between regions. Motion information (reference direction indication information (L0 prediction, L1 prediction, bi-directional prediction), reference picture index, motion vector information, etc.) about the reference area obtained from the motion estimation unit 154a is transmitted to the entropy coding unit 160. so that it can be included in the bitstream. Using the motion information transmitted from the motion estimation unit 154a, the motion compensation unit 154b performs inter-motion compensation to generate a prediction block for the current block. The inter prediction unit 154 transmits inter encoding information including motion information about the reference region to the entropy coding unit 160.

추가적인 실시예에 따라, 예측부(150)는 인트라 블록 카피(Intra block copy, IBC) 예측부(미도시)를 포함할 수 있다. IBC 예측부는 현재 픽쳐 내의 복원된 샘플들로부터 IBC 예측을 수행하여, IBC 부호화 정보를 엔트로피 코딩부(160)에 전달한다. IBC 예측부는 현재 픽쳐 내의 특정 영역을 참조하여 현재 영역의 예측에 이용되는 참조 영역을 지시하는 블록 벡터값을 획득한다. IBC 예측부는 획득된 블록 벡터값을 이용하여 IBC 예측을 수행할 수 있다. IBC 예측부는 IBC 부호화 정보를 엔트로피 코딩부(160)로 전달한다. IBC 부호화 정보는 참조 영역의 크기 정보, 블록 벡터 정보(움직임 후보 리스트 내에서 현재 블록의 블록 벡터 예측을 위한 인덱스 정보, 블록 벡터 차분 정보) 중에서 적어도 하나를 포함할 수 있다.According to an additional embodiment, the prediction unit 150 may include an intra block copy (IBC) prediction unit (not shown). The IBC prediction unit performs IBC prediction from the reconstructed samples in the current picture and transmits IBC encoding information to the entropy coding unit 160. The IBC prediction unit refers to a specific region in the current picture and obtains a block vector value indicating a reference region used for prediction of the current region. The IBC prediction unit may perform IBC prediction using the obtained block vector value. The IBC prediction unit transmits IBC encoding information to the entropy coding unit 160. IBC encoding information may include at least one of reference area size information and block vector information (index information for block vector prediction of the current block within the motion candidate list, block vector difference information).

위와 같은 픽쳐 예측이 수행될 경우, 변환부(110)는 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 변환하여 변환 계수 값을 획득한다. 이때, 변환은 픽쳐 내에서 특정 블록 단위로 수행될 수 있으며, 특정 블록의 크기는 기 설정된 범위 내에서 가변할 수 있다. 양자화부(115)는 변환부(110)에서 생성된 변환 계수 값을 양자화하여 양자화된 변환 계수를 엔트로피 코딩부(160)로 전달한다.When the above picture prediction is performed, the transform unit 110 obtains a transform coefficient value by transforming the residual value between the original picture and the predicted picture. At this time, transformation can be performed on a specific block basis within the picture, and the size of a specific block can vary within a preset range. The quantization unit 115 quantizes the transform coefficient value generated by the transform unit 110 and transmits the quantized transform coefficient to the entropy coding unit 160.

상기 2차원 배열 형태의 양자화된 변환 계수는 엔트로피 코딩을 위해 1차원의 배열 형태로 재정렬될 수 있다. 양자화된 변환 계수를 스캐닝하는 방법은 변환 블록의 크기 및 화면 내 예측 모드에 따라 어떠한 스캔 방법이 사용될지 여부가 결정될 수 있다. 실시 일 예로, 대각(Diagonal), 수직(vertical), 수평(horizontal) 스캔이 적용될 수 있다. 이러한 스캔 정보는 블록 단위로 시그널링될 수 있으며, 이미 정해진 규칙에 따라 유도될 수 있다.The quantized transform coefficients in the form of a two-dimensional array can be rearranged into a one-dimensional array for entropy coding. The scanning method for the quantized transform coefficient may be determined depending on the size of the transform block and the intra-screen prediction mode. As an example, diagonal, vertical, and horizontal scans may be applied. This scan information can be signaled in block units and can be derived according to already established rules.

엔트로피 코딩부(160)는 양자화된 변환 계수를 나타내는 정보, 인트라 부호화 정보, 및 인터 부호화 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 엔트로피 코딩부(160)에서는 가변 길이 코딩(Variable Length Coding, VLC) 방식과 산술 코딩(arithmetic coding) 방식 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로, 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(Context-based Adaptive Variable Length Coding, CAVLC) 방식이 사용될 수 있다. 산술 코딩은 각 데이터 심볼들의 확률 분포를 이용하여 연속적인 데이터 심볼들을 하나의 소수로 변환하는데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(Context-based Adaptive Binary Arithmetic Code, CABAC)가 이용될 수 있다. The entropy coding unit 160 generates a video signal bitstream by entropy coding information representing quantized transform coefficients, intra encoding information, and inter encoding information. The entropy coding unit 160 may use a variable length coding (VLC) method or an arithmetic coding method. The variable length coding (VLC) method converts input symbols into continuous codewords, and the length of the codewords may be variable. For example, frequently occurring symbols are expressed as short codewords, and infrequently occurring symbols are expressed as long codewords. As a variable length coding method, Context-based Adaptive Variable Length Coding (CAVLC) can be used. Arithmetic coding converts consecutive data symbols into a single decimal number using the probability distribution of each data symbol. Arithmetic coding can obtain the optimal decimal bits needed to express each symbol. As arithmetic coding, context-based adaptive binary arithmetic code (CABAC) can be used.

CABAC은 실험을 통해 얻은 확률을 기반으로 생성된 여러 개의 문맥 모델(context model)을 통해 이진 산술 부호화하는 방법이다. 문맥 모델을 컨텍스트 모델이라고 할 수도 있다. 먼저, 심볼이 이진 형태가 아닐 경우, 인코더는 exp-Golomb 등을 사용하여 각 심볼을 이진화한다. 이진화된 0 또는 1은 빈(bin)으로 기술될 수 있다. CABAC 초기화 과정은 문맥 초기화와 산술 코딩 초기화로 구분된다. 문맥 초기화는 각 심볼의 발생 확률을 초기화하는 과정으로, 심볼의 종류, 양자화 파라미터(QP), 슬라이스 타입(I, P, B 인지)에 따라 결정된다. 이러한 초기화 정보를 가지는 문맥 모델은 실험을 통해 얻은 확률 기반 값을 사용할 수 있다. 문맥 모델은 현재 코딩하려는 심볼에 대한 LPS(Least Probable Symbol) 또는 MPS(Most Probable Symbol)의 발생 확률과 0과 1중에서 어떤 빈 값이 MPS에 해당되는지에 대한 정보(valMPS)를 제공한다. 문맥 인덱스(Context index, ctxIdx)를 통해 여러 개의 문맥 모델 중에서 하나가 선택되며, 문맥 인덱스는 현재 부호화할 블록의 정보 또는 주변 블록의 정보를 통해 유도될 수 있다. 문맥 모델에서 선택된 확률 모델을 기반으로 이진 산술 코딩을 위한 초기화가 수행된다. 이진 산술 부호화는 0과 1의 발생 확률을 통해 확률 구간으로 분할한 후, 처리할 빈에 해당하는 확률 구간이 다음에 처리될 빈에 대한 전체 확률 구간이 되는 과정을 통해 부호화가 진행된다. 마지막 빈이 처리된 확률 구간 안의 위치 정보가 출력된다. 단, 확률 구간이 무한정 분할될 수 없으므로, 일정 크기 이내로 줄어들 경우에는 재규격화(renormalization)과정이 수행되어 확률 구간이 넓어지고 해당 위치 정보가 출력된다. 또한, 각 빈이 처리된 후, 처리된 빈의 정보를 통해 다음 처리될 빈에 대한 확률이 새롭게 설정되는 확률 업데이트 과정이 수행될 수 있다.CABAC is a method of binary arithmetic encoding using multiple context models created based on probabilities obtained through experiments. The context model can also be called a context model. First, if the symbols are not in binary form, the encoder binarizes each symbol using exp-Golomb, etc. Binarized 0 or 1 can be described as a bin. The CABAC initialization process is divided into context initialization and arithmetic coding initialization. Context initialization is a process of initializing the probability of occurrence of each symbol, and is determined depending on the type of symbol, quantization parameter (QP), and slice type (whether I, P, or B). The context model with this initialization information can use probability-based values obtained through experimentation. The context model provides the probability of occurrence of LPS (Least Probable Symbol) or MPS (Most Probable Symbol) for the symbol currently being coded and information (valMPS) about which empty value among 0 and 1 corresponds to the MPS. One of several context models is selected through a context index (ctxIdx), and the context index can be derived through information on the current block to be encoded or information on surrounding blocks. Initialization for binary arithmetic coding is performed based on the probability model selected from the context model. Binary arithmetic coding is divided into probability intervals using the probability of occurrence of 0 and 1, and then coding is carried out through the process where the probability interval corresponding to the bin to be processed becomes the entire probability interval for the next bin to be processed. Location information within the probability interval where the last bin was processed is output. However, since the probability interval cannot be divided indefinitely, when it is reduced to within a certain size, a renormalization process is performed, the probability interval is widened, and the corresponding location information is output. Additionally, after each bin is processed, a probability update process may be performed in which the probability of the next bin to be processed is newly set through information on the processed bin.

상기 생성된 비트스트림은 NAL(Network Abstraction Layer) 유닛을 기본 단위로 캡슐화 된다. NAL 유닛은 영상 데이터를 포함하는 VCL(Video Coding Layer) NAL 유닛과 영상 데이터를 디코딩하기 위한 파라미터 정보를 포함하는 non-VCL NAL 유닛으로 구분되며, 다양한 종류의 VCL 또는 non-VCL NAL 유닛이 존재한다. NAL 유닛은 NAL 헤더 정보와 데이터인 RBSP(Raw Byte Sequence Payload)로 구성되며, NAL 헤더 정보에는 RBSP에 대한 요약 정보가 포함된다. VCL NAL 유닛의 RBSP에는 부호화된 정수 개의 코딩 트리 유닛(coding tree unit)을 포함한다. 비디오 디코더에서 비트스트림을 복호화하기 위해서는 먼저 비트스트림을 NAL 유닛 단위로 분리한 후, 분리된 각각의 NAL 유닛을 복호화해야 한다. 한편, 비디오 신호 비트스트림의 복호화를 위해 필요한 정보들은 픽쳐 파라미터 세트(Picture Parameter Set, PPS), 시퀀스 파라미터 세트(Sequence Parameter Set, SPS), 비디오 파라미터 세트(Video Parameter Set, VPS) 등에 포함되어 전송될 수 있다.The generated bitstream is encapsulated in a NAL (Network Abstraction Layer) unit as a basic unit. NAL units are divided into VCL (Video Coding Layer) NAL units containing video data and non-VCL NAL units containing parameter information for decoding video data. There are various types of VCL or non-VCL NAL units. . The NAL unit consists of NAL header information and data, RBSP (Raw Byte Sequence Payload), and the NAL header information includes summary information about the RBSP. The RBSP of the VCL NAL unit includes an encoded integer number of coding tree units. In order to decode a bitstream in a video decoder, the bitstream must first be separated into NAL units, and then each separated NAL unit must be decoded. Meanwhile, the information required for decoding the video signal bitstream will be transmitted in a picture parameter set (PPS), sequence parameter set (SPS), video parameter set (VPS), etc. You can.

한편, 도 1의 블록도는 본 발명의 일 실시예에 따른 인코딩 장치(100)를 나타낸 것으로서, 분리하여 표시된 블록들은 인코딩 장치(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 인코딩 장치(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 인코딩 장치(100)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.Meanwhile, the block diagram of FIG. 1 shows the encoding device 100 according to an embodiment of the present invention, and the separately displayed blocks show elements of the encoding device 100 logically distinguished. Accordingly, the elements of the above-described encoding device 100 may be mounted as one chip or as a plurality of chips depending on the design of the device. According to one embodiment, the operation of each element of the above-described encoding device 100 may be performed by a processor (not shown).

도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230) 및 예측부(250)를 포함한다.Figure 2 is a schematic block diagram of a video signal decoding device 200 according to an embodiment of the present invention. Referring to FIG. 2, the decoding device 200 of the present invention includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 225, a filtering unit 230, and a prediction unit 250.

엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수 정보, 인트라 부호화 정보, 인터 부호화 정보 등을 추출한다. 예를 들어, 엔트로피 디코딩부(210)는 비디오 신호 비트스트림으로부터 특정 영역의 변환 계수 정보에 대한 이진화 코드를 획득할 수 있다. 또한, 엔트로피 디코딩부(210)는 이진화 코드를 역 이진화하여 양자화된 변환 계수를 획득한다. 역양자화부(220)는 양자화된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 레지듀얼 값을 복원한다. 비디오 신호 처리 장치(200)는 역변환부(225)에서 획득된 레지듀얼 값을 예측부(250)에서 획득된 예측 값과 합산하여 원래의 화소값을 복원한다.The entropy decoding unit 210 entropy decodes the video signal bitstream and extracts transform coefficient information, intra encoding information, and inter encoding information for each region. For example, the entropy decoder 210 may obtain a binarization code for transform coefficient information of a specific area from a video signal bitstream. Additionally, the entropy decoding unit 210 inversely binarizes the binarization code to obtain a quantized transform coefficient. The inverse quantization unit 220 inversely quantizes the quantized transform coefficient, and the inverse transform unit 225 restores the residual value using the inverse quantized transform coefficient. The video signal processing device 200 restores the original pixel value by summing the residual value obtained from the inverse transform unit 225 with the predicted value obtained from the prediction unit 250.

한편, 필터링부(230)는 픽쳐에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터 및/또는 픽쳐 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 다음 픽쳐에 대한 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(DPB, 256)에 저장된다.Meanwhile, the filtering unit 230 improves image quality by performing filtering on the picture. This may include a deblocking filter to reduce block distortion and/or an adaptive loop filter to remove distortion of the entire picture. The filtered picture is output or stored in the decoded picture buffer (DPB, 256) to be used as a reference picture for the next picture.

예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함한다. 예측부(250)는 전술한 엔트로피 디코딩부(210)를 통해 복호화된 부호화 타입, 각 영역에 대한 변환 계수, 인트라/인터 부호화 정보 등을 활용하여 예측 픽쳐를 생성한다. 복호화가 수행되는 현재 블록을 복원하기 위해서, 현재 블록이 포함된 현재 픽쳐 또는 다른 픽쳐들의 복호화된 영역이 이용될 수 있다. 복원에 현재 픽쳐만을 이용하는, 즉 인트라 예측 또는 인트라 BC 예측을 수행하는 픽쳐(또는, 타일/슬라이스)를 인트라 픽쳐 또는 I 픽쳐(또는, 타일/슬라이스), 인트라 예측, 인터 예측 및 인트라 BC 예측을 모두 수행할 수 있는 픽쳐(또는, 타일/슬라이스)를 인터 픽쳐(또는, 타일/슬라이스)라고 한다. 인터 픽쳐(또는, 타일/슬라이스) 중 각 블록의 샘플값들을 예측하기 위하여 최대 하나의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 예측 픽쳐(predictive picture) 또는 P 픽쳐(또는, 타일/슬라이스)라고 하며, 최대 두 개의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 쌍예측 픽쳐(Bi-predictive picture) 또는 B 픽쳐(또는, 타일/슬라이스) 라고 한다. 다시 말해서, P 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 하나의 모션 정보 세트를 이용하고, B 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 두 개의 모션 정보 세트를 이용한다. 여기서, 모션 정보 세트는 하나 이상의 모션 벡터와 하나의 참조 픽쳐 인덱스를 포함한다.The prediction unit 250 includes an intra prediction unit 252 and an inter prediction unit 254. The prediction unit 250 generates a prediction picture using the coding type decoded through the entropy decoding unit 210, transform coefficients for each region, intra/inter coding information, etc. To restore the current block on which decoding is performed, the current picture including the current block or the decoded area of other pictures can be used. Only the current picture is used for reconstruction, that is, a picture (or tile/slice) that performs intra prediction or intra BC prediction is used as an intra picture or I picture (or tile/slice), intra prediction, and both inter prediction and intra BC prediction are used. A picture (or tile/slice) that can be performed is called an inter picture (or tile/slice). A picture (or tile/slice) that uses at most one motion vector and a reference picture index to predict sample values of each block among inter pictures (or tiles/slices) is called a predictive picture or a P picture (or , tile/slice), and a picture (or tile/slice) using up to two motion vectors and a reference picture index is called a bi-predictive picture or B picture (or tile/slice). In other words, a P picture (or tile/slice) uses at most one set of motion information to predict each block, and a B picture (or tile/slice) uses at most two sets of motion information to predict each block. Use a set. Here, the motion information set includes one or more motion vectors and one reference picture index.

인트라 예측부(252)는 인트라 부호화 정보 및 현재 픽쳐 내의 복원된 샘플들을 이용하여 예측 블록을 생성한다. 전술한 바와 같이, 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인트라 예측부(252)는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다. 본 개시에서, 복원된 샘플들, 참조 샘플들 및 현재 블록의 샘플들은 픽셀들을 나타낼 수 있다. 또한, 샘플 값(sample value)들은 픽셀 값들을 나타낼 수 있다.The intra prediction unit 252 generates a prediction block using intra encoding information and reconstructed samples in the current picture. As described above, intra encoding information may include at least one of an intra prediction mode, a Most Probable Mode (MPM) flag, and an MPM index. The intra prediction unit 252 predicts sample values of the current block using reconstructed samples located to the left and/or above the current block as reference samples. In this disclosure, reconstructed samples, reference samples, and samples of the current block may represent pixels. Additionally, sample values may represent pixel values.

일 실시예에 따르면, 참조 샘플들은 현재 블록의 주변 블록에 포함된 샘플들일 수 있다. 예를 들어, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 또한, 참조 샘플들은 현재 블록의 주변 블록의 샘플들 중 현재 블록의 좌측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들 및/또는 현재 블록의 상측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들일 수 있다. 이때, 현재 블록의 주변 블록은 현재 블록에 인접한 좌측(L) 블록, 상측(A) 블록, 하좌측(Below Left, BL) 블록, 상우측(Above Right, AR) 블록 또는 상좌측(Above Left, AL) 블록 중 적어도 하나를 포함할 수 있다.According to one embodiment, the reference samples may be samples included in neighboring blocks of the current block. For example, the reference samples may be samples adjacent to the left border and/or samples adjacent to the upper boundary of the current block. In addition, the reference samples are samples of neighboring blocks of the current block, which are located on a line within a preset distance from the left border of the current block and/or are located on a line within a preset distance from the upper border of the current block. These may be samples that do. At this time, the surrounding blocks of the current block are the left (L) block, upper (A) block, Below Left (BL) block, Above Right (AR) block, or Above Left block adjacent to the current block. AL) may include at least one block.

인터 예측부(254)는 복호 픽쳐 버퍼(256)에 저장된 참조 픽쳐 및 인터 부호화 정보를 이용하여 예측 블록을 생성한다. 인터 부호화 정보는 참조 블록에 대한 현재 블록의 모션 정보 세트(참조 픽쳐 인덱스, 모션 벡터 정보 등)를 포함할 수 있다. 인터 예측에는 L0 예측, L1 예측 및 쌍예측(Bi-prediction)이 있을 수 있다. L0 예측은 L0 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측이고, L1 예측은 L1 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 최대 2개의 참조 영역을 이용할 수 있는데, 이 2개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 즉, 쌍예측 방식에서는 최대 2세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있는데, 2개의 모션 벡터가 동일한 참조 픽쳐 인덱스에 대응될 수도 있고 서로 다른 참조 픽쳐 인덱스에 대응될 수도 있다. 이때, 참조 픽쳐들은 현재 픽쳐를 기준으로 시간적으로 이전 또는 이후에 위치하는 픽쳐로서, 이미 복원된 완료된 픽쳐가 될 수 있다. 일 실시예에 따라, 쌍예측 방식에서는 사용되는 2개의 참조 영역은 L0 픽쳐 리스트 및 L1 픽쳐 리스트 각각에서 선택된 영역일 수 있다.The inter prediction unit 254 generates a prediction block using the reference picture and inter encoding information stored in the decoded picture buffer 256. Inter-encoding information may include a set of motion information (reference picture index, motion vector information, etc.) of the current block with respect to the reference block. Inter prediction may include L0 prediction, L1 prediction, and bi-prediction. L0 prediction refers to prediction using one reference picture included in the L0 picture list, and L1 prediction refers to prediction using one reference picture included in the L1 picture list. This may require one set of motion information (eg, motion vector and reference picture index). In the pair prediction method, a maximum of two reference regions can be used, and these two reference regions may exist in the same reference picture or in different pictures. That is, in the pair prediction method, up to two sets of motion information (e.g., a motion vector and a reference picture index) can be used, and the two motion vectors may correspond to the same reference picture index or may correspond to different reference picture indices. It may be possible to respond. At this time, the reference pictures are pictures located temporally before or after the current picture, and may be pictures that have already been reconstructed. According to one embodiment, the two reference regions used in the bi-prediction method may be regions selected from the L0 picture list and the L1 picture list, respectively.

인터 예측부(254)는 모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 블록의 참조 블록을 획득할 수 있다. 상기 참조 블록은 참조 픽쳐 인덱스에 대응하는 참조 픽쳐 내에 존재한다. 또한, 모션 벡터에 의해서 특정된 블록의 샘플 값 또는 이의 보간(interpolation)된 값이 현재 블록의 예측자(predictor)로 이용될 수 있다. 서브펠(sub-pel) 단위의 픽셀 정확도를 갖는 모션 예측을 위하여 이를 테면, 휘도 신호에 대하여 8-탭 보간 필터가, 색차 신호에 대하여 4-탭 보간 필터가 사용될 수 있다. 다만, 서브펠 단위의 모션 예측을 위한 보간 필터는 이에 한정되지 않는다. 이와 같이 인터 예측부(254)는 이전에 복원된 픽쳐로부터 현재 유닛의 텍스쳐를 예측하는 모션 보상(motion compensation)을 수행한다. 이때, 인터 예측부는 모션 정보 세트를 이용할 수 있다.The inter prediction unit 254 may obtain a reference block of the current block using a motion vector and a reference picture index. The reference block exists in a reference picture corresponding to a reference picture index. Additionally, the sample value of the block specified by the motion vector or its interpolated value may be used as a predictor of the current block. For motion prediction with sub-pel unit pixel accuracy, for example, an 8-tap interpolation filter can be used for the luminance signal and a 4-tap interpolation filter can be used for the chrominance signal. However, the interpolation filter for motion prediction in subpel units is not limited to this. In this way, the inter prediction unit 254 performs motion compensation to predict the texture of the current unit from the previously restored picture. At this time, the inter prediction unit can use a motion information set.

추가적인 실시예에 따라, 예측부(250)는 IBC 예측부(미도시)를 포함할 수 있다. IBC 예측부는 현재 픽쳐 내의 복원된 샘플들을 포함하는 특정 영역을 참조하여 현재 영역을 복원할 수 있다. IBC 예측부는 엔트로피 디코딩부(210)로부터 획득된 IBC 부호화 정보를 이용하여 IBC 예측을 수행할 수 있다. IBC 부호화 정보는 블록 벡터 정보를 포함할 수 있다.According to an additional embodiment, the prediction unit 250 may include an IBC prediction unit (not shown). The IBC prediction unit can reconstruct the current region by referring to a specific region containing reconstructed samples in the current picture. The IBC prediction unit may perform IBC prediction using the IBC encoding information obtained from the entropy decoding unit 210. IBC encoding information may include block vector information.

상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측값, 및 역변환부(225)로부터 출력된 레지듀얼 값이 더해져서 복원된 비디오 픽쳐가 생성된다. 즉, 비디오 신호 디코딩 장치(200)는 예측부(250)에서 생성된 예측 블록과 역변환부(225)로부터 획득된 레지듀얼을 이용하여 현재 블록을 복원한다.The predicted value output from the intra prediction unit 252 or the inter prediction unit 254 and the residual value output from the inverse transform unit 225 are added to generate a restored video picture. That is, the video signal decoding apparatus 200 restores the current block using the prediction block generated by the prediction unit 250 and the residual obtained from the inverse transform unit 225.

한편, 도 2의 블록도는 본 발명의 일 실시예에 따른 디코딩 장치(200)를 나타낸 것으로서, 분리하여 표시된 블록들은 디코딩 장치(200)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 디코딩 장치(200)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 디코딩 장치(200)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.Meanwhile, the block diagram of FIG. 2 shows a decoding device 200 according to an embodiment of the present invention, and the separately displayed blocks show elements of the decoding device 200 logically distinguished. Accordingly, the elements of the above-described decoding device 200 may be mounted as one chip or as a plurality of chips depending on the design of the device. According to one embodiment, the operation of each element of the above-described decoding device 200 may be performed by a processor (not shown).

한편, 본 명세서에서 제안된 기술은 인코더와 디코더의 방법 및 장치에 모두 적용 가능한 기술이며, 시그널링과 파싱으로 기술된 부분은 설명의 편의를 위해 기술한 것일 수 있다. 일반적으로 시그널링은 인코더 관점에서 각 신택스(syntax)를 부호화하기 위한 것이고, 파싱은 디코더 관점에서 각 신택스의 해석을 위한 것으로 설명될 수 있다. 즉, 각 신택스는 인코더로부터 비트스트림에 포함되어 시그널링될 수 있으며, 디코더에서는 신택스를 파싱하여 복원과정에서 사용할 수 있다. 이때, 규정된 계층적 구성대로 나열한 각 신택스에 대한 비트의 시퀀스를 비트스트림이라고 할 수 있다.Meanwhile, the technology proposed in this specification is applicable to both encoder and decoder methods and devices, and parts described as signaling and parsing may be described for convenience of explanation. In general, signaling can be described as encoding each syntax from an encoder's perspective, and parsing can be described as interpreting each syntax from a decoder's perspective. That is, each syntax can be signaled by being included in the bitstream from the encoder, and the decoder can parse the syntax and use it in the restoration process. At this time, the sequence of bits for each syntax arranged according to the prescribed hierarchical structure can be referred to as a bitstream.

하나의 픽쳐는 서브 픽쳐(sub-picture), 슬라이스(slice), 타일(tile) 등으로 분할되어 부호화될 수 있다. 서브 픽쳐는 하나 이상의 슬라이스 또는 타일을 포함할 수 있다. 하나의 픽쳐가 여러 개의 슬라이스 또는 타일로 분할되어 부호화되었을 경우, 픽쳐 내의 모든 슬라이스 또는 타일이 디코딩이 완료되어야만 화면에 출력이 가능하다. 반면에, 하나의 픽쳐가 여러 개의 서브 픽쳐로 부호화되었을 경우, 임의의 서브 픽쳐만 디코딩되어 화면에 출력될 수 있다. 슬라이스는 여러 개의 타일 또는 서브 픽쳐를 포함할 수 있다. 또는 타일은 여러 개의 서브 픽쳐 또는 슬라이스를 포함할 수 있다. 서브 픽쳐, 슬라이스, 타일은 서로 독립적으로 인코딩 또는 디코딩이 가능하므로 병렬처리 및 처리 속도 향상에 효과적이다. 하지만, 인접한 다른 서브 픽쳐, 다른 슬라이스, 다른 타일의 부호화된 정보를 이용할 수 없으므로 비트량이 증가되는 단점이 있다. 서브 픽쳐, 슬라이스, 타일은 여러 개의 코딩 트리 유닛(Coding Tree Unit, CTU)으로 분할되어 부호화될 수 있다.One picture may be divided into sub-pictures, slices, tiles, etc. and encoded. A subpicture may include one or more slices or tiles. When one picture is divided into multiple slices or tiles and encoded, it can be displayed on the screen only when all slices or tiles in the picture have been decoded. On the other hand, when one picture is encoded with several subpictures, only arbitrary subpictures can be decoded and displayed on the screen. A slice may contain multiple tiles or subpictures. Alternatively, a tile may include multiple subpictures or slices. Subpictures, slices, and tiles can be encoded or decoded independently of each other, which is effective in improving parallel processing and processing speed. However, there is a disadvantage in that the bit amount increases because encoded information of other adjacent subpictures, other slices, and other tiles cannot be used. Subpictures, slices, and tiles can be divided into multiple Coding Tree Units (CTUs) and encoded.

도 3은 픽쳐 내에서 코딩 트리 유닛(Coding Tree Unit, CTU)이 코딩 유닛들(Coding Units, CUs)로 분할되는 실시예를 도시한다. 비디오 신호의 코딩 과정에서, 픽쳐는 코딩 트리 유닛(CTU)들의 시퀀스로 분할될 수 있다. 코딩 트리 유닛은 휘도(luma) 코딩 트리 블록(Coding Tree Block, CTB)와 2개의 색차(chroma) 코딩 트리 블록들, 그리고 그것의 부호화된 신택스(syntax) 정보로 구성될 수 있다. 하나의 코딩 트리 유닛은 하나의 코딩 유닛으로 구성될 수 있으며, 또는 하나의 코딩 트리 유닛은 여러 개의 코딩 유닛으로 분할될 수 있다. 하나의 코딩 유닛은 휘도 코딩 블록(Coding Block, CB)과 2개의 색차 코딩 블록들, 그리고 그것의 부호화된 신택스 정보로 구성될 수 있다. 하나의 코딩 블록은 여러 개의 서브 코딩 블록으로 분할될 수 있다. 하나의 코딩 유닛은 하나의 변환 유닛(Transform Unit, TU)으로 구성될 수 있으며, 또는 하나의 코딩 유닛은 여러 개의 변환 유닛으로 분할될 수 있다. 하나의 변환 유닛은 휘도 변환 블록(Transform Block, TB)과 2개의 색차 변환 블록들, 그리고 그것의 부호화된 신택스 정보로 구성될 수 있다. 코딩 트리 유닛은 복수의 코딩 유닛들로 분할될 수 있다. 코딩 트리 유닛은 분할되지 않고 리프 노드가 될 수도 있다. 이 경우, 코딩 트리 유닛 자체가 코딩 유닛이 될 수 있다. Figure 3 shows an embodiment in which a Coding Tree Unit (CTU) is divided into Coding Units (CUs) within a picture. In the process of coding a video signal, a picture can be divided into a sequence of coding tree units (CTUs). A coding tree unit may be composed of a luma coding tree block (CTB), two chroma coding tree blocks, and its encoded syntax information. One coding tree unit may consist of one coding unit, or one coding tree unit may be divided into multiple coding units. One coding unit may be composed of a luminance coding block (CB), two chrominance coding blocks, and its encoded syntax information. One coding block can be divided into several sub-coding blocks. One coding unit may consist of one transform unit (TU), or one coding unit may be divided into several transform units. One transformation unit may be composed of a luminance transformation block (Transform Block, TB), two chrominance transformation blocks, and its encoded syntax information. A coding tree unit may be divided into a plurality of coding units. A coding tree unit may be a leaf node without being split. In this case, the coding tree unit itself may be a coding unit.

코딩 유닛은 상기에서 설명한 비디오 신호의 처리 과정, 즉 인트라/인터 예측, 변환, 양자화 및/또는 엔트로피 코딩 등의 과정에서 픽쳐를 처리하기 위한 기본 단위를 가리킨다. 하나의 픽쳐 내에서 코딩 유닛의 크기 및 모양은 일정하지 않을 수 있다. 코딩 유닛은 정사각형 또는 직사각형의 모양을 가질 수 있다. 직사각형 코딩 유닛(또는, 직사각형 블록)은 수직 코딩 유닛(또는, 수직 블록)과 수평 코딩 유닛(또는, 수평 블록)을 포함한다. 본 명세서에서, 수직 블록은 높이가 너비보다 큰 블록이며, 수평 블록은 너비가 높이보다 큰 블록이다. 또한, 본 명세서에서 정사각형이 아닌(non-square) 블록은 직사각형 블록을 가리킬 수 있지만, 본 발명은 이에 한정되지 않는다.A coding unit refers to a basic unit for processing a picture in the video signal processing process described above, that is, intra/inter prediction, transformation, quantization, and/or entropy coding. The size and shape of a coding unit within one picture may not be constant. The coding unit may have a square or rectangular shape. A rectangular coding unit (or rectangular block) includes a vertical coding unit (or vertical block) and a horizontal coding unit (or horizontal block). In this specification, a vertical block is a block whose height is greater than its width, and a horizontal block is a block whose width is greater than its height. Additionally, in this specification, a non-square block may refer to a rectangular block, but the present invention is not limited thereto.

도 3을 참조하면, 코딩 트리 유닛은 먼저 쿼드 트리(Quad Tree, QT) 구조로 분할된다. 즉, 쿼드 트리 구조에서 2NX2N 크기를 가지는 하나의 노드는 NXN 크기를 가지는 네 개의 노드들로 분할될 수 있다. 본 명세서에서 쿼드 트리는 4진(quaternary) 트리로도 지칭될 수 있다. 쿼드 트리 분할은 재귀적으로 수행될 수 있으며, 모든 노드들이 동일한 깊이로 분할될 필요는 없다.Referring to Figure 3, the coding tree unit is first divided into a quad tree (Quad Tree, QT) structure. That is, in a quad tree structure, one node with a size of 2NX2N can be divided into four nodes with a size of NXN. In this specification, a quad tree may also be referred to as a quaternary tree. Quad-tree partitioning can be performed recursively, and not all nodes need to be partitioned to the same depth.

한편, 전술한 쿼드 트리의 리프 노드(leaf node)는 멀티-타입 트리(Multi-Type Tree, MTT) 구조로 더욱 분할될 수 있다. 본 발명의 실시예에 따르면, 멀티 타입 트리 구조에서는 하나의 노드가 수평 또는 수직 분할의 2진(binary, 바이너리) 또는 3진(ternary, 터너리) 트리 구조로 분할될 수 있다. 즉, 멀티-타입 트리 구조에는 수직 바이너리 분할, 수평 바이너리 분할, 수직 터너리 분할 및 수평 터너리 분할의 4가지 분할 구조가 존재한다. 본 발명의 실시예에 따르면, 상기 각 트리 구조에서 노드의 너비 및 높이는 모두 2의 거듭제곱 값을 가질 수 있다. 예를 들어, 바이너리 트리(Binary Tree, BT) 구조에서, 2NX2N 크기의 노드는 수직 바이너리 분할에 의해 2개의 NX2N 노드들로 분할되고, 수평 바이너리 분할에 의해 2개의 2NXN 노드들로 분할될 수 있다. 또한, 터너리 트리(Ternary Tree, TT) 구조에서, 2NX2N 크기의 노드는 수직 터너리 분할에 의해 (N/2)X2N, NX2N 및 (N/2)X2N의 노드들로 분할되고, 수평 터너리 분할에 의해 2NX(N/2), 2NXN 및 2NX(N/2)의 노드들로 분할될 수 있다. 이러한 멀티-타입 트리 분할은 재귀적으로 수행될 수 있다.Meanwhile, the leaf nodes of the aforementioned quad tree can be further divided into a multi-type tree (MTT) structure. According to an embodiment of the present invention, in a multi-type tree structure, one node may be divided into a binary or ternary tree structure with horizontal or vertical division. That is, there are four division structures in the multi-type tree structure: vertical binary division, horizontal binary division, vertical ternary division, and horizontal ternary division. According to an embodiment of the present invention, the width and height of the nodes in each tree structure may both have values that are powers of 2. For example, in a Binary Tree (BT) structure, a node of size 2NX2N may be divided into two NX2N nodes by vertical binary division and into two 2NXN nodes by horizontal binary division. Additionally, in the Ternary Tree (TT) structure, a node of size 2NX2N is divided into nodes of (N/2)X2N, NX2N and (N/2)X2N by vertical ternary division, and horizontal ternary division By division, it can be divided into nodes of 2NX(N/2), 2NXN, and 2NX(N/2). This multi-type tree partitioning can be performed recursively.

멀티-타입 트리의 리프 노드는 코딩 유닛이 될 수 있다. 코딩 유닛이 최대 변환 길이에 비해 크지 않은 경우, 해당 코딩 유닛은 더 이상의 분할 없이 예측 및/또는 변환의 단위로 사용될 수 있다. 일 실시예로서, 현재 코딩 유닛의 너비 또는 높이가 최대 변환 길이보다 큰 경우, 현재 코딩 유닛은 분할에 관한 명시적 시그널링 없이 복수의 변환 유닛으로 분할될 수 있다. 한편, 전술한 쿼드 트리 및 멀티-타입 트리에서 다음의 파라메터들 중 적어도 하나가 사전에 정의되거나 PPS, SPS, VPS 등과 같은 상위 레벨 세트의 RBSP를 통해 전송될 수 있다. 1) CTU 크기: 쿼드 트리의 루트 노드(root node) 크기, 2) 최소 QT 크기(MinQtSize): 허용된 최소 QT 리프 노드 크기, 3) 최대 BT 크기(MaxBtSize): 허용된 최대 BT 루트 노드 크기, 4) 최대 TT 크기(MaxTtSize): 허용된 최대 TT 루트 노드 크기, 5) 최대 MTT 깊이(MaxMttDepth): QT의 리프 노드로부터의 MTT 분할의 최대 허용 깊이, 6) 최소 BT 크기(MinBtSize): 허용된 최소 BT 리프 노드 크기, 7) 최소 TT 크기(MinTtSize): 허용된 최소 TT 리프 노드 크기.Leaf nodes of a multi-type tree can be coding units. If the coding unit is not larger than the maximum transformation length, the coding unit can be used as a unit of prediction and/or transformation without further division. As an example, if the width or height of the current coding unit is greater than the maximum transform length, the current coding unit may be split into a plurality of transform units without explicit signaling regarding splitting. Meanwhile, in the above-described quad tree and multi-type tree, at least one of the following parameters may be defined in advance or transmitted through an RBSP of a higher level set such as PPS, SPS, VPS, etc. 1) CTU size: the root node size of the quad tree, 2) minimum QT size (MinQtSize): minimum allowed QT leaf node size, 3) maximum BT size (MaxBtSize): maximum allowed BT root node size, 4) Maximum TT Size (MaxTtSize): Maximum TT root node size allowed, 5) Maximum MTT Depth (MaxMttDepth): Maximum allowed depth of MTT split from leaf nodes of QT, 6) Minimum BT Size (MinBtSize): Allowed Minimum BT leaf node size, 7) Minimum TT size (MinTtSize): Minimum TT leaf node size allowed.

도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다. 전술한 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하기 위해 기 설정된 플래그들이 사용될 수 있다. 도 4를 참조하면, 노드의 분할 여부를 지시하는 플래그 'split_cu_flag', 쿼드 트리 노드의 분할 여부를 지시하는 플래그 'split_qt_flag', 멀티-타입 트리 노드의 분할 방향을 지시하는 플래그 'mtt_split_cu_vertical_flag' 또는 멀티-타입 트리 노드의 분할 모양을 지시하는 플래그 'mtt_split_cu_binary_flag' 중 적어도 하나가 사용될 수 있다.Figure 4 shows one embodiment of a method for signaling splitting of quad trees and multi-type trees. Preset flags can be used to signal division of the above-described quad tree and multi-type tree. Referring to Figure 4, a flag 'split_cu_flag' indicating whether to split a node, a flag 'split_qt_flag' indicating whether to split a quad tree node, a flag 'mtt_split_cu_vertical_flag' indicating the splitting direction of a multi-type tree node, or a multi-type tree node. At least one of the flags 'mtt_split_cu_binary_flag' that indicates the split shape of the type tree node can be used.

본 발명의 실시예에 따르면, 현재 노드의 분할 여부를 지시하는 플래그인 'split_cu_flag'가 먼저 시그널링될 수 있다. 'split_cu_flag'의 값이 0인 경우, 현재 노드가 분할되지 않는 것을 나타내며, 현재 노드는 코딩 유닛이 된다. 현재 노드가 코팅 트리 유닛인 경우, 코딩 트리 유닛은 분할되지 않은 하나의 코딩 유닛을 포함한다. 현재 노드가 쿼드 트리 노드 'QT node'인 경우, 현재 노드는 쿼드 트리의 리프 노드 'QT leaf node'이며 코딩 유닛이 된다. 현재 노드가 멀티-타입 트리 노드 'MTT node'인 경우, 현재 노드는 멀티-타입 트리의 리프 노드 'MTT leaf node'이며 코딩 유닛이 된다.According to an embodiment of the present invention, 'split_cu_flag', a flag indicating whether to split the current node, may be signaled first. If the value of 'split_cu_flag' is 0, it indicates that the current node is not split, and the current node becomes a coding unit. If the current node is a coating tree unit, the coding tree unit includes one undivided coding unit. If the current node is a quad tree node 'QT node', the current node is a leaf node 'QT leaf node' of the quad tree and becomes a coding unit. If the current node is a multi-type tree node 'MTT node', the current node is a leaf node 'MTT leaf node' of the multi-type tree and becomes a coding unit.

'split_cu_flag'의 값이 1인 경우, 현재 노드는 'split_qt_flag'의 값에 따라 쿼드 트리 또는 멀티-타입 트리의 노드들로 분할될 수 있다. 코딩 트리 유닛은 쿼드 트리의 루트 노드이며, 쿼드 트리 구조로 우선 분할될 수 있다. 쿼드 트리 구조에서는 각각의 노드 'QT node' 별로 'split_qt_flag'가 시그널링된다. 'split_qt_flag'의 값이 1인 경우 해당 노드는 4개의 정사각형 노드들로 분할되며, 'split_qt_flag'의 값이 0인 경우 해당 노드는 쿼드 트리의 리프 노드 'QT leaf node'가 되며, 해당 노드는 멀티-타입 노드들로 분할된다. 본 발명의 실시예에 따르면, 현재 노드의 종류에 따라서 쿼드 트리 분할은 제한될 수 있다. 현재 노드가 코딩 트리 유닛(쿼트 트리의 루트 노드) 또는 쿼트 트리 노드인 경우에 쿼드 트리 분할이 허용될 수 있으며, 현재 노드가 멀티-타입 트리 노드인 경우 쿼트 트리 분할은 허용되지 않을 수 있다. 각각의 쿼드 트리 리프 노드 'QT leaf node'는 멀티-타입 트리 구조로 더 분할될 수 있다. 상술한 바와 같이, 'split_qt_flag'가 0인 경우 현재 노드는 멀티-타입 노드들로 분할될 수 있다. 분할 방향 및 분할 모양을 지시하기 위하여, 'mtt_split_cu_vertical_flag' 및 'mtt_split_cu_binary_flag'가 시그널링될 수 있다. 'mtt_split_cu_vertical_flag'의 값이 1인 경우 노드 'MTT node'의 수직 분할이 지시되며, 'mtt_split_cu_vertical_flag'의 값이 0인 경우 노드 'MTT node'의 수평 분할이 지시된다. 또한, 'mtt_split_cu_binary_flag'의 값이 1인 경우 노드 'MTT node'는 2개의 직사각형 노드들로 분할되며, 'mtt_split_cu_binary_flag'의 값이 0인 경우 노드 'MTT node'는 3개의 직사각형 노드들로 분할된다.If the value of 'split_cu_flag' is 1, the current node can be divided into nodes of a quad tree or multi-type tree according to the value of 'split_qt_flag'. The coding tree unit is the root node of the quad tree and can be first divided into a quad tree structure. In the quad tree structure, 'split_qt_flag' is signaled for each node 'QT node'. If the value of 'split_qt_flag' is 1, the node is split into 4 square nodes. If the value of 'split_qt_flag' is 0, the node becomes a leaf node 'QT leaf node' of the quad tree, and the node becomes a multi-square node. -Divided into type nodes. According to an embodiment of the present invention, quad tree division may be limited depending on the type of the current node. Quad tree splitting may be allowed if the current node is a coding tree unit (root node of the quot tree) or a quot tree node, and quot tree splitting may not be allowed if the current node is a multi-type tree node. Each quad tree leaf node 'QT leaf node' can be further divided into a multi-type tree structure. As described above, if 'split_qt_flag' is 0, the current node can be split into multi-type nodes. To indicate the split direction and split shape, 'mtt_split_cu_vertical_flag' and 'mtt_split_cu_binary_flag' may be signaled. If the value of 'mtt_split_cu_vertical_flag' is 1, vertical splitting of the node 'MTT node' is indicated, and if the value of 'mtt_split_cu_vertical_flag' is 0, horizontal splitting of the node 'MTT node' is indicated. Additionally, if the value of 'mtt_split_cu_binary_flag' is 1, the node 'MTT node' is divided into two rectangular nodes, and if the value of 'mtt_split_cu_binary_flag' is 0, the node 'MTT node' is divided into three rectangular nodes.

트리 분할 구조는 휘도 블록과 색차 블록이 동일한 형태로 분할될 수 있다. 즉, 색차 블록은 휘도 블록의 분할 형태를 참조하여 색차 블록을 분할할 수 있다. 현재 색차 블록이 임의의 정해진 크기보다 적다면, 휘도 블록이 분할되었더라도 색차 블록은 분할되지 않을 수 있다.In the tree division structure, the luminance block and the chrominance block can be divided into the same form. That is, the chrominance block can be divided by referring to the division type of the luminance block. If the current chrominance block is smaller than a certain size, the chrominance block may not be divided even if the luminance block is divided.

트리 분할 구조는 휘도 블록과 색차 블록이 서로 다른 형태를 가질 수 있다. 이때, 휘도 블록에 대한 분할 정보와 색차 블록에 대한 분할 정보가 각각 시그널링될 수 있다. 또한, 분할 정보 뿐만 아니라 휘도 블록과 색차 블록의 부호화 정보도 다를 수 있다. 실시 일 예로, 휘도 블록과 색차 블록의 인트라 부호화 모드, 움직임 정보에 대한 부호화 정보 등이 적어도 하나 이상 다를 수 있다.In the tree division structure, the luminance block and the chrominance block may have different forms. At this time, division information for the luminance block and division information for the chrominance block may be signaled, respectively. Additionally, not only the division information but also the encoding information of the luminance block and the chrominance block may be different. As an example of an embodiment, at least one intra coding mode of a luminance block and a chrominance block, encoding information for motion information, etc. may be different.

가장 작은 단위로 분할될 노드는 하나의 코딩 블록으로 처리될 수 있다. 현재 블록이 코딩 블록일 경우, 코딩 블록은 여러 개의 서브 블록(서브 코딩 블록)으로 분할될 수 있으며, 각 서브 블록의 예측 정보는 서로 같거나 또는 다를 수 있다. 실시 일 예로, 코딩 유닛이 인트라 모드일 경우, 각 서브 블록의 인트라 예측 모드는 서로 같거나 또는 다를 수 있다. 또한, 코딩 유닛이 인터 모드일 경우, 각 서브 블록의 움직임 정보는 서로 같거나 또는 다를 수 있다. 또한, 각 서브 블록은 서로 독립적으로 인코딩 또는 디코딩이 가능할 수 있다. 각각의 서브 블록은 서브 블록 인덱스(sub-block index, sbIdx)를 통해 구분될 수 있다. 또한 코딩 유닛이 서브 블록으로 분할될 때, 수평 또는 수직 방향으로 분할되거나 사선으로 분할될 수 있다. 인트라 모드에서 현재 코딩 유닛을 수평 또는 수직 방향으로 2개 또는 4개의 서브 블록으로 분할하는 모드를 ISP(Intra Sub Partitions)이라 한다. 인터 모드에서 현재 코딩 블록을 사선으로 분할하는 모드를 GPM(geometric partitioning mode)이라 한다. GPM모드에서 사선의 위치와 방향은 미리 정해진 각도 테이블을 사용하여 유도하고, 각도 테이블의 인덱스 정보가 시그널링된다.A node to be divided into the smallest unit can be processed as one coding block. When the current block is a coding block, the coding block may be divided into several sub-blocks (sub-coding blocks), and the prediction information of each sub-block may be the same or different. As an example embodiment, when the coding unit is an intra mode, the intra prediction mode of each subblock may be the same or different from each other. Additionally, when the coding unit is in inter mode, the motion information of each sub-block may be the same or different. Additionally, each sub-block may be encoded or decoded independently from each other. Each sub-block can be distinguished through a sub-block index (sbIdx). Additionally, when a coding unit is divided into sub-blocks, it may be divided horizontally or vertically or diagonally. In intra mode, the mode in which the current coding unit is divided into 2 or 4 sub-blocks horizontally or vertically is called ISP (Intra Sub Partitions). In inter mode, the mode in which the current coding block is divided diagonally is called GPM (geometric partitioning mode). In GPM mode, the position and direction of the diagonal line are derived using a predetermined angle table, and the index information of the angle table is signaled.

코딩을 위한 픽쳐 예측(모션 보상)은 더 이상 나누어지지 않는 코딩 유닛(즉 코딩 트리 유닛의 리프 노드)을 대상으로 이루어진다. 이러한 예측을 수행하는 기본 단위를 이하에서는 예측 유닛(prediction unit) 또는 예측 블록(prediction block)이라고 한다.Picture prediction (motion compensation) for coding is performed on coding units that are no longer divided (i.e., leaf nodes of coding tree units). The basic unit that performs such prediction is hereinafter referred to as a prediction unit or prediction block.

이하, 본 명세서에서 사용되는 유닛이라는 용어는 예측을 수행하는 기본 단위인 상기 예측 유닛을 대체하는 용어로 사용될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 더욱 광의적으로는 상기 코딩 유닛을 포함하는 개념으로 이해될 수 있다.Hereinafter, the term unit used in this specification may be used as a replacement for the prediction unit, which is a basic unit for performing prediction. However, the present invention is not limited to this, and can be understood more broadly as a concept including the coding unit.

도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다. 전술한 바와 같이, 인트라 예측부는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다.Figures 5 and 6 show the intra prediction method according to an embodiment of the present invention in more detail. As described above, the intra prediction unit predicts sample values of the current block using reconstructed samples located to the left and/or above the current block as reference samples.

먼저, 도 5는 인트라 예측 모드에서 현재 블록의 예측을 위해 사용되는 참조 샘플들의 일 실시예를 도시한다. 일 실시예에 따르면, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 도 5에 도시된 바와 같이, 현재 블록의 크기가 WXH이고 현재 블록에 인접한 단일 참조 라인(line)의 샘플들이 인트라 예측에 사용될 경우, 현재 블록의 좌측 및/또는 상측에 위치한 최대 2W+2H+1개의 주변 샘플들을 사용하여 참조 샘플들이 설정될 수 있다.First, Figure 5 shows an example of reference samples used for prediction of the current block in intra prediction mode. According to one embodiment, the reference samples may be samples adjacent to the left boundary and/or samples adjacent to the upper boundary of the current block. As shown in Figure 5, when the size of the current block is WXH and samples of a single reference line adjacent to the current block are used for intra prediction, a maximum of 2W+2H+1 located to the left and/or above the current block Reference samples can be set using the surrounding samples.

한편, 현재 블록의 인트라 예측을 위해 다중 참조 라인의 픽셀들이 사용될 수 있다. 다중 참조 라인은 현재 블록으로부터 기 설정된 범위 이내에 위치한 n개의 라인들로 구성될 수 있다. 일 실시예에 따르면, 인트라 예측을 위해 다중 참조 라인의 픽셀들이 사용될 경우, 참조 픽셀들로 설정될 라인들을 지시하는 별도의 인덱스 정보가 시그널링될 수 있으며, 이를 참조 라인 인덱스라고 명명할 수 있다.Meanwhile, pixels of multiple reference lines may be used for intra prediction of the current block. Multiple reference lines may be composed of n lines located within a preset range from the current block. According to one embodiment, when pixels of multiple reference lines are used for intra prediction, separate index information indicating lines to be set as reference pixels may be signaled, and may be called a reference line index.

또한, 참조 샘플로 사용될 적어도 일부의 샘플이 아직 복원되지 않은 경우, 인트라 예측부는 참조 샘플 패딩 과정을 수행하여 참조 샘플을 획득할 수 있다. 또한, 인트라 예측부는 인트라 예측의 오차를 줄이기 위해 참조 샘플 필터링 과정을 수행할 수 있다. 즉, 주변 샘플들 및/또는 참조 샘플 패딩 과정에 의해 획득된 참조 샘플들에 필터링을 수행하여 필터링된 참조 샘플들을 획득할 수 있다. 인트라 예측부는 이와 같이 획득된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 인트라 예측부는 필터링되지 않은 참조 샘플들 또는 필터링된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 본 개시에서, 주변 샘플들은 적어도 하나의 참조 라인 상의 샘플들을 포함할 수 있다. 예를 들어, 주변 샘플들은 현재 블록의 경계에 인접한 라인 상의 인접 샘플들을 포함할 수 있다.Additionally, when at least some samples to be used as reference samples have not yet been reconstructed, the intra prediction unit may obtain reference samples by performing a reference sample padding process. Additionally, the intra prediction unit may perform a reference sample filtering process to reduce the error of intra prediction. That is, filtered reference samples can be obtained by performing filtering on surrounding samples and/or reference samples obtained through a reference sample padding process. The intra prediction unit predicts samples of the current block using the reference samples obtained in this way. The intra prediction unit predicts samples of the current block using unfiltered or filtered reference samples. In this disclosure, peripheral samples may include samples on at least one reference line. For example, neighboring samples may include adjacent samples on a line adjacent to the boundary of the current block.

다음으로, 도 6은 인트라 예측에 사용되는 예측 모드들의 일 실시예를 도시한다. 인트라 예측을 위해, 인트라 예측 방향을 지시하는 인트라 예측 모드 정보가 시그널링될 수 있다. 인트라 예측 모드 정보는 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 어느 하나를 지시한다. 현재 블록이 인트라 예측 블록일 경우, 디코더는 비트스트림으로부터 현재 블록의 인트라 예측 모드 정보를 수신한다. 디코더의 인트라 예측부는 추출된 인트라 예측 모드 정보에 기초하여 현재 블록에 대한 인트라 예측을 수행한다.Next, Figure 6 shows an example of prediction modes used for intra prediction. For intra prediction, intra prediction mode information indicating the intra prediction direction may be signaled. Intra prediction mode information indicates one of a plurality of intra prediction modes constituting an intra prediction mode set. If the current block is an intra prediction block, the decoder receives intra prediction mode information of the current block from the bitstream. The intra prediction unit of the decoder performs intra prediction on the current block based on the extracted intra prediction mode information.

본 발명의 실시예에 따르면, 인트라 예측 모드 세트는 인트라 예측에 사용되는 모든 인트라 예측 모드들(예, 총 67개의 인트라 예측 모드들)을 포함할 수 있다. 더욱 구체적으로, 인트라 예측 모드 세트는 평면 모드, DC 모드 및 복수의(예, 65개의) 각도 모드들(즉, 방향 모드들)을 포함할 수 있다. 각각의 인트라 예측 모드는 기 설정된 인덱스(즉, 인트라 예측 모드 인덱스)를 통해 지시될 수 있다. 예를 들어, 도 6에 도시된 바와 같이 인트라 예측 모드 인덱스 0은 평면(planar) 모드를 지시하고, 인트라 예측 모드 인덱스 1은 DC 모드를 지시한다. 또한, 인트라 예측 모드 인덱스 2 내지 66은 서로 다른 각도 모드들을 각각 지시할 수 있다. 각도 모드들은 기 설정된 각도 범위 이내의 서로 다른 각도들을 각각 지시한다. 예를 들어, 각도 모드는 시계 방향으로 45도에서 -135도 사이의 각도 범위(즉, 제1 각도 범위) 이내의 각도를 지시할 수 있다. 상기 각도 모드는 12시 방향을 기준으로 정의될 수 있다. 이때, 인트라 예측 모드 인덱스 2는 수평 대각(Horizontal Diagonal, HDIA) 모드를 지시하고, 인트라 예측 모드 인덱스 18은 수평(Horizontal, HOR) 모드를 지시하고, 인트라 예측 모드 인덱스 34는 대각(Diagonal, DIA) 모드를 지시하고, 인트라 예측 모드 인덱스 50은 수직(Vertical, VER) 모드를 지시하며, 인트라 예측 모드 인덱스 66은 수직 대각(Vertical Diagonal, VDIA) 모드를 지시한다.According to an embodiment of the present invention, the intra prediction mode set may include all intra prediction modes used for intra prediction (eg, a total of 67 intra prediction modes). More specifically, the intra prediction mode set may include a planar mode, a DC mode, and multiple (e.g., 65) angular modes (i.e., directional modes). Each intra prediction mode may be indicated through a preset index (i.e., intra prediction mode index). For example, as shown in FIG. 6, intra prediction mode index 0 indicates planar mode, and intra prediction mode index 1 indicates DC mode. Additionally, intra prediction mode indices 2 to 66 may respectively indicate different angle modes. The angle modes each indicate different angles within a preset angle range. For example, the angle mode may indicate an angle within an angle range between 45 degrees and -135 degrees clockwise (i.e., a first angle range). The angle mode can be defined based on the 12 o'clock direction. At this time, intra prediction mode index 2 indicates horizontal diagonal (HDIA) mode, intra prediction mode index 18 indicates horizontal (HORizontal, HOR) mode, and intra prediction mode index 34 indicates diagonal (DIA) mode. The mode is indicated, and intra prediction mode index 50 indicates vertical (VER) mode, and intra prediction mode index 66 indicates vertical diagonal (VDIA) mode.

한편, 기 설정된 각도 범위는 현재 블록의 모양에 따라 서로 다르게 설정될 수 있다. 예를 들어, 현재 블록이 직사각형 블록일 경우 시계 방향으로 45도를 초과하거나 -135도 미만 각도를 지시하는 광각 모드가 추가적으로 사용될 수 있다. 현재 블록이 수평 블록일 경우, 각도 모드는 시계 방향으로 (45+offset1)도에서 (-135+offset1)도 사이의 각도 범위(즉, 제2 각도 범위) 이내의 각도를 지시할 수 있다. 이때, 제1 각도 범위를 벗어나는 각도 모드 67 내지 76이 추가적으로 사용될 수 있다. 또한, 현재 블록이 수직 블록일 경우, 각도 모드는 시계 방향으로 (45-offset2)도에서 (-135-offset2)도 사이의 각도 범위(즉, 제3 각도 범위) 이내의 각도를 지시할 수 있다. 이때, 제1 각도 범위를 벗어나는 각도 모드 -10 내지 -1이 추가적으로 사용될 수 있다. 본 발명의 실시예에 따르면, offset1 및 offset2의 값은 직사각형 블록의 너비와 높이 간의 비율에 따라 서로 다르게 결정될 수 있다. 또한, offset1 및 offset2는 양수일 수 있다.Meanwhile, the preset angle range may be set differently depending on the shape of the current block. For example, if the current block is a rectangular block, a wide-angle mode indicating an angle exceeding 45 degrees or less than -135 degrees clockwise may be additionally used. If the current block is a horizontal block, the angle mode may indicate an angle within an angle range (i.e., a second angle range) between (45+offset1) degrees and (-135+offset1) degrees in a clockwise direction. At this time, angle modes 67 to 76 outside the first angle range may be additionally used. Additionally, if the current block is a vertical block, the angle mode may indicate an angle within an angle range between (45-offset2) degrees and (-135-offset2) degrees clockwise (i.e., a third angle range). . At this time, angle modes -10 to -1 outside the first angle range may be additionally used. According to an embodiment of the present invention, the values of offset1 and offset2 may be determined differently depending on the ratio between the width and height of the rectangular block. Additionally, offset1 and offset2 can be positive numbers.

본 발명의 추가적인 실시예에 따르면, 인트라 예측 모드 세트를 구성하는 복수의 각도 모드들은 기본 각도 모드와 확장 각도 모드를 포함할 수 있다. 이때, 확장 각도 모드는 기본 각도 모드에 기초하여 결정될 수 있다.According to a further embodiment of the present invention, the plurality of angle modes constituting the intra prediction mode set may include a basic angle mode and an extended angle mode. At this time, the extended angle mode may be determined based on the basic angle mode.

일 실시예에 따르면, 기본 각도 모드는 기존 HEVC(High Efficiency Video Coding) 표준의 인트라 예측에서 사용되는 각도에 대응하는 모드이고, 확장 각도 모드는 차세대 비디오 코덱 표준의 인트라 예측에서 새롭게 추가되는 각도에 대응하는 모드일 수 있다. 더욱 구체적으로, 기본 각도 모드는 인트라 예측 모드 {2, 4, 6, …, 66} 중 어느 하나에 대응하는 각도 모드이고, 확장 각도 모드는 인트라 예측 모드 {3, 5, 7, …, 65} 중 어느 하나에 대응하는 각도 모드일 수 있다. 즉, 확장 각도 모드는 제1 각도 범위 내에서 기본 각도 모드들 사이의 각도 모드일 수 있다. 따라서, 확장 각도 모드가 지시하는 각도는 기본 각도 모드가 지시하는 각도에 기초하여 결정될 수 있다.According to one embodiment, the basic angle mode corresponds to the angle used in intra prediction of the existing HEVC (High Efficiency Video Coding) standard, and the extended angle mode corresponds to the angle newly added in intra prediction of the next-generation video codec standard. It may be a mode that does this. More specifically, the default angle mode is the intra prediction mode {2, 4, 6,... , 66}, and the extended angle mode is the intra prediction mode {3, 5, 7,... , 65} may be an angle mode corresponding to one of the following. That is, the extended angle mode may be an angle mode between basic angle modes within the first angle range. Accordingly, the angle indicated by the extended angle mode can be determined based on the angle indicated by the basic angle mode.

다른 실시예에 따르면, 기본 각도 모드는 기 설정된 제1 각도 범위 이내의 각도에 대응하는 모드이고, 확장 각도 모드는 상기 제1 각도 범위를 벗어나는 광각 모드일 수 있다. 즉, 기본 각도 모드는 인트라 예측 모드 {2, 3, 4, …, 66} 중 어느 하나에 대응하는 각도 모드이고, 확장 각도 모드는 인트라 예측 모드 {-14, -13, -12, …, -1} 및 {67, 68, …, 80} 중 어느 하나에 대응하는 각도 모드일 수 있다. 확장 각도 모드가 지시하는 각도는 대응하는 기본 각도 모드가 지시하는 각도의 반대편 각도로 결정될 수 있다. 따라서, 확장 각도 모드가 지시하는 각도는 기본 각도 모드가 지시하는 각도에 기초하여 결정될 수 있다. 한편, 확장 각도 모드들의 개수는 이에 한정되지 않으며, 현재 블록의 크기 및/또는 모양에 따라 추가적인 확장 각도들이 정의될 수 있다. 한편, 인트라 예측 모드 세트에 포함되는 인트라 예측 모드들의 총 개수는 전술한 기본 각도 모드와 확장 각도 모드의 구성에 따라 가변할 수 있다.According to another embodiment, the basic angle mode may be a mode corresponding to an angle within a preset first angle range, and the extended angle mode may be a wide angle mode outside the first angle range. That is, the default angle mode is the intra prediction mode {2, 3, 4, … , 66}, and the extended angle mode is the intra prediction mode {-14, -13, -12,... , -1} and {67, 68, … , 80} may be an angle mode corresponding to one of the following. The angle indicated by the extended angle mode may be determined as the angle opposite to the angle indicated by the corresponding basic angle mode. Accordingly, the angle indicated by the extended angle mode can be determined based on the angle indicated by the basic angle mode. Meanwhile, the number of expansion angle modes is not limited to this, and additional expansion angles may be defined depending on the size and/or shape of the current block. Meanwhile, the total number of intra prediction modes included in the intra prediction mode set may vary depending on the configuration of the basic angle mode and extended angle mode described above.

상기 실시예에서, 확장 각도 모드들 간의 간격은 대응하는 기본 각도 모드들 간의 간격에 기초하여 설정될 수 있다. 예를 들어, 확장 각도 모드들 {3, 5, 7, …, 65} 간의 간격은 대응하는 기본 각도 모드들 {2, 4, 6, …, 66} 간의 간격에 기초하여 결정될 수 있다. 또한, 확장 각도 모드들 {-14, -13, …, -1} 간의 간격은 대응하는 반대편의 기본 각도 모드들 {53, 53, …, 66} 간의 간격에 기초하여 결정되고, 확장 각도 모드들 {67, 68, …, 80} 간의 간격은 대응하는 반대편의 기본 각도 모드들 {2, 3, 4, …, 15} 간의 간격에 기초하여 결정될 수 있다. 확장 각도 모드들 간의 각도 간격은 대응하는 기본 각도 모드들 간의 각도 간격과 동일하도록 설정될 수 있다. 또한, 인트라 예측 모드 세트에서 확장 각도 모드들의 개수는 기본 각도 모드들의 개수 이하로 설정될 수 있다.In the above embodiment, the spacing between extended angle modes may be set based on the spacing between corresponding basic angle modes. For example, the extended angle modes {3, 5, 7, … , 65} are the corresponding fundamental angular modes {2, 4, 6, … , 66} can be determined based on the interval between them. Additionally, the extended angle modes {-14, -13, … , -1} are the corresponding opposite fundamental angular modes {53, 53,... , 66} is determined based on the spacing between the extended angle modes {67, 68,... , 80} are the corresponding opposite fundamental angular modes {2, 3, 4, … , 15} can be determined based on the interval between them. The angular spacing between the extended angle modes may be set to be equal to the angular spacing between the corresponding basic angle modes. Additionally, the number of extended angle modes in the intra prediction mode set may be set to less than the number of basic angle modes.

본 발명의 실시예에 따르면, 확장 각도 모드는 기본 각도 모드를 기초로 시그널링될 수 있다. 예를 들어, 광각 모드(즉, 확장 각도 모드)는 제1 각도 범위 이내의 적어도 하나의 각도 모드(즉, 기본 각도 모드)를 대체할 수 있다. 대체되는 기본 각도 모드는 광각 모드의 반대편에 대응하는 각도 모드일 수 있다. 즉, 대체되는 기본 각도 모드는 광각 모드가 지시하는 각도의 반대 방향의 각도에 대응하거나 또는 상기 반대 방향의 각도로부터 기 설정된 오프셋 인덱스만큼 차이 나는 각도에 대응하는 각도 모드이다. 본 발명의 실시예에 따르면, 기 설정된 오프셋 인덱스는 1이다. 대체되는 기본 각도 모드에 대응하는 인트라 예측 모드 인덱스는 광각 모드에 다시 매핑되어 해당 광각 모드를 시그널링할 수 있다. 예를 들어, 광각 모드 {-14, -13, …, -1}은 인트라 예측 모드 인덱스 {52, 53, …, 66}에 의해 각각 시그널링될 수 있고, 광각 모드 {67, 68, …, 80}은 인트라 예측 모드 인덱스 {2, 3, …, 15}에 의해 각각 시그널링될 수 있다. 이와 같이 기본 각도 모드를 위한 인트라 예측 모드 인덱스가 확장 각도 모드를 시그널링하도록 함으로, 각 블록의 인트라 예측에 사용되는 각도 모드들의 구성이 서로 다르더라도 동일한 세트의 인트라 예측 모드 인덱스들이 인트라 예측 모드의 시그널링에 사용될 수 있다. 따라서, 인트라 예측 모드 구성의 변화에 따른 시그널링 오버헤드가 최소화될 수 있다.According to an embodiment of the present invention, the extended angle mode may be signaled based on the basic angle mode. For example, a wide angle mode (i.e., extended angle mode) may replace at least one angle mode (i.e., basic angle mode) within the first angle range. The basic angle mode that is replaced may be an angle mode corresponding to the opposite side of the wide angle mode. That is, the basic angle mode that is replaced is an angle mode that corresponds to an angle in the opposite direction of the angle indicated by the wide-angle mode or to an angle that differs from the angle in the opposite direction by a preset offset index. According to an embodiment of the present invention, the preset offset index is 1. The intra-prediction mode index corresponding to the replaced basic angle mode may be remapped to the wide-angle mode to signal the corresponding wide-angle mode. For example, wide angle mode {-14, -13, … , -1} is the intra prediction mode index {52, 53, … , 66}, respectively, and the wide-angle mode {67, 68, … , 80} is the intra prediction mode index {2, 3, … , 15} can be signaled respectively. In this way, the intra prediction mode index for the basic angle mode signals the extended angle mode, so that even if the configurations of the angle modes used for intra prediction of each block are different, the same set of intra prediction mode indexes are used for signaling of the intra prediction mode. can be used Accordingly, signaling overhead due to changes in intra prediction mode configuration can be minimized.

한편, 확장 각도 모드의 사용 여부는 현재 블록의 모양 및 크기 중 적어도 하나에 기초하여 결정될 수 있다. 일 실시예에 따르면, 현재 블록의 크기가 기 설정된 크기보다 클 경우 확장 각도 모드가 현재 블록의 인트라 예측을 위해 사용되고, 그렇지 않을 경우 기본 각도 모드만 현재 블록의 인트라 예측을 위해 사용될 수 있다. 다른 실시예에 따르면, 현재 블록이 정사각형이 아닌 블록인 경우 확장 각도 모드가 현재 블록의 인트라 예측을 위해 사용되고, 현재 블록이 정사각형 블록인 경우 기본 각도 모드만 현재 블록의 인트라 예측을 위해 사용될 수 있다.Meanwhile, whether to use the extended angle mode may be determined based on at least one of the shape and size of the current block. According to one embodiment, if the size of the current block is larger than the preset size, the extended angle mode may be used for intra prediction of the current block, otherwise, only the basic angle mode may be used for intra prediction of the current block. According to another embodiment, if the current block is a non-square block, the extended angle mode may be used for intra prediction of the current block, and if the current block is a square block, only the basic angle mode may be used for intra prediction of the current block.

인트라 예측부는 현재 블록의 인트라 예측 모드 정보에 기초하여, 현재 블록의 인트라 예측에 사용될 참조 샘플들 및/또는 보간된 참조 샘플들을 결정한다. 인트라 예측 모드 인덱스가 특정 각도 모드를 지시할 경우, 현재 블록의 현재 샘플로부터 상기 특정 각도에 대응하는 참조 샘플 또는 보간된 참조 샘플이 현재 픽셀의 예측에 사용된다. 따라서, 인트라 예측 모드에 따라 서로 다른 세트의 참조 샘플들 및/또는 보간된 참조 샘플들이 인트라 예측에 사용될 수 있다. 참조 샘플들 및 인트라 예측 모드 정보를 이용하여 현재 블록의 인트라 예측이 수행되고 나면, 디코더는 역변환부로부터 획득된 현재 블록의 잔차 신호를 현재 블록의 인트라 예측 값과 더하여 현재 블록의 샘플 값들을 복원한다.The intra prediction unit determines reference samples and/or interpolated reference samples to be used for intra prediction of the current block, based on intra prediction mode information of the current block. When the intra prediction mode index indicates a specific angle mode, a reference sample or an interpolated reference sample corresponding to the specific angle from the current sample of the current block is used for prediction of the current pixel. Accordingly, different sets of reference samples and/or interpolated reference samples may be used for intra prediction depending on the intra prediction mode. After intra prediction of the current block is performed using reference samples and intra prediction mode information, the decoder restores the sample values of the current block by adding the residual signal of the current block obtained from the inverse transformer to the intra prediction value of the current block. .

인터 예측에 사용되는 움직임(모션) 정보에는 참조 방향 지시 정보(inter_pred_idc), 참조 픽쳐 인덱스(ref_idx_l0, ref_idx_l1), 움직임(모션) 벡터(mvL0, mvL1)이 포함될 수 있다. 참조 방향 지시 정보에 따라 참조 픽쳐 리스트 활용 정보(predFlagL0, predFlagL1)가 설정될 수 있다. 실시 일 예로, L0 참조 픽쳐를 사용하는 단방향 예측인 경우, predFlagL0=1, predFlagL1=0로 설정될 수 있다. L1 참조 픽쳐를 사용하는 단방향 예측인 경우, predFlagL0=0, predFlagL1=1로 설정될 수 있다. L0와 L1 참조 픽쳐를 모두 사용하는 양방향 예측인 경우, predFlagL0=1, predFlagL1=1로 설정될 수 있다.Movement (motion) information used for inter prediction may include reference direction indication information (inter_pred_idc), reference picture indices (ref_idx_l0, ref_idx_l1), and motion (motion) vectors (mvL0, mvL1). Reference picture list utilization information (predFlagL0, predFlagL1) may be set according to the reference direction indication information. As an example of an embodiment, in the case of unidirectional prediction using an L0 reference picture, predFlagL0=1 and predFlagL1=0 may be set. In the case of unidirectional prediction using an L1 reference picture, predFlagL0=0 and predFlagL1=1 can be set. In the case of bidirectional prediction using both L0 and L1 reference pictures, predFlagL0=1 and predFlagL1=1 can be set.

현재 블록이 코딩 유닛일 경우, 코딩 유닛은 여러 개의 서브 블록으로 분할될 수 있으며, 각 서브 블록의 예측 정보는 서로 같거나 또는 다를 수 있다. 실시 일 예로, 코딩 유닛이 인트라 모드일 경우, 각 서브 블록의 인트라 예측 모드는 서로 같거나 또는 다를 수 있다. 또한, 코딩 유닛이 인터 모드일 경우, 각 서브 블록의 움직임 정보는 서로 같거나 또는 다를 수 있다. 또한, 각 서브 블록은 서로 독립적으로 인코딩 또는 디코딩이 가능할 수 있다. 각각의 서브 블록은 서브 블록 인덱스(sub-block index, sbIdx)를 통해 구분될 수 있다.When the current block is a coding unit, the coding unit may be divided into several sub-blocks, and the prediction information of each sub-block may be the same or different. As an example embodiment, when the coding unit is an intra mode, the intra prediction mode of each subblock may be the same or different from each other. Additionally, when the coding unit is in inter mode, the motion information of each sub-block may be the same or different. Additionally, each sub-block may be encoded or decoded independently from each other. Each sub-block can be distinguished through a sub-block index (sbIdx).

현재 블록의 움직임 벡터는 주변 블록의 움직임 벡터와 유사할 가능성이 높다. 따라서, 주변 블록의 움직임 벡터는 움직임 정보 예측 값(motion vector predictor, mvp)으로 사용될 수 있고, 현재 블록의 움직임 벡터는 주변 블록의 움직임 벡터를 이용하여 유도될 수 있다. 또한, 움직임 벡터의 정확성을 높이기 위해서, 인코더에서 원본 영상으로 찾은 현재 블록의 최적의 움직임 벡터와 움직임 정보의 예측 값 간의 움직임 벡터의 차이(motion vector difference, mvd)가 시그널링될 수 있다.The motion vector of the current block is likely to be similar to the motion vector of neighboring blocks. Therefore, the motion vector of the neighboring block can be used as a motion vector predictor (mvp), and the motion vector of the current block can be derived using the motion vector of the neighboring block. Additionally, in order to increase the accuracy of the motion vector, the motion vector difference (mvd) between the optimal motion vector of the current block found in the original image by the encoder and the predicted value of the motion information may be signaled.

움직임 벡터는 다양한 해상도를 가질 수 있으며, 블록 단위로 움직임 벡터의 해상도가 달라질 수 있다. 움직임 벡터 해상도는 정수 단위, 반화소 단위, 1/4 화소 단위, 1/16 화소 단위, 4의 정수 화소 단위 등으로 표현될 수 있다. 스크린 콘텐츠와 같은 영상은 문자와 같은 단순한 그래픽 형태이므로 보간(interpolation) 필터를 적용하지 않아도 되므로, 정수 단위와 4의 정수 화소 단위가 블록 단위 선택적으로 적용될 수 있다. 회전 및 스케일을 표현할 수 있는 어파인(Affine) 모드로 부호화된 블록은 형태의 변화가 심하므로, 정수 단위, 1/4 화소 단위, 1/16 화소 단위가 블록 기반 선택적으로 적용될 수 있다. 블록 단위로 움직임 벡터 해상도를 선택적으로 적용할 지에 대한 여부 정보는 amvr_flag으로 시그널링된다. 만일 적용되는 경우, 어떠한 움직임 벡터 해상도를 현재 블록에 적용할지는 amvr_precision_idx으로 시그널링된다.The motion vector may have various resolutions, and the resolution of the motion vector may vary on a block basis. Motion vector resolution can be expressed in integer units, half-pixel units, 1/4 pixel units, 1/16 pixel units, integer pixel units of 4, etc. Since images such as screen content are in the form of simple graphics such as text, there is no need to apply an interpolation filter, so integer units and integer pixel units of 4 can be selectively applied on a block basis. Blocks encoded in affine mode, which can express rotation and scale, have significant changes in shape, so integer units, 1/4 pixel units, and 1/16 pixel units can be selectively applied on a block basis. Information on whether to selectively apply motion vector resolution on a block basis is signaled with amvr_flag. If applied, which motion vector resolution to apply to the current block is signaled with amvr_precision_idx.

양방향 예측이 적용되는 블록의 경우, 가중치 평균을 적용할 때 2개의 예측 블록 간의 가중치는 같거나 다를 수 있고, 가중치에 대한 정보는 bcw_idx를 통해 시그널링된다. For blocks to which bidirectional prediction is applied, when applying weight average, the weights between two prediction blocks may be the same or different, and information about the weights is signaled through bcw_idx.

움직임 정보의 예측 값의 정확도를 높이기 위해서, 머지(Merge) 또는 AMVP(dvanced motion vector prediction) 방법이 블록 단위 선택적으로 사용될 수 있다. Merge 방법은 현재 블록의 움직임 정보를 현재 블록에 인접한 주변 블록의 움직임 정보와 동일하게 구성하는 방법으로, 동질성을 갖는 움직임 영역에서 움직임 정보가 변화없이 공간적으로 전파됨으로써 움직임 정보의 부호화 효율을 증가시키는 장점이 있다. 반면에 AMVP 방법은 정확한 움직임 정보를 표현하기 위해 L0 및 L1 예측 방향으로 각각 움직임 정보를 예측하고 가장 최적의 움직임 정보를 시그널링하는 방법이다. 디코더는 AMVP 또는 Merge 방법을 통해 현재 블록에 대한 움직임 정보를 유도한 후, 참조 픽쳐(reference picture)에서 유도한 움직임 정보에 위치한 참조 블록을 현재 블록을 위한 예측 블록으로 사용한다. To increase the accuracy of the prediction value of motion information, merge or advanced motion vector prediction (AMVP) methods can be selectively used on a block basis. The Merge method is a method that configures the motion information of the current block to be the same as the motion information of neighboring blocks adjacent to the current block. The Merge method has the advantage of increasing the coding efficiency of motion information by spatially propagating motion information without change in a motion region with homogeneity. There is. On the other hand, the AMVP method is a method that predicts motion information in the L0 and L1 prediction directions respectively and signals the most optimal motion information in order to express accurate motion information. The decoder derives motion information for the current block through the AMVP or Merge method and then uses the reference block located in the motion information derived from the reference picture as a prediction block for the current block.

Merge 또는 AMVP에서 움직임 정보를 유도하는 방법은 현재 블록의 주변 블록으로부터 유도된 움직임 정보의 예측 값을 사용하여 움직임 후보 리스트를 구성한 후, 최적의 움직임 후보에 대한 인덱스 정보가 시그널링되는 방법일 수 있다. AMVP의 경우, L0와 L1 각각 움직임 후보 리스트가 유도되므로, L0와 L1 각각에 대한 최적의 움직임 후보 인덱스(mvp_l0_flag, mvp_l1_flag)가 시그널링된다. Merge의 경우, 하나의 움직임 후보 리스트가 유도되므로, 하나의 머지 인덱스(merge_idx)가 시그널링된다. 하나의 코딩 유닛에서 유도되는 움직임 후보 리스트는 다양할 수 있으며, 각 움직임 후보 리스트마다 움직임 후보 인덱스 또는 머지 인덱스가 시그널링될 수 있다. 이때, Merge 모드로 부호화된 블록에서 잔여 블록에 대한 정보가 없는 모드를 머지 스킵(MergeSkip) 모드라고 할 수 있다.A method of deriving motion information in Merge or AMVP may be a method in which a motion candidate list is constructed using the predicted value of motion information derived from neighboring blocks of the current block, and then index information for the optimal motion candidate is signaled. In the case of AMVP, since motion candidate lists are derived for each of L0 and L1, the optimal motion candidate indices (mvp_l0_flag, mvp_l1_flag) for each of L0 and L1 are signaled. In the case of Merge, since one motion candidate list is derived, one merge index (merge_idx) is signaled. The motion candidate list derived from one coding unit may vary, and a motion candidate index or merge index may be signaled for each motion candidate list. At this time, a mode in which there is no information about the remaining blocks in blocks encoded in Merge mode can be called Merge Skip mode.

현재 블록에 대한 양방향 움직임 정보는 AMVP와 Merge 모드가 혼용되어 유도될 수 있다. 예를 들어, L0 방향의 움직임 정보는 AMVP 방법을 사용하여 유도하고, L1 방향의 움직임 정보는 Merge 방법을 사용하여 유도될 수 있다. 반대로, L0는 Merge, L1은 AMVP를 적용할 수 있다. 이러한 부호화 모드를 AMVP-merge 모드라고 할 수 있다.Bidirectional movement information for the current block can be derived by mixing AMVP and Merge modes. For example, motion information in the L0 direction can be derived using the AMVP method, and motion information in the L1 direction can be derived using the Merge method. Conversely, Merge can be applied to L0 and AMVP to L1. This encoding mode can be called AMVP-merge mode.

SMVD(Symmetric MVD)는 양방향 예측(bi-directional prediction)의 경우에, L0 방향과 L1 방향의 MVD(Motion Vector Difference) 값이 대칭을 이루도록 하여 전송되는 움직임 정보의 비트량을 줄이는 방법이다. L0 방향과 대칭을 이루는 L1 방향의 MVD 정보는 전송하지 않으며, 더불어 L0 및 L1 방향의 참조 픽쳐 정보도 전송하지 않고 복호화 과정에서 유도한다.SMVD (Symmetric MVD) is a method of reducing the amount of bits of transmitted motion information by ensuring that the MVD (Motion Vector Difference) values in the L0 and L1 directions are symmetrical in the case of bi-directional prediction. MVD information in the L1 direction, which is symmetrical to the L0 direction, is not transmitted, and in addition, reference picture information in the L0 and L1 directions is not transmitted and is derived during the decoding process.

OBMC(Overlapped Block Motion Compensation)는 블록 간의 움직임 정보가 서로 다른 경우, 주변 블록들의 움직임 정보를 사용하여 현재 블록에 대한 예측 블록들을 생성한 후, 예측 블록들을 가중치 평균하여 현재 블록에 대한 최종 예측 블록을 생성하는 방법이다. 이는 움직임 보상된 영상의 블록 경계에서 발생되는 블록킹 현상을 줄여주는 효과가 있다.OBMC (Overlapped Block Motion Compensation) generates prediction blocks for the current block using the motion information of neighboring blocks when the motion information between blocks is different, and then weight averages the prediction blocks to create the final prediction block for the current block. How to create it. This has the effect of reducing the blocking phenomenon that occurs at the block boundaries of motion compensated images.

일반적으로 머지 움직임 후보는 움직임의 정확도가 낮다. 이러한 머지 움직임 후보의 정확도를 높이기 위해서, MMVD(Merge mode with MVD) 방법이 사용될 수 있다. MMVD 방법은 몇 개의 움직임 차분 값 후보들 중에서 선택된 하나의 후보를 이용하여 움직임 정보를 보정하는 방법이다. MMVD 방법을 통해 획득되는 움직임 정보의 보정 값에 대한 정보(예를 들어, 움직임 차분 값 후보들 중에서 선택된 하나의 후보를 지시하는 인덱스 등)은 비트스트림에 포함되어 디코더로 전송될 수 있다. 기존의 움직임 정보 차분 값을 비트스트림에 포함하는 것에 비해 움직임 정보의 보정 값에 대한 정보를 비트스트림에 포함함으로써 비트량을 절약할 수 있다.In general, merge movement candidates have low movement accuracy. To increase the accuracy of these merge motion candidates, the MMVD (Merge mode with MVD) method can be used. The MMVD method is a method of correcting motion information using one candidate selected from among several motion difference value candidates. Information on the correction value of the motion information obtained through the MMVD method (eg, an index indicating one candidate selected from motion difference value candidates, etc.) may be included in the bitstream and transmitted to the decoder. Compared to including existing motion information differential values in the bitstream, the amount of bits can be saved by including information about the correction value of motion information in the bitstream.

TM(Template Matching) 방법은 현재 블록의 주변 화소를 통해 템플릿을 구성하여 템플릿과 가장 유사도가 높은 매칭 영역을 찾아서 움직임 정보를 보정하는 방법이다. TM(Template matching)은 부호화되는 비트스트림의 크기를 줄이기 위해서, 움직임 정보를 비트스트림에 포함하지 않고 디코더에서 움직임 예측을 수행하는 방법이다. 이때, 디코더는 원본 영상이 없으므로 이미 복원된 주변 블록을 사용하여 현재 블록에 대한 움직임 정보를 개략적으로 유도할 수 있다.The TM (Template Matching) method is a method of compensating motion information by constructing a template using surrounding pixels of the current block and finding a matching area with the highest similarity to the template. Template matching (TM) is a method of performing motion prediction in a decoder without including motion information in the bitstream in order to reduce the size of the encoded bitstream. At this time, since the decoder does not have the original image, it can roughly derive motion information about the current block using already restored neighboring blocks.

DMVR(Decoder-side Motion Vector Refinement) 방법은 조금 더 정확한 움직임 정보를 찾기 위해 이미 복원된 참조 영상들의 상관성을 통해 움직임 정보를 보정하는 방법으로써, 현재 블록의 양방향 움직임 정보를 사용하여 2개의 참조 픽쳐의 임의의 정해진 영역 내에서 참조 픽쳐 내의 참조 블록 간의 가장 매칭이 잘되는 지점을 새로운 양방향 움직임으로 사용하는 방법이다. 이러한 DMVR이 수행될 때, 인코더는 하나의 블록 단위에서 DMVR을 수행하여 움직임 정보를 보정한 후, 다시 블록을 서브 블록으로 분할하여 각 서브 블록 단위에서 DMVR을 수행하여 서브 블록의 움직임 정보를 다시 보정할 수 있으며, 이를 MP-DMVR(Multi-pass DMVR)이라 할 수 있다. The DMVR (Decoder-side Motion Vector Refinement) method is a method of correcting motion information through the correlation of already restored reference images in order to find more accurate motion information. It uses the bidirectional motion information of the current block to compare the two reference pictures. This is a method of using the point with the best matching between reference blocks in a reference picture within a certain area as a new bidirectional movement. When such DMVR is performed, the encoder corrects the motion information by performing DMVR in one block unit, then divides the block into sub-blocks and performs DMVR in each sub-block unit to correct the motion information of the sub-block again. This can be done, and this can be called MP-DMVR (Multi-pass DMVR).

LIC(Local Illumination Compensation) 방법은 블록 간의 휘도 변화를 보상하는 방법으로, 현재 블록에 인접한 주변 화소들을 사용하여 선형 모델을 유도한 후, 선형 모델을 통해 현재 블록의 휘도 정보를 보상하는 방법이다.The LIC (Local Illumination Compensation) method is a method of compensating for luminance changes between blocks. It derives a linear model using surrounding pixels adjacent to the current block, and then compensates for the luminance information of the current block through the linear model.

기존 비디오 부호화 방법들은 상하좌우의 평행 이동만을 고려한 움직임 보상을 수행하기 때문에, 현실에서 일반적으로 접하는 확대, 축소, 회전 등과 같은 움직임 포함하고 있는 비디오들의 부호화 시 부호화 효율이 저하된다. 이러한 확대, 축소, 회전에 대한 움직임을 표현하기 위하여, 4개(회전) 또는 6개(확대, 축소, 회전) 파라미터 모델을 이용하는 Affine 모델 기반 움직임 예측 기술이 적용될 수 있다.Existing video coding methods perform motion compensation considering only horizontal, vertical, and horizontal movements, so coding efficiency deteriorates when coding videos that include movements such as enlargement, reduction, and rotation that are commonly encountered in reality. To express such movements for enlargement, reduction, and rotation, an Affine model-based motion prediction technology that uses a 4 (rotation) or 6 (enlargement, reduction, rotation) parameter model can be applied.

BDOF(Bi-Directional Optical Flow)는 양방향 움직임으로 구성된 블록의 참조 블록으로부터 광-흐름(optical-flow) 기반으로 화소의 변화량을 추정하여 예측 블록을 보정하는데 사용된다. 이러한 VVC의 BDOF에서 유도된 움직임 정보를 이용하여 현재 블록의 움직임을 보정할 수 있다.BDOF (Bi-Directional Optical Flow) is used to correct the prediction block by estimating the amount of pixel change based on optical-flow from the reference block of the block composed of bi-directional movement. The motion of the current block can be corrected using motion information derived from the BDOF of this VVC.

PROF(Prediction refinement with optical flow)는 서브 블록 단위 Affine 움직임 예측의 정확도를 픽셀 단위 움직임 예측의 정확도와 유사하도록 개선하기 위한 기술이다. PROF는 BDOF와 유사하게 광-흐름(optical-flow)에 기반하여 서브 블록 단위로 Affine 움직임 보상된 픽셀 값들에 대해 픽셀 단위로 보정 값을 계산하여 최종 예측 신호를 획득하는 기술이다.PROF (Prediction refinement with optical flow) is a technology to improve the accuracy of sub-block-level affine motion prediction to be similar to the accuracy of pixel-level motion prediction. PROF, similar to BDOF, is a technology that obtains the final prediction signal by calculating correction values in pixel units for affine motion compensated pixel values in sub-block units based on optical flow.

CIIP(Combined Inter-/Intra-picture Prediction)는 현재 블록에 대한 예측 블록을 생성할 때, 화면 내 예측 방법으로 생성한 예측 블록과 화면 간 예측 방법으로 생성한 예측 블록들을 가중치 평균하여 최종 예측 블록을 생성하는 방법이다.When CIIP (Combined Inter-/Intra-picture Prediction) generates a prediction block for the current block, the final prediction block is created by weighting the prediction blocks generated by the intra-picture prediction method and the prediction blocks generated by the inter-picture prediction method. How to create it.

IBC(Intra Block Copy) 방법은 현재 블록과 가장 유사한 부분을 현재 픽쳐 내의 이미 복원된 영역에서 찾아서, 해당 참조 블록을 현재 블록에 대한 예측 블록으로 사용하는 방법이다. 이때, 현재 블록과 참조 블록 간의 거리인 블록 벡터(Block Vector)와 관련된 정보는 비트스트림에 포함될 수 있다. 디코더는 비스트스림에 포함된 블록 벡터와 관련된 정보를 파싱하여 현재 블록을 위한 블록 벡터를 계산하거나 설정할 수 있다.The IBC (Intra Block Copy) method is a method that finds the part most similar to the current block in an already reconstructed area in the current picture and uses the corresponding reference block as a prediction block for the current block. At this time, information related to the block vector, which is the distance between the current block and the reference block, may be included in the bitstream. The decoder can calculate or set the block vector for the current block by parsing information related to the block vector contained in Beaststream.

BCW(Bi-prediction with CU-level Weights) 방법은 서로 다른 참조 픽쳐로 부터 움직임 보상된 두 개의 예측 블록에 대하여, 평균으로 예측 블록을 생성하지 않고, 블록 단위로 적응적으로 가중치를 적용하여 움직임 보상된 두 개의 예측 블록에 가중치 평균을 수행하는 방법이다.The BCW (Bi-prediction with CU-level Weights) method does not generate a prediction block by averaging two prediction blocks that have been motion-compensated from different reference pictures, but applies weights adaptively on a block-by-block basis to compensate for motion. This is a method of performing a weighted average on two prediction blocks.

MHP(Multi-hypothesis prediction) 방법은 화면 간 예측 시 단방향 및 양방향 움직임 정보에 추가적인 움직임 정보를 전송함으로써, 다양한 예측 신호를 통한 가중치 예측을 수행하는 방법이다.The MHP (Multi-hypothesis prediction) method is a method of performing weight prediction using various prediction signals by transmitting additional motion information to unidirectional and bidirectional motion information when predicting between screens.

CCLM(Cross-component linear model)은 휘도 신호와 해당 휘도 신호와 동일한 위치에 있는 색차 신호 간의 높은 상관성을 이용하여 선형 모델을 구성한 후, 해당 선형 모델을 통해 색차 신호를 예측하는 방법이다. 현재 블록에 인접한 주변 블록 중에서 복원이 완료된 블록을 사용하여 템플릿을 구성한 후, 템플릿을 통해 선형 모델에 대한 파라미터가 유도된다. 다음으로, 영상 포맷에 따라 선택적으로 색차 블록의 크기에 맞게 복원된 현재 휘도 블록이 다운 샘플링된다. 마지막으로, 다운 샘플링된 휘도 블록과 해당 선형 모델을 이용하여 현재 블록의 색차 블록을 예측한다. 이때, 2개 이상의 선형 모델을 사용하는 방법을 MMLM(Multi-model Linear mode)이라고 한다.CCLM (Cross-component linear model) is a method of constructing a linear model using the high correlation between a luminance signal and a chrominance signal located at the same location as the luminance signal, and then predicting the chrominance signal through the linear model. After constructing a template using restored blocks among neighboring blocks adjacent to the current block, parameters for the linear model are derived through the template. Next, depending on the video format, the restored current luminance block is selectively down-sampled to fit the size of the chrominance block. Finally, the chrominance block of the current block is predicted using the down-sampled luminance block and the corresponding linear model. At this time, the method of using two or more linear models is called MMLM (Multi-model Linear mode).

독립 스칼라 양자화(independent scalar quantization)에서, 입력된 계수 t_k에 대한 복원된 계수 t'_k는 관련된 양자화 인덱스(quantization index) q_k에만 의존적이다. 즉, 임의의 복원된 계수에 대한 양자화 인덱스(quantization index)는 다른 복원된 계수들에 대한 양자화 인덱스들과는 다른 값을 가진다. 이때 t'_k는 t_k에서 양자화 오차가 포함된 값일 수 있으며, 양자화 파라미터에 따라 서로 다르거나 또는 같을 수 있다. 여기서, t'_k는 복원된 변환 계수 또는 역양자화된 변환계수라고 명명할 수 있으며, 양자화 인덱스를 양자화된 변환 계수라고 명명할 수도 있다.In independent scalar quantization, the restored coefficients t' _k for input coefficients t _k depend only on the associated quantization index q _k . That is, the quantization index for any restored coefficient has a different value from the quantization indexes for other restored coefficients. At this time, t' _k may be a value including the quantization error at t _k and may be different or the same depending on the quantization parameter. Here, _t'k may be named a restored transform coefficient or a dequantized transform coefficient, and the quantization index may be named a quantized transform coefficient.

균일 복원 양자화(URQ; Uniform Reconstruction Quantizers)에서, 복원된 계수들은 동일한 간격으로 배치되는 특성을 지닌다. 이때 인접하는 두 복원 값들 사이의 거리를 양자화 단계 크기(quantization step size)라고 할 수 있다. 복원된 값 중에는 0을 포함할 수 있으며, 사용 가능한 복원 값들의 전체 집합(set)은 양자화 단계 크기에 따라 고유하게 정의될 수 있다. 양자화 단계 크기는 양자화 파라미터에 따라 달라질 수 있다.In Uniform Reconstruction Quantizers (URQ), the reconstructed coefficients have the characteristic of being arranged at equal intervals. At this time, the distance between two adjacent restored values can be referred to as the quantization step size. The restored values may include 0, and the entire set of available restored values may be uniquely defined depending on the quantization step size. The quantization step size may vary depending on the quantization parameter.

기존 방법에서는 양자화로 인해 허용 가능한 복원된 변환 계수들의 집합(세트)이 감소하며, 이러한 집합의 원소(element)는 유한 개일 수 있다. 이로 인해, 원본 영상과 복원된 영상 간의 평균적인 오차를 최소화하는데 한계가 존재한다. 이러한 평균적인 오차를 최소화하기 위한 방법으로 벡터 양자화(Vector Quantization)를 사용할 수 있다.In the existing method, the set of allowable restored transform coefficients decreases due to quantization, and the number of elements of this set may be finite. Because of this, there is a limit to minimizing the average error between the original image and the restored image. Vector quantization can be used as a method to minimize this average error.

비디오 부호화에서 사용되는 간단한 형태의 벡터 양자화 방법에는 부호 데이터 은닉(sign data hiding)이 있다. 이는 인코더에서 0이 아닌 하나의 계수에 대한 부호를 부호화하지 않고, 디코더에서는 해당 계수에 대한 부호를 모든 계수들에 대한 절대값의 합이 짝수인지 또는 홀수인지에 따라 결정하는 방법이다. 이를 위해 인코더에서는 적어도 하나의 계수가 '1'이 증가되거나 또는 감소될 수 있으며, 이는 율-왜곡(rate-distortion)에 대한 비용(Cost) 관점에서 최적이 되도록 적어도 하나의 계수가 선택되어 값이 조정될 수 있다. 실시 일 예로, 양자화 간격의 경계에 가까운 값을 가지는 계수가 선택될 수 있다.A simple form of vector quantization method used in video encoding is sign data hiding. This is a method in which the encoder does not encode the sign of one non-zero coefficient, and the decoder determines the sign for the corresponding coefficient depending on whether the sum of the absolute values of all coefficients is even or odd. To this end, at least one coefficient may be increased or decreased by '1' in the encoder, and at least one coefficient is selected to be optimal in terms of cost for rate-distortion, so that the value is It can be adjusted. As an example embodiment, a coefficient having a value close to the boundary of the quantization interval may be selected.

또 다른 벡터 양자화 방법에는 트렐리스 부호화된 양자화(Trellis-Coded Quantization)가 있으며, 비디오 부호화에서는 종속 양자화(dependent quantization)에서 최적화된 양자화 값을 얻기 위한 최적의 경로 탐색 기법으로 활용된다. 블록 단위로, 블록 내 모든 계수들에 대한 양자화 후보들을 트렐리스 그래프에 배치하고, 최적화된 양자화 후보들 간의 최적의 트렐리스 경로를 율-왜곡(rate-distortion)에 대한 비용(Cost)을 고려하여 탐색한다. 구체적으로, 비디오 부호화에 적용된 종속 양자화는 변환 계수에 대한 허용 가능한 복원된 변환 계수들의 집합이 복원 순서에서 현재 변환 계수에 선행하는 변환 계수의 값에 의존하도록 설계될 수 있다. 이때, 여러 개의 양자화기를 변환 계수에 따라 선택적으로 사용하게 함으로써, 원본 영상과 복원된 영상 간의 평균적인 오차를 최소화하여 부호화 효율을 높이는 효과가 있다. Another vector quantization method is Trellis-Coded Quantization, and in video coding, it is used as an optimal path search technique to obtain an optimized quantization value in dependent quantization. On a block basis, quantization candidates for all coefficients within a block are placed in a trellis graph, and the optimal trellis path between optimized quantization candidates is determined considering the cost of rate-distortion. and explore. Specifically, dependent quantization applied to video encoding may be designed such that the set of allowable restored transform coefficients for a transform coefficient depends on the value of the transform coefficient that precedes the current transform coefficient in reconstruction order. At this time, by selectively using multiple quantizers according to the transformation coefficient, the average error between the original image and the restored image is minimized, thereby increasing coding efficiency.

인트라 예측 부호화 기술 중에서 MIP(Matrix Intra Prediction) 방법은 행렬 기반 인트라 예측 방법으로 현재 블록에 인접한 주변 블록의 픽셀로부터 방향성을 가지는 예측 방법과 달리, 주변 블록의 좌측 및 상단의 픽셀들을 미리 정의된 행렬 매트릭스와 오프셋 값을 이용하여 예측 신호를 구하는 방법이다.Among intra prediction coding technologies, the MIP (Matrix Intra Prediction) method is a matrix-based intra prediction method. Unlike prediction methods that have directionality from pixels of neighboring blocks adjacent to the current block, pixels on the left and top of neighboring blocks are used as a predefined matrix. This is a method of obtaining a prediction signal using the and offset values.

현재 블록의 인트라 예측 모드를 유도하기 위해서, 현재 블록에 인접하면서 복원된 임의의 영역인 템플릿(template)을 기반으로, 해당 템플릿의 주변 픽셀을 통해 유도된 템플릿에 대한 인트라 예측 모드가 현재 블록의 복원을 위해 이용할 수 있다. 우선, 디코더는 템플릿에 인접한 주변 픽셀(reference)을 이용하여 템플릿에 대한 예측 템플릿을 생성하고, 이미 복원된 템플릿과 가장 유사한 예측 템플릿을 생성한 인트라 예측 모드를 현재 블록의 복원을 위해 사용할 수 있다. 이러한 방법을 TIMD(Template intra mode derivation)이라고 할 수 있다.In order to derive the intra prediction mode of the current block, based on a template, which is a random area restored while adjacent to the current block, the intra prediction mode for the template derived through the surrounding pixels of the template is used to restore the current block. It can be used for. First, the decoder can generate a prediction template for the template using surrounding pixels (references) adjacent to the template, and use the intra prediction mode, which generates a prediction template most similar to the already restored template, to restore the current block. This method can be called TIMD (Template intra mode derivation).

일반적으로 인코더는 예측 블록을 생성하기 위한 예측 모드를 결정하여 결정된 예측 모드에 대한 정보가 포함된 비트스트림을 생성할 수 있다. 디코더는 수신한 비트스트림을 파싱하여 인트라 예측 모드를 설정할 수 있다. 이때, 예측 모드에 대한 정보의 비트량은 전체 비트스트림 크기의 10% 정도일 수 있다. 예측 모드에 대한 정보의 비트량을 감소시키기 위해 인코더는 비트스트림에 인트라 예측 모드에 대한 정보를 포함하지 않을 수 있다. 이에, 디코더는 주변 블록의 특성을 이용하여 현재 블록의 복원을 위한 인트라 예측 모드를 유도(결정)할 수 있고, 유도된 인트라 예측 모드를 이용하여 현재 블록을 복원할 수 있다. 이때, 디코더는 인트라 예측 모드를 유도하기 위해 현재 블록에 인접한 주변 화소(픽셀)들마다 소벨(Sobel) 필터를 가로 및 세로 방향으로 적용하여 방향성 정보를 유추한 후, 해당 방향성 정보를 인트라 예측 모드로 매핑하는 방법을 이용할 수 있다. 디코더가 주변 블록을 이용하여 인트라 예측 모드를 유도하는 방법은 DIMD(Decoder side intra mode derivation)로 기술될 수 있다.In general, an encoder can determine a prediction mode for generating a prediction block and generate a bitstream containing information about the determined prediction mode. The decoder can set the intra prediction mode by parsing the received bitstream. At this time, the bit amount of information about the prediction mode may be about 10% of the total bitstream size. In order to reduce the bit amount of information about the prediction mode, the encoder may not include information about the intra prediction mode in the bitstream. Accordingly, the decoder can derive (determine) an intra prediction mode for restoration of the current block using the characteristics of the surrounding blocks, and can restore the current block using the derived intra prediction mode. At this time, the decoder infers directionality information by applying a Sobel filter horizontally and vertically to each surrounding pixel (pixel) adjacent to the current block to derive the intra prediction mode, and then converts the directionality information into the intra prediction mode. A mapping method can be used. The method by which the decoder derives an intra prediction mode using neighboring blocks can be described as DIMD (Decoder side intra mode derivation).

도 7은 인터 예측에서 움직임 후보 리스트를 구성하기 위해 사용되는 주변 블록들의 위치를 나타낸 도면이다. Figure 7 is a diagram showing the positions of neighboring blocks used to construct a motion candidate list in inter prediction.

주변 블록들은 공간적인 위치의 블록이거나 시간적인 위치의 블록일 수 있다. 현재 블록에 공간적으로 인접한 주변 블록은 좌측(Left, A1) 블록, 좌하측(Left Below, A0) 블록, 상측(Above, B1) 블록, 상우측(Above Right, B0) 블록 또는 상좌측(Above Left, B2) 블록 중 적어도 하나가 될 수 있다. 현재 블록에 시간적으로 인접한 주변 블록은 대응되는 픽쳐(Collocated picture)에서 현재 블록의 하우측(bottom Right, BR) 블록의 좌상단 픽셀 위치를 포함하는 블록이 될 수 있다. 상기 현재 블록에 시간적으로 인접한 주변 블록이 인트라 모드로 부호화되거나 상기 현재 블록에 시간적으로 인접한 주변 블록이 사용할 수 없는 위치에 존재하면, 현재 픽쳐에 대응되는 픽쳐(Collocated picture)에서 현재 블록의 가로 및 세로의 중앙(Center, Ctr) 픽셀 위치를 포함하는 블록이 시간적 주변 블록으로 사용될 수 있다. 대응되는 픽쳐에서 유도된 움직임 후보 정보는 TMVP(Temporal Motion Vector Predictor)라 지칭될 수 있다. TMVP는 하나의 블록에서 하나만 유도될 수 있고, 하나의 블록을 여러 개의 서브 블록으로 분할한 후, 각 서브 블록마다 각각의 TMVP 후보가 유도될 수 있다. 서브 블록 단위의 TMVP 유도 방법은 sbTMVP(sub-block Temporal Motion Vector Predictor)로 지칭될 수 있다.Surrounding blocks may be blocks in a spatial location or blocks in a temporal location. Surrounding blocks that are spatially adjacent to the current block are Left (A1) block, Left Below (A0) block, Above (B1) block, Above Right (B0) block, or Above Left. , B2) It can be at least one of the blocks. The neighboring block temporally adjacent to the current block may be a block containing the upper left pixel position of the bottom right (BR) block of the current block in the corresponding picture (Collocated picture). If a neighboring block temporally adjacent to the current block is encoded in intra mode or a neighboring block temporally adjacent to the current block exists in an unusable position, the horizontal and vertical dimensions of the current block in the picture corresponding to the current picture (Collocated picture) A block containing the center (Ctr) pixel position of can be used as a temporal neighboring block. Motion candidate information derived from the corresponding picture may be referred to as TMVP (Temporal Motion Vector Predictor). Only one TMVP can be derived from one block, and after dividing one block into several sub-blocks, each TMVP candidate can be derived for each sub-block. The TMVP derivation method on a sub-block basis may be referred to as sbTMVP (sub-block Temporal Motion Vector Predictor).

본 명세서에서 설명하는 방법들이 적용될 것인지 여부는 슬라이스 타입 정보 (예, I 슬라이스, P 슬라이스, B 슬라이스 인지 여부), 타일인지 여부, 서브 픽쳐인지 여부, 현재 블록의 크기, 코딩 유닛의 깊이, 현재 블록이 휘도 블록인지 색차 블록인지 여부, 참조 프레임인지 비참조 프레임인지 여부, 참조 순서 및 계층에 따른 시간적인 계층 등에 대한 정보들 중 적어도 어느 하나에 기초하여 결정될 수 있다. 본 명세서에서 설명하는 방법들이 적용될 것인지 여부를 결정하기 위해 사용되는 정보들은 디코더 및 인코더 간 미리 약속된 정보일 수 있다. 또한, 이러한 정보들은 프로파일 및 레벨에 따라 결정되어 있을 수 있다. 이러한 정보들은 변수 값으로 표현될 수 있고, 비트스트림에는 변수 값에 대한 정보가 포함될 수 있다. 즉, 디코더는 비트스트림에 포함된 변수 값에 대한 정보를 파싱하여 상술한 방법들이 적용되는지 여부를 결정할 수 있다. 예를 들어, 코딩 유닛의 가로의 길이 또는 세로의 길이에 기초하여 상술한 방법들이 적용될 것인지 여부가 결정될 수 있다. 가로의 길이 또는 세로의 길이가 32 이상(예, 32, 64, 128 등)이면 상술한 방법들은 적용될 수 있다. 또한 가로의 길이 또는 세로의 길이가 32 보다 작은 경우(예, 2, 4, 8, 16)에 상술한 방법들은 적용될 수 있다. 또한 가로의 길이 또는 세로의 길이가 4 또는 8인 경우 상술한 방법들은 적용될 수 있다.Whether the methods described herein will be applied depends on slice type information (e.g., whether it is an I slice, a P slice, or a B slice), whether it is a tile, whether it is a subpicture, the size of the current block, the depth of the coding unit, and the current block. It may be determined based on at least one of information about whether it is a luminance block or a chrominance block, whether it is a reference frame or a non-reference frame, reference order, and temporal hierarchy according to the hierarchy. Information used to determine whether the methods described in this specification will be applied may be information previously agreed upon between the decoder and the encoder. Additionally, this information may be determined according to profile and level. This information can be expressed as variable values, and the bitstream can include information about variable values. That is, the decoder can determine whether the above-described methods are applied by parsing information about variable values included in the bitstream. For example, it may be determined whether the above-described methods will be applied based on the horizontal or vertical length of the coding unit. If the horizontal or vertical length is 32 or more (e.g., 32, 64, 128, etc.), the above-described methods can be applied. Additionally, the above-described methods can be applied when the horizontal or vertical length is less than 32 (e.g., 2, 4, 8, 16). Additionally, the above-described methods can be applied when the horizontal or vertical length is 4 or 8.

도 8은 본 발명의 실시 예에 따른 비디오 신호 처리 장치가 현재 블록의 화면 내 및 화면 간 예측 모드를 저장하는 것을 보여준다.Figure 8 shows that a video signal processing device according to an embodiment of the present invention stores intra-screen and inter-screen prediction modes of the current block.

현재 블록을 예측하는 방법은 크게 공간적인 상관성을 이용하여 인트라 예측을 수행하는 것과 시간적인 상관성을 이용하여 인터 예측을 수행하는 방법으로 구분될 수 있다. 현재 블록이 인트라 예측을 통해 복원된 블록이라면, 디코더는 메모리에 현재 블록의 인트라 예측과 관련된 정보를 저장하고 현재 블록의 인터 예측에 관한 정보는 저장하지 않는다. 현재 블록이 인터 예측을 통해 복원된 블록이라면, 디코더는 메모리에 현재 블록의 인터 예측과 관련된 정보를 저장하고 현재 블록의 인트라 예측에 관한 정보는 저장하지 않는다. Methods for predicting the current block can be broadly divided into intra prediction using spatial correlation and inter prediction using temporal correlation. If the current block is a block restored through intra prediction, the decoder stores information related to intra prediction of the current block in memory and does not store information related to inter prediction of the current block. If the current block is a block restored through inter prediction, the decoder stores information related to inter prediction of the current block in memory and does not store information related to intra prediction of the current block.

또한, 현재 블록의 부호화 정보는 주변 블록의 부호화된 정보를 통해서 예측될 수 있다. 예를 들어, 현재 블록이 인트라 예측을 통해 복원될 경우, 디코더는 현재 블록의 주변 블록의 인트라 예측에 관한 정보를 통해 현재 블록에 대해 예측할 수 있다. 다만, 현재 블록의 주변 블록이 인터 예측을 통해 복원된 블록일 경우, 현재 블록의 인트라 예측의 효율이 낮아질 수 있다. Additionally, the encoding information of the current block can be predicted through the encoded information of neighboring blocks. For example, when the current block is restored through intra prediction, the decoder can predict the current block through information about intra prediction of neighboring blocks of the current block. However, if the neighboring block of the current block is a block restored through inter prediction, the efficiency of intra prediction of the current block may be reduced.

디코더는 인터 예측을 통해 복원된 블록의 인트라 예측에 관한 정보를 저장할 수 있다. 이름 통해 인터 예측을 통해 복원된 블록 다음에 처리될 블록의 인트라 예측의 효율을 높일 수 있다. 도 8(a)는 이러한 방법이 적용될 때 메모리에 인트라 예측에 관한 정보가 저장되는 것을 보여준다. 이때, 인터 예측을 통해 복원된 블록의 인트라 예측에 관한 정보는 인터 예측에 사용된 참조 블록의 인트라 예측에 관한 정보일 수 있다. 이는 현재 블록의 영상 특성과 참조 블록의 영상 특성이 유사할 가능성이 높은 것을 이용하는 것이다.The decoder can store information about intra prediction of a block restored through inter prediction. The efficiency of intra prediction of the block to be processed next to the block restored through inter prediction can be increased through name. Figure 8(a) shows that information about intra prediction is stored in memory when this method is applied. At this time, information about intra prediction of a block restored through inter prediction may be information about intra prediction of a reference block used for inter prediction. This utilizes the fact that the image characteristics of the current block and the image characteristics of the reference block are likely to be similar.

현재 블록이 인터 예측을 통해 복원될 경우, 디코더는 현재 블록의 주변 블록의 인터 예측에 관한 정보를 통해 현재 블록에 대해 예측할 수 있다. 현재 블록의 주변 블록이 인트라 예측을 통해 복원된 블록일 경우, 현재 블록의 인터 예측의 효율이 낮아질 수 있다.When the current block is restored through inter prediction, the decoder can predict the current block through information about inter prediction of neighboring blocks of the current block. If the neighboring block of the current block is a block restored through intra prediction, the efficiency of inter prediction of the current block may be reduced.

디코더는 인트라 예측을 통해 복원된 블록의 인터 예측에 관한 정보를 저장할 수 있다. 이름 통해 인트라 예측을 통해 복원된 블록 다음에 처리될 블록의 인터 예측의 효율을 높일 수 있다. 도 8(b)는 이러한 방법이 적용될 때 메모리에 인터 예측에 관한 정보가 저장되는 것을 보여준다. 이때, 인트라 예측을 통해 복원된 블록의 인터 예측에 관한 정보는 인트라 예측에서 참조 픽셀로 사용된 주변 블록의 인터 예측에 관한 정보일 수 있다. 이는 현재 블록의 영상 특성과 참조 블록의 영상 특성이 유사할 가능성이 높은 것을 이용하는 것이다.The decoder can store information about inter prediction of a block restored through intra prediction. The efficiency of inter prediction of the block to be processed after the block restored through intra prediction through name can be increased. Figure 8(b) shows that information about inter prediction is stored in memory when this method is applied. At this time, information about inter prediction of a block restored through intra prediction may be information about inter prediction of a neighboring block used as a reference pixel in intra prediction. This utilizes the fact that the image characteristics of the current block and the image characteristics of the reference block are likely to be similar.

도 9는 도 8을 통해 설명한 현재 블록의 주변 블록의 정보를 이용하여 현재 블록을 예측하는 것을 보여준다. FIG. 9 shows predicting the current block using information on neighboring blocks of the current block described in FIG. 8.

현재 블록이 인트라 예측을 통해 복원되는 경우, 디코더는 현재 블록의 주변 블록의 인트라 예측에 관한 정보를 사용하여 MPM 리스트를 생성하고, 생성된 MPM 리스트를 기초로 현재 블록의 인트라 예측 모드를 유도할 수 있다. 이때, 현재 블록의 주변 블록이 인터 예측을 통해 복원된 경우, 디코더는 주변 블록의 인트라 예측에 관한 정보를 사용하여 MPM 리스트를 생성할 수 있다. 이때, 인트라 예측에 관한 정보는 인트라 예측 모드일 수 있다.When the current block is restored through intra prediction, the decoder can generate an MPM list using information about the intra prediction of neighboring blocks of the current block, and derive the intra prediction mode of the current block based on the generated MPM list. there is. At this time, when the neighboring block of the current block is restored through inter prediction, the decoder can generate an MPM list using information about intra prediction of the neighboring block. At this time, information about intra prediction may be an intra prediction mode.

현재 블록이 인터 예측을 통해 복원되는 경우, 디코더는 현재 블록의 주변 블록의 인터 예측에 관한 정보를 사용하여 모션 캔디데이트 리스트(motion candidate list)를 생성하고, 생성된 모션 캔디데이트 리스트를 기초로 현재 블록의 모션 정보를 유도할 수 있다. 이후 본 명세서의 설명에서 모션 정보는 모션 벡터를 나타낼 수 있다. 이때, 현재 블록의 주변 블록이 인트라 예측을 통해 복원된 경우, 디코더는 주변 블록의 인터 예측에 관한 정보를 사용하여 모션 캔디데이트 리스트를 생성할 수 있다. 이때, 인터 예측에 관한 정보는 모션 정보일 수 있다.When the current block is restored through inter prediction, the decoder generates a motion candidate list using information about the inter prediction of neighboring blocks of the current block, and based on the generated motion candidate list, the decoder generates a motion candidate list of the current block. Motion information can be derived. In the following description of this specification, motion information may represent a motion vector. At this time, when the neighboring block of the current block is restored through intra prediction, the decoder can generate a motion candy list using information about inter prediction of the neighboring block. At this time, information regarding inter prediction may be motion information.

이러한 실시 예에서 디코더는 예측 정보를 현재 픽쳐 메모리 혹은 참조 픽쳐 메모리 중에서 적어도 하나 이상의 메모리에 저장할 수 있다.In this embodiment, the decoder may store prediction information in at least one of the current picture memory or the reference picture memory.

도 10은 본 발명의 실시 예에 따른 디코더가 인터 예측을 사용하여 복원한 블록의 움직임 정보를 사용하여 인터 예측에서 참조하는 블록의 인트라 예측 모드를 인터 예측을 사용하여 복원한 블록에 대응하는 인트라 예측 모드로 유도하는 것을 보여준다. 이때, 복원한 블록은 현재 블록일 수 있다.Figure 10 shows the intra prediction mode of the block referenced in inter prediction using the motion information of the block restored using inter prediction by the decoder according to an embodiment of the present invention, and the intra prediction corresponding to the block restored using inter prediction. It shows how to induce the mode. At this time, the restored block may be the current block.

앞서 설명한 봐와 같이, 디코더는 인터 예측을 사용하여 복원한 블록의 움직임 정보를 사용하여 참조 블록의 인트라 예측 모드를 유도할 수 있다. 유도된 참조 블록의 인트라 예측 모드는 복원한 블록의 인트라 예측 모드로 저장될 수 있다. 구체적으로 디코더는 참조 블록의 인트라 예측 모드를 복원한 블록의 인트라 예측 모드로 저장할 수 있다. 이때, 디코더는 복원한 블록의 복원에 사용된 모션 정보에 따라 복원한 블록을 참조 픽쳐로 이동한 위치의 블록을 참조 블록으로 판단한다.As described above, the decoder can derive the intra prediction mode of the reference block using the motion information of the block restored using inter prediction. The intra prediction mode of the derived reference block may be stored as the intra prediction mode of the reconstructed block. Specifically, the decoder can save the intra prediction mode of the reference block as the intra prediction mode of the restored block. At this time, the decoder determines that the block at which the restored block is moved to the reference picture is the reference block according to the motion information used to restore the restored block.

디코더는 픽셀 마다 인트라 예측 모드를 저장할 수 있다. 또 다른 구체적인 실시 예에서 디코더는 미리 지정된 크기 단위로 인트라 예측 모드를 저장할 수 있다. 예컨대, 디코더는 블록 마다 2개 이상의 인트라 예측 모드를 저장할 수 있다. 또한, 미리 지정된 크기는 4x4 픽셀 또는 8x8 픽셀일 수 있다.The decoder can store intra prediction modes per pixel. In another specific embodiment, the decoder may store the intra prediction mode in units of a predetermined size. For example, the decoder can store two or more intra prediction modes per block. Additionally, the pre-specified size may be 4x4 pixels or 8x8 pixels.

도 10의 실시 예에서, 현재 블록은 인터 예측에 의해 복원된다. 이때, 디코더는 현재 블록이 참조하는 참조 픽쳐에서 현재 블록의 모션 정보에 따라 현재 블록에 대응하는 참조 블록을 획득한다. 이때, 디코더는 현재 블록의 특정 픽셀에 대응하는 픽셀의 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 저장한다. 여기서, 픽셀의 인트라 예측 모드는 픽셀의 수평 및 수직 위치에 저장된 인트라 예측 모드이며, 설명의 편의를 위해 픽셀의 인트라 예측 모드로 지칭한다. 도 10의 실시 예에서 현재 블록의 특정 픽셀은 좌상단 픽셀이다. 구체적인 실시 예에서 현재 블록의 특정 픽셀은 현재 블록의 중앙 픽셀일 수 있다. 이때, 디코더는 현재 블록의 인트라 예측 모드는 참조 픽쳐의 K8의 인트라 예측 모드로 판단한다. 설명의 편의를 위해 이후 설명에서 인트라 예측 모드가 추출되는 참조 픽쳐의 픽셀을 추출 픽셀이라 지칭한다.In the embodiment of Figure 10, the current block is restored by inter prediction. At this time, the decoder obtains a reference block corresponding to the current block according to the motion information of the current block from the reference picture referenced by the current block. At this time, the decoder stores the intra prediction mode of the pixel corresponding to a specific pixel of the current block as the intra prediction mode of the current block. Here, the intra prediction mode of the pixel is an intra prediction mode stored in the horizontal and vertical positions of the pixel, and is referred to as the intra prediction mode of the pixel for convenience of explanation. In the embodiment of Figure 10, the specific pixel of the current block is the upper left pixel. In a specific embodiment, a specific pixel of the current block may be the central pixel of the current block. At this time, the decoder determines that the intra prediction mode of the current block is the intra prediction mode of K8 of the reference picture. For convenience of explanation, the pixels of the reference picture from which the intra prediction mode is extracted are referred to as extraction pixels in the following description.

도 11은 본 발명의 실시 예에 따른 디코더가 현재 블록에 인트라 예측을 사용하여 현재 블록을 복원하는 경우, 인터 예측을 사용하여 복원된 현재 블록의 주변 블록의 인트라 예측 모드를 유도하는 것을 보여준다.Figure 11 shows that when a decoder according to an embodiment of the present invention restores a current block using intra prediction, it derives an intra prediction mode of a neighboring block of the restored current block using inter prediction.

앞서 설명한 바와 같이 현재 블록이 인트라 예측을 통해 복원되는 경우, 디코더는 현재 블록의 주변 블록의 인트라 예측에 관한 정보를 사용하여 MPM 리스트를 생성하고, 생성된 MPM 리스트를 기초로 현재 블록의 인트라 예측 모드를 유도할 수 있다. 이때, 주변 블록이 인터 예측에 의해 복원되는 경우, 주변 블록의 인트라 예측에 관한 정보는 주변 블록의 참조 블록으로부터 유도된 인트라 예측 모드일 수 있다. 디코더는 도 10을 통해 설명한 것과 같이 주변 블록의 참조 블록으로부터 주변 블록의 인트라 예측 모드를 유도한다.As described above, when the current block is restored through intra prediction, the decoder generates an MPM list using information about intra prediction of neighboring blocks of the current block, and determines the intra prediction mode of the current block based on the generated MPM list. can be derived. At this time, when the neighboring block is restored by inter prediction, information regarding intra prediction of the neighboring block may be an intra prediction mode derived from the reference block of the neighboring block. As described with reference to FIG. 10, the decoder derives the intra prediction mode of the neighboring block from the reference block of the neighboring block.

도 11의 실시 예에서 디코더는 현재 블록의 주변 블록인 Ne-A0 블록의 참조 블록으부터 인트라 예측 모드를 유도한다. 이때, 디코더는 Ne-A0 블록의 복원에 사용된 모션 정보에 따라 Ne-A0 블록을 참조 픽쳐로 이동한 위치의 블록을 참조 블록으로 판단한다. 디코더는 도 10을 통해 설명한 바와 같이 참조 블록의 좌상단(H4)의 픽셀에 해당하는 인트라 예측 모드를 Ne-A0 블록의 인트라 예측 모드로 판단한다.In the embodiment of Figure 11, the decoder derives the intra prediction mode from the reference block of the Ne-A0 block, which is a neighboring block of the current block. At this time, the decoder determines the block at the position where the Ne-A0 block is moved to the reference picture as the reference block according to the motion information used to restore the Ne-A0 block. As explained with reference to FIG. 10, the decoder determines the intra prediction mode corresponding to the pixel in the upper left corner (H4) of the reference block as the intra prediction mode of the Ne-A0 block.

현재 블록의 인트라 예측 모드는 주변 블록의 인트라 예측 모드와 유사할 가능성이 높다. 또한, 주변 블록의 인트라 예측 모드를 유도하기 위해 사용되는 위치가 현재 블록과 가까울수록 인트라 예측 모드의 정확도가 더욱 높아질 가능성이 높다. 따라서 디코더는 참조 픽쳐에서 현재 블록에 대응하는 블록과 추출 픽셀과의 거리를 기초로 추출 픽셀의 위치를 결정할 수 있다. 도 11의 실시 예에서 디코더는 Ne-A0 블록의 참조 블록의 H5 또는 I5에 대응되는 인트라 예측 모드를 Ne-A0 블록의 인트라 예측 모드로 판단할 수 있다. 디코더는 Ne-L1/L2 블록의 참조 블록의 I11 픽셀, I13 픽셀, 또는 I15 픽셀에 대응되는 인트라 예측 모드를 Ne-L1/L2 블록의 인트라 예측 모드로 판단할 수 있다.The intra prediction mode of the current block is likely to be similar to the intra prediction mode of neighboring blocks. Additionally, the closer the location used to derive the intra prediction mode of a neighboring block is to the current block, the higher the accuracy of the intra prediction mode is likely to be. Therefore, the decoder can determine the location of the extracted pixel based on the distance between the block corresponding to the current block in the reference picture and the extracted pixel. In the embodiment of FIG. 11, the decoder may determine that the intra prediction mode corresponding to H5 or I5 of the reference block of the Ne-A0 block is the intra prediction mode of the Ne-A0 block. The decoder may determine the intra prediction mode corresponding to the I11 pixel, I13 pixel, or I15 pixel of the reference block of the Ne-L1/L2 block as the intra prediction mode of the Ne-L1/L2 block.

디코더가 참조 픽쳐의 인트라 예측 모드를 추출하는 픽셀의 위치를 결정하는 또 다른 실시 예에 대해 도 12를 통해 설명한다.Another embodiment in which the decoder determines the location of the pixel from which the intra prediction mode of the reference picture is extracted will be described with reference to FIG. 12.

도 12는 본 발명의 실시 예에 따른 디코더가 인터 예측을 사용하여 복원한 주변 블록의 움직임 정보를 현재 블록의 픽셀에 적용하여 주변 블록에 대응하는 인트라 예측 모드를 유도하는 과정을 보여준다.Figure 12 shows a process in which a decoder according to an embodiment of the present invention applies motion information of a neighboring block restored using inter prediction to pixels of the current block to derive an intra prediction mode corresponding to the neighboring block.

앞서 설명한 실시 예에서는 디코더가 주변 블록의 모션 정보에 따라 참조 픽쳐에서 특정 픽셀에 대응하는 픽셀을 추출 픽셀로 판단하고, 추출 픽셀의 인트라 예측 모드를 주변 블록에 대응하는 인트라 예측 모드로 판단하는 것을 설명하였다. 디코더는 추출 픽셀을 현재 블록의 특정 픽셀을 현재 블록의 주변 블록의 모션 정보에 따라 참조 픽쳐로 이동할 때 현재 블록의 특정 픽셀에 대응하는 픽셀로 결정할 수 있다.In the above-described embodiment, it is explained that the decoder determines the pixel corresponding to a specific pixel in the reference picture as the extraction pixel according to the motion information of the neighboring block, and determines the intra prediction mode of the extracted pixel as the intra prediction mode corresponding to the neighboring block. did. The decoder may determine the extracted pixel as a pixel corresponding to a specific pixel of the current block when moving the specific pixel of the current block to a reference picture according to motion information of neighboring blocks of the current block.

디코더는 현재 블록의 중앙 픽셀을 주변 블록의 모션 정보를 사용하여 참조 픽쳐로 이동시켰을 때 대응하는 픽셀을 추출 픽셀로 판단할 수 있다. 도 12의 실시 예에서 현재 블록의 중앙 픽셀을 Ne-A2/A3 블록의 모션 정보를 적용하여 참조 픽쳐로 이동시켰을 때 대응하는 픽셀인 M10 픽셀을 추출 픽셀로 판단한다. 디코더는 M10 픽셀의 인트라 예측 모드를 Ne-A2/A3 블록의 인트라 예측 모드로 사용할 수 있다. When the decoder moves the central pixel of the current block to the reference picture using the motion information of the surrounding blocks, the decoder may determine the corresponding pixel as the extracted pixel. In the embodiment of Figure 12, when the central pixel of the current block is moved to the reference picture by applying the motion information of the Ne-A2/A3 block, the corresponding pixel, M10 pixel, is determined as the extraction pixel. The decoder can use the intra prediction mode of the M10 pixel as the intra prediction mode of the Ne-A2/A3 block.

디코더는 유도한 주변 블록의 인트라 예측 모드를 현재 블록의 MPM 리스트를 생성하는데 사용할 수 있다. 또한, 디코더는 현재 블록의 임의의 픽셀을 주변 블록의 모션 정보를 사용하여 참조 픽쳐로 이동시켰을 때 대응하는 픽셀을 추출 픽셀로 판단할 수 있다. 이때, 임의의 픽셀은 현재 블록의 좌상단 픽셀, 현재 블록의 상단 중앙 픽셀, 현재 블록의 우상단 픽셀, 현재 블록의 좌측 중앙 픽셀, 현재 블록의 좌하단 픽셀, 현재 블록의 하측 중앙 픽셀, 현재 블록의 우하단 픽셀 또는 현재 블록의 우측 중앙 픽셀, 현재 블록의 가운데 픽셀 중 하나일 수 있다.The decoder can use the intra prediction mode of the derived neighboring block to generate the MPM list of the current block. Additionally, when a random pixel of the current block is moved to a reference picture using motion information of a neighboring block, the decoder may determine the corresponding pixel to be an extracted pixel. At this time, the random pixel is the upper left pixel of the current block, the upper center pixel of the current block, the upper right pixel of the current block, the left center pixel of the current block, the lower left pixel of the current block, the lower center pixel of the current block, and the right side of the current block. It can be one of the bottom pixel, the right center pixel of the current block, or the center pixel of the current block.

도 13은 본 발명의 실시 예에 따른 디코더가 인터 예측을 사용하여 복원한 주변 블록의 움직임 정보를 현재 블록의 서브 블록의 픽셀에 적용하여 주변 블록에 대응하는 인트라 예측 모드를 유도하는 과정을 보여준다.Figure 13 shows a process in which a decoder according to an embodiment of the present invention applies motion information of a neighboring block restored using inter prediction to pixels of a subblock of the current block to derive an intra prediction mode corresponding to the neighboring block.

디코더는 현재 블록을 복수의 서브 블록으로 분할하고, 서브 블록 별로 인터 예측을 사용하여 복원할 수 있다. 구체적으로 디코더는 현재 블록의 서브 블록 별로 인트라 예측 모드를 유도할 수 있다.The decoder can divide the current block into a plurality of sub-blocks and restore them using inter prediction for each sub-block. Specifically, the decoder can derive an intra prediction mode for each subblock of the current block.

디코더는 현재 블록의 주변 블록의 인트라 예측 모드를 사용하여 블록의 경계에 인접한 서브 블록, 도 13에서 A0/L0 블록, A1 블록, A2 블록, A3 블록, L1 블록, L2 블록, 및 L3 블록을 복원할 수 있다. 또한, 디코더는 현재 블록의 경계에 인접하지 않은 서브 블록, 도 13에서 A1/L1 블록, A2/L1 블록, A3/L2 블록, A1/L2 블록, A2/L2 블록, A3/L2 블록, A1/L3 블록, A2/L3 블록 및 A3/L3 블록을 주변 블록의 움직임 정보에 따라 참조 픽쳐로 이동시킨 블록의 인트라 예측 모드를 유도하고, 유도한 인트라 예측 모드를 사용하여 현재 블록의 경계에 인접하지 않은 서브 블록을 복원할 수 있다. 디코더는 현재 블록의 경계에 인접하지 않은 서브 블록에 대해 복수의 인트라 예측 모드를 유도할 수 있고, 유도한 복수의 인트라 예측 모드 중 어느 하나를 사용하여 현재 블록의 경계에 인접하지 않은 서브 블록을 복원할 수 있다. 예컨대, 도 13의 실시 예에서 디코더는 A2/L2 블록을 위해 주변 블록인 블록 Ne-A2/A3의 모션 정보에 따라 픽셀 N11을 제1 추출 픽셀로 판단할 수 있다. 또한, 디코더는 주변 블록인 블록 Ne-L1/L2의 모션 정보에 따라 N14를 제2 추출 픽셀로 판단한다. 또한, 디코더는 주변 블록인 블록 Ne-L3의 모션 정보에 따라 O15를 제3 추출 픽셀로 판단한다. 이때, 디코더는 제1 추출 픽셀에 저장된 인트라 예측 모드 A, 제2 추출 픽셀에 저장된 인트라 예측 모드 B 및 제3 추출 픽셀에 저장된 인트라 예측 모드 C 중 하나를 사용하여 A2/L2 블록을 복원할 수 있다. 이러한 실시 예에서 디코더는 유도한 복수의 인트라 예측 모드 중 최적의 인트라 예측 모드를 사용하여 현재 블록의 경계에 인접하지 않은 서브 블록을 복원할 수 있다. 디코더는 획득한 복수의 인트라 예측 모드의 인덱스 값 중 중앙값을 최적의 인트라 예측 모드로 판단할 수 있다. 또 다른 구체적인 실시 예에서 디코더는 획득한 복수의 인트라 예측 모드의 인덱스 값 중 평균값을 최적의 인트라 예측 모드로 판단할 수 있다. 또 다른 구체적인 실시 예에서 디코더는 획득한 복수의 인트라 예측 모드의 인덱스 값 중 최솟값을 최적의 인트라 예측 모드로 판단할 수 있다. 또 다른 구체적인 실시 예에서 디코더는 획득한 복수의 인트라 예측 모드의 인덱스 값을 가중 평균하여 최적의 인트라 예측 모드로 판단할 수 있다. 앞서 설명한 실시 예들에서 주변 블록은 현재 블록에 공간적으로 인접한 주변 블록 혹은 참조 픽쳐에서 현재 블록에 대응되는 시간적으로 대응되는 블록일 수 있다.The decoder uses the intra prediction mode of the neighboring blocks of the current block to restore the subblocks adjacent to the boundary of the block, A0/L0 blocks, A1 blocks, A2 blocks, A3 blocks, L1 blocks, L2 blocks, and L3 blocks in Figure 13. can do. In addition, the decoder detects subblocks that are not adjacent to the boundary of the current block, such as A1/L1 block, A2/L1 block, A3/L2 block, A1/L2 block, A2/L2 block, A3/L2 block, A1/L1 block in Figure 13. Derive the intra prediction mode of the block in which the L3 block, A2/L3 block, and A3/L3 block are moved to the reference picture according to the motion information of the neighboring blocks, and use the derived intra prediction mode to determine the block that is not adjacent to the boundary of the current block. Subblocks can be restored. The decoder may derive a plurality of intra prediction modes for subblocks that are not adjacent to the boundary of the current block, and use any one of the multiple intra prediction modes to restore the subblock that is not adjacent to the boundary of the current block. can do. For example, in the embodiment of FIG. 13, the decoder may determine pixel N11 as the first extracted pixel according to motion information of block Ne-A2/A3, which is a neighboring block for block A2/L2. Additionally, the decoder determines N14 as the second extracted pixel according to the motion information of blocks Ne-L1/L2, which are neighboring blocks. Additionally, the decoder determines O15 as the third extracted pixel according to the motion information of block Ne-L3, which is a neighboring block. At this time, the decoder can restore the A2/L2 block using one of intra prediction mode A stored in the first extraction pixel, intra prediction mode B stored in the second extraction pixel, and intra prediction mode C stored in the third extraction pixel. . In this embodiment, the decoder can restore a sub-block that is not adjacent to the boundary of the current block using the optimal intra-prediction mode among the plurality of intra-prediction modes derived. The decoder may determine the median value among the index values of the plurality of intra prediction modes obtained as the optimal intra prediction mode. In another specific embodiment, the decoder may determine the average value among the index values of the plurality of acquired intra prediction modes as the optimal intra prediction mode. In another specific embodiment, the decoder may determine the minimum value among the index values of the plurality of acquired intra prediction modes as the optimal intra prediction mode. In another specific embodiment, the decoder may determine the optimal intra prediction mode by performing a weighted average of the index values of the plurality of intra prediction modes obtained. In the above-described embodiments, the neighboring block may be a neighboring block spatially adjacent to the current block or a block temporally corresponding to the current block in the reference picture.

도 14는 본 발명의 실시 예에 따른 디코더가 현재 블록을 인트라 예측을 사용하여 복원할 때, 현재 블록을 위한 모션 정보를 저장하는 방법을 보여준다.Figure 14 shows a method for storing motion information for the current block when the decoder according to an embodiment of the present invention restores the current block using intra prediction.

현재 블록이 인트라 예측에 의해 복원되는 경우, 현재 블록에는 모션 정보가 사용되지 않는다. 이때, 디코더는 현재 블록의 인트라 예측 모드를 기초로 인터 예측을 사용하여 복원된 주변 블록을 선택하고, 선택된 주변 블록의 모션 정보를 기초로 현재 블록의 모션 정보를 저장할 수 있다. 도 14의 실시 예에서 현재 블록의 인트라 예측 모드가 A방향인 경우, 디코더는 현재 블록의 상단에 위치한 주변 블록에 포함된 픽셀 중 어느 하나의 모션 정보를 현재 블록의 모션 정보를 저장할 수 있다. 또한, 현재 블록의 인트라 예측 모드가 B방향인 경우, 디코더는 현재 블록의 좌측에 위치한 주변 블록에 포함된 픽셀 중 어느 하나의 모션 정보를 현재 블록의 모션 정보를 저장할 수 있다.When the current block is restored by intra prediction, motion information is not used in the current block. At this time, the decoder may select a neighboring block restored using inter prediction based on the intra prediction mode of the current block, and store motion information of the current block based on motion information of the selected neighboring block. In the embodiment of FIG. 14 , when the intra prediction mode of the current block is the A direction, the decoder may store the motion information of any one of the pixels included in the neighboring block located at the top of the current block as the motion information of the current block. Additionally, when the intra prediction mode of the current block is in the B direction, the decoder can store the motion information of any one of the pixels included in the neighboring block located to the left of the current block as the motion information of the current block.

또한, 디코더는 I픽쳐에서 사용된 인트라 예측 모드를 다음 픽쳐에서 인터 예측을 사용해 복원된 블록에 해당하는 인트라 예측 모드로 저장할 수 있다. 이때, 디코더는 저장된 인트라 예측 모드를 또 다른 픽쳐의 인터 예측을 사용해 복원된 블록에 해당하는 인트라 예측 모드로 저장할 수 있다. 이에 대해서는 도 15를 통해 구체적으로 설명한다.Additionally, the decoder can save the intra prediction mode used in the I picture as the intra prediction mode corresponding to the block restored using inter prediction in the next picture. At this time, the decoder can save the stored intra prediction mode as an intra prediction mode corresponding to a block restored using inter prediction of another picture. This will be explained in detail with reference to FIG. 15.

도 15는 본 발명의 실시 예에 따른 디코더가 I픽쳐에서 결정한 인트라 예측 모드를 다음 픽쳐에서 인터 예측을 사용해 복원된 블록에 해당하는 인트라 예측 모드로 저장하는 것을 보여준다.Figure 15 shows that the decoder according to an embodiment of the present invention stores the intra prediction mode determined in the I picture as the intra prediction mode corresponding to the block restored using inter prediction in the next picture.

도 15에서 각 픽쳐를 시간 순서 방향(POC; Picture Order Count)으로 표시한다. POC는 각 픽쳐에 대한 출력 번호로서 시간 순서대로 증가된다. 디코더는 첫 번째 I 픽쳐에서 사용된 인트라 예측 모드 A를 다음 B 픽쳐인 픽쳐 1의 인터 예측 블록에 해당하는 인트라 예측 모드로 저장할 수 있다. 또한, 디코더는 해당 인트라 예측 모드 A를 그 다음 B 픽쳐인 픽쳐 2에서 인터 예측을 사용하여 복원한 블록에 해당하는 인트라 예측 모드로 저장할 수 있다. In Figure 15, each picture is displayed in chronological order (POC; Picture Order Count). POC is the output number for each picture and increases in chronological order. The decoder can store the intra prediction mode A used in the first I picture as the intra prediction mode corresponding to the inter prediction block of picture 1, which is the next B picture. Additionally, the decoder may store the intra prediction mode A as the intra prediction mode corresponding to the block restored using inter prediction in picture 2, which is the next B picture.

첫 번째 I 픽쳐와 시간적으로 뒤에 디코딩되는 픽쳐 사이의 상관관계가 떨어질 수 있다. 따라서 첫 번째 I 픽쳐에서 사용된 인트라 예측 모드와 I 픽쳐와 시간적으로 멀리 떨어진 픽쳐의 인터 예측을 사용하여 복원한 블록 사이의 상관 관계도 떨어질 수 있다. 디코더는 I 픽쳐에서 사용한 인트라 예측 모드를 최근에 인트라 예측을 사용하여 복원한 블록의 인트라 예측 모드로 대체하고, 대체된 인트라 예측 모드를 인터 예측을 사용하여 복원된 블록에 해당하는 인트라 예측 모드로 저장할 수 있다. 도 15에서 B 픽쳐인 픽쳐 3의 특정 블록의 복원에 사용된 모션 정보가 2개이다. 이때, 디코더는 특정 블록의 참조 블록 두 개 중 시간적으로 현재 픽처에 더 가까운 참조 픽처의 인트라 예측 모드인 B를 특정 블록의 인트라 예측 모드로 저장할 수 있다. The correlation between the first I picture and the picture that is decoded temporally later may drop. Therefore, the correlation between the intra prediction mode used in the first I picture and the block restored using inter prediction of a picture that is temporally distant from the I picture may also decrease. The decoder replaces the intra prediction mode used in the I picture with the intra prediction mode of the block recently restored using intra prediction, and stores the replaced intra prediction mode as the intra prediction mode corresponding to the block restored using inter prediction. You can. In Figure 15, there are two pieces of motion information used to restore a specific block of picture 3, which is a B picture. At this time, the decoder may store B, which is the intra prediction mode of the reference picture that is temporally closer to the current picture among the two reference blocks of the specific block, as the intra prediction mode of the specific block.

디코더가 인트라 예측 모드를 저장할 때, 디코더는 인트라 예측 모드가 사용된 픽쳐의 POC 및 인트라 예측 모드가 전파된 횟수 중 적어도 어느 하나를 인트라 예측 모드와 함께 저장할 수 있다. 디코더는 인트라 예측 모드와 함께 저장된 POC 및 전파된 횟수 중 적어도 어느 하나를 기초로 MPM 리스트에 삽입할 인트라 예측 모드의 우선순위를 결정할 수 있다. 이때, 디코더는 POC가 현재 픽쳐와 가까울수록 MPM 리스트에 삽입할 인트라 예측 모드의 우선순위를 높일 수 있다. 또한, 디코더는 전파횟수가 작을수록 MPM 리스트에 삽입할 인트라 예측 모드의 우선순위를 높일 수 있다.When the decoder stores the intra prediction mode, the decoder may store at least one of the POC of the picture in which the intra prediction mode is used and the number of times the intra prediction mode has been propagated along with the intra prediction mode. The decoder may determine the priority of the intra prediction mode to be inserted into the MPM list based on at least one of the POC stored with the intra prediction mode and the number of times it has been propagated. At this time, the decoder can increase the priority of the intra prediction mode to be inserted into the MPM list as the POC is closer to the current picture. Additionally, the decoder can increase the priority of the intra prediction mode to be inserted into the MPM list as the number of propagations decreases.

도 16은 본 발명의 실시 예에 따른 디코더가 디코딩을 수행할 때, 네트워크 상황으로 인해 특정 픽쳐의 비트스트림이 드랍(drop)되는 것을 보여준다.Figure 16 shows that when a decoder according to an embodiment of the present invention performs decoding, the bitstream of a specific picture is dropped due to network conditions.

디코더가 픽쳐를 디코딩할 때, 어느 하나의 픽처의 비트스트림이 드랍될 수 있다. 예컨대, 도 16의 실시 예에서 B 픽쳐인 픽쳐 1이 드랍될 수 있다. 이때, 디코더는 B 픽쳐인 픽쳐 2를 디코딩할 때 픽쳐 1의 정보를 확인할 수 없어 픽쳐 2를 위한 인트라 예측 모드를 유도할 수 없다. 이에 따라 디코더는 픽쳐 2의 디코딩에 실패할 수 있다. 또한, 앞서 설명한 바와 같이 현재 픽쳐를 디코딩할 때 시간적으로 멀리 떨어진 픽쳐의 인트라 예측 모드가 계속 사용될 경우, 인트라 예측의 정확도가 떨어질 수 있다. 따라서 디코더는 미리 지정된 조건에 따라 인터 예측에 의해 복원된 픽쳐에 해당하는 인트라 예측 모드로 저장된 인트라 예측 모드를 삭제하고 초기화할 필요가 있다.When the decoder decodes a picture, the bitstream of one picture may be dropped. For example, in the embodiment of FIG. 16, picture 1, which is a B picture, may be dropped. At this time, when decoding picture 2, which is a B picture, the decoder cannot check the information of picture 1 and therefore cannot derive an intra prediction mode for picture 2. Accordingly, the decoder may fail to decode picture 2. Additionally, as described above, if the intra prediction mode of a temporally distant picture continues to be used when decoding the current picture, the accuracy of intra prediction may decrease. Therefore, the decoder needs to delete and initialize the stored intra prediction mode as the intra prediction mode corresponding to the picture restored by inter prediction according to pre-specified conditions.

미리 지정된 조건은 인트라 예측 모드가 유도되는 픽쳐의 POC와 최초로 인트라 예측 모드가 유도된 픽쳐의 POC 사이의 차이에 관한 조건을 포함할 수 있다. 구체적으로 디코더는 인트라 예측 모드가 유도되는 픽쳐의 POC와 최초로 인트라 예측 모드가 유도된 픽쳐의 POC 차이가 미리 지정된 수 이상이면 저장된 저장된 인트라 예측 모드를 삭제하고 초기화할 수 있다. 미리 지정된 수는 2, 3 및 4 중 어느 하나일 수 있다. 또 다른 구체적인 실시 예에서 미리 지정된 조건을 인트라 예측 모드가 유도되는 픽쳐의 디코딩 순서와 최초로 인트라 예측 모드가 유도된 픽쳐의 디코딩 순서에 관한 조건을 포함할 수 있다. 디코더는 인트라 예측 모드가 유도되는 픽쳐의 디코딩 순서와 최초로 인트라 예측 모드가 유도된 픽쳐의 디코딩 순서의 차이가 미리 지정된 수 이상이면 저장된 인트라 예측 모드를 삭제하고 초기화할 수 있다. 미리 지정된 수는 2, 3 및 4 중 어느 하나일 수 있다.The pre-specified condition may include a condition regarding the difference between the POC of the picture from which the intra prediction mode is derived and the POC of the picture from which the intra prediction mode is first derived. Specifically, the decoder may delete and initialize the stored intra prediction mode if the difference between the POC of the picture from which the intra prediction mode is derived and the POC of the picture from which the intra prediction mode is first derived is greater than a predetermined number. The pre-specified number may be any of 2, 3, and 4. In another specific embodiment, the pre-specified conditions may include conditions regarding the decoding order of the picture from which the intra prediction mode is derived and the decoding order of the picture from which the intra prediction mode is first derived. The decoder may delete and initialize the stored intra prediction mode if the difference between the decoding order of the picture from which the intra prediction mode is derived and the decoding order of the picture from which the intra prediction mode is first derived is greater than a predetermined number. The pre-specified number may be any of 2, 3, and 4.

디코더가 저장된 인트라 예측 모드를 초기화할 때, 디코더는 인트라 예측 모드를 평면(Planar) 모드, DC 모드 또는 각도 모드 중 미리 지정된 값 중 어느 하나로 설정할 수 있다.When the decoder initializes the stored intra prediction mode, the decoder can set the intra prediction mode to any of the pre-specified values of planar mode, DC mode, or angle mode.

또한, 디코더는 PPS, 픽쳐 헤더, 슬라이스 헤더에 저장된 인트라 예측 모드가 초기화된 인트라 예측 모드의 값임을 나타내는 신택스를 저장할 수 있다. 디코더가 현재 블록에 인트라 예측을 사용하기 위해 유도한 인트라 예측 모드가 복수이고 복수의 인트라 예측 모드가 초기화된 인트라 예측 모드의 값에 해당하는 경우, 디코더는 복수의 인트라 예측 모드 중에서 초기화되지 않은 인트라 예측 모드의 값을 우선적으로 사용하여 현재 블록에 인트라 예측을 수행할 수 있다. 구체적으로 디코더는 복수의 인트라 예측 모드 중에서 초기화되지 않은 인트라 예측 모드의 값을 초기화된 인트라 예측 모드의 값보다 높은 우선순위로 MPM 리스트에 삽입할 수 있다.Additionally, the decoder may store syntax indicating that the intra prediction mode stored in the PPS, picture header, and slice header is the value of the initialized intra prediction mode. If there are multiple intra prediction modes derived by the decoder to use intra prediction in the current block and the multiple intra prediction modes correspond to the values of the initialized intra prediction modes, the decoder performs uninitialized intra prediction modes among the multiple intra prediction modes. Intra prediction can be performed on the current block by preferentially using the mode value. Specifically, the decoder may insert the value of an uninitialized intra prediction mode among a plurality of intra prediction modes into the MPM list with a higher priority than the value of the initialized intra prediction mode.

앞서 설명한 실시 예들에서 인트라 예측 모드의 값을 저장하는 방법이 문제된다. 인트라 예측 모드가 확장 각도 모드를 포함하는 경우, 인트라 예측 모드의 값은 -14 내지 80까지의 값 중 어느 하나에 해당할 수 있다. 현재 블록의 인트라 예측 모드가 명시적으로 시그널링되는 경우, 앞서 설명한 바와 같이 인트라 예측 모드의 값은 확장 각도 모드를 제외한 나머지 인트라 예측 모드를 나타내는 값 범위, 0 내지 66으로 저장된다. 이때, 디코더는 현재 블록의 가로 세로 비율에 따라 미리 지정된 오프셋 값을 인트라 예측 모드의 값에 더하여 확장 각도 모드에 해당하는 인트라 예측 모드의 값을 획득할 수 있다. 다만, 인트라 예측 모드가 유도된 블록의 가로 세로 비율과 현재 블록의 가로 세로 비율이 다를 수 있다. 따라서 이를 고려한 인트라 예측 모드의 인덱스를 저장하는 방법이 필요하다.In the previously described embodiments, there is a problem with how to store the value of the intra prediction mode. When the intra prediction mode includes an extended angle mode, the value of the intra prediction mode may correspond to any one of values from -14 to 80. When the intra prediction mode of the current block is explicitly signaled, as described above, the value of the intra prediction mode is stored as a value range of 0 to 66, representing the remaining intra prediction modes excluding the extended angle mode. At this time, the decoder may obtain the value of the intra prediction mode corresponding to the extended angle mode by adding a pre-designated offset value according to the aspect ratio of the current block to the value of the intra prediction mode. However, the aspect ratio of the block from which the intra prediction mode is derived may be different from the aspect ratio of the current block. Therefore, a method for storing the index of the intra prediction mode that takes this into account is needed.

본 발명의 첫 번째 실시 예에서 디코더가 저장할 인트라 예측 모드가 확장 각도 모드에 해당하는 경우, 디코더는 인트라 예측 모드의 값을 확장 각도 모드에 블록의 가로 세로 비율에 따라 오프셋 값이 더 해지기전의 인덱스 값으로 저장할 수 있다. 따라서 디코더가 저장하는 인트라 예측 모드의 값의 범위는 0 내지 66이다. 또한, 디코더가 현재 블록에 저장된 인트라 예측 모드를 적용할 때, 디코더는 현재 블록의 가로 세로 비율에 관계없이 저장된 인트라 예측 모드의 값을 그대로 사용할 수 있다.In the first embodiment of the present invention, when the intra prediction mode to be stored by the decoder corresponds to the extended angle mode, the decoder sets the value of the intra prediction mode to the index before adding the offset value according to the aspect ratio of the block to the extended angle mode. It can be stored as a value. Therefore, the range of the intra prediction mode value stored by the decoder is 0 to 66. Additionally, when the decoder applies the intra prediction mode stored in the current block, the decoder can use the value of the stored intra prediction mode as is, regardless of the aspect ratio of the current block.

본 발명의 두 번째 실시 예에서 디코더가 저장할 인트라 예측 모드가 확장 각도 모드에 해당하는 경우, 디코더는 인트라 예측 모드의 값을 확장 각도 모드에 블록의 가로 세로 비율에 따라 오프셋 값이 더 해지기전의 인덱스 값으로 저장할 수 있다. 따라서 디코더가 저장하는 인트라 예측 모드의 값의 범위는 0 내지 66이다. 또한, 디코더가 현재 블록에 저장된 인트라 예측 모드를 적용할 때, 디코더는 저장된 인트라 예측 모드의 값에 현재 블록의 가로 세로 비율에 따라 미리 지정된 오프셋을 더할 수 있다.In the second embodiment of the present invention, when the intra prediction mode to be stored by the decoder corresponds to the extended angle mode, the decoder sets the value of the intra prediction mode to the index before adding the offset value according to the aspect ratio of the block to the extended angle mode. It can be stored as a value. Therefore, the range of the intra prediction mode value stored by the decoder is 0 to 66. Additionally, when the decoder applies the intra prediction mode stored in the current block, the decoder may add a pre-specified offset according to the aspect ratio of the current block to the value of the stored intra prediction mode.

본 발명의 세 번째 실시 예에서 디코더가 저장할 인트라 예측 모드가 확장 각도 모드에 해당하는 경우, 디코더는 인트라 예측 모드의 값을 확장 각도 모드에 블록의 가로 세로 비율에 따라 오프셋 값이 더 해진 인덱스 값, 즉 확장 각도 모드를 지시하는 인덱스 값으로 저장할 수 있다. 따라서 디코더가 저장하는 인트라 예측 모드의 값의 범위는 -14 내지 80이다. 디코더가 현재 블록에 저장된 인트라 예측 모드를 적용할 때, 디코더는 저장된 인트라 예측 모드의 값을 변환하지 않고 그대로 사용할 수 있다.In the third embodiment of the present invention, when the intra prediction mode to be stored by the decoder corresponds to the extended angle mode, the decoder sets the value of the intra prediction mode to an index value in which an offset value is added according to the aspect ratio of the block to the extended angle mode, In other words, it can be stored as an index value indicating the extended angle mode. Therefore, the range of the intra prediction mode value stored by the decoder is -14 to 80. When the decoder applies the intra prediction mode stored in the current block, the decoder can use the value of the stored intra prediction mode as is without converting it.

본 발명의 네 번째 실시 예에서 저장할 인트라 예측 모드가 확장 각도 모드에 해당하는 경우, 디코더는 인트라 예측 모드의 값을 확장 각도 모드에 블록의 가로 세로 비율에 따라 오프셋 값이 더 해진 인덱스 값, 즉 확장 각도 모드를 지시하는 인덱스 값으로 저장할 수 있다. 따라서 디코더가 저장하는 인트라 예측 모드의 값의 범위는 -14 내지 80이다. 디코더가 현재 블록에 저장된 인트라 예측 모드를 적용할 때, 디코더는 저장된 인트라 예측 모드의 값에 현재 블록의 가로 세로 비율에 따라 미리 지정된 오프셋을 더할 수 있다.In the fourth embodiment of the present invention, when the intra prediction mode to be stored corresponds to the extended angle mode, the decoder sets the value of the intra prediction mode to an index value in which an offset value is added according to the aspect ratio of the block to the extended angle mode, that is, the extended angle mode. It can be stored as an index value indicating the angle mode. Therefore, the range of the intra prediction mode value stored by the decoder is -14 to 80. When the decoder applies the stored intra prediction mode to the current block, the decoder may add a pre-specified offset according to the aspect ratio of the current block to the value of the stored intra prediction mode.

또한, 저장할 인트라 예측 모드가 확장 각도 모드에 해당하지 않는 경우, 디코더는 인트라 예측 모드의 값을 그대로 저장할 수 있다. 이때, 디코더가 저장하는 인트라 예측 모드의 값의 범위는 0 내지 66이다. 디코더가 현재 블록에 저장된 인트라 예측 모드를 적용할 때, 디코더는 저장된 인트라 예측 모드의 값을 그대로 사용할 수 있다.Additionally, if the intra prediction mode to be stored does not correspond to the extended angle mode, the decoder can store the value of the intra prediction mode as is. At this time, the range of the intra prediction mode value stored by the decoder is 0 to 66. When the decoder applies the intra prediction mode stored in the current block, the decoder can use the value of the stored intra prediction mode as is.

또한, 저장할 인트라 예측 모드가 확장 각도 모드에 해당하지 않는 경우, 디코더는 인트라 예측 모드의 값을 그대로 저장할 수 있다. 이때, 디코더가 저장하는 인트라 예측 모드의 값의 범위는 0 내지 66이다. 디코더가 현재 블록에 저장된 인트라 예측 모드를 적용할 때, 디코더는 저장된 인트라 예측 모드의 값에 현재 블록의 가로 세로 비율에 따라 미리 지정된 오프셋을 더할 수 있다.Additionally, if the intra prediction mode to be stored does not correspond to the extended angle mode, the decoder can store the value of the intra prediction mode as is. At this time, the range of the intra prediction mode value stored by the decoder is 0 to 66. When the decoder applies the stored intra prediction mode to the current block, the decoder may add a pre-specified offset according to the aspect ratio of the current block to the value of the stored intra prediction mode.

또한, 디코더는 저장할 인트라 예측 모드가 확장 각도 모드에 해당하는지와 현재 블록에 확장 각도 모드를 적용할 수 있는지를 기초로 인트라 예측 모드를 저장할 수 있다. 구체적으로 저장할 인트라 예측 모드가 확장 각도 모드에 해당하고 현재 블록에 확장 각도 모드를 적용할 수 없는 경우, 디코더는 인트라 예측 모드를 저장하지 않을 수 있다.Additionally, the decoder may store the intra prediction mode based on whether the intra prediction mode to be stored corresponds to the extended angle mode and whether the extended angle mode can be applied to the current block. Specifically, if the intra prediction mode to be stored corresponds to the extended angle mode and the extended angle mode cannot be applied to the current block, the decoder may not store the intra prediction mode.

앞서 설명한 실시 예들에서 인트라 예측 모드의 값을 저장하는 방법에 대해 설명한다. 디코더가 인터 예측을 통해 복원된 블록에 해당하는 인트라 예측 모드를 저장할 때, 디코더는 인트라 예측 모드의 값을 양자화할 수 있다. 디코더가 인트라 예측 모드를 사용해 복원되는 블록의 인트라 예측 모드를 명시적으로 시그널링 할 때, 디코더는 인트라 예측 모드의 값을 0 내지 66 범위로 저장할 수 있다. 디코더는 인트라 예측 모드를 저장하기 위해 7 비트를 사용한다.A method of storing the value of the intra prediction mode in the previously described embodiments will be described. When the decoder stores the intra prediction mode corresponding to the block restored through inter prediction, the decoder may quantize the value of the intra prediction mode. When the decoder explicitly signals the intra prediction mode of the block being restored using the intra prediction mode, the decoder can store the value of the intra prediction mode in the range of 0 to 66. The decoder uses 7 bits to store the intra prediction mode.

도 17은 본 발명의 실시 예에 따른 디코더가 인터 예측을 통해 복원된 블록에 해당하는 인트라 예측 모드를 저장하는 방법을 보여준다.Figure 17 shows how a decoder according to an embodiment of the present invention stores an intra prediction mode corresponding to a block restored through inter prediction.

디코더는 인트라 예측 모드의 값을 미리 지정된 값으로 나누어 저장할 수 있다. 이때, 미리 지정된 값은 2일 수 있다. 예컨대, 인트라 예측 모드의 값이 33일 경우, 디코더는 인트라 예측 모드의 값을 16으로 저장할 수 있다. 이러한 실시 예에서 인터 예측을 통해 복원된 블록에 해당하는 인트라 예측 모드를 저장할 때, 디코더는 인트라 예측 모드의 값을 0 내지 33의 범위로 저장할 수 있다. 이러한 실시 예에서 디코더는 인트라 예측 모드를 저장하기 위해 6 비트를 사용한다. 디코더가 저장된 인트라 예측 모드의 값을 불러와 사용할 때, 디코더는 인트라 예측 모드의 값에 미리 지정된 값을 곱한 값을 사용할 수 있다. 예컨대, 저장된 인트라 예측 모드의 값이 16이고 미리 지정된 값이 2인 경우, 디코더는 인트라 예측 모드의 값을 32로 사용할 수 있다. The decoder can divide the value of the intra prediction mode into a pre-specified value and store it. At this time, the pre-designated value may be 2. For example, if the value of the intra prediction mode is 33, the decoder may store the value of the intra prediction mode as 16. In this embodiment, when storing the intra prediction mode corresponding to a block restored through inter prediction, the decoder may store the value of the intra prediction mode in the range of 0 to 33. In this embodiment the decoder uses 6 bits to store the intra prediction mode. When the decoder retrieves and uses the stored value of the intra prediction mode, the decoder can use the value of the intra prediction mode multiplied by a pre-specified value. For example, if the stored value of the intra prediction mode is 16 and the pre-designated value is 2, the decoder can use the value of the intra prediction mode as 32.

또한, 디코더가 인터 예측을 통해 복원된 블록에 해당하는 인트라 예측 모드를 저장할 때, 디코더는 인트라 예측 모드 미리 지정된 범위의 연속한 값을 하나의 인트라 예측 모드의 값으로 저장하는 클리핑(clipping)을 수행할 수 있다. 예컨대, 디코더가 앞서 설명한 실시 예에서 미리 지정된 값이 2일 때, 디코더는 62 내지 66를 모두 31로 저장할 수 있다. 저장된 인트라 예측 모드의 값이 31이고 미리 지정된 값이 2인 경우, 디코더는 인트라 예측 모드의 값을 62로 사용할 수 있다. Additionally, when the decoder stores the intra prediction mode corresponding to the block restored through inter prediction, the decoder performs clipping to store consecutive values in the pre-specified range of the intra prediction mode as the value of one intra prediction mode. can do. For example, when the pre-designated value of the decoder in the previously described embodiment is 2, the decoder may store all 62 to 66 as 31. If the stored intra prediction mode value is 31 and the pre-designated value is 2, the decoder can use the intra prediction mode value as 62.

또한, 이러한 실시 예들에서 디코더는 평면 모드와 DC 모드에 대해서는 양자화 및 클리핑을 수행하지 않을 수 있다. 구체적인 실시 예에서 디코더는 인트라 예측 모드의 값 0(평면 모드) 및 1(DC 모드)을 저장할 때 각각 0 및 1로 저장할 수 있다. 또한, 디코더는 인트라 예측 모드의 값 2 내지 4를 모두 2로 저장할 수 있다.Additionally, in these embodiments, the decoder may not perform quantization and clipping for the planar mode and DC mode. In a specific embodiment, the decoder may store the values 0 (flat mode) and 1 (DC mode) of the intra prediction mode as 0 and 1, respectively. Additionally, the decoder may store all values 2 to 4 of the intra prediction mode as 2.

도 17(a)는 디코더가 앞서 설명한 양자화 및 클리핑을 사용하여 인트라 예측 모드의 값을 메모리에 저장하는 것을 보여준다. 도 17(b)는 디코더가 메모리에 저장된 인트라 예측 모드의 값을 복원하는 것을 보여준다.Figure 17(a) shows the decoder storing the values of the intra prediction mode in memory using the quantization and clipping described above. Figure 17(b) shows the decoder restoring the value of the intra prediction mode stored in memory.

또한, 앞서 설명한 바와 같이 디코더는 POC 정보 및 전파 횟수 중 적어도 어느 하나를 인트라 예측 모드와 함께 저장할 수 있다. 구체적으로 디코더는 앞서 설명한 실시 예들에 따라 절감된 비트 수만큼 POC 정보 및 전파 횟수 중 적어도 어느 하나를 저장할 수 있다. 또 다른 구체적인 실시 예에서 디코더는 인트라 예측 모드의 우선순위 또는 정확도를 인트라 예측 모드와 함께 저장할 수 있다. 구체적으로 디코더는 앞서 설명한 실시 예들에 따라 절감된 비트 수만큼 인트라 예측 모드의 우선순위를 저장할 수 있다. 예컨대, 인트라 예측 모드의 값을 지시하는 비트 6비트인 경우, 디코더는 인트라 예측 모드의 우선순위를 2비트로 저장할 수 있다.Additionally, as described above, the decoder may store at least one of POC information and the number of propagation times along with the intra prediction mode. Specifically, the decoder may store at least one of POC information and the number of propagation times as much as the number of bits saved according to the embodiments described above. In another specific embodiment, the decoder may store the priority or accuracy of the intra prediction mode along with the intra prediction mode. Specifically, the decoder can store the priority of the intra prediction mode by the number of bits saved according to the embodiments described above. For example, if there are 6 bits indicating the value of the intra prediction mode, the decoder can store the priority of the intra prediction mode as 2 bits.

도 18은 본 발명의 실시 예에 따른 디코더가 CIIP모드로 부호화되는 블록에서 인트라 예측 모드를 유도하는 것을 보여준다. Figure 18 shows that the decoder according to an embodiment of the present invention derives an intra prediction mode from a block encoded in CIIP mode.

디코더가 CIIP를 이용하기 위해 인트라 예측을 이용하여 현재 블록을 복원할 때, 디코더는 현재 블록의 특정 픽셀을 현재 블록의 모션 정보에 따라 참조 픽처로 이동하였을 때 대응되는 픽셀의 인트라 예측 모드를 사용할 수 있다. 이때, 현재 블록의 특정 픽셀은 현재 블록의 좌상단 픽셀, 우상단 픽셀, 중앙 픽셀, 좌하단 픽셀, 우하단 픽셀 및 가운데 픽셀 중 어느 하나일 수 있다. 구체적인 실시 예에서 디코더가 CIIP를 이용하기 위해 인트라 예측을 이용하여 현재 블록을 복원할 때, 디코더는 현재 블록을 복수의 서브 블록으로 분할하고, 복수의 서브 블록 각각의 특정 픽셀을 참조 픽처로 이동하였을 때 대응되는 픽셀의 인트라 예측 모드를 사용할 수 있다. 이때, 서브 블록의 특정 픽셀은 서브 블록의 좌상단 픽셀, 우상단 픽셀, 중앙 픽셀, 좌하단 픽셀, 우하단 픽셀 및 가운데 픽셀 중 어느 하나일 수 있다.When the decoder restores the current block using intra prediction to use CIIP, the decoder can use the intra prediction mode of the corresponding pixel when a specific pixel of the current block is moved to the reference picture according to the motion information of the current block. there is. At this time, the specific pixel of the current block may be any one of the top left pixel, top right pixel, center pixel, bottom left pixel, bottom right pixel, and center pixel of the current block. In a specific embodiment, when the decoder restores the current block using intra prediction to use CIIP, the decoder divides the current block into a plurality of sub-blocks and moves a specific pixel in each of the plurality of sub-blocks to a reference picture. When intra prediction mode of the corresponding pixel can be used. At this time, the specific pixel of the subblock may be any one of the upper left pixel, upper right pixel, center pixel, lower left pixel, lower right pixel, and center pixel of the subblock.

디코더는 인터 예측을 수행하여 복원한 블록과 인트라 예측을 수행하여 복원 블록을 가중 평균하여 예측 블록을 생성한다.The decoder generates a prediction block by performing a weighted average of the reconstructed block by performing inter prediction and the restored block by performing intra prediction.

종래 CIIP에서 디코더는 인트라 예측 모드로 평면 모드를 사용한다. 앞서 설명한 실시 예를 따를 때 현재 블록과 상관도가 높은 블록의 인트라 예측 모드를 사용할 수 있다.In conventional CIIP, the decoder uses planar mode as the intra prediction mode. When following the previously described embodiment, the intra prediction mode of a block with high correlation with the current block can be used.

도 19는 본 발명의 실시 예에 따른 디코더가 GPM을 사용하여 현재 블록을 복원하는 것을 보여준다. Figure 19 shows that a decoder according to an embodiment of the present invention restores the current block using GPM.

디코더가 GPM을 사용하여 블록을 복원하는 경우, 디코더는 GPM의 개별 모드에 해당하는 각도와 거리를 가진 사선으로 CU를 2개의 블록으로 분할하고, 분할된 2개의 블록에 인터 예측 및 인트라 예측 중 적어도 어느 하나를 수행한다. 도 19(a)는 GPM의 개별 모드에 따라 적용되는 사선의 각도를 보여주고, 도 19(b)는 GPM의 개별 모드에 따라 적용되는 사선의 거리를 보여준다. When the decoder uses GPM to restore a block, the decoder splits the CU into two blocks with an oblique line with angles and distances corresponding to the individual modes of the GPM, and applies at least one of inter prediction and intra prediction to the two divided blocks. Do either one. Figure 19(a) shows the angle of the diagonal line applied according to the individual mode of GPM, and Figure 19(b) shows the distance of the diagonal line applied according to the individual mode of GPM.

GPM이 적용되는 GPM 블록이 인터 예측 모드로 복원되는 경우, 디코더는 GPM 블록을 GPM 블록의 모션 정보에 따라 참조 픽처로 이동하였을 때 대응되는 참조 블록의 인트라 예측 모드를 사용하여 GPM 블록을 복원할 수 있다. 참조 블록의 인트라 예측 모드는 현재 블록의 이미지 특성을 반영할 가능성이 높기 때문에, GPM 블록을 분할하는 사선과 연관성이 높을 가능성이 높기 때문이다. 구체적으로 디코더는 GPM 블록 각각에 GPM 블록의 참조 블록으로부터 유도된 인트라 예측 모드를 기초로 GPM 블록을 분할하는 사선의 각도를 유추할 수 있다. 또한, 인코더는 GPM 블록의 참조 블록으로부터 유도된 인트라 예측 모드가 지시하는 각도와 GPM 블록을 분할하는 사선의 각도와의 차이를 비트스트림에 저장할 수 있다. 설명의 편의를 위해 이러한 각도 차이를 차분 각도로 지칭한다. 이때, 디코더는 각각에 GPM 블록의 참조 블록으로부터 유도된 인트라 예측 모드와 비트스림에 저장된 차분 각도를 사용하여 GPM 블록을 분할하는 사선의 각도를 유추할 수 있다. 앞서 설명한 실시 예들에서 GPM 블록의 참조 블록으로부터 유도된 인트라 예측 모드가 두 개인 경우, 디코더는 유도된 인트라 예측 모드가 각도 모드인지를 기초로 2개의 인트라 예측 모드 중 어느 하나를 선택할 수 있다. 또한, GPM 블록의 참조 블록으로부터 유도된 인트라 예측 모드가 두 개인 경우, 디코더는 유도된 인트라 예측 모드가 지시하는 각도를 기초로 2개의 인트라 예측 모드 중 어느 하나를 선택할 수 있다. 또한, 앞서 설명한 사선의 거리는 인트라 예측 모드로부터 유추되기 어려우므로 사선의 거리를 지시하는 정보가 비트 스트림에 저장될 수 있다.If a GPM block to which GPM is applied is restored in inter prediction mode, the decoder can restore the GPM block using the intra prediction mode of the corresponding reference block when the GPM block is moved to a reference picture according to the motion information of the GPM block. there is. This is because the intra prediction mode of the reference block is likely to reflect the image characteristics of the current block and is therefore likely to be highly correlated with the diagonal line dividing the GPM block. Specifically, the decoder can infer the angle of the diagonal line dividing the GPM block based on the intra prediction mode derived from the reference block of the GPM block for each GPM block. Additionally, the encoder may store the difference between the angle indicated by the intra prediction mode derived from the reference block of the GPM block and the angle of the diagonal line dividing the GPM block in the bitstream. For convenience of explanation, this angle difference is referred to as the difference angle. At this time, the decoder can infer the angle of the diagonal line dividing the GPM block using the intra prediction mode derived from the reference block of the GPM block and the difference angle stored in the bitstream. In the previously described embodiments, when there are two intra prediction modes derived from the reference block of the GPM block, the decoder can select one of the two intra prediction modes based on whether the derived intra prediction mode is an angle mode. Additionally, when there are two intra prediction modes derived from the reference block of the GPM block, the decoder can select one of the two intra prediction modes based on the angle indicated by the derived intra prediction mode. Additionally, since the distance of the diagonal line described above is difficult to infer from the intra prediction mode, information indicating the distance of the diagonal line may be stored in the bit stream.

도 19(C)는 본 발명의 실시 예에 따라 저장되는 GPM 관련 정보의 신택스를 보여준다. merge_gpm_idx0[x0][y0]과 merge_gpm_idx1[x0][y0]는 GPM 블록의 움직임 정보를 유도하는데 사용되는 인덱스 정보들이다. 이때, 디코더는 GPM 블록을 위해 구성된 모션 캔디데이트 리스트에서 상기 인덱스 정보가 각각 지시하는 움직임 정보를 분할된 2개 블록의 움직임 정보로 각각 사용한다. 와merge_gpm_delta_angle[x0][y0]은 비트스림에 저장된 차분 각도를 지시한다. merge_gpm_distance_idx[x0][y0]는 GPM 블록에 적용되는 사선의 거리를 지시한다.Figure 19(C) shows the syntax of GPM-related information stored according to an embodiment of the present invention. merge_gpm_idx0[x0][y0] and merge_gpm_idx1[x0][y0] are index information used to derive movement information of the GPM block. At this time, the decoder uses the motion information indicated by the index information in the motion candy list configured for the GPM block as motion information for the two divided blocks. andmerge_gpm_delta_angle[x0][y0] indicates the differential angle stored in Bitstream. merge_gpm_distance_idx[x0][y0] indicates the diagonal distance applied to the GPM block.

디코더는 앞서 설명한 바와 같이 GPM 블록의 참조 블록으로부터 인트라 예측 모드를 유도하고, 유도된 인트라 예측 모드에 차분 각도(merge_gpm_delta_angle)를 더 하여 GPM 블록에 적용되는 사선의 각도를 유추할 수 있다. 또한, 디코더는 비트스트림으로부터 사선의 거리(merge_gpm_distance_idx)를 획득할 수 있다. 디코더는 유추한 사선의 각도와 획득한 사선의 거리를 사용하여 GPM 블록의 형태를 결정할 수 있다.As described above, the decoder can derive the intra prediction mode from the reference block of the GPM block and add the difference angle (merge_gpm_delta_angle) to the derived intra prediction mode to infer the angle of the diagonal line applied to the GPM block. Additionally, the decoder can obtain the diagonal distance (merge_gpm_distance_idx) from the bitstream. The decoder can determine the shape of the GPM block using the inferred diagonal angle and the obtained diagonal distance.

merge_gpm_delta_angle와 merge_gpm_distance_idx이 나타내는 값들에 CABAC(Context adaptive binary arithmetic coding)을 이용한 엔트로피 코딩이 적용될 수 있다. merge_gpm_delta_angle와 merge_gpm_distance_idx에 대한 문맥 모델은 실험을 통해 얻은 값으로 정의될 수 있다. Entropy coding using CABAC (Context adaptive binary arithmetic coding) may be applied to the values represented by merge_gpm_delta_angle and merge_gpm_distance_idx. The context model for merge_gpm_delta_angle and merge_gpm_distance_idx can be defined as values obtained through experimentation.

도 20 내지 도 21은 본 발명의 실시 예에 따른 merge_gpm_delta_angle와 merge_gpm_distance_idx의 문맥 모델을 보여준다.Figures 20 and 21 show context models of merge_gpm_delta_angle and merge_gpm_distance_idx according to an embodiment of the present invention.

구체적인 실시 예에서 도 20과 도 21은 같은 값을 가질 수 있다. 도20(a)와 도21(a)은 initValue는 merge_gpm_delta_angle과 'merge_gpm_distance_idx에 대한 문맥 모델들을 나타낸다. shiftIdx는 merge_gpm_delta_angle과 merge_gpm_distance_idx에 대한 확률을 업데이트할 때 사용된다. initValue는 현재 슬라이스의 타입이 I 슬라이스, P 슬라이스, 또는 B 슬라이스인지에 따라 결정된다. 도20(b)와 도21(b)는 각 슬라이스 타입에 따라 사용될 수 있는 문맥 모델을 나타낸다. 구체적인 실시 예에서 현재 슬라이스의 타입이 P 슬라이스일 경우, initType는 0 내지 4 중 어느 하나의 값을 가질 수 있다. 현재 슬라이스의 타입이 B 슬라이스일 경우, initType는 5 내지 9 중 어느 하나의 값을 가질 수 있다.In a specific embodiment, FIGS. 20 and 21 may have the same value. Figures 20(a) and 21(a) show context models for initValue merge_gpm_delta_angle and 'merge_gpm_distance_idx. shiftIdx is used when updating the probabilities for merge_gpm_delta_angle and merge_gpm_distance_idx. initValue is determined depending on whether the type of the current slice is an I slice, P slice, or B slice. Figures 20(b) and 21(b) show context models that can be used according to each slice type. In a specific embodiment, when the type of the current slice is P slice, initType may have any value from 0 to 4. If the type of the current slice is a B slice, initType can have any value from 5 to 9.

각 슬라이스 타입마다 사용되는 initValue는 적어도 하나 이상일 수 있다. initValue의 값은 슬라이스 타입에 따라 하나씩 정의될 수 있다. 이때, 현재 슬라이스의 타입이 P 슬라이스일 경우, initType은 0이고, 0에 대응되는 initValue는 41이다. 또한, 현재 슬라이스의 타입이 B 슬라이스일 경우, initType은 5이고 5에 대응되는 initValue는 42이다.There may be at least one initValue used for each slice type. The value of initValue can be defined one by one depending on the slice type. At this time, if the type of the current slice is P slice, initType is 0, and the initValue corresponding to 0 is 41. Additionally, if the type of the current slice is B slice, initType is 5 and the initValue corresponding to 5 is 42.

또한, 슬라이스 타입에 따른 initValue의 사용을 슬라이스마다 선택적으로 적용될 수 있다. 구체적으로 슬라이스 헤더에 정의된 sh_cabac_init_flag의 값에 따라 슬라이스 타입에 따라 매핑되는 initType의 값이 달라질 수 있다. sh_cabac_init_flag의 값이 1일 수 있다. 이때, 현재 슬라이스의 타입이 P 슬라이스일 경우, initType는 5이다. 또한, 현재 슬라이스의 타입이 B 슬라이스일 경우, initType는 0이다. sh_cabac_init_flag 값이 0일 수 있다. 이때, 현재 슬라이스의 타입이 P 슬라이스일 경우, initType는 0이다. 현재 슬라이스의 타입이 B 슬라이스일 경우, initType는 5이다.Additionally, the use of initValue according to slice type can be selectively applied to each slice. Specifically, the value of initType mapped to the slice type may vary depending on the value of sh_cabac_init_flag defined in the slice header. The value of sh_cabac_init_flag can be 1. At this time, if the type of the current slice is P slice, initType is 5. Additionally, if the type of the current slice is B slice, initType is 0. The sh_cabac_init_flag value can be 0. At this time, if the type of the current slice is P slice, initType is 0. If the type of the current slice is B slice, initType is 5.

인코더가 merge_gpm_delta_angle와 merge_gpm_distance_idx 심볼에 대한 여러 개의 문맥 모델 중에서 하나를 선택하는 방법에 대해 설명한다. 인코더는 다음의 실시 예들을 개별적으로 또는 함께 적용할 수 있다.Describes how the encoder selects one of several context models for the merge_gpm_delta_angle and merge_gpm_distance_idx symbols. The encoder can apply the following embodiments individually or together.

첫 번째 실시 예에서, 인코더는 현재 블록의 주변 블록의 merge_gpm_delta_angle의 값과 merge_gpm_distance_idx의 값을 기초로 현재 블록의 merge_gpm_delta_angle와 merge_gpm_distance_idx에 대한 문맥 모델을 선택할 수 있다. 구체적으로 인코더는 현재 블록의 주변 블록의 merge_gpm_delta_angle의 값과 merge_gpm_distance_idx의 값의 합을 기초로 현재 블록의 merge_gpm_delta_angle와 merge_gpm_distance_idx에 대한 문맥 모델을 선택할 수 있다. 이때, 현재 블록의 문맥 모델을 지시하는 문맥 인덱스의 값은 0 내지 2 중 어느 하나이다. 만일 주변 블록이 사용 불가능한 위치에 현재 블록이 위치하는 경우, merge_gpm_delta_angle의 값과 merge_gpm_distance_idx의 값의 합은 0이다.In the first embodiment, the encoder may select a context model for merge_gpm_delta_angle and merge_gpm_distance_idx of the current block based on the values of merge_gpm_delta_angle and merge_gpm_distance_idx of neighboring blocks of the current block. Specifically, the encoder can select a context model for merge_gpm_delta_angle and merge_gpm_distance_idx of the current block based on the sum of the values of merge_gpm_delta_angle and merge_gpm_distance_idx of neighboring blocks of the current block. At this time, the value of the context index indicating the context model of the current block is one of 0 to 2. If the current block is located in a location where neighboring blocks cannot be used, the sum of the value of merge_gpm_delta_angle and merge_gpm_distance_idx is 0.

두 번째 실시 예에서, 인코더는 현재 블록의 주변 블록이 템플릿 매칭을 사용했는지에 따라 현재 블록의 merge_gpm_delta_angle와 merge_gpm_distance_idx에 대한 문맥 모델을 선택할 수 있다. 현재 블록에 인접한 좌측 주변 블록의 복원과 상측 주변 블록의 복원에 모두 템플릿 매칭이 사용되는 경우, 인코더는 문맥 인덱스의 값을 2로 결정할 수 있다. 현재 블록에 인접한 좌측 주변 블록의 복원과 상측 주변 블록의 복원 중에서 템플릿 매칭이 한 개의 블록의 복원에만 사용되는 경우, 인코더는 문맥 인덱스를 1로 결정할 수 있다. 현재 블록에 인접한 좌측 주변 블록의 복원과 상측 주변 블록의 복원 모두에 템플릿 매칭이 사용되지 않는 경우, 인코더는 문맥 인덱스의 값을 0으로 결정할 수 있다.In a second embodiment, the encoder may select a context model for the current block's merge_gpm_delta_angle and merge_gpm_distance_idx depending on whether the current block's surrounding blocks used template matching. If template matching is used for both restoration of the left neighboring block adjacent to the current block and restoration of the upper neighboring block, the encoder may determine the value of the context index to be 2. If template matching is used only for restoration of one block among restoration of the left neighboring block adjacent to the current block and restoration of the upper neighboring block, the encoder may determine the context index to be 1. If template matching is not used for both the restoration of the left neighboring block adjacent to the current block and the restoration of the upper neighboring block, the encoder may determine the value of the context index to be 0.

세 번째 실시 예에서, 인코더는 현재 블록의 크기에 따라 현재 블록의 merge_gpm_delta_angle와 merge_gpm_distance_idx에 대한 문맥 모델을 선택할 수 있다. 현재 블록의 크기가 임의의 정해진 제1 값보다 큰 경우, 인코더는 문맥 인덱스의 값을 2로 결정할 수 있다. 현재 블록의 크기가 임의의 정해진 제2 값보다 작다면, 인코더는 문맥 인덱스의 값을 0으로 결정할 수 있다. 현재 블록의 크기가 제1 값과 같거나 작고 제2 값과 같거나 큰 경우, 인코더는 문맥 인덱스의 값을 1로 결정할 수 있다. 이때, 제1 값은 32x32일 수 있다. 또한, 제2 값은 16x16일 수 있다. 또한, 제1 값 및 제2 값은 현재 블록의 너비 및 높이의 합을 기초로 결정될 수 있다. In a third embodiment, the encoder may select a context model for merge_gpm_delta_angle and merge_gpm_distance_idx of the current block depending on the size of the current block. If the size of the current block is larger than an arbitrary first value, the encoder may determine the value of the context index to be 2. If the size of the current block is smaller than a second arbitrary value, the encoder may determine the value of the context index to be 0. If the size of the current block is equal to or smaller than the first value and is equal to or larger than the second value, the encoder may determine the value of the context index to be 1. At this time, the first value may be 32x32. Additionally, the second value may be 16x16. Additionally, the first value and the second value may be determined based on the sum of the width and height of the current block.

네 번째 실시 예에서, 인코더는 merge_gpm_delta_angle과 merge_gpm_distance_idx에 문맥 모델을 사용하는 이진 산술 부호화를 적용하지 않고, 고정된 확률 구간을 사용하는 바이패스(bypass) 형태의 이진 산술 부호화를 적용할 수 있다. 또한, 바이패스 형태의 이진 산술 부호화는 휘도 블록과 색차 블록에 선택적으로 적용될 수 있다. 구체적으로 휘도 블록에는 문맥 모델을 통한 이진 산술 부호화가 수행되고, 색차 블록에는 바이패스 형태의 이진 산술 부호화가 적용될 수 있다. 또 다른 구체적인 실시 예에서 색차 블록에는 문맥 모델을 통한 이진 산술 부호화가 수행되고, 휘도 블록에는 바이패스 형태의 이진 산술 부호화가 적용될 수 있다.In the fourth embodiment, the encoder may not apply binary arithmetic coding using a context model to merge_gpm_delta_angle and merge_gpm_distance_idx, but may apply binary arithmetic coding in the form of a bypass using a fixed probability interval. Additionally, binary arithmetic coding in the form of a bypass can be selectively applied to the luminance block and the chrominance block. Specifically, binary arithmetic coding using a context model may be performed on the luminance block, and binary arithmetic coding in a bypass form may be applied to the chrominance block. In another specific embodiment, binary arithmetic coding using a context model may be performed on the chrominance block, and binary arithmetic coding in a bypass form may be applied to the luminance block.

다섯 번째 실시 예에서, 인코더는 하나의 문맥 모델만을 사용하여 merge_gpm_delta_angle과 merge_gpm_distance_idx를 이진 산술 부호화할 수 있다. 슬라이스 타입에 따라 하나의 문맥 모델에 매핑되므로, 인코더는 문맥 모델 인덱스를 유도하지 않고, 고정된 문맥 모델을 슬라이스의 모든 블록에 사용할 수 있다.In a fifth embodiment, the encoder may perform binary arithmetic encoding of merge_gpm_delta_angle and merge_gpm_distance_idx using only one context model. Since each slice type is mapped to one context model, the encoder can use a fixed context model for all blocks in the slice without deriving a context model index.

도 22는 본 발명의 실시 예에 따라 인코더와 디코더가 잔여 블록에 대한 변환을 수행하여 변환 계수를 획득하는 것과 양자화된 변환 계수에 역양자화를 수행하여 잔여블록을 복원하는 것을 보여준다.Figure 22 shows that an encoder and a decoder perform transformation on a residual block to obtain a transform coefficient and perform dequantization on the quantized transform coefficient to restore the residual block according to an embodiment of the present invention.

코딩 효율을 높이기 위하여, 인코더는 앞서 설명한 잔여 신호를 변환하여 획득된 변환 계수 값을 양자화하고, 양자화된 변환 계수를 코딩할 수 있다. 앞서 설명한 바와 같이 변환부는 잔여 신호를 변환하여 변환 계수 값을 획득할 수 있다. 이때, 특정 블록의 잔여 신호는 현재 블록의 전 영역에 분산될 수 있다. 이에 따라, 인코더는 잔여 신호에 대한 주파수 영역 변환을 적용하여 저주파 영역에 에너지를 집중시킬 수 있다. 이를 통해 인코더는 코딩 효율을 향상시킬 수 있다. In order to increase coding efficiency, the encoder can quantize the transform coefficient value obtained by converting the above-described residual signal and code the quantized transform coefficient. As described above, the converter may obtain a transform coefficient value by converting the residual signal. At this time, the residual signal of a specific block may be distributed throughout the entire area of the current block. Accordingly, the encoder can focus energy in the low-frequency region by applying frequency domain transformation to the residual signal. This allows the encoder to improve coding efficiency.

인코더는 현재 블록에 대한 잔여 신호를 포함하는 적어도 하나의 잔여 블록을 획득할 수 있다. 잔여 블록은 현재 블록 또는 현재 블록으로부터 분할된 블록 중 어느 하나일 수 있다. 본 명세서에서 잔여 블록은 현재 블록의 잔여 샘플들을 포함하는 잔여 어레이(array) 또는 잔여 매트릭스(matrix)로 지칭될 수 있다. 또한, 본 명세서에서 잔여 블록은 변환 유닛 또는 변환 블록의 크기와 동일한 크기의 블록을 나타낼 수 있다.The encoder may obtain at least one residual block containing the residual signal for the current block. The remaining block may be either the current block or a block divided from the current block. In this specification, the residual block may be referred to as a residual array or residual matrix including residual samples of the current block. Additionally, in this specification, the residual block may represent a block with the same size as the size of the transform unit or transform block.

인코더는 변환 커널을 사용하여 잔여 블록을 변환할 수 있다. 잔여 블록에 대한 변환에 사용되는 변환 커널은 수직 변환 및 수평 변환의 분리 가능한 특성을 가지는 변환 커널일 수 있다. 이때, 잔여 블록에 대한 변환은 수직 변환 및 수평 변환으로 분리되어 수행될 수 있다. 예를 들어, 인코더는 잔여 블록의 수직 방향으로 변환 커널을 적용하여 수직 변환을 수행할 수 있다. 또한, 인코더는 잔여 블록의 수평 방향으로 변환 커널을 적용하여 수평 변환을 수행할 수 있다. 본 명세서에서 변환 커널은 변환 매트릭스, 변환 어레이, 변환 함수, 변환과 같이 잔여 신호의 변환에 사용되는 파라미터 세트를 지칭하는 용어로 사용될 수 있다. 일 실시예에 따라, 변환 커널은 복수의 사용 가능한 커널들 중 어느 하나일 수 있다. 또한, 수직 변환 및 수평 변환 각각에 대해 서로 다른 변환 타입에 기반한 변환 커널이 사용될 수도 있다. The encoder can transform the remaining blocks using a transformation kernel. The transformation kernel used for transformation of the remaining block may be a transformation kernel with separable characteristics of vertical transformation and horizontal transformation. At this time, transformation of the remaining block can be performed separately into vertical transformation and horizontal transformation. For example, the encoder can perform vertical transformation by applying a transformation kernel in the vertical direction of the residual block. Additionally, the encoder can perform horizontal transformation by applying a transformation kernel in the horizontal direction of the remaining block. In this specification, a transform kernel may be used as a term to refer to a set of parameters used for transforming a residual signal, such as a transform matrix, transform array, transform function, or transform. According to one embodiment, the transformation kernel may be any one of a plurality of available kernels. Additionally, transformation kernels based on different transformation types may be used for each of vertical transformation and horizontal transformation.

도22(a)와 같이, 인코더는 1차 변환을 수행하기 전에, 현재 블록의 인트라 예측 모드, 부호화 모드, 현재 블록의 크기 정보 중에서 적어도 하나 이상을 사용하여 수직 및 수평 방향에 대한 변환 방법을 유도할 수 있다. 또한, 크기가 큰 블록에 대하여 변환 과정에서의 계산 복잡도를 감소시키기 위하여, 인코더는 저주파 영역만을 남기고 고주파 영역은 0으로 처리할 수 있다. 이러한 과정을 고주파 제로화(zeroing)라고 한다. 고주파 제로화 과정에서 인코더는 저주파 영역의 크기를 임의의 정해진 크기로 설정될 수 있다. 예컨대, 인코더는 가로 및 세로의 크기를 각각 4, 8, 16, 및 32 중 어느 하나로 선택할 수 있다. As shown in Figure 22(a), before performing the first transformation, the encoder derives a transformation method for the vertical and horizontal directions using at least one of the intra prediction mode of the current block, the encoding mode, and the size information of the current block. can do. Additionally, in order to reduce computational complexity in the conversion process for large blocks, the encoder may leave only the low-frequency region and treat the high-frequency region as 0. This process is called high-frequency zeroing. During the high-frequency zeroing process, the encoder can set the size of the low-frequency region to an arbitrary, predetermined size. For example, the encoder can select any of the horizontal and vertical sizes of 4, 8, 16, and 32, respectively.

인코더는 잔여 블록으로부터 변환된 변환 블록을 양자화부로 전달하여 양자화할 수 있다. 이때, 변환 블록은 복수의 변환 계수들을 포함할 수 있다. 구체적으로 변환 블록은 2차원 배열의 복수의 변환 계수를 포함할 수 있다. 변환 블록의 크기는 잔여 블록과 마찬가지로 현재 블록 또는 현재 블록으로부터 분할된 블록 중 어느 하나와 동일할 수 있다. 양자화부로 전달된 변환 계수들은 양자화된 값으로 표현될 수 있다.The encoder can quantize the transform block converted from the residual block by transmitting it to the quantization unit. At this time, the transform block may include a plurality of transform coefficients. Specifically, the transform block may include a plurality of transform coefficients in a two-dimensional array. The size of the transform block, like the remaining block, may be the same as either the current block or a block divided from the current block. Transform coefficients transmitted to the quantization unit can be expressed as quantized values.

또한, 인코더는 변환 계수가 양자화되기 전에 추가적인 변환을 수행할 수 있다. 전술한 변환 방법은 1차 변환(primary transform)으로 지칭되고, 추가적인 변환은 2차 변환(secondary transform)으로 지칭될 수 있다. 2차 변환은 잔여 블록 별로 선택적일 수 있다. 구체적인 실시 예에서 인코더는 1차 변환만으로 저주파 영역에 에너지를 집중시키기 어려운 영역에 대해 2차 변환을 수행하여 코딩 효율을 향상시킬 수 있다. 예를 들어 인코더는 잔여 값들이 잔여 블록의 수평 또는 수직 방향 이외의 방향에서 크게 나타나는 블록에 대해 2차 변환을 추가로 수행할 수 있다. 인트라 예측을 사용해 복원된 블록의 잔여 값은 인터 예측을 사용해 복원된 블록의 잔여 값에 비해 수평 또는 수직 방향 이외의 방향으로 변화할 확률이 높다. 인코더는 인트라 예측을 사용해 복원된 블록의 잔여 신호에 대해 2차 변환을 추가로 수행할 수 있다. 또한, 인코더는 인터 예측을 사용해 복원된 블록의 잔여 신호에 대해 2차 변환을 생략할 수 있다. 인코더는 2차 변환 과정에서 1차 변환에서 사용될 수 있는 고주파 제로화를 수행할 수 있다.Additionally, the encoder may perform additional transformation before the transform coefficients are quantized. The above-described transformation method may be referred to as a primary transform, and additional transformation may be referred to as a secondary transform. Secondary transformation may be optional for each remaining block. In a specific embodiment, the encoder may improve coding efficiency by performing secondary transformation in an area where it is difficult to concentrate energy in the low-frequency region only through primary transformation. For example, the encoder may additionally perform secondary transformation on a block whose residual values appear large in a direction other than the horizontal or vertical direction of the residual block. The residual value of a block restored using intra prediction has a higher probability of changing in directions other than the horizontal or vertical direction compared to the residual value of a block restored using inter prediction. The encoder can additionally perform secondary transformation on the residual signal of the reconstructed block using intra prediction. Additionally, the encoder can omit the secondary transformation on the residual signal of the block restored using inter prediction. The encoder can perform high-frequency zeroing during the secondary conversion process, which can be used in the primary conversion.

또 다른 구체적인 실시 예에서 인코더는 현재 블록 또는 잔여 블록의 크기에 따라, 2차 변환 수행 여부를 결정할 수 있다. 또한, 인코더는 현재 블록 또는 잔여 블록의 크기에 따라 크기가 서로 다른 변환 커널을 사용할 수 있다. 예를 들어, 너비 또는 높이 중 짧은 변의 길이가 제1 미리 지정된 길이 보다 크거나 같은 블록에 대해서, 인코더는 8X8 2차 변환을 적용할 수 있다. 또한, 너비 또는 높이 중 짧은 변의 길이가 제2 미리 지정된 길이 보다 크거나 같고, 제1 미리 지정된 길이 보다 작은 블록에 대해서, 인코더는 4X4 2차 변환이 적용될 수 있다. 이때, 제1 미리 지정된 길이는 제2 미리 지정된 길이 보다 클 수 있다. 또한, 2차 변환은 1차 변환과 달리 수직 변환 및 수평 변환으로 분리되어 수행되지 않을 수 있다. 이러한 2차 변환은 저대역 비-분리 변환(Low Frequency Non-Separable Transform, LFNST)으로 지칭될 수 있다.In another specific embodiment, the encoder may determine whether to perform secondary transformation depending on the size of the current block or the remaining block. Additionally, the encoder may use transformation kernels of different sizes depending on the size of the current block or remaining blocks. For example, for a block where the length of the shorter side of width or height is greater than or equal to the first predetermined length, the encoder can apply 8X8 secondary transformation. Additionally, for blocks where the length of the shorter side of the width or height is greater than or equal to the second predetermined length and smaller than the first predetermined length, the encoder may apply 4X4 secondary transformation. At this time, the first predetermined length may be larger than the second predetermined length. Additionally, unlike the primary transformation, the secondary transformation may not be performed separately into vertical transformation and horizontal transformation. This secondary transform may be referred to as Low Frequency Non-Separable Transform (LFNST).

또한, 특정 영역의 비디오 신호의 경우, 급격한 밝기 변화로 인해 인코더가 주파수 변환을 수행하여도 고주파 대역 에너지가 줄어들지 않을 수 있다. 따라서 양자화에 의한 압축 성능이 저하될 수 있다. 또한, 잔여 값이 드물게 존재하는 영역에 대해 인코더가 변환을 수행하는 경우, 인코딩 시간 및 디코딩 시간이 불필요하게 증가할 수 있다. 따라서 인코더는 특정 영역의 잔여 신호에 대한 변환을 생략할 수 있다. 인코더는 특정 영역의 잔여 신호에 대한 변환 수행 여부를 특정 영역의 변환과 관련된 신택스 요소에 의해 결정할 수 있다. 이때, 신택스 요소는 변환 스킵 정보(transform skip information)를 포함할 수 있다. 변환 스킵 정보는 변환 스킵 플래그(transform skip flag)일 수 있다. 잔여 블록에 대한 변환 스킵 정보가 변환 스킵을 나타내는 경우, 인코더는 해당 잔여 블록에 대한 변환을 수행하지 않는다. 이때, 인코더는 해당 영역의 변환이 수행되지 않은 잔여 신호를 양자화할 수 있다.Additionally, in the case of a video signal in a specific area, the high-frequency band energy may not be reduced even if the encoder performs frequency conversion due to a sudden change in brightness. Therefore, compression performance due to quantization may deteriorate. Additionally, if the encoder performs conversion on an area in which residual values rarely exist, encoding time and decoding time may unnecessarily increase. Therefore, the encoder can omit conversion of the residual signal in a specific area. The encoder can determine whether to perform conversion on the residual signal of a specific area based on syntax elements related to conversion of the specific area. At this time, the syntax element may include transform skip information. Transformation skip information may be a transform skip flag. If the transform skip information for the residual block indicates transform skip, the encoder does not perform transform on the corresponding residual block. At this time, the encoder can quantize the residual signal for which conversion of the corresponding region has not been performed.

디코더는 앞서 설명한 변환 관련 신택스 요소를 비디오 신호의 비트스트림으로부터 파싱할 수 있다. 디코더는 비디오 신호 비트스트림을 엔트로피 디코딩하여 변환 관련 신택스 요소를 획득할 수 있다. 또한, 인코더는 변환 관련 신택스 요소를 엔트로피 코딩하여 비디오 신호 비트스트림에 포함시킬 수 있다.The decoder can parse the conversion-related syntax elements described above from the bitstream of the video signal. The decoder can obtain conversion-related syntax elements by entropy decoding the video signal bitstream. Additionally, the encoder may entropy code conversion-related syntax elements and include them in the video signal bitstream.

디코더는 비트스트림을 파싱하여 디코딩하는데 필요한 변환 과정과 관련된 정보를 획득할 수 있다. 변환 과정과 관련된 정보는 1차 및 2차 변환 타입에 대한 인덱스 정보 및 양자화된 변환 계수를 포함할 수 있다. 도22(b)는 인코더 혹은 디코더에서 역변환 과정을 도시하였다. 역변환부는 역양자화된 변환 계수를 역변환하여 잔여 신호를 획득할 수 있다. 먼저, 역변환부는 특정 영역의 변환 관련 신택스 요소로부터 해당 영역에 대한 역변환이 수행되는지 검출할 수 있다. 특정 변환 블록에 대한 변환 관련 신택스 요소가 변환 스킵을 나타내는 경우, 해당 변환 블록에 대한 변환이 생략될 수 있다. 이 경우, 변환 블록에 대해 1차 역변환 및 2차 역변환이 모두 생략될 수 있다. 또한, 역양자화된 변환 계수는 잔여 신호로 사용될 수 있다. 예를 들어, 디코더는 역양자화된 변환 계수를 잔여 신호로 사용하여 현재 블록을 복원할 수 있다. 또는 2차 역변환은 수행되고 1차 역변환은 생략될 수 있다. 이때, 2차 역변환된 값이 잔여 신호로 사용될 수 있다. 앞서 설명한 1차 역변환은 1차 변환에 대한 역변환을 나타내며, 역 1차 변환(inverse primary transform)으로 지칭될 수 있다. 2차 역변환은 2차 변환에 대한 역변환을 나타내며, 역 2차 변환(inverse secondary transform) 또는 inverse LFNST로 지칭될 수 있다. 본 발명에서 1차 (역)변환은 제1 (역)변환으로 지칭될 수 있으며, 2차 (역)변환은 제2 (역)변환으로 지칭될 수 있다.The decoder can obtain information related to the conversion process needed to parse and decode the bitstream. Information related to the transformation process may include index information and quantized transformation coefficients for primary and secondary transformation types. Figure 22(b) shows the inverse conversion process in the encoder or decoder. The inverse transform unit may obtain a residual signal by inversely transforming the inverse quantized transform coefficient. First, the inverse transformation unit can detect whether inverse transformation is performed for a specific region from the transformation-related syntax elements of the region. If a transform-related syntax element for a specific transform block indicates transform skipping, transform for the corresponding transform block may be omitted. In this case, both the first inverse transform and the second inverse transform can be omitted for the transform block. Additionally, the dequantized transform coefficient can be used as a residual signal. For example, the decoder can restore the current block using the dequantized transform coefficient as a residual signal. Alternatively, the second-order inverse transformation may be performed and the first-order inverse transformation may be omitted. At this time, the second-order inverse transformed value can be used as the residual signal. The first-order inverse transform described above represents the inverse transformation of the first-order transform, and may be referred to as an inverse primary transform. The secondary inverse transform refers to the inverse transformation of the secondary transform, and may be referred to as an inverse secondary transform or inverse LFNST. In the present invention, the first (inverse) transformation may be referred to as the first (inverse) transformation, and the secondary (inverse) transformation may be referred to as the second (inverse) transformation.

도 23은 본 발명의 실시 예에 따른 인코더 및 디코더가 현재 블록 및 주변 블록의 정보, 인트라 예측 모드, 부호화 모드, 및 파싱된 변환 타입 인덱스 정보 중 적어도 하나 이상을 사용하여 변환 타입을 유도하는 과정을 보여준다. Figure 23 shows a process in which the encoder and decoder according to an embodiment of the present invention derive a transform type using at least one of information on the current block and neighboring blocks, intra prediction mode, encoding mode, and parsed transform type index information. It shows.

변환 타입을 유도하는 방법은 인코더의 컨트롤러 또는 디코더의 컨트롤러를 통해 선택되며, 다음의 실시 예들이 개별적으로 또는 함께 적용될 수 있다.The method of deriving the conversion type is selected through the encoder's controller or the decoder's controller, and the following embodiments can be applied individually or together.

첫 번째 실시 예에서 인코더가 현재 블록을 ISP를 사용하여 부호화하고 2차 변환을 수행하는 경우, 인코더는 1차 변환 타입을 기본 변환 타입인 DCT2로 설정할 수 있다.In the first embodiment, when the encoder encodes the current block using ISP and performs secondary transformation, the encoder may set the primary transformation type to DCT2, which is the basic transformation type.

두 번째 실시 예에서 인코더가 현재 블록을 다중 변환 세트(MTS, multiple transform set)를 사용하지 않은 경우, 인코더는 현재 블록의 1차 변환 타입을 기본 변환 타입인 DCT2로 설정할 수 있다.In the second embodiment, if the encoder does not use a multiple transform set (MTS) for the current block, the encoder may set the primary transform type of the current block to DCT2, which is the basic transform type.

세 번째 실시 예에서 인코더는 현재 블록에 MTS, ISP, 또는 템플릿 매칭 모드가 사용되어 코딩되는지 및 현재 블록의 크기 중 적어도 어느 하나를 기초로 현재 블록의 변환 타입을 설정할 수 있다. 인코더가 현재 블록이 MTS, ISP 및 템플릿 매칭 모드를 사용하여 코딩하고, 현재 블록의 가로 또는 세로의 크기가 미리 지정된 크기인 경우, 인코더는 현재 블록의 변환 타입을 DST7로 설정할 수 있다. 미리 지정된 크기는 4보다 크고 16보다 작을 수 있다. 현재 블록의 가로 또는 세로의 크기가 미리 지정된 크기가 아닌 경우, 인코더는 현재 블록의 변환 타입을 DCT2로 설정할 수 있다.In a third embodiment, the encoder may set the transformation type of the current block based on at least one of whether the current block is coded using MTS, ISP, or template matching mode and the size of the current block. If the encoder codes the current block using MTS, ISP, and template matching mode, and the horizontal or vertical size of the current block is a predetermined size, the encoder may set the transformation type of the current block to DST7. The pre-specified size can be greater than 4 and less than 16. If the horizontal or vertical size of the current block is not a pre-specified size, the encoder can set the conversion type of the current block to DCT2.

네 번째 실시 예에서 인코더는 서브 블록 변환이 현재 블록에 적용되는지를 기초로 현재 블록의 변환 타입을 결정할 수 있다. 이때 서브 블록 변환은 현재 블록이 복수의 서브 블록으로 분할되고, 복수의 서브 블록 각각에 대한 변환이 적용되는 것을 나타낸다. 구체적으로 인코더는 현재 블록에 서브 블록 변환 모드가 적용되고, 현재 블록의 크기와 서브 블록의 분할 방향, 분할 타입 및 서브 블록의 기초로 각 서브 블록의 변환 타입을 결정할 수 있다. 이때, 분할 타입은 분할이 대칭 또는 비대칭인지를 지시할 수 있다. 또한, 분할 방향은 수직과 수평으로 구분될 수 있다. 현재 블록의 크기가 미리 지정된 값 이상인 경우, 인코더는 수평 및 수직 방향의 변환 타입으로 DCT2를 결정할 수 있다. 현재 블록의 크기가 미리 지정된 값 이내이고, 서브 블록 변환 모드가 적용되며, 서브 블록의 분할 타입이 수직 분할이면서 대칭으로 분할되고, 서브 블록이 좌측에 위치하는 경우, 인코더는 서브 블록의 수평 방향에 대한 변환에 DCT8을 적용하고 서브 블록의 수직 방향에 대한 변환에 DCT7을 적용할 수 있다.In a fourth embodiment, the encoder may determine the transformation type of the current block based on whether sub-block transformation is applied to the current block. At this time, subblock transformation indicates that the current block is divided into a plurality of subblocks and transformation is applied to each of the plurality of subblocks. Specifically, the encoder applies the sub-block transformation mode to the current block and can determine the transformation type of each sub-block based on the size of the current block, the division direction of the sub-block, the division type, and the sub-block. At this time, the division type may indicate whether the division is symmetrical or asymmetric. Additionally, the division direction can be divided into vertical and horizontal. If the size of the current block is greater than or equal to a pre-specified value, the encoder can determine DCT2 as the horizontal and vertical transformation type. If the size of the current block is within a pre-specified value, the sub-block conversion mode is applied, the division type of the sub-block is vertical division and symmetrically divided, and the sub-block is located on the left, the encoder operates in the horizontal direction of the sub-block. DCT8 can be applied to the transformation and DCT7 can be applied to the transformation in the vertical direction of the subblock.

다섯 번째 실시 예에서 현재 블록이 현재 블록이 인트라 예측을 사용하여 인코딩되는 경우, 인코더는 현재 블록의 인트라 예측 모드가 지시하는 방향과 현재 블록의 크기를 기초로 현재 블록에 사용할 변환 타입의 세트를 결정할 수 있다. 인코더는 결정된 변환 타입의 세트 중 가장 효율이 좋은 변환 타입을 선택하여 현재 블록에 대한 변환을 수행할 수 있다. 디코더는 인코더가 선택한 변환 타입에 대한 정보를 비트스트림으로부터 파싱하여 현재 블록에 적용된 변환 타입을 획득할 수 있다.In a fifth embodiment, if the current block is encoded using intra prediction, the encoder determines the set of transform types to use for the current block based on the size of the current block and the direction indicated by the intra prediction mode of the current block. You can. The encoder can perform transformation on the current block by selecting the most efficient transformation type from the set of determined transformation types. The decoder can obtain the transformation type applied to the current block by parsing information about the transformation type selected by the encoder from the bitstream.

여섯 번째 실시 예에서 인코더는 현재 블록이 인트라 예측을 사용하여 인코딩되는 경우, 인코더는 미리 지정된 변환 타입 세트 중 효율이 좋은 변환 타입을 선택하여 현재 블록에 대한 변환을 수행할 수 있다. 이때, 미리 지정된 변환 타입 세트는 현재 블록의 인트라 예측 모드가 지시하는 방향과 현재 블록의 크기와 관계없이 지정될 수 있다. 디코더는 인코더가 선택한 변환 타입에 대한 정보를 비트스트림으로부터 파싱하여 현재 블록에 적용된 변환 타입을 획득할 수 있다.In the sixth embodiment, when the current block is encoded using intra prediction, the encoder may perform transformation on the current block by selecting an efficient transformation type from a set of pre-specified transformation types. At this time, the pre-designated transformation type set can be specified regardless of the direction indicated by the intra prediction mode of the current block and the size of the current block. The decoder can obtain the transformation type applied to the current block by parsing information about the transformation type selected by the encoder from the bitstream.

현재 블록이 인터 예측을 사용하여 인코딩된 경우, 인코더는 미리 지정된 변환 타입 세트 중 효율이 좋은 변환 타입을 선택하여 현재 블록에 대한 변환을 수행할 수 있다. 이때, 미리 지정된 변환 타입 세트는 현재 블록의 인트라 예측 모드가 지시하는 방향과 현재 블록의 크기와 관계없이 지정될 수 있다. 디코더는 인코더가 선택한 변환 타입에 대한 정보를 비트스트림으로부터 파싱하여 현재 블록에 적용된 변환 타입을 획득할 수 있다. 구체적으로 디코더는 비스트림으로부터 현재 블록에 해당하는 mts_idx의 값을 파싱하고, mts_idx의 값에 따라 현재 블록에 적용된 변환 타입을 결정할 수 있다.If the current block is encoded using inter prediction, the encoder can perform transformation on the current block by selecting an efficient transformation type from a set of pre-specified transformation types. At this time, the pre-designated transformation type set can be specified regardless of the direction indicated by the intra prediction mode of the current block and the size of the current block. The decoder can obtain the transformation type applied to the current block by parsing information about the transformation type selected by the encoder from the bitstream. Specifically, the decoder can parse the value of mts_idx corresponding to the current block from the non-stream and determine the transformation type applied to the current block according to the value of mts_idx.

현재 블록이 인터 예측을 사용하여 인코딩된 경우, 인코더는 현재 블록의 인트라 예측 모드가 지시하는 방향, 현재 블록의 크기, 현재 블록의 가로와 세로의 비율을 기초로 현재 블록에서 사용 가능한 변환 타입 세트를 다음의 실시 예들에 따라 결정할 수 있다.If the current block is encoded using inter prediction, the encoder determines a set of transformation types available in the current block based on the direction indicated by the intra prediction mode of the current block, the size of the current block, and the width-to-height ratio of the current block. It can be decided according to the following examples.

현재 블록의 가로 및 세로의 크기를 하나의 변수로 매핑하기 위해, 디코더는 현재 블록의 크기를 기초로 nSzIdxW의 값과 nSzIdxH의 값을 설정할 수 있다. 디코더는 현재 블록의 너비에 2의 로그(log) 값을 계산하고 소수점 자리를 버리고 2를 차분한 값과 3 중 최솟값을 nSzIdxW의 값으로 설정할 수 있다. 또한 디코더는 현재 블록의 높이에 2의 로그(log) 값을 계산하고 소수점 자리를 버리고 2를 차분한 값과 3 중 최솟값을 nSzIdxH의 값으로 설정할 수 있다.To map the horizontal and vertical sizes of the current block into one variable, the decoder can set the values of nSzIdxW and nSzIdxH based on the size of the current block. The decoder can calculate the logarithm of 2 to the width of the current block, discard decimal places, and set 2 as the differential value and the minimum of 3 as the value of nSzIdxW. Additionally, the decoder can calculate the logarithm of 2 to the height of the current block, discard decimal places, and set 2 as the differential value and the minimum of 3 as the value of nSzIdxH.

현재 블록에 대한 인트라 예측 모드(preMode)를 유도하고, 현재 블록에 TIMD 모드가 적용될 경우, 인트라 예측 모드의 값은 67개가 아닌 131개로 확장된 인트라 예측 모드가 적용된다. 이때, 인코더는 인트라 예측 모드의 값을 67개로 설정하여 정밀도를 감소킬 수 있다.When the intra prediction mode (preMode) for the current block is derived and the TIMD mode is applied to the current block, the intra prediction mode value is 131 instead of 67, and an extended intra prediction mode is applied. At this time, the encoder can reduce precision by setting the value of the intra prediction mode to 67.

또한, 인코더는 ucMode의 값, nMdIDX의 값, 및 isTrTranposde의 값을 아래의 실시 예에 따라 설정할 수 있다. Additionally, the encoder may set the value of ucMode, the value of nMdIDX, and the value of isTrTranposde according to the example below.

현재 블록이 MIP를 이용하여 부호화된 경우, 인코더는 ucMode의 값은 0, mMdIdx의 값은 35 및 isTrTransposed의 값을 MIP에서 유도된 값으로 설정할 수 있다. 또한, 현재 블록이 MIP를 이용하여 부호화되지 않은 경우, 인코더는 ucMode, mMdIdx 및 isTrTransposed의 값을 다음 실시 예들에 따라 설정할 수 있다. 인코더는 ucMode의 값을 현재 블록의 인트라 예측 모드의 값으로 설정할 수 있다. 또한, 인코더는 predMode의 값을 현재 블록의 가로와 세로의 크기 비율에 따라 확장 각도 모드로 변환하여 predMode의 값으로 설정할 수 있다. 또한, 인코더는 predMode를 2에서 66 사이의 값으로 클리핑(clipping)할 수 있다. preMode의 값이 대각모드를 지시하는 34보다 클 경우, 인코더는 isTrTransposed의 값을 1로 설정할 수 있다. preMode의 값이 대각모드를 지시하는 34보다 크지 않은 경우, isTrTranspose의 값을 0으로 설정할 수 있다. predMode의 값이 34보다 큰 경우, 인코더는 preMode의 최댓값인 67에 1을 더한 값에서 preMode의 값을 차분한 값으로 preMode의 값을 설정할 수 있다. 이를 통해 대각 모드를 지시하는 preMode의 값인 34를 기준으로 preMode의 값이 분포되고, 인코더는 변환 매핑 테이블, 예컨대 도 24의 크기를 절반 정도로 줄일 수 있다.If the current block is encoded using MIP, the encoder can set the value of ucMode to 0, the value of mMdIdx to 35, and the value of isTrTransposed to a value derived from MIP. Additionally, if the current block is not encoded using MIP, the encoder may set the values of ucMode, mMdIdx, and isTrTransposed according to the following embodiments. The encoder can set the value of ucMode to the value of the intra prediction mode of the current block. Additionally, the encoder can convert the value of predMode into extended angle mode according to the size ratio of the width and height of the current block and set it as the value of predMode. Additionally, the encoder can clip predMode to a value between 2 and 66. If the value of preMode is greater than 34, which indicates diagonal mode, the encoder can set the value of isTrTransposed to 1. If the value of preMode is not greater than 34, which indicates diagonal mode, the value of isTrTranspose can be set to 0. If the value of predMode is greater than 34, the encoder can set the value of preMode to the value subtracted from the value of 67, the maximum value of preMode, plus 1. Through this, the value of preMode is distributed based on 34, which is the value of preMode indicating the diagonal mode, and the encoder can reduce the size of the conversion mapping table, for example, FIG. 24, by about half.

도 24는 본 발명의 실시 예에 따른 현재 블록의 화면 내 방향성 모드(0~34 및 MIP)와 현재 블록의 크기 인덱스(0~15)에 매핑되는 변환 타입 세트의 인덱스를 보여준다.Figure 24 shows the index of the transformation type set mapped to the on-screen orientation mode (0 to 34 and MIP) of the current block and the size index (0 to 15) of the current block according to an embodiment of the present invention.

인코더는 nSzIdxW, nSzIdxH, 및 isTrTransposed의 값을 기초로 nSzIdx의 값을 유도한다. isTrTransposed의 값이 1인 경우, 인코더는 nSzIdxH에 4를 곱하고 nSzIdxW를 더한 값을 nSzIdx의 값으로 설정할 수 있다. 인코더는 현재 블록의 크기를 지시하는 nSzIdx의 값과 현재 블록의 인트라 예측 모드의 방향을 지시하는 nMdIdx의 값을 기초로 현재 블록에 사용 가능한 변환 타입 세트의 인덱스를 지시하는 nTrSet를 유도할 수 있다. 구체적으로 인코더는 도 24의 변환 테이블을 사용하여 nSzIdx의 값과 nMdIdx의 값을 기초로 nTrSet을 유도할 수 있다. nTrSet의 값은 80가지의 변환 타입을 지시할 수 있다. 도 24의 실시 예에서 현재 블록의 크기가 4x8이고, 현재 블록의 인트라 예측 모드의 값이 13인 경우, nTrset의 값은 7이다.The encoder derives the value of nSzIdx based on the values of nSzIdxW, nSzIdxH, and isTrTransposed. If the value of isTrTransposed is 1, the encoder can multiply nSzIdxH by 4 and set the value of nSzIdxW added as the value of nSzIdx. The encoder can derive nTrSet indicating the index of the transform type set available for the current block based on the value of nSzIdx indicating the size of the current block and the value of nMdIdx indicating the direction of the intra prediction mode of the current block. Specifically, the encoder can derive nTrSet based on the value of nSzIdx and nMdIdx using the conversion table of FIG. 24. The value of nTrSet can indicate 80 types of transformation. In the embodiment of FIG. 24, when the size of the current block is 4x8 and the value of the intra prediction mode of the current block is 13, the value of nTrset is 7.

도 25는 본 발명의 실시 예에 따라 nTrSet에 대응하는 변환 타입 세트를 보여준다.Figure 25 shows a set of transformation types corresponding to nTrSet according to an embodiment of the present invention.

인코더는 파싱한 mts_idx의 값을 도 25의 테이블에 대입하여 nTrSet에 대응한 변환 타입 세트를 획득할 수 있다. 또한, 인코더는 수직 방향의 변환 타입 및 수평 방향의 변환 타입은 preMode의 값이 34보다 큰지에 따라 다르게 설정할 수 있다. nTrSet의 값이 7이고, mts_idx의 값이 3인 경우, 인코더는 2, 17, 18 및 22 중 22를 nTrSet에 대응한 변환 타입 세트의 인덱스로 결정할 수 있다.The encoder can obtain a transformation type set corresponding to nTrSet by substituting the parsed mts_idx value into the table in FIG. 25. Additionally, the encoder can set the vertical transformation type and the horizontal transformation type differently depending on whether the value of preMode is greater than 34. If the value of nTrSet is 7 and the value of mts_idx is 3, the encoder can determine 22 out of 2, 17, 18, and 22 as the index of the transformation type set corresponding to nTrSet.

도 26은 본 발명의 실시 예에 따른 변환 타입 조합 테이블을 보여준다.Figure 26 shows a conversion type combination table according to an embodiment of the present invention.

앞서 설명한 예에서 인코더는 nTrSet에 대응한 변환 타입 세트의 인덱스로 22를 선택하였고, 인코더는 도 26의 테이블에 따라 nTrSet에 대응한 변환 타입 세트를 DST1과 DCT5를 선택할 수 있다. 이때, 인코더는 블록의 수직 방향의 변환 타입을 DST1로, 수평 방향의 변환은 DCT5로 결정할 수 있다. 현재 블록의 인트라 예측 모드의 값이 34보다 클 경우, 앞서 설명한 수직 방향의 변환 타입과 수평 방향의 변환 타입이 교체될 수 있다.In the example described above, the encoder selected 22 as the index of the transformation type set corresponding to nTrSet, and the encoder may select DST1 and DCT5 as the transformation type set corresponding to nTrSet according to the table in FIG. 26. At this time, the encoder can determine the vertical transformation type of the block as DST1 and the horizontal transformation type as DCT5. If the intra prediction mode value of the current block is greater than 34, the previously described vertical transformation type and horizontal transformation type may be replaced.

mts_idx의 값이 3이고 현재 블록의 폭과 높이가 모두 16이하인 경우, 인코더는 아래의 실시 예들을 사용하여 수직 방향의 변환 타입 또는 수평 방향의 변환 타입을 IDT 변환 타입을 재설정할 수 있다.If the value of mts_idx is 3 and both the width and height of the current block are 16 or less, the encoder can reset the IDT transformation type to the vertical transformation type or the horizontal transformation type using the examples below.

도 27은 본 발명의 실시 예에 따른 IDT 변환 타입에 대한 임계값 테이블을 보여준다.Figure 27 shows a threshold table for the IDT conversion type according to an embodiment of the present invention.

현재 블록의 인트라 예측 모드의 값과 수평 방향을 지시하는 인트라 예측 모드의 값인 18 사이의 차이의 절대값이 미리 지정된 값보다 작은 경우, 인코더는 수직 방향의 변환 타입을 IDT 변환 타입으로 재설정할 수 있다. 현재 블록의 인트라 예측 모드의 값과 수평 방향을 지시하는 인트라 예측 모드의 값인 50 사이의 차이의 절대값이 미리 지정된 값보다 작은 경우, 인코더는 수평 방향의 변환 타입을 IDT 변환 타입으로 재설정할 수 있다. 앞서 설명한 실시 예들에서 미리 지정된 값은 정수일 수 있다. 또한, 현재 블록의 폭과 높이에 따라 미리 지정된 값이 결정될 수 있다. 구체적인 실시 예에서 인코더는 도 27의 테이블을 사용하여 미리 지정된 값을 결정할 수 있다. 도27(a) 테이블은 가로 혹은 세로 크기가 '4'씩 차이가 날때마다 임계값을 다르게 설정한 경우이고, 도27(b) 테이블은 가로 혹은 세로 크기가 2배씩 차이가 날때마다 임계값을 다르게 설정한 경우이다. 만일 현재 블록의 크기가 16x16 크기인 경우에는 IDT 변환 타입으로 재설정하지 않고, 기존의 변환 타입을 그대로 유지한다.If the absolute value of the difference between the value of the intra prediction mode of the current block and 18, the value of the intra prediction mode indicating the horizontal direction, is less than a pre-specified value, the encoder can reset the transformation type in the vertical direction to the IDT transformation type. . If the absolute value of the difference between the value of the intra prediction mode of the current block and 50, the value of the intra prediction mode indicating the horizontal direction, is less than a pre-specified value, the encoder can reset the transformation type in the horizontal direction to the IDT transformation type. . In the previously described embodiments, the pre-designated value may be an integer. Additionally, a pre-specified value may be determined depending on the width and height of the current block. In a specific embodiment, the encoder may determine a pre-specified value using the table in FIG. 27. The table in Figure 27(a) shows a case where the threshold value is set differently every time the horizontal or vertical size differs by '4', and the table in Figure 27(b) shows a case where the threshold value is set each time the horizontal or vertical size differs by 2. This is a case where it is set differently. If the current block size is 16x16, it is not reset to the IDT conversion type and the existing conversion type is maintained as is.

현재 블록이 인트라 예측을 통해 부호화되는 경우, 현재 블록의 잔여 신호의 분포는 예측할 샘플의 위치와 참조 픽셀과의 거리, 및 인트라 예측 모드에 따라 달라진다. 구체적으로 참조 픽셀과 예측할 샘플 사이의 거리가 가까울수록 잔여 신호의 값은 작아진다. 또한, 참조 픽셀과 예측할 샘플 사이의 거리가 멀어질수록 잔여 신호의 값은 커진다. 또한, 인트라 예측 모드가 지시하는 방향에 따라 잔여 신호의 방향성이 달라질 수 있다. 이러한 잔여 신호의 분포에 따라 현재 블록을 위한 최적의 변환 타입이 달라질 수 있다. 인코더는 현재 블록의 인트라 예측 모드, 예측할 샘플의 위치와 참조 픽셀 사이의 거리, 현재 블록의 폭 또는 높이, 현재 블록이 휘도 블록인지 또는 색차 블록인지 중 적어도 어느 하나를 기초로 현재 블록을 위한 최적의 변환 타입을 결정할 수 있다. 구체적으로 인코더는 현재 블록의 인트라 예측 모드, 예측할 샘플의 위치와 참조 픽셀 사이의 거리, 현재 블록의 폭 또는 높이, 현재 블록이 휘도 블록인지 또는 색차 블록인지 중 적어도 어느 하나를 기초로 현재 블록을 위한 최적의 변환 타입의 세트를 결정할 수 있다. 이에 대해서는 도 28를 통해 설명한다.When the current block is encoded through intra prediction, the distribution of the residual signal of the current block varies depending on the position of the sample to be predicted and the distance from the reference pixel, and the intra prediction mode. Specifically, the closer the distance between the reference pixel and the sample to be predicted, the smaller the value of the residual signal. Additionally, as the distance between the reference pixel and the sample to be predicted increases, the value of the residual signal increases. Additionally, the directionality of the residual signal may vary depending on the direction indicated by the intra prediction mode. Depending on the distribution of these residual signals, the optimal transformation type for the current block may vary. The encoder determines the optimal value for the current block based on at least one of the intra prediction mode of the current block, the distance between the position of the sample to be predicted and the reference pixel, the width or height of the current block, and whether the current block is a luminance block or a chrominance block. The conversion type can be determined. Specifically, the encoder configures the current block based on at least one of the intra prediction mode of the current block, the distance between the position of the sample to be predicted and the reference pixel, the width or height of the current block, and whether the current block is a luminance block or a chrominance block. A set of optimal transformation types can be determined. This is explained with reference to FIG. 28.

도 28은 본 발명의 실시 예에 따라 변환 타입의 세트를 획득하기 위해, 현재 블록의 폭과 높이의 비율에 따라 결정된 확장 각도 모드를 각도 모드에 재매핑하는 것을 보여준다.Figure 28 shows remapping an extended angle mode determined according to the ratio of the width and height of the current block to an angle mode to obtain a set of transformation types according to an embodiment of the present invention.

변환 타입의 세트를 결정하는데 인트라 예측 모드가 사용될 때, 인코더는 현재 블록의 폭과 높이의 비율에 따라 인코더는 확장 각도 모드를 사용할 수 있다. 이때, 도 24를 통해 설명한 매핑 테이블 사용하기 위해 인코더는 확장 각도 모드의 값을 0 내지 63에 재매핑할 필요가 있다. 구체적으로 인코더는 도 28(a)에서와 같이 0보다 작은 값을 갖는 인트라 예측 모드의 값인 -14 내지 -1을 도 24의 변환 매핑 테이블의 2번으로 재매핑할 수 있다. 또 다른 구체적인 실시 예에서 현재 블록의 확장 각도 모드의 값이 -8인 경우, 인코더는 2가 지시하는 방향을 기준으로 -8이 지시하는 방향과 대칭이되는 방향을 지시하는 10으로 -8을 재매핑할 수 있다. 또 다른 구체적인 실시 예에서 확장 각도 모드의 값이 -8인 경우, 인코더는 도 28(b)에서와 같이 중심을 기준으로 -8이 지시하는 방향과 반대 방향을 지시하는 58로 -8을 재매핑할 수 있다. 또 다른 구체적인 실시 예에서 현재 블록의 확장 각도 모드가 -8인 경우, 인코더는 18이 지시하는 수평 방향을 기준으로 -8이 지시하는 방향과 대칭 방향을 지시하는 42로 -8을 재매핑할 수 있다. 앞서 설명한 실시 예들에 따라 확장 각도 모드의 값이 재매핑될 때, 인코더는 isTrTransposed의 값을 1로 설정할 수 있다. 인코더는 앞서 설명한 실시 예들을 66보다 크고 80이하인 확장 각도 모드의 값에도 동일하게 적용할 수 있다. 예컨대, 현재 블록의 확장 각도 모드의 값이 72인 경우, 인코더는 확장 각도 모드의 값 66이 지시하는 방향을 기준으로 72가 지시하는 방향과 대칭인 60으로 72를 재매핑할 수 있다. 또 다른 구체적인 실시 예에서 현재 블록의 확장 각도 모드의 값이 72인 경우, 인코더는 중심을 기준으로 72가 지시하는 방향과 대칭 방향을 지시하는 8로 72를 재매핑할 수 있다. 또 다른 구체적인 실시 예에서 현재 블록의 확장 각도 모드의 값이 72인 경우, 인코더는 확장 각도 모드의 값 50이 지시하는 방향을 기준으로 72가 지시하는 방향과 대칭 방향을 지시하는 28로 72를 재매핑할 수 있다.When intra prediction mode is used to determine the set of transform types, the encoder may use the extended angle mode depending on the ratio of the width and height of the current block. At this time, in order to use the mapping table described with reference to FIG. 24, the encoder needs to remap the value of the extended angle mode to 0 to 63. Specifically, as shown in FIG. 28(a), the encoder can remap -14 to -1, which are values of the intra prediction mode with a value less than 0, to number 2 in the transformation mapping table of FIG. 24. In another specific embodiment, when the value of the expansion angle mode of the current block is -8, the encoder recodes -8 to 10, which indicates a direction that is symmetrical to the direction indicated by -8, based on the direction indicated by 2. It can be mapped. In another specific embodiment, when the value of the extended angle mode is -8, the encoder remaps -8 to 58, which indicates the opposite direction to the direction indicated by -8 relative to the center, as shown in FIG. 28(b). can do. In another specific embodiment, if the expansion angle mode of the current block is -8, the encoder may remap -8 to 42, which indicates a direction symmetrical to the direction indicated by -8, based on the horizontal direction indicated by 18. there is. When the value of the extended angle mode is remapped according to the embodiments described above, the encoder may set the value of isTrTransposed to 1. The encoder can equally apply the above-described embodiments to values of the extended angle mode that are greater than 66 and less than 80. For example, if the value of the extended angle mode of the current block is 72, the encoder may remap 72 to 60, which is symmetrical to the direction indicated by 72, based on the direction indicated by the extended angle mode value 66. In another specific embodiment, if the value of the expansion angle mode of the current block is 72, the encoder may remap 72 to the direction indicated by 72 based on the center and 8 indicating the symmetrical direction. In another specific embodiment, when the value of the extended angle mode of the current block is 72, the encoder recodes 72 to 28, which indicates a direction symmetrical to the direction indicated by 72, based on the direction indicated by the value 50 of the extended angle mode. It can be mapped.

도 29는 본 발명의 실시 예에 따른 디코더가 인트라 예측에 의해 예측된 블록을 복원하는 방법을 보여준다.Figure 29 shows how a decoder according to an embodiment of the present invention restores a block predicted by intra prediction.

현재 블록의 인트라 예측 모드가 0 또는 1 이거나, 또는 현재 블록이 MIP를 사용하여 부호화된 경우, 인트라 예측 모드는 비방향성 모드를 지시한다. 이때, 인코더는 앞서 설명한 도 24~도 27의 테이블을 사용한 변환 타입 결정 방법을 사용하지 않을 수 있다. 구체적으로 인코더는 임의의 정해진 변환 타입을 지정하고, 지정한 변환 타입을 지시하는 신택스를 비트스트림에 포함시킬 수 있다. 이때, 인코더가 지정하는 변환 타입은 복수의 변환 타입 중 최적의 변환 타입일 수 있다. 디코더는 인트라 예측 모드의 인트라 예측 모드가 0 또는 1이거나, 또는 현재 블록이 MIP를 사용하여 부호화된 경우, 최적의 변환 타입을 파싱하여 현재 블록의 수직 및 수평 변환 타입으로 설정할 수 있다.If the intra prediction mode of the current block is 0 or 1, or if the current block is encoded using MIP, the intra prediction mode indicates a non-directional mode. At this time, the encoder may not use the conversion type determination method using the tables of FIGS. 24 to 27 described above. Specifically, the encoder can specify an arbitrary conversion type and include a syntax indicating the specified conversion type in the bitstream. At this time, the conversion type specified by the encoder may be the optimal conversion type among a plurality of conversion types. If the intra prediction mode of the intra prediction mode is 0 or 1, or the current block is encoded using MIP, the decoder can parse the optimal transformation type and set it as the vertical and horizontal transformation type of the current block.

현재 블록의 인트라 예측 모드가 0 또는 1 이거나, 또는 현재 블록이 MIP를 사용하여 부호화된 경우, 디코더는 인트라 예측을 사용하여 예측된 블록에 PDPC(position dependent intra prediction combination) 필터링을 적용할 수 있다. 현재 블록의 인트라 예측 모드가 0 또는 1 이거나, 또는 현재 블록이 MIP를 사용하여 부호화된 경우, 현재 블록과 주변 블록 간의 경계 부분에 픽셀 값의 연속성이 끊길 수 있기 때문이다. 다만, PDPC 필터링으로 인해 잔차 신호의 균등성이 PDPC 필터링을 적용하기 전보다 낮아지고, 오차 신호의 저주파 성분보다 고주파 성분의 비율이 올라갈 수 있다. 현재 블록의 인트라 예측 모드가 0 또는 1 이거나, 또는 현재 블록이 MIP를 사용하여 부호화된 경우, 디코더는 인트라 예측을 사용하여 예측된 블록에 PDPC 필터링을 적용하지 않을 수 있다. 이때, 디코더는 잔차 신호에 변환 및 양자화를 수행할 수 있다. 도 29는 이러한 과정을 보여준다.If the intra prediction mode of the current block is 0 or 1, or if the current block is encoded using MIP, the decoder may apply position dependent intra prediction combination (PDPC) filtering to the block predicted using intra prediction. This is because if the intra prediction mode of the current block is 0 or 1, or if the current block is encoded using MIP, the continuity of pixel values may be interrupted at the boundary between the current block and neighboring blocks. However, due to PDPC filtering, the uniformity of the residual signal may be lower than before applying PDPC filtering, and the ratio of the high-frequency component of the error signal may increase compared to the low-frequency component. If the intra prediction mode of the current block is 0 or 1, or if the current block is encoded using MIP, the decoder may not apply PDPC filtering to the block predicted using intra prediction. At this time, the decoder can perform conversion and quantization on the residual signal. Figure 29 shows this process.

도29와 같이, 디코더는 잔여 신호에 대한 역양자화 및 역변환을 수행한 후, PDPC 필터링이 수행되지 않은 예측 블록을 더해서 영상을 복원할 수 있다. 이후 디코더는 복원된 현재 블록과 주변 블록 간의 인트라 예측 모드를 이용한 PDPC 필터링을 수행할 수 있다.As shown in Figure 29, the decoder can restore the image by performing inverse quantization and inverse transformation on the residual signal and then adding a prediction block on which PDPC filtering has not been performed. Afterwards, the decoder can perform PDPC filtering using the intra prediction mode between the restored current block and neighboring blocks.

현재 블록이 인터 모드로 부호화된 경우, 디코더는 참조 픽쳐로부터 유도된 인트라 예측 방향성 모드를 사용하여 상기 변환 타입을 유도할 수 있다. 또 다른 실시 일 예로, 디코더는 현재 블록의 폭 또는 높이 및 폭과 높이의 비율, AMVR 사용 여부, 참조 픽쳐의 POC와의 현재 픽처의 POC 상이의 차이, MVD(Motion Vector Difference) 값, 오차 신호의 양, 마지막 변환 계수의 위치 정보 중에서 적어도 하나 이상을 사용하여 변환 타입을 유도하거나 혹은 상기 변환 타입 유도 방안을 사용할지 여부를 결정할 수 있다. 실시 일 예로, 현재 블록의 MVD 값이 임의의 정해진 값 이상일 경우, 디코더는 상기 변환 타입 유도 방안을 사용할 수 있다.If the current block is encoded in inter mode, the decoder can derive the transform type using the intra prediction directional mode derived from the reference picture. In another embodiment, the decoder determines the width or height of the current block and the ratio of the width and height, whether AMVR is used, the difference between the POC of the reference picture and the POC of the current picture, the Motion Vector Difference (MVD) value, and the amount of error signal. , it is possible to derive the transformation type using at least one of the position information of the last transformation coefficient or to determine whether to use the transformation type derivation method. As an example, if the MVD value of the current block is greater than or equal to a certain value, the decoder may use the transformation type derivation method.

도 30은 본 발명의 실시 예에 따른 인코더 및 디코더가 사용할 수 있는 변환 커널을 보여준다.Figure 30 shows a conversion kernel that can be used by the encoder and decoder according to an embodiment of the present invention.

구체적으로 도 30은 MTS에 적용되는 DCT-II, DCT-V (discrete cosine transform type-V), DCT-VIII (discrete cosine transform type-VIII), DST-I (discrete sine transform type-I), 및 DST-VII 커널의 수식을 보여준다. DCT와 DST는 각각 cosine, sine의 함수로 표현되는 것이 가능하며, 샘플 수 N에 대한 변환 커널의 기저 함수를 T_i(j)로 표현할 경우, 인덱스 i는 주파수 도메인에서의 인덱스를 나타내며, 인덱스 j는 기저 함수 내의 인덱스를 나타낸다. i가 작아질수록 저주파 기저 함수를 나타내며, i가 커질수록 고주파 기저 함수를 나타낸다. 기저 함수 T_i(j)는 2차원 행렬로 표현했을 때, i 번째 행의 j 번째 요소를 나타낼 수 있으며, 도 30에 도시한 변환 커널은 모두 분리 가능한 특성을 가지고 있다. 따라서 잔차 신호 X에 대하여 가로 방향과 세로 방향에 각각 변환을 수행할 수 있다. 즉, 잔차 신호 블록을 X라 하고, 변환 커널 행렬을 T라 했을 때, 잔차 신호 X에 대한 변환은 TXT'로 나타낼 수 있다. 이때, T'는 변환 커널 행렬 T의 전치행렬 (transpose)를 의미한다. DCT와 DST는 정수가 아닌 소수 형태이다. 따라서 DCT와 DST를 소수 형태로 처리하는 것은 디코더 및 인코더의 하드웨어에게 프로세싱 부담이 따른다. 따라서 인코더 및 디코더는 소수 형태의 변환 커널에 스케일링(scaling)과 라운딩(rounding)을 통해 정수 형태의 변환 커널로 근사화시킬 수 있다. 변환 커널의 정수 정밀도는 8 비트 또는 10 비트로 결정될 수 있으나, 정밀도가 떨어질 경우, 부호화 효율이 감소할 수 있다. 근사화에 따라 DCT와 DST의 정규 직교 (orthonormal) 성질은 유지되지 않을 수 있으나, 이에 따른 부호화 효율 손실이 크지 않으므로, 변환 커널을 정수 형태로 근사화 시키는 것이 하드웨어 부호화기, 복호화기 구현 측면에서 유리하다. IDTR(Identity Transform)은 변환의 결과가 변환 전의 자기 자신이 나오는 변환으로, 항등 변환이라고 한다. 일반적으로 항등 변환은 행과 열이 동일한 값을 가지는 위치에 1을 설정하여 변환 매트릭스를 구성한다. 여기서 항등 변환은 1이 아닌 임의의 고정된 값을 사용하여, 입력된 잔차 신호의 값을 동일하게 높이거나 줄이는데 사용한다.Specifically, Figure 30 shows DCT-II, DCT-V (discrete cosine transform type-V), DCT-VIII (discrete cosine transform type-VIII), DST-I (discrete sine transform type-I), and Shows the formula of the DST-VII kernel. DCT and DST can be expressed as functions of cosine and sine, respectively. When the basis function of the transformation kernel for the number of samples N is expressed as T _i (j), index i represents the index in the frequency domain, and index j represents the index within the basis function. As i becomes smaller, it represents a low-frequency basis function, and as i becomes larger, it represents a high-frequency basis function. When expressed as a two-dimensional matrix, the basis function T _i (j) can represent the j th element of the i th row, and the transformation kernels shown in FIG. 30 all have separable characteristics. Therefore, transformation can be performed on the residual signal X in the horizontal and vertical directions, respectively. That is, when the residual signal block is called X and the transformation kernel matrix is T, the transformation for the residual signal X can be expressed as TXT'. At this time, T' means the transpose of the transformation kernel matrix T. DCT and DST are in decimal form, not integers. Therefore, processing DCT and DST in decimal form imposes a processing burden on the hardware of the decoder and encoder. Therefore, the encoder and decoder can approximate a decimal-type conversion kernel to an integer-type conversion kernel through scaling and rounding. The integer precision of the conversion kernel can be determined to be 8 bits or 10 bits, but if the precision is low, coding efficiency may decrease. Depending on the approximation, the orthonormal properties of DCT and DST may not be maintained, but the resulting loss of coding efficiency is not significant, so approximating the conversion kernel to an integer form is advantageous in terms of implementing a hardware encoder and decoder. IDTR (Identity Transform) is a transformation in which the result of transformation is the self before transformation, and is called an identity transformation. In general, identity transformation constructs a transformation matrix by setting 1 at positions where rows and columns have the same value. Here, the identity transformation is used to equally increase or decrease the value of the input residual signal using an arbitrary fixed value other than 1.

본 명세서에서 상술한 방법들은 디코더 또는 인코더의 프로세서를 통해 수행될 수 있다. 또한, 인코더는 비디오 신호 처리 방법에 의해 디코딩되는 비트스트림을 생성할 수 있다. 또한, 인코더가 생성한 비트스트림은 컴퓨터 판독 가능한 비 일시적 저장 매체(기록 매체)에 저장될 수 있다.The methods described above in this specification may be performed through a processor of a decoder or encoder. Additionally, the encoder can generate a bitstream that is decoded by a video signal processing method. Additionally, the bitstream generated by the encoder may be stored in a computer-readable non-transitory storage medium (recording medium).

본 명세서는 주로 디코더 관점에서 기술되었으나 인코더에서도 동일하게 동작될 수 있다. 본 명세서의 파싱이라는 용어는 비트스트림으로부터 정보를 획득하는 과정을 중점으로하여 설명되었으나 인코더 측면에서는 비트스트림에 해당 정보를 구성하는 것으로 해석될 수 있다. 따라서 파싱이라는 용어는 디코더 동작으로만 한정되지 않고 인코더에서는 비트스트림을 구성하는 행위로까지 해석될 수 있다. 또한, 이러한 비트스트림은 컴퓨터 판독 가능한 기록 매체에 저장되어 구성될 수 있다.Although this specification is mainly described from the perspective of a decoder, it can be operated equally in an encoder. The term parsing in this specification has been described with a focus on the process of obtaining information from the bitstream, but from the encoder perspective, it can be interpreted as configuring the information in the bitstream. Therefore, the term parsing is not limited to the decoder operation, but can also be interpreted as the act of constructing a bitstream in the encoder. Additionally, this bitstream may be stored and configured in a computer-readable recording medium.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.Embodiments of the present invention described above can be implemented through various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.In the case of hardware implementation, the method according to embodiments of the present invention uses one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), and Programmable Logic Devices (PLDs). , can be implemented by FPGAs (Field Programmable Gate Arrays), processors, controllers, microcontrollers, microprocessors, etc.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 프로세서의 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.In the case of implementation by firmware or software, the method according to embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. Software code can be stored in memory and run by a processor. The memory may be located inside or outside the processor, and may exchange data with the processor through various known means.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.Some embodiments may also be implemented in the form of a recording medium containing instructions executable by a computer, such as program modules executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include both computer storage media and communication media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures or other data of modulated data signals such as program modules, or other transmission mechanisms, and includes any information delivery medium.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아는 것으로 해석해야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustrative purposes, and those skilled in the art will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential features of the present invention. will be. Therefore, the embodiments described above are illustrative in all respects and should be interpreted as limited. For example, each component described as single may be implemented in a distributed manner, and similarly, components described as distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.

Claims

비디오 신호 디코딩 장치에서,
프로세서를 포함하고,
상기 프로세서는
인트라 예측을 사용하여 현재 블록을 복원할 때, 상기 현재 블록의 주변 블록의 모션 정보 및 상기 주변 블록이 참조하는 참조 픽처를 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 유도하고, 상기 주변 블록에 해당하는 인트라 예측 모드를 사용하여 상기 현재 블록을 복원하고,
상기 주변 블록은 인터 예측을 사용하여 복원된
디코딩 장치.In a video signal decoding device,
Includes a processor,
The processor is
When restoring a current block using intra prediction, an intra prediction mode corresponding to the neighboring block is derived based on motion information of the neighboring block of the current block and a reference picture referenced by the neighboring block, and Restore the current block using the corresponding intra prediction mode,
The neighboring blocks are restored using inter prediction.
Decoding device.

제1항에서,
상기 프로세서는
상기 인트라 예측을 사용하여 상기 현재 블록을 복원할 때, 상기 주변 블록의 모션 정보에 따라 상기 참조 픽처에서 상기 현재 블록의 주변 블록의 어느 하나의 픽셀에 대응하는 픽셀의 인트라 예측 모드를 상기 주변 블록에 해당하는 인트라 예측 모드로 유도하는
디코딩 장치.In paragraph 1:
The processor is
When restoring the current block using intra prediction, the intra prediction mode of a pixel corresponding to any one pixel of a neighboring block of the current block in the reference picture is set to the neighboring block according to the motion information of the neighboring block. Leading to the corresponding intra prediction mode
Decoding device.

제1항에서,
상기 프로세서는
상기 인트라 예측을 사용하여 상기 현재 블록을 복원할 때, 상기 주변 블록의 모션 정보에 따라 상기 참조 픽처에서 상기 현재 블록의 어느 하나의 픽셀에 대응하는 픽셀의 인트라 예측 모드를 상기 주변 블록에 해당하는 인트라 예측 모드로 유도하는
디코딩 장치.In paragraph 1:
The processor is
When restoring the current block using the intra prediction, the intra prediction mode of a pixel corresponding to any one pixel of the current block in the reference picture is changed to the intra prediction mode corresponding to the neighboring block according to the motion information of the neighboring block. leading to prediction mode
Decoding device.

제1항에서,
상기 프로세서는
미리 지정된 조건을 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 초기화하는
디코딩 장치.In paragraph 1:
The processor is
Initializing the intra prediction mode corresponding to the neighboring block based on pre-specified conditions
Decoding device.

제4항에서,
상기 미리 지정된 조건은 상기 현재 블록을 포함하는 현재 픽처의 POC(picture order count)와 상기 참조 픽처의 POC 사이의 차이에 관한 조건을 포함하는
디코딩 장치.In paragraph 4,
The pre-specified condition includes a condition regarding the difference between the picture order count (POC) of the current picture including the current block and the POC of the reference picture.
Decoding device.

제4항에서,
상기 미리 지정된 조건은 상기 현재 블록을 포함하는 현재 픽처의 디코딩 순서와 상기 참조 픽처의 디코딩 순서의 차이에 관한 조건을 포함하는
디코딩 장치.In paragraph 4,
The pre-specified condition includes a condition regarding the difference between the decoding order of the current picture including the current block and the decoding order of the reference picture.
Decoding device.

제4항에서,
상기 프로세서는
상기 미리 지정된 조건을 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 초기화할 때, 상기 주변 블록에 해당하는 인트라 예측 모드의 값을 미리 지정된 모드로 설정하는
디코딩 장치. In paragraph 4,
The processor is
When initializing the intra prediction mode corresponding to the neighboring block based on the pre-specified condition, setting the value of the intra prediction mode corresponding to the neighboring block to the pre-specified mode
Decoding device.

제1항에서,
상기 프로세서는
상기 주변 블록에 해당하는 인트라 예측 모드를 상기 디코딩 장치의 메모리에 저장할 때, 상기 인트라 예측 모드의 값을 미리 지정된 값으로 나누어 저장하는
디코딩 장치.In paragraph 1:
The processor is
When storing the intra prediction mode corresponding to the neighboring block in the memory of the decoding device, the value of the intra prediction mode is divided by a predetermined value and stored.
Decoding device.

제8항에서,
상기 프로세서는
상기 주변 블록에 해당하는 인트라 예측 모드를 상기 디코딩 장치의 메모리에 저장할 때, 인트라 예측 모드의 값의 미리 지정된 범위의 연속한 값을 하나의 값으로 저장하는
디코딩 장치.In paragraph 8:
The processor is
When storing the intra prediction mode corresponding to the neighboring block in the memory of the decoding device, storing consecutive values in a predetermined range of values of the intra prediction mode as one value.
Decoding device.

제1항에서,
상기 프로세서는
상기 주변 블록에 해당하는 인트라 예측 모드를 사용하여 MPM(most probale mode) 리스트를 생성하는
디코딩 장치.In paragraph 1:
The processor is
Generating an MPM (most probale mode) list using the intra prediction mode corresponding to the neighboring block.
Decoding device.

제1항에서,
상기 현재 블록은 GPM(geometric partitioning mode)이 적용되는 블록이고,
상기 프로세서는
상기 참조 블록으로부터 유도된 인트라 예측 모드를 기초로 현재 블록을 분할하는 사선의 각도를 유추하고,
상기 유추한 사선의 각도를 사용하여 상기 현재 블록을 복원하는
디코딩 장치.In paragraph 1:
The current block is a block to which GPM (geometric partitioning mode) is applied,
The processor is
Inferring the angle of an oblique line dividing the current block based on the intra prediction mode derived from the reference block,
Restoring the current block using the inferred diagonal angle
Decoding device.

비디오 신호 인코딩 장치에서,
프로세서를 포함하며,
상기 프로세서는 디코딩 방법에 의해 디코딩되는 비트스트림을 획득하고,
상기 디코딩 방법은
인트라 예측을 사용하여 현재 블록이 복원될 때, 상기 현재 블록의 주변 블록의 모션 정보 및 상기 주변 블록이 참조하는 참조 픽처를 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 유도하고, 상기 주변 블록에 해당하는 인트라 예측 모드를 사용하여 상기 현재 블록을 복원하는 단계를 포함하고,
상기 주변 블록은 인터 예측을 사용하여 복원된
인코딩 장치.In a video signal encoding device,
Contains a processor,
The processor obtains a bitstream to be decoded by a decoding method,
The decoding method is
When a current block is restored using intra prediction, an intra prediction mode corresponding to the neighboring block is derived based on motion information of the neighboring block of the current block and a reference picture referenced by the neighboring block, and Recovering the current block using a corresponding intra prediction mode,
The neighboring blocks are restored using inter prediction.
Encoding device.

제12항에서,
상기 현재 블록을 복원하는 단계는
상기 주변 블록의 모션 정보에 따라 상기 참조 픽처에서 상기 현재 블록의 주변 블록의 어느 하나의 픽셀에 대응하는 픽셀의 인트라 예측 모드를 상기 주변 블록에 해당하는 인트라 예측 모드로 유도하는 단계를 포함하는
인코딩 장치.In paragraph 12:
The step of restoring the current block is
Including the step of deriving an intra prediction mode of a pixel corresponding to a pixel of a neighboring block of the current block in the reference picture to an intra prediction mode corresponding to the neighboring block according to the motion information of the neighboring block.
encoding device.

제12항에서,
상기 현재 블록을 복원하는 단계는
상기 주변 블록의 모션 정보에 따라 상기 참조 픽처에서 상기 현재 블록의 어느 하나의 픽셀에 대응하는 픽셀의 인트라 예측 모드를 상기 주변 블록에 해당하는 인트라 예측 모드로 유도하는 단계를 포함하는
인코딩 장치.In paragraph 12:
The step of restoring the current block is
Including the step of deriving an intra prediction mode of a pixel corresponding to a pixel of the current block in the reference picture to an intra prediction mode corresponding to the neighboring block according to the motion information of the neighboring block.
encoding device.

제14항에서,
상기 디코딩 방법은
미리 지정된 조건을 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 초기화하는 단계를 더 포함하는
인코딩 장치.In paragraph 14:
The decoding method is
Further comprising the step of initializing the intra prediction mode corresponding to the neighboring block based on pre-specified conditions.
encoding device.

제15항에서,
상기 미리 지정된 조건은 상기 현재 블록을 포함하는 현재 픽처의 POC(picture order count)와 상기 참조 픽처의 POC 사이의 차이에 관한 조건을 포함하는
인코딩 장치.In paragraph 15:
The pre-specified condition includes a condition regarding the difference between the picture order count (POC) of the current picture including the current block and the POC of the reference picture.
Encoding device.

제15항에서,
상기 미리 지정된 조건은 상기 현재 블록을 포함하는 현재 픽처의 디코딩 순서와 상기 참조 픽처의 디코딩 순서의 차이에 관한 조건을 포함하는
인코딩 장치.In paragraph 15:
The pre-specified condition includes a condition regarding the difference between the decoding order of the current picture including the current block and the decoding order of the reference picture.
encoding device.

제15항에서,
상기 미리 지정된 조건을 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 초기화는 단계는
상기 주변 블록에 해당하는 인트라 예측 모드의 값을 미리 지정된 모드의 갑승로 초기화하는 단계를 포함하는
인코딩 장치.In paragraph 15:
The step of initializing the intra prediction mode corresponding to the neighboring block based on the predetermined condition is
Initializing the value of the intra prediction mode corresponding to the neighboring block to the double of the pre-specified mode.
Encoding device.

제12항에서,
상기 현재 블록을 복원하는 단계는
상기 주변 블록에 해당하는 인트라 예측 모드를 사용하여 MPM(most probale mode) 리스트를 생성하는 단계를 더 포함하는
인코딩 장치.In paragraph 12:
The step of restoring the current block is
Further comprising generating a most probale mode (MPM) list using the intra prediction mode corresponding to the neighboring block.
encoding device.

비트스트림을 저장하는 컴퓨터 판독 가능한 비 일시적 저장 매체에 있어서, 상기 비트스트림은 디코딩 방법에 의해 디코딩되고,
상기 디코딩 방법은
인트라 예측을 사용하여 현재 블록이 복원될 때, 상기 현재 블록의 주변 블록의 모션 정보 및 상기 주변 블록이 참조하는 참조 픽처를 기초로 상기 주변 블록에 해당하는 인트라 예측 모드를 유도하고, 상기 주변 블록에 해당하는 인트라 예측 모드를 사용하여 상기 현재 블록을 복원하는 단계를 포함하고,
상기 주변 블록은 인터 예측을 사용하여 복원된
비 일시적 저장 매체.A computer-readable non-transitory storage medium storing a bitstream, wherein the bitstream is decoded by a decoding method,
The decoding method is
When a current block is restored using intra prediction, an intra prediction mode corresponding to the neighboring block is derived based on motion information of the neighboring block of the current block and a reference picture referenced by the neighboring block, and Recovering the current block using a corresponding intra prediction mode,
The neighboring blocks are restored using inter prediction.
Non-transitory storage medium.