KR101603271B1

KR101603271B1 - Method and apparatus for encoding and decoding image using large transform unit

Info

Publication number: KR101603271B1
Application number: KR1020150049070A
Authority: KR
Inventors: 천민수; 김일구; 이태미; 정해경; 천지엔러; 한우진
Original assignee: 삼성전자주식회사
Priority date: 2015-04-07
Filing date: 2015-04-07
Publication date: 2016-03-14
Also published as: KR20150045964A

Abstract

복수의 예측 단위를 하나의 변환 단위로 하여 주파수 영역으로 변환함으로써 영상을 부호화하는 방법, 장치 및 이러한 부호화 방법에 의해 부호화된 영상 데이터를 복호화하는 방법, 장치가 개시된다.Disclosed is a method and apparatus for encoding an image by converting a plurality of prediction units into a frequency domain as one conversion unit, and a method and apparatus for decoding image data encoded by such a coding method.

Description

큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치{Method and apparatus for encoding and decoding image using large transform unit}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a method and apparatus for encoding and decoding an image using a large-

본 발명은 영상 부호화, 복호화 방법 및 장치에 관한 것으로, 보다 상세히는 픽셀 도메인의 영상을 주파수 도메인의 계수들로 변환하여 영상을 부호화, 복호화하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for image encoding and decoding, and more particularly, to a method and apparatus for encoding and decoding an image by converting an image in a pixel domain into coefficients in a frequency domain.

대부분의 영상 부호화, 복호화 방법 및 장치는 영상 압축을 위해 픽셀 도메인의 영상을 주파수 도메인으로 변환하여 부호화한다. 주파수 변환 중 하나의 기법인 이산 코사인 변환은 영상 또는 음성 압축에 사용되는 널리 알려진 기술이다. 이산 코사인 변환을 이용한 영상 부호화 방법에서는 픽셀 도메인의 영상을 이산 코사인 변환하여 이산 코사인 계수들을 생성하고, 생성된 계수들을 양자화, 엔트로피 부호화한다.Most video encoding and decoding methods and devices convert an image of a pixel domain into a frequency domain for image compression. Discrete cosine transform, which is one of the frequency transforms, is a well known technique used for image or speech compression. In the image coding method using the discrete cosine transform, the discrete cosine coefficients are generated by discrete cosine transform of the image in the pixel domain, and the generated coefficients are quantized and entropy encoded.

본 발명이 해결하고자 하는 기술적 과제는 보다 효율적인 이산 코사인 변환을 이용한 영상을 부호화, 복호화하는 방법 및 장치를 제공하는데 있고, 상기 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.SUMMARY OF THE INVENTION The present invention provides a method and apparatus for encoding and decoding an image using a more efficient discrete cosine transform, and a computer-readable recording medium having recorded thereon a program for executing the method .

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 부호화 방법은 복수의 부호화 단위에 대해 예측을 수행하여 상기 복수의 부호화 단위에 대한 레지듀얼 값들을 생성하는 단계; 상기 복수의 부호화 단위에 포함된 복수의 예측 단위를 그룹화하여 하나의 변환 단위를 설정하는 단계; 상기 변환 단위에 따라 상기 복수의 예측 단위에 포함된 레지듀얼 값들을 주파수 도메인으로 변환하여 주파수 성분 계수들을 생성하는 단계; 상기 생성된 주파수 성분 계수들을 양자화하는 단계; 및 상기 양자화된 주파수 성분 계수들을 엔트로피 부호화하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for encoding an image, the method comprising: generating residual values for the plurality of encoding units by performing prediction on the plurality of encoding units; Grouping a plurality of prediction units included in the plurality of coding units and setting one conversion unit; Transforming residual values included in the plurality of prediction units into a frequency domain according to the transform unit to generate frequency component coefficients; Quantizing the generated frequency component coefficients; And entropy encoding the quantized frequency component coefficients.

본 발명의 또 다른 실시예에 따르면, 상기 설정하는 단계는 최대 부호화 단위에서 상기 복수의 부호화 단위로 단계적으로 축소된 정도를 나타내는 심도에 기초해 상기 복수의 예측 단위를 그룹화하여 하나의 변환 단위를 설정하는 단계를 포함한다.According to another embodiment of the present invention, the setting step may include grouping the plurality of prediction units based on a depth indicating a degree of stepwise reduction from the maximum encoding unit to the plurality of encoding units, and setting one conversion unit .

본 발명의 또 다른 실시예에 따르면, 상기 설정하는 단계는 동일한 종류의 예측 모드에 따라 예측이 수행된 인접한 복수의 예측 단위를 선택하여 하나의 변환 단위를 설정하는 단계를 포함한다.According to another embodiment of the present invention, the setting step includes a step of selecting a plurality of prediction units adjacent to each other and performing a prediction according to a prediction mode of the same type, and setting one conversion unit.

본 발명의 또 다른 실시예에 따르면, 상기 레지듀얼 값들을 생성하는 단계는 상기 복수의 부호화 단위에 포함된 예측 단위 중 인트라 예측을 이용해 예측되는 예측 단위는 적어도 하나의 인접한 예측 단위의 예측 값들에 기초해 예측하여 상기 복수의 부호화 단위에 대한 레지듀얼 값들을 생성하는 단계를 포함하는 것을 특징으로 한다.According to still another embodiment of the present invention, the generating of the residual values comprises: predicting units predicted using intra prediction among prediction units included in the plurality of coding units, based on prediction values of at least one adjacent prediction unit And generating residual values for the plurality of encoding units.

본 발명의 또 다른 실시예에 따르면, 상기 레지듀얼 값들을 생성하는 단계는 상기 복수의 부호화 단위에 포함된 모든 예측 단위를 인터 예측을 이용해 예측하여 상기 복수의 부호화 단위에 대한 레지듀얼 값들을 생성하는 단계를 포함한다.According to another embodiment of the present invention, the step of generating the residual values may include the steps of: predicting all the prediction units included in the plurality of coding units using inter prediction and generating residual values for the plurality of coding units .

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 부호화 장치는 복수의 부호화 단위에 대해 예측을 수행하여 상기 복수의 부호화 단위에 대한 레지듀얼 값들을 생성하는 예측부; 상기 복수의 부호화 단위에 포함된 복수의 예측 단위를 그룹화하여 하나의 변환 단위를 설정하고, 상기 변환 단위에 따라 상기 복수의 예측 단위에 포함된 레지듀얼 값들을 주파수 도메인으로 변환하여 주파수 성분 계수들을 생성하는 주파수변환부; 상기 생성된 주파수 성분 계수들을 양자화하는 양자화부; 및 상기 양자화된 주파수 성분 계수들을 엔트로피 부호화하는 엔트로피부호화부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for encoding an image, the apparatus comprising: a prediction unit for generating residual values for the plurality of encoding units by performing prediction on the plurality of encoding units; A plurality of prediction units included in the plurality of coding units are grouped to set one conversion unit and the residual values included in the plurality of prediction units are converted into a frequency domain according to the conversion unit to generate frequency component coefficients A frequency converting unit A quantizer for quantizing the generated frequency component coefficients; And an entropy encoding unit for entropy encoding the quantized frequency component coefficients.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 복호화 방법은 소정의 변환 단위에 따라 복수의 부호화 단위에 대한 레지듀얼 값들을 주파수 도메인으로 변환하여 생성된 주파수 성분 계수들을 엔트로피 복호화하는 단계; 상기 엔트로피 복호화된 주파수 성분 계수들을 역양자화하는 단계; 상기 역양자화된 주파수 성분 계수들을 픽셀 도메인으로 역변환하여 상기 변환 단위에 포함된 레지듀얼 값들을 복원하는 단계; 및 상기 복수의 부호화 단위를 예측하여 생성된 예측 값들 및 상기 복원된 레지듀얼 값들에 기초해 상기 복수의 부호화 단위를 복원하는 단계를 포함하고, 상기 변환 단위는 상기 복수의 부호화 단위에 포함된 복수의 예측 단위를 그룹화하여 생성된 것을 특징으로 한다.According to an aspect of the present invention, there is provided an image decoding method comprising: entropy-decoding frequency component coefficients generated by transforming residual values of a plurality of encoding units into a frequency domain according to a predetermined conversion unit; ; Dequantizing the entropy-decoded frequency component coefficients; Reconstructing the residual values included in the transform unit by inversely transforming the inversely quantized frequency component coefficients into a pixel domain; And reconstructing the plurality of encoding units based on the predicted values and the restored residual values generated by predicting the plurality of encoding units, wherein the conversion unit is configured to convert the plurality of encoding units included in the plurality of encoding units And prediction units are grouped.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 복호화 장치는 소정의 변환 단위에 따라 복수의 부호화 단위에 대한 레지듀얼 값들을 주파수 도메인으로 변환하여 생성된 주파수 성분 계수들을 엔트로피 복호화하는 엔트로피복호화부; 상기 엔트로피 복호화된 주파수 성분 계수들을 역양자화하는 역양자화부;According to an aspect of the present invention, there is provided an apparatus and method for decoding an image, the apparatus comprising: an entropy decoding unit that transforms residual values of a plurality of coding units into a frequency domain according to a predetermined conversion unit, A decoding unit; A dequantizer for dequantizing the entropy-decoded frequency component coefficients;

상기 역양자화된 주파수 성분 계수들을 픽셀 도메인으로 역변환하여 상기 변환 단위에 포함된 레지듀얼 값들을 복원하는 역주파수변환부; 및 상기 복수의 부호화 단위를 예측하여 생성된 예측 값들 및 상기 복원된 레지듀얼 값들에 기초해 상기 복수의 부호화 단위를 복원하는 복원부를 포함하고, 상기 변환 단위는 상기 복수의 부호화 단위에 포함된 복수의 예측 단위를 그룹화하여 생성된 것을 특징으로 한다.An inverse frequency transformer for inversely transforming the inversely quantized frequency component coefficients into a pixel domain to reconstruct residual values included in the transform unit; And a decompression unit decomposing the plurality of encoding units based on the predicted values generated by predicting the plurality of encoding units and the restored residual values, And prediction units are grouped.

상기 기술적 과제를 해결하기 위해 본 발명의 일 실시예는 상기된 영상 부호화, 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.According to an aspect of the present invention, there is provided a computer-readable recording medium having recorded thereon a program for executing the image encoding and decoding method.

본 발명에 따르면, 예측 단위보다 큰 크기로 변환 단위를 설정하고, 이산 코사인 변환을 수행할 수 있어 영상을 보다 효율적으로 압축 부호화할 수 있다. According to the present invention, a conversion unit can be set to a size larger than a prediction unit, discrete cosine transformation can be performed, and the image can be compression-encoded more efficiently.

도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화 장치를 도시한다.
도 3은 본 발명의 일 실시예에 따른 계층적 부호화 단위를 도시한다.
도 4는 본 발명의 일 실시예에 따른 부호화 단위에 기초한 영상 부호화부를 도시한다.
도 5는 본 발명의 일 실시예에 따른 부호화 단위에 기초한 영상 복호화부를 도시한다.
도 6은 본 발명의 일 실시예에 따른 최대 부호화 단위, 서브 부호화 단위 및 예측 단위를 도시한다.
도 7은 본 발명의 일 실시예에 따른, 부호화 단위 및 변환 단위를 도시한다.
도 8a 및 8b는 본 발명의 일 실시예에 따른, 부호화 단위, 예측 단위 및 변환 단위의 분할 형태를 도시한다.
도 9는 본 발명의 또 다른 실시예에 따른 영상 부호화 장치를 도시한다.
도 10은 본 발명의 일 실시예에 따른 예측 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 주파수변환부를 도시한다.
도 12a 내지 12c는 본 발명의 일 실시예에 따른 변환 단위의 유형을 도시한다.
도 13a 내지 13d는 본 발명의 또 다른 실시예에 따른 변환 단위의 유형을 도시한다.
도 14는 본 발명의 일 실시예에 따른 상이한 변환 단위들을 도시한다.
도 15는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치를 도시한다.
도 16은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 흐름도이다.
도 17은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 흐름도이다.1 illustrates an image encoding apparatus according to an embodiment of the present invention.
FIG. 2 illustrates an image decoding apparatus according to an embodiment of the present invention.
FIG. 3 illustrates a hierarchical encoding unit according to an embodiment of the present invention.
FIG. 4 illustrates an image encoding unit based on an encoding unit according to an embodiment of the present invention.
FIG. 5 illustrates an image decoding unit based on an encoding unit according to an embodiment of the present invention.
FIG. 6 illustrates a maximum encoding unit, a sub-encoding unit, and a prediction unit according to an embodiment of the present invention.
7 shows an encoding unit and a conversion unit according to an embodiment of the present invention.
FIGS. 8A and 8B show a division form of an encoding unit, a prediction unit, and a conversion unit according to an embodiment of the present invention.
9 illustrates an image encoding apparatus according to another embodiment of the present invention.
10 is a diagram for explaining a prediction method according to an embodiment of the present invention.
11 illustrates a frequency conversion unit according to an embodiment of the present invention.
Figures 12a-12c illustrate types of conversion units in accordance with an embodiment of the present invention.
Figures 13A-13D illustrate a type of conversion unit according to another embodiment of the present invention.
Figure 14 shows different conversion units according to an embodiment of the present invention.
FIG. 15 illustrates an image decoding apparatus according to another embodiment of the present invention.
16 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
17 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

도 1 은 본 발명의 일 실시예에 따른 영상 부호화 장치를 도시한다.1 illustrates an image encoding apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 최대 부호화 단위 분할부(110), 부호화 심도 결정부(120), 영상 데이터 부호화부(130) 및 부호화 정보 부호화부(140)를 포함한다.1, an image encoding apparatus 100 according to an exemplary embodiment of the present invention includes a maximum encoding unit division unit 110, an encoding depth determination unit 120, an image data encoding unit 130, (140).

최대 부호화 단위 분할부(110)는 최대 크기의 부호화 단위인 최대 부호화 단위에 기반하여 현재 픽처 또는 현재 슬라이스를 분할할 수 있다. 현재 픽처 또는 현재 슬라이스를 적어도 하나의 최대 부호화 단위로 분할할 수 있다. The maximum coding unit division unit 110 may divide the current picture or the current slice based on the maximum coding unit which is the coding unit of the maximum size. The current picture or current slice can be divided into at least one maximum encoding unit.

본 발명의 일 실시예에 따르면, 최대 부호화 단위 및 심도를 이용해 부호화 단위가 표현될 수 있다. 전술한 바와 같이 최대 부호화 단위는 현재 픽처의 부호화 단위 중 크기가 가장 큰 부호화 단위를 나타내며, 심도는 부호화 단위가 계층적으로 축소된 서브 부호화 단위의 크기를 나타낸다. 심도가 커지면서, 부호화 단위는 최대 부호화 단위로부터 최소 부호화 단위까지 축소될 수 있으며, 최대 부호화 단위의 심도는 최소 심도로 정의되고, 최소 부호화 단위의 심도는 최대 심도로 정의될 수 있다. 최대 부호화 단위는 심도가 커짐에 따라 심도별 부호화 단위의 크기는 감소하므로, k 심도의 서브 부호화 단위는 복수 개의 k보다 큰 심도의 서브 부호화 단위를 포함할 수 있다.According to an embodiment of the present invention, an encoding unit can be expressed using a maximum encoding unit and a depth. As described above, the maximum coding unit indicates the largest coding unit among the coding units of the current picture, and the depth indicates the size of the sub-coding unit in which the coding units are hierarchically reduced. As the depth increases, the encoding unit can be reduced from the maximum encoding unit to the minimum encoding unit, the depth of the maximum encoding unit can be defined as the minimum depth, and the depth of the minimum encoding unit can be defined as the maximum depth. As the depth of the maximum encoding unit increases, the size of the depth-dependent encoding unit decreases. Thus, the sub-encoding unit of k depth may include a sub-encoding unit of depth greater than a plurality of k.

부호화되는 픽처의 크기가 커짐에 따라, 더 큰 단위로 영상을 부호화하면 더 높은 영상 압축률로 영상을 부호화할 수 있다. 그러나, 부호화 단위를 크게 하고, 그 크기를 고정시켜버리면, 계속해서 변하는 영상의 특성을 반영하여 효율적으로 영상을 부호화할 수 없다. As the size of a picture to be encoded increases, if an image is coded in a larger unit, the image can be encoded with a higher image compression rate. However, if the coding unit is enlarged and its size is fixed, the image can not be efficiently encoded reflecting the characteristics of the continuously changing image.

예를 들어, 바다 또는 하늘에 대한 평탄한 영역을 부호화할 때에는 부호화 단위를 크게 할수록 압축률이 향상될 수 있으나, 사람들 또는 빌딩에 대한 복잡한 영역을 부호화할 때에는 부호화 단위를 작게 할수록 압축률이 향상된다.For example, when coding a flat area with respect to the sea or sky, the compression rate can be improved by increasing the coding unit. However, when coding a complex area for people or buildings, the compression ratio is improved as the coding unit is decreased.

이를 위해 본 발명의 일 실시예는 픽처 또는 슬라이스마다 상이한 최대 영상 부호화 단위를 설정하고, 최대 심도를 설정한다. 최대 심도는 부호화 단위가 축소될 수 있는 최대 횟수를 의미하므로, 최대 심도에 따라 최대 영상 부호화 단위에 포함된 최소 부호화 단위 크기를 가변적으로 설정할 수 있게 된다.To this end, one embodiment of the present invention sets a different maximum picture encoding unit for each picture or slice, and sets a maximum depth. Since the maximum depth means the maximum number of times the encoding unit can be reduced, the minimum encoding unit size included in the maximum image encoding unit can be variably set according to the maximum depth.

부호화 심도 결정부(120)는 최대 심도를 결정한다. 최대 심도는 R-D 코스트(Rate-Distortion Cost) 계산에 기초해 결정될 수 있다. 최대 심도는 픽처 또는 슬라이스마다 상이하게 결정되거나, 각각의 최대 부호화 단위마다 상이하게 결정될 수도 있다. 결정된 최대 심도는 부호화 정보 부호화부(140)로 출력되고, 최대 부호화 단위별 영상 데이터는 영상 데이터 부호화부(130)로 출력된다. The encoding depth determination unit 120 determines the maximum depth. The maximum depth may be determined based on the Rate-Distortion Cost calculation. The maximum depth may be determined differently for each picture or slice, or may be determined differently for each maximum encoding unit. The determined maximum depth is output to the encoding information encoding unit 140, and the image data for each maximum encoding unit is output to the image data encoding unit 130.

최대 심도는 최대 부호화 단위에 포함될 수 있는 가장 작은 크기의 부호화 단위 즉, 최소 부호화 단위를 의미한다. 다시 말해, 최대 부호화 단위는 상이한 심도에 따라 상이한 크기의 서브 부호화 단위로 분할될 수 있다. 도 8a 및 8b를 참조하여 상세히 후술한다. 또한, 최대 부호화 단위에 포함된 상이한 크기의 서브 부호화 단위들은 상이한 크기의 처리 단위에 기초해 예측 또는 주파수 변환될 수 있다. 다시 말해, 영상 부호화 장치(100)는 영상 부호화를 위한 복수의 처리 단계들을 다양한 크기 및 다양한 형태의 처리 단위에 기초해 수행할 수 있다. 영상 데이터의 부호화를 위해서는 예측, 주파수 변환, 엔트로피 부호화 등의 처리 단계를 거치는데, 모든 단계에 걸쳐서 동일한 크기의 처리 단위가 이용될 수도 있으며, 단계별로 상이한 크기의 처리 단위를 이용할 수 있다.The maximum depth means the smallest encoding unit, that is, the minimum encoding unit, which can be included in the maximum encoding unit. In other words, the maximum encoding unit may be divided into sub-encoding units of different sizes according to different depths. Will be described later in detail with reference to Figs. 8A and 8B. Further, the sub-encoding units of different sizes included in the maximum encoding unit can be predicted or frequency-converted based on the processing units of different sizes. In other words, the image encoding apparatus 100 can perform a plurality of processing steps for image encoding based on various sizes and processing units of various types. In order to encode video data, processing steps such as prediction, frequency conversion, and entropy encoding are performed. Processing units of the same size may be used in all stages, and processing units of different sizes may be used in each step.

예를 들어 영상 부호화 장치(100)는 부호화 단위를 예측하기 위해, 부호화 단위와 다른 처리 단위를 선택할 수 있다. For example, in order to predict a coding unit, the image coding apparatus 100 may select a coding unit and a different processing unit.

부호화 단위의 크기가 2Nx2N(단, N은 양의 정수)인 경우, 예측을 위한 처리 단위는 2Nx2N, 2NxN, Nx2N, NxN 등일 수 있다. 다시 말해, 부호화 단위의 높이 또는 너비 중 적어도 하나를 반분하는 형태의 처리 단위를 기반으로 움직임 예측이 수행될 수도 있다. 이하, 예측의 기초가 되는 데이터 단위는 '예측 단위'라 한다.If the size of the encoding unit is 2Nx2N (where N is a positive integer), the processing unit for prediction may be 2Nx2N, 2NxN, Nx2N, NxN, and the like. In other words, motion prediction may be performed based on a processing unit of a type that halves at least one of a height or a width of an encoding unit. Hereinafter, a data unit serving as a basis of prediction is referred to as a 'prediction unit'.

예측 모드는 인트라 모드, 인터 모드 및 스킵 모드 중 적어도 하나일 수 있으며, 특정 예측 모드는 특정 크기 또는 형태의 예측 단위에 대해서만 수행될 수 있다. 예를 들어, 인트라 모드는 정방형인 2Nx2N, NxN 크기의 예측 단위에 대해서만 수행될 수 있다. 또한, 스킵 모드는 2Nx2N 크기의 예측 단위에 대해서만 수행될 수 있다. 부호화 단위 내부에 복수의 예측 단위가 있다면, 각각의 예측 단위에 대해 예측을 수행하여 부호화 오차가 가장 작은 예측 모드가 선택될 수 있다.The prediction mode may be at least one of an intra mode, an inter mode, and a skip mode, and the specific prediction mode may be performed only for a prediction unit of a specific size or type. For example, the intra mode can be performed only for a 2Nx2N, NxN sized prediction unit, which is a square. In addition, the skip mode can be performed only for a prediction unit of 2Nx2N size. If there are a plurality of prediction units in an encoding unit, a prediction mode having the smallest coding error can be selected by performing prediction for each prediction unit.

또한, 영상 부호화 장치(100)는 부호화 단위와 다른 크기의 처리 단위에 기초해 영상 데이터를 주파수 변환할 수 있다. 부호화 단위의 주파수 변환을 위해서 부호화 단위보다 작거나 같은 크기의 데이터 단위를 기반으로 주파수 변환이 수행될 수 있다. 이하, 주파수 변환의 기초가 되는 처리 단위를 '변환 단위'라 한다.Also, the image encoding apparatus 100 can frequency-convert image data based on a processing unit having a different size from the encoding unit. The frequency conversion may be performed based on a data unit having a size smaller than or equal to the encoding unit for frequency conversion of the encoding unit. Hereinafter, a processing unit serving as a basis of frequency conversion is referred to as a 'conversion unit'.

부호화 심도 결정부(120)는 라그랑지 곱(Lagrangian Multiplier) 기반의 율-왜곡 최적화 기법(Rate-Distortion Optimization)을 이용해 최대 부호화 단위에 포함된 서브 부호화 단위들을 결정할 수 있다. 다시 말해, 최대 부호화 단위가 어떠한 형태의 복수의 서브 부호화 단위로 분할되는지 결정할 수 있는데, 여기서 복수의 서브 부호화 단위는 심도에 따라 크기가 상이하다. 그런 다음, 영상 데이터 부호화부(130)는 부호화 심도 결정부(120)에서 결정된 분할 형태에 기초해 최대 부호화 단위를 부호화하여 비트스트림을 출력한다. The coding depth determiner 120 may determine sub-coding units included in the maximum coding unit using Rate-Distortion Optimization based on a Lagrangian Multiplier. In other words, it is possible to determine what type of sub-encoding unit the maximum encoding unit is divided into, wherein the plurality of sub-encoding units have different sizes depending on the depth. Then, the image data encoding unit 130 encodes the maximum encoding unit based on the division type determined by the encoding depth determination unit 120, and outputs the bit stream.

부호화 정보 부호화부(140)는 부호화 심도 결정부(120)에서 최대 부호화 단위의 부호화 모드에 대한 정보를 부호화한다. 최대 부호화 단위의 분할 형태에 대한 정보, 최대 심도에 대한 정보 및 심도별 서브 부호화 단위의 부호화 모드에 관한 정보를 부호화하여 비트스트림을 출력한다. 서브 부호화 단위의 부호화 모드에 관한 정보는 서브 부호화 단위의 예측 단위에 대한 정보, 예측 단위별 예측 모드 정보, 서브 부호화 단위의 변환 단위에 대한 정보 등을 포함할 수 있다.The encoding information encoding unit 140 encodes information on the encoding mode of the maximum encoding unit in the encoding depth determining unit 120. [ Information on the division type of the maximum encoding unit, information on the maximum depth, and information on the encoding mode of the sub-encoding unit by depth, and outputs the bit stream. The information on the encoding mode of the sub-encoding unit may include information on the prediction unit of the sub-encoding unit, prediction mode information per prediction unit, information on the conversion unit of the sub-encoding unit, and the like.

최대 부호화 단위마다 상이한 크기의 서브 부호화 단위가 존재하고, 각각의 서브 부호화 단위마다 부호화 모드에 관한 정보가 결정되어야 하므로, 하나의 최대 부호화 단위에 대해서는 적어도 하나의 부호화 모드에 관한 정보가 결정될 수 있다. There is a sub-encoding unit of a different size for each maximum encoding unit, and information on the encoding mode is determined for each sub-encoding unit, so that information on at least one encoding mode can be determined for one maximum encoding unit.

영상 부호화 장치(100)는 심도가 커짐에 따라 최대 부호화 단위를 높이 및 너비를 반분하여 서브 부호화 단위를 생성할 수 있다. 즉, k 심도의 부호화 단위의 크기가 2Nx2N이라면, k+1 심도의 부호화 단위의 크기는 NxN 이다. As the depth increases, the image encoding apparatus 100 may generate a sub-encoding unit by dividing the maximum encoding unit by half the height and the width. That is, if the size of the encoding unit of the kth depth is 2Nx2N, the size of the encoding unit of the k + 1th depth is NxN.

따라서, 일 실시예에 따른 영상 복호화 장치(100)는 영상의 특성을 고려한 최대 부호화 단위의 크기 및 최대 심도를 기반으로, 각각의 최대 부호화 단위마다 최적의 분할 형태를 결정할 수 있다. 영상 특성을 고려하여 가변적으로 최대 부호화 단위의 크기를 조절하고, 상이한 심도의 서브 부호화 단위로 최대 부호화 단위를 분할하여 영상을 부호화함으로써, 다양한 해상도의 영상을 보다 효율적으로 부호화할 수 있다.Accordingly, the image decoding apparatus 100 according to an exemplary embodiment can determine an optimum division type for each maximum encoding unit based on the size and the maximum depth of a maximum encoding unit considering characteristics of an image. It is possible to more efficiently encode images of various resolutions by adjusting the size of the maximum encoding unit in consideration of the image characteristics and encoding the image by dividing the maximum encoding unit into sub-encoding units of different depths.

도 2 는 본 발명의 일 실시예에 따른 영상 복호화 장치를 도시한다.FIG. 2 illustrates an image decoding apparatus according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 복호화 장치(200)는 영상 데이터 획득부(210), 부호화 정보 추출부(220) 및 영상 데이터 복호화부(230)를 포함한다. 2, an image decoding apparatus 200 according to an exemplary embodiment of the present invention includes an image data obtaining unit 210, an encoding information extracting unit 220, and an image data decoding unit 230.

영상 관련 데이터 획득부(210)는 영상 복호화 장치(200)가 수신한 비트스트림을 파싱하여, 최대 부호화 단위별로 영상 데이터를 획득하여 영상 데이터 복호화부(230)로 출력한다. 영상 데이터 획득부(210)는 현재 픽처 또는 슬라이스에 대한 헤더로부터 현재 픽처 또는 슬라이스의 최대 부호화 단위에 대한 정보를 추출할 수 있다. 다시 말해, 비트스트림을 최대 부호화 단위로 분할하여, 영상 데이터 복호화부(230)가 최대 부호화 단위마다 영상 데이터를 복호화하게 한다.The image-related data acquisition unit 210 parses the bit stream received by the image decoding apparatus 200, acquires image data for each maximum encoding unit, and outputs the image data to the image data decoding unit 230. The image data obtaining unit 210 may extract information on the maximum coding unit of the current picture or slice from the header of the current picture or slice. In other words, the bitstream is divided into a maximum encoding unit, and the video data decoding unit 230 decodes the video data per maximum encoding unit.

부호화 정보 추출부(220)는 영상 복호화 장치(200)가 수신한 비트열을 파싱하여, 현재 픽처에 대한 헤더로부터 최대 부호화 단위, 최대 심도, 최대 부호화 단위의 분할 형태, 서브 부호화 단위의 부호화 모드에 관한 정보를 추출한다. 분할 형태 및 부호화 모드에 관한 정보는 영상 데이터 복호화부(230)로 출력된다.The encoding information extracting unit 220 parses the bit stream received by the video decoding apparatus 200 and extracts a maximum encoding unit, a maximum depth, a division type of the maximum encoding unit, and a coding mode of the sub-encoding unit from the header for the current picture . The information on the division type and the encoding mode is output to the video data decoding unit 230. [

최대 부호화 단위의 분할 형태에 대한 정보는 최대 부호화 단위에 포함된 심도에 따라 상이한 크기의 서브 부호화 단위에 대한 정보를 포함할 수 있으며, 부호화 모드에 관한 정보는 서브 부호화 단위별 예측 단위에 대한 정보, 예측 모드에 대한 정보 및 변환 단위에 대한 정보 등을 포함할 수 있다. The information on the division type of the maximum encoding unit may include information on sub-encoding units of different sizes according to the depth included in the maximum encoding unit, the information on the encoding mode may include information on a prediction unit for each sub- Information on the prediction mode, information on the conversion unit, and the like.

영상 데이터 복호화부(230)는 부호화 정보 추출부에서 추출된 정보에 기초하여 각각의 최대 부호화 단위의 영상 데이터를 복호화하여 현재 픽처를 복원한다. 최대 부호화 단위의 분할 형태에 대한 정보에 기초하여, 영상 데이터 복호화부(230)는 최대 부호화 단위에 포함된 서브 부호화 단위를 복호화할 수 있다. 복호화 과정은 인트라 예측 및 움직임 보상을 포함하는 움직임 예측 과정, 및 주파수 역변환 과정을 포함할 수 있다.The image data decoding unit 230 decodes the image data of each maximum encoding unit based on the information extracted by the encoding information extracting unit to restore the current picture. The image data decoding unit 230 can decode the sub-encoding unit included in the maximum encoding unit based on the information on the division type of the maximum encoding unit. The decoding process may include a motion prediction process including intra prediction and motion compensation, and an inverse frequency conversion process.

영상 데이터 복호화부(230)는, 서브 부호화 단위의 예측을 위해, 서브 부호화 단위별 예측 단위에 대한 정보 및 예측 모드에 대한 정보에 기초해 인트라 예측 또는 인터 예측을 수행할 수 있다. 또한, 영상 데이터 복호화부(230)는, 서브 부호화 단위의 변환 단위에 대한 정보에 기초해 서브 부호화 단위마다 주파수 역변환을 수행할 수 있다.The image data decoding unit 230 may perform intra prediction or inter prediction based on information on a prediction unit for each sub-coding unit and prediction mode information for prediction of a sub-coding unit. In addition, the image data decoding unit 230 can perform frequency inverse transform for each sub-encoding unit on the basis of the information on the conversion unit of the sub-encoding unit.

도 3 은 본 발명의 일 실시예에 따른 계층적 부호화 단위를 도시한다.FIG. 3 illustrates a hierarchical encoding unit according to an embodiment of the present invention.

도 3을 참조하면, 본 발명에 따른 계층적 부호화 단위는 너비x높이가 64x64인 부호화 단위부터, 32x32, 16x16, 8x8, 및 4x4를 포함할 수 있다. 정사각형 형태의 부호화 단위 이외에도, 너비x높이가 64x32, 32x64, 32x16, 16x32, 16x8, 8x16, 8x4, 4x8인 부호화 단위들이 존재할 수 있다.Referring to FIG. 3, the hierarchical coding unit according to the present invention may include 32x32, 16x16, 8x8, and 4x4 from a coding unit having a width x height of 64x64. In addition to the square-shaped encoding units, there may be encoding units whose width x height is 64x32, 32x64, 32x16, 16x32, 16x8, 8x16, 8x4, 4x8.

도 3을 참조하면, 해상도가 1920x1080인 영상 데이터(310)에 대해서, 최대 부호화 단위의 크기는 64x64, 최대 심도가 2로 설정되어 있다. Referring to FIG. 3, the maximum encoding unit size is set to 64x64 and the maximum depth is set to 2 for the image data 310 having a resolution of 1920x1080.

또 다른 해상도가 1920x1080인 영상 데이터(320)에 대해서 최대 부호화 단위의 크기는 64x64, 최대 심도가 4로 설정되어 있다. 해상도가 352x288인 비디오 데이터(330)에 대해서 최대 부호화 단위의 크기는 16x16, 최대 심도가 2로 설정되어 있다.The size of the maximum encoding unit is set to 64x64 and the maximum depth is set to 4 for the image data 320 having another resolution of 1920x1080. For the video data 330 having a resolution of 352x288, the size of the maximum encoding unit is set to 16x16 and the maximum depth is set to 2. [

해상도가 높거나 데이터량이 많은 경우 압축률 향상뿐만 아니라 영상 특성을 정확히 반영하기 위해 부호화 사이즈의 최대 크기가 상대적으로 큰 것이 바람직하다. 따라서, 영상 데이터(330)에 비해, 해상도가 높은 영상 데이터(310 및 320)는 최대 부호화 단위의 크기가 64x64로 선택될 수 있다.It is desirable that the maximum size of the encoding size is relatively large in order to accurately reflect not only the compression ratio but also the image characteristic when the resolution is high or the data amount is large. Therefore, the size of the maximum encoding unit of the image data 310 and 320 having a higher resolution than the image data 330 can be selected to be 64x64.

최대 심도는 계층적 부호화 단위에서 총 계층수를 나타낸다. 영상 데이터(310)의 최대 심도는 2이므로, 영상 데이터(310)의 부호화 단위(315)는 장축 크기가 64인 최대 부호화 단위로부터, 심도가 증가함에 따라 장축 크기가 32, 16인 서브 부호화 단위들까지 포함할 수 있다. The maximum depth indicates the total number of layers in the hierarchical encoding unit. Since the maximum depth of the image data 310 is 2, the coding unit 315 of the image data 310 is divided into sub-coding units 315 having a major axis size of 32 and 16 as the depth increases, .

반면, 영상 데이터(330)의 최대 심도는 2이므로, 영상 데이터(330)의 부호화 단위(335)는 장축 크기가 16인 최대 부호화 단위들로부터, 심도가 증가함에 따라 장축 크기가 8, 4인 부호화 단위들까지 포함할 수 있다. On the other hand, since the maximum depth of the image data 330 is 2, the encoding unit 335 of the image data 330 is encoded from the maximum encoding units having the major axis size of 16 to the encoding units having the major axis size of 8 and 4 Units.

영상 데이터(320)의 최대 심도는 4이므로, 비디오 데이터(320)의 부호화 단위(325)는 장축 크기가 64인 최대 부호화 단위로부터, 심도가 증가함에 따라 장축 크기가 32, 16, 8, 4인 서브 부호화 단위들까지 포함할 수 있다. 심도가 증가할수록 더 작은 서브 부호화 단위에 기초해 영상을 부호화하므로 보다 세밀한 장면을 포함하고 있는 영상을 부호화하는데 적합해진다.Since the maximum depth of the video data 320 is 4, the encoding unit 325 of the video data 320 has a length of 32, 16, 8, and 4 as the depth increases, Sub-encoding units. As the depth increases, the image is encoded based on a smaller sub-encoding unit, which makes it suitable for encoding an image including a finer scene.

도 4 는 본 발명의 일 실시예에 따른 부호화 단위에 기초한 영상 부호화부를 도시한다.FIG. 4 illustrates an image encoding unit based on an encoding unit according to an embodiment of the present invention.

인트라 예측부(410)는 현재 프레임(405) 중 인트라 모드의 예측 단위에 대해 인트라 예측을 수행하고, 움직임 추정부(420) 및 움직임 보상부(425)는 인터 모드의 예측 단위에 대해 현재 프레임(405) 및 참조 프레임(495)을 이용해 인터 예측 및 움직임 보상을 수행한다.The intra prediction unit 410 performs intra prediction on a prediction unit of the intra mode of the current frame 405 and the motion estimation unit 420 and the motion compensation unit 425 perform intra prediction on the prediction unit of the intra mode, 405 and a reference frame 495. The inter-prediction and the motion compensation are performed using the reference frame 495 and inter-prediction.

인트라 예측부(410), 움직임 추정부(420) 및 움직임 보상부(425)로부터 출력된 예측 단위에 기초해 레지듀얼 값들이 생성되고, 생성된 레지듀얼 값들은 주파수 변환부(430) 및 양자화부(440)를 거쳐 양자화된 변환 계수로 출력된다. The residual values are generated based on the prediction unit output from the intra prediction unit 410, the motion estimation unit 420 and the motion compensation unit 425, and the generated residual values are input to the frequency conversion unit 430 and the quantization unit 420. [ (440) and output as quantized transform coefficients.

양자화된 변환 계수는 역양자화부(460), 주파수 역변환부(470)를 통해 다시 레지듀얼 값으로 복원되고, 복원된 레지듀얼 값들은 디블로킹부(480) 및 루프 필터링부(490)를 거쳐 후처리되어 참조 프레임(495)으로 출력된다. 양자화된 변환 계수는 엔트로피 부호화부(450)를 거쳐 비트스트림(455)으로 출력될 수 있다.The quantized transform coefficients are restored to a residual value through the inverse quantization unit 460 and the frequency inverse transform unit 470. The restored residual values are passed through the deblocking unit 480 and the loop filtering unit 490, And output to the reference frame 495. [ The quantized transform coefficient may be output to the bitstream 455 via the entropy encoding unit 450.

본 발명의 일 실시예에 따른 영상 부호화 방법에 따라 부호화하기 위해, 영상 부호화부(400)의 구성 요소들인 인트라 예측부(410), 움직임 추정부(420), 움직임 보상부(425), 주파수 변환부(430), 양자화부(440), 엔트로피 부호화부(450), 역양자화부(460), 주파수 역변환부(470), 디블로킹부(480) 및 루프 필터링부(490)는 모두 최대 부호화 단위, 심도에 따른 서브 부호화 단위, 예측 단위 및 변환 단위에 기초해 영상 부호화 과정들을 처리한다. In order to perform encoding according to the image encoding method according to an embodiment of the present invention, an intra prediction unit 410, a motion estimation unit 420, a motion compensation unit 425, The inverse quantization unit 460, the inverse quantization unit 470, the deblocking unit 480 and the loop filtering unit 490 of the quantization unit 430, the quantization unit 440, the entropy coding unit 450, the inverse quantization unit 460, , Sub-encoding units according to depth, prediction units, and conversion units.

도 5는 본 발명의 일 실시예에 따른 부호화 단위에 기초한 영상 복호화부를 도시한다.FIG. 5 illustrates an image decoding unit based on an encoding unit according to an embodiment of the present invention.

비트스트림(505)이 파싱부(510)를 거쳐 복호화 대상인 부호화된 영상 데이터 및 복호화를 위해 필요한 부호화 정보가 파싱된다. 부호화된 영상 데이터는 엔트로피 복호화부(520) 및 역양자화부(530)를 거쳐 역양자화된 데이터로 출력되고, 주파수 역변환부(540)를 거쳐 레지듀얼 값들로 복원된다. 레지듀얼 값들은 인트라 예측부(550)의 인트라 예측의 결과 또는 움직임 보상부(560)의 움직임 보상 결과와 가산되어 부호화 단위 별로 복원된다. 복원된 부호화 단위는 디블로킹부(570) 및 루프 필터링부(580)를 거쳐 다음 부호화 단위 또는 다음 픽처의 예측에 이용된다. The bitstream 505 passes through the parser 510 and the encoded image data to be decoded and the encoding information necessary for decoding are parsed. The encoded image data is output as inverse-quantized data through the entropy decoding unit 520 and the inverse quantization unit 530, and is restored to the residual values through the frequency inverse transform unit 540. [ The residual values are added to the intraprediction result of the intraprediction unit 550 or the motion compensation result of the motion compensation unit 560, and restored for each encoding unit. The reconstructed coding unit is used for predicting the next coding unit or the next picture through the deblocking unit 570 and the loop filtering unit 580.

본 발명의 일 실시예에 따른 영상 복호화 방법에 따라 복호화하기 위해 영상 복호화부(400)의 구성 요소들인 파싱부(510), 엔트로피 복호화부(520), 역양자화부(530), 주파수 역변환부(540), 인트라 예측부(550), 움직임 보상부(560), 디블로킹부(570) 및 루프 필터링부(580)가 모두 최대 부호화 단위, 심도에 따른 서브 부호화 단위, 예측 단위 및 변환 단위에 기초해 영상 복호화 과정들을 처리한다. A parsing unit 510, an entropy decoding unit 520, an inverse quantization unit 530, an inverse frequency transforming unit (hereinafter referred to as an inverse quantization unit) 530, The intra prediction unit 550, the motion compensation unit 560, the deblocking unit 570 and the loop filtering unit 580 are all based on the maximum encoding unit, the depth-dependent sub-encoding unit, the prediction unit, And processes the image decoding processes.

특히, 인트라 예측부(550), 움직임 보상부(560)는 최대 부호화 단위 및 심도를 고려하여 서브 부호화 단위 내의 예측 단위 및 예측 모드를 결정하며, 주파수 역변환부(540)는 변환 단위의 크기를 고려하여 주파수 역변환을 수행한다.In particular, the intra prediction unit 550 and the motion compensation unit 560 determine a prediction unit and a prediction mode in the sub-coding unit in consideration of the maximum coding unit and the depth, and the frequency inverse transform unit 540 considers the size of the conversion unit Thereby performing frequency inverse transform.

도 6는 본 발명의 일 실시예에 따른 최대 부호화 단위, 서브 부호화 단위 및 예측 단위를 도시한다.FIG. 6 illustrates a maximum encoding unit, a sub-encoding unit, and a prediction unit according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 영상 부호화 장치(100) 및 영상 복호화 장치(200)는 영상 특성을 고려하여 부호화, 복호화를 수행하기 위해 계층적인 부호화 단위를 이용한다. 최대 부호화 단위 및 최대 심도는 영상의 특성에 따라 적응적으로 설정되거나, 사용자의 요구에 따라 다양하게 설정될 수 있다. The image encoding apparatus 100 and the image decoding apparatus 200 according to an embodiment of the present invention use a hierarchical encoding unit to perform encoding and decoding in consideration of image characteristics. The maximum encoding unit and the maximum depth may be adaptively set according to the characteristics of the image, or may be variously set according to the demand of the user.

본 발명의 일 실시예에 따른 부호화 단위의 계층 구조(600)는 최대 부호화 단위(610)의 높이 및 너비가 64이며, 최대 심도가 4인 경우를 도시한다. 부호화 단위의 계층 구조(600)의 세로축을 따라서 심도가 증가하고, 심도의 증가에 따라 서브 부호화 단위(620 내지 650)의 높이 및 너비가 축소된다. 또한, 부호화 단위의 계층 구조(600)의 가로축을 따라, 최대 부호화 단위(610) 및 서브 부호화 단위(620 내지 650)의 예측 단위가 도시되어 있다.
The hierarchical structure 600 of the encoding unit according to an embodiment of the present invention shows a case where the height and the width of the maximum encoding unit 610 are 64 and the maximum depth is 4. The depth increases along the vertical axis of the hierarchical structure 600 of the encoding unit, and the height and width of the sub-encoding units 620 to 650 decrease as the depth increases. Prediction units of the maximum encoding unit 610 and the sub-encoding units 620 to 650 are shown along the horizontal axis of the hierarchical structure 600 of the encoding units.

*최대 부호화 단위(610)는 심도가 0이며, 부호화 단위의 크기, 즉 높이 및 너비가 64x64이다. 세로축을 따라 심도가 증가하며, 크기 32x32인 심도 1의 서브 부호화 단위(620), 크기 16x16인 심도 2의 서브 부호화 단위(630), 크기 8x8인 심도 3의 서브 부호화 단위(640), 크기 4x4인 심도 4의 서브 부호화 단위(650)가 존재한다. 크기 4x4인 심도 4의 서브 부호화 단위(650)는 최소 부호화 단위이다.The maximum encoding unit 610 has a depth of 0, and the size of the encoding unit, i.e., the height and the width, is 64x64. A sub-encoding unit 620 having a depth 1 of 32x32 and a sub-encoding unit 630 having a depth 16x16 having a depth of 16x16, a sub-encoding unit 640 having a depth of 3x8 having a size 8x8, There is a sub-encoding unit 650 of depth 4. A sub-encoding unit 650 of depth 4 with a size of 4x4 is the minimum encoding unit.

도 6을 참조하면, 각각의 심도별로 가로축을 따라 예측 단위의 예시들이 도시되어 있다. 즉, 심도 0의 최대 부호화 단위(610)의 예측 단위는, 크기 64x64의 부호화 단위(610)와 동일하거나 작은 크기인 크기 64x64의 예측 단위(610), 크기 64x32의 예측 단위(612), 크기 32x64의 예측 단위(614), 크기 32x32의 예측 단위(616)일 수 있다. Referring to FIG. 6, examples of prediction units along the horizontal axis are shown for each depth. That is, the prediction unit of the maximum coding unit 610 of depth 0 is a prediction unit 610 of size 64x64, a prediction unit 612 of size 64x32, and size 32x64, which are the same or smaller than the coding unit 610 of size 64x64, A prediction unit 614 of size 32x32, and a prediction unit 616 of size 32x32.

심도 1의 크기 32x32의 부호화 단위(620)의 예측 단위는, 크기 32x32의 부호화 단위(620)와 동일하거나 작은 크기인 크기 32x32의 예측 단위(620), 크기 32x16의 예측 단위(622), 크기 16x32의 예측 단위(624), 크기 16x16의 예측 단위(626)일 수 있다. The prediction unit of the 32x32 coding unit 620 having the depth 1 has the prediction unit 620 of the size 32x32 which is equal to or smaller than the coding unit 620 of the size 32x32, the prediction unit 622 of the size 32x16, A prediction unit 624 of size 16x16, and a prediction unit 626 of size 16x16.

심도 2의 크기 16x16의 부호화 단위(630)의 예측 단위는, 크기 16x16의 부호화 단위(630)와 동일하거나 작은 크기인 크기 16x16의 예측 단위(630), 크기 16x8의 예측 단위(632), 크기 8x16의 예측 단위(634), 크기 8x8의 예측 단위(636)일 수 있다. The prediction unit of the 16x16 encoding unit 630 of depth 2 has a prediction unit 630 of 16x16 size, a prediction unit 632 of size 16x8, and a size of 8x16, which are the same or smaller than the encoding unit 630 of size 16x16. A prediction unit 634 of size 8x8, and a prediction unit 636 of size 8x8.

심도 3의 크기 8x8의 부호화 단위(640)의 예측 단위는, 크기 8x8의 부호화 단위(640)와 동일하거나 작은 크기인 크기 8x8의 예측 단위(640), 크기 8x4의 예측 단위(642), 크기 4x8의 예측 단위(644), 크기 4x4의 예측 단위(646)일 수 있다. The prediction unit of the 8x8 encoding unit 640 of depth 3 has a prediction unit 640 of size 8x8, a prediction unit 642 of size 8x4, and a size of 4x8, which are the same or smaller than the encoding unit 640 of size 8x8. A prediction unit 644 of size 4x4, and a prediction unit 646 of size 4x4.

마지막으로, 심도 4의 크기 4x4의 부호화 단위(650)는 최소 부호화 단위이며 최대 심도의 부호화 단위이고, 예측 단위는 크기 4x4의 예측 단위(650)이다.Finally, the coding unit 650 of size 4x4 is the minimum coding unit and the coding unit of maximum depth, and the prediction unit is the prediction unit 650 of size 4x4.

도 7은 본 발명의 일 실시예에 따른, 부호화 단위 및 변환 단위를 도시한다.7 shows an encoding unit and a conversion unit according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 영상 부호화 장치(100) 및 영상 복호화 장치(200)는, 최대 부호화 단위 그대로 부호화하거나, 최대 부호화 단위 보다 작거나 같은 서브 부호화 단위로 최대 부호화 단위를 분할하여 부호화한다. 부호화 과정 중 주파수 변환을 위한 변환 단위의 크기는 최적의 압축률이 달성되도록 선택된다. 예를 들어, 현재 부호화 단위(710)가 64x64 크기일 때, 32x32 크기의 변환 단위(720)를 이용하여 주파수 변환이 수행될 수 있다. 도 13a 내지 13d와 관련하여 후술하는 바와 같이 부호화 단위보다 큰 변환 단위를 설정할 수도 있다.The image encoding apparatus 100 and the image decoding apparatus 200 according to an embodiment of the present invention encode the maximum encoding unit as a unit or encode the maximum encoding unit in units of sub encoding units smaller than or equal to the maximum encoding unit. The size of the conversion unit for frequency conversion during encoding is selected to achieve an optimal compression rate. For example, when the current encoding unit 710 is 64x64, the frequency conversion can be performed using the 32x32 conversion unit 720. [ A conversion unit larger than the encoding unit may be set as described later with reference to Figs. 13A to 13D.

도 8a 및 8b는 본 발명의 일 실시예에 따른, 부호화 단위, 예측 단위 및 주파수 변환 단위의 분할 형태를 도시한다.FIGS. 8A and 8B show a division form of an encoding unit, a prediction unit, and a frequency conversion unit according to an embodiment of the present invention.

도 8a는 본 발명의 일 실시예에 따른 부호화 단위 및 예측 단위를 도시한다. 8A shows an encoding unit and a prediction unit according to an embodiment of the present invention.

도 8a의 좌측은 최대 부호화 단위(810)를 부호화하기 위해 본 발명의 일 실시예에 따른 영상 부호화 장치(100)가 선택한 분할 형태를 도시한다. 영상 부호화 장치(100)는 다양한 형태로 최대 부호화 단위(810)를 분할하고, 부호화한 다음 다양한 분할 형태의 부호화 결과를 R-D 코스트에 기초해 비교하여 최적의 분할 형태를 선택한다. 최대 부호화 단위(810)를 그대로 부호화하는 것이 최적일 경우에는 도 8a 및 8b와 같이 최대 부호화 단위(810)를 분할하지 않고 최대 부호화 단위(800)를 부호화할 수도 있다. The left side of FIG. 8A shows a division type selected by the image encoding apparatus 100 according to an embodiment of the present invention to encode the maximum encoding unit 810. The image encoding apparatus 100 divides the maximum encoding unit 810 into various types, encodes the encoded image, and then selects an optimal division type by comparing the encoding results of various division types based on the R-D cost. When it is optimal to directly encode the maximum encoding unit 810, the maximum encoding unit 800 may be encoded without dividing the maximum encoding unit 810 as shown in FIGS. 8A and 8B.

도 8a의 좌측을 참조하면, 심도 0인 최대 부호화 단위(810)를 심도 1 이상의 서브 부호화 단위로 분할하여 부호화한다. 최대 부호화 단위(810)를 네 개의 심도 1의 서브 부호화 단위로 분할한 다음, 전부 또는 일부의 심도 1의 서브 부호화 단위를 다시 심도 2의 서브 부호화 단위로 분할한다.Referring to the left side of FIG. 8A, a maximum encoding unit 810 having a depth of 0 is divided into sub-encoding units having a depth of 1 or more and encoded. The maximum encoding unit 810 is divided into sub-encoding units of four depths 1, and then all or a part of the sub-encoding units of depth 1 are divided into sub-encoding units of depth 2 again.

심도 1의 서브 부호화 단위 중 우측 상부에 외치한 서브 부호화 단위 및 좌측 하부에 위치한 서브 부호화 단위가 심도 2 이상의 서브 부호화 단위로 분할되었다. 심도 2 이상의 서브 부호화 단위 중 일부는 다시 심도 3 이상의 서브 부호화 단위로 분할될 수 있다.Among the sub-coding units of depth 1, sub-coding units coded at the upper right and sub-coding units located at the lower left are divided into sub-coding units of depth 2 or more. Some of the sub-encoding units having depths of 2 or more may be further divided into sub-encoding units having depths of 3 or more.

도 8a의 우측은 최대 부호화 단위(810)에 대한 예측 단위의 분할 형태를 도시한다. The right side of FIG. 8A shows the division type of the prediction unit for the maximum coding unit 810.

도 8a의 우측을 참조하면, 최대 부호화 단위에 대한 예측 단위(860)는 최대 부호화 단위(810)와 상이하게 분할될 수 있다. 다시 말해, 서브 부호화 단위들 각각에 대한 예측 단위는 서브 부호화 단위보다 작을 수 있다. Referring to the right side of FIG. 8A, the prediction unit 860 for the maximum coding unit can be divided into the maximum coding unit 810 and the prediction unit 860 for the maximum coding unit. In other words, the prediction unit for each of the sub-encoding units may be smaller than the sub-encoding unit.

예를 들어, 심도 1의 서브 부호화 단위 중 우측 하부에 외치한 서브 부호화 단위(854)에 대한 예측 단위는 서브 부호화 단위(854)보다 작을 수 있다. 심도 2의 서브 부호화 단위들(814, 816, 818, 828, 850, 852) 중 일부 서브 부호화 단위(815, 816, 850, 852)에 대한 예측 단위는 서브 부호화 단위보다 작을 수 있다. 또한, 심도 3의 서브 부호화 단위(822, 832, 848)에 대한 예측 단위는 서브 부호화 단위보다 작을 수 있다. 예측 단위는 각각의 서브 부호화 단위를 높이 또는 너비 방향으로 반분한 형태일 수도 있고, 높이 및 너비 방향으로 4분한 형태일 수도 있다.For example, a prediction unit for a sub-coding unit 854 coded right below the sub-coding unit at depth 1 may be smaller than the sub-coding unit 854. The prediction unit for some of the sub-encoding units 815, 816, 850, and 852 among the sub-encoding units 814, 816, 818, 828, 850, and 852 at the depth 2 may be smaller than the sub- In addition, the prediction unit for the sub-coding units 822, 832, and 848 of depth 3 may be smaller than the sub-coding unit. The prediction unit may be a form in which each sub-coding unit is halved in the height or width direction, or may be divided into four in height and width directions.

도 8b는 본 발명의 일 실시예에 따른 예측 단위 및 변환 단위를 도시한다. FIG. 8B shows a prediction unit and a conversion unit according to an embodiment of the present invention.

도 8b의 좌측은 도 8a의 우측에 도시된 최대 부호화 단위(810)에 대한 예측 단위의 분할 형태를 도시하고, 도 8b의 우측은 최대 부호화 단위(810)의 변환 단위의 분할 형태를 도시한다. The left side of FIG. 8B shows the division form of the prediction unit for the maximum coding unit 810 shown on the right side of FIG. 8A, and the right side of FIG. 8B shows the division form of the conversion unit of the maximum coding unit 810.

도 8b의 우측을 참조하면, 변환 단위(870)의 분할 형태는 예측 단위(860)와 상이하게 설정될 수 있다. Referring to the right side of FIG. 8B, the division type of the conversion unit 870 may be set differently from the prediction unit 860. [

예를 들어, 심도 1의 부호화 단위(854)에 대한 예측 단위가 높이를 반분한 형태로 선택되더라도, 변환 단위는 심도 1의 부호화 단위(854)의 크기와 동일한 크기로 선택될 수 있다. 마찬가지로, 심도 2의 부호화 단위(814, 850)에 대한 예측 단위가 심도 2의 부호화 단위(814, 850)의 높이를 반분한 형태로 선택되더라도 변환 단위는 심도 2의 부호화 단위(814, 850)의 원래 크기와 동일한 크기로 선택될 수 있다. For example, even if the prediction unit for the depth 1 encoding unit 854 is selected to be half the height, the conversion unit may be selected to be the same size as the depth unit 854 encoding unit. Likewise, even if the prediction unit for the depth 2 coding units 814 and 850 is selected in such a manner that the height of the depth level 2 coding units 814 and 850 is halved, the level of the level 2 coding units 814 and 850 It can be selected to be the same size as the original size.

예측 단위보다 더 작은 크기로 변환 단위가 선택될 수도 있다. 예를 들어, 심도 2의 부호화 단위(852)에 대한 예측 단위가 너비를 반분한 형태로 선택된 경우에 변환 단위는 예측 단위보다 더 작은 크기인 높이 및 너비를 반분한 형태로 선택될 수 있다. 가장 작은 변환 단위로서 2x2 크기로 변환 단위를 설정할 수도 있다.The conversion unit may be selected to be smaller than the prediction unit. For example, if the prediction unit for depth 2 coding unit 852 is chosen to be half the width, the conversion unit may be selected to be half the width and height, which is a smaller size than the prediction unit. You can also set the conversion unit to 2x2 as the smallest conversion unit.

또한, 도 13a 내지 13d를 참조하여 후술하는 바와 같이 변환 단위는 부호화 단위와 무관하게 부호화 단위의 크기보다 크게 변환 단위가 설정될 수도 있다.13A to 13D, the conversion unit may be set to be larger than the size of the encoding unit regardless of the encoding unit.

도 9는 본 발명의 또 다른 실시예에 따른 영상 부호화 장치를 도시한다. 9 illustrates an image encoding apparatus according to another embodiment of the present invention.

도 9를 참조하면, 본 발명의 일 실시예에 다른 영상 부호화 장치(900)는 예측부(910), 주파수변환부(920), 양자화부(930) 및 엔트로피부호화부(940)를 포함한다. 9, an image encoding apparatus 900 according to an exemplary embodiment of the present invention includes a predictor 910, a frequency transformer 920, a quantizer 930, and an entropy encoder 940.

예측부(910)는 하나 또는 복수의 부호화 단위를 인트라 예측 또는 인터 예측하여 레지듀얼 값들을 생성한다. 후술하는 바와 같이 본 발명은 복수의 예측 단위에 포함된 레지듀얼 값들을 하나로 그룹화하여 주파수 도메인으로 변환할 수 있는 바, 복수의 예측 단위에 기초해 하나 또는 복수의 부호화 단위를 예측하여 레지듀얼 값들을 생성한다. 주파수 도메인으로의 변환은 이산 코사인 변환일 수 있다.The prediction unit 910 generates residual values by intraprediction or inter prediction of one or a plurality of encoding units. As described later, according to the present invention, residual values included in a plurality of prediction units can be grouped into a single frequency domain, and it is possible to predict one or a plurality of coding units based on a plurality of prediction units, . The transform to the frequency domain may be a discrete cosine transform.

도 8a와 관련하여 전술한 바와 같이 본 발명의 일 실시예에 따른 영상 부호화 방법은 하나의 부호화 단위가 복수의 예측 단위를 포함할 수 있는 바, 예측부(910)는 복수의 예측 단위를 각각 예측하여 하나의 부호화 단위에 포함된 복수의 예측 단위에 대한 레지듀얼 값들을 생성한다. As described above with reference to FIG. 8A, in the image encoding method according to an embodiment of the present invention, one encoding unit may include a plurality of prediction units, and the prediction unit 910 may predict a plurality of prediction units And generates residual values for a plurality of prediction units included in one coding unit.

또한, 예측부(910)는 복수의 부호화 단위를 한꺼번에 예측할 수 있다. 후술하는 바와 같이, 본 발명의 일 실시예에 따르면, 복수의 부호화 단위에 포함된 복수의 예측 단위를 하나로 그룹화하여 하나의 변환 단위로 설정할 수 있으므로, 복수의 부호화 단위에 포함된 복수의 예측 단위를 각각 예측하여 레지듀얼 값들을 생성한다. 예를 들어, 하나의 최대 부호화 단위에 포함된 모든 서브 부호화 단위들을 모두 예측함으로써 복수의 부호화 단위에 대한 레지듀얼 값들을 생성할 수 있다.In addition, the predicting unit 910 can predict a plurality of encoding units at a time. As described later, according to an embodiment of the present invention, a plurality of prediction units included in a plurality of coding units can be grouped into a single conversion unit, so that a plurality of prediction units included in a plurality of coding units can be Respectively, to generate residual values. For example, it is possible to generate residual values for a plurality of encoding units by predicting all the sub-encoding units included in one maximum encoding unit.

종래 기술에 따르면, 예측 단위보다 작거나 같은 크기로 이산 코사인 변환을 수행하기 때문에 소정의 예측 단위를 독립적으로 부호화하고, 다시 복원하여 다음 예측 단위의 예측에 이용할 수 있었다. 그러나, 후술하는 본원 발명의 일 실시예에 따른 영상 부호화 방법에 따르면 하나 또는 복수의 부호화 단위에 포함된 예측 단위들을 하나로 그룹화하여 이산 코사인 변환을 수행하기 때문에, 소정의 예측 단위를 독립적으로 부호화하고 복원할 수 없다. 도 10을 참조하여 상세히 설명한다.According to the related art, since the discrete cosine transform is performed with a size smaller than or equal to the prediction unit, a predetermined prediction unit can be independently encoded and used again for prediction of the next prediction unit. However, according to the image encoding method according to an embodiment of the present invention to be described later, since discrete cosine transform is performed by grouping the prediction units included in one or a plurality of encoding units into one, Can not. Will be described in detail with reference to FIG.

도 10은 본 발명의 일 실시예에 따른 예측 방법을 설명하기 위한 도면이다. 10 is a diagram for explaining a prediction method according to an embodiment of the present invention.

도 10을 참조하면, 하나의 부호화 단위(1000)는 복수의 예측 단위(1010 내지 1040)를 포함할 수 있다. 종래 기술과 같이 예측 단위보다 작거나 같은 크기로 이산 코사인 변환을 수행하면, 우측하부의 예측 단위(1040)를 부호화하기 이전에 다른 예측 단위들(1010 내지 1030)을 부호화하고 다시 복원할 수 있다. Referring to FIG. 10, one coding unit 1000 may include a plurality of prediction units 1010 to 1040. When the discrete cosine transform is performed with a size smaller than or equal to the prediction unit as in the prior art, other prediction units 1010 to 1030 can be encoded and restored before coding the lower right prediction unit 1040.

따라서, 종래 기술에 따라 만약 예측 단위(1040)를 인트라 예측을 이용해 예측하려면, 예측 단위들(1010 내지 1030)을 부호화한 후 다시 복원하여 생성된 픽셀들 중 예측 단위(1040)에 인접한 픽셀들을 이용해 예측 단위(1040)를 인트라 예측하여야 한다.Accordingly, in order to predict the prediction unit 1040 using the intra prediction method according to the related art, it is possible to predict the prediction unit 1040 by using the pixels adjacent to the prediction unit 1040 among the generated pixels by encoding the prediction units 1010 to 1030 and restoring them again The prediction unit 1040 must be intra-predicted.

그러나, 후술하는 본원 발명에 따른 일 실시예는 복수의 예측 단위를 하나로 그룹화하여 변환 단위를 설정하고, 이산 코사인 변환을 수행한다. 이 때, 도 10의 예측 단위들(1010 내지 1040)이 하나의 변환 단위로 그룹화되면, 우측하부의 예측 단위(1040)도 다른 예측 단위들(1010 내지 1030)과 함께 부호화되므로, 우측하부의 예측 단위(1040)가 부호화하기 이전에 다른 예측 단위(1010 내지 1030)를 부호화할 수 없다. 따라서, 다른 예측 단위(1010 내지 1030)을 부호화한 후 다시 복원한 픽셀들을 이용해 예측 단위(1040)를 인트라 예측할 수 없는 문제가 있다.However, according to an embodiment of the present invention to be described later, a plurality of prediction units are grouped into one, a conversion unit is set, and a discrete cosine transformation is performed. When the prediction units 1010 to 1040 of FIG. 10 are grouped into one conversion unit, the prediction unit 1040 of the lower right is coded together with the other prediction units 1010 to 1030. Therefore, Other prediction units 1010 to 1030 can not be encoded before the unit 1040 encodes. Accordingly, there is a problem in that the prediction unit 1040 can not be intra-predicted using pixels reconstructed after coding other prediction units 1010 to 1030. [

이를 문제를 해결하기 위해, 본원 발명에 따른 예측부(910)는 다른 예측 단위(1010 내지 1030)의 예측 값들을 이용해 예측 단위(1040)를 예측할 수 있다. 다른 예측 단위(1010 내지 1030)를 부호화한 후 복원한 픽셀 값들이 아닌 다른 예측 단위(1010 내지 1030)의 예측 값들을 이용해 우측하부(1040)의 예측 단위를 예측한다.In order to solve this problem, the prediction unit 910 according to the present invention can predict the prediction unit 1040 using the predictive values of the other prediction units 1010 to 1030. [ Prediction units in the right lower portion 1040 are predicted using prediction values of prediction units 1010 to 1030 other than pixel values after decoding the other prediction units 1010 to 1030 and restored.

다시 말해, 하나의 변환 단위로 그룹화되는 복수의 예측 단위 중에서 인트라 예측에 따라 예측되는 제1 예측 단위가 있으면, 제1 예측 단위는 인접한 적어도 하나의 예측 단위의 예측 값들을 이용해 인트라 예측할 수 있다.In other words, if there is a first prediction unit predicted according to intra prediction among a plurality of prediction units grouped in one conversion unit, the first prediction unit can intrapred using the prediction values of at least one adjacent prediction unit.

또한, 본 발명의 또 다른 실시예에 따르면, 하나의 변환 단위로 그룹화되는 복수의 예측 단위는 모두 인터 예측만 이용해 예측할 수도 있다. 도 10과 관련하여 전술한 바와 같이 복수의 예측 단위를 하나의 변환 단위로 그룹화하는데 문제가 되는 예측 단위는 인트라 예측에 따라 예측되는 예측 단위이므로, 하나의 변환 단위로 그룹화되는 모든 예측 단위는 인터 예측만 이용해 예측할 수 있다.According to another embodiment of the present invention, a plurality of prediction units grouped in one conversion unit may be predicted using only inter prediction. As described above with reference to FIG. 10, since the prediction unit that is a problem in grouping a plurality of prediction units into one conversion unit is a prediction unit predicted according to intra prediction, all the prediction units grouped in one conversion unit are inter prediction Can be predicted using only.

다시 도 9를 참조하면, 주파수변환부(920)는 픽셀 도메인의 영상 처리 단위를 입력받아 주파수 도메인으로 변환한다. 예측부(910)에서 생성된 레지듀얼 값들을 주파수 도메인으로 변환한다. Referring again to FIG. 9, the frequency converter 920 receives the image processing unit of the pixel domain and converts the image processing unit into the frequency domain. And converts the residual values generated by the prediction unit 910 into the frequency domain.

전술한 바와 같이 주파수변환부(920)는 복수의 예측 단위를 그룹화하여 하나의 변환 단위를 설정하고, 설정된 변환 단위에 따라 이산 코사인 변환한다. 레지듀얼 값들은 하나의 부호화 단위에 포함된 복수의 예측 단위에 대한 레지듀얼 값들일 수도 있고, 복수의 부호화 단위에 포함된 복수의 예측 단위에 대한 레지듀얼 값들일 수도 있다. 주파수 도메인으로 변환한 결과 주파수 성분들의 계수가 생성된다. As described above, the frequency converter 920 groups a plurality of prediction units, sets one conversion unit, and performs discrete cosine conversion according to the set conversion unit. The residual values may be residual values for a plurality of prediction units contained in one coding unit or may be residual values for a plurality of prediction units included in a plurality of coding units. Converting to the frequency domain results in a coefficient of frequency components.

본 발명의 일 실시예에 따르면, 주파수 도메인으로의 변환은 이산 코사인 변환일 수 있고, 이산 코사인 변환 결과 이산 코사인 계수들이 생성된다. 이하에서는 이산 코사인 변환을 예로 들어 설명하나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 모든 픽셀 도메인의 영상을 주파수 도메인으로 변환하는 모든 변환에 본 발명이 적용될 수 있음을 쉽게 알 수 있다. According to an embodiment of the present invention, the transform to the frequency domain may be a discrete cosine transform and a discrete cosine transform produces discrete cosine coefficients. Hereinafter, discrete cosine transform will be described as an example. However, those skilled in the art will readily understand that the present invention can be applied to all transforms for transforming images of all pixel domains into the frequency domain.

도 10은 본 발명의 일 실시예에 따른 주파수변환부(920)를 도시한다. FIG. 10 shows a frequency converter 920 according to an embodiment of the present invention.

도 10을 참조하면, 본 발명의 일 실시예에 따른 주파수변환부(910)는 선택부(1110) 및 변환수행부(1120)를 포함한다. Referring to FIG. 10, the frequency transforming unit 910 according to an embodiment of the present invention includes a selecting unit 1110 and a transform performing unit 1120.

선택부(1110)는 인접한 복수의 예측 단위를 선택하여 하나의 변환 단위를 설정한다. 전술한 바와 같이 종래의 영상 부호화 장치들에 따르면, 소정의 예측 단위에 따라 인트라 예측 또는 인터 예측을 수행하고, 예측 단위 보다 작거나 같은 크기로 이산 코사인 변환을 수행한다. 다시 말해, 종래의 영상 부호화 장치들은 예측 단위보다 작거나 같은 변환 단위에 기초해 이산 코사인 변환을 수행하였다.The selection unit 1110 selects a plurality of adjacent prediction units and sets one conversion unit. As described above, according to the conventional image encoding apparatuses, intraprediction or inter prediction is performed according to a predetermined prediction unit, and the discrete cosine transformation is performed to a size smaller than or equal to the prediction unit. In other words, conventional image encoding apparatuses perform discrete cosine transform based on a transform unit smaller than or equal to the prediction unit.

그러나, 각각의 변환 단위마다 부가되는 헤더 정보들 때문에 변환 단위가 작을수록 부가되는 오버헤드가 커져 영상 부호화의 압축률을 저하시켰다. 이러한 문제점 해결하기 위해 본 발명의 일 실시예에 따른 영상 부호화 장치(900)는 인접한 복수의 예측 단위를 하나의 변환 단위로 그룹화하고, 그룹화 결과 생성된 변환 단위에 따라 이산 코사인 변환을 수행한다. 특히, 인접한 복수의 예측 단위들은 유사한 레지듀얼 값들을 포함하고 있을 확률이 높으므로, 인접한 복수의 예측 단위를 묶어 하나의 변환 단위로 이산 코사인 변환하면, 부호화의 압축률을 크게 향상시킬 수 있다.However, due to the header information added for each conversion unit, the overhead to be added increases as the conversion unit becomes smaller, thereby lowering the compression rate of the image encoding. In order to solve such a problem, an image encoding apparatus 900 according to an embodiment of the present invention groups a plurality of adjacent prediction units into one conversion unit, and performs discrete cosine conversion according to the conversion unit generated as a result of grouping. In particular, since a plurality of adjacent prediction units are likely to contain similar residual values, the compression rate of encoding can be greatly improved by discrete cosine transforming a plurality of adjacent prediction units and converting them into one conversion unit.

따라서, 선택부(1110)는 하나의 변환 단위로 그룹화하여 이산 코사인 변환을 수행할 복수의 예측 단위를 선택한다. 복수의 예측 단위는 인접한 복수의 예측 단위일 수 있다. 도 12a-12c 및 13a-13d를 참조하여 상세히 설명한다. Accordingly, the selecting unit 1110 selects a plurality of prediction units to perform discrete cosine transform by grouping in one conversion unit. The plurality of prediction units may be a plurality of adjacent prediction units. Will be described in detail with reference to Figs. 12A to 12C and 13A to 13D.

도 12a 내지 12c는 본 발명의 일 실시예에 따른 변환 단위의 유형을 도시한다. Figures 12a-12c illustrate types of conversion units in accordance with an embodiment of the present invention.

도 12a 내지 12c를 참조하면, 소정의 부호화 단위(1210)에 대해 예측 단위(1220)는 부호화 단위(1210)의 너비를 반분한 형태일 수 있다. 부호화 단위(1210)는 전술한 최대 부호화 단위일 수도 있고, 최대 부호화 단위보다 작은 크기의 서브 부호화 단위일 수 있다. 12A to 12C, the prediction unit 1220 for a predetermined coding unit 1210 may be a form in which the width of the coding unit 1210 is halved. The encoding unit 1210 may be the maximum encoding unit described above or may be a sub-encoding unit smaller than the maximum encoding unit.

부호화 단위(1210) 및 예측 단위(1220)가 동일한 경우에도 변환 단위(1230 내지 1250)는 상이할 수 있다. 도 12a에 도시된 바와 같이 변환 단위(1230)의 크기가 예측 단위(1220)보다 작거나, 도 12b에 도시된 바와 같이 변환 단위(1240)의 크기가 예측 단위(1220)와 동일할 수 있다. 또한, 본 발명의 일 실시예에 따른 변환 단위(1250)는 도 12c에 도시된 바와 같이 예측 단위(1220)의 크기보다 클 수 있다. The conversion units 1230 to 1250 may be different even when the encoding unit 1210 and the prediction unit 1220 are the same. 12A, the size of the conversion unit 1230 may be smaller than the prediction unit 1220, or the size of the conversion unit 1240 may be the same as the prediction unit 1220, as shown in FIG. 12B. Also, the conversion unit 1250 according to an embodiment of the present invention may be larger than the size of the prediction unit 1220 as shown in FIG. 12C.

하나의 변환 단위로 그룹화되는 복수의 예측 단위는 도 12a-12c와 같이 하나의 부호화 단위에 포함된 복수의 예측 단위일 수도 있지만, 상이한 부호화 단위에 포함된 복수의 예측 단위일 수도 있다. 다시 말해, 하나 이상의 부호화 단위에 포함된 복수의 예측 단위를 하나의 변환 단위로 그룹화하여 주파수 도메인으로 변환할 수 있다. The plurality of prediction units grouped into one conversion unit may be a plurality of prediction units included in one coding unit or a plurality of prediction units included in different coding units as shown in FIGS. 12A to 12C. In other words, a plurality of prediction units included in one or more coding units can be grouped into one conversion unit and converted into a frequency domain.

도 13a 내지 13d는 본 발명의 또 다른 실시예에 따른 변환 단위의 유형을 도시한다. Figures 13A-13D illustrate a type of conversion unit according to another embodiment of the present invention.

도 13a에 도시된 바와 같이 하나의 최대 부호화 단위(1300)는 복수의 상이한 크기의 서브 부호화 단위(1302 내지 1308)로 나뉘어 부호화될 수 있고, 또한, 도 13b에 도시된 바와 같이 각각의 서브 부호화 단위들(1302 내지 1308)은 적어도 하나의 예측 단위(1310 내지 1340)를 포함할 수 있다.As shown in FIG. 13A, one maximum encoding unit 1300 can be divided into a plurality of sub-encoding units 1302 to 1308 of different sizes and can be encoded. Also, as shown in FIG. 13B, 1302 to 1308 may include at least one prediction unit 1310 to 1340.

선택부(1110)는 도 13b에 도시된 바와 같은 복수의 예측 단위를 하나로 그룹화하여 도 13c에 도시된 바와 같이 하나의 변환 단위(1350)로 설정하여 주파수 도메인으로 변환할 수 있다. The selecting unit 1110 may group a plurality of prediction units as shown in FIG. 13B into one, and convert the prediction units into a frequency domain by setting one conversion unit 1350 as shown in FIG. 13C.

또한, 선택부(1110)는 도 13d와 같이 좌측 반쪽에 포함되어 있는 부호화 단위들(1302 및 1306)에 대한 복수의 예측 단위(1310 및 1330 내지 1139)를 하나로 그룹화하여 하나의 변환 단위(1360)로 설정하고, 우측 반쪽에 포함되어 있는 부호화 단위들(1304 및 1308)에 대한 복수의 예측 단위(1320 내지 1328 및 1340)를 하나로 그룹화하여 또 하나의 변환 단위(1362)를 설정할 수도 있다. 13D, the selecting unit 1110 groups a plurality of prediction units 1310 and 1330 to 1139 for the coding units 1302 and 1306 included in the left half into one conversion unit 1360, And a plurality of prediction units 1320 to 1328 and 1340 for the coding units 1304 and 1308 included in the right half can be grouped to set another conversion unit 1362. [

다시 도 11을 참조하면, 선택부(1110)가 인접한 복수의 예측 단위를 선택하는 기준에는 제한이 없다. 그러나, 본 발명의 일 실시예에 따르면, 선택부(1110)는 심도에 기초해 변환 단위를 선택할 수 있다. 심도란 전술한 바와 같이 현재 슬라이스 또는 현재 픽처의 최대 부호화 단위에서 서브 부호화 단위의 크기로 단계적으로 축소된 정도를 나타낸다. 도 3 및 6과 관련하여 전술한 바와 같이 심도가 클수록 서브 부호화 단위의 크기가 작은 것을 의미하고 이에 따라 포함된 예측 단위도 작아진다. 이 경우 예측 단위보다 작거나 같은 크기의 변환 단위에 따라 이산 코사인 변환을 수행하면, 전술한 바와 같이 변환 단위마다 헤더 정보가 부가되어 영상 부호화의 압축률이 떨어진다. Referring again to FIG. 11, there is no limitation on the criterion that the selecting unit 1110 selects a plurality of adjacent prediction units. However, according to one embodiment of the present invention, the selection unit 1110 can select a conversion unit based on the depth. The depth indicates the degree of stepwise reduction from the maximum encoding unit of the current slice or the current picture to the size of the sub-encoding unit, as described above. As described above with reference to FIGS. 3 and 6, the larger the depth, the smaller the size of the sub-encoding unit, and accordingly the included prediction unit becomes smaller. In this case, if discrete cosine transform is performed according to a transform unit having a size smaller than or equal to the predicted unit, header information is added for each transform unit as described above, and the compression rate of the image encoding is lowered.

따라서, 소정 심도 이상의 서브 부호화 단위는 서브 부호화 단위에 포함된 예측 단위들을 그룹화하여 하나의 변환 단위로 설정하고, 이산 코사인 변환하는 것이 바람직하다. 이를 위해 선택부(1110)는 서브 부호화 단위의 심도에 기초해 변환 단위를 설정한다. 예를 들어, 선택부(1110)는 도 12c에 도시된 부호화 단위(1210)의 심도가 k 보다 큰 경우에는 예측 단위들(1220)을 그룹화하여 하나의 변환 단위(1250)로 설정한다. Therefore, it is preferable that the sub-encoding units having a predetermined depth or more are grouped into prediction units included in the sub-encoding unit, set as one conversion unit, and subjected to discrete cosine transformation. For this, the selection unit 1110 sets a conversion unit based on the depth of the sub-encoding unit. For example, when the depth of the coding unit 1210 shown in FIG. 12C is larger than k, the selecting unit 1110 groups the prediction units 1220 and sets them as one conversion unit 1250.

또한, 선택부(1110)는 최대 부호화 단위에 소정 심도 이상의 서브 부호화 단위가 복수 개이면, 심도가 소정 값 이상인 복수의 서브 부호화 단위의 예측 단위들을 하나로 그룹화하여 하나의 변환 단위로 설정할 수 있다. 도 13c는 최대 부호화 단위의 심도보다 큰 심도 서브 부호화 단위들 즉, 심도가 '1'보다 큰 모든 서브 부호화 단위들의 예측 단위들을 하나로 그룹화하여 하나의 변환 단위로 설정한 예이다.If a plurality of sub-encoding units having a predetermined depth or more are included in a maximum encoding unit, the selecting unit 1110 may group the prediction units of a plurality of sub-encoding units having depths greater than a predetermined value into one unit and set them as one conversion unit. 13C is an example in which the depth sub-encoding units larger than the depth of the maximum encoding unit, i.e., prediction units of all the sub-encoding units whose depths are larger than '1' are grouped into a single conversion unit.

또한, 본 발명이 또 다른 실시예에 따르면, 선택부(1010)는 동일한 종류의 예측 모드에 따라 예측이 수행된 인접한 복수의 예측 단위를 하나의 변환 단위로 설정할 수 있다. 인트라 예측 또는 인터 예측을 이용해 예측된 인접한 복수의 예측 단위를 하나의 변환 단위로 설정한다. 동일한 종류의 예측 모드에 따라 예측이 수행된 인접한 복수의 예측 단위는 유사한 레지듀얼 값들을 포함할 확률이 높으므로, 하나의 변환 단위로 그룹화하여 이산 코사인 변환할 수 있다. In addition, according to another embodiment of the present invention, the selection unit 1010 can set a plurality of adjacent prediction units, which are predicted according to the same type of prediction mode, as one conversion unit. A plurality of adjacent prediction units predicted using intra prediction or inter prediction are set as one conversion unit. Since a plurality of adjacent prediction units predicted according to the same type of prediction mode have a high probability of including similar residual values, they can be grouped into one conversion unit and subjected to discrete cosine transformation.

선택부(1010)가 변환 단위를 설정하면, 변환 수행부(1020)는 설정된 변환 단위에 따라 복수의 예측 단위를 주파수 도메인으로 변환한다. 선택된 복수의 예측 단위를 하나의 변환 단위로 이산 코사인 변환하여 이산 코사인 계수들을 생성한다. When the selecting unit 1010 sets a conversion unit, the conversion performing unit 1020 converts a plurality of prediction units into the frequency domain according to the set conversion unit. And generates discrete cosine coefficients by performing discrete cosine transformation of the selected plurality of prediction units in one conversion unit.

다시 도 9를 참조하면, 양자화부(920)는 주파수변환부(910)에서 생성된 주파수 성분 계수들, 예를 들어 이산 코사인 계수들을 양자화한다. 소정의 양자화 스텝에 따라 입력된 이산 코사인 계수들을 양자화할 수 있다.Referring again to FIG. 9, the quantizer 920 quantizes the frequency component coefficients, for example, discrete cosine coefficients, generated by the frequency converter 910. The input discrete cosine coefficients can be quantized according to a predetermined quantization step.

엔트로피부호화부(930)는 양자화부(920)에서 양자화된 이산 코사인 계수들을 엔트로피 부호화한다. CABAC(Context-Adaptive Binary Arithmetic Coding) 또는 CAVLC(Context-Adaptive Variable Length Coding)을 이용해 이산 코사인 계수들을 엔트로피 부호화한다. The entropy encoding unit 930 entropy-codes the quantized discrete cosine coefficients in the quantization unit 920. Entropy-encodes discrete cosine coefficients using CABAC (Context-Adaptive Binary Arithmetic Coding) or CAVLC (Context-Adaptive Variable Length Coding).

또한, 영상 부호화 장치(900)는 복수의 예측 단위를 그룹화하여 생성된 변환 단위가 이산 코사인 계수들을 포함하는지 나타내는 플래그 정보를 부호화할 수 있다. 이산 코사인 계수들을 양자화한 결과, 엔트로피 부호화할 양자화된 계수들이 없는 경우 즉, 양자화된 이산 코사인 계수들이 모두 '0'인 경우에는 변환 단위가 이산 코사인 계수들을 포함하지 않음을 나타내는 플래그 정보만 부호화하고, 양자화된 계수들을 별도로 엔트로피 부호화하지 않는다. In addition, the image encoding apparatus 900 may encode flag information indicating whether a conversion unit generated by grouping a plurality of prediction units includes discrete cosine coefficients. Only the flag information indicating that the conversion unit does not include the discrete cosine coefficients when the quantized discrete cosine coefficients are all '0' as a result of quantizing the discrete cosine coefficients, The quantized coefficients are not entropy-encoded separately.

본 발명의 또 다른 실시예에 다른 영상 부호화 장치(900)는 상이한 변환 단위들에 대해 전술한 이산 코사인 변환, 양자화 및 엔트로피 부호화를 반복하여 최적의 변환 단위를 결정할 수 있다. 전술한 심도 또는 예측 모드의 동일성과 같은 소정의 기준에 따라 복수의 예측 단위를 선택하는 것이 아니라, 다양한 형태로 복수의 예측 단위를 선택하는 과정을 기계적으로 반복 수행하여 최적의 변환 단위를 결정할 수도 있다. 최적의 변환 단위는 R-D 코스트(Rate-Distortion Cost)를 고려하여 결정될 수 있는데, 도 14를 참조하여 상세히 설명한다. The image encoding apparatus 900 according to another embodiment of the present invention can determine the optimal conversion unit by repeating the above-described discrete cosine transform, quantization, and entropy encoding on different conversion units. The optimal conversion unit may be determined by mechanically repeating the process of selecting a plurality of prediction units in various forms instead of selecting a plurality of prediction units according to a predetermined criterion such as the depth or the identity of the prediction mode . The optimal conversion unit can be determined in consideration of the R-D cost (Rate-Distortion Cost), which will be described in detail with reference to FIG.

도 14는 본 발명의 일 실시예에 따른 상이한 변환 단위들을 도시한다. Figure 14 shows different conversion units according to an embodiment of the present invention.

도 14를 참조하면, 본 발명에 따른 영상 부호화 장치(900)는 상이한 변환 단위들에 대해 부호화를 반복한다. Referring to FIG. 14, the image encoding apparatus 900 according to the present invention repeats encoding for different conversion units.

도 14에 도시된 바와 같이 소정의 부호화 단위(1410)는 부호화 단위보다 작은 크기의 예측 단위(1420)에 기초해 예측 부호화될 수 있다. 예측 결과 생성된 레지듀얼 값들은 이산 코사인 변환되는데, 이 때 도 14에 도시된 바와 같이 상이한 변환 단위에 기초해 이산 코사인 변환될 수 있다. As shown in FIG. 14, a predetermined encoding unit 1410 can be predictively encoded based on a prediction unit 1420 having a size smaller than an encoding unit. The residual values generated as a result of the prediction are subjected to the discrete cosine transform, which can then be subjected to discrete cosine transform based on different transform units as shown in Fig.

첫 번째로 도시된 변환 단위(1430)는 부호화 단위(1410)와 동일한 크기의 변환 단위이며, 부호화 단위(1410)에 포함된 모든 예측 단위를 그룹화한 크기의 변환 단위이다. The first conversion unit 1430 is a conversion unit of the same size as the encoding unit 1410 and is a conversion unit of a size obtained by grouping all the prediction units included in the encoding unit 1410.

두 번째로 도시된 변환 단위(1440)는 부호화 단위(1410)의 너비를 반분한 크기의 변환 단위이며, 세로 방향으로 인접한 두 개의 예측 단위를 각각 그룹화한 크기의 변환 단위이다. The second conversion unit 1440 is a conversion unit having a half size of the coding unit 1410. The conversion unit 1440 is a conversion unit having a size obtained by grouping two prediction units adjacent in the vertical direction.

세 번째로 도시된 변환 단위(1450)는 부호화 단위(1410)의 높이를 반분한 크기의 변환 단위이며, 가로 방향으로 인접한 두 개의 예측 단위를 각각 그룹화한 크기의 변환 단위이다. The third conversion unit 1450 is a conversion unit of half the height of the coding unit 1410. The conversion unit 1450 is a conversion unit having a size obtained by grouping two prediction units adjacent in the horizontal direction.

네 번째로 도시된 변환 단위(1450)는 예측 단위(1420)와 동일한 크기로 변환을 수행하는 경우 이용하는 변환 단위이다. The fourth conversion unit 1450 is a conversion unit used when the conversion is performed to the same size as the prediction unit 1420.

영상 부호화 장치(900)는 도 14에 도시된 변환 단위들에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 반복하여 최적의 변환 단위를 결정할 수 있다.The image encoding apparatus 900 can determine an optimal conversion unit by repeating discrete cosine transform, quantization, and entropy encoding on the transform units shown in FIG.

또한, 영상 부호화 장치(900)는 하나의 부호화 단위에 포함된 복수의 예측 단위를 그룹화하여 변환 단위를 설정하였는지, 복수의 부호화 단위에 포함된 복수의 예측 단위를 그룹화하여 변환 단위를 설정하였는지 나타내는 플래그 정보를 부호화할 수도 있다. 예를 들어, 도 12a 내지 12c에 도시된 바와 같이 하나의 부호화 단위에 포함된 복수의 예측 단위를 그룹화하여 변환 단위를 설정한 경우에는 플래그 정보를 '0'으로 설정하고, 도 13a 내지 13d에 도시된 바와 같이 복수의 부호화 단위에 포함된 복수의 예측 단위를 그룹화하여 변환 단위를 설정한 경우에는 플래그 정보를 '1'로 설정할 수 있다.The image encoding apparatus 900 also includes a flag indicating whether a plurality of prediction units included in one encoding unit are grouped to set a conversion unit or a plurality of prediction units included in a plurality of encoding units are grouped to set a conversion unit Information may be encoded. For example, as shown in FIGS. 12A to 12C, when a plurality of prediction units contained in one coding unit are grouped and a conversion unit is set, flag information is set to '0' The flag information can be set to '1' when a plurality of prediction units included in a plurality of coding units are grouped and a conversion unit is set.

도 14는 하나의 부호화 단위에 포함된 예측 단위를 그룹화하여 하나의 변환 단위로 설정하는 경우에 최적의 변환 단위를 결정하는 방법을 예로 들어 도시하였으나, 복수의 부호화 단위에 포함된 예측 단위를 그룹화하여 하나의 변환 단위로 설정하는 경우에도 도 14와 같이 서로 상이한 변환 단위에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 반복하여 최적의 변환 단위를 결정할 수 있다.14 shows an example of a method for determining an optimum conversion unit when grouping prediction units included in one encoding unit and setting the same as one conversion unit, it is also possible to group prediction units included in a plurality of encoding units Even in the case of setting as one conversion unit, discrete cosine transformation, quantization and entropy encoding can be repeated for different conversion units as shown in Fig. 14, whereby the optimum conversion unit can be determined.

도 15는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치를 도시한다. FIG. 15 illustrates an image decoding apparatus according to another embodiment of the present invention.

도 15를 참조하면, 본 발명의 일 실시예에 따른 영상 복호화 장치(1500)는 엔트로피복호화부(1510), 역양자화부(1520), 역주파수변환부(1530) 및 복원부(1540)를 포함한다. 15, an image decoding apparatus 1500 according to an embodiment of the present invention includes an entropy decoding unit 1510, an inverse quantization unit 1520, an inverse frequency transform unit 1530, and a decompression unit 1540 do.

엔트로피복호화부(1510)는 소정의 변환 단위에 대한 주파수 성분 계수들을 엔트로피 복호화한다. 도 12a 내지 12c 및 13a 내지 13d와 관련하여 전술한 바와 같이 변환 단위는 복수의 예측 단위를 그룹화하여 생성된 변환 단위일 수 있다. 복수의 예측 단위는 전술한 바와 같이 인접한 복수의 예측 단위일 수 있으며, 하나의 부호화 단위에 포함된 복수의 예측 단위이거나 상이한 복수의 부호화 단위에 포함된 복수의 예측 단위일 수 있다.The entropy decoding unit 1510 entropy-decodes frequency component coefficients for a predetermined conversion unit. As described above with reference to Figs. 12A to 12C and 13A to 13D, the conversion unit may be a conversion unit generated by grouping a plurality of prediction units. The plurality of prediction units may be a plurality of prediction units adjacent to each other as described above, or may be a plurality of prediction units included in one coding unit or a plurality of prediction units included in a plurality of different coding units.

영상 부호화 장치(900)와 관련하여 전술한 바와 같이 변환 단위는 심도에 기초해 인접한 복수의 예측 단위를 그룹화한 변환 단위 또는 동일한 종류의 예측 모드 즉, 인트라 예측 모드 또는 인터 예측 모드에 따라 예측이 수행된 인접한 복수의 예측 단위를 그룹화한 변한 단위일 수 있다. 또한, 도 14와 관련하여 전술한 바와 같이 복수의 예측 단위를 그룹화하는 과정을 기계적으로 반복하여 상이한 변환 단위에 대해 이산 코사인 변환, 양자화 및 엔트로피 복호화를 반복 수행함으로써 선택된 최적의 변환 단위일 수 있다. As described above with respect to the image encoding apparatus 900, the conversion unit is a conversion unit obtained by grouping a plurality of adjacent prediction units on the basis of the depth or a prediction mode of the same type, that is, according to the intra-prediction mode or the inter- And may be a changed unit obtained by grouping a plurality of adjacent prediction units. Also, as described above with reference to FIG. 14, the process of grouping a plurality of prediction units may be mechanically repeated, and may be an optimal conversion unit selected by repeatedly performing discrete cosine transform, quantization, and entropy decoding on different transform units.

또한, 엔트로피복호화부(1510)는 변환 단위가 이산 코사인 계수들을 포함하지 않는 경우에는, 양자화된 계수들을 별도로 엔트로피 복호화하지 않을 수 있다. 변환 단위가 양자화된 이산 코사인 계수들을 포함하지 않으면, 소정의 플래그 정보를 참조하여 양자화된 계수들을 별도로 엔트로피 복호화하지 않는다.If the transform unit does not include discrete cosine coefficients, the entropy decoding unit 1510 may not separately entropy decode the quantized coefficients. If the conversion unit does not include the quantized discrete cosine coefficients, the quantized coefficients are not separately entropy decoded referring to the predetermined flag information.

역양자화부(1520)는 엔트로피복호화부(1510)에서 엔트로피 복호화된 주파수 성분 계수들을 역양자화한다. 변환 단위의 부호화 시에 이용된 양자화 스텝에 따라 엔트로피 복호화된 주파수 성분 계수들을 역양자화한다.The inverse quantization unit 1520 dequantizes the entropy-decoded frequency component coefficients in the entropy decoding unit 1510. And dequantizes the entropy-decoded frequency component coefficients according to the quantization step used in encoding the transform unit.

역주파수변환부(1530)는 역양자화된 주파수 성분 계수들을 픽셀 도메인으로 역변환한다. 역양자화된 이산 코사인 계수들을 역이산 코사인 변환하여 픽셀 도메인의 변환 단위를 복원한다. 역변환 결과, 변환 단위에 대한 레지듀얼 값들이 복원된다. The inverse frequency transform unit 1530 inversely transforms the inversely quantized frequency component coefficients into a pixel domain. The transform unit of the pixel domain is restored by inverse discrete cosine transform of the inversely quantized discrete cosine coefficients. As a result of the inverse transformation, the residual values for the conversion unit are restored.

복원된 변환 단위는 복수의 예측 단위를 포함하며, 전술한 바와 같이 복수의 예측 단위는 하나의 부호화 단위에 포함된 복수의 예측 단위이거나 상이한 복수의 부호화 단위에 포함된 복수의 예측 단위일 수 있다.The restored transform unit includes a plurality of prediction units. As described above, the plurality of prediction units may be a plurality of prediction units included in one coding unit or a plurality of prediction units included in a plurality of different coding units.

복원부(1540)는 복원된 변환 단위에 포함되어 있는 복수의 예측 단위를 예측하여 예측 값들을 생성한다. 하나의 변환 단위로 그룹화된 복수의 예측 단위가 하나의 부호화 단위에 포함된 복수의 예측 단위이면, 하나의 부호화 단위에 대한 예측 값들이 생성되고, 하나의 변환 단위로 그룹화된 복수의 예측 단위가 복수의 부호화 단위에 포함된 복수의 예측 단위이면, 복수의 부호화 단위에 대한 예측 값들이 생성된다. 생성된 예측 값들과 역주파수변환부(1530)에서 복원된 레지듀얼 값들을 가산하여 하나의 부호화 단위 또는 복수의 부호화 단위를 복원한다.The restoring unit 1540 predicts a plurality of prediction units contained in the reconstructed transformation unit to generate prediction values. If a plurality of prediction units grouped in one conversion unit is a plurality of prediction units included in one coding unit, prediction values for one coding unit are generated, and a plurality of prediction units grouped in one conversion unit The prediction units for a plurality of coding units are generated. The generated prediction values and the residual values reconstructed by the inverse frequency transforming unit 1530 are added to reconstruct one coding unit or a plurality of coding units.

하나의 부호화 단위에 대한 예측 값들이 생성되는지 복수의 부호화 단위에 대한 예측 값들이 생성되는지 여부는 부호화 시에 영상 부호화 장치(900)에서 부호화된 하나의 부호화 단위에 포함된 복수의 예측 단위를 그룹화하여 변환 단위를 설정하였는지, 복수의 부호화 단위에 포함된 복수의 예측 단위를 그룹화하여 변환 단위를 설정하였는지 나타내는 플래그 정보에 기초해 판단할 수 있다.Whether prediction values for one coding unit are generated or prediction values for a plurality of coding units are generated is determined by grouping a plurality of prediction units included in one coding unit in the image coding apparatus 900 at the time of coding Based on flag information indicating whether a conversion unit is set or a plurality of prediction units included in a plurality of encoding units are grouped and a conversion unit is set.

본 발명의 일 실시예에 따르면, 도 10과 관련하여 전술한 바와 같이 하나의 변환 단위로 그룹화되는 복수의 예측 단위가 인트라 예측되는 예측 단위를 포함하면, 적어도 하나의 인접한 예측 단위의 예측 값에 기초해 인트라 예측을 수행할 수 있다. 또한, 본 발명의 또 다른 실시예에 따르면, 하나의 변환 단위로 그룹화되는 복수의 예측 단위는 모두 인터 예측만을 이용해 예측될 수 있다. According to an embodiment of the present invention, as described above with reference to FIG. 10, when a plurality of prediction units grouped in one conversion unit includes prediction units to be intra-predicted, And intra prediction can be performed. Also, according to another embodiment of the present invention, a plurality of prediction units grouped in one conversion unit can all be predicted using only inter prediction.

도 16은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 흐름도이다. 16 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.

도 16를 참조하면, 단계 1610에서 본 발명의 일 실시예에 따른 영상 부호화 장치는 하나 또는 복수의 부호화 단위에 대해 예측을 수행하여 레지듀얼 값들을 생성한다.Referring to FIG. 16, in step 1610, an image encoding apparatus according to an exemplary embodiment of the present invention generates residual values by performing prediction on one or a plurality of encoding units.

하나의 변환 단위로 설정되는 복수의 예측 단위는 하나의 부호화 단위에 포함된 복수의 예측 단위일 수도 있고, 복수의 부호화 단위에 포함된 복수의 예측 단위일 수 있다. 따라서, 복수의 예측 단위가 하나의 부호화 단위에 포함된 복수의 예측 단위이면, 하나의 부호화 단위에 대해 예측을 수행하여 레지듀얼 값들을 생성하고, 복수의 예측 단위가 복수의 부호화 단위에 포함된 복수의 예측 단위이면, 복수의 부호화 단위에 대해 예측을 수행하여 레지듀얼 값들을 생성한다. The plurality of prediction units set in one conversion unit may be a plurality of prediction units included in one coding unit or a plurality of prediction units included in a plurality of coding units. Therefore, if a plurality of prediction units are a plurality of prediction units included in one coding unit, prediction is performed for one coding unit to generate residual values, and a plurality of prediction units , Prediction is performed on a plurality of coding units to generate residual values.

복수의 예측 단위를 한꺼번에 예측하여 레지듀얼 값들을 생성하는 방법은 도 10과 관련하여 전술하였다.A method of predicting a plurality of prediction units at one time to generate residual values has been described above with reference to FIG.

단계 1620에서 영상 부호화 장치는 복수의 예측 단위를 선택하여 하나의 변환 단위를 설정한다. 복수의 예측 단위는 하나의 부호화 단위에 포함된 복수의 예측 단위일 수도 있고, 복수의 부호화 단위에 포함된 복수의 예측 단위일 수도 있다. 심도에 기초해 인접한 복수의 예측 단위를 선택하거나, 동일한 종류의 예측 모드로 예측이 수행된 인접한 복수의 예측 단위를 선택할 수 있다. In step 1620, the image encoding apparatus selects a plurality of prediction units and sets one conversion unit. The plurality of prediction units may be a plurality of prediction units included in one coding unit or a plurality of prediction units included in a plurality of coding units. It is possible to select a plurality of adjacent prediction units based on the depth or to select a plurality of adjacent prediction units on which prediction has been performed in the same type of prediction mode.

단계 1630에서 영상 부호화 장치는 단계 1620에서 설정된 변환 단위에 따라 복수의 예측 단위를 주파수 도메인으로 변환한다. 복수의 예측 단위를 그룹화하여 설정된 하나의 변환 단위를 이산 코사인 변환함으로써 이산 코사인 계수를 생성한다. In step 1630, the image encoding apparatus converts a plurality of prediction units into the frequency domain according to the conversion unit set in step 1620. A discrete cosine coefficient is generated by discrete cosine transforming a set conversion unit by grouping a plurality of prediction units.

단계 1640에서 영상 부호화 장치는 단계 1630에서 생성된 주파수 성분 계수들 즉, 이산 코사인 계수들을 소정의 양자화 스텝에 따라 양자화한다. In step 1640, the image encoding apparatus quantizes the frequency component coefficients generated in step 1630, that is, the discrete cosine coefficients according to a predetermined quantization step.

단계 1650에서 영상 부호화 장치는 단계 1640에서 양자화된 주파수 성분 계수들을 엔트로피 부호화한다. CABAC 또는 CAVLC을 이용해 이산 코사인 계수들을 엔트로피 부호화한다. In operation 1650, the image encoding apparatus entropy-codes the quantized frequency component coefficients in operation 1640. Entropy-encode the discrete cosine coefficients using CABAC or CAVLC.

본 발명의 또 다른 실시예에 따른 영상 부호화 방법은 도 14와 관련하여 전술한 바와 같이 상이한 변환 단위에 대해 단계 1610 내지 1640을 반복하여 최적의 변환 단위를 설정하는 단계를 더 포함할 수 있다. 도 14에 도시된 바와 같은 상이한 변환 단위에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 반복하여 최적의 변환 단위를 설정할 수 있다. The image encoding method according to another embodiment of the present invention may further include setting an optimal conversion unit by repeating steps 1610 to 1640 for different conversion units as described above with reference to FIG. The optimal conversion unit can be set by repeating discrete cosine transform, quantization, and entropy encoding for different conversion units as shown in Fig.

도 17은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 흐름도이다. 17 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.

도 17을 참조하면, 단계 1710에서 본 발명의 일 실시예에 따른 영상 복호화 장치는 소정의 변환 단위에 대한 주파수 성분 계수들을 엔트로피 복호화한다. 주파수 성분 계수들은 이산 코사인 계수들일 수 있다. 변환 단위는 복수의 예측 단위를 그룹화하여 설정된 변환 단위일 수 있다. 복수의 예측 단위는 전술한 바와 같이 인접한 복수의 예측 단위일 수 있으며, 하나의 부호화 단위에 포함된 복수의 예측 단위이거나 상이한 복수의 부호화 단위에 포함된 복수의 예측 단위일 수 있다.Referring to FIG. 17, in step 1710, an image decoding apparatus according to an embodiment of the present invention entropy decodes frequency component coefficients for a predetermined conversion unit. The frequency component coefficients may be discrete cosine coefficients. The conversion unit may be a conversion unit set by grouping a plurality of prediction units. The plurality of prediction units may be a plurality of prediction units adjacent to each other as described above, or may be a plurality of prediction units included in one coding unit or a plurality of prediction units included in a plurality of different coding units.

단계 1720에서 영상 복호화 장치는 단계 1710에서 엔트로피 복호화된 주파수 성분 계수들을 역양자화한다. 부호화 시에 이용된 양자화 스텝을 이용해 이산 코사인 계수들을 역양자화한다. In operation 1720, the image decoding apparatus dequantizes entropy-decoded frequency component coefficients in operation 1710. And dequantizes the discrete cosine coefficients using the quantization step used at the time of encoding.

단계 1730에서 영상 복호화 장치는 단계 1730에서 역양자화된 주파수 성분 계수들을 픽셀 도메인으로 역변환하여 변환 단위를 복원한다. 복원된 변환 단위는 복수의 예측 단위를 그룹화하여 설정된 변환 단위이다. 변환 단위에 포함된 레지듀얼 값들이 복원된다. 복수의 예측 단위가 하나의 부호화 단위에 포함된 복수의 예측 단위이면, 하나의 부호화 단위에 대한 레지듀얼 값들이 복원되고, 복수의 예측 단위가 복수의 부호화 단위에 포함된 복수의 예측 단위이면, 복수의 부호화 단위에 대한 레지듀얼 값들이 복원된다. In step 1730, the image decoding apparatus inverse transforms the dequantized frequency component coefficients into the pixel domain in step 1730 to restore the transform unit. The restored conversion unit is a conversion unit set by grouping a plurality of prediction units. The residual values included in the conversion unit are restored. If the plurality of prediction units are a plurality of prediction units included in one coding unit and the residual values for one coding unit are restored and if the plurality of prediction units are a plurality of prediction units included in the plurality of coding units, Are restored.

전술한 바와 같이 변환 단위는 심도에 기초해 인접한 복수의 예측 단위를 그룹화하여 설정된 변환 단위 또는, 동일한 예측 모드에 따라 예측이 수행된 인접한 복수의 예측 단위를 그룹화하여 설정된 변환 단위일 수 있다. As described above, the conversion unit may be a conversion unit set by grouping a plurality of adjacent prediction units based on the depth, or a conversion unit set by grouping a plurality of adjacent prediction units that have been predicted according to the same prediction mode.

단계 1740에서 영상 복호화 장치는 단계 1730에서 복원된 변환 단위에 포함된 레지듀얼 값들에 기초해 하나 또는 복수의 부호화 단위를 복원한다. 하나 또는 복수의 부호화 단위를 예측하여 예측 값들을 생성하고, 생성된 예측 값들을 단계 1730에서 복원된 레지듀얼 값들과 가산하여 하나 또는 복수의 부호화 단위를 복원한다. 하나 또는 복수의 부호화 단위에 포함된 복수의 예측 단위를 예측하는 방법은 도 10과 관련하여 전술하였다.In step 1740, the image decoding apparatus reconstructs one or a plurality of encoding units based on the residual values included in the conversion unit restored in step 1730. One or a plurality of coding units are predicted to generate prediction values, and the generated prediction values are added to the restored residual values in step 1730 to recover one or a plurality of coding units. A method of predicting a plurality of prediction units included in one or a plurality of coding units has been described above with reference to FIG.

변환 단위가 하나의 부호화 단위에 포함된 복수의 예측 단위를 그룹화하여 설정된 변환 단위이면, 하나의 부호화 단위가 복원되고, 복수의 부호화 단위에 포함된 복수의 예측 단위를 그룹화하여 설정된 변환 단위이면, 복수의 부호화 단위가 복원된다.If the conversion unit is a conversion unit set by grouping a plurality of prediction units included in one encoding unit and one conversion unit is restored and if the conversion unit is set by grouping a plurality of prediction units included in the plurality of encoding units, Is restored.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. 또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Modification is possible. Accordingly, the spirit of the present invention should be understood only in accordance with the following claims, and all of the equivalent or equivalent variations will fall within the scope of the present invention. In addition, the system according to the present invention can be embodied as computer-readable codes on a computer-readable recording medium.

예를 들어, 본 발명의 예시적인 실시예에 따른 영상 부호화 장치, 영상 복호화 장치, 영상 부호화부 및 영상 복호화부는 도 1, 2, 4, 5, 9, 11 및 15에 도시된 바와 같은 장치의 각각의 유닛들에 커플링된 버스, 상기 버스에 결합된 적어도 하나의 프로세서를 포함할 수 있다. 또한, 명령, 수신된 메시지 또는 생성된 메시지를 저장하기 위해 상기 버스에 결합되어, 전술한 바와 같은 명령들을 수행하기 위한 적어도 하나의 프로세서에 커플링된 메모리를 포함할 수 있다. For example, the image encoding apparatus, the image decoding apparatus, the image encoding unit, and the image decoding unit according to the exemplary embodiments of the present invention may be implemented by the apparatuses shown in FIGS. 1, 2, 4, 5, 9, 11 and 15 A bus coupled to the units of the processor, and at least one processor coupled to the bus. It may also include a memory coupled to the bus for storing instructions, received messages or generated messages and coupled to the at least one processor for performing the instructions as described above.

또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.In addition, the computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

Claims

영상 복호화 방법에 있어서,
영상으로부터 분할된 복수 개의 최대 부호화 단위들을 결정하고, 비트스트림으로부터 파싱된 부호화 단위의 분할정보를 이용하여 상기 최대 부호화 단위로부터 계층적으로 분할된 상기 부호화 단위를 결정하는 단계;
상기 비트스트림으로부터 파싱된 파티션 타입에 관한 정보를 이용하여 상기 부호화 단위로부터 분할된 적어도 하나의 예측단위를 결정하는 단계;
상기 비트스트림으로부터 파싱된 변환단위의 분할 형태에 대한 정보를 이용하여 상기 부호화 단위로부터 분할된 적어도 하나의 변환단위를 결정하는 단계;
상기 비트스트림으로부터 파싱된 상기 변환단위의 양자화된 변환 계수에 대해 역 양자화 및 역 변환을 수행하여 레지듀를 복원하는 단계; 및
상기 예측단위를 이용하여 인트라 예측 또는 인터 예측을 수행하여 예측영상을 생성하고, 상기 예측영상과 상기 레지듀를 이용하여 상기 부호화 단위를 복호화하는 단계를 포함하고,
예측 모드가 인트라 예측 모드가 아닌 인터 예측 모드로 결정되었을 때, 상기 부호화 단위에 포함된 변환단위의 크기는 상기 부호화 단위에 포함된 예측단위의 크기를 고려하지 않고 결정되고,
상기 최대 부호화 단위는 분할정보에 따라 현재 심도와 하위 심도 중 적어도 하나를 포함하는 심도의 부호화 단위로 계층적으로 분할되고,
상기 분할정보가 현재 심도에서 분할됨을 나타낼 때, 상기 현재 심도의 부호화 단위는 상기 최대 부호화 단위 내의 이웃 부호화 단위들과 독립적으로 정사각형인 상기 하위 심도의 부호화 단위들로 4분할되고,
상기 분할정보가 상기 현재 심도에서 분할되지 않음을 나타낼 때, 하나 이상의 예측 단위는 상기 현재 심도의 부호화 단위로부터 획득되고, 하나 이상의 변환 단위가 상기 현재 심도의 부호화 단위로부터 획득되는 것을 특징으로 하는 것을 특징으로 하는 영상 복호화 방법.
In the image decoding method,
Determining a plurality of maximum encoding units segmented from an image and determining the encoding unit hierarchically divided from the maximum encoding unit using segmentation information of the encoding unit parsed from the bitstream;
Determining at least one prediction unit divided from the coding unit using information about a partition type parsed from the bitstream;
Determining at least one conversion unit divided from the encoding unit using information on a division type of the conversion unit parsed from the bitstream;
Performing inverse quantization and inverse transform on the quantized transform coefficients of the transform unit parsed from the bit stream to restore the residues; And
Generating a prediction image by performing intra prediction or inter prediction using the prediction unit, and decoding the coding unit using the prediction image and the residue,
When the prediction mode is determined to be an inter prediction mode other than the intra prediction mode, the size of the conversion unit included in the encoding unit is determined without considering the size of the prediction unit included in the encoding unit,
Wherein the maximum coding unit is hierarchically divided into a coding unit of depth including at least one of a current depth and a low depth according to the division information,
When the division information indicates that the division information is divided at the current depth, the coding unit of the current depth is divided into the coding units of the lower depth, which are squares independent of the neighboring coding units in the maximum coding unit,
One or more prediction units are obtained from the current depth coding unit and one or more conversion units are obtained from the current depth coding unit when the division information indicates that the divided information is not divided at the current depth. .

제 1 항에 있어서,
상기 변환단위의 크기는, 상기 적어도 하나의 예측단위의 크기와 다른 것을 특징으로 하는 영상 복호화 방법.
The method according to claim 1,
Wherein the size of the conversion unit is different from the size of the at least one prediction unit.

제 1 항에 있어서,
상기 분할정보가 현재 심도에서 분할됨을 나타낼 때, 상기 현재 심도의 부호화 단위는 상기 최대 부호화 단위 내의 이웃 부호화 단위들과 독립적으로 정사각형인 하위 심도의 부호화 단위들로 4분할되는 것을 특징으로 하는 비디오 복호화 방법.
The method according to claim 1,
Wherein when the division information indicates that the division information is divided at the current depth, the coding unit of the current depth is divided into four coding units of square lowering depth independent of neighboring coding units in the maximum coding unit. .

영상 복호화 장치에 있어서,
영상으로부터 분할된 복수 개의 최대 부호화 단위들을 결정하고, 비트스트림으로부터 파싱된 부호화 단위의 분할정보를 이용하여 상기 최대 부호화 단위로부터 계층적으로 분할된 상기 부호화 단위를 결정하는 프로세서; 및
상기 비트스트림으로부터 파싱된 변환단위의 양자화된 변환계수에 대해 역 양자화 및 역 변환을 수행하여 레지듀를 복원하며, 상기 부호화 단위에 포함된 예측단위를 이용하여 인트라 예측 또는 인터 예측을 수행하여 예측영상을 생성하고, 상기 예측영상과 상기 레지듀를 이용하여 상기 부호화 단위를 복호화하는 복호화부를 포함하고,
상기 프로세서는, 상기 비트스트림으로부터 파싱된 파티션 타입에 관한 정보를 이용하여 상기 부호화 단위로부터 분할된 적어도 하나의 예측단위를 결정하고,
상기 비트스트림으로부터 파싱된 변환단위의 분할 형태에 대한 정보를 이용하여 상기 부호화 단위로부터 분할된 적어도 하나의 변환단위를 결정하고,
예측 모드가 인트라 예측 모드가 아닌 인터 예측 모드로 결정되었을 때, 상기 부호화 단위의 변환단위의 크기는 상기 부호화 단위의 예측단위의 크기를 고려하지 않고 결정되고,
상기 최대 부호화 단위는 분할정보에 따라 현재 심도와 하위 심도 중 적어도 하나를 포함하는 심도의 부호화 단위로 계층적으로 분할되고,
상기 분할정보가 현재 심도에서 분할됨을 나타낼 때, 상기 현재 심도의 부호화 단위는 상기 최대 부호화 단위 내의 이웃 부호화 단위들과 독립적으로 정사각형인 상기 하위 심도의 부호화 단위들로 4분할되고,
상기 분할정보가 상기 현재 심도에서 분할되지 않음을 나타낼 때, 하나 이상의 예측 단위는 상기 현재 심도의 부호화 단위로부터 획득되고, 하나 이상의 변환 단위가 상기 현재 심도의 부호화 단위로부터 획득되는 것을 특징으로 하는 영상 복호화 장치.In the image decoding apparatus,
A processor for determining a plurality of maximum encoding units segmented from an image and determining the encoding unit hierarchically divided from the maximum encoding unit using segmentation information of the encoding unit parsed from the bitstream; And
And restoring the residue by performing inverse quantization and inverse transform on the quantized transform coefficients of the transform unit parsed from the bit stream, performing intraprediction or inter-prediction using the prediction unit included in the coding unit, And a decoding unit decoding the encoding unit using the prediction image and the residue,
Wherein the processor determines at least one prediction unit divided from the coding unit using information on a partition type parsed from the bitstream,
Determining at least one conversion unit divided from the encoding unit using information on a division type of the conversion unit parsed from the bit stream,
When the prediction mode is determined to be an inter prediction mode other than the intra prediction mode, the size of the conversion unit of the encoding unit is determined without considering the size of the prediction unit of the encoding unit,
Wherein the maximum coding unit is hierarchically divided into a coding unit of depth including at least one of a current depth and a low depth according to the division information,
When the division information indicates that the division information is divided at the current depth, the coding unit of the current depth is divided into the coding units of the lower depth, which are squares independent of the neighboring coding units in the maximum coding unit,
Wherein at least one prediction unit is obtained from the current depth coding unit and at least one conversion unit is obtained from the current depth coding unit when the partition information indicates that the partition information is not divided at the current depth. Device.