KR101616461B1

KR101616461B1 - HEVC 부호화기에서의 적응적인 CU depth 범위 예측 방법

Info

Publication number: KR101616461B1
Application number: KR1020140086735A
Authority: KR
Inventors: 김용환; 김동혁; 박지영
Original assignee: 전자부품연구원
Priority date: 2014-07-10
Filing date: 2014-07-10
Publication date: 2016-04-29
Also published as: KR20160007929A

Abstract

HEVC 부호화기의 속도 향상을 위한 적응적인 CU depth 범위 예측 방법이 제공된다. 본 발명의 실시예에 따른 CU depth 범위 예측 방법은, 부호화할 현재 CU의 주변 CU들 중 일부 z-오더 인덱스에 대한 depth들을 획득하여, 현재 CU의 depth 범위를 예측한다. 이때, 획득하는 것은 한 라인 또는 한 z-오더 인덱스에 대한 depth들이다. 이에 의해, HEVC 영상 부호화기에서 연산량이 절감되어, 속도 향상을 기대할 수 있다.

Description

HEVC 부호화기에서의 적응적인 CU depth 범위 예측 방법 {Adaptive CU Depth Range Estimation in HEVC Encoder}

본 발명은 영상의 효율적인 부호화 방법에 관한 것으로, 더욱 상세하게는 현재 CU의 주변 CU 정보를 이용하여 HEVC 표준 영상의 효율적인 고속 부호화를 가능하게 하는 방법 및 시스템에 관한 것이다.

1) HEVC(High Efficiency Video Coding)

HEVC는 H.264/AVC 이후에 개발된 새로운 비디오 코딩 표준이고, H.264/AVC에 비해 대략 50% 정도의 압축률 향상을 제공한다. HEVC의 코딩 구조는 H.264/AVC와 거의 유사하지만 다른 점이 두 가지 존재한다.

첫째는, 매우 유연한 쿼드트리(quadtree) 파티션 구조를 이용하여 비디오 데이터가 압축된다는 점이다. 쿼드트리 파티션 구조에 의해 HEVC는 다양한 해상도의 영상을 최적의 파티션으로 압축할 수 있다.

HEVC의 압축 구조는 CU (coding unit), PU(prediction unit), TU(transform unit)라는 세 가지로 구성된다.

CU는 H.264/AVC의 매크로블록(macroblock)과 유사한 것으로, 압축을 위한 기본 단위를 나타낸다. HEVC에서 CU의 크기는 H.264/AVC의 고정된 매크로블록 크기(16x16)와는 다르게 다양한 크기를 가질 수 있다. 현재 HEVC에서 CU 크기는 8x8에서 64x64까지 가질 수 있으며, 가장 큰 CU(largest CU : LCU)와, 가장 작은 CU (smallest CU :　SCU)를 SPS(sequence parameter set)에 기술하게 되어있다. 또한, 하나의 CU 내에서 PU는 1~2개로 구성되는 반면, TU는 하나의 CU내에서 또 다른 쿼드트리 구조로 다양한 크기를 가질 수 있다.

H.264/AVC와 비교하여 두 번째로 다른 점은, 코딩 효율을 위해 HEVC의 표준에 새로운 코딩 툴들이 포함된다는 것이다. 새로운 인트라 예측 방향이 추가되었으며, large transform(16x16, 32x32), AMP(asymmetric motion partitions), SAO(sample adaptive offset) 등이 추가 되었다.

도 1은 HEVC 부호화기의 블록도를 나타내며, 특히, CU의 경우 모든 시퀀스에 대해 고정된 범위에 대해 인코딩을 수행한다. CU의 depth 값이 작을수록 변화가 적고 동일한 영역이 많이 존재하는 영상에 적합하고, 반대로 클수록 변화가 많이 존재하는 영상이나 사물이 많은 영상에 적합하다. 그래서 고정된 범위를 갖는 CU의 depth 값에 대해 모든 부호화 과정을 진행하는 것은 부호화 시간을 증가시키며 비효율적이다. 따라서 영상의 특성에 따라 불필요한 CU의 분할 과정과 이에 발생하는 계산 과정을 줄여 부호화의 속도를 증가시킬 필요성이 있다.

결과적으로, HEVC는 H.264/AVC에 비해 부호화 과정이 복잡해 졌으며, 따라서 빠른 부호화를 위한 구현 방법이 필요하게 된 것이다.

2) HEVC 기반 부호화 블록 결정 방법

HEVC는 쿼드트리(quard-tree) 구조를 사용하여 계층에 따라 재귀적으로 CU를 더 작은 유닛으로 분할한다. 최적의 CU 크기를 결정하기 위하여 각 CU에서 각각의 PU 크기 및 TU 크기에 대해 가장 작은 비용을 갖는 블록 크기를 조사하게 되며, 이때 CU 크기 마다 PU는 다양한 모양의 예측블록으로 분할하여 비용조사를 하고, TU는 재귀적인 트리 구조로 분할을 하여 각각의 크기에 대해 비용조사를 한다.

도 2는 임의 크기의 CU로부터 최적의 PU 크기 및 TU 크기 결정 방법을 나타낸다. 최적의 비용을 갖는 CU를 찾기 위해 순차적으로 가장 큰 크기인 LCU(large coding unit)부터 가장 작은 크기인 SCU(small coding unit)까지 재귀적인 쿼드트리 구조에 따라 비용을 계산하게 된다. 각 CU 크기 별로 매번 PU의 여러 모드에 대한 예측비용을 전부 계산하며, 각 PU에 대한 비용조사를 할 때, TU의 비용조사 또한 수행한다. TU는 4개의 하위블록으로 재귀적으로 분할될 수 있다.

HEVC의 부호화 과정에서 CU에 따라 PU, TU의 조합 수가 매우 크며 최적의 CU, PU, TU를 결정하기 위해 많은 계산 과정이 필요하다는 것을 알 수 있다. 이를 해결하기 위해 도 2에 도시된 아래의 ①, ②, ③ 과 같은 고속화 방법들이 연구되었다.

① Early_SKIP

Inter 2Nx2N 모드를 조사한 다음 Coded Block Flag(CBF) 값이 0 이고 Motion vector difference(MVD)가 (0,0)값을 갖는 경우 다른 형태의 PU들을 조사하지 않고, 바로 CU를 분할하여 다음 depth의 CU 조사과정을 이어간다. 여기서, CBF는 0이 아닌 잔차 신호의 존재 유무를 알려주는 flag이며, MVD는 참조 영상과 현재 영상과의 움직임 정보에 대한 차이 값이다.

② CBF_Fast

CBF의 값에 따른 고속 PU 결정 방법(CBF Fast Mode Setting; CFM)으로, CBF의 값에 따라 현재 비용조사 중인 PU에서 다른 형태의 PU로 더 이상 비용조사를 하지 않고 조기종료 하는 방법이다. 즉 CBF가 0인 경우, 남은 PU들을 검색하지 않는다.

③ Early_CU

CU의 조사과정을 조기 종료하는 방법으로, CU의 PU에 대한 조사 과정 중에 최적 모드가 SKIP 모드로 결정되면 하위 블록으로의 재귀 CU 분할을 하지 않는다.

이러한 HEVC의 고속화 방법들이 연구되었지만 아직 실시간 환경에서 사용하기에는 부호화 시간이 많이 소비된다. 따라서, 기존 고속화 방법들과 더불어 실시간 환경을 위한 새로운 HEVC 구조 설계와 고속화 방법의 개발이 필수적이다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, H.264/AVC에 비해 부호화 과정이 복잡하게 된 HEVC 부호화기에서 Temporally co-located CU 정보를 이용하지 않으면서도 최적의 CU depth의 범위를 예측하는 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, CU depth 범위 예측 방법은, 부호화할 현재 CU(coding unit)의 주변 CU들 중 일부 z-오더 인덱스(z-order index : 4×4)에 대한 depth들을 획득하는 단계; 및 상기 획득단계에서 획득한 depth들을 이용하여, 상기 현재 CU의 depth 범위를 예측하는 단계;를 포함한다.

그리고, 상기 획득단계는, 주변 CU들 중, 일부에 대해서는 한 라인에 포함된 z-오더 인덱스에 대한 depth들 중 최대값을 획득하고, 나머지에 대해서는 한 z-오더 인덱스에 대한 depth를 획득할 수 있다.

또한, 상기 일부에 해당하는 주변 CU들은, Left CU 및 Above CU를 포함하고, 상기 나머지에 해당하는 주변 CU들은, Above-Left CU 및 Above-Right CU를 포함할 수 있다.

그리고, 상기 예측단계는, 상기 획득단계에서 획득한 depth들을 합산하여 임계값을 산출하는 단계; 및 상기 임계값을 기초로, 상기 현재 CU의 depth 범위를 예측하는 단계;를 포함할 수 있다.

또한, 상기 현재 CU의 depth 범위는, 상기 임계값에 비례할 수 있다.

그리고, 상기 임계값이 특정 범위에 속하는 경우, 상기 현재 CU의 depth 범위는, Left 또는 Above CU의 depth가 0이고, Early CU 조건을 만족하면, 제1 depth 범위로 예측하고, 만족하지 않으면, 제2 depth 범위로 예측할 수 있다.

또한, 본 발명의 일 실시예에 따른, CU depth 범위 예측 방법은, 프레임에서의 첫 번째 라인의 CTB들에 포함된 CU들의 depth 범위는 0~3으로 예측하는 단계;를 더 포함할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체는, 부호화할 현재 CU(coding unit)의 주변 CU들 중 일부 z-오더 인덱스에 대한 depth들을 획득하는 단계; 및 상기 획득단계에서 획득한 depth들을 이용하여, 상기 현재 CU의 depth 범위를 예측하는 단계;를 포함하는 것을 특징으로 하는 CU depth 범위 예측 방법을 수행할 수 있는 프로그램이 기록된다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, HEVC 부호화기에서 Temporally co-located CU 정보를 이용하지 않으면서도 최적의 CU depth의 범위를 예측할 수 있게 된다. 이에 따라, HEVC 영상 부호화기에서 연산량이 절감되어, 속도 향상을 기대할 수 있다.

또한, 본 발명의 실시예들에 따르면, HEVC 부호화기의 속도 향상을 위한 CU의 depth 범위 예측시 주변 CU 정보만을 이용하여 부호화 속도를 향상시킬 수 있다. 이에 의해, 메모리 사용량과 데이터를 불러오는 시간을 줄일 수 있다.

도 1은 종래의 HEVC 부호화기를 도시한 블록도
도 2는 재귀적 CU, PU, TU 결정 과정의 설명에 제공되는 흐름도,
도 3은 부호화 될 CU의 depth 예측에 참고 되는 CU들을 도시한 도면,
도 4는 임계값(Threshold Value)에 따른 현재 CU의 depth 범위를 나타낸 표,
도 5는 임계값이 4~6인 경우 Left CU와 Above CU의 정보를 활용하는 방법을 나타낸 도면,
도 6은 본 발명의 실시예에 따른, HEVC 부호화기의 속도 향상을 위한 CU의 depth 범위 예측 방법의 설명에 제공되는 순서도, 그리고,
도 7은 프레임 단위에서의 CU depth 범위 예측 처리 방법을 도시한 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에 따른 HEVC 부호화기의 속도 향상을 위한 CU의 depth 범위 예측 방법은 본적으로 CU 레벨에서부터 시작한다.

도 3에는 현재 부호화되려는 CU의 depth를 예측하기 위한 방법으로, 주변(spatially neighboring) CU들의 depth 정보를 이용하는 방법이 도시되어 있다.

먼저, 부호화될 CU의 depth 범위를 정확하게 예측하기 위해 현재 CU의 주변 CU들(Left CU, Above-Left CU, Above CU, Above-Right CU)의 depth 정보를 획득한다.

구체적으로, 도 3에 도시된 바와 같이, Left CU와 Above CU의 경우, 현재 CU와 높은 상관도를 가지고 있기 때문에 가장 근접한 한 라인에 포함된 z-오더 인덱스(z-order index : 4×4)들에 대한 depth 정보를 획득한다. 하지만, Above-Left CU와 Above-Right CU는 상대적으로 낮은 상관도를 가지고 있기 때문에 가장 근접한 한 z-오더 인덱스에 대해서만 depth 정보만을 획득한다.

그리고, 획득된 정보들로부터 아래의 수학식 1에 따라 Depth들(Depth₀, Depth₁, Depth₂ 및 Depth₃)을 산출한다.

[수학식 1]

Depth₀ = MAX(Left CU depth)

Depth₁ = MAX(Above CU depth)

Depth₂ = Above-Left CU depth

Depth₃ = Above-Right CU depth

Depth₀은 Left CU에서 현재 CU에 인접한 한 라인에 포함된 z-오더 인덱스들에 대한 depth들 중 최대값이고, Depth₁은 Above CU에서 현재 CU에 인접한 한 라인에 포함된 z-오더 인덱스들에 대한 depth들 중 최대값이다.

한편, Depth₂는 Above-Left CU에서 현재 CU에 가장 인접한 한 z-오더 인덱스의 depth이고, Depth₃은 Above-Right CU에서 현재 CU에 가장 인접한 한 z-오더 인덱스의 depth이다.

이후, 수학식 1을 통해 산출한 Depth들(Depth₀, Depth₁, Depth₂ 및 Depth₃)로부터 입계값(Threshold Value)을 산출하는데, 임계값은 아래의 수학식 2에 나타난 바와 같이 Depth들(Depth₀, Depth₁, Depth₂ 및 Depth₃)의 합을 의미한다.

[수학식 2]

영상의 특성에 맞게 CU의 depth가 결정된다. 따라서, 현재 CU를 중심으로 주변 CU들의 depth 값을 합한 임계값이 크다면 변화가 많은 영역임을 나타낸다. 반대로 이 임계값이 작다면 변화가 적은 영역임을 나타낸다.

이에 따라, 임계값을 이용하여, 현재 CU의 depth 범위를 결정할 수 있다. 도 4는 임계값에 따른 현재 CU(부호화될 CU)의 depth 범위를 나타낸 표이다.

도 4에 도시된 표를 참조하면, 주변 CU들의 depth 값이 작아 임계값이 작을수록 현재 CU의 최적 depth는 0, 1, 2가 선택될 확률이 높다. 반면, 주변 CU들의 depth 값이 커서 임계값이 클수록 현재 CU의 최적 depth는 1, 2, 3이 선택될 확률이 높음을 확인할 수 있다.

한편, 도 4에 도시된 바와 같이, 임계값이 4~6 값인 경우, CU의 depth가 0~3까지 다양한 범위로 혼용됨을 확인할 수 있다. 구체적으로, CU의 depth 범위는 0~2 또는 1~3가 된다.

어떠한 범위로 예측할지 결정하기 위해, CU의 위치에 따라 Left CU 혹은 Above CU의 정보를 이용한다. 구체적으로, 1) Left 또는 Above CU의 depth가 0이고, Early CU 조건을 만족한다면, 현재 CU의 depth 범위를 0~2로 예측하고, 2) 이를 만족하지 않는다면, 현재 CU의 depth 범위를 1~3으로 예측한다.

도 5에 임계값이 4~6인 경우 Left CU와 Above CU의 정보를 활용하는 방법을 나타내었다.

도 5에서, ①번 영역의 CTU들은 왼쪽 첫 번째 CTU 라인으로서 Left CU가 존재하지 않는 영역이다. 따라서, 해당 영역에 대해서 depth를 결정할 경우에는 Above CU의 정보를 활용한다. 한편, ②번 영역은 Left CU와 Above CU가 둘 다 존재하는 영역이지만, 부호화기의 속도 향상을 위해 Left CU의 정보만을 이용하여 depth를 결정한다.

도 6은 본 발명의 실시예에 따른, HEVC 부호화기의 속도 향상을 위한 CU의 depth 범위 예측 방법의 설명에 제공되는 순서도이다.

본 발명의 실시예에 따른 CU depth 범위 예측 방법에서는, 고속 부호화 기법인 Early SKIP, CBF Fast, Early CU이 활용된다.

구체적으로, 도 3에 도시된 바와 같이 현재 CU(부호화될 CU)의 주변 CU들에 대한 depth 정보와 수학식 1을 이용하여 Depth들(Depth₀, Depth₁, Depth₂ 및 Depth₃)을 산출하고, 산출된 Depth들과 수학식 2를 이용하여 임계값을 산출한다.

다음, 산출된 임계값에 대해 도 4에 도시된 표를 참조하여, 현재 CU(부호화될 CU)의 depth 범위를 예측한다.

도 4와 도 6을 통해 할 수 있는 바와 같이, 1) 임계값이 "0"인 경우, CU의 depth 범위는 "0,1"로 예측하고, 2) 임계값이 "1~3"인 경우, CU의 depth 범위는 "0~2"으로 예측하며, 3) 임계값이 "7~12"인 경우, CU의 depth 범위는 "1~3"으로 예측한다.

한편, 임계값이 "4~6"인 경우, 1) Left 또는 Above CU의 depth가 0이고, Early CU 조건을 만족한다면, 현재 CU의 depth 범위를 "0~2"로 예측하고, 2) 이를 만족하지 않는다면, 현재 CU의 depth 범위를 "1~3"으로 예측한다.

이후, 예측된 depth 범위에서 최소 depth 값에 대해 Inter 2Nx2N 과정을 수행하고, Early SKIP, CBF Fast 조건을 비교한다. 만약, Early SKIP, CBF Fast 조건이 참이라면, Early CU 조건으로 수행하고, 거짓이라면 SKIP, Inter NxN, Inter Nx2N, Inter 2NxN을 수행한다.

한편, AMP는 고속 부호화 환경에서 속도를 저하시키기 때문에 생략한다. 이후, Intra 2Nx2N, Intra NxN을 수행하고 Early CU 조건을 비교한다. 만약, Early CU 조건이 참이라면 해당하는 CU depth를 최적의 depth로 결정하고, 거짓이라면 depth 값을 예측된 범위에서 1만큼 증가시켜 다시 Inter 2Nx2N 과정부터 진행하게 된다. 따라서 현재 부호화될 CU의 예측된 depth 범위에 대해서만 RDO(Rate Distortion Optimization)를 수행하여 최적의 CU depth를 찾는다.

도 7에는 프레임 단위에서의 CU depth 범위 예측 처리 방법을 도시하였다. 본 발명의 실시예에 따른 CU depth 범위 예측 처리 방법에서는, 주변 (spatially neighboring) CU의 정보만을 이용하여 현재 CU의 depth 범위를 예측하기 때문에 주변 CU들의 정확한 정보가 필요하다.

따라서, 주변 CU들의 정확한 정보를 획득하기 위해서는 도 7에 도시된 바와 같이 프레임에서의 첫 번째 라인의 CTB들은 본 발명의 실시예에서 제시한 방법을 적용하지 않는다. 즉, 첫 번째 라인의 CTB들에 포함되는 CU들의 depth는 0~3으로 예측한다.

첫 번째 라인의 CTB들은 정확한 예측을 위해 사용되어질 주변 CU들(Above, Above-Left, Above-Right CU들)의 정보들이 부족하기 때문이다.

본 발명의 실시예에 따른 HEVC 부호화기의 속도 향상을 위한 CU의 depth 범위 예측 방법은 주변 CU 정보만을 이용하여 부호화 속도를 향상시킬 수 있다. 이에 의해, 메모리 사용량과 데이터를 불러오는 시간을 줄일 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Depth₀ : MAX(Left CU depth)
Depth₁ : MAX(Above CU depth)
Depth₂ : Above-Left CU depth
Depth₃ : Above-Right CU depth

Claims

부호화할 현재 CU(coding unit)의 주변 CU들 중 일부 z-오더 인덱스(z-order index)에 대한 depth들을 획득하는 단계; 및
상기 획득단계에서 획득한 depth들을 이용하여, 상기 현재 CU의 depth 범위를 예측하는 단계;를 포함하고,
상기 예측단계는,
상기 획득단계에서 획득한 depth들을 합산하여 임계값을 산출하는 단계; 및
상기 임계값을 기초로, 상기 현재 CU의 depth 범위를 예측하는 단계;를 포함하고,
상기 획득단계는,
주변 CU들 중, Left CU 및 Above CU에 대해서는 상기 현재 CU에 인접한 한 라인에 포함된 z-오더 인덱스에 대한 depth들 중 최대값을 획득하고, Above-Left CU 및 Above-Right CU에 대해서는 상기 현재 CU에 가장 인접한 한 포인트의 z-오더 인덱스에 대한 depth를 획득하며,
상기 예측단계는,
상기 임계값이 특정 범위에 속하는 경우, 상기 현재 CU의 depth 범위를,
Left CU 또는 Above CU가, depth가 0이고 Early CU 조건을 만족하면, 제1 depth 범위로 예측하고,
만족하지 않으면, 제2 depth 범위로 예측하는 것을 특징으로 하는 CU depth 범위 예측 방법.
삭제
삭제
삭제
제 1항에 있어서,
상기 현재 CU의 depth 범위는,
상기 임계값에 비례하는 것을 특징으로 하는 CU depth 범위 예측 방법.
삭제
제 1항에 있어서,
프레임에서의 첫 번째 라인의 CTB들에 포함된 CU들의 depth 범위는 0~3으로 예측하는 단계;를 더 포함하는 것을 특징으로 하는 CU depth 범위 예측 방법.
부호화할 현재 CU(coding unit)의 주변 CU들 중 일부 z-오더 인덱스(z-order index)에 대한 depth들을 획득하는 단계; 및
상기 획득단계에서 획득한 depth들을 이용하여, 상기 현재 CU의 depth 범위를 예측하는 단계;를 포함하고,
상기 예측단계는,
상기 획득단계에서 획득한 depth들을 합산하여 임계값을 산출하는 단계; 및
상기 임계값을 기초로, 상기 현재 CU의 depth 범위를 예측하는 단계;를 포함하고,
상기 획득단계는,
주변 CU들 중, Left CU 및 Above CU에 대해서는 상기 현재 CU에 인접한 한 라인에 포함된 z-오더 인덱스에 대한 depth들 중 최대값을 획득하고, Above-Left CU 및 Above-Right CU에 대해서는 상기 현재 CU에 가장 인접한 한 포인트의 z-오더 인덱스에 대한 depth를 획득하며,
상기 예측단계는,
상기 임계값이 특정 범위에 속하는 경우, 상기 현재 CU의 depth 범위를,
Left CU 또는 Above CU가, depth가 0이고 Early CU 조건을 만족하면, 제1 depth 범위로 예측하고,
만족하지 않으면, 제2 depth 범위로 예측하는 것을 특징으로 하는 CU depth 범위 예측 방법을 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.