KR20170114598A - 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치 - Google Patents

Abstract

적응적 색상 순서에 따른 색상 성분 간 예측을 이용하여 동영상을 복원하는 비디오 신호 처리 방법 및 장치를 제공한다.

Description

적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치{VIDEO CODING AND DECODING METHODS USING ADAPTIVE CROSS COMPONENT PREDICTION AND APPARATUS}

본 발명은 동영상 부호화 및 복호화에 관한 것이다.

비디오 영상은 시공간적 중복성 및 시점 간 중복성을 제거하여 압축 부호화되며, 이는 통신 회선을 통해 전송되거나 저장 매체에 적합한 형태로 저장될 수 있다.

본 발명은 비디오 신호의 코딩 효율을 향상시키고자 함에 있다.

상기 과제를 해결하기 위하여 본 발명은 적응적 색상 순서에 따른 색상 성분 간 예측을 이용하여 동영상을 부호화 또는 복호화하는 방법 및 장치를 제공한다.

본 발명에 따르면, 적응적 색상 순서에 따른 색상 성분 간 예측을 이용하여 비디오 신호 코딩 효율을 향상시킬 수 있다.

동영상 압축 기술 표준인 MPEG은 동영상의 해상도 향상과 함께 압축률 향상이라는 목적 하에 지속적으로 발전하여 왔다. 2000년대 초반 H.264/MPEG4 AVC 표준이 MPEG2 대비 2배의 압축률을 보이며 제정되었고, 2010년대 초반 HEVC는 다시 H.264 대비 2배의 압축률을 보이며 제정이 되었다. 최근 Full HD를 넘어 UHD 즉, 4K/8K급 컨텐츠에 대한 수요가 증가하고 이런 trend에 선대응하기 위한 노력으로서 MPEG은 2015년부터 차세대 CODEC에 대한 연구를 착수하였다. ISO와 ITU 전문가들이 모여 JVET (Joint Video Exploration Team)을 조직하였고, 현재 HEVC 대비 압축률을 향상시키기 위한 다양한 tool들이 내장된 Joint Exploration Model (JEM) CODEC 알고리즘을 만들고 있는 중이다.

본 발명은 JEM의 압축률을 향상시키기 위한 새로운 알고리즘을 제안하고자 한다. HEVC와 달리 JEM같은 차세대 CODEC에서는 두 색상 성분들 (chroma components) 간 예측을 이용하여 intra coding의 성능을 높인다. 본 발명은 색상 성분 간 예측 순서를 적응적으로 조절하는 방법을 제안한다.

그림1. HEVC 인코더 블록도

HEVC는 이전의 동영상 압축 표준과 마찬가지로 블록 단위의 하이브리드 영상 압축 기술을 기반으로 영상 압축을 수행한다. 즉, 입력 영상을 일정 블록 단위로 분할한 후, 각 블록에 대해서 예측, 변환, 양자화, 엔트로피 부호화 과정을 수행한다. 그림 1은 전형적인 HEVC의 인코더를 보이는데, 샘플 적응적 오프셋 (SAO) 기술이 추가된 것을 제외하면 큰 그림 측면에서 H.264와 구조는 동일하다.

입력 동영상 각 프레임은 그림 1과 같이 CTU(coding tree unit)이라는 단위로 먼저 분할하고, 분할된 각 CTU에 대해서 순차적으로 encoding을 수행한다. 예를 들면, CTU는 64x64 휘도 성분 (Y) 블록과 이에 대응하는 32x32 크기의 두 개의 색차 성분 (Cb, Cr)의 블록들이라고 생각하자. HEVC 인코더는 각 CTU를 효과적으로 인코딩하기 위해서, CU (coding unit)라는 블록으로 분할하여 인코딩할 수 있다.

예를 들어, CTU가 64x64일 때, 이를 네 개의 32x32 블록으로 분할하여 부호화할 수 있는데, 이 때 각 32x32 블록이 CU가 된다. 보다 일반적으로 CTU는 쿼드트리 (quad-tree)형태로 다계층 분할 가능하다. 즉, CU는 CTU보다 작은 블록이고 계층적 측면에서 하위 블록이다. CU는 HEVC에서 화면 간 예측 및 화면 내 예측의 모드가 결정되는 단위이다. 각 CU 내에서 보다 정확한 예측을 위해 CU를 다시 PU (prediction unit)으로 나눌 수 있다. PU는 예측 블록을 생성하는 기본 단위이다. 일반적으로 PU는 CU로부터 분할되며, 단일 계층을 가지면서 여러 개의 part로 분할이 가능하다.

각 CU에 대해 motion estimation 및 motion compensation에 근거한 화면 간 예측 또는 화면 내 예측 (intra prediction)을 수행하여 예측블록 P를 생성하고, 이를 원본 CU (O)에서 빼주면 CU 크기와 동일한 차분 블록 R이 생성된다. 생성된 차분 블록 R은 변환 (transform), 양자화 (quantization) 및 엔트로피 부호화 과정을 거친다. 이때 효과적으로 변환 부호화하기 위해 TU(transform unit)라는 단위를 사용한다. 즉, 차분 블록 R은 TU 단위로 나뉘어서 부호화가 수행된다. 여기서 TU는 CU로부터 다계층 쿼드트리 형태로 분할될 수 있다. 다만, PU에 의존적이어서 TU가 PU보다 큰 블록이 될 수는 없다.

인코더와 디코더에서 미스매치가 발생하지 않도록 하기 위해서는 인코더에서 예측을 수행할 때 디코더에서 사용 가능한 값을 사용해야 한다. 이를 위해 HEVC 인코더에서는 인코딩한 현재 블록을 다시 복원하는 과정을 수행한다. 그림 1과 같이 양자화된 계수값들에 다시 역양자화를 수행하고 이를 다시 역변환하여 복원된 차분 R'이 얻어진다. R'은 예측 블록 P와 더해져서 복원 블록 O'이 얻어진다. 이와 같은 과정을 모든 CU에 대해 적용한 후에 디블록킹 필터와 SAO 필터가 순차적으로 복원 영상에 적용된 후에 결과 영상들은 이후에 이루어지는 예측 과정을 위해 decoded picture buffer에 저장된다.

YCbCr 성분 간 correlation을 이용하면 압축 효율이 향상될 수 있다. 그래서 chroma sample들을 동일 블록의 복원된 luma sample들로부터 다음 식처럼 선형 모델에 의해 예측하는 것이 가능하다.

여기서

는 현재 블록의 Cb 혹 Cr 성분의 예측 블록을 의미하며,

은 동일 블록의 복원된 luma 성분 블록을 의미한다. 단, YCbCr 4:2:0처럼 luma와 chroma가 해상도가 다른 경우 chroma 해상도에 맞게 luma 성분이 down-scale되어야 한다.

는 현재 블록과 인접한 주변의 복원된 화소들 (그림 2 참조) 간에 regression 오차가 최소가 되는 방향으로 계산에 의해 얻어진다.

그림 2. 8x8 블록의 경우 파라미터 예측을 위해 사용되는 주변 화소들의 예.

Cr 성분이 Cb 성분으로부터 예측된다. 복원된 sample값을 그대로 사용하는 대신에 잔여신호 (residual signal) 영역에서 cross component prediction이 적용된다. 식 (2)와 같이 원래 Cr 예측 블록에 복원된 Cb residual을 가중치를 곱한 다음 더하는 방식으로 Cr 예측 블록이 update된다.

여기서,

는 식 (1)의 파라미터들처럼 계산을 통해 예측한다.

종래 기법은 항상 Cb 성분은 Y로부터 예측하고, Cr 성분은 Cb로부터 (식 (2) 참조) 예측이 된다. 그러나 Cr을 Y로부터 예측하고, Cb를 Cr로부터 예측할 경우 압축효율이 향상될 수 있다.

그림 3. Encoder에서의 적응적 cross component prediction.

각 블록에 대해 component 간 예측 순서를 적응적으로 정하여 압축효율을 향상시킨다.

A. Encoder에서 동작

그림 3은 encoder에서 동작을 보인다. 먼저 YCbCr 순서로 예측을 수행한다. 즉, 식 (1)에 의해 Y로부터 Cb 성분의 predictor를 계산한다. 다시 식 (2)에 따라 Cb로부터 Cr성분의 predictor 블록을 계산한다. 유사하게 YCrCb 순서 예측을 수행한다. 먼저 식 (1)에 따라 Y로부터 Cr성분 예측 블록을 계산한다. 그리고 다음 식 (3)에 따라 Cr로부터 Cb 예측 블록을 계산한다. 원래 Cb 예측 블록에 복원된 Cr residual을 가중치를 곱한 다음 더하는 방식으로 Cb 예측 블록이 update된다.

여기서,

는 식 (2)처럼 계산을 통해 예측한다.

다음으로 YCbCr 순서와 YCrCb 순서 예측 방법 중 압축 효율 측면에서 유리한 방법을 선택한다. 구해진 예측 블록들을 이용하여 coding 시 발생하는 비트량을 직접 비교하여 적은 비트량을 생성하는 모드를 선택할 수도 있다. 또한 단순히 예측 오차가 작은 모드를 선택할 수도 있다. 또다른 선택 예로는 소정의 R-D cost를 정의하고 그 관점에서 유리한 모드를 선택할 수 있다.

모드 선택 단위는 PU나 CU 혹은 CTU가 될 수 있다. 또한 슬라이스나 picture 나 sequence 단위로 encoder에서 결정해서 순서 정보를 비트스트림에 포함하여 보낼 수 있다. 또한 상기 순서 정보는 chroma format 정보와 동일하게 setting되어 공통된 정보로 decoder에 송부될 수도 있다.

B. decoder에서의 동작

Decoder에서는 먼저 sequence 단위, 혹은 picture 단위, 혹은 슬라이스 단위, 혹은 CTU 단위 혹은 CU 단위 혹은 PU 단위로 날라오는 chroma format 정보를 확인한다.

만약 chroma 포맷 정보가 YCbCr 순서이면, 식 (1)에 의해 Y블록으로부터 Cb 성분의 predictor블록이 생성된다. 이어서 식 (2)에 따라 Cb로부터 Cr성분의 predictor 블록도 계산한다.

만약 chroma 포맷 정보가 YCrCb 순서이면, 식 (1)에 의해 Y블록으로부터 Cr 성분의 predictor 블록이 생성된다. 이어서 식 (3)에 따라 Cr로부터 Cb성분 predictor 블록이 계산된다.

Claims (1)

1. 적응적 색상 순서에 따른 색상 성분 간 예측을 이용하여 동영상을 복원하는 비디오 신호 처리 방법.