KR20210035025A - 무손실 복원 방법 및 영상 복호화 장치 - Google Patents

Abstract

무손실 복원 방법 및 영상 복호화 장치를 개시한다.
본 발명의 일 실시예에 의하면, 현재블록의 잔차샘플들을 무손실(lossless)로 복원 방법으로서, 상기 잔차샘플들에 대한 변환 과정이 스킵(skip)되었는지 여부를 지시하는 제1신택스에 따라, 무손실 코딩 모드와 손실(lossy) 코딩 모드 중에서 어느 하나를 결정하는 단계; 상기 무손실 코딩 모드가 결정되는 경우, 비트스트림으로부터 복호화되는 무손실 코딩 모드 신택스들에 의존하여, 상기 잔차샘플들을 복원하는 단계를 포함하는, 무손실 복원 방법을 제공한다.

Description

무손실 복원 방법 및 영상 복호화 장치{LOSSLESS RECONTRUCTION METHOD AND APPARATUS FOR USING THE SAME}

본 발명은 영상의 부호화 및 복호화에 관한 것으로서, 더욱 구체적으로는 영상을 무손실로 복원하여 부호화 및 복호화의 효율을 향상시킨 무손실 복원 방법 및 영상 복호화 장치에 관한 것이다.

동영상 데이터는 음성 데이터나 정지 영상 데이터 등에 비하여 많은 데이터량을 가지기 때문에, 압축을 위한 처리 없이 그 자체를 저장하거나 전송하기 위해서는 메모리를 포함하여 많은 하드웨어 자원을 필요로 한다.

따라서, 통상적으로 동영상 데이터를 저장하거나 전송할 때에는 부호화기를 사용하여 동영상 데이터를 압축하여 저장하거나 전송하며, 복호화기에서는 압축된 동영상 데이터를 수신하여 압축을 해제하고 재생한다. 이러한 동영상 압축 기술로는 H.264/AVC를 비롯하여, H.264/AVC에 비해 약 40% 정도의 부호화 효율을 향상시킨 HEVC(High Efficiency Video Coding)가 존재한다.

그러나, 영상의 크기 및 해상도, 프레임율이 점차 증가하고 있고, 이에 따라 부호화해야 하는 데이터량도 증가하고 있으므로 기존의 압축 기술보다 더 부호화 효율이 좋고 화질 개선 효과도 높은 새로운 압축 기술이 요구된다.

이러한 요구에 부응하기 위해 본 발명은 개선된 영상 부호화 및 복호화 기술을 제공하는 것을 목적으로 하며, 특히, 본 발명의 일 측면은 영상을 손실 없이 복원함으로써 부호화 및 복호화의 효율을 향상시키는 기술과 관련된다.

본 발명의 일 측면은, 현재블록의 잔차샘플들을 무손실(lossless)로 복원 방법으로서, 상기 잔차샘플들에 대한 변환 과정이 스킵(skip)되었는지 여부를 지시하는 제1신택스에 따라, 무손실 코딩 모드와 손실(lossy) 코딩 모드 중에서 어느 하나를 결정하는 단계; 상기 무손실 코딩 모드가 결정되는 경우, 비트스트림으로부터 복호화되는 무손실 코딩 모드 신택스들에 의존하여, 상기 잔차샘플들을 복원하는 단계를 포함하는, 무손실 복원 방법을 제공한다.

본 발명의 다른 일 측면은, 현재블록의 잔차샘플들을 무손실(lossless)로 복원하는 영상 복호화 장치로서, 상기 잔차샘플들에 대한 변환 과정이 스킵(skip)되었는지 여부를 지시하는 제1신택스에 따라, 무손실 코딩 모드와 손실 코딩 모드 중에서 어느 하나를 결정하는 결정부; 상기 무손실 코딩 모드가 결정되는 경우, 비트스트림으로부터 복호화되는 무손실 코딩 모드 신택스들에 의존하여, 상기 잔차샘플들을 복원하는 복원부를 포함하는, 영상 복호화 장치를 제공한다.

이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 현재블록을 무손실로 부호화 및 복호화할 수 있으므로, 원본 영상과 동일한 화질의 영상을 복원할 수 있게 된다.

도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다.
도 2는 QTBTTT 구조를 이용하여 블록을 분할하는 방법을 설명하기 위한 도면이다.
도 3은 복수의 인트라 예측 모드들을 설명하기 위한 도면이다.
도 4는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다.
도 5는 무손실 복원 방법을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다.
도 6은 무손실 복원 방법에 대한 일 예를 설명하기 위한 순서도이다.
도 7은 현재블록이 무손실로 부호화되었는지 여부를 판단하는 일 예를 설명하기 위한 순서도이다.
도 8 및 도 9은 무손실 코딩 모드를 결정하는 예들을 설명하기 위한 순서도이다.
도 10은 잔차샘플들을 무손실로 복원하는 방법에 대한 일 예를 설명하기 위한 순서도이다.
도 11은 무손실 복원의 스캐닝 순서를 설명하기 위한 도면이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 개시의 기술들을 구현할 수 있는 영상 부호화 장치에 대한 예시적인 블록도이다. 이하에서는 도 1을 참조하여 영상 부호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.

영상 부호화 장치는 블록 분할부(110), 예측부(120), 감산기(130), 변환부(140), 양자화부(145), 부호화부(150), 역양자화부(160), 역변환부(165), 가산기(170), 필터부(180) 및 메모리(190)를 포함하여 구성될 수 있다.

영상 부호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.

하나의 영상(비디오)는 복수의 픽처들로 구성된다. 각 픽처들은 복수의 영역으로 분할되고 각 영역마다 부호화가 수행된다. 예를 들어, 하나의 픽처는 하나 이상의 타일(Tile) 또는/및 슬라이스(Slice)로 분할된다. 여기서, 하나 이상의 타일을 타일 그룹(Tile Group)으로 정의할 수 있다. 각 타일 또는/슬라이스는 하나 이상의 CTU(Coding Tree Unit)로 분할된다. 그리고 각 CTU는 트리 구조에 의해 하나 이상의 CU(Coding Unit)들로 분할된다. 각 CU에 적용되는 정보들은 CU의 신택스로서 부호화되고, 하나의 CTU에 포함된 CU들에 공통적으로 적용되는 정보는 CTU의 신택스로서 부호화된다. 또한, 하나의 타일 내의 모든 블록들에 공통적으로 적용되는 정보는 타일의 신택스로서 부호화되거나 다수 개의 타일을 모아 놓은 타일 그룹의 신택스로서 부호화되며, 하나의 픽처들을 구성하는 모든 블록들에 적용되는 정보는 픽처 파라미터 셋(PPS, Picture Parameter Set) 혹은 픽처 헤더에 부호화된다. 나아가, 복수의 픽처가 공통으로 참조하는 정보들은 시퀀스 파라미터 셋(SPS, Sequence Parameter Set)에 부호화된다. 그리고, 하나 이상의 SPS가 공통으로 참조하는 정보들은 비디오 파라미터 셋(VPS, Video Parameter Set)에 부호화된다.

블록 분할부(110)는 CTU(Coding Tree Unit)의 크기를 결정한다. CTU의 크기에 대한 정보(CTU size)는 SPS 또는 PPS의 신택스로서 부호화되어 영상 복호화 장치로 전달된다.

블록 분할부(110)는 영상을 구성하는 각 픽처(picture)를 미리 결정된 크기를 가지는 복수의 CTU(Coding Tree Unit)들로 분할한 이후에, 트리 구조(tree structure)를 이용하여 CTU를 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU(coding unit)가 된다.

트리 구조로는 상위 노드(혹은 부모 노드)가 동일한 크기의 네 개의 하위 노드(혹은 자식 노드)로 분할되는 쿼드트리(QuadTree, QT), 또는 상위 노드가 두 개의 하위 노드로 분할되는 바이너리트리(BinaryTree, BT), 또는 상위 노드가 1:2:1 비율로 세 개의 하위 노드로 분할되는 터너리트리(TernaryTree, TT), 또는 이러한 QT 구조, BT 구조 및 TT 구조 중 둘 이상을 혼용한 구조일 수 있다. 예컨대, QTBT(QuadTree plus BinaryTree) 구조가 사용될 수 있고, 또는 QTBTTT(QuadTree plus BinaryTree TernaryTree) 구조가 사용될 수 있다. 여기서, BTTT를 합쳐서 MTT(Multiple-Type Tree)라 칭할 수 있다.

도 2는 QTBTTT 분할 트리 구조를 보인다. 도 2에서 보는 바와 같이, CTU는 먼저 QT 구조로 분할될 수 있다. 쿼드트리 분할은 분할 블록(splitting block)의 크기가 QT에서 허용되는 리프 노드의 최소 블록 크기(MinQTSize)에 도달할 때까지 반복될 수 있다. QT 구조의 각 노드가 하위 레이어의 4개의 노드들로 분할되는지 여부를 지시하는 제1 플래그(QT_split_flag)는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. QT의 리프 노드가 BT에서 허용되는 루트 노드의 최대 블록 크기(MaxBTSize)보다 크지 않은 경우, BT 구조 또는 TT 구조 중 어느 하나 이상으로 더 분할될 수 있다. BT 구조 및/또는 TT 구조에서는 복수의 분할 방향이 존재할 수 있다. 예컨대, 해당 노드의 블록이 가로로 분할되는 방향과 세로로 분할되는 방향 두 가지가 존재할 수 있다. 도 2와 같이, MTT 분할이 시작되면, 노드들이 분할되었는지 여부를 지시하는 제2 플래그(mtt_split_flag)와, 분할이 되었다면 추가적으로 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그 및/또는 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.

트리 구조의 다른 예로서, QTBTTT 구조를 사용하여 블록을 분할하는 경우, 먼저 분할 되었음을 나타내는 CU 분할 플래그(split_cu_flag) 및 분할 타입이 QT 분할인지를 지시하는 QT 분할 플래그(split_qt_flag) 정보가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. CU 분할 플래그(split_cu_flag) 값이 분할되지 않았음을 지시하는 경우, 해당 노드의 블록이 분할 트리 구조에서의 리프 노드(leaf node)가 되어 부호화의 기본 단위인 CU(coding unit)가 된다. CU 분할 플래그(split_cu_flag) 값이 분할되었음을 지시하는 경우, QT 분할 플래그(split_qt_flag) 값을 통해 분할 타입이 QT 혹은 MTT인지를 구분한다. 분할 타입이 QT인 경우에는 더 이상의 추가 정보가 없으며, 분할 타입이 MTT인 경우에는 추가적으로 MTT 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그(mtt_split_cu_vertical_flag) 및/또는 MTT 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그(mtt_split_cu_binary_flag)가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.

트리 구조의 다른 예시로서 QTBT가 사용되는 경우, 해당 노드의 블록을 동일 크기의 두 개 블록으로 가로로 분할하는 타입(즉, symmetric horizontal splitting)과 세로로 분할하는 타입(즉, symmetric vertical splitting) 두 가지가 존재할 수 있다. BT 구조의 각 노드가 하위 레이어의 블록으로 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할되는 타입을 지시하는 분할 타입 정보가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다. 한편, 해당 노드의 블록을 서로 비대칭 형태의 두 개의 블록으로 분할하는 타입이 추가로 더 존재할 수도 있다. 비대칭 형태에는 해당 노드의 블록을 1:3의 크기 비율을 가지는 두 개의 직사각형 블록으로 분할하는 형태가 포함될 수 있고, 혹은 해당 노드의 블록을 대각선 방향으로 분할하는 형태가 포함될 수도 있다.

CU는 CTU로부터의 QTBT 또는 QTBTTT 분할에 따라 다양한 크기를 가질 수 있다. 이하에서는, 부호화 또는 복호화하고자 하는 CU(즉, QTBTTT의 리프 노드)에 해당하는 블록을 '현재블록'이라 칭한다.

예측부(120)는 현재블록을 예측하여 예측블록을 생성한다. 예측부(120)는 인트라 예측부(122)와 인터 예측부(124)를 포함한다.

일반적으로, 픽처 내 현재블록들은 각각 예측적으로 코딩될 수 있다. 일반적으로 현재블록의 예측은 (현재블록을 포함하는 픽처로부터의 데이터를 사용하는) 인트라 예측 기술 또는 (현재블록을 포함하는 픽처 이전에 코딩된 픽처로부터의 데이터를 사용하는) 인터 예측 기술을 사용하여 수행될 수 있다. 인터 예측은 단방향 예측과 양방향 예측 모두를 포함한다.

인트라 예측부(122)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 현재블록 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재한다. 예컨대, 도 3에서 보는 바와 같이, 복수의 인트라 예측모드는 planar 모드와 DC 모드를 포함하는 비방향성 모드와 65개의 방향성 모드를 포함할 수 있다. 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다.

인트라 예측부(122)는 현재블록을 부호화하는데 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예들에서, 인트라 예측부(122)는 여러 인트라 예측 모드들을 사용하여 현재블록을 인코딩하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측 모드를 선택할 수도 있다. 예를 들어, 인트라 예측부(122)는 여러 테스트된 인트라 예측 모드들에 대한 레이트 왜곡(rate-distortion) 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중 최선의 레이트 왜곡 특징들을 갖는 인트라 예측 모드를 선택할 수도 있다.

인트라 예측부(122)는 복수의 인트라 예측 모드 중에서 하나의 인트라 예측 모드를 선택하고, 선택된 인트라 예측 모드에 따라 결정되는 주변 픽셀(참조 픽셀)과 연산식을 사용하여 현재블록을 예측한다. 선택된 인트라 예측 모드에 대한 정보가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다.

인터 예측부(124)는 움직임 보상 과정을 통해 현재블록에 대한 예측블록을 생성한다. 현재 픽처보다 먼저 부호화 및 복호화된 참조픽처 내에서 현재블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재블록과 참조픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 일반적으로, 움직임 추정은 루마(luma) 성분에 대해 수행되고, 루마 성분에 기초하여 계산된 모션 벡터는 루마 성분 및 크로마 성분 모두에 대해 사용된다. 현재블록을 예측하기 위해 사용된 참조픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 전달된다.

감산기(130)는 현재블록으로부터 인트라 예측부(122) 또는 인터 예측부(124)에 의해 생성된 예측블록을 감산하여 잔차블록을 생성한다.

변환부(140)는 공간 영역의 픽셀 값들을 가지는 잔차블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(140)는 잔차블록의 전체 크기를 변환 단위로 사용하여 잔차블록 내의 잔차 신호들을 변환할 수 있으며, 또는 잔차블록을 변환 영역 및 비변환 영역인 두 개의 서브블록으로 구분하여, 변환 영역 서브블록만 변환 단위로 사용하여 잔차 신호들을 변환할 수 있다. 여기서, 변환 영역 서브블록은 가로축 (혹은 세로축) 기준 1:1의 크기 비율을 가지는 두 개의 직사각형 블록 중 하나일 수 있다. 이런 경우, 서브블록 만을 변환하였음을 지시하는 플래그(cu_sbt_flag), 방향성(vertical/horizontal) 정보(cu_sbt_horizontal_flag) 및/또는 위치 정보(cu_sbt_pos_flag)가 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다. 또한, 변환 영역 서브블록의 크기는 가로축 (혹은 세로축) 기준 1:3의 크기 비율을 가질 수 있으며, 이런 경우 해당 분할을 구분하는 플래그(cu_sbt_quad_flag)가 추가적으로 부호화부(150)에 의해 부호화되어 영상 복호화 장치로 시그널링된다.

양자화부(145)는 변환부(140)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(150)로 출력한다.

부호화부(150)는 양자화된 변환 계수들을 CABAC(Context-based Adaptive Binary Arithmetic Code) 등의 부호화 방식을 사용하여 부호화함으로써 비트스트림을 생성한다. 부호화부(150)는 블록 분할과 관련된 CTU size, CU 분할 플래그, QT 분할 플래그, MTT 분할 방향, MTT 분할 타입 등의 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다.

또한, 부호화부(150)는 현재블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보(즉, 인트라 예측 모드에 대한 정보) 또는 인터 예측정보(참조픽처 및 움직임벡터에 대한 정보)를 부호화한다.

역양자화부(160)는 양자화부(145)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(165)는 역양자화부(160)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.

가산부(170)는 복원된 잔차블록과 예측부(120)에 의해 생성된 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.

필터부(180)는 블록 기반의 예측 및 변환/양자화로 인해 발생하는 블록킹 아티팩트(blocking artifacts), 링잉 아티팩트(ringing artifacts), 블러링 아티팩트(blurring artifacts) 등을 줄이기 위해 복원된 픽셀들에 대한 필터링을 수행한다. 필터부(180)는 디블록킹 필터(182)와 SAO(Sample Adaptive Offset) 필터(184)를 포함할 수 있다.

디블록킹 필터(180)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 필터링하고, SAO 필터(184)는 디블록킹 필터링된 영상에 대해 추가적인 필터링을 수행한다. SAO 필터(184)는 손실 부호화(lossy coding)로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해 사용되는 필터이다.

디블록킹 필터(182) 및 SAO 필터(184)를 통해 필터링된 복원블록은 메모리(190)에 저장된다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.

도 4는 본 개시의 기술들을 구현할 수 있는 영상 복호화 장치의 예시적인 블록도이다. 이하에서는 도 4를 참조하여 영상 복호화 장치와 이 장치의 하위 구성들에 대하여 설명하도록 한다.

영상 복호화 장치는 복호화부(410), 역양자화부(420), 역변환부(430), 예측부(440), 가산기(450), 필터부(460) 및 메모리(470)를 포함하여 구성될 수 있다.

도 1의 영상 부호화 장치와 마찬가지로, 영상 복호화 장치의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.

복호화부(410)는 영상 부호화 장치로부터 수신한 비트스트림을 복호화하여 블록 분할과 관련된 정보를 추출함으로써 복호화하고자 하는 현재블록을 결정하고, 현재블록을 복원하기 위해 필요한 예측정보와 잔차신호에 대한 정보 등을 추출한다.

복호화부(410)는 SPS(Sequence Parameter Set) 또는 PPS(Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고, CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할정보를 추출함으로써 트리 구조를 이용하여 CTU를 분할한다.

예컨대, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 MTT의 분할과 관련된 제2 플래그(MTT_split_flag) 및 분할 방향(vertical / horizontal) 및/또는 분할 타입(binary / ternary) 정보를 추출하여 해당 리프 노드를 MTT 구조로 분할한다. 이를 통해 QT의 리프 노드 이하의 각 노드들을 BT 또는 TT 구조로 반복적으로(recursively) 분할한다.

또 다른 예로서, QTBTTT 구조를 사용하여 CTU를 분할하는 경우, 먼저 CU의 분할 여부를 지시하는 CU 분할 플래그(split_cu_flag)를 추출하고, 해당 블록이 분할된 경우, QT 분할 플래그(split_qt_flag)를 추출한다. 분할 타입이 QT가 아니고 MTT인 경우, MTT 분할 방향(vertical 혹은 horizontal)을 나타내는 플래그(mtt_split_cu_vertical_flag) 및/또는 MTT 분할 타입(Binary 혹은 Ternary)을 나타내는 플래그(mtt_split_cu_binary_flag)를 추가적으로 추출한다. 분할 과정에서 각 노드는 0번 이상의 반복적인 QT 분할 후에 0번 이상의 반복적인 MTT 분할이 발생할 수 있다. 예컨대, CTU는 바로 MTT 분할이 발생하거나, 반대로 다수 번의 QT 분할만 발생할 수도 있다.

다른 예로서, QTBT 구조를 사용하여 CTU를 분할하는 경우, QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT로 더 분할되는지 여부를 지시하는 분할 플래그(split_flag) 및 분할 방향 정보를 추출한다.

한편, 복호화부(410)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다. 예측 타입 정보가 인트라 예측을 지시하는 경우, 복호화부(410)는 현재블록의 인트라 예측정보(인트라 예측 모드)에 대한 신택스 요소를 추출한다. 예측 타입 정보가 인터 예측을 지시하는 경우, 복호화부(410)는 인터 예측정보에 대한 신택스 요소, 즉, 움직임벡터 및 그 움직임벡터가 참조하는 참조픽처를 나타내는 정보를 추출한다.

한편, 복호화부(410)는 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다.

역양자화부(420)는 양자화된 변환계수들을 역양자화하고, 역변환부(430)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재블록에 대한 잔차블록을 생성한다.

또한, 역변환부(430)는 변환블록의 일부 영역(서브블록)만 역변환하는 경우, 변환블록의 서브블록만을 변환하였음을 지시하는 플래그(cu_sbt_flag), 서브블록의 방향성(vertical/horizontal) 정보(cu_sbt_horizontal_flag) 및/또는 서브블록의 위치 정보(cu_sbt_pos_flag)를 추출하여, 해당 서브블록의 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환함으로써 잔차신호들을 복원하고, 역변환되지 않은 영역에 대해서는 잔차신호로 "0" 값을 채움으로써 현재블록에 대한 최종 잔차블록을 생성한다.

예측부(440)는 인트라 예측부(442) 및 인터 예측부(444)를 포함할 수 있다. 인트라 예측부(442)는 현재블록의 예측 타입이 인트라 예측일 때 활성화되고, 인터 예측부(444)는 현재블록의 예측 타입이 인터 예측일 때 활성화된다.

인트라 예측부(442)는 복호화부(410)로부터 추출된 인트라 예측 모드에 대한 신택스 요소로부터 복수의 인트라 예측 모드 중 현재블록의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 현재블록 주변의 참조 픽셀들을 이용하여 현재블록을 예측한다.

인터 예측부(444)는 복호화부(410)로부터 추출된 인트라 예측 모드에 대한 신택스 요소를 이용하여 현재블록의 움직임벡터와 그 움직임벡터가 참조하는 참조픽처를 결정하고, 움직임벡터와 참조픽처를 이용하여 현재블록을 예측한다.

가산기(450)는 역변환부로부터 출력되는 잔차블록과 인터 예측부 또는 인트라 예측부로부터 출력되는 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.

필터부(460)는 디블록킹 필터(462) 및 SAO 필터(464)를 포함할 수 있다. 디블록킹 필터(462)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해, 복원된 블록 간의 경계를 디블록킹 필터링한다. SAO 필터(464)는 손실 부호화(lossy coding)으로 인해 발생하는 복원된 픽셀과 원본 픽셀 간의 차이를 보상하기 위해, 디블록킹 필터링 이후의 복원된 블록에 대해 추가적인 필터링을 수행한다. 디블록킹 필터(462) 및 SAO 필터(464)를 통해 필터링된 복원블록은 메모리(470)에 저장된다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.

HEVC(High Efficiency Video Coding)는 CU의 무손실(lossless) 부호화/복호화를 위해 표 1과 같이 CU-level의 신택스를 지원한다.

cu_transquant_bypass_flag는 해당 CU에 무손실 부호화/복호화가 bypass되는지 여부를 지시하는 신택스로서, cu_transquant_bypass_flag=1이면 해당 CU에 변환(transform) 과정, 양자화(quantization) 과정 및 인-루프 필터링(DBF, SAO) 과정이 적용되지 않는다. 즉, cu_transquant_bypass_flag=1이면 부호화되는 데이터는 계수(coefficients)가 아닌 차이(difference) 값이 된다.

HEVC에서는 CU가 다수 개의 TU로 나누어지고, 하나의 TU는 세 개의 component(Y, Cb, Cr)로 구성되므로, cu_transquant_bypass_flag=1이면 모든 TU의 세가지 component 블록들에 대한 변환 과정, 양자화 과정 및 인-루프 필터링 과정이 생략되며, 인트라 또는 인터 예측 후의 차이 값이 부호화된다.

cu_transquant_bypass_flag=1인 경우에, 잔차 부호화 방법은 HEVC의 일반적인 계수 부호화 방법과 동일하다. 다만, 특정 조건하에서는 계수(잔차)를 부호화하기에 앞서 잔차 값들을 rotation하는 과정이 수행된 후에 일반적인 계수 부호화 방법이 적용된다. 여기서, 특정 조건은 'HLS에서 정의되는 transform_skip_rotation_enabled_flag가 “on”이면서, 블록이 인트라로 예측되었으며, TU의 사이즈가 4x4인 경우'이다.

잔차 값들을 rotation하는 방법은 수학식 1과 같다.

수학식 1에서, r은 rotation 전의 잔차 값을 의미하고, r'는 rotation 후의 잔차 값을 의미하며, nTbS는 정사각형 모양을 가지는 TB의 크기(size)를 의미한다.

일반적인 계수 코딩을 위한 신택스들은 아래와 같다.

1. last_sig_coeff_x_prefix,

2. last_sig_coeff_y_prefix,

3. last_sig_coeff_x_suffix,

4. last_sig_coeff_y_suffix,

5. coded_sub_block_flag,

6. sig_coeff_flag,

7. coeff_abs_level_greater1_flag,

8. coeff_abs_level_greater2_flag,

9. coeff_sign_flag,

10. coeff_abs_level_remaining.

앞의 네 개의 신택스 요소들(last_sig_coeff_x_prefix, last_sig_coeff_y_prefix, last_sig_coeff_x_suffix 및, last_sig_coeff_y_suffix)은 계수블록 내에 스캔 순서 상 마지막에 위치하는 비-제로 계수(마지막 유효 계수, last significant coefficient)의 위치를 지시하는 신택스들이다. 마지막 유효 계수는 위치에 대한 x 성분(last_sig_coeff_x_prefix, last_sig_coeff_x_suffix)과 y 성분(last_sig_coeff_y_prefix, last_sig_coeff_y_suffix)이 별도로 표시되며, 각 성분은 접두어(prefix) 및 접미어(suffix)로 나뉘어 표현된다.

다섯 번째 신택스 요소(coded_sub_block_flag)는 계수블록 내에 위치하는 4x4 크기의 서브블록들이 비-제로 계수를 하나 이상 포함하는지 여부를 지시하는 플래그이다. coded_sub_block_flag는 스캔 순서 상, 마지막 유효 계수가 존재하는 마지막 유효 서브블록(last significant sub-block)에 선행하는 서브블록에 한하여 시그널링된다. 여기서, coded_sub_block_flag=0은 해당 서브블록 내 모든 계수들이 “0”임을 나타내며, coded_sub_block_flag=1은 해당 서브블록 내에 하나 이상의 비-제로 계수가 존재함을 나타낸다.

여섯 번째 신택스 요소(sig_coeff_flag)는 서브블록 내 계수들 각각에 대해 해당 계수가 비-제로인지 또는 제로인지 여부를 지시하는 플래그이다. sig_coeff_flag=0은 해당 계수가 제로임을 나타내며, sig_coeff_flag=1은 해당 계수가 비-제로임을 나타낸다. sig_coeff_flag는 coded_sub_block_flag=1인 경우에 해당 서브블록 내 모든 계수들 각각에 대하여 시그널링된다.

일곱 번째 신택스 요소(coeff_abs_level_greater1_flag)는 계수 레벨의 절대 값이 1보다 큰지 여부를 지시하는 플래그이며, 여덟 번째 신택스 요소(coeff_abs_level_greater2_flag)는 계수 레벨의 절대 값이 2보다 큰지 여부를 지시하는 플래그이다. 아홉 번째 신택스 요소(coeff_sign_flag)는 계수 레벨의 부호(positive 또는 negative)를 지시하는 플래그이며, 열 번째 신택스 요소(coeff_abs_level_remaining)는 2보다 큰 계수 레벨의 절대 값에 대한 나머지 값(remainder, 즉 계수 레벨의 절대 값 - 3)을 나타내는 신택스이다.

이와 같은 열 개의 신택스 요소들을 이용하여 잔차 값들이 무손실로 부호화/복호화될 수 있다.

본 명세서에서는 현재블록(CU)의 무손실 부호화/복호화를 위한 방법들이 제안된다. 동영상을 부호화/복호화하는 과정 중에 발생하는 일반적인 손실(lossy) 과정들은 생략된다. 또한, 본 명세서에서는 무손실 부호화/복호화에 적합한 신택스 구조 및 이를 시그널링하는 방법들이 제안된다.

도 5에 도시된 바와 같이, 무손실 복원 방법을 구현할 수 있는 영상 복호화 장치는 복호화부(410), 결정부(510) 및 복원부(520)를 포함하여 구성될 수 있다.

영상 부호화 장치는 현재블록이 무손실로 부호화되었는지 여부를 판단하고, 그 판단 결과를 제1신택스로 부호화하여 시그널링할 수 있다. 복호화부(410)는 비트스트림으로부터 제1신택스를 복호화할 수 있다(S610).

제1신택스는 현재블록의 잔차샘플들에 대해 변환 과정이 스킵(skip) 또는 바이패스(bypass)(이하, '스킵'으로 지칭한다)되었는지 여부만을 지시하거나, 변환 과정과 양자화 과정이 모두 스킵 또는 바이패스되었는지 여부를 지시할 수도 있다. 제1신택스가 변환 과정의 스킵 여부만을 지시하는 경우에, 제1신택스는 transform_skip_flag로 구현될 수 있다. 제1신택스가 변환 과정과 양자화 과정 모두 스킵되었는지 여부를 지시하는 경우에, 제1신택스는 cu_transquant_bypass_flag로 구현될 수 있다.

transform_skip_flag=1은 잔차샘플들에 대한 변환 과정이 스킵되었음을 나타내며, transform_skip_flag=0은 잔차샘플들에 대한 변환 과정이 스킵되지 않았음을 나타낼 수 있다. cu_transquant_bypass_flag=1은 잔차샘플들에 대한 변환 과정과 양자화 과정이 모두 스킵되었음을 나타내며, cu_transquant_bypass_flag=0은 잔차샘플들에 대한 변환 과정과 양자화 과정이 스킵되지 않았음을 나타낼 수 있다.

결정부(510)는 복호화된 제1신택스에 따라, 무손실 코딩 모드와 손실 코딩 모드 중에서 어느 하나를 결정할 수 있다(S620, S630, S660).

제1신택스가 변환 과정이 스킵되었음을 지시하는 경우에는(S620) 무손실 코딩 모드가 결정될 수 있다(S630). 이와 달리, 제1신택스가 변환 과정이 스킵되지 않았음을 지시하는 경우에는(S620) 손실 코딩 모드(일반적인 계수 코딩)가 결정될 수 있다(S640). 여기서, 무손실 코딩 모드란 잔차샘플들을 무손실로 복호화하는 모드를 의미하며, 손실 코딩 모드란 잔차샘플들을 일반적인 방법으로 복호화하는 모드를 의미할 수 있다.

실시형태에 따라, 무손실 코딩 모드를 결정하는 과정에는 제2신택스(tu_cbf)가 더 이용될 수도 있다. 제2신택스는 현재블록의 변환블록에 비-제로 계수가 하나 이상 포함되는지 여부를 지시하는 정보로서, 영상 부호화 장치로부터 영상 복호화 장치로 시그널링될 수 있다. 이와 같은 경우, 영상 복호화 장치는 제2신택스가 포함됨을 지시하면서 제1신택스가 스킵됨을 지시하는 경우에 무손실 코딩 모드를 결정할 수 있다.

영상 부호화 장치는 제1신택스가 변환 과정이 스킵되었음을 지시하는 경우에, 무손실 코딩 모드 신택스들을 부호화하여 시그널링할 수 있다. 이와 달리, 영상 부호화 장치는 제1신택스가 변환 과정이 스킵되지 않았음을 지시하는 경우에 손실 코딩 모드 신택스들을 부호화하여 시그널링할 수 있다.

무손실 코딩 모드 신택스들은 잔차샘플들을 무손실로 복호화하기 위한 신택스들을 의미하며, 손실 코딩 모드 신택스들은 잔차샘플들을 일반적인 방법으로 복호화하기 위한 신택스들을 의미할 수 있다.

복호화부(410)는 무손실 코딩 모드가 결정되는 경우에(S630) 무손실 코딩 모드 신택스들을 복호화하며(S640), 복원부(520)는 무손실 코딩 모드 신택스들에 의존하여 잔차샘플들을 무손실로 복원할 수 있다(S650). 이와 달리, 복호화부(410)는 손실 코딩 모드가 결정되는 경우에(S660) 손실 코딩 모드 신택스들을 복호화할 수 있으며(S670), 복원부(520)는 손실 코딩 모드 신택스들에 의존하여 잔차샘플들을 복원할 수 있다(S650).

실시예 1

실시예 1은 현재블록이 무손실로 부호화되었는지 여부를 직접적으로 시그널링하는 방법이다.

먼저, 현재블록의 무손실 부호화/복호화를 지원하기 위한 인에이블 플래그(예: transquant_bypass_enabled_flag)가 영상 부호화 장치로부터 영상 복호화 장치로 시그널링될 수 있다.

transquant_bypass_enabled_flag는 HLS(high level syntax)로서, SPS(sequence parameter set), PPS(picture parameter set), VPS(video parameter set), DPS(decoder parameter set) 중 하나 이상의 위치에서 정의될 수 있다.

PPS에서 정의되는 transquant_bypass_enabled_flag에 대한 일 예가 표 2에 나타나 있다.

transquant_bypass_enabled_flag가 “on”인 경우에, 현재블록 별로 해당 현재블록이 무손실로 부호화되었는지 여부를 지시하는 제1신택스(예: cu_transquant_bypass_flag)가 영상 부호화 장치로부터 영상 복호화 장치로 시그널링될 수 있다.

cu_transquant_bypass_flag는 transquant_bypass_enabled_flag가 “on”인 경우에 시그널링되거나(표 3), cu_cbf=1이면서 transquant_bypass_enabled_flag가 “on”인 경우에 시그널링될 수도 있다(표 4).

cu_cbf는 해당 현재블록의 component(Y, Cb, Cr)를 위한 블록 내에 비-제로 레벨을 가지는 계수 또는 잔차가 하나 이상 포함되는지 여부를 지시하는 신택스이다. cu_cbf=0은 현재블록의 모든 component를 위한 블록 내 계수 또는 잔차 값들이 all-zero임을 나타내며, cu_cbf=1은 현재블록의 component를 위한 블록들 중에서 하나 이상의 블록 내에 비-제로 계수 또는 잔차가 포함됨을 나타낸다. cu_cbf=0인 경우에는 모든 잔차 값들이 all-zero이므로, 변환 및 양자화 과정이 생략되어 cu_transquant_bypass_flag의 시그널링이 필요하지 않을 수 있다.

인-루프 필터링(DBF, SAO, ALF)의 수행 여부를 나타내는 정보도 영상 부호화 장치로부터 영상 복호화 장치로 시그널링될 수 있다. 인-루프 필터의 수행 여부를 나타내는 정보는 표 3과 같이 transquant_bypass_enabled_flag가 “on”인 경우에 시그널링되거나, 표 4와 같이 cu_cbf=1이면서 transquant_bypass_enabled_flag가 “on”인 경우에 시그널링될 수도 있다. 후자의 경우, cu_cbf=0인 경우에 인-루프 필터의 수행 여부를 나타내는 정보의 시그널링이 생략될 수도 있다.

영상 복호화 장치는 비트스트림으로부터 transquant_bypass_enabled_flag를 추출하여 무손실 복호화가 가능한지 여부를 판단할 수 있다(S710). 또한, 영상 복호화 장치는 transquant_bypass_enabled_flag=1인 경우에(S720) cu_transquant_bypass_flag를 비트스트림으로부터 추출하여(S730) 현재블록이 무손실 부호화되었는지 여부를 판단할 수 있다.

cu_transquant_bypass_flag이 “on”인 경우에는 변환 과정, 양자화 과정 및 인-루프 필터링 과정이 모두 생략되어 현재블록에 대한 무손실 복호화가 수행될 수 있다.

현재블록이 무손실로 부호화/복호화되는 경우에는(cu_transquant_bypass_flag=1) 변환 과정과 양자화 과정을 위한 CU-level의 모든 신택스들은 시그널링되지 않을 수 있다. 아래는 CU-level의 변환 과정과 양자화 과정을 수행하기 위한 신택스들의 목록이며, cu_transquant_bypass_flag=1인 경우에 해당 신택스들은 시그널링없이 “off” 값으로 유도 또는 추론될 수 있다.

1. 변환 과정 관련 신택스들

1) sub-block transform: cu_sbt_flag, cu_sbt_quad_flag, cu_sbt_horizontal_flag, cu_sbt_pos_flag

2) primary transform: tu_mts_idx

3) secondary transform: lfnst_idx

4) transform skip: transform_skip_flag

2. 양자화 과정 관련 신택스들

1) delta qp: cu_qp_delta_abs, cu_qp_delta_sign_flag

transform_skip_flag는 현재블록에 대해 변환 과정이 생략(스킵)되는지 여부를 지시하는 신택스이므로, 현재블록이 무손실로 부호화/복호화되는 경우에는 transform_skip_flag가 시그널링되지 않고 “1” 값으로 유도될 수 있다.

현재블록이 무손실로 부호화/복호화되는 경우에는 손실 효과를 가지는 코딩 툴들에 대한 신택스들도 시그널링되지 않을 수 있다. 아래는 손실 효과를 가지는 코딩 툴들을 수행하기 위한 신택스들의 목록이며, cu_transquant_bypass_flag=1인 경우에 해당 신택스들은 시그널링없이 “off” 값으로 유도 또는 추론될 수 있다.

3. 손실 효과를 가지는 코딩 툴들 관련 신택스

1) joint cb and cr coding: tu_joint_cbcr_residual

현재블록이 무손실로 부호화/복호화되는 경우에는 손실 효과를 가지는 코딩 툴들 중에서 별도의 신택스가 없는 코딩 툴들이 수행되지 않을 수 있다. 즉, 손실 효과를 가지되 별도의 신택스가 없는 코딩 툴들이 부호화/복호화 과정 중에 생략될 수 있다. 아래는 손실 효과를 가지되 별도의 신택스가 없는 코딩 툴들의 목록이다.

4. 손실 효과를 가지되 신택스가 없는 코딩 툴들

1) sign hiding

2) RDOQ (rate-distortion optimization quantization)

실시예 2

실시예 2는 무손실 부호화/복호화를 위한 잔차 코딩 모드를 결정하는 방법이다.

일반적인 손실 부호화(손실 모드)의 경우, 변환 과정을 거치면서 공간 도메인 값들이 주파수 도메인 값으로 변경된다. 공간 도메인은 저주파수 성분과 고주파수 성분으로 구분되며, 저주파수 성분은 블록의 좌상단에 위치하고, 고주파수 성분은 블록의 우하단에 위치한다. 변환 과정에 의해, 대부분의 고주파수 성분은 zero 값을 취하며, 저주파수 성분 중에서 일부가 비-제로 값을 취하게 된다. 따라서, 손실 모드를 위한 계수 코딩은 블록의 좌상단에 위치한 비-제로 성분을 효율적으로 부호화하기 위한 방식을 이용하게 된다.

이와 달리, 무손실 부호화(무손실 모드)의 경우, 변환 과정과 양자화 과정이 생략되므로, 예측(인트라 예측 또는 인터 예측) 후의 차이 값들이 블록 내에 산재되어 있을 수 있다. 따라서, 손실 모드를 위한 계수 코딩 방식이 부적합할 수 있다.

실시예 2에서는, 현재블록이 무손실 모드로 부호화된 경우에 무손실 코딩 모드를 선택 또는 결정하는 방법을 제안한다. 실시예 2는 루마블록에 대한 실시예와 크로마블록에 대한 실시예로 구분될 수 있다.

실시예 2-1: 루마블록

영상 부호화 장치는 제1신택스(transform_skip_flag 또는 cu_transquant_bypass_flag)를 부호화하여 영상 복호화 장치로 시그널링할 수 있다. 영상 복호화 장치는 제1신택스를 복호화하고, 복호화된 제1신택스를 이용하여 현재블록의 루마블록이 무손실 모드로 부호화되었는지 여부를 판단할 수 있다(S830).

제1신택스가 “on”인 경우에는 루마블록이 무손실 모드로 부호화되었으므로, 무손실 코딩 모드(residual_ts_coding)가 결정될 수 있다(S840). 이와 달리, 제1신택스가 “off”인 경우에는 루마블록이 손실 모드로 부호화되었으므로, 손실 코딩 모드(residual_coding)가 결정될 수 있다(S850). 여기서, residual_ts_coding는 (변환 과정이 스킵된) 공간 도메인을 위한 잔차 코딩 방식을 의미하며, residual_coding은 일반적인(변환 과정이 적용된) 주파수 도메인을 위한 계수 코딩 방식을 의미한다.

실시형태에 따라, 루마블록의 무손실 코딩 모드를 결정하는 과정에는 제2신택스(tu_cbf_luma)가 더 이용될 수도 있다.

영상 부호화 장치는 제2신택스를 부호화하여 영상 복호화 장치로 시그널링하며, 영상 복호화 장치는 비트스트림으로부터 제2신택스를 복호화할 수 있다(S810).

tu_cbf_luma=0인 경우에(S820) 루마블록에는 all-zero 계수들만이 포함되어 있으므로, 계수 코딩이 수행되지 않으며, 해당 루마블록이 “0” 값의 계수들로 채워질 수 있다. 이와 달리, tu_cbf_luma=1이면서(S820) 제1신택스가 “on”인 경우에는(S830) 무손실 코딩 모드(residual_ts_coding)가 결정되고(S840), tu_cbf_luma=1이면서(S820) 제1신택스가 “off”인 경우에는(S830) 손실 코딩 모드(residual_coding)가 결정될 수 있다(S850).

실시예 2-1에 대한 신택스 구조가 표 5에 나타나 있다.

한편, 앞서 설명된 바와 같이, 무손실 모드가 적용되는 경우에 transform_skip_flag가 “1” 값으로 유도될 수 있다. 이와 같은 예에 대한 신택스 구조가 표 6에 나타나 있다.

실시예 2-2: 크로마블록

영상 부호화 장치는 제1신택스(transform_skip_flag 또는 cu_transquant_bypass_flag)를 부호화하여 영상 복호화 장치로 시그널링할 수 있다. 영상 복호화 장치는 제1신택스를 이용하여 현재블록의 크로마블록이 무손실 모드로 부호화되었는지 여부를 판단할 수 있다(S930).

제1신택스가 “on”인 경우에는 크로마블록이 무손실 모드로 부호화되었으므로, 무손실 코딩 모드(residual_ts_coding)가 결정될 수 있다(S940). 이와 달리, 제1신택스가 “off”인 경우에는 크로마블록이 손실 모드로 부호화되었으므로, 손실 코딩 모드(residual_coding)가 결정될 수 있다(S950).

실시형태에 따라, 크로마블록의 무손실 코딩 모드를 결정하는 과정에는 제2신택스(tu_cbf_cb 또는 tu_cbf_cr)가 더 이용될 수도 있다.

영상 부호화 장치는 제2신택스를 부호화하여 영상 복호화 장치로 시그널링하며, 영상 복호화 장치는 비트스트림으로부터 제2신택스를 복호화할 수 있다(S910).

tu_cbf_cb=0인 경우에(S920) 크로마블록에는 all-zero 계수들만이 포함되어 있으므로, 계수 코딩이 수행되지 않고 해당 크로마블록이 “0” 값의 계수들로 채워질 수 있다. 이와 달리, tu_cbf_cb=1이면서(S920) 제1신택스가 “on”인 경우에는(S930) 무손실 코딩 모드(residual_ts_coding)가 결정되고(S940), tu_cbf_cb=1이면서(S920) 제1신택스가 “off”인 경우에는(S930) 손실 코딩 모드(residual_coding)가 결정될 수 있다(S950).

실시예 2-2에 대한 신택스 구조가 표 7에 나타나 있다.

실시예 3

실시예 3은 잔차샘플들을 무손실 코딩 모드(residual_ts_coding)로 복원하는 방법이다.

무손실 코딩 모드와 손실 코딩 모드의 가장 큰 차이점은 (1) 마지막 non-zero 계수의 위치정보를 시그널링하는지 여부와, (2) 스캐닝 순서로 요약될 수 있다.

(1) 마지막 non-zero 계수의 위치정보를 시그널링하는지 여부

손실 코딩 모드에서는 스캔 순서 상 변환블록에 마지막으로 위치하는 non-zero(last non-zero) 계수의 위치정보가 최우선으로 시그널링되며, last non-zero 계수 이후에 위치하는 계수들의 값이 all-zero라는 가정 하에, 나머지 다른 신택스들이 시그널링된다. 이는, 블록 내 좌상측에는 non-zero 계수들이 위치하고 블록 내 우하측에는 zero 계수들이 위치하는 특성 때문이다.

그러나, 현재블록이 무손실 모드로 부호화된 경우에는 non-zero 계수들이 블록 내에 고루 분포되어 있을 확률이 높으므로 다른 방식을 취할 필요성이 있다. 즉, 무손실 코딩 모드에서는 last non-zero 계수의 위치정보가 시그널링되지 않는다.

(2) 스캐닝 순서

손실 코딩 모드에서는 diagonal-up scanning 순서의 역순으로 아래에서 설명될 coded_sub_block_flag 및 sig_coeff_flag가 시그널링된다. 이와 달리, 무손실 코딩 모드에서는 diagonal-up scanning 순서로(diagonal-up scanning 순서의 정순으로) coded_sub_block_flag 및 sig_coeff_flag가 시그널링된다.

diagonal-up scanning 순서에 대한 일 예가 도 11에 나타나 있다. 일점 쇄선으로 구분된 블록들은 현재블록에 포함된 서브블록들을 나타내며, 실선으로 구분된 단위 블록들은 서브블록들 각각에 포함된 샘플(변환계수 또는 잔차샘플)를 나타낸다.

무손실 코딩 모드에서는 도 11의 번호 순서대로 무손실 코딩 모드에 이용되는 신택스들이 시그널링될 수 있다. 즉, coded_sub_block_flag는 화살표로 연결되는 번호(1 내지 16) 순서대로 시그널링되며, sig_coeff_flag는 잔차샘플들에 표시된 번호(0 내지 255) 순서대로 시그널링된다.

무손실 코딩 모드에 이용되는 신택스들(무손실 코딩 모드 신택스들)은 아래와 같다.

1. coded_sub_block_flag(제3신택스): 변환블록에 포함된 다수 개의 서브블록들에 비-제로 계수가 하나 이상 포함되는지 여부(서브블록들에 포함된 계수들이 all-zero인지 여부)를 지시하는 신택스이다. coded_sub_block_flag=0은 all-zero를 나타내며, coded_sub_block_flag=1은 비-제로 계수가 하나 이상 포함됨을 나타낸다. coded_sub_block_flag가 존재하지 않는 경우에는 “1” 값으로 추론될 수 있다.

2. sig_coeff_flag(제4신택스): 서브블록(coded_sub_block_flag=1로 지시된 대상 서브블록) 내에 포함된 계수들의 레벨(계수 레벨)이 zero인지 여부를 지시하는 신택스이다. sig_coeff_flag=0은 해당 계수 레벨이 zero임을 나타내며, sig_coeff_flag=1은 해당 계수 레벨이 non-zero임을 나타낸다.

3. coeff_sign_flag: 계수 레벨의 부호를 지시하는 신택스이다. coeff_sign_flag=0은 양수(positive)를 나타내며, coeff_sign_flag=1은 음수(negative)를 나타낸다.

4. abs_level_gtx_flag(x=1): 계수 레벨의 절대 값이 x(=1)보다 큰지 여부를 지시하는 신택스이다.

5. par_level_flag: 계수 레벨의 절대 값이 짝수 또는 홀수인지 여부를 지시하는 신택스이다.

6. abs_level_gtx_flag(x=3, 5, 7, 9): 계수 레벨의 절대 값이 x(=3, 5, 7, 9)보다 큰지 여부를 지시하는 신택스이다.

7. abs_remainder: 9보다 큰 계수 레벨의 절대 값의 나머지 값을 표현하는 신택스이다.

이와 같이, 무손실 코딩 모드 신택스들에는 last non-zero 계수의 위치를 지시하는 신택스들(last_sig_coeff_x_prefix, last_sig_coeff_y_prefix, last_sig_coeff_x_suffix 및, last_sig_coeff_y_suffix)이 포함되지 않는다. 즉, 무손실 코딩 모드가 적용되는 경우에는 마지막 non-zero 계수의 위치정보가 시그널링되지 않는다.

영상 부호화 장치는 i-번째 서브블록에 non-zero 계수가 포함되는지 여부를 판단하고, 그 결과를 coded_sub_block_flag[i]로 하여 시그널링할 수 있다. 영상 복호화 장치는 비트스트림으로부터 coded_sub_block_flag[i]를 복호화할 수 있다(S1010).

coded_sub_block_flag[i]는 모든 서브블록들에 대해 시그널링될 수 있다. 만약, 스캔 순서 상, 가장 마지막 서브블록으로부터 두 번째 서브블록까지의 모든 서브블록들에 대한 coded_sub_block_flag[i]가 모두 “0”이라면, 첫 번째 서브블록에 대한 coded_sub_block_flag[i]가 시그널링되지 않고 “1” 값으로 유도될 수도 있다.

영상 복호화 장치는 coded_sub_block_flag[i]=0인 경우에 모든 서브블록들에 대한 판단이 완료되었는지 여부를 판단한다(S1094). 서브블록들에 대한 판단이 완료되지 않은 경우에는 다음 번째(i++)의 서브블록에 대해 S1010 과정이 다시 수행되며, 모든 서브블록들에 대한 판단이 완료된 경우에는 무손실 코딩 모드가 종료될 수 있다.

영상 부호화 장치는 coded_sub_block_flag[i]=1인 대상 서브블록 내 j-번째 계수 또는 잔차샘플이 non-zero인지 여부를 판단하고, 그 결과를 sig_coeff_flag[j]로 하여 시그널링할 수 있다. 영상 복호화 장치는 coded_sub_block_flag[i]=1인 경우에(S1020) sig_coeff_flag[j]를 비트스트림으로부터 복호화할 수 있다(S1030).

sig_coeff_flag[j]는 대상 서브블록 내 모든 계수들에 대해 시그널링될 수 있다. 만약, 스캔 순서 상, 가장 마지막 계수로부터 두 번째 계수까지의 모든 계수들에 대한 sig_coeff_flag[j]가 모두 “0”이라면, 첫 번째 계수에 대한 sig_coeff_flag[j]가 시그널링되지 않고 “1” 값으로 유도될 수도 있다.

영상 부호화 장치는 sig_coeff_flag[j]=1인 경우에 해당 계수 레벨의 절대 값이 x(=1)보다 큰지 여부와 해당 계수의 부호를 판단하고, 그 결과를 coeff_sign_flag[j] 및 abs_level_gtx_flag[j](x=1)로 하여 시그널링할 수 있다. 영상 복호화 장치는 sig_coeff_flag[j]=1인 경우에 coeff_sign_flag[j] 및 abs_level_gtx_flag[j](x=1)를 비트스트림으로부터 복호화할 수 있다(S1050).

coeff_sign_flag는 CABAC(context-adaptive binary arithmetic coding) 방식으로 부호화될 수 있다. BAC는 binary(0 또는 1) 값에 기초한 산술 코딩 방법으로서, “0”에 대한 확률 값과 “1”에 대한 확률 값을 가지고 있으면서 해당 신택스를 “0”에 대한 확률 값 또는 “1”에 대한 확률 값으로 산술 코딩하는 방법이다. 이 경우에, 해당 신택스의 주변정보(context)를 이용하여 1개 이상의 BAC 중에서 하나의 확률 모델을 결정하는 방식이 CABAC이다.

예를 들어, CABAC에서는, “0”에 대한 확률 값 및 “1”에 대한 확률 값을 가진 확률 모델이 n개 존재하고, 해당 신택스의 주변정보를 이용하여 n개의 확률 모델들 중에서 어느 하나를 선택하게 된다.

coeff_sign_flag는 I-슬라이스(0 내지 5), B-슬라이스(6 내지 11) 및 P-슬라이스(12 내지 17) 각각에 대해 6개의 확률 모델을 가지고 있다. 여기서, 0 내지 17의 번호는 확률 모델들 각각의 인덱스 값을 의미한다. 총 18개의 확률 모델들 중에서, I-슬라이스, B-슬라이스 및 P-슬라이스 각각에 대해 3개의 확률 모델이 인트라 bdpcm 모드 용으로 사용되며, I-슬라이스, B-슬라이스 및 P-슬라이스 각각에 대해 3개의 확률 모델이 인트라 bdpcm 모드 이외의 모드 용으로 사용된다.

예를 들어, 인트라 bdpcm 모드 용도의 I-슬라이스에 대해 3번째 내지 5번째 확률 모델이 사용되며, 인트라 bdpcm 모드 이외의 용도의 I-슬라이스에 대해서는 0번째 내지 2번째 확률 모델이 사용될 수 있다. 인트라 bdpcm 모드 이외의 용도의 I-슬라이스에 대한 3개의 확률 모델들(0번째 내지 2번째) 중에서 하나의 확률 모델을 선택하는 기준은 해당 신택스의 주변정보이다.

coeff_sign_flag의 경우에는 우측에 인접한 잔차의 coeff_sign_flag 값과 하측에 인접한 잔차의 coeff_sign_flag 값을 합한 값이 context 값으로 사용된다. 예컨대, 해당 잔차의 우측에 인접한 잔차의 coeff_sign_flag 값이 “0”이고 하측에 인접한 잔차의 coeff_sign_flag 값이 “1”이면, 그 합계가 “1”이 되며, “1” 값을 기준으로 1번째 확률 모델이 해당 잔차의 coeff_sign_flag를 위한 확률 모델로 선택된다. 다른 예로, 해당 잔차의 우측에 인접한 잔차의 coeff_sign_flag 값이 “1”이고 하측에 인접한 잔차의 coeff_sign_flag 값이 “1”이면, 그 합계가 “2”가 되며, “2” 값을 기준으로 2번째 확률 모델이 해당 잔차의 coeff_sign_flag를 위한 확률 모델로 선택된다. 이를 종합하면, 해당 잔차의 우측에 인접한 잔차의 coeff_sign_flag 값과 하측에 인접한 잔차의 coeff_sign_flag 값을 합산한 값이 0 내지 2의 범위 내에 존재하므로 0번째, 1번째 및 2번째 확률 모델 중에서 어느 하나가 해당 잔차의 확률 모델로 선택된다. 결과적으로, 선택된 확률 모델의 확률 값으로 해당 신택스가 부호화되게 된다.

영상 부호화 장치는 j-번째 계수 레벨의 절대 값이 홀수인지 또는 짝수인지 여부를 판단하고, 그 결과를 par_level_flag[j]로 하여 시그널링할 수 있다. 영상 복호화 장치는 j-번째 계수 레벨의 절대 값이 1 보다 큰지 여부를 판단하고(S1060), 레벨의 절대 값이 1 보다 큰 경우에 par_level_flag[j]를 비트스트림으로부터 복호화하여(S1070) 해당 계수 레벨의 절대 값이 홀수인지 또는 짝수인지 여부를 판단할 수 있다.

영상 복호화 장치는 i-번째 서브블록 내 모든 계수들에 대한 판단이 완료되었는지 여부를 판단하고(S1080), 계수들에 대한 판단이 완료되지 않은 경우에는 다음 번째(j++)의 계수에 대해 S1030 과정 내지 S1070 과정을 수행한다. 이러한 과정은 i-번째 서브블록 내 모든 계수들에 대한 판단이 완료될 때까지 반복적으로 수행될 수 있다.

영상 부호화 장치는 해당 계수 레벨의 절대 값이 x(=1, 3, 5, 7)보다 큰지 여부를 판단하고, 그 결과를 abs_level_gtx_flag[j](x=3, 5, 7, 9)로 하여 시그널링할 수 있다. 영상 복호화 장치는 해당 계수 레벨의 절대 값이 x(=1, 3, 5, 7)보다 큰 경우에(S1082) abs_level_gtx_flag[j](x=3, 5, 7, 9)를 비트스트림으로부터 복호화할 수 있다(S1084).

구체적으로, 영상 복호화 장치는 해당 계수 레벨의 절대 값이 1 보다 큰 경우에 abs_level_gtx_flag[j](x=3)을 복호화하고, 해당 계수 레벨의 절대 값이 3 보다 큰 경우에 abs_level_gtx_flag[j](x=5)을 복호화하며, 해당 계수 레벨의 절대 값이 5 보다 큰 경우에 abs_level_gtx_flag[j](x=7)을 복호화하고, 해당 계수 레벨의 절대 값이 7 보다 큰 경우에 abs_level_gtx_flag[j](x=9)을 복호화할 수 있다.

영상 복호화 장치는 i-번째 서브블록 내 모든 계수들에 대한 절대 값 판단이 완료되었는지 여부를 판단하고(S1086), 계수들에 대한 판단이 완료되지 않은 경우에는 다음 번째(j++)의 계수에 대해 S1082 과정과 S1084 과정을 수행한다. 이러한 과정은 i-번째 서브블록 내 모든 계수들에 대한 판단이 완료될 때까지 반복적으로 수행될 수 있다.

영상 부호화 장치는 j-번째 계수 레벨의 절대 값이 x(= 9)보다 큰지 여부를 판단하고, j-번째 계수 레벨의 절대 값이 9 보다 큰 경우에 j-번째 계수 레벨의 절대 값에서 9를 뺀 나머지 값을 abs_remainder[j]로 하여 시그널링할 수 있다.

영상 복호화 장치는 j-번째 계수 레벨의 절대 값이 9 보다 큰 경우에(S1088) abs_remainder[j]를 비트스트림으로부터 복호화하여(S1088) j-번째 계수 레벨의 절대 값을 파악할 수 있다.

영상 복호화 장치는 i-번째 서브블록 내 모든 계수들에 대한 절대 값 판단이 완료되었는지 여부를 판단하고(S1092), 계수들에 대한 판단이 완료되지 않은 경우에는 다음 번째(j++)의 계수에 대해 S1088 과정과 S1090 과정을 수행한다. 이러한 과정은 i-번째 서브블록 내 모든 계수들에 대한 판단이 완료될 때까지 반복적으로 수행될 수 있다.

모든 계수들에 대한 판단이 완료되면, 영상 복호화 장치는 모든 서브블록들에 대한 판단이 완료되었는지 여부를 판단한다(S1094). 서브블록들에 대한 판단이 완료되지 않은 경우에는 다음 번째(i++)의 서브블록에 대해 이상에서 설명된 과정들이 다시 수행되며, 모든 서브블록들에 대한 판단이 완료된 경우에는 무손실 코딩 모드가 종료될 수 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

120, 440: 예측부 130: 감산기
170, 450: 가산기 180, 460: 필터부

Claims (14)

1. 현재블록의 잔차샘플들을 무손실(lossless)로 복원 방법으로서,
   상기 잔차샘플들에 대한 변환 과정이 스킵(skip)되었는지 여부를 지시하는 제1신택스에 따라, 무손실 코딩 모드와 손실(lossy) 코딩 모드 중에서 어느 하나를 결정하는 단계;
   상기 무손실 코딩 모드가 결정되는 경우, 비트스트림으로부터 복호화되는 무손실 코딩 모드 신택스들에 의존하여, 상기 잔차샘플들을 복원하는 단계를 포함하는, 무손실 복원 방법.
2. 제1항에 있어서,
   상기 결정하는 단계는,
   상기 비트스트림으로부터 복호화된 제2신택스가 상기 현재블록의 변환블록에 비-제로(non-zero) 계수가 하나 이상 포함됨을 지시하고, 상기 제1신택스가 스킵됨을 지시하는 경우에, 상기 무손실 코딩 모드를 결정하는, 무손실 복원 방법.
3. 제1항에 있어서,
   상기 무손실 코딩 모드 신택스들은,
   스캔 순서 상, 상기 현재블록의 변환블록에 마지막으로 위치하는 비-제로 계수의 위치 신택스들을 포함하지 않는, 무손실 복원 방법.
4. 제1항에 있어서,
   상기 무손실 코딩 모드 신택스들은,
   상기 현재블록의 변환블록에 포함된 서브블록들 중에서, 스캔 순서 상 첫 번째 서브블록을 제외한 나머지 서브블록들에 비-제로 계수가 하나 이상 포함되는지 여부를 지시하는 제3신택스; 및
   상기 제3신택스가 포함됨을 지시하는 대상 서브블록 내 계수들 중에서, 상기 스캔 순서 상 첫 번째 계수를 제외한 나머지 계수들이 비-제로인지 여부를 지시하는 제4신택스를 포함하는, 무손실 복원 방법.
5. 제4항에 있어서,
   상기 첫 번째 서브블록에 대한 제3신택스는,
   복호화되지 않고, 포함됨을 지시하는 값으로 유도되는, 무손실 복원 방법.
6. 제4항에 있어서,
   상기 첫 번째 계수에 대한 제4신택스는,
   복호화되지 않고, 비-제로임을 지시하는 값으로 유도되는, 무손실 복원 방법.
7. 제4항에 있어서,
   상기 제3신택스 및 상기 제4신택스는,
   diagonal-up 스캐닝 순서에 따라 복호화되는, 무손실 복원 방법.
8. 현재블록의 잔차샘플들을 무손실(lossless)로 복원하는 영상 복호화 장치로서,
   상기 잔차샘플들에 대한 변환 과정이 스킵(skip)되었는지 여부를 지시하는 제1신택스에 따라, 무손실 코딩 모드와 손실 코딩 모드 중에서 어느 하나를 결정하는 결정부;
   상기 무손실 코딩 모드가 결정되는 경우, 비트스트림으로부터 복호화되는 무손실 코딩 모드 신택스들에 의존하여, 상기 잔차샘플들을 복원하는 복원부를 포함하는, 영상 복호화 장치.
9. 제8항에 있어서,
   상기 결정부는,
   상기 비트스트림으로부터 복호화된 제2신택스가 상기 현재블록의 변환블록에 비-제로(non-zero) 계수가 하나 이상 포함됨을 지시하고, 상기 제1신택스가 스킵됨을 지시하는 경우에, 상기 무손실 코딩 모드를 결정하는, 영상 복호화 장치.
10. 제8항에 있어서,
    상기 무손실 코딩 모드 신택스들은,
    스캔 순서 상, 상기 현재블록의 변환블록에 마지막으로 위치하는 비-제로 계수의 위치 신택스들을 포함하지 않는, 영상 복호화 장치.
11. 제8항에 있어서,
    상기 무손실 코딩 모드 신택스들은,
    상기 현재블록의 변환블록에 포함된 서브블록들 중에서, 스캔 순서 상 첫 번째 서브블록을 제외한 나머지 서브블록들에 비-제로 계수가 하나 이상 포함되는지 여부를 지시하는 제3신택스; 및
    상기 제3신택스가 포함됨을 지시하는 대상 서브블록 내 계수들 중에서, 상기 스캔 순서 상 첫 번째 계수를 제외한 나머지 계수들이 비-제로인지 여부를 지시하는 제4신택스를 포함하는, 영상 복호화 장치.
12. 제11항에 있어서,
    상기 첫 번째 서브블록에 대한 제3신택스는,
    복호화되지 않고, 포함됨을 지시하는 값으로 유도되는, 영상 복호화 장치.
13. 제11항에 있어서,
    상기 첫 번째 계수에 대한 제4신택스는,
    복호화되지 않고, 비-제로임을 지시하는 값으로 유도되는, 영상 복호화 장치.
14. 제11항에 있어서,
    상기 제3신택스 및 상기 제4신택스는,
    diagonal-up 스캐닝 순서에 따라 복호화되는, 영상 복호화 장치.

Images