KR20120100836A

KR20120100836A - 변환 계수 스캔 방법 및 그 장치

Info

Publication number: KR20120100836A
Application number: KR1020120022496A
Authority: KR
Inventors: 임성창; 김휘용; 정세윤; 김종호; 이하현; 이진호; 최진수; 김진웅
Original assignee: 한국전자통신연구원
Priority date: 2011-03-03
Filing date: 2012-03-05
Publication date: 2012-09-12
Also published as: US20210344935A1; KR20200054934A; US11102494B2; US20130329807A1; US11606567B2; KR20210114915A

Abstract

본 발명에 따른 변환 계수 스캔 방법은, 복호화 대상 블록에 대한 참조 변환 블록을 결정하는 단계, 참조 변환 블록의 스캐닝 정보를 이용하여 복호화 대상 블록의 스캐닝 맵을 도출하는 단계 및 도출된 스캐닝 맵을 이용하여 복호화 대상 블록의 변환 계수에 대한 역 스캐닝을 수행하는 단계를 포함한다. 본 발명에 의하면 영상 부호화/복호화 효율이 향상될 수 있다.

Description

변환 계수 스캔 방법 및 그 장치 {METHOD FOR TRANSFORM COEFFICIENT SCAN AND APPARATUS THEREOF}

본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 변환 계수 스캔 방법 및 그 장치에 관한 것이다.

최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.

영상 압축 기술에는 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 픽셀값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 픽셀 정보를 이용하여 현재 픽쳐에 포함된 픽셀값을 예측하는 인트라(intra) 예측 기술, 원 영상 신호를 주파수 영역의 신호로 분해하는 변환 기술, 주파수 영역의 신호를 원 영상 신호로 복원하는 역변환 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 있다.

본 발명의 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 영상 부호화 방법 및 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 영상 복호화 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 변환 계수 스캔 방법 및 장치를 제공함에 있다.

1. 본 발명의 일 실시 형태는 변환 계수 스캔 방법이다. 상기 방법은 복호화 대상 블록에 대한 참조 변환 블록을 결정하는 단계, 상기 참조 변환 블록의 스캐닝 정보를 이용하여 상기 복호화 대상 블록의 스캐닝 맵(scanning map)을 도출하는 단계 및 상기 도출된 스캐닝 맵을 이용하여 상기 복호화 대상 블록의 변환 계수(transform coefficient)에 대한 역 스캐닝을 수행하는 단계를 포함한다.

2. 1에 있어서, 상기 참조 변환 블록 결정 단계에서는, 참조 픽쳐 내에서, 상기 복호화 대상 블록과 공간적으로 동일한 위치에 존재하는 블록을 상기 참조 변환 블록으로 결정할 수 있다.

3. 1에 있어서, 상기 참조 변환 블록 결정 단계에서는, 복원된 주변 블록(reconstructed neighboring block) 중에서 적어도 하나를 상기 참조 변환 블록으로 결정할 수 있고, 상기 복원된 주변 블록은 상기 복호화 대상 블록의 상단에 인접한 상단 주변 블록, 상기 복호화 대상 블록의 좌측에 인접한 좌측 주변 블록, 상기 복호화 대상 블록의 우측 상단 코너에 위치한 우측 상단 코너 블록, 상기 복호화 대상 블록의 좌측 상단 코너에 위치한 좌측 상단 코너 블록 및 상기 복호화 대상 블록의 좌측 하단 코너에 위치한 좌측 하단 코너 블록을 포함할 수 있다.

4. 3에 있어서, 상기 참조 변환 블록 결정 단계에서는, 상기 복호화 대상 블록과 동일한 크기를 갖는 블록을 참조 변환 블록으로 결정할 수 있다.

5. 3에 있어서, 상기 참조 변환 블록 결정 단계에서는, 상기 복호화 대상 블록과 동일한 깊이(depth) 값을 갖는 블록을 참조 변환 블록으로 결정할 수 있다.

6. 3에 있어서, 상기 참조 변환 블록 결정 단계에서는, 상기 복호화 대상 블록과 동일한 부호화 파라미터를 갖는 블록을 참조 변환 블록으로 결정할 수 있고, 상기 부호화 파라미터는 인트라 예측 방향(intra prediction direction), 참조 픽쳐 리스트(reference picture list), 참조 픽쳐 인덱스(reference picture index), 움직임 벡터 예측기(motion vector predictor), 움직임 정보 머지(motion information merge) 사용 여부, 스킵 모드(skip mode) 사용 여부 및 변환(transform) 종류에 관한 정보 중 적어도 하나를 포함할 수 있다.

7. 1에 있어서, 상기 스캐닝 맵 도출 단계는, 상기 참조 변환 블록 내의 각 변환 계수의 위치에 대한 변환 계수 플래그(flag) 값을 결정하는 단계, 상기 변환 계수 플래그를 기반으로 상기 참조 변환 블록 내의 각 변환 계수의 위치에 대한 플래그 카운터(flag counter) 값을 계산하여, 상기 복호화 대상 블록에 대한 카운터 맵(counter map)을 도출하는 단계 및 상기 카운터 맵 내의 각 변환 계수의 위치에, 상기 플래그 카운터 값이 높은 순서대로 스캔 인덱스(scan index)를 오름차순으로 하나씩 할당하여, 스캐닝 맵을 생성하는 단계를 더 포함할 수 있고, 상기 변환 계수 플래그는 상기 참조 변환 블록 내의 각 변환 계수가 넌 제로 변환 계수(non-zero transform coefficient)인지 여부를 지시하는 플래그이고, 상기 플래그 카운터는 상기 참조 변환 블록이 모두 오버랩(overlap)되는 경우 동일한 위치에 존재하는 변환 계수 플래그 값의 합일 수 있다.

8. 7에 있어서, 상기 참조 변환 블록의 크기가 상기 복호화 대상 블록의 크기와 다른 경우, 상기 변환 계수 플래그 값 결정 단계는, 상기 참조 변환 블록을 스케일링(scailing)하는 단계 및 상기 스케일링된 참조 변환 블록 내의 각 변환 계수의 위치에 대한, 변환 계수 플래그 값을 결정하는 단계를 더 포함할 수 있고, 상기 카운터 맵 도출 단계에서는, 상기 스케일링된 참조 변환 블록의 변환 계수 플래그를 기반으로 상기 카운터 맵을 도출할 수 있다.

9. 7에 있어서, 상기 스캐닝 맵 생성 단계에서는, 지그재그 스캔(zigzag scan) 순서를 기반으로 상기 스캔 인덱스를 할당할 수 있다.

10. 본 발명의 다른 실시 형태는 영상 복호화 장치이다. 상기 장치는 복호화 대상 블록에 대한 참조 변환 블록을 결정하고, 상기 참조 변환 블록의 스캐닝 정보를 이용하여 상기 복호화 대상 블록의 스캐닝 맵을 도출하고, 상기 도출된 스캐닝 맵을 이용하여 상기 복호화 대상 블록의 변환 계수에 대한 역 스캐닝을 수행하는 역 스캐닝부 및 상기 역 스캐닝된 변환 계수를 기반으로 복원 영상을 생성하는 복원 영상 생성부를 포함한다.

11. 본 발명은 또 다른 실시 형태는 영상 복호화 방법이다. 상기 방법은 복호화 대상 블록에 대한 참조 변환 블록을 결정하는 단계, 상기 참조 변환 블록의 스캐닝 정보를 이용하여 상기 복호화 대상 블록의 스캐닝 맵(scanning map)을 도출하는 단계, 상기 도출된 스캐닝 맵을 이용하여 상기 복호화 대상 블록의 변환 계수(transform coefficient)에 대한 역 스캐닝을 수행하는 단계 및 상기 역 스캐닝된 변환 계수를 기반으로 복원 영상을 생성하는 단계를 포함한다.

12. 11에 있어서, 상기 스캐닝 맵 도출 단계는, 상기 참조 변환 블록 내의 각 변환 계수의 위치에 대한 변환 계수 플래그(flag) 값을 결정하는 단계, 상기 변환 계수 플래그를 기반으로 상기 참조 변환 블록 내의 각 변환 계수의 위치에 대한 플래그 카운터(flag counter) 값을 계산하여, 상기 복호화 대상 블록에 대한 카운터 맵(counter map)을 도출하는 단계 및 상기 카운터 맵 내의 각 변환 계수의 위치에, 상기 플래그 카운터 값이 높은 순서대로 스캔 인덱스(scan index)를 오름차순으로 하나씩 할당하여, 스캐닝 맵을 생성하는 단계를 더 포함할 수 있고, 상기 변환 계수 플래그는 상기 참조 변환 블록 내의 각 변환 계수가 넌 제로 변환 계수(non-zero transform coefficient)인지 여부를 지시하는 플래그이고, 상기 플래그 카운터는 상기 참조 변환 블록이 모두 오버랩(overlap)되는 경우 동일한 위치에 존재하는 변환 계수 플래그 값의 합일 수 있다.

13. 12에 있어서, 상기 참조 변환 블록의 크기가 상기 복호화 대상 블록의 크기와 다른 경우, 상기 변환 계수 플래그 값 결정 단계는, 상기 참조 변환 블록을 스케일링(scailing)하는 단계 및 상기 스케일링된 참조 변환 블록 내의 각 변환 계수의 위치에 대한, 변환 계수 플래그 값을 결정하는 단계를 더 포함할 수 있고, 상기 카운터 맵 도출 단계에서는, 상기 스케일링된 참조 변환 블록의 변환 계수 플래그를 기반으로 상기 카운터 맵을 도출할 수 있다.

14. 12에 있어서, 상기 스캐닝 맵 생성 단계에서는, 지그재그 스캔(zigzag scan) 순서를 기반으로 상기 스캔 인덱스를 할당할 수 있다.

본 발명에 따른 영상 부호화 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.

본 발명에 따른 영상 복호화 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.

본 발명에 따른 변환 계수 스캔 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.

도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 하나의 블록이 복수의 하위 블록으로 분할되는 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명에 따른 부호화기에서의 변환 계수 스캔 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 5는 본 발명에 따른 복호화기에서의 변환 계수 스캔 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 6은 본 발명에 따른 참조 변환 블록 선택 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 7은 본 발명에 따른 참조 변환 블록 선택 방법의 다른 실시예를 개략적으로 나타내는 개념도이다.
도 8은 본 발명에 따른 참조 변환 블록 선택 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 9는 본 발명에 따른 참조 변환 블록 선택 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 10은 본 발명에 따른 참조 변환 블록 선택 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 11은 본 발명에 따른 참조 변환 블록 선택 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다.
도 12는 부호화 대상 블록에 대한 스캐닝 맵 도출 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 13은 본 발명에 따른 변환 계수 플래그 값 결정 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 14는 본 발명에 따른 변환 계수 플래그 값 결정 방법의 다른 실시예를 개략적으로 나타내는 개념도이다.
도 15는 본 발명에 따른 변환 계수 카운터 맵 도출 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 16은 본 발명에 따른 스캐닝 맵 생성 방법의 일 실시예를 개략적으로 나타내는 개념도이다.
도 17은 스캐닝 맵을 이용하여 부호화 대상 블록의 변환 계수를 스캐닝/역스캐닝하는 방법의 일 실시예를 개략적으로 나타내는 개념도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽쳐 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.

양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 변환 계수 레벨(quantized transform coefficient level)을 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.

도 1의 실시예에 따른 영상 부호화 장치는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽쳐 버퍼(190)에 저장될 수 있다.

도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽쳐 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.

엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 복호화 방법을 통해서 영상 복호화의 압축 성능이 높아질 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽쳐 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

복원된 잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽쳐 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.

이하, 블록(block)은 영상 부호화 및 복호화의 단위를 의미한다. 영상 부호화 및 복호화 시 부호화 혹은 복호화 단위는, 영상을 분할하여 부호화 혹은 복호화할 때 그 분할된 단위를 의미하므로, 매크로블록, 부호화 유닛 (CU: Coding Unit), 변환 유닛(TU: Transform Unit), 변환 블록(transform block) 등으로 불릴 수 있다. 또한 이하, 부호화/복호화 대상 블록(encoding/decoding target block)은 변환 유닛 및/또는 변환 블록을 의미할 수 있다. 하나의 블록은 크기가 더 작은 하위 블록으로 더 분할될 수 있다.

도 3은 하나의 블록이 복수의 하위 블록으로 분할되는 실시예를 개략적으로 나타내는 개념도이다.

하나의 블록은 트리 구조(tree structure)를 기초로 깊이(depth or depth level) 정보를 가지고 계층적으로 분할될 수 있다. 각각의 분할된 하위 블록은 깊이 값을 가질 수 있다. 여기서, 깊이(depth)는 블록이 분할된 회수 및/또는 정도를 나타낼 수 있다. 따라서, 깊이 값은 상기 하위 블록의 크기에 관한 정보를 포함할 수도 있다.

도 3의 310을 참조하면, 가장 상위 노드는 루트 노드(root node)로 불릴 수 있고, 가장 작은 깊이 값을 가질 수 있다. 이 때, 가장 상위 노드는 레벨 0의 깊이를 가질 수 있으며, 분할되지 않은 최초의 블록을 나타낼 수 있다.

레벨 1의 깊이를 갖는 하위 노드는 최초 블록이 한 번 분할된 블록을 나타낼 수 있으며, 레벨 2의 깊이를 갖는 하위 노드는 최초의 블록이 두 번 분할된 블록을 나타낼 수 있다. 예를 들어, 도 3의 320에서 노드 a에 대응하는 블록 a는 최초 블록에서 한 번 분할된 블록이고, 레벨 1의 깊이를 가질 수 있다.

레벨 3의 리프 노드(leaf node)는 최초 블록이 3번 분할된 블록을 나타낼 수 있다. 예를 들어, 도3의 320에서 노드 d에 대응하는 블록 d는 최초 블록에서 세 번 분할된 블록이고, 레벨 3의 깊이를 가질 수 있다. 따라서, 가장 하위 노드인 레벨 3의 리프 노드는 가장 깊은 깊이를 가질 수 있다.

한편, 상술한 바와 같이 부호화기는 인터 예측 및 인트라 예측을 수행한 후 생성된 잔차 블록에 대해 변환을 수행하여 변환 계수를 생성할 수 있다. 변환 계수에 대해 양자화가 수행되면, 양자화된 변환 계수 레벨이 생성될 수 있다.

양자화된 변환 계수 레벨의 경우, 변환의 특성상 저주파 영역에 넌 제로(non-zero) 변환 계수가 분포할 가능성이 높다. 여기서, 넌 제로 변환 계수(non-zero transform coefficient)는 0이 아닌 값을 갖는 변환 계수 및/또는 0이 아닌 값을 갖는 변환 계수 레벨을 의미할 수 있다. 따라서, 저주파 영역에 존재하는 넌 제로 변환 계수 레벨을 우선적으로 부호화하기 위해, 부호화기는 부호화 대상 블록 내의 변환 계수 레벨에 대한 엔트로피 부호화를 수행하기 전에 스캐닝(scanning)을 수행할 수 있다. 여기서, 스캐닝(scanning)은 변환 유닛 및/또는 변환 블록 내의 변환 계수의 순서를 정렬하는 프로세스를 의미할 수 있다. 일반적으로 사용되는 스캐닝 방법에는 지그재그 스캔, 필드 스캔 방법 등이 있을 수 있다.

복호화기는 영상 복호화 시에 변환 계수 레벨에 대한 엔트로피 복호화를 수행할 수 있다. 엔트로피 복호화된 변환 계수 레벨에 대한 역양자화 및 역변환을 수행하기 전에, 복호화기는 변환 계수 레벨이 포함될 복호화 대상 블록 내의 위치를 결정하기 위해 역스캐닝을 수행할 수 있다.

기존의 스캐닝/역스캐닝 방법에서는, 부호화/복호화 대상 블록과 유사한 특성을 갖는 주변 블록 등의 특성이 충분히 이용되지 않으므로, 부호화 효율 향상에 한계가 있을 수 있다. 따라서, 부호화 효율을 향상시키기 위해, 문맥 적응적으로 참조 변환 블록을 선택하고, 참조 변환 블록의 스캐닝/역스캐닝 정보를 이용하여 부호화/복호화 대상 블록의 변환 계수에 대한 스캐닝/역스캐닝을 수행하는 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.

도 4는 본 발명에 따른 부호화기에서의 변환 계수 스캔 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.

도 4를 참조하면, 부호화기는 부호화 대상 블록에 대한 참조 변환 블록을 선택할 수 있다(S410). 이 때, 부호화기는 부호화 대상 블록 외의 블록을 참조 변환 블록으로 선택할 수 있으며, 선택된 참조 변환 블록의 크기는 N*M(N 및 M은 임의의 자연수)일 수 있다.

선택된 참조 변환 블록은 스캐닝 정보를 포함할 수 있다. 따라서, 부호화기는 선택된 참조 변환 블록으로부터 스캐닝 정보를 획득할 수 있다. 여기서, 스캐닝 정보에는 선택된 참조 변환 블록 내의 넌 제로 변환 계수의 위치 및/또는 선택된 참조 변환 블록의 변환 계수의 값 등이 있을 수 있다. 참조 변환 블록 선택 방법의 실시예들은 후술하기로 한다.

다시 도 4를 참조하면, 부호화기는 참조 변환 블록의 스캐닝 정보를 이용하여, 부호화 대상 블록에 대한 스캐닝 맵(scanning map)을 도출할 수 있다(S420).

상술한 참조 변환 블록 선택 단계에서 선택된 참조 변환 블록은 1개일 수 있으며, 2개 이상일 수도 있다. 2개 이상의 참조 변환 블록이 선택된 경우, 부호화기는 선택된 2개 이상의 참조 변환 블록의 스캐닝 정보를 이용하여 스캐닝 맵을 도출할 수 있다.

상술한 참조 변환 블록 선택 단계에서는 참조 변환 블록이 선택되지 않을 수도 있다. 선택된 참조 변환 블록이 존재하지 않는 경우, 부호화기는 소정의 고정된 스캐닝 맵을 부호화 대상 블록에 대한 스캐닝 맵으로 결정할 수 있다. 여기서, 상기 소정의 고정된 스캐닝 맵은 지그재그 스캔을 나타내는 스캐닝 맵일 수 있다. 또한, 선택된 참조 변환 블록이 존재하지 않는 경우, 부호화기는 스캐닝 맵을 결정하는 과정을 생략하고, 소정의 고정된 스캐닝 방법을 이용하여 부호화 대상 블록에 대한 스캐닝을 수행할 수도 있다. 여기서, 상기 소정의 고정된 스캐닝 방법은 지그재그 스캔일 수 있다.

참조 변환 블록의 스캐닝 정보를 이용하여 부호화 대상 블록에 대한 스캐닝 맵을 도출하는 방법의 구체적인 실시예는 후술하기로 한다.

다시 도 4를 참조하면, 부호화기는 도출된 스캐닝 맵을 이용하여, 부호화 대상 블록의 변환 계수에 대한 스캐닝을 수행할 수 있다(S430). 부호화 대상 블록의 변환 계수에 대한 스캐닝 방법의 실시예는 후술한다.

도 5는 본 발명에 따른 복호화기에서의 변환 계수 스캔 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.

도 5를 참조하면, 복호화기는 복호화 대상 블록에 대한 참조 변환 블록을 선택할 수 있다(S510). 이 때, 복호화기는 복호화 대상 블록 외의 블록을 참조 변환 블록으로 선택할 수 있으며, 선택된 참조 변환 블록의 크기는 N*M(N 및 M은 임의의 자연수)일 수 있다.

선택된 참조 변환 블록은 스캐닝 정보를 포함할 수 있다. 따라서, 복호화기는 선택된 참조 변환 블록으로부터 스캐닝 정보를 획득할 수 있다. 여기서, 스캐닝 정보에는 선택된 참조 변환 블록 내의 넌 제로 변환 계수의 위치 및/또는 선택된 참조 변환 블록의 변환 계수의 값 등이 있을 수 있다. 복호화기는 부호화기와 동일한 방법으로 참조 변환 블록을 선택할 수 있으며, 참조 변환 블록 선택 방법의 실시예들은 후술하기로 한다.

다시 도 5를 참조하면, 복호화기는 참조 변환 블록의 스캐닝 정보를 이용하여, 복호화 대상 블록에 대한 스캐닝 맵(scanning map)을 도출할 수 있다(S520).

상술한 참조 변환 블록 선택 단계에서 선택된 참조 변환 블록은 1개일 수 있으며, 2개 이상일 수도 있다. 2개 이상의 참조 변환 블록이 선택된 경우, 복호화기는 선택된 2개 이상의 참조 변환 블록의 스캐닝 정보를 이용하여 스캐닝 맵을 도출할 수 있다.

상술한 참조 변환 블록 선택 단계에서는 참조 변환 블록이 선택되지 않을 수도 있다. 선택된 참조 변환 블록이 존재하지 않는 경우, 복호화기는 소정의 고정된 스캐닝 맵을 복호화 대상 블록에 대한 스캐닝 맵으로 결정할 수 있다. 여기서, 상기 소정의 고정된 스캐닝 맵은 지그재그 스캔을 나타내는 스캐닝 맵일 수 있다. 또한, 선택된 참조 변환 블록이 존재하지 않는 경우, 복호화기는 스캐닝 맵을 결정하는 과정을 생략하고, 소정의 고정된 스캐닝 방법을 이용하여 복호화 대상 블록에 대한 역스캐닝을 수행할 수도 있다. 여기서, 상기 소정의 고정된 스캐닝 방법은 지그재그 스캔일 수 있다.

복호화 대상 블록에 대한 스캐닝 맵 도출 방법은 부호화기에서의 스캐닝 맵 도출 방법과 동일할 수 있다. 참조 변환 블록의 스캐닝 정보를 이용하여 복호화 대상 블록에 대한 스캐닝 맵을 도출하는 방법의 구체적인 실시예는 후술하기로 한다.

다시 도 5를 참조하면, 복호화기는 도출된 스캐닝 맵을 이용하여, 복호화 대상 블록의 변환 계수에 대한 역스캐닝을 수행할 수 있다(S530). 복호화 대상 블록의 변환 계수에 대한 역스캐닝 방법의 실시예는 후술한다.

이하, 후술되는 실시예들은 편의상 부호화기를 중심으로 서술되지만, 특별한 언급이 없으면 복호화기에도 동일한 방법으로 적용될 수 있다. 이 때, 부호화 대상 블록은 복호화 대상 블록으로 해석될 수 있으며, 스캐닝은 역스캐닝으로 해석될 수 있다.

도 6은 본 발명에 따른 참조 변환 블록 선택 방법의 일 실시예를 개략적으로 나타내는 개념도이다.

부호화기는 복원된 주변 블록(reconstructed neighbor block)을 부호화 대상 블록에 대한 참조 변환 블록으로 선택할 수 있다. 여기서, 복원된 주변 블록은 이미 부호화 또는 복호화되어 복원된 블록으로서, 부호화/복호화 대상 블록에 인접한 블록, 부호화/복호화 대상 블록의 우측 상단 코너에 위치한 블록, 부호화/복호화 대상 블록의 좌측 상단 코너에 위치한 블록 및/또는 부호화/복호화 대상 블록의 좌측 하단 코너에 위치한 블록을 포함할 수 있다. 이하, 부호화 대상 블록의 상단에 인접한 블록은 상단 주변 블록, 부호화 대상 블록의 좌측에 인접한 블록은 좌측 주변 블록이라 한다. 또한 부호화 대상 블록의 우측 상단 코너에 위치한 블록은 우측 상단 코너 블록, 부호화 대상 블록의 좌측 상단 코너에 위치한 블록은 좌측 상단 코너 블록, 부호화 대상 블록의 좌측 하단 코너에 위치한 블록은 좌측 하단 코너 블록이라 한다.

도 6의 실시예에서, 블록 X는 부호화 대상 블록을 나타내며, A, B, C, D, E, F, G 블록은 복원된 주변 블록을 나타낼 수 있다. 도 6을 참조하면, 부호화기는 좌측 주변 블록(A, B), 상단 주변 블록(D), 우측 상단 코너 블록(E, F), 좌측 상단 코너 블록(G) 및 좌측 하단 코너 블록(C) 중 적어도 하나를 참조 변환 블록으로 선택할 수 있다.

도 7은 본 발명에 따른 참조 변환 블록 선택 방법의 다른 실시예를 개략적으로 나타내는 개념도이다.

도 7의 710은 부호화 대상 픽쳐 내의 블록을 나타내고, 도 7의 720은 참조 픽쳐 내의 동일 위치 블록을 도시한다. 여기서, 동일 위치 블록은 참조 픽쳐 내에서, 부호화 대상 픽쳐 내의 블록과 공간적으로 동일한 위치에 존재하는 블록을 의미할 수 있다. 도 7의 710에 도시된 블록 X는 부호화 대상 블록을 나타낸다.

부호화기는 참조 픽쳐 내의 블록들 중에서 부호화 대상 블록에 대한 참조 변환 블록을 결정할 수 있다. 도 7을 참조하면, 일례로 부호화기는 참조 픽쳐 내의 블록 T(722) 및 블록 O(724) 중 적어도 하나를 참조 변환 블록으로 선택할 수 있다. 여기서, 블록 T(722)는 부호화 대상 블록에 대한 동일 위치 블록이고, 블록 O(724)는 상단 주변 블록에 대한 동일 위치 블록일 수 있다. 또한, 부호화기는 참조 픽쳐 내의 블록 중에서, 부호화 대상 블록과 공간적으로 동일한 위치에 존재하는 블록 T(722)를 참조 변환 블록으로 선택할 수 있다.

도 8은 본 발명에 따른 참조 변환 블록 선택 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 8에 도시된 블록 X는 부호화 대상 블록을 나타낸다.

부호화기는 부호화 대상 블록에 대한 소정의 상대적 위치에 존재하는 블록을, 부호화 대상 블록에 대한 참조 변환 블록으로 선택할 수 있다. 도 8을 참조하면, 일례로 부호화기는 부호화 대상 블록(X)의 좌측에 인접한 좌측 주변 블록(A) 및 부호화 대상 블록(X)의 상단에 인접한 상단 주변 블록(B) 중 적어도 하나를, 부호화 대상 블록에 대한 참조 변환 블록으로 선택할 수 있다.

도 9는 본 발명에 따른 참조 변환 블록 선택 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 9에 도시된 블록 X는 부호화 대상 블록을 나타낸다.

부호화기는 부호화 대상 블록과 동일한 크기를 갖는 블록을 부호화 대상 블록에 대한 참조 변환 블록으로 선택할 수 있다. 이 때, 참조 변환 블록은 일례로 복원된 주변 블록 중에서 선택될 수도 있다.

도 9를 참조하면, 복원된 주변 블록 중에서 부호화 대상 블록(X)과 동일한 크기를 갖는 블록은 좌측 하단 코너 블록(C), 좌측 상단 코너 블록(G) 및 상단 주변 블록(D)이다. 이 때, 부호화기는 부호화 대상 블록(X)과 동일한 크기를 갖는 좌측 하단 코너 블록(C), 좌측 상단 코너 블록(G) 및 상단 주변 블록(D) 중 적어도 하나를, 부호화 대상 블록(X)에 대한 참조 변환 블록으로 결정할 수 있다.

도 10은 본 발명에 따른 참조 변환 블록 선택 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 10에 도시된 블록 X는 부호화 대상 블록을 나타낸다.

부호화기는 부호화 대상 블록과 동일한 깊이(depth) 값을 갖는 블록을 부호화 대상 블록에 대한 참조 변환 블록으로 선택할 수 있다. 이 때, 참조 변환 블록은 일례로 복원된 주변 블록 중에서 선택될 수도 있다.

도 10을 참조하면, 복원된 주변 블록 중에서 부호화 대상 블록(X)과 동일한 깊이 값을 갖는 블록은 좌측 하단 코너 블록(C), 좌측 상단 코너 블록(G) 및 상단 주변 블록(D)이다. 이 때, 부호화기는 부호화 대상 블록(X)과 동일한 깊이 값을 갖는 좌측 하단 코너 블록(C), 좌측 상단 코너 블록(G) 및 상단 주변 블록(D) 중 적어도 하나를, 부호화 대상 블록(X)에 대한 참조 변환 블록으로 결정할 수 있다.

도 11은 본 발명에 따른 참조 변환 블록 선택 방법의 또 다른 실시예를 개략적으로 나타내는 개념도이다. 도 11에 도시된 블록 X는 부호화 대상 블록을 나타낸다.

부호화기는 부호화 대상 블록과 동일하거나 유사한 부호화 파라미터를 갖는 블록을 부호화 대상 블록에 대한 참조 변환 블록으로 선택할 수 있다. 이 때, 참조 변환 블록은 일례로 복원된 주변 블록 중에서 선택될 수도 있다. 여기서, 부호화 파라미터는 구문 요소(syntax element)와 같이 부호화기에서 부호화되어 복호화기로 전송되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어, 인트라 예측 방향(intra prediction direction), 블록 크기, 참조 픽쳐 리스트(reference picture list), 참조 픽쳐 인덱스(reference picture index), 움직임 벡터 예측기(motion vector predictor), 움직임 정보 머지(motion information merge) 사용 여부, 스킵 모드(skip mode) 사용 여부 및/또는 변환(transform) 종류 등을 포함할 수 있다.

도 11의 실시예에서, 복원된 주변 블록 중에서 좌측 주변 블록(A) 및 상단 주변 블록(B)은 부호화 대상 블록(X)과 동일하거나 유사한 부호화 파라미터를 갖는다고 가정한다. 이 때, 부호화기는 좌측 주변 블록(A) 및 상단 주변 블록(B) 중에서 적어도 하나를, 부호화 대상 블록(X)에 대한 참조 변환 블록으로 결정할 수 있다.

부호화 대상 블록과 동일하거나 유사한 부호화 파라미터를 갖는 블록은 다양한 방법으로 결정될 수 있다. 이하, 부호화 대상 블록과 동일하거나 유사한 부호화 파라미터를 갖는 블록의 실시예들이 서술된다.

일례로, 부호화 대상 블록의 인트라 예측에 사용되는 참조 픽셀(reference sample or reference pixel)이 속하는 블록은, 부호화 대상 블록과 동일하거나 유사한 정보를 포함할 가능성이 높다. 따라서, 부호화기는 부호화 대상 블록의 인트라 예측에 사용되는 참조 픽셀이 속하는 블록을, 부호화 대상 블록에 대한 참조 변환 블록으로 선택할 수 있다.

또한, 부호화 대상 블록의 인터 예측에는 움직임 벡터 예측기 및 움직임 벡터 예측기 인덱스(motion vector predictor index)가 사용될 수 있다. 이 때 부호화기는, 부호화 대상 블록과 동일한 움직임 벡터 예측기 및 부호화 대상 블록과 동일한 움직임 벡터 예측기 인덱스를 갖는 블록을, 참조 변환 블록으로 선택할 수 있다. 선택된 참조 변환 블록은, 부호화 대상 블록에 대한 움직임 벡터 예측기의 움직임 벡터와 동일한 움직임 벡터를 움직임 벡터 예측기로 가질 수 있다.

또한, 부호화 대상 블록의 인터 예측에는 참조 픽쳐 인덱스가 사용될 수 있다. 이 때, 부호화기는 부호화 대상 블록과 동일한 참조 픽쳐 인덱스를 가지는 블록을, 참조 변환 블록으로 선택할 수 있다.

또한, 부호화 대상 블록의 인터 예측에는 움직임 정보 머지가 사용될 수 있다. 움직임 정보 머지가 사용되는 경우, 부호화기는 복원된 주변 블록으로부터 도출된 공간적(spatial) 움직임 정보 및 참조 픽쳐로부터 도출된 시간적(temporal) 움직임 정보 중 적어도 하나를 부호화 대상 블록의 움직임 정보로 이용할 수 있다. 여기서, 상기 공간적 움직임 정보 및 상기 시간적 움직임 정보는 머지 후보로 불릴 수 있다. 움직임 정보 머지에서는, 머지 후보 중에서 어떤 후보가 부호화 대상 블록의 움직임 정보로 사용되는지를 지시하는 머지 인덱스가 사용될 수 있다.

이 때, 부호화기는 부호화 대상 블록의 머지 대상이 되는 블록을 부호화 대상 블록에 대한 참조 변환 블록으로 선택할 수 있다. 예를 들어, 부호화기는 부호화 대상 블록의 머지 인덱스가 지시하는 머지 후보에 해당되는 블록을, 부호화 대상 블록에 대한 참조 변환 블록으로 선택할 수 있다.

도 12는 부호화 대상 블록에 대한 스캐닝 맵 도출 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.

상술한 바와 같이, 부호화기는 참조 변환 블록의 스캐닝 정보를 이용하여, 부호화 대상 블록에 대한 스캐닝 맵을 도출할 수 있다. 여기서, 스캐닝 정보에는 참조 변환 블록 내의 넌 제로 변환 계수의 위치 및/또는 선택된 참조 변환 블록의 변환 계수의 값 등이 있을 수 있다.

도 12를 참조하면, 부호화기는 참조 변환 블록 내의 각 변환 계수의 위치에 대한 변환 계수 플래그 값을 결정할 수 있다(S1210).

일례로, 넌 제로 변환 계수의 위치에는 1의 변환 계수 플래그 값이 할당될 수 있고, 넌 제로 변환 계수가 아닌 변환 계수의 위치에는 0의 변환 계수 플래그 값이 할당될 수 있다. 이 때, 상기 변환 계수 플래그는 참조 변환 블록 내의 변환 계수가 넌 제로 변환 계수인지 아닌지 여부를 지시할 수 있다.

또한, 참조 변환 블록과 부호화 대상 블록 간의 크기가 다른 경우, 부호화기는 참조 변환 블록을 부호화 대상 블록의 크기에 맞추어 스케일링할 수 있다. 이 때, 부호화기는 스케일링된 참조 변환 블록 내의 각 변환 계수의 위치에 대해, 변환 계수 플래그 값을 결정할 수 있다.

변환 계수 플래그 값 결정 방법의 구체적인 실시예는 후술하기로 한다.

다시 도 12를 참조하면, 부호화기는 부호화 대상 블록에 대한 변환 계수 카운터 맵을 도출할 수 있다(S1220).

부호화기는 참조 변환 블록 내의 각 변환 계수의 위치에 대한 플래그 카운터(counter) 값을 계산할 수 있고, 상기 계산된 플래그 카운터 값에 의해, 변환 계수 카운터 맵이 도출될 수 있다. 여기서, 플래그 카운터는 복수의 참조 변환 블록 내의 동일한 위치에 존재하는 변환 계수 플래그 값의 합을 의미할 수 있다. 즉, 플래그 카운터는 복수의 참조 변환 블록이 오버랩(overlap)되는 경우, 동일 위치에 존재하는 변환 계수 플래그 값의 합을 의미할 수 있다.

또한, 상술한 바와 같이 참조 변환 블록과 부호화 대상 블록 간의 크기가 서로 다른 경우가 발생할 수도 있다. 이 때, 부호화기는 스케일링된 참조 변환 블록의 변환 계수 플래그 값을 이용하여 변환 계수 카운터 맵을 도출할 수 있다.

변환 계수 카운터 맵 도출 방법의 구체적인 실시예는 후술하기로 한다.

다시 도 12를 참조하면, 부호화기는 부호화 대상 블록에 대한 스캐닝 맵을 생성할 수 있다(S1230).

부호화기는, 지그재그 스캔(zigzag scan) 순서를 기반으로, 카운터 맵 내의 각 변환 계수 위치에 플래그 카운터 값이 높은 순서대로 스캔 인덱스(scan index)를 할당함으로써, 스캐닝 맵(scanning map)을 생성할 수 있다. 이 때, 스캔 인덱스는 0부터 시작하여 인덱스 값이 낮은 순서대로 할당될 수 있다. 또한, 동일한 플래그 카운터 값을 갖는 복수의 위치가 존재하는 경우, 지그재그 스캔의 우선순위가 높은 변환 계수 위치에 낮은 스캔 인덱스 값이 할당될 수 있다.

플래그 카운터 값이 0인 복수의 변환 계수 위치에는 지그재그 스캔 순서를 기반으로 스캔 인덱스 값이 할당될 수 있다. 이 때, 스캔 인덱스는 지그재그 스캔 순서로 할당될 수 있으며, 인덱스 값이 낮은 순서대로 할당될 수 있다.

스캐닝 맵이 생성되면, 부호화기는 할당된 스캔 인덱스 값이 낮은 순서대로 부호화 대상 블록의 변환 계수를 스캐닝할 수 있다. 스캐닝 맵 생성 방법의 구체적인 실시예는 후술한다.

도 13은 본 발명에 따른 변환 계수 플래그 값 결정 방법의 일 실시예를 개략적으로 나타내는 개념도이다.

도 13은 부호화 대상 블록(1310), 좌측 주변 블록(1320) 및 상단 주변 블록(1330)을 도시한다. 좌측 주변 블록(1320) 및 상단 주변 블록(1330)은 부호화기에 의해 선택된 참조 변환 블록을 나타낸다. 도 13의 실시예에서, 부호화 대상 블록(1310), 좌측 주변 블록(1320) 및 상단 주변 블록(1330)의 크기는 4x4라 가정한다.

상술한 바와 같이, 부호화기는 참조 변환 블록 내의 각 변환 계수의 위치에 대한 변환 계수 플래그 값을 결정할 수 있다. 일례로, 넌 제로 변환 계수의 위치에는 1의 변환 계수 플래그 값이 할당될 수 있고, 넌 제로 변환 계수가 아닌 변환 계수의 위치에는 0의 변환 계수 플래그 값이 할당될 수 있다. 이 때, 상기 변환 계수 플래그는 참조 변환 블록 내의 변환 계수가 넌 제로 변환 계수인지 아닌지 여부를 지시할 수 있다. 도 13의 실시예에서, 참조 변환 블록 내의 각 변환 계수의 위치에 할당된 숫자는 변환 계수 플래그 값의 실시예를 나타낸다.

도 13을 참조하면, 좌측 주변 블록(1320)의 경우, 래스터 스캔(raster scan) 순서상 첫 번째 위치, 두 번째 위치 및 네 번째 위치에 넌 제로 변환 계수가 존재한다. 따라서, 상기 넌 제로 변환 계수가 존재하는 위치에는 1의 변환 계수 플래그 값이 할당되고, 넌 제로 변환 계수가 존재하지 않는 위치에는 0의 변환 계수 플래그 값이 할당될 수 있다.

또한, 상단 주변 블록(1330)의 경우, 래스터 스캔 순서상 첫 번째 위치, 두 번째 위치 및 여섯 번째 위치에 넌 제로 변환 계수가 존재한다. 따라서, 상기 넌 제로 변환 계수가 존재하는 위치에는 1의 변환 계수 플래그 값이 할당되고, 넌 제로 변환 계수가 존재하지 않는 위치에는 0의 변환 계수 플래그 값이 할당될 수 있다.

도 14는 본 발명에 따른 변환 계수 플래그 값 결정 방법의 다른 실시예를 개략적으로 나타내는 개념도이다.

도 14는 부호화 대상 블록(1410), 상단 주변 블록(1420) 및 상단 주변 블록(1430)을 도시한다. 좌측 주변 블록(1420) 및 상단 주변 블록(1430)은 부호화기에 의해 선택된 참조 변환 블록을 나타낸다. 도 14의 실시예에서, 부호화 대상 블록(1410) 및 좌측 주변 블록(1420)의 크기는 4x4이고, 상단 주변 블록(1430)의 크기는 8x8이라 가정한다.

상술한 바와 같이, 참조 변환 블록과 부호화 대상 블록 간의 크기가 다른 경우, 부호화기는 참조 변환 블록을 부호화 대상 블록의 크기에 맞추어 스케일링할 수 있다. 이 때, 부호화기는 스케일링된 참조 변환 블록 내의 각 변환 계수의 위치에 대해, 변환 계수 플래그 값을 결정할 수 있다.

도 14를 참조하면, 참조 변환 블록 중에서 상단 주변 블록(1430)의 크기는 부호화 대상 블록(1410)의 크기보다 클 수 있다. 참조 변환 블록의 크기가 부호화 대상 블록의 크기보다 큰 경우, 부호화기는 참조 변환 블록을 부호화 대상 블록의 크기(4x4)에 맞추어 스케일링할 수 있다. 도 14의 1440은 스케일링된 참조 변환 블록을 도시한다.

부호화기는 스케일링된 참조 변환 블록(1440) 내의 각 변환 계수의 위치에 대해, 변환 계수 플래그 값을 결정할 수 있다. 이를 위해, 부호화기는 스케일링되기 전의 참조 변환 블록(1430) 내에 존재하는 변환 계수 플래그를 복수의 그룹으로 그룹화할 수 있다. 여기서, 상기 그룹 각각은 스케일링된 참조 변환 블록(1440) 내의 각 변환 계수 위치에 대응될 수 있다. 이 때, 하나의 특정 그룹에 포함된 변환 계수 플래그 중 적어도 하나의 값이 1이면, 이에 대응되는 변환 계수 위치(스케일링된 참조 변환 블록(1440) 내의 변환 계수 위치)에 1의 변환 계수 플래그 값이 할당될 수 있다. 또한, 하나의 특정 그룹에 포함된 변환 계수 플래그 값이 모두 0이면, 이에 대응되는 변환 계수 위치(스케일링된 참조 변환 블록(1440) 내의 변환 계수 위치)에 0의 변환 계수 플래그 값이 할당될 수 있다.

도 14의 실시예에서와 달리, 참조 변환 블록의 크기가 부호화 대상 블록의 크기보다 작을 수도 있다. 참조 변환 블록의 크기가 부호화 대상 블록의 크기보다 작은 경우, 부호화기는 참조 변환 블록을 부호화 대상 블록의 크기에 맞추어 스케일링할 수 있다. 여기서, 스케일링되기 전의 참조 변환 블록 내에 존재하는 각각의 변환 계수 플래그는, 스케일링된 참조 변환 블록 내에 존재하는 적어도 하나의 변환 계수 위치에 대응될 수 있다. 이 때, 부호화기는 스케일링되기 전의 참조 변환 블록 내 변환 계수 플래그를, 이에 대응하는 변환 계수 위치(스케일링된 참조 변환 블록 내의 변환 계수 위치)에 할당할 수 있다. 즉, 스케일링되기 전의 참조 변환 블록 내 변환 계수 플래그는, 스케일링되어 대응되는 위치에 할당될 수 있다.

도 15는 본 발명에 따른 변환 계수 카운터 맵 도출 방법의 일 실시예를 개략적으로 나타내는 개념도이다.

도 15의 실시예에서, 부호화 대상 블록의 크기는 4x4이고, 참조 변환 블록 및 각 참조 변환 블록 내의 변환 계수 플래그 값들은 도 13의 실시예에서와 동일하게 결정된다고 가정한다. 즉, 부호화기는 좌측 주변 블록 및 상단 주변 블록을 참조 변환 블록으로 선택한다. 이 때, 좌측 주변 블록의 경우, 래스터 스캔 순서상 첫 번째 위치, 두 번째 위치 및 네 번째 위치에 1의 변환 계수 플래그 값이 할당되고, 상단 주변 블록의 경우, 래스터 스캔 순서상 첫 번째 위치, 두 번째 위치 및 여섯 번째 위치에 1의 변환 계수 플래그 값이 할당된다고 가정한다.

상술한 바와 같이, 부호화기는 참조 변환 블록 내의 각 변환 계수의 위치에 대한 플래그 카운터 값을 계산할 수 있고, 상기 계산된 플래그 카운터 값에 의해 변환 계수 카운터 맵이 도출될 수 있다. 여기서, 플래그 카운터는 복수의 참조 변환 블록 내의 동일한 위치에 존재하는 변환 계수 플래그 값의 합을 의미할 수 있다. 즉, 플래그 카운터는 복수의 참조 변환 블록이 오버랩(overlap)되는 경우, 동일 위치에 존재하는 변환 계수 플래그 값의 합을 의미할 수 있다.

도 15는 본 발명에 따라 도출된 변환 계수 카운터 맵의 실시예를 도시한다. 상술한 바와 같이 도 15의 실시예에서, 래스터 스캔 순서상 좌측 주변 블록에서 첫 번째 위치 및 두 번째 위치의 변환 계수 플래그 값은 1이고, 상단 주변 블록에서 첫 번째 위치 및 두 번째 위치의 변환 계수 플래그 값도 1이다. 따라서, 래스터 스캔 순서상 변환 계수 카운터 맵의 첫 번째 위치(1510) 및 두 번째 위치(1520)의 플래그 카운터 값은 2일 수 있다.

또한, 래스터 스캔 순서상 좌측 주변 블록에서 네 번째 위치의 변환 계수 플래그 값은 1이고, 상단 주변 블록에서 네 번째 위치의 변환 계수 플래그 값은 0이다. 따라서, 래스터 스캔 순서상 변환 계수 카운터 맵의 네 번째 위치(1530)의 플래그 카운터 값은 1일 수 있다. 또한, 래스터 스캔 순서상 좌측 주변 블록에서 여섯 번째 위치의 변환 계수 플래그 값은 0이고, 상단 주변 블록에서 여섯 번째 위치의 변환 계수 플래그 값은 1이다. 따라서, 래스터 스캔 순서상 변환 계수 카운터 맵의 여섯 번째 위치(1540)의 플래그 카운터 값은 1일 수 있다.

한편, 상술한 바와 같이 참조 변환 블록과 부호화 대상 블록 간의 크기가 서로 다른 경우가 발생할 수도 있다. 이 때, 부호화기는 스케일링된 참조 변환 블록의 변환 계수 플래그 값을 이용하여 변환 계수 카운터 맵을 도출할 수 있다.

도 16은 본 발명에 따른 스캐닝 맵 생성 방법의 일 실시예를 개략적으로 나타내는 개념도이다.

상술한 바와 같이 부호화기는 지그재그 스캔 순서를 기반으로 카운터 맵 내의 각 변환 계수 위치에 플래그 카운터 값이 높은 순서대로 스캔 인덱스를 할당하여, 스캐닝 맵을 생성할 수 있다. 도 16의 실시예에서는 도 15에 도시된 카운터 맵이 스캐닝 맵 생성에 사용된다고 가정한다.

도 16의 1610은 지그재그 스캔 순서를 도시한다. 도 16의 1610에서 각 변환 계수의 위치에 표시된 숫자는, 지그재그 스캔의 스캔 인덱스 값을 나타낸다. 지그재그 스캔이 적용되는 경우에는, 상기 도 16의 1610에 표시된 스캔 인덱스 값이 낮은 순서대로 스캐닝이 수행될 수 있다.

도 16의 1620은 본 발명에 따라 도출된, 스캔 인덱스가 할당된 스캐닝 맵을 도시한다. 도 16의 1620에서 각 변환 계수의 위치에 표시된 숫자는 스캔 인덱스 값을 나타낸다.

도 16의 1620을 참조하면, 부호화기는 플래그 카운터 값이 높은 순서대로, 카운터 맵 내의 각 변환 계수 위치에 스캔 인덱스를 할당할 수 있다. 이 때, 스캔 인덱스는 0부터 시작하여 인덱스 값이 낮은 순서대로 할당될 수 있다. 또한, 동일한 플래그 카운터 값을 갖는 복수의 위치가 존재하는 경우, 지그재그 스캔의 우선순위가 높은 변환 계수 위치에 낮은 스캔 인덱스 값이 할당될 수 있다.

플래그 카운터 값이 0인 복수의 변환 계수 위치에는 지그재그 스캔 순서를 기반으로 스캔 인덱스 값이 할당될 수 있다. 이 때, 스캔 인덱스는 지그재그 스캔 순서로 카운터 맵 내의 각 변환 계수 위치에 할당될 수 있으며, 인덱스 값이 낮은 순서대로 할당될 수 있다.

스캐닝 맵이 생성되면, 부호화기는 할당된 스캔 인덱스 값이 낮은 순서대로 부호화 대상 블록의 변환 계수를 스캐닝할 수 있다.

도 17은 스캐닝 맵을 이용하여 부호화 대상 블록의 변환 계수를 스캐닝/역스캐닝하는 방법의 일 실시예를 개략적으로 나타내는 개념도이다.

도 17의 1710은 부호화/복호화 대상 블록에 대한 2차원 변환 계수를 나타내고, 도 17의 1720은 상기 2차원 변환 계수에 대응하는 1차원 변환 계수 배열을 나타낸다. 도 17의 실시예에서는 스캐닝/역스캐닝을 위해, 도 16의 1620에 도시된 스캐닝 맵이 사용된다고 가정한다.

도 17을 참조하면, 부호화기는 스캐닝 맵에 할당된 스캔 인덱스 값이 낮은 순서대로 부호화 대상 블록의 변환 계수를 스캐닝할 수 있다. 이 때, 부호화 대상 블록의 2차원 변환 계수(1710)는 도 17의 1720에 도시된 1차원 변환 계수 배열의 순서대로 스캐닝되어 부호화될 수 있다.

예를 들어, 도 17에서, 스캔 인덱스 값 0은 변환 계수 4에 할당되므로, 변환 계수 4가 가장 먼저 스캐닝될 수 있다. 또한 다른 변환 계수들도 각 변환 계수에 할당된 스캔 인덱스 값이 낮은 순서대로 스캐닝될 수 있다.

복호화 과정에서 복호화기는, 도 17의 1720에 도시된 1차원 변환 계수 배열의 순서대로, 변환 계수에 대한 엔트로피 복호화를 수행할 수 있다. 변환 계수에 대한 엔트로피 복호화가 수행되면, 복호화기는 스캐닝 맵을 이용하여 변환 계수에 대한 역스캐닝을 수행함으로써, 2차원의 복호화 대상 블록에 변환 계수를 할당할 수 있다. 예를 들어, 복호화기는 스캐닝 맵에 할당된 스캔 인덱스 값이 낮은 순서대로 복호화 대상 블록에 대한 역스캐닝을 수행할 수 있다. 즉, 복호화기는 스캐닝 맵에 할당된 스캔 인덱스 값이 낮은 순서대로, 2차원의 복호화 대상 블록에 변환 계수를 할당할 수 있다.

상술한 실시예들에 의하면, 부호화기 및 복호화기는 부호화/복호화 대상 블록과 복원된 주변 블록 간의 유사성을 이용하여, 문맥 적응적으로 참조 변환 블록을 선택할 수 있다. 이 때, 부호화기 및 복호화기는 선택된 참조 변환 블록의 스캐닝 정보를 이용하여 부호화/복호화 대상 블록 내 변환 계수의 스캐닝/역스캐닝을 수행함으로써, 부호화 효율을 향상시킬 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims

복호화 대상 블록에 대한 참조 변환 블록을 결정하는 단계;
상기 참조 변환 블록의 스캐닝 정보를 이용하여 상기 복호화 대상 블록의 스캐닝 맵(scanning map)을 도출하는 단계; 및
상기 도출된 스캐닝 맵을 이용하여 상기 복호화 대상 블록의 변환 계수(transform coefficient)에 대한 역 스캐닝을 수행하는 단계를 포함하는 변환 계수 스캔 방법.
청구항 1에 있어서, 상기 참조 변환 블록 결정 단계에서는,
참조 픽쳐 내에서, 상기 복호화 대상 블록과 공간적으로 동일한 위치에 존재하는 블록을 상기 참조 변환 블록으로 결정하는 것을 특징으로 하는 변환 계수 스캔 방법.
청구항 1에 있어서, 상기 참조 변환 블록 결정 단계에서는,
복원된 주변 블록(reconstructed neighboring block) 중에서 적어도 하나를 상기 참조 변환 블록으로 결정하고,
상기 복원된 주변 블록은 상기 복호화 대상 블록의 상단에 인접한 상단 주변 블록, 상기 복호화 대상 블록의 좌측에 인접한 좌측 주변 블록, 상기 복호화 대상 블록의 우측 상단 코너에 위치한 우측 상단 코너 블록, 상기 복호화 대상 블록의 좌측 상단 코너에 위치한 좌측 상단 코너 블록 및 상기 복호화 대상 블록의 좌측 하단 코너에 위치한 좌측 하단 코너 블록을 포함하는 변환 계수 스캔 방법.
청구항 3에 있어서, 상기 참조 변환 블록 결정 단계에서는,
상기 복호화 대상 블록과 동일한 크기를 갖는 블록을 참조 변환 블록으로 결정하는 것을 특징으로 하는 변환 계수 스캔 방법.
청구항 3에 있어서, 상기 참조 변환 블록 결정 단계에서는,
상기 복호화 대상 블록과 동일한 깊이(depth) 값을 갖는 블록을 참조 변환 블록으로 결정하는 것을 특징으로 하는 변환 계수 스캔 방법.
청구항 3에 있어서, 상기 참조 변환 블록 결정 단계에서는,
상기 복호화 대상 블록과 동일한 부호화 파라미터를 갖는 블록을 참조 변환 블록으로 결정하고,
상기 부호화 파라미터는 인트라 예측 방향(intra prediction direction), 참조 픽쳐 리스트(reference picture list), 참조 픽쳐 인덱스(reference picture index), 움직임 벡터 예측기(motion vector predictor), 움직임 정보 머지(motion information merge) 사용 여부, 스킵 모드(skip mode) 사용 여부 및 변환(transform) 종류에 관한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 변환 계수 스캔 방법.
청구항 1에 있어서, 상기 스캐닝 맵 도출 단계는,
상기 참조 변환 블록 내의 각 변환 계수의 위치에 대한 변환 계수 플래그(flag) 값을 결정하는 단계;
상기 변환 계수 플래그를 기반으로 상기 참조 변환 블록 내의 각 변환 계수의 위치에 대한 플래그 카운터(flag counter) 값을 계산하여, 상기 복호화 대상 블록에 대한 카운터 맵(counter map)을 도출하는 단계; 및
상기 카운터 맵 내의 각 변환 계수의 위치에, 상기 플래그 카운터 값이 높은 순서대로 스캔 인덱스(scan index)를 오름차순으로 하나씩 할당하여, 스캐닝 맵을 생성하는 단계를 더 포함하고,
상기 변환 계수 플래그는 상기 참조 변환 블록 내의 각 변환 계수가 넌 제로 변환 계수(non-zero transform coefficient)인지 여부를 지시하는 플래그이고, 상기 플래그 카운터는 상기 참조 변환 블록이 모두 오버랩(overlap)되는 경우 동일한 위치에 존재하는 변환 계수 플래그 값의 합인 것을 특징으로 하는 변환 계수 스캔 방법.
청구항 7에 있어서,
상기 참조 변환 블록의 크기가 상기 복호화 대상 블록의 크기와 다른 경우,
상기 변환 계수 플래그 값 결정 단계는,
상기 참조 변환 블록을 스케일링(scailing)하는 단계; 및
상기 스케일링된 참조 변환 블록 내의 각 변환 계수의 위치에 대한, 변환 계수 플래그 값을 결정하는 단계를 더 포함하고,
상기 카운터 맵 도출 단계에서는,
상기 스케일링된 참조 변환 블록의 변환 계수 플래그를 기반으로 상기 카운터 맵을 도출하는 것을 특징으로 하는 변환 계수 스캔 방법.
청구항 7에 있어서, 상기 스캐닝 맵 생성 단계에서는,
지그재그 스캔(zigzag scan) 순서를 기반으로 상기 스캔 인덱스를 할당하는 것을 특징으로 하는 변환 계수 스캔 방법.
복호화 대상 블록에 대한 참조 변환 블록을 결정하고, 상기 참조 변환 블록의 스캐닝 정보를 이용하여 상기 복호화 대상 블록의 스캐닝 맵을 도출하고, 상기 도출된 스캐닝 맵을 이용하여 상기 복호화 대상 블록의 변환 계수에 대한 역 스캐닝을 수행하는 역 스캐닝부; 및
상기 역 스캐닝된 변환 계수를 기반으로 복원 영상을 생성하는 복원 영상 생성부를 포함하는 영상 복호화 장치.
복호화 대상 블록에 대한 참조 변환 블록을 결정하는 단계;
상기 참조 변환 블록의 스캐닝 정보를 이용하여 상기 복호화 대상 블록의 스캐닝 맵(scanning map)을 도출하는 단계;
상기 도출된 스캐닝 맵을 이용하여 상기 복호화 대상 블록의 변환 계수(transform coefficient)에 대한 역 스캐닝을 수행하는 단계; 및
상기 역 스캐닝된 변환 계수를 기반으로 복원 영상을 생성하는 단계를 포함하는 영상 복호화 방법.
청구항 11에 있어서, 상기 스캐닝 맵 도출 단계는,
상기 참조 변환 블록 내의 각 변환 계수의 위치에 대한 변환 계수 플래그(flag) 값을 결정하는 단계;
상기 변환 계수 플래그를 기반으로 상기 참조 변환 블록 내의 각 변환 계수의 위치에 대한 플래그 카운터(flag counter) 값을 계산하여, 상기 복호화 대상 블록에 대한 카운터 맵(counter map)을 도출하는 단계; 및
상기 카운터 맵 내의 각 변환 계수의 위치에, 상기 플래그 카운터 값이 높은 순서대로 스캔 인덱스(scan index)를 오름차순으로 하나씩 할당하여, 스캐닝 맵을 생성하는 단계를 더 포함하고,
상기 변환 계수 플래그는 상기 참조 변환 블록 내의 각 변환 계수가 넌 제로 변환 계수(non-zero transform coefficient)인지 여부를 지시하는 플래그이고, 상기 플래그 카운터는 상기 참조 변환 블록이 모두 오버랩(overlap)되는 경우 동일한 위치에 존재하는 변환 계수 플래그 값의 합인 것을 특징으로 하는 영상 복호화 방법.
청구항 12에 있어서,
상기 참조 변환 블록의 크기가 상기 복호화 대상 블록의 크기와 다른 경우,
상기 변환 계수 플래그 값 결정 단계는,
상기 참조 변환 블록을 스케일링(scailing)하는 단계; 및
상기 스케일링된 참조 변환 블록 내의 각 변환 계수의 위치에 대한, 변환 계수 플래그 값을 결정하는 단계를 더 포함하고,
상기 카운터 맵 도출 단계에서는,
상기 스케일링된 참조 변환 블록의 변환 계수 플래그를 기반으로 상기 카운터 맵을 도출하는 것을 특징으로 하는 영상 복호화 방법.
청구항 12에 있어서, 상기 스캐닝 맵 생성 단계에서는,
지그재그 스캔(zigzag scan) 순서를 기반으로 상기 스캔 인덱스를 할당하는 것을 특징으로 하는 영상 복호화 방법.