KR20130002243A

KR20130002243A - 블록 중첩을 이용한 화면 간 예측 방법 및 장치

Info

Publication number: KR20130002243A
Application number: KR1020110110186A
Authority: KR
Inventors: 권재철
Original assignee: 주식회사 케이티
Priority date: 2011-06-28
Filing date: 2011-10-26
Publication date: 2013-01-07

Abstract

블록 중첩을 이용한 화면 간 예측 방법 및 장치가 개시되어 있다. 화면 간 예측 방법은 공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계와 머지 후보 리스트와 머지 인덱스 정보를 기초로 예측 단위에 대한제1 예측 블록을 생성하는 단계를 포함할 수 있다. 따라서, 머지 후보 리스트를 생성함에 있어서 우선 순위를 고려하고 고정된 수의 머지 후보를 사용함으로써 예측 단위에 대한 머지를 수행하는 효율을 높힐 수 있고, 또한, 중첩 블록 움직임 보상 방법을 사용함으로써 예측 단위의 경계에 존재하는 불연속성을 감소시켜 부호화 효율을 높힐 수 있다.

Description

블록 중첩을 이용한 화면 간 예측 방법 및 장치{METHODS OF INTER PREDICTION USING OVERLAPPED BLOCK AND APPRATUSES USING THE SAME}

본 발명은 블록 중첩을 이용한 화면 간 예측 방법 및 장치에 관한 것으로 더욱 상세하게는 부/복호화 방법 및 장치에 관한 것이다.

최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.

영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.

본 발명의 제1 목적은 머지 후보 리스트를 새롭게 구현하고 예측 단위에 블록 중첩을 사용하는 화면 간 예측 방법을 제공하는 것이다.

또한, 본 발명의 제2 목적은 머지 후보 리스트를 새롭게 구현하고 예측 단위에 블록 중첩을 사용하는 화면 간 예측 방법을 수행하는 장치를 제공하는 것이다.

상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 화면 간 예측 방법은 공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계와 상기 머지 후보 리스트와 머지 인덱스 정보를 기초로 상기 예측 단위에 대한제1 예측 블록을 생성하는 단계를 포함할 수 있다. 상기 화면 간 예측 방법은 상기 제1 예측 블록에 중첩 블록 움직임 보상을 수행하여 제2 예측 블록을 생성하는 단계를 더 포함할 수 있다. 상기 중첩 블록 움직임 보상은 상기 예측 단위 사이의 경계를 기준으로 가까이에 존재하는 소정의 개수의 열 또는 행에 존재하는 픽셀에 대한 필터링을 수행하는 것일 수 있다. 상기 중첩 블록 움직임 보상은 상기 예측 단위들의 움직임 벡터를 소정의 가중치로 산출하여 생성된 새로운 움직임 벡터를 이용해 상기 예측 단위의 경계를 기준으로 가까이에 존재하는 소정의 개수의 열 또는 행에 존재하는 픽셀에 대한 예측 픽셀을 생성하는 것일 수 있다. 상기 예측 단위는 2NxN, Nx2N, 2NxnU, 2NxnD, nLx2N, nRx2N일 수 있다. 상기 공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계는 상기 예측 단위가 2NxN, 2NxnU, 2NxnD인 경우, 좌측 하단 제1 블록, 상단 우측 제1 블록, 좌측 하단 제2 블록, 상단 우측 제2 블록, 상단 우측 제2 블록, 콜 블록 순서로 우선 순위를 가지는 머지 후보 리스트가 생성되는 단계일 수 있다. 상기 공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계는 상기 예측 단위가 Nx2N, nLx2N, nRx2N인 경우, 좌측 하단 제1 블록, 상단 우측 제1 블록, 상단 우측 제2 블록, 좌측 하단 제2 블록, 상단 우측 제2 블록, 콜 블록 순서로 우선 순위를 가지는 머지 후보 리스트가 생성되는 단계일 수 있다. 상기 화면 간 예측 방법은 머지 후보 리스트가 소정의 개수의 머지 후보를 가지지 못하는 경우, 추가의 머지 후보 리스트 생성 방법을 수행하는 단계를 더 포함할 수 있다. 상기 추가의 머지 후보 리스트 생성 방법은, 기존의 머지 후보 리스트에 포함되어 있는 머지 후보의 움직임 정보를 조합하여 새로운 움직임 정보를 가지는 새로운 머지 후보를 생성하는 조합 머지 후보 생성 방법, 머지 후보 리스트에 존재하는 움직임 벡터의 방향을 반대로 하여 새로운 머지 후보를 생성하는 스케일링 머지 후보 생성 방법 및 머지 후보 리스트에 존재하는 머지 후보의 움직임 벡터를 영 벡터로 치환하여 새로운 머지 후보를 생성하는 영 벡터 머지 후보 생성 방법 중 하나일 수 있다. 상기 머지 후보 리스트는 복수의 공간적 후보 예측 블록을 복수개의 공간적 후보 예측 블록으로 구성된 제1 그룹, 제2 그룹과 하나의 후보 예측 블록으로 나누고 상기 제1 그룹 및 상기 제2 그룹에서 가용하지 않은 공간적 후보 예측 블록이 존재하는 경우, 상기 가용하지 않은 공간적 후보 예측 블록을 하나의 후보 예측 블록으로 대체하여 생성될 수 있다. 상기 공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계는 상기 예측 단위가 Nx2N인 경우, 좌측 상단 블록, 상단 좌측 제1 블록, 콜 블록, 좌측 하단 제2 블록, 상단 우측 제2 블록 순서로 우선 순위를 가지는 머지 후보 리스트가 생성되는 단계일 수 있다. 상기 공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계는 상기 예측 단위가 2NxN인 경우, 좌측 상단 블록, 상단 좌측 제1 블록, 콜 블록, 상단 우측 제2 블록, 좌측 하단 제2 블록 순서로 우선 순위를 가지는 머지 후보 리스트가 생성되는 단계일 수 있다. 상기 공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계는 상기 예측 단위가 2Nx2N 또는 NxN인 경우, 좌측 하단 제1 블록, 상단 우측 제1 블록, 상단 우측 제2 블록, 좌측 하단 제2 블록, 상단 우측 제2 블록, 콜 블록 순서로 우선 순위를 가지는 머지 후보 리스트가 생성되는 단계일 수 있다.

상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상 복호화 장치는 공간적인 후보 예측 블록의 우선 순위를 고려한 예측 단위의 머지 후보 리스트 정보 및 상기 머지 후보 리스트에 포함되는 머지 후보 중 선택된 머지 후보의 인덱스 정보를 복호화하는 엔트로피 복호화부와 상기 엔트로피 복호화부로부터 전송된 머지 후보 리스트 정보 및 상기 머지 후보의 인덱스 정보를 기초로 예측 블록을 생성하는 예측부를 포함할 수 있다. 상기 예측부는 상기 예측 단위 사이의 경계를 기준으로 가까이에 존재하는 소정의 개수의 열 또는 행에 존재하는 픽셀에 대한 필터링을 수행하는 중첩 블록 움직임 보상부를 포함할 수 있다. 상기 중첩 블록 움직임 보상부는, 상기 예측 단위 사이의 경계를 기준으로 가까이에 존재하는 소정의 개수의 열 또는 행에 존재하는 픽셀에 대한 필터링을 수행할 수 있다. 상기 엔트로피 복호화부는 상기 예측 단위가 Nx2N, nLx2N, nRx2N인 경우, 좌측 하단 제1 블록, 상단 우측 제1 블록, 상단 우측 제2 블록, 좌측 하단 제2 블록, 상단 우측 제2 블록, 콜 블록 순서로 우선 순위를 가지는 머지 후보 리스트를 생성할 수 있다. 상기 엔트로피 복호화부는 머지 후보 리스트가 소정의 개수의 머지 후보를 가지지 못하는 경우, 추가의 머지 후보 리스트 생성 방법을 수행할 수 있다. 상기 추가의 머지 후보 리스트 생성 방법은, 기존의 머지 후보 리스트에 포함되어 있는 머지 후보의 움직임 정보를 조합하여 새로운 움직임 정보를 가지는 새로운 머지 후보를 생성하는 조합 머지 후보 생성 방법, 머지 후보 리스트에 존재하는 움직임 벡터의 방향을 반대로 하여 새로운 머지 후보를 생성하는 스케일링 머지 후보 생성 방법 및 머지 후보 리스트에 존재하는 머지 후보의 움직임 벡터를 영 벡터로 치환하여 새로운 머지 후보를 생성하는 영 벡터 머지 후보 생성 방법 중 하나일 수 있다. 상기 머지 후보 리스트는 복수의 공간적 후보 예측 블록을 복수개의 공간적 후보 예측 블록으로 구성된 제1 그룹, 제2 그룹과 하나의 후보 예측 블록으로 나누고 상기 제1 그룹 및 상기 제2 그룹에서 가용하지 않은 공간적 후보 예측 블록이 존재하는 경우, 상기 가용하지 않은 공간적 후보 예측 블록을 하나의 후보 예측 블록으로 대체하여 생성될 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 블록 중첩을 이용한 화면 간 예측 방법 및 장치에 따르면, 머지 후보 리스트를 생성함에 있어서 우선 순위를 고려하고 고정된 수의 머지 후보를 사용함으로써 예측 단위에 대한 머지를 수행하는 효율을 높힐 수 있고, 또한, 중첩 블록 움직임 보상 방법을 사용함으로써 예측 단위의 경계에 존재하는 불연속성을 감소시켜 부호화 효율을 높힐 수 있다.

도 1은 본 발명의 일실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 영상 복호화기를 나타낸 블록도이다.
도 3은 본 발명의 또 다른 실시예에 따른 공간적인 후보 예측 블록의 명칭을 정의하기 위한 개념도이다.
도 4는 본 발명의 또 다른 실시예에 따른 머지(Merge) 모드를 이용한 화면 간 예측 방법을 나타낸다.
도 5는 본 발명의 또 다른 실시예에 따른 머지 모드를 이용한 화면 간 예측 방법을 나타낸 개념도이다.
도 6은 본 발명의 또 다른 실시예에 따른 추가적인 실시예를 나타내는 개념도이다.
도 7은 본 발명의 또 다른 실시예에 따른 블록 중첩을 이용한 화면 간 예측 방법을 나타낸 개념도이다.
도 8은 본 발명의 또 다른 실시예에 따른 블록 중첩을 이용한 화면 간 예측 방법을 나타낸 개념도이다.
도 9는 본 발명의 또 다른 실시예에 따른 머지 모드의 부호화 방법을 나타내는 순서도이다.
도 10은 본 발명의 또 다른 실시예에 따른 머지 모드의 복호화 방법을 나타내는 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 명세서에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화기에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일실시예에 따른 비디오 부호화기의 구성을 나타내는 블럭도이다. 도 1을 참조하면, 상기 비디오 부호화기는 픽쳐 분할부(110), 인터 예측부(120), 인트라 예측부(125), 변환부(130), 양자화부(135), 역양자화부(140), 역변환부(145), 필터부(150), 메모리(155), 재정렬부(160) 및 엔트로피 부호화부(165)를 포함한다.

픽쳐 분할부(110)는 입력된 현재 픽쳐를 하나 이상의 부호화 단위로 분할할 수 있다. 부호화 단위(Coding Unit: CU, 이하 ‘CU’도 동일한 의미로 사용함)는 영상 부호화기에서 부호화가 수행되는 하나의 단위로서, 쿼드 트리 구조(Quad Tree Structure)를 기초로 깊이(depth) 정보를 가지고 계층적으로 분할될 수 있다. CU는 8×8, 16×16, 32×32, 64×64 등 다양한 크기를 가질 수 있다. 가장 큰 크기의 CU를 LCU(Largest Coding Unit), 가장 작은 크기의 CU를 SCU(Smallest Coding Unit)라 한다. 또한 픽쳐 분할부(110)는 CU를 분할하여 예측 유닛(Prediction Unit: PU, 이하 ‘PU’도 동일한 의미로 사용함)과 변환 유닛(Transdorm Unit: TU, 이하 ‘TU’도 동일한 의미로 사용함)을 생성할 수 있다.

인터 예측(Inter Prediction) 모드에 있는 경우, 인터 예측부(120)는 움직임 추정(ME: Motion Estimation) 및 움직임 보상(MC: Motion Compensation)을 수행할 수 있다. 인터 예측부(120)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐 정보를 기초로 예측 블럭을 생성한다.

인터 예측부(120)는 분할된 예측 대상 블럭 및 메모리부(155)에 저장된 적어도 하나의 참조 블록을 기반으로 움직임 추정을 수행한다. 인터 예측부(120)는 움직임 추정의 결과로서 움직임 벡터(MV: Motion Vector), 참조 블럭 인덱스 및 예측 모드 등을 포함한 움직임 정보(motion information)를 생성한다. 인트라 예측부(125)라는 용어 대신 화면 내 예측부라는 용어도 동일한 의미로 사용될 수 있다.

또한 인터 예측부(120)는 상기 움직임 정보 및 참조 블럭을 이용하여 움직임 보상을 수행한다. 이 때, 인터 예측부(120)는 상기 참조 블럭으로부터 입력 블럭에 대응하는 예측 블럭을 생성하여 출력한다. 인트라 예측부(125)라는 용어 대신 화면 간 예측부라는 용어도 동일한 의미로 사용될 수 있다.

인터 예측부에서는 이하, 본 발명의 실시예와 도 3 내지 도 10에서 후술할 화면 간 예측 방법 및 중첩 블록 움직임 보상 방법을 사용할 수 있다.

인트라 예측(Intra Prediction) 모드의 경우, 인트라 예측부(125)는 현재 픽쳐 내의 화소 정보를 기초로 예측 블럭을 생성할 수 있다. 인트라 예측 모드의 경우, 인트라 예측부(125)는 예측 대상 블럭과 이전에 변환 및 양자화된 후 복원된 복원 블록을 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 상기 복원 블럭은 디블럭킹 필터부를 거치기 전의 복원된 영상일 수 있다.

인터 예측부 및 인트라 예측부는 예측부라는 용어를 사용하여 통합적으로 표현할 수 있다.

예측 대상 블럭 및 인터 또는 인트라 예측 모드에서 생성된 예측 블럭의 차분에 의해 잔차 블럭이 생성된다.

변환부(130)는 TU 별로 잔차 블럭에 대해 변환을 수행하여 변환 계수를 생성한다.

TU는 최대 크기와 최소 크기의 범위 내에서 트리 구조(tree structure)를 가질 수있다. TU 별로 현재 블럭이 하위 블럭(sub-block)으로 나누어지는지를 지시자(flag)를 통해 지시할 수 있다. 변환부(130)은 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform) 등을 사용하여 변환을 수행할 수 있다.

양자화부(135)는 변환부(130)에서 변환된 값들을 양자화할 수 있다. 블럭에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화된 변환 계수 값은 재정렬부(160) 및 역양자화부(140)에 제공될 수 있다.

재정렬부(160)는, 엔트로피 부호화의 효율을 높이기 위해, 스캔(scan)을 통하여 상기 양자화된 2차원 블럭 형태의 변환 계수를 1차원 벡터 형태의 변환 계수로 정렬할 수 있다. 이때, 재정렬부(160)는 확률적 통계를 기초로 스캔 순서를 달리 하여 엔트로피 부호화 효율을 높일 수 있다.

엔트로피 부호화부(165)는 재정렬부(160)에서 얻어진 값들을 엔트로피 부호화한다. 부호화된 정보들은 압축된 비트 스트림을 형성하여 네트워크 추상 계층(NAL: Network Abstraction Layer)을 통해 전송되거나 저장된다.

예를 들어, 엔트로피 부호화부(165)에서는 이하, 본 발명의 실시예와 도 3 내지 도 10에서 후술할 화면 간 예측 방법 및 중첩 블록 움직임 보상 방법을 수행하는데 필요한 움직임 예측 정보 및 중첩 블록 움직임 보상 여부 정보등을 부호화할 수 있다.

역양자화부(140)는 양자화부(135)에서 양자화된 변환 계수를 역양자화하며, 역변환부(145)는 역양자화된 변환 계수를 역변환해서 복원된 잔차 블록을 생성한다. 복원된 잔차 블럭은 인터 예측부(120) 또는 인트라 예측부(125)에서 생성된 예측 블럭과 합쳐져 복원 블럭이 생성될 수 있다. 복원 블럭은 인트라 예측부(125) 및 필터부(150)에 제공된다.

필터부(150)는 복원된 잔차 블록에 디블록킹 필터(Deblocking Filter), ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset) 등을 적용할 수 있다. 디블록킹 필터는 부호화 및 복호화 과정에서 발생하는 블럭 경계 사이의 왜곡을 제거하기 위해, 복원 블럭을 필터링한다. ALF는 예측 대상 블럭과 최종 복원 블럭 사이의 에러를 최소화하기 위해 필터링을 수행한다. ALF는 디블럭킹 필터를 통해 필터링된 복원 블럭과 현재의 예측 대상 블럭을 비교한 값을 기초로 필터링을 수행하며, ALF의 필터 계수 정보는 슬라이스 헤더(slice header)에 실려 부호화기로부터 복호화기로 전송될 수 있다. SAO는 디블록킹 필터가 적용된 잔차 블록에 대하여, 화소 단위로 원본 영상과의 오프셋 차이를 복원해주는 루프 필터 처리 과정이다. SAO를 통해서 적용되는 오프셋으로는 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등이 있다. 밴드 오프셋은 화소를 세기(intensity)에 따른 32개의 밴드로 구분하고, 32 개 밴드를 가장 자리의 16개 밴드와 중심부 16개 밴드의 두 밴드 그룹으로 나누어 오프셋을 적용한다. 에지 오프셋은 각 화소 별로 에지의 방향과 주변 화소와의 세기를 분류하여 오프셋을 적용한다.

메모리(155)는 필터부(150)를 거친 최종 복원 블럭을 저장할 수 있고, 저장된 최종 복원 블럭은 화면 간 예측을 수행하는 인터 예측부(120)에 제공될 수 있다.

도 2는 비디오 복호화기의 일 실시예에 따른 구성을 나타내는 블럭도이다. 도 2를 참조하면, 비디오 복호화기는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 인터 예측부(230), 인트라 예측부(235), 필터부(340) 및 메모리(345)를 포함한다.

엔트로피 복호화부(210)는 NAL로부터 압축된 비트 스트림을 수신한다. 엔트로피 복호화부(210)는 수신된 비트 스트림을 엔트로피 복호화하며, 예측 모드, 움직임 벡터 정보 등이 비트 스트림에 포함되는 경우 이를 함께 엔트로피 복호화한다.

예를 들어, 엔트로피 복호화부(165)에서는 이하, 본 발명의 실시예와 도 3 내지 도 10에서 후술할 화면 간 예측 방법 및 중첩 블록 움직임 보상 방법을 수행하는데 필요한 움직임 예측 정보 및 중첩 블록 움직임 보상 여부 정보등을 복호화할 수 있다.

엔트로피 복호화된 변환 계수 또는 잔차 신호는 재정렬부(215)에 제공된다. 재정렬부(215)는 복호화된 변환 계수 또는 잔차 신호를 역스캔(inverse scan)하여 2차원 블럭 형태의 변환 계수를 생성한다.

역양자화부(220)는 재정렬된 변환 계수를 역양자화한다. 역변환부(225)는 역양자화된 변환 계수를 역변환하여 잔차 블럭을 생성한다.

잔차 블럭은 인터 예측부(230) 또는 인트라 예측부(235)에서 생성된 예측 블럭과 합쳐져 복원 블럭이 생성될 수 있다. 복원 블럭은 인트라 예측부(235) 및 필터부(240)에 제공된다. 인터 예측부(230) 및 인트라 예측부(235)의 동작은 각각 비디오 부호화기에서의 인터 예측부(120) 및 인트라 예측부(125)의 동작과 동일할 수 있다. 인터 예측부(230)에서는 이하, 본 발명의 실시예 및 도 3 내지 도 10에서 후술할 움직임 예측 방법 및 블록 중첩 움직임 보상 방법을 사용할 수 있다.

필터부(240)는 복원 블록에 디블록킹 필터, ALF, SAO 등을 적용할 수 있다. 디블록킹 필터는 부호화 및 복호화 과정에서 발생하는 블럭 경계 사이의 왜곡을 제거하기 위해, 복원 블럭을 필터링한다. ALF는 예측 대상 블럭과 최종 복원 블럭 사이의 에러를 최소화하기 위해 디블록킹 필터링 된 복원 블록에 필터링을 수행한다. 또한, SAO는 디블록킹 필터링된 복원 블록에 화소 단위로 적용되어 원본 영상과의 차이를 줄일 수 있다.

메모리(245)는 필터부(240)를 통해 얻어진 최종 복원 블럭을 저장할 수 있고, 저장된 최종 복원 블럭은 화면 간 예측을 수행하는 인터 예측부(230)에 제공될 수 있다.

이하, 본 발명의 실시예에서는 설명의 편의상 Coding Unit을 부호화 단위라는 용어로 사용하지만, 부호화 뿐만 아니라 복호화를 수행하는 단위가 될 수도 있다. 또한, 이하, 본 발명의 실시예에서 후술할 영상 부호화 방법 및 영상 복호화 방법은 도 1 및 도 2에서 전술한 영상 부호화기 및 영상 복호화기에 포함된 각 구성부에서 수행될 수 있다. 구성부의 의미는 하드웨어적인 의미 뿐만 아니라 알고리즘을 통해 수행될 수 있는 소프트웨어적인 처리 단위도 포함할 수 있다.

도 3은 본 발명의 또 다른 실시예에 따른 공간적인 후보 예측 블록의 명칭을 정의하기 위한 개념도이다.

현재 예측 단위의 좌측 상단에 존재하는 픽셀의 위치를 (x, y), 현재 예측 단위의 폭을 nPSW, 너비를 nPSH라는 변수로 정의한다. 공간적 후보 예측 단위를 표현하기 위한 변수인 MinPuSize는 예측 단위에서 사용할 수 있는 가장 작은 예측 단위의 크기를 나타낸다.

이하, 본 발명의 실시예에서는 (x-1, y) 위치에 존재하는 픽셀을 포함하는 블록을 좌측 상단 블록(300), (x, y-1) 위치에 존재하는 픽셀을 포함하는 블록을 상단 좌측 제1 블록(310), (x-MinPuSize, y-1) 위치에 존재하는 픽셀을 포함하는 블록을 상단 좌측 제2 블록(320)이라는 용어로 정의한다.

또한, (x+nPSW-MinPuSize, y-1) 위치에 존재하는 픽셀을 포함하는 블록을 상단 우측 제1 블록(330), (x+nPW+1, y-1) 위치에 존재하는 픽셀을 포함하는 블록을 상단 우측 제2 블록(340)이라는 용어로 정의하고 (x-1, y+nPSH-MinPuSize) 위치에 존재하는 픽셀을 포함하는 블록을 좌측 하단 제1 블록(350), (x-1, y+nPSH) 위치에 존재하는 픽셀을 포함하는 블록을 좌측 하단 제2 블록(360)이라는 용어로 정의한다.

도 4는 본 발명의 또 다른 실시예에 따른 머지(Merge) 모드를 이용한 화면 간 예측 방법을 나타낸다.

도 4를 참조하면, 현재 예측 단위에 대해 머지(Merge)를 이용한 화면 간 예측을 수행하기 위해서는 현재 예측 단위의 공간적인 후보 예측 블록 및 시간적인 후보 예측 블록을 사용할 수 있다.

현재 예측 단위에 대해 머지를 수행하기 위해 소정의 후보 리스트를 구성할 수 있고, 구현된 머지 후보 리스트에 포함된 하나의 후보 예측 단위을 이용해 현재 예측 단위에 대한 예측 블록을 생성할 수 있다. 머지 후보 리스트에 포함되는 후보 예측 단위의 개수는 가용한 후보 예측 블록의 개수가 될 수도 있지만, 고정적으로 일정한 개수를 가질 수 있다.

도 4는 머지 후보 리스트를 구성하기 위해 공간적인 후보 예측 블록 및 시간적인 후보 예측 블록의 우선 순위를 나타낸다. 이하, 본 발명의 실시예에서는 시간적인 후보 예측 블록을 콜 블록(col block)이라고 한다.

도 4의 좌측을 참조하면, 현재 예측 단위가 Nx2N의 크기를 가지고 머지될 경우, A 블록(400, 좌측 상단 블록), B 블록(410, 상단 좌측 제1 블록), 콜 블록(415), D 블록(420, 좌측 하단 제2 블록), C 블록(430, 상단 우측 제2 블록)의 순서로 머지 후보 리스트를 구성할 수 있다.

본 발명의 실시예에 따른 머지 후보 리스트 구성 방법은 현재 블록의 특성과 유사할 것이라고 판단되는 블록 순서로 머지 후보 리스트를 구성할 수 있다. Nx2N의 크기를 가질 경우, C 블록(430)은 현재 예측 단위와 다른 블록 특성을 가진 P 블록(445)과 인접해 있므므로 D 블록(420)보다는 현재 예측 단위와 특성이 다를 가능성이 크므로 D 블록(420)을 C 블록(430)보다 우선 순위가 높도록 설정할 수 있다.

도 4의 우측을 참조하면, 현재 예측 단위가 2NxN의 크기를 가지고 현재 예측 단위가 머지될 경우, A 블록(450), B 블록(460), 콜 블록(455), C 블록(470), D 블록(480)의 순서로 머지 후보 리스트를 구성할 수 있다.

즉, 가장 현재 블록의 특성과 유사할 것이라고 판단되는 블록을 우선 순위로 두어 머지 후보 리스트를 구성할 수 있다. 2NxN의 크기를 가질 경우, D 블록(480)은 현재 예측 단위와 다른 블록 특성을 가진 P 블록(485)과 인접해 있므므로 머지 후보 리스트에서 C 블록(470)을 D 블록(480)보다 우선 순위가 높도록 설정할 수 있다.

즉, 현재 예측 단위와 더 큰 유사성을 가질 수 있을 것으로 판단되는 예측 단위를 우선적으로 머지 후보 리스트를 구성하는데 사용하여 현재 예측 단위에 대한 화면 간 예측을 수행할 수 있다. 본 발명의 실시예에 따른 머지 후보 리스트 구성 방법에서는 콜 블록(415, 455)은 머지 후보 리스트를 구성하는데에 있어서, 위치가 가변적일 수 있다. 예를 들어, 공간적인 예측 단위의 블록인 A 블록(400), B 블록(410), D 블록(420), C 블록(430), 콜 블록(415)의 순서로 머지 후보 리스트를 구현하는 것도 가능하다.

도 4에서는 2NxN 및 Nx2N인 경우에 대해서만 개시하였으나, 2Nx2N 또는 NxN의 경우, A 블록(450), B 블록(460), 콜 블록(455), C 블록(470), D 블록(480) 순서로 머지 후보 리스트를 구성할 수 있다.

도 5는 본 발명의 또 다른 실시예에 따른 머지 모드를 이용한 화면 간 예측 방법을 나타낸 개념도이다.

머지 모드를 수행시, 공간적인 후보 예측 모드를 산출하기 위한 후보 예측 블록의 위치는 변할 수 있다.

도 5를 참조하면, 머지 모드를 수행하기 위한 공간적인 후보 예측 블록은 A 블록(505, 550), B 블록(510, 555), C 블록(515, 560), D 블록(520, 565), E 블록(525, 570)을 가질 수 있다.

도 4에서 전술한 방법과 마찬가지로 Nx2N 블록의 경우, A 블록(505), B 블록(510), C 블록(515), D 블록(520), E 블록(525), 콜 블록(530)의 순서로 머지 후보 리스트를 구현할 수 있고, 2NxN 블록의 경우, A 블록(550), B 블록(555), D 블록(565), C 블록(560), E 블록(570), 콜 블록(575)의 순서로 머지 후보 리스트를 구성할 수 있다. 전술한 바와 같이 머지 후보 리스트를 구성함에 있어서 머지 후보 리스트에서 차지하는 공간적 예측 후보 블록의 개수를 고정된 후보의 수(예를 들어, 4개)로 한다면, A 블록(505), B 블록(510)을 제1 그룹으로 두고 C 블록(515), D 블록(520)을 제2 그룹으로 둘 수 있다. 제1 그룹 또는 제2 그룹 중 가용하지 않은 공간적 후보 예측 블록이 존재하는 경우, 나머지 E 블록(525)을 가용하지 않은 공간적 후보 예측 블록을 대신하여 사용할 수 있다. 설명의 편의상 도 5의 상단 블록에만 관련하여 설명하였으나 도 5의 하단에 위치한 공간적인 후보 예측 블록에도 동일하게 적용될 수 있다.

도 5에서는 예측 단위의 2NxN 및 Nx2N인 경우에 대해서만 개시하였으나, 예측 단위의 크기가 2Nx2N 또는 NxN의 경우, A 블록(505), B 블록(510), D 블록(520), C 블록(515), E 블록(525), 콜 블록(530) 순서로 머지 후보 리스트를 구성할 수 있다.

도 4 및 도 5에서 전술한 머지 후보 리스트 구성 방법에서 공간적인 후보 예측 블록 및 시간적인 후보 예측 블록이 해당 위치에 존재하지 않거나 블록이 존재하나 후보 예측 블록이 화면 내 예측으로 부호화된 경우, 해당 블록은 가용하지 않은 블록이 되고, 머지 후보 리스트에 포함되지 않을 수 있다. 또한, 복수개의 후보 예측 블록이 동일한 움직임 예측 정보(움직임 벡터, 참조 픽쳐 인덱스, 예측 방향 정보 등)을 가진 경우, 가장 우선 순위가 높은 후보 예측 블록을 제외한 나머지 후보 예측 블록은 머지 후보 리스트에서 제외될 수 있다.

본 발명의 실시예에 따른 머지 후보 리스트 구성 방법에서는 머지 후보 리스트에 포함되어야 하는 머지 후보의 개수는 항상 동일한 수의 머지 후보 리스트를 가질 수 있다.

만약, 머지 후보 리스트의 개수가 5개의 머지 예측 후보로 고정되는 경우, 공간적인 후보 예측 블록과 시간적인 후보 예측 블록으로 5개의 머지 후보 개수가 채워지지 못한다면, 이하에서 설명할 추가의 머지 후보 생성 방법을 통해 머지 후보 리스트에 5 개의 머지 후보를 채워넣을 수 있다.

추가적인 머지 후보 생성 방법으로 공간적인 후보 예측 블록과 시간적인 후보 예측 블록의 움직임 예측 정보를 혼합하여 추가적인 머지 후보 생성을 하거나(조합 머지 후보 생성 방법), 공간적인 후보 예측 블록과 시간적인 후보 예측 블록의 움직임 예측 정보 중 움직임 벡터의 크기를 스케일링하여 추가의 머지 후보를 생성하거나(스케일링 머지 후보 생성 방법), 영 벡터를 가진 추가의 머지 후보를 생성할 수 있다(영 벡터 머지 후보 생성 방법).

구체적으로 예를 들어, 조합 머지 후보 생성 방법은 기존의 머지 후보 리스트에 포함되어 있는 머지 후보의 움직임 정보를 조합하여 새로운 움직임 정보를 가지는 머지 후보를 생성할 수 있다. 머지 후보 리스트에 포함되어 있는 제1 머지 후보의 움직임 예측 정보를 제1 움직임 예측 정보라고 하고 제2 머지 후보의 움직임 예측 정보를 제2 움직임 정보라고 한다면, 제1 움직임 예측 정보와 제2 움직임 예측 정보를 조합하여 새로운 움직임 정보를 생성해낼 수 있고, 생성된 새로운 움직임 정보를 새로운 제3 머지 후보로써 머지 후보 리스트에 포함시킬 수 있다.

스케일링 머지 후보 생성 방법은 기존에 존재하는 움직임 벡터의 방향을 반대로 하여 새로운 움직임 벡터를 생성할 수 있다. 예를 들어, 제1 머지 후보로 A라는 값을 가진 벡터가 머지 후보 리스트에 존재하는 경우, -A 벡터를 가진 제2 머지 후보를 머지 후보 리스트에 포함시킬 수 있다. 이때 참조 픽쳐 리스트 상에서 기존의 A 벡터가 가리키는 참조 픽쳐가 현재 픽쳐로부터 몇번째 참조 픽쳐인지에 관련된 픽쳐 간격 정보를 기초로 반대 방향으로 동일한 픽쳐 간격을 가지는 참조 픽쳐를 음수 A 벡터(A 벡터와 반대 방향을 가리키는 벡터)가 가리키는 참조 픽쳐로 결정할 수 있다. 현재 픽쳐를 기준으로 음수 A 벡터가 가리키는 참조 픽쳐와 A 벡터가 가리키는 참조 픽쳐의 거리가 다를 경우, 스케일링을 통해서 벡터값을 변화시킬 수 있다. 만약 복잡도가 높지 않은 방식으로 구현하려는 경우, 음수 A 벡터를 취했을 때 현재 픽쳐와 반대편 방향의 참조 픽쳐와의 거리가 동일할 경우, 즉, 스케일링을 수행하지 않는 경우에만 스케일링 머지 후보 생성 방법으로 생성된 머지 후보를 머지 후보 리스트에 포함시킬 수 있다.

또한, 영 벡터 머지 후보 생성 방법은 기존에 존재하는 머지 후보 리스트에서 움직임 벡터의 값을 영 벡터로 치환하여 새로운 머지 후보를 생성하여 머지 후보 리스트에 포함시킬 수 있다.

즉, 공간적인 후보 예측 블록과 시간적인 후보 예측 블록으로 고정된 개수의 머지 후보 리스트를 구성하지 못하는 경우, 추가적인 머지 후보 생성 방법(조합 머지 후보 생성 방법, 스케일링 머지 후보 생성 방법, 영 벡터 머지 후보 생성 방법)으로 생성된 머지 후보를 머지 후보 리스트에 추가할 수 있다.

도 6은 본 발명의 또 다른 실시예에 따른 추가적인 실시예를 나타내는 개념도이다.

도 6을 참조하면, 하나의 부호화 단위가 동일한 크기가 아닌 서로 다른 모양의 복수의 예측 단위로 분할되는 방법을 나타낸 개념도이다. 이하, 본 발명의 실시예에서는 이러한 분할 방법을 비동일 형상 블록 분할 방법이라고 한다.

도 6의 좌측부터 64x64 크기의 블록을 분할할 경우, 2NxnU(600), 2NxnD(620), nLx2N(640), nRx2N(660)으로 분할될 수 있다.

도 4 및 도 5에서 전술한 바와 마찬가지로 2NxnU(600) 및 2NxnD(620)과 같이 가로가 긴 예측 단위의 경우, 2NxN에서 사용한 머지 후보 리스트 구성 방법을 사용해 머지 후보 리스트를 구성할 수 있고, nLx2N(640), nRx2N(660)과 같이 세로가 긴 예측 단위인 경우 Nx2N에서 사용한 머지 후보 리스트 구성 방법을 사용해 머지 후보 리스트를 구성할 수 있다.

도 7은 본 발명의 또 다른 실시예에 따른 블록 중첩을 이용한 화면 간 예측 방법을 나타낸 개념도이다.

머지를 수행하는 블록이 Nx2N(700), 2NxN(750) 또는 비동일 형상 블록일 경우(2NxnU, 2NxnD, nLx2N, nRx2N) 블록이 중첩되는 부분에 대한 예측 블록을 생성하는 방법을 나타낸다. 예측 단위에서 중첩되는 부분은 경계면으로써 급격한 휘도 변화를 가지기 때문에 경계 부분을 필터링해줌으로써 부호화 효율을 높힐 수 있고, 이러한 방법을 OBMC(Overlapped Block Motion Compensation, OBMC)이라고 한다. 이하, 본 발명의 실시예에서는 OBMC를 중첩 블록 움직임 보상이라는 용어로 동일한 의미로 사용할 수 있다.

도 7은 Nx2N(700)일 때를 나타낸 것으로 제1 예측 단위(710)와 제2 예측 단위(730) 사이에 존재하는 경계에 포함되는 소정의 픽셀에 대하여 중첩 블록 움직임 보상을 이용하여 필터링을 수행할 수 있다.

중첩 블록 움직임 보상을 수행함에 있어서, 제1 예측 단위(710)에 포함되는 픽셀(715)과 제2 예측 단위(730)에 포함되는 픽셀(720) 중 경계를 기준으로 가까운 열에 포함되는 소정의 픽셀에 대하여 필터링을 수행할 수 있다. 경계를 기준으로 가까운 두 개의 열에 포함된 픽셀에 대해 {1/8, 7/8}의 필터링 계수를 사용해서 현재 예측 단위의 픽셀값에 인접한 예측 단위의 픽셀값을 더하여 화소값을 생성할 수 있다.

또 다른 필터링 방법으로 각 열에 따라 서로 다른 필터링 계수를 사용할 수 있다. 경계를 기준으로 가장 가까운 첫번째 열에 포함된 픽셀에 {1/4, 3/4}의 필터링 계수를 사용하여 필터링을 수행하고, 경계를 기준으로 두번째 열에 포함된 픽셀에 {1/8, 7/8}의 필터링 계수를 사용하여 필터링을 수행하는 방법을 통해 경계에 가까운 블록일수록 더 인접한 블록의 픽셀값에 영향을 많이 받도록 할 수 있다.

도 8은 본 발명의 또 다른 실시예에 따른 블록 중첩을 이용한 화면 간 예측 방법을 나타낸 개념도이다.

도 8은 2NxN(750)일 때를 나타낸 것으로 제1 예측 단위(760)와 제2 예측 단위(770) 사이에 존재하는 경계에 포함되는 소정의 픽셀에 대하여 중첩 블록 움직임 보상을 이용하여 필터링을 수행할 수 있다.

도 7에서 전술한 바와 마찬가지로 중첩 블록 움직임 보상을 수행함에 있어서, 제1 예측 단위(760)에 포함되는 픽셀(780)과 제2 예측 단위(770)에 포함되는 픽셀(790) 중 경계를 기준으로 가까운 행에 포함되는 소정의 픽셀에 대하여 필터링을 수행할 수 있다. 예를 들어, 경계를 기준으로 가까운 두 개의 행에 포함된 픽셀에 대해 {1/8, 7/8}의 필터링 계수를 사용해서 현재 예측 단위의 픽셀값에 인접한 예측 단위의 픽셀값을 더하여 화소값을 생성할 수 있다.

또 다른 필터링 방법으로 경계를 기준으로 가장 가까운 첫번째 행에 포함된 픽셀에 {1/4, 3/4}의 필터링 계수를 사용하여 필터링을 수행하고, 경계를 기준으로 두번째 행에 포함된 픽셀에 {1/8, 7/8}의 필터링 계수를 사용하여 필터링을 수행하는 방법을 통해 경계에 가까운 블록일수록 더 인접한 블록의 픽셀값에 영향을 많이 받도록 할 수 있다.

도 7 및 도 8에서 중첩 블록 움직임 보상 방법을 수행시, 전술한 바와 같은 필터링 계수를 이용하여 예측 픽셀값을 필터링하는 방법을 사용하지 않고, 경계에 위치한 픽셀에 대하여 제1 예측 단위(710, 760)와 제2 예측 단위(730, 770)의 움직임 벡터값에 일정한 가중치를 부여하여 생성된 새로운 움직임 벡터값을 이용해 예측 픽셀을 생성하는 방법을 통해 중첩 블록 움직임 보상 방법을 수행할 수도 있다. 예를 들어, 제1 예측 단위(710, 760)의 경계를 기준으로 가까운 두 개의 열에 대한 예측 픽셀을 생성하기 위해 제1 예측 단위(710, 760)의 움직임 벡터에 3/4의 가중치를 주고, 제2 예측 단위의 움직임 벡터에 1/4의 가중치를 주어 생성된 새로운 움직임 벡터를 이용하여 경계에 위치한 새로운 예측 픽셀을 생성할 수 있다. 필터링을 하여 중첩 블록 움직임 보상 방법을 수행하는 것에서 전술한 바와 같이 열마다 움직임 벡터에 가하는 가중치에 차이를 두어 예측 픽셀을 생성하는 것도 가능하다.

색차 정보에 대한 중첩 블록 움직임 보상을 수행할 경우, 필터링을 수행하는데 사용되는 가중치의 계수 및 새로운 움직임 벡터를 생성하는데에 사용되는 가중치의 계수가 달라질 수 있다. 중첩 블록 움직이 보상을 수행하는지 여부에 대한 정보는 소정의 플래그 정보를 통해 표현될 수 있다. 설명의 편의상 2개의 열에 중첩 블록 움직임 보상 방법을 수행하는 것으로 표현했으나, 본 발명의 본질에서 벋어나지 않는한 복수개의 추가의 열에 중첩 블록 움직임 보상 방법을 수행하는 것도 가능하다.

도 9는 본 발명의 또 다른 실시예에 따른 머지 모드의 부호화 방법을 나타내는 순서도이다.

도 9를 참조하면, 머지 모드의 공간적인 후보 블록 및 시간적인 부호 블록들을 산출한다(단계 S900).

머지 모드의 공간적인 후보 블록들은 도 3 및 도 4에서 전술한 바와 같은 공간적인 후보 예측 블록을 포함할 수 있다.

공간적인 후보 블록을 산출하기 위해서는 예측 단위의 형태를 고려할 수 있다. 하나의 예를 들어, 도 4를 다시 참조하면, 전술한 바와 같이 예측 모드의 형태가 2NxN일 경우, 2NxN 블록의 경우, A 블록, B 블록, C 블록, D 블록, E 블록, 콜 블록의 순서로 머지 후보 리스트를 구현할 수 있고, Nx2N 블록의 경우, A 블록, B 블록, D 블록, C 블록, E 블록, 콜 블록의 순서로 분할된 예측 단위의 형태에 따라서 공간적인 후보 예측 블록이 머지 후보 리스트에 포함되는 순서를 다르게 할 수 있다. 본 발명의 일실시예에 따른 머지 후보 리스트 구현 방법에서 콜 블록의 순서는 변할 수 있다.

산출된 공간적인 후보 블록 및 시간적인 후보 블록으로 머지 후보 리스트를 구현할 수 있다. 머지 후보 리스트를 구현함에 있어서, 머지 후보 리스트에 포함되는 공간적인 후보 블록의 개수에 제약을 둘 수 있다. 예를 들어, 리스트에 포함되는 공간적인 머지 후보 블록의 개수로 4개까지 사용할 수 있다는 제한이 있는 경우, 머지 후보 리스트에 포함될 수 있는 최대한의 공간적인 머지 후보 블록 4개가 될 수 있다. 또한, 4개의 공간적인 머지 후보 블록을 머지 후보 리스트에 포함시키는 방법을 수행함에 있어 두개의 그룹으로 나누고 나머지 하나의 후보 예측 블록을 이중 가용하지 않은 후보 예측 블록을 대신하여 사용하는 것도 가능하다.

머지 후보 리스트를 고정된 수로 사용할 경우, 추가의 머지 후보 예측 블록을 생성한다(단계 S910).

추가의 머지 후보 예측 블록은 전술한 바와 같이 머지 후보 리스트에 포함되어 있는 공간적인 후보 예측 블록과 시간적인 후보 예측 블록의 움직임 예측 정보를 혼합하여 추가적인 머지 후보 생성을 하거나, 공간적인 후보 예측 블록과 시간적인 후보 예측 블록의 움직임 예측 정보 중 움직임 벡터의 크기를 스케일링하여 추가의 머지 후보를 생성하거나, 0 벡터를 가진 추가의 머지 후보를 생성할 수 있다. 즉, 공간적인 후보 예측 블록과 시간적인 후보 예측 블록으로 고정된 개수의 머지 후보 리스트를 구성하지 못하는 경우, 추가적인 머지 후보 생성 방법으로 생성된 머지 후보를 머지 후보 리스트에 추가할 수 있다.

단계 S910은 고정된 개수의 머지 후보로 구성된 머지 후보 리스트를 사용하지않고 가용한 머지 후보만 머지 후보 리스트에 포함시켜 사용하는 경우, 수행되지 않을 수 있다.

구성된 머지 후보 리스트를 기초로 하나의 머지 후보를 선택한다(단계 S920).

소정의 코스트 함수를 이용해 예측을 수행한 예측 단위와 원본 블록을 기초로 하나의 머지 후보를 선택할 수 있다.

머지 후보를 이용하여 예측 단위를 생성하고 생성된 예측 단위에 대해 중첩 블록 움직임 보상을 수행한다(단계 S930).

중첩 블록 움직임 보상은 소정의 부호화 단위가 2NxN, Nx2N 또는 비동일 형상 블록 분할 방법을 사용한 경우 적용될 수 있다.

비동일 형상 블록 분할 방법은 경계에 위치한 열 또는 행에 대하여, 소정의 필터를 적용하여 필터링을 수행하는 방법이 될 수 있다. 전술한 바와 같이 경계에 위치한 2개의 행 또는 2개의 열에 포함된 픽셀값에 현재 예측 단위에 인접한 예측 단위에 포함된 픽셀값과 함께 필터링하여 생성된 픽셀값을 적용함으로써 경계 부분에서 발생되는 불연속성을 완화할 수 있다. 또 다른 중첩 블록 움직임 보상 방법으로써 현재 예측 단위의 움직임 벡터와 현재 예측 단위에 인접한 예측 단위의 움직임 벡터를 소정의 가중치를 두어 더하여 새로운 움직임 벡터로 산출하여 경계에 인접한 픽셀 부분은 새롭게 생성된 움직임 벡터값을 이용하여 예측 픽셀을 생성할 수있다.

색차 정보에 대한 중첩 블록 움직임 보상을 수행할 경우 필터의 계수 또는 새로운 움직임 벡터를 생성하는데에 사용되는 가중치의 계수가 달라질 수 있다.

중첩 블록 움직임 보상 방법이 사용되었는지 여부에 대한 정보는 소정의 플래그 정보를 기초로 표현되거나 독립적인 플래그 정보로 표현되지 않아도 결합 부호화 방법을 통해서 다른 구문 요소와 결합되어 표현될 수도 있다.

중첩 블록 움직임 보상을 수행하지 않는 경우, 단계 S930은 수행되지 않을 수 있다.

도 10은 본 발명의 또 다른 실시예에 따른 머지 모드의 복호화 방법을 나타내는 순서도이다.

도 10을 참조하면, 현재 예측 단위의 머지 후보 리스트를 생성한다(단계 S1000).

머지 후보 리스트는 도 9에서 전술한 방법과 동일한 방법으로 부호화기에서 머지 후보 리스트를 생성하는 방법과 동일하게 생성할 수 있다.

현재 예측 단위의 예측 블록을 생성하기 위해 사용된 머지 인덱스 정보를 이용해 예측 블록을 생성한다(단계 S1010).

엔트로피 복호화 방법을 사용하여 머지 인덱스 정보를 복호화하여 현재 예측 단위의 예측 블록을 생성하기 위해 사용된 예측 단위가 머지 후보 리스트 중 어떠한 예측 단위인지 여부를 판단한다.

예를 들어, 머지 후보 리스트에 포함되어 있는 머지 후보를 우선 순위에 따라 순차적으로 인덱싱할 수 있고, 현재 예측 단위를 머지하는데 사용된 머지 후보의 인덱스 정보를 부호화하여 복호화기에 전송하면 복호화기는 인덱스값을 복호화하여 현재 예측 단위의 예측 단위를 생성하기 위해 사용한 머지 후보 블록에 대한 정보를 알 수 있다.

예측 블록을 생성하기 위해, 선택된 하나의 머지 후보 블록의 움직임 벡터, 예측 방향 정보, 참조 픽쳐 인덱스 정보 등 움직임 예측 정보가 필요하고 복호화기에서는 머지 인덱스 정보를 기초로 머지 후보의 움직임 예측를 현재 예측 단위의 움직임 벡터 정보로 사용하여 예측 블록을 생성할 수 있다.

중첩 블록 움직임 보상을 수행한다(단계 S1020).

중첩 블록 움직임 보상 수행 여부에 대한 정보가 소정의 플래그에 포함되어 있다면, 해당 플래그 정보를 기초로 현재 블록에 대해 중첩 블록 움직임 보상을 수행한다. 중첩 블록 움직임 보상을 수행하지 않은 경우 단계 S1020은 수행되지 않을 수 있다. 중첩 블록 움직임 보상은 단계 S930에서 설명한 방법과 동일한 방법으로 사용할 수 있다.

잔차 정보를 복호화하고 예측 블록과 잔차 정보를 기초로 블록을 복원한다(단계 S1030).

단계 S1000 내지 단계 S1020을 통해 생성된 예측 블록과 잔차 정보를 더해서 블록을 복원한다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계;
상기 머지 후보 리스트와 머지 인덱스 정보를 기초로 상기 예측 단위에 대한제1 예측 블록을 생성하는 단계를 포함하는 화면 간 예측 방법.
제1항에 있어서,
상기 제1 예측 블록에 중첩 블록 움직임 보상을 수행하여 제2 예측 블록을 생성하는 단계를 더 포함하는 화면 간 예측 방법.
제2항에 있어서, 상기 중첩 블록 움직임 보상은,
상기 예측 단위 사이의 경계를 기준으로 가까이에 존재하는 소정의 개수의 열 또는 행에 존재하는 픽셀에 대한 필터링을 수행하는 것인 화면 간 예측 방법.
제2항에 있어서, 상기 중첩 블록 움직임 보상은,
상기 예측 단위들의 움직임 벡터를 소정의 가중치로 산출하여 생성된 새로운 움직임 벡터를 이용해 상기 예측 단위의 경계를 기준으로 가까이에 존재하는 소정의 개수의 열 또는 행에 존재하는 픽셀에 대한 예측 픽셀을 생성하는 화면 간 예측 방법.
제1항에 있어서, 상기 예측 단위는,
2NxN, Nx2N, 2NxnU, 2NxnD, nLx2N, nRx2N인 화면 간 예측 방법.
제 1항에 있어서, 상기 공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계는,
상기 예측 단위가 2NxN, 2NxnU, 2NxnD인 경우, 좌측 하단 제1 블록, 상단 우측 제1 블록, 좌측 하단 제2 블록, 상단 우측 제2 블록, 상단 우측 제2 블록, 콜 블록 순서로 우선 순위를 가지는 머지 후보 리스트가 생성되는 단계인 화면 간 예측 방법.
제 1항에 있어서, 상기 공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계는,
상기 예측 단위가 Nx2N, nLx2N, nRx2N인 경우, 좌측 하단 제1 블록, 상단 우측 제1 블록, 상단 우측 제2 블록, 좌측 하단 제2 블록, 상단 우측 제2 블록, 콜 블록 순서로 우선 순위를 가지는 머지 후보 리스트가 생성되는 단계인 화면 간 예측 방법.
제1항에 있어서,
머지 후보 리스트가 소정의 개수의 머지 후보를 가지지 못하는 경우, 추가의 머지 후보 리스트 생성 방법을 수행하는 단계를 더 포함하는 화면 간 예측 방법.
제6항에 있어서, 상기 추가의 머지 후보 리스트 생성 방법은,
기존의 머지 후보 리스트에 포함되어 있는 머지 후보의 움직임 정보를 조합하여 새로운 움직임 정보를 가지는 새로운 머지 후보를 생성하는 조합 머지 후보 생성 방법, 머지 후보 리스트에 존재하는 움직임 벡터의 방향을 반대로 하여 새로운 머지 후보를 생성하는 스케일링 머지 후보 생성 방법 및 머지 후보 리스트에 존재하는 머지 후보의 움직임 벡터를 영 벡터로 치환하여 새로운 머지 후보를 생성하는 영 벡터 머지 후보 생성 방법 중 하나인 화면 간 예측 방법.
제1항에 있어서, 상기 머지 후보 리스트는,
복수의 공간적 후보 예측 블록을 복수개의 공간적 후보 예측 블록으로 구성된 제1 그룹, 제2 그룹과 하나의 후보 예측 블록으로 나누고 상기 제1 그룹 및 상기 제2 그룹에서 가용하지 않은 공간적 후보 예측 블록이 존재하는 경우, 상기 가용하지 않은 공간적 후보 예측 블록을 하나의 후보 예측 블록으로 대체하여 생성되는 화면 간 예측 방법.
제 1항에 있어서, 상기 공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계는,
상기 예측 단위가 Nx2N인 경우, 좌측 상단 블록, 상단 좌측 제1 블록, 콜 블록, 좌측 하단 제2 블록, 상단 우측 제2 블록 순서로 우선 순위를 가지는 머지 후보 리스트가 생성되는 단계인 화면 간 예측 방법.
제1항에 있어서, 상기 공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계는,
상기 예측 단위가 2NxN인 경우, 좌측 상단 블록, 상단 좌측 제1 블록, 콜 블록, 상단 우측 제2 블록, 좌측 하단 제2 블록 순서로 우선 순위를 가지는 머지 후보 리스트가 생성되는 단계인 화면 간 예측 방법.
제1항에 있어서, 상기 공간적인 후보 예측 블록의 우선 순위를 고려하여 예측 단위의 머지 후보 리스트를 생성하는 단계는,
상기 예측 단위가 2Nx2N 또는 NxN인 경우, 좌측 하단 제1 블록, 상단 우측 제1 블록, 상단 우측 제2 블록, 좌측 하단 제2 블록, 상단 우측 제2 블록, 콜 블록 순서로 우선 순위를 가지는 머지 후보 리스트가 생성되는 단계인 화면 간 예측 방법.
공간적인 후보 예측 블록의 우선 순위를 고려한 예측 단위의 머지 후보 리스트 정보 및 상기 머지 후보 리스트에 포함되는 머지 후보 중 선택된 머지 후보의 인덱스 정보를 복호화하는 엔트로피 복호화부; 및
상기 엔트로피 복호화부로부터 전송된 머지 후보 리스트 정보 및 상기 머지 후보의 인덱스 정보를 기초로 예측 블록을 생성하는 예측부를 포함하는 영상 복호화 장치.
제14항에 있어서, 상기 예측부는,
상기 예측 단위 사이의 경계를 기준으로 가까이에 존재하는 소정의 개수의 열 또는 행에 존재하는 픽셀에 대한 필터링을 수행하는 중첩 블록 움직임 보상부를 포함하는 영상 복호화 장치.
제15항에 있어서, 상기 중첩 블록 움직임 보상부는,
상기 예측 단위 사이의 경계를 기준으로 가까이에 존재하는 소정의 개수의 열 또는 행에 존재하는 픽셀에 대한 필터링을 수행하는 영상 복호화 장치
제14항에 있어서, 상기 엔트로피 복호화부는,
상기 예측 단위가 Nx2N, nLx2N, nRx2N인 경우, 좌측 하단 제1 블록, 상단 우측 제1 블록, 상단 우측 제2 블록, 좌측 하단 제2 블록, 상단 우측 제2 블록, 콜 블록 순서로 우선 순위를 가지는 머지 후보 리스트를 생성하는 영상 복호화 장치.
제14항에 있어서, 상기 엔트로피 복호화부는,
머지 후보 리스트가 소정의 개수의 머지 후보를 가지지 못하는 경우, 추가의 머지 후보 리스트 생성 방법을 수행하는 영상 복호화 장치.
제18항에 있어서, 상기 추가의 머지 후보 리스트 생성 방법은,
기존의 머지 후보 리스트에 포함되어 있는 머지 후보의 움직임 정보를 조합하여 새로운 움직임 정보를 가지는 새로운 머지 후보를 생성하는 조합 머지 후보 생성 방법, 머지 후보 리스트에 존재하는 움직임 벡터의 방향을 반대로 하여 새로운 머지 후보를 생성하는 스케일링 머지 후보 생성 방법 및 머지 후보 리스트에 존재하는 머지 후보의 움직임 벡터를 영 벡터로 치환하여 새로운 머지 후보를 생성하는 영 벡터 머지 후보 생성 방법 중 하나인 영상 복호화 장치.
제14항에 있어서, 상기 머지 후보 리스트는,
복수의 공간적 후보 예측 블록을 복수개의 공간적 후보 예측 블록으로 구성된 제1 그룹, 제2 그룹과 하나의 후보 예측 블록으로 나누고 상기 제1 그룹 및 상기 제2 그룹에서 가용하지 않은 공간적 후보 예측 블록이 존재하는 경우, 상기 가용하지 않은 공간적 후보 예측 블록을 하나의 후보 예측 블록으로 대체하여 생성되는 영상 복호화 장치.