KR20130037193A

KR20130037193A - 스케일러블 비디오 부호화 및 복호화 방법과 이를 이용한 장치

Info

Publication number: KR20130037193A
Application number: KR1020120110780A
Authority: KR
Inventors: 이하현; 강정원; 최진수; 김진웅
Original assignee: 한국전자통신연구원
Priority date: 2011-10-05
Filing date: 2012-10-05
Publication date: 2013-04-15
Also published as: US20140247883A1; KR20130037161A

Abstract

본 발명에 따른 인터 레이어 예측 방법은, 인핸스먼트 레이어에 속한 인핸스먼트 기준 샘플의 위치를 기반으로, 참조 레이어 내에서 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치를 결정하는 단계, 참조 기준 샘플의 위치를 기반으로, 참조 레이어에서 적어도 하나의 참조 레이어 블록을 결정하는 단계 및 적어도 하나의 참조 레이어 블록의 움직임 정보를 기반으로, 인핸스먼트 레이어에 속한 현재 블록에 대해 예측을 수행하는 단계를 포함한다.

Description

스케일러블 비디오 부호화 및 복호화 방법과 이를 이용한 장치 {METHOD AND APPARATUS FOR SCALABLE ENCODING AND DECODING}

본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 스케일러블 비디오 코딩(Scalable Video Coding: SVC, 이하 ‘SVC’라 함)을 기반으로 하는 스케일러블 비디오 부호화 및 복호화 방법과 이들을 이용한 장치에 관한 것이다.

최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다.

예컨대, 단말의 성능과 컴퓨팅 능력(computing ability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 사용자에게 기업이 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다.

이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 박차를 가하고 있다.

또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다.

영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 픽셀 값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 픽셀 정보를 이용하여 현재 픽쳐에 포함된 다른 픽셀 값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.

상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다.

이와 같이, 이종의 통신망과 다양한 기능/종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 레이트 등을 다양하게 지원하는 스케일러빌리티(scalability)는 비디오 포맷의 중요한 기능이 되고 있다.

따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질 등의 측면에서 효율적인 비디오 부호화와 복호화가 가능하도록 스케일러빌리티 기능을 제공하는 것이 필요하다.

본 발명의 기술적 과제는 부호화/복호화 효율을 향상시킬 수 있는 스케일러블 비디오 부호화 방법 및 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 부호화/복호화 효율을 향상시킬 수 있는 스케일러블 비디오 복호화 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 기술적 과제는 부호화/복호화 효율을 향상시킬 수 있는 인터 레이어 예측 방법 및 장치를 제공함에 있다.

본 발명의 일 실시 형태는 인터 레이어 예측 방법이다. 상기 방법은, 인핸스먼트 레이어(enhancement layer)에 속한 인핸스먼트 기준 샘플의 위치를 기반으로, 참조 레이어(reference layer) 내에서 상기 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치를 결정하는 단계, 상기 참조 기준 샘플의 위치를 기반으로, 상기 참조 레이어에서 적어도 하나의 참조 레이어 블록을 결정하는 단계 및 상기 적어도 하나의 참조 레이어 블록의 움직임 정보를 기반으로, 상기 인핸스먼트 레이어에 속한 현재 블록에 대해 예측을 수행하는 단계를 포함할 수 있다. 이 때, 상기 인핸스먼트 기준 샘플의 위치는 상기 현재 블록에 대한 상대적인 위치로서 결정될 수 있고, 상기 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치는 상기 인핸스먼트 레이어의 입력 픽쳐 및 상기 참조 레이어의 입력 픽쳐 간의 입력 픽쳐 크기 비율을 기반으로 결정될 수 있다.

상기 인핸스먼트 기준 샘플은, 상기 현재 블록 내의 가장 좌측 상단에 위치한 좌측 상단 샘플, 상기 현재 블록 내의 중앙에 위치한 네 개의 샘플 중에서 좌측 상단에 위치한 좌측 상단 센터 샘플, 상기 현재 블록 외부의 우측 하단 코너에 가장 가까이 위치한 우측 하단 코너 샘플, 상기 현재 블록 외부의 좌측 하단 코너에 가장 가까이 위치한 좌측 하단 코너 샘플 및 상기 현재 블록 외부의 우측 상단 코너에 가장 가까이 위치한 우측 상단 코너 샘플 중에서 적어도 하나를 포함할 수 있다.

상기 적어도 하나의 참조 레이어 블록을 결정하는 단계에서는, 상기 참조 기준 샘플의 위치를 포함하는 제1 블록 및 상기 제1 블록의 주변에 위치한 제2 블록 중에서 적어도 하나의 블록을 상기 참조 레이어 블록으로 결정할 수 있고, 상기 제2 블록은 상기 제1 블록에 인접하여 위치한 블록들 및 상기 제1 블록 외부의 코너에 가장 가까이 위치한 블록들 중에서 적어도 하나를 포함할 수 있다.

상기 적어도 하나의 참조 레이어 블록을 결정하는 단계에서는, 상기 참조 기준 샘플의 위치를 포함하는 제1 블록이 가용하지 않거나(unavailable) 상기 제1 블록의 예측 모드가 인트라 모드(intra mode)인 경우, 상기 제1 블록의 주변에 위치한 제2 블록을 상기 참조 레이어 블록으로 결정할 수 있고, 상기 제2 블록은 상기 제1 블록에 인접하여 위치한 블록들 및 상기 제1 블록 외부의 코너에 가장 가까이 위치한 블록들 중에서 적어도 하나를 포함할 수 있다.

상기 적어도 하나의 참조 레이어 블록을 결정하는 단계에서는, 상기 참조 기준 샘플의 위치를 포함하는 제1 블록이 가용하지 않거나 상기 제1 블록의 예측 모드가 인트라 모드인 경우, 상기 참조 레이어 내에서, 상기 참조 기준 샘플이 아닌 다른 샘플의 위치를 포함하는 제2 블록을 상기 참조 레이어 블록으로 결정할 수 있고, 상기 참조 기준 샘플이 아닌 다른 샘플의 위치는, 상기 인핸스먼트 레이어 내의 샘플 중에서, 상기 참조 기준 샘플에 대응되는 인핸스먼트 기준 샘플과는 다른 위치의 샘플을 기반으로 결정될 수 있다.

상기 예측을 수행하는 단계는, 예측 움직임 벡터 인덱스(Motion Vector Predictor index: MVP index) 및 움직임 벡터 차분(Motion Vector Difference: MVD)을 포함한 영상 정보를 수신하는 단계, 상기 적어도 하나의 참조 레이어 블록의 움직임 정보를 기반으로, 복수의 예측 움직임 벡터 후보(motion vector predictor candidate)를 포함하는 예측 움직임 벡터 후보 리스트(motion vector predictor candidate list)를 생성하는 단계, 상기 예측 움직임 벡터 인덱스 및 상기 예측 움직임 벡터 후보 리스트를 기반으로, 상기 현재 블록의 예측 움직임 벡터를 결정하는 단계, 상기 결정된 예측 움직임 벡터 및 상기 움직임 벡터 차분을 더함으로써, 상기 현재 블록의 움직임 벡터를 도출하는 단계 및 상기 도출된 움직임 벡터를 기반으로 상기 현재 블록에 대한 예측을 수행하는 단계를 더 포함할 수 있다. 이 때, 상기 예측 움직임 벡터 인덱스는 상기 예측 움직임 벡터 후보 리스트를 구성하는 복수의 예측 움직임 벡터 후보 중에서 상기 현재 블록의 예측 움직임 벡터로 사용되는 예측 움직임 벡터 후보를 지시할 수 있고, 상기 움직임 벡터 차분은 상기 현재 블록의 움직임 벡터 및 상기 현재 블록의 예측 움직임 벡터 간의 차이 값에 해당될 수 있다.

상기 예측 움직임 벡터 후보 리스트를 생성하는 단계에서, 상기 적어도 하나의 참조 레이어 블록의 움직임 정보 각각에 대응되는 예측 움직임 벡터 후보는, 상기 입력 픽쳐 크기 비율을 기반으로 도출될 수 있다.

상기 예측 움직임 벡터 후보 리스트는, 복원된 주변 블록을 기반으로 도출되는 제1 예측 움직임 벡터 후보, 콜 블록(co-located block)을 기반으로 도출되는 제2 예측 움직임 벡터 후보 및 상기 적어도 하나의 참조 레이어 블록을 기반으로 도출되는 제3 예측 움직임 벡터 후보 중에서 적어도 하나를 포함할 수 있고, 상기 복원된 주변 블록은 상기 현재 블록에 인접하여 위치한 블록들 및 상기 현재 블록 외부의 코너에 가장 가까이 위치한 블록들 중에서 적어도 하나를 포함할 수 있고, 상기 콜 블록은, 상기 현재 블록이 속한 현재 픽쳐가 아닌, 참조 픽쳐를 구성하는 복수의 블록들 중에서 하나일 수 있다.

상기 복원된 주변 블록이 가용하지 가용하지 않거나 상기 복원된 주변 블록의 예측 모드가 인트라 모드인 경우, 상기 제1 예측 움직임 벡터 후보는 상기 참조 레이어 내에서 상기 복원된 주변 블록과 공간적으로 동일한 위치에 존재하는 블록의 움직임 벡터를 기반으로 도출될 수 있다.

상기 제3 예측 움직임 벡터 후보에는 상기 제1 예측 움직임 벡터 후보 및 상기 제2 예측 움직임 벡터 후보보다 작은 예측 움직임 벡터 인덱스 값이 할당될 수 있다.

상기 제3 예측 움직임 벡터 후보는, 상기 현재 블록에서 상기 현재 블록이 인터 예측 시에 참조하는 제1 참조 픽쳐까지의 제1 시간적 거리, 및 상기 참조 레이어 블록에서 상기 적어도 하나의 참조 레이어 블록이 인터 예측 시에 참조하는 제2 참조 픽쳐까지의 제2 시간적 거리를 기반으로, 상기 적어도 하나의 참조 레이어 블록의 움직임 정보에 대해 스케일링을 수행함으로써 도출될 수 있다. 이 때, 상기 제1 참조 픽쳐는 상기 인핸스먼트 레이어에 속한 블록이고, 상기 제2 참조 픽쳐는 상기 참조 레이어에 속한 블록일 수 있다.

상기 예측을 수행하는 단계는, 머지 인덱스(merge index)를 포함한 영상 정보를 수신하는 단계, 상기 적어도 하나의 참조 레이어 블록의 움직임 정보를 기반으로, 복수의 머지 후보(merge candidate)를 포함하는 머지 후보 리스트(merge candidate list)를 생성하는 단계, 상기 머지 인덱스 및 상기 머지 후보 리스트를 기반으로, 상기 현재 블록의 움직임 정보를 결정하는 단계 및 상기 결정된 움직임 정보를 기반으로, 상기 현재 블록에 대한 예측을 수행하는 단계를 더 포함할 수 있다. 이 때, 상기 머지 인덱스는 상기 머지 후보 리스트를 구성하는 복수의 머지 후보 중에서 상기 현재 블록의 움직임 정보로 사용되는 머지 후보를 지시할 수 있다.

상기 머지 후보 리스트를 생성하는 단계에서, 상기 적어도 하나의 참조 레이어 블록의 움직임 정보 각각에 대응되는 머지 후보는, 상기 입력 픽쳐 크기 비율을 기반으로 도출될 수 있다.

상기 머지 후보 리스트는, 복원된 주변 블록을 기반으로 도출되는 제1 머지 후보, 콜 블록을 기반으로 도출되는 제2 머지 후보 및 상기 적어도 하나의 참조 레이어 블록을 기반으로 도출되는 제3 머지 후보 중에서 적어도 하나를 포함할 수 있다. 이 때, 상기 복원된 주변 블록은 상기 현재 블록에 인접하여 위치한 블록들 및 상기 현재 블록 외부의 코너에 가장 가까이 위치한 블록들 중에서 적어도 하나를 포함할 수 있고, 상기 콜 블록은, 상기 현재 블록이 속한 현재 픽쳐가 아닌, 참조 픽쳐를 구성하는 복수의 블록들 중에서 하나일 수 있다.

상기 복원된 주변 블록이 가용하지 가용하지 않거나 상기 복원된 주변 블록의 예측 모드가 인트라 모드인 경우, 상기 제1 머지 후보는 상기 참조 레이어 내에서 상기 복원된 주변 블록과 공간적으로 동일한 위치에 존재하는 블록의 움직임 벡터를 기반으로 도출될 수 있다.

상기 제3 머지 후보에는 상기 제1 머지 후보 및 상기 제2 머지 후보보다 작은 머지 인덱스 값이 할당될 수 있다.

상기 머지 후보 리스트를 생성하는 단계는, 상기 제3 머지 후보에 대응되는 참조 픽쳐 인덱스를 결정하는 단계를 더 포함할 수 있다. 여기서, 상기 참조 픽쳐 인덱스는, 상기 제3 머지 후보가 상기 현재 블록의 움직임 정보로 결정되는 경우 상기 현재 블록이 인터 예측 시에 참조하는 제1 참조 픽쳐를 지시할 수 있고, 상기 제1 참조 픽쳐는, 상기 적어도 하나의 참조 레이어 블록이 인터 예측 시에 참조하는 제2 참조 픽쳐의 POC(Pucture Order Count) 값과 동일한 POC 값을 갖는 픽쳐일 수 있다. 또한, 상기 제1 참조 픽쳐는 상기 인핸스먼트 레이어에 속한 픽쳐이고 상기 제2 참조 픽쳐는 상기 참조 레이어에 속한 픽쳐일 수 있다.

본 발명의 다른 실시 형태는 스케일러블 비디오 복호화 방법이다. 상기 방법은, 인핸스먼트 레이어에 속한 인핸스먼트 기준 샘플의 위치를 기반으로, 참조 레이어 내에서 상기 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치를 결정하는 단계, 상기 참조 기준 샘플의 위치를 기반으로, 상기 참조 레이어에서 적어도 하나의 참조 레이어 블록을 결정하는 단계, 상기 적어도 하나의 참조 레이어 블록의 움직임 정보를 기반으로, 상기 인핸스먼트 레이어에 속한 현재 블록에 대해 예측을 수행함으로써, 상기 현재 블록에 대응되는 예측 블록을 생성하는 단계 및 상기 예측 블록을 기반으로 상기 현재 블록에 대응되는 복원 블록을 생성하는 단계를 포함할 수 있다. 이 때, 상기 인핸스먼트 기준 샘플의 위치는 상기 현재 블록에 대한 상대적인 위치로서 결정될 수 있고, 상기 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치는 상기 인핸스먼트 레이어의 입력 픽쳐 및 상기 참조 레이어의 입력 픽쳐 간의 입력 픽쳐 크기 비율을 기반으로 결정될 수 있다.

본 발명에 따른 스케일러블 비디오 부호화 방법에 의하면, 부호화/복호화 효율이 향상될 수 있다.

본 발명에 따른 스케일러블 비디오 복호화 방법에 의하면, 부호화/복호화 효율이 향상될 수 있다.

본 발명에 따른 인터 레이어 예측 방법에 의하면, 부호화/복호화 효율이 향상될 수 있다.

도 1은 영상 부호화 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 2는 영상 복호화 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 도면이다.
도 4는 본 발명에 따라 스케일러블 비디오 코딩에 적용되는 인터 예측 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 5는 인핸스먼트 기준 샘플의 위치를 기반으로 참조 기준 샘플의 위치를 도출하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 참조 레이어 블록 결정 방법의 실시예를 개략적으로 나타내는 흐름도이다.
도 7은 AMVP 모드 및 머지 모드에서 움직임 정보 후보를 도출하는 방법의 실시예를 설명하기 위한 도면이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.

본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

도 1은 영상 부호화 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다. 스케일러블(scalable) 비디오 부호화/복호화 방법 또는 장치는 스케일러빌리티(scalability)를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.

도 1을 참조하면, 영상 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(125), 감산기(130), 변환부(135), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 픽쳐 버퍼(190)를 포함할 수 있다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bitstream)을 출력할 수 있다. 인트라 모드인 경우 스위치(125)가 인트라로 전환되고, 인터 모드인 경우 스위치(125)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀 값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 인터 예측부(110)는, 움직임 예측 과정에서 픽쳐 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록에 대응하는 영역을 찾아 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 픽쳐 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 이 때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 서로 다를 수 있다. 예컨대, PU 단위로 예측 모드가 정해져서 TU 단위로 예측이 수행될 수도 있고, PU 단위로 예측 모드가 정해지고 TU 단위로 예측이 수행될 수도 있다.

감산기(130)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다. 변환부(135)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로, 양자화된 계수를 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다.

양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 픽쳐 버퍼(190)에 저장될 수 있다.

도 2는 영상 복호화 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다. 도 1에서 상술한 바와 같이 스케일러블 비디오 부호화/복호화 방법 또는 장치는 스케일러빌리티를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.

도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 필터부(260) 및 픽쳐 버퍼(270)를 포함할 수 있다.

영상 복호화 장치(200)는 부호화 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화한다. 엔트로피 복호화에 의해, 양자화된 (변환) 계수가 생성될 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환된 결과, 복원된 잔차 블록(residual block)이 생성될 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 픽쳐 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 이 때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 서로 다를 수 있다. 예컨대, PU 단위로 예측 모드가 정해져서 TU 단위로 예측이 수행될 수도 있고, PU 단위로 예측 모드가 정해지고 TU 단위로 예측이 수행될 수도 있다.

복원된 잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나를 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 픽쳐 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.

이하, 블록은 영상 부호화 및 복호화의 단위를 의미한다. 영상 부호화 및 복호화 시 부호화 혹은 복호화 단위는, 하나의 영상을 세분화된 유닛으로 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 말하므로, 매크로 블록, 부호화 유닛 (CU: Coding Unit), 예측 유닛 (PU: Prediction Unit), 예측 블록(PB: Prediction Block), 변환 유닛(TU: Transform Unit), 변환 블록(TB: Transform Block) 등으로 불릴 수 있다. 따라서, 본 명세서에서 블록(및/또는 부호화/복호화 대상 블록)이라 함은, 상기 블록(및/또는 부호화/복호화 대상 블록)에 대응하는 부호화 유닛, 예측 유닛 및/또는 변환 유닛을 의미할 수 있다. 이러한 구분은 해당 기술 분야에서 통상의 지식을 가진 자라면 용이하게 할 수 있을 것이다.

한편, 통신 및 영상 기술의 발달에 따라서, 영상 정보를 이용하는 다양한 기기가 서로 다른 성능을 가지고 이용되고 있다. 핸드폰과 같은 기기들은 비교적 낮은 해상도의 동영상을 비트 스트림 기반으로 재생하기도 한다. 이에 비하여, PC(Personal Computer)와 같은 기기들은 비교적 높은 해상도의 동영상을 재생할 수 있다.

따라서, 다양한 성능의 기기들에 최적의 동영상 서비스를 제공하기 위한 방법이 고려될 필요가 있다. 이에 대한 해법 중 하나가 스케일러블 비디오 코딩(Scalable Video Coding: SVC, 이하, ‘SVC’라 함)이다.

도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 도면이다. 도 3에서 GOP(Group of Picture)는 픽쳐의 그룹을 나타낸다.

영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.

스케일러블 비디오 코딩 방법(Scalable Video Coding: SVC, 이하 ‘SVC’라 함)은 레이어(layer) 간의 텍스쳐 정보, 움직임 정보, 잔차 신호 등을 활용하여 레이어 간의 중복성을 제거하여 부호화/복호화 성능을 높이는 코딩 방법이다. 예를 들어, 스케일러블 비디오 부호화/복호화 과정에서는 레이어 간의 중복성을 제거하여 부호화/복호화 효율을 향상시키기 위해, 인터 레이어 텍스쳐 예측, 인터 레이어 움직임 정보 예측 및/또는 인터 레이어 잔차 신호 예측 등이 적용될 수 있다. SVC는, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.

SVC는, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 레이어(multiple layers) 구조를 사용할 수 있다. 예를 들어 SVC는, 일반적인 영상 부호화 방법을 이용하여 영상 정보를 처리하는 베이스 레이어(base layer)와 함께, 베이스 레이어의 부호화 정보 및 일반적인 영상 부호화 방법을 함께 사용하여 영상 정보를 처리하는 인핸스먼트 레이어(enhancement layer)를 포함할 수 있다.

레이어 구조는 복수의 공간 레이어, 복수의 시간 레이어, 복수의 화질 레이어 등을 포함할 수 있다. 서로 다른 공간 레이어에 포함된 영상들은 서로 다른 공간적 해상도를 가질 수 있으며, 서로 다른 시간 레이어에 포함된 영상들은 서로 다른 시간적 해상도(프레임율)를 가질 수 있다. 또한 서로 다른 화질 레이어에 포함된 영상들은 서로 다른 화질, 예를 들어 서로 다른 SNR(Signal-to-Noise Ratio)을 가질 수 있다.

여기서, 레이어(layer)는 공간(예를 들어, 영상 크기), 시간(예를 들어, 부호화 순서, 영상 출력 순서), 화질, 복잡도 등을 기준으로 구분되는 영상 및/또는 비트스트림(bitstream)의 집합을 의미할 수 있다. 또한, 복수의 레이어들은 서로 간에 종속성을 가질 수도 있다.

도 3을 참조하면, 상술한 바와 같이, SVC 구조는 복수의 레이어를 포함할 수 있다. 도 3에서는 각 레이어의 픽쳐들이 POC(Picture Order Count)에 따라 배열되어 있는 예를 보여준다. 각 레이어, 즉 베이스 레이어와 인핸스먼트 레이어들은 서로 다른 비트율, 해상도, 크기 등의 특성을 가질 수 있다. 베이스 레이어에 대한 비트스트림은 기본적인 영상 정보를 포함할 수 있고, 인핸스먼트 레이어에 대한 비트스트림은 베이스 레이어의 품질(정확도, 크기 및/또는 프레임 레이트(frame rate) 등)이 더 향상된 영상에 대한 정보를 포함할 수 있다.

따라서, 각 레이어는 서로 다른 특성을 고려하여 부호화/복호화될 수 있다. 예컨대, 도 1의 부호화 장치 및 도 2의 복호화 장치가 각 레이어 별로 해당 레이어의 픽쳐를 도 1 및 도 2에서 상술한 바와 같이 부호화하고 복호화할 있다.

또한, 각 레이어의 픽쳐는 다른 레이어의 정보를 이용하여 부호화/복호화될 수도 있다. 예컨대, 각 레이어의 픽쳐는 다른 레이어의 정보를 이용한 인터 레이어 예측(inter layer prediction)을 통해 부호화되고 복호화될 수 있다. 따라서, SVC 구조에 있어서, 도1와 도 2에서 설명한 부호화 장치 및 복호화 장치의 예측부는 다른 레이어, 즉 참조 레이어(reference layer)의 정보를 이용한 예측을 수행할 수 있다. 부호화 장치 및 복호화 장치의 예측부는 다른 레이어의 정보를 이용하여 인터 레이어 텍스쳐(texture) 예측, 인터 레이어 움직임 정보 예측, 인터 레이어 잔차 신호(residual) 예측 등을 수행할 수 있다.

인터 레이어 텍스쳐 예측에서는 다른 레이어의 텍스쳐 정보를 기반으로 현재 레이어(부호화 또는 복호화 대상 레이어)의 텍스쳐가 예측될 수 있다. 인터 레이어 움직임 정보 예측에서는 다른 레이어의 움직임 정보(움직임 벡터, 참조 픽쳐 등)를 기반으로 현재 레이어의 움직임 정보가 예측될 수 있다. 인터 레이어 잔차 신호 예측에서는 다른 레이어의 잔차 신호를 기반으로 현재 레이어의 잔차 신호가 예측될 수 있다.

SVC에서는 다른 레이어의 정보를 이용하여 현재 레이어가 부호화되고 복호화되므로, 레이어 간의 중복된 정보를 처리하는 복잡도기 감소될 수 있으며, 중복된 정보를 전송하는 오버헤드가 감소될 수도 있다.

도 4는 본 발명에 따라 스케일러블 비디오 코딩에 적용되는 인터 예측 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.

도 4의 실시예는 다른 언급이 없는 한 스케일러블 비디오 부호화기(이하, 부호화기라 함) 및 스케일러블 비디오 복호화기(이하, 복호화기라 함)에 동일한 방식으로 적용될 수 있다. 즉, 복호화기는 부호화기에서와 동일한 방식으로 인터 예측을 수행할 수 있다.

인터 예측 시에 부호화기 및 복호화기는 부호화/복호화 대상 블록이 속한 현재 픽쳐의 이전 픽쳐들 및 이후 픽쳐들 중에서 적어도 하나를 참조 픽쳐(reference picture)로 결정할 수 있다. 여기서, 참조 픽쳐는 부호화/복호화 대상 블록의 예측에 사용되는 픽쳐를 의미할 수 있고, 참조 프레임(reference frame)으로도 불릴 수 있다. 현재 픽쳐의 이전 픽쳐들 및 이후 픽쳐들 중에서 참조 픽쳐로 사용되는 픽쳐는 참조 픽쳐 인덱스(reference picture index)에 의해 지시될 수 있다.

이 때, 부호화기 및 복호화기는 결정된 참조 픽쳐를 기반으로 부호화/복호화 대상 블록에 대한 예측을 수행할 수 있다. 부호화기 및 복호화기는 참조 픽쳐 내에서 부호화/복호화 대상 블록에 대응되는 참조 블록을 선택하고, 선택된 참조 블록을 기반으로 부호화/복호화 대상 블록에 대응되는 예측 블록을 생성할 수 있다. 참조 블록에 속한 참조 블록의 위치는 움직임 벡터(motion vector)를 통해 나타내어질 수 있다.

부호화기는 율-왜곡 최적화(rate-distortion optimization)를 기반으로, 부호화/복호화 대상 블록에 대응하는 잔차(residual) 신호 및 움직임 벡터의 크기가 최소가 되도록 예측을 수행할 수 있다. 이 때, 상기 예측 과정에서 부호화기는 참조 픽쳐 인덱스 및 움직임 벡터에 관련된 정보를 생성할 수 있으며, 생성된 정보를 부호화하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 전송된 정보를 기반으로 인터 예측을 수행할 수 있다. 이하, 본 명세서에서 움직임 정보는 참조 픽쳐 인덱스 및 움직임 벡터 등을 모두 포함하는 개념으로 이해될 수 있다.

한편, 도 4의 실시예에는 인터 레이어 예측(예를 들어, 인터 레이어 움직임 정보 예측)이 적용될 수 있다. 즉, 도 4의 실시예에 따른 인터 예측 방법은 인터 레이어 예측 방법(예를 들어, 인터 레이어 움직임 예측 방법)에 해당될 수 있다. 여기서, 인터 레이어 예측은 인핸스먼트 레이어의 데이터 값을 결정 혹은 예측하는 방법을 의미할 수 있다. 이 때, 예측의 기반이 되는 레이어는 참조 레이어로 불릴 수 있다.

인터 레이어 예측이 수행되는 경우, 부호화기 및 복호화기는 베이스 레이어와 같은 하위 레이어의 정보를 최대한 활용하여 인핸스먼트 레이어의 정보를 예측할 수 있다. 따라서, 인핸스먼트 레이어의 예측을 위해 전송되거나 처리되는 정보의 양이 크게 감소될 수 있다. 이 때, 부호화기 및 복호화기는 복원된 하위 레이어의 정보를, 상위 레이어, 예컨대 인핸스먼트 레이어의 정보를 복원하는데 이용할 수 있다. 일례로, 인핸스먼트 레이어에 대한 입력 영상 크기가 하위 레이어에 대한 입력 영상의 크기보다 큰 경우, 부호화기 및 복호화기는 복원된 하위 레이어의 정보를 업 샘플링하여 이용할 수 있다. 도 4의 실시예에서, 부호화/복호화 대상 블록(예를 들어, PU)은 인핸스먼트 레이어에 속한 블록이라 가정한다.

도 4를 참조하면, 부호화기 및 복호화기는 부호화/복호화 대상 블록의 움직임 정보를 도출할 수 있다(S410).

인터 모드에서 부호화기 및 복호화기는 부호화/복호화 대상 블록의 움직임 정보를 도출한 후, 상기 도출된 움직임 정보에 기반하여 인터 예측 및/또는 움직임 보상을 수행할 수 있다. 이 때, 부호화기 및 복호화기는 ‘복원된 주변 블록’(neighboring block) 및 이미 복원된 콜 픽쳐(collocated picture) 내에서 부호화/복호화 대상 블록에 대응되는 ‘콜 블록(col block)’뿐만 아니라, 참조 레이어 내에서 부호화/복호화 대상 블록에 대응되는 ‘참조 레이어 블록’의 움직임 정보를 이용함으로써, 부호화/복호화 효율을 향상시킬 수 있다.

여기서, 복원된 주변 블록은 이미 부호화 및/또는 복호화되어 복원된 부호화/복호화 대상 픽쳐 내의 블록으로서, 부호화/복호화 대상 블록에 인접한 블록 및/또는 부호화/복호화 대상 블록의 외부 코너에 위치한 블록을 포함할 수 있다. 또한 부호화기 및 복호화기는, 콜 픽쳐 내에서 부호화/복호화 대상 블록과 공간적으로 동일한 위치에 존재하는 블록을 기준으로 소정의 상대적인 위치를 결정할 수 있고, 상기 결정된 소정의 상대적인 위치(상기 부호화/복호화 대상 블록과 공간적으로 동일한 위치에 존재하는 블록의 내부 및/또는 외부의 위치)를 기반으로 상기 콜 블록을 도출할 수 있다. 여기서, 일례로 콜 픽쳐는 참조 픽쳐 리스트에 포함된 참조 픽쳐 중에서 하나의 픽쳐에 해당될 수 있다.

또한, 참조 레이어 블록은 참조 레이어 내의 참조 기준 샘플의 위치를 기반으로 결정될 수 있다. 일례로, 상기 참조 레이어 블록은 상기 참조 기준 샘플의 위치를 포함하는 블록 및/또는 상기 참조 기준 샘플의 위치를 포함하는 블록에 인접하여 위치한 주변 블록을 포함할 수 있다. 이 때, 상기 참조 기준 샘플의 위치는 인핸스먼트 레이어에 속한 인핸스먼트 기준 샘플의 위치를 기반으로 도출될 수 있다. 상기 인핸스먼트 기준 샘플의 위치는 부호화/복호화 대상 블록에 대한 상대적인 위치로서 정해질 수 있다. 인핸스먼트 기준 샘플의 위치를 기반으로 참조 기준 샘플의 위치를 도출하는 방법 및 참조 기준 샘플의 위치를 기반으로 참조 레이어 블록을 도출하는 방법의 구체적인 실시예들은 후술하기로 한다.

한편, 움직임 정보 도출 방식은 부호화/복호화 대상 블록의 예측 모드에 따라 달라질 수 있다. 인터 예측을 위해 적용되는 예측 모드에는 스킵(skip), AMVP(Advanced Motion Vector Predictor) 및 머지(merge) 등이 있을 수 있다. 부호화기는 인터 예측 모드를 결정한 후, 스킵 모드가 적용되는지 여부를 지시하는 스킵 플래그(skip flag) 정보 및/또는 머지 모드가 적용되는지 여부를 지시하는 머지 플래그(merge flag) 정보를 부호화하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 상기 전송된 정보를 기반으로 부호화/복호화 대상 블록의 예측 모드를 결정할 수 있다.

일례로, AMVP(Advanced Motion Vector Predictor)가 적용되는 경우, 부호화기 및 복호화기는 복원된 주변 블록의 움직임 벡터, 콜 블록의 움직임 벡터 및/또는 참조 레이어 블록의 움직임 벡터를 이용하여, 예측 움직임 벡터 후보 리스트(Motion Vector Predictor candidate list: MVP candidate list)를 생성할 수 있다. 즉, 복원된 주변 블록의 움직임 벡터, 콜 블록의 움직임 벡터 및/또는 참조 레이어 블록의 움직임 벡터는 예측 움직임 벡터 후보로 사용될 수 있다.

복수 개의 예측 움직임 벡터 후보가 사용되는 경우, 부호화기는 율-왜곡 최적화(Rate-Distortion Optimization: RDO)를 기반으로 상기 리스트에 포함된 복수의 예측 움직임 벡터 후보 중에서 최적의 예측 움직임 벡터(Motion Vector Predictor: MVP)를 선택할 수 있다. 이 때, 부호화기는 상기 선택된 최적의 예측 움직임 벡터를 지시하는 예측 움직임 벡터 인덱스를 복호화기로 전송할 수 있다. 이 때, 복호화기는 상기 예측 움직임 벡터 인덱스를 이용하여, 예측 움직임 벡터 후보 리스트에 포함된 복수의 예측 움직임 벡터 후보 중에서, 복호화 대상 블록의 예측 움직임 벡터를 선택할 수 있다.

부호화기는 부호화 대상 블록의 움직임 벡터와 예측 움직임 벡터 간의 움직임 벡터 차분(MVD: Motion Vector Difference)을 구할 수 있고, 이를 부호화하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 수신된 움직임 벡터 차분을 복호화할 수 있고, 복호화된 움직임 벡터 차분과 예측 움직임 벡터의 합을 통해 복호화 대상 블록의 움직임 벡터를 도출할 수 있다.

다른 예로, 머지(merge)가 적용되는 경우, 부호화기 및 복호화기는 복원된 주변 블록의 움직임 정보, 콜 블록의 움직임 정보 및/또는 참조 레이어 블록의 움직임 정보를 기반으로, 머지 후보 리스트를 생성할 수 있다. 즉, 부호화기 및 복호화기는 복원된 주변 블록, 콜 블록의 움직임 정보 및/또는 참조 레이어 블록의 움직임 정보가 존재하는 경우, 이를 부호화/복호화 대상 블록에 대한 머지 후보로 사용할 수 있다. 여기서, 머지는 움직임 정보 통합으로 불릴 수도 있으며, 머지 후보는 움직임 정보 통합 후보로도 불릴 수 있다.

복수 개의 머지 후보가 사용되는 경우, 부호화기는 율-왜곡 최적화(Rate-Distortion Optimization: RDO)를 기반으로 머지 후보 리스트에 포함된 머지 후보 중에서 최적의 부호화 효율을 제공할 수 있는 머지 후보를 부호화 대상 블록에 대한 움직임 정보로 선택할 수 있다. 이 때, 상기 선택된 머지 후보를 지시하는 머지 인덱스(merge index)가 비트스트림에 포함되어 복호화기로 전송될 수 있다. 복호화기는 상기 전송된 머지 인덱스를 이용하여, 머지 후보 리스트에 포함된 머지 후보 중에서 하나를 선택할 수 있으며, 상기 선택된 머지 후보를 복호화 대상 블록의 움직임 정보로 결정할 수 있다. 따라서, 머지 모드가 적용되는 경우, 복원된 주변 블록, 콜 블록 및/또는 참조 레이어 블록의 움직임 정보가 부호화/복호화 대상 블록의 움직임 정보로 그대로 사용될 수 있다.

스킵 모드는 부호화/복호화 대상 블록과 현재 블록 간의 차이인 잔차 신호의 전송이 생략되는 예측 모드이다. 이 때, 일례로 움직임 정보는 머지 모드에서와 동일한 방식으로 도출될 수 있다. 따라서, 스킵 모드에서 부호화기는 머지 인덱스 정보를 부호화하여 복호화기로 전송할 수 있고, 복호화기는 전송된 머지 인덱스 정보를 기반으로 움직임 정보를 도출할 수 있다.

다시 도 4를 참조하면, 부호화기 및 복호화기는 상기 도출된 움직임 정보에 기반하여 부호화/복호화 대상 블록에 대한 움직임 보상을 수행함으로써, 부호화/복호화 대상 블록에 대응하는 예측 블록을 생성할 수 있다(S420). 여기서, 예측 블록은 부호화/복호화 대상 블록에 대한 움직임 보상 수행 결과 생성된 블록을 의미할 수 있다.

AMVP 및 머지 모드에서, 부호화기는 부호화/복호화 대상 블록 및 예측 블록 간의 차이에 해당되는 잔차 블록을 생성할 수 있고, 상기 잔차 블록에 관한 정보를 부호화하여 복호화기로 전송할 수 있다. 복호화기는 전송된 정보를 기반으로 잔차 블록을 생성하고, 생성된 잔차 블록을 예측 블록과 더함으로써, 복원 블록을 생성할 수 있다. 반면, 스킵 모드에서는 부호화/복호화 대상 블록 및 예측 블록 간의 잔차 신호의 값이 0일 수 있다. 따라서, 부호화기는 잔차 신호 등과 같은 신택스 정보를 복호화기로 전송하지 않을 수 있다.

상술한 실시예에 따르면, 머지 모드 및 스킵 모드에서는 인터 예측 과정(및/또는 움직임 정보 도출 과정)이 동일할 수 있다. 따라서, 후술되는 실시예들에서 머지 모드라 함은, 상술한 머지 모드 및 스킵 모드를 모두 포함하는 개념에 해당될 수 있다.

또한 이하, 본 명세서에서는 설명의 편의상 상술한 예측 움직임 벡터 후보 및 상술한 머지 후보를 총칭하여 ‘움직임 정보 후보’라 한다. 즉, 본 명세서에서 ‘움직임 정보 후보’는 예측 움직임 벡터 후보 및 머지 후보를 포함하는 개념으로 사용될 수 있다. 따라서, 본 명세서에서 예측 움직임 벡터 후보 리스트 및 머지 후보 리스트는 움직임 정보 후보 리스트로도 불릴 수 있다.

한편 상술한 바와 같이, 인터 레이어 움직임 정보 예측 시에 부호화기 및 복호화기는 인핸스먼트 기준 샘플의 위치를 기반으로 참조 레이어 내의 참조 기준 샘플의 위치를 결정할 수 있다. 또한, 부호화기 및 복호화기는 참조 기준 샘플의 위치를 기반으로 움직임 정보 후보를 도출하기 위한 ‘참조 레이어 블록’의 위치를 결정할 수 있다.

이 때, 인핸스먼트 기준 샘플의 위치는 부호화/복호화 대상 블록(인핸스먼트 레이어에 속한 블록)에 대한 상대적인 위치일 수 있으며, 일례로 소정의 고정된 하나의 위치일 수 있다. 이 경우, 상기 부호화/복호화 대상 블록에 대해 도출되는 참조 기준 샘플의 위치는, 상기 인핸스먼트 기준 샘플의 위치에 대응되는 하나의 위치로 결정될 수 있다. 또한, 일례로 부호화기 및 복호화기는 인터 레이어 움직임 정보 예측 시에, 상기 참조 기준 샘플의 위치를 포함하는 참조 레이어 블록의 움직임 정보만을 움직임 정보 후보로 사용함으로써, 부호화/복호화 대상 블록(인핸스먼트 레이어에 속한 블록)의 움직임 정보를 부호화/복호화할 수 있다.

그러나, 쿼드 트리 구조(quad-tree structure)를 기반으로 하는 스케일러블 비디오 부호화/복호화 과정에서는, 인핸스먼트 레이어 및 참조 레이어 간의 코딩 구조의 종속성이 낮을 수 있다. 따라서, 소정의 고정된 위치의 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플 위치만을 기반으로 참조 레이어 블록이 결정되거나 참조 기준 샘플 위치를 포함하는 블록만이 참조 레이어 블록으로 결정되는 경우, 참조 레이어 블록의 움직임 정보를 기반으로 하는 인터 레이어 움직임 정보 예측의 효율이 저하될 수 있다.

따라서, 인터 레이어 움직임 정보 예측 시에 부호화기 및 복호화기는 복수의 인핸스먼트 기준 샘플의 위치를 기반으로 적응적으로 참조 기준 샘플의 위치를 결정함으로써, 인터 레이어 움직임 정보 예측 효율을 향상시킬 수 있다. 이 때, 인핸스먼트 레이어에 속한 하나의 부호화/복호화 대상 블록에 대해 결정되는 참조 기준 샘플의 위치는, 소정의 조건에 따라 다양하게 결정될 수 있다. 또한, 참조 기준 샘플의 위치가 결정되면, 부호화기 및 복호화기는 상기 참조 기준 샘플의 위치를 포함하는 블록뿐만 아니라, 상기 참조 기준 샘플의 위치를 포함하는 블록의 주변에 위치한 주변 블록을 참조 레이어 블록으로 이용할 수 있다. 이 때, 부호화기 및 복호화기는 선택된 참조 레이어 블록으로부터 도출되는 움직임 정보를 AMVP 및/또는 머지 과정에서 움직임 정보 후보(예를 들어, 예측 움직임 벡터 후보 및/또는 머지 후보)로 사용함으로써, 부호화/복호화 효율을 향상시킬 수 있다.

상술한 인터 레이어 움직임 정보 예측 방식에 의하면, 레이어 간의 영상 크기의 차이 및 레이어 간의 코딩 구조의 차이 등에 따라 발생되는, 인터 레이어 움직임 정보 예측 효율의 저하를 최소화할 수 있다. 또한, 상술한 방식에 따라 도출되는 참조 레이어 블록의 움직임 정보를 움직임 정보 후보 (예를 들어, 예측 움직임 벡터 후보 및/또는 머지 후보)로 사용함으로써, 부호화/복호화 효율을 향상시킬 수 있다.

도 5는 인핸스먼트 기준 샘플의 위치를 기반으로 참조 기준 샘플의 위치를 도출하는 방법을 설명하기 위한 도면이다.

도 5의 실시예는 다른 언급이 없는 한 스케일러블 비디오 부호화기(이하, 부호화기라 함) 및 스케일러블 비디오 복호화기(이하, 복호화기라 함)에 동일한 방식으로 적용될 수 있다. 즉, 복호화기는 부호화기에서와 동일한 방식으로 참조 기준 샘플의 위치를 결정할 수 있다.

도 5는 인핸스먼트 레이어에 속한 부호화/복호화 대상 블록(510) 및 상기 부호화/복호화 대상 블록(510)에 대응하는 인핸스먼트 기준 샘플의 실시예들을 개략적으로 도시한다. 여기서, 부호화/복호화 대상 블록(510)은 일례로 하나의 예측 유닛에 대응하는 블록일 수 있다.

도 5의 실시예에서 부호화/복호화 대상 블록(510)의 폭(width), 즉 상기 부호화/복호화 대상 블록(510)의 가로 방향 길이는 nPSW로 나타내어질 수 있다. 또한, 도 5의 실시예에서 부호화/복호화 대상 블록(510)의 높이(height), 즉 상기 부호화/복호화 대상 블록(510)의 세로 방향 길이는 nPSH로 나타내어질 수 있다.

부호화/복호화 대상 블록(510)이 속한 인핸스먼트 레이어 및 참조 레이어 간에 입력 영상(및/또는 입력 픽쳐)의 크기가 다른 경우, 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치는 인핸스먼트 레이어에 대한 입력 영상(및/또는 입력 픽쳐) 및 참조 레이어에 대한 입력 영상(및/또는 입력 픽쳐)의 크기 비율을 기반으로 도출될 수 있다. 여기서, 상기 크기 비율은 일례로, scalingfactor로 나타내어질 수 있으며, 다음 수학식 1과 같이 나타내어질 수 있다.

[수학식 1]

sf_X = 인핸스먼트 레이어의 입력 영상(및/또는 입력 픽쳐) 가로 크기/참조 레이어의 입력 영상(및/또는 입력 픽쳐) 가로 크기

sf_Y = 인핸스먼트 레이어의 입력 영상(및/또는 입력 픽쳐) 세로 크기/참조 레이어의 입력 영상(및/또는 입력 픽쳐) 세로 크기

여기서, sf_X는 가로 방향의 크기 비율을 나타낼 수 있고, sf_Y는 세로 방향의 크기 비율을 나타낼 수 있다.

일례로, 인핸스먼트 레이어에 대한 입력 영상(및/또는 입력 픽쳐) 및 참조 레이어에 대한 입력 영상(및/또는 입력 픽쳐)의 크기가 동일한 경우, 입력 영상 크기 비율은 1일 수 있다. 또한, 인핸스먼트 레이어의 입력 영상(및/또는 입력 픽쳐)의 가로 크기가 참조 레이어에 대한 입력 영상(및/또는 입력 픽쳐)의 가로 크기의 2배이고, 인핸스먼트 레이어의 입력 영상(및/또는 입력 픽쳐)의 세로 크기가 참조 레이어에 대한 입력 영상(및/또는 입력 픽쳐)의 세로 크기의 2배인 경우, 입력 영상 크기 비율은 2일 수 있다.

또한, 후술되는 실시예들에서 (X, Y)/scalingfactor는 X 및 Y를 각각 scalingfactor로 나누는 것을 의미할 수 있다. 즉, 후술되는 실시예들에서 (X, Y)/scalingfactor는 (X/scalingfactor, Y/scalingfactor)를 의미할 수 있다. 또한, 가로 방향 크기 비율(예를 들어, 2) 및 세로 방향 크기 비율(예를 들어, 1.5)이 다른 경우, (X, Y)/scalingfactor는 (X/sf_X, Y/sf_Y)를 의미할 수 있다.

이하, 부호화/복호화 대상 블록(510)에 대응하는 인핸스먼트 기준 샘플 위치의 실시예들 및 인핸스먼트 기준 샘플의 위치를 기반으로 참조 기준 샘플의 위치를 도출하는 방법의 실시예들이 서술된다.

도 5를 참조하면, 일 실시예로 인핸스먼트 기준 샘플은 부호화/복호화 대상 블록(510) 내의 가장 좌측 상단에 위치한 좌측 상단 샘플(520)일 수 있다. 이 때, 부호화/복호화 대상 블록(510) 내의 가장 좌측 상단 위치는 (xP,yP)로 나타내어질 수 있으며, xP는 상기 좌측 상단 샘플(520)의 x축 좌표, yP는 상기 좌측 상단 샘플(520)의 y축 좌표를 의미할 수 있다. 이 때, 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치는 일례로 다음 수학식 2에 의해 도출될 수 있다.

[수학식 2]

(refxP, refyP) = (xP, yP) / scalingfactor

여기서, refxP는 참조 기준 샘플의 x축 좌표를 나타낼 수 있고, refyP는 참조 기준 샘플의 y축 좌표를 나타낼 수 있다.

다른 실시예로 인핸스먼트 기준 샘플은 부호화/복호화 대상 블록(510) 내의 중앙에 위치한 네 개의 센터 샘플 중에서 적어도 하나에 해당될 수 있다.

일례로, 인핸스먼트 기준 샘플은 상기 센터 샘플 중에서 좌측 상단에 위치한 좌측 상단 센터 샘플(530)일 수 있다. 이 때, 상기 좌측 상단 센터 샘플(530)의 위치는 일례로 다음 수학식 3과 같이 나타내어질 수 있다.

[수학식 3]

(xPCtr, yPCtr) = (xP+(nPSW>>1)-1, yP+(nPSH>>1)-1)

여기서, xPCtr은 센터 샘플의 x축 좌표를 나타낼 수 있고, yPCtr은 센터 샘플의 y축 좌표를 나타낼 수 있다.

다른 예로, 인핸스먼트 기준 샘플은 상기 센터 샘플 중에서 우측 하단에 위치한 우측 하단 센터 샘플일 수 있다. 이 때, 상기 우측 하단 센터 샘플의 위치는 일례로 다음 수학식 4와 같이 나타내어질 수 있다.

[수학식 4]

(xPCtr, yPCtr) = (xP+(nPSW>>1), yP+(nPSH>>1))

또 다른 예로, 인핸스먼트 기준 샘플은 상기 센터 샘플 중에서 좌측 하단에 위치한 좌측 하단 센터 샘플일 수 있다. 이 때, 상기 좌측 하단 센터 샘플의 위치는 일례로 다음 수학식 5와 같이 나타내어질 수 있다.

[수학식 5]

(xPCtr, yPCtr) = (xP+(nPSW>>1)-1, yP+(nPSH>>1))

또 다른 예로, 인핸스먼트 기준 샘플은 상기 센터 샘플 중에서 우측 상단에 위치한 우측 상단 센터 샘플일 수 있다. 이 때, 상기 우측 상단 센터 샘플의 위치는 일례로 다음 수학식 6와 같이 나타내어질 수 있다.

[수학식 6]

(xPCtr, yPCtr) = (xP+(nPSW>>1), yP+(nPSH>>1)-1)

센터 샘플이 인핸스먼트 기준 샘플로 사용되는 경우, 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치는 일례로 다음 수학식 7에 의해 도출될 수 있다.

[수학식 7]

(refxP, refyP) = (xPCtr, yPCtr) / scalingfactor

또 다른 실시예로, 인핸스먼트 기준 샘플은 부호화/복호화 대상 블록(510) 외부의 우측 하단 코너에 가장 가까이 위치한 우측 하단 코너 샘플(540)일 수 있다. 이 때, 상기 우측 하단 코너 샘플(540)의 위치는 일례로 다음 수학식 8과 같이 나타내어질 수 있다.

[수학식 8]

(xPRb, yPRb) = (xP+nPSW, yP+nPSH)

여기서, xPRb는 우측 하단 코너 샘플(540)의 x축 좌표를 나타낼 수 있고, yPRb는 우측 하단 코너 샘플(540)의 y축 좌표를 나타낼 수 있다. 이 때, 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치는 일례로 다음 수학식 9에 의해 도출될 수 있다.

[수학식 9]

(refxP, refyP) = (xPRb, yPRb) / scalingfactor

또 다른 실시예로, 인핸스먼트 기준 샘플은 부호화/복호화 대상 블록(510) 외부의 좌측 하단 코너에 가장 가까이 위치한 좌측 하단 코너 샘플(550)일 수 있다. 이 때, 상기 좌측 하단 코너 샘플(550)의 위치는 일례로 다음 수학식 10과 같이 나타내어질 수 있다.

[수학식 10]

(xPLb, yPLb) = (xP-1, yP+nPSH)

여기서, xPLb는 좌측 하단 코너 샘플(550)의 x축 좌표를 나타낼 수 있고, yPLb는 좌측 하단 코너 샘플(550)의 y축 좌표를 나타낼 수 있다. 이 때, 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치는 일례로 다음 수학식 11에 의해 도출될 수 있다.

[수학식 11]

(refxP, refyP) = (xPLb, yPLb) / scalingfactor

또 다른 실시예로, 인핸스먼트 기준 샘플은 부호화/복호화 대상 블록(510) 외부의 우측 상단 코너에 가장 가까이 위치한 우측 상단 코너 샘플(560)일 수 있다. 이 때, 상기 우측 상단 코너 샘플(560)의 위치는 일례로 다음 수학식 12와 같이 나타내어질 수 있다.

[수학식 12]

(xPRt, yPRt) = (xP+nPSH, yP-1)

여기서, xPRt는 우측 상단 코너 샘플(560)의 x축 좌표를 나타낼 수 있고, yPRt는 우측 상단 코너 샘플(560)의 y축 좌표를 나타낼 수 있다. 이 때, 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치는 일례로 다음 수학식 13에 의해 도출될 수 있다.

[수학식 13]

(refxP, refyP) = (xPRt, yPRt) / scaling factor

도 5에서는, 좌측 상단 샘플(520), 좌측 상단 센터 샘플(530), 우측 하단 코너 샘플(540), 좌측 하단 코너 샘플(550) 및/또는 우측 상단 코너 샘플(560)이 인핸스먼트 기준 샘플로 사용되는 경우의 실시예들이 서술되지만, 본 발명은 이에 한정되는 것은 아니다. 즉, 부호화기 및 복호화기는 도 5에 도시된 위치의 샘플들뿐만 아니라 도 5에 도시되지 않은 다양한 위치의 샘플을 인핸스먼트 기준 샘플로 이용할 수 있다. 이 때, 각각의 인핸스먼트 기준 샘플에 대응하는 참조 기준 샘플의 위치는 상술한 실시예에서와 유사한 방식으로 도출될 수 있다. 예를 들어, 임의의 위치에 존재하는 인핸스먼트 기준 샘플의 위치를 (xPk, yPk)라 하면(예를 들어, (xP+1, yP+1)), 상기 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치는 다음 수학식 14에 의해 나타내어질 수 있다.

[수학식 14]

(refxP, refyP) = (xPk, yPk) / scaling factor

부호화기 및 복호화기는 도 5에 도시된 샘플뿐만 아니라 도 5에 도시되지 않은 다른 위치의 샘플을 포함한 복수의 샘플 중에서 적어도 하나 이상을 부호화/복호화 대상 블록(510)에 대응하는 인핸스먼트 기준 샘플로 결정할 수 있다. 이 때, 부호화기 및 복호화기는 하나 이상의 인핸스먼트 기준 샘플의 위치를 기반으로 적응적으로 참조 기준 샘플의 위치를 결정함으로써, 인터 레이어 움직임 정보 예측 효율을 향상시킬 수 있다. 각각의 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치를 도출하는 방법은 상술한 바 있으므로, 여기서는 생략하기로 한다.

도 6은 본 발명에 따른 참조 레이어 블록 결정 방법의 실시예를 개략적으로 나타내는 흐름도이다.

도 6의 실시예는 다른 언급이 없는 한 스케일러블 비디오 부호화기(이하, 부호화기라 함) 및 스케일러블 비디오 복호화기(이하, 복호화기라 함)에 동일한 방식으로 적용될 수 있다. 즉, 복호화기는 부호화기에서와 동일한 방식으로 참조 레이어 블록을 결정할 수 있다. 또한, 도 6의 실시예는 다른 언급이 없는 한 AMVP 과정 및 머지 과정에 동일하거나 유사한 방식으로 적용될 수 있다.

도 6을 참조하면, 부호화기 및 복호화기는 인핸스먼트 레이어에 속한 부호화/복호화 대상 블록에 대응하는 인핸스먼트 기준 샘플의 위치를 기반으로, 참조 기준 샘플의 위치를 결정할 수 있다(S610). 여기서, 일례로 상기 부호화/복호화 대상 블록은 하나의 예측 유닛에 대응하는 블록일 수 있다. 이 때, 상술한 바와 같이 부호화기 및 복호화기는 하나 이상의 인핸스먼트 기준 샘플의 위치를 기반으로 적응적으로 참조 기준 샘플의 위치를 결정할 수 있다. 이 때, 각각의 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플은 하나일 수 있다.

일례로, 부호화기 및 복호화기는 소정의 위치에 존재하는 하나의 인핸스먼트 기준 샘플을 기반으로 하나의 참조 기준 샘플의 위치만을 결정할 수 있다. 그러나 다른 예로, 부호화기 및 복호화기는 소정의 위치에 존재하는 복수의 인핸스먼트 기준 샘플 각각에 대응하는 참조 기준 샘플의 위치를 결정함으로써, 복수의 참조 기준 샘플의 위치를 결정할 수도 있다. 참조 기준 샘플의 위치 결정에 사용되는 인핸스먼트 기준 샘플 위치의 실시예들은 도 5에서 상술한 바 있으므로, 여기서는 생략하기로 한다.

한편, 결정된 참조 기준 샘플의 위치를 포함하는 블록(예를 들어, 상기 블록은 예측 유닛에 대응하는 블록일 수 있음)은 인트라 모드로 부호화/복호화되는 블록(이하, 인트라 블록이라 함)이거나 가용하지 않은(unavailable) 블록일 수 있다. 이 때, 상기 블록은 유효한 움직임 정보를 포함하지 않을 수 있다. 따라서, 이 경우 부호화기 및 복호화기는 상기 결정된 참조 기준 샘플에 대응하는 인핸스먼트 기준 샘플과는 다른 위치를 갖는 샘플을 인핸스먼트 기준 샘플로 사용할 수 있고, 상기 다른 위치의 샘플(인핸스먼트 기준 샘플)을 기반으로 새로운 참조 기준 샘플의 위치를 결정할 수 있다. 이 때, 새로이 결정된 참조 기준 샘플(및/또는 참조 기준 샘플의 위치)이 이전에 결정된 참조 기준 샘플(및/또는 참조 기준 샘플의 위치) 대신 참조 레이어 블록 결정에 사용될 수 있다.

다시 도 6을 참조하면, 부호화기 및 복호화기는 참조 기준 샘플의 위치를 기반으로 하나 이상의 참조 레이어 블록을 결정할 수 있다(S620).

상술한 바와 같이, 참조 레이어 블록의 움직임 정보는 AMVP 과정 및/또는 머지 과정에서 인핸스먼트 레이어에 속한 부호화/복호화 대상 블록의 움직임 정보 후보로 사용될 수 있다.

이 때, 일 실시예로 상기 참조 레이어 블록의 움직임 정보는, 복원된 주변 블록(여기서, 상기 복원된 주변 블록은 부호화/복호화 대상 블록에 인접한 블록 및/또는 부호화/복호화 대상 블록의 외부 코너에 위치한 블록을 포함할 수 있음)으로부터 도출된 움직임 정보 후보 및 콜 블록으로부터 도출된 움직임 정보 후보와 함께 추가적인 움직임 정보 후보로 사용될 수 있다. 여기서, 복원된 주변 블록으로부터 도출된 움직임 정보 후보 및 콜 블록으로부터 도출된 움직임 정보 후보는 인핸스먼트 레이어 내에서 도출되는 움직임 정보 후보에 해당될 수 있다. 이 경우, 움직임 정보 후보 리스트(예를 들어, 예측 움직임 벡터 후보 리스트 및/또는 머지 후보 리스트)는 복원된 주변 블록으로부터 도출된 움직임 정보 후보, 콜 블록으로부터 도출된 움직임 정보 후보 및 참조 레이어 블록으로부터 도출된 움직임 정보 후보를 모두 포함할 수 있다.

상술한 실시예에서 부호화/복호화 대상 블록에 대응되는 복원된 주변 블록 및/또는 부호화/복호화 대상 블록에 대응되는 콜 블록은, 인트라 모드로 부호화/복호화되는 블록(이하, 인트라 블록이라 함)이거나 가용하지 않은(unavailable) 블록일 수 있다. 이 때, 상기 블록들은 가용한 움직임 정보를 포함하지 않을 수 있다. 따라서, 이 경우 부호화기 및 복호화기는 참조 레이어 내에서 상기 복원된 주변 블록 및/또는 상기 콜 블록과 동일 위치에 존재하는 블록을 기반으로 부호화/복호화 대상 블록에 대응하는 움직임 정보 후보를 도출할 수 있다. 이 때, 움직임 정보 후보 리스트 내에서, 상기 도출된 움직임 정보 후보의 위치(및/또는 순서)는, 상기 복원된 주변 블록 및/또는 상기 콜 블록이 유효한 경우에 도출되는 움직임 정보 후보의 위치(및/또는 순서)와 동일할 수 있다.

이하, 참조 레이어 블록의 움직임 정보가 복원된 주변 블록으로부터 도출된 움직임 정보 후보 및 콜 블록으로부터 도출된 움직임 정보 후보와 함께 추가적인 움직임 정보 후보로 사용되는 경우, 참조 레이어 블록 결정 과정의 실시예들이 서술된다.

상술한 바와 같이, 부호화기 및 복호화기는 복수의 인핸스먼트 기준 샘플 각각에 대응하는 참조 기준 샘플의 위치를 결정함으로써, 복수의 참조 기준 샘플의 위치를 결정할 수 있다. 예를 들어, 부호화기 및 복호화기는 n개(n은 자연수)의 인핸스먼트 기준 샘플 위치 각각에 대해 참조 기준 샘플의 위치를 결정할 수 있다. 이 때, 결정된 참조 기준 샘플의 위치는 n개일 수 있다. 이 경우, 부호화기 및 복호화기는 각각의 참조 기준 샘플의 위치를 포함하는 블록(예를 들어, 예측 유닛에 대응하는 블록)을 참조 레이어 블록으로 결정할 수 있다. 여기서, 상기 참조 레이어 블록은 적어도 1개 이상의 참조 기준 샘플을 포함할 수 있고, n개의 참조 기준 샘플을 기반으로 결정되는 참조 레이어 블록의 개수는 최대 n개일 수 있다. 따라서, 이 경우에는 복수의 참조 레이어 블록의 움직임 정보가 움직임 정보 후보로 사용될 수 있다.

부호화기 및 복호화기는 상술한 실시예에서와 같이 참조 기준 샘플의 위치를 포함하는 블록(이하, 제1 블록이라 함. 상기 제1 블록은 일례로 예측 유닛에 대응되는 블록일 수 있음)만을 참조 레이어 블록으로 결정할 수 있지만, 참조 기준 샘플의 위치를 포함하는 블록의 주변에 위치한 블록(이하, 제2 블록이라 함. 상기 제2 블록은 일례로 예측 유닛에 대응되는 블록일 수 있음)을 상기 제1 블록과 함께 참조 레이어 블록으로 결정할 수도 있다. 이 때, 상기 제2 블록은 상기 제1 블록에 인접하여 위치한 블록 및 상기 제1 블록의 외부 코너에 위치한 블록을 포함할 수 있다. 이 경우, 하나의 참조 기준 샘플을 기반으로 결정되는 참조 레이어 블록의 개수는 복수 개일 수 있다. 따라서, 부호화기 및 복호화기는 복수 개의 참조 기준 샘플이 사용되는 경우뿐만 아니라, 하나의 참조 기준 샘플이 사용되는 경우에도 복수 개(예를 들어, n개)의 참조 레이어 블록을 도출할 수 있다. 이 경우, 복수(예를 들어, n개)의 참조 레이어 블록으로부터 도출된 복수(예를 들어, n개)의 움직임 정보가 움직임 정보 후보로 사용될 수 있다.

한편, 제1 블록은 인트라 블록이거나 가용하지 않은 블록일 수 있다. 이 때, 상기 블록은 유효한 움직임 정보를 포함하지 않을 수 있다. 이 경우, 부호화기 및 복호화기는 참조 기준 샘플 위치 결정 과정(S610)에서 상술한 바와 같이 새로운 참조 기준 샘플의 위치를 결정한 후, 새로이 결정된 참조 기준 샘플의 위치를 포함하는 블록을 참조 레이어 블록으로 사용할 수 있다. 그러나, 부호화기 및 복호화기는 새로운 참조 기준 샘플의 위치를 결정하지 않고 제1 블록의 주변에 위치한 제2 블록의 움직임 정보를 부호화/복호화 대상 블록에 대한 움직임 정보 후보로 사용할 수도 있다. 즉, 제2 블록은 제1 블록이 인트라 블록이거나 가용하지 않은 블록일 것을 조건으로 참조 레이어 블록으로 결정될 수도 있다.

상술한 실시예들에서는 참조 기준 샘플의 위치를 포함하는 제1 블록(여기서, 제1 블록은 복수의 참조 기준 샘플에 대응하여 도출된 복수의 블록을 포함할 수 있음) 및 상기 제1 블록의 주변에 위치한 제2 블록(여기서, 제2 블록은 복수의 블록을 포함할 수 있음) 중에서 적어도 하나의 블록을 참조 레이어 블록으로 결정할 수 있다. 이 때, 참조 레이어 블록 각각의 움직임 정보는, AMVP 과정 및 머지 과정에서 인핸스먼트 레이어 내에서 도출된 움직임 정보 후보(부호화/복호화 대상 블록 주변에 위치한 복원된 주변 블록으로부터 도출된 움직임 정보 후보 및 콜 블록으로부터 도출된 움직임 정보 후보)와 함께 부호화/복호화 대상 블록의 움직임 정보 후보로 사용될 수 있다.

이 때, 인핸스먼트 레이어 내에서 도출된 움직임 정보 후보 및 참조 레이어 블록으로부터 도출된 움직임 정보 후보는 소정의 우선 순위에 따라 움직임 정보 후보 리스트에 포함되거나 및/또는 삽입될 수 있다. 일례로, 부호화기 및 복호화기는 인핸스먼트 레이어 내에서 도출된 움직임 정보 후보를 우선적으로 움직임 정보 후보 리스트에 삽입한 후에, 참조 레이어 블록으로부터 도출된 움직임 정보 후보를 움직임 정보 후보 리스트에 삽입할 수 있다. 이 경우에는 인핸스먼트 레이어 내에서 도출된 움직임 정보 후보에 더 낮은 인덱스(예를 들어, 예측 움직임 벡터 인덱스 및/또는 머지 인덱스) 값이 할당될 수 있다. 다른 예로, 부호화기 및 복호화기는 참조 레이어 블록으로부터 도출된 움직임 정보 후보를 우선적으로 움직임 정보 후보 리스트에 삽입한 후에, 인핸스먼트 레이어 내에서 도출된 움직임 정보 후보를 움직임 정보 후보 리스트에 삽입할 수 있다. 이 경우에는 참조 레이어 블록으로부터 도출된 움직임 정보 후보에 더 낮은 인덱스(예를 들어, 예측 움직임 벡터 인덱스 및/또는 머지 인덱스) 값이 할당될 수 있다.

일례로, AMVP가 적용되는 경우 도 4에서 상술한 바와 같이 부호화기는 예측 방향 정보, 참조 픽쳐 인덱스 정보, 움직임 벡터 차분 정보 및 예측 움직임 벡터 인덱스 정보를 부호화하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 전송된 정보를 수신하여 복호화할 수 있다. 복호화기는 복호화된 예측 움직임 벡터 인덱스 정보를 기반으로 예측 움직임 벡터 후보 리스트에 포함된 복수의 예측 움직임 벡터 후보 중에서 복호화 대상 블록의 예측 움직임 벡터를 선택할 수 있다. 복호화기는 선택된 예측 움직임 벡터, 복호화된 움직임 벡터 차분 정보, 복호화된 참조 픽쳐 인덱스 정보 및 복호화된 예측 방향 정보를 기반으로 복호화 대상 블록에 대응하는 예측 블록을 생성할 수 있다.

다른 예로, 머지가 적용되는 경우 도 4에서 상술한 바와 같이 부호화기는 머지 인덱스 정보를 부호화하여 복호화기로 전송할 수 있다. 머지가 적용되는 경우 부호화기는, AMVP 과정에서와 달리, 예측 방향 정보, 참조 픽쳐 인덱스 정보 및 움직임 벡터 차분 정보 등을 따로 복호화기로 전송하지 않을 수 있다. 이 때, 복호화기는 전송된 머지 인덱스 정보를 수신하여 복호화할 수 있다. 복호화기는 복호화된 머지 인덱스 정보를 기반으로 머지 후보 리스트에 포함된 복수의 머지 후보 중에서 복호화 대상 블록의 움직임 정보 도출에 사용될 머지 후보를 결정할 수 있다. 이 때, 복호화기는 상기 결정된 머지 후보에 대응되는 움직임 정보를 복호화 대상 블록의 움직임 정보로 사용할 수 있다.

상술한 실시예들에서 제2 블록은, 참조 기준 샘플의 위치를 포함하는 제1 블록의 주변에 위치한 블록들을 포함하는 것으로 서술되고 있으나, 제2 블록은 소정의 기준에 의해 제한적으로 결정될 수도 있다. 일례로, 부호화기 및 복호화기는 z-스캔(z-scan) 순서상 제1 블록의 바로 이전 순서에 해당되는 블록만을 제2 블록으로 결정할 수도 있다. 이 경우에는 상기 결정된 제2 블록에 대해 상술한 실시예들이 동일하거나 유사한 방식으로 적용될 수 있다.

한편, 다른 실시예로 부호화기 및 복호화기는 참조 레이어 블록의 움직임 정보만을 부호화/복호화 대상 블록에 대응하는 움직임 정보 후보로 사용할 수 있다. 이 때, AMVP 과정 및 머지 과정에서 사용되는 움직임 정보 후보 리스트(예를 들어, 예측 움직임 벡터 후보 리스트 및/또는 머지 후보 리스트)는 참조 레이어 블록으로부터 도출된 움직임 정보 후보만을 포함할 수 있다. 이 경우, 인핸스먼트 레이어 내에서 움직임 정보 후보를 도출하는 과정, 즉 복원된 주변 블록(여기서, 상기 복원된 주변 블록은 부호화/복호화 대상 블록에 인접한 블록 및/또는 부호화/복호화 대상 블록의 외부 코너에 위치한 블록을 포함할 수 있음)으로부터 움직임 정보 후보를 도출하는 과정 및 콜 블록으로부터 움직임 정보 후보를 도출하는 과정은 생략될 수 있다. 이하, 참조 레이어 블록의 움직임 정보만이 부호화/복호화 대상 블록에 대응되는 움직임 정보 후보로 사용되는 경우, 참조 레이어 블록 결정 과정의 실시예들이 서술된다.

상술한 실시예들에서는 참조 기준 샘플의 위치를 포함하는 제1 블록(여기서, 제1 블록은 복수의 참조 기준 샘플에 대응하여 도출된 복수의 블록을 포함할 수 있음) 및 상기 제1 블록의 주변에 위치한 제2 블록(여기서, 제2 블록은 복수의 블록을 포함할 수 있음) 중에서 적어도 하나의 블록을 참조 레이어 블록으로 결정할 수 있다. 이 때, 참조 레이어 블록 각각의 움직임 정보는 AMVP 과정 및 머지 과정에서 인핸스먼트 레이어에 속한 부호화/복호화 대상 블록의 움직임 정보 후보로 사용될 수 있다. 또한, 상술한 바와 같이 AMVP 과정 및/또는 머지 과정에서 부호화기 및 복호화기는 참조 레이어 블록의 움직임 정보만을 부호화/복호화 대상 블록에 대응하는 움직임 정보 후보로 사용할 수 있다. 이 때, 움직임 정보 후보 리스트(예를 들어, 예측 움직임 벡터 후보 리스트 및/또는 머지 후보 리스트)는 참조 레이어 블록으로부터 도출된 움직임 정보 후보만을 포함할 수 있다.

일례로, AMVP가 적용되는 경우 도 4에서 상술한 바와 같이 부호화기는 예측 방향 정보, 참조 픽쳐 인덱스 정보 및 움직임 벡터 차분 정보를 부호화하여 복호화기로 전송할 수 있다. 또한, 참조 레이어에서 도출된 예측 움직임 벡터 후보의 개수가 두 개 이상인 경우, 부호화기는 예측 움직임 벡터 인덱스 정보를 부호화하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 전송된 정보를 수신하여 복호화할 수 있다. 예측 움직임 벡터 인덱스 정보가 부호화기로부터 복호화기로 전송된 경우, 복호화기는 예측 움직임 벡터 인덱스 정보를 기반으로 예측 움직임 벡터 후보 리스트에 포함된 복수의 예측 움직임 벡터 후보 중에서 복호화 대상 블록의 예측 움직임 벡터를 선택할 수 있다. 복호화기는 선택된 예측 움직임 벡터, 복호화된 움직임 벡터 차분 정보, 복호화된 참조 픽쳐 인덱스 정보 및 복호화된 예측 방향 정보를 기반으로 복호화 대상 블록에 대응하는 예측 블록을 생성할 수 있다.

다른 예로, 머지가 적용되는 경우 부호화기는 AMVP 과정에서와 달리, 예측 방향 정보, 참조 픽쳐 인덱스 정보 및 움직임 벡터 차분 정보 등을 따로 복호화기로 전송하지 않을 수 있다. 그러나, 참조 레이어에서 도출된 머지 후보의 개수가 두 개 이상인 경우, 부호화기는 머지 인덱스 정보를 부호화하여 복호화기로 전송할 수 있다. 머지 인덱스 정보가 부호화되어 부호화기로부터 복호화기로 전송된 경우, 복호화기는 전송된 머지 인덱스 정보를 수신하여 복호화할 수 있다. 복호화기는 복호화된 머지 인덱스 정보를 기반으로 머지 후보 리스트에 포함된 복수의 머지 후보 중에서 복호화 대상 블록의 움직임 정보 도출에 사용될 머지 후보를 결정할 수 있다. 이 때, 복호화기는 상기 결정된 머지 후보에 대응되는 움직임 정보를 복호화 대상 블록의 움직임 정보로 사용할 수 있다.

또한, 상술한 실시예에서는 참조 레이어 블록의 움직임 정보만이 부호화/복호화 대상 블록에 대응하는 움직임 정보 후보로 사용될 수 있다. 이 때, 일례로 참조 레이어 블록의 움직임 정보만이 부호화/복호화 대상 블록에 대응하는 움직임 정보 후보로 사용되는 모드가, 새로운 예측 모드로서 정의될 수 있다. 이 경우, 부호화기는 상기 예측 모드에 관한 정보를 복호화기로 전송할 수 있고, 복호화기는 전송된 정보를 기반으로 참조 레이어 블록의 움직임 정보만을 부호화/복호화 대상 블록의 움직임 정보 후보로 사용할 수 있다. 다른 예로 부호화기는 참조 레이어 블록의 움직임 정보만이 부호화/복호화 대상 블록에 대응하는 움직임 정보 후보로 사용됨을 지시하는 플래그 정보를 복호화기로 전송할 수 있다. 이 때, 복호화기는 상기 플래그 정보를 기반으로 참조 레이어 블록의 움직임 정보만을 부호화/복호화 대상 블록의 움직임 정보 후보로 사용할 수 있다.

도 6의 실시예에서는, 상술한 바와 같이 부호화/복호화 대상 블록이 속한 인핸스먼트 레이어의 입력 영상(및/또는 입력 픽쳐)의 크기 및 참조 레이어의 입력 영상(및/또는 입력 픽쳐)의 크기가 서로 다를 수 있다. 이 때, 부호화기 및 복호화기는 상기 인핸스먼트 레이어의 입력 영상(및/또는 입력 픽쳐) 및 상기 참조 레이어의 입력 영상(및/또는 입력 픽쳐) 간의 크기 비율을 기반으로 부호화/복호화 대상 블록의 움직임 정보를 결정할 수 있다. 즉, 부호화기 및 복호화기는 참조 레이어 블록의 움직임 정보에 상기 크기 비율을 적용함으로써 부호화/복호화 대상 블록의 움직임 정보 후보를 도출할 수 있다. 여기서, 상기 크기 비율은 일례로, scalingfactor로 나타내어질 수 있다.

인핸스먼트 레이어의 입력 영상(및/또는 입력 픽쳐) 및 상기 참조 레이어의 입력 영상(및/또는 입력 픽쳐) 간의 크기 비율 값은 일례로, 인핸스먼트 레이어의 입력 영상(및/또는 입력 픽쳐) 크기를 참조 레이어의 입력 영상(및/또는 입력 픽쳐) 크기로 나눈 값에 해당될 수 있다. 이 때, 부호화기 및 복호화기는 참조 레이어 블록의 움직임 정보 값에 상기 크기 비율을 곱한 값을, 인핸스먼트 레이어에 속한 부호화/복호화 대상 블록의 움직임 정보 후보 값으로 결정할 수 있다. 예를 들어, 인핸스먼트 레이어의 입력 영상(및/또는 입력 픽쳐)의 크기는 참조 레이어의 입력 영상(및/또는 입력 픽쳐)의 크기의 2배에 해당될 수 있다. 이 경우 상기 크기 비율(예를 들어, scalingfactor) 값은 2일 수 있다. 이 때, 부호화기 및 복호화기는 참조 레이어 블록의 움직임 정보 값에 2를 곱하여, 부호화/복호화 대상 블록의 움직임 정보 후보 값을 도출할 수 있다.

한편, AMVP 과정에서 부호화기 및 복호화기는 부호화/복호화 대상 블록으로부터 상기 부호화/복호화 대상 블록이 인터 예측 시에 참조하는 제1 참조 픽쳐까지의 제1 시간적 거리 및 참조 레이어 블록으로부터 상기 참조 레이어 블록이 인터 예측 시에 참조하는 제2 참조 픽쳐까지의 제2 시간적 거리를 기반으로, 상기 참조 레이어 블록에 대응되는 예측 움직임 벡터 후보(및/또는 부호화/복호화 대상 블록의 움직임 벡터)를 도출할 수 있다. 또한, 머지 과정에서 부호화기 및 복호화기는 참조 레이어 블록이 인터 예측 시에 참조하는 제2 참조 픽쳐의 POC(Picture Order Count) 값을 기반으로 부호화/복호화 대상 블록의 움직임 정보(및/또는 참조 레이어 블록에 대응되는 머지 후보)를 결정할 수 있다. 여기서, POC는 픽쳐의 표시 순서에 따라 각각의 픽쳐에 할당되는 값을 나타낼 수 있다. 이에 대한 구체적인 실시예는 도 7을 통해 후술하기로 한다.

도 7은 AMVP 모드 및 머지 모드에서 움직임 정보 후보를 도출하는 방법의 실시예를 설명하기 위한 도면이다. 도 7의 실시예는 다른 언급이 없는 한 스케일러블 비디오 부호화기(이하, 부호화기라 함) 및 스케일러블 비디오 복호화기(이하, 복호화기라 함)에 동일한 방식으로 적용될 수 있다.

도 7에서는 인핸스먼트 레이어에 속한 복수의 픽쳐 및 참조 레이어에 속한 복수의 픽쳐가 POC 순서에 따라 도시된다. 도 7의 실시예에서, 블록 710은 부호화/복호화 대상 블록을 나타내고, 블록 720은 상기 부호화/복호화 대상 블록에 대응되는 참조 레이어 블록을 나타낸다.

일 실시예로, AMVP가 적용되는 경우, 상술한 바와 같이 부호화기 및 복호화기는 부호화/복호화 대상 블록으로부터 상기 부호화/복호화 대상 블록이 인터 예측 시에 참조하는 제1 참조 픽쳐까지의 제1 시간적 거리 및 참조 레이어 블록으로부터 상기 참조 레이어 블록이 인터 예측 시에 참조하는 제2 참조 픽쳐까지의 제2 시간적 거리를 기반으로, 상기 참조 레이어 블록에 대응되는 예측 움직임 벡터 후보(및/또는 부호화/복호화 대상 블록의 움직임 벡터)를 도출할 수 있다. 일례로, 제1 시간적 거리와 제2 시간적 거리가 동일한 경우, 부호화기 및 복호화기는 참조 레이어 블록의 움직임 벡터를 그대로 예측 움직임 벡터 후보(및/또는 부호화/복호화 대상 블록의 움직임 벡터)로 결정할 수 있다. 다른 예로, 제1 시간적 거리와 제2 시간적 거리가 동일하지 않은 경우, 부호화기 및 복호화기는 제1 시간적 거리 및 제2 시간적 거리 간의 시간적 거리 비율을 기반으로 참조 레이어 블록의 움직임 벡터를 스케일링(scaling)함으로써, 상기 참조 레이어 블록에 대응되는 예측 움직임 벡터 후보(및/또는 부호화/복호화 대상 블록의 움직임 벡터)를 도출할 수 있다.

일례로 도 7의 실시예에서 부호화/복호화 대상 블록(710)이 참조하는 제1 참조 픽쳐는 픽쳐 730이고 참조 레이어 블록(720)이 참조하는 제2 참조 픽쳐는 픽쳐 750이라 가정한다. 이 경우에는 제1 참조 픽쳐(730)의 POC 값과 제2 참조 픽쳐(750)의 POC 값이 동일하므로, 부호화/복호화 대상 블록(710)으로부터 제1 참조 픽쳐(730)까지의 제1 시간적 거리 및 참조 레이어 블록(720)으로부터 제2 참조 픽쳐(750)까지의 제2 시간적 거리가 동일할 수 있다. 따라서, 부호화기 및 복호화기는 참조 레이어 블록(720)의 움직임 벡터를 그대로 부호화/복호화 대상 블록의 예측 움직임 벡터 후보(및/또는 부호화/복호화 대상 블록의 움직임 벡터)로 사용할 수 있다.

다른 예로 도 7의 실시예에서 부호화/복호화 대상 블록(710)이 참조하는 제1 참조 픽쳐는 픽쳐 730이고 참조 레이어 블록(720)이 참조하는 제2 참조 픽쳐는 픽쳐 740이라 가정한다. 이 경우에는 제1 참조 픽쳐(730)의 POC 값과 제2 참조 픽쳐(740)의 POC 값이 동일하지 않으므로, 부호화/복호화 대상 블록(710)으로부터 제1 참조 픽쳐(730)까지의 제1 시간적 거리 및 참조 레이어 블록(720)으로부터 제2 참조 픽쳐(740)까지의 제2 시간적 거리가 서로 다를 수 있다. 이 때, 부호화기 및 복호화기는 제1 시간적 거리 및 제2 시간적 거리 간의 시간적 거리 비율을 기반으로 참조 레이어 블록의 움직임 벡터를 스케일링(scaling)함으로써, 상기 참조 레이어 블록에 대응되는 예측 움직임 벡터 후보(및/또는 부호화/복호화 대상 블록의 움직임 벡터)를 도출할 수 있다. 여기서, 제1 시간적 거리는 제2 시간적 거리의 1/2에 해당되므로, 일례로 부호화기 및 복호화기는 참조 레이어 블록(720)의 움직임 벡터 값에 1/2을 곱한 값을 예측 움직임 벡터 후보(및/또는 부호화/복호화 대상 블록의 움직임 벡터) 값으로 결정할 수 있다.

또 다른 예로 도 7의 실시예에서 부호화/복호화 대상 블록(710)이 참조하는 제1 참조 픽쳐는 픽쳐 730이고 참조 레이어 블록(720)이 참조하는 제2 참조 픽쳐는 픽쳐 760이라 가정한다. 이 경우에는 제1 참조 픽쳐(730)의 POC 값과 제2 참조 픽쳐(760)의 POC 값이 동일하지 않으므로, 부호화/복호화 대상 블록(710)으로부터 제1 참조 픽쳐(730)까지의 제1 시간적 거리 및 참조 레이어 블록(720)으로부터 제2 참조 픽쳐(760)까지의 제2 시간적 거리가 서로 다를 수 있다. 이 때, 부호화기 및 복호화기는 제1 시간적 거리 및 제2 시간적 거리 간의 시간적 거리 비율을 기반으로 참조 레이어 블록의 움직임 벡터를 스케일링(scaling)함으로써, 상기 참조 레이어 블록에 대응되는 예측 움직임 벡터 후보(및/또는 부호화/복호화 대상 블록의 움직임 벡터)를 도출할 수 있다. 여기서, 제1 시간적 거리는 제2 시간적 거리에 -1을 곱한 값을 가지므로, 일례로 부호화기 및 복호화기는 참조 레이어 블록(720)의 움직임 벡터 값에 -1을 곱한 값을 예측 움직임 벡터 후보(및/또는 부호화/복호화 대상 블록의 움직임 벡터) 값으로 결정할 수 있다.

상술한 실시예들에서, 제1 시간적 거리는 부호화/복호화 대상 블록(710)의 POC 값 및 제1 참조 픽쳐의 POC 값 간의 차이 값에 해당될 수 있다. 또한 제2 시간적 거리는 참조 레이어 블록(720)의 POC 값 및 제2 참조 픽쳐의 POC 값 간의 차이 값에 해당될 수 있다.

다른 실시예로, 머지가 적용되는 경우, 상술한 바와 같이 부호화기 및 복호화기는 참조 레이어 블록이 인터 예측 시에 참조하는 제2 참조 픽쳐의 POC(Picture Order Count) 값을 기반으로 부호화/복호화 대상 블록의 움직임 정보(및/또는 참조 레이어 블록에 대응되는 머지 후보)를 결정할 수 있다. 여기서, POC는 픽쳐의 표시 순서에 따라 각각의 픽쳐에 할당되는 값을 나타낼 수 있다.

예를 들어, 부호화기 및 복호화기는 제2 참조 픽쳐의 POC 값을 기반으로 부호화/복호화 대상 블록의 참조 픽쳐 인덱스를 결정할 수 있다. 이 때, 상기 참조 픽쳐 인덱스는 제2 참조 픽쳐의 POC 값과 동일한 POC 값을 갖는 인핸스먼트 레이어 내의 픽쳐를 지시할 수 있다. 즉, 부호화기 및 복호화기는 제2 참조 픽쳐의 POC 값과 동일한 POC 값을 갖는 인핸스먼트 레이어 내의 픽쳐를, 부호화/복호화 대상 블록에 대응되는 제1 참조 픽쳐로 사용할 수 있다. 또한, 부호화기 및 복호화기는 참조 레이어 블록 또는 제2 참조 픽쳐의 움직임 벡터를 기반으로 부호화/복호화 대상 블록의 움직임 벡터를 결정할 수 있다.

다른 예로, 부호화기 및 복호화기는 제2 참조 픽쳐의 POC 값을 기반으로 참조 레이어 블록에 대응되는 머지 후보를 결정할 수 있다. 이 때, 상기 머지 후보에 대응되는 참조 픽쳐 인덱스는, 상기 머지 후보가 부호화/복호화 대상 블록의 움직임 정보로 결정되는 경우 부호화/복호화 대상 블록이 인터 예측 시에 참조하는 제1 참조 픽쳐를 지시할 수 있다. 이 경우, 제1 참조 픽쳐는 제2 참조 픽쳐의 POC 값과 동일한 POC 값을 갖는 픽쳐에 해당될 수 있다. 또한, 부호화기 및 복호화기는 참조 레이어 블록 또는 제2 참조 픽쳐의 움직임 벡터를 기반으로 상기 머지 후보에 대응되는 움직임 벡터를 결정할 수 있다.

이하, 후술되는 실시예들은 부호화/복호화 대상 블록의 움직임 정보 결정의 관점에서 서술되지만, 참조 레이어 블록에 대응되는 머지 후보 도출 시에도 동일하거나 유사한 방식으로 적용될 수 있다.

일례로, 참조 레이어 블록(720)이 참조하는 제2 참조 픽쳐는 픽쳐 740이라 가정한다. 이 때, 부호화기 및 복호화기는 제2 참조 픽쳐(740)와 동일한 POC 값을 갖는 픽쳐 770을 지시하는 참조 픽쳐 인덱스를, 부호화/복호화 대상 블록(710)의 참조 픽쳐 인덱스로 결정할 수 있다. 이 경우에는 상기 픽쳐 770이 부호화/복호화 대상 블록(710)에 대응되는 제1 참조 픽쳐로 사용될 수 있다. 또한, 부호화기 및 복호화기는 참조 레이어 블록(720) 또는 제2 참조 픽쳐(740)의 움직임 벡터를 부호화/복호화 대상 블록(710)의 움직임 벡터로 결정할 수 있다.

다른 예로, 참조 레이어 블록(720)이 참조하는 제2 참조 픽쳐는 픽쳐 760이라 가정한다. 이 때, 부호화기 및 복호화기는 제2 참조 픽쳐(760)와 동일한 POC 값을 갖는 픽쳐 780을 지시하는 참조 픽쳐 인덱스를, 부호화/복호화 대상 블록(710)의 참조 픽쳐 인덱스로 결정할 수 있다. 이 경우에는 상기 픽쳐 780이 부호화/복호화 대상 블록(710)에 대응되는 제1 참조 픽쳐로 사용될 수 있다. 또한, 부호화기 및 복호화기는 참조 레이어 블록(720) 또는 제2 참조 픽쳐(760)의 움직임 벡터를 부호화/복호화 대상 블록(710)의 움직임 벡터로 결정할 수 있다.

또 다른 예로, 참조 레이어 블록(720)이 참조하는 제2 참조 픽쳐가 두 개이고, 상기 두 개의 제2 참조 픽쳐는 픽쳐 740 및 픽쳐 760이라 가정한다. 이 경우 상가 참조 레이어 블록(720)에 대해서는 양방향 예측이 수행될 수 있다. 이 때 부호화기 및 복호화기는, 제2 참조 픽쳐 740과 동일한 POC 값을 갖는 픽쳐 770을 지시하는 참조 픽쳐 인덱스, 및 제2 참조 픽쳐 760과 동일한 POC 값을 갖는 픽쳐 780을 지시하는 참조 픽쳐 인덱스를 부호화/복호화 대상 블록(710)의 참조 픽쳐 인덱스로 결정할 수 있다. 이 경우에는 상기 픽쳐 770 및 상기 픽쳐 780이 부호화/복호화 대상 블록(710)에 대응되는 제1 참조 픽쳐로 사용될 수 있다. 또한, 부호화기 및 복호화기는 참조 레이어 블록(720)의 움직임 벡터를 부호화/복호화 대상 블록(710)의 움직임 벡터로 결정하거나 또는 픽쳐 740 및 픽쳐 760의 움직임 벡터를 부호화/복호화 대상 블록(710)의 움직임 벡터로 결정할 수 있다.

상술한 도 5 내지 도 7의 실시예들에서는, 참조 레이어 블록의 움직임 정보를 기반으로 부호화/복호화 대상 블록에 대응되는 움직임 정보 후보가 도출될 수 있다. 이 때, 일례로 참조 레이어 블록으로부터 도출되는 움직임 정보 후보가 부호화/복호화 대상 블록의 움직임 정보 후보로 사용되는지 여부는 별도의 플래그 정보를 기반으로 결정될 수도 있다. 즉, 부호화기 및 복호화기는 상기 플래그 정보를 기반으로, 참조 레이어 블록의 움직임 정보 이용 여부를 적응적으로(또는 가변적으로) 결정할 수 있다. 여기서, 상기 플래그 정보는 VPS(Video Parameter Sets), SPS(Sequence Parameter Sets), PPS(Picture Parameter Sets), slice header 또는 Coding Unit 단위에서 전송될 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims

인핸스먼트 레이어(enhancement layer)에 속한 인핸스먼트 기준 샘플의 위치를 기반으로, 참조 레이어(reference layer) 내에서 상기 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치를 결정하는 단계;
상기 참조 기준 샘플의 위치를 기반으로, 상기 참조 레이어에서 적어도 하나의 참조 레이어 블록을 결정하는 단계; 및
상기 적어도 하나의 참조 레이어 블록의 움직임 정보를 기반으로, 상기 인핸스먼트 레이어에 속한 현재 블록에 대해 예측을 수행하는 단계를 포함하되,
상기 인핸스먼트 기준 샘플의 위치는 상기 현재 블록에 대한 상대적인 위치로서 결정되고,
상기 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치는 상기 인핸스먼트 레이어의 입력 픽쳐 및 상기 참조 레이어의 입력 픽쳐 간의 입력 픽쳐 크기 비율을 기반으로 결정되는 인터 레이어 예측(inter layer prediction) 방법.
제 1항에 있어서,
상기 인핸스먼트 기준 샘플은,
상기 현재 블록 내의 가장 좌측 상단에 위치한 좌측 상단 샘플, 상기 현재 블록 내의 중앙에 위치한 네 개의 샘플 중에서 좌측 상단에 위치한 좌측 상단 센터 샘플, 상기 현재 블록 외부의 우측 하단 코너에 가장 가까이 위치한 우측 하단 코너 샘플, 상기 현재 블록 외부의 좌측 하단 코너에 가장 가까이 위치한 좌측 하단 코너 샘플 및 상기 현재 블록 외부의 우측 상단 코너에 가장 가까이 위치한 우측 상단 코너 샘플 중에서 적어도 하나를 포함하는 것을 특징으로 하는 인터 레이어 예측 방법.
제 1항에 있어서,
상기 적어도 하나의 참조 레이어 블록을 결정하는 단계에서는,
상기 참조 기준 샘플의 위치를 포함하는 제1 블록 및 상기 제1 블록의 주변에 위치한 제2 블록 중에서 적어도 하나의 블록을 상기 참조 레이어 블록으로 결정하고,
상기 제2 블록은 상기 제1 블록에 인접하여 위치한 블록들 및 상기 제1 블록 외부의 코너에 가장 가까이 위치한 블록들 중에서 적어도 하나를 포함하는 것을 특징으로 하는 인터 레이어 예측 방법.
제 1항에 있어서,
상기 적어도 하나의 참조 레이어 블록을 결정하는 단계에서는,
상기 참조 기준 샘플의 위치를 포함하는 제1 블록이 가용하지 않거나(unavailable) 상기 제1 블록의 예측 모드가 인트라 모드(intra mode)인 경우,
상기 제1 블록의 주변에 위치한 제2 블록을 상기 참조 레이어 블록으로 결정하고,
상기 제2 블록은 상기 제1 블록에 인접하여 위치한 블록들 및 상기 제1 블록 외부의 코너에 가장 가까이 위치한 블록들 중에서 적어도 하나를 포함하는 것을 특징으로 하는 인터 레이어 예측 방법.
제 1항에 있어서,
상기 적어도 하나의 참조 레이어 블록을 결정하는 단계에서는,
상기 참조 기준 샘플의 위치를 포함하는 제1 블록이 가용하지 않거나 상기 제1 블록의 예측 모드가 인트라 모드인 경우,
상기 참조 레이어 내에서, 상기 참조 기준 샘플이 아닌 다른 샘플의 위치를 포함하는 제2 블록을 상기 참조 레이어 블록으로 결정하고,
상기 참조 기준 샘플이 아닌 다른 샘플의 위치는,
상기 인핸스먼트 레이어 내의 샘플 중에서, 상기 참조 기준 샘플에 대응되는 인핸스먼트 기준 샘플과는 다른 위치의 샘플을 기반으로 결정되는 것을 특징으로 하는 인터 레이어 예측 방법.
제 1항에 있어서,
상기 예측을 수행하는 단계는,
예측 움직임 벡터 인덱스(Motion Vector Predictor index: MVP index) 및 움직임 벡터 차분(Motion Vector Difference: MVD)을 포함한 영상 정보를 수신하는 단계;
상기 적어도 하나의 참조 레이어 블록의 움직임 정보를 기반으로, 복수의 예측 움직임 벡터 후보(motion vector predictor candidate)를 포함하는 예측 움직임 벡터 후보 리스트(motion vector predictor candidate list)를 생성하는 단계;
상기 예측 움직임 벡터 인덱스 및 상기 예측 움직임 벡터 후보 리스트를 기반으로, 상기 현재 블록의 예측 움직임 벡터를 결정하는 단계;
상기 결정된 예측 움직임 벡터 및 상기 움직임 벡터 차분을 더함으로써, 상기 현재 블록의 움직임 벡터를 도출하는 단계; 및
상기 도출된 움직임 벡터를 기반으로 상기 현재 블록에 대한 예측을 수행하는 단계를 더 포함하되,
상기 예측 움직임 벡터 인덱스는 상기 예측 움직임 벡터 후보 리스트를 구성하는 복수의 예측 움직임 벡터 후보 중에서 상기 현재 블록의 예측 움직임 벡터로 사용되는 예측 움직임 벡터 후보를 지시하고,
상기 움직임 벡터 차분은 상기 현재 블록의 움직임 벡터 및 상기 현재 블록의 예측 움직임 벡터 간의 차이 값에 해당되는 것을 특징으로 하는 인터 레이어 예측 방법.
제 6항에 있어서,
상기 예측 움직임 벡터 후보 리스트를 생성하는 단계에서,
상기 적어도 하나의 참조 레이어 블록의 움직임 정보 각각에 대응되는 예측 움직임 벡터 후보는, 상기 입력 픽쳐 크기 비율을 기반으로 도출되는 것을 특징으로 하는 인터 레이어 예측 방법.
제 6항에 있어서,
상기 예측 움직임 벡터 후보 리스트는,
복원된 주변 블록을 기반으로 도출되는 제1 예측 움직임 벡터 후보, 콜 블록(co-located block)을 기반으로 도출되는 제2 예측 움직임 벡터 후보 및 상기 적어도 하나의 참조 레이어 블록을 기반으로 도출되는 제3 예측 움직임 벡터 후보 중에서 적어도 하나를 포함하고,
상기 복원된 주변 블록은 상기 현재 블록에 인접하여 위치한 블록들 및 상기 현재 블록 외부의 코너에 가장 가까이 위치한 블록들 중에서 적어도 하나를 포함하고,
상기 콜 블록은, 상기 현재 블록이 속한 현재 픽쳐가 아닌, 참조 픽쳐를 구성하는 복수의 블록들 중에서 하나인 것을 특징으로 하는 인터 레이어 예측 방법.
제 8항에 있어서,
상기 복원된 주변 블록이 가용하지 가용하지 않거나 상기 복원된 주변 블록의 예측 모드가 인트라 모드인 경우,
상기 제1 예측 움직임 벡터 후보는 상기 참조 레이어 내에서 상기 복원된 주변 블록과 공간적으로 동일한 위치에 존재하는 블록의 움직임 벡터를 기반으로 도출되는 것을 특징으로 하는 인터 레이어 예측 방법.
제 8항에 있어서,
상기 제3 예측 움직임 벡터 후보에는 상기 제1 예측 움직임 벡터 후보 및 상기 제2 예측 움직임 벡터 후보보다 작은 예측 움직임 벡터 인덱스 값이 할당되는 것을 특징으로 하는 인터 레이어 예측 방법.
제 8항에 있어서,
상기 제3 예측 움직임 벡터 후보는,
상기 현재 블록에서 상기 현재 블록이 인터 예측 시에 참조하는 제1 참조 픽쳐까지의 제1 시간적 거리, 및 상기 적어도 하나의 참조 레이어 블록에서 상기 적어도 하나의 참조 레이어 블록이 인터 예측 시에 참조하는 제2 참조 픽쳐까지의 제2 시간적 거리를 기반으로, 상기 적어도 하나의 참조 레이어 블록의 움직임 정보에 대해 스케일링을 수행함으로써 도출되고,
상기 제1 참조 픽쳐는 상기 인핸스먼트 레이어에 속한 블록이고, 상기 제2 참조 픽쳐는 상기 참조 레이어에 속한 블록인 것을 특징으로 하는 인터 레이어 예측 방법.
제 1항에 있어서,
상기 예측을 수행하는 단계는,
머지 인덱스(merge index)를 포함한 영상 정보를 수신하는 단계;
상기 적어도 하나의 참조 레이어 블록의 움직임 정보를 기반으로, 복수의 머지 후보(merge candidate)를 포함하는 머지 후보 리스트(merge candidate list)를 생성하는 단계;
상기 머지 인덱스 및 상기 머지 후보 리스트를 기반으로, 상기 현재 블록의 움직임 정보를 결정하는 단계; 및
상기 결정된 움직임 정보를 기반으로, 상기 현재 블록에 대한 예측을 수행하는 단계를 더 포함하되,
상기 머지 인덱스는 상기 머지 후보 리스트를 구성하는 복수의 머지 후보 중에서 상기 현재 블록의 움직임 정보로 사용되는 머지 후보를 지시하는 것을 특징으로 하는 인터 레이어 예측 방법.
제 12항에 있어서,
상기 머지 후보 리스트를 생성하는 단계에서,
상기 적어도 하나의 참조 레이어 블록의 움직임 정보 각각에 대응되는 머지 후보는, 상기 입력 픽쳐 크기 비율을 기반으로 도출되는 것을 특징으로 하는 인터 레이어 예측 방법.
제 12항에 있어서,
상기 머지 후보 리스트는,
복원된 주변 블록을 기반으로 도출되는 제1 머지 후보, 콜 블록을 기반으로 도출되는 제2 머지 후보 및 상기 적어도 하나의 참조 레이어 블록을 기반으로 도출되는 제3 머지 후보 중에서 적어도 하나를 포함하고,
상기 복원된 주변 블록은 상기 현재 블록에 인접하여 위치한 블록들 및 상기 현재 블록 외부의 코너에 가장 가까이 위치한 블록들 중에서 적어도 하나를 포함하고,
상기 콜 블록은, 상기 현재 블록이 속한 현재 픽쳐가 아닌, 참조 픽쳐를 구성하는 복수의 블록들 중에서 하나인 것을 특징으로 하는 인터 레이어 예측 방법.
제 14항에 있어서,
상기 복원된 주변 블록이 가용하지 가용하지 않거나 상기 복원된 주변 블록의 예측 모드가 인트라 모드인 경우,
상기 제1 머지 후보는 상기 참조 레이어 내에서 상기 복원된 주변 블록과 공간적으로 동일한 위치에 존재하는 블록의 움직임 벡터를 기반으로 도출되는 것을 특징으로 하는 인터 레이어 예측 방법.
제 14항에 있어서,
상기 제3 머지 후보에는 상기 제1 머지 후보 및 상기 제2 머지 후보보다 작은 머지 인덱스 값이 할당되는 것을 특징으로 하는 인터 레이어 예측 방법.
제 14항에 있어서,
상기 머지 후보 리스트를 생성하는 단계는,
상기 제3 머지 후보에 대응되는 참조 픽쳐 인덱스를 결정하는 단계를 더 포함하고,
상기 참조 픽쳐 인덱스는, 상기 제3 머지 후보가 상기 현재 블록의 움직임 정보로 결정되는 경우 상기 현재 블록이 인터 예측 시에 참조하는 제1 참조 픽쳐를 지시하고,
상기 제1 참조 픽쳐는, 상기 적어도 하나의 참조 레이어 블록이 인터 예측 시에 참조하는 제2 참조 픽쳐의 POC(Pucture Order Count) 값과 동일한 POC 값을 갖는 픽쳐이고,
상기 제1 참조 픽쳐는 상기 인핸스먼트 레이어에 속한 픽쳐이고 상기 제2 참조 픽쳐는 상기 참조 레이어에 속한 픽쳐인 것을 특징으로 하는 인터 레이어 예측 방법.
인핸스먼트 레이어에 속한 인핸스먼트 기준 샘플의 위치를 기반으로, 참조 레이어 내에서 상기 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치를 결정하는 단계;
상기 참조 기준 샘플의 위치를 기반으로, 상기 참조 레이어에서 적어도 하나의 참조 레이어 블록을 결정하는 단계;
상기 적어도 하나의 참조 레이어 블록의 움직임 정보를 기반으로, 상기 인핸스먼트 레이어에 속한 현재 블록에 대해 예측을 수행함으로써, 상기 현재 블록에 대응되는 예측 블록을 생성하는 단계; 및
상기 예측 블록을 기반으로 상기 현재 블록에 대응되는 복원 블록을 생성하는 단계를 포함하되,
상기 인핸스먼트 기준 샘플의 위치는 상기 현재 블록에 대한 상대적인 위치로서 결정되고,
상기 인핸스먼트 기준 샘플에 대응되는 참조 기준 샘플의 위치는 상기 인핸스먼트 레이어의 입력 픽쳐 및 상기 참조 레이어의 입력 픽쳐 간의 입력 픽쳐 크기 비율을 기반으로 결정되는 스케일러블(scalable) 비디오 복호화 방법.