KR101706309B1

KR101706309B1 - 3차원 비디오 코딩을 위한 뷰간 후보자 유도 방법 및 장치

Info

Publication number: KR101706309B1
Application number: KR1020157023722A
Authority: KR
Inventors: 지안리앙 린; 이웬 첸
Original assignee: 에이치에프아이 이노베이션 인크.
Priority date: 2013-04-10
Filing date: 2014-03-20
Publication date: 2017-02-14
Also published as: WO2014166329A1; CN105324996B; US20150358600A1; JP2016513924A; EP2932716A1; JP6389833B2; CN105324996A; EP2932716A4; KR20150114988A; US10021367B2

Abstract

병합 모드, 스킵 모드 또는 AMVP 기반(Advanced Motion Vector Prediction based) 인터 모드에 대한 후보자 리스트 내에 제2 뷰간 후보자를 포함한 후보자 리스트를 이용하는 3차원/멀티뷰 코딩의 방법 및 장치가 개시된다. 포함될 후보자 리스트를 위한 이미 코딩 또는 디코딩된 텍스처 데이터에 기초하여 제2 뷰간 후보자를 유도할 수 있다. 예컨대, 제2 뷰간 후보자는 참조 뷰 내의 대응하는 블록과 연관되는 모션 정보로부터 결정될 수 있고, 여기서 대응하는 블록은 우측 하부 이웃 블록의 위치와 선택된 디스패리티 벡터에 따라서 위치된다. 우측 하부 이웃 블록은 현재 텍스처 블록의 우측 하부 코너로부터 가로질러 위치된다. 제2 뷰간 후보자는, 이전의 이용가능한 후보자들의 수가 미리 정해진 수보다 작을 때에만 후보자 리스트에 삽입될 수 있다.

Description

3차원 비디오 코딩을 위한 뷰간 후보자 유도 방법 및 장치{METHOD AND APPARATUS OF INTER-VIEW CANDIDATE DERIVATION FOR THREE-DIMENSIONAL VIDEO CODING}

관련 출원들의 교차 참조

본 발명은 2013년 4월 10일자로 출원되고, “Additional Inter-view Candidate for 3D and Multi-view Video Coding”로 명칭된 미국 가출원 제61/810,383호의 우선권을 주장한다. 이 미국 가출원은 그 전체가 참고로 본원에 통합된다.

발명의 분야

본 발명은 비디오 코딩에 관한 것이다. 특히, 본 발명은 3차원/멀티뷰 비디오 코딩에서의 모션 벡터/디스패리티(disparity) 벡터 또는 모션 벡터 예측/디스패리티 벡터 예측을 위한 뷰간(inter-view) 후보자 유도에 관한 것이다.

3차원(three-dimensional; 3D) 텔레비전은 관측자들에게 경이적인 관측 경험을 가져오는 것을 목표로 하는 최근 몇 년 동안의 기술 동향이다. 멀티 뷰(multi-view) 비디오는 3D 비디오를 캡처 및 제공하기 위한 기술이다. 멀티 뷰 비디오는 다수의 카메라들을 동시에 이용하여 장면을 캡처하는 것에 의해 일반적으로 생성되며, 여기에서 각각의 카메라가 하나의 뷰포인트로부터 장면을 캡처하도록 하기 위해 다수의 카메라들이 적절하게 배치된다. 뷰들과 연관된 많은 수의 비디오 시퀀스들을 가진 멀티 뷰 비디오는 방대한 양의 데이터를 나타낸다. 따라서, 멀티뷰 비디오는 저장하기 위한 큰 저장 공간 및/또는 송신하기 위한 높은 대역폭을 필요로 할 것이다. 따라서, 멀티 뷰 비디오 코딩 기술들은 필요한 저장 공간 및 송신 대역폭을 감소시키는 분야에서 개발되었다. 간단한 접근법은 단순히 종래의 비디오 코딩 기술들을 각각의 단일 뷰 비디오 시퀀스에 독립적으로 적용하고 상이한 뷰들 간의 임의의 상관관계를 무시할 수도 있다. 그러한 간단한 기술들은 불량한(poor) 코딩 성능을 야기할 것이다. 멀티뷰 비디오 코딩 효율을 개선시키기 위해, 멀티뷰 비디오 코딩은 항상 뷰간(inter-view) 리던던시(redundancy)을 이용한다. 두 개의 뷰들 사이의 디스패리티(disparity)는 두 개의 개별 카메라들의 위치들 및 각도들에 의해 야기된다.

뷰간 리던던시를 감소시키기 위하여, 디스패리티 보상된 예측(disparity-compensated prediction; DCP)은 모션 보상된 예측(motion-compensated prediction; MCP)으로서 사용되었다. 도 1에 나타낸 바와 같이, MCP는 상이한 액세스 유닛에서의 동일한 뷰의 이미 코딩된 화상을 이용하는 화상간 예측을 지칭하는 반면에, DCP는 동일한 액세스 유닛에서의 다른 뷰의 이미 코딩된 화상을 이용하는 화상간 예측을 지칭한다. 3차원/멀티뷰 데이터는 텍스처 화상(picture)(110) 및 심도(depth) 맵(120)으로 이루어진다. 모션 보상된 예측은 시간 방향(즉, 도 1에서의 수평 방향)에서의 텍스처 화상 또는 심도 맵에 적용된다. 디스패리티 보상된 예측은 뷰 방향(즉, 도 1에서의 수직 방향)에서의 텍스처 화상 또는 심도 맵에 적용된다. DCP에 대하여 사용되는 벡터는 디스패리티 벡터(disparity vector; DV)로 지칭되며, 이는 MCP에 사용되는 모션 벡터(MV)와 유사하다.

3D-HEVC는 3D 비디오를 인코딩/디코딩하기 위하여 개발중에 있는 HEVC(High Efficiency Video Coding)의 확장이다. 뷰들 중 하나는 기본(base) 뷰 또는 독립(independent) 뷰로서 지칭된다. 기본 뷰는 심도 데이터뿐만 아니라 다른 뷰들과 관계없이 코딩된다. 또한, 기본 뷰는 종래의 HEVC 비디오 코더를 이용하여 코딩된다.

3D-HEVC에 있어서, 하이브리드 블록 기반 모션 보상된 DCT형 변환 코딩 아키텍처가 여전히 이용된다. 코딩 유닛(CU)으로 지칭된 압축용 기본 유닛은, 2Nx2N 정사각형 블록이고, 각 CU는, 미리 정해진 최소 사이즈에 도달할 때 까지 더 작은 4개의 CU로 재귀적으로(recursively) 분할될 수 있다. 각 CU는 하나 또는 복수의 예측 유닛(PU)을 포함한다. PU 사이즈는 2Nx2N, 2NxN, Nx2N, 또는 NxN일 수 있다. 비대칭 모션 분할(asymmetric motion partition; AMP)이 지원되며, PU 사이즈는 또한 2NxnU, 2NxnD, nLx2N 및 nRx2N일 수 있다.

3D-HEVC에 있어서, 모션 벡터 경쟁(motion vector competition; MVC) 기반 방식은 또한 주어진 후보자 세트(또는 후보자 리스트) 중에서 모션 벡터 예측자/디스패리티 벡터 예측자(MVP/DVP)를 선택하는데 적용된다. 인터, 스킵 및 병합을 포함하는 3개의 예측간 모드가 존재한다. 인터 모드는, 송신된 모션 벡터/디스패리티 벡터(MV/DV)를 가진 모션 보상된 예측/디스패리티 보상된 예측을 수행하는 반면에, 스킵 및 병합 모드는 모션 정보를 획득하기 위하여 후보자 리스트로부터 MV 또는 DV를 선택하기 위하여 추론(inference) 방법을 이용한다. 후보자 리스트는 현재의 화상 내에 위치되는 공간 이웃 블록, 슬라이스 헤더 내에 시그널링된 시간(temporal) 집합된 화상에 위치된 시간 이웃 블록, 또는 뷰간 참조 화상 내의 대응하는 블록으로부터의 후보자를 포함한다. 이러한 후보자들은 경쟁 순서에 따라서 후보자 리스트 내에 배치되며, 상기 리스트 내의 하나의 후보자는 MV/DV 또는 MVP/DVP로서 선택된다. PU가 스킵 또는 병합 모드로 코딩될 때, 모션 정보는 선택된 후보자의 인덱스를 제외하고 송신되지 않는다. 스킵 모드로 코딩된 PU의 경우에, 잔여 신호가 또한 생략된다.

HTM-4.0(3D-HEVC 기반 테스트 모델 버전 4.0)에서의 인터 모드에 있어서, 어드밴스드 모션 벡터 예측(Advanced Motion Vector Prediction; AMVP) 방식은, AMVP 후보자 세트 중에서 모션 벡터 예측자를 선택하는데 사용된다. 병합 및 스킵 모드에 대하여, 병합 방식은 병합 후보자 세트 중에서 모션 벡터 예측자를 선택하는데 사용된다. 레이트-변형 최적화(rate-distortion optimization; RDO) 결정에 기초하여, 인코더는, 인터 모드, 스킵 모드 또는 병합 모드를 위한 MVP/DVP의 주어진 후보자 세트 내의 하나의 최종 MVP/DVP를 선택하고, 선택된 MVP/DVP의 인덱스를 디코더에 송신한다. 선택된 MVP/DVP는 시간 거리 또는 뷰 거리에 따라서 선형적으로 스케일링될 수도 있다.

심도 코딩의 인터 모드에 있어서, 참조 화상 인덱스는 디코더에 명백하게 송신된다. MVP/DVP는 그 후 주어진 참조 화상 인덱스를 위한 후보 세트 중에서 선택된다. 도 2에 도시된 바와 같이, HTM-4.0에서의 인터 모드를 위한 MVP/DVP 후보자 세트는, 2개의 공간 MVP/DVP, 뷰간 후보자, 및 시간 MVP/DVP를 포함한다. 하나의 공간 MVP/DVP 후보자는, B0, B1 및 B2로부터 선택되며, 다른 공간 MVP/DVP 후보자는 A0 및 A1로부터 선택된다. 시간 MVP/DVP 후보자가 TBR로부터 선택된다. TBR이 이용가능하지 않으면, TCT가 사용된다. 시간 블록 TBR 및 TCT가 시간 참조 화상 내에 위치된다. MVP/DVP 후보자 세트의 사이즈는, 뷰간 후보자가 포함되어 있는지 여부에 따라서 2 또는 3으로 고정된다.

3D-HEVC에 있어서, 특정 블록이 병합 모드를 이용하여 인코딩되면, 병합 인덱스는, 병합 후보자 세트 중의 어느 MVP/DVP 후보자가 병합될 이 블록을 위하여 사용되는지를 나타내도록 시그널링된다. 모션 정보 공유의 본질(essence)을 따르기 위하여, 각 병합된 PU는 선택된 후보자의 MV, 예측 방향, 및 참조 화상 인덱스를 재사용한다. 시간 병합 후보자에 대하여, 참조 화상 인덱스는 0으로 설정되며, MV는 POC 거리에 따라서 스케일링된다. 도 2에 도시된 바와 같이, 병합 후보자 세트는 5 명의 공간 병합 후보자, 한 명의 뷰간 후보자, 한 명의 디스패리티 후보자, 한 명의 VSP 후보자, 및 한 명의 시간 병합 후보자를 포함한다. 병합 후보자 세트의 사이즈는 6으로 고정된다. 시간 후보자는 일시적으로 병치된 블록의 하부 오른쪽 블록(TBR)에 기초한다. 하부 오른쪽 블록(TBR)이 이용가능하지 않으면, 일시적으로 병치된 블록의 중앙 블록(TCT)이 사용된다. 3D-HEVC에서의 텍스터 코딩을 위한 후보자 세트는 아래와 같이 도시된다.

뷰간 후보자

- A1

- B1

- B0

- A0

- 디스패리티 후보자(DV)

- B2

- VSP 후보자

- 시간 후보자.

후보자들은 위에 도시된 경쟁 순서(즉, 뷰간 후보자로부터 시간 후보자까지)에 따라서 후보자 리스트에 하나씩 삽입된다. (중복 후보자들이 제거됨에 따라서) 병합 후보자 리스트 내의 후보자들의 총수가 6에 도달 할 때, 부가적인 후보자는 삽입되지 않는다.

병합 모드 및 스킵 모드에 있어서, 후보자 리스트가 MV/DV 또는 MVP/DVP를 더 좋게할 수 있으면, 더 많은 블록이 병합 모드 또는 스킵 모드로 코딩될 수도 있다. 따라서, 코딩 효율은 향상될 수도 있다. 그러므로, 코딩 효율을 향상시킬 수 있는 병합 후보자 리스트를 개발하는 것이 바람직하다.

병합 모드, 스킵 모드 또는 AMVP 기반(Advanced Motion Vector Prediction based) 인터 모드에 대한 후보 리스트 내의 제2 인터뷰 후보자를 포함한 후보자 리스트를 이용하는 3차원/멀티뷰 코딩의 방법 및 장치가 개시된다. 본 발명에 다른 실시형태들은, 포함될 후보자 리스트를 위한 상기 이미 코딩된 또는 디코딩된 텍스처 데이터에 기초하여 제2 뷰간 후보자를 유도하고, 그리고 그 후보자 리스트를 이용하여 현재 텍스처 블록의 모션 정보를 인코딩/디코딩한다. 제2 뷰간 후보자는 참조 뷰 내의 대응하는 블록과 연관되는 모션 정보로부터 결정되며, 여기서 대응하는 블록은 우측 하부의 이웃하는 블록의 위치 및 선택된 디스패리티 벡터에 따라서 위치될 수도 있다. 우측 하부의 이웃하는 블록은 현재의 텍스처 블록의 우측 하부 코너로부터 교차하여 위치된다.

본 발명의 일 양태는 선택된 디스패리티 벡터의 유도를 다룬다. 일 실시형태에서 있어서, 선택된 디스패리티 벡터는 제1 뷰간 후보자를 유도하는데 사용되는 동일한 디스패리티 벡터일 수 있다. 후보자 리스트가 디스패리티 후보자를 포함할 때, 선택된 디스패리티 벡터는 디스패리티 후보자와 동일할 수 있다. 선택된 디스패리티 벡터는 또한 현재의 텍스처 블록과 연관된 이미 코딩된 심도(depth) 블록의 하나 이상의 심도 샘플들로부터 유도될 수 있다. 선택된 디스패리티 벡터가 글로벌 디스패리티 벡터로부터 유도될 수 있다. 후보자 리스트가 시간 후보자를 포함할 때, 제2 뷰간 후보자는, 경쟁 순서에 따라서 시간 후보자 이전에 후보자 리스트에 삽입될 수 있다.

제2 뷰간 후보자는 조건부로 후보자 리스트에 삽입될 수 있다. 예컨대, 제2 뷰간 후보자는, 이전에 이용가능한 후보자들의 수가 사전에 명시된 수보다 작을 때에만 후보자 리스트에 삽입된다. 대안적으로, 제2 뷰간 후보자는, 제1 뷰간 후보자가 이용가능하지 않을 때에만 후보자 리스트에 삽입된다. 후보자 리스트 정보를 단순화시키기 위하여, 제2 뷰간 후보자는 리던던시 체킹을 위해서만 제1 뷰간 후보자와 비교될 수 있다. 일 실시형태에 있어서, 제1 뷰간 후보자는 항상 경쟁 순서에 따라서 후보자 리스트의 제1 위치에 배치된다. 제1 뷰간 후보자가 이용가능하지 않으면, 이러한 제1 뷰간 후보자는 제2 뷰간 후보자에 의해 대체된다. 제2 뷰간 후보자도 이용가능하지 않으면, 디폴트 값이 사용된다. 제2 뷰간 후보자가 후보자 리스트에 삽입될 때, 후보자 리스트 내의 후보자들의 총수는 1씩 증가된다.

일 실시형태에 있어서, 제2 뷰간 후보자가 후보자 리스트로부터 선택될 때, 뷰간 잔여 예측은 현재의 텍스처 블록에 적용되지 않는다. 다른 실시형태에 있어서, 제2 뷰간 후보자가 후보자 리스트로부터 선택될 때, 뷰간 잔여 예측은 현재 텍스처 블록에 적용된다. 또 다른 실시형태에 있어서, 제2 뷰간 후보자가 후보자 리스트로부터 선택될 때, 뷰간 잔여 예측은 시스템 구성 또는 플래그에 선택적으로 기초하여 현재 텍스처 블록에 적용된다. 제2 뷰간 후보자는 디스패리티 벡터에 따라서 유도될 수 있고, 디스패리티 벡터는 현재 텍스처 블록의 후속 블록을 위한 제2 디스패리티 벡터를 유도하는데 사용될 수 있다.

도 1은 3차원/멀티뷰 코딩의 예를 나타내며, 여기서 모션 보상된 예측(MCP) 및 디스패리티 보상된 예측(DCP)이 개시된다.
도 2는 고효율 비디오 코딩 표준에 따라서 병합/스킵/인터 모드를 위한 후보자 리스트를 유도하는데 사용되는 공간 및 시간(temporal) 이웃 블록 구성을 나타낸다.
도 3은 본 발명의 실시형태를 통합하는 병합 후보자 리스트의 예를 나타내며, 여기서 2 명의 뷰간 후보자들은 병합 후보자 리스트 내에 포함된다.
도 4는 본 발명의 실시형태를 통합하는 3차원 및 멀티뷰 코딩 시스템에서의 병합 모드, 스킵 모드 또는 AMVP 기반 인터 모드를 위한 후보자를 유도하기 위한 예시적인 흐름도를 나타낸다.

본 발명에 있어서, 부가적인 뷰간 후보자는 3차원/멀티뷰 코딩 시스템에 대한 코딩 효율을 향상시키기 위하여 병합 후보자 리스트에 통합된다. 예시적인 부가적인 뷰간 후보자(320)는 참조 뷰 내의 대응하는 블록으로부터 유도되며, 여기서 대응하는 블록은 도 3에 도시된 바와 같이 선택된 디스패리티 벡터에 의해 시프트된 우측 하부 이웃 블록의 위치(블록 H 위치)에 따라서 위치된다. 우측 하부 이웃 블록은 현재의 텍스처 블록의 우측 하부 코너로부터 교차하여 위치된다. 선택된 디스패리티 벡터는 제1 뷰간 후보자(310)의 유도에 사용되는 하나의 벡터와 동일하거나, 또는 병합 후보자 리스트 내의 디스패리티 후보자와 동일할 수도 있다.

선택된 디스패리티 벡터는 또한 제1 뷰간 후보자 또는 디스패리티 후보자와 오프셋 값의 합의 유도에 사용되는 디스패리티 벡터일 수 있다. 오프셋 값은, 수평 방향, 수직 방향 또는 수평 및 수직 방향 양쪽으로 추가될 수 있다.

선택된 디스패리티 벡터는 또한 이웃 공간 블록 또는 시간 블록의 디스패리티 벡터로부터 결정될 수 있다. 또한, 선택된 디스패리티 벡터는 또한 연관된 심도(depth) 블록으로부터 유도될 수 있다. 선택된 디스패리티 벡터는 또한 글로벌 디스패리티 벡터로부터 유도될 수 있다.

부가적인 뷰간 후보자는 또한 선택된 디스패리티 벡터에 의해 시프트된 다른 위치(예컨대, 블록 A0, A1, B0, B1, 또는 B2)에 의해 위치되는 참조 뷰 내의 대응하는 블록으로부터 유도될 수 있다.

부가적인 뷰간 후보자는 임의의 허용가능한 위치에서 병합 후보자 리스트 내에 삽입될 수도 있다. 예컨대, 병합 후보자 리스트는 경쟁 순서(즉, 가장 높은 우선 순서에 대응하는 제1 순서)를 따르는 바와 같이 이루어 질 수 있다.

텍스처 코팅을 위한 병합 후보자 리스트(사이즈=6)

뷰간 후보자 1

- A1

- B1

- B0

- 디스패리티 후보자 (N'<=4일 때)

- A0

- B2 (N'<=4일 때에만)

- VSP 후보자 (N'<=4일 때에만)

- 뷰간 후보자 2 (N'<=4일 때)

- 시간 후보자 (N'<=5일 때),

여기서, N'은 현재 후보자를 삽입하는 순간까지의 이용가능한 후보자들의 수를 나타내는 정수이다.

상기 예에 있어서, 병합 후보자 리스트의 사이즈는 6이며, 부가적인 뷰간 후보자(즉, 제2 뷰간 후보자)는 시간 후보자 이전에 (경쟁 순서로) 삽입된다. 일 실시형태에 있어서, 본 발명에 따른 부가적인 뷰간 후보자는 일부 주어진 조건 하에서만 추가될 수 있다. 상기 예에 있어서, 부가적인 뷰간 후보자는, 이전의 이용가능한 후보자의 수가 4 이하일 때만 추가된다. 즉, 부가적인 뷰간 후보자는, 이전의 이용가능한 후보자의 수가 미리 정해진 수보다 작을 때에만 후보자 리스트에 삽입될 수 있다.

전지(pruning) 프로세스에 있어서, 부가적인 뷰간 후보자는 리던던시를 감소시키기 위하여 모든 이전 후보자와 비교될 수 있다. 간략화를 위하여, 부가적인 뷰간 후보자는 오직 제1 뷰간 후보자와 비교되고, 부가적인 뷰간 후보자는, 이 후보자가 제1 뷰간 후보자와 동일하면 병합 후보자 리스트에 추가되지 않는다.

다른 실시형태에 있어서, 부가적인 뷰간 후보자는 제1 뷰간 후보자가 이용가능하지 않을 때에만 병합 후보자 리스트에 추가될 수도 있다.

본 발명의 또 다른 실시형태에 있어서, 뷰간 후보자는 항상 고정된 후보자 인덱스를 가진 후보자에 대응한다. 예컨대, 후보자 인덱스=0인 경우에, 뷰간 후보자는 항상 인터 모드, 병합 모드, 또는 스킵 모드에 대한 후보자 리스트 내의 제1 위치에 있다. 뷰간 후보자가 후보자 인덱스=0에 대응하고, 제1 뷰간 후보자가 이용가능하지 않을 때, 뷰간 후보자는 부가적인 뷰간 후보자(즉, 제2 뷰간 후보자)에 의해 대체된다. 부가적인 뷰간 후보자가 이용가능하지 않으면, 뷰간 후보자는 제로 MVP와 같은 디폴트 후보자에 의해 대체된다.

전술한 바와 같은 부가적인 뷰간 후보자는 또한 AMVP 후보자 리스트에 추가될 수 있다.

본 발명에 따른 부가적인 뷰간 후보자가 병합 후보자 리스트 또는 AMVP 후보자 리스트 내에 포함될 때, 후보자 리스트의 사이즈는 1씩 증가될 수 있다. 예컨대, HTM-6.0에 있어서, 종속 뷰를 코딩하기 위한 병합 후보자 리스트의 사이즈는 6이고, 그 사이즈는, 부가적인 뷰간 후보자가 후보자 리스트 내에 포함될 때 7까지 증가된다.

3차원/멀티뷰 코딩 시스템이 복잡한 제약을 가지거나 또는 복잡성을 감소시키는 것을 선호하면, 부가적인 뷰간 후보자는, 본 발명에 따른 부가적인 뷰간 후보자가 MV/DV 또는 MVP/DVP로서 후보자 리스트로부터 선택될 때 뷰간 잔여 예측에 적용되지 않는다.

한편, 3차원/멀티뷰 코딩 시스템이 향상된 코딩 이득을 가지도록 선호되면, 부가적인 뷰간 후보자는, 본 발명에 따른 부가적인 뷰간 후보자가 MV/DV 또는 MVP/DVP로서 후보자 리스트로부터 선택될 때 뷰간 잔여 예측에 적용된다.

대안적으로, 본 발명에 따른 부가적인 뷰간 후보자가 MV/DV 또는 MVP/DVP로서 후보자 리스트로부터 선택될 때, 부가적인 뷰간 후보자는 뷰간 잔여 예측에 선택적으로 적용된다. 낮은 복잡성 또는 높은 성능의 선호와 같은 그 선택은, 시스템 구성에 기초할 수 있다. 선택은 또한 플래그에 의해 표시될 수도 있다.

부가적인 뷰간 후보자를 유도하는데 사용되는 선택된 DV는 또한 이하의 CU/PU에 대한 DV 유도를 위하여 사용될 수 있다.

본 발명의 실시형태를 부가적인 뷰간 후보자와 통합하는 3D/멀티뷰 비디오 코딩 시스템의 성능은, 표 1에 도시된 바와 같이 HTM-6.0에 기초한 종래의 시스템의 성능과 비교된다. 성능 비교는 제1 열에 목록화된 상이한 세트의 테스트 데이터에 기초한다. BD-레이트 차는 뷰 1(비디오 1) 및 뷰 2(비디오 2)에서의 텍스처 화상을 위하여 도시된다. BD-레이트에서의 음의 값은, 본 발명이 더 나은 성능을 가진다는 것을 암시한다. 표 1에 도시된 바와 같이, 본 발명의 실시형태을 통합하는 비디오 1 및 비디오 2에 대한 BD-레이트는 각각 0.2% 및 0.1% 만큼 감소된다. 제2 성능 그룹은, 텍스처 비디오 전용을 위한 BD-레이트 차이(비디오 PSNR/비디오 비트레이트), 텍스처 비디오에 대한 텍스처 PSNR 대(versus) 총 비트레이트(텍스처 비트레이트 및 심도 비드레이트)에 대한 BD-레이트 차, 및 6개의 합성 뷰 대 전체 비트레이트(synth. PSNR/총 비트레이트)의 평균 PSNR이다. 표 1에 도시된 바와 같이, 이 그룹의 평균 성능은 또한 종래의 HTM-6.0에 비하여 약간의 향상(0.1%)을 나타낸다. 프로세스 시간(인코딩 시간, 디코딩 시간 또는 렌더링 시간)이 또한 비교된다. 표 1에 도시된 바와 같이, 인코딩 시산, 디코딩 시간 및 렌터딩 시간은 거의 같다.

도 4는 본 발명의 실시형태에 따라서 후보자 리스트를 제2 뷰간 후보자와 통합하는 3차원/멀티뷰 코딩 시스템의 예시적인 흐름도를 나타낸다. 이 시스템은 단계 410에 도시된 바와 같이 종속 뷰 내의 현재의 텍스처 블록의 모션 정보와 연관된 입력 데이터를 수신한다. 인코딩에 있어서, 현재 텍스처 블록의 모션 정보와 연관되는 입력 데이터는 코딩될 모션 정보에 대응한다. 디코딩에 있어서, 현재 텍스처 블록의 모션 정보와 연관되는 입력 데이터는 디코딩될 코딩된 모션 정보에 대응한다. 현재 텍스처 블록의 모션 정보는, 메모리(예컨대, 컴퓨터 메모리, 버퍼(RAM 또는 DRAM) 또는 기타 미디어)로부터 또는 프로세서로부터 검색될 수도 있다. 제1 뷰간 후보자는 단계 420에 도시된 바와 같이 이미 코딩된 또는 디코딩된 텍스처 데이터에 기초하여 결정되고, 여기서 제1 뷰간 후보자는 병합 후보자 리스트에 삽입된다. 제2 뷰간 후보자는, 단계 430에 도시된 바와 같이 포함될 후보자 리스트에 대한 상기 이미 코딩된 또는 디코딩된 텍스처 데이터에 기초하여 결정된다. 그 후, 현재의 텍스처 블록의 모션 정보는 단계 440에 도시된 바와 같이 후보자 리스트를 이용하여 인코딩 또는 디코딩된다.

위에 도시된 흐름도는, 제2 뷰간 후보자를 가진 후보자 리스트를 이용한 3D/멀티뷰 코딩의 예를 나타내도록 의도된다. 당업자라면 본 발명의 정신으로부터 벗어나지 않고 본 발명을 실시하는 각 단계를 수정하고, 단계들을 재배열하고, 단계를 분할하고, 또는 단계들을 결합할 수 있을 것이다.

전술한 설명은 이 기술에 통상의 지식을 가진 사람이 특정 응용 및 그 필요 조건과 관련하여 제공된 것처럼 본 발명을 실시할 수 있도록 제공된다. 당업자라면 전술한 실시형태를 다양하게 수정할 수 있을 것이고, 여기에서 규정된 일반적인 원리는 다른 실시형태에도 적용할 수 있다. 그러므로, 본 발명은 여기에서 도시하고 설명한 특정 실시형태로 제한되는 것이 아니고, 여기에서 설명한 원리 및 신규 특징과 일치하는 가장 넓은 범위에 따르는 것으로 한다. 전술한 설명에 있어서, 각종의 특정 세부는 본 발명의 완전한 이해를 제공하기 위해 예시한 것이다. 그럼에도 불구하고, 당업자라면 본 발명이 실시될 수 있다는 것을 이해할 것이다.

전술한 본 발명의 실시형태는 각종의 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 예를 들면, 본 발명의 실시형태는 여기에서 설명한 처리를 수행하기 위해 비디오 압축 칩에 통합된 회로 또는 비디오 압축 소프트웨어에 통합된 프로그램 코드일 수 있다. 본 발명의 실시형태는 또한 여기에서 설명한 처리를 수행하기 위해 디지털 신호 프로세서(DSP)에서 실행되는 프로그램 코드일 수 있다. 본 발명은 또한 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로프로세서, 또는 필드 프로그램 가능한 게이트 어레이(FPGA)에 의해 수행되는 다수의 기능을 수반할 수 있다. 상기 프로세서들은 본 발명에 의해 구체화되는 특정 방법을 규정하는 기계 판독가능 소프트웨어 코드 또는 펌웨어 코드를 실행함으로써, 본 발명에 따른 특정 작업을 수행하도록 구성될 수 있다. 상기 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어 및 상이한 포맷 또는 스타일로 개발될 수 있다. 소프트웨어 코드는 또한 다른 목표 플랫폼에 대하여 컴파일될 수 있다. 그러나, 소프트웨어 코드의 다른 코드 포맷, 스타일 및 언어, 및 본 발명에 따른 작업을 수행하기 위한 구성 코드의 다른 수단들은 본 발명의 정신 및 범위에서 벗어나지 않을 것이다.

본 발명은 발명의 정신 및 본질적 특징으로부터 벗어나지 않고 다른 특정 형태로 구현될 수 있다. 전술한 예들은 모든 점에서 단순히 설명하는 것이지 구속하는 것이 아니라고 생각하여야 한다. 그러므로, 본 발명의 범위는 전술한 설명보다는 첨부된 특허 청구범위에 의해 규정된다. 특허 청구범위에서 규정하는 것의 균등물의 의미 및 범위 내에 있는 모든 변화는 본 발명의 범위 내에 있는 것으로 해석하여야 한다.

Claims

3차원(3D) 또는 멀티뷰 코딩 시스템에서의 병합(Merge) 모드, 스킵(Skip) 모드 또는 인터(Inter) 모드에 대한 후보자 리스트를 유도하는 방법에 있어서,
종속(dependent) 뷰 내의 현재 텍스처(texture) 블록의 모션 정보와 연관되는 입력 데이터를 수신하는 단계와,
이미 코딩 또는 디코딩된 텍스처 데이터에 기초하여 제1 뷰간(inter-view) 후보자 - 상기 제1 뷰간 후보자는 상기 후보자 리스트에 삽입됨 - 를 결정하는 단계와,
포함될 상기 후보자 리스트에 대한 상기 이미 코딩 또는 디코딩된 텍스처 데이터에 기초하여 제2 뷰간 후보자를 결정하는 단계와,
상기 후보자 리스트를 이용하여 상기 현재 텍스처 블록의 상기 모션 정보를 인코딩 또는 디코딩하는 단계를 포함하며,
상기 제2 뷰간 후보자는 참조 뷰 내의 대응하는 블록과 연관되는 모션 정보로부터 결정되고, 상기 대응하는 블록은 이웃 블록의 위치 및 선택된 디스패리티(disparity) 벡터에 따라서 위치되는 것인, 후보자 리스트를 유도하는 방법.
제1항에 있어서,
상기 대응하는 블록은 우측 하부(right-bottom) 이웃 블록의 제1 위치 및 상기 선택된 디스패리티 벡터에 따라서 위치되며,
상기 우측 하부 이웃 블록은, 상기 현재 텍스처 블록의 우측 하부 코너로부터 가로질러(across) 위치되는 것인 후보자 리스트를 유도하는 방법.
제2항에 있어서, 상기 선택된 디스패리티 벡터는, 상기 제1 뷰간 후보자를 유도하는데 사용되는 동일한 디스패리티 벡터인 것인 후보자 리스트를 유도하는 방법.
제2항에 있어서, 상기 선택된 디스패리티 벡터는, 제2 디스패리티 벡터 및 오프셋 값에 기초하여 유도되며,
상기 제2 디스패리티 벡터는 상기 제1 뷰간 후보자를 유도하는데 사용되는 것인 후보자 리스트를 유도하는 방법.
제2항에 있어서, 상기 후보자 리스트는 디스패리티 후보자를 포함하며, 상기 선택된 디스패리티 벡터는 상기 디스패리티 후보자와 동일한 것인 후보자 리스트를 유도하는 방법.
제2항에 있어서, 상기 선택된 디스패리티 벡터는, 상기 현재 텍스처 블록과 연관된 이미 코딩된 심도(depth) 블록의 하나 이상의 심도 샘플들로부터 유도되는 것인 후보자 리스트를 유도하는 방법.
제2항에 있어서, 상기 선택된 디스패리티 벡터는, 글로벌 디스패리티 벡터로부터 유도되는 것인 후보자 리스트를 유도하는 방법.
제1항에 있어서, 상기 후보자 리스트는, 시간(temporal) 후보자를 포함하며, 상기 제2 뷰간 후보자는, 경쟁 순서에 따라서 상기 시간 후보자 이전에 상기 후보자 리스트에 삽입되는 것인 후보자 리스트를 유도하는 방법.
제1항에 있어서, 상기 제2 뷰간 후보자는, 이전의 이용가능한 후보자들의 수가 미리 정해진 수보다 작을 때에만 상기 후보자 리스트에 삽입되는 것인 후보자 리스트를 유도하는 방법.
제1항에 있어서, 상기 제2 뷰간 후보자는, 상기 제1 뷰간 후보자가 이용가능하지 않을 때에만 상기 후보자 리스트에 삽입되는 것인 후보자 리스트를 유도하는 방법.
제1항에 있어서, 상기 제2 뷰간 후보자는, 리던던시 체킹을 위하여 오직 상기 제1 뷰간 후보자하고만 비교되는 것인 후보자 리스트를 유도하는 방법.
제1항에 있어서, 상기 제1 뷰간 후보자는, 경쟁 순서에 따라서 상기 후보자 리스트의 제1 위치에 항상 위치되며,
상기 제1 뷰간 후보자는, 상기 제1 뷰간 후보자가 이용가능하지 않으면 상기 제2 뷰간 후보자로 대체되며, 상기 제1 뷰간 후보자는, 상기 제2 뷰간 후보자도 또한 이용가능하지 않으면 디폴트 후보자로 대체되는 것인 후보자 리스트를 유도하는 방법.
제1항에 있어서, 상기 후보자 리스트 내의 후보자들의 총수는, 상기 제2 뷰간 후보자가 상기 후보자 리스트에 삽입될 때 1만큼 증가되는 것인 후보자 리스트를 유도하는 방법.
제1항에 있어서, 상기 제2 뷰간 후보자가 상기 후보자 리스트로부터 선택될 때, 상기 현재 텍스처 블록에 뷰간 잔여 예측이 적용되지 않는 것인 후보자 리스트를 유도하는 방법.
제1항에 있어서, 상기 제2 뷰간 후보자가 상기 후보자 리스트로부터 선택될 때, 상기 제2 뷰간 후보자에 따라서 상기 현재 텍스처 블록에 뷰간 잔여 예측이 적용되는 것인 후보자 리스트를 유도하는 방법.
제1항에 있어서, 상기 제2 뷰간 후보자가 상기 후보자 리스트로부터 선택될 때 시스템 구성 또는 플래그에 선택적으로 기초하여, 상기 현재 텍스처 블록에 뷰간 잔여 예측이 적용되는 것인 후보자 리스트를 유도하는 방법.
제1항에 있어서, 상기 제2 뷰간 후보자는 디스패리티 벡터에 따라서 유도되며, 상기 디스패리티 벡터는 상기 현재 텍스처 블록의 후속 블록에 대한 제2 디스패리티 벡터를 유도하는데 사용되는 것인 후보자 리스트를 유도하는 방법.
3차원(3D) 또는 멀티뷰 코딩 시스템에서의 병합 모드, 스킵 모드 또는 인터 모드에 대한 후보자 리스트를 유도하기 위한 장치로서,
상기 장치는 하나 이상의 전자 회로들을 포함하며,
상기 하나 이상의 전자 회로들은,
종속 뷰 내의 현재 텍스처 블록의 모션 정보와 연관되는 입력 데이터를 수신하고,
이미 코딩 또는 디코딩된 텍스처 데이터에 기초하여 제1 뷰간 후보자 - 상기 제1 뷰간 후보자는 상기 후보자 리스트에 삽입됨 - 를 결정하고,
포함될 상기 후보자 리스트에 대한 상기 이미 코딩 또는 디코딩된 텍스처 데이터에 기초하여 제2 뷰간 후보자를 결정하고,
상기 후보자 리스트를 이용하여 상기 현재 텍스처 블록의 모션 정보를 인코딩 또는 디코딩하도록 구성되며,
상기 제2 뷰간 후보자는 참조 뷰 내의 대응하는 블록과 연관되는 모션 정보로부터 결정되고, 상기 대응하는 블록은 이웃 블록의 위치 및 선택된 디스패리티(disparity) 벡터에 따라서 위치되는 것인, 후보자 리스트를 유도하기 위한 장치.