KR20110058844A

KR20110058844A - ３ｄ 비디오 신호를 인코딩하기 위한 방법 및 시스템, ３―ｄ 비디오 신호, 인코딩된 ３ｄ 비디오 신호를 인코딩하기 위한 인코더, ３ｄ 비디오 신호를 디코딩하기 위한 방법 및 시스템, ３ｄ 비디오 신호를 디코딩하기 위한 디코더

Info

Publication number: KR20110058844A
Application number: KR1020117006762A
Authority: KR
Inventors: 얀 반 데 호르스트; 바르트 헤. 베. 바렌부르흐; 헤라르뒤스 베. 테. 반데르헤이덴
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2008-08-26
Filing date: 2009-08-17
Publication date: 2011-06-01
Also published as: CN102132573B; TW201016013A; JP5544361B2; US20110149037A1; EP2319248A1; RU2011111557A; CN102132573A; BRPI0912953A2; RU2503062C2; WO2010023592A1; JP2012501031A

Abstract

3D 비디오 신호를 인코딩하기 위한 방법 및 인코더에서, 주 데이터 층, 주 데이터 층들을 위한 깊이 맵 및 추가 데이터 층들이 인코딩된다. 몇 개의 데이터 층들은 원본의 데이터 층들로부터의 데이터 블록들과 같은 데이터 세그먼트들을 공통 데이터 층들에 이동시키고 추가 데이터 스트림에 시프트(shift)의 기록을 유지함으로써 하나 이상의 공통 데이터 층들에 결합된다.

Description

３Ｄ 비디오 신호를 인코딩하기 위한 방법 및 시스템, ３―Ｄ 비디오 신호, 인코딩된 ３Ｄ 비디오 신호를 인코딩하기 위한 인코더, ３Ｄ 비디오 신호를 디코딩하기 위한 방법 및 시스템, ３Ｄ 비디오 신호를 디코딩하기 위한 디코더{METHOD AND SYSTEM FOR ENCODING A 3D VIDEO SIGNAL, ENCODER FOR ENCODING A 3-D VIDEO SIGNAL, ENCODED 3D VIDEO SIGNAL, METHOD AND SYSTEM FOR DECODING A 3D VIDEO SIGNAL, DECODER FOR DECODING A 3D VIDEO SIGNAL}

본 발명은 비디오 인코딩 및 디코딩 분야에 관한 것이다. 본 발명은 3D 비디오 신호를 인코딩하기 위한 방법, 시스템 및 인코더를 제시한다. 또한, 본 발명은 3D 비디오 신호를 디코딩하기 위한 방법, 시스템 및 디코더에 관한 것이다. 또한, 본 발명은 인코딩된 3D 비디오 신호에 관한 것이다.

최근에 3-D 이미지 디스플레이들 상에 3-D 이미지들을 제공하는데 많은 관심이 있었다. 3-D 이미징(imaging)은 컬러 이미징 이후에 이미징에 있어 다음으로 큰 혁신이 될 것으로 생각된다. 소비자 시장에 3D 디스플레이들의 도입이 도래하고 있다.

3-D 디스플레이 디바이스는 일반적으로 이미지들이 디스플레이되는 디스플레이 스크린을 구비한다.

기본적으로, 3차원 임프레션(impression)은 스테레오 쌍들, 즉 뷰어의 양눈에 지향되는 2개의 약간 상이한 이미지들을 이용함으로써 생성될 수 있다.

스테레오 이미지들을 생성하는 몇 가지 방식들이 있다. 이미지들이 2D 디스플레이 상에 시간 다중화될 수 있으나, 이것은 뷰어들이 예를 들면, LCD 셔터들을 구비한 안경을 착용할 것을 요구한다. 스테레오 이미지들이 동시에 디스플레이될 때, 이미지들은 헤드 장착 디스플레이를 이용하거나, 편광 안경(이미지들은 직교 편광광에 의해 생성된다)을 이용하거나, 셔터 안경을 이용함으로써 적합한 눈에 지향될 수 있다. 관찰자가 착용한 안경은 각각의 좌측 또는 우측 뷰를 각각의 눈에 효과적으로 라우팅(routing)한다. 안경에 셔터들 또는 편광자들은 라우팅을 제어하기 위해 프레임 레이트에 동기된다. 깜박임을 방지하기 위해서 프레임 레이트는 2배가 되어야 하거나 2차원 등가의 이미지에 관하여 해상도는 반이 되어야 한다. 이러한 시스템의 단점은 어떤 효과를 얻기 위해 안경을 착용해야 한다는 것이다. 이것은 안경을 착용하는데 익숙하지 않은 관찰자들에겐 불편하며 이미 안경을 착용한 관찰들에겐 또 하나의 안경이 항시 잘 맞는 것은 아니기 때문에 잠재적으로 문제가 된다.

뷰어의 양눈에 근접하는 대신에, 이미지들은 예를 들면, US 6118584로부터 공지된 것과 같은 렌티큘라 스크린(lenticular screen)과 같은 분할 스크린 또는 예를 들면, US 5,969,850에 도시된 패럴랙스 배리어(parallax barrier)에 의해 디스플레이 스크린에서 분할될 수도 있다. 이러한 디바이스들은 안경을 이용함이 없이 (오토-)스테레오스코픽 효과를 제공하기 때문에 오토-스테레오스코픽 디스플레이들이라 한다. 몇 가지 상이한 유형들의 오토-스테레오스코픽 디바이스들이 공지되어 있다.

어떤 유형의 디스플레이가 이용되든 간에, 3-D 이미지 정보는 디스플레이 디바이스에 제공되어야 한다. 이것은 일반적으로 디지털 데이터를 포함하는 비디오 신호 형태로 행해진다.

디지털 이미징에서 내재된 대량의 데이터 때문에, 디지털 이미지 신호들의 처리 및/또는 송신은 현저한 문제들을 이룬다. 많은 상황들에서, 가용한 처리 파워 및/또는 송신 용량은 고 품질의 비디오 신호들을 처리 및/또는 송신하기에는 불충분하다. 특히 각각의 디지털 이미지 프레임은 화소 어레이로부터 형성된 고정 이미지(still image)이다.

원 디지털 정보량은 일반적으로 대량이어서 큰 처리 파워 및/또는 큰 송신 레이트들을 요구하나 언제나 가용한 것은 아니다. 송신될 데이터량을 감소시키기 위해서, 예를 들면, MPEG-2, MPEG-4 및 H.264를 포함하는, 다양한 압축 방법들이 제안된다.

이들 압축 방법들은 원래는 표준 2D 비디오들/이미지 시퀀스들을 위해 마련되었다.

콘텐트가 오토스테레오스코픽 3D 디스플레이 상에 디스플레이될 때 복수의 뷰들이 렌더링(rendering)되어야 하며 이들은 상이한 방향들로 전송된다. 뷰어는 양눈에 상이한 이미지들을 갖게 될 것이고, 이들 이미지들은 뷰어가 깊이를 인지하게 렌더링된다. 상이한 뷰들은 상이한 뷰 각도들을 갖는다. 그러나, 입력 데이터는 일반적으로 단지 한 뷰 각도로 볼 수 있다. 그러므로, 렌더링된 뷰들은 예를 들면, 전경 오브젝트들(foreground objects) 뒤의 영역들의 정보 또는 오브젝트들의 측면 상의 정보는 없어질 것이다. 이러한 없어진 정보에 대처하는 다른 방법들이 존재한다. 한 방법은 상이한 각도들로부터의 추가적인 뷰포인트들(대응하는 깊이 정보를 포함한)을 추가하는 것으로 이로부터 중간에 있는 뷰들이 렌더링될 수 있다. 그러나 이것은 데이터량을 크게 증가시킬 것이다. 또한, 복잡한 화상들에서 하나 이상의 추가적인 뷰 각도가 필요하게 되어 데이터량을 증가시킨다. 또 다른 해결책은 전경 오브젝트들 뒤에 감추어진 3D 이미지의 부분을 나타내는 오클루전 데이터(occlusion data)의 형태로 이미지에 데이터를 추가하는 것이다. 이 배경 정보는 동일 또는 사이드 뷰 각도로부터 저장된다. 모든 이들 방법들은 추가적인 정보를 요구하며 정보에 대한 층상 구조가 가장 효율적이다.

3D 이미지에서 많은 오브젝트들이 서로 간에 뒤에 위치하여 있다면 상이한 추가 층들의 추가 정보가 있을 수 있다. 추가 층들의 량은 현저하게 증가할 수 있어 생성될 대량의 데이터를 추가한다. 추가 데이터 층들은 유형들이 다양할 수 있고, 이들 모두는 본 발명의 범위 내에서 추가 층들이라 표기한다. 단순 배열에서 모든 오브젝트들은 불투명하다. 배경 오브젝트들은 전경 오브젝트들 뒤에 감추어지며 3D 이미지를 재구성하기 위해 여러 배경 데이터 층들이 필요하다. 모든 정보를 제공하기 위해서 3D 이미지를 구성하는 여러 층들이 알려져야 한다. 여러 배경 층들 각각에 바람직하게는 깊이 층도 연관된다. 이것은 한 추가 유형의 추가 데이터 층들을 생성한다. 한 단계 더 복잡한 상황은 하나 이상의 오브젝트들이 투명한 상황이다. 3D 이미지를 재구성하기 위해서는 깊이 데이터 뿐만 아니라, 컬러 데이터가 필요하고 또한 3D 이미지를 구성하는 여러 층들을 위한 투명 데이터도 있다. 이것은 오브젝트들의 일부 또는 전부가 투명한 3D 이미지들이 재구성될 수 있게 할 것이다. 한 단계 더 나아가 다양한 오브젝트들에 선택적으로 각도 의존적인 투명 데이터를 할당하는 것이 될 것이다. 어떤 오브젝트들에 있어서 직각에서 오브젝트의 투명성은 일반적으로 사각에서보다는 더 투명하기 때문에, 오브젝트를 통해 바라보는 각도에 의존적이다. 이러한 추가 데이터를 공급하는 한 방식은 두께 데이터를 공급하는 것이다. 이것은 추가 데이터의 추가 층들을 더 추가할 것이다. 매우 복잡한 실시예에서 투명한 오브젝트들은 렌즈 효과를 가질 수도 있을 것이고, 각 층에 렌즈 효과 데이터를 제공하는 데이터 층은 이 때문일 것이다. 반사 효과들, 예를 들면, 거울 같은 반사성은 또 다른 한 세트의 데이터를 형성한다.

또 다른 추가 층들의 데이터는 사이드 뷰들로부터의 데이터일 수도 있을 것이다.

벽장과 같은 오브젝트 앞에 서있다면, 오브젝트의 측벽은 보일 수 없고, 벽장 뒤에 오브젝트들의 데이터를 추가할지라도, 여러 층들에서, 이들 데이터 층들은 여전히 측벽에 관한 이미지를 재구성하지 못할 것이다. 바람직하게는 뷰의 여러 사이드 뷰 포인트들로부터 사이드 뷰 데이터(주 뷰의 좌측 우측에 대한)를 추가함으로써, 측벽 이미지들이 재구성될 수도 있다. 사이드 뷰 정보는 자체가 컬러, 깊이, 투명성, 투명성 등에 관련한 두께, 등의 데이터와 함께, 몇 개 층들의 정보를 포함할 수 있다. 이것은 다시 더 많은 추가 층들의 데이터를 추가한다. 복수-뷰 표현에서는 층들의 수가 매우 급속하게 증가할 수 있다.

더욱 더 현실적인 3D 렌더링을 제공하기 위해 더욱 더 많은 효과들 또는 더욱 더 많은 뷰들이 추가될수록, 오브젝트들의 각 층에 할당되는 상이한 유형들의 데이터 수 뿐만 아니라, 오브젝트들의 얼마나 많은 층들이 있는지라는 면에서 더욱 더 많은 추가 데이터 층들이 필요하게 된다.

언급된 바와 같이, 다양한 상이한 유형들의 데이터는 층으로 구성될 수 있는데, 비교적 간단한 것들은 컬러, 깊이 데이터이고, 더 복잡한 유형들은 투명 데이터, 두께, (거울 같은) 반사성이다.

따라서, 본 발명의 목적은 생성될 데이터량이 데이터 유실없이 또는 소량의 데이터 유실만을 갖고 감소되는 3D 이미지 데이터를 인코딩하기 위한 방법을 제공하는 것이다. 바람직하게, 코딩 효율성은 크다. 또한, 바람직하게는 방법은 현존의 인코딩 표준들에 호환할 수 있다.

또 다른 목적은 3D 비디오 신호를 인코딩하기 위한 개선된 인코더, 3D 비디오 신호를 디코딩하기 위한 디코더 및 3D 비디오 신호를 제공하는 것이다.

이를 위해서, 본 발명에 따른 인코딩하기 위한 방법은 입력 3D 비디오 신호가 인코딩되고, 입력 3D 비디오 신호는 주 비디오 데이터 층, 주 비디오 데이터 층을 위한 깊이 맵을 포함하고, 주 비디오 데이터 층을 위한 추가 데이터 층들을 포함하고, 주 비디오 데이터 층의 상이한 데이터 층들, 주 비디오 층을 위한 깊이 맵, 및 추가 데이터 층들에 속하는 데이터 세그먼트들은 하나 이상의 공통 데이터 층들로 이동되고, 각각의 이동된 데이터 세그먼트에 대한 원래의 위치 및/또는 원래의 추가 층을 명시하는 추가 데이터를 포함하는 추가 데이터 스트림이 생성되는 것을 특징으로 한다.

주 비디오 데이터 층은 토대로서 취해지는 데이터 층이다. 이것은 흔히 2D 이미지 디스플레이 상에 렌더링될 뷰이다. 흔히 이 뷰는 중앙 뷰의 오브젝트들을 포함하는 중앙 뷰일 것이다. 그러나, 본 발명의 범위 내에서, 주 뷰 프레임의 선택은 이것으로 제한되지 않는다. 예를 들면, 실시예들에서, 중앙 뷰는 오브젝트들의 몇 개의 층들로 구성될 수도 있을 것이고, 가장 관계된 정보는 전경 내 대부분인 오브젝트들을 포함하는 층에 의해서가 아니라 오브젝트들의 다음 층, 예를 들면, 어떤 전경 오브젝트들은 아니고 초점을 맞춘 오브젝트들의 층에 의해 전달된다. 이것은 예를 들면, 뷰 포인트와 가장 관심있는 오브젝트들 간에 작은 전경 오브젝트가 이동된다면 해당될 수 있다.

본 발명의 범위 내에서 주 비디오 데이터 층을 위한 추가 층들은 3D-비디오의 재구성에서, 주 비디오 데이터 층과 함께 이용되는 층들이다. 이들 층들은 주 비디오 데이터 층이 전경 오브젝트들을 묘사하는 경우에 배경 층들일 수 있거나, 이들은 주 비디오 데이터 층이 배경 오브젝트들을 묘사하는 경우, 또는 주 비디오 데이터 층이 전경과 배경 오브젝트들 사이에 오브젝트들에 관한 데이터를 포함하는 경우에 배경 층들 뿐만 아니라, 전경을 묘사한 경우엔 전경 층들일 수 있다.

이들 추가 층들은 동일 뷰 포인트에 대해서, 주 비디오 데이터 층을 위한 배경/전경 층들을 포함할 수 있거나, 주 비디오 데이터 층과 함께 이용될, 사이드 뷰들에 대한 데이터 층들을 포함할 수 있다.

추가 층들에서 제공될 수 있는 다양한 상이한 데이터는 위에 언급되어 있고, 다음을 포함한다:

- 컬러 데이터

- 깊이 데이터

- 투명 데이터

- 반사 데이터

- 스케일 데이터.

바람직한 실시예들에서, 추가 층들은 주 비디오 데이터 층에 대한 뷰와 동일 뷰 포인트로부터 이미지 및/또는 깊이 데이터 및/또는 추가 데이터를 포함한다.

실시예들은 본 발명의 범위 내에서, 복수-뷰 비디오 콘텐트 내 있는 것과 같은 다른 뷰 포인트들로부터의 비디오 데이터도 포함한다. 또한, 후자의 경우에 층들/뷰들은 사이드 뷰들의 큰 부분들이 중앙 이미지 및 깊이로부터 재구성될 수 있고 따라서 사이드 뷰들의 이러한 부분들은 추가 층들로부터의 부분들과 같은 다른 정보를 저장하는데 이용될 수 있기 때문에, 결합될 수 있다.

추가 층에서 공통 층으로 이동된 세그먼트에 대해 추가의 데이터 스트림이 생성된다. 추가 데이터 스트림 내 추가 데이터는 세그먼트에 대한 원래의 위치 및/또는 원래의 추가 층을 명시한다. 이 추가 스트림은 디코드측에서 원래의 층들을 재구성할 수 있게 한다.

어떤 경우들에 있어서 이동된 세그먼트들은 이들의 x-y 위치를 유지할 것이고, 단지 공통 층을 향하여 이동될 것이다. 이들 상황들에서 추가 데이터 스트림은 원본의 추가 층을 명시하는 세그먼트를 위한 데이터를 포함하는 것만으로 충분하다.

본 발명의 범위 내에서 공통 층은 주 데이터 층의 세그먼트들 및 추가 데이터 층들의 세그먼트들을 가질 수도 있다. 예는 주 데이터 층이 하늘의 큰 부분들을 포함하는 상황이다. 층의 이러한 부분들은 흔히 청색 부분의 범위와 컬러(및 아마도 예를 들면, 컬러의 변화)를 기술하는 파라미터들에 의해 쉽게 표현될 수 있다. 이것은 추가 층들로부터의 데이터를 이동시킬 수 있는 주 층 상에 공간이 생기게 할 것이다. 이것은 공통 층들의 수를 감소시킬 수 있게 할 수도 있을 것이다.

역 호환성에 관하여, 바람직한 실시예는 공통 층들이 추가 층들의 세그먼트들만을 포함하는 실시예들이다.

주 층을 변경시키지 않는 것, 및 바람직하게는 주 층을 위한 깊이 맵을 변경시키지 않는 것은 현존의 디바이스들 상에서 방법의 구현을 용이하게 한다.

본 발명의 범위 내에서 세그먼트들은 어떤 형태이든 취할 수 있으나, 바람직한 실시예들에서 데이터는 비디오 코딩 방법의 입도 레벨에 대응하는 입도 레벨로, 이를테면 매크로블록 레벨(macroblock level)로 취급된다.

상이한 추가 층들로부터의 세그먼트들 또는 블록들은 원래의 상이한 추가 층들, 예를 들면, 상이한 오클루전 층들 내에 동일 x-y 위치들을 가질 수 있다. 이러한 실시예들에서 공통 층 내에 적어도 일부 세그먼트들의 x-y 위치는 재정렬되고 적어도 일부 블록들은 재배치되고, 즉 이들의 x-y 위치는 공통 데이터 층의 빈 부분으로 옮겨진다. 이러한 실시예들에서 추가 데이터 스트림은 원래 층을 나타내는 데이터, 및 재배치를 나타내는 데이터를 제외하고, 세그먼트를 제공한다. 재배치 데이터는 예를 들면, 원래 층 내에 원래 위치를 명시하는 형태이거나 현 위치에 관한 시프트 형태일 수도 있을 것이다. 일부 실시예에서 시프트는 추가 층의 모든 요소들에 대해 동일할 수도 있다.

가능한 재배치를 포함하는, 공통 층으로의 이동은 바람직하게는 시간적으로 동일한 위치에서 행해지고, 재배치는 x-y 평면에서 행해진다. 그러나, 실시예들에서 이동 또는 재배치는 시간축을 따라 실행될 수도 있는데: 장면 내에 다수의 나무들이 일렬로 되어 있고 카메라가 한 시각에 이들 나무들이 일렬로 있게 패닝(panning)한다면, 다수의 오클루전 데이터(적어도 많은 층들)을 가진 짧은 기간이 있고: 실시예들에서 이들 매크로블록들의 일부는 이전/다음 프레임들의 공통 층들로 이동될 수 있다. 이러한 실시예들에서 이동된 세그먼트에 연관된 추가 데이터 스트림은 원 추가 층 데이터가 시간 표시를 포함함을 명시한다.

이동된 세그먼트들은 확장된 영역들일 수 있으나, 재배치하는 것은 바람직하게는 하나 이상의 매크로블록 단위로 행해진다. 추가 데이터 스트림은 바람직하게는 원 추가 층 내에 이들의 위치를 포함하여, 공통 층의 매 블록에 대한 정보를 포함하여 인코딩될 것이다. 추가 스트림은 블록들에 관한 또는 이들이 오게 된 층에 관한 추가의 정보를 더욱 명시하는 추가 정보를 가질 수도 있다. 실시예들에서 원래 층에 관한 정보는 분명할 수 있어, 예를 들면, 층 자체를 명시할 수 있지만, 실시예들에서 정보는 암시적일 수도 잇다.

모든 경우들에 있어서, 추가 스트림들은 단일 데이터-요소가 매크로블록 내 모든 16 x 16 화소들을 기술하거나 배타적으로 동시에 세그먼트 내 훨씬 더 많은 화소들을 기술한다는 사실에 기인하여 비교적 작을 것이다. 유효 데이터의 합이 약간 증가하였지만, 그러나 추가 층들의 량은 현저히 감소되고 이는 전체 데이터량을 감소시킨다.

공통 층(들), 아울러 추가 스트림 또는 추가 스트림들은 예를 들면, 대역폭이 한정된 모니터 인터페이스로 이동하여 이의 원래의 복수-층 형태로 모니터 자체(즉, 모니터 펌웨어)에서 다시 재정렬될 수 있고 이후 이들 층들은 3D 이미지를 렌더링하는데 이용될 수 있다. 본 발명은 인터페이스가 적은 대역폭으로 더 많은 층들을 수송할 수 있게 한다. 한 분량의 층들이 아니라 한 분량의 추가 층 데이터에 캡(cap)이 배치된다. 또한, 이 데이터 스트림은 고정된 형태의 이미지 유형 데이터에 효율적으로 배치될 수 있어, 현 디스플레이 인터페이스들과 호환될 수 있게 된다.

바람직한 실시예들에서 공통 층들은 동일 유형의 데이터 세그먼트를 포함한다.

위에 설명된 바와 같이, 추가 층들은 컬러, 깊이, 투명성, 등과 같은 다양한 유형들의 데이터를 포함할 수 있다.

본 발명의 프레임워크(framework) 내에서, 일부 실시예들에서, 다양한 상이한 유형들의 데이터가 공통 층에 결합된다. 이어서 공통 층들은 예를 들면, 컬러 데이터를 포함하는 세그먼트들, 및/또는 깊이 데이터, 및/또는 투명 데이터를 포함하는 세그먼트들을 포함할 수 있다. 추가 데이터 스트림은 세그먼트가 구분될 수 있게 하며 다양한 상이한 추가 층들이 재구성될 수 있게 할 것이다. 이러한 실시예들은 층들의 수가 가능한 한 많이 감소되어야 할 상황들에서 바람직하다.

단순 실시예들에서, 공통 층들은 동일 유형의 데이터 세그먼트를 포함한다. 이것이 전송될 공통 층들의 수를 증가시킬지라도, 이들 실시예들은 각각의 공통 층이 단지 단일 유형의 데이터만을 포함하기 때문에, 재구성측에서 덜 복잡한 분석이 되게 한다. 다른 실시예들에서, 공통 층들은 제한된 수의 데이터 유형들의 데이터를 가진 세그먼트들을 포함한다. 가장 바람직한 조합은 컬러 데이터와 깊이 데이터이고, 다른 유형들의 데이터는 별도의 공통 층들에 놓여진다.

추가 데이터 층에서 공통 데이터 층으로 세그먼트의 이동은 콘텐트가 매크로블록 레벨로 재정렬되고(매크로블록은 특정하게 2D 비디오 인코더들에 최적이다) 이어서 비디오 인코더 전에 인코딩되는 콘텐트 생성 동안에, 및 그 다음 복수의 층들이 디코딩된 다음, 실시간으로 매크로블록 또는 더 큰 세그먼트 레벨로 재정렬되는 플레이어 측에서, 상이한 단계들로 본 발명의 상이한 실시예들에서 실행될 수 있다. 첫 번째 경우에 생성된 재정렬 좌표도 비디오 스트림에 인코딩되어야 한다. 결점은 이 재정렬이 비디오 인코딩 효율에 부정적 영향을 미칠 수 있다는 것이다. 두 번째 경우에 결점은 재정렬을 어떻게 행할지에 대한 완전한 제어가 없다는 것이다. 이것은 특히 출력에서 가능한 공통 층들의 양에 대해 너무 많은 매크로블록이 있어 매크로블록들을 없애야 할 때 문제가 된다. 콘텐트 생성기는 아마도 무엇을 없애고 무엇을 없애지 않을지에 대한 제어를 원할 것이다. 이들 둘 간에 조합도 가능하다. 예를 들면, 있는 대로 모든 층들을 인코딩하는 것은 나중에 플레이어가 재생 동안 실제로 매크로블록들을 변위시키기 위해 이용될 수 있는 변위 좌표를 추가로 저장한다. 후자의 선택은 디스플레이될 수 있는 것에 대해 제어할 수 있게 할 것이며 통상의 인코딩을 할 수 있게 할 것이다.

다른 실시예들에서, 표준 RGB+D 이미지에 대한 데이터량은 감소된 컬러 공간들을 이용함으로써 더욱 감소되고, 이 방식은 훨씬 더 많은 대역폭을 갖게 하므로 훨씬 더 많은 매크로블록들이 이미지 페이지들에 저장될 수 있다. 이것은 예를 들면, YUVD 공간으로 RGBD 공간을 인코딩함으로써 가능하고, 이 경우 U 및 V는 일반적으로 비디오 인코딩에 대한 경우와 같이 서브-샘블링된다. 디스플레이 인터페이스에서 이것을 적용하는 것은 더 많은 정보를 위한 장소가 생기게 할 수 있다. 또한 역 호환성은 제 2 층의 깊이 채널이 본 발명을 위해 이용될 수 있게 포기될 수도 있을 것이다. 더 많은 빈 공간이 생기게 할 또 다른 방식은 저 해상도 깊이 맵을 이용하는 것으로, 따라서 추가의 깊이 정보 이외에 예를 들면, 제 3 층으로부터 이미지 및 깊이 블록들을 저장할 공간이 있게 된다. 모든 이들 경우들에 있어서, 매크로블록 또는 세그먼트 레벨에서 추가의 정보는 세그먼트들 또는 매크로블록들의 스케일을 인코딩하기 위해 이용될 수 있다.

본 발명은 인코더를 포함하는 시스템에서 및 3D 비디오 신호를 인코딩하기 위한 인코더에서 구현되고, 인코딩된 3D 비디오 신호는 주 비디오 데이터 층, 주 비디오 데이터 층을 위한 깊이 맵, 및 주 비디오 데이터 층을 위한 추가 데이터 층들을 포함하고, 인코더는 추가 층들을 위한 입력들을 포함하고, 인코더는 생성기를 포함하고, 생성기는 공통 데이터 층 내 상이한 추가 데이터 층들의 데이터 세그먼트들을 이동시키고, 이동된 데이터 세그먼트들의 원본을 나타내는 추가 데이터 스트림을 생성함으로써, 하나 이상의 추가 층을 하나 이상의 공통 데이터 층들로 결합한다.

바람직한 실시예에서 블록들은 수평으로만 재배치되므로 완전한 고속의 프레임-버퍼 대신 약 16 라인들 크기의 작은 메모리만이 디코더에 의해 요구될 것이다. 요구되는 메모리가 작다면, 내장 메모리가 이용될 수 있다. 이 메모리는 일반적으로 개별 메모리 칩들보다 훨씬 더 빠르면서도 작다. 바람직하게, 발단 오클루전 층을 명시하는 데이터도 생성된다. 그러나, 이 데이터는 깊이 데이터와 같은 다른 데이터로부터 추론될 수도 있다.

주 층과는 달리, 추가 데이터를 다운스케일함으로써 비트들에 추가적 감소가 얻어질 수 있음을 알았다. 특히 더 깊이 놓이는 층들에 대한 오클루전 데이터의 데이터를 다운스케일해도 품질에는 제한된 영향만을 미침을 보였고 그러면서도 인코딩된 3D 신호 내에 비트 수를 감소시킨다.

본 발명은 인코딩하기 위한 방법에서 구현되며 똑같이 방법의 여러 단계들을 실행하는 수단을 구비한 대응하는 인코더에서도 구현된다. 이러한 수단은 하드웨어 또는 소프트웨어로 또는 하드웨어와 소프트웨어 또는 쉐어웨어의 임의의 조합으로 제공될 수 있다.

본 발명은 인코딩 방법에 의해 생성된 신호 및 임의의 디코딩 방법과 이러한 신호들을 디코딩하는 디코더에서도 구현된다.

특히 본 발명은 3D 비디오 신호가 디코딩되는 인코딩된 비디오 신호를 디코딩하기 위한 방법에서 구현되는 것으로, 3D 비디오 신호는 인코딩된 주 비디오 데이터 층들, 비디오 데이터 층을 위한 깊이 맵, 및 상이한 원 추가 데이터 층들로부터 비롯되는 세그먼트들을 포함하는 하나 이상의 인코딩된 공통 데이터 층들 및 공통 데이터 층들 내 세그먼트의 원본을 명시하는 추가 데이터를 포함하는 추가 데이터 스트림을 포함하고, 원 추가 층들은 공통 데이터 층 및 추가 데이터 스트림에 기초하여 재구성되고 3D 이미지가 생성된다.

본 발명은 3D 비디오 신호가 디코딩되는 인코딩된 비디오 신호를 디코딩하기 위한 디코더를 포함하는 시스템에서도 구현되고, 3D 비디오 신호는 인코딩된 주 비디오 데이터 층, 주 비디오 데이터 층을 위한 깊이 맵 및 상이한 원 추가된 추가 데이터 층들에서 비롯되는 데이터 세그먼트들을 포함하는 하나 이상의 인코딩된 공통 데이터 층들 및 공통 데이터 층들에 세그먼트들의 원본을 명시하는 추가 데이터를 포함하는 추가 데이터 스트림을 포함하고, 디코더는 주 비디오 데이터 층, 주 비디오 데이터 층을 위한 깊이 맵, 하나 이상의 공통 데이터 층들 및 추가 데이터 스트림을 판독하기 위한 판독기, 및 공통 데이터 층 및 추가 데이터 스트림에 기초하여, 원래의 추가 층들을 재구성하기 위한 재구성기를 포함한다.

본 발명은 이러한 시스템을 위한 디코더에도 구현된다.

본 발명의 프레임워크 내에서, 데이터 세그먼트들이 발단된 데이터 층 내 데이터 세그먼트들의 원본 및 데이터 층 내 위치. 원본은 데이터 세그먼트들이 또 다른 시간 슬롯에서 공통 층들로 이동된 경우, 시간 슬롯 뿐만 아니라, 데이터 층의 유형도 나타낸다.

본 발명의 이들 및 다른 양태들은 예로서 및 첨부된 도면들을 참조하여 상세히 설명될 것이다.

도 1은 오토-스테레오스코픽 디스플레이 디바이스의 예를 도시한 도면.
도 2 및 도 3은 오클루전 문제를 도시한 도면들.
도 4는 컴퓨터로 생성된 장면의 좌측 및 우측 뷰를 도시한 도면.
도 5는 주 뷰, 주 뷰를 위한 깊이 맵 및 2개의 추가 층들, 오클루전 데이터 및 오클루전 데이터를 위한 깊이 데이터인 4개의 데이터 맵들로 도 4를 나타낸 도면.
도 6 내지 도 9는 본 발명의 기본 원리를 도시한 도면들.
도 10은 본 발명의 일 실시예를 도시한 도면.
도 11은 본 발명의 또 다른 실시예를 도시한 도면.
도 12는 본 발명의 실시예를 위한 블록 개략도.
도 13 및 도 14는 본 발명에 따른 인코더 및 디코더를 도시한 도면들.
도 15는 본 발명의 일 양태를 도시한 도면.
도 16은 주 층의 데이터 세그먼트들이 공통 층으로 이동되는 본 발명의 일 실시예를 도시한 도면.

도면들은 축척에 맞게 도시되지 않았다. 일반적으로 도면들에서 동일 구성요소들에 동일 참조 부호들이 표기된다.

도 1은 하나의 유형의 오토-스테레오스코픽 디스플레이 디바이스의 기본 원리를 도시한 것이다. 디스플레이 디바이스는 2개의 스테레오 이미지들(5, 6)을 형성하는 렌티큘라 스크린(3)을 포함한다. 2개의 스테레오 이미지들의 수직 라인들은 예를 들면, 백라이트(1)를 가진 공간 광 변조기(2)(예를 들면, LCD) 상에 (공간적으로) 교번하여 디스플레이된다. 백라이트 및 공간 광 변조기는 함께 화소 어레이를 형성한다. 렌티큘라 스크린(3)의 렌즈 구조는 스테레오 이미지를 뷰어의 적합한 눈에 보낸다. 이 예에서는 2개의 이미지들이 도시되었다. 본 발명은 두 가지 뷰 상황으로 제한되지 않고, 사실 더 많은 뷰들이 렌더링될수록 더 많은 정보가 인코딩될 것이며 본 발명은 더 유용해진다. 그러나, 설명을 쉽게 하기 위해서, 도 1에는 두가지 뷰 상황이 도시되었다. 본 발명의 중요한 잇점은 복수(유형들의) 층들이 넓은 뷰 콘(cone)을 더 효율적으로 디코딩하고 저장할 수 있게 하기 때문에 더 넓은 사이드뷰 능력들 및/또는 큰 깊이 범위 디스플레이들을 가능하게 하는 것에 유의한다.

도 2 및 도 3에 오클루전 문제가 도시되었다. 이 도면에서 배경이라고 표시한 라인은 배경이며 전경이라고 표시한 라인은 배경 전방에 놓여진 오브젝트를 나타낸다. 좌 및 우는 이 장면의 두 뷰들을 나타낸다. 이들 2개의 뷰들은 예를 들면, 스테레오 셋업에 있어선 좌측 및 우측 뷰일 수 있거나, n-뷰 디스플레이를 이용하는 경우엔 2개의 맨 바깥측 뷰들일 수 있다. L+R로 표기한 라인들은 두 뷰들에 의해 관찰될 수 있고, L 부분은 좌측 뷰로부터만 관찰될 수 있으며 R 부분은 우측 뷰로부터만 관찰될 수 있다. 따라서, R 부분은 좌측 뷰로부터 관찰될 수 없고, 마찬가지로 L 부분은 우측 뷰로부터 관찰될 수 없다. 도 3에서 중앙은 주 뷰를 나타낸다. 이 도면으로부터 알 수 있는 바와 같이, 도 3에 나타낸 배경의 L과 R 부분의 부분(각각 L1, R1)은 주 뷰로부터 볼 수 있다. 그러나, L과 R 부분의 부분은 전경 오브젝트 뒤에 감추어지기 때문에 주 뷰로부터 보여질 수 없다. Oc로 표시한 이들 영역들은 주 뷰에 대해선 가려지지만 좌측 및 우측 뷰들로부터는 볼 수 있을 영역들이다. 도면으로부터 알 수 있는 바와 같이, 오클루전 영역들은 전형적으로 전경 오브젝트들의 에지들에서 생성한다. 2D+깊이 영역 이미지만을 이용할 때는 3D 이미지의 어떤 부분들은 재구성될 수 없다. 주 뷰 및 깊이 맵으로부터만 3-D 데이터를 생성하는 것은 가려진 영역들에 대해 문제를 제기한다. 전경 오브젝트들 뒤에 숨겨진 이미지의 부분들의 데이터는 모른다. 3D 이미지의 더 나은 렌디션(rendition)은 주 뷰에서 다른 오브젝트들 뒤에 숨겨진 오브젝트들의 정보를 추가함으로써 얻어질 수 있다. 서로 간에 뒤에 숨겨진 많은 오브젝트들이 있을 수 있고 따라서 정보는 층 구조로 되는 것이 최상이다. 각 층에 대해서 이미지 데이터 뿐만 아니라, 깊이 데이터도 최상으로 제공된다. 오브젝트들이 투명 및/또는 반사 데이터인 경우에 이들 광학적 량들도 층 구조로 되어야 한다. 사실, 더 사실적인 렌디션을 위해서는 사이드 뷰들에 대한 오브젝트들의 다양한 층들에 관한 정보도 제공하는 것이 가능하다. 또한 뷰들의 수와 3D 렌디션의 정확성이 개선되어질 경우, 중앙 뷰 이상을, 예를 들면, 좌측 및 우측 뷰, 또는 훨씬 더 많은 뷰들을 인코딩하는 것이 가능하다.

더 나은 깊이 맵들은 고-깊이 및 큰 각도의 3D 디스플레이들 상에 디스플레이할 수 있게 할 것이다. 깊이 재현의 증가는 오클루전 데이터가 없기 때문에 깊이 불연속들 주위를 보이지 않게 할 것이다. 그러므로, 고 품질 깊이 맵들 및 고 깊이 디스플레이들을 위해서 발명자들은 정확한 추가의 데이터에 대한 필요성을 인식하였다. "깊이 맵"은 본 발명의 범위 내에서 넓게, 깊이에 관한 정보를 제공하는 데이터로 구성되는 것으로서 해석되어야 함에 유의한다. 이것은 깊이와 유사한 것인 깊이 정보 (z-값) 또는 차이 정보 형태일 수도 있을 것이다. 깊이 및 차이는 서로 간에 쉽게 전환될 수 있다. 본 발명에서 이러한 정보는 이것은 어느 형태로 나타나든 전부 "깊이 맵"으로 표기한다.

도 4는 컴퓨터로 생성한 장면의 좌측 및 우측 뷰를 도시한 것이다. 모바일 전화가 노란색 타일 바닥과 2개의 벽들을 가진 가상의 방 내에 떠있다. 좌측 뷰에선 여성이 명확히 보이지만 우측 뷰에선 보이지 않는다. 우측 뷰에 갈색의 소에 대해선 그 반대이다.

도 5에서 도 4에 관하여 위에 논한 것과 동일한 장면을 취한다. 이 장면을 본 발명에 따라서 이제 다음의 4개의 데이터 맵들로 나타낸다.

- 주 뷰를 위한 이미지 데이터를 가진 맵(5a),

- 주 뷰를 위한 깊이 맵(5b),

- 주 뷰를 위한 오클루전 맵을 위한 이미지 데이터(5c), 즉 전경 오브젝트 뒤에 가려진 이미지의 부분,

- 오클루전 데이터를 위한 깊이 데이터(5d).

기능적 오클루전 데이터의 범위는 의도된 3D 디스플레이-유형들의 주 뷰 깊이 맵 및 깊이 범위/3D 콘에 의해 결정된다. 기본적으로 이것은 주 뷰에서 깊이 스텝들의 라인들에 따른다. 오클루전 데이터, 컬러 (5a) 및 깊이 (5d)에 포함된 영역들은 이 예에서는 모바일 전화의 윤곽을 따른 밴드들에 의해 형성된다. 이들 밴드들(이에 따라 오클루전 영역들의 범위를 결정하는)은 다음의 여러 가지 방법들로 결정될 수 있다:

- 최대 범위의 뷰들 및 깊이 스텝으로부터 따르는 폭으로서,

- 표준 폭으로서,

- 설정될 폭으로서,

- 모바일 전화의 윤곽 주위 내 어느 것으로서(바깥쪽 및/또는 안쪽 양쪽 모두). 본 발명의 범위 내에서, 이 예에서는 2개의 추가 층들, 5c로 나타낸 층, 5d로 나타낸 이미지 데이터, 깊이 맵이 있다.

도 5a는 주 뷰를 위한 이미지 데이터를 도시한 것이고, 5b는 주 뷰를 위한 깊이 데이터를 도시한 것이다.

깊이 맵(5b)은 밀집 맵이다. 깊이 맵에서 밝은 부분들은 뷰어에 가까이 있는 오브젝트들을 나타내고 어두운 부분들은 뷰어에서 멀리 있는 오브젝트들을 나타낸다.

도 5에 도시된 본 발명의 예 내에서, 기능적 추가 데이터는 깊이 맵이 주어졌을 때 보게 되는 데이터에 대응하는 폭 및 좌측 및 우측으로의 최대 변위를 갖는 밴드로 제한된다. 층들(5c, 5d) 내 나머지 데이터, 즉 밴드들 밖에 빈 영역은 기능하지 않는다.

대부분의 디지털 비디오 코딩 표준들은 비디오 레벨이나 시스템 레벨에서 있을 수 있는 추가의 데이터 채널들을 지원한다. 이들 채널들이 가용할 때, 추가 데이터의 송신은 수월할 수 있다.

도 5e는 본 발명의 간단한 실시예를 도시한 것으로, 추가 층들(5c, 5d)의 데이터는 단일 공통의 추가 층(5e)에 결합된다. 층(5d)의 데이터는 층(5c)에 삽입되고 시프트 Δx만큼 수평으로 이동된다. 2개의 추가 데이터 층들(5c, 5d) 대신에, 단지 하나의 공통된 추가 데이터(5e)의 층과 추가의 데이터 스트림이 필요하게 되는데, 5d로부터 데이터에 대한 데이터 스트림은 이동될 세그먼트를 나타내는 세그먼트 정보, 시프트 Δx와 깊이 데이터임을 나타내는 원래의 층, 즉 층(5d)의 원본을 포함한다. 디코더측에서 이 정보는 3개의 데이터 맵들만이 전송되었다 할지라도, 4개의 모든 데이터 맵들을 재구성할 수 있게 한다.

위에서 변위 정보의 인코딩은 단지 예시적인 것이며 데이터는 예를 들면, 소스 위치 및 변위, 타겟 위치 및 변위 또는 소스 및 타겟 위치 양쪽 모두를 이용하여 인코딩될 수 있음이 당업자에게 명백할 것이다. 여기에서 보인 예가 세그먼트의 형상을 나타내는 세그먼트 디스크립터를 요구할지라도, 세그먼트 디스크립터들은 선택적이다. 예를 들면, 세그먼트들이 매크로블록들에 상응하는 실시예를 고찰한다. 이러한 실시예에서는 변위 및/또는 매크로블록 단위로 소스 및 목적지 중 하나를 확인하게 하는 것만으로 충분하다.

도 5에는 2개의 추가 층들(5c, 5d)이 있는데, 이들은 공통 층(5e)으로 결합된다. 그러나, 이 도 5는 비교적 단순한 도면이다.

더 복잡한 이미지들에서는 예를 들면, 전경 오브젝트들 뒤로 가려지는 부분들 뒤로 부분들이 가려질 때, 몇 개의 오클루전 층들 및 이들의 각각의 깊이 맵들이 있다.

도 6은 장면을 도시한 것이다. 장면은 전방에 집이 있는 숲과 집 전방에 나무로 구성된다. 대응하는 깊이 맵들은 생략되고: 이들은 유사하게 취급된다. 오클루전에 관해서, 집 뒤에 숲을 포함하는 오클루전 층 (I), 및 나무 뒤에 집을 가진 오클루전 층 (II)이 생기게 되고; 두 오클루전 층들은 공존된 위치에 있어 하나의 단일 층으로 곧바로 결합될 수 없다.

그러나 도 6의 아래 부분에서 나타낸 바와 같이, 나무 뒤에 집의 부분을 포함하는 매크로블록들을 거리 Δx(및 역을 오프셋으로서 이들의 메타-데이터에 저장함으로써)로 옮김으로써, 오클루전 데이터 층들(I, II)의 2개의 데이터 세그먼트들은 위치적으로 더 이상 겹치지 않으며 이들을 상기 공통 데이터 층으로 옮김으로써 공통 오클루전 층 CB(I+II)으로 결합될 수 있다. 변위들이 매크로블록 레벨로 제공되는 상황을 고려한다.

도 6의 단순한 경우에는 단지 2개의 오프셋들만이 있으며(집 뒤에 숲에 대한 0 오프셋과; 단지 나무 뒤에 집에 대한 수평-오프셋), 따라서 이들의 테이블을 만든다면, 메타-데이터는 매크로블록당 단지 하나의 오프셋이다. 물론, 오프셋이 제로인 경우, 어떠한 재배치 데이터도 오프셋이 제로임을 의미하지 않음을 디코더측에서 알고 있다면, 데이터는 그대로 둘 수도 있을 것이다. 나무 뒤에 집에 대해 단일 수평 오프셋을 이용함으로써, 수직 일관성이 유지되며(예를 들면, GOP 내에서 이것이 프레임들에 걸쳐 행해진다면 아마도 시간적 일관성), 이것은 표준 비디오 코덱들을 이용하여 압축을 도울 수 있다.

더 많은 공간이 필요하였다면, 오클루전 데이터의 하부 부분은 주변으로부터 예측될 수 있기 때문에, 생략하기에 좋은 후보가 될 것임에 유의해야 한다. 숲에 나무들은 이들은 예측될 수 없기 때문에 인코딩되어야 한다. 이 예에서 깊이는 2개의 층들의 순서를 정하는 것에 주의하고, 복잡한 상황에서 층을 명시하는 추가 정보가 메타-데이터에 추가될 수 있다.

유사한 방식으로, 2개의 오클루전 층들의 2개의 깊이 맵들은 단일의 공통의 배경 깊이 맵 층에 결합될 수 있다.

한 단계 더 나가가, 4개의 추가 층들, 즉 2개의 오클루전 층들과 이들의 깊이 맵들이 단일의 공통 층으로 결합될 수 있다.

2개의 오클루전 층들의 공통 층에는 도 6이 도시하는 바와 같이 아직 열려 있는 영역들이 있다. 도 6의 이들 빈 영역들에는 2개의 오클루전 층들을 위한 깊이 데이터가 위치될 수 있다.

더 복잡한 상황들이 도 7 내지 도 9에 도시되었다. 도 7에서 다수의 오브젝트들(A 내지 E)은 서로 간에 뒤에 놓여져 있다. 제 1 오클루전 층은 전경 오브젝트들에 의해 가려진 모든 데이터의 데이터(중앙 뷰에 의해 보여진)를 제공하며 제 2 오클루전 층은 제 1 가려진 오브젝트들에 의해 가려진 오브젝트들에 대한 것이다. 2 내지 3 오클루전 층들은 실제 장면들에선 드문 것은 아니다. 점 X에는 실제로 4개의 배경 데이터 층들이 있음을 쉽게 알 수 있다.

단일 오클루전 층은 추가 오클루전 층들을 위한 데이터를 포함하지 않을 것이다.

도 8은 본 발명을 추가로 도시한 것으로; 제 1 오클루전 층은 모든 빗금친 영역들에 의해 주어진 영역을 점유한다. 이 층은 전경 오브젝트에 의해 가려진 오브젝트를 묘사하는 유용한 블록들을 제외하고, 또한 유용한 정보가 없는 영역들인 백색의 영역들을 포함한다. 제 2 오클루전 층은 제 1 오클루전 층 뒤에 놓이며 크기는 더 작다. 별도의 데이터 층을 이용하는 대신 본 발명은 공통 오클루전 층 내에 제 2 오클루전 층의 매크로블록들(또는 더 일반적으로 데이터)을 재배치할 수 있게 한다. 이것을 도 9에 2개의 영역들(IIA, IIB)로 개략적으로 나타내었다. 원 위치와 재배치된 위치 간에 관계에 관한 정보를 제공하기 위해 메타데이터가 제공된다. 도 9에 이것을 화살표로 개략적으로 나타내었다. 영역(III)을 재배치함으로써 제 3 층의 오클루전 데이터에, 및 영역(IV)을 재배치함으로써 제 3 오클루전 층에 동일하게 행해질 수 있다. 관계에 관한 데이터 외에, 특히 이 복잡한 실시예에서, 데이터는 바람직하게는 오클루전 층의 개수에 관한 데이터도 포함한다. 단지 하나의 추가 오클루전 층이 있다거나, 다른 데이터로부터(이를테면 z-데이터, 도 6 참조) 재정렬이 명확하다면, 이러한 정보는 필요하지 않을 수도 있다. 예를 들면, 및 바람직하게 매크로블록들에 대해, 공통 오클루전 층 내 더 깊은 오클루전 층들의 데이터 세그먼트들을 재배치하고, 재배치에 대해 아는 추가 데이터 스트림 및 바람직하게는 소스 오클루전 층을 형성함으로써, 더 많은 정보가 단일 공통의 오클루전 층에 저장될 수 있다. 생성된 메타 데이터는 여러 이동된 데이터 세그먼트들의 원본을 파악해 둘 수 있게 하고, 이에 따라 디코더 측에서 원래 층의 콘텐트를 재구성할 수 있게 한다.

도 10은 본 발명의 또 다른 실시예를 도시한 것이다. 제 1 층(FR), 즉 주 프레임을 포함하는, 다수의 층들, 및 복수-층 표현의 다수의 오클루전 층들(B1, B2, B3)이 본 발명에 따라 결합된다. 층들(B1, B2, B3)은 공통 층(CB)으로 결합된다(결합된 이미지 배경 정보). 세그먼트들이 어떻게 이동되었는지를 나타내는 정보는 데이터 스트림(M)에 저장된다. 결합된 층들은 이제 디스플레이 인터페이스(dvi, hdmi, 등)를 거쳐 3D 디스플레이와 같은 3D 디바이스에 전송될 수 있다. 디스플레이 내에서는 M의 정보를 이용한 복수-뷰 렌더링을 위해 원래의 층들이 다시 재구성된다.

도 10의 예에서는 배경 층들(B1, B2, B3, 등)이 도시되었음에 유의한다. 각각의 배경 층에 깊이 맵(B1D, B2D, B3D, 등)이 연관될 수도 있다. 또한, 투명 데이터(B1T, B2T, B3T, 등)이 연관될 수도 있다. 위에 설명된 바와 같이, 이들 다수 세트들의 층들 각각은 실시예들에서 하나 이상의 공통 층들로 결합된다. 대안적으로, 여러 다수 세트들의 층들이 하나 이상의 공통 층들로 결합될 수 있다. 또한, 이미지 및 깊이 층들은 제 1 유형의 공통 층들에 결합될 수 있고, 투명 및 반사와 같은 다른 데이터 층들은 제 2 유형의 층들에 결합될 수 있다.

복수-뷰 렌더링 디바이스는 모든 층들에 대해 이미지 평면들을 완전히 재구성할 필요가 없지만, 가능한대로 결합된 층들을 저장하고, 결합된 층들에서 실제 비디오 데이터가 발견될 수 있는 포인터들을 포함하는 원래의 층들의 매크로블록 레벨 맵을 재구성만 하면 되는 것에 유의한다. 메타 데이터(M)은 생성될 수도 있고/생성될 수 있거나 인코딩 동안 이 목적을 위해 제공될 수도 있을 있다.

도 11은 본 발명의 또 다른 실시예를 도시한 것이다.

다수 층들의 복수-층 표현이 본 발명에 따라 결합된다.

이제 결합된 층들은 표준 비디오 인코더들을 이용하여 몇 개의 비디오 스트림들(또는 층들이 타일링된다면 해상도가 낮은 비디오 스트림들)로 압축될 수 있고, 메타-데이터(M)은 별도의(무손실 압축된) 스트림으로서 추가된다. 결과적인 비디오 파일은 표준 비디오 디코더가 메타-데이터를 출력하는 한, 이에 전송될 수 있고, 원래의 층들은 이들을 예를 들면, 비디오 플레이어 또는 다른 편집을 위해 이용될 수 있게 하기 위해 본 발명에 따라 재구성될 수 있다. 이 시스템 및 도 10으로부터의 층은 결합된 층들을 유지하고 이들을 원래의 층들을 재구성하기 전에 디스플레이 인터페이스를 통해 전송하기 위해 결합될 수 있는 것에 유의한다.

데이터 층은 본 발명의 범위 내에서 임의의 일군의 데이터이고, 데이터는 평면좌표에 연관되거나, 이와 쌍을 이루고 및/또는 평면좌표를 위해 저장되거나 생성되는 평면 또는 평면 내 또는 평면의 한 부분 내 점들을 정의하는 평면 좌표를 위해서, 상기 평면의 점들 및/또는 영역들 또는 상기 평면의 부분에 대한 이미지 정보 데이터를 포함한다. 이미지 정보 데이터는 예를 들면, 컬러 좌표 (예를 들면, RGB 또는 YUV), z-값(깊이), 투명, 반사, 스케일, 등일 수 있는데, 그러나 이들로 제한되는 것은 아니다.

도 12는 다수 블록들의 몇 개의 추가 데이터 층들, 예를 들면, 오클루전 층들을 하나의 공통 데이터 층으로 결합하면서 메타데이터를 생성하는 인코더를 위한 실시예의 흐름도이다. 디코더는 역으로, 메타-데이터를 이용하여 이미지/깊이 데이터를 적합한 층 내 적합한 위치에 카피(copy)를 행한다.

인코더에서 블록들은 우선순위에 따라 처리될 수 있다. 예를 들면, 오클루전 데이터의 경우에, 전경 오브젝트의 에지로부터 매우 멀리있는 영역들에 관계된 데이터는 드물게 보여질 것이고, 따라서 이러한 데이터는 에지에 가까운 데이터보다 낮은 우선순위가 주어질 수 있다. 다른 우선순위 기준은 예를 들면, 블록의 선명도일 수도 있을 것이다. 블록들을 우선화하는 것은 만약 블록들이 생략되어야 한다면, 최소로 관계된 것들이 생략되는 잇점이 있다.

단계(121)에서 결과들은 "모두 비어있는 것"으로 초기화된다. 단계(122)에서 입력층들에 어떤 미처리된 비어있지 않은 블록들이 있는지가 체크된다. 아무것도 없다면, 결과는 완료된 것이고, 있다면 단계(123)에서 한 블록이 선택된다. 이것은 우선순위에 기초하여 행해지는 것이 바람직하다. 빈 블록이 공통 오클루전 층에서 발견된다(단계(124)). 단계(124)는 단계(123)에 선행할 수도 있을 것이다. 빈 블록이 없다면 결과는 완료된 것이고, 빈 블록이 있다면 단계(125)에서 입력 블록으로부터 이미지/깊이 데이터가 결과 블록에 카피되고 재배치 및 바람직하게는 층 번호에 관한 데이터가 메타 데이터에서 관리되며(단계(126)), 처리는 결과가 완료될 때까지 반복된다.

다소 더 복잡한 방법에서는 결과 층에 빈 블록들이 남아 있지 않은 것으로 발견된 경우에 추가의 공간을 생성하기 위해서 추가의 단계들이 추가될 수도 있다. 결과 층이 비슷한 콘텐트의 많은 블록들, 또는 주변들로부터 예측될 수 있는 블록들을 포함한다면, 이러한 블록들은 추가의 블록들을 위한 장소를 만들기 위해 생략될 수 있다. 예를 들면, 도 6에서 집 뒤에 오클루전 데이터의 하부의 부분은 주변으로부터 예측될 수 있기 때문에, 생략하기에 좋은 후보가 될 것이다.

도 13 및 도 14는 본 발명의 실시예들의 인코더 및 디코더를 도시한 것이다. 인코더는 추가 층들, 예를 들면, 오클루전 층들(B1 ~ Bn)을 위한 입력을 갖는다. 이들 오클루전 층들의 블록들은 이 예에서는 생성기(CR)에서 2개의 공통 오클루전 층들 및 2개의 데이터스트림(단일의 추가의 스트림으로 결합될 수도 있을)로 결합된다. 주 프레임 데이터, 주 프레임을 위한 깊이 맵, 공통 오클루전 층 데이터 및 메타데이터는 도 13에서 인코더에 의해 비디오 스트림(VS)으로 결합된다. 도 14에서 디코더는 역을 행하여 재구성 또는 RC를 갖는다.

메타데이터는 별도의 데이터 스트림에 넣어질 수 있지만, 추가의 데이터 스트림은 비디오 데이터 자체에 넣어질 수도 있는 것에 유의한다(특히, 이 비디오 데이터가 디스플레이 인터페이스를 통해 송신될 때와 같이 압축되지 않았다면). 흔히 이미지는 결코 디스플레이되지 않는 몇 개의 라인들을 포함한다.

메타 데이터가 크기가 작다면, 예를 들면, 단지 몇 개의 Δx, Δy 값들만이 있을 때 - Δx, Δy는 많은 수의 매크로블록들에 대한 일반적인 시프트를 나타낸다 -, 정보는 이들 라인들에 저장될 수 있다. 실시예들에서 공통 층 내 몇 개의 블록들은 이 데이터를 위해 반대로 될 수 있는데, 예를 들면, 라인 상에 제 1 매크로블록은 다음 n 매크로블록들(n은 단일 매크로블록에 들어맞을 수 있는 메타-데이터량에 따른다)에 대한 메타-데이터를 기술하는 라인의 제 1 부분에 대한 메타-데이터를 포함한다. 이어서 매크로블록(n+1)은 다음 n 매크로블록들에 대한 메타-데이터 를 포함한다, 등.

요약하여 본 발명은 다음에 의해 기술될 수 있다:

인코딩을 위한 방법 및 3D 비디오 신호를 위한 인코더에서, 주 프레임들, 주 프레임들을 위한 깊이 맵 및 추가 데이터 층들이 인코딩된다. 여러 상이한 층들의 데이터 세그먼트들을 한 공통의 층으로 이동시키고 이동들을 파악해 둠으로써 몇 개의 추가 데이터 층들이 하나 이상의 공통 층들에 결합된다. 디코더는 역을 행하고 공통 층들 및 데이터 세그먼트들 이 공통 층에 어떻게 이동되었는가에 관한 정보, 즉 어느 층으로부터 이들이 왔으며 원래 층 내에 이들의 원래의 위치가 어디였는지에 관한 정보를 이용하여 층상 구조를 재구성한다.

본 발명은 본 발명에 따라 방법 또는 디바이스를 위한 임의의 컴퓨터 프로그램 제품로 실시된다. 컴퓨터 프로그램 제품은 프로세서 - 범용 또는 전용 - 가 프로세서에 지령을 얻기 위한 일련의 로딩 후에 본 발명의 특징적 기능들 중 어느 것을 실행할 수 있게 하는 일군의 지령들의 임의의 물리적 실현임을 알 것이다. 특히, 컴퓨터 프로그램 제품은 예를 들면, 디스크 또는 테이프와 같은 캐리어 상에 데이터, 메모리에 있는 데이터, 네트워크 연결 - 유선 또는 무선 - 을 통해 전해지는 데이터, 또는 페이퍼 상에 프로그램 코드로서 실현될 수 있다. 프로그램 코드 외에, 프로그램을 위해 요구되는 특징적 데이터는 컴퓨터 프로그램 제품로서 구현될 수도 있다.

방법의 동작을 위해 요구되는 일부 단계들은 데이터 입력 및 출력 단계들과 같이, 컴퓨터 프로그램 제품에 기술되는 대신 프로세서의 기능성에 이미 있을 수 있다.

위에 언급된 실시예들은 발명을 제한하기보다는 예시하는 것이고, 당업자들은 첨부된 청구항들의 범위 내에서 많은 대안적인 실시예들을 설계할 수 있을 것임에 유의한다.

예를 들면, 주어진 예들은 중앙 뷰가 이용되며 오클루전 층들은 전경 오브젝트들 뒤에 놓인 오브젝트들에 관한 데이터를 포함하는 예이다. 본 발명의 범위 내에서 오클루전 층은 주 뷰에 대한 사이드 뷰 내 데이터일 수도 있다.

도 15는 도면의 윗 부분에 주 뷰를 도시한 것이고: 사이드 뷰들은 도면의 아래 부분에서 도시되었다. 사이드 뷰는 주 뷰의 모든 데이터를 포함할 것이지만, 그러나 작은 영역에 대해선 전화에 의해 주 뷰에서 가려졌던 비디오 데이터를 포함할 것이다. 좌측 SVL에 대한 사이드 뷰는 회색 영역으로 나타낸, 주 뷰 내에도 포함된 데이터, 및 회색 톤들로 도시된, 주 뷰에서 가려졌던 작은 밴드의 데이터를 포함할 것이다. 마찬가지로, 주 뷰의 우측에 대한 뷰는 주 뷰와 공통인 데이터(회색으로 도시된) 및 주 뷰에서 가려졌던 작은 밴드의 데이터(그러나 좌측 뷰에 대한 것과 같지는 않다)를 가질 것이다. 좌측에 대한 훨씬 더 많은 뷰는 더 넓은 밴드의 가려진 데이터를 포함할 것이다. 그러나, 이 오클루전 데이터의 한 부분은 좌측 뷰에 이미 포함되었다. 여러 뷰들의 오클루전 데이터를 한 결합된 오클루전 데이터 층으로 결합하기 위해 도 10 내지 도 14에 도시된 바와 동일한 수법이 이용될 수 있다. 그럼으로써 층들의 수(즉, 복수-뷰 프레임들의 수)가 감소될 수 있다. 복수-뷰 방법들에서 주 뷰는 다수의 뷰들 중 어느 것일 수 있다.

요약하여 본 발명은 다음과 같이 기술될 수 있다.

인코딩 방법 및 3D 비디오 신호를 위한 인코더에서, 주 데이터 층, 주 데이터 층들을 위한 깊이 맵 및 추가 데이터 층들이 인코딩된다. 원래의 데이터 층들로부터의 데이터 블록들과 같은 데이터 세그먼트들을 한 공통의 층들로 이동시키고 추가된 데이터 스트림에 시프트의 기록을 유지함으로써 몇 개의 추가 데이터 층들이 하나 이상의 공통 층들에 결합된다.

청구항들에서, 괄호 내 옮긴 임의의 참조부호는 청구항을 한정하는 것으로 해석되지 않을 것이다.

단어 "포함하는(comprising)"는 청구항에 열거된 것들 외 다른 요소들 또는 단계들의 존재를 배제하는 것이 아니다. 본 발명은 몇 개의 서로 구별되는 요소들을 포함하는 하드웨어에 의해서, 및 적합하게 프로그램된 컴퓨터에 의해서 구현될 수 있다. 몇 개의 수단을 열거한 디바이스 청구항에서, 이들 수단들 중 몇 개는 하나의 동일한 아이템의 하드웨어에 의해 구현될 수 있다. 본 발명에 따른 인코딩 또는 디코딩 방법은 적합한 범용 컴퓨터 또는 대안적으로 전용(집적) 회로로 구현되어 실행될 수도 있을 것이다. 대안적인 컴퓨터 플랫폼들 상에 구현될 수도 있을 것이다. 본 발명은 위에 기술된 다양한 상이한 바람직한 실시예들의 특징들의 임의의 조합에 의해 구현될 수도 있다.

본 발명은 다양한 방법들로 구현될 수 있다. 예를 들면, 위에 예들에서 주 비디오 데이터 층은 그대로 두고 추가 데이터 층들의 데이터 세그먼트들만 공통 데이터 층들에 조합된다.

본 발명의 범위 내에서 공통 층은 주 데이터 층의 데이터 세그먼트들 및 추가 데이터 층들의 세그먼트들을 포함할 수도 있다. 예는 주 데이터 층이 하늘의 큰 부분들을 포함하는 상황이다. 주 비디오 데이터 층의 이러한 부분들은 흔히 청색 부분의 범위와 컬러(및 아마도 예를 들면, 컬러의 변화)를 기술하는 파라미터들에 의해 쉽게 표현될 수 있다. 이것은 추가 층들로부터 기원하는 데이터 세그먼트가 이동될 수 있는 주 비디오 데이터 층 상에 공간이 생기게 할 것이다. 이것은 공통 층들의 수를 감소시킬 수 있게 할 수도 있을 것이다. 도 16은 이러한 실시예를 도시한 것이다. 주 층(FR) 및 제 1 추가 층(여기에서는 B1이라 표기되었음)은 공통 층 C(FR+B1)로 결합되고, 두 층들(FR, B1)의 데이터 세그먼트들이 어떻게 공통 층으로 이동되었는지를 알아두기 위해서 메타 데이터(M1)이 생성된다. 추가 데이터 층들(B2 내지 Bn)은 메타 데이터(M2)가 생성되는 공통 데이터 층(B2)에 결합된다.

역 호환성에 관하여, 바람직한 실시예들은 공통 층들이 추가 층들(B12, B1T 등)의 세그먼트들만을 포함하는 실시예들이다.

1: 백스크린 2: 공간 광 변조기
3: 렌티큘라 스크린

Claims

입력 3D 비디오 신호가 인코딩되는 3D 비디오 신호들을 인코딩하는 방법에 있어서,
상기 입력 3D 비디오 신호는 주 비디오 데이터 층(FR), 상기 주 비디오 데이터 층을 위한 깊이 맵을 포함하고, 상기 주 비디오 데이터 층을 위한 추가 데이터 층들(B1, B2, B1T, B2T)을 추가로 포함하고, 상기 주 비디오 데이터 층의 상이한 데이터 층들, 상기 주 비디오 층을 위한 상기 깊이 맵 및 상기 추가 데이터 층들에 속하는 데이터 세그먼트들(data segments)은 하나 이상의 공통 데이터 층들(CB1, CB2, C(FR+B1))로 이동되고, 원래의 위치 및/또는 각각의 이동된 데이터 세그먼트에 대한 원래의 추가 층을 명시하는 추가 데이터(M, M1, M2)를 포함하는 추가 데이터 스트림이 생성되는, 3D 비디오 신호 인코딩 방법.
제 1 항에 있어서,
상기 데이터 세그먼트들은 매크로블록들(macroblocks)인, 3D 비디오 신호 인코딩 방법.
제 1 항 또는 제 2 항에 있어서,
상기 추가 층들은 상기 주 비디오 데이터 층에 대한 뷰와 동일한 지점으로부터 이미지 및/또는 깊이 데이터 및/또는 추가 데이터를 포함하는, 3D 비디오 신호 인코딩 방법.
제 1 항에 있어서,
추가 데이터 층들(B1, B2, B1T, B2T)의 데이터 세그먼트들만이 공통 데이터 층들(CB1, CB2)로 이동되는, 3D 비디오 신호 인코딩 방법.
제 1 항에 있어서,
적어도 하나의 공통 데이터 층은 단지 하나의 유형의 데이터 세그먼트들을 포함하는, 3D 비디오 신호 인코딩 방법.
제 5 항에 있어서,
모든 공통 데이터 층들은 단지 하나의 유형의 데이터 세그먼트들을 포함하는, 3D 비디오 신호 인코딩 방법.
제 1 항에 있어서,
적어도 하나의 공통 데이터 층은 상이한 유형들의 데이터 세그먼트들을 포함하는, 3D 비디오 신호 인코딩 방법.
제 7 항에 있어서,
모든 공통 데이터 층들은 상이한 유형들의 데이터 세그먼트들을 포함하는, 3D 비디오 신호 인코딩 방법.
제 1 항에 있어서,
상기 데이터 세그먼트들은 상기 주 비디오 데이터 층과 동시에 공통 층으로 이동되는, 3D 비디오 신호 인코딩 방법.
제 1 항에 있어서,
데이터 세그먼트들은 상기 주 비디오 데이터 층 및 상기 추가의 데이터가 시간 슬롯 차를 명시할 때 다른 시간 슬롯에서 공통 층으로 이동되는, 3D 비디오 신호 인코딩 방법.
제 1 항에 있어서,
상기 데이터 세그먼트들은 우선순위에 기초하여 이동되거나 폐기되는, 3D 비디오 신호 인코딩 방법.
3D 비디오 신호를 인코딩하기 위한 인코더를 포함하는 시스템에 있어서,
상기 인코딩된 3D 비디오 신호는 주 비디오 데이터 층(FR), 상기 주 비디오 데이터 층을 위한 깊이 맵 및 상기 주 비디오 데이터 층을 위한 추가 데이터 층들(B1, B2, B1T, B2T)을 포함하고, 상기 인코더는 상기 추가 데이터 층들을 위한 입력들을 포함하고, 상기 인코더는 생성기(CR)를 포함하고, 상기 생성기(CR)는 공통 데이터 층(CB1, CB2, C(FR+B))의 하나 이상의 데이터 층들의 데이터 세그먼트들을 이동시키고, 상기 이동된 데이터 세그먼트들의 원본을 나타내는 데이터를 포함하는 추가 데이터 스트림(M, M1, M2)을 생성함으로써, 상기 주 비디오 데이터 층의 하나 이상의 데이터 층, 상기 주 비디오 데이터 층을 위한 상기 깊이 맵 및 상기 추가 데이터 층들로부터 데이터 세그먼트들을 하나 이상의 공통 데이터 층들로 결합하는, 3D 비디오 신호를 인코딩하기 위한 인코더를 포함하는 시스템.
제 12 항에 있어서,
상기 데이터 세그먼트들은 매크로블록들인, 3D 비디오 신호를 인코딩하기 위한 인코더를 포함하는 시스템.
제 12 항 또는 제 13 항에 있어서,
상기 생성기는 원본의 상기 추가 층을 명시하는 추가 데이터를 생성하는, 3D 비디오 신호를 인코딩하기 위한 인코더를 포함하는 시스템.
제 12 항에 있어서,
상기 인코더는 우선순위에 기초하여 상기 데이터 세그먼트들을 이동시키도록 배열되는, 3D 비디오 신호를 인코딩하기 위한 인코더를 포함하는 시스템.
제 12 항에 있어서,
상기 생성기는 단일 추가 데이터 층을 생성하도록 배열되는, 3D 비디오 신호를 인코딩하기 위한 인코더를 포함하는 시스템.
제 12 항에 있어서,
상기 생성기는 추가 데이터 층들의 데이터만을 공통 데이터 층들에 결합하는, 3D 비디오 신호를 인코딩하기 위한 인코더를 포함하는 시스템.
제 12 항 내지 제 17 항 중 어느 한 항에 청구된 바와 같은 시스템을 위한, 인코더.
3D 비디오 신호가 디코딩되는 인코딩된 비디오 신호를 디코딩하기 위한 방법에 있어서,
상기 3D 비디오 신호는 주 비디오 데이터 층의 두 개 이상의 데이터 층들, 상기 주 비디오 데이터 층을 위한 깊이 맵 및 주 비디오 층을 위한 추가 데이터 층들에서 비롯되는 데이터 세그먼트를 포함하는 하나 이상의 인코딩된 공통 데이터 층들(CB1, CB1, C(FR+B1))를 포함하고, 상기 공통 데이터 층들에 상기 세그먼트의 상기 원본을 명시하는 추가 데이터를 포함하는 추가 데이터 스트림(M, M1, M2) 을 포함하고, 상기 주 비디오 데이터 층의 두 개 이상의 데이터 층들, 상기 주 비디오 데이터 층을 위한 깊이 맵 및 상기 주 비디오 층을 위한 추가 데이터 층은 상기 하나 이상의 공통 데이터 층들(CB1, CB2, C(Fr+B1)) 및 상기 추가 데이터 스트림(M, M1, M2)에 기초하여 재구성되고, 3D 이미지가 생성되는, 3D 비디오 신호가 디코딩되는 인코딩된 비디오 신호를 디코딩하기 위한 방법.
제 19 항에 있어서,
상기 두 개 이상의 공통 데이터 층들은 추가 데이터 층들로부터의 데이터 세그먼트만을 포함하는, 3D 비디오 신호가 디코딩되는 인코딩된 비디오 신호를 디코딩하기 위한 방법.
제 20 항에 있어서,
상기 비디오 신호는 단일 공통 오클루전 층(single common occlusion layer)을 포함하는, 3D 비디오 신호가 디코딩되는 인코딩된 비디오 신호를 디코딩하기 위한 방법.
3D 비디오 신호가 디코딩되는 인코딩된 비디오 신호를 디코딩하기 위한 디코더를 포함하는 시스템에 있어서,
상기 3D 비디오 신호는 인코딩된 주 비디오 데이터 층의 두 개 이상의 데이터 층들, 상기 주 비디오 데이터 층을 위한 깊이 맵 및 하나 이상의 추가 데이터 층들에서 비롯되는 데이터 세그먼트들을 포함하는 하나 이상의 인코딩된 공통 데이터 층들(CB1, CB1, C(FR+B1))를 포함하고, 상기 3D 비디오 신호는 상기 공통 데이터 층들에 상기 세그먼트들의 원본을 명시하는 추가 데이터를 포함하는 추가 데이터 스트림(M, M1, M2)을 추가로 포함하고, 상기 디코더는 상기 하나 이상의 공통 데이터 층들 및 상기 추가 데이터 스트림을 판독하기 위한 판독기, 및 상기 공통 데이터 층 및 상기 추가 데이터 스트림에 기초하여, 상기 원래의 주 비디오 데이터 층, 상기 주 비디오 데이터 층을 위한 깊이 맵 및 하나 이상의 추가 데이터 층들을 재구성하기 위한 재구성기(RC)를 포함하는, 3D 비디오 신호가 디코딩되는 인코딩된 비디오 신호를 디코딩하기 위한 디코더를 포함하는 시스템.
제 22 항에 있어서,
상기 공통 데이터 층들은 추가 데이터 층들로부터 데이터 세그먼트만을 포함하고, 상기 재구성기는 원본의 상기 추가 데이터 층들을 재구성하는, 3D 비디오 신호가 디코딩되는 인코딩된 비디오 신호를 디코딩하기 위한 디코더를 포함하는 시스템.
제 22 항 또는 제 23 항에 청구된 바와 같은 시스템을 위한, 디코더.
프로그램이 컴퓨터 상에서 구동될 때 제 1 항 내지 제 11 항 또는 제 19 항 내지 제 21 항 중 어느 한 항에 청구된 바와 같은 방법을 실행하기 위한 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램.
제 1 항 내지 제 11 항 또는 제 19 항 내지 제 21 항 중 어느 한 항에 청구된 바와 같은 방법을 실행하기 위한 컴퓨터 판독가능한 매체 상에 저장된 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.
3차원 비디오 콘텐트를 포함하는 이미지 신호에 있어서,
상기 이미지 신호는 인코딩된 주 비디오 데이터 층의 두 개 이상의 데이터 층들, 상기 주 비디오 데이터 층을 위한 깊이 맵 및 하나 이상의 추가 데이터 층들에서 비롯되는 데이터 세그먼트들을 포함하는 하나 이상의 인코딩된 공통 데이터 층들(CB1, CB1, C(FR+B1))를 포함하고, 상기 3D 비디오 신호는 상기 공통 데이터 층들에 상기 세그먼트들의 원본을 명시하는 추가 데이터를 포함하는 추가 데이터 스트림(M, M1, M2)을 추가로 포함하는, 3차원 비디오 콘텐트를 포함하는 이미지 신호.
3차원 비디오 콘텐트를 포함하는 이미지 신호에 있어서,
상기 이미지 신호는 인코딩된 주 비디오 데이터 층, 상기 주 비디오 데이터 층을 위한 깊이 맵 및 하나 이상의 공통 데이터 층들(CB1, CB2)을 포함하고, 상기 하나 이상의 공통 데이터 층들(CB1, CB2)은 상기 주 비디오 데이터 층을 위한 상이한 원래의 추가적인 추가 데이터 층들에서 비롯되는 데이터 세그먼트들을 포함하고 추가 데이터 스트림(M, M1, M2)은 상기 공통 데이터 층들에 상기 세그먼트들의 원본을 명시하는 추가 데이터를 포함하는, 3차원 비디오 콘텐트를 포함하는 이미지 신호.