KR101483380B1 - 멀티-뷰 신호 코덱 - Google Patents

멀티-뷰 신호 코덱 Download PDF

Info

Publication number
KR101483380B1
KR101483380B1 KR1020137006006A KR20137006006A KR101483380B1 KR 101483380 B1 KR101483380 B1 KR 101483380B1 KR 1020137006006 A KR1020137006006 A KR 1020137006006A KR 20137006006 A KR20137006006 A KR 20137006006A KR 101483380 B1 KR101483380 B1 KR 101483380B1
Authority
KR
South Korea
Prior art keywords
view
data stream
depth
data
disparity map
Prior art date
Application number
KR1020137006006A
Other languages
English (en)
Other versions
KR20130055659A (ko
Inventor
토마스 비간드
데틀레프 마르페
카르스텐 뮐러
필리프 메르클
게르하르드 테크
훈 리
하이코 슈바르츠
Original Assignee
프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 filed Critical 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Publication of KR20130055659A publication Critical patent/KR20130055659A/ko
Application granted granted Critical
Publication of KR101483380B1 publication Critical patent/KR101483380B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

결과를 활용한 실시예가 기재되고, 이 결과에 따르면 더 높은 압축률이나 더 나은 레이트/왜곡비는 멀티-뷰 신호의 제 1 뷰를 인코딩하는데 사용된 제 1 코딩 파라미터로부터 멀티-뷰 신호의 제 2 뷰를 인코딩하는데 사용된 제 2 코딩 파라미터를 채택하거나 예측하는 것에 의해 성취될 수 있다. 다시 말해서, 발명자들은, 멀티-뷰 신호의 뷰들 사이의 리던던시는 그것의 비디오 정보와 같이 그것들 스스로의 뷰에 제한되지 않지만, 이러한 뷰들을 병렬로 인코딩하는데 있어서의 코딩 파라미터는 코딩 속도를 더 개선하기 위해 활용될 수 있는 공통점을 보이는 것을 발견했다.

Description

멀티-뷰 신호 코덱{MULTI-VIEW SIGNAL CODEC}
본 발명은 멀티-뷰 신호들의 코딩에 관한 것이다.
멀티-뷰 신호는, 예컨대 스테레오 및 멀티-뷰 디스플레이를 포함하는 3D 비디오 응용, 자유 뷰포인트(free viewpoint) 비디오 응용과 같은 다양한 응용에 포함된다. 스테레오 및 멀티-뷰 비디오 컨텐트에 있어서, MVC 기준이 명시된다[1,2]. 이 기준은 다수의 인접한 카메라들로부터의 비디오 시퀀스를 압축한다. MVC 디코딩 처리는 원래 카메라 위치에서의 이 카메라 뷰(camera view)만을 재생한다. 그러나, 상이한 멀티-뷰 디스플레이에 있어서, 상이한 공간 위치를 갖는 상이한 다수의 뷰(view)가 요구되므로 예컨대 원래 카메라 위치 사이에 추가 뷰가 요구된다.
멀티-뷰 신호를 다루는데 있어서 곤란한 점은, 멀티-뷰 신호에 포함된 복수의 뷰 상에 정보를 전달하기 위한 방대한 양의 데이터이다. 중간 뷰(intermediate view) 추출/합성을 가능하게 하기 위한, 사전에 언급된 필요조건의 경우, 개별 뷰와 관련된 비디오는 개별 뷰를 중간 뷰와 같은 다른 뷰로 재투영하는 것을 가능하게 하는 깊이/디스패러티 맵 데이터(depth/disparity map data)와 같은 부가 데이터에 의해 동반될 수 있다. 방대한 양의 데이터로 인하여, 멀티-뷰 신호 코덱의 압축률을 가능한 한 최대화 하는 것이 매우 중요하다.
그러므로, 본 발명의 목적은 높은 압축률이나 더 나은 레이트/왜곡비(rate/distortion ratio)를 가능하게 하는 멀티-뷰 신호 코덱을 제공하는 것이다.
이러한 목적은 계류중인 독립항의 대상물에 의해 얻어진다.
본 출원은 결과를 활용한 실시예를 제공하고, 이 결과에 따르면 더 높은 압축률이나 더 나은 레이트/왜곡비는 멀티-뷰 신호의 제 1 뷰를 인코딩하는데 사용된 제 1 코딩 파라미터로부터 멀티-뷰 신호의 제 2 뷰를 인코딩하는데 사용된 제 2 코딩 파라미터를 채택하거나 예측하는 것에 의해 성취될 수 있다. 다시 말해서, 발명자들은, 멀티-뷰 신호의 뷰들 사이의 리던던시가 그것의 비디오 정보와 같이 그것들 스스로의 뷰에 제한되지 않되, 이러한 뷰들을 병렬로 인코딩하는데 있어서의 코딩 파라미터는 코딩 속도를 더욱 개선하기 위해 활용될 수 있는 공통점을 보인다는 것을 발견했다.
본 출원의 일부 실시예는 결과를 추가로 활용하고, 이 결과에 따르면, 깊이/디스패러티 맵의 코딩에 사용되는 일정 뷰의 비디오의 일정 프레임과 관련된 깊이/디스패러티 맵의 세그멘테이션(segmentaion)은 주로 비디오 프레임의 에지를 따라 연장하기 위한 웨지렛 분리라인(wedgelet seperation line)을 결정하여, 힌트로서 비디오 프레임에서 감지된 에지를 사용하여 결정되거나 예측될 수 있다. 에지 감지가 디코더 사이드의 복잡도를 상승시킴에도 불구하고, 허용가능한 품질의 낮은 송신 속도가 복잡도 문제보다 더욱 중요한 응용 시나리오에서의 결핍은 받아들일 수 있다. 이러한 시나리오는 디코더들이 고정 장치로서 구현되는 방송 응용을 포함한다.
더욱이, 본 출원의 일부 실시예는 결과를 추가로 활용하고, 이 결과에 따르면, 코딩 파라미터의 채택/예측이 공간적 해상도 간의 비율에 따른 이 코딩 파라미터들의 스케일링(scaling)을 포함하는 경우, 다른 뷰의 정보의 코딩으로부터 채택된/예측된 코딩 파라미터들의 뷰는 더 낮은 공간 해상도로 코딩, 즉 예측되고 오차가 수정되어서, 코딩된 비트로 저장될 수 있다.
상기 기재된 측면의 실시예의 유리한 구현이 첨부된 종속항의 대상물이다. 특히, 본 출원의 선호되는 실시예는 이하의 도면에 관련하여 기재된다.
도 1은 일 실시예에 따른 인코더의 블록 다이어그램이다.
도 2는 뷰들에 걸친 정보 재사용 및 비디오 깊이/디스패러티 경계의 도시에 대한 멀티-뷰 신호 일부의 개략도이다.
도 3은 일 실시예에 따른 디코더의 블록 다이어그램이다.
도 4는 2개의 뷰와 2개의 타임 인스턴스(time instance)의 예시에 대한 멀티-뷰 코딩에서의 예측 구조 및 움직임/디스패러티 벡터이다.
도 5는 인접 뷰들 사이의 디스패러티 벡터에 의한 포인트 상관성이다.
도 6은 스케일링된 디스패러티 벡터를 사용하는, 뷰 1 및 뷰 2로부터의 화면 컨텐트 투영에 따른 중간 뷰 합성이다.
도 7은 따로 디코딩된 색상으로부터의 N-뷰 추출 및 임의의 뷰잉 위치에서 중간 뷰를 생성하기 위한 및 추가 데이터이다.
도 8은 9 뷰 디스플레이에 대한 2 뷰 비트스트림의 예시적인 N-뷰 추출이다.
도 1은 일 실시예에 따라 멀티-뷰 신호를 인코딩하기 위한 인코더를 도시한다. 도 1의 실시예는 높은 수의 뷰로 실현가능함에도 불구하고, 도 1의 멀티-뷰 신호는 2개의 뷰(121, 122)를 포함하며 (10)에서 설명적으로 표시된다. 더욱이, 도 1의 실시예에 따라, 도 1과 관련하여 기재된 실시예의 다수의 유리한 원리는, 임의의 깊이/디스패러티 맵 데이터를 포함하지 않는 뷰를 갖는 멀티-뷰 신호들과 관련되어 사용될 경우 또한 유리할 수 있음에도 불구하고, 각각의 뷰(121, 122)는 비디오(14) 및 길이/디스패러티 맵 데이터(16)를 포함한다. 본 실시예의 일반화는 도 1 내지 도 3의 기재 이후 아래에서 추가로 기재된다.
개별 뷰(121, 122)의 비디오(14)는 상이한 투영/뷰잉 방향을 따라 공통 화면의 투영의 시-공간(spatio-temporal) 샘플링을 나타낸다. 바람직하게, 뷰들(121, 122)의 비디오(14)의 시간적(temporal) 샘플링 속도는 비록 이러한 제약이 필수적으로 충족될 필요가 없음에도 불구하고 서로 동일하다. 도 1에 도시된 바와 같이, 바람직하게, 각각의 비디오(14)는, 각각의 프레임이 개별 타임 스탬프(t, t-1, t-2, ...)와 관련되는 프레임의 시퀀스를 포함한다. 도 1에서, 비디오 프레임은 V 뷰 번호, 타임 스탬프 번호에 의해 표시된다. 각각의 프레임(V1,t)은 개별 타임 스탬프(t)에서의 개별 뷰 방향을 따르는 화면(1)의 공간적 샘플링을 나타내므로, 예컨대 루마 샘플을 위한 하나의 샘플 어레이 및 크로마 샘플을 갖는 2개의 샘플 어레이와 같은 하나 이상의 샘플 어레이, 또는 단순한 루미넌스 샘플 또는 RGB 색 공간 등의 색상 구성요소들과 같은 다른 색상 구성요소들을 위한 샘플 어레이들을 포함한다. 하나 이상의 샘플 어레이의 공간적 해상도는 하나의 비디오(14) 및 상이한 뷰들(121, 122)의 비디오들(14) 내에서 모두 상이할 수 있다.
마찬가지로, 깊이/디스패러티 맵 데이터(16)는 뷰들(121, 122)의 개별 뷰잉 방향을 따라 측정된, 공통 화면의 화면 오브젝트의 깊이의 시공간 샘플링을 나타낸다. 깊이/디스패러티 맵 데이터(16)의 시간적 샘플링 속도는 도 1에 도시된 바와 같이 동일한 뷰의 관련된 비디오의 시간적 샘플링 속도와 동일할 수 있거나 그것과 상이할 수 있다. 도 1의 경우, 각각의 비디오 프레임(V)은 개별 뷰(121, 122)의 깊이/디스패러티 맵 데이터(16)의 개별 깊이/디스패러티 맵(d)과 관련된다. 다시 말해서, 도 1의 예시에서, 뷰(i)와 타임 스탬프(t)의 각각의 비디오 프레임(Vi,t)은 그와 관련된 깊이/디스패러티 맵(di,t)을 갖는다. 깊이/디스패러티 맵(d)의 공간적 해상도에 있어서, 이것은 비디오 프레임에 관해 상기 표시된 바와 같이 적용한다. 즉, 공간 해상도는 상이한 뷰들의 깊이/디스패러티 맵들 사이에서 상이할 수 있다.
멀티-뷰 신호(10)를 효과적으로 압축하기 위하여, 도 1의 인코더는 데이터 스트림(18)내로 뷰들(121, 122)을 병렬로 인코딩하지만, 제 1 뷰(121)를 인코딩하기 위해 사용되는 코딩 파라미터들은 마찬가지로 제 2 뷰(122)를 인코딩하는데 사용될 제 2 코딩 파라미터를 채택하거나 예측하기 위해 재사용된다. 이러한 수단으로, 도 1의 인코더는 발명자들에 의해 발견된 사실을 활용하며, 이 사실에 따르면, 뷰들(121, 122)의 병렬 인코딩은 유사하게 이러한 뷰들에 대한 코딩 파라미터들을 결정하는 인코더를 생성하여서, 이러한 코딩 파라미터들 간의 리던던시가 효과적으로 활용되어서 압축률 또는 레이트/왜곡비를 증가시킬 수 있다(예컨대, 왜곡은 양쪽 뷰들의 평균 왜곡으로서 측정되고, 속도는 전체 데이터 스트림(18)의 코딩 속도로서 측정됨)
특히, 도 1의 인코더는 일반적으로 참조 부호(20)에 의해 표시되고, 멀티-뷰 신호(10)를 수신하기 위한 입력 및 데이터 스트림(18)을 출력하기 위한 출력을 포함한다. 도 2에 도시된 바와 같이, 도 1의 인코더(20)는 뷰(121, 122) 당 2개의 코딩 브랜치, 즉 비디오 데이터를 위한 하나의 브랜치 및 깊이/디스패러티 맵 데이터를 위한 다른 하나의 브랜치를 포함한다. 따라서, 인코더(20)는 뷰 1의 비디오 데이터를 위한 코딩 브랜치(22v,1), 뷰 1의 깊이/디스패러티 맵 데이터를 위한 코딩 브랜치(22d,1), 제 2 뷰의 비디오 데이터를 위한 코딩 브랜치(22v,2) 및 제 2 뷰의 길이/디스패러티 맵 데이터를 위한 코딩 브랜치(22d,2)를 포함한다. 이러한 코딩 브랜치들(22)의 각각은 유사하게 구성된다. 인코더(20)의 구조 및 기능을 기재하기 위해, 이어지는 기재는 코딩 브랜치(22v,1)의 구조 및 기능으로 시작한다. 이러한 기능은 모든 브랜치들(22)에 공통이다. 이후에, 브랜치들(22)의 개별 특성이 논의된다.
코딩 브랜치(22v,1)는 멀티-뷰 신호(12)의 제 1 뷰(121)의 비디오(141)를 인코딩하기 위한 것이며, 따라서, 코딩 브랜치(22v,1)는 비디오(141)를 수신하기 위한 입력이다. 이 밖에도, 브랜치(22v,1)는 감산기(24), 양자화/변환 모듈(26), 재양자화/역변환 모듈(28), 가산기(30), 추가 처리 모듈(32), 디코딩 화상 버퍼(34), 2개의 예측 모듈(36, 38) - 결국 서로 병렬로 연결됨 - 및 컴바이너(combiner) 또는 셀렉터(40) - 한편으로 예측 모듈들의 출력과 다른 한편으로 감산기의 반전 입력 사이에 연결됨 - 를 포함하며, 이들은 언급된 순서대로 서로 직렬로 연결된다. 컴바이너(40)의 출력은 또한 가산기(30)의 추가 입력에 연결된다. 감산기(24)의 비반전 입력은 비디오(141)를 수신한다.
코딩 브랜치(22v,1)의 요소들(24 내지 40)은 비디오(141)를 인코딩하기 위해 협력한다. 인코딩은 특정 부분의 유닛들에서 비디오(141)를 인코딩한다. 예컨대, 비디오(141)를 인코딩하는데 있어서, 프레임(v1 ,k)은 블록들 또는 다른 샘플 그룹들과 같은 세그먼트로 분할된다. 이러한 분할은 지속되거나 시간에 따라 변할 수 있다. 또한, 이러한 분할은 디폴트에 의해 인코더 및 디코더에 알려질 수 있거나 데이터 스트림(18) 내에 시그널링될 수 있다. 이러한 분할은 행 및 열의 블록 비중첩 배열과 같이 프레임들의 블록으로의 일반적인 분할이 될 수 있거나, 변화하는 크기의 블록들에 대한 쿼드 트리 기반 분할이 될 수 있다. 감산기(24)의 비반전 입력으로 들어가는 비디오(141)의 현재 인코딩된 세그먼트는 이하의 기재에서의 비디오(141)의 현재 부분으로 지칭된다.
예측 모듈들(36, 38)은 현재 부분을 예측하기 위한 것이고, 이러한 목적으로, 예측 모듈들(36, 38)은 디코딩 화상 버퍼(34)에 연결된 그것들의 입력을 갖는다. 실제로, 예측 모듈들(36, 38)은 디코딩 화상 버퍼(34)에 위치하는 비디오(141)의 사전에 재구성된 부분을 사용하여, 감산기(24)의 비반전 입력으로 들어가는 현재 부분/세그먼트를 예측한다. 이 점에 있어서, 예측 모듈(36)은 공간적으로 인접하는 것들로부터의 비디오(141)의 현재 부분, 비디오(141)의 동일한 프레임의 사전에 재구성된 부분들을 공간적으로 예측하는 인트라 예측 변수(predictor)로서 역할을 하는 반면에, 예측 모듈(38)은 비디오(141)의 사전에 재구성된 프레임들로부터의 현재 부분을 시간적으로 예측하는 인터 예측 변수로서 역할을 한다. 양쪽 모듈들(36, 38)은 특정 예측 파라미터들에 따라 예측을 실행하거나 이것에 의해 기재된다. 좀 더 정확하게, 후자 파라미터들은 최대 비트레이트와 같은 일부 제한들 하에, 또는 이러한 제약 없이 레이트/왜곡비를 최적화하는 것과 같은 특정 최적화 목표를 최적화하기 위한 일부 최적화 프레임워크에서 인코더(20)가 되도록 결정된다.
예컨대, 인트라 예측 모듈(36)은, 비디오(141)의 동일한 프레임의 이웃하고, 사전에 재구성된 부분의 컨텐츠가 이것을 예측하기 위해 현재 부분으로 확대/복사되는, 예측 방향과 같이 현재 부분에 대한 공간적 예측 파라미터를 결정할 수 있다. 인터 예측 모듈(38)은 사전에 재구성된 프레임들로부터 현재 부분을 예측하기 위해 움직임 보상을 사용할 수 있고, 그것에 포함된 인터 예측 파라미터들은 움직임 벡터, 참조 프레임 인덱스, 현재 부분에 관한 움직임 예측 서브디비전 정보, 가정수(hypothesis number) 또는 이것들의 결합을 포함할 수 있다. 컴바이너(40)는 모듈들(36, 38)에 의해 제공된 하나 이상의 예측을 결합하거나 이것들 중 단순히 하나를 선택할 수 있다. 컴바이너 또는 셀렉터(40)는 현재 부분의 생성된 예측을 감산기(24)의 삽입 입력 및 가산기(30)의 추가 입력에 각각 포워딩한다.
감산기(24)의 출력에서, 현재 부분의 예측의 잔여가 출력되고, 양자화/변환 모듈(36)은 변환 계수수를 양자화하여 이러한 잔여 신호를 변환하도록 구성된다. 변환은 DCT와 같이 스펙트럼으로 분해하는 변환이 될 수 있다. 양자화로 인하여, 양자화/변환 모듈(26)의 처리 결과는 비가역적(irreversible)이다. 즉, 코딩 손실이 발생한다. 모듈(26)의 출력은 데이터 스트림 내에서 송신될 잔여 신호(421)이다. 잔여 신호(421)는 역양자화되고 모듈(28)에서 역변환되어서 가능한 한 잔여 신호를 재구성하고, 즉, 양자화 잡음에도 불구하고 감산기(24)에 의해 출력되는 것과 같은 잔여 신호와 일치한다. 가산기(30)는 합산(summation)에 의해 현재 부분의 예측으로 이러한 재구성된 잔여 신호를 결합한다. 다른 결합 또한 실현가능하다. 예컨대, 감산기(24)는 비율에 있어서 나머지를 측정하기 위한 디바이더로서 동작할 수 있고, 가산기는 대안적인 실시예에 따라 현재 부분을 재구성하기 위한 증폭기로서 구현될 수 있다. 그러므로, 가산기(30)의 출력은 현재 부분의 예비 재구성을 나타낸다. 그러나, 모듈(32)의 추가 처리는 재구성을 향상시키기 위해 선택적으로 사용될 수 있다. 예컨대, 그러한 추가 처리는 디블로킹, 적응적인 필터링 등을 포함할 수 있다. 지금까지 이용가능한 재구성은 디코딩 화상 버퍼(34)에서 버퍼링된다. 그러므로, 디코딩 화상 버퍼(34)는 비디오(141)의 사전에 재구성된 프레임들 및 현재 부분이 포함된 현재 프레임의 사전에 재구성된 부분을 버퍼링한다.
디코더가 데이터 스트림(18)으로부터 멀티-뷰 신호를 재구성하는 것을 가능하게 하기 위해, 양자화/변환 모듈(26)은 잔여 신호(421)를 인코더(20)의 다중화기(44)로 포워딩한다. 결과적으로, 예측 모듈(36)은 인트라 예측 파라미터(461)를 다중화기(44)에 포워딩하고, 인터 예측 모듈(38)은 인터 예측 파라미터(481)를 다중화기(44)에 포워딩하며 추가 처리 모듈(32)은 이 모든 정보를 결국 데이터 스트림(18) 내에 다중화하거나 삽입하는 다중화기(44)에, 추가 처리 파라미터(501)를 포워딩한다.
도 1의 실시예에 따른 상기 논의로 명백해지는 바와 같이, 코딩 브랜치(22v,1)에 의한 비디오(141)의 인코딩은, 인코딩이 깊이/디스패러티 맵 데이터(161) 및 다른 뷰들(122) 중 임의의 하나의 데이터로부터 독립된다(independent)는 점에 있어서 독립적(self-contained)이다. 더욱 일반적인 시점(point of view)에 있어서, 코딩 브랜치(22v,1)는, 코딩 파라미터를 결정하는 것에 의해 데이터 스트림(18)으로 비디오(141)를 인코딩하고 및 제 1 코딩 파라미터들에 따라, 현재 부분의 인코딩 전에 인코더(20)에 의해 데이터 스트림(18) 내에 인코딩된, 비디오(141)의 사전에 인코딩된 부분으로부터 비디오(141)의 현재 부분을 예측하여 그리고 교정 데이터, 즉 상기 언급된 잔여 신호(421)를 얻기 위해 현재 부분의 예측 오류를 결정하는 것으로 간주될 수 있다. 코딩 파라미터들 및 교정 데이터는 데이터 스트림(18)에 삽입된다.
코딩 브랜치(22v,1)에 의해 데이터 스트림(18) 내에 삽입된, 바로 언급된 코딩 파라미터들은, 이하의 항목들 중 하나 , 이것들의 결합 또는 전부를 포함할 수 있다.
- 우선, 비디오(141)에 대한 코딩 파라미터들은 사전에 간략하게 논의된 바와 같이 비디오(141)의 프레임들의 세그멘테이션을 정의/시그널링할 수 있다.
- 또한, 코딩 파라미터들은 각각의 세그먼트 또는 현재 부분을 표시하는 코딩 모드 정보를 포함할 수 있으며, 이 코딩 모드는 인트라 예측, 인터 예측 또는 이것의 결합과 같이 각각 세그먼트를 예측하기 위해 사용될 것이다.
- 코딩 파라미터들은 인트라 예측에 의해 예측된 부분들/세그먼트들에 대한 인트라 예측 파라미터들 및 인터 예측된 부분들/세그먼트들에 대한 인터 예측 파라미터들과 같은 바로 언급된 예측 파라미터들을 또한 포함할 수 있다.
- 그러나, 코딩 파라미터들은 비디오(141)의 현재 또는 이어지는 부분들을 예측하기 위해 파라미터들을 사용하기 전에, 비디오(141)의 사전에 재구성된 부분들을 추가로 처리하는 방법을 디코딩 사이드에 시그널링하는 추가 처리 파라미터(501)를 추가로 포함한다. 이러한 처리 파라미터들(501)은 필터들, 필터 계수들 등을 인덱싱하는 인덱스들을 포함할 수 있다.
- 예측 파라미터들(461, 481) 및 추가 처리 파라미터들(501)은 심지어 모드 선택의 조밀도(granularity)를 정의하거나, 추가 처리 내의 프레임들의 상이한 부분들에 대한 상이한 적응적인 필터들의 적용에 대한 것과 같은 완전히 독립적인 세그멘테이션을 정의하는, 사전에 언급된 세그멘테이션에 대한 추가 서브 세그멘테이션을 정의하기 위해 서브 세그멘테이션 데이터를 추가적으로 포함한다.
- 코딩 파라미터들은 잔여 신호의 결정에 영향을 미쳐서 잔여 신호(421)의 부분이된다. 예컨대, 양자화/변환 모듈(26)에 의해 출력된 스펙트럼 변환 계수 레벨은 교정 데이터로서 간주될 수 있는 반면에, 양자화 스텝 크기는 데이터 스트림(18) 내에서 또한 시그널링될 수 있으며, 양자화 스텝 크기 파라미터는 이하의 기재의 개념에서 코딩 파라미터로서 간주될 수 있다.
- 코딩 파라미터들은 상기 논의된 제 1 예측 스테이지의 예측 잔여의 2단계 예측을 정의하는 예측 파라미터들을 추가로 정의할 수 있다. 인트라/인터 예측은 이에 관해 사용될 수 있다.
코딩 효율을 증가시키기 위해, 인코더(20)는, 예컨대, 개별 모듈들로부터 코딩 정보 교환 모듈(52)까지 수직으로 연장하는 화살표들에 의해 설명적으로 도시되는 바와 같이, 모듈들(36, 38 및 32) 내의 처리에 영향을 주거나 이것에 의해 영향받는 추가 정보 및 모든 코딩 파라미터들을 수신하는 코딩 정보 교환 모듈(52)을 포함한다. 코딩 정보 교환 모듈(52)은 코딩 브랜치들(22) 간의 선택적인 추가 코딩 정보 및 코딩 파라미터들을 공유할 책임이 있으므로, 브랜치들은 은 서로로부터 코딩 파라미터들을 예측하거나 채택할 수 있다. 이러한 목적으로 도 1의 실시예에서, 멀티-뷰 신호(10)의 뷰들(121, 122)의 데이터 엔티티간에서, 즉, 비디오 및 깊이/디스패러티 맵 데이터들 사이에서 순서(order)가 정의된다. 특히, 제 1 뷰(121)의 비디오(141)는 비디오(142)가 뒤따르는 제 1 뷰의 깊이 디스패러티 맵 데이터(161)에 선행한 다음에 제 2 뷰(122) 등의 깊이/디스패러티 맵 데이터(162)에 선행한다. 멀티-뷰 신호(10)의 데이터 엔티티들 간의 이러한 엄격한 순서는 전체 멀티-뷰 신호(10)의 인코딩에 엄격하게 적용될 필요는 없되 더욱 수월한 논의를 위한 것이라는 점이 주목되어야 하며, 이러한 순서는 일정한 것이 이하에서 가정된다. 또한 데이터 엔티티들 간의 순서는 자연스럽게 그것들과 관련된 브랜치들(22) 사이의 순서를 정의한다.
상기 이미 표시된 바와 같이, 코딩 브랜치(22d,1, 22v,2, 22d,2)와 같은 추가 코딩 브랜치들(22)은 코딩 브랜치(22v,1)와 유사하게 동작하여 개별 입력(161, 142, 162)을 각각 인코딩한다. 그러나, 개별적으로, 뷰들(121, 122)의 비디오들과 깊이/디스패러티 맵 데이터들 간의 상기 언급된 순서, 코딩 브랜치들(22) 사이에 정의된 상응하는 순서로 인하여, 코딩 브랜치(22d,1)는 예컨대 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분을 인코딩하는데 사용될 코딩 파라미터들을 예측하는데 추가적인 자유를 갖는다. 이것은 상이한 뷰들의 비디오와 깊이/디스패러티 맵 데이터 간의 상기 언급된 순서로 인한 것이다. 예컨대, 이러한 엔티티들의 각각은 이러한 데이터 엔티티들 간의 상기 언급된 순서에 앞서는 엔티티들뿐만 아니라 그 자체의 재구성된 부분들을 사용하여 인코딩될 것을 허용한다. 따라서, 깊이/디스패러티 맵 데이터(161)를 인코딩하는데 있어서, 코딩 브랜치(22d,1)가 상응하는 비디오(141)의 사전에 재구성된 부분들로부터 알려진 정보를 사용하는 것이 허용된다. 어떻게 브랜치(22d,1)가 비디오(141)의 재구성된 부분들을 활용하여 깊이/디스패러티 맵 데이터(161)의 일부 프로퍼티(property)- 깊이/디스패러티 맵 데이터(161)의 압축의 더 나은 압축률을 가능하게 함 - 를 예측하는지 이하에서 더욱 상세히 기재된다. 그러나, 이것 외에도, 코딩 브랜치(22d,1)는 상기 언급된 바와 같이 비디오(141)를 인코딩하는데 포함되는 코딩 파라미터들을 예측/채택하여 길이/디스패러티 맵 데이터(161)를 인코딩하기 위한 코딩 파라미터들을 얻을 수 있다. 채택의 경우, 데이터 스트림(18) 내의 깊이/디스패러티 맵 데이터(161)에 관한 임의의 코딩 파라미터들의 시그널링이 억제될 수 있다. 예측의 경우에, 이러한 코딩 파라미터들에 관한 단순한 예측 잔여/교정 데이터는 데이터 스트림(18) 내에서 시그널링 될 수도 있다. 또한, 코딩 파라미터들의 이러한 예측/채택에 대한 예시는 이하에서 기재된다.
추가 예측 능력은 후속 데이터 엔터티들, 즉 제 2 뷰(122)의 비디오(142) 및 깊이/디스패러티 맵 데이터(162)를 위해 존재한다. 이러한 코딩 브랜치들에 있어서, 그것의 인터 예측 모듈은 시간적 예측을 실행할 뿐만 아니라 인터 뷰(inter-view) 예측도 실행한다. 상응하는 인터 예측 파라미터들은 시간적 예측에 비해 유사한 정보, 즉, 인터-뷰 예측된 세그먼트마다, 예컨대 디스패러티 벡터, 뷰 인덱스, 기준 프레임 인덱스 및/또는 다수의 가정의 표시, 즉 가산에 의해 인터-뷰 인터 예측을 형성하는데 참여하는 다수의 인터 예측들의 표시를 포함한다. 이러한 인터-뷰 예측은 비디오(142)에 관한 브랜치(22v,2) 뿐만 아니라 깊이/디스패러티 맵 데이터(162)에 관한 브랜치(22d,2)의 인터 예측 모듈(38)에도 이용가능하다. 자연적으로, 이러한 인터-뷰 예측 파라미터들은 도 1에 도시되지 않되, 가능한 제 3 뷰의 후속 뷰 데이터에 대한 채택/예측의 기반으로서 역할할 수 있는 코딩 파라미터들을 또한 나타낸다.
상기 수단으로 인해, 다중화기(44)에 의해 데이터 스트림(18) 내에 삽입될 데이터의 양은 더욱 낮아진다. 특히, 코딩 브랜치들(22d,1, 22v,2, 22d,2)의 코딩 파라미터들의 양은 우선하는 코딩 브랜치들의 코딩 파라미터들을 채택하거나 다중화기(44)를 통해 데이터 스트림(28)으로 그것에 관련된 예측 잔여들을 단순히 삽입하는 것에 의해 상당히 감소될 수 있다. 시간적 예측과 인터-뷰 예측 사이에서 선택하는 능력으로 인하여, 코딩 브랜치들(22v,2, 22d,2)의 잔여 데이터(423, 424)의 양 역시 낮아질 수 있다. 잔여 데이터의 양의 감소는 시간적 및 인터-뷰 예측 모드를 구별하는데 있어서 추가 코딩 에포트(effort)를 과보상(over-compensate)한다.
코딩 파라미터 채택/예측의 원리를 더욱 상세히 설명하기 위하여, 도 2를 참조한다. 도 2는 멀티-뷰 신호(10)의 예시적인 부분을 도시한다. 도 2는 비디오 프레임(V1 ,t)을 도시하며, 이 프레임(V1 ,t)은 오직 3개의 세그먼트들이나 부분들(60a, 60b, 60c)로 분할된다. 간단히 하기 위하여, 프레임(V1 ,t)의 오직 3개의 부분들이 도시되고, 세그멘테이션은 프레임을 세그먼트들/부분들로 균일하고 갭이 없이 나눌 수 있다. 사전에 언급된 바와 같이, 비디오 프레임(V1 ,t)의 세그멘테이션은 시간에 따라 고정되고 변할 수 있으며 세그멘테이션은 데이터 스트림 내에서 시그널링될 수 있거나 그렇지 않을 수 있다. 도 2는, 부분들(60a, 60b)이 비디오(141)의 임의의 기준 프레임의 재구성된 버전으로부터 움직임 벡터들(62a, 62b)을 사용하여 임시로 예측되는 것을 도시하며, 이러한 프레임은 본 경우에서 예시적인 프레임(V1 ,t-1)이다. 종래 기술에 알려진 바와 같이, 비디오(141)의 프레임들 간의 코딩 순서는 이러한 프레임들 간의 표시 순서와 일치하지 않을 수 있고, 이에 따라서 기준 프레임은 표시 시간 순서(64)에 있어서 현재 프레임(V1 ,t)에 이어질 수 있다. 예컨대, 부분(60c)는 인트라 예측 파라미터들이 데이터 스트림(18)으로 삽입되는 인트라 예측된 부분이다.
깊이/디스패러티 맵(d1 ,t)을 인코딩하는데 있어서, 코딩 브랜치(22d,1)는 도 2와 관련하여 이하에서 예시되는, 이하의 방식들 중 하나 이상에서 상기 언급된 가능성들을 활용할 수 있다.
- 예컨대, 깊이/디스패러티 맵(d1 ,t)을 인코딩하는데 있어서, 코딩 브랜치(22d,1)는 코딩 브랜치(22v,1)에 의해 사용되는 바와 같이 비디오 프레임(V1 ,t)의 세그멘테이션을 채택할 수 있다. 따라서, 비디오 프레임(V1 ,t)에 대한 코딩 파라미터들 내에 세그멘테이션 파라미터들이 존재할 경우, 깊이/디스패러티 맵(d1 ,t)에 대한 그것의 재송신이 회피될 수 있다. 대안으로, 코딩 브랜치(22d,1)는, 데이터 스트림(18)을 통해 비디오 프레임(V1 ,t)에 대한 세그먼트의 이탈을 시그널링하여 깊이/디스패러티 맵에 사용될 세그멘테이션에 대한 기반/예측으로서 비디오 프레임(V1 ,t)의 세그멘테이션을 사용할 수 있다. 도 2는, 코딩 브랜치(22d,1)가 깊이/디스패러티 맵(d1 ,t)의 사전 세그멘테이션으로서 비디오 프레임(V1)의 세그멘테이션을 사용하는 것을 도시한다. 즉, 코딩 브랜치(22d,1)는 비디오(V1 ,t)의 세그멘테이션으로부터 프리-세그멘테이션(pre-segmentaion)을 채택하거나 그것으로부터 프리-세그멘테이션을 예측한다.
- 또한, 코딩 브랜치(22d,1)는 비디오 프레임(V1 ,t)의 개별 부분(60a, 60b, 60c)에 할당된 코딩 모드들로부터 깊이/디스패러티 맵(d1 ,t)의 부분들(66a, 66b, 66c)의 코딩 모드들을 채택 또는 예측할 수 있다. 비디오 프레임(V1 ,t)과 깊이/디스패러티 맵(d1 ,t) 간의 상이한 세그멘테이션의 경우, 비디오 프레임(V1 ,t)으로부터의 코딩 모드들의 채택/예측이 제어되어서, 채택/예측이 비디오 프레임(V1 ,t)의 세그멘테이션의 공동배치된(co-located) 부분들로부터 얻어진다. 공동 배치의 적절한 정의는 이하와 같을 수 있다. 깊이/디스패러티 맵(d1 ,t)의 현재 부분에 대한 비디오 프레임(V1 ,t)의 공동 배치된 부분은 예컨대 깊이/디스패러티 맵(d1 ,t)의 현재 프레임의 상부 좌측 코너에서 공통 배치된 위치를 포함하는 부분이 될 수 있다. 코딩 모드들의 예측의 경우, 코딩 브랜치(22d,1)는, 데이터 스트림(18) 내에서 명시적으로 시그널링된 비디오 프레임(V1 ,t) 내의 코딩 모드들에 관련된 깊이/디스패러티 맵(d1 ,t)의 부분들(66a, 66b, 66c)의 코딩 모드 이탈을 시그널링할 수 있다.
- 예측 파라미터들에 관한 한, 코딩 브랜치(22d,1)는 동일한 깊이/디스패러티 맵(d1 ,t) 내의 이웃 부분들을 인코딩하는데 사용된 예측 파라미터들을 공간적으로 채택 또는 예측하거나, 비디오 프레임(V1 ,t)의 공동 배치된 부분들(66a 내지 6c)을 인코딩하는데 사용된 예측 파라미터들로부터 이것들을 채택/예측할 자유를 갖는다. 예컨대, 도 2는, 깊이/디스패러티 맵(d1 ,t)의 부분(66a)이 인터 예측된 부분이고, 상응하는 움직임 벡터(68a)는 비디오 프레임(V1 ,t)의 공동 채택된 부분(60a)의 움직임 벡터(62a)로부터 채택되거나 예측될 수 있는 것을 도시한다. 예측의 경우, 단순히 움직임 벡터 차이는 인터 예측 파라미터들(482)의 부분으로서 데이터 스트림(18)에 삽입될 것이다.
- 코딩 효율성에 있어서, 코딩 브랜치(22d,1)가, 데이터 스트림(18) 내의 디코딩 사이드에 이러한 웨지렛 분리 라인(70)의 배치를 시그널링하여 소위 웨지렛 분리 라인(70)을 사용하는 것에 의해 깊이/디스패러티 맵(d1 ,t)의 프리-세그멘테이션의 세그먼트들을 세분할 능력을 갖는 것은 바람직할 수 있다. 이러한 수단으로, 도 2의 예시에서, 깊이/디스패러티 맵(d1 ,t)의 부분(66c)은 2개의 웨지렛-형상 부분들(72a, 72b)로 세분된다. 코딩 브랜치(22d,1)는 이러한 서브 세그먼트들(72a, 72b)을 따로 인코딩하도록 구성될 수 있다. 도 2의 경우에서, 서브 세그먼트들(72a, 72b)은 모두 개별 움직임 벡터들(68c, 68d)을 사용하여 예시적으로 인터 예측된다. 서브 세그먼트들(72a, 72b) 양쪽에 대한 인트라 예측을 사용하는 경우, 각각의 세그먼트에 대한 DC 값은, 인트라 예측 파라미터로서 디코더에 상응하는 정제 DC 값을 송신함으로써 이러한 도출된 DC 값들의 각각을 정제하는 옵션을 갖는 인접하는 캐주얼(casual) 세그먼트들의 DC 값들의 외삽(extrapolation)에 의해 도출될 수 있다. 여러 가능성들이 존재하여, 웨지렛 분리 라인들이 사용되는 것을 결정하는 디코더가 깊이/디스패러티 맵의 프리-세그멘테이션을 추가 세분하는(sub-subdivide) 인코더가 되도록 할 수 있다. 코딩 브랜치(22d,1)는 이러한 가능성들 중 어느 하나 만을 사용하도록 구성된다. 대안으로, 코딩 브랜치(22d,1)는 이하의 코딩 옵션들 사이에서 결정하고 데이터 스트림(18) 내의 사이드 정보로서 디코더에 결정을 시그널링할 자유를 가질 수 있다:
예컨대 웨지렛 분리 라인(70)은 직선이 될 수 있다. 이러한 라인(70)의 배치를 디코딩 사이드로 시그널링하는 것은, 세그먼트(66c)의 경계를 갖는 웨지렛 분리 라인(70)의 2개의 교차점의 표시 또는 슬로프나 기울기 정보에 따른 세그먼트(66c)의 경계를 따르는 하나의 교차점의 시그널링을 포함할 수 있다. 일 실시예에서, 웨지렛 분리 라인(70)은 세그먼트(66c)의 경계를 갖는 웨지렛 분리 라인(70)의 2개의 교차점의 표시에 의해 데이터 스트림 내에서만 시그널링될 수 있으며, 그리드를 표시하는 가능한 교차점들의 기울기, 즉 교차점들의 표시의 기울기 또는 해상도는 세그먼트(66c) 또는 예컨대 양자화 파라미터와 같은 인코딩 파라미터들의 크기에 달려 있을 수 있다.
프리-세그멘테이션이 예컨대 이항 제곱 블록(dyadic square blocks)을 사용하여 파티셔닝되는 쿼드트리 기반 블록에 의해 주어지는 대안적인 실시예에서, 각각의 블록 크기에 대한 교차 점들의 허용가능한 세트는 룩업 테이블(LUT)로서 주어질 수 있어서 이러한 교차 점의 시그널링은 상응하는 LUT 인덱스의 시그널링을 포함한다.
그러나, 또 다른 가능성에 따르면, 코딩 브랜치(22d,1)는 디코딩 화상 버퍼(34)의 비디오 프레임(V1 ,t)의 재구성된 부분(60c)을 사용하여, 드물게, 세그먼트(66c)를 인코딩하는데 실제로 사용될 웨지렛 분리 라인(70)의 데이터 스트림에서 디코더로 시그널링하여 웨지렛 분리 라인(70)의 배치를 예측한다. 특히, 모듈(52)은 깊이/디스패러티 맵(d1 ,t)의 부분(66c)의 배치에 상응하는 배치에서의 비디오(V1 ,t) 상의 에지 감지를 실행한다. 예컨대, 감지는 비디오 프레임(V1 ,t)에서의 에지들 - 여기서 밝기, 루마 구성요소 또는 크로마 구성요소 또는 크로미넌스 등과 같은 일정 간격 스케일링된 피쳐의 공간적 기울기가 일정 최소 한계치를 초과함- 에 민감할 수 있다. 이러한 에지(72)의 배치를 기반으로, 모듈(52)은 웨지렛 분리 라인(70)을 결정할 수 있어서 동일한 것은 에지(72)를 따라 연장한다. 디코더는 또한 재구성된 비디오 프레임(V1 ,t)에 접근할 수 있으므로, 디코더는 마찬가지로 웨지렛 분리 라인(70)을 결정하여 웨지렛-형상 서브 부분들(72a, 72b)로 부분(66c)을 세분할 수 있다. 그러므로, 웨지렛 분리 라인(70)을 시그널링하기 위한 시그널링 커페시티(capacity)가 절약된다. 부분(66c)이 웨지렛 분리 라인 위치를 나타내는 크기 의존 해상도를 갖게 하는 측면은 또한 에지 감지에 의한 라인(70)의 배치를 결정하는 현재 측면 및 예측된 위치로부터 선택적 이탈을 송신하는데 적용할 수 있다.
비디오(142)를 인코딩하는데 있어서, 코딩 브랜치(22v,2)는 코딩 브랜치(22v,1)에 이용가능한 코딩 모드 옵션에 더하여, 인터-뷰 예측의 옵션을 갖는다.
도 2는, 예컨대, 비디오 프레임(V2 ,t)의 세그멘테이션의 부분(64b)이 디스패러티 벡터(76)를 사용하는 제 1 뷰 비디오(141)의 일시적으로 상응하는 비디오 프레임(V2 ,t)으로부터 인터-뷰 예측되는 것을 도시한다.
이러한 차이점에도 불구하고, 코딩 브랜치(22v,2)는 특히 이러한 인코딩에서 사용되는 코딩 파라미터들과 같은 비디오 프레임(v1 ,t) 및 깊이/디스패러티 맵(d1 ,t)의 인코딩으로부터 이용가능한 모든 정보를 추가적으로 활용할 수 있다. 따라서, 코딩 브랜치(22v,2)는 일시적으로 할당된 비디오 프레임(v1 ,t) 및 깊이/디스패러티 맵(d1 ,t)의 각각의 공동-배치된 부분들(60a 및 66a)의 움직임 벡터들(62a 및 68a) 중 임의의 하나 또는 결합으로부터의 비디오 프레임(v1 ,t)의 일시적으로 인터 예측된 부분(74a)에 대한 움직임 벡터(78)를 포함하는 움직임 파라미터들을 채택 또는 예측할 수 있다. 드물게, 예측 잔여는 부분(74a)에 대한 인터 예측 파라미터들에 관련하여 시그널링될 수 있다. 이것에 관하여, 움직임 벡터(68a)는 움직임 벡터(62a) 그 자체로부터 사전에 예측/채택의 대상이 될 수 있다는 것이 상기되어야 한다.
깊이/디스패러티 맵(d1 ,t)의 인코딩에 대해 상기 기재된 바와 같이 비디오 프레임(v2 ,t)을 인코딩하기 위하여 코딩 파라미터들을 채택/예측하는 것의 다른 가능성들은 역시 코딩 브랜치(22v,2)에 의해 비디오 프레임(v2 ,t)의 인코딩에 적용가능하지만, 모듈(52)에 의해 분배되는 이용가능한 공통 데이터는 비디오 프레임(v1 ,t) 및 상응하는 깊이/디스패러티 맵(d1 ,t) 모두의 코딩 파라미터들이 이용가능하므로 상승된다.
그러므로, 코딩 브랜치(22d,2)는 코딩 브랜치(22d,1)로 깊이/디스패러티 맵(d1,t)의 인코딩과 유사한 깊이 디스패러티 맵(d2 ,t)을 인코딩한다. 예컨대, 이것은, 동일한 뷰(122)의 비디오 프레임(v2 ,t)으로부터 모든 코딩 파라미터 채택/예측 시 적용할 수 있다. 그러나, 추가적으로, 코딩 브랜치(22d,2)는 앞선 뷰(121)의 깊이/디스패러티 맵(d1 ,t)을 인코딩하는데 사용된 코딩 파라미터들로부터 코딩 파라미터들을 채택/예측하기 위한 기회 또한 갖는다. 추가적으로, 코딩 브랜치(22d,2)는 코딩 브랜치(22v,2)에 관하여 설명된 바와 같이 인터-뷰 예측을 사용할 수 있다.
코딩 파라미터 채택/예측에 있어서, 동일한 뷰(122)의 비디오(142) 및 인접하고 사전에 코딩된 뷰(121)의 깊이/디스패러티 맵 데이터(161)에 멀티-뷰 신호(10)의 사전에 코딩된 엔티티들의 코딩 파라미터들로부터 이것의 코딩 파라미터들을 채택/예측하는 코딩 브랜치(22d,2)의 가능성을 제한하여, 깊이/디스패러티 맵(d2 ,t)의 개별 부분들에 대한 채택/예측 소스를 데이터 스트림(18) 내의 디코딩 측면에 시그널링할 필요성으로부터 기인한 시그널링 부담을 줄이는 것은 가치가 있다. 예컨대, 코딩 브랜치(22d,2)는 비디오 프레임(v2 ,t)의 공동 배치된 부분(74b)의 디스패러티 벡터(76)로부터의 디스패러티 벡터(82)를 포함하는 깊이/디스패러티 맵(d2 ,t)의 인터-뷰 예측된 부분(80a)에 대한 예측 파라미터들을 예측할 수 있다. 이러한 경우에, 채택/예측이 실행되는, 데이터 엔티티의 표시, 즉 도 2의 경우 비디오(142)는, 비디오(142)가 깊이/디스패러티 맵(d2 ,t)에 대한 디스패러티 벡터 채택/예측에 대한 유일하게 가능한 소스이므로, 방출될 수 있다. 그러나 임시로 인터 예측된 부분(80b)의 인터 예측 파라미터들을 채택/예측하는 것에 있어서, 코딩 브랜치(22d,2)는 움직임 벡터들(78, 68a, 62a)로부터 상응하는 움직임 벡터(84)를 채택/예측할 수 있고, 따라서, 코딩 브랜치(22d,2)는 움직임 벡터들(84)에 대한 채택/예측의 소스를 데이터 스트림(18) 내에서 시그널링 하도록 구성될 수 있다. 비디오(142) 및 깊이/디스패러티 맵(161)의 가능 소스를 제한하는 것은 이에 대한 부담을 감소시킨다.
분리 라인에 관하여, 코딩 브랜치(22d,2)는 상기 사전에 논의된 옵션들에 더하여 이하의 옵션들을 갖는다:
웨지렛 분리 라인을 사용하여 뷰(122)의 깊이/디스패러티 맵(d2 ,t)을 코딩하는데 있어서, 신호(d1 ,t)의 상응하는 디스패러티-보상된 부분은 에지 검출 및 상응하는 웨지렛 분리 라인을 암시적으로 유도하는 것에 의해 사용될 수 있다. 이로써 디스패러티 보상은 깊이/디스패러티 맵(d1,t)의 감지된 라인을 깊이 디스패러티 맵(d2,t)으로 전송하기 위해 사용된다. 디스패러티 보상에 있어서, 깊이/디스패러티 맵(d1,t)의 개별적인 검출된 에지를 따르는 포어그라운드(foreground) 깊이/디스패러티 값이 사용될 수 있다.
대안으로, 웨지렛 분리 라인을 사용하여 뷰(122)의 깊이/디스패러티 맵(d2,t)을 코딩하는데 있어서, 신호(d1 ,t)의 상응하는 디스패러티-보상된 부분은 d1 ,t의 디스패러티 보상된 부분의 주어진 웨지렛 분리 라인을 사용하여, 즉, 예측 변수 또는 동일한 것을 채택하는 것으로서 신호(d1 ,t)의 공통 배치된 부분을 코딩하는데 사용되어온 웨지렛 분리 라인을 사용하여 사용될 수 있다.
도 1의 인코더(20)를 기재하면, 이 인코더가 소프트웨어, 하드웨어 또는 펌웨어에서 구현될 수 있는 것이 주목된다. 도 1의 블록 다이어그램은 인코더(20)가 구조적으로 병렬 코딩 브랜치들, 즉 멀티-뷰 신호(10)의 비디오 및 깊이/디스패러티 데이터 당 하나의 코딩 브랜치를 갖는다는 것을 제시하지만, 꼭 이것에 한정될 필요는 없다. 예컨대, 각각 소자들(24 내지 40)의 역할을 실행하도록 구성된 소프트웨어 루틴, 회로 부분들 또는 프로그래밍 가능 논리 부분들은 각각의 코딩 브랜치에 대한 역할을 충족하기 위해 연속적으로 사용될 수 있다. 병렬 처리에서, 병렬 코딩 브랜치들의 처리는 병렬 프로세서 코어들 또는 병렬 러닝 회로들 상에서 실행될 수 있다.
도 3은 데이터 스트림(18)을 디코딩하여, 데이터 스트림(18)으로부터의 멀티-뷰 신호에 의해 표시된 화면에 상응하는 하나 또는 여러개의 뷰 비디오를 재구성할 수 있는 디코더의 예시를 도시한다. 대체로, 도 3의 디코더의 구조 및 기능은 도 20의 인코더와 유사하여, 도 1의 참조 부호가 가능한 한 재사용되어서 도 1에 관하여 상기 제공된 기능 설명이 또한 도 3에 적용되는 것을 표시한다.
도 3의 디코더는 참조 부호(100)으로 일반적으로 표시되고 데이터 스트림(18)에 대한 입력 및 사전에 언급된 하나 또는 여러 개의 뷰(102)의 재구성을 출력하기 위한 출력을 포함한다. 디코더(100)는 뷰 익스트랙터(view extractor) 및 코딩 파라미터 교환기(110) 뿐만 아니라 데이터 스트림(18)에 의해 표시되는 멀티 뷰 신호(10; 도 1)의 데이터 엔티티들의 각각에 대한 역다중화기(104) 및 한 쌍의 디코딩 브랜치(106)를 포함한다. 도 1의 인코더의 경우와 같이, 디코딩 브랜치들(106)은 동일한 교차에서 동일한 디코딩 요소들 - 따라서, 제 1 뷰(121)의 비디오(141)의 디코딩에 책임이 있는 디코딩 브랜치(106v,1)와 관련되어 대표적으로 기재됨 - 을 포함한다. 특히, 각각의 코딩 브랜치(106)는 다중화기(104)의 개별 출력에 연결된 입력 및 뷰 익스트랙터(108)의 개별 입력에 연결된 출력을 포함하여, 멀티 뷰 신호(10)의 개별 데이터 엔티티, 즉, 디코딩 브랜치(106v,1)의 경우 비디오(141)를 뷰 익스트랙터(108)에 출력한다. 그 사이에서, 각각의 코딩 브랜치(106)는, 다중화기(104)와 뷰 익스트랙터(108) 사이에 직렬로 연결된, 역양자화/역변환 모듈(28), 가산기(30), 추가 처리 모듈(32) 및 디코딩 화상 버퍼(34)를 포함한다. 가산기(30), 추가 처리 모듈(32) 및 디코딩 화상 버퍼(34)는 컴바이너/셀렉터(40)를 따르는 예측 모듈들(36, 38) - 디코딩 화상 버퍼(34)와 가산기(30)의 추가 입력 사이에 언급된 순서대로 연결됨 - 의 병렬 연결을 따라 고리를 형성한다. 도 1의 처럼 동일한 참조 부호를 사용하는 것에 의해 표시되는 바와 같이, 디코딩 브랜치들(106)의 요소들(28 내지 40)의 구조 및 기능은, 디코딩 브랜치들(106)의 요소들이 데이터 스트림(18) 내에서 전달된 정보의 사용에 의해 코딩 공정의 처리를 실행(emulate)하는 점에 있어서 도 1의 코딩 브랜치들의 상응하는 요소들과 유사하다. 자연적으로, 디코딩 브랜치들(106)은 인코더(20)에 이해 최종적으로 선택된 코딩 파라미터들에 관한 코딩 절차를 단순히 뒤집는 반면에, 도 1의 인코더(20)는, 코딩 파라미터들이 최대 비트 레이트 등과 같은 특정 제약에 따름으로써 선택적으로 레이트/왜곡비용 함수를 최적화하는 것과 같은 일정 최적화 개념으로 코딩 파라미터들의 최적 세트를 발견해야 한다.
역다중화기(104)는 다양한 디코딩 브랜치들(106)에 데이터 스트림(18)을 분배하기 위한 것이다. 예컨대, 역다중화기(104)는 역양자화/역변환 모듈(28)에 잔여 데이터(421)를, 추가 처리 모듈(32)에 추가 처리 파라미터들(501)을, 인트라 예측 모듈(36)에 인트라 예측 파라미터들(461)을 그리고 인터 예측 모듈(38)에 인터 예측 모듈들(481)을 제공한다. 코딩 파라미터 교환기(110)는 도 1의 상응하는 모듈(52)과 같이 동작하여 다양한 디코딩 브랜치들(106) 사이에 공통 코딩 파라미터들 및 다른 공통 데이터를 분배한다.
뷰 익스트랙터(108)는 병렬 디코딩 브랜치들(106)에 의해 재구성되는 바와 같이 멀티-뷰 신호를 수신하고, 그것으로부터, 외부적으로 제공된 중간 뷰 추출 제어 데이터(112)에 의해 규정된 뷰 각도 또는 뷰 방향에 상응하는 하나 또는 여러개의 뷰들(102)을 추출한다.
인코더(20)의 상응하는 부분에 대한 디코더(100)의 유사한 구조로 인하여, 뷰 익스트랙터(108)에 대한 인터페이스에 따른 이것의 기능은 상기 기재와 유사하게 설명된다.
실제로, 디코딩 브랜치들(106v,1, 106d,1)은, 데이터 스트림(18)에 포함된 제 1 코딩 파라미터들(421 내의 스케일링 파라미터들, 파라미터들(461, 481, 502) 및 제 2 브랜치(16d,1)의 코딩 파라미터들, 즉 422의 상응하는 비채택된 것들 및 예측 잔여들, 파라미터들(462, 482, 502))에 따라, 제 1 뷰(121)의 현재 부분의 재구성 이전에 데이터 스트림(18)으로부터 재구성된, 멀티-뷰 신호(10)의 사전에 재구성된 부분으로부터의 제 1 뷰(121)의 현재 부분을 예측하고 데이터 스트림(18)에 또한 포함된 421 및 422 내의 제 1 교정 데이터를 사용하여 제 1 뷰(121)의 현재 부분의 예측의 예측 에러를 예측하는 것에 의해 데이터 스트림(18)으로부터 멀티-뷰 신호(10)의 제 1 뷰(121)를 재구성하도록 함께 작동한다. 디코딩 브랜치(106v,1)가 비디오(141)를 디코딩해야 하는 반면에, 코딩 브랜치(106d,1)는 깊이/디스패러티 맵 데이터(161)를 재구성할 책임을 갖는다. 여기서, 예컨대, 도 2에서, 디코딩 브랜치(106v,1)는 데이터 스트림(18)으로부터 판독된 상응하는 코딩 파라미터들, 즉 421 내의 스케일링 파라미터들, 파라미터들(461, 481, 501)에 따라, 멀티-뷰 신호(10)의 사전에 재구성된 부분으로부터 60a, 60b 또는 60c와 같은 비디오(141)의 현재 부분을 예측하고 데이터 스트림(18), 즉 421 이내의 변환 계수 레벨로부터 얻어진 상응하는 교정 데이터를 사용하여 이러한 예측의 예측 오류를 교정하는 것에 의해 데이터 스트림(18)로부터 제 1 뷰(121)의 비디오(141)를 재구성한다. 예컨대, 디코딩 브랜치(106v,1)는 비디오 프레임들 간의 코딩 순서를 사용하여 세그먼트들/부분들의 유닛들의 비디오(141)를 처리하고, 프레임 내의 세그먼트들을 코딩하는데 있어서, 인코더의 상응하는 코딩 브랜치로서 이러한 프레임들의 세그먼트들 간의 코딩 오더도 동일하다. 따라서, 비디오(141)의 모든 미리 재구성된 부분들은 현재 부분에 대한 예측에 이용가능하다. 현재 부분에 대한 코딩 파라미터들은 하나 이상의 인트라 예측 파라미터(501), 인터 예측 파라미터(481), 추가 처리 모듈(32)에 대한 필터 파라미터 등을 포함할 수 있다. 예측 오류를 교정하기 위한 교정 데이터는 잔여 데이터(421) 내의 스펙트럼 변환 계수 레벨에 의해 나타날 수 있다. 이러한 코딩 파라미터들 모두가 완전히 송신될 필요는 없다. 이들의 일부는 비디오(141)의 이웃하는 세그먼트들의 코딩 파라미터들로부터 공간적으로 예측될 수 있다. 예컨대 비디오(141)에 대한 움직임 벡터들은 비디오(141)의 이웃하는 부분들/세그먼트들의 움직임 벡터들 간의 움직임 벡터 차이로서 비트스트림 내에서 송신될 수 있다.
제 2 디코딩 브랜치(106d,1)에 있어서, 이것은 데이터 스트림(18) 내에서 시그널링되고 역다중화기(104)에 의해 개별 디코딩 브랜치(106d,1)로 분배되는 필터 파라미터들, 즉 인터-뷰 경계를 가로질러 예측되지 않는 코딩 파라미터들 및 상응잔여 데이터(422) 및 상응하는 예측 뿐만 아니라, 코딩 정보 교환 모듈(110)을 통해 분배되는, 역다중화기(104)를 통해 디코딩 브랜치(106v,1)에 제공된 교정 데이터 및 코딩 파라미터 또는 디코딩 브랜치(106v,1)로부터 생성된 임의의 정보에 간접적으로 접근할 수 있다. 그러므로, 디코딩 브랜치(106d,1)는 역다중화기(104)를 통해 포워딩된 코딩 파라미터들의 부분으로부터 제 1 뷰(121)에 대한 한 쌍의 디코딩 브랜치로 깊이/디스패러티 맵 데이터(161)를 재구성하기 위한 이것의 코딩 파라미터들을 결정하고, 이것은 디코딩 브랜치(106v,1)에 제공되고 포워딩된 이러한 코딩 파라미터들의 부분을 부분적으로 중첩한다. 예컨대, 디코딩 브랜치(106d,1)는 예컨대 한편으로 프레임(v1 ,t)의 다른 인접하는 부분에 대한 움직임 벡터 및 다른 한편으로 482 이내에서 명시적으로 송신된 움직임 벡터로서, 481 이내에서 명시적으로 전송된 움직임 벡터(62a)로부터 움직임 벡터(68a)를 결정한다. 추가적으로, 또는 대안으로, 디코딩 브랜치(106d,1)는 깊이/디스패러티 맵 데이터(161)를 디코딩하기 위한 코딩 파라미터들을 예측하는 웨지렛 분리 라인의 예측에 관하여 상기 기재된 바와 같이 비디오(141)의 재구성된 부분들을 사용할 수 있다.
더욱 정확하게, 디코딩 브랜치(106d,1)는, 코딩 파라미터들 - 디코딩 브랜치(106v,1)에 의해 사용된 코딩 파라미터들로부터 부분적으로 예측되고(또한 그것으로부터 채택되거나) 및/또는 디코딩 브랜치(106v,1)의 디코딩 화상 버퍼(34)에서의 비디오(141)의 재구성된 부분들로부터 예측됨 - 의 사용에 의해 데이터 스트림으로부터 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(141)를 재구성한다. 코딩 파라미터들의 예측 잔여들은 데이터 스트림(18)으로부터 역다중화기(104)를 통해 얻어질 수 있다. 디코딩 브랜치(106d,1)에 대한 다른 코딩 파라미터들은 완전히, 또는 다른 기준 즉 깊이/디스패러티 맵 데이터(161) 그 자체의 사전에 재구성된 부분들 중 임의의 것을 코딩하기 위해 사용된 코딩 파라미터에 따라 데이터 스트림(108) 내에서 송신될 수 있다. 이러한 코딩 파라미터들에 기초하여, 디코딩 브랜치(106d,1)는 깊이/디스패러티 맵 데이터(161)의 현재 부분의 재구성 이전에 디코딩 브랜치(106d,1)에 의해 데이터 스트림(18)으로부터 재구성되고 개별 교정 데이터(422)를 사용하여 깊이 디스패러티 맵 데이터(161)의 현재 부분을 예측하는 예측 오류를 교정하는, 깊이/디스패러티 맵 데이터(161)의 사전에 재구성된 부분으로부터 깊이/디스패러티 맵 데이터(141)의 현재 부분을 예측한다.
이로써, 데이터 스트림(18)은 깊이/디스패러티 맵 데이터(161)의 부분(66a)과 같은 부분에 대하여, 이하를 포함할 수 있다:
- 이러한 현재 부분에 대한 코딩 파라미터들이 예컨대, 비디오(141)의 공동 배치되고 시간 정렬된 부분의 상응하는 코딩 파라미터들로부터(또는 다른 비디오(141)로부터의 웨지렛 분리 라인을 예측하기 위하여 그것의 재구성된 버전과 같은 특정 데이터) 채택되거나 예측될 지의 여부와 그 부분에 대한 표시
- 그럴 경우, 예측의 경우, 코딩 파라미터 잔여,
- 그렇지 않을 경우, 현재 부분에 대한 모든 코딩 파라미터들, 여기서 이것은 깊이/디스패러티 맵 데이터(161)의 사전에 재구성된 부분들의 코딩 파라미터들에 비교된 예측 잔여로서 시그널링될 수 있다.
- 모든 코딩 파라미터들이 상기 언급된 바와 같이 예측되고/적응되지 않을 경우, 현재 부분에 대한 코딩 파라미터들의 남아있는 부분, 여기서 이것은 깊이/디스패러티 맵 데이터(161)의 사전에 재구성된 부분들의 코딩 파라미터들에 비교된 예측 잔여들로서 시그널링될 수 있다.
예컨대, 현재 부분이 부분(66a)과 같은 인터 예측된 부분일 경우, 움직임 벡터(68a)는 움직임 벡터(62a)로부터 채택되거나 예측되는 데이터 스트림(18) 내에서 시그널링될 수 있다. 추가로, 디코딩 브랜치(106d,1)는 상기 기재된 바와 같이 비디오(141)의 재구성된 부분들의 감지된 에지들(72)에 따라 웨지렛 분리 라인(70)의 배치를 예측하고, 데이터 스트림(18) 내의 신호화 없이 또한 데이터 스트림(18) 내의 개별 적용 신호화에 따라 이러한 웨지렛 분리 라인을 적용한다. 다시 말해서, 현재 프레임에 대한 웨지렛 분리 라인 예측의 적용은 데이터 스트림(18) 내의 신호화에 의해 억제되거나 허용될 수 있다. 다시 말해서, 디코딩 브랜치(106d,1)는 깊이/디스패러티 맵 데이터의 현재 재구성된 부분의 둘레를 예측할 수 있다.
제 2 뷰(122)에 대한 한 쌍의 디코딩 브랜치들(106v,2, 106d,2)의 기능은, 인코딩에 대해 상기 사전에 언급된 바와 같이, 제 1 뷰(121)에 대한 것과 유사하다. 양쪽 브랜치들은 스스로의 코딩 파라미터들을 사용하여 데이터 스트림(18)으로부터 멀티-뷰 신호(10)의 제 2 뷰(122)를 재구성하기 위해 협력한다. 이러한 코딩 파라미터들의 부분은 역다중화기(104)를 통해 이러한 2개의 디코딩 브랜치(106v,2, 106d,2)중 어느 하나에 송신되고 분배될 필요가 있으며, 이것은 뷰들(141, 142) 사이의 뷰 경계를 가로질러서 채택/예측되지 않으며, 선택적으로 인터-뷰 예측된 부분의 잔여이다. 제 2 뷰(122)의 현재 부분들은 멀티-뷰 신호(10)의 사전에 재구성된 부분들로부터 예측되고, 제 2 뷰(122)의 개별 현재 부분들의 재구성 이전에 디코딩 브랜치들(106) 중 어느 하나에 의해 데이터 스트림(18)으로부터 재구성되며, 이러한 한 쌍의 디코딩 브랜치들(106v,2, 106d,2)에 역다중화기(104)에 의해 포워딩되는 교정 데이터 즉 (423, 424)를 적절하게 사용하여 예측 오류를 교정한다.
디코딩 브랜치(106v,2)는 디코딩 브랜치들(106v,2, 106d,2) 중 어느 하나에 의해 사용된 코딩 파라미터들로부터 그것의 코딩 파라미터들을 적어도 부분적으로 채택하거나 예측하도록 구성된다. 코딩 파라미터들 상의 이하의 정보는 비디오(142)의 현재 부분에 대해 존재할 수 있다:
- 그러한 현재 부분에 대한 코딩 파라미터들이 예컨대, 비디오(141) 또는 깊이/디스패러티 데이터(161)의 공동 배치되고 시간 정렬된 부분의 상응하는 코딩 파라미터들로부터 채택되거나 예측될 지의 여부와 그 부분에 대한 표시,
- 그럴 경우, 예측의 경우, 코딩 파라미터 잔여,
- 그렇지 않을 경우, 현재 부분에 대한 모든 코딩 파라미터들, 여기서 이것은 비디오(142)의 사전에 재구성된 부분들의 코딩 파라미터들에 비교된 예측 잔여로서 시그널링될 수 있다.
- 모든 코딩 파라미터들이 상기 언급된 바와 같이 예측되고/적응되지 않을 경우, 현재 부분에 대한 코딩 파라미터들의 남아있는 부분, 여기서 이것은 비디오(142)의 사전에 재구성된 부분들의 코딩 파라미터들에 비교된 예측 잔여들로서 시그널링될 수 있다.
- 데이터 스트림(18) 내의 신호화는, 현재 부분(74a)에 있어서, 그 부분에 대한 상응하는 코딩 파라미터들이 비디오(141)의 공통 배치된 부분의 움직임 벡터로부터 완전히 다시, 공간적으로 예측되거나 예측된 데이터 스트림으로부터 판독되는지 또는 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161) 및 디코딩 브랜치(106v,2)는 데이터 스트림(18)으로부터 모션 벡터(78)를 완전히 추출하는 것에 의해, 이것을 채택하거나 예측하고, 후자의 경우 데이터 스트림(18)으로부터 현재 부분(74a)에 대한 코딩 파라미터들에 관하여 예측 오류 데이터를 추출하는 것에 의해 적절하게 동작할 수 있는지의 여부를 신호화한다.
디코딩 브랜치(106d,2)는 유사하게 작동할 수 있다. 즉, 디코딩 브랜치(106d,2)는 재구성된 비디오(142) 및/또는 제 1 뷰(121)의 재구성된 깊이/디스패러티 맵 데이터(161)로부터의 디코딩 브랜치들(106v,1, 106d,1, 106d,2) 중 어느 하나에 의해 사용된 코딩 파라미터들로부터의 채택/예측에 의해 부분적으로 마지막에 그것의 코딩 파라미터를 결정한다. 예컨대, 데이터 스트림(18)은, 깊이/디스패러티 맵 데이터(162)의 현재 부분(80b)에, 이러한 현재 부분(80b)에 대한 코딩 파라미터들이 비디오(141), 깊이/디스패러티 맵 데이터(161) 및 비디오(142) 또는 이것들의 적절한 서브셋의 공통 배치된 부분들로부터 채택되거나 예측되는지 그리고 어느 부분이 채택되거나 예측되는지에 대하여 시그널링한다. 이러한 코딩 파리미터들의 관심 부분은, 예컨대 (84)와 같은 동작 벡터 또는 디스패러티 벡터(82)와 같은 디스패러티 벡터를 포함할 수 있다. 또한, 웨지렛 분리 라인에 관련된 것과 같은 다른 코딩 파라미터들은 비디오(142) 내의 에지 감지의 사용으로 인한 디코딩 브랜치(106d,2)에 의해 유도될 수 있다. 대안으로, 에지 감지는, 미리 결정된 재투영을 적용하여 깊이/디스패러티 맵의 감지된 에지의 배치를 깊이/디스패러티 맵에 전달하여 웨지렛 분리 라인의 위치의 예측의 기반으로서 역할하는 것에 의해 재구성된 깊이/디스패러티 맵 데이터에 적용될 수도 있다.
어떤 경우든, 예컨대, 멀티-뷰 데이터(10)의 재구성된 부분들은 뷰 익스트랙터(108) - 여기에 포함된 뷰는 새로운 뷰의 뷰 추출의 기반, 즉 이러한 새로운 뷰들과 관련된 비디오들임 - 에 도착한다. 이러한 뷰 추출은, 그것과 관련된 깊이/디스패러티 맵 데이터를 사용하여 비디오들(141, 142)의 재투영을 포함하거나 필요로 할 수 있다. 실제로, 다른 중간 뷰로 비디오를 재투영하는데 있어서, 화면 부분에 상응하는 비디오의 부분은, 뷰어 위치로부터 멀게 배치된 화면 부분에 상응하는 비디오의 부분들 보다, 뷰어에 더 가깝게 위치되고 디스패러티 방향, 즉 뷰잉 방향 차이 벡터의 방향을 따라 이동된다. 뷰 익스트랙터(108)에 의해 실행된 뷰 추출의 예시는 도 4 내지 도 6 및 도 8을 참조하여 아래에서 간략히 기재된다. 디스오클루전 처리(disocclusion handling)는 뷰 익스트랙터에 의해서 또한 실행될 수 있다.
그러나, 아래에서 추가 실시예들이 기재되기 전에, 여러 보정사항이 상기 간략히 기재된 실시예들에 관하여 실행될 수 있음이 주목된다. 예컨대, 멀티 뷰 신호(10)는 각각의 뷰에 대한 깊이/디스패러티 맵 데이터를 필수적으로 포함할 필요가 없다. 멀티-뷰 신호(10)의 뷰들 중 아무것도 그것과 관련된 깊이/디스패러티 맵 데이터를 갖지 않는 것 또한 가능하다. 그럼에도 불구하고, 상기 간략히 기재된 바와 같은 코딩 파라미터 재사용 및 복수의 뷰들 간의 공유는 코딩 효율 증가를 야기한다. 또한, 일부 뷰들에 있어서, 깊이/디스패러티 맵 데이터는 디스오클루전 영역, 즉 맵들의 남은 영역들의 돈케어(don't care) 값으로 설정됨으로써 멀티 뷰 신호의 다른 뷰들로부터 재투영된 뷰들의 디스오클루딩된 영역들을 채우기 위한 영역으로 테이터 스트림 내에서 송신되기 위해 제한될 수 있다.
상기 사전에 주목된 바와 같이, 멀티-뷰 신호(10)의 뷰들(121, 122)은 상이한 공간적 해상도를 가질 수 있다. 즉, 이것들은 상이한 해상도를 사용하여 데이터 스트림(18) 내에서 송신될 수 있다. 다시 말해서, 코딩 브랜치들(22v,1, 22d,1)이 예측 코딩을 실행하는 공간적 해상도는 코딩 브랜치들(22v,2, 22d,2)이 뷰들 사이의 상기 언급된 순서로 뷰(121)를 따르는 후속 뷰(122)의 예측 코딩을 실행하는 공간적 해상도보다 높을 수 있다. 본 발명의 발명자들은, 이러한 수단이 합성된 뷰(102)의 품질을 고려할 때 레이트/왜곡비를 추가적으로 개선하는 것을 발견했다. 예컨대, 도 1의 인코더는, 모듈들(24 내지 40)에 의해 실현된 예측 인코딩 절차에 동일한 것을 포함시키기 전에 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162) 및 비디오(142)를 더 낮은 공간적 해상도에 다운 샘플링하여 동일한 공간적 해상도에서 기본적으로 뷰(121) 및 뷰(122)를 수신한다. 그럼에도 불구하고, 뷰 경계를 가로지르는 코딩 파라미터들의 채택 및 예측의 상기 언급된 수단은, 소스 및 대상 뷰(destination view)의 상이한 해상도들 간의 비율에 따른 채택 또는 예측의 기초를 형성하는 코딩 파라미터들을 스케일링하는 것에 의해 실행될 수도 있다. 예컨대, 도 2에 있어서, 코딩 브랜치(22v,2)가 움직임 벡터(62a, 68a)의 어느 하나로부터 움직임 벡터(78)를 채택하거나 예측할 것을 목적으로 하는 경우, 코딩 브랜치(22v,2)는 뷰(121), 즉 소스 뷰의 높은 공간적 해상도와 뷰(122), 즉 대상 뷰의 낮은 공간적 해상도 간의 비율에 상응하는 값에 의해 이것들을 다운 스케일링 할 것이다. 자연적으로, 이것은 디코더 및 디코딩 브랜치들(106)에 관해 적용된다. 디코딩 브랜치들(106v,2, 106d,2)은 디코딩 브랜치들(106v,1, 106d,1)에 대한 더 낮은 공간적 해상도에서의 예측 디코딩을 실행할 것이다. 재구성 후, 업-샘플링은, 더 낮은 공간적 해상도에서 더 높은 공간적 해상도에 디코딩 브랜치들(106v,2, 106d,2)의 디코딩 화상 버퍼들(34)에 의해 출력된 재구성된 화상들 및 깊이/디스패러티 맵들을, 이 맵이 뷰 익스트랙터(108)에 도달하기 전에, 전송하기 위해 사용될 것이다. 개별 업 샘플러는 개별 디코딩 화상 버퍼와 뷰 익스트랙터(108)의 개별 입력 사이에 위치된다. 상기 언급된 바와 같이, 하나의 뷰(121 또는 122) 내에서, 비디오 및 관련된 깊이/디스패러티 맵 데이터는 동일한 공간적 해상도를 가질 수 있다. 그러나, 추가적으로 또는 대안으로, 이러한 쌍들은 상이한 공간적 해상도를 가지고, 위에서 바로 언급된 수단들은 공간적 해상도 경계를 가로질러, 즉, 깊이/디스패러티 맵 데이터와 비디오 사이에서 실행된다. 또한, 다른 실시예에 따라, 뷰(123)를 포함하는 3개의 뷰가 존재하며 이것은 도시의 목적으로 도 1 내지 3에 도시되지 않으며, 제 1 및 제 2 뷰는 동일한 공간적 해상도를 가지고 제 3 뷰(123)는 더 낮은 공간적 해상도를 갖는다. 이로써, 바로 기재된 실시예에 있어서, 뷰(122)와 같은 일부 후속 뷰는 인코딩 전에 다운-샘플링되고 디코딩 이후에 업-샘플링된다. 이러한 서브- 및 업-샘플링은 각각 디코딩/코딩 브랜치들의 전- 또는 후-처리의 종류를 나타내며, 임의의 후속(목적) 뷰의 코딩 파라미터들의 채택/예측에 사용된 코딩 파라미터들은 소스 및 목적 뷰의 공간적 해상도의 개별 비율에 따라 스케일링된다. 상기 사전에 언급된 바와 같이, 뷰(122)와 같은 이러한 후속 뷰들이 송신되고 예측 코딩되는 더 낮은 품질은 중간 뷰 익스트랙터(108) 내의 처리로 인한 중간 뷰 익스트랙터(108)의 중간 뷰 출력(102)의 품질에 상당한 영향을 미치지는 않는다. 뷰 익스트랙터(108)는 게다가 중간 뷰(들) 내로의 재투영 및 중간 뷰(들)의 샘플 그리드 상으로의 재투영된 비디오 샘플 값들의 필수 리-샘플링으로인하여 비디오들(141, 142) 상의 일종의 보간/로우 패스 필터링을 실행한다. 제 1 뷰(121)는 이웃하는 뷰(122)에 대한 증가된 공간적 해상도에서 송신된다는 사실을 활용하기 위해, 이것들 사이의 중간 뷰들은 예컨대 비디오(141)의 재투영된 버전의 디스오클루전 영역을 단순히 채우기 한 것과 같은 보조 뷰로서 낮은 공간적 해상도 뷰(122) 및 이것의 비디오(142)를 사용하거나, 한편으로 뷰(121) 그리고 다른 한편으로는 뷰(122)의 비디오들의 재투영된 버전 사이에서 일부 에버리징(averaging)을 실행하면 감소된 가중 요소에서 단순히 참여하는 것에 의해 뷰(121)로부터 주로 얻어질 수 있다. 이러한 수단으로, 뷰(122)의 더 낮은 공간적 해상도는 제 2 뷰(122)의 코딩 레이트가 더 낮은 공간적 해상도에서의 송신으로 인하여 상당히 감소되었음에도 불구하고 보상된다.
실시예들은 코딩/디코딩 브랜치들의 내부 구조로 변경될 수 있다는 것 또한 언급되어야 한다. 예컨대, 인트라-예측 모드들은 존재하지 않을 수 있고, 즉, 공간적 예측 모드들이 이용불가능할 수 있다. 유사하게, 인터-뷰 및 시간적 예측 모드들 중 임의의 하나는(left away) 없어질 수 있다. 더욱이, 추가 처리 옵션들 모두가 선택적이다. 반대로, 아웃-오브-루프 전처리 모듈들은, 예컨대 적응적인 필터링 또는 다른 품질 향상 수단 및/또는 상기 언급된 업-샘플링을 실행하기 위해, 디코딩 브랜치들(106)의 출력에서 존재할 수 있다. 또한 추가의 변형은 실행되지 않는다. 오히려, 잔여는 주파수 도메인보다는 공간적 도메인에서 송신될 수 있다. 보다 일반적으로, 도 1 및 도 3에 도시된 하이브리드 코딩/디코딩 설계는 웨이브렛 변형 기반 개념과 같은 다른 코딩/디코딩 개념에 의해 대체될 수 있다.
디코더는 뷰 익스트랙터(108)를 꼭 포함할 필요가 없다는 것 또한 언급되어야 한다. 오히려, 뷰 익스트랙터(108)는 존재하지 않을 수 있다. 이런 경우에, 디코더(100)는 단순히 뷰들(121 및 122) 중 하나, 여러개 또는 모두와 같이 임의의 것을 재구성하기 위한 것이다. 개별 뷰들(121 및 122)을 위해 존재하는 깊이/디스패러티 데이터가 없을 경우, 뷰 익스트랙터(108)는 그럼에도 불구하고 서로 이웃하는 뷰들의 상응하는 부분들과 연관된 디스패러티 벡터들을 활용하는 것에 의해 중간 뷰 추출을 실행할 수 있다. 이웃하는 뷰들의 비디오들과 관련된 디스패러티 벡터 필드의 디스패러티 벡터들을 지지하는 것으로서 이러한 디스패러티 벡터들을 사용하여, 뷰 익스트랙터(108)는 이러한 디스패러티 벡터 필드를 적용하는 것에 의해 이웃하는 뷰들(121 및 122)의 이러한 비디오들로부터 중간 뷰 비디오를 형성(build)할 수 있다. 예컨대, 비디오 프레임(v2 ,t)이 예측된 그것의 부분/세그먼트들 인터-뷰의 50%를 갖는 것으로 가정해보자. 즉, 부분/세그먼트의 50%에 있어서, 디스패러티 벡터들이 존재할 것이다. 남은 부분들에 있어서, 디스패러티 벡터들은 공간적인 개념에서의 보간/외삽으로 뷰 익스트랙터(108)에 의해 결정될 수 있다. 비디오(142)의 사전에 재구성된 프레임들의 부분/세그먼트들에 대한 디스패러티 벡터들을 사용하는 시간적 보간이 또한 사용될 수 있다. 비디오 프레임(v2 ,t) 및/또는 기준 비디오 프레임(v1 ,t)은 중간 뷰를 생성하기 위하여 이러한 디스패러티 벡터들에 따라 왜곡된다. 이러한 목적으로, 디스패러티 벡터들은 제 1 뷰(121) 및 제 2 뷰(122)의 뷰 위치들 사이의 중간 뷰의 중간 뷰 위치에 따라 스케일링된다. 이러한 절차에 관련한 상세는 이하에서 더욱 자세히 개설된다.
코딩 효율 이익은 비디오의 재구성된 현재 프레임의 감지된 에지들을 따라 연장하기 위해 웨지렛 분리 라인들을 결정하는 것의 상기 언급된 옵션을 사용하여 얻어진다. 그러므로, 상기 기재된 바와 같이, 상기 기재된 웨지렛 분리 라인 위치 예측은 뷰들의 각각, 즉 모든 뷰들 또는 단순히 그것들의 적절한 서브셋에 대해서 사용될 수 있다.
도 3의 상기 논의는 또한 데이터 스트림(18)으로부터의 비디오(141)의 현재 프레임(v1 ,t)을 재구성하도록 구성된 디코딩 브랜치(106c,1) 및 재구성된 현재 프레임(v1 ,t)의 에지(72)를 감지하고, 이 에지(72)를 따라 연장하는 웨지렛 분리 라인(70)을 결정하며, 세그멘테이션의 2개의 인접하는 세그먼트들(72a, 72b)이 데이터 스트림(18)으로부터 웨지렛 분리 라인(70)에 의해 서로로부터 분리되는, 깊이/디스패러티 맵(d1 ,t)의 세그멘테이션의 세그먼트들(66a, 66b, 72a, 72b)의 유닛들의 현재 프레임(v1 ,t)과 관련된 깊이 디스패러티 맵(d1,t)을 재구성하도록 구성된 디코딩 브랜치(106d,1)를 갖는 디코더를 개시한다. 디코더는, 현재 프레임(v1 ,t)과 관련된 깊이/디스패러티 맵(d1 ,t) 또는 비디오의 사전에 디코딩된 프레임들(v1 ,t-1) 중 임의의 하나와 연관된 깊이/디스패러티 맵(d1 ,t)의 사전에 재구성된 세그먼트들로부터, 세그먼트들에 대한 예측 파라미터들의 별개의 세트들을 이용하여 세그먼트 적으로(segment-wise) 깊이/디스패러티 맵(d1,t)을 예측한다. 디코더는 웨지렛 분리 라인(70)이 직선이고 디코더가 웨지렛 분리 라인(70)을 따라 프리-세그멘테이션의 블록(66c)을 나눔으로써 깊이/디스패러티 맵(d1 ,t)의 블록 기반 프리-세그멘테이션으로부터 세그멘테이션을 결정하도록 구성되어서 2개의 이웃하는 세그먼트들(72a, 72b)은 프리-세그멘테이션의 블록(66c)을 함께 형성하는 웨지렛-형상 세그먼트들이 된다.
상기 실시예들의 일부를 요약하면, 이러한 실시예들은 일반적으로 디코딩 멀티-뷰 비디오 및 부가 데이터로부터 뷰 추출을 가능하게 한다. "부가 데이터"라는 용어는 이하에서 깊이/디스패러티 맵 데이터를 표시하기 위해 사용된다. 이러한 실시예에 따르면 멀티-뷰 비디오 및 부가 데이터는 하나의 압축된 표시(compressed representation)에 포함된다. 부가 데이터는 픽셀 당 깊이 맵, 디스패러티 데이터 또는 3D 와이어 프레임으로 구성될 수 있다. 추출된 뷰들(102)은 뷰 숫자 및 공간적 위치의 면에서 압축된 표시 또는 비트스트림(18)에 포함된 뷰들(121, 122)과 상이하다. 압축된 표시(18)는 인코더(20)에 의해 사전에 생성되었으며, 이것은 비디오 데이터의 코딩을 또한 개선하기 위하여 부가 데이터를 사용할 수 있다.
현재 최신의 방법과 반대로, 조인트 디코딩은 비디오 및 부가 데이터의 디코딩이 공통 정보에 의해 지지되고 제어될 수 있는 경우 실행된다. 예시들은, 부가 데이터뿐만 아니라 비디오를 디코딩하는데 사용되는 움직임 또는 디스패러티 벡터들의 공통 세트이다. 최종적으로, 뷰들은 디코딩된 비디오 데이터, 부가 데이터 및 가능한 한 결합된 데이터로부터 추출되고, 추출된 뷰들의 수 및 위치는 수신 장치에서의 추출 제어에 의해 제어된다.
또한, 상기 기재된 멀티-뷰 압축 개념은 디스패러티 기반 뷰 합성과 관련되어 사용가능하다. 디스패러티 기반 뷰 합성의 의미는 이하와 같다. 화면 컨텐트가 비디오들(141, 142)과 같은 복수의 카메라들로 캡쳐되는 경우, 이러한 컨텐트의 3D 인식은 뷰어에게 수여될 수 있다. 이를 위하여, 스테레오 쌍들이 좌안 및 우안에 대한 다소 상이한 뷰잉 방향으로 제공되어야 한다. 동일한 타임 인스턴스에 대한 양쪽 뷰들의 동일한 컨텐트의 이동은 디스패러티 벡터에 의해 표시된다. 이에 유사하게, 상이한 타임 인스턴스들 간의 시퀀스 내의 컨탠트 이동은 2개의 타임 인스턴스에서의 2개의 뷰에 대해 도 4에서 도시된 바와 같이, 움직임 벡터이다.
일반적으로, 디스패러티는 직접적으로 측정되거나 화면 깊이로서 외부적으로 제공되거나 특수 센서들이나 카메라들로 기록된다. 움직임 평가는 기준 코더에 의해 사전에 실행된다. 복수의 뷰들이 함께 코딩되는 경우, 시간적 및 인터-뷰 방향은 유사하게 취급되어서, 움직임 측정은 인코딩 동안 인터-뷰 방향 뿐만 아니라 시간적 방향으로 실행된다. 이것은 도 1 및 도 2에 관하여 위에서 이미 기재되었다. 인터-뷰 방향의 측정된 움직임 벡터들은 디스패러티 벡터들이다. 이러한 디스패러티 벡터들은 도 2의 82 및 76에서 예시적으로 도시되었다. 그러므로, 인코더(20)는 또한 디스패러티 측정을 암시적으로 실행하며 디스패러티 벡터들은 코딩된 비트스트림(18)에 포함된다. 이러한 벡터들은 디코더에서의 추가적인 중간 뷰 합성, 즉 뷰 익트스랙터(108)를 위해 사용될 수 있다.
동일한 루미넌스 값을 갖는, 위치(x1,y1)에서의 뷰 1 의 픽셀(p1(x1,y1)) 및 위치(x2,y2)에서의 뷰 2의 픽셀(p2(x2,y2))을 고려하면, 아래와 같다.
p1(x1,y1) = p2(x2,y2) (1)
이것들의 위치 (x1,y1) 및 (x2,y2)는 2D 디스패러티 벡터에 의해 연결되고, 예컨대, 뷰 2로부터 뷰 1까지, 이것은 dx ,21(x2,y2) 및 dy , 21(x2,y2)를 갖는 d 21(x2,y2)이다. 그러므로, 이하의 방정식은 이하를 유지한다.
(x1,y1) = (x2+dx ,21(x2,y2),y2+dy,21(x2,y2)) (2)
(1)과 (2)를 결합하면, 아래와 같다.
p1(x2+dx ,21(x2,y2),y2+dy,21(x2,y2)) = p2(x2,y2) (3)
도 5의 하부 우측에 도시된 바와 같이, 동일한 콘텐트를 갖는 2개의 포인트들은 디스패러티 벡터와 연결될 수 있다: 이러한 벡터를 p2의 좌표들에 더하는 것은 이미지 좌표들에 p1의 위치를 부여한다. 디스패러티 벡터 d 21(x2,y2)가 팩터(κ=[0...1])에 의해 스케일링되면, (x1,y1)와 (x2,y2) 사이의 임의의 중간 위치가 어드레싱될 수 있다. 그러므로, 중간 뷰들은 스케일링된 디스패러티 벡터들에 의해 뷰 1 및/또는 뷰 2의 이미지 컨텐트를 이동시킴으로써 생성될 수 있다. 중간 뷰에 대한 예시가 도 6에 도시된다.
그러므로, 새로운 중간 뷰들은 뷰 1과 뷰 2 사이의 임의의 위치로 생성될 수 있다.
이것 외에도, 또한 뷰 외삽이 디스패러티들에 대한 스케일링 팩터들(κ<0 및 κ>1)을 사용하여 성취될 수 있다.
이러한 스케일링 방법들은 시간적 방향에서도 적용될 수 있어서, 새로운 프레임들은 모션 벡터들을 스케일링하는 것에 의해 추출될 수 있으며, 이것은 더 높은 프레임 레이트 비디오 시퀀스들의 생성을 야기한다.
이제, 도 1 및 도 3과 관련되어 상기 기재된 실시예들로 돌아가면, 이러한 실시예들은 그 중에서도 공통 정보 모듈, 즉, 모듈(110)을 포함하는 깊이 맵들과 같은 비디오 및 부가 데이터를 위한 디코더들을 갖는 병렬 디코딩 구조를 갖는다. 이러한 모듈은 인코더에 의해 생성된 양쪽 신호들로부터 공간적인 정보를 사용한다. 공통적인 예시들은 예컨대 깊이 데이터를 위해 또한 사용되는 비디오 데이터 인코딩 처리에서 추출된 움직임 또는 디스패러티 벡터들의 하나의 세트이다. 디코더에서, 이러한 공통 정보는 디코딩 비디오 및 깊이 데이터를 스티어링하고 새로운 뷰를 추출하기 위하여 선택적으로 각각의 디코더 브랜치에 필요한 정보를 제공하기 위해 사용된다. 이러한 정보로, 예컨대 N-뷰 디스플레이를 위한 모든 요구되는 뷰들은 비디오 데이터로부터 병렬로 추출될 수 있다. 개별 코딩/디코딩 브랜치들 사이에서 공유될 공통 정보들 및 코딩 파라미터들에 대한 예시는:
- 예컨대 부가 데이터에 대해 또한 사용되는 비디오 데이터로부터의 공통 움직임 및 디스패러티 벡터들
- 예컨대 부가 데이터에 대해 또한 사용되는 비디오 데이터 파티셔닝으로부터의 공통 블록 파티셔닝 구조
- 예측 모드들
- 루미넌스 및/또는 크로미넌스 정보의 에지 및 컨투어 데이터, 예컨대 루미넌스 블록에서의 직선. 이것은 부가 데이터 비 직사각형 블록 파티셔닝에 사용된다. 이러한 파티셔닝은 웨지렛이라 불리고 특정 각도 및 위치를 갖는 직선에 의해 2개 블록을 2개의 영역으로 분리한다.
공통 정보는 다른 브랜치(예컨대 부가 데이터) 등에서 정제될 하나의 디코딩 브랜치(예컨대, 비디오에 대한 브랜치)로부터의 예측 변수로서 사용될 수 있다. 이것은 예컨대 움직임 또는 디스패러티 벡터들의 정제, 비디오 데이터의 블록 구조에 의한 부가 데이터의 블록 구조의 초기화, 비디오 블록으로부터의 루미넌스 또는 크로미넌스 에지 또는 컨투어 정보로부터 직선을 추출하는 것 및 웨지렛 분리 라인 예측에 대해 이 선(line)을 사용하는 것(동일한 각도이되, 각도를 유지하는 상응하는 깊이 블록에서의 가능한 한 상이한 위치임)을 포함할 수 있다. 공통 정보 모듈은 또한 하나의 디코딩 브랜치에서 다른 디코딩 브랜치로 부분적으로 재구성된 데이터를 전송한다. 최종적으로, 이 모듈로부터의 데이터는 뷰 추출 모듈에 전달될 수 있으며, 모든 필수적인 뷰들, 예컨대 디스플레이에 대한 뷰들이 추출된다(디스플레이는 2D, 2개의 뷰를 갖는 스테레오스코픽, N개의 뷰를 갖는 오토스테레오스코픽임).
하나 이상의 단일 쌍의 뷰 및 깊이/부가 신호가 상기 기재된 인코딩/디코딩 구조를 사용하는 것에 의해 인코딩/디코딩되면, 각각의 시간 인스턴트(t)에 대하여 한 쌍의 색상 뷰(v색상_1(t), v색상_2(t))와 함께 상응하는 깊이 데이터((v깊이_1(t), (v깊이_2(t))를 송신해야 할 경우 응용 시나리오가 고려될 수 있다. 상기 실시예들은 예컨대 종래의 움직임 보상 예측을 사용하여 제 1 신호(v색상_1(t))를 인코딩/디코딩하는 것을 제안한다. 이로써, 제 2 단계에서, 상응하는 깊이 신호(v깊이_1(t))의 인코딩/디코딩에 있어서, 인코딩된/디코딩된 신호(v색상_1(t))로부터의 정보는 상기 개설된 바와 같이 재사용될 수 있다. 이후에, (v색상_1(t)) 및 (v깊이_1(t))로부터의 축적된 정보는 (v색상_2(t)) 및/또는 (v깊이_2(t))의 인코딩/디코딩에 또한 활용될 수 있다. 그러므로, 상이한 뷰 및/또는 깊이 간의 공통 정보를 공유하고 재사용하는 것에 의해 리던던시가 최대로 활용될 수 있다.
도 3의 디코딩 및 뷰 추출 구조는 도 7에 도시된 바와 같이 대안으로 도시될 수 있다.
도시된 바와 같이, 도 7의 디코더의 구조는 색상 및 부가 데이터에 대한 2개의 병렬 종래의 비디오 디코딩 구조에 기반한다. 게다가, 이것은 공통 정보 보듈을 포함한다. 이러한 모듈은 임의의 공유된 정보를 양쪽 디코딩 구조들의 임의의 모듈로부터 임의의 모듈에 보내고 처리하고 수신할 수 있다. 디코딩된 비디오와 부가 데이터는 필요한 수의 뷰를 추출하기 위해 뷰 추출 모듈에 최종적으로 결합된다. 여기서, 새로운 모듈로부터의 공통 정보가 사용될 수 있다. 새롭게 제안된 디코딩 및 뷰 추출 방법의 새로운 모듈들은 도 7의 회색 박스로 강조된다.
디코딩 처리는 하나 이상의 뷰들로부터 공통 압축된 표시 또는 비디오 데이터를 포함하는 비트스트림, 정보뿐만 아니라 예컨대 움직임 또는 디스패러티 벡터들에 공통인 부가 데이터, 제어 정보, 블록 파티셔닝 정보, 예측 모드, 컨투어 데이터 등을 수신하는 것으로 시작한다.
사전에, 엔트로피 디코딩은 비디오 및 부가 데이터에 대한 양자화된 변형 계수를 추출하기 위한 비트스트림에 적용되고, 이것은 도 7에서 "비디오 데이터 처리" 및 "부가 데이터 처리"로 명명된, 도팅된(doted) 회색 박스로 강조된, 2개의 별도의 코딩 브랜치들로 공급된다. 더욱이, 엔트로피 디코딩은 또한 공유되거나 공통 데이터를 추출하고 이것을 새로운 공통 정보 모듈로 공급한다.
양쪽 디코딩 브랜치들은 엔트로피 디코딩 이후 유사하게 작동한다. 수신된 양자화된 변형 계수는 스케일링되고 역변환은 차이 신호를 얻기 위해 적용된다. 이것을 위하여, 시간적인 또는 이웃하는 뷰들로부터의 사전에 디코딩된 데이터가 추가된다. 추가될 정보의 형태는 특별한 제어 데이터에 의해 제어된다: 인트라 코딩된 비디오나 부가 데이터의 경우, 이전 또는 이웃하는 정보를 이용할 수 없어서, 인트라 프레임 재구성이 적용된다. 인트라 코딩된 비디오 또는 부가 데이터에 있어서, 시간적으로 우선하거나 인접한 뷰들로부터의 사전에 디코딩된 데이터가 이용가능하다(도 7의 전류 스위치 세팅). 사전에 디코딩된 데이터는 움직임 보상 블록의 관련된 움직임 벡터들에 의해 이동되고 기본 프레임을 생성하기 위해 차이 신호에 추가된다. 사전에 디코딩된 데이터는 이웃하는 뷰에 속하는 경우, 움직임 데이터는 디스패러티 데이터를 나타낸다. 이러한 기본 프레임들이나 뷰들은 필터들을 디블로킹(deblocking)하고 예컨대 화질을 개선하기 위한 에지 스무딩(edge smoothing)과 같은 가능한 향상 방법에 의해 추가로 처리된다.
이러한 개선 단계 이후에, 재구성된 데이터는 디코딩 화상 버퍼로 전송된다. 이러한 버퍼는 디코딩된 데이터를 명령하고 각각의 타임 인스턴스에 대한 올바른 시간적 명령에 디코딩된 화상을 출력한다. 저장된 데이터는 또한 스케일링 가능한 움직임/디스패러티 보상에 대한 입력으로서 역할하기 위해 다음 처리 사이클에 또한 사용될 수 있다.
이러한 별도의 비디오 및 부가 디코딩에 더하여, 새로운 공통 정보 모듈이 사용되고, 이것은 비디오 및 부가 데이터에 공통인 임의의 데이터를 처리한다. 공통 정보의 예시는 공유된 움직임/디스패러티 벡터들, 블록 파티셔닝 정보, 예측 모드들, 컨투어 데이터, 제어 데이터를 포함하되, 또한 공통 변환 계수 또는 모드들, 뷰 향상 데이터 등을 포함한다. 개별 비디오 및 부가 모듈들에서 처리되는 임의의 데이터는 공통 모듈의 부분 또한 될 수 있다. 그러므로, 공통 모듈에 대한 연결 및 이것으로부터 개별 디코딩 브랜치들의 모든 부분들에 대한 연결이 존재할 수 있다. 또한, 공통 정보 모듈은 단 하나의 별도의 디코딩 브랜치 및 공통 모듈이 모든 비디오 및 부가 데이터를 디코딩하기 위해 필요할 정도로 충분한 데이터를 가질 수 있다. 이것에 대한 예시는 압축된 표시이며, 여기서 일부 부분들만이 비디오 데이터를 가지고 모든 다른 부분들은 공통 비디오 및 부가 데이터를 포함한다. 여기서 비디오 데이터는 비디오 디코딩 브랜치에서 디코딩되는 반면에 모든 부가 데이터는 공통 모듈에서 처리되고 뷰 합성으로 출력된다. 그러므로, 이러한 예시에서, 별도의 부가 브랜치는 사용되지 않는다. 또한, 별도의 디코딩 브랜치들의 모듈들로부터의 개별 데이터는 예컨대 사용되거나 다른 디코딩 브랜치로 전송될 부분적으로 디코딩된 데이터의 형태로 공통 정보 처리 모듈에 정보를 다시 보낼 수 있다. 예시는, 적절한 부가 디코딩 모듈들에 전송되는 변형 계수, 움직임 벡터들, 모드들 또는 세팅들과 같은 디코딩된 비디오 데이터이다.
디코딩 후에, 재구성된 비디오 및 부가 데이터는 별도의 디코딩 브랜치들이나 공통 정보 모듈로부터의 뷰 추출로 전송된다. 도 3의 110과 같은 뷰 추출 모듈에서, 예컨대 멀티-뷰 디스플레이와 같은, 수신 장치에 대한 요구된 뷰들이 추출된다. 이러한 처리는 중간 뷰 추출 제어에 의해 제어되고, 이것은 뷰 시퀀스의 요구된 수 및 위치를 설정한다. 뷰 추출에 대한 예시는 뷰 합성이다: 새로운 뷰가 2개의 원래 뷰(1 및 2) 사이에서 합성된다면, 도 6에 도시된 바와 같이, 뷰 1로부터의 데이터는 사전에 새로운 위치에 이동될 수 있다. 그러나, 이러한 디스패러티 이동은, 이 이동이 원래 화면 깊이(카메라로부터 정면 거리)에 반비례하므로, 포어그라운드 및 백그라운드 오브젝트와 상이하다. 그러므로, 새로운 백그라운드 영역은 뷰 1에서 보이지 않았던 합성된 뷰에서 보이게 된다. 뷰 2는 이러한 정보를 충족시키도록 사용될 수 있다. 또한, 공간적으로 이웃하는 데이터는 예컨대 인접 배경 정보에 대해 사용될 수 있다.
예시로서, 도 8의 세팅을 고려해보자. 여기서, 디코딩된 데이터는 깊이 데이터(v깊이1 및 v깊이2) 뿐만 아니라 색상 데이터(v색상1 및 v색상2)를 갖는 2개의 뷰 시퀀스로 구성된다. 이러한 데이터에 있어서, 뷰들(vD 1, vD 2, ..., vD 9)을 갖는 9 뷰 디스플레이에 대한 뷰들이 추출될 것이다. 디스플레이는 중간 뷰 추출 제어를 통해 뷰들의 수 및 공간적 위치를 시그널링한다. 여기서, 9개의 뷰는 0.25의 공간적 거리로 요구되어서 이웃하는 디스플레이 뷰들(예컨대, vD 2 및 vD 3)은 공간적 위치 및 스테레오스코픽 인식의 측면에서 비트스트림의 뷰들 보다 4배 가깝다. 그러므로, 뷰 추출 팩터들{κ1, κ2, ..., κ9}의 세트는 {-0.5, -0.25, 0, 0.25, 0.5, 0.75, 1, 1.25, 1.5}로 설정된다. 이것은, 디코딩된 색상 뷰들(v색상1 및 v색상2)이 디스플레이 뷰들(vD 3 및 vD 7(κ3=0 이고 κ7=1일 경우)을 갖는 그것들의 공간적 위치와 일치하는 것을 표시한다. 더욱이, vD 3, vD 4 및 vD 5는 v색상1 와 v색상2 간에서 보간될 수 있다. 최종적으로, vD 8 및 vD 9 뿐만 아니라 vD 1 및 vD 2는 비트 스트림 쌍(v색상1 및 v색상2)의 각각의 측면에서 외삽된다. 뷰 추출 팩터들의 세트로, 깊이 데이터(v깊이1 및 v깊이2)는 픽셀 당 디스패러티 정보로 변형되고 뷰 추출 단계에서 적절하게 스케일링되어서 디코딩된 색상 데이터의 9개의 상이하게 이동된 버전을 얻는다.
일부 측면이 장치의 맥락에서 기재됨에도 불구하고, 이러한 측면들은 상응하는 방법의 기재를 나타내고, 여기서 블록이나 장치는 방법 단계 또는 방법 단계의 피쳐에 상응하는 것이 명백하다. 비슷하게, 방법 단계의 맥락에서 기재된 측면들은 상응하는 장치의 상응하는 블록 또는 아이템 또는 피쳐의 기재를 나타낸다. 방법 단계들의 일부 또는 모두는 예컨대 마이크로프로세서, 프로그래밍가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해 (또는 이것들을 사용하는 것에 의해) 실행될 수 있다. 일부 실시예에서, 일부 하나 이상의 가장 중요한 방법 단계는 이러한 장치에 의해 실행될 수 있다.
발명의 인코딩된 멀티-뷰 신호는 디지털 저장 매체 상에 저장될 수 있거나 무선 송신 매체와 같은 송신 매체 또는 인터넷과 같은 유선 송신 매체 상에서 송신될 수 있다.
특정 구현 요건에 따라, 발명의 실시예들은 하드웨어나 소프트웨어에서 구현될 수 있다. 이러한 구현은 예컨대 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM 또는 플래시 메모리 - 프로그래밍 가능한 컴퓨터 시스템과 협력하여(또는 협력이 가능하여) 개별 방법이 실행되는 전자적으로 판독가능한 제어 신호들이 여기에 저장됨 - 와 같은 디지털 저장 매체를 사용하여 실행될 수 있다. 그러므로, 디지털 저장 매체는 판독가능한 컴퓨터가 될 수 있다.
발명에 따른 일부 실시예들은 프로그래밍가능한 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함하여, 본 명세서에 기재된 방법들 중 하나가 실행된다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있고, 이 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때 방법들 중 하나를 실행하기 위해 동작한다. 프로그램 코드는 예컨대 기계 판독가능 캐리어 상에서 저장될 수 있다.
다른 실시예들은 기계 판독가능 캐리어 상에 저장된, 본 명세서에서 기재된 방법들 중 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.
다시 말해서, 그러므로, 발명의 방법의 실시예는 컴퓨터 프로그램이 컴퓨터상에서 실행될 때 본 명세서에서 기재된 방법들 중 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
발명의 방법들의 추가 실시예는, 그러므로, 본 명세서에서 기재된 방법들 중 하나를 실행하기 위한 컴퓨터 프로그램을 포함하고, 거기에서 기록되는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터 판독가능한 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록된 매체는 전형적으로 유형이고 및/또는 변하지 않는다.
그러므로, 발명의 방법의 추가 실시예는 본 명세서에서 기재된 방법들 중 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 데이터 스트림 또는 시퀀스이다. 신호들의 데이터 스트림이나 시퀀스는 예컨대 인터넷을 통한 데이터 통신 연결을 통해 전송되도록 구성될 수 있다.
추가 실시예는, 본 명세서에서 기재된 방법들 중 하나를 실행하도록 구성되거나 적응되는, 예컨대 컴퓨터나 프로그래밍 가능 논리 장치와 같은 처리 수단을 포함한다.
추가 실시예는 본 명세서에서 기재된 방법들 중 하나를 실행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가 실시예는 리시버에 본 명세서에서 기재된 방법들 중 하나를 실행하기 위한 컴퓨터 프로그램을 전송(예컨대 전자적으로 또는 선택적으로)하도록 구성되는 장치 또는 시스템을 포함한다. 예컨대, 리시버는 컴퓨터, 휴대 장치, 메모리 장치 등이 될 수 있다. 장치 또는 시스템은 예컨대 리시버에 컴퓨터 프로그램을 전송하기 위한 파일 서버를 포함한다.
일부 실시예들에서, 프로그래밍 가능 논리 장치(예컨대 필드 프로그래밍 가능 게이트 어레이)는 본 명세서에서 언급된 방법들의 일부 또는 모든 기능을 실행하기 위해 사용될 수 있다. 일부 실시예에서, 필드 프로그래밍 가능 게이트 어레이는 본 명세서에서 기재된 방법들 중 하나를 실행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 임의의 하드웨어 장치에 의해 바람직하게 실행된다.
상기 기재된 실시예들은 본 발명의 원칙들에 대하여 단순히 설명을 위한 것이다. 본 명세서에 기재된 장치들 및 상세의 수정 및 변형은 당업자에게 명백할 것이라는 점이 이해되어야 한다. 그러므로, 본 명세서의 실시예들의 기재 및 설명에 의해 제안된 특정 상세에 의해서가 아닌 계류중인 특허 청구항들의 권리범위에 의해서만 한정되는 것이 의도된다.

Claims (61)

  1. 디코더로서,
    데이터 스트림(18)으로부터 얻어진 제 1 코딩 파라미터들(461, 481, 501)에 따라, 제 1 뷰(view)(121)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 멀티-뷰 신호(10)의 제 1의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 1 교정 데이터(421,2)를 사용하여 상기 제 1 뷰(121)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 멀티-뷰 신호(10)의 제 1 뷰(121)를 재구성(106v,1, 106d,1)하고;
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 적어도 부분적으로 채택하거나 예측하며;
    상기 제 2 코딩 파라미터들에 따라, 제 2 뷰(122)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 2의 사전에 재구성된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 2 교정 데이터(423,4)를 사용하여 상기 제 2 뷰(122)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 멀티-뷰 신호(10)의 제 2 뷰(122)를 재구성(106v,2, 106d,2)하도록 구성되고,
    상기 디코더는 상기 제 1 및 제 2 뷰들로부터 중간 뷰(intermediate view)(102)를 추출(108)하도록 또한 구성되는, 디코더.
  2. 청구항 1에 있어서, 상기 제 1 뷰(121) 및 상기 제 2 뷰(122)의 각각은 개별 카메라 위치로부터 캡쳐된 비디오(141,2) 및 관련된 깊이/디스패러티 맵 데이터(depth/disparity map data)(161,2)를 포함하는, 디코더.
  3. 청구항 2에 있어서, 상기 디코더는
    상기 제 1 코딩 파라미터들의 제 1 부분(461, 481, 501)에 따라, 상기 제 1 뷰(121)의 비디오(141)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 3의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 비디오(141)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 상기 제 1 교정 데이터(421,2)의 제 1 서브셋(subset)(421)을 사용하여 상기 제 1 뷰(121)의 비디오(141)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 1 뷰(121)의 비디오(141)를 재구성(106v,1)하고,
    상기 제 1 코딩 파라미터들의 제 1 부분으로부터 상기 제 1 코딩 파라미터들의 제 2 부분을 적어도 부분적으로 채택하거나 예측하며,
    상기 제 1 코딩 파라미터들의 상기 제 2 부분에 따라, 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티 뷰 신호(10)의 제 4의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분을 예측하고, 상기 제 1 교정 데이터의 제 2 서브셋(422)을 사용하여 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)를 재구성(106d,1)하도록 구성되는, 디코더.
  4. 청구항 3에 있어서,
    상기 제 1 코딩 파라미터들은 상기 제 1 뷰(121)의 비디오(141)의 프레임들의 세그멘테이션(segmentation)을 정의하고, 상기 디코더는 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)를 재구성하는데 있어서 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 프리-세그멘테이션(pre-segmentation)으로서 상기 제 1 뷰(121)의 비디오(141)의 프레임들의 세그멘테이션을 사용하도록 구성되는, 디코더.
  5. 청구항 3에 있어서, 상기 디코더는
    상기 제 1 뷰(121)의 비디오의 현재 프레임(v1,t)의 재구성된 부분을 사용하여 웨지렛 분리 라인(wedgelet separation line)(70)의 위치를 예측하고,
    상기 데이터 스트림(18)으로부터 상기 제 1 뷰의 깊이/디스패러티 맵 데이터(161)를 재구성하는데 있어서, 상기 제 1 뷰의 비디오의 현재 프레임(v1,t)과 관련된, 상기 제 1 뷰의 깊이/디스패러티 맵 데이터(161)의 깊이/디스패러티 맵(d1,t)의 현재 부분의 경계를, 상기 웨지렛 분리 라인과 일치되도록 설정하게끔 구성된, 디코더.
  6. 청구항 3에 있어서, 상기 디코더는
    상기 제 1 뷰의 비디오의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 비디오의 제 1의 사전에 재구성된 부분(v1,t-1)으로부터 상기 제 1 뷰(121)의 비디오의 현재 부분(60a)을 예측하고,
    상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터의 현재 부분(66a)의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터의 제 1의 사전에 재구성된 부분(d1,t-1)으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터의 현재 부분(66a)을 예측하도록 구성되는, 디코더.
  7. 청구항 2에 있어서, 상기 디코더는
    상기 제 1 코딩 파라미터들로부터 상기 제 2 코딩 파라미터들의 제 1 부분을 적어도 부분적으로 채택하거나 예측하고,
    상기 제 2 코딩 파라미터들의 제 1 부분에 따라, 상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 5의 사전에 재구성된 부분으로부터 상기 제 2 뷰(122)의 비디오(142)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 상기 제 2 교정 데이터의 제 1 서브셋(423)을 사용하여 상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 2 뷰(122)의 비디오(142)를 재구성(106v,2)하고,
    상기 제 1 코딩 파라미터들로부터 상기 제 2 코딩 파라미터들의 제 2 부분 및/또는 상기 제 2 코딩 파라미터들의 제 1 부분을 적어도 부분적으로 채택하거나 예측하며,
    상기 제 2 코딩 파라미터들의 제 2 부분에 따라, 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 6의 사전에 재구성된 부분으로부터 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분을 예측하고, 상기 제 2 교정 데이터의 제 2 서브셋(424)을 사용하여 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)를 재구성(106d,2)하도록 구성되는, 디코더.
  8. 청구항 7에 있어서, 상기 디코더는
    상기 데이터 스트림(18)으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)를 재구성(106d,1)하는데 있어서, 상기 제 1 뷰의 깊이/디스패러티 맵 데이터(161)에 제 1 웨지렛 분리 라인(70)을 사용하고;
    상기 제 2 뷰의 깊이/디스패러티 맵 데이터의 제 2 웨지렛 분리 라인용의 예측 변수(predictor)로서 상기 제 1 웨지렛 분리 라인(70)을 사용하거나, 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 제 2 웨지렛 분리 라인으로서 상기 제 1 웨지렛 분리 라인(70)을 채택하며,
    상기 데이터 스트림(18)으로부터 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)를 재구성하는데 있어서, 상기 제 2 뷰의 비디오의 현재 프레임(v2,t)과 관련된, 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 깊이/디스패러티 맵(d2,t)의 현재 부분의 경계를 상기 제 2 웨지렛 분리 라인과 일치하도록 설정하게끔 구성되는, 디코더.
  9. 청구항 7에 있어서, 상기 디코더는
    상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 재구성 이전에 상기 디코더에 의해 데이터 스트림(18)으로부터 재구성된, 상기 제 2 뷰(122)의 비디오(142)의 사전에 재구성된 부분(v2,t-1)으로부터, 또는 상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 비디오(141)의 제 2의 사전에 재구성된 부분(v1,t)으로부터 상기 제 2 뷰(122)의 비디오(142)의 현재 부분(74a; 74b)을 예측하고,
    상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 사전에 재구성된 부분(d2,t-1)으로부터, 또는 상기 제 2 뷰의 깊이/디스패러티 맵 데이터의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 제 2의 사전에 재구성된 부분(d1,t)으로부터 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분(80a; 80b)을 예측하도록 구성되는, 디코더.
  10. 청구항 7에 있어서, 상기 디코더는
    상기 제 2 뷰(122)의 비디오의 현재 프레임(v2,t)의 에지(72)를 감지하고 상기 에지(72)를 따라 연장하도록 웨지렛 분리 라인(70)을 결정하고,
    상기 데이터 스트림(18)으로부터 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)를 재구성하는데 있어서, 상기 제 2 뷰의 비디오의 현재 프레임(v2,t)과 관련된, 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 깊이/디스패러티 맵(d2,t)의 현재 부분의 경계를 상기 웨지렛 분리 라인과 일치하도록 설정하게끔 구성되는, 디코더.
  11. 청구항 10에 있어서, 상기 디코더는, 상기 데이터 스트림(18)으로부터 상기 제 2 뷰의 맵/디스패러티 맵 데이터(162)를 재구성하는 것 이내에 예측을, 상기 현재 부분이 속하는 세그먼트들을 단위로 하여 세그먼트 방식으로(segment-wise) 상기 세그먼트들에 대한 예측 파라미터들의 별개의 세트(set)들을 이용하여, 실행하도록 구성되는, 디코더.
  12. 청구항 10에 있어서, 상기 디코더는, 상기 웨지렛 분리 라인(70)이 직선이도록 구성되고, 상기 디코더는 상기 웨지렛 분리 라인(70)을 따라 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 프리-세그멘테이션의 블록(66c)을 나눔으로써, 2개의 이웃하는 세그먼트들(72a, 72b)이 상기 프리-세그멘테이션의 블록(66c)을 함께 형성하는 웨지렛-형상 세그먼트들이 되도록 구성되는, 디코더.
  13. 디코더로서,
    데이터 스트림(18)으로부터 얻어진 제 1 코딩 파라미터들(461, 481, 501)에 따라, 제 1 뷰(view)(121)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 멀티-뷰 신호(10)의 제 1의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 1 교정 데이터(421,2)를 사용하여 상기 제 1 뷰(121)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 멀티-뷰 신호(10)의 제 1 뷰(121)를 재구성(106v,1, 106d,1)하고;
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 적어도 부분적으로 채택하거나 예측하며;
    상기 제 2 코딩 파라미터들에 따라, 제 2 뷰(122)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 2의 사전에 재구성된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 2 교정 데이터(423,4)를 사용하여 상기 제 2 뷰(122)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 멀티-뷰 신호(10)의 제 2 뷰(122)를 재구성(106v,2, 106d,2)하도록 구성되고,
    상기 디코더는, 상기 제 1 및 제 2 코딩 파라미터들이 각각, 상기 제 1 뷰의 현재 부분의 예측 및 상기 제 2 뷰의 현재 부분의 예측을 각각 제어하는 제 1 및 제 2 예측 파라미터들이 되도록 구성되는, 디코더.
  14. 청구항 13에 있어서, 상기 디코더는 상기 제 1 및 제 2 뷰들로부터 중간 뷰(intermediate view)(102)를 추출(108)하도록 또한 구성되는, 디코더.
  15. 청구항 13에 있어서, 상기 제 1 뷰(121) 및 상기 제 2 뷰(122)의 각각은 개별 카메라 위치로부터 캡쳐된 비디오(141,2) 및 관련된 깊이/디스패러티 맵 데이터(depth/disparity map data)(161,2)를 포함하는, 디코더.
  16. 청구항 15에 있어서, 상기 디코더는
    상기 제 1 코딩 파라미터들의 제 1 부분(461, 481, 501)에 따라, 상기 제 1 뷰(121)의 비디오(141)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 3의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 비디오(141)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 상기 제 1 교정 데이터(421,2)의 제 1 서브셋(subset)(421)을 사용하여 상기 제 1 뷰(121)의 비디오(141)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 1 뷰(121)의 비디오(141)를 재구성(106v,1)하고,
    상기 제 1 코딩 파라미터들의 제 1 부분으로부터 상기 제 1 코딩 파라미터들의 제 2 부분을 적어도 부분적으로 채택하거나 예측하며,
    상기 제 1 코딩 파라미터들의 상기 제 2 부분에 따라, 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티 뷰 신호(10)의 제 4의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분을 예측하고, 상기 제 1 교정 데이터의 제 2 서브셋(422)을 사용하여 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)를 재구성(106d,1)하도록 구성되는, 디코더.
  17. 청구항 16에 있어서,
    상기 제 1 코딩 파라미터들은 상기 제 1 뷰(121)의 비디오(141)의 프레임들의 세그멘테이션(segmentation)을 정의하고, 상기 디코더는 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)를 재구성하는데 있어서 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 프리-세그멘테이션(pre-segmentation)으로서 상기 제 1 뷰(121)의 비디오(141)의 프레임들의 세그멘테이션을 사용하도록 구성되는, 디코더.
  18. 청구항 16에 있어서, 상기 디코더는
    상기 제 1 뷰(121)의 비디오의 현재 프레임(v1,t)의 재구성된 부분을 사용하여 웨지렛 분리 라인(wedgelet separation line)(70)의 위치를 예측하고,
    상기 데이터 스트림(18)으로부터 상기 제 1 뷰의 깊이/디스패러티 맵 데이터(161)를 재구성하는데 있어서, 상기 제 1 뷰의 비디오의 현재 프레임(v1,t)과 관련된, 상기 제 1 뷰의 깊이/디스패러티 맵 데이터(161)의 깊이/디스패러티 맵(d1,t)의 현재 부분의 경계를, 상기 웨지렛 분리 라인과 일치되도록 설정하게끔 구성된, 디코더.
  19. 청구항 16에 있어서, 상기 디코더는
    상기 제 1 뷰의 비디오의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 비디오의 제 1의 사전에 재구성된 부분(v1,t-1)으로부터 상기 제 1 뷰(121)의 비디오의 현재 부분(60a)을 예측하고,
    상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터의 현재 부분(66a)의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터의 제 1의 사전에 재구성된 부분(d1,t-1)으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터의 현재 부분(66a)을 예측하도록 구성되는, 디코더.
  20. 청구항 15에 있어서, 상기 디코더는
    상기 제 1 코딩 파라미터들로부터 상기 제 2 코딩 파라미터들의 제 1 부분을 적어도 부분적으로 채택하거나 예측하고,
    상기 제 2 코딩 파라미터들의 제 1 부분에 따라, 상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 5의 사전에 재구성된 부분으로부터 상기 제 2 뷰(122)의 비디오(142)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 상기 제 2 교정 데이터의 제 1 서브셋(423)을 사용하여 상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 2 뷰(122)의 비디오(142)를 재구성(106v,2)하고,
    상기 제 1 코딩 파라미터들로부터 상기 제 2 코딩 파라미터들의 제 2 부분 및/또는 상기 제 2 코딩 파라미터들의 제 1 부분을 적어도 부분적으로 채택하거나 예측하며,
    상기 제 2 코딩 파라미터들의 제 2 부분에 따라, 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 6의 사전에 재구성된 부분으로부터 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분을 예측하고, 상기 제 2 교정 데이터의 제 2 서브셋(424)을 사용하여 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)를 재구성(106d,2)하도록 구성되는, 디코더.
  21. 청구항 20에 있어서, 상기 디코더는
    상기 데이터 스트림(18)으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)를 재구성(106d,1)하는데 있어서, 상기 제 1 뷰의 깊이/디스패러티 맵 데이터(161)에 제 1 웨지렛 분리 라인(70)을 사용하고;
    상기 제 2 뷰의 깊이/디스패러티 맵 데이터의 제 2 웨지렛 분리 라인용의 예측 변수(predictor)로서 상기 제 1 웨지렛 분리 라인(70)을 사용하거나, 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 제 2 웨지렛 분리 라인으로서 상기 제 1 웨지렛 분리 라인(70)을 채택하며,
    상기 데이터 스트림(18)으로부터 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)를 재구성하는데 있어서, 상기 제 2 뷰의 비디오의 현재 프레임(v2,t)과 관련된, 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 깊이/디스패러티 맵(d2,t)의 현재 부분의 경계를 상기 제 2 웨지렛 분리 라인과 일치하도록 설정하게끔 구성되는, 디코더.
  22. 청구항 20에 있어서, 상기 디코더는
    상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 재구성 이전에 상기 디코더에 의해 데이터 스트림(18)으로부터 재구성된, 상기 제 2 뷰(122)의 비디오(142)의 사전에 재구성된 부분(v2,t-1)으로부터, 또는 상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 비디오(141)의 제 2의 사전에 재구성된 부분(v1,t)으로부터 상기 제 2 뷰(122)의 비디오(142)의 현재 부분(74a; 74b)을 예측하고,
    상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 사전에 재구성된 부분(d2,t-1)으로부터, 또는 상기 제 2 뷰의 깊이/디스패러티 맵 데이터의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 제 2의 사전에 재구성된 부분(d1,t)으로부터 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분(80a; 80b)을 예측하도록 구성되는, 디코더.
  23. 청구항 20에 있어서, 상기 디코더는
    상기 제 2 뷰(122)의 비디오의 현재 프레임(v2,t)의 에지(72)를 감지하고 상기 에지(72)를 따라 연장하도록 웨지렛 분리 라인(70)을 결정하고,
    상기 데이터 스트림(18)으로부터 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)를 재구성하는데 있어서, 상기 제 2 뷰의 비디오의 현재 프레임(v2,t)과 관련된, 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 깊이/디스패러티 맵(d2,t)의 현재 부분의 경계를 상기 웨지렛 분리 라인과 일치하도록 설정하게끔 구성되는, 디코더.
  24. 청구항 23에 있어서, 상기 디코더는, 상기 데이터 스트림(18)으로부터 상기 제 2 뷰의 맵/디스패러티 맵 데이터(162)를 재구성하는 것 이내에 예측을, 상기 현재 부분이 속하는 세그먼트들을 단위로 하여 세그먼트 방식으로(segment-wise) 상기 세그먼트들에 대한 예측 파라미터들의 별개의 세트(set)들을 이용하여, 실행하도록 구성되는, 디코더.
  25. 청구항 23에 있어서, 상기 디코더는, 상기 웨지렛 분리 라인(70)이 직선이도록 구성되고, 상기 디코더는 상기 웨지렛 분리 라인(70)을 따라 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 프리-세그멘테이션의 블록(66c)을 나눔으로써, 2개의 이웃하는 세그먼트들(72a, 72b)이 상기 프리-세그멘테이션의 블록(66c)을 함께 형성하는 웨지렛-형상 세그먼트들이 되도록 구성되는, 디코더.
  26. 디코더로서,
    데이터 스트림(18)으로부터 얻어진 제 1 코딩 파라미터들(461, 481, 501)에 따라, 제 1 뷰(view)(121)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 멀티-뷰 신호(10)의 제 1의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 1 교정 데이터(421,2)를 사용하여 상기 제 1 뷰(121)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 멀티-뷰 신호(10)의 제 1 뷰(121)를 재구성(106v,1, 106d,1)하고;
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 적어도 부분적으로 채택하거나 예측하며;
    상기 제 2 코딩 파라미터들에 따라, 제 2 뷰(122)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 2의 사전에 재구성된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 2 교정 데이터(423,4)를 사용하여 상기 제 2 뷰(122)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 멀티-뷰 신호(10)의 제 2 뷰(122)를 재구성(106v,2, 106d,2)하도록 구성되고,
    상기 현재 부분들은 각각 상기 제 1 및 제 2 뷰의 비디오의 프레임들의 세그멘테이션의 세그먼트들인, 디코더.
  27. 청구항 26에 있어서, 상기 디코더는 상기 제 1 및 제 2 뷰들로부터 중간 뷰(intermediate view)(102)를 추출(108)하도록 또한 구성되는, 디코더.
  28. 청구항 26에 있어서, 상기 제 1 뷰(121) 및 상기 제 2 뷰(122)의 각각은 개별 카메라 위치로부터 캡쳐된 비디오(141,2) 및 관련된 깊이/디스패러티 맵 데이터(depth/disparity map data)(161,2)를 포함하는, 디코더.
  29. 청구항 28에 있어서, 상기 디코더는
    상기 제 1 코딩 파라미터들의 제 1 부분(461, 481, 501)에 따라, 상기 제 1 뷰(121)의 비디오(141)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 3의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 비디오(141)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 상기 제 1 교정 데이터(421,2)의 제 1 서브셋(subset)(421)을 사용하여 상기 제 1 뷰(121)의 비디오(141)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 1 뷰(121)의 비디오(141)를 재구성(106v,1)하고,
    상기 제 1 코딩 파라미터들의 제 1 부분으로부터 상기 제 1 코딩 파라미터들의 제 2 부분을 적어도 부분적으로 채택하거나 예측하며,
    상기 제 1 코딩 파라미터들의 상기 제 2 부분에 따라, 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티 뷰 신호(10)의 제 4의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분을 예측하고, 상기 제 1 교정 데이터의 제 2 서브셋(422)을 사용하여 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)를 재구성(106d,1)하도록 구성되는, 디코더.
  30. 청구항 29에 있어서,
    상기 제 1 코딩 파라미터들은 상기 제 1 뷰(121)의 비디오(141)의 프레임들의 세그멘테이션(segmentation)을 정의하고, 상기 디코더는 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)를 재구성하는데 있어서 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 프리-세그멘테이션(pre-segmentation)으로서 상기 제 1 뷰(121)의 비디오(141)의 프레임들의 세그멘테이션을 사용하도록 구성되는, 디코더.
  31. 청구항 29에 있어서, 상기 디코더는
    상기 제 1 뷰(121)의 비디오의 현재 프레임(v1,t)의 재구성된 부분을 사용하여 웨지렛 분리 라인(wedgelet separation line)(70)의 위치를 예측하고,
    상기 데이터 스트림(18)으로부터 상기 제 1 뷰의 깊이/디스패러티 맵 데이터(161)를 재구성하는데 있어서, 상기 제 1 뷰의 비디오의 현재 프레임(v1,t)과 관련된, 상기 제 1 뷰의 깊이/디스패러티 맵 데이터(161)의 깊이/디스패러티 맵(d1,t)의 현재 부분의 경계를, 상기 웨지렛 분리 라인과 일치되도록 설정하게끔 구성된, 디코더.
  32. 청구항 29에 있어서, 상기 디코더는
    상기 제 1 뷰의 비디오의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 비디오의 제 1의 사전에 재구성된 부분(v1,t-1)으로부터 상기 제 1 뷰(121)의 비디오의 현재 부분(60a)을 예측하고,
    상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터의 현재 부분(66a)의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터의 제 1의 사전에 재구성된 부분(d1,t-1)으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터의 현재 부분(66a)을 예측하도록 구성되는, 디코더.
  33. 청구항 28에 있어서, 상기 디코더는
    상기 제 1 코딩 파라미터들로부터 상기 제 2 코딩 파라미터들의 제 1 부분을 적어도 부분적으로 채택하거나 예측하고,
    상기 제 2 코딩 파라미터들의 제 1 부분에 따라, 상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 5의 사전에 재구성된 부분으로부터 상기 제 2 뷰(122)의 비디오(142)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 상기 제 2 교정 데이터의 제 1 서브셋(423)을 사용하여 상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 2 뷰(122)의 비디오(142)를 재구성(106v,2)하고,
    상기 제 1 코딩 파라미터들로부터 상기 제 2 코딩 파라미터들의 제 2 부분 및/또는 상기 제 2 코딩 파라미터들의 제 1 부분을 적어도 부분적으로 채택하거나 예측하며,
    상기 제 2 코딩 파라미터들의 제 2 부분에 따라, 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 6의 사전에 재구성된 부분으로부터 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분을 예측하고, 상기 제 2 교정 데이터의 제 2 서브셋(424)을 사용하여 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)를 재구성(106d,2)하도록 구성되는, 디코더.
  34. 청구항 33에 있어서, 상기 디코더는
    상기 데이터 스트림(18)으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)를 재구성(106d,1)하는데 있어서, 상기 제 1 뷰의 깊이/디스패러티 맵 데이터(161)에 제 1 웨지렛 분리 라인(70)을 사용하고;
    상기 제 2 뷰의 깊이/디스패러티 맵 데이터의 제 2 웨지렛 분리 라인용의 예측 변수(predictor)로서 상기 제 1 웨지렛 분리 라인(70)을 사용하거나, 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 제 2 웨지렛 분리 라인으로서 상기 제 1 웨지렛 분리 라인(70)을 채택하며,
    상기 데이터 스트림(18)으로부터 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)를 재구성하는데 있어서, 상기 제 2 뷰의 비디오의 현재 프레임(v2,t)과 관련된, 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 깊이/디스패러티 맵(d2,t)의 현재 부분의 경계를 상기 제 2 웨지렛 분리 라인과 일치하도록 설정하게끔 구성되는, 디코더.
  35. 청구항 33에 있어서, 상기 디코더는
    상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 재구성 이전에 상기 디코더에 의해 데이터 스트림(18)으로부터 재구성된, 상기 제 2 뷰(122)의 비디오(142)의 사전에 재구성된 부분(v2,t-1)으로부터, 또는 상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 비디오(141)의 제 2의 사전에 재구성된 부분(v1,t)으로부터 상기 제 2 뷰(122)의 비디오(142)의 현재 부분(74a; 74b)을 예측하고,
    상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 사전에 재구성된 부분(d2,t-1)으로부터, 또는 상기 제 2 뷰의 깊이/디스패러티 맵 데이터의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 제 2의 사전에 재구성된 부분(d1,t)으로부터 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분(80a; 80b)을 예측하도록 구성되는, 디코더.
  36. 청구항 33에 있어서, 상기 디코더는
    상기 제 2 뷰(122)의 비디오의 현재 프레임(v2,t)의 에지(72)를 감지하고 상기 에지(72)를 따라 연장하도록 웨지렛 분리 라인(70)을 결정하고,
    상기 데이터 스트림(18)으로부터 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)를 재구성하는데 있어서, 상기 제 2 뷰의 비디오의 현재 프레임(v2,t)과 관련된, 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 깊이/디스패러티 맵(d2,t)의 현재 부분의 경계를 상기 웨지렛 분리 라인과 일치하도록 설정하게끔 구성되는, 디코더.
  37. 청구항 36에 있어서, 상기 디코더는, 상기 데이터 스트림(18)으로부터 상기 제 2 뷰의 맵/디스패러티 맵 데이터(162)를 재구성하는 것 이내에 예측을, 상기 현재 부분이 속하는 세그먼트들을 단위로 하여 세그먼트 방식으로(segment-wise) 상기 세그먼트들에 대한 예측 파라미터들의 별개의 세트(set)들을 이용하여, 실행하도록 구성되는, 디코더.
  38. 청구항 36에 있어서, 상기 디코더는, 상기 웨지렛 분리 라인(70)이 직선이도록 구성되고, 상기 디코더는 상기 웨지렛 분리 라인(70)을 따라 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 프리-세그멘테이션의 블록(66c)을 나눔으로써, 2개의 이웃하는 세그먼트들(72a, 72b)이 상기 프리-세그멘테이션의 블록(66c)을 함께 형성하는 웨지렛-형상 세그먼트들이 되도록 구성되는, 디코더.
  39. 디코더로서,
    데이터 스트림(18)으로부터 얻어진 제 1 코딩 파라미터들(461, 481, 501)에 따라, 제 1 뷰(view)(121)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 멀티-뷰 신호(10)의 제 1의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 1 교정 데이터(421,2)를 사용하여 상기 제 1 뷰(121)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 멀티-뷰 신호(10)의 제 1 뷰(121)를 재구성(106v,1, 106d,1)하고;
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 적어도 부분적으로 채택하거나 예측하며;
    상기 제 2 코딩 파라미터들에 따라, 제 2 뷰(122)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 2의 사전에 재구성된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 2 교정 데이터(423,4)를 사용하여 상기 제 2 뷰(122)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 멀티-뷰 신호(10)의 제 2 뷰(122)를 재구성(106v,2, 106d,2)하도록 구성되고,
    상기 디코더는 제 1 공간적 해상도에서 그것의 현재 부분의 예측 및 교정을 실행하는 것에 의해 상기 데이터 스트림으로부터 상기 멀티-뷰 신호(10)의 제 1 뷰(121)를 재구성하도록 그리고, 상기 제 1 공간적 해상도보다 낮은 제 2 공간적 해상도에서 그것의 상기 현재 부분의 예측 및 교정을 실행한 후 상기 제 2 공간적 해상도로부터 제 1 공간적 해상도로 상기 제 2 뷰의 재구성된 현재 부분을 업-샘플링(up-sampling)하는 것에 의해, 상기 데이터 스트림으로부터 상기 멀티-뷰 신호(10)의 제 2 뷰(122)를 재구성하도록 구성되는, 디코더.
  40. 청구항 39에 있어서, 상기 디코더는, 상기 제 1 코딩 파라미터들로부터 상기 제 2 코딩 파라미터들을 적어도 부분적으로 채택하거나 예측하는데 있어서, 상기 제 1 공간적 해상도와 상기 제 2 공간적 해상도 간의 비율에 따라 상기 제 1 코딩 파라미터들을 스케일링(scaling)하도록 구성되는, 디코더.
  41. 청구항 39에 있어서, 상기 디코더는 상기 제 1 및 제 2 뷰들로부터 중간 뷰(intermediate view)(102)를 추출(108)하도록 또한 구성되는, 디코더.
  42. 청구항 39에 있어서, 상기 제 1 뷰(121) 및 상기 제 2 뷰(122)의 각각은 개별 카메라 위치로부터 캡쳐된 비디오(141,2) 및 관련된 깊이/디스패러티 맵 데이터(depth/disparity map data)(161,2)를 포함하는, 디코더.
  43. 청구항 42에 있어서, 상기 디코더는
    상기 제 1 코딩 파라미터들의 제 1 부분(461, 481, 501)에 따라, 상기 제 1 뷰(121)의 비디오(141)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 3의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 비디오(141)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 상기 제 1 교정 데이터(421,2)의 제 1 서브셋(subset)(421)을 사용하여 상기 제 1 뷰(121)의 비디오(141)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 1 뷰(121)의 비디오(141)를 재구성(106v,1)하고,
    상기 제 1 코딩 파라미터들의 제 1 부분으로부터 상기 제 1 코딩 파라미터들의 제 2 부분을 적어도 부분적으로 채택하거나 예측하며,
    상기 제 1 코딩 파라미터들의 상기 제 2 부분에 따라, 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티 뷰 신호(10)의 제 4의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분을 예측하고, 상기 제 1 교정 데이터의 제 2 서브셋(422)을 사용하여 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)를 재구성(106d,1)하도록 구성되는, 디코더.
  44. 청구항 43에 있어서,
    상기 제 1 코딩 파라미터들은 상기 제 1 뷰(121)의 비디오(141)의 프레임들의 세그멘테이션(segmentation)을 정의하고, 상기 디코더는 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)를 재구성하는데 있어서 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 프리-세그멘테이션(pre-segmentation)으로서 상기 제 1 뷰(121)의 비디오(141)의 프레임들의 세그멘테이션을 사용하도록 구성되는, 디코더.
  45. 청구항 43에 있어서, 상기 디코더는
    상기 제 1 뷰(121)의 비디오의 현재 프레임(v1,t)의 재구성된 부분을 사용하여 웨지렛 분리 라인(wedgelet separation line)(70)의 위치를 예측하고,
    상기 데이터 스트림(18)으로부터 상기 제 1 뷰의 깊이/디스패러티 맵 데이터(161)를 재구성하는데 있어서, 상기 제 1 뷰의 비디오의 현재 프레임(v1,t)과 관련된, 상기 제 1 뷰의 깊이/디스패러티 맵 데이터(161)의 깊이/디스패러티 맵(d1,t)의 현재 부분의 경계를, 상기 웨지렛 분리 라인과 일치되도록 설정하게끔 구성된, 디코더.
  46. 청구항 43에 있어서, 상기 디코더는
    상기 제 1 뷰의 비디오의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 비디오의 제 1의 사전에 재구성된 부분(v1,t-1)으로부터 상기 제 1 뷰(121)의 비디오의 현재 부분(60a)을 예측하고,
    상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터의 현재 부분(66a)의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터의 제 1의 사전에 재구성된 부분(d1,t-1)으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터의 현재 부분(66a)을 예측하도록 구성되는, 디코더.
  47. 청구항 42에 있어서, 상기 디코더는
    상기 제 1 코딩 파라미터들로부터 상기 제 2 코딩 파라미터들의 제 1 부분을 적어도 부분적으로 채택하거나 예측하고,
    상기 제 2 코딩 파라미터들의 제 1 부분에 따라, 상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 5의 사전에 재구성된 부분으로부터 상기 제 2 뷰(122)의 비디오(142)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 상기 제 2 교정 데이터의 제 1 서브셋(423)을 사용하여 상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 2 뷰(122)의 비디오(142)를 재구성(106v,2)하고,
    상기 제 1 코딩 파라미터들로부터 상기 제 2 코딩 파라미터들의 제 2 부분 및/또는 상기 제 2 코딩 파라미터들의 제 1 부분을 적어도 부분적으로 채택하거나 예측하며,
    상기 제 2 코딩 파라미터들의 제 2 부분에 따라, 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 6의 사전에 재구성된 부분으로부터 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분을 예측하고, 상기 제 2 교정 데이터의 제 2 서브셋(424)을 사용하여 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)를 재구성(106d,2)하도록 구성되는, 디코더.
  48. 청구항 47에 있어서, 상기 디코더는
    상기 데이터 스트림(18)으로부터 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)를 재구성(106d,1)하는데 있어서, 상기 제 1 뷰의 깊이/디스패러티 맵 데이터(161)에 제 1 웨지렛 분리 라인(70)을 사용하고;
    상기 제 2 뷰의 깊이/디스패러티 맵 데이터의 제 2 웨지렛 분리 라인용의 예측 변수(predictor)로서 상기 제 1 웨지렛 분리 라인(70)을 사용하거나, 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 제 2 웨지렛 분리 라인으로서 상기 제 1 웨지렛 분리 라인(70)을 채택하며,
    상기 데이터 스트림(18)으로부터 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)를 재구성하는데 있어서, 상기 제 2 뷰의 비디오의 현재 프레임(v2,t)과 관련된, 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 깊이/디스패러티 맵(d2,t)의 현재 부분의 경계를 상기 제 2 웨지렛 분리 라인과 일치하도록 설정하게끔 구성되는, 디코더.
  49. 청구항 47에 있어서, 상기 디코더는
    상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 재구성 이전에 상기 디코더에 의해 데이터 스트림(18)으로부터 재구성된, 상기 제 2 뷰(122)의 비디오(142)의 사전에 재구성된 부분(v2,t-1)으로부터, 또는 상기 제 2 뷰(122)의 비디오(142)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 비디오(141)의 제 2의 사전에 재구성된 부분(v1,t)으로부터 상기 제 2 뷰(122)의 비디오(142)의 현재 부분(74a; 74b)을 예측하고,
    상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 사전에 재구성된 부분(d2,t-1)으로부터, 또는 상기 제 2 뷰의 깊이/디스패러티 맵 데이터의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 제 1 뷰(121)의 깊이/디스패러티 맵 데이터(161)의 제 2의 사전에 재구성된 부분(d1,t)으로부터 상기 제 2 뷰(122)의 깊이/디스패러티 맵 데이터(162)의 현재 부분(80a; 80b)을 예측하도록 구성되는, 디코더.
  50. 청구항 47에 있어서, 상기 디코더는
    상기 제 2 뷰(122)의 비디오의 현재 프레임(v2,t)의 에지(72)를 감지하고 상기 에지(72)를 따라 연장하도록 웨지렛 분리 라인(70)을 결정하고,
    상기 데이터 스트림(18)으로부터 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)를 재구성하는데 있어서, 상기 제 2 뷰의 비디오의 현재 프레임(v2,t)과 관련된, 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 깊이/디스패러티 맵(d2,t)의 현재 부분의 경계를 상기 웨지렛 분리 라인과 일치하도록 설정하게끔 구성되는, 디코더.
  51. 청구항 50에 있어서, 상기 디코더는, 상기 데이터 스트림(18)으로부터 상기 제 2 뷰의 맵/디스패러티 맵 데이터(162)를 재구성하는 것 이내에 예측을, 상기 현재 부분이 속하는 세그먼트들을 단위로 하여 세그먼트 방식으로(segment-wise) 상기 세그먼트들에 대한 예측 파라미터들의 별개의 세트(set)들을 이용하여, 실행하도록 구성되는, 디코더.
  52. 청구항 50에 있어서, 상기 디코더는, 상기 웨지렛 분리 라인(70)이 직선이도록 구성되고, 상기 디코더는 상기 웨지렛 분리 라인(70)을 따라 상기 제 2 뷰의 깊이/디스패러티 맵 데이터(162)의 프리-세그멘테이션의 블록(66c)을 나눔으로써, 2개의 이웃하는 세그먼트들(72a, 72b)이 상기 프리-세그멘테이션의 블록(66c)을 함께 형성하는 웨지렛-형상 세그먼트들이 되도록 구성되는, 디코더.
  53. 인코더로서,
    제 1 코딩 파라미터들을 결정하고,
    상기 제 1 코딩 파라미터들에 따라, 제 1 뷰의 현재 부분의 인코딩 이전에 상기 인코더에 의해 데이터 스트림 내로 인코딩된, 멀티-뷰 신호의 제 1의 사전에 인코딩된 부분으로부터의 상기 제 1 뷰의 현재 부분을 예측하고, 제 1 교정 데이터를 얻기 위해 상기 제 1 뷰의 현재 부분의 예측의 예측 오류를 결정하며,
    데이터 스트림내로 상기 제 1 코딩 파라미터들 및 상기 제 1 교정 데이터를 삽입하는 것에 의해,
    상기 데이터 스트림내로 상기 멀티-뷰 신호의 상기 제 1 뷰를 인코딩하고;
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 채택하거나 예측하는 것에 의해 상기 제 2 코딩 파라미터들을 결정하고,
    상기 제 2 코딩 파라미터들에 따라, 상기 제 2 뷰의 현재 부분의 인코딩 이전에 상기 인코더에 의해 상기 데이터 스트림내로 인코딩된, 상기 멀티-뷰 신호의 제 2의 사전에 인코딩된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림에 포함된 제 2 교정 데이터를 얻기 위해 상기 제 2 뷰의 현재 부분의 예측의 예측 오류를 결정하며,
    상기 데이터 스트림내로 상기 제 2 교정 데이터를 삽입하는 것에 의해,
    상기 데이터 스트림내로 상기 멀티-뷰 신호의 상기 제 2 뷰를 인코딩하도록 구성되고,
    상기 인코더는, 상기 제 1 및 제 2 코딩 파라미터들이 각각, 상기 제 1 뷰의 현재 부분의 예측 및 상기 제 2 뷰의 현재 부분의 예측을 각각 제어하는 제 1 및 제 2 예측 파라미터들이 되도록 구성되는, 인코더.
  54. 인코더로서,
    제 1 코딩 파라미터들을 결정하고,
    상기 제 1 코딩 파라미터들에 따라, 제 1 뷰의 현재 부분의 인코딩 이전에 상기 인코더에 의해 데이터 스트림 내로 인코딩된, 멀티-뷰 신호의 제 1의 사전에 인코딩된 부분으로부터의 상기 제 1 뷰의 현재 부분을 예측하고, 제 1 교정 데이터를 얻기 위해 상기 제 1 뷰의 현재 부분의 예측의 예측 오류를 결정하며,
    데이터 스트림내로 상기 제 1 코딩 파라미터들 및 상기 제 1 교정 데이터를 삽입하는 것에 의해,
    상기 데이터 스트림내로 상기 멀티-뷰 신호의 상기 제 1 뷰를 인코딩하고;
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 채택하거나 예측하는 것에 의해 상기 제 2 코딩 파라미터들을 결정하고,
    상기 제 2 코딩 파라미터들에 따라, 상기 제 2 뷰의 현재 부분의 인코딩 이전에 상기 인코더에 의해 상기 데이터 스트림내로 인코딩된, 상기 멀티-뷰 신호의 제 2의 사전에 인코딩된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림에 포함된 제 2 교정 데이터를 얻기 위해 상기 제 2 뷰의 현재 부분의 예측의 예측 오류를 결정하며,
    상기 데이터 스트림내로 상기 제 2 교정 데이터를 삽입하는 것에 의해,
    상기 데이터 스트림내로 상기 멀티-뷰 신호의 상기 제 2 뷰를 인코딩하도록 구성되고,
    상기 현재 부분들은 각각 상기 제 1 및 제 2 뷰의 비디오의 프레임들의 세그멘테이션의 세그먼트들인, 인코더.
  55. 인코더로서,
    제 1 코딩 파라미터들을 결정하고,
    상기 제 1 코딩 파라미터들에 따라, 제 1 뷰의 현재 부분의 인코딩 이전에 상기 인코더에 의해 데이터 스트림 내로 인코딩된, 멀티-뷰 신호의 제 1의 사전에 인코딩된 부분으로부터의 상기 제 1 뷰의 현재 부분을 예측하고, 제 1 교정 데이터를 얻기 위해 상기 제 1 뷰의 현재 부분의 예측의 예측 오류를 결정하며,
    데이터 스트림내로 상기 제 1 코딩 파라미터들 및 상기 제 1 교정 데이터를 삽입하는 것에 의해,
    상기 데이터 스트림내로 상기 멀티-뷰 신호의 상기 제 1 뷰를 인코딩하고;
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 채택하거나 예측하는 것에 의해 상기 제 2 코딩 파라미터들을 결정하고,
    상기 제 2 코딩 파라미터들에 따라, 상기 제 2 뷰의 현재 부분의 인코딩 이전에 상기 인코더에 의해 상기 데이터 스트림내로 인코딩된, 상기 멀티-뷰 신호의 제 2의 사전에 인코딩된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림에 포함된 제 2 교정 데이터를 얻기 위해 상기 제 2 뷰의 현재 부분의 예측의 예측 오류를 결정하며,
    상기 데이터 스트림내로 상기 제 2 교정 데이터를 삽입하는 것에 의해,
    상기 데이터 스트림내로 상기 멀티-뷰 신호의 상기 제 2 뷰를 인코딩하도록 구성되고,
    상기 인코더는 제 1 공간적 해상도에서 그것의 현재 부분의 예측 에러의 예측 및 결정을 실행하는 것에 의해 상기 데이터 스트림으로 상기 멀티-뷰 신호(10)의 제 1 뷰(121)를 인코딩하도록 그리고, 상기 제 1 공간적 해상도보다 낮은 제 2 공간적 해상도에서 그것의 상기 현재 부분의 예측 에러의 예측 및 결정을 실행한 후 상기 제 2 공간적 해상도로부터 제 1 공간적 해상도로 상기 제 2 뷰의 재구성된 현재 부분을 업-샘플링(up-sampling)하는 것에 의해, 상기 데이터 스트림으로 상기 멀티-뷰 신호(10)의 제 2 뷰(122)를 인코딩하도록 구성되는, 인코더.
  56. 디코딩 방법으로서,
    데이터 스트림(18)으로부터 얻어진 제 1 코딩 파라미터들(461, 481, 501)에 따라, 제 1 뷰(121)의 현재 부분의 재구성 이전에 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 멀티-뷰 신호(10)의 제 1의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 1 교정 데이터(421,2)를 사용하여 상기 제 1 뷰(121)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 멀티-뷰 신호(10)의 상기 제 1 뷰(121)를 재구성하는 단계(106v,1, 106d,1);
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 적어도 부분적으로 채택하거나 예측하는 단계;
    상기 제 2 코딩 파라미터들에 따라, 제 2 뷰(122)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 2의 사전에 재구성된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 2 교정 데이터(423,4)를 사용하여 상기 제 2 뷰(122)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 멀티-뷰 신호(10)의 상기 제 2 뷰(122)를 재구성하는 단계(106v,2, 106d,2)를 포함하고,
    상기 제 1 및 제 2 코딩 파라미터들이 각각, 상기 제 1 뷰의 현재 부분의 예측 및 상기 제 2 뷰의 현재 부분의 예측을 각각 제어하는 제 1 및 제 2 예측 파라미터들인, 디코딩 방법.
  57. 디코딩 방법으로서,
    데이터 스트림(18)으로부터 얻어진 제 1 코딩 파라미터들(461, 481, 501)에 따라, 제 1 뷰(121)의 현재 부분의 재구성 이전에 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 멀티-뷰 신호(10)의 제 1의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 1 교정 데이터(421,2)를 사용하여 상기 제 1 뷰(121)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 멀티-뷰 신호(10)의 상기 제 1 뷰(121)를 재구성하는 단계(106v,1, 106d,1);
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 적어도 부분적으로 채택하거나 예측하는 단계;
    상기 제 2 코딩 파라미터들에 따라, 제 2 뷰(122)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 2의 사전에 재구성된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 2 교정 데이터(423,4)를 사용하여 상기 제 2 뷰(122)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 멀티-뷰 신호(10)의 상기 제 2 뷰(122)를 재구성하는 단계(106v,2, 106d,2)를 포함하고,
    상기 현재 부분들은 각각 상기 제 1 및 제 2 뷰의 비디오의 프레임들의 세그멘테이션의 세그먼트들인, 디코딩 방법.
  58. 디코딩 방법으로서,
    데이터 스트림(18)으로부터 얻어진 제 1 코딩 파라미터들(461, 481, 501)에 따라, 제 1 뷰(121)의 현재 부분의 재구성 이전에 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 멀티-뷰 신호(10)의 제 1의 사전에 재구성된 부분으로부터 상기 제 1 뷰(121)의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 1 교정 데이터(421,2)를 사용하여 상기 제 1 뷰(121)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 멀티-뷰 신호(10)의 상기 제 1 뷰(121)를 재구성하는 단계(106v,1, 106d,1);
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 적어도 부분적으로 채택하거나 예측하는 단계;
    상기 제 2 코딩 파라미터들에 따라, 제 2 뷰(122)의 현재 부분의 재구성 이전에 상기 디코더에 의해 상기 데이터 스트림(18)으로부터 재구성된, 상기 멀티-뷰 신호(10)의 제 2의 사전에 재구성된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림(18)에 포함된 제 2 교정 데이터(423,4)를 사용하여 상기 제 2 뷰(122)의 현재 부분의 예측의 예측 오류를 교정하는 것에 의해, 상기 데이터 스트림(18)으로부터 상기 멀티-뷰 신호(10)의 상기 제 2 뷰(122)를 재구성하는 단계(106v,2, 106d,2)를 포함하고,
    상기 멀티-뷰 신호(10)의 제 1 뷰(121)는, 제 1 공간적 해상도에서 그것의 현재 부분의 예측 및 교정을 실행하는 것에 의해 상기 데이터 스트림으로부터 재구성되고, 상기 멀티-뷰 신호(10)의 제 2 뷰(122)는, 상기 제 1 공간적 해상도보다 낮은 제 2 공간적 해상도에서 그것의 상기 현재 부분의 예측 및 교정을 실행한 후 상기 제 2 공간적 해상도로부터 제 1 공간적 해상도로 상기 제 2 뷰의 재구성된 현재 부분을 업-샘플링(up-sampling)하는 것에 의해, 상기 데이터 스트림으로부터 재구성되는, 디코딩 방법.
  59. 인코딩 방법으로서,
    제 1 코딩 파라미터들을 결정하고,
    상기 제 1 코딩 파라미터들에 따라, 제 1 뷰의 현재 부분의 인코딩 이전에 인코더에 의해 데이터 스트림 내로 인코딩된, 멀티-뷰 신호의 제 1의 사전에 인코딩된 부분으로부터 상기 제 1 뷰의 현재 부분을 예측하고, 제 1 교정 데이터를 얻기 위해 상기 제 1 뷰의 현재 부분의 예측의 예측 오류를 결정하며,
    데이터 스트림내로 상기 제 1 코딩 파라미터들 및 상기 제 1 교정 데이터를 삽입하는 것에 의해,
    상기 데이터 스트림내로 상기 멀티-뷰 신호의 제 1 뷰를 인코딩하는 단계; 및
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 채택하거나 예측하는 것에 의해 상기 제 2 코딩 파라미터들을 결정하고,
    상기 제 2 코딩 파라미터들에 따라, 상기 제 2 뷰의 현재 부분의 인코딩 이전에 상기 인코더에 의해 상기 데이터 스트림에 인코딩된, 상기 멀티-뷰 신호의 제 2의 사전에 인코딩된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림에 포함된 제 2 교정 데이터를 얻기 위해 상기 제 2 뷰의 현재 부분의 예측의 예측 오류를 결정하며,
    상기 데이터 스트림내로 상기 제 2 교정 데이터를 삽입하는 것에 의해,
    상기 데이터 스트림내로 상기 멀티-뷰 신호의 상기 제 2 뷰를 인코딩하는 단계를 포함하고,
    상기 제 1 및 제 2 코딩 파라미터들이 각각, 상기 제 1 뷰의 현재 부분의 예측 및 상기 제 2 뷰의 현재 부분의 예측을 각각 제어하는 제 1 및 제 2 예측 파라미터들인, 인코딩 방법.
  60. 인코딩 방법으로서,
    제 1 코딩 파라미터들을 결정하고,
    상기 제 1 코딩 파라미터들에 따라, 제 1 뷰의 현재 부분의 인코딩 이전에 인코더에 의해 데이터 스트림 내로 인코딩된, 멀티-뷰 신호의 제 1의 사전에 인코딩된 부분으로부터 상기 제 1 뷰의 현재 부분을 예측하고, 제 1 교정 데이터를 얻기 위해 상기 제 1 뷰의 현재 부분의 예측의 예측 오류를 결정하며,
    데이터 스트림내로 상기 제 1 코딩 파라미터들 및 상기 제 1 교정 데이터를 삽입하는 것에 의해,
    상기 데이터 스트림내로 상기 멀티-뷰 신호의 제 1 뷰를 인코딩하는 단계; 및
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 채택하거나 예측하는 것에 의해 상기 제 2 코딩 파라미터들을 결정하고,
    상기 제 2 코딩 파라미터들에 따라, 상기 제 2 뷰의 현재 부분의 인코딩 이전에 상기 인코더에 의해 상기 데이터 스트림에 인코딩된, 상기 멀티-뷰 신호의 제 2의 사전에 인코딩된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림에 포함된 제 2 교정 데이터를 얻기 위해 상기 제 2 뷰의 현재 부분의 예측의 예측 오류를 결정하며,
    상기 데이터 스트림내로 상기 제 2 교정 데이터를 삽입하는 것에 의해,
    상기 데이터 스트림내로 상기 멀티-뷰 신호의 상기 제 2 뷰를 인코딩하는 단계를 포함하고,
    상기 현재 부분들은 각각 상기 제 1 및 제 2 뷰의 비디오의 프레임들의 세그멘테이션의 세그먼트들인, 인코딩 방법.
  61. 인코딩 방법으로서,
    제 1 코딩 파라미터들을 결정하고,
    상기 제 1 코딩 파라미터들에 따라, 제 1 뷰의 현재 부분의 인코딩 이전에 인코더에 의해 데이터 스트림 내로 인코딩된, 멀티-뷰 신호의 제 1의 사전에 인코딩된 부분으로부터 상기 제 1 뷰의 현재 부분을 예측하고, 제 1 교정 데이터를 얻기 위해 상기 제 1 뷰의 현재 부분의 예측의 예측 오류를 결정하며,
    데이터 스트림내로 상기 제 1 코딩 파라미터들 및 상기 제 1 교정 데이터를 삽입하는 것에 의해,
    상기 데이터 스트림내로 상기 멀티-뷰 신호의 제 1 뷰를 인코딩하는 단계; 및
    상기 제 1 코딩 파라미터들로부터 제 2 코딩 파라미터들을 채택하거나 예측하는 것에 의해 상기 제 2 코딩 파라미터들을 결정하고,
    상기 제 2 코딩 파라미터들에 따라, 상기 제 2 뷰의 현재 부분의 인코딩 이전에 상기 인코더에 의해 상기 데이터 스트림에 인코딩된, 상기 멀티-뷰 신호의 제 2의 사전에 인코딩된 부분으로부터 상기 제 2 뷰의 현재 부분을 예측하고, 상기 데이터 스트림에 포함된 제 2 교정 데이터를 얻기 위해 상기 제 2 뷰의 현재 부분의 예측의 예측 오류를 결정하며,
    상기 데이터 스트림내로 상기 제 2 교정 데이터를 삽입하는 것에 의해,
    상기 데이터 스트림내로 상기 멀티-뷰 신호의 상기 제 2 뷰를 인코딩하는 단계를 포함하고,
    상기 멀티-뷰 신호(10)의 제 1 뷰(121)는, 제 1 공간적 해상도에서 그것의 현재 부분의 예측 에러의 예측 및 결정을 실행하는 것에 의해 상기 데이터 스트림으로 인코딩되고, 상기 멀티-뷰 신호(10)의 제 2 뷰(122)는, 상기 제 1 공간적 해상도보다 낮은 제 2 공간적 해상도에서 그것의 상기 현재 부분의 예측 에러의 예측 및 결정을 실행한 후 상기 제 2 공간적 해상도로부터 제 1 공간적 해상도로 상기 제 2 뷰의 재구성된 현재 부분을 업-샘플링(up-sampling)하는 것에 의해, 상기 데이터 스트림으로 인코딩되는, 인코딩 방법.
KR1020137006006A 2010-08-11 2011-08-11 멀티-뷰 신호 코덱 KR101483380B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US37278510P 2010-08-11 2010-08-11
US61/372,785 2010-08-11
PCT/EP2011/063852 WO2012020092A1 (en) 2010-08-11 2011-08-11 Multi-view signal codec

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020147021820A Division KR101781254B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱

Publications (2)

Publication Number Publication Date
KR20130055659A KR20130055659A (ko) 2013-05-28
KR101483380B1 true KR101483380B1 (ko) 2015-01-15

Family

ID=44504420

Family Applications (9)

Application Number Title Priority Date Filing Date
KR1020207033953A KR102331748B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020137006006A KR101483380B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020197034902A KR102185765B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020177026007A KR101913993B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020227041455A KR102588146B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020237034100A KR20230145537A (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020147021820A KR101781254B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020187030649A KR102051771B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020217038030A KR102472533B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207033953A KR102331748B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱

Family Applications After (7)

Application Number Title Priority Date Filing Date
KR1020197034902A KR102185765B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020177026007A KR101913993B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020227041455A KR102588146B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020237034100A KR20230145537A (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020147021820A KR101781254B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020187030649A KR102051771B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱
KR1020217038030A KR102472533B1 (ko) 2010-08-11 2011-08-11 멀티-뷰 신호 코덱

Country Status (14)

Country Link
US (6) US9648298B2 (ko)
EP (3) EP3349464B1 (ko)
JP (7) JP2013533714A (ko)
KR (9) KR102331748B1 (ko)
CN (4) CN107257484B (ko)
DK (1) DK2604036T3 (ko)
ES (1) ES2671596T3 (ko)
HK (3) HK1244141A1 (ko)
HU (1) HUE037750T2 (ko)
NO (1) NO2604036T3 (ko)
PL (1) PL2604036T3 (ko)
PT (1) PT2604036T (ko)
TR (1) TR201807638T4 (ko)
WO (1) WO2012020092A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220163520A (ko) * 2010-08-11 2022-12-09 지이 비디오 컴프레션, 엘엘씨 멀티-뷰 신호 코덱

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
EP3484154A1 (en) 2006-10-25 2019-05-15 GE Video Compression, LLC Quality scalable coding
CA2827621C (en) 2011-03-18 2019-02-26 Sony Corporation Image processing apparatus and image processing method
MX358407B (es) 2011-08-31 2018-08-20 Sony Corp Dispositivo de codificacion, metodo de codificacion, dispositivo de descodificacion y metodo de descodificacion.
US20140321546A1 (en) * 2011-08-31 2014-10-30 Sony Corporation Image processing apparatus and image processing method
CN109257597B (zh) 2011-11-11 2023-05-16 Ge视频压缩有限责任公司 解码器、编码器及解码视频的方法
WO2013068562A1 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Effective wedgelet partition coding
EP4161078A1 (en) 2011-11-11 2023-04-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
KR102344178B1 (ko) 2011-11-11 2021-12-29 지이 비디오 컴프레션, 엘엘씨 분할 코딩을 이용한 효과적인 예측
CN104185993B (zh) * 2012-03-30 2019-02-12 索尼公司 图像处理设备和方法以及记录介质
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
US20130329800A1 (en) * 2012-06-07 2013-12-12 Samsung Electronics Co., Ltd. Method of performing prediction for multiview video processing
US9648347B1 (en) * 2012-06-14 2017-05-09 Pixelworks, Inc. Disparity postprocessing and interpolation for motion estimation and motion correction
JP6046246B2 (ja) * 2012-07-02 2016-12-14 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄビデオコーディングのための深度マップのイントラコーディング
JP2014027448A (ja) * 2012-07-26 2014-02-06 Sony Corp 情報処理装置、情報処理方法、及びプログラム
CN116347068A (zh) * 2013-01-04 2023-06-27 Ge视频压缩有限责任公司 高效可伸缩编码概念
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
CN117956140A (zh) * 2013-04-08 2024-04-30 Ge视频压缩有限责任公司 多视图解码器
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
US9544601B2 (en) * 2013-10-15 2017-01-10 Qualcomm Incorporated Wedgelet pattern extension for depth intra coding
KR101483053B1 (ko) * 2013-12-27 2015-01-19 연세대학교 산학협력단 영상 합성 방법, 장치 및 시스템
CN106063264B (zh) * 2014-01-03 2019-06-07 Ge视频压缩有限责任公司 基于楔形波的编码概念
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
CN106464899A (zh) * 2014-03-20 2017-02-22 日本电信电话株式会社 活动图像编码装置及方法和活动图像解码装置及方法
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US10368098B2 (en) 2014-06-20 2019-07-30 Samsung Electronics Co., Ltd. Method and device for transmitting prediction mode of depth image for interlayer video encoding and decoding
US10032280B2 (en) 2014-09-19 2018-07-24 Brain Corporation Apparatus and methods for tracking salient features
US10419779B2 (en) * 2014-10-08 2019-09-17 Lg Electronics Inc. Method and device for processing camera parameter in 3D video coding
CN105872539B (zh) * 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
US10200666B2 (en) * 2015-03-04 2019-02-05 Dolby Laboratories Licensing Corporation Coherent motion estimation for stereoscopic video
WO2016145243A1 (en) 2015-03-10 2016-09-15 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
CN106210741B (zh) * 2016-09-10 2018-12-21 天津大学 一种基于视点间相关性的深度视频编码算法
US10796464B2 (en) * 2017-08-25 2020-10-06 Siemens Healthcare Gmbh Selective image reconstruction
US20190045198A1 (en) * 2017-12-28 2019-02-07 Intel Corporation Region adaptive data-efficient generation of partitioning and mode decisions for video encoding
US10880531B2 (en) * 2018-01-31 2020-12-29 Nvidia Corporation Transfer of video signals using variable segmented lookup tables
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors
WO2020093164A1 (en) * 2018-11-07 2020-05-14 Genetec Inc. Methods and systems for detection of anomalous motion in a video stream and for creating a video summary
GB201905400D0 (en) * 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
US20220277164A1 (en) * 2021-02-26 2022-09-01 Qualcomm Incorporated Technologies for image signal processing and video processing
CN117378203A (zh) * 2021-05-26 2024-01-09 Oppo广东移动通信有限公司 多视图视频编码和解码
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100014553A (ko) * 2007-04-25 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2010043773A1 (en) 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4258879B2 (ja) * 1999-03-08 2009-04-30 パナソニック株式会社 画像符号化方法とその装置、画像復号化方法とその装置、コンピュータに画像符号化方法および画像復号化方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
EP1982518A4 (en) * 2006-01-12 2010-06-16 Lg Electronics Inc PROCESSING MORE VIEW VIDEO
WO2008041178A2 (en) 2006-10-04 2008-04-10 Koninklijke Philips Electronics N.V. Image enhancement
KR101023263B1 (ko) * 2006-10-30 2011-03-21 니폰덴신뎅와 가부시키가이샤 예측 참조 정보 생성방법, 동영상 부호화 및 복호방법, 그들의 장치 및 그들의 프로그램을 기록한 기억매체
US7756348B2 (en) 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
EP2143278B1 (en) * 2007-04-25 2017-03-22 Thomson Licensing Inter-view prediction with downsampled reference pictures
US8351685B2 (en) 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
CN101911700A (zh) 2008-01-11 2010-12-08 汤姆逊许可证公司 视频和深度编码
CN101933329B (zh) * 2008-02-05 2013-05-29 汤姆逊许可公司 视频编码和解码中用于隐性块分割的方法与设备
CN101330631A (zh) * 2008-07-18 2008-12-24 浙江大学 一种立体电视***中深度图像的编码方法
WO2010043373A1 (en) 2008-10-14 2010-04-22 Nec Europe Ltd. Method for providing error indication information at an end device
JP5909187B2 (ja) * 2009-10-14 2016-04-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ フィルタ処理およびエッジ符号化
CN103155568B (zh) * 2010-07-08 2016-07-27 杜比实验室特许公司 用于使用参考处理信号进行多层图像和视频传输的***和方法
CN107257484B (zh) 2010-08-11 2020-05-12 Ge视频压缩有限责任公司 解码器、编码器、用于解码的方法和用于编码的方法
US20130222539A1 (en) * 2010-10-08 2013-08-29 Dolby Laboratories Licensing Corporation Scalable frame compatible multiview encoding and decoding methods
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100014553A (ko) * 2007-04-25 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2010043773A1 (en) 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KOO H-S, et al.,‘Motion information inferrinf scheme for multi-view video coding’, IEICE TRANSACTIONS ON COMMUNICATIONS vol. E91B, no4, 2008.04.01. p1247-1250
KOO H-S, et al.,'Motion information inferrinf scheme for multi-view video coding', IEICE TRANSACTIONS ON COMMUNICATIONS vol. E91B, no4, 2008.04.01. p1247-1250 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220163520A (ko) * 2010-08-11 2022-12-09 지이 비디오 컴프레션, 엘엘씨 멀티-뷰 신호 코덱
KR102588146B1 (ko) * 2010-08-11 2023-10-12 지이 비디오 컴프레션, 엘엘씨 멀티-뷰 신호 코덱
US11843757B2 (en) 2010-08-11 2023-12-12 Ge Video Compression, Llc Multi-view signal codec

Also Published As

Publication number Publication date
JP2015180104A (ja) 2015-10-08
JP6356286B2 (ja) 2018-07-11
JP2020058055A (ja) 2020-04-09
JP6892493B2 (ja) 2021-06-23
JP7491985B2 (ja) 2024-05-28
US20240106997A1 (en) 2024-03-28
EP2604036B1 (en) 2018-03-07
PT2604036T (pt) 2018-06-12
EP3905681A1 (en) 2021-11-03
US20130147915A1 (en) 2013-06-13
US20220303519A1 (en) 2022-09-22
KR101913993B1 (ko) 2018-10-31
JP2018186513A (ja) 2018-11-22
KR101781254B1 (ko) 2017-09-26
JP7189272B2 (ja) 2022-12-13
KR20210147084A (ko) 2021-12-06
DK2604036T3 (en) 2018-06-14
CN107257485B (zh) 2020-05-12
JP6633694B2 (ja) 2020-01-22
HK1245546A1 (zh) 2018-08-24
KR20220163520A (ko) 2022-12-09
HK1244141A1 (zh) 2018-07-27
CN107257485A (zh) 2017-10-17
KR20170108171A (ko) 2017-09-26
EP3349464A1 (en) 2018-07-18
TR201807638T4 (tr) 2018-06-21
KR20200136497A (ko) 2020-12-07
US11843757B2 (en) 2023-12-12
JP2021141602A (ja) 2021-09-16
US10110903B2 (en) 2018-10-23
CN107277550B (zh) 2020-11-20
CN107257484A (zh) 2017-10-17
KR20190134822A (ko) 2019-12-04
ES2671596T3 (es) 2018-06-07
US20190028692A1 (en) 2019-01-24
CN107277550A (zh) 2017-10-20
CN103155558A (zh) 2013-06-12
US20170171548A1 (en) 2017-06-15
US9648298B2 (en) 2017-05-09
US10674134B2 (en) 2020-06-02
US20200252595A1 (en) 2020-08-06
KR20180118807A (ko) 2018-10-31
KR102588146B1 (ko) 2023-10-12
KR102051771B1 (ko) 2019-12-03
EP2604036A1 (en) 2013-06-19
JP2013533714A (ja) 2013-08-22
KR102331748B1 (ko) 2021-12-02
KR20130055659A (ko) 2013-05-28
EP3349464B1 (en) 2021-04-07
KR20140102774A (ko) 2014-08-22
JP2023025159A (ja) 2023-02-21
KR20230145537A (ko) 2023-10-17
KR102185765B1 (ko) 2020-12-03
NO2604036T3 (ko) 2018-08-04
JP2017143521A (ja) 2017-08-17
HUE037750T2 (hu) 2018-09-28
US11330242B2 (en) 2022-05-10
HK1245547A1 (zh) 2018-08-24
CN107257484B (zh) 2020-05-12
WO2012020092A1 (en) 2012-02-16
PL2604036T3 (pl) 2018-08-31
CN103155558B (zh) 2017-05-10
KR102472533B1 (ko) 2022-11-30
JP6100833B2 (ja) 2017-03-22

Similar Documents

Publication Publication Date Title
KR101483380B1 (ko) 멀티-뷰 신호 코덱
WO2013021023A1 (en) View synthesis compliant signal codec

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 6