KR20140147043A - 3차원 비디오 스트림에 속하는 이미지의 색 성분들을 이용한 깊이 맵들을 생성, 저장, 전송, 수신 및 재생하기 위한 방법 및 디바이스 - Google Patents

3차원 비디오 스트림에 속하는 이미지의 색 성분들을 이용한 깊이 맵들을 생성, 저장, 전송, 수신 및 재생하기 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR20140147043A
KR20140147043A KR1020140073525A KR20140073525A KR20140147043A KR 20140147043 A KR20140147043 A KR 20140147043A KR 1020140073525 A KR1020140073525 A KR 1020140073525A KR 20140073525 A KR20140073525 A KR 20140073525A KR 20140147043 A KR20140147043 A KR 20140147043A
Authority
KR
South Korea
Prior art keywords
pixels
depth
color image
components
map
Prior art date
Application number
KR1020140073525A
Other languages
English (en)
Inventor
마르코 그란게토
마우리지오 루센테포르테
파올로 드'아마토
Original Assignee
시스벨 테크놀로지 에스.알.엘.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49035854&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20140147043(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 시스벨 테크놀로지 에스.알.엘. filed Critical 시스벨 테크놀로지 에스.알.엘.
Publication of KR20140147043A publication Critical patent/KR20140147043A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32309—Methods relating to embedding, encoding, decoding, detection or retrieval operations in colour image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/642—Adapting to different types of images, e.g. characters, graphs, black and white image portions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)으로부터 시작하여 다수의 성분들(Y, U, V)로 구성된 컬러 이미지를 생성하기 위한 방법이 설명되며, 여기서, 상기 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)의 제 1 세트의 픽셀들은 상기 컬러 이미지의 휘도 성분(Y)에 입력되고, 상기 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)의 제 2 및 제 3 세트들의 픽셀들은 상기 컬러 이미지의 2개의 색차 성분들(U, V)에 입력된다.

Description

3차원 비디오 스트림에 속하는 이미지의 색 성분들을 이용한 깊이 맵들을 생성, 저장, 전송, 수신 및 재생하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR GENERATING, STORING, TRANSMITTING, RECEIVING AND REPRODUCING DEPTH MAPS BY USING THE COLOR COMPONENTS OF AN IMAGE BELONGING TO A THREE-DIMENSIONAL VIDEO STREAM}
본 발명은 3차원 비디오 스트림에 속하는 이미지의 컬러 성분들을 이용한 깊이 맵을 생성, 저장, 전송, 수신 및 재생하기 위한 방법 및 디바이스에 관한 것이다.
입체(stereoscopic) 비디오 애플리케이션들의 개발은 3차원 비디오 신호를 나타내고 압축하기 위한 효율적인 포맷들의 유용성에 크게 의존한다. 게다가, 텔레비전 방송 애플리케이션(3D-TV)에서, 기존 2D 시스템들과의 하위 호환성(backward compatibility)의 최고의 가능한 정도를 유지하는 것이 필요하다.
배포(또는 전송)를 위해, 현재 가장 널리 보급된 기술적 해결책들은 소위 "프레임 호환가능한 방식"에 기반하는데, 여기서, 동일한 시점(time instant)에 관한 2개의 입체 뷰(stereoscopic view)들은 기존 포맷들과 호환가능한 단일 이미지를 형성하도록 리스케일되고(re-scaled) 구성된다. 이들 해결책들 중에서, 탑-앤-바텀(top-and-bottom), 사이드-바이-사이드(side-by-side) 및 타이틀 포맷(title format)들이 알려졌다. 이들 해결책들은 완전한 기존의 비디오 신호 배포 인프라(지상, 위성 또는 케이블 방송, 또는 IP 네트워크를 통한 스트리밍)의 이용을 허용하고, 비디오 스트림들의 압축을 위한 새로운 표준들을 필요로 하지 않는다. 게다가, 현재의 AVC/H.264 코딩 표준(고품질 비디오 코딩) 및 미래의 HEVC 표준(고효율 비디오 코딩)은 수신기에 의한 적합한 재구성 및 시각화를 허용하기 위해 이미 이런 유형의 구조(organization)를 시그널링하는 가능성을 포함한다.
디스플레이를 위해, 2개의 현재 가장 널리 보급된 기술적 해결책들은 "프레임 교번(alternate)" 원리(즉, 2개의 뷰들이 스크린 상에서 시간에서 연속으로 나타남) 또는 "라인 교번" 원리, 즉, 2개의 뷰들이 교번 행들로 스크린상에 배열됨(즉, 그것들은 "인터레이스됨(interlaced)")중 어느 하나에 기반한다. 양자의 경우들에서, 각각의 눈이 대응하는 뷰들을 수신하기 위해, 관객은 안경(a pair of glasses)을 사용해야하는데, 이는 프레임 교번의 경우에 "액티브" 안경, 즉, 셔터 안경이거나, 라인 교번의 경우에, "패시브" 안경, 즉, 상이하게 편극된 렌즈들 중 어느 하나일 수 있다.
3-차원 시각화의 미래는 패시브든 액티브 안경이든 사용자가 임의의 안경을 쓸 필요가 없는 새로운 자기-입체(self-stereoscopic) 스크린들의 확산에 의해 결정될 것이다. 현재 여전히 포로토타입 단계인 이런 3D 디스플레이 디바이스들은 사용자가 스크린 주변에서 각지게(angularly) 이동하는 경우일 수 있는 각각의 뷰포인트(viewpoint)에 대하여 시청자가 2개의 상이한 입체 뷰들을 인지하게 할 수 있는 시차 렌즈들 또는 베리어들(barriers)의 사용에 기반한다. 따라서, 이들 디바이스들은 3D 비전 체험을 개선할 수 있지만, 그것들은 많은 수의 뷰들(수 십개의 뷰들)의 생성을 필요로 한다.
3D 비디오 표현에 대하여, 많은 수의 뷰들의 생성 및 배포의 관리는 매우 까다로운 일이다. 최근, 과학계는 소위 시네 깊이 맵(scene depth map)을 이용하는 알려진 깊이 이미지 기반 렌더링(Depth Image Based Rendering; DIBR) 기법들을 이용하여 임의의 많은 수의 중간 뷰들의 생성의 가능성을 평가했다. 이들 포맷들은 또한 "비디오 + 깊이"(V+D)로 알려지는데, 여기서, 각각의 뷰는 조밀한 깊이 맵을 수반한다. 조밀한 깊이 맵은 평면 좌표들(x,y)에서의 각각의 픽셀, 즉, 열, 행이 동일한 좌표들을 갖는 각각의 뷰의 픽셀에 대응하는 깊이 값(z)을 나타내는 이미지이다. 깊이 맵들의 값들은 입체 비디오 카메라에 의해 획득된 2개의 뷰들에서 시작하여 연산될 수 있거나, 그렇지 않으면, 그것들은 적합한 센서들에 의해 측정될 수 있다. 이러한 값들은 일반적으로 256개의 그레이스케일 레벨들을 갖는 이미지들을 이용함으로써 나타내는데, 이는 표준 기법들을 이용함으로써 압축된다. 깊이 맵 기반 렌더링 기법들은 좌표들(x,y,z), 즉, 깊이 평면에서의 위치 플러스 각각의 픽셀과 관련된 깊이가 주어지면, 픽셀을 새로운 뷰포인트에 관한 다른 이미지 평면에 재투영하는 것이 가능하다는 사실을 이용한다. 가장 널리 보급된 애플리케이션 콘텍스트(context)는 입체 비디오 카메라의 시스템의 것이며, 여기서, 2개의 비디오 카메라들이 그들의 2개의 평행한 광축들 및 동일-평면(co-planar) 이미지 평면들을 갖는 광학적 중심(optical centre)들 사이의 거리 b에서 수평으로 위치된다. 이와 같은 구성에서, 하나의 픽셀에 관련된 깊이 z와, 소위 디스페리티(disparity) d, 즉, 좌측(또는 우측) 비디오 카메라의 이미지 평면에서 대응하는 위치를 획득하기 위해 우측(또는 좌측) 비디오 카메라의 이미지의 픽셀에 적용되어야 하는 수평 병진(translation) 사이에 간단한 관계가 있다. 디스페리티는 고려된 비디오 카메라에 따라 양 또는 음(좌측으로 또는 우측으로의 병진) 중 어느 하나일 수 있다. 2개의 비디오 카메라들의 초점 거리를 나타내는 f로, 깊이 z와 디스페리티 d 사이에 다음 관계가 존재한다 :
d = f b/ z.
추가 세부사항들에 대하여, 논문을 참조하라 : Paradiso, V.; Lucenteforte, M.; Grangetto, M., "A novel interpolation method for 3D view synthesis," 3DTV-Conference: The True Vision - Capture, Transmission and Display of 3D Video (3DTV-CON), 2012 , vol., no., pp.1,4, 15-17 Oct. 2012.
상술한 가설들에 따라, 디스페리티가 깊이의 단순한 함수이기 때문에, 깊이 맵 및 디스페리티 맵은 동일한 정보를 전달하고, 따라서 호환성이 있다. 게다가, MPEG 콘텍스트 내에서 깊이 맵들로 지칭되는 이미지들은 0-255 간격으로 매핑되는 z와 대조적으로, 1/z의 값을 나타낸다는 것에 주목해야 한다. 다음에서, 용어 "깊이 맵"은 단지 깊이 또는 디스페리티의 임의의 표현을 나타내기 위해 사용될 것이다.
이미지들의 쌍(좌측 및 우측)으로 이루어진 비디오 신호 및 각각의 깊이 맵들은 또한 미래의 3D 코딩 표준들에서 도입될 기법들을 평가하기 위한 용도로서 MPEG 표준화 위원회에 의해 선택되어 왔다는 것에 주목해야 한다.
이는 깊이 맵들을 포함하는 텔레비전 신호들의 저장, 전송, 수신 및 재생을 효율적으로 관리하기 위한 요구를 일으킨다.
본 발명의 목적은 따라서, 종래의 해결책들에 내재된 제한사항들을 극복할 수 있는, 이미지의 색 성분들을 이용한 깊이 맵들을 생성, 저장, 전송, 수신 및 재생하기 위한 방법 및 디바이스를 제공하는 것이다.
상술한 바와 같이, 깊이 맵은 그레이스케일 이미지로서, 즉, 위치(x,y) 당 단일 값으로 구성된 표현에 적합하다. 용어 "픽셀"은 이미지의 단일 엘리먼트(또는 점)를 나타내기 위해 아래에서 사용될 것이고; 각각의 픽셀은 그것의 위치(x,y) 및 색 또는 세기와 같은 값들을 특징으로 하는데, 이 값들은 사용중인 표현 체계의 함수로 변한다. 텔레비전 분야에서, 휘도(luminance)(Y) 및 색차(chrominance)(U, V)로 알려진 픽셀 표현 체계가 일반적으로 채택된다. 일반적으로, 깊이 맵들은 단지 Y 성분만을 이용한 디지털 비디오로서 나타낸다.
본 발명의 기본 사상은 깊이 맵의 값들을 나타내기 위해 U 및 V 색차 성분들을 또한 이용하는 것이고, 따라서, 더 우수한 이미지 압축을 허용하는 소위 "더미 색(dummy color)" 이미지를 생성하는 것이다. 더미 컬러 이미지(이하, 간략히 "컬러 이미지"로 지칭됨)는, 이러한 맥락에서, 색차 성분들이 유용한 정보를 전달하는 이미지인데, 이 정보는 그러나 색 정보가 아니고, 이러한 경우, Y 성분으로부터 제거되었던 픽셀들에 관한 휘도 정보이다.
WxH 크기의 컬러 이미지의 U 및 V 성분들에 입력될(enter) 깊이 매트릭스의 픽셀들의 선택은 Y, U, V 성분들 사이, 즉, 실제 휘도와 이들 추가의 가상 성분들 사이의 공간 상관관계를 획득하도록 이루어지는데, 이는 표준 코딩 알고리즘들, 예를 들면, 다양한 픽셀들의 3개의 Y, U, V 성분들 사이의 상관관계의 존재를 가정하는 MPEG의 동작의 준수를 보장하기 위해 유용하다. 이는 또한 실제 컬러 이미지들에 대해 이용된 압축 기법들에 대한 표준 인코더들 및 디코더들의 이용을 허용한다.
공간 상관관계는 Y, U, V 성분들 상에 배열된 값들이 깊이 맵에서 공간적으로 근접한 픽셀들에 속한다는 것을 의미한다.
바람직한 해결책은 2개의 깊이 맵들을 입력하기 위한 WxH 직사각형을 이용하며, 각각의 맵은 입체 쌍의 각각의 비디오 이미지를 지칭하고, 따라서 단일 컬러 이미지를 획득한다.
다른 바람직한 해결책은 깊이 맵들에 대하여 4:2:0 또는 4:2:2 Y, U, V로 알려진 텔레비전 이미지들에 대한 사용중인 포맷들을 이용한다. 전형적으로 배포를 위해 사용되는 전자의 포맷에서, 짝수 행들(0, 2, 4, 등)에서 단지 짝수 열들(0, 2, 4, 등)에서의 픽셀들만이 색차 정보를 포함하는 반면, 홀수 행들에서의 모든 픽셀들은 휘도 정보만을 포함하고; 전체로서, 4개 중 하나의 픽셀만이 색차 정보를 포함하는 것이 된다. 전형적으로 생산 체인에서 사용되는 후자의 포맷에서, 모든 행들에서, 단지 짝수 열들에서의 픽셀들만이 색차 정보를 포함하고; 전체로서 2개 중 하나의 픽셀이 이와 같은 정보를 포함하는 것이 된다.
전형적으로, 기준은 256개의 레벨들, 즉, 픽셀당 8비트로 나타내는 값들을 갖는 깊이 맵들로 이루어진다. 아래에 설명될 바람직한 해결책들의 제 1 일련의 예들에서, 기준은 4:2:0 YUV 포맷으로 이루어질 것인 반면, 제 2 일련의 예들은 4:2:2 YUV 포맷으로 지칭할 것이다.
다양한 프레임-패킹(frame-packing) 시스템들 중에서, 타이틀 포맷(WO2011/077343-A1에 설명됨)은 2개의 뷰들에 관한 이미지들에서 공간을 빼지 않고 깊이 맵의 입력을 허용한다.
도 1을 참조하면, 타이틀 포맷에서, 입체 영상들 L 및 R의 쌍은 더 큰 비디오 프레임(C)에 입력되고, 2개의 이미지들 중 하나(예를 들면, L)는 변하지 않고 재복사되며, 다른 이미지(예를 들면, R)는 3개의 구역들(R1, R2 및 R3)로 분산된다. 이들 구역들은, 합성(composite) 프레임(C)에서, 제 1 이미지들에 의해 이용가능한 좌측 영역에 배치되고; 반감된 수평 및 수직 해상도를 갖는 깊이 맵이 입력될 수 있는 사용되지 않는 영역은 아직 남아 있을 것이다. 본 발명에서 제안된 방법을 이용함으로써, 하나 대신, 2개의 깊이 맵들이 동일한 영역에 입력될 수 있다.
본 발명의 사상은 그러나 특정 프레임-패킹 방식에 제한되지 않고, 그것은 깊이 맵들의 쌍을 W 열들 및 H 행들을 갖는 포괄적인 직사각형 이미지에 입력하는 것을 허용한다. 물론, WxH 영역은 3D 비디오를 프레임-패킹 메커니즘들을 통하여 전달하기 위해 사용된 더 큰 이미지의 일부를 나타낼 수 있다.
대안으로서, 입체 비디오 스트림은 복수의 데이터 스트림들로 구성될 수 있고, 예를 들면, 패킷-형 멀티플렉스에 입력될 수 있는데, 각각의 데이터 스트림은 하나 또는 그 초과의 이미지들 또는 그들의 깊이 맵(들)의 정보를 전달한다.
본 발명의 다양한 양상들을 이용하는 텔레비전 생산, 배포 및 실현 시스템에서, 깊이 맵들의 재생을 목적으로, 수신시 수행되는 단계들은 송신시 수행되는 단계들에 역일 것이다. 수신기에서, 입력 컬러 이미지의 Y, U 및 V 성분들로 할당되었던 깊이 맵들의 값들은 초기 깊이 맵들을 형성하는 방식으로 재배치된다(repositioned). 재생 절차는 컬러 이미지를 생성하는 동안 이용가능한 공간의 부족에 기인하여 버려졌던 임의의 원래의 깊이 값들을 추정하기 위해 가능하면 알려진 필터링 및/또는 보간 동작들을 이용할 수 있다.
본 발명의 하나의 목적은 적어도 하나의 깊이 맵으로부터 시작하여 다수의 성분들로 구성된 컬러 이미지를 생성하기 위한 방법, 및 이의 장치를 제공하는 것이며, 여기서, 적어도 하나의 깊이 맵의 제 1 세트의 픽셀들은 상기 컬러 이미지의 휘도 성분(Y)에 입력되고, 상기 적어도 하나의 깊이 맵의 제 2 및 제 3 세트들의 픽셀들은 상기 컬러 이미지의 2개의 색차 성분들에 입력된다.
본 발명의 다른 목적은 컬러 이미지들의 시퀀스를 포함하는 비디오 스트림을 생성하기 위한 방법, 및 이의 장치를 제공하는 것이며, 여기서, 프레임의 적어도 하나의 부분은 이전에 설명된 바와 같은 컬러 이미지를 생성하기 위한 방법을 이용함으로써 획득된 컬러 이미지를 포함한다.
본 발명의 다른 목적은 다수의 성분들로 구성된 컬러 이미지로부터 시작하여 적어도 하나의 깊이 맵을 재구성하기 위한 방법, 및 이의 장치를 제공하는 것이며, 여기서, 휘도 성분으로부터 획득된 제 1 세트의 픽셀들, 색차 성분들 중 하나로부터 획득된 제 2 세트의 픽셀들, 및 상기 컬러 이미지의 다른 색차 성분으로부터 획득된 제 3 세트의 픽셀들이 상기 적어도 하나의 깊이 맵에 입력된다.
본 발명의 다른 목적은 입체 비디오 스트림으로부터 시작하여 깊이 맵들의 2개의 시퀀스들을 재구성하기 위한 방법, 및 이의 장치를 제공하는 것이며, 여기서, 2개의 시퀀스들의 각각의 맵의 재구성 동안, 이전에 설명된 바와 같은 적어도 하나의 깊이 맵을 구성하는 방법이 스트림들의 각각의 프레임에 적용된다.
본 발명의 특정 목적은 본 설명의 필수적인 부분인 청구범위에 개시된 바와 같은 컬러 이미지의 색 성분들을 이용한 깊이 맵들을 생성, 저장, 전송, 수신 및 재생하기 위한 방법 및 디바이스를 제공하는 것이다.
본 발명의 추가 목적들 및 장점들은 이의 실시예의 일부 예들의 다음의 상세한 설명으로부터 그리고 비-한정적인 예로서만 제공되는 첨부된 도면으로부터 명백해질 것이다.
도 1은 "타이틀 포맷"으로 지칭되는 입체 비디오 이미지 포맷을 도시하고;
도 2a 및 도 2b는 4:2:0 사이드-바이-사이드 해결책에 따른 2개의 깊이 맵들을 포함하는 컬러 이미지를 획득하는 방식에 관한 본 발명의 제 1 변형의 2개의 그래픽 표현들을 도시하며;
도 3은 재구성된 깊이 맵에서 누락된 특정 값들을 커버하기 위한 수신 측 상에서 적용가능한 보간 기법의 구현의 일 예를 도시하고;
도 4는 4:2:0 사이드-바이-사이드 해결책에 따른 2개의 깊이 맵들을 포함하는 컬러 이미지를 획득하는 방식에 관한 본 발명의 제 2 변형을 도시하며;
도 5는 4:2:0 사이드-바이-사이드 모드에서 각각의 다른 2개의 깊이 맵들을 서로의 다음에 배열함으로써 획득된 컬러 이미지의 Y, U, V 성분들에 대응하는 이미지들을 도시하고;
도 6은 4:2:0 탑-앤-바텀 해결책에 따른 2개의 깊이 맵들을 포함하는 컬러 이미지를 획득하는 방식에 관한 본 발명의 변형을 도시하며;
도 7은 4:2:0 탑-앤-바텀 모드에서 각각의 다른 2개의 깊이 맵들을 서로의 다음에 배열함으로써 획득된 컬러 이미지의 Y, U, V 성분들에 대응하는 이미지들을 도시하고;
도 8은 색차 성분들의 감소를 갖는 4:2:0 탑-앤-바텀 해결책에 따른 2개의 깊이 맵들을 포함하는 컬러 이미지의 획득하는 방식에 관한 본 발명의 변형을 도시하며;
도 9는 색차 성분들이 감소를 갖는 4:2:0 탑-앤-바텀 모드에서 각각의 다른 2개의 깊이 맵들을 서로의 다음에 배열함으로써 획득된 컬러 이미지의 Y, U, V 성분들에 대응하는 이미지들을 도시하고;
도 10은 평균 합들 및 차이들을 갖는 4:2:0 탑-앤-바텀 해결책에 따른 2개의 깊이 맵들을 포함하는 컬러 이미지를 획득하기 위한 깊이 맵들의 샘플들을 변형하는 방식에 관한 본 발명의 변형을 도시하며;
도 11은 평균 합들 및 차이들을 갖는 4:2:0 탑-앤-바텀 모드에서 각각의 다른 2개의 깊이 맵들을 서로의 다음에 배열함으로써 획득된 컬러 이미지의 Y, U, V 성분들에 대응하는 이미지들을 도시하고;
도 12는 부-대역(sub-band) 변환 동작들로 사전-처리된 각각의 다른 2개의 깊이 맵들을 서로의 다음에 배열함으로써 획득된 컬러 이미지의 제 1 예의 Y, U, V 성분들에 대응하는 이미지들을 도시하며;
도 13은 부-대역 변환 동작들로 사전-처리된 2개의 깊이 맵들을 포함하는 컬러 이미지를 획득하기 위해 깊이 맵들의 샘플들을 변환하는 방식에 관한 본 발명의 변형을 도시하고;
도 14는 부-대역 변환 동작들로 사전-처리된 각각의 다른 2개의 깊이 맵들을 서로의 다음에 배열함으로써 획득된 컬러 이미지의 제 2 예의 Y, U, V 성분들에 대응하는 이미지들을 도시하며;
도 15는 4:2:2 사이드-바이-사이드 해결책에 따른 2개의 깊이 맵들을 포함하는 컬러 이미지를 획득하기 위해 깊이 맵들의 샘플들을 변환하는 방식에 관한 본 발명의 변형을 도시하고;
도 16은 4:2:2 탑-앤-바텀 해결책에 따른 2개의 깊이 맵들을 포함하는 컬러 이미지를 획득하기 위해 깊이 맵들의 샘플들을 변환하는 방식에 관한 본 발명의 변형을 도시하고;
도 17은 색차 성분들의 감소를 갖는 4:2:2 탑-앤-바텀 또는 사이드-바이-사이드 해결책에 따른 2개의 깊이 맵들을 포함하는 컬러 이미지를 획득하기 위해 깊이 맵들의 샘플들을 변환하는 방식에 관한 본 발명의 변형을 도시하고;
도 18은 4:2:2 포맷에 대한 부-대역 변환 동작들로 사전-처리된 2개의 깊이 맵들을 포함하는 컬러 이미지를 획득하기 위해 깊이 맵들의 샘플들을 변환하는 방식에 관한 본 발명의 변형을 도시하며;
도 19a 및 도 19b는 본 발명에 따라, 그것들의 각각의 깊이 맵들로 입체 비디오 시퀀스들의 쌍을 구성하기(organize) 위해 타이틀 포맷으로 알려진 프레임-패킹 포맷을 이용하는, 3-차원 이미지들을 재생하기 위한 그리고, 각각 재구성 및 디스플레이하기 위한 완전한 시스템의 실시예의 예의 블록 다이어그램을 도시한다.
도면에서, 동일한 참조 부호들 및 문자들은 동일한 엘리먼트 또는 컴포넌트들을 식별한다.
다음은 WxH 크기의 픽셀들(이는, 이미 설명된 바와 같이, 결국 동일한 입체 비디오 스트림에 관한 또 다른 이미지들을 포함하는 더 큰 합성 프레임에 입력될 수 있음)을 갖는 단일 컬러 이미지 이미지에서 2개의 깊이 맵들의 다양한 가능한 배열들에 관한 본 발명의 기본적인 사상의 구현의 복수의 특정 변형들을 설명할 것이다.
8비트로 2xWxH개의 샘플들, 즉, 2xWxH 바이트에 대응하는 WxH 해상도를 갖는 2개의 깊이 맵들을 고려하자. 상기 맵들의 쌍은 WxH 해상도를 갖는 단일 4:2:0 또는 4:2:2 YUV "합성" 컬러 이미지에 입력될 것이다.
아래에 설명된 본 발명의 다양한 실시예들은 WxH 크기의 직사각형에 2개의 깊이 맵들을 입력하기 위한 프레임-패킹 포맷의 사용에 기반한다. 2개의 깊이 맵들은, 예를 들면, 탑-앤-바텀 모드에서, 그것들의 해상도를 Wx(H/2)로 감소시키고, 그것들을 Y 성분만의 상측 부분 및 하측 부분에 각각 배치함으로써, 또는 사이드-바이-사이드 모드에서, 그것들의 해상도를 (W/2)xH로 감소시키고, 그것들을 Y 성분만의 좌측 부분 및 우측 부분에 각각 배치함으로써 배열될 수 있다. 그 후에, 본 발명에 따라, 버려진 픽셀들이 회복되고, U 및 V 신호들에 입력된다.
사이드-바이-사이드 4:2:0 해결책.
다음은 색차 성분들 상의 샘플들의 배치(positioning)에서 서로 상이한 2개의 기법들을 설명할 것이다.
적어도 하나의 깊이 맵으로부터 시작하여 컬러 이미지를 획득하기 위한 제 1 기법(이하, A 모드로 지칭됨)이 도 2a에 도시된다. 도면은 깊이 맵의 행들의 쌍(예를 들면, 입체 비디오의 좌측 뷰에 관한 깊이 맵 DM1)으로 지칭하고, 어떻게 깊이 값들이 반감된 수의 열들을 갖는 합성 컬러 이미지의 Y, U, V 성분들과 관련하는지를 도시한다.
표기법 D(j,i)는 j=0,1,..,H-1 및 i=-0,1,..,W-1로 깊이 맵 DM 1 및 DM2의 행 j 및 열 i의 픽셀을 지시하기 위해 사용된다. 도 2a에서 설명된 기법들을 이용함으로써, 깊이 맵은 3개의 성분들로 이루어진 컬러 이미지에 재구성되어야 한다:
● Y(j,i), j=0,...,H-1, 및 i=0,..,W/2-1
● Y(j,i) 및 V(j,i), j=0,...,H-1, 및 i=0,..,(W/2)-1,
여기서, 인덱스들 j 및 i는 4:2:0 YUV 언더샘플링(undersampling)이기 때문에 짝수 값들만 획득한다.
이들 표기법들에 의해, 도 2a에 도시된 픽셀 재구성(reorganization)은 다음 규칙들을 적용함으로써 획득된다 :
● 각각의 픽셀 D(j,i)에 대하여,
1. i가 짝수이면 : Y(j,i/2) = D(j,i)
2. j가 짝수이고 i의 4에 관한 모듈이 1과 동일하면 :
Figure pat00001
.
3. j가 짝수이고 i의 4에 관한 모듈이 3과 동일하면 :
Figure pat00002
.
4. 그렇지 않으면, D(i,j)는 버린다.
이들 규칙들을 적용함으로써, 깊이 맵의 짝수 열들만을 포함하는 WxH/2 해상도의 Y 성분을 획득한다. V 성분은 열들 4k+1 - k는 0보다 크거나 같은 양의 정수임 -에 대응하는 짝수 행 인덱스를 갖는 깊이 값들을 수집하고, 즉, 깊이 맵의 열들 1,5,9, ,..은 컬러 맵의 열들 0,2,4...에서 V 성분 상에 위치된다. 마지막으로, U 성분은 열들 4k+3 - k는 0보다 크거나 같은 정수임 -에 대응하는 짝수 행 인덱스를 갖는 깊이 값들을 수집하고, 즉, 깊이 맵의 열들 3,7,11, ,..은 컬러 맵의 열들 0,2,4...에서 U 성분 상에 위치된다.
홀수 행 및 홀수 열의 깊이 값들은 따라서 잃게 되고, 즉, 이들은 도면에서 십자 또는 문자 "X"로 나타내었다. 따라서, 각각의 깊이 맵에 대하여, 샘플들은 Y, U, V 성분들 사이의 높은 공간 상관관계를 유지하면서 공간적으로 W/2xH 해상도를 갖는 새로운 4:2:0 YUV 컬러 이미지로 구성되고, 즉, Y, U, 및 V 성분들로 표시된 이미지들은 교번 언더샘플링들로 동일한 이미지의 버전들을 나타낸다. 이는 MPEG 압축 알고리즘들이 U와 V 성분들 사이의 공간 상관관계를 가정하기 때문에, 매우 중요하고; 따라서, 이와 같은 상관관계가 존재하지 않았다면, 그것들은 잘 동작하지 않았을 것이다.
따라서 깊이 맵들의 쌍으로부터 시작하여 획득된 2개의 이미지들을 서로의(수평으로) 다음에 배치함으로써, 도 5에 도시된 바와 같이, WxH 해상도를 갖는 이미지가 최종적으로 생성된다. 상기 도면에서, 색들이 사용될 수 없기 때문에, 3개의 Y, U, 및 V 성분들은 개별적으로 나타난다.
더 명료하게 하기 위해, 도 2b는 DM1 및 DM2로 지시된, WxH 크기의 2개의 깊이 맵들이 여전히 A 모드에서 4:2:0 컬러 이미지 (Y, U, V)로 배포되는 방식의 개략적 표현을 도시한다. 픽셀들은 내접된 기하학적 도형들을 갖는 작은 정사각형들로 나타내고; 도 2a에 도시된 기법 및 위의 식들을 이용함으로써 함축적으로 결정된 깊이 맵들 DM1 및 DM2의 2x2 픽셀 블록들은 그것들이 DM1 또는 DM2에 속하는지의 여부에 따라 행 주사 순서에서, 아포스트로피들이 없거나(1,2,.., NxM, N=W/2 및 M=H/2) 또는 아포스트로피들이 있게(1',2',.., NxM', N=W/2 및 M'=H/2) 순차적으로 번호가 매겨지고, 동등한 작은 정사각형들은 초기 블록의 동일한 픽셀에 대응한다. 버려진 픽셀들은 십자로 표시된다.
깊이 맵들 DM1 및 DM2의 픽셀들을 재구성할 때, 그것들은 2x2 크기의 4-픽셀 블록들로 분할된다. DM1의 각각의 2x2 블록의 좌측 열의 2개의 픽셀들(1x2 크기의 원을 갖는 정사각형들의 2-픽셀 블록들)은 더미 컬러 이미지의 휘도 컴포넌트(Y)에서 하나 다음에 다른 하나가 배열되고, 깊이 맵의 열 주사가 뒤따른다. 이런 방식에서, Y의 좌측 절반이 점유되고; 동일한 것이 DM2가 우측 절반을 점유하도록 이루어진다.
여전히 행 주사를 이용하여, DM1의 상기 2x2 블록들의 상부 좌측 픽셀(내접된 정사각형을 갖는 1-정사각형 블록)은 색차 성분들 V(채워진 정사각형) 및 U(빈 정사각형)의 상부 좌측 모서리의 처음 이용가능한 위치에 교번하여 배치된다. 이런 방식으로 U 및 V의 좌측 절반들이 점유된다. 동일한 것이 DM2의 2x2 블록들이 좌측 절반들을 점유하도록 이루어진다. 하부 좌측 모서리(도 2b에서 십자로 표시된)에 배치되는 DM1 및 DM2의 2x2 블록들의 픽셀들은 버려진다.
Y, U 및 V에 의해 획득된 사이드-바이-사이드 구성, 및 이들 성분들 사이의 대응 및 본 발명의 이런 실시예를 이용함으로써 실험적으로 획득된 것(도 5)들에 주목하라.
가능하면 코딩, 전송, 수신 및 디코딩 후에, 일단 컬러 이미지가 수신되었으면, 깊이 값들은 도 2에서 설명된 단계들을 역으로 함으로써 다시 배치될 수 있다.
특히, 도 2b에 대하여, DM1 및 DM2는 2x2 픽셀들의 W/2xH/2 블록들로 분할된다. 여전히 행 주사를 따라, 더미 컬러 이미지의 처음 W/2 열들의 Y 성분의 각각의 2-픽셀 1x2 블록은 DM1의 상응하는 2x2 블록들의 좌측 열에 재복사되는 반면, Y의 남은 W/2 열들의 1x2 블록들은 DM2의 상응하는 2x2 블록들의 좌측 열에 재복사된다(도 2의 원들을 갖는 정사각형).
색차 성분들 및 맵들에 행 주사가 이루어질 때, V(채워진 정사각형) 및 U(빈 정사각형)의 처음 W/4 열들의 픽셀들은 그것들을 U 및 V의 동일한 행 및 열 위치로부터 획득함으로써, DM1의 상응하는 블록의 상부 좌측 위치에 교번하여 재복사된다. 동일한 것이 DM2의 2x2 블록들을 갖는 V 및 U의 남은 W/4 우측 열들의 픽셀들이 또한 제 2 깊이 맵을 재구성하도록 이루어진다. 양자는, 본 실시예에서, 누락(missing) 픽셀 값들을 갖는 WxH/4개의 위치들을 포함하는 그리드를 도시하고, 즉, 둘 중에서 하나의 값이 깊이 맵의 짝수 행들에서 누락되어 있을 것이다. 이와 같은 값들은 깊이 맵들을 특징으로 하는 높은 공간 상관관계를 이용함으로써, 그 자체로 알려진 기법들을 통하여 쉽게 보간될 수 있다.
도 3은 3x3 마스크를 갖는 간단한 공간 필터(예를 들면, 평균 필터 또는 중앙값 필터)를 이용하는 보간 기법의 일 예를 도시한다. 누락 값을 중심으로 한 3x3 마스크를 이용함으로써, 중앙 위치에서의 값들을 추정하기 위해 누락 값 주변에 수신된 8개의 깊이 값들을 이용할 수 있다. 중앙값 필터로 수행되는 실험들은 MPEG 위원회에 의해 제공된 깊이 맵들을 이용할 때, WxH 해상도를 갖는 깊이 맵이 50 dB의 피크 신호-대-잡음 비(PSNR)보다 높은 충실도(fidelity)로 재구성될 수 있다는 것을 나타내었다.
이런 보간에 의한 재구성 기법은, 물론 본 명세서에서 설명된 모든 변형들에서 사용될 수 있다.
다음은 B 모드로서 지칭되는, 이전의 사이드-바이-사이드 해결책의 변형을 도입할 것이다. 이전의 해결책의 U, V 성분들의 배열은 도 4에 도시된 바와 같이, 성분들 사이의 공간 상관관계에 관하여 개선될 수 있다. 이런 결과는 다음 배치 규칙들을 채택함으로써 획득된다 :
● 각각의 픽셀 D(j,i)에 대하여,
1. i가 짝수이면 : Y(j,i/2) = D(j,i)
2. j가 짝수이고 i의 4에 관한 모듈이 1과 동일하면 :
Figure pat00003
.
3. j가 짝수이고 i의 4에 관한 모듈이 3과 동일하면 :
Figure pat00004
.
4. 그렇지 않으면, D(i,j)는 버린다.
이전의 해결책과 비교하여, 이런 해결책은 U, V 및 Y 성분들의 할당된 픽셀들 사이의 더 짧은 공간 거리를 보장한다. 특히, 알고리즘의 단계 2 및 3에서 이루어진 할당들은 성분들 사이의 더 우수한 할당을 보장한다.
이런 규칙들을 적용함으로써, 깊이 맵의 짝수 열들만을 포함하는 WxH/2 해상도의 Y 성분을 획득한다. V 성분은 열들 4k+1 - k는 0보다 크거나 같은 양의 정수임 -에 대응하는 짝수 행 인덱스를 갖는 깊이 값들을 수집하고, 즉, 원래의 깊이 맵의 열들 1,5,9, ,..은 컬러 이미지의 열들 0,2,4...에서 V 성분 상에 위치된다. 마지막으로, U 성분은 열들 4k+3 - k는 0보다 크거나 같은 정수임 -에 대응하는 짝수 행 인덱스를 갖는 깊이 값들을 수집하고, 즉, 원래의 깊이 맵의 열들 3,7,,..은 컬러 맵의 열들 0,2,..에서 U 성분 상에 위치된다.
알고리즘의 단계 3에서, 열 인덱스 값들
Figure pat00005
은 깊이 맵의 우측 에지에서 획득될 수 있다(예를 들면, 도면에서 i=11을 갖는 깊이 맵은 컬러 이미지 상에 나타낼 수 없다)는 것에 주목해야 한다. 재구성 단계에서, 이들 값들은 기술분야에 알려진 기법들을 이용함으로써 보간될 수 있다.
유사하게, 컬러 이미지의 제 1 열에서의 픽셀들은 U 성분에 할당된 값을 갖지 않는다(디폴트 값은 자유롭게 전형적으로 128로 할당될 수 있다).
마지막으로, 컬러 이미지들이 제공될 수 없기 때문에, 도 5는 사이드-바이-사이드 모드에서, 상술한 절차들에 따라 획득된, 입체 이미지들의 쌍에 대응하는 2개의 깊이 맵들을 서로의 다음에 배열된 것에 의해 획득된 컬러 이미지의 단일 Y, U, V 성분들에 대응하는 이미지들을 도시한다.
탑-앤-바텀 4:2:0 해결책.
탑-앤-바텀 구성을 획득하기 위해, WxH 해상도를 갖는 깊이 맵을 WxH/2 해상도를 갖는 컬러 이미지로 변환하는 것이 필요하다. 이와 같은 결과는 위에서 설명된 동일한 방법을 적용함으로써, 행 및 열들의 역할들을 바꿈으로써 획득된다.
예로서, 도 6은 사이드-바이-사이드 해결책에서 B 모드로 지칭되는 접근법으로 열들의 수를 반감시킴으로써 YUV 성분들 상에 깊이 맵들의 열들의 쌍을 어떻게 나타내는지를 도시한다. 4:2:0 사이드-바이-사이드 방법에 대하여 설명된 A 모드는 행과 열의 역할들을 바꿈으로써 완전히 유사한 방식으로 사용될 수 있고, 따라서, 간결성을 위해 더 이상 설명되지 않을 것이다.
이와 같이 획득된 WxH/2 해상도를 갖는 2개의 이미지들을 중첩함으로써(수직으로), 도 7에 도시된 바와 같이, 탑-앤-바텀 모드에서 깊이 맵들의 쌍을 나타내는WxH 해상도를 갖는 이미지가 최종적으로 생성된다. 색들이 사용될 수 없기 때문에, 상기 도면은 3개의 Y, U 및 V 성분들을 개별적으로 도시한다.
색차 성분들의 감소를 갖는 탑-앤-바텀 4:2:0 해결책.
이전의 해결책들은 Y, U 및 V 성분들 사이의 우수한 공간 일관성을 보장하면서도, 깊이 맵들의 일부 값들이 컬러 이미지의 색차 성분들로서 나타내게 한다. 공통 이미지(실제 색들을 갖는)의 경우에, 색차 성분들은 저 에너지의 콘텐츠, 따라서 저 엔트로피를 특징으로 하고, 알려진 기법들을 이용함으로써 쉽게 압축될 수 있다. 그 반대로, 이전의 해결책들의 U, V 성분들은 휘도와 동일한 에너지의 콘텐츠를 갖는 픽셀들로 구성된다.
이런 문제를 해결하기 위해, 입력될 깊이 값들을 Y 성분 상에 나타낸 깊이 값들을 이용함으로써 예측된(또는 보간된) 값에 관한 차이 값들을 갖는 색차 성분들로 대체하는 것이 가능하고; 다시 말하면, 예측 에러가 색차 성분들에 입력될 수 있다. 깊이 맵들이 많은 디테일(detail)들을 포함하지 않기 때문에, 예측은 효과적이며, 예측 에러는 매우 작은 에너지의 콘텐츠를 갖고, 따라서, 색차로서 나타내기에 적합하다.
예로서, B 모드에서 탑-앤-바텀 구성을 도시하는 도 8에서, 이중 화살표들은 그것을 통하여 U 및 V 성분들 상에 배치될 깊이 값들을 보간하는 것이 가능한 깊이 값들의 쌍들을 식별한다.
도 8에서, 이전의 재배치 알고리즘의 단계들 2 및 3에 따라 U 및 V 성분들에 대하여 의도된 깊이 값들에 대한 예측들로서 사용될 수 있는 Y 성분들의 깊이 샘플들이 식별된다. 이전의 알고리즘들의 표기법을 이용함으로써, 다음 예측 에러들을 실제로 연산할 수 있다 :
Figure pat00006
Figure pat00007
여기서, h,k는 V 및 U 성분들 상에 각각 배치되기 이전에 짝수 열들에서 대응하는 깊이 값들에 대체될, 0보다 크거나 같은 정수 인덱스들이다. 예측 에러의 분수 값들의 저장을 방지하기 위해, 위의 식들에서, 예측된 값은 라운드된다(라운드 연산자는 정수 라운드 동작을 식별한다). 본 예에서, 고려중인 픽셀 위 및 아래 열들에서 2개의 깊이 샘플들 사이의 평균으로 구성되는 간단한 예측기가 사용된다는 것에 주목해야 한다.
예측 에러 De는 부호를 갖는 값이다. 실제 구현에서, 128의 오프셋이 바람직하게 이러한 값들에 가산되어, 이들은 범위 [0..255] 내에서 획득된 값들의 포화 시 부호없는 8-비트 값들을 나타낼 수 있다.
부호없는 예측 에러들은 따라서 V 및 U 성분들로 나타낸다 :
Figure pat00008
간략화를 위해, 위의 식들에서, 0-255 범위 밖의 값들을 클리핑하거나 포화시키는 단계가 생략되었다.
수신시, 누락 샘플들(도면들에서 문자 "X"로 식별된)의 보간 이전에, 예를 들면, 상술한 기법에 따라, 예측된 깊이 값들은 이전의 식들을 역으로 함으로써 재구성될 것이다 :
Figure pat00009
Figure pat00010
에러들을 라운드하는 예측 에러는 표준 인코더를 이용함으로써 획득된 양자화 에러들에 비하여 무시할 수 있는 효과들을 갖는 재구성 에러를 초래한다.
도 9는 상술한 시스템을 이용함으로써 획득된 합성 이미지들의 일 예를 도시한다. 또한 인쇄 근사화 때문에 균일하게 나타나는 이미지들에 걸쳐 표시되는 U 및 V 성분들의 낮은 에너지 콘텐츠를 볼 수 있다. 조사 하에서 해결책의 장점은, 사실, 그것이 색차 성분들의 평균 진폭의 감소를 초래하고, 그에 의해 전통적인 YUV 신호의 에너지 분포를 더 반영하며, 여기서, 에너지 콘텐츠는 대부분 U 및 V 성분들에 비하여 Y 성분에 집중된다는 것이다. U 및 V 성분들은 "차이" 신호들(정확히 말하면, 그것들은 색 차이 신호들로 지칭됨)이고, 따라서 그것들은 널 평균 값을 가지며, 그래서, 8-비트 표현에서, 값 128은 0에 대응하는 한편, 128보다 작은 값들은 음인 것으로 고려되고, 128보다 큰 값들은 양인 것으로 고려된다는 것에 또한 주목해야 한다. MPEG 압축 알고리즘들은 U 및 V 신호들의 이와 같은 속성들에 기반하고; 따라서, 상기 신호들이 임의의 차이들 나타내지 않으면, 이전의 실시예에서와 같이, MPEG 압축 알고리즘들은 덜 효과적이라고 판명될 수 있다.
상술한 접근법은 탑-앤-바텀 포맷의 경우에서, 단지 2개의 샘플들을 갖는 보간 절차의 사용을 통하여 예시되었지만, 그것은 명백하게 이제까지 설명된 해결책들의 전부 또는 다른 보간 방법들로 확장될 수 있다.
평균 합들 및 차이들을 갖는 탑-앤-바텀 4:2:0 해결책.
U 및 V 성분들의 에너지 기여를 감소시키게 하는 추가 변형에 따르면, 깊이 맵들의 값들은 평균 합들 및 차이들로 대체되는데, 이는 휘도 및 색차 성분들을 각각 이용함으로써 나타낸다. 이런 변형의 장점들은 이런 경우에 또한 차이들을 나타내는 신호들이 U 및 V에 입력된다는 점에서, 이전의 해결책의 장점들과 동일하다.
깊이 맵의 각각의 2x2 블록의 샘플들은 도 10 도시되고, 아래와 같은 평균 합들 및 차이들로 변환되며, 여기서, a, b, c, d는 깊이 맵의 2x2 블록에서의 깊이 값들을 나타낸다. 계수들 w0, W1은 평균 값들이고, 가장 가까운 정수로 라운드(또는 더 낮은 정수로 절단)되어야 하며, 그래서 그것들은 그 후에 부호없는 8비트 샘플들로 나타낼 수 있다.
동일한 프로세스가 차이 계수들 w2, w3에 대하여 발생하고; 게다가, 후자가 부호를 갖기 때문에, 그것들의 절대 값들은 128로 포화되며, 그래서, 그것들의 값은 128의 오프셋을 가산함으로써 8-비트 샘플들로 나타낼 수 있다.
도 10은 또한 아래에 인용된 바와 같이, 어떻게 깊이 샘플들을 평균 합들 및 차이들로부터 재구성하는지를 도시한다.
Figure pat00011
채택된 라운드들에 기인하여, 깊이 값들 a, b, c, d의 재구성은 +/-1의 에러보다 작게 정확할 것이다.
감소된 치수들, 예를 들면, 탑-앤-바텀 경우에서 WxH/2의 컬러 이미지를 획득하기 위해, 4개 중 하나의 계수를 버리는 것이 필요하다. 선택된 3개의 계수들은 그 후 상술한 기법들 중 하나에 따라 Y, U, Y 성분들 상에 배열될 수 있다.
이는 Y 성분들로 입력될 2개의 평균 합들 w0 및 w1을 유지함으로써, 그리고, 2개의 값들 w2 또는 w3 중 하나가 다음 식들에 따른 가장 작은 재구성 에러를 보장하는 것에 따라, 차이 wd=w2 또는 차이 wd=w3 중 어느 하나를 U, V로 이동함으로써 달성된다.
w2 또는 w3 중 어느 하나의 선택에 의해 유입되는 재구성 에러는 다음과 같이 평가될 수 있다. wd=w2의 경우에 획득되는 평균 에러 e(wd=w2), 및 wd=w3의 경우에 획득되는 평균 에러 e(wd=w3)가 연산되고; 그 후에 전송을 위해 선택될 계수 wd는 다음과 같이 에러를 최소화하는 것이다 :
e(wd=w2)=|w1+w2-b|+|w1-w2-d|
e(wd=w3)=|w0+w3-a|+|w0-w3-c|
Figure pat00012
WxH/2 해상도를 갖는 컬러 이미지를 획득하기 위해, 이미 설명된 동일한 알고리즘이 뒤따를 수 있다.
각각의 행 인덱스 j=0,2,4... 및 각각의 열 인덱스 i=0,2,4...에 대하여
● 깊이 맵의 위치 j,i에서의 2x2 블록의 계수들 w0,w1,w2,w3이 연산됨
● 최상의 평균 차이 wd가 결정됨
● 평균 합들은 식들 Y(j/2,i)=w0 및 Y(j/2,i+1)=w1에 따라 Y 성분들에 할당됨
● 4에 의해 인덱스 j의 나눗셈의 나머지가 0과 같으면, 평균 차이는 식 U(j/2,i)=wd에 따라 할당됨
● 그렇지 않으면(인덱스 j가 4의 배수가 아니면), V(j/2,i)=wd
도 11은 평균 합들 및 차이들을 갖는 2개의 깊이 맵들을 입력함으로써 획득된, 탑-앤-바텀 구성에서 상술한 시스템을 이용함으로써 획득된 컬러 이미지의 일 예를 도시한다. 또한 이러한 경우에서, 색차 성분들이 값 wd와 관련된 매우 낮은 역학 관계 때문에 낮은 에너지 콘텐츠를 수집하는 것을 알 수 있다.
재구성 시, 계수들 w0, w1 및 wd로부터 초기값들 a, b, c, d를 재구성하게 하는 역 식들을 적용하는 것이면 충분할 것이기 때문에, 평균 합들 및 차이들을 갖는 기법은 3x3 보간 필터가 필요 없을 것이다 :
Figure pat00013
만들어진 재구성 에러는 평균 차이 wd의 선택 및 모든 계수들의 정수 표현 에러에 의존한다. 시험들은 이와 같은 에러들이 50 dB를 초과하는 피크 신호-대-잡음 비들을 갖는 기준 깊이 맵들에 대하여 무시될 수 있다는 것을 나타냈다.
부-대역 변환을 갖는 해결책.
깊이 값의 평균들 및 차이들에 기반한 프리코딩 기법들은 부-대역 접근법을 채택함으로써 일반화될 수 있다. 예를 들면, 2x2 DCT 유형의 도메인 변환, 즉, 월시-하다마드(Walsh-Hadamard) 변환, 또는 문헌에서 알려진 임의의 웨이브릿(Wavelet) 변환 중 단지 하나의 레벨만을 이용함으로써, 깊이 맵 DM1(및 DM2)에 의해 구성된 이미지는 행들 및 열들 양자 상에서 반감된 해상도, 따라서 W/2xH/2 해상도를 갖는 4개의 부-대역들로 분할된다. 이와 같은 부-대역들은 일반적으로 LL, LH, HL 및 HH 부-대역들로서 좌측에서 우측으로 그리고 상부에서 하부로 나타난다. 도 12는 월시-하다마드 변환을 깊이 맵의 행들 및 열들에 개별적으로 적용함으로써 획득된 부-대역 변환의 일 예를 도시한다. 변환은 비디오 신호의 에너지의 대부분을 LL 부-대역(상부 좌측 부분)에 집중시킨다는 것이 관찰될 수 있다. 약간의 디테일들을 포함하는 이미지들에 대하여, 깊이 맵들의 경우에서와 같이, HH 부-대역은 매우 적은 에너지를 수집한다. 이전의 해결책에 대하여 설명된 평균 차이들의 경우와 같이, HL, LH 및 HH 부-대역들의 계수들이 부호를 갖고, 128의 오프셋이 값 0을 나타내기 위해 사용되어야한다는 것을 또한 알 수 있다. 부호없는 8-비트 샘플들로 변환 계수를 나타내기 원하면, 사용시 변환의 유형에 따라 변할 수 있는 적합한 라운드를 하는 것이 또한 필요할 것이다.
깊이 맵의 해상도가 변환된 도메인 하에서 감소되어야 하기 때문에, 일부 계수들은 제거될 수 있다 : 최선의 선택은 양자의 깊이 맵들의 전체 HH 대역을 제거하고, 그에 의해 재구성시 품질 손실을 초래하는 것이다. 재구성은 물론 역 변환을 적용함으로써 달성되고, 제거된 계수들은 널로 가정된다.
좌측 깊이 맵의 LL', LH' 및 HL' 부-대역들 및 우측 깊이 맵의 LL", LH" 및HL" 부-대역들로부터 시작하여 WxH 해상도를 갖는 단일 YUV 이미지를 형성하기 위해, 도 13에 도시된 다이어그램이 뒤따르며, 여기서, DM1' 및 DM2'는 2개의 깊이 맵들 DM1 및 DM2의 하다마르(Hadamard) 변환들을 나타낸다. 도면은 어떻게 LL', LH' 및 LL", LH" 부대역들의 계수들을 휘도 성분 Y의 4개의 사분면들 상에 배열하는지를 도시한다. 특히, 좌측 깊이 맵의 LL' 및 LH' 부-대역을 갖는 Y 성분의 상부 절반을 우측 깊이 맵의 LL" 및 LH" 부-대역들을 갖는 하부 절반과 관련시키는 것이 선택되었다. YUV 이미지의 재구성을 완성하기 위해, 3개의 성분들의 오정렬에 기인한 폴스 에지(false edge)들의 생성 없이, U 및 V 성분들 상에 HL' 및 HL" 부-대역들의 남은 W/2xH/2개의 계수들을 재배열하는 것이 필요할 것이다. 도 13은 어떻게 원하는 결과를 획득하는지를 도시한다. 좌측 깊이 맵의 HL' 부-대역은 도 13에 도시된 바와 같이, 양 방향들로 2의 인자에 의해 언더샘플링된 4개의 버전들로 세분되고; 실제로, 각각의 2x2 블록의 계수들은 4개의 언더샘플링된 이미지들 상에 배치된다. 따라서, W/4xH/4 해상도를 갖는, HLa', HLb', HLc' 및 HLd'로 지시된 HL' 부-대역의 4개의 이미지들을 획득한다. 획득된 처음의 2개의 이미지들은 U 성분의 상부 부분에서 서로의 다음에 배열되고, W/4xH/2개의 샘플들과 동일한 면적을 점유한다. HL' 부-대역의 2개의 남은 이미지들은 V 성분의 상부 부분에 복사된다(서로의 다음에). 동일한 절차가 최종적으로 우측 깊이 맵의 HL" 부-대역에 대하여 채택되지만, W/4xH/4개의 이미지들은 U 및 V 성분들의 하부 절반에 복사된다. 이런 접근법은 Y 성분과 반감된 해상도를 갖는 U, V 성분들 사이의 공간 일관성을 유지하게 한다.
월시-하다마드 변환을 이용함으로써 획득된 컬러 이미지의 일 예가 도 14에 도시된다. 또한, 이러한 경우에서, U 및 V 성분들과 관련된 에너지 기여는 매우 낮은데, 이는 비디오 신호의 압축성의 면에서 유익하다.
텔레비전 생산 체인에서의 2개의 깊이 맵들의 합성(YUV 4:2:2 포맷).
텔레비전 생산 체인에서, 4:2:2 YUV 포맷이 전형적으로 사용된다. 4:2:0 포맷의 경우와 비교하면, 2개의 맵들을 단일 컬러 이미지로 패킹하기 위한 해결책들은 색차 정보(U, V)가 픽셀들의 50%에 존재한다는 점에서, 더 간단하다. 전체로서, 따라서, 픽셀당 16 비트가 이용가능하고(Y에 대하여 8 및 U, V에 대하여 8), 따라서 2개의 맵들을, 어떠한 정보 손실도 없게, 그리고 이에 따라 수신시 누락 픽셀들을 보간할 필요 없이, 컬러 이미지에 입력하는 것이 가능하다.
제 1 해결책은 Y 상의 하나의 맵 및 U 및 V 상의 다른 맵의 전송으로 구성될 수 있다. 이런 해결책은, 그러나, 비디오 압축 알고리즘들이 통상적으로 휘도 및 색차가 실제 컬러 이미지에서의 경우와 같이 서로 상관관계가 있는 반면, 조사 하의 해결책에서 Y는 하나의 이미지에 속하고 U, V는 상이한 이미지에 속한다는 가정에 기반하기 때문에, 최적이지 않다. 따라서, 또한 4:2:2 경우에서, 4:2:0 YUV 경우에 대하여 이용된 것들과 유사한 메커니즘들을 이용함으로써, 상관된 Y, U, V 성분들을 갖는 이미지의 구성을 보장하도록 하는 방식으로 샘플들을 재배열하는 것이 더 나을 것이다.
사이드-바이-사이드 4:2:2 해결책.
컬러의 생성은 도 15를 고찰함으로써 쉽게 이해될 수 있다. 첫번째 픽셀 행에서, 원래의 깊이 맵의 홀수 열들(1, 3, 5...)의 픽셀들은 도 2a와 완전히 유사한 방식으로 컬러 이미지의 짝수 열들의 픽셀들의 U 및 V로 이동된다. 4:2:0 경우와 상이하게, 컬러 이미지의 짝수 열들(0, 2, 4...)의 픽셀들이 색차를 갖기 때문에, 동일한 것이 첫 번째 행에서와 같이 두 번째 픽셀 행에서 발생하고, 즉, 원래 깊이 맵의 홀수 열들의 픽셀들은 컬러 이미지의 짝수 열들의 픽셀들의 U 및 V로 이동된다. 따라서, 수신시 보간에 의해 재구성될 어떤 누락 픽셀들도(도 2a에서 십자로 표시된 것들) 더 이상 없을 것이다.
동일한 것이 B 모드에 적용된다. 또한 이런 경우에서, 모든 행들(짝수 및 홀수)에서, 픽셀 행 0에 대하여 도 4에 도시된 것이 발생하고, 따라서, 수신시 보간에 의해 재구성될 어떠한 누락 픽셀들도 더 이상 없을 것이다.
탑-앤-바텀 4:2:2 해결책.
예로서, 컬러 이미지를 생성하기 위한 하나의 가능한 방법이 도 16에 도시된다. 버려지는 홀수 행들의 픽셀들은 예를 들면, 화살표들로 나타낸 바와 같이, 짝수 행들의 픽셀들의 U 및 V 상에 재할당된다. 재할당은 또한 다른 실질적으로 동일한 방식들에서도 초래될 수 있는데, 이는 간결성을 위해 본 명세서에서 설명되지 않을 것이다.
색차 성분들의 감소를 갖는 사이드-바이-사이드 및 탑-앤-바텀 해결책들, 4:2:2 포맷.
이전의 해결책들은 Y, U 및 V 성분들 사이의 우수한 공간 일관성을 보장하면서, 깊이 맵들의 일부 값들이 컬러 이미지의 색차 성분들로서 나타나게 한다. 공동 이미지(실제 색들을 갖는)의 경우에서, 색차 성분들은 낮은 에너지 콘텐츠, 따라서 낮은 엔트로피를 특징으로 하고, 알려진 기법들을 이용함으로써 쉽게 압축될 수 있다. 이와 반대로, 이전의 해결책들의 U, V 성분들은 휘도와 동일한 에너지 콘텐츠를 갖는 픽셀들로 구성된다. 이런 문제를 해결하기 위해, Y 성분들 상에 나타낸 깊이 맵들을 이용함으로써, 색차 성분들에 입력될 깊이 값들을 예측된(또는 보간된) 값에 관한 차이 값들로 대체하는 것이 가능하고; 다시 말하면, 예측 에러가 색차 성분들에 입력될 수 있다. 깊이 맵들이 매우 디테일하지 않기 때문에, 예측은 효과적이며, 예측 에러들은 매우 낮은 에너지 콘텐츠(energetic content)를 가져 색차로서 표현되기에 적합하다.
예로서, 도 17에서, 이중 화살표들은 그것을 통하여 도 16의 탑-앤-바텀 구성에서의 U 및 V 성분들 상에 배치될 깊이 값들을 보간하는 것이 가능한 2개의 깊이 값들을 식별한다. 도 16의 표현에서, 홀수 행들의 샘플들은 그것의 위 및 아래 행들의 샘플들로부터 시작하여 보간된다. 이와 같은 값들은 그것들이 Y 성분 상에 위치되기 때문에, 또한 컬러 이미지 수신시 이용가능하다. 이점에서, U, V 성분들의 값들로서(도 16에서 얇은 화살표들에 의해 도시된 배열에 따라), 보간에 의해 이루어진 예측 에러들을 연산하고 입력하는 것이 가능하다. 이와 같은 값들은 이미 설명된 동일한 기법들을 사용함으로써 부호없는 정수들로 나타낼 것이다. 예측 에러들은 U, V 성분들에 의해 이동된 예측 에러들은 최종적으로, 대응하는 정정을 Y 성분으로부터 보간된 값들에 적용함으로써, 수신시, 홀수 행들의 깊이 값들을 재구성하게 할 것이다.
평균 합들 및 차이들을 갖는 탑-앤-바텀 4:2:2 해결책.
또한 4:2:2 경우에서, U 및 V 성분들의 에너지 기여를 감소시키게 하는 추가 변형이 깊이 맵들의 값들을 평균 합들 및 차이들로 대체하기 위해 제공되는데, 평균 합들 및 차이들은 휘도 및 색차 성분들을 각각 이용함으로써 나타낸다. 이런 변형의 장점들은 또한 이런 경우에서, 차이들을 나타내는 신호들이 U 및 V에 입력된다는 점에서, 이전의 해결책의 것들과 동일하다. 깊이 맵들의 각각의 2x2 블록의 샘플들은 도 10에 도시된 바와 같은 평균 합들 및 차이들로 변환되고, 여기서, a, b, c, d는 깊이 맵의 2x2 블록에서의 깊이 값들을 나타낸다.
4:2:0 경우에 대한 유일한 차이는 양자의 차이 계수들이 U 및 V에 입력될 수 있기 때문에, 4:2:2 해결책에 의해, 4개 중 하나의 계수를 버리는 것이 더 이상 필요 없다는 것이다. 수신시, 따라서, 맵은 평균 합들 및 차이들의 부호없는 정수 표현에 의해 야기된 +/-1의 정밀도의 손실을 제외하고는 에러들 없이 재구성될 것이다.
부-대역 변환을 갖는 해결책, 4:2:2 포맷.
단지 하나의 레벨만을 임의의 부-대역 변환에 적용함으로써, 깊이 맵에 의해 형성된 이미지는 행들 및 열들 양자에서 반감된 해상도를 갖는, 즉, W/2xH/2 해상도를 갖는 4개의 부-대역들로 분할된다. 이와 같은 부-대역들은 일반적으로 우측에서 좌측으로 그리고 상부에서 하부로 LL, LH, HL 및 HH 부-대역들로 나타낸다. 4:2:2 YUV 포맷을 이용하는 경우, 도 18에 도시된 절차를 이용함으로써, 단일 컬러 이미지에서의 2개의 깊이 맵들의 변환들을 나타낼 수 있고, 여기서, DM1' 및 DM2'는 2개의 깊이 맵들 DM1 및 DM2의 부-대역 변환들을 나타낸다. 4:2:0 YUV 포맷에 대하여 제안된 유사한 기법(도 13 참조)과 달리, 이런 경우에서, DM1' 및 DM2'의 모든 4개의 부-대역들을 설정하는 것이 가능하다. 예로서 본 명세서에서 제안된 해결책에서 탑-앤-바텀 컬러 이미지가 형성된다. U, V 성분들은 열에 의해 언더샘플링된 LH 및 HH 부-대역들을 입력함으로써 Y의 대응하는 이미지들과의 공간 상관관계를 유지하도록 하는 방식으로 구성되고; 특히, 짝수 열들은 U 성분에 입력되는 반면, 홀수 열들은 V 성분들에 입력된다.
하나의 맵만을 입력.
본 발명은 또한 하나의 깊이 맵만이 존재하는 경우에 적용가능하다는 것에 주목해야 한다. 이런 경우에, 본 명세서에서 제안된 기법들은 원래의 깊이 맵의 것과 비교하여 반감된 해상도(행 또는 열에 의해)를 갖는 컬러 이미지를 구성하게 한다.
완성된 생성 및 재구성 시스템.
본 명세서에서 제안된 해결책들은 입체 비디오 시퀀스들의 쌍을 각각의 깊이 맵들과 함께 시각화 시스템으로 전송하기 위해 사용될 수 있고, 따라서, 임의의 중간 뷰포인트의 합성을 가능하게 한다.
도 19a 및 도 19b는 타이틀 포맷으로 알려진 프레임-패킹 포맷을 이용하는 완성된 생성, 재구성 및 시각화 시스템 - 생성 측이 재구성 및 시각화 측과 분리됨- 의 예를 도시한다.
특히, 제안된 시스템에서, 도면들에서 좌측 깊이 맵 DL(Depth Left) 및 우측 깊이 맵 DR(Depth Right)(가능하면 2Wx2H 치수들을 갖는 2개의 뷰들의 2개의 깊이 맵들을 4:1로 언더샘플링함으로써 획득된)로서 지시된, WxH 해상도를 갖는 2개의 깊이 맵들은 본 명세서에서 제안된 기법들 중 하나를 채택함으로써, "깊이 머저(merger)"로 지칭된 디바이스에 의해 WxH 해상도를 갖는 단일 4:2:0 YUV 컬러 이미지로 머지된다. 그 후, 타이틀-포맷 멀티플렉서 디바이스는 2Wx2H 해상도를 갖는 2개의 입체 이미지들 및 WxH 해상도를 갖는 깊이 맵들의 각각의 쌍으로부터 시작하여 타이틀-포맷 합성 프레임을 구성한다. 깊이 맵들의 쌍은 하부 좌측 모서리(도 1 참조)에서 프레임-패킹 포맷에 의해 이용가능한 공간 좌측을 정확하게 점유한다. 3Wx3H 해상도를 갖는 단일 이미지가 이와 같이 획득되는데, 이는 입체 신호의 모든 성분들을 이동시킬 수 있다. W=640 및 H=360을 가정하면, 1920x1080 해상도를 갖는 타이틀-포맷 이미지가 생성될 것인데, 이는 1080p로서 알려진 고화질 비디오 포맷과 호환가능하다. 타일-포맷 이미지들에 의해 구성된 비디오 신호는 따라서 1920x1080 비디오 신호를 코딩, 전송 또는 이송하기 위한 임의의 인프라와 호환가능하게 된다.
알려진 인코더(예를 들면, MPEG4 또는 HEVC)는 가능하면 다른 처리들(다른 콘텐츠들과의 멀티플렉싱, 변조 등) 후에 통신 채널을 통한 전송을 위해 타이틀-포맷 멀티플렉서에 의해 입체 비디오 스트림을 효율적으로 압축할 수 있다. 대안적으로, 인코딩된 스트림은 미래의 실현을 위해 쓰기 유닛에 의해 임의의 저장 수단들(휘발성 또는 비-휘발성 반도체 메모리, 광전자 매체 등)에 저장될 수 있다.
수신기 측에서(도 19b 참조), 통신 채널로부터 수신되거나 저장 매체로부터 판독된 입체 비디오 스트림은 디코딩되고 타이틀-포맷 디멀티플렉서로 전송되는데, 이는 2Wx2H 해상도를 갖는 입체 이미지들 L 및 R의 쌍 및 깊이 머저에 의한 생성시 생성된 컬러 이미지를 추출한다. 깊이 스플리터로 지칭된 스플리트 유닛은 상기 이미지로부터 WxH 해상도를 갖는 컬러 깊이 맵들의 쌍 DL 및 DR을 추출하는데, 이는 깊이 업-샘플러로 지칭된 간단한 알려진 보간 디바이스에 의해 그것들의 원래의 2Wx2H 크기로 확장될 수 있다. 뷰 합성기 디바이스는 자기-입체 디바이스를 통한 시각화를 위해 R 및 L 사이의 중간 뷰들을 연산한다.
본 발명을 깊이 맵들에 적용함으로써 획득된 입체 비디오 스트림의 생성(1500) 및 재구성(1550)을 위한 장치들의 설명은 많은 변형들이 이루어질 수 있다는 것에 주목해야 한다. 예를 들면, 깊이 머저 및 타이틀-포맷 멀티플렉서의 기능들은 실제로 동일한 물리적 디바이스에 의해 수행될 수 있고; 재구성 측에서, 입체 이미지들의 합성 및 시각화가 동일한 장치 또는 2개의 개별 장치들에 의해 수행될 수 있다.
재구성 동작들.
본 발명에 따른 깊이 맵들의 재구성을 위해, 상술한 변형들에 따른 컬러 이미지들을 생성하기 위한 동작들과 역인 동작들이 수행된다.
특히, 다수의 성분들(Y, U, Y)로 구성된 컬러 이미지로부터 시작하여 적어도 하나의 깊이 맵(DM1, DM2)을 재구성하기 위한 방법은 휘도 성분(Y)으로부터 획득된 제 1 세트의 픽셀들, 색차 성분들(U) 중 하나로부터 획득된 제 2 세트의 픽셀들, 및 상기 컬러 이미지(Y, U, Y)의 다른 색차 성분(V)으로부터 획득된 제 3 세트의 픽셀들을 깊이 맵에 입력하기 위해 제공된다.
바람직하게는, 제 1, 제 2 및 제 3 세트들의 픽셀들을 재복사함으로써, 상기 적어도 하나의 깊이 맵의 모든 픽셀들이 획득되고; 또는, 제 1, 제 2 및 제 3 세트들의 픽셀들을 재복사함으로써, 깊이 맵의 일부 픽셀들이 획득되며, 누락 픽셀들은 재복사된 픽셀들에 보간 동작들이 이루어지게 함으로써 획득된다.
일부 가능한 변형들에서, 제 2 및 제 3 세들(U 및 V)은 보간된 값들에 대한 차이들을 포함하고, 그래서, 재구성시, 먼저 보간된 값들을 연산하고 그 다음 U 및 V로부터 획득된 정정들을 적용하는 것이 필요할 것이다.
일부 가능한 변형들에서, 방법은 컬러 이미지의 제 1, 제 2 및 제 3 세트들의 픽셀들로부터 획득된 값들(w0, w1, wd)을, 깊이 맵(DM1, DM2)의 픽셀 블록에 복사될 값들(a, b, c, d)의 재구성을 허용하는 이의 합들 및 차이들로 대체하는 단계를 포함한다.
추가의 가능한 변형들에서, 컬러 이미지의 성분들(Y, U, V)의 세트들의 픽셀들을 재복사 후, 획득된 상기 깊이 맵(DM1, DM2)을 획득하기 위해 생성 단계에서 수행된 변환과 역인 도메인 변환을 하기 위한 방법이 제공된다.
본 발명에 따른 Y, U, V 성분들로 구성된 컬러 이미지로부터 시작하여 적어도 하나의 깊이 맵(DM1, DM2)을 재구성하기 위한 장치는 적어도 하나의 깊이 또는 디스페리티 맵에, 휘도 성분(Y)으로부터 획득된 제 1 세트의 픽셀들, 색차 성분들(U) 중 하나로부터 획득된 제 2 세트의 픽셀들, 및 상기 컬러 이미지(Y, U, V)의 다른 색차 성분(V)으로부터 획득된 제 3 세트의 픽셀들을 입력하기 위한 수단을 포함한다.
상기 장치에서, 바람직하게는, 제 1, 제 2 및 제 3 세트들의 픽셀들은 적어도 하나의 깊이 또는 디스페리티 맵의 모든 픽셀들을 커버한다.
대안으로서, 제 1, 제 2, 제 3 세트들의 픽셀들은 적어도 하나의 깊이 또는 디스페리티 맵의 일부 픽셀들을 커버하고, 재복사된 픽셀들이 보간 동작들이 이루어지게 함으로써 획득된 픽셀들은 남은 픽셀들에 입력된다.
장치는 동일한 WxH 크기를 갖는 2개의 깊이 맵들 DM1, DM2를 재구성할 수 있고, 컬러 이미지 Y, U, V에서, 휘도 성분 Y는 2개의 깊이 또는 디스페리티 맵들 DM1, DM2와 동일한 WxH 크기를 가진다.
바람직하게는, 장치는 예측되거나 보간된 기준 값에 대한 픽셀들의 그룹으로부터 선택된 픽셀들의 값들의 합 또는 차이를 만들기 위한 수단 - 후자 값은 제 2 및 제 3 세트들의 픽셀들을 획득하기 위해, 제 1 세트가 속하는 픽셀들의 값들로부터 획득됨 - 을 포함한다.
바람직하게는, 장치는 적어도 하나의 깊이 맵 DM1, DM2의 픽셀 블록에 복사될 값들 a, b, c, d를 재구성하도록 컬러 이미지의 제 1, 제 2 및 제 3 세트들의 픽셀들로부터 획득된 값들 w0, w1, wd를 이의 합들 및 차이들로 대체하기 위한 수단을 포함한다.
바람직하게는, 장치는 컬러 이미지의 상기 성분들 Y, U, V의 세트들의 픽셀들을 재복사한 후, 상기 적어도 하나의 깊이 맵 DM1, DM2를 획득하기 위해 생성 단계에서 수행되는 변환과 역인 도메인 변환을 하기 위한 수단을 포함한다.
깊이 맵들이 타이틀-포맷 합성 프레임에 입력되는 경우에, 상술한 변형들의 모두에서, 모든 현재 및 미래의 유형들의 디스플레이들 상에 3D 콘텐츠들을 생성, 이동 및 재생하기 위한 일반적인 포맷이 획득된다.
2D 재생 디바이스의 경우에, 디바이스의 비디오 프로세서는 이미지들 R 및 디코딩된 비디오 프레임에 존재할 수 있는 깊이 맵들 DM1 및 DM2를 단순히 버릴 것이고, 스케일이 이루어지며, 단지 이미지들 L의 시퀀스만을 관련된 시각화 다비아스 상에 디스플레이할 것이다.
동일한 것이 사용자가 2D 디스플레이 모드를 작동시켰던 3D 재생 디바이스의 경우에 적용된다.
3D 디스플레이 모드가 작동되었던 3D 재생 디바이스는 플레이어가 장면의 깊이를 조정하는(감소시키는) 가능성을 사용자에게 제공하는지 아닌지의 여부에 따라 2개의 상이한 거동들을 나타낼 수 있다. 후자의 경우에서, 비디오 프로세서는 3-차원 효과를 생성하기 위해 이미지들 L(Left) 및 R(Right)의 2개의 시퀀스들을 이용할 것이다. 전자의 경우에, 비디오 프로세서는 L과 R 사이의 중간 뷰들을 생성하기 위해 입체 이미지들 L 및 R의 각각의 쌍과 관련된 합성 프레임들에 포함된 깊이 맵들(하나 또는 둘)을 사용할 것이고, 그에 의해 L 및 R로부터 달성할 수 있는 것보다 낮은, 가변 깊이를 갖는 3-차원 이미지들을 획득할 것이다.
마지막 애플리케이션 케이스는 자기-입체 플레이어들에 의해 나타내는데, 이는 디스플레이 전면에서의 공간에서 상이한 위치들에서 위치된 시청자들에 대하여 3-차원 효과를 생성하기 위해 매우 큰 수의 뷰들(수 십개의 뷰들)이 필요하다. 이런 경우에, 비디오 프로세서는 일련의 다른 이미지들을 합성하기 위해 이미지들 L 및 R 그것들 자체와 함께 합성 프레임들에 포함된 깊이 맵들(하나 또는 둘)을 이용할 것이다.
마지막으로, 재생 디바이스의 비디오 프로세서는 이미지들의 2개의 시퀀스들을 디스플레이로 전송하도록 적응된 수단을 포함할 수 있는데, 이들 중 적어도 하나는 전송된 뷰들의 적어도 하나로부터 그리고 적어도 하나의 깊이 맵들로부터 시작하여 합성된 이미지들로 구성된다. 이런 경우, 그것은 또한 바람직하게는, 깊이의 인식을 변화시킬 수 있도록 시청자들에게 어느 정도 가까운 뷰포인트들에 관한 이미지들의 시퀀스들을 선택할 가능성을 제공하도록 적응된 수단을 포함한다.
재생 디바이스의 비디오 프로세서는 또한 추가의 뷰들에 대응하는 추가 이미지들을 생성하도록 적응된 수단을 포함하고, 그래서 공간에서 상이한 점들에 배치된 시청자들은 관련된 자기-입체 디스플레이를 통하여 이미지들의 상이한 시퀀스들을 볼 수 있다.
지금까지 제안된 포맷들 중 어느 것도 동시에 여전히 수평 및 수직 해상도의 균형 및 입체 이미지들에 그리고 관련된 깊이 맵들에 적합한 해상도 할당에 관하여 매우 우수한 재생 품질을 보장하면서, 이와 같은 유연성 및 사용의 폭을 제공하지 않는다.
상술한 재구성 동작들은 부분적으로 수신기 디바이스에서 그리고 부분적으로 시각화 디바이스(플레이어)에서 수행될 수 있다. 본 발명은 방법의 하나 또는 그 초과의 단계들을 실행하기 위한 코딩 수단을 포함하는 컴퓨터 프로그램을 통하여 유리하게 구현될 수 있다. 따라서, 보호 범위가 상기 컴퓨터 프로그램뿐만 아니라 기록된 메시지를 포함하는 컴퓨터-판독가능한 수단들로 연장되는 것이 이해되며, 상기 컴퓨터-판독가능한 수단은 상기 프로그램이 컴퓨터에 의해 실행될 때, 방법의 하나 또는 그 초과의 단계들을 구현하기 위한 프로그램 코딩 수단을 포함한다.
실시예의 상술한 예는 본 발명의 보호 범위를 벗어나지 않고 변형들이 이루어질 수 있고, 당업자에게 알려진 모든 동일한 설계들을 포함한다.
본 설명은 본 발명의 실시예들을 다루었고, 여기서, 컬러 이미지에 대하여 이용되는 샘플링 시스템이 4:2:0 또는 4:2:2이고, 이는 가장 광범위한 것들이다. 그럼에도 불구하고, 그것은 마찬가지로, 예를 들면, 필요하면 언제나, 이미지들을 초기 그레이스케일 레벨들로 언더샘플링하기 위한 동작들을 수행함으로써, 4:4:4, 4:1:1, 4:1:0과 같은 임의의 다른 샘플링 시스템에 적용가능하다.
다양한 바람직한 실시예들에서 도시된 엘리먼트들 및 특징들은 함께, 그러나, 본 발명의 보호 범위를 벗어나지 않고, 결합될 수 있다.
위의 설명으로부터, 당업자는 임의의 추가 구성 세부사항들을 도입하지 않고도 본 발명의 목적을 초래할 수 있을 것이다.

Claims (22)

  1. 적어도 하나의 깊이(depth) 또는 디스페리티(disparity) 맵(DM1, DM2)으로부터 시작하여 다수의 성분들(Y, U, V)로 구성된 컬러 이미지를 생성하기 위한 방법으로서,
    상기 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)의 제 1 세트의 픽셀들은 상기 컬러 이미지의 휘도(luminance) 성분(Y)에 입력되고, 상기 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)의 제 2 및 제 3 세트들의 픽셀들은 상기 컬러 이미지의 2개의 색차(chrominance) 성분들(U, V)에 입력되는, 컬러 이미지를 생성하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 세트들의 픽셀들이 상기 휘도(Y) 및 색차(U, V) 성분들에 입력될 위치들의 선택은 상기 컬러 이미지의 상기 휘도 성분(Y)과 상기 색차 성분들(U, V) 사이의 공간 상관관계를 보장하도록 것과 같은 방식으로 이루어지는, 컬러 이미지를 생성하기 위한 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1, 제 2 및 3 세트들의 조합은 상기 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)의 모든 픽셀을 포함하는, 컬러 이미지를 생성하기 위한 방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1, 제 2 및 3 세트들은 상기 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)의 모든 픽셀들 중 일부만을 포함하는, 컬러 이미지를 생성하기 위한 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    WxH 크기의 2개의 깊이 또는 디스페리티 맵들(DM1, DM2)은 사이드-바이-사이드(side-by-side) 또는 탑-앤-바텀(top-and-bottom) 기법을 이용함으로써 동일한 크기의 컬러 이미지에 입력되는, 컬러 이미지를 생성하기 위한 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    픽셀들의 그룹에 속하는 상기 제 2 및 제 3 세트들의 픽셀들은 예측되거나 보간된 값에 대한 차이 값들로 대체되고, 상기 보간된 값은 상기 제 1 세트에 속하는 픽셀들의 값들로부터 획득되는, 컬러 이미지를 생성하기 위한 방법.
  7. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    합들을 상기 휘도 성분(Y)으로 정하고(place), 차이들(wd) 중 하나만이 상기 색차 성분들(U, V)에 교번하여 정해지게 선택함으로써, 연속한 픽셀들(a, b, c, d)의 그룹에 속하는 상기 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)의 픽셀들을 합들 또는 이들의 차이들(w0, w1, w2, w3)로 대체하는 단계를 포함하는, 컬러 이미지를 생성하기 위한 방법.
  8. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    합들을 상기 휘도 성분(Y)으로 정하고, 2개의 차이들 중 제 1 차이를 색차 성분(U)?, 그리고 제 2 차이를 다른 색차 성분(V)으로 정함으로써, 연속한 픽셀들(a, b, c, d)의 그룹에 속하는 상기 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)의 픽셀들을 합들 또는 이들의 차이들(w0, w1, w2, w3)로 대체하는 단계를 포함하는, 컬러 이미지를 생성하기 위한 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 세트들의 픽셀들을 상기 컬러 이미지의 성분들(Y, U, V)에 입력하기 이전에, 상기 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)을 도메인 변환으로 처리하는 단계를 포함하는, 컬러 이미지를 생성하기 위한 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법을 이용함으로써 획득된 컬러 이미지들의 시퀀스를 포함하는 비디오 스트림을 생성하기 위한 방법.
  11. 타이틀 포맷 프레임-패킹(frame-packing) 포맷을 이용하여 비디오 스트림을 생성하기 위한 방법으로서,
    제 1 항 내지 제 9 항 중 어느 한 항에 따라, 컬러 이미지가 2개의 입체 뷰(view)들에 관한 이미지들의 픽셀들이 없는 프레임 부분에 입력되는, 비디오 스트림을 생성하기 위한 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 이용함으로써 획득된 컬러 이미지들의 시퀀스를 포함하는 비디오 스트림을 생성하도록 적응된 이미지 프로세싱 수단을 포함하는 장치.
  13. 다수의 성분들(Y, U, V)로 구성된 컬러 이미지로부터 시작하여 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 방법으로서,
    휘도 성분(Y)으로부터 시작하여 획득된 제 1 세트의 픽셀들, 색차 성분들 중 하나(U)로부터 시작하여 획득된 제 2 세트의 픽셀들, 및 상기 컬러 이미지(Y, U, V)의 다른 색차 성분(V)으로부터 시작하여 획득된 제 3 세트의 픽셀들이 상기 적어도 하나의 깊이 또는 디스페리티 맵에 입력되는, 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 방법.
  14. 제 13 항에 있어서,
    상기 제 1 세트의 픽셀들은 휘도 성분으로부터 획득되고, 상기 제 2 세트의 픽셀들은 상기 색차 성분들 중 하나(U)로부터 획득되며, 상기 제 3 세트의 픽셀들은 상기 컬러 이미지(Y, U, V)의 다른 색차 성분(V)으로부터 획득되는, 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 방법.
  15. 제 13 항에 있어서,
    상기 제 1 세트의 픽셀들은 상기 휘도 성분에 의해 획득되는 반면, 상기 제 2 또는 제 3 세트들은 각각, 상기 제 1 세트에 속하는 픽셀들의 값들로부터의 보간에 의해 획득된 기준 값에 대한 차이를 나타내는, 색차 성분들 중 하나 또는 다른 하나로부터 각각 획득된 픽셀들의 값들과, 상기 기준 값의 합을 수행함으로써 획득되는, 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 방법.
  16. 제 13 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)의 모든 픽셀들은 상기 제 1, 제 2 및 제 3 세트들의 픽셀들을 획득함으로써 획득되는, 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 방법.
  17. 제 13 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)의 일부 픽셀들은 상기 제 1, 제 2 및 제 3 세트들의 픽셀들을 획득함으로써 획득되고, 누락(missing) 픽셀들은 보간 동작들에 의해 재복사된 픽셀들로부터 획득되는, 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 방법.
  18. 제 14 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 제 1, 제 2 및 제 3 세트들의 픽셀들을 획득함으로써, 상기 컬러 이미지(Y, U, V)와 동일한 크기(WxH)를 갖는 2개의 깊이 또는 디스페리티 맵들(DM1, DM2)이 획득되는, 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 방법.
  19. 다수의 성분들(Y, U, V)로 구성된 컬러 이미지로부터 시작하여 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 방법으로서,
    상기 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)에 복사될 값들(a, b, c, d)을 재구성할 목적으로, 연속한 위치들에서, 상기 다수의 성분들(Y, U, V)로부터 획득된 값들(w0, w1, wd; w0, w1, w2, w3)을 선형적으로 결합하는 단계
    를 포함하는, 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 방법.
  20. 제 13 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 세트들의 픽셀들이 상기 컬러 이미지의 성분들(Y, U, V)로부터 획득된 후, 생성 스테이지에서 수행되는 것에 대한 역 도메인 변환이 상기 적어도 하나의 깊이 맵(DM1, DM2)을 획득하기 위해 수행되는, 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 방법.
  21. 타이틀 포맷으로 지칭되는 프레임-패킹 포맷을 이용하여 비디오 스트림을 재구성하기 위한 방법으로서,
    제 13 항 내지 제 20 항 중 어느 한 항의 방법에 따라, 2개의 입체 뷰들에 관한 이미지들의 픽셀들이 없는 프레임 부분에 존재하는 컬러 이미지로부터 시작하여 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 단계들을 포함하는, 비디오 스트림을 재구성하기 위한 방법.
  22. Y, U, V 성분들로 구성된 컬러 이미지로부터 시작하여 적어도 하나의 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 장치로서,
    제 13 항 내지 제 21 항 중 어느 한 항에 따른 방법을 구현하기 위한 수단들을 포함하는, 깊이 또는 디스페리티 맵(DM1, DM2)을 재구성하기 위한 장치.
KR1020140073525A 2013-06-18 2014-06-17 3차원 비디오 스트림에 속하는 이미지의 색 성분들을 이용한 깊이 맵들을 생성, 저장, 전송, 수신 및 재생하기 위한 방법 및 디바이스 KR20140147043A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IT000503A ITTO20130503A1 (it) 2013-06-18 2013-06-18 Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale
ITTO2013A000503 2013-06-18

Publications (1)

Publication Number Publication Date
KR20140147043A true KR20140147043A (ko) 2014-12-29

Family

ID=49035854

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140073525A KR20140147043A (ko) 2013-06-18 2014-06-17 3차원 비디오 스트림에 속하는 이미지의 색 성분들을 이용한 깊이 맵들을 생성, 저장, 전송, 수신 및 재생하기 위한 방법 및 디바이스

Country Status (11)

Country Link
US (1) US10038890B2 (ko)
JP (1) JP6644979B2 (ko)
KR (1) KR20140147043A (ko)
CN (1) CN104243966B (ko)
DE (1) DE102014211612A1 (ko)
ES (1) ES2550128B1 (ko)
FR (2) FR3007234B1 (ko)
GB (1) GB2517038B (ko)
HK (1) HK1204737A1 (ko)
IT (1) ITTO20130503A1 (ko)
TW (1) TW201503663A (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253482B2 (en) * 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
TWI521940B (zh) * 2012-06-14 2016-02-11 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
US9355468B2 (en) * 2013-09-27 2016-05-31 Nvidia Corporation System, method, and computer program product for joint color and depth encoding
US9398312B2 (en) * 2013-11-04 2016-07-19 Samsung Display Co., Ltd. Adaptive inter-channel transform for wavelet color image compression
CN104851109B (zh) * 2015-06-10 2018-08-17 宁波盈芯信息科技有限公司 一种从三维深度感知设备输出高灰阶深度图像的方法
AU2016292954A1 (en) * 2015-07-15 2017-08-17 Blinxel Pty Ltd "system and method for image processing"
CN105069751B (zh) * 2015-07-17 2017-12-22 江西欧酷智能科技有限公司 一种深度图像缺失数据的插值方法
TWI673684B (zh) * 2018-04-12 2019-10-01 國立成功大學 應用於彩色景深圖框包裝及解包裝之選擇景深值指定為rgb次像素與rgb次像素還原選擇景深值的方法及電路
TWI815259B (zh) * 2019-03-12 2023-09-11 弗勞恩霍夫爾協會 用於影像及視訊寫碼之選擇性成分間變換(ict)技術
CN110111254B (zh) * 2019-04-24 2023-03-24 天津大学 一种基于多级递归引导和渐进监督的深度图超分辨率方法
US11202254B1 (en) * 2020-07-31 2021-12-14 At&T Intellectual Property I, L.P. Methods, systems, and devices for simulating voice and data traffic in a mobile network
CN114157850A (zh) * 2021-11-26 2022-03-08 珠海视熙科技有限公司 一种数据传输方法、装置及计算机可读存储介质
EP4254959A1 (en) * 2022-03-30 2023-10-04 Holo-Light GmbH Computer-implemented method for generating augmented image data, computer-implemented streaming method, image streaming system, and augmented image data stream

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4151149B2 (ja) * 1999-03-12 2008-09-17 富士ゼロックス株式会社 画像形成装置
JP4131933B2 (ja) * 2003-01-22 2008-08-13 日本電信電話株式会社 画像データへの立体情報埋め込み方法、装置、プログラム、および記録媒体
EP1705929A4 (en) * 2003-12-25 2007-04-04 Brother Ind Ltd IMAGE DISPLAY DEVICE AND SIGNAL PROCESSING DEVICE
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
CN101610421B (zh) * 2008-06-17 2011-12-21 华为终端有限公司 视频通讯方法、装置及***
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
JP5338630B2 (ja) * 2009-11-18 2013-11-13 セイコーエプソン株式会社 画像処理方法およびプログラム、画像処理装置
IT1397591B1 (it) 2009-12-21 2013-01-16 Sisvel Technology Srl Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi.
US8774267B2 (en) * 2010-07-07 2014-07-08 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
CN103202019A (zh) * 2010-11-22 2013-07-10 索尼公司 编码装置和编码方法、以及解码装置和解码方法
KR101233398B1 (ko) * 2010-12-10 2013-02-15 광주과학기술원 깊이 지도 생성 방법 및 장치
US8902982B2 (en) * 2011-01-17 2014-12-02 Samsung Electronics Co., Ltd. Depth map coding and decoding apparatus and method
JP2012186781A (ja) * 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
JP6094863B2 (ja) * 2011-07-01 2017-03-15 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、プログラム、集積回路
IN2014CN02708A (ko) * 2011-09-28 2015-08-07 Pelican Imaging Corp
CN102438167B (zh) * 2011-10-21 2014-03-12 宁波大学 一种基于深度图像绘制的立体视频编码方法
TWI521940B (zh) * 2012-06-14 2016-02-11 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
WO2014025294A1 (en) * 2012-08-08 2014-02-13 Telefonaktiebolaget L M Ericsson (Publ) Processing of texture and depth images

Also Published As

Publication number Publication date
ES2550128B1 (es) 2016-09-09
FR3017021B1 (fr) 2018-02-09
ES2550128A2 (es) 2015-11-04
JP6644979B2 (ja) 2020-02-12
ES2550128R1 (es) 2015-11-27
FR3007234A1 (fr) 2014-12-19
CN104243966A (zh) 2014-12-24
TW201503663A (zh) 2015-01-16
HK1204737A1 (en) 2015-11-27
JP2015005978A (ja) 2015-01-08
GB201409710D0 (en) 2014-07-16
FR3007234B1 (fr) 2017-11-24
DE102014211612A1 (de) 2014-12-18
GB2517038A (en) 2015-02-11
US20140368610A1 (en) 2014-12-18
US10038890B2 (en) 2018-07-31
ITTO20130503A1 (it) 2014-12-19
GB2517038B (en) 2017-11-29
FR3017021A1 (fr) 2015-07-31
CN104243966B (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
JP6644979B2 (ja) ３次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス
US20190222821A1 (en) Methods for Full Parallax Compressed Light Field 3D Imaging Systems
US8780256B2 (en) Stereoscopic image format with depth information
KR101354387B1 (ko) 2ｄ 비디오 데이터의 3ｄ 비디오 데이터로의 컨버전을 위한 깊이 맵 생성 기술들
KR101676504B1 (ko) 스테레오플렉스화 필름 및 비디오 애플리케이션의 역다중화 방법
US8274551B2 (en) Method and apparatus for generating header information of stereoscopic image data
US8471893B2 (en) Method and apparatus for generating stereoscopic image bitstream using block interleaved method
JP5544361B2 (ja) 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム
WO2015057039A1 (ko) 멀티-뷰 비디오 코딩에 있어서, 뷰 합성 예측 방법 및 이를 이용한 머지 후보 리스트 구성 방법
US20080205791A1 (en) Methods and systems for use in 3d video generation, storage and compression
CN102047669B (zh) 具有深度信息的视频信号
KR20170139560A (ko) 완전 시차 광 필드 디스플레이 시스템들을 위한 방법들 및 장치들
ITTO20100652A1 (it) Metodo per combinare immagini riferentesi ad un contenuto tridimensionale
JP2018538739A (ja) コンテンツ適応型光照射野圧縮
TW201351961A (zh) 基於閉塞映像之使用而產生及重建一三維視訊串流之方法以及相應之產生及重建裝置
JP6979290B2 (ja) 画像符号化装置および画像復号化装置、並びに、画像符号化プログラムおよび画像復号化プログラム
KR20080114450A (ko) 블록 인터리브드 방식의 양안 영상 정보를 포함하는 양안식영상 비트스트림 생성 방법 및 장치
Lau et al. Compression of still multiview images for 3-D automultiscopic spatially-multiplexed displays
Faria et al. 3D Video Representation and Coding

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid