KR20140004209A - 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치 - Google Patents
3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치 Download PDFInfo
- Publication number
- KR20140004209A KR20140004209A KR1020137026868A KR20137026868A KR20140004209A KR 20140004209 A KR20140004209 A KR 20140004209A KR 1020137026868 A KR1020137026868 A KR 1020137026868A KR 20137026868 A KR20137026868 A KR 20137026868A KR 20140004209 A KR20140004209 A KR 20140004209A
- Authority
- KR
- South Korea
- Prior art keywords
- texture image
- texture
- depth
- block
- depth map
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
3D 비디오 코딩 시스템에서의 텍스처 이미지 압축 방법 및 장치를 개시한다. 본 발명에 따르면 텍스처 이미지와 연관된 깊이 맵에 관련된 깊이 정보를 얻은 다음, 얻은 깊이 정보에 기초하여 텍스처 이미지를 처리한다. 본 발명은 인코더 측은 물론 디코더 측에도 적용될 수 있다. 깊이 맵 및 텍스처 이미지에 대한 인코딩 순서 또는 디코딩 순서는 블록단위 인터리빙 또는 화면단위 인터리빙에 기초할 수 있다. 본 발명의 일 측면은 깊이 맵의 깊이 정보에 기초한 텍스처 이미지의 분할에 관한 것이다. 본 발명의 다른 측면은 깊이 정보에 기초한 움직임 벡터 또는 움직임 벡터 예측자 처리에 관한 것이다.
Description
본 발명은 비디오 코딩에 관한 것이다. 특히, 본 발명은 3D 비디오 코딩에서의 텍스처 이미지 압축에 관한 것이다.
관련출원의 상호참조
본 발명은 2011년 6월 15일에, "Method of compressing texture images using depth maps in 3D video coding"이라는 발명의 명칭으로 출원된, 미국 가특허출원 제61/497,441호에 대해 우선권을 주장한다. 상기 미국 가특허출원의 내용 전부는 인용에 의해 본 출원에 포함된다.
삼차원(three-dimensional,3D) 텔레비전은, 시청자에게 깜짝 놀랄만한 시청 경험을 제공하는 것을 목표로 하는 것이 최근의 기술 동향이다. 3D 시청을 가능하게 하기 위해 다양한 기술이 개발되었다. 그 중에서, 다시점 비디오(multi-view video)가 특히 3D TV 애플리케이션에 있어 핵심 기술이다. 종래의 비디오는, 시청자에게 오직 카메라의 관점에서 장면(scene)의 단일 시점(single view)을 제공하는 이차원(two-dimensional, 2D) 매체이다. 그러나, 다시점 비디오는 동적인 장면에 대해 임의의 관점(viewpoint)을 제공할 수 있고 시청자에게 현실감을 제공한다.
다시점 비디오는 일반적으로 복수의 카메라를 동시에 사용하여 장면을 포착(capture)함으로써 만들어지고, 복수의 카메라는 각각의 카메라가 하나의 관점에서 장면을 포착하도록 적절히 위치한다. 따라서, 복수의 카메라는 복수의 시점에 대응하는 복수의 비디오 시퀀스(video sequence)를 포착한다. 더 많은 시점을 제공하기 위해, 더 많은 카메라가 복수의 시점과 연관된 많은 수의 비디오 시퀀스를 가지는 다시점 비디오를 생성하기 위해 사용되었다. 따라서, 다시점 비디오는 저장을 위한 대량의 저장 공간 및/또는 전송을 위한 높은 대역폭을 필요로 할 것이다. 따라서, 다시점 비디오 코딩 기술은 필요한 저장 공간 또는 전송 대역폭을 줄이기 위해 현장에서 개발되었다. 간단한 방법은 단순히 각각의 단일 시점 비디오 시퀀스에 종래의 비디오 코딩 기술을 독립적으로 적용하고 다른 시점들 사이의 상관관계를 무시한다. 다시점 비디오 코딩 효율성을 개선하기 위해, 일반적인 다시점 비디오 코딩는 항상 시점 간 중복성(inter-view redundancy)을 이용한다.
시점 간 상관관계는 3D 비디오 코딩에서의 텍스처 이미지의 코딩 효율을 향상시키는 데 유용하지만, 텍스처 이미지와 깊이 맵(depth map) 사이에는 상당한 상관관계가 있다. 텍스처 이미지와 깊이 맵 사이의 상관 관계를 이용하는 것이 텍스처 이미지 압축의 코딩 효율을 더욱 개선하는 데 유익할 것이다. 또한, H.264/AVC와 같은 기존의 고효율 코딩 표준 또는 최근에 만들어진 고효율 비디오 코딩 (HEVC) 시스템에 따라 코딩 효율이 향상된 텍스처 이미지 압축 방식을 개발하는 것이 바람직하다.
3D 비디오 코딩 시스템에서의 텍스처 이미지 압축을 위한 방법 및 장치를 개시한다. 본 발명에 따른 실시예는, 먼저 텍스처 이미지와 연관된 깊이 맵에 관한 깊이 정보를 얻고, 얻은 깊이 정보에 기초하여 텍스처 이미지를 처리한다. 본 발명은 인코더 측뿐만 아니라 디코더 측에도 적용될 수 있다. 깊이 정보는 깊이 데이터 및 분할 정보(partition information)를 포함할 수 있다. 깊이 맵은 현재 시점(current view)에 대한 제1 압축 깊이 맵을 포함하는 제1 비트 스트림으로부터 디코딩될 수 있거나, 다른 시점에 대한 제2 압축 깊이 맵을 포함하는 제2 비트 스트림으로부터 디코딩되어 얻어질 수 있거나, 또는 디코딩된 텍스처 이미지로부터 얻어질 수 있다. 깊이 맵 및 텍스처 이미지에 대한 인코딩 순서(encoding orde) 또는 디코딩 순서(decoding order)는 블록 단위 인터리빙(block-wise interleaving) 및 화면 단위 인터리빙(picture-wise interleaving)에 기초할 수 있다. 블록 단위 인터리빙 또는 화면 단위 인터리빙은 텍스처 이미지와 연관된 비트 스트림 내의 플래그(flag)에 따라 선택될 수 있다. 또한 플래그는 시퀀스 레벨, 화면 레벨, 슬라이스 레벨, 또는 블록 레벨에서 포함될 수 있다.
본 발명의 일 측면은 깊이 맵의 깊이 정보를 기초로 한 텍스처 이미지의 분할에 관한 것이며, 텍스처 이미지는 텍스처 블록으로 분할되고, 텍스처 이미지의 현재 텍스처 블록의 분할은 깊이 맵의 깊이 정보에 기초한다. 텍스처 블록은 임의의 형상이거나 또는 직사각 형상일 수 있다. 텍스처 이미지의 현재 텍스처 블록이 서브블록(sub-block)으로 분할되는지는, 깊이 맵의 대응하는 블록의 깊이 정보에 기초할 수 있다. 서브블록의 형상은 깊이 맵의 대응하는 블록의 깊이 정보에 기초할 수 있다. 깊이 맵의 대응하는 블록의 깊이 정보가 텍스처 이미지의 현재의 텍스처 블록을 서브블록으로 분할하는 데 사용되는지를 나타내기 위해, 플래그를 사용할 수 있다. 텍스처 이미지의 현재 텍스처 블록이 텍스처 이미지의 다른 텍스처 블록과 병합(merged)되는지는, 깊이 맵의 깊이 정보에 기초할 수 있다.
본 발명에 따른 다른 실시예에서, 텍스처 이미지는 텍스처 블록으로 분할되고, 텍스처 이미지의 텍스처 블록의 움직임 정보(motion information)는 다른 시점에서의 대응하는 텍스처 블록의 움직임 정보로부터 얻어질 수 있다. 대응하는 텍스처 블록의 위치(loction)는 현재 시점에서의 깊이 맵에 기초하여 얻어질 수 있다. 움직임 정보는 MV들, 참조 화면 색인(reference picture index), 영역 분할, 예측 방향, 및 예측 모드를 포함할 수 있다. 본 발명에 따른 또 다른 실시예에서, 텍스처 이미지에 대한 예측 모드는 텍스처 이미지와 연관된 움직임 벡터에 따라 결정될 있고, 움직임 벡터는 깊이 정보에 기초하여 분류된다. 깊이 정보로 나타낸 텍스처 이미지에서 가까운 객체(object)에 대응하는 영역은, 공간 MVP(Motion Vector Predictor, 움직임 벡터 예측자)를 선택하는 것을 선호할 수 있는 반면, 깊이 정보로 나타낸 텍스처 이미지에서 먼 객체에 대응하는 영역은, 시간 MVP 또는 시점 간 MVP를 선택하는 것을 선호할 수 있다.
본 발명의 다른 측면은 움직임 벡터 또는 움직임 벡터 예측자 처리에 관한 것이다. 일 실시예에서, 텍스쳐 이미지에 대한 MVP(움직임 벡터 예측자)의 제거(pruning)는 텍스처 이미지와 연관된 움직임 벡터에 기초할 수 있고, 움직임 벡터는 깊이 정보를 기초로 하여 분류된다. 하나 이상의 중복 후보(redundant candidate) MVP는 MVP 후보 리스트에서 제거될 수 있으며, 깊이 정보로 나타낸 텍스처 이미지에서 먼 객체에 대응하는 영역에 대해 움직임이 큰 후보 MVP가, MVP 후보 리스트에서 제거되거나 낮은 우선순위를 부여받을 수 있다. 텍스처 이미지에 대한 움직임 벡터를 얻기 위한 움직임 모델은 깊이 맵에 기초하여 결정된다. 텍스처 이미지에서 먼 객체에 대응하는 영역은 병진 모델(translation model)에 따라 움직임 벡터를 얻을 수 있고, 텍스처 이미지에서 가까운 객체에 해당하는 영역은 투시 모델(perspective model)에 따라 움직임 벡터를 얻을 수 있다. 또 다른 실시 예에서, 텍스처 이미지의 현재 영역에 대한 모드는 다른 시점에서의 대응하는 텍스처 이미지의 대응하는 영역의 모드에 기초하여 결정될 수 있다. 대응하는 영역의 위치는, 현재 영역의 위치와, 텍스처 이미지에 연관된 깊이 맵과 다른 시점에서의 대응하는 텍스처 이미지와 연관된 깊이 맵 사이의 위치 대응관계(location correspondence)_로부터 얻어질 수 있다. 모드는 분할 모드, 인터/인트라(inter/intra) 모드, 및 스킵(skip) 모드를 포함할 수 있다.
도 1은 본 발명에 따른 깊이 정보를 이용한 텍스처 이미지 압축의 일례를 나타낸 도면이다.
도 2는 텍스처 이미지와 깊이 맵을 블록으로 분할하는 일례를 나타낸 도면이다(처리 순서는 화면 단위 또는 블록 단위일 수 있음).
도 3은 텍스처 이미지 압축을 위한 깊이 정보를 얻는 예시적인 방법을 나타낸 도면이다.
도 4는 깊이 맵의 영역 분할 정보에 기초한 텍스처 이미지의 영역 분할의 일례를 나타낸 도면이다.
도 5는 두 개의 깊이 맵 사이의 대응관계를 이용한 텍스처 이미지 코딩을 위한 움직임 벡터 예측 프로세스의 일례를 나타낸 도면이다.
도 2는 텍스처 이미지와 깊이 맵을 블록으로 분할하는 일례를 나타낸 도면이다(처리 순서는 화면 단위 또는 블록 단위일 수 있음).
도 3은 텍스처 이미지 압축을 위한 깊이 정보를 얻는 예시적인 방법을 나타낸 도면이다.
도 4는 깊이 맵의 영역 분할 정보에 기초한 텍스처 이미지의 영역 분할의 일례를 나타낸 도면이다.
도 5는 두 개의 깊이 맵 사이의 대응관계를 이용한 텍스처 이미지 코딩을 위한 움직임 벡터 예측 프로세스의 일례를 나타낸 도면이다.
본 발명의 실시예는 3D 비디오 코딩 시스템에서 텍스처 이미지를 인코딩 및 디코딩하는 방법 및 장치에 관한 것이다. 본 발명에 따르면, 텍스처 이미지의 인코딩 및 디코딩에는 대응하는 깊이 맵의 정보를 이용한다. 텍스처 이미지와 깊이 맵 사이의 상관관계는 텍스처 이미지 압축의 코딩 효율을 향상시키는 데 유용하다.
본 발명의 일 실시예에 따르면, 깊이 맵은 각각의 텍스처 이미지보다 먼저 코딩된다. 따라서, 텍스처 이미지 압축은 깊이 맵과 연관된 깊이 정보를 이용할 수 있다. 깊이 정보는 깊이 데이터와 분할 정보를 포함할 수 있다. 일반적인 코딩 시스템이 흔히 깊이 정보를 블록 또는 영역으로 분할하고 블록 또는 영역에 기초하여 인코딩 프로세스를 적용하기 때문에, 분할 정보는 대개 깊이 맵의 인코딩 중에 생성된다. 깊이 맵 및 텍스처의 코딩 순서는 화면 단위(picture-wise) 또는 블록 단위(block-wise) 방식일 수 있다. 도 1은 깊이 맵으로부터의 깊이 정보를 이용한 텍스처 이미지 압축의 일례를 나타낸다. 텍스처 이미지(110) 내의 현재 블록(112)의 압축은 대응하는 깊이 맵(120)으로부터의 정보를 이용할 수 있다. 현재 블록(112)에 대응하는 깊이 맵(120) 내의 블록(122)은 식별될 수 있다. 대응하는 블록(122)에 대한 정보는 텍스처 이미지(110) 내의 현재 블록(112)을 처리하기 전에 입수 가능하기 때문에, 대응하는 블록(122)에 대한 깊이 정보는 코딩 효율을 향상시키기 위해 현재 블록(112)의 압축에 사용될 수 있다. 도 1의 예는, 깊이 맵 내의 대응하는 블록이 현재 블록(112)의 압축에 사용된다는 것을 나타내지만, 깊이 맵 내의 하나 이상의 블록이 또한, 현재 블록을 처리하기 전에 깊이 맵 내의 그러한 블록들의 깊이 정보가 알려져 있는 한, 텍스처 이미지의 현재 블록의 압축에 사용될 수 있다. 또한, 하나 이상의 깊이 맵 내의 블록들의 깊이 정보가 현재 블록을 처리하기 전에 알려져 있다면, 그 하나 이상의 깊이 맵으로부터의 블록들이 본 발명의 실시에 사용될 수도 있다.
텍스처 이미지 내의 블록의 압축에 깊이 맵으로부터의 정보를 사용하기 위해, 텍스처 이미지 내의 블록의 압축에 깊이 맵으로부터의 필요한 정보는 현재 블록을 압축하기 전에 이용할 수 있게 되어야 한다. 일반적인 비디오 압축 또는 처리 시스템에서, 텍스처 이미지와 깊이 맵은, 도 2에 도시된 바와 같이, 대개로 블록단위로 처리되고, 여기서 텍스처 이미지는 텍스처 블록 T1 T2, T3, ..., Tn으로 분할되고, 깊이 맵은 깊이 블록 D1, D2, D3, ..., 및 Dn으로 분할되며, 여기서 n은 텍스처 이미지 또는 깊이 맵에서의 블록의 번호이다. 텍스처 이미지와 깊이 맵의 처리 순서는 화면 단위일 수 있다, 즉, 텍스처 이미지를 처리하기 전에 전체 깊이 맵이 처리된다. 또한 다수의 깊이 맵이 텍스처 이미지를 처리하기 전에 처리될 수도 있으므로 텍스처 블록의 압축에는 다수의 깊이 맵으로부터의 정보를 이용할 수 있다. 처리 순서는 또한 블록 단위일 수 있다, 즉, 텍스처 블록과 깊이 블록이 인터리빙 방식으로 처리될 수 있다. 예를 들면, 처리 순서는 D1, T1, T2, T2, D3, T3, ..., Dn 및 Tn일 수 있다. 인터리빙이 매 N개의 블록에 기초하여 이루어질 수 있는 경우, 다수의 블록이 인터리빙될 수 있다. 예를 들면, N이 4인 경우, 블록단위 인터리빙 처리 순서는 D1, D2, D3, D4, T1, T2, T3, T4, D5, D6, D7, D8, T5, T6, T7, T8 등등일 수 있다. 또한 다른 블록단위 인터리빙 패턴도 사용될 수 있다. 또, 텍스처 블록의 처리는 대응하는 깊이 블록을 참조하여 지연될 수 있다. 예를 들어, 현재 텍스처 블록의 처리는 동일 위치에 있는(co-located) 깊이 블록 주위의 깊이 블록과 연관된 깊이 정보를 이용할 수 있다. 이 경우, 현재 텍스처 블록의 처리는 필요한 깊이 블록을 이용할 수 있을 때까지 기다려야 한다. 도 2에 나타낸 블록들이 텍스처 이미지(210) 또는 깊이 맵 (220)을 블록으로 분할하는 것을 보여주는 일례로서 사용된다. 블록들은 다양한 크기일 수 있다. 예를 들어, 블록은, 4×4, 8×8, 16×16, 32×32 또는 64×64 픽셀과 같은 정사각형, 직사각형, 또는 화면 폭을 가로질러 연장되는 스트라이프일 수 있다. 블록은 어떠한 형상일 수도 있다.
전술한 바와 같이, 본 발명의 실시예는 텍스처 블록의 압축을 위해 이용 가능한 깊이 정보를 활용한다. 도 3에 도시된 바와 같이, 깊이 블록 및 관련 정보를 얻는 방법은 다양하다. 본 발명의 일 실시예에 따르면, 깊이 블록 및 관련 정보는 현재 시점과 연관된 깊이 비트 스트림으로부터 얻어질 수 있다. 깊이 비트 스트림은 텍스처-이미지 비트 스트림으로부터 분리할 수 있다. 깊이 비트 스트림은 텍스처-이미지 비트 스트림과 결합하여 하나의 비트 스트림을 형성할 수 있다. 깊이 디코더는, 블록 310에 나타낸 바와 같이, 깊이 비트 스트림을 디코딩하여 현재 시점의 깊이 블록 및 관련 정보를 복구하는 데 이용될 수 있다. 현재 시점의 깊이 블록 및 관련 정보는 또한 다른 시점들의 깊이 맵으로부터 얻어질 수 있다. 이 경우, 깊이 디코더는, 블록 320에 나타낸 바와 같이, 비트 스트림을 디코딩하여 다른 시점의 깊이 블록과 연관된 깊이 정보를 복구하는 데 이용될 수 있다. 현재 시점에 대응하는 깊이 맵은 또한 다른 시점들에 대한 깊이 맵으로부터 얻어질 수 있다. 본 발명의 또 다른 실시예에서, 깊이 블록 및 관련 정보는, 블록 330에 나타낸 바와 같이, 깊이 맵 생성을 사용하여 디코딩된 텍스처 이미로부터 얻어질 수 있다. 이 경우, 현재 시점에 대응하는 깊이 맵은 현재 시점 또는 다른 시점들과 연관된 디코딩된 텍스처 이미지로부터 얻어질 수 있다. 얻어진 깊이 맵은 깊이 맵 참조 버퍼(340)에 저장될 수 있고, 블록 350에 나타낸 바와 같이 깊이 맵에 연관된 정보는 현재 시점에 대한 텍스처 이미지의 인코딩이나 디코딩에 이용될 수 있다. 도 3에 나타낸 바와 같이 다양한 방법에 따라 얻어진 깊이 맵은, 현재 시점에 대한 텍스처 이미지의 디코딩/인코딩에 개별적으로 또는 공동으로 적용될 수 있다.
본 발명에 따른 일 실시예에서는, 텍스처 이미지의 영역 분할은 깊이 맵의 영역 분할로부터 파생되거나 추론될 수 있다. 도 4는 대응하는 깊이 맵의 영역 분할에 따른 텍스처 이미지의 영역 분할의 일례를 나타낸다. 텍스처 이미지의 블록은 깊이 맵의 영역 분할에 따라 임의의 형상 또는 직사각 형상의 서브블록으로 나눠질 수 있다. 예를 들어, 현재 텍스처 블록(410)의 분할은 대응하는 깊이 블록(410a)에 따라 달라질 수 있다. 현재 텍스처 블록(410)은, 깊이 블록(410a)이 인접 블록 420a, 430a 및 440a 중 하나와 병합되는지에 따라 인접 블록 420, 430, 및 440 중 하나와 병합될 수 있다. 하나의 플래그를 사용하여 텍스처 이미지에 대한 영역 분할이 깊이 맵으로부터 파생되었는지를 나타낼 수 있다. 또한, 서브블록과 그 인접한 코딩된 블록이 유사한 깊이 데이터를 가지는 경우, 인접 블록의 움직임 정보를 현재 블록이 공유할 수 있도록, 서브블록과 그 인접한 코딩된 블록은 병합될 수 있다. 선택된 공간적 또는 시간적 인접 블록과의 병합을 위해 움직임 정보를 공유하는 방법은, 고효율 비디오 코딩 테스트 모델 버전 3.0(HM3.0)의 병합 모드와 유사하다. 다른 플래그를 사용하여 병합의 가능 여부를 나타낼 수 있다.
도 5에 도시된 바와 같이, 현재 시점의 움직임 정보는 움직임 벡터 예측 프로세스 중에 다른 시점으로부터 예측될 수 있으며, 여기서 텍스처 이미지(510)가 현재 텍스처 이미지이고, 깊이 맵(520)이 현재 시점의 깊이 맵이며, 텍스처 이미지(510a)가 다른 시점에서의 대응하는 텍스처 이미지이고, 깊이 맵(520a)이 대응하는 다른 시점의 깊이 맵이다. 현재 시점에서의 깊이 맵(520)의 깊이 블록(522)과 다른 시점에서의 깊이 맵(520a)의 대응하는 깊이 블록(522a) 사이의 대응관계를 결정할 수 없는 경우, 현재 텍스처 이미지(510)의 현재 블록(512)과 연관된 다른 시점에서의 대응하는 텍스처 블록(512a)이 얻어질 수 있다. 대응하는 블록(512a)의, 움직임 벡터와 같은, 움직임 정보는 현재 시점에서의 현재 블록(512)에 적용된다. 움직임 정보는 또한 참조 화면 색인(reference picture index), 영역 분할, 예측 방향, 및 예측 모드를 포함할 수 있다. 유사하게, 대응하는 블록(512a)의 움직임 벡터(MV)는 현재 블록(512)의 움직임 벡터 예측자(MVP)로서 사용될 수 있다.
깊이 맵은 또한 적응적 움직임 처리(adaptive motion processing)에 사용될 수 있다. MV는, 텍스처 이미지 내에서 가까운 객체들이 더 빨리 움직인다는 가정하에 깊이 맵에 따라 분류될 수 있다. 운동 시차(motion parallax)로 인해, 가까운 객체들은 흔히 움직임이 큰 반면, 먼 객체들은 흔히 움직임이 작다. 큰 움직임을 포함하는 영역에서는, 공간적 예측을 수행하는 것이 여러 이유로 인해 시간적 또는 시점 간 예측보다 나을 수 있다. 따라서, 실제 깊이가 작은 경우에 공간적 MVP가 더 높은 우선순위를 가진다는 것은, 가까운 객체들로 인해 움직임이 클 수 있고 공간적 상관관계는 더 높을 수 있다는 것을 의미한다. 한편, 실제 깊이가 큰 경우에 시간적 또는 시점 간 MVP가 더 높은 우선순위를 가진다는 것은, 먼 객체들로 인해 움직임이 작을 수 있고 시간적 또는 시점 간 상관관계는 더 높을 수 있다는 것을 의미한다. 따라서, 깊이 맵이, 깊이 맵의 깊이 정보에 적합한 움직임 프로세스의 일례로서 공간적 및 시간적/시점 간 MVP의 적응적인 선택에 이용된다.
깊이 정보에 기초한 MV 분류가 MVP 제거 프로세스에 적용될 수도 있다. 먼 객체들을 포함하는 텍스처 블록에 대해, 작은 MV 후보가 후보 리스트에서 더 높은 우선순위를 가진다. 다시 말해, 큰 MV 후보는 낮은 우선순위를 가지거나 먼 객체들을 포함하는 영역에서의 리스트에서 제거된다. 앞서 언급한 바와 같이, 운동 시차로 인해, 가까운 객체들과 동일한 변위를 겪는 먼 객체들은 더 작은 움직임 벡터를 초래할 것이다. 따라서, 먼 객체들을 포함하는 영역에서의 큰 움직임 벡터를 가질 가능성이 작다. 가까운 객체들에 대해, (값이 영인 움직임 벡터를 포함하는) 작은 움직임 벡터 및 큰 움직임 벡터 모두가 나타날 가능성이 있다. 크거나 작은 이들 움직임 벡터는 가까운 객체들의 실제 변위를 나타낼 수 있다. 따라서 가까운 객체들을 포함하는 영역은 움직임 분류에 적합한 후보 MVP에 우선순위를 부여하지 않을 수 있다.
본 발명의 다른 실시예에 따르면, 움직임 모델은 MV 예측 프로세스에서의 깊이 맵에 적응될 수 있다. 가까운 객체의 텍스처 이미지는 투시 모델(perspective model)에 적합하다. 한편, 먼 객체의 텍스처 이미지는 병진 모델(translational model)에 적합하다. 다시 말하지만, 앞서 언급한 이유로, 가까운 객체들과 동일한 변위를 겪는 먼 객체들은 운동 시차로 인해 더 작은 움직임 벡터를 초래할 수 있다. 대개, 단순 변진 운동 모델은 더 작은 움직임에 대해 더 잘 작동한다. 더 큰 움직임의 경우, 더 복잡한 투시 모델을 추구해야 할 수 있다.
본 발명의 또 다른 실시예에 따르면, 현재 시점의 예측 모드를 다른 시점 또는 다른 시점들의 모드로부터 얻을 수 있다. 또 다른 시점에서의 대응하는 텍스처 블록은 깊이 정보를 사용하여 취득될 수 있다. 예측 유형, 블록 크기, 참조 화면 색인, 예측 방향, 및 분할과 같은, 대응하는 텍스처 블록의 모드는 나중에 현재 텍스처 블록에 적용될 수 있다. 예측 유형에는 인터/인트라(Inter/Intra), 스킵(Skip), 병합(Merge), 및 직접(Direct) 모드를 포함할 수 있다.
이상의 설명은 해당 기술분야의 당업자에게 특정 애플리케이션 및 그 요구사항의 맥락에서 제공된 바와 같이 본 발명을 실시할 수 있도록 제공된다. 해당 기술분야의 당업자에게 있어 설명한 실시예에 대한 다양한 수정은 명뱅할 것이고, 본 명세서에 정의된 일반 원칙은 다른 실시예에 적용될 수 있다. 따라서, 본 발명은 도시 및 설명된 특정 실시예에 한정되는 것으로 의도되는 것이 아니라, 본 명세서에 개시된 여리 원리 및 새로운 특징들과 일치하는 가장 넓은 범위를 부여할 수 있다. 이상의 상세한 설명에서, 다양한 구체적인 내용은 본 발명의 철저한 이해를 제공하기 위해 설명된다. 그렇기는 하지만, 해당 기술분야의 당업자라면 본 발명이 실시될 수 있음을 이해할 것이다.
전술한 바와 같이 본 발명에 따른 3D 비디오 코딩 시스템에서의 깊이 맵을 이용한 텍스처 이미지의 인코딩 및 디코딩에 대한 실시예는, 다양한 하드웨어, 소프트웨어 코드, 또는 이 둘의 조합으로 구현될 수 있다. 예를 들어, 본 발명의 실시예는 여기에서 설명한 처리를 수행하기 위해 비디오 압축 칩으로 집적된 회로 또는 비디오 압축 소프트웨어로 집적된 프로그램 코드일 수 있다. 본 발명의 실시예는 또한 여기에서 설명한 처리를 수행하기 위해 디지털 신호 프로세서(Digital Signal Processor, DSP)에서 실행되는 프로그램 코드일 수도 있다. 본 발명은 또한 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로 프로세서, 또는 필드 프로그래머블 게이트 어레이(Field Progrannable Gate Array, FPGA )에 의해 수행될 많은 기능을 포함할 수 있다. 이들 프로세서는, 본 발명에 의해 구현된 특정 방법을 정의한 기계로 판독 가능한 소프트웨어 코드 또는 펌웨어를 실행함으로써, 본 발명에 따른 특정한 타스크(task)를 수행하도록 구성될 수 있다. 소프트웨어 코드 또는 펌웨어 코드는 다른 프로그래밍 언어와 다른 포맷 또는 스타일로 개발될 수 있다. 소프트웨어 코드는 또한 다른 타겟 플랫폼에 대해 컴파일될 수 있다. 그러나, 본 발명에 따른 타스크를 수행하기 위한 다른 코드 포맷, 스타일 및 소프트웨어 코드의 언어 그리고 코드를 구성하는 다른 수단은 본 발명의 사상 및 범위를 벗어나지 않는다.
본 발명은 본 발명의 사상 또는 본질적인 특성에서 벗어나지 않고서 다른 특정한 형태로 구현될 수 있다. 설명한 예는 모든 측면에서 예시적인 것이고 한정적인 것이 아닌 것으로 생각되어야 한다. 따라서, 본 발명의 범위는 전술한 설명에 의해서가 아니라 첨부된 특허청구범위에 의해 표시된다. 특허청구범위와 등가의 수단 및 범위에서의 모든 변경사항은 본 발명의 범위에 속한다.
Claims (36)
- 삼차원(3D) 비디오 코딩 시스템에서 텍스처 이미지를 압축하는 방법으로서,
텍스처 이미지와 연관된 깊이 맵에 관련된 깊이 정보를 얻는 단계; 및
상기 얻은 깊이 정보에 기초하여 상기 텍스처 이미지를 인코딩 또는 디코딩하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 깊이 정보는 깊이 데이터와 분할 정보를 포함하는, 방법. - 제1항에 있어서,
디코더 측에서, 상기 깊이 맵은, 현재 시점(current view)에 대한 제1 압축 깊이 맵을 포함하는 제1 비트 스트림으로부터 디코딩되거나, 다른 시점(other view)에 대한 제2 압축 깊이 맵을 포함하는 제2 비트 스트림으로부터 디코딩되어 얻어지거나, 또는 디코딩된 텍스처 이미지로부터 얻어지는, 방법. - 제1항에 있어서,
상기 깊이 맵 및 상기 텍스처 이미지에 대한 인코딩 순서 또는 디코딩 순서는, 블록단위 인터리빙(block-wise interleaving) 또는 화면단위 인터리빙(picture-wise interleaving)에 기초하는, 방법. - 제4항에 있어서,
상기 블록단위 인터리빙 또는 상기 화면단위 인터리빙은 상기 텍스처 이미지에 연관된 비트 스트림 내의 플래그에 따라 선택되는, 방법. - 제5항에 있어서,
상기 플래그는 시퀀스 레벨, 화면 레벨, 슬라이스 레벨, 또는 블록 레벨에서 통합되어 있는, 방법. - 제1항에 있어서,
상기 텍스처 이미지는 텍스처 블록으로 분할되고, 상기 텍스처 이미지의 현재 텍스처 블록의 분할은 상기 깊이 맵의 깊이 정보에 기초하는, 방법. - 제7항에 있어서,
상기 텍스처 블록은 임의의 형상 또는 직사각 형상인, 방법. - 제7항에 있어서,
상기 텍스처 이미지의 현재 텍스처 블록을 서브블록으로 분할할 것인지는 상기 깊이 맵의 대응하는 현재 블록의 깊이 정보에 기초하는, 방법. - 제9항에 있어서,
상기 서브블록의 형상은 상기 깊이 맵의 상기 대응하는 현재 블록의 깊이 정보에 기초하는, 방법. - 제9항에 있어서,
플래그를 사용하여, 상기 깊이 맵의 상기 대응하는 현재 블록의 깊이 정보가 상기 텍스처 이미지의 현재 텍스처 블록을 상기 서브블록으로 분할하는 데 사용되는지를 나타내는, 방법. - 제1항에 있어서,
상기 텍스처 이미지는 텍스처 블록으로 분할되고, 상기 텍스처 이미지의 현재 텍스처 블록과 상기 텍스처 이미지의 다른 텍스처 블록을 병합할 것인지는 상기 깊이 맵의 깊이 정보에 기초하는, 방법. - 제12항에 있어서,
플래그를 사용하여, 병합 모드가 인에이블 상태인지를 나타내는, 방법. - 제1항에 있어서,
상기 텍스처 이미지는 텍스처 블록으로 분할되고, 상기 텍스처 이미지의 텍스처 블록의 움직임 정보는 다른 시점에서의 대응하는 텍스처 블록 또는 상기 깊이 맵의 대응하는 깊이 블록의 움직임 정보로부터 얻어지는, 방법. - 제14항에 있어서,
상기 대응하는 텍스처 블록의 위치는 현재 시점에서의 상기 깊이 맵에 기초하여 얻어지는, 방법. - 제14항에 있어서,
상기 움직임 정보는 MV(Moving Vector, 움직임 벡터), 참조 화면 색인, 영역 분할, 예측 방향, 및 예측 모드를 포함하는, 방법. - 제1항에 있어서,
상기 텍스처 이미지를 인코딩 또는 디코딩하는 단계는, 상기 텍스처 이미지와 연관된 움직임 벡터에 따라 상기 텍스처 이미지에 대한 예측 모드를 결정하는 단계를 포함하고, 상기 움직임 벡터는 상기 깊이 정보에 기초하여 분류되는, 방법. - 제17항에 있어서,
상기 깊이 정보로 나타낸 상기 텍스처 이미지에서 가까운 객체에 대응하는 제1 영역은 공간 MVP(Motion Vector Predictor, 움직임 벡터 예측자)를 선택하는 것을 선호하고, 상기 깊이 정보로 나타낸 상기 텍스처 이미지에서 먼 객체에 대응하는 제2 영역은 시간 MVP 또는 시점 간 MVP를 선택하는 것을 선호하는, 방법. - 제1항에 있어서,
상기 텍스처 이미지를 인코딩 또는 디코딩하는 단계는, 상기 텍스처 이미지와 연관된 움직임 벡터에 따라 상기 텍스쳐 이미지에 대한 MVP(Motion Vector Predictor, 움직임 벡터 예측자)를 제거하는 단계를 포함하고, 상기 움직임 벡터는 상기 깊이 정보에 기초하여 분류되는, 방법. - 제19항에 있어서,
하나 이상의 중복 후보 MVP가 MVP 후보 리스트에서 제거되고, 상기 깊이 정보로 나타낸 상기 텍스처 이미지에서 먼 객체에 대응하는 영역에 대해 움직임이 큰 후보 MVP가, 상기 MVP 후보 리스트에서 제거되거나 낮은 우선순위가 부여되는, 방법. - 제1항에 있어서,
상기 텍스처 이미지를 인코딩 또는 디코딩하는 단계는, 상기 텍스처 이미지에 대한 움직임 벡터를 얻기 위한 움직임 모델을 결정하는 단계를 포함하고, 상기 움직임 모델을 결정하는 단계는 상기 깊이 맵에 의존하는, 방법 - 제21항에 있어서,
상기 텍스처 이미지에서 먼 객체에 대응하는 제1 영역은 병진 모델(translation medel)에 따라 상기 움직임 벡터를 얻고, 상기 텍스처 이미지에서 가까운 객체에 대응하는 제2 영역은, 투시 모델(perspective model)에 따라 상기 움직임 벡터를 얻는, 방법. - 제1항에 있어서,
상기 텍스처 이미지를 인코딩 또는 디코딩하는 단계는, 다른 시점에서의 대응하는 텍스처 이미지의 대응하는 영역의 모드에 기초하여 상기 텍스처 이미지의 현재 영역에 대한 모드를 결정하는 단계를 포함하는, 방법. - 제23항에 있어서,
상기 대응하는 텍스처 블록의 위치는, 현재 시점에서의 상기 깊이 맵에 기초하여 얻어지고, 상기 대응하는 영역의 위치는 현재 영역의 위치와, 상기 텍스처 이미지와 연관된 상기 깊이 맵과 상기 다른 시점에서의 대응하는 텍스처 이미지와 연관된 깊이 맵 사이의 위치 대응관계로부터 얻어지는, 방법. - 제23항에 있어서,
상기 모드는 예측 유형, 블록 크기, 참조 화면 색인, 예측 방향, 및 분할을 포함하는, 방법. - 3D 비디오 코딩 시스템에서 텍스처 이미지를 압축하는 장치로서,
텍스처 이미지와 연관된 깊이 맵에 관련된 깊이 정보를 얻는 수단; 및
상기 얻은 깊이 정보에 기초하여 상기 텍스처 이미지를 인코딩 또는 디코딩하는 수단
을 포함하는 장치. - 제26항에 있어서,
상기 깊이 정보는 깊이 데이터와 분할 정보를 포함하는, 장치. - 제26항에 있어서,
디코더 측에서, 상기 깊이 맵은, 현재 시점에 대한 제1 압축 깊이 맵을 포함하는 제1 비트 스트림으로부터 디코딩되거나, 다른 시점에 대한 제2 압축 깊이 맵을 포함하는 제2 비트 스트림으로부터 디코딩되어 얻어지거나, 또는 디코딩된 텍스처 이미지로부터 얻어지는, 장치. - 제26항에 있어서,
상기 깊이 맵 및 상기 텍스처 이미지에 대한 인코딩 순서 또는 디코딩 순서는, 블록단위 인터리빙 또는 화면단위 인터리빙에 기초하는, 장치. - 제26항에 있어서,
상기 텍스처 이미지는 텍스처 블록으로 분할되고, 상기 텍스처 이미지의 현재 텍스처 블록의 분할은 상기 깊이 맵의 깊이 정보에 기초하는, 장치. - 제26항에 있어서,
상기 텍스처 이미지는 텍스처 블록으로 분할되고, 상기 텍스처 이미지의 현재 텍스처 블록과 상기 텍스처 이미지의 다른 텍스처 블록을 병합할 것인지는 상기 깊이 맵의 깊이 정보에 기초하는, 장치. - 제26항에 있어서,
상기 텍스처 이미지는 텍스처 블록으로 분할되고, 상기 텍스처 이미지의 텍스처 블록의 움직임 정보는 다른 시점에서의 대응하는 텍스처 블록의 움직임 정보로부터 얻어지는, 장치. - 제26항에 있어서,
상기 텍스처 이미지를 인코딩 또는 디코딩하는 수단은, 상기 텍스처 이미지와 연관된 움직임 벡터에 따라 상기 텍스처 이미지에 대한 예측 모드를 결정하는 수단을 포함하고, 상기 움직임 벡터는 상기 깊이 정보에 기초하여 분류되는, 장치. - 제26항에 있어서,
상기 텍스처 이미지를 인코딩 또는 디코딩하는 수단은, 상기 텍스처 이미지와 연관된 움직임 벡터에 따라 상기 텍스쳐 이미지에 대한 MVP(Motion Vector Predictor, 움직임 벡터 예측자)를 제거하는 수단을 포함하고, 상기 움직임 벡터는 상기 깊이 정보에 기초하여 분류되는, 장치. - 제26항에 있어서,
상기 텍스처 이미지를 인코딩 또는 디코딩하는 수단은, 상기 텍스처 이미지에 대한 움직임 벡터를 얻기 위한 움직임 모델을 결정하는 수단을 포함하고, 상기 움직임 모델을 결정하는 수단은 상기 깊이 맵에 의존하는, 장치. - 제26항에 있어서,
상기 텍스처 이미지를 인코딩 또는 디코딩하는 수단은, 다른 시점에서의 대응하는 텍스처 이미지의 대응하는 영역의 모드에 기초하여 상기 텍스처 이미지의 현재 영역에 대한 모드를 결정하는 수단을 포함하는, 장치.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161497441P | 2011-06-15 | 2011-06-15 | |
US61/497,441 | 2011-06-15 | ||
PCT/CN2012/076975 WO2012171477A1 (en) | 2011-06-15 | 2012-06-15 | Method and apparatus of texture image compression in 3d video coding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157036203A Division KR20160003334A (ko) | 2011-06-15 | 2012-06-15 | 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20140004209A true KR20140004209A (ko) | 2014-01-10 |
Family
ID=47356549
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157036203A KR20160003334A (ko) | 2011-06-15 | 2012-06-15 | 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치 |
KR1020137026868A KR20140004209A (ko) | 2011-06-15 | 2012-06-15 | 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157036203A KR20160003334A (ko) | 2011-06-15 | 2012-06-15 | 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9918068B2 (ko) |
EP (1) | EP2721823B1 (ko) |
JP (1) | JP5872676B2 (ko) |
KR (2) | KR20160003334A (ko) |
CN (1) | CN103621093B (ko) |
CA (1) | CA2833032C (ko) |
WO (1) | WO2012171477A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016006913A1 (ko) * | 2014-07-08 | 2016-01-14 | 엘지전자 주식회사 | 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9509972B2 (en) * | 2011-06-24 | 2016-11-29 | Lg Electronics Inc. | Encoding/decoding method and apparatus using a skip mode |
US20130188013A1 (en) * | 2011-07-22 | 2013-07-25 | Qualcomm Incorporated | Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode |
US11496760B2 (en) | 2011-07-22 | 2022-11-08 | Qualcomm Incorporated | Slice header prediction for depth maps in three-dimensional video codecs |
US9521418B2 (en) * | 2011-07-22 | 2016-12-13 | Qualcomm Incorporated | Slice header three-dimensional video extension for slice header prediction |
US9288505B2 (en) | 2011-08-11 | 2016-03-15 | Qualcomm Incorporated | Three-dimensional video with asymmetric spatial resolution |
US9485503B2 (en) | 2011-11-18 | 2016-11-01 | Qualcomm Incorporated | Inside view motion prediction among texture and depth view components |
US20130336405A1 (en) * | 2012-06-15 | 2013-12-19 | Qualcomm Incorporated | Disparity vector selection in video coding |
WO2014008951A1 (en) * | 2012-07-13 | 2014-01-16 | Huawei Technologies Co., Ltd. | Apparatus for coding a bit stream representing a three-dimensional video |
CN104838658B (zh) * | 2012-12-14 | 2018-07-20 | 高通股份有限公司 | 具有不对称空间分辨率的纹理和深度视图分量当中的内部视图运动预测 |
RU2625526C2 (ru) * | 2013-01-08 | 2017-07-14 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ и устройство для обработки видеосигнала |
US20140267616A1 (en) * | 2013-03-15 | 2014-09-18 | Scott A. Krig | Variable resolution depth representation |
US9521425B2 (en) * | 2013-03-19 | 2016-12-13 | Qualcomm Incorporated | Disparity vector derivation in 3D video coding for skip and direct modes |
WO2014166068A1 (en) * | 2013-04-09 | 2014-10-16 | Mediatek Inc. | Refinement of view synthesis prediction for 3-d video coding |
CN105103543B (zh) * | 2013-04-12 | 2017-10-27 | 寰发股份有限公司 | 兼容的深度依赖编码方法 |
WO2015000108A1 (en) * | 2013-07-01 | 2015-01-08 | Mediatek Singapore Pte. Ltd. | An improved texture merging candidate in 3dvc |
CN105230014B (zh) * | 2013-07-01 | 2018-02-02 | 寰发股份有限公司 | 用于三维视频编码***的深度图编码的方法及其装置 |
WO2015006924A1 (en) * | 2013-07-16 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | An additional texture merging candidate |
KR101756301B1 (ko) * | 2013-07-19 | 2017-07-10 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 깊이 기반 블록 파티셔닝을 사용하여 텍스처 블록을 인코딩 및 디코딩하는 방법 및 장치 |
KR20150012206A (ko) | 2013-07-24 | 2015-02-03 | 한국전자통신연구원 | 3차원 콘텐츠의 부호화 방법 및 장치 |
WO2015062002A1 (en) * | 2013-10-31 | 2015-05-07 | Mediatek Singapore Pte. Ltd. | Methods for sub-pu level prediction |
US9432685B2 (en) | 2013-12-06 | 2016-08-30 | Qualcomm Incorporated | Scalable implementation for parallel motion estimation regions |
WO2015135137A1 (en) * | 2014-03-11 | 2015-09-17 | Mediatek Singapore Pte. Ltd. | A method of motion information sharing in multi-view and 3d video coding |
EP3107290B1 (en) | 2014-03-14 | 2021-07-28 | Samsung Electronics Co., Ltd. | Method and device for configuring merge candidate list for decoding and encoding of interlayer video |
KR20160138129A (ko) * | 2014-03-14 | 2016-12-02 | 삼성전자주식회사 | 뎁스 블록을 이용한 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법. |
WO2015196424A1 (en) * | 2014-06-26 | 2015-12-30 | Mediatek Inc. | Methods for the transmission of flags related to dbbp |
WO2015139203A1 (en) * | 2014-03-18 | 2015-09-24 | Mediatek Singapore Pte. Ltd. | Dlt signaling in 3d video coding |
KR20150109282A (ko) * | 2014-03-19 | 2015-10-01 | 주식회사 케이티 | 다시점 비디오 신호 처리 방법 및 장치 |
US9955187B2 (en) * | 2014-03-28 | 2018-04-24 | University-Industry Cooperation Group Of Kyung Hee University | Method and apparatus for encoding of video using depth information |
US9769498B2 (en) | 2014-03-28 | 2017-09-19 | University-Industry Cooperation Group Of Kyung Hee University | Method and apparatus for encoding of video using depth information |
KR101603414B1 (ko) * | 2014-03-28 | 2016-03-15 | 경희대학교 산학협력단 | 깊이 정보를 이용한 비디오 부호화 장치 및 그 방법 |
US9769481B2 (en) * | 2014-03-28 | 2017-09-19 | University-Industry Cooperation Group Of Kyung Hee University | Method and apparatus for encoding of video using depth information |
WO2015192314A1 (en) * | 2014-06-17 | 2015-12-23 | Mediatek Singapore Pte. Ltd. | A simplified method for depth based block partitioning |
KR20170019361A (ko) * | 2014-06-18 | 2017-02-21 | 삼성전자주식회사 | 깊이 블록을 이용하는 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법 |
WO2015192371A1 (en) * | 2014-06-20 | 2015-12-23 | Mediatek Singapore Pte. Ltd. | Texture based depth coding method |
CN104284195B (zh) * | 2014-10-11 | 2018-12-25 | 华为技术有限公司 | 三维视频中的深度图预测方法、装置、编码器和解码器 |
CN107431827B (zh) * | 2015-03-18 | 2020-02-28 | 寰发股份有限公司 | 使用调色板编码模式的视频和图像编解码的方法和装置 |
EP3404927A1 (en) * | 2016-01-13 | 2018-11-21 | Sony Corporation | Information processing device and information processing method |
EP3349182A1 (en) * | 2017-01-13 | 2018-07-18 | Thomson Licensing | Method, apparatus and stream for immersive video format |
EP3489900A1 (en) * | 2017-11-23 | 2019-05-29 | Thomson Licensing | Method, apparatus and stream for encoding/decoding volumetric video |
EP3554082A1 (en) * | 2018-04-11 | 2019-10-16 | InterDigital VC Holdings, Inc. | A method and device for coding the geometry of a point cloud |
CN109255831B (zh) * | 2018-09-21 | 2020-06-12 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
WO2020181119A1 (en) | 2019-03-07 | 2020-09-10 | Alibaba Group Holding Limited | Video reconstruction method, system, device, and computer readable storage medium |
RU2753591C1 (ru) * | 2020-10-23 | 2021-08-18 | Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий» | Способ сжатия и хранения трехмерных данных (варианты) |
WO2023118254A1 (en) * | 2021-12-21 | 2023-06-29 | Idac Holdings, Inc. | Delineation map signaling |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5617334A (en) * | 1995-07-21 | 1997-04-01 | The Trustees Of Columbia University In The City Of New York | Multi-viewpoint digital video coder/decoder and method |
WO2008091117A1 (en) * | 2007-01-24 | 2008-07-31 | Lg Electronics Inc. | A method and an apparatus for processing a video signal |
EP2232875A2 (en) | 2008-01-11 | 2010-09-29 | Thomson Licensing | Video and depth coding |
EP2238764A4 (en) * | 2008-01-25 | 2015-04-22 | Hewlett Packard Co | CODE MODE SELECTION FOR BLOCK-BASED CODING |
JP5346076B2 (ja) | 2008-04-25 | 2013-11-20 | トムソン ライセンシング | 奥行きを用いた視点間スキップモード |
US9973739B2 (en) | 2008-10-17 | 2018-05-15 | Nokia Technologies Oy | Sharing of motion vector in 3D video coding |
US20100278232A1 (en) * | 2009-05-04 | 2010-11-04 | Sehoon Yea | Method Coding Multi-Layered Depth Images |
KR101452859B1 (ko) * | 2009-08-13 | 2014-10-23 | 삼성전자주식회사 | 움직임 벡터를 부호화 및 복호화하는 방법 및 장치 |
KR101807886B1 (ko) * | 2009-10-14 | 2017-12-11 | 돌비 인터네셔널 에이비 | 깊이 맵 처리를 위한 방법 및 디바이스 |
KR101522850B1 (ko) * | 2010-01-14 | 2015-05-26 | 삼성전자주식회사 | 움직임 벡터를 부호화, 복호화하는 방법 및 장치 |
EP2664144A1 (en) * | 2011-01-14 | 2013-11-20 | Motorola Mobility LLC | Temporal block merge mode |
US9319716B2 (en) * | 2011-01-27 | 2016-04-19 | Qualcomm Incorporated | Performing motion vector prediction for video coding |
US9565449B2 (en) | 2011-03-10 | 2017-02-07 | Qualcomm Incorporated | Coding multiview video plus depth content |
US20120236934A1 (en) * | 2011-03-18 | 2012-09-20 | Qualcomm Incorporated | Signaling of multiview video plus depth content with a block-level 4-component structure |
US9536312B2 (en) * | 2011-05-16 | 2017-01-03 | Microsoft Corporation | Depth reconstruction using plural depth capture units |
US9479743B2 (en) * | 2011-06-01 | 2016-10-25 | Gvbb Holdings S.A.R.L. | Single lens 3-D camera |
-
2012
- 2012-06-15 EP EP12800346.4A patent/EP2721823B1/en active Active
- 2012-06-15 KR KR1020157036203A patent/KR20160003334A/ko active Search and Examination
- 2012-06-15 KR KR1020137026868A patent/KR20140004209A/ko active Application Filing
- 2012-06-15 JP JP2014505504A patent/JP5872676B2/ja active Active
- 2012-06-15 CN CN201280028942.XA patent/CN103621093B/zh active Active
- 2012-06-15 US US14/115,099 patent/US9918068B2/en active Active
- 2012-06-15 WO PCT/CN2012/076975 patent/WO2012171477A1/en active Application Filing
- 2012-06-15 CA CA2833032A patent/CA2833032C/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016006913A1 (ko) * | 2014-07-08 | 2016-01-14 | 엘지전자 주식회사 | 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 |
US9980013B2 (en) | 2014-07-08 | 2018-05-22 | Lg Electronics Inc. | Method and apparatus for transmitting and receiving broadcast signal for 3D broadcasting service |
Also Published As
Publication number | Publication date |
---|---|
US20140085416A1 (en) | 2014-03-27 |
US9918068B2 (en) | 2018-03-13 |
WO2012171477A1 (en) | 2012-12-20 |
CA2833032A1 (en) | 2012-12-20 |
CN103621093A (zh) | 2014-03-05 |
CA2833032C (en) | 2016-08-30 |
JP5872676B2 (ja) | 2016-03-01 |
EP2721823A4 (en) | 2014-11-26 |
KR20160003334A (ko) | 2016-01-08 |
EP2721823B1 (en) | 2018-06-06 |
JP2014517563A (ja) | 2014-07-17 |
CN103621093B (zh) | 2018-07-03 |
EP2721823A1 (en) | 2014-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5872676B2 (ja) | 3dビデオコーディングにおけるテクスチャーイメージ圧縮方法および装置 | |
US11606499B2 (en) | Image data encoding/decoding method and apparatus | |
KR102014240B1 (ko) | 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치 | |
US11539979B2 (en) | Method and apparatus of encoding/decoding image data based on tree structure-based block division | |
US11831914B2 (en) | Method and apparatus of encoding/decoding image data based on tree structure-based block division | |
US20150172714A1 (en) | METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING | |
KR20190101930A (ko) | 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
A107 | Divisional application of patent |