KR101727311B1 - 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩 - Google Patents

깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩 Download PDF

Info

Publication number
KR101727311B1
KR101727311B1 KR1020167011062A KR20167011062A KR101727311B1 KR 101727311 B1 KR101727311 B1 KR 101727311B1 KR 1020167011062 A KR1020167011062 A KR 1020167011062A KR 20167011062 A KR20167011062 A KR 20167011062A KR 101727311 B1 KR101727311 B1 KR 101727311B1
Authority
KR
South Korea
Prior art keywords
viewpoint
viewpoint image
image
encoding
view
Prior art date
Application number
KR1020167011062A
Other languages
English (en)
Other versions
KR20160054026A (ko
Inventor
동 티안
퍼빈 비하스 판딧
펑 인
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160054026A publication Critical patent/KR20160054026A/ko
Application granted granted Critical
Publication of KR101727311B1 publication Critical patent/KR101727311B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

여러 구현예들이 기재된다. 몇 구현예들은 대응하는 기준 블럭을 결정하기 위해 깊이 정보를 이용하는 하나 이상의 부호화 모드에 관한 것이다. 일반 형태에 따르면, 다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부가 부호화된다. 이 일부는 제1 시점 영상의 전부이거나 부분이다. 다중 시점 시스템에서의 제2 시점으로부터의 제2 시점 영상의 일부가 제1 시점 영상의 일부에 대응한다고 판정된다. 이 판정은 제2 시점 영상의 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거한다. 제2 시점 영상의 일부는 제1 시점 영상의 일부의 부호화로부터의 정보를 이용하여 부호화된다.

Description

깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩{MULTI-VIEW VIDEO CODING WITH DISPARITY ESTIMATION BASED ON DEPTH INFORMATION}
<관련 출원과의 상호 참조>
이 출원은 "깊이 정보를 갖는 시점간 스킵 모드"로 표제되어 2008년 4월 25일자 출원된 미국 예비 출원 번호 61/125,520의 출원 날자의 이점을 청구하며, 이들의 내용들은 여기에서 모든 목적을 위해 전체가 참조되고 있다.
본 발명은 코딩 시스템에 관한 것으로, 특히 여러 특정한 구현예로서 깊이 정보를 갖는 시점간 스킵 모드(inter-view skip modes)에 관한 것이다.
하나 이상의 코딩 도구들(coding tools)에는 현재 매크로블럭을 다른 매크로블럭으로부터의 정보를 이용하여 복호화하는 것들이 존재한다. 코딩 툴 중 하나는 깊이 정보를 이용하여 현재 매크로블럭을 복호화하는 시점간 스킵 모드가 있다. 시점간 스킵 모드 코딩 툴의 하나 이상의 단점들을 이 출원에서 알 수 있다.
일반적으로 형태에 따르면, 다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부가 부호화된다. 이 일부는 제1 시점 영상의 전부 또는 부분이다. 다중 시점 시스템에서의 제2 시점으로부터의 제2 시점 영상의 일부는 제1 시점 영상의 일부에 대응한다고 결정된다. 이 결정은 제2 시점 영상의 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거한다. 제2 시점 영상의 일부는 제1 시점 영상의 부호화로부터의 정보를 이용하여 부호화된다.
다른 일반 형태에 따르면, 비디오 신호나 비디오 신호 구조는 다음 섹션을 포함한다. 제1 시점 영상 섹션은 다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부에 대한 코딩 정보를 포함한다. 제1 시점 영상의 일부는 제1 시점 영상의 전부 또는 부분이다. 제2 시점 영상 섹션은 제1 시점 영상의 일부에 대응하는 다중 시점 시스템에서의 제2 시점으로부터의 제2 시점 영상의 일부에 대한 코딩 정보를 포함한다. 제2 시점 깊이 섹션은 제2 시점 영상의 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 대한 정보를 포함한다. 제1 시점 영상 섹션, 제2 시점 영상 섹션 및 제2 시점 깊이 섹션은 깊이 맵의 코딩을 지원하지 않고 다중 시점의 코딩을 지원하는 표준에 따라 포맷된다.
다른 일반적인 형태에 따르면, 다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부의 부호화가 복호화된다. 이 일부는 제1 시점 영상의 전부 또는 부분이다. 다중 시점 시스템에서의 제2 시점으로부터의 제2 시점 영상의 일부가 제1 시점 영상의 일부에 대응하는 것이 결정된다. 이 결정은 제2 시점 영상의 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 기초한다. 제2 시점 영상의 일부의 부호화는 제1 시점 영상의 복호화된 부분으로부터의 정보를 이용하여 복호화된다.
하나 이상의 구현예의 상세 사항을 이하 첨부한 도면과 설명에서 기재한다. 하나의 특정한 방법으로 설명되었지만, 이 구현예는 여러 방법으로 형성되거나 구체화될 수 있다는 것이 명백하다. 예를 들어, 일 구현예는 일 방법으로 실행되거나, 또는 예를 들어, 한 세트의 동작을 실행하도록 구성된 장치 또는 한 세트의 동작을 실행하기 위한 명령을 저장하거나 신호로 구체화되는 장치와 같은 장치로 구체화될 수 있다. 다른 형태와 특성들은 첨부한 도면과 청구범위와 관련하여 고려되는 다음 상세한 설명으로부터 명백하게 된다.
도 1은 부호화기의 구현도이다.
도 2는 복호화기의 구현도이다.
도 3은 비디오 전송 시스템의 구현도이다.
도 4는 비디오 수신 시스템의 구현도이다.
도 5는 비디오 처리 장치의 구현도이다.
도 6은 일 구현으로 현재 매크로블럭과 관련하여 인접 매크로블럭을 식별하는 도면이다.
도 7a 및 도 7b는 제1 부호화 프로세스의 구현도이다.
도 8은 제1 복호화 프로세스의 구현도이다.
도 9는 미세한 모션 매칭의 구현도이다.
도 10a 및 도 10b는 제2 부호화 프로세스의 구현도이다.
도 11은 제2 복호화 프로세스의 구현도이다.
도 12a 및 도 12b는 제3 부호화 프로세스의 구현도이다.
도 13은 제3 복호화 프로세스의 구현도이다.
시점간 스킵은 깊이 정보를 이용하여 현재 매크로블럭을 복호화하는 코딩 툴이다. 본 발명자는 깊이 맵이 복호화기에서 이용 가능한 것을 요구하거나 가정한다는 점에서 시점간 스킵의 결점이 있다고 판단했다. 이것은 깊이 맵이 시점 합성에 요구되는 3DV 프레임워크에서 가능할 수 있다. 다중 시점 비디오 코딩 (MVC)의 경우, 깊이 맵의 표준 전송은 특정되지 않는다. 그 결과, 깊이 맵을 필요로 하는 모드는 이용될 수 없다.
적어도 하나의 구현에서, 우리는 깊이 정보를 갖는 시점간 스킵 모드를 이용하도록 하는 프레임워크를 제안한다. 여기 기재된 적어도 하나의 구현은 예를 들어, 깊이 맵을 개별적으로 전송하는 대신에 대응하는 매크로블럭의 깊이를 전송하는 것으로 이 방법에 대한 변형을 제안한다. 원래의 비디오 시퀀스 및 대응하는 카메라 파라미터로 형성된 깊이 정보는 복호화기 말단에서 시점 합성만이 아니고, 부호화기에서의 코딩 효율에도 이점을 가져올 수 있다. 깊이 정보 덕분에, 두 시점간 픽쳐들 사이의 대응에 대한 예측은 종래의 방법 보다 더욱 정확할 수 있다. 적어도 하나의 구현에서, 우리는 새로운 "스킵 모드", 즉 "깊이 스킵 모드"를 도입한다.
따라서, 적어도 몇 구현으로 해결되는 적어도 하나의 문제는 깊이 정보를 갖는 시점간 스킵 모드를 이용하는 다중 시점 비디오 시퀀스의 효율적인 코딩이다. 다중 시점 비디오 시퀀스는 여러 시점으로부터 동일한 장면을 캡쳐하는 둘 이상의 비디오 시퀀스의 세트이다.
더구나, 상술한 바와 같이, 다중 시점 비디오 코딩 (MVC)의 경우, 깊이 맵의 표준 전송은 특정되지 않는다. 그 결과, 깊이 맵을 필요로 하는 모드는 이용될 수 없다. 여기 기재된 적어도 하나의 구현은 필요로 할 때 깊이 정보 (일반적으로, 깊이 맵과 다름)를 명확히 보내는 것으로 이 문제를 해결한다. "깊이 정보"는 깊이에 대한 여러 종류의 정보에 관한 일반적인 용어임에 유의해라. 한 유형의 깊이 정보는 "깊이 맵"이고, 이는 일반적으로 화소 당 깊이 영상을 말한다. 깊이 정보의 다른 유형은 예를 들어, 각 코딩 화소 보다는 각 코딩 블럭에 대해 하나의 깊이 값을 이용하는 것을 포함한다.
도 1은 본 원리의 실시예에 따라서, 본 원리가 적용되는 예시의 부호화기(100)를 나타낸다. 부호화기(100)는 변환기(110)의 입력과 신호 통신하게 접속된 출력을 갖는 조합기(105)를 포함한다. 변환기(110)의 출력은 양자화기(115)의 입력과 신호 통신하게 접속된다. 양자화기(115)의 출력은 엔트로피 코딩부(120)의 입력 및 역양자화기(125)의 입력과 신호 통신되게 접속된다. 역양자화기(125)의 출력은 역변환기(130)의 입력과 신호 통신되게 접속된다. 역변환기(130)의 출력은 조합기(135)의 제1 비반전 입력과 신호 통신되게 접속된다. 조합기(135)의 출력은 인트라 예측기(145)의 입력 및 디블로킹 필터(150)의 입력과 신호 통신되게 접속된다. 디블로킹 필터(150)는 예를 들어, 매크로블럭 경계를 따라 인위물을 제거한다. 디블로킹 필터(150)의 제1 출력은 기준 픽쳐 저장소(155) (시간적 예측용)의 입력 및 기준 픽쳐 저장소(160)의 제1 입력 (시점간 예측용)과 신호 통신되게 접속된다. 기준 픽쳐 저장소(155)의 출력은 모션 보상기(175)의 제1 입력 및 모션 예측기(180)의 제1 입력과 신호 통신되게 접속된다. 모션 예측기(180)의 출력은 모션 보상기(175)의 제2 입력과 신호 통신되게 접속된다. 기준 픽쳐 저장소(160)의 제1 출력은 디스패리티 예측기(170)의 제1 입력과 신호 통신되게 접속된다. 기준 픽쳐 저장소(160)의 제2 출력은 디스패리티 보상기(165)의 제1 입력과 신호 통신되게 접속된다. 디스패리티 예측기(170)의 출력은 스위치(134)의 제1 입력과 신호 통신되게 접속된다. 디스패리티 변환기(132) (깊이에 기초)의 출력은 스위치(134)의 제2 입력과 신호 통신되게 접속된다. 디스패리티 선택기(131)의 제1 출력은 스위치의 제1 또는 제2 입력을 선택하기 위해서, 스위치(134)의 제어 입력과 신호 통신되게 접속된다. 스위치(134)의 출력은 디스패리티 보상기(165)의 제2 입력과 신호 통신되게 접속된다.
엔트로피 코딩부(120)의 출력, 모드 판정 모듈(122)의 제1 출력, 디스패리티 선택기(131)의 출력은 각각 비트스트림을 출력하는 것으로, 부호화기(100)의 각 출력으로 각각 이용 가능하다. 디스패리티 선택기(131)는 여러 유형의 깊이 정보를 출력하는 데에 또한 이용될 수 있다. 이러한 깊이 정보는 예를 들어 저장되거나 전송될 수 있으며, 또한 예를 들어, 복호화 동작이 부호화된 시점의 전부나 일부에 대한 디스패리티 벡터를 결정할 수 있게 하는 데에 이용될 수 있다.
조합기(105)의 제1 입력, 모션 보상기(175)의 제3 입력, 모션 예측기(180)의 제2 입력, 디스패리티 예측기(170)의 제2 입력, 및 디스패리티 변환기(132)의 제1 입력은 각각 시점 i에 대한 픽쳐 데이터를 수신하기 위해서, 부호화기에 대한 각 입력으로 이용 가능하다. 디스패리티 변환기(132)의 제2 입력은 대역외 깊이를 수신하기 위해서, 부호화기(100)에 대한 입력으로 이용 가능하다.
모션 보상기(175)의 출력은 스위치(185)의 제1 입력과 신호 통신하게 접속된다. 디스패리티 보상기(165)의 출력은 스위치(185)의 제2 입력과 신호 통신되게 접속된다. 인트라 예측기(145)의 출력은 스위치(185)의 제3 입력과 신호 통신되게 접속된다. 스위치(185)의 출력은 조합기(105)의 반전 입력 및 조합기(135)의 제2 비반전 입력과 신호 통신되게 접속된다. 모드 판정 모듈(122)의 출력은 어느 입력이 스위치(185)에 제공되는지를 결정한다.
도 1의 일부는 또한 예를 들어, 블럭(110, 115 및 120)과 같이, 부호화기, 부호화 유닛 또는 액세싱 유닛을, 개별적으로 또는 집합적으로 언급될 수 있다. 유사하게, 블럭(125, 130, 135 및 150)은 예를 들어, 개별적으로 또는 집합적으로 복호화기 또는 복호화 유닛으로 언급될 수 있다.
도 2는 본 원리가 본 원리의 실시예에 따라서 적용될 수 있는 예시의 복호화기(200)를 나타낸다. 복호화기(200)는 역양자화기(210)의 입력과 신호 통신되게 접속된 출력을 갖는 엔트로피 복호화기(205)를 포함한다. 역양자화기의 출력은 역변환기(215)의 입력과 신호 통신되게 접속된다. 역변환기(215)의 출력은 조합기(220)의 제1 비반전 입력과 신호 통신되게 접속된다. 조합기(220)의 출력은 디블로킹 필터(225)의 입력 및 인트라 예측기(230)의 입력과 신호 통신되게 접속된다. 디블로킹 필터(225)의 제1 출력은 기준 픽쳐 저장소(240)(시간적 예측용)의 입력 및 기준 픽쳐 저장소(245)(시점간 예측용)의 제1 입력과 신호 통신되게 접속된다. 기준 픽쳐 저장소(240)의 출력은 모션 보상기(235)의 제1 입력과 신호 통신되게 접속된다. 기준 픽쳐 저장소(245)의 출력은 디스패리티 보상기(250)의 제1 입력과 신호 통신되게 접속된다.
비트스트림 수신기(201)의 출력은 비트스트림 파서(parser)(202)의 입력과 신호 통신되게 접속된다. 비트스트림 파서(202)의 제1 출력(잔류 비트스트림 제공용)은 엔트로피 복호화기(205)의 입력과 신호 통신되게 접속된다. 비트스트림 파서(202)의 제2 출력(스위치(255)에 의해 어느 입력이 선택되는지를 제어하기 위한 제어 문구 제공용)은 모드 선택기(222)의 입력과 신호 통신되게 접속된다. 비트스트림 파서(202)의 제3 출력(모션 벡터 제공용)은 모션 보상기(235)의 제2 입력과 신호 통신되게 접속된다. 비트스트림 파서(202)의 제4 출력 (조명 오프세트 제공용)은 디스패리티 보상기(250)의 제2 입력과 신호 통신되게 접속된다. 비트스트림 파서(202)의 제5 출력(디스패리티 제어 문구 제공용)은 디스패리티 선택기(204)의 입력과 신호 통신되게 접속된다. 비트스트림 파서(202)의 제6 출력 (디스패리티 벡터 제공용)은 스위치(211)의 제1 입력과 신호 통신되게 접속된다. 비트스트림 파서(102)의 제7 출력(대역내 깊이 제공용)은 디스패리티 변환기(203)의 제1 입력과 신호 통신되게 접속된다. 디스패리티 변환기(203)의 출력은 스위치(211)의 제2 입력과 신호 통신되게 접속된다. 디스패리티 선택기(204)의 출력은 어느 입력이 스위치(211)에 제공되는지를 결정한다. 스위치의 출력은 디스패리티 보상기(250)의 제3 입력과 신호 통신되게 접속된다. 조명 오프세트는 선택적 입력이며 구현에 따라 이용될 수 있거나 이용되지 않는다는 것이 이해되어야 한다.
스위치(255)의 출력은 조합기(220)의 제2 비반전 입력과 신호 통신되게 접속된다. 스위치(255)의 제1 입력은 디스패리티 보상기(250)의 출력과 신호 통신되게 접속된다. 스위치(255)의 제2 입력은 모션 보상기(235)의 출력과 신호 통신되게 접속된다. 스위치(255)의 제3 입력은 인트라 예측기(230)의 출력과 신호 통신되게 접속된다. 모드 모듈(222)의 출력은 어느 입력이 스위치(255)에 의해 선택되는지를 제어하기 위해 스위치(255)와 신호 통신되게 접속된다. 디블로킹 필터(225)의 제2 출력은 복호화기(200)의 출력으로 이용 가능하다. 디스패리티 변환기(203)의 제2 입력은 대역외 깊이를 수신하기 위해서, 복호화기(200)의 입력으로 이용 가능하다.
도 2의 일부는 또한 예를 들어, 개별적으로 또는 집합적으로 비트스트림 파서(202) 및 그 외 특정 데이터나 정보에 대한 액세스를 제공하는 블럭과 같은 액세싱 유닛으로 언급될 수 있다. 유사하게, 블럭(205, 210, 215, 및 225)은 또한 예를 들어, 개별적으로 또는 집합적으로 복호화기 또는 복호화 유닛으로 언급될 수 있다.
도 3은 본 원리의 구현에 따라서, 본 원리가 적용될 수 있는 예시의 비디오 전송 시스템(300)을 나타낸다. 비디오 전송 시스템(300)은 예를 들어, 위성, 케이블, 전화선 또는 지상파 방송과 같은 각종 매체를 이용하여 신호를 전송하기 위한 헤드-엔드(head-end) 또는 전송 시스템일 수 있다. 전송은 인터넷이나 그 외 네트워크를 통해 제공될 수 있다.
비디오 전송 시스템(300)은 깊이 정보를 갖는 시점간 스킵 모드를 이용하여 부호화되는 비디오 컨텐트를 형성 및 전달할 수 있다. 이것은 깊이 정보 또는 예를 들어, 복호화기를 가질 수 있는 수신기 말단에서 깊이 정보를 합성화하는 데에 이용될 수 있는 정보를 포함하는 부호화 신호를 형성하는 것으로 성취된다.
비디오 전송 시스템(300)은 부호화된 신호를 전송할 수 있는 부호화기(310) 및 전송기(320)를 포함한다. 부호화기(310)는 비디오 정보를 수신하고 깊이 정보를 갖는 시점간 스킵 모드를 이용하는 것으로 부호화 신호를 형성한다. 부호화기(310)는 예를 들어, 상기 상세하게 설명된 부호화기(300)일 수 있다. 부호화기(310)는 여러 정보를 수신하여 저장이나 전송을 위한 구조적 포맷으로 어셈블링(assembling)하기 위한 어셈블리 유닛(assembly unit)을 포함하는 서브모듈을 포함할 수 있다. 여러 정보는 예를 들어, 모션 벡터, 코딩 모드 표시자 및 문구 요소와 같이, 코딩되거나 언코딩된 비디오, 코딩되거나 언코딩된 깊이 정보, 코딩되거나 언코딩된 요소를 포함할 수 있다.
전송기(320)는 예를 들어, 부호화된 픽쳐 및/또는 이에 관한 정보를 나타내는 하나 이상의 비트스트림을 갖는 프로그램 신호를 전송하는 데에 또한 적합할 수 있다. 통상의 전송기는 예를 들어, 오류 정정 코딩을 제공하고, 신호중 데이터를 인터리빙하고, 신호 중 에너지를 랜덤화하고, 신호를 하나 이상의 캐리어에 변조하는 것 중 하나 이상과 같은 기능을 실행한다. 전송기는 안테나 (도시 생략)를 포함하거나 이와 인터페이스할 수 있다. 따라서, 전송기(320)의 구현은 변조기를 포함하거나 이에 제한될 수 있다.
도 4는 본 원리의 실시예에 따라서, 본 원리가 적용되는 예시의 비디오 수신 시스템(400)을 나타낸다. 비디오 수신 시스템(400)은 예를 들어, 위성, 케이블, 전화선, 또는 지상 방송과 같은 각종 매체를 통해 신호를 수신하도록 구성될 수 있다. 신호는 인터넷이나 그 외 다른 네트워크를 통해 수신될 수 있다.
비디오 수신 시스템(400)은 예를 들어, 셀폰, 컴퓨터, 셋톱 박스, 텔레비전, 또는 부호화된 비디오를 수신하고, 예를 들어 사용자에 대한 표시용이나 저장용으로 복호화된 비디오를 제공하는 장치일 수 있다. 따라서, 비디오 수신 시스템(400)은 그 출력을 예를 들어, 텔레비전의 스크린, 컴퓨터 모니터, 컴퓨터(저장용, 처리용 또는 표시용), 또는 그 외 저장, 처리 또는 표시 장치에 제공할 수 있다.
비디오 수신 시스템(400)은 비디오 정보를 포함하는 비디오 컨텐트를 수신 및 처리할 수 있다. 비디오 수신 시스템(400)은 예를 들어, 이 애플리케이션의 구현에서 설명된 신호와 같은 부호화 신호를 수신할 수 있는 수신기(410) 및 수신된 신호를 복호화할 수 있는 복호화기(420)를 포함한다.
수신기(410)는 예를 들어, 부호화된 픽쳐를 나타내는 복수의 비트스트림을 갖는 프로그램 신호를 수신하는 데에 적합할 수 있다. 통상의 수신기는 예를 들어, 변조되어 부호화된 데이터 신호를 수신하고, 하나 이상의 캐리어로부터 데이터 신호를 복조하고, 신호에서 에너지를 디랜덤화(de-randomizing)하고, 신호에서 데이터를 디인터리빙(de-interleaving)하고, 신호를 오류 정정 복호화하는 것 중 하나 이상과 같은 기능을 실행한다. 수신기(410)는 안테나 (도시 생략)를 포함하거나, 이와 인터페이스한다. 수신기(410)의 구현은 복조기를 포함하거나, 복조기에 제한될 수 있다.
복호화기(420)는 비디오 정보 및 깊이 정보를 포함하는 비디오 신호를 출력한다. 복호화기(420)는 예를 들어, 위에서 상세하게 설명된 복호화기(400)일 수 있다.
도 5는 본 원리의 실시예에 따라서, 본 원리가 적용될 수 있는 예시의 비디오 처리 장치(500)를 나타낸다. 비디오 처리 장치(500)는 예를 들어, 셋톱 박스 또는 그 외 부호화된 비디오를 수신하고 예를 들어 사용자에게의 표시용이나 저장용으로 복호화된 비디오를 제공하는 장치일 수 있다. 따라서, 비디오 처리 장치(500)는 그 출력을 텔레비젼, 컴퓨터 모니터, 또는 컴퓨터나 그외 처리 장치에 제공할 수 있다.
비디오 처리 장치(500)는 프론트-엔드(front-end; FE) 장치(505) 및 복호화기(510)를 포함한다. 프론트-엔드 장치(505)는 예를 들어, 부호화된 픽쳐를 나타내는 복수의 비트스트림을 갖는 프로그램 신호를 수신하고, 복수의 비트스트림으로부터의 복호화를 위해 하나 이상의 비트스트림을 선택하는 데에 적합한 수신기일 수 있다. 통상의 수신기는 변조되어 부호화된 데이터 신호를 수신하고, 데이터 신호를 복조하고, 데이터 신호의 하나 이상의 부호화(예를 들어, 채널 코딩 및/또는 소스 코딩)를 복호화하고/하거나 데이터 신호를 오류 정정하는 것과 같은 기능들을 실행한다. 프론트-엔드 장치(505)는 예를 들어, 안테나 (도시 생략)으로부터 프로그램 신호를 수신할 수 있다. 프론트-엔드 장치(505)는 수신된 데이터 신호를 복호화기(510)에 제공한다.
복호화기(510)는 데이터 신호(520)를 수신한다. 데이터 신호(520)는 예를 들어, 하나 이상의 어드밴스드 비디오 코딩(Advanced Video Coding(AVC)), 스칼러블 비디오 코딩(Scalable Video Coding(SVC)), 또는 다중 시점 비디오 코딩(MVC) 호환 스트림을 포함할 수 있다.
AVC는 보다 명확하게 말해서, 기존의 국제 표준화 기구/국제 전자기계 위원회(ISO/IEC) 무빙 픽쳐 엑스퍼트 그룹-4(Moving Picture Experts Group; MPEG-4) 파트 10 어드밴스드 비디오 코딩(AVC) 표준/국제 텔레커뮤티케이션 협회, 텔레커뮤니케이션 섹터(ITU-T) H.264 권장 (이하, "H.264/MPEG-4 AVC 표준" 또는 "AVC 표준"이나 간단히 "AVC"와 같은 변형)을 말한다.
MVC는 더욱 명확하게 말해서, AVC 표준의 다중 시점 비디오 코딩("MVC") 확장 (Annex H)을 말하며, 이하 H.264/MPEG-4 AVC, MVC 확장 ("MVC 확장" 또는 간단히 "MVC")으로 언급한다.
SVC는 더욱 명확하게 말해서 AVC 표준의 스칼라블 비디오 코딩(scalable video coding "SVC") 확장 (Annex G)을 말하며, 이하 H.265/MPEG-4 AVC, SVC 확장 ("SVC 확장" 또는 간단히 "SVC")으로 언급한다.
*복호화기(510)는 수신된 신호(520)의 전부나 일부를 복호화하고 복호화된 비디오 신호(530)를 출력으로 제공한다. 복호화된 비디오(530)는 선택기(550)에 제공된다. 장치(500)는 또한 사용자 입력(570)을 수신하는 사용자 인터페이스(560)를 포함한다. 사용자 인터페이스(560)는 사용자 입력(570)에 기초하여 선택기(550)에 픽쳐 선택 신호(580)를 제공한다. 픽쳐 선택 신호(580) 및 사용자 입력(570)은 다수의 픽쳐, 시퀀스, 스칼라블 버전, 시점, 또는 그 외 유효한 복호화된 데이터의 선택 중에서 어느것을 사용자가 표시하길 원하는지를 나타낸다. 선택기(550)는 선택된 픽쳐를 출력(590)으로 제공한다. 선택기(550)는 복호화된 비디오(530)의 픽쳐 중에서 출력(590)으로 제공하도록 선택하기 위해서 픽쳐 선택 정보(580)를 이용한다.
여러 구현예에서, 선택기(550)는 사용자 인터페이스(560)를 포함하고, 다른 구현예에서는 선택기(550)가 개별의 인터페이스 기능이 실행되지 않고 직접 사용자 입력(570)을 수신하기 때문에 사용자 인터페이스(560)가 필요하지 않다. 선택기(550)는 예를 들어, 소프트웨어나 집적 회로로 구현될 수 있다. 일 구현예에서, 선택기(550)는 복호화기(510)와 결합되고, 다른 구현에에서, 복호화기(510), 선택기(550) 및 사용자 인터페이스(560)는 모두 집적화된다.
일 적용예에서, 프론트-엔드(505)는 여러 텔레비전 쇼의 전파를 수신하고 처리를 위해 하나를 선택한다. 하나의 쇼의 선택은 보길 원하는 채널의 사용자 입력에 기초한다. 프론트-엔드 장치(505)에의 사용자 입력은 도 5에서 도시되지는 않았지만, 프론트-엔드 장치(505)는 사용자 입력(570)을 수신한다. 프론트-엔드(505)는 전파를 수신하고 전파된 스펙트럼의 관련 부분을 복조하고 복조된 쇼의 외부 부호화를 복호화하여 원하는 쇼를 처리한다. 프론트-엔드(505)는 복호화된 쇼를 복호화기(510)에 제공한다. 복호화기(510)는 장치(560 및 550)를 포함하는 일체형 유닛이다. 따라서 복호화기(510)는 쇼에서 보길 원하는 시점의 사용자 제공 지시가 되는 사용자 입력을 수신한다. 복호화기(510)는 선택된 시점, 뿐만 아니라 다른 시점로부터의 필요한 기준 픽쳐를 복호화하고, 복호화된 시점(590)을 텔레비전(도시 생략)으로 표시하기 위해 제공한다.
상기 적용예에 이어서, 사용자는 표시되는 시점을 스위치하길 원할 수 있으며 다음에 복호화기(510)에 새로운 입력을 제공할 수 있다. 사용자로부터 "시점 변경"을 수신한 후에, 복호화기(510)는 구 시점와 신 시점 둘 다 뿐만 아니라 구 시점와 신 시점 사이에 있는 모든 시점을 복호화한다. 즉, 복호화기(510)는 구 시점을 촬영하는 카메라와 신 시점을 촬영하는 카메라 사이에 물리적으로 위치하는 카메라로부터 촬영한 모든 시점을 복호화한다. 프론트-엔드 장치(505)는 또한 구 시점, 신 시점, 및 사이에 있는 시점을 식별하는 정보를 수신한다. 이러한 정보는 예를 들어, 시점의 위치에 대한 정보를 갖는 제어기(도 5에 도시 생략), 또는 복호화기(510)에 의해 제공될 수 있다. 다른 구현예는 프론트-엔드 장치와 결합된 제어기를 갖는 프론트-엔드 장치를 이용할 수 있다.
복호화기(510)는 출력(590)으로 이들 복호화된 시점 모두를 제공한다. 사후 처리기 (도 5에 도시 생략)는 구 시점로부터 신 시점으로의 원할한 전환을 제공하도록 시점 간에서 보간하며, 이 전환을 사용자에게 표시한다. 신 시점으로의 전환 후에, 사후 처리기는 (도시하지 않은 하나 이상의 통신 링크를 통해) 복호화기(510) 및 프론트-엔드 장치(505)에 신 시점만이 필요하다고 통지한다. 그 후, 복호화기(510)는 출력(590)으로 신 시점만을 제공한다.
시스템(500)은 다중 시점의 영상의 시퀀스를 수신하고, 표시를 위해 단일의 시점을 나타내고, 여러 시점 간에서 원할한 방식으로 전환하기 위해 이용될 수 있다. 원할한 방법은 다른 시점으로 이동하기 위해 시점들 간에서 보간하는 것을 포함한다. 부가하여, 시스템(500)은 사용자가 물체나 장면을 회전할 수 있게 하거나, 물체나 장면의 삼차원적 표시를 볼 수 있게 한다. 물체의 회전은 예를 들어, 시점에서 시점으로 이동하는 것과, 시점 간의 원할한 전환을 성취하거나 간단히 삼차원 표시를 얻도록 시점사이에서 보간하는 것에 대응할 수 있다. 즉, 사용자는 보간된 시점을 표시되게 되는 "시점"으로 "선택"할 수 있다.
깊이 맵을 이용한 시점 간 대응 구하기
지점 M(x, y, z)(z는 깊이 맵으로부터 유도됨)은 카메라 평면 1 상의 좌표(u1, v1), 및 카메라 평면 2 상의 좌표(u2, v2)를 갖는 투영을 갖는다. 지점(x, y, z)은 카메라 배열과는 상관없는 실세계 좌표 시스템에서 나온 것이며, 3D 지점의 위치를 식별한다. 지점(u1, v1)은 시점 1의 카메라 좌표 시스템으로 투영된 3D 지점(x, y, z)의 좌표이다. 유사하게, 지점(u2, v2)은 시점 2의 카메라 좌표 시스템으로 투영된 3D 지점(x, y, z)의 좌표이다.
투영 행렬 P는 다음과 같이 K, R 및 T의 카메라 파라미터로부터 유도된다.
Figure 112016040305160-pat00001
이 때 K는 내부 행렬이고, R은 회전 행렬이고, T는 변환 벡터이고, 수학식 1은 행렬 R이 행렬 T로 우측 병합되고, 그 결과는 행렬 K로 승산된다.
시점 1 및 시점 2의 경우, 수학식 2 및 수학식 3에 따르면, 시점 2의 화소(u2, V2)는 시점 1에서 그 대응(u1, v1)를 구할 수 있다. 여기에서 P1 및 P2는 다음과 같이 시점 1 및 시점 2의 투영 행렬을 나타낸다.
Figure 112016040305160-pat00002
Figure 112016040305160-pat00003
각 카메라는 상기 3×4 행렬로 나타낸, 고유의 투영 행렬 P를 갖는다. 투영 행렬을 공간 좌표상에서 좌측 승산하여, 카메라 좌표 시스템에서 좌표를 얻을 수 있다. 각 카메라는 그 자신의 방정식 세트를 생성한다.
디스패리티 연산 및 깊이 스킵 모드
상기 연산은 화소에 근거하지만, 적어도 하나의 실재 구현은 전체 매크로블럭의 상부 좌측 화소의 대응을 디스패리티 벡터로 얻는다. 현재 매크로블럭에 대해서, 그 상부 좌측 화소(u1, v1)로는, 그 시점간 대응이 화소(u2, v2)이면, 깊이 스킵 모드에 대한 디스패리티 벡터(DV)는 다음과 같이 된다: DV=(u2-u1, v2-v1). 이 모드에 대한 기준 픽쳐는 기준 목록 0에서 제1 시점간 픽쳐이도록 세트된다. 잔류 영상은 전송될 필요가 없다.
부호화기 또는 복호화기에서 DV를 결정하는 프로세스는 픽쳐의 지점의 (x, y, z) 위치를 결정하기 위해서, 통상적으로 픽쳐의 일 지점에 (u1, v1)를 이용하고, (u1, v1)와 관련된 깊이 값을 이용하는 것을 통상 포함한다. 이것은 수학식 2를 이용하여 행해진다. 다음에 (x, y, z)는 지점에 대해 (u2, v2)를 결정하기 위해 수학식 3에서 이용된다. 이 프로세스는 "와핑(warping)"으로 불리며, 예를 들어, 개별적으로 또는 깊이 맵의 일부로 코딩되거나 외부 전송될 수 있는 깊이 값에 근거한 것이다. 시점 1의 각 화소(u1, v1)에 대해 와핑 프로세스를 이용하여, 우리는 시점 2에서 대응하는 화소(u2, v2)를 통상적으로 식별할 수 있다. 다음에 DV는 (u2-u1, v2-v1)으로 세트된다. DV는 기준 픽쳐의 대응 블럭을 지시한다. 대응 블럭이 현재 블럭과 충분히 근접하게 비슷하면, "깊이 스킵" 모드는 후술하는 바와 같이, 화소를 대응 블럭으로부터 복사하여 현재 블럭을 코딩하기 위해 이용될 수 있다.
여기에서 나타낸 바와 같이, 깊이 정보는 디스패리티 벡터를 형성하기 위해 이용될 수 있다.
깊이 스킵 모드에서의 조명 보상
*종래의 스킵 모드의 경우, 기준 픽쳐는 동일한 시점에서 나오므로, 조명 변경은 없다. 그러나, 기준 픽쳐가 다른 시점으로부터 나올 때, 조명 보상 (IC)이 고려될 수 있다. 따라서, 깊이 스킵 모드에서 조명 보상을 위한 보상의 오프세트는 조명 보상 툴이 인에이블되는 경우 전송되어야 한다. 오프세트는 본 기술에서 공지된 바와 같이, 여러 방법으로 연산될 수 있다.
깊이 데이터가 대역외 전송된 실시예 0
표 1는 MVC 표준으로부터의 기존 문구 구조의 변형을 나타낸다. 표 1의 문구는 매크로블럭 레벨에서 깊이 스킵 모드의 이용을 신호 보내는 데에 이용될 수 있다. 조명 보상은 또한 조명 보상 오프세트 값과 같이 신호 보내진다. 변형된 부분은 일반적으로 이탤릭체로 나타내었다. macroblock_layer_mvc_extension()은 slice_data()로 불리는 macroblock_layer()에 대체하는 것으로 가정된다고 주지된다.
Figure 112016040305160-pat00005
depth_skip_flag이 1인 것은 코딩 매크로블럭이 깊이 스킵 모드에 있는 것을 나타낸다. depth_skip_flag이 0인 것은 코딩 매크로블럭이 깊이 스킵 모드에 있지 않은 것을 나타낸다.
ic_enable이 1인 것은 조명 보상이 현재 슬라이스에 대해 인에이블된 것을 특정한다. ic_enable이 0인 것은 조명 보상이 현재 슬라이스에 대해 인에이블되지 않은 것을 특정한다.
mb_ic_flag가 1인 것은 조명 보상이 현재 매크로블럭에 대해 이용된 것을 특정한다. mb_ic_flag가 0인 것은 조명 보상이 현재 매크로블럭에 대해 이용되지 않는 것을 특정한다. mb_ic_flag의 디폴트 값은 제로이다.
dpcm_of_dvic는 조명 보상 오프세트양이 현재 매크로블럭에 대해 이용되는 것을 특정한다.
적어도 하나의 구현에서, 우리는 깊이 스킵 모드의 성능을 개선하는 것을 제안한다. 이 모드의 가정은 깊이 데이터가 복호화기에서 유효하다는 것이기 때문에, 이 방법에 필요한 전체 비트율은 Bitrate(video)+Bitrate(depth)이다. 깊이 데이터에 대한 부가의 비트율은 깊이 데이터가 깊이 스킵 모드를 지원하기 위해서만 코딩되는 경우 코딩 최적화 동안 계수된다. 부가하여, 다중 시점 비디오 코딩 표준은 비디오 신호와 함께 깊이 신호를 전송하는 것을 지원하지 않는다.
적어도 부분적으로 이들 두 문제를 해결하기 위해서, 우리는 비디오 신호와 함께 깊이 정보를 전송하려는 해결책을 제안한다.
깊이 데이터가 대역내 전송되는 실시예 1
우리는 각 시점에 대해 깊이 데이터가 부호화기에서 이용 가능하다고 가정한다. 상기 프로세스에서 언급된 바와 같이, 일 구현예에 대해 깊이 스킵 모드는 깊이 스킵 모드로 코딩되고 있는 매크로블럭의 상부 좌측 화소의 깊이 값을 필요로 한다. 다른 구현예는 예를 들어, 블럭에서의 저부 우측 화소 또는 모든 화소의 평균을 이용할 수 있다. 깊이 스킵 모드에서, 이 깊이 값은 현재 시점에 대응하는 깊이 신호의 대응 화소로부터 성취된다.
매크로블럭의 모드를 선택하는 결정은 왜곡율 최적화에 근거할 수 있다. 따라서, 모든 매크로블럭이 깊이 스킵 모드로 선택되는 것은 아니다. 이에도 불구하고, 깊이 데이터는 전체 픽쳐에 대해 그리고 모든 픽쳐에 대해 보내지는 것으로 추측된다. 이는 깊이 데이터가 예를 들어, 랜더링의 목적 등과 같은 다른 목적에 필요하지 않을 때에 전체 다중 시점 시스템에 대한 고 비트율 조건의 결과를 가져온다.
따라서 우리는 이 고 비트율 조건을 상당히 감소시키는 방법을 제안한다. 깊이 스킵 모드는 매크로블럭의 특정 백분율에 대해서만 선택되기 때문에, 우리는 모든 화소와 모든 픽쳐에 대ㅇ해 깊이 값을 보낼 필요는 없다. 따라서, 우리는 깊이 스킵 모드를 이용하는 이들 매크로블럭에 대해서만 깊이 값을 보내는 것을 제안한다.
Figure 112016040305160-pat00006
Figure 112016040305160-pat00007
이것은 표 2에 나타내었으며, 여기에서 macroblock_layer_mvc_extension() 구조가 depth_skip_flag 및 깊이에 대한 코딩 값을 보내도록 수정되어 있다. depth_skip_flag이 트루일때 우리는 이 매크로블럭에 대한 부가의 깊이 값을 전송한다. 이것은 문구 요소 depthd로 신호보내지고, 이는 표 2에서 나타내었다. 이 문구 요소에 대한 시멘틱(semantics)은 다음과 같이 기록될 수 있다:
depthd는 사용되는 깊이 값과 현재 매크로블럭에 대한 그 예측 간의 차이를 특정한다.
depth_skip_flag이 1인 것은 코딩 매크로블럭이 깊이 스킵 모드에 있는 것을 나타낸다. depth_skip_flag이 0인 것은 코딩 매크로블럭이 깊이 스킵 모드에 있지 않은 것을 나타낸다. 그 값은 slice_type이 P 또는 B가 아닌 경우 0으로 유도된다.
즉, 현재 매크로블럭에 대해 최종적으로 재구성된 깊이는 다음과 같이 유도된다:
predDepth = Min(depthA, depthB),
mbA가 존재하지 않을 때,
predDepth = depthB
mbB가 존재하지 않을 때,
predDepth = depthA
mbA와 mbB가 존재하지 않거나 어떤 깊이도 mbA와 mbB와 연관되지 않을때,
predDepth = 128
depth=predDepth+depthd
여기에서 depthA는 좌측 인접한 매크로블럭의 재구성된 깊이 신호이며 depthB는 상부 인접 매크로블럭의 재구성된 깊이 신호이다. depthA와 depthB는 신호 값이다. 도 6은 본 발명의 일 실시예에 따라서, "Curr"로 라벨된 현재 매크로블럭과 관련하여, "A", "B" 및 "C"로 라벨된 인접한 매크로블럭을 나타낸다.
깊이 스킵 모드는 매크로블럭에 대해 잔류 영상, 즉 화소 값의 잔류를 전송하지 않는다. 이것은 제한적일 수 있는데, 따라서 우리는 깊이 스킵 모드가 확장되어 잔류 영상이 매크로블럭에 대해 보내지는 것이 허용되는 것을 제안한다. 잔류 영상을 보내는 것은 깊이 플랙과 깊이 정보를 가지고 또는 없이 행해질 수 있다.
도 7은 제1 설명 실시예에 따라서 깊이 정보를 갖는 깊이 스킵 모드를 이용하여 부호화하는 예시의 방법(700)을 나타내는 흐름도이다. 단계 706에서, 부호화기 구성 파일이 판독된다. 단계 709에서, SPS 확장에 앵커(anchor) 및 넌앵커(non-anchor) 픽쳐 기준이 세트된다. 단계 712에서, 시점의 개수가 N으로 세트되고, 변수 i 및 j는 제로로 초기화된다. 단계 715에서, i<N인지의 여부가 판정된다. 그렇다면, 제어는 단계 718로 진행된다. 아니면, 제어는 단계 760으로 진행된다.
단계 718에서, j가 시점 i의 픽쳐의 개수(num) 보다 작은지의 여부가 판정된다. 그렇다면, 제어는 단계 721로 진행된다. 아니면, 제어는 단계 754로 진행된다.
단계 721에서, 현재 매크로블럭의 부호화가 시작된다. 단계 724에서, 매크로블럭 모드가 체크된다. 단계 727에서, 시점간 스킵 매크로블럭 모드가 체크된다. 단계 730에서, 시점간 스킵이 최상의 모드인지의 여부가 판정된다. 그렇다면, 제어는 단계 733으로 진행된다. 아니면, 제어는 단계 757로 진행된다.
단계 733에서, depth_skip_flag이 1로 세트되고, depthd는 상부 좌측 화소의 깊이와 깊이 예측기의 차이로 세트된다. 단계 736에서, 조명 보상이 인에이블되었는지의 여부가 판정된다. 그렇다면, 제어는 단계 739로 진행된다. 아니면, 제어는 단계 742로 진행된다.
단계 739에서, mb_ic_flag는 1로 세트하고 dpcm_of_dvic가 세트된다. 단계 742에서, 현재 매크로블럭이 부호화된다. 단계 745에서, 모든 매크로블럭이 부호화되었는지의 여부가 판정된다. 그렇다면, 제어는 단계 748로 진행된다. 아니면, 제어는 단계 721로 돌아간다.
단계 748에서, 변수 j는 인크리멘트된다. 단계 751에서, frame_num 및 픽쳐 순서 계수 (POC)는 인크리멘트된다.
단계 754에서, 변수 i는 인크리멘트되고 frame_num 및 POC는 리세트된다.
단계 757에서, depth_skip_flag은 0으로 세트된다.
단계 760에서, SPS, PPS 및/또는 VPS를 대역내 신호보낼지의 여부가 판정된다. 그렇다면, 제어는 단계 763으로 진행된다. 아니면, 제어는 단계 766으로 진행된다.
단계 763에서, SPS, PPS 및/또는 VPS는 대역내 전송된다.
단계 766에서, SPS, PPS 및/또는 VPS는 대역외 전송된다.
단계 769에서, 비트스트림은 네트워크를 통해 파일로 기록되거나 스트림된다.
도 8은 제1 실시예에 따라서 깊이 정보를 갖는 시점간 스킵 모드를 이용하여 복호화하기 위한 예시의 방법(800)을 나타내는 흐름도이다.
단계 806에서, view_id는 SPS, PPS, VPS, 슬라이스 헤더 또는 네트워크 추상 레이어(NAL) 단위 헤더로부터 파싱된다. 단계 809에서, 다른 SPS 파라미터가 파싱된다. 단계 812에서, 현재 픽쳐는 복호화를 필요로 하는지의 여부가 판정된다. 그렇다면, 제어는 단계 815로 진행된다. 아니면, 제어는 단계 830으로 진행된다.
단계 815에서, POC(curr)!=POC(prev)인지의 여부가 판정된다. 그렇다면, 제어는 단계 818로 진행된다. 아니면, 제어는 단계 821로 진행된다.
단계 818에서, view_num은 0으로 세트된다. 단계 821에서, view_id 정보는 시점 코딩 순서를 결정하도록 하이 레벨에서 인덱스되고, view_num은 인크리멘트된다.
단계 824에서, 현재 픽쳐가 예측된 코딩 순서에 있는지의 여부가 판정된다. 그렇다면, 제어는 단계 833으로 진행된다. 그렇지 않으면, 제어는 단계 827로 진행된다.
단계 833에서, 슬라이스 헤더는 파싱된다. 단계 836에서, depth_skip_flag는 파싱된다. 단계 839에서, depth_skip_flag이 1인지의 여부가 판정된다. 그렇다면, 제어는 단계 842로 진행된다. 아니면, 제어는 단계 863으로 진행된다.
단계 842에서, depthd 및 mb_ic_flag은 파싱된다. 단계 845에서, mb_ic_flag이 1인지의 여부가 판정된다. 그렇다면, 제어는 단계 848로 진행된다. 그렇지 않으면, 제어는 단계 849로 진행된다.
단계 848에서, dpcm_of_dvic는 파싱된다. 단계 849에서, depthd는 디스패리티 벡터를 성취하는 데에 이용된다. 단계 851에서, 현재 매크로블럭은 복호화된다. 단계 854에서, 모든 매크로블럭이 (복호화가) 행해졌는지의 여부가 판정된다. 그렇다면, 제어는 단계 857로 진행된다. 아니면, 제어는 단계 836으로 진행된다.
단계 857에서, 현재 픽쳐는 복호화된 픽쳐 버퍼(DPB)에서 삽입된다. 단계 860에서, 모든 픽쳐가 복호화되었는지의 여부가 판정된다. 그렇다면, 복호화가 결론된다. 아니면, 제어는 단계 833으로 돌아간다.
단계 827에서, 현재 픽쳐는 감추어진다.
단계 830에서, 다음 픽쳐가 얻어진다.
단계 863에서, MB 모드, mv, 및 ref_idx가 파싱된다.
실시예 2
이 실시예에서, 우리는 글로벌 디스패리티 벡터(GDV)를 이용하는 대신에 깊이 정보를 이용하도록 모션 스킵 모드를 변형하는 것을 제안한다.
적어도 일 구현의 모션 스킵 모드에서, 모션 스킵 모드는 글로벌 디스패리티 벡터를 이용하여 인접하는 시점으로부터 모드와 모션 정보를 예측한다. 이 디스패리티 벡터는 부호화기에서 연산되어 각 앵커 픽쳐상에서 전송된다. 논앵커 픽쳐의 디스패리티 벡터는 이전 및 연속적인 앵커 픽쳐의 GDV로부터 유도될 수 있다. GDV는 다른 시점의 대응 매크로블럭이나 서브매크로블럭을 결정하는 데에 이용된다. 우리는 이 글로벌 디스패리티 벡터를 이용하는 대신에, 깊이 값이 모션 스킵 모드를 선택하는 매크로블럭이나 서브매크로블럭에 대해 전송되는 것을 제안한다. 깊이 값은 전술한 바와 같이 디스패리티 벡터를 결정하는 데에 이용될 수 있다. 서브매크로블럭 및 벡터 케이스의 미세화에 대한 이 깊이 신호를 표 3에서 나타내었다. 표 3는 예를 들어, 이탤릭체로 나타낸 "depthd"를 포함하는 것으로, 문구의 변형을 나타내었다.
Figure 112016040305160-pat00008
부호화기에서 모드 결정은 전술한 바와 같이 매크로블럭이나 서브매크로블럭의 깊이를 이용하고 이를 와핑(warping)하게 한다. 이는 디스패리티 벡터와 동일하다.
이 와핑은 기준 시점에서의 일 위치를 지시한다. 이 위치는 (모션 스킵 모드에 의해 필요로 하는 바와 같이) 매크로블럭이나 서브매크로블럭 경계에 반드시 정렬되는 것이 아니기 때문에, 이것은 가장 가까운 매크로블럭이나 서브매크로블럭 경계로 라운딩될 수 있다. 깊이 스킵 모드에서, 이런 정렬은 매크로블럭이나 서브매크로블럭 경계에 있지 않더라도 대응하는 화소가 복사될 수 있기 때문에 엄격히는 필요하지는 않다.
부가하여, 이 지점 부근에 대한 다른 검색은 디스패리티 벡터를 미세화하도록 행해질 수 있다. 이를 도 9에 나타내었다. 즉, 도 9는 미세한 디스패리티 매칭(900)의 예를 나타낸다. 미세한 디스패리티 매칭은 현재 매크로블럭(910)이 내부에서 코딩되어 있는 코딩 픽쳐(920), 시점간 기준 픽쳐(950), 및 현재 매크로블럭(910)으로부터 시점간 기준 픽쳐(950)의 대응 블럭(980)으로의 초기 디스패리티 벡터(970)를 포함한다. 다른 검색은 예를 들어, 화소에 근거한 910과 980의 비교를 행하고, 다음에 대응하는 블럭(980)을 (빗금쳐 나타낸) 검색 영역(990)의 여러 위치로 이동시키고 화소에 근거한 최상의 비교를 갖는 블럭을 선택하는 것으로 실행된다. 도 9에 나타낸 바와 같이, 대응하는 블럭(980)은 빗금친 검색 영역(990)의 중심부를 점유하며, 이 대응하는 블럭(980)은 더 굵은 선으로 아웃라인되어 있다.
복호화기에서, 유사한 과정이 실행되며 이 때 복호화된 깊이 값은 현재 매크로블럭이나 서브매크로블럭을 인접한 시점의 일 위치로 와핑하는 데에 이용된다. 미세화가 전송되는 경우, 이 미세화는 이 위치에 부가된 다음에 가장 근접한 매크로블럭이나 서브매크로블럭 위치로 라운드오프된다.
다른 시점의 대응하는 매크로블럭이나 서브매크로블럭으로부터의 모드와 모션은 현재 매크로블럭이나 서브매크로블럭을 부호화하기 위해 부호화기에 의해 이용된다. 모드 및 모션은 예를 들어, 일시적으로 다른 픽쳐이지만 현재 매크로블럭이나 서브매크로블럭과 동일한 시점으로부터의 특정 기준 블럭/서브블럭을 지시한다. 유사하게, 복호화기는 유도된 모션 정보에 의해 지시된 (동일한 시점의) 일시적으로 다른 매크로블럭이나 서브매크로블럭과 관련한 현재 매크로블럭이나 서브매크로블럭을 복호화한다.
도 10은 제2 실시예에 따라 깊이 정보를 갖는 모션 스킵 모드를 이용하여 부호화하기 위한 예시의 방법(1000)을 나타내는 흐름도이다. 단계 1006에서, 부호화기 구성 파일이 판독된다. 단계 1009에서, SPS 확장에 앵커 및 논앵커 픽쳐 기준이 세트된다. 단계 1012에서, 시점의 개수는 N으로 세트되고, 변수 i 및 j는 0으로 초기화된다. 단계 1015에서, i<N인지의 여부가 판정된다. 그렇다면, 제어는 단계 1018로 진행된다. 아니면, 제어는 단계 1060으로 진행된다.
단계 1018에서, j가 시점 i의 픽쳐의 개수(num) 보다 작은지의 여부가 판정된다. 그렇다면, 제어는 단계 1021로 진행된다. 그렇지 않으면, 제어는 단계 1057로 진행된다.
단계 1021에서, 현재 매크로블럭의 부호화가 시작된다. 단계 1024에서, 매크로블럭 모드가 체크된다. 단계 1028에서, 디스패리티 벡터는 매크로블럭(MB)의 깊이 값을 이용하여 얻어진다. 단계 1031에서, 디스패리티 벡터는 가장 근접한 매크로블럭이나 서브매크로블럭 위치로 라운드된다. 단계 1032에서, 검색은 최상의 디스패리티 벡터를 위해 이 (라운드된) 위치 주변에서 실행된다. 단계 1034에서, 모션 스킵이 최상의 모드인지의 여부가 판단된다. 그렇다면, 제어는 단계 1035로 진행된다. 그렇지 않으면, 제어는 단계 1058로 진행된다.
단계 1035에서, motion_skip_flag은 1로 세트되고, depthd는 상부 좌측 화소의 깊이와 깊이 예측기의 차이로 세트된다. 단계 1037에서, 오프세트 값이 세트된다. 단계 1042에서, 현재 매크로블럭이 부호화된다. 단계 1045에서, 모든 매크로블럭이 부호화되었는지의 여부가 판정된다. 그렇다면, 제어는 단계 1048로 진행된다. 그렇지 않으면, 제어는 단계 1021로 돌아간다.
단계 1048에서, 변수 j는 인크리멘트된다. 단계 1051에서, frame_num 및 픽쳐 순서 계수(POC)는 인크리멘트된다.
단계 1057에서, 변수 i는 인크리멘트되고 frame_num 및 POC는 리세트된다.
단계 1058에서, motion_skip_flag은 0으로 세트된다.
단계 1060에서, SPS, PPS 및/또는 VPS를 대역내 신호보낼지의 여부가 판정된다. 그렇다면, 제어는 단계 1063으로 진행된다. 아니면, 제어는 단계 1066으로 진행된다.
단계 1063에서, SPS, PPS 및/또는 VPS는 대역내 전송된다.
단계 1066에서, SPS, PPS 및/또는 VPS는 대역외 전송된다.
단계 1069에서, 비트스트림은 네트워크를 통해 파일로 기록되거나 스트림된다.
도 11은 제2 실시예에 따라서 깊이 정보를 갖는 시점간 스킵 모드를 이용하여 복호화하기 위한 예시의 방법(1100)을 나타내는 흐름도이다.
단계 1106에서, view_id는 SPS, PPS, VPS, 슬라이스 헤더 또는 네트워크 추상 레이어(NAL) 단위 헤더로부터 파싱된다. 단계 1109에서, 다른 SPS 파라미터가 파싱된다. 단계 1112에서, 현재 픽쳐는 복호화를 필요로 하는지의 여부가 판정된다. 그렇다면, 제어는 단계 1115로 진행된다. 아니면, 제어는 단계 1130으로 진행된다.
단계 1115에서, POC(curr)!=POC(prev)인지의 여부가 판정된다. 그렇다면, 제어는 단계 1118로 진행된다. 아니면, 제어는 단계 1121로 진행된다.
단계 1118에서, view_num은 0으로 세트된다. 단계 1121에서, view_id 정보는 시점 코딩 순서를 결정하기 위해 하이 레벨에서 인덱스되고, view_num은 인크리멘트된다.
단계 1124에서, 현재 픽쳐가 예측된 코딩 순서에 있는지의 여부가 판정된다. 그렇다면, 제어는 단계 1133으로 진행된다. 그렇지 않으면, 제어는 단계 1127로 진행된다.
단계 1133에서, 슬라이스 헤더는 파싱된다. 단계 1135에서, motion_skip_flag는 파싱된다. 단계 1138에서, motion_skip_flag이 1인지의 여부가 판정된다. 그렇다면, 제어는 단계 1141로 진행된다. 아니면, 제어는 단계 1163으로 진행된다.
단계 1141에서, depthd가 파싱된다. 단계 1144에서, 디스패리티 벡터 오프세트가 파싱된다. 단계 1145에서, 디스패리티는 깊이 정보를 이용하고 디스패리티 오프세트를 부가하여 연산된다. 단계 1147에서, 현재 매크로블럭이 복호화된다. 단계 1154에서, 모든 매크로블럭이 (복호화가) 행해졌는지의 여부가 판정된다. 그렇다면, 제어는 단계 1157로 진행된다. 아니면, 제어는 단계 1135로 돌아간다.
단계 1157에서, 현재 픽쳐는 복호화된 픽쳐 버퍼(DPB)에서 삽입된다. 단계 1160에서, 모든 픽쳐가 복호화되었는지의 여부가 판정된다. 그렇다면, 복호화가 결론된다. 아니면, 제어는 단계 1133으로 돌아간다.
단계 11827에서, 현재 픽쳐는 감추어진다.
단계 1130에서, 다음 픽쳐가 얻어진다.
단계 1163에서, MB 모드, mv, 및 ref_idx가 파싱된다.
실시예 3
모션 벡터 예측에서, 프로세스는 어느 모션 벡터가 모션 벡터 예측기로 이용되는지를 결정하기 위해 특정된다. 유사하게, 시점간 모션 보상을 위해서, 디스패리티 벡터가 이용된다. 일반적으로, 모션 벡터 예측에 이용된 동일한 프로세스는 디스패리티 벡터 예측에 적용될 수 있다. 부가하여, 우리는 디스패리티 벡터 예측기에 대한 부가의 후보로서 깊이 값으로부터 전환된 디스패리티 벡터를 이용하는 것을 제안한다.
우리는 디스패리티 벡터 예측기로 와핑된 값을 또는 디스패리티 벡터 예측기로 종래의 중간 예측치를 이용하는 것을 신호보낼 수 있다. 이것은 매크로블럭 레벨 문구에 대해서 표 4에서 그리고 서브매크로블럭 레벨 문구에 대해서 표 5에서 나타내었다.
Figure 112016040305160-pat00009
Figure 112016040305160-pat00010
표 4 및 표 5는 새로운 문구 요소 "disparity_vec_pred_type"을 포함한다. 깊이 정보는 매크로블럭 레벨이나 서브매크로블럭 레벨에서 동작하는 실시예들에 대해서도, 또한 보내질 수 있다.
문구 disparity_vec_pred_type은 다음의 시멘틱을 갖는다:
disparity_vec_pred_type은 현재 매크로블럭이나 서브매크로블럭에 대한 디스패리티 벡터 예측기를 유도하는 방법을 나타낸다. disparity_vec_pred_type이 1인 것은 깊이 값으로부터 변환된 디스패리티 벡터는 디스패리티 벡터 예측기로 이용되는 것을 나타낸다. disparity_vec_pred_type이 0인 것은 중간 예측기를 이용하여 얻어진 디스패리티 벡터가 디스패리티 벡터 예측기로 이용되는 것을 나타낸다.
다음의 점은 이전에 설명된 개념에 대해 적어도 부분적으로 부연되며 여러가지 구현에 대한 상세 설명을 제공한다. 이런 아래 구현예들은 이전의 구현예, 또는 본 변형예 및/또는 새로운 구현예들에 대응할 수 있다.
첫번째 점에 따르면, 깊이 스킵 모드에서, 잔류 코딩은 필요하지 않고 깊이 정보는 대역외 전송될 수 있다. 대응하는 블럭은 다른 시점에서 결정되거나 이들 화소는 (일반적으로 매크로블럭이나 서브매크로블럭을 말하는) 현재 블럭의 재구성에 이용될 수 있다. 이 코딩 모드를 나타내며 복호화기가 재구성된 기준 시점에서 대응하는 블럭으로부터의 화소를 이용하도록 명령하는 플랙이 전송될 수 있다.
그러나, 많은 구현예에서, 당신은 대응하는 블럭을 구하기 위해서 현재 블럭에 대한 깊이 정보를 필요로 한다. 깊이 정보는 공지된 바와 같이, 디스패리티 벡터를 형성하기 위해 이용될 수 있다. 따라서, 여러 구현예에서 우리는 모드 (우리는 이를 "깊이 스킵 모드"로 부름)를 신호 보내기 위한 문구를 제안하고 우리는 깊이 정보를 또한 전송하기 위해 더욱 변형된 문구를 제안한다.
많은 구현예들은 깊이 예측기를 이용하므로, 우리는 깊이 차이를 전송할 필요가 있다는 점에 유의해라.
두번째 점과 관련하여, 부호화를 위한 다른 모드는 모션 스킵 모드("MSM")이다. 이 모드는 시간적 기준으로부터의 모션을 설명하기 위해 그 모션 데이터를 얻도록 시점간 블럭에 주의한다. 즉, 다른 시점의 블럭으로부터의 시간적 모션 정보는 현재 블럭에 의해 도입된다. 그러나, 모션 스킵 모드에서, 당신은 일반적으로 다른 시점의 대응하는 블럭을 구하기 위해 글로벌 디스패리티 벡터를 이용하게 된다. 글로벌 디스패리티 벡터는 이 그룹의 픽쳐 (GOP)에 대한 앵커 픽쳐가 일반적으로 전송되고, 픽쳐의 그룹에서의 임의의 블럭에 대한 최상의 디스패리티 벡터일 수 없다. 하나 이상의 구현예는 다른 시점로부터의 대응 블럭에 대한 포인터를 얻기 위해 현재 블럭에 대한 깊이 정보를 이용한다. 깊이 정보는 글로벌 디스패리티 벡터를 이용하기 보다는, 현재 블럭의 깊이 데이터에 근거한 디스패리티 벡터를 형성하는 데에 이용된다. 이런 구현예는 통상적으로 깊이 데이터를 비트스트림으로 또는 대역외로 전송하므로, 복호화기는 복호화를 위한 유사한 동작을 실행할 수 있다.
깊이 정보로부터 연산되는 디스패리티 벡터는 다른 시점의 대응 블럭을 지시한다. 이 대응하는 블럭으로부터의 모션 정보 (예를 들어, 모션 벡터, 기준 픽쳐 인덱스 등)는 현재 블럭에 이용된다. 모션 정보는 현재 블럭을 부호화하기 위해 이용되게 되는 시간적 기준을 지시하도록 현재 블럭에 의해 이용된다.
*세번째 점과 관련하여, 시점간 예측시, 시점-모션 벡터는 다른 시점의 대응 블럭을 구하기 위해 이용된다. 시점-모션 벡터는 동시의 경우 여러 시점로부터의 픽쳐 (또는 픽쳐의 일부) 간의 (시점-모션, 또는 간단히 모션으로 언급되는) 차이를 설명한다. 시점-모션 벡터는 현재 블럭을 예측적으로 부호화하는 데에 이용되게 되는 다른 시점의 기준 블럭을 지시한다.
시점-모션과 시간적 움직짐 간의 개념의 유사성이 주어지면, 시점-모션 벡터는 예를 들어, 여러 시순간에서 동일한 시점의 픽쳐 간의 모션을 결정하는 데에 이용되는 종래의 모션 예측 기술을 이용하여 일반적으로 형성된다. 시점-모션 벡터 ("V-MV")는 때로 간단히 디스패리티 벡터로 언급되지만, 통상 깊이 데이터를 이용하여 생성되지 않는다. V-MV 예측기 ("V-MVP")가 또한 이용되고, 예측기와 V-MV 간의 차이가 전송된다. 이 프로세스는 (시간적 예측의) MV를 이용하는 것과 유사하지만 시점간 예측 시나리오에서 적용되고 있다. 그러나, 두 시나리오에서, 목표는 예측 (시간적 예측이나 시점간 예측)을 이용하고, 복호화기에 복호화하는 데에 필요한 정보를 통지하는 것을 포함한다. 우리는 V-MVP를 변형하는 것을 제안한다. V-MVP는 보통 공간적으로 인접한 블럭으로부터의 V-MV에 기초하여 형성된다. 예를 들어, 중간 값은 예측기로 이용될 수 있다.
그러나, 여러 구현예에서, 우리는 현재 블럭의 깊이 정보에 근거하여 디스패리티 벡터("DV")를 연산한다. DV는 통상 현재 블럭에 가장 밀접하게 대응할 수 있는 다른 시점에서의 블럭의 양호한 예측이 되며, DV는 V-MV 보다 더 양호한 예측이 될 수 있다. DV에 의해 지시된 블럭은 대응 블럭으로 언급된다. 따라서, 몇개의 구현예는 또한 (또는 대체적으로) 현재 블럭에 대한 V-MVP를 결정하는 데에 DV를 이용한다. 세 예로서, 현재 블럭에 대한 V-MVP는 (1) DV와 동일하게 세트될 수 있고, (2) 현재 블럭에서 공간적으로 인접하는 블럭으로부터의 하나 이상의 V-MV와 DV의 함수이거나, (3) DV에 의해 지시되는 대응하는 블럭으로부터의 V-MV의 함수일 수 있다. 대응하는 블럭으로부터의 V-MV는 예를 들어, 카메라가 정규적으로 이격되거나 오브젝트의 모션이 일정한 경우, V-MVP의 연산에 관련되며 유용할 수 있다는 점에 유의해라.
적어도 하나의 구현예에서, 복호화기는 다음 동작들을 실행한다: (1) 현재 블럭에 대한 전송된 깊이 데이터를 수신하고, (2) DV를 연산하고, (3) DV에 의해 지시되는 대응 블럭을 구하고, (4) 그 대응하는 블럭으로부터 V-MV를 가능하게 얻고, (5) 현재 블럭의 하나 이상의 공간적으로 인접한 블럭으로부터 V-MV를 가능하게 얻고, (6) 하나 이상의 V-MV 및/또는 DV에 근거하여 현재 블럭에 대한 V-MVP를 연산하고, (7) V-MVP와 V-MV 간의 차이에 대한 부호화기의 판정인, 부호화기에 의해 보내진 "차이"를 수신하고, (8) 연산된 V-MVP에 수신된 "차이"를 부가하여 현재 블럭에 대한 V-MV를 연산하고, (9) 현재 블럭에 대해 연산된 V-MV에 의해 지시된 블럭에 근거하여 현재 블럭을 부호화한다. 구현에들은 언급된 순서데로 이들 언급된 동작을 실행할 필요는 없다.
또 다른 구현예는 다른 시점에서 대응 블럭을 찾기 위해 DV를 간단히 이용한다. 이 대응 블럭은 현재 블럭을 부호화하기 위한 기준 블럭이 된다. 이 구현예는 예를 들어, DV에 의해 지시된 대응 블럭이 V-MV에 의해 지시된 대응 블럭 보다 더 양호한 기준이 되는 경우 잘 작용한다. 이 구현예는 V-MVP 및 V-MV의 연산을 방지하고, 또한 차이 (V-MVP - V-MV)를 전송하는 것을 방지한다. 도 12는 제3 실시예에 따라 깊이 정보를 갖는 깊이 스킵 모드를 이용하여 부호화하기 위한 예시의 방법(1200)을 나타내는 흐름도이다. 단계 1209에서, SPS 확장에 앵커와 넌앵커 픽쳐 기준이 세트된다. 단계 1212에서, 시점의 개수는 N과 동일하게 세트되고, 변수 i 및 j는 제로로 초기화된다. 단계 1215는 i<N인지의 여부가 판정된다. 그렇다면, 제어는 단계 1218로 진행된다. 아니면, 제어는 단계 1260으로 진행된다.
단계 1218에서, j가 시점 i의 픽쳐의 개수(num)보다 작은지의 여부가 판정된다. 그렇다면, 제어는 단계 1221로 진행된다. 그렇지 않으면, 제어는 단계 1254로 진행된다.
단계 1221에서, 현재 매크로블럭의 부호화가 시작된다. 단계 1224는 매크로블럭 모드가 체크된다. 단계 1227에서, 시점간 스킵 매크로블럭 모드가 체크된다. 단계 1235에서, disparity_vec_pred_type은 깊이 정보가 디스패리티 벡터(DV) 예측기를 연산하는 데에 이용되는 경우 1로 세트되고, 그렇지 않으면 0으로 세트된다. 단계 1242에서, 현재 매크로블럭이 부호화된다. 단계 1254에서, 모든 매크로블럭이 부호화되었는지의 여부가 판정된다. 그렇다면, 제어는 단계 1248로 진행된다. 그렇지 않으면, 제어는 단계 1221로 돌아간다.
단계 1248에서, 변수 j는 인크리멘트된다. 단계 1251에서, frame_num 및 픽쳐 순서 계수(POC)는 인크리멘트된다.
단계 1254에서, 변수 i는 인크리멘트되고 frame_num 및 POC는 리세트된다.
단계 1260에서, SPS, PPS 및/또는 VPS를 대역내 신호보낼지의 여부가 판정된다. 그렇다면, 제어는 단계 1263으로 진행된다. 아니면, 제어는 단계 1266으로 진행된다.
단계 1263에서, SPS, PPS 및/또는 VPS는 대역내 전송된다.
단계 1266에서, SPS, PPS 및/또는 VPS는 대역외 전송된다.
단계 1269에서, 비트스트림은 네트워크를 통해 파일로 기록되거나 스트림된다.
단계 1282에서, 대응하는 매크로블럭의 깊이를 디스패리티 벡터(DV) 예측기로 이용하여 디스패리티 벡터가 이용된다.
단계 1284에서, 중간 모션 벡터는 모션 벡터(MV) 예측기로 이용된다.
도 13은 제3 실시예에 따라 깊이 정보를 갖는 시점간 스킵 모드를 이용하여 복호화하기 위한 예시의 방법(1300)을 나타내는 흐름도이다.
단계 1306에서, view_id는 SPS, PPS, VPS, 슬라이스 헤더 또는 네트워크 추상 레이어(NAL) 단위 헤더로부터 파싱된다. 단계 1309에서, 다른 SPS 파라미터가 파싱된다. 단계 1312에서, 현재 픽쳐가 복호화를 필요로 하는지의 여부가 판정된다. 그렇다면, 제어는 단계 1315로 진행된다. 아니면, 제어는 단계 1330으로 진행된다.
단계 1315에서, POC(curr)!=POC(prev)인지의 여부가 판정된다. 그렇다면, 제어는 단계 1318로 진행된다. 아니면, 제어는 단계 1321로 진행된다.
단계 1318에서, view_num은 0으로 세트된다. 단계 1321에서, view_id 정보는 시점 코딩 순서를 결정하도록 하이 레벨에서 인덱스되고, view_num은 인크리멘트된다.
단계 1324에서, 현재 픽쳐가 예측된 코딩 순서에 있는지의 여부가 판정된다. 그렇다면, 제어는 단계 1333으로 진행된다. 그렇지 않으면, 제어는 단계 1327로 진행된다.
단계 1333에서, 슬라이스 헤더는 파싱된다. 단계 1335에서, 매크로블럭 레벨 데이터 및 depthd는 파싱된다. 단계 1338에서, disparity_vec_pred_type이 파시싱된다. 단계 1341에서, disparity_vec_pred_type이 1인지의 여부가 판정된다. 그렇다면, 제어는 단계 1334로 진행한다. 그렇지 않으면, 제어는 단계 1347로 진행된다.
단계 1344에서, depthd는 디스패리티 벡터 예측기를 유도하는 데에 이용된다.
단계 1347에서, 중간 예측기는 디스패리티 벡터 예측기를 유도하는 데에 이용된다.
단계 1350에서, 현재 매크로블럭이 복호화된다. 단계 1354에서, 모든 매크로블럭이 (복호화가) 행해졌는지의 여부가 판정된다. 그렇다면, 제어는 단계 1357로 진행된다. 아니면, 제어는 단계 1335로 진행된다.
단계 1357에서, 현재 픽쳐는 복호화된 픽쳐 버퍼(DPB)에서 삽입된다. 단계 1360에서, 모든 픽쳐가 복호화되었는지의 여부가 판정된다. 그렇다면, 복호화가 결론된다. 아니면, 제어는 단계 1333으로 돌아간다.
단계 1327에서, 현재 픽쳐는 감추어진다.
단계 1330에서, 다음 픽쳐가 얻어진다.
따라서, 일 구현에 따르면, 우리는 다른 시점의 대응 블럭을 구하기 위해 깊이 맵을 이용하며, 어떤 것도 코딩하지 않고 대응 블럭을 이용하여 깊이 스킵 모드를 실행할 수 있다. 다른 구현에서, 디스패리티 벡터는 모션 벡터를 구하기 위해 행하는 것과 같이, 화소 비교를 이용하여 예측된다. 그러나, 본 원리에 따라 깊이 맵을 이용하는 것은 예를 들어, 깊이 맵이 화소 비교 디스패리티 벡터와 비교하여 더욱 정확한 디스패리티 벡터를 산출하는 경우에 화소 비교 방법 보다 바람직할 수 있다. 실재, 통상적인 방법에서, 깊이 맵은 간단히 화소 비교, 즉 모션 예측 스타일(ME 스타일) 모션 매칭 보다 더욱 복잡한 방법을 이용하여 성취된다. 따라서, 이런 경우, 깊이 맵은 간단한 ME 스타일 모션 매칭 보다 디스패리티의 더욱 정확한 표시를 제공한다. 더욱, 이런 경우, 디스패리티의 정확한 표시가 주어지면, 깊이 맵의 이용은 비디오 코딩 효율을 증진시킨다.
다른 구현예에 따르면, 우리는 다른 시점의 대응 블럭을 찾기 위해 깊이 맵을 이용하며, 모션 벡터를 그 모션 벡터에 기초하여 대응하는 블럭과 코드로부터 구하는 (따라서 새로운 레지듀를 형성하는) 모션 스킵 모드를 실행한다. 특정 구현예에서, 우리는 다른 시간에 대응하는 동일한 시점으로부터의 기준을 이용한다. 이것은 최소한 깊이 맵의 이용에 있어 다른 방법과는 다르다. 또한, 다른 방법에 의해 실행되는 모션 스킵 분석은 전체 그룹의 픽쳐(GOP)에 대해 단일의 디스패리티 벡터(글로벌 디스패리티 벡터)만을 이용한다.
또 다른 실시예에 따르면, 우리는 더 양호한 코딩 결과를 위해 깊이 맵에 근거한 디스래피티 벡터를 최적화/미세화한다. 이런 미세화는 검색 창 내에서 디스패리티 벡터를 이동시키고 왜곡율이 개선되었는지를 판정하는 것을 포함한다. 다음에, 깊이 맵에 근거한 디스패리티 벡터는 실재 깊이 맵에 근거한 디스패리티 벡터를 (최소한 부분적으로) 이용하여 예측된다.
몇 설명된 실시예들은 깊이 신호를 포함하는 비디오 데이터를 부호화할 수 있다. 깊이 신호는 부호화될 필요가 없지만, 예를 들어 차분 부호화 및/또는 엔트로피 부호화를 이용하여 부호화될 수 있다. 유사하게, 몇 설명된 실시예들은 깊이 신호를 포함하는 비디오 데이터를 복호화할 수 있으며, 깊이 신호나 깊이 값을 여러 방법으로 처리할 수 있다. 이런 처리는 예를 들어, 구현에 따라서, 수신된 깊이 값을 파싱하고, (깊이 값이 부호화된 것을 가정하고) 깊이 값을 복호화하는 것을 포함할 수 있다. 깊이 값을 처리하기 위해, 처리 유닛은 에를 들어, (1) 비트스트림 파서(202), (2) 깊이에 근거하는 디스패리티 변환기(203) 및 (3) 엔트로피 코딩된 깊이 값을 복호화하기 위해 특정 구현에서 이용될 수 있는 엔트로피 복호화기(205)를 포함할 수 있다.
이 출원에서 설명된 구현예들과 특성 중 몇개는 H.264/MPEG-4 AVC(AVC) 표준 또는 MVC 확장을 갖는 AVC 표준 또는 SVC 확장을 갖는 AVC 표준의 컨텍스트에서 이용될 수 있다. 그러나, 이들 구현예들과 특성들은 다른 표준(기존 또는 장래)의 컨텍스트, 또는 표준을 포함하지 않는 컨텍스트에서 이용될 수 있다. 따라서 우리는 특정 특성과 형태를 갖는 하나 이상의 구현예들을 제공한다. 그러나, 설명된 구현예의 특성과 형태는 다른 구현예들에 또한 적합할 수 있다.
부가하여, 많은 구현예들은 부호화기, 복호화기, 복호화기로부터의 출력을 처리하는 사후 처리기, 또는 부호화기에 입력을 제공하는 사전 처리기 중 하나 이상에서 구현될 수 있다. 또한, 다른 구현예들은 이 상세 설명에 의해 고안된다.
따라서 우리는 특정한 특성 및 형태를 갖는 하나 이상의 구현예들을 제공한다. 그러나, 설명된 구현예의 특성과 형태는 또한 다른 구현예에도 적합할 수 있다. 구현예들은 이에만 제한되는 것은 아니지만, SEI 메시지, 슬라이스 헤더, 그 외 하이 레벨 문구, 논-하이레벨 문구, 대역외 정보, 데이터스트림 데이터 및 암시적 신호를 포함하는 각종 기술을 이용하여 정보를 신호보낼 수 있다. 따라서, 여기 설명된 구현예들이 특정 컨텍스트로 설명되었지만, 이런 설명들은 특성과 개념들을 이런 구현예 또는 컨텍스트에 제한해서는 안된다.
상세한 설명에서 본 원리의 "하나의 실시예" 또는 "일 실시예" 또는 "하나의 구현예" 또는 "일 구현예", 뿐만 아니라 그 변형의 언급은 실시예와 관련하여 설명된 특정 특성, 구조, 특징 등이 본 원리의 적어도 일 실시예에 포함된다는 것을 의미한다. 따라서, 문구 "하나의 실시예" 또는 "일 실시예" 또는 "하나의 구현예" 또는 "일 구현예", 뿐만 아니라 그 변형의 표현은 반드시 모두 동일한 실시예를 언급하는 것은 아니다.
예를 들어, "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우에서와 같이, 다음 "/", "및/또는" 및 "적어도 하나"의 이용은 제1 목록의 옵션 (A)만, 또는 제2 목록의 옵션 (B)만, 또는 두 옵션 (A 및 B)의 선택을 포함하고자 하는 것임이 이해되어야 한다. 다른 예로서, "A, B, 및/또는 C"의 경우 및 "A, B, 및 C 중 적어도 하나"의 경우에, 이런 문구들은 제1 목록의 옵션 (A)만, 또는 제2 목록의 옵션 (B)만, 제3 목록의 옵션 (C)만, 또는 제1 및 제2 목록의 옵션 (A 및 B)만, 또는 제1 및 제3 목록의 옵션 (A 및 C)만, 또는 제2 및 제3 목록의 옵션 (B 및 C)만, 또는 모든 세 목록 (A 및 B 및 C)의 선택을 포함하고자 하는 것이다. 이는 이 기술 및 관련 기술의 당업자에 의해 명백하게 되는 바와 같이, 많은 목록의 항목들에도 확장될 수 있다.
여기에서 설명된 구현예들은 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현 (예를 들어, 방법으로만)의 컨텍스트로만 설명되었다고 해도, 설명된 특성의 구현들은 또한 다른 형태 (예를 들어, 장치나 프로그램)로도 구현될 수 있다. 장치는 예를 들어, 적합한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법은 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래머블 로직 장치를 포함하는 처리 장치를 일반적으로 말하는 프로세서와 같은 장치에서 구현될 수 있다. 프로세서는 또한 예를 들어, 컴퓨터, 셀폰, 휴대용/퍼스널 디지털 보조기("PDA"), 및 그 외 말단 사용자 간에 정보의 통신을 원할하게 하는 장치를 포함한다.
여기 기재된 여러 프로세스 및 특성의 구현들은 각종 여러 장비나 애플리케이션, 특히 예를 들어, 데이터 부호화 및 복호화와 관련한 장비나 애플리케이션에서 구체화될 수 있다. 이런 장비의 예들은 부호화기, 복호화기, 복호화기로부터의 출력을 처리하는 사후 처리기, 부호화기에 입력을 제공하는 사전 처리기, 비디오 코더, 비디오 복호화기, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 퍼스널 컴퓨터, 셀폰, PDA 및 그 외 통신 장치를 포함한다. 명확한 바와 같이, 장비는 이동 가능하며 심지어 이동 차량에 설비될 수 있다.
부가하여, 방법은 프로세서에 의해 실행되고 있는 명령들로 구현되며, 이 명령들 (및/또는 구현에 의해 생성된 데이터 값)은 예를 들어, 집적 회로, 소프트웨어 캐리어 또는 그 외 예를 들어, 하드 디스크, 컴팩트 디스켓, 랜덤 액세스 메모리("RAM") 또는 리드온리 메모리("ROM")과 같은 저장 장치와 같은 프로세서 판독 가능한 매체에 저장될 수 있다. 명령들은 프로세서 판독 가능한 매체에서 구체화되는 애플리케이션 프로그램을 형성할 수 있다. 명령들은 예를 들어, 하드웨어, 펌웨어, 소프트웨어 또는 조합일 수 있다. 명령들은 예를 들어, 운영 시스템, 개별 애플리케이션, 또는 둘의 조합에서 찾을 수 있다. 따라서, 프로세서는 예를 들어, 프로세스를 실행하도록 구성된 장치 및 프로세스를 실행하기 위한 명령들을 갖는 프로세서 판독 가능 매체 (저장 장치 등)를 포함하는 장치로서 특징된다. 또한, 프로세서 판독 가능 매체는 명령들에 부가하여 또는 명령들 대신에, 구현으로 생성된 데이터 값을 저장할 수 있다.
관련 기술의 당업자에게는 명백한 바와 같이, 구현예들은 예를 들어, 저장되거나 전송될 수 있는 정보를 전달하도록 포맷된 각종 신호를 생성한다. 정보는 예를 들어, 방법을 실행하기 위한 명령들 또는 설명된 구현예 중 하나에 의해 생성된 데이터를 포함한다. 예를 들어, 신호는 설명된 실시예의 문구를 기록하거나 판독하기 위한 규칙을 데이터로서 전달하거나, 설명된 실시예에 의해 기록된 실재 문구 값을 데이터로 전달하도록 포맷될 수 있다. 이런 신호는 예를 들어, 전자기파 (예를 들어, 스펙트럼의 무선 주파수 부분을 이용) 또는 기저대역 신호로서 포맷될 수 있다. 포매팅은 예를 들어, 데이터 스트림을 부호화하고 부호화된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 공지된 바와 같이, 각종 다른 유선이나 무선 링크를 통해 전송될 수 있다. 신호는 프로세서 판독 가능 매체에 저장될 수 있다.
다수의 구현예들이 설명되었다. 그렇지만, 여러 변형들이 행해질 수 있다는 것이 이해될 것이다. 예를 들어, 여러 구현들의 요소들은 다른 구현들을 이루도록 조합, 보충, 변형 또는 제거될 수 있다. 부가하여, 당업자들은 적어도 실질적으로 개시된 구현과 동일한 결과(들)를 성취하기 위해서, 다른 구조와 프로세스들이 이들 개시된 것과 대체될 수 있으며 최종 구현들은 적어도 실질적으로 동일한 방법으로 적어도 실질적으로 동일한 기능(들)을 실행하게 된다는 것을 이해할 것이다. 따라서, 이들 및 그 외 구현예들은 이 출원에 의해 생각해낼 수 있으며 다음 청구범위의 영역 내에 있다.
300: 비디오 전송 시스템
310: 부호화기
320: 전송기
400: 비디오 수신 시스템
410: 수신기
420: 복호화기

Claims (41)

  1. 부호화 방법으로서,
    다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부(portion)를 부호화하는 단계로서, 상기 일부는 제1 시점 영상의 전부 또는 부분인 것인, 상기 부호화하는 단계;
    상기 다중 시점 시스템에서의 제2 시점으로부터의 제2 시점 영상의 일부가 상기 제1 시점 영상의 상기 일부에 대응하는가를 판정하는 단계로서, 상기 판정은 제2 시점 영상의 상기 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거하는 것인, 상기 판정하는 단계; 및
    상기 제1 시점 영상의 상기 일부의 부호화로부터의 정보를 이용하여 상기 제2 시점 영상의 상기 일부를 부호화하는 단계를 포함하되,
    상기 제2 시점 영상의 상기 일부가 상기 제1 시점 영상의 상기 일부에 대응하는가를 판정하는 단계는,
    실제 공간의 일 지점의 위치를 상기 제2 시점 영상의 상기 일부에서의 상기 지점의 위치에 근거하여 결정하는 단계; 및
    실제 공간의 상기 지점의 상기 위치에 근거하여 상기 제1 시점 영상의 상기 일부에서의 상기 지점의 위치를 결정하는 단계를 포함하는 와핑 프로세스(warping process)를 이용하는 것을 포함하는 것인 부호화 방법.
  2. 제1항에 있어서, 상기 제1 시점 영상의 상기 부호화된 일부, 상기 제2 시점 영상의 상기 부호화된 일부, 및 상기 부호화된 제2 시점 깊이 값은 깊이 맵의 코딩을 지원하지 않고 다중 시점의 코딩을 지원하는 표준에 따라 부호화되는 것인 부호화 방법.
  3. 제2항에 있어서, 상기 표준은 MVC(Multi-view Video Coding) 표준인 것인 부호화 방법.
  4. 제1항에 있어서, 상기 제1 시점 영상의 상기 부호화된 일부, 상기 제2 시점 영상의 상기 부호화된 일부, 및 상기 제2 시점 깊이 값을 저장이나 전송을 위해 제공하는 단계를 더 포함하는 부호화 방법.
  5. 제4항에 있어서, 상기 제공하는 단계는 상기 제1 시점 영상의 상기 부호화된 일부, 상기 제2 시점 영상의 상기 부호화된 일부 및 상기 제2 시점 깊이 값을 구조화된 포맷으로 어셈블링(assembling)하는 단계를 포함하는 것인 부호화 방법.
  6. 제1항에 있어서, 상기 제2 시점 깊이 값을 부호화하는 단계를 더 포함하는 부호화 방법.
  7. 제1항에 있어서, 상기 제2 시점 깊이 값은 임의의 매크로블럭 또는 매크로블럭의 일부에 대한 단일의 값인 것인 부호화 방법.
  8. 제1항에 있어서, 상기 제2 시점 영상의 상기 일부에 대한 시점 차이 벡터를 판정하는 단계를 더 포함하되, 상기 시점 차이 벡터는 상기 제2 시점 영상의 상기 일부의 위치와 상기 제1 시점 영상의 상기 일부의 위치 간의 차이를 나타내고, 상기 시점 차이 벡터는 상기 제2 시점 깊이 값에 근거하여 결정되는 것인 부호화 방법.
  9. 제8항에 있어서, 상기 시점 차이 벡터를 판정하는 단계는 상기 시점 차이 벡터가 합성화보다는 부호화에 더 적합하게 하도록 하기 위한 미세화(refinement)에 더욱 근거하는 것인 부호화 방법.
  10. 제8항에 있어서,
    상기 시점 차이 벡터에 근거하여 시점 차이 벡터 예측기를 형성하는 단계; 및
    상기 시점 차이 벡터 예측기에 근거하여 상기 시점 차이 벡터를 부호화하는 단계를 더 포함하는 부호화 방법.
  11. 제8항에 있어서,
    상기 제1 시점 영상의 상기 일부에 대한 깊이-유도 시점 차이 벡터(depth-derived view-difference vector)에 근거하여 시점 차이 벡터 예측기를 형성하는 단계; 및
    상기 시점 차이 벡터 예측기에 근거하여 상기 시점 차이 벡터를 부호화하는 단계를 더 포함하는 부호화 방법.
  12. 제1항에 있어서, 상기 제2 시점 영상의 상기 일부를 부호화하는 단계는 상기 제2 시점 영상의 상기 일부가 상기 제1 시점 영상의 상기 일부의 재구성을 이용하여 재구성되는 것을 나타내는 플랙(flag)을 세팅하는 단계를 포함하는 것인 부호화 방법.
  13. 제1항에 있어서, 상기 제2 시점 영상의 상기 일부를 부호화하는 단계는 상기 제1 시점 영상의 상기 일부의 부호화로부터 모션 벡터를 이용하는 단계, 및 상기 제2 시점 영상의 상기 일부와 상기 제2 시점 영상으로부터 상기 모션 벡터에 의해 지시된 기준 영상 간의 잔류 영상(residue)을 결정하는 단계를 포함하는 것인 부호화 방법.
  14. 제1항에 있어서,
    상기 제1 시점 영상은 비디오 시퀀스로부터의 픽쳐를 포함하고,
    상기 제1 시점 영상의 상기 일부를 부호화하는 단계는 상기 픽쳐의 매크로블럭을 부호화하는 단계를 포함하는 부호화 방법.
  15. 제1항에 있어서, 적어도 상기 제2 시점 영상은, 복수의 영상으로 형성되며 상기 복수의 영상 각각에 대해 적어도 하나의 시점 차이 벡터를 갖는, 비디오 시퀀스에 포함되는 것인 부호화 방법.
  16. 제1항에 있어서, 적어도 상기 제2 시점 영상은, 복수의 영상으로 형성되며 상기 복수의 영상 중 각각에 대한 다중 시점 차이 벡터를 갖는, 비디오 시퀀스에 포함되는 것인 부호화 방법.
  17. 제1항에 있어서, 상기 방법은 부호화기에서 구현되는 것인 부호화 방법.
  18. 제1항에 있어서,
    상기 제1 시점 영상의 상기 일부의 조명(illumination)을 상기 제2 시점 영상의 상기 일부의 조명과 비교하는 단계; 및
    상기 비교의 결과에 근거하여 상기 제2 시점 영상의 상기 일부에 대한 조명 오프세트를 결정하는 단계를 더 포함하는 부호화 방법.
  19. 부호화 장치로서,
    다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부를 부호화하기 위한 수단으로서, 상기 일부는 상기 제1 시점 영상의 전부 또는 부분인 것인, 상기 부호화하기 위한 수단;
    상기 다중 시점 시스템에서의 제2 시점으로부터의 제2 시점 영상의 일부가 상기 제1 시점 영상의 상기 일부에 대응하는가를 판정하기 위한 수단으로서, 상기 판정은 제2 시점 영상의 상기 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거하는 것인, 상기 판정하기 위한 수단; 및
    상기 제1 시점 영상의 상기 일부의 부호화로부터의 정보를 이용하여 상기 제2 시점 영상의 상기 일부를 부호화하기 위한 수단을 포함하되,
    상기 제2 시점 영상의 상기 일부가 상기 제1 시점 영상의 일부에 대응하는가를 판정하는 것은,
    실제 공간의 일 지점의 위치를 상기 제2 시점 영상의 상기 일부에서의 상기 지점의 위치에 근거하여 결정하는 단계; 및
    실제 공간의 상기 지점의 상기 위치에 근거하여 상기 제1 시점 영상의 상기 일부에서의 상기 지점의 위치를 결정하는 단계를 포함하는 와핑 프로세스를 이용하는 것을 포함하는 것인 부호화 장치.
  20. 비일시적 프로세서 판독 가능 저장 매체에 있어서, 프로세서가 적어도,
    다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부를 부호화하는 동작으로서 상기 일부는 상기 제1 시점 영상의 전부 또는 부분인 것인, 상기 부호화하는 동작;
    상기 다중 시점 시스템에서의 제2 시점으로부터의 제2 시점 영상의 일부가 상기 제1 시점 영상의 상기 일부에 대응하는가를 판정하는 동작으로서, 상기 판정은 제2 시점 영상의 상기 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거하는 것인, 상기 판정하는 동작; 및
    상기 제1 시점 영상의 상기 일부의 부호화로부터의 정보를 이용하여 상기 제2 시점 영상의 상기 일부를 부호화하는 동작을 실행하게 하기 위한 명령을 저장하고 있되,
    상기 제2 시점 영상의 상기 일부가 상기 제1 시점 영상의 일부에 대응하는가를 판정하는 동작은,
    실제 공간의 일 지점의 위치를 상기 제2 시점 영상의 상기 일부에서의 상기 지점의 위치에 근거하여 결정하는 단계; 및
    실제 공간의 상기 지점의 상기 위치에 근거하여 상기 제1 시점 영상의 상기 일부에서의 상기 지점의 위치를 결정하는 단계를 포함하는 와핑 프로세스를 이용하는 것을 포함하는 것인, 비일시적 프로세서 판독 가능 저장 매체.
  21. 부호화 장치로서, 적어도 이하의 동작들:
    다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부를 부호화하는 동작으로서 상기 일부는 상기 제1 시점 영상의 전부 또는 부분인 것인, 상기 부호화하는 동작;
    상기 다중 시점 시스템에서의 제2 시점으로부터의 제2 시점 영상의 일부가 상기 제1 시점 영상의 상기 일부에 대응하는가를 판정하는 동작으로서, 상기 판정은 제2 시점 영상의 상기 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거하는 것인, 상기 판정하는 동작; 및
    상기 제1 시점 영상의 상기 일부의 부호화로부터의 정보를 이용하여 상기 제2 시점 영상의 상기 일부를 부호화하는 동작을 수행하도록 구성된 프로세서를 포함하되,
    상기 제2 시점 영상의 상기 일부가 상기 제1 시점 영상의 일부에 대응하는가를 판정하는 동작은,
    실제 공간의 일 지점의 위치를 상기 제2 시점 영상의 상기 일부에서의 상기 지점의 위치에 근거하여 결정하는 단계; 및
    실제 공간의 상기 지점의 상기 위치에 근거하여 상기 제1 시점 영상의 상기 일부에서의 상기 지점의 위치를 결정하는 단계를 포함하는 와핑 프로세스를 이용하는 것을 포함하는 것인 장치.
  22. 부호화 장치로서,
    다중 시점 시스템에서의 제2 시점으로부터의 제2 시점 영상의 일부가 다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부에 대응하는가를 판정하기 위한 디스패리티 변환기(disparity converter); 및
    상기 제1 시점 영상의 상기 일부를 부호화하고, 상기 제1 시점 영상의 상기 일부의 부호화로부터의 정보를 이용하여 상기 제2 시점 영상의 상기 일부를 부호화하기 위한 부호화 유닛을 포함하되,
    상기 제1 시점 영상의 상기 일부는 상기 제1 시점 영상의 전부 또는 부분이고, 상기 판정은 상기 제2 시점 영상의 상기 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거하며,
    상기 제2 시점 영상의 상기 일부가 상기 제1 시점 영상의 일부에 대응하는가를 판정하는 것은,
    실제 공간의 일 지점의 위치를 상기 제2 시점 영상의 상기 일부에서의 상기 지점의 위치에 근거하여 결정하는 단계; 및
    실제 공간의 상기 지점의 상기 위치에 근거하여 상기 제1 시점 영상의 상기 일부에서의 상기 지점의 위치를 결정하는 단계를 포함하는 와핑 프로세스를 이용하는 것을 포함하는 것인 부호화 장치.
  23. 제22항에 있어서, 상기 제1 시점 영상의 상기 부호화된 일부, 상기 제2 시점 영상의 상기 부호화된 일부 및 상기 제2 시점 깊이 값을 저장 및 전송을 위해 제공하기 위한 출력 유닛을 더 포함하는 부호화 장치.
  24. 부호화 장치로서,
    다중 시점 시스템에서의 제2 시점으로부터의 제2 시점 영상의 일부가 상기 다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부에 대응하는가를 판정하기 위한 디스패리티 변환기;
    상기 제1 시점 영상의 상기 일부를 부호화하고, 상기 제1 시점 영상의 상기 일부의 부호화로부터의 정보를 이용하여 상기 제2 시점 영상의 상기 일부를 부호화하기 위한 부호화 유닛; 및
    상기 제1 시점 영상의 상기 일부 및 상기 제2 시점 영상의 상기 일부의 부호화를 포함하는 신호를 변조하기 위한 변조기를 포함하되,
    상기 제1 시점 영상의 상기 일부는 상기 제1 시점 영상의 전부 또는 부분이고, 상기 판정은 상기 제2 시점 영상의 상기 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거하며,
    상기 제2 시점 영상의 상기 일부가 상기 제1 시점 영상의 일부에 대응하는가를 판정하는 것은,
    실제 공간의 일 지점의 위치를 상기 제2 시점 영상의 상기 일부에서의 상기 지점의 위치에 근거하여 결정하는 단계; 및
    실제 공간의 상기 지점의 상기 위치에 근거하여 상기 제1 시점 영상의 상기 일부에서의 상기 지점의 위치를 결정하는 단계를 포함하는 와핑 프로세스를 이용하는 것을 포함하는 것인 장치.
  25. 복호화 방법으로서,
    다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부의 부호화를 복호화하는 단계로서, 상기 일부는 상기 제1 시점 영상의 전부 또는 부분인 것인, 상기 복호화하는 단계;
    상기 다중 시점 시스템의 제2 시점으로부터 제2 시점 영상의 일부가 상기 제1 시점 영상의 상기 일부에 대응하는가를 판정하는 단계; 및
    상기 제1 시점 영상의 상기 복호화된 일부로부터의 정보를 이용하여 상기 제2 시점 영상의 상기 일부의 부호화를 복호화하는 단계를 포함하되,
    상기 판정은 상기 제2 시점 영상의 상기 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거하고,
    상기 제2 시점 영상의 상기 일부를 복호화하는 단계는, 상기 제2 시점 영상의 상기 일부가 상기 제2 시점 영상의 상기 일부의 재구성으로서 상기 제1 시점 영상의 상기 일부의 재구성을 이용해서 재구성되게 되는 것을 나타내는 플랙을 판독하는 단계를 포함하는 것인 복호화 방법.
  26. 제25항에 있어서,
    상기 제2 시점 영상의 상기 일부를 복호화하는 단계는 상기 제1 시점 영상의 상기 복호화된 일부로부터의 모션 벡터를 이용하는 단계, 및 상기 제2 시점 영상의 상기 일부와 상기 제2 시점 영상으로부터 상기 모션 벡터에 의해 지시된 기준 영상 간의 잔류 영상을 결정하는 단계를 포함하는 것인 복호화 방법.
  27. 제25항에 있어서, 상기 제2 시점 영상 깊이 값을 처리하는 단계를 더 포함하는 복호화 방법.
  28. 제27항에 있어서, 상기 제2 시점 깊이 값을 처리하는 단계는 수신된 신호로부터 상기 제2 시점 깊이 값을 파싱(parsing)하는 단계 또는 상기 제2 시점 깊이 값을 복호화하는 단계 중 하나 이상을 포함하는 것인 복호화 방법.
  29. 제25항에 있어서, 상기 제1 시점 영상의 상기 부호화된 일부 및 상기 제2 시점 영상의 상기 부호화된 일부는 깊이 맵의 코딩을 지원하지 않고 다중 시점의 코딩을 지원하는 표준에 따라 구조된 포맷으로 수신되는 것인 복호화 방법.
  30. 제29항에 있어서, 상기 표준은 MVC 표준인 것인 복호화 방법.
  31. 제25항에 있어서, 상기 제2 시점 깊이 값은 임의의 매크로블럭 또는 매크로블럭의 일부에 대한 단일 값인 것인 복호화 방법.
  32. 제25항에 있어서, 상기 제2 시점 영상의 상기 일부에 대한 시점 차이 벡터를 결정하는 단계를 더 포함하되, 상기 시점 차이 벡터는 상기 제2 시점 영상의 상기 일부의 위치와 상기 제1 시점 영상의 상기 일부의 위치 간의 차이를 나타내고, 상기 시점 차이 벡터는 상기 제2 시점 깊이 값에 근거하여 결정되는 것인 복호화 방법.
  33. 제25항에 있어서,
    상기 제2 시점 영상의 상기 일부에 대한 시점 차이 벡터 예측기를 형성하는 단계; 및
    상기 시점 차이 벡터 예측기에 근거하여 시점 차이 벡터를 복호화하는 단계를 더 포함하되,
    상기 시점 차이 벡터 예측기는 상기 제2 시점 영상의 상기 일부의 위치와 상기 제1 시점 영상의 상기 일부의 위치 간의 차이를 나타내고, 상기 시점 차이 벡터 예측기는 상기 제2 시점 깊이 값에 근거하여 결정되는 것인 복호화 방법.
  34. 제25항에 있어서,
    상기 제2 시점 영상의 상기 일부에 대한 시점 차이 벡터 예측기를 형성하는 단계; 및
    상기 시점 차이 벡터 예측기에 근거하여 시점 차이 벡터를 복호화하는 단계를 더 포함하되,
    상기 시점 차이 벡터 예측기는 상기 제2 시점 영상의 상기 일부의 위치와 상기 제1 시점 영상의 상기 일부의 위치 간의 차이를 나타내고, 상기 시점 차이 벡터 예측기는 상기 제2 시점 깊이 값에 근거하여 결정되는 것인 복호화 방법.
  35. 제25항에 있어서, 상기 방법은 복호화기에서 구현되는 것인 복호화 방법.
  36. 제25항에 있어서, 상기 방법은 부호화 프로세스의 일부로서 부호화기에서 구현되는 것인 복호화 방법.
  37. 복호화 장치로서,
    다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부의 부호화를 복호화하기 위한 수단으로서, 상기 일부는 상기 제1 시점 영상의 전부 또는 부분인 것인, 상기 복호화하기 위한 수단;
    상기 다중 시점 시스템의 제2 시점으로부터 제2 시점 영상의 일부가 상기 제1 시점 영상의 상기 일부에 대응하는가를 판정하기 위한 수단; 및
    상기 제1 시점 영상의 상기 복호화된 일부로부터의 정보를 이용하여 상기 제2 시점 영상의 상기 일부의 부호화를 복호화하기 위한 수단을 포함하되,
    상기 판정은 상기 제2 시점 영상의 상기 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거하고,
    상기 제2 시점 영상의 상기 일부를 복호화하는 것은, 상기 제2 시점 영상의 상기 일부가 상기 제2 시점 영상의 상기 일부의 재구성으로서 상기 제1 시점 영상의 상기 일부의 재구성을 이용해서 재구성되게 되는 것을 나타내는 플랙을 판독하는 것을 포함하는 것인 복호화 장치.
  38. 비일시적 프로세서 판독 가능 저장 매체로서, 프로세서가 적어도,
    다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부의 부호화를 복호화하는 동작으로서, 상기 일부는 상기 제1 시점 영상의 전부 또는 부분인 것인, 상기 복호화하는 동작;
    상기 다중 시점 시스템의 제2 시점으로부터 제2 시점 영상의 일부가 상기 제1 시점 영상의 상기 일부에 대응하는가를 판정하는 동작; 및
    상기 제1 시점 영상의 상기 복호화된 일부로부터의 정보를 이용하여 상기 제2 시점 영상의 상기 일부의 부호화를 복호화하는 동작을 실행하게 하기 위한 명령을 저장하고 있되,
    상기 판정은 상기 제2 시점 영상의 상기 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거하고,
    상기 제2 시점 영상의 상기 일부를 복호화하는 것은, 상기 제2 시점 영상의 상기 일부가 상기 제2 시점 영상의 상기 일부의 재구성으로서 상기 제1 시점 영상의 상기 일부의 재구성을 이용해서 재구성되게 되는 것을 나타내는 플랙을 판독하는 것을 포함하는 것인, 비일시적 프로세스 판독 가능 저장 매체.
  39. 복호화 장치로서, 적어도 이하의 동작들:
    다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부의 부호화를 복호화하는 동작으로서, 상기 일부는 상기 제1 시점 영상의 전부 또는 부분인 것인, 상기 복호화하는 동작;
    상기 다중 시점 시스템의 제2 시점으로부터 제2 시점 영상의 일부가 상기 제1 시점 영상의 상기 일부에 대응하는가를 판정하는 동작; 및
    상기 제1 시점 영상의 상기 복호화된 일부로부터의 정보를 이용하여 상기 제2 시점 영상의 상기 일부의 부호화를 복호화하는 동작을 수행하도록 구성된 프로세서를 포함하되,
    상기 판정은 상기 제2 시점 영상의 상기 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거하고,
    상기 제2 시점 영상의 상기 일부를 복호화하는 것은, 상기 제2 시점 영상의 상기 일부가 상기 제2 시점 영상의 상기 일부의 재구성으로서 상기 제1 시점 영상의 상기 일부의 재구성을 이용해서 재구성되게 되는 것을 나타내는 플랙을 판독하는 것을 포함하는 것인 장치.
  40. 부호화 장치로서,
    다중 시점 시스템에서의 제2 시점으로부터의 제2 시점 영상의 일부가 상기 다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부에 대응하는가를 판정하기 위한 디스패리티 변환기로서, 상기 제1 시점 영상의 상기 일부는 상기 제1 시점 영상의 전부 또는 부분인, 상기 디스패리티 변환기; 및
    상기 제1 시점 영상의 상기 일부의 부호화를 복호화하고, 상기 제1 시점 영상의 상기 복호화된 일부로부터의 정보를 이용하여 상기 제2 시점 영상의 상기 일부의 부호화를 복호화하기 위한 복호화 유닛을 포함하되,
    상기 판정은 상기 제2 시점 영상의 상기 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거하고,
    상기 제2 시점 영상의 상기 일부를 복호화하는 것은 상기 제2 시점 영상의 상기 일부가 상기 제2 시점 영상의 상기 일부의 재구성으로서 상기 제1 시점 영상의 상기 일부의 재구성을 이용해서 재구성되게 되는 것을 나타내는 플랙을 판독하는 것을 포함하는 것인 장치.
  41. 복호화 장치로서,
    신호를 수신 및 복조하기 위한 복조기로서, 상기 신호는 다중 시점 시스템에서의 제1 시점으로부터의 제1 시점 영상의 일부의 부호화를 포함하고, 또한 상기 다중 시점 시스템에서의 제2 시점으로부터의 제2 시점 영상의 일부의 부호화를 포함하며, 상기 제1 시점 영상의 상기 일부는 상기 제1 시점 영상의 전부 혹은 부분인, 상기 복조기;
    상기 제2 시점 영상의 상기 일부가 상기 제1 시점 영상의 상기 일부에 대응하는가를 판정하기 위한 디스패리티 변환기; 및
    상기 제1 시점 영상의 상기 일부의 부호화를 복호화하고, 상기 제1 시점 영상의 상기 복호화된 일부로부터의 정보를 이용하여 상기 제2 시점 영상의 상기 일부의 부호화를 복호화하기 위한 복호화 유닛을 포함하되,
    상기 판정은 상기 제2 시점 영상의 상기 일부에 대한 깊이 정보를 제공하는 제2 시점 깊이 값에 근거하고,
    상기 제2 시점 영상의 상기 일부를 복호화하는 것은 상기 제2 시점 영상의 상기 일부가 상기 제2 시점 영상의 상기 일부의 재구성으로서 상기 제1 시점 영상의 상기 일부의 재구성을 이용해서 재구성되게 되는 것을 나타내는 플랙을 판독하는 것을 포함하는 것인 장치.
KR1020167011062A 2008-04-25 2009-04-23 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩 KR101727311B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12552008P 2008-04-25 2008-04-25
US61/125,520 2008-04-25
PCT/US2009/002513 WO2009131688A2 (en) 2008-04-25 2009-04-23 Inter-view skip modes with depth

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020107026341A Division KR101617842B1 (ko) 2008-04-25 2009-04-23 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩

Publications (2)

Publication Number Publication Date
KR20160054026A KR20160054026A (ko) 2016-05-13
KR101727311B1 true KR101727311B1 (ko) 2017-04-14

Family

ID=41036789

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167011062A KR101727311B1 (ko) 2008-04-25 2009-04-23 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩
KR1020107026341A KR101617842B1 (ko) 2008-04-25 2009-04-23 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020107026341A KR101617842B1 (ko) 2008-04-25 2009-04-23 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩

Country Status (7)

Country Link
US (1) US8532410B2 (ko)
EP (2) EP2269378A2 (ko)
JP (1) JP5346076B2 (ko)
KR (2) KR101727311B1 (ko)
CN (3) CN103297771B (ko)
BR (1) BRPI0911672A2 (ko)
WO (1) WO2009131688A2 (ko)

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
KR20100105877A (ko) * 2008-01-11 2010-09-30 톰슨 라이센싱 비디오 및 깊이 코딩
WO2010041856A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
WO2010053332A2 (ko) * 2008-11-10 2010-05-14 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
WO2010073513A1 (ja) * 2008-12-26 2010-07-01 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム、ならびに画像復号装置、画像復号方法およびそのプログラム
EP2355510A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
WO2011094034A2 (en) * 2010-01-27 2011-08-04 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
WO2011125211A1 (ja) 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
JP2011244025A (ja) * 2010-05-13 2011-12-01 Sony Corp 画像処理装置および画像処理方法
KR20120000485A (ko) * 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
US8619852B2 (en) * 2010-07-21 2013-12-31 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered frame-compatible video delivery
HU1000640D0 (en) * 2010-11-29 2011-02-28 Holografika Hologrameloeallito Fejlesztoe Es Forgalmazo Kft Image coding and decoding method and apparatus for efficient encoding and decoding of 3d field content
KR101893559B1 (ko) 2010-12-14 2018-08-31 삼성전자주식회사 다시점 비디오 부호화/복호화 장치 및 방법
CA2979455C (en) * 2011-01-12 2018-09-04 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US9363500B2 (en) * 2011-03-18 2016-06-07 Sony Corporation Image processing device, image processing method, and program
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
KR20160003334A (ko) * 2011-06-15 2016-01-08 미디어텍 인크. 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치
EP2717572B1 (en) * 2011-06-24 2018-08-08 LG Electronics Inc. Encoding/decoding method and apparatus using a skip mode
US9363535B2 (en) 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
US9402066B2 (en) * 2011-08-09 2016-07-26 Samsung Electronics Co., Ltd. Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map
EP2742688A1 (en) * 2011-08-12 2014-06-18 Telefonaktiebolaget LM Ericsson (PUBL) Signaling of camera and/or depth parameters
US20130229485A1 (en) * 2011-08-30 2013-09-05 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
CN103765902B (zh) * 2011-08-30 2017-09-29 英特尔公司 多视角视频编码方案
WO2013035452A1 (ja) * 2011-09-05 2013-03-14 シャープ株式会社 画像符号化方法、画像復号方法、並びにそれらの装置及びプログラム
JP6232117B2 (ja) * 2011-09-15 2017-11-15 シャープ株式会社 画像符号化方法、画像復号方法、及び記録媒体
EP2727366B1 (en) * 2011-10-11 2018-10-03 MediaTek Inc. Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
WO2013068548A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
KR102492490B1 (ko) 2011-11-11 2023-01-30 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
EP3739886A1 (en) * 2011-11-18 2020-11-18 GE Video Compression, LLC Multi-view coding with efficient residual handling
US10154276B2 (en) 2011-11-30 2018-12-11 Qualcomm Incorporated Nested SEI messages for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
CN102413332B (zh) * 2011-12-01 2013-07-24 武汉大学 基于时域增强的视点合成预测多视点视频编码方法
US20130176390A1 (en) * 2012-01-06 2013-07-11 Qualcomm Incorporated Multi-hypothesis disparity vector construction in 3d video coding with depth
US9961323B2 (en) * 2012-01-30 2018-05-01 Samsung Electronics Co., Ltd. Method and apparatus for multiview video encoding based on prediction structures for viewpoint switching, and method and apparatus for multiview video decoding based on prediction structures for viewpoint switching
US9602831B2 (en) 2012-03-07 2017-03-21 Lg Electronics Inc. Method and apparatus for processing video signals
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
JP2013198059A (ja) 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
US20130271567A1 (en) * 2012-04-16 2013-10-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for predicting motion vector and disparity vector
KR101618672B1 (ko) * 2012-04-19 2016-05-18 인텔 코포레이션 깊이 기반 변이 벡터 교정을 포함하는 3d 비디오 코딩
US9549180B2 (en) * 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
WO2013162454A1 (en) * 2012-04-24 2013-10-31 Telefonaktiebolaget L M Ericsson (Publ) Identifying a parameter set for decoding a multi-layer video representation
US20130287093A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
US20130329007A1 (en) * 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
EP2868089B1 (en) * 2012-06-28 2017-12-20 HFI Innovation Inc. Method and apparatus of disparity vector derivation in 3d video coding
EP2842334B1 (en) * 2012-07-05 2019-02-20 MediaTek Inc. Method and apparatus of unified disparity vector derivation for 3d video coding
WO2014010573A1 (ja) * 2012-07-09 2014-01-16 日本電信電話株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体
CN104429077A (zh) * 2012-07-09 2015-03-18 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
KR20150034729A (ko) * 2012-07-11 2015-04-03 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US20150201215A1 (en) * 2012-07-27 2015-07-16 Mediatek Inc. Method of constrain disparity vector derivation in 3d video coding
TW201409994A (zh) 2012-08-30 2014-03-01 Novatek Microelectronics Corp 立體視訊的編碼方法與編碼裝置
CN103686190A (zh) * 2012-09-07 2014-03-26 联咏科技股份有限公司 立体视频的编码方法与编码装置
SG11201502194QA (en) 2012-09-21 2015-04-29 Nokia Technologies Oy Method and apparatus for video coding
EP2898688B1 (en) * 2012-09-21 2018-05-30 HFI Innovation Inc. Method and apparatus for deriving virtual depth values in 3d video coding
KR102137266B1 (ko) * 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
KR102186605B1 (ko) * 2012-09-28 2020-12-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
CN103716641B (zh) * 2012-09-29 2018-11-09 浙江大学 预测图像生成方法和装置
KR102447521B1 (ko) 2012-10-01 2022-09-26 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
US9357214B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
JP6101067B2 (ja) * 2012-12-12 2017-03-22 日本放送協会 画像処理装置及び画像処理プログラム
US9516332B2 (en) * 2012-12-21 2016-12-06 Qualcomm Incorporated Disparity vector derivation in three-dimensional video coding
CN103024395B (zh) * 2012-12-31 2015-08-12 清华大学 多视点视频编码模式选择方法及装置
US10021414B2 (en) 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
CN104919799A (zh) * 2013-01-07 2015-09-16 联发科技股份有限公司 用于三维视频编解码的从深度到视差矢量转换的方法和装置
MX349793B (es) 2013-01-08 2017-08-11 Lg Electronics Inc Metodo y aparato para procesar la señal de video.
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
US9521425B2 (en) * 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
US9762905B2 (en) * 2013-03-22 2017-09-12 Qualcomm Incorporated Disparity vector refinement in video coding
US10904551B2 (en) * 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy
EP2981091A4 (en) 2013-04-05 2016-10-12 Samsung Electronics Co Ltd METHOD FOR PREDICTING DISPARITY VECTOR FOR APPARATUS AND METHOD FOR DECODING AND ENCODING INTERLAYER VIDEO
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
CN104104964B (zh) * 2013-04-09 2019-03-12 乐金电子(中国)研究开发中心有限公司 一种深度图像帧间编码、解码方法、编码器及解码器
WO2014166334A1 (zh) 2013-04-10 2014-10-16 中兴通讯股份有限公司 一种深度信息的编解码方法、***及装置
CN105122808B (zh) * 2013-04-10 2018-08-03 联发科技股份有限公司 三维或多视图视频编码或解码的方法及装置
CN105075257A (zh) * 2013-04-11 2015-11-18 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
CN105122813B (zh) * 2013-04-11 2019-02-19 Lg电子株式会社 视频信号处理方法和设备
US10080036B2 (en) * 2013-05-16 2018-09-18 City University Of Hong Kong Method and apparatus for depth video coding using endurable view synthesis distortion
JP6587046B2 (ja) * 2013-07-08 2019-10-09 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
KR101631281B1 (ko) * 2013-07-12 2016-06-16 삼성전자주식회사 뷰 합성 예측을 이용한 인터 레이어 비디오 복호화 방법 및 그 장치 뷰 합성 예측을 이용한 인터 레이어 비디오 부호화 방법 및 장치
WO2015007159A1 (en) * 2013-07-15 2015-01-22 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3d video coding
US9860529B2 (en) * 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
US9628795B2 (en) * 2013-07-17 2017-04-18 Qualcomm Incorporated Block identification using disparity vector in video coding
CN104243947B (zh) * 2013-07-29 2018-03-16 深圳深讯和科技有限公司 视差估计方法和装置
KR102250092B1 (ko) * 2013-10-14 2021-05-10 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
EP3078195A4 (en) 2013-12-02 2017-08-09 Nokia Technologies OY Video encoding and decoding
CN103826135B (zh) * 2013-12-24 2017-02-08 浙江大学 基于恰可识别视差错误估计的三维视频深度图编码方法
WO2015135174A1 (en) * 2014-03-13 2015-09-17 Qualcomm Incorporated Simplified disparity derived depth coding in three-dimensional (3d) video coding
JP6430542B2 (ja) * 2014-06-16 2018-11-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄ−ｈｅｖｃにおける簡略化シフティングマージ候補およびマージリスト導出
FR3022724A1 (fr) * 2014-06-19 2015-12-25 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
RU2661331C2 (ru) * 2014-10-08 2018-07-13 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство кодирования изображений с эффектом глубины при кодировании видео
US10506198B2 (en) 2015-12-04 2019-12-10 Livestream LLC Video stream encoding system with live crop editing and recording
US20170162230A1 (en) * 2015-12-04 2017-06-08 Livestream LLC Interactive digital camera for live crop editing and recording of video streams
JP2016131405A (ja) * 2016-04-21 2016-07-21 シャープ株式会社 画像復号装置
WO2018226725A1 (en) 2017-06-05 2018-12-13 Massachusetts Institute Of Technology 3dtv at home: eulerian-lagrangian stereo-to-multi-view conversion
EP3432581A1 (en) * 2017-07-21 2019-01-23 Thomson Licensing Methods, devices and stream for encoding and decoding volumetric video
JP2017204898A (ja) * 2017-08-24 2017-11-16 シャープ株式会社 画像復号装置
KR20210096449A (ko) 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
US11146818B1 (en) * 2020-09-21 2021-10-12 Tencent America LLC Methods of intra picture block prediction for multi-view video compression
USD996493S1 (en) 2020-12-07 2023-08-22 Applied Materials, Inc. Live streaming camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291850A1 (en) 2006-06-14 2007-12-20 Kddi Corporation Alarm information display unit
WO2009089785A1 (en) 2008-01-11 2009-07-23 Huawei Technologies Co., Ltd. Image processing method, encoding/decoding method and apparatus

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104439B2 (ja) 1992-11-13 2000-10-30 ソニー株式会社 高能率符号化及び／又は復号化装置
US5614952A (en) 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
US6188730B1 (en) 1998-03-23 2001-02-13 Internatonal Business Machines Corporation Highly programmable chrominance filter for 4:2:2 to 4:2:0 conversion during MPEG2 video encoding
JP2000261828A (ja) 1999-03-04 2000-09-22 Toshiba Corp 立体映像生成方法
US6504872B1 (en) 2000-07-28 2003-01-07 Zenith Electronics Corporation Down-conversion decoder for interlaced video
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
KR100433625B1 (ko) 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
US20030198290A1 (en) 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
US7003136B1 (en) 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
KR20060105409A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
EP1654884A1 (en) 2003-08-05 2006-05-10 Koninklijke Philips Electronics N.V. Multi-view image generation
CN100449572C (zh) 2003-09-30 2009-01-07 皇家飞利浦电子股份有限公司 图像再现的运动控制
GB2418314A (en) 2004-09-16 2006-03-22 Sharp Kk A system for combining multiple disparity maps
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7468745B2 (en) 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
JP2006191357A (ja) 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
JP4414379B2 (ja) 2005-07-28 2010-02-10 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
NZ566935A (en) 2005-09-27 2010-02-26 Qualcomm Inc Methods and apparatus for service acquisition
BRPI0616745A2 (pt) * 2005-10-19 2011-06-28 Thomson Licensing codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável
CN101375593A (zh) * 2006-01-12 2009-02-25 Lg电子株式会社 处理多视图视频
KR101383735B1 (ko) 2006-03-29 2014-04-08 톰슨 라이센싱 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치
WO2008007917A1 (en) * 2006-07-12 2008-01-17 Lg Electronics, Inc. A method and apparatus for processing a signal
JP5013993B2 (ja) * 2006-07-12 2012-08-29 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 或るシーンの複数のマルチビュービデオを処理する方法及びシステム
KR20080007069A (ko) * 2006-07-14 2008-01-17 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
KR20100014553A (ko) 2007-04-25 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2009001255A1 (en) 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
KR20100105877A (ko) 2008-01-11 2010-09-30 톰슨 라이센싱 비디오 및 깊이 코딩
US20100188476A1 (en) 2009-01-29 2010-07-29 Optical Fusion Inc. Image Quality of Video Conferences

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291850A1 (en) 2006-06-14 2007-12-20 Kddi Corporation Alarm information display unit
WO2009089785A1 (en) 2008-01-11 2009-07-23 Huawei Technologies Co., Ltd. Image processing method, encoding/decoding method and apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHU G ET AL, "MVC inter-view skip mode with depth information" 26, JVT MEETING NO. JVT-Z029 20080115, XP030007318 ANTALYA, TR

Also Published As

Publication number Publication date
US20110044550A1 (en) 2011-02-24
CN102017627B (zh) 2013-05-01
KR101617842B1 (ko) 2016-05-18
CN103297771A (zh) 2013-09-11
WO2009131688A3 (en) 2010-01-28
BRPI0911672A2 (pt) 2018-03-13
KR20110006696A (ko) 2011-01-20
KR20160054026A (ko) 2016-05-13
CN103297770B (zh) 2017-04-26
US8532410B2 (en) 2013-09-10
EP2269378A2 (en) 2011-01-05
CN103297770A (zh) 2013-09-11
WO2009131688A2 (en) 2009-10-29
JP5346076B2 (ja) 2013-11-20
CN102017627A (zh) 2011-04-13
JP2011519226A (ja) 2011-06-30
EP3512202A1 (en) 2019-07-17
CN103297771B (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
KR101727311B1 (ko) 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩
KR101663819B1 (ko) 정제된 깊이 맵
JP6559337B2 (ja) ３６０度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
US20190379904A1 (en) Inter-view prediction
KR101653724B1 (ko) 가상 레퍼런스 뷰
US20110038418A1 (en) Code of depth signal
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
CN115668935A (zh) 基于卷绕运动补偿的图像编码/解码方法和设备及存储比特流的记录介质
CN115699755A (zh) 基于卷绕运动补偿的图像编码/解码方法和装置及存储比特流的记录介质
KR20080055685A (ko) 비디오 신호의 디코딩 방법 및 장치
KR102300036B1 (ko) 비디오 신호 처리 방법 및 장치
WO2008130716A2 (en) Video coding
CN118044201A (zh) 基于mdmvr的图像编译方法及设备
KR20130119717A (ko) 보조 움직임 정보를 활용한 효율적인 영상 부호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant