KR101761523B1 - 멀티뷰 및 3차원 비디오 코딩시의 모션 정보 예측 및 상속 방법 - Google Patents

멀티뷰 및 3차원 비디오 코딩시의 모션 정보 예측 및 상속 방법 Download PDF

Info

Publication number
KR101761523B1
KR101761523B1 KR1020167007106A KR20167007106A KR101761523B1 KR 101761523 B1 KR101761523 B1 KR 101761523B1 KR 1020167007106 A KR1020167007106 A KR 1020167007106A KR 20167007106 A KR20167007106 A KR 20167007106A KR 101761523 B1 KR101761523 B1 KR 101761523B1
Authority
KR
South Korea
Prior art keywords
reference picture
index
view
current
aligned
Prior art date
Application number
KR1020167007106A
Other languages
English (en)
Other versions
KR20160045100A (ko
Inventor
지안리앙 린
이웬 첸
Original Assignee
미디어텍 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어텍 인크. filed Critical 미디어텍 인크.
Publication of KR20160045100A publication Critical patent/KR20160045100A/ko
Application granted granted Critical
Publication of KR101761523B1 publication Critical patent/KR101761523B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H04N13/0048—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

모션 정보 예측 및 상속을 위해 정렬된 모션 파라미터 도출을 이용한 3차원 비디오 코딩 방법이 개시된다. 본 발명에 따른 실시형태들은 모션 정보 예측 및 상속을 위해 대응 블록과 연관된 모션 파라미터를 활용한다. 정렬된 모션 파라미터는 대응 블록의 MV에 의해 지시된 참조 화상의 것과 동일한 POC(화상 순서 카운트) 또는 동일한 뷰 인덱스를 가진 정합된 참조 화상을 찾기 위해 현재 블록의 각각의 현재 참조 화상을 탐색함으로써 도출될 수 있다. 정렬된 모션 파라미터는 상속될 참조 뷰 내의 참조 화상의 참조 화상 인덱스가 현재 블록의 각각의 현재 참조 화상 리스트의 최대 참조 화상 인덱스를 초과하는지를 체크하기 위해 각각의 현재 참조 화상 리스트를 탐색함으로써 또한 도출될 수 있다.

Description

멀티뷰 및 3차원 비디오 코딩시의 모션 정보 예측 및 상속 방법{METHOD OF MOTION INFORMATION PREDICTION AND INHERITANCE IN MULTI-VIEW AND THREE-DIMENSIONAL VIDEO CODING}
관련 출원에 대한 교차 참조
본 출원은 "멀티뷰 및 3D 비디오 코딩시의 모션 정보 예측/상속 방법"의 명칭으로 2013년 10월 17일자 출원된 미국 가특허 출원 제61/892,251호를 우선권 주장한다. 상기 미국 가특허 출원은 인용에 의해 그 전부가 본원에 통합된다.
발명의 분야
본 발명은 3차원(3D) 및 멀티뷰 비디오 코딩에 관한 것이다. 특히, 본 발명은 3D 및 멀티뷰 비디오 코딩시 모션 정보 예측 및 상속을 위한 정렬된 모션 파라미터의 도출에 관한 것이다.
3차원(3D) 텔레비전은 최근 시청자에게 감동적인 시청 경험을 제공하려고 하는 기술 추세에 있다. 3D 시청을 가능하게 하는 각종 기술이 개발되어 있다. 그들 중에서, 멀티뷰 비디오는 다른 무엇보다도 특히 3DTV 응용을 위한 핵심 기술이다. 전통적인 비디오는 카메라의 관점으로부터 장면의 단일 뷰만을 시청자에게 제공하는 2차원(2D) 매체이다. 그러나, 멀티뷰 비디오는 동적 장면의 임의의 뷰포인트를 제공할 수 있고 시청자에게 현실주의적 감동을 제공한다.
멀티뷰 비디오는 전형적으로 복수의 카메라를 이용하여 장면을 동시에 촬영함으로써 생성되고, 이때 상기 복수의 카메라는 각 카메라가 하나의 뷰포인트로부터 장면을 촬영하도록 적절히 위치된다. 따라서, 복수의 카메라는 복수의 뷰에 대응하는 복수의 비디오 시퀀스를 촬영할 것이다. 더 많은 뷰를 제공하기 위해, 뷰와 연관된 다수의 비디오 시퀀스로 멀티뷰 비디오를 생성하기 위해 더 많은 카메라를 이용하여 왔다. 따라서, 멀티뷰 비디오는 다량의 저장 공간 및/또는 높은 송신 대역폭을 요구한다. 그러므로, 필요한 저장 공간 또는 송신 대역폭을 감소시키는 멀티뷰 비디오 코딩 기술이 업계에서 개발되어 왔다.
간단한 접근법은 각각의 단일 뷰 비디오 시퀀스에 종래의 비디오 코딩 기술을 독립적으로 단순히 적용하고 다른 뷰들 간의 임의의 상관성을 무시하는 것일 수 있다. 이러한 코딩 시스템은 매우 비효율적이다. 멀티뷰 비디오 코딩의 효율을 개선하기 위해, 전형적인 멀티뷰 비디오 코딩은 신터 뷰(sinter-view) 용장성을 이용한다. 그러므로, 대부분의 3D 비디오 코딩(3DVC) 시스템은 멀티뷰 및 깊이 맵(depth map)과 연관된 비디오 데이터의 상관성을 고려한다. 표준 개발 기구인 ITU-T 비디오 코딩 전문가 그룹(VCEG)과 ISO/IEC 동영상 전문가 그룹(MPEG)의 합동 비디오 팀은 H.264/MPEG-4 AVC를 스테레오 및 멀티뷰 비디오의 멀티뷰 비디오 코딩(MVC)까지 확장하였다.
MVC는 압축 효율을 개선하기 위해 시간 예측과 공간 예측 둘 다를 채용한다. MVC의 개발 중에, 조명 보상, 적응적 참조 필터링, 모션 스킵 모드 및 뷰 합성 예측을 포함한 일부 매크로 블록 레벨 코딩 툴이 설명된다. 이러한 코딩 툴은 복수의 뷰 사이에 용장성을 이용하도록 개발된다. 인터-뷰(inter-view) 모션 정보를 이용하는 멀티뷰/3D 코딩 툴에 대하여 다음과 같이 간단히 검토한다.
3D 비디오 코딩은 수 개의 카메라에 의해 동시에 촬영된 복수의 뷰의 비디오를 인코딩/디코딩하기 위해 개발된다. 멀티뷰 비디오는 모든 카메라가 상이한 뷰포인트로부터 동일한 장면을 촬영하기 때문에 다량의 인터-뷰 용장성을 내포한다. 3D-AVC(진보형 비디오 코딩(Advanced Video Coding, AVC) 표준에 기초한 3D 비디오 코딩)에 있어서, 깊이 기반 모션 벡터 예측(Dpeth-based Motion Vector Prediction, DMVP)은 모션 벡터 예측기의 정확도를 더욱 개선하기 위해 참조 뷰 또는 변위 벡터(disparity vector)의 모션 정보를 이용하는 코딩 툴이다. DMVP 툴은 2개의 부분, 즉 인터 모드용의 방향 분리형 MVP(direction-separated MVP, DS-MVP) 및 변위 기반 스킵 및 직접 모드(disparity-based Skip and Direct modes)로 구성되고, 이들에 대하여 이하에서 설명한다.
방향 분리형 MVP(DS-MVP)
H.264/AVC의 종래의 중앙값(median) 기반 MVP는 모션 벡터 후보의 동일한 예측 방향(즉, 시간 또는 인터-뷰)으로 제한된다. 모든 이용 가능한 이웃 블록들은 그들의 예측 방향에 따라 분류된다.
인터-뷰 예측
도 1b는 인터-뷰 모션 예측기를 도출하기 위한 인터-뷰 예측 처리의 예시적인 흐름도이다. 변위 벡터는 3D-AVC 테스트 모델 7에 따라 도출된다(2013년 7월 27일부터 8월 2일까지 오스트리아 비엔나에서 개최한 5차 미팅에서 ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11의 3D 비디오 코딩 확장 개발에 관한 합동 협력 팀의 드미트로루자놉스키(DmytroRusanovskyy) 등이 발표한 것, 문서: JCT3V-E1003). 도 1a 및 도 1b에 도시된 것처럼, 만일 현재 블록(Cb)이 인터-뷰 참조 화상을 사용하면, 인터-뷰 예측을 이용하지 않는 이웃 블록들은 MVP에 대하여 이용불능으로서 표시된다. 만일 목표 참조 화상이 인터-뷰 예측 화상이면, 도 1a에서의 A, B 및 C와 같은 현재 블록(Cb) 주위의 인접 블록들의 인터-뷰 모션 벡터들이 모션 벡터 예측의 도출에 이용된다. 만일 모션 정보가 블록 C로부터 이용할 수 없으면, 블록 D가 대신 사용된다.
도 1b에 도시된 바와 같이, 목표 참조 화상이 인터-뷰 예측 화상이면, 이웃 블록들의 인터-뷰 모션 벡터가 인터-뷰 모션 벡터 예측기를 도출하기 위해 사용된다. 도 1b의 블록 110에서, 공간적으로 이웃하는 블록들의 인터-뷰 모션 벡터가 입력으로서 사용된다. 현재 블록(Cb)과 연관된 깊이 맵이 또한 블록 160에서 제공된다. 블록 A, B 및 C에 대한 인터-뷰 모션 벡터의 이용가능성이 블록 120에서 체크된다. 만일 인터-뷰 모션 벡터가 이용불능이면, 현재 블록에 대한 변위 벡터가 블록 130에 표시된 것처럼 이용불능인 인터-뷰 모션 벡터를 교체하기 위해 사용된다. 블록 170에 표시된 것처럼, 변위 벡터는 관련 깊이 블록의 최대 깊이 값으로부터 도출된다. 블록 A, B 및 C의 인터-뷰 모션 벡터의 중앙값은 블록 140에 표시된 것처럼 인터-뷰 모션 벡터 예측기로서 사용된다. 블록 D는 C와 연관된 인터-뷰 모션 벡터가 이용불능인 때에만 사용된다. 모션 벡터 예측기에 기초한 인터-뷰 모션 벡터 코딩이 블록 150에 표시된 것처럼 수행된다.
인터(시간) 예측
만일 Cb가 시간 예측을 이용하면, 인터-뷰 참조 화상을 이용한 이웃 블록들이 MVP에 대하여 이용불능으로서 표시된다. 이용불능으로서 표시된 이웃 블록들의 모션 벡터는 참조 뷰의 대응하는 블록의 모션 벡터로 교체된다. 상기 대응하는 블록은 현재 텍스처 블록의 좌표에 변위 벡터(disparity vector, DV)를 적용함으로써 도출된다. 변위 벡터는 3D-AVC 테스트 모델 7에 따라 특정된 대로 도출된다. 만일 대응하는 블록이 인터 예측으로 코딩되지 않으면(즉, 이용 가능한 모션 정보가 없음), 제로 벡터가 고려된다. 이 처리의 흐름도는 도 2a 및 도 2b에 도시되어 있다.
만일 목표 참조 화상이 시간 예측 화상이면, 도 2a의 A, B 및 C와 같은 현재 블록(Cb) 주위의 인접 블록들의 시간 모션 벡터들이 모션 벡터 예측의 도출에 이용된다. 도 2b의 블록 210에서, 공간적으로 이웃하는 블록들의 시간 모션 벡터들이 입력으로서 제공된다. 현재 블록(Cb)과 연관된 깊이 맵이 또한 블록 260에서 제공된다. 이웃 블록의 시간 모션 벡터는 단계 220에서 체크된다. 만일 이웃 블록의 시간 모션 벡터가 이용불능이면, 단계 230에 표시된 것처럼 인터-뷰 모션 벡터가 사용된다. 인터-뷰 모션 벡터는 단계 270에 표시된 것처럼 최대 변위로부터 변환된 DV를 이용하여 위치된 대응 블록으로부터 도출된다. 그 다음에, 모션 벡터 예측이 단계 240에 표시된 것처럼 인접 블록 A, B 및 C의 모션 벡터의 중앙값으로서 도출된다. 블록 D는 C가 이용불능인 때에만 사용된다. 그 결과는 단계 250에 표시된 것처럼 시간 MV 예측기로서 제공된다.
변위 기반 스킵 및 직접 모드
도출된 모션 벡터 예측기가 양호한 예측을 제공하는 경우, 모션 잔여는 0으로 되거나 매우 작아서 임의의 모션 정보를 송신할 필요가 없다. 이 경우는 스킵 또는 직접 모드(Skip or Direct mode)라고 부르고, 모션 정보가 코딩될 필요가 없다. 모션 정보는 동일한 처리를 통하여 인코더 및 디코더 측에서 도출될 수 있다. 그러므로, 예측된 블록 잔여만이 코딩될 필요가 있다. 더욱이, 모션 정보와 연관된 참조 블록은 현재 블록에 대하여 양호한 예측을 제공할 수 있고, 따라서 블록 잔여를 송신할 필요가 없다. 이 경우는 스킵 모드라고 부른다. 직접 모드인 경우에, 모션 정보가 코딩될 필요는 없고, 블록 잔여만이 코딩된다. 인터-뷰 예측인 경우에, 스킵/직접 모드에서 현재 블록(Cb)(310)의 코딩을 위한 모션 정보는 기본 뷰(base view)의 대응하는 블록(340)의 모션 정보로부터 도출된다. 기본 뷰의 대응 블록과 Cb 간의 대응성은 도 3에 도시된 현재 블록(Cb)의 중앙 표본(330)에 적용되는 변위 벡터(320)를 통하여 확립된다. 기본 뷰의 이 벡터(320)에 의해 참조되는 대응 블록(340)은 현재 블록(Cb)의 코딩을 위한 모션 정보(참조 인덱스 및 모션 벡터)를 제공한다.
3D-AVC 테스트 모델 7에 따른 스킵/직접 모드의 변위 도출 절차는 도 4에 도시되어 있다. 현재 블록(Cb)과 연관된 깊이가 단계 410에서 수신되고 깊이의 최대 변위가 단계 420에서 결정된다. 그 다음에, 인터-뷰 모션 벡터가 단계 430에 표시된 것처럼 최대 변위로부터 변환된 DV를 이용하여 위치된 대응 블록으로부터 도출된다. 만일 기본 뷰의 대응 블록이 이용불능이면, 참조 인덱스가 0과 같은 방향 분리형 MVP 도출이 사용된다. 그 다음에, 인터-뷰 MV가 단계 440에 표시된 것처럼 스킵/직접 후보로서 사용된다.
현재의 3D-AVC 테스트 모델 버전 9.0(ATM-9.0)에 있어서, 기본 뷰 또는 참조 뷰의 대응 블록의 모션 벡터(MV) 및 참조 화상 인덱스와 같은 모션 파라미터는 현재 블록에 의해 직접 상속된다. 그러나, 상속된 MV가 인터-뷰 MV 대신에 종래의 시간 MV인 때, 및 현재 뷰의 상속된 참조 화상 인덱스에 의해 지시된 참조 화상의 화상 순서 카운트(picture order count, POC)가 기본 뷰의 대응 블록의 참조 화상의 POC와 동일하지 않은 때에는 현재 블록을 코딩하기 위한 상속된 MV와 상속된 참조 화상 인덱스 간에 정렬불량(misalignment)이 야기될 수 있다. 도 5는 현재 블록을 코딩하기 위한 상속된 MV와 상속된 참조 화상 인덱스 간의 정렬불량의 예를 보인 것이다. 도 5에 있어서, 현재 화상(510)의 현재 블록(512)은 종속 뷰 내에 있고, 참조 화상(520)의 대응 블록(522)은 기본 뷰 또는 참조 뷰 내에 있다. 블록(512)은 모션 파라미터(참조 화상(530)을 지시하는 모션 벡터 및 참조 화상 인덱스)를 상속한다. 그러나, 점선 사각형으로 도시된 대응하는 참조 화상(550)은 현재 블록의 참조 화상 리스트 내에 있지 않다. 상속된 참조 화상 인덱스는 상속된 참조 화상(530)으로부터의 차 POC를 가진 현재 블록에 대한 리스트 1 내의 참조 화상(540)을 지시한다. 마찬가지로, 모션 파라미터를 도출하기 위해 사용되는 참조 블록의 참조 화상의 POC가 현재 화상 방향의 참조 화상 리스트(리스트0 또는 리스트1) 내의 임의의 참조 화상과 일치하지 않을 때, 현재 블록을 코딩하기 위한 상속된 MV와 상속된 참조 화상 인덱스 간에 역시 정렬불량을 야기할 수 있다.
유사하게, 상속된 MV가 상속된 참조 화상 인덱스 및 MV를 재사용하는 인터-뷰 MV인 경우, 현재 블록을 코딩하기 위한 상속된 MV와 상속된 참조 화상 인덱스 간에 정렬불량을 야기할 수 있다. 그 이유는 현재 뷰 내의 상속된 참조 화상 인덱스에 의해 지시된 참조 화상의 뷰 인덱스(view index)가 기본 뷰(또는 참조 뷰) 내의 대응 블록의 참조 화상의 뷰 인덱스와 동일하지 않을 수 있기 때문이다. 현재 뷰 내의 상속된 참조 화상 인덱스에 의해 지시된 참조 화상의 뷰 인덱스가 기본 뷰(또는 참조 뷰) 내의 대응 블록의 참조 화상의 뷰 인덱스와 동일한 경우에도, 상속된 MV(이것은 DV임)를 직접 재사용하면 상속된 MV/DV가 뷰 거리에 따라 스케일(scale)되어야 하기 때문에 역시 정렬불량을 야기할 것이다.
이것은 상속된 참조 화상 인덱스가 현재 블록에 대하여 유효하지 않은 경우에 더욱 나빠진다. 도 6은 상속된 참조 화상 인덱스가 현재 블록의 최대 참조 화상 인덱스를 초과하는 경우의 예를 보인 것이다. 도 6에 있어서, 현재 화상(610)의 현재 블록(612)은 종속 뷰 내에 있고, 참조 화상(620)의 대응 블록(622)은 기본 뷰 또는 참조 뷰 내에 있다. 블록(612)은 모션 벡터 및 1과 동일한 참조 화상 인덱스를 포함한 모션 파라미터(624)를 상속한다. 그러나, 점선 사각형으로 도시된 대응하는 참조 화상(640)의 상속된 참조 화상 인덱스는 현재 블록의 참조 화상 리스트 내의 최종 화상을 넘어간다(이 예에서, 현재 블록의 참조 화상 리스트의 크기는 1이고, 따라서 최대 참조 화상 인덱스는 0이다). 이 경우에, 인코더/디코더는 무효 참조 화상 인덱스와 관련된 메모리 오류에 기인하여 폭주(crash)될 수 있다. 그러므로, 이러한 문제점을 회피할 수 있는 시스템을 설계하는 것이 요망된다.
모션 정보 예측 및 상속을 위해 정렬된 모션 파라미터 도출을 이용한 3차원 비디오 코딩 방법이 개시된다. 본 발명에 따른 실시형태들은 모션 정보 예측 및 상속을 위해 대응 블록과 연관된 모션 파라미터를 활용한다. 모션 벡터가 참조 화상 리스트에 없는 참조 화상을 지시할 수 있기 때문에, 대응 블록으로부터의 상속된 모션 벡터와 현재 블록의 참조 화상 리스트 내의 참조 화상을 지시하는 상속된 참조 화상 인덱스 간에는 정렬불량이 발생할 수 있다. 잠재적인 정렬불량에 기인하는 각종 문제점을 회피하기 위해, 본 발명에서는 정렬된 모션 파라미터 도출이 개시된다. 정렬된 모션 파라미터는 현재 블록에 의해 직접 사용될 수 있다. 다시 말해서, 현재 블록은 대응 블록의 모션 파라미터를 상속할 수 있다. 상기 대응 블록은 현재 블록의 도출된 변위 벡터에 의해 현재 블록의 위치를 이동시킴으로써 위치될 수 있다.
정렬된 모션 파라미터를 도출하기 위한 각종 수단이 개시된다. 일 실시형태에 있어서, 정렬된 모션 파라미터는 대응 블록의 MV에 의해 지시된 참조 화상의 화상 순서 카운트(POC)와 동일한 POC를 가진 정합된 참조 화상을 찾기 위해 현재 블록의 각각의 현재 참조 화상 리스트를 탐색함으로써 도출된다. 정합된 참조 화상의 참조 화상 인덱스는 그 다음에 현재 블록의 정렬된 참조 화상 인덱스로서 사용된다. 만일 참조 뷰 내의 제1 참조 화상의 POC와 동일한 POC를 가진 정합된 참조 화상이 임의의 현재 참조 화상 리스트에서 발견되지 않으면, 상기 정렬된 모션 파라미터가 이용불능으로서 지정되거나, 또는 상기 정렬된 참조 화상 인덱스가 0과 같은 디폴트 참조 화상 인덱스로 설정된다. 이 경우에, 상기 정렬된 모션 파라미터의 정렬된 MV는 대응 블록의 대응하는 참조 화상의 POC 및 디폴트 참조 인덱스에 의해 지시된 현재 참조 화상 리스트 내의 목표 참조 화상의 POC에 따라 대응 블록의 MV로부터 스케일링된다.
다른 실시형태에 있어서, 정렬된 모션 파라미터는 대응 블록의 MV에 의해 지시된 참조 화상의 뷰 인덱스와 동일한 뷰 인덱스를 가진 정합된 참조 화상을 찾기 위해 각각의 현재 참조 화상 리스트를 탐색함으로써 도출된다. 정합된 참조 화상의 참조 화상 인덱스는 그 다음에 현재 블록의 정렬된 참조 화상 인덱스로서 사용된다. 또한, 상기 정렬된 모션 파라미터의 정렬된 MV는 대응 블록의 대응 참조 화상과 연관된 뷰 거리 및 대응 블록의 MV에 의해 지시된 참조 화상의 뷰 인덱스와 동일한 뷰 인덱스를 가진 정합된 참조 화상에 따라 상기 대응 블록의 MV로부터 스케일링된다. 만일 참조 뷰 내의 제1 참조 화상의 뷰 인덱스와 동일한 뷰 인덱스를 가진 정합된 참조 화상이 임의의 현재 참조 화상 리스트에서 발견되지 않으면, 상기 정렬된 참조 화상 인덱스는 디폴트 참조 화상 인덱스로 설정된다. 이 경우에, 상기 정렬된 모션 파라미터의 정렬된 MV는 대응 블록의 대응 참조 화상과 연관된 뷰 거리 및 디폴트 참조 인덱스에 의해 지시된 목표 참조 화상에 따라 상기 대응 블록의 MV로부터 스케일링된다.
또 다른 실시형태에 있어서, 정렬된 모션 파라미터는 상속될 참조 뷰 내의 참조 화상의 참조 화상 인덱스가 현재 블록의 각각의 현재 참조 화상 리스트의 최대 참조 화상 인덱스를 초과하는지를 체크하기 위해 각각의 현재 참조 화상 리스트를 탐색함으로써 도출된다. 만일 참조 뷰 내의 참조 화상의 참조 화상 인덱스가 각각의 현재 참조 화상 리스트의 최대 참조 화상 인덱스를 초과하지 않으면, 현재 블록의 참조 화상 인덱스가 정렬된 참조 화상 인덱스로서 사용된다. 그렇지 않으면, 상기 정렬된 모션 파라미터가 이용불능으로서 지정되거나, 또는 상기 정렬된 참조 화상 인덱스가 디폴트 참조 화상 인덱스로 설정된다. 상기 디폴트 참조 화상 인덱스는 음이 아닌 정수(N)로 설정될 수 있고, N과 연관된 정보는 시퀀스, 뷰, 계층, 화상, 슬라이스, CTU(coding tree unit), CU(coding unit) 또는 PU(prediction unit) 레벨에서 비트스트림으로 송신될 수 있다. N과 연관된 정보는 또한 암묵적으로 도출될 수 있다. 디폴트 참조 화상 인덱스는 현재 화상의 POC(Picture Order Count)로부터 최소 POC 거리를 가진 현재 참조 화상 리스트 내 목표 참조 화상의 참조 화상 인덱스로 설정될 수 있다. 정렬된 MV는 대응 블록의 대응 참조 화상의 POC 및 디폴트 참조 인덱스에 의해 지시된 현재 참조 화상 리스트 내 목표 참조 화상의 POC에 따라 스케일링될 수 있다.
도 1a 및 1b는 3D-AVC에서 인터-뷰 예측을 위한 방향 분리형 모션 벡터 예측(DS-MVP)의 예를 보인 도이다.
도 2a 및 2b는 3D-AVC에서 시간 예측을 위한 방향 분리형 모션 벡터 예측(DS-MVP)의 예를 보인 도이다.
도 3은 3D-AVC에 따른 도출된 변위를 이용하여 기본 뷰 또는 참조 뷰 내의 대응 블록을 결정하는 이웃 블록 구성의 예를 보인 도이다.
도 4는 스킵/직접 모드에 대한 인터-뷰 MVP 도출의 흐름도이다.
도 5는 대응 블록으로부터의 상속된 모션 벡터와 현재 블록의 참조 화상 리스트 내 참조 화상을 지시하는 상속된 참조 화상 인덱스 간의 정렬불량의 예를 보인 도이다.
도 6은 대응 블록으로부터의 상속된 모션 벡터와 현재 블록의 참조 화상 리스트 내 참조 화상을 지시하는 상속된 참조 화상 인덱스 간의 정렬불량의 다른 예를 보인 도이다.
도 7은 3D 및 멀티뷰 비디오 코딩을 위하여 본 발명의 실시형태에 따라 정렬된 모션 파라미터를 도출하는 예시적인 흐름도이다.
전술한 바와 같이, 기존 3D-AVC 실행에 따른 모션 정보 상속은 현재 블록에 대한 상속된 모션 벡터와 상속된 참조 화상 인덱스 간의 정렬불량을 유도할 수 있다. 따라서, 본 발명에 따른 실시형태는 상속된 모션 벡터와 상속된 참조 화상 인덱스 간의 임의의 잠재적 정렬불량을 회피하기 위해 정렬된 모션 파라미터를 도출하는 도출 처리를 통합한다.
따라서, 본 발명의 실시형태는 대응 블록의 모션 파라미터가 현재 블록의 참조 화상 리스트와 연관된 정보와 정렬되는지를 체크한다. 만일 대응 블록의 모션 파라미터가 현재 블록의 참조 화상 리스트 내 임의의 참조 화상과 정합되지 않으면, 기본 뷰(참조 뷰) 내 대응 블록의 인터-뷰 MV가 이용불능으로 간주될 것이다.
제1 실시형태
이 실시형태에 따르면, 참조 화상 인덱스는 현재 블록에 의해 직접 재사용되지 않는다. 그 대신에, 기본 뷰(참조 뷰) 내 참조 화상의 POC가 동일한 POC를 가진 정합된 참조 화상을 찾기 위해 현재 블록의 참조 화상 리스트 내에서 탐색된다. 정합된 참조 화상의 참조 화상 인덱스 및 대응 블록의 MV는 현재 블록에 대하여 사용된다. 정합된 참조 화상이 발견되지 않으면, 인터-뷰 모션 예측기가 이용불능으로서 보여진다. 이 실시형태는 관련 구문 및 어의론을 수정함으로써 기존 3D-AVC 실행에 통합될 수 있다.
제2 실시형태
참조 화상 인덱스는 현재 블록에 의해 직접 재사용되지 않는다. 그 대신에, 기본 뷰(참조 뷰) 내 참조 화상의 POC가 동일한 POC를 가진 정합된 참조 화상을 찾기 위해 현재 블록의 참조 화상 리스트 내에서 탐색된다. 정합된 참조 화상의 참조 화상 인덱스와 MV는 그 다음에 현재 블록에 대하여 사용된다. 정합된 참조 화상이 발견되지 않으면, 상속된 참조 화상 인덱스가 디폴트 참조 인덱스(예를 들면, 0)로 설정되고, 상속된 MV는 대응 블록의 참조 화상의 POC 및 디폴트 참조 인덱스에 의해 지시된 참조 화상의 POC에 따라 스케일링된다. 또한, 이 실시형태는 관련 구문 및 어의론을 수정함으로써 기존 3D-AVC 실행에 통합될 수 있다.
제3 실시형태
이 실시형태에 따르면, 참조 화상 인덱스는 상속된 MV가 인터-뷰 MV인 경우 현재 블록에 의해 직접 재사용되지 않는다. 그 대신에, 기본 뷰(참조 뷰) 내 참조 화상의 뷰 인덱스가 동일한 뷰 인덱스를 가진 정합된 참조 화상을 찾기 위해 현재 블록의 참조 화상 리스트 내에서 탐색된다. 정합된 참조 화상의 참조 화상 인덱스는 현재 블록에 대하여 사용된다. 상속된 MV는 대응 블록의 참조 화상 및 동일 뷰 인덱스를 가진 정합된 참조 화상에 의해 지시된 참조 화상 간의 뷰 거리에 따라 스케일링된다.
정합된 참조 화상이 발견되지 않으면, 상속된 참조 화상 인덱스는 디폴트 참조 인덱스(예를 들면, 0)로 설정된다. 상속된 MV는 대응 블록의 참조 화상과 디폴트 참조 인덱스에 의해 지시된 참조 화상 간의 뷰 거리에 따라 스케일링된다. 또한, 이 실시형태는 관련 구문 및 어의론을 수정함으로써 기존 3D-AVC 실행에 통합될 수 있다.
제4 실시형태
이 실시형태에 따르면, 상속된 참조 화상 인덱스가 현재 블록의 최대 참조 화상 인덱스를 초과하는지를 체크하기 위해 추가의 체크를 이용한다. 상속된 참조 화상 인덱스가 최대 참조 화상 인덱스를 초과하는 경우, 인터-뷰 모션 예측기는 이용불능으로서 보여진다. 이 실시형태도 또한 관련 구문 및 어의론을 수정함으로써 기존 3D-AVC 실행에 통합될 수 있다.
상기 상속된 참조 화상 인덱스가 현재 블록의 최대 참조 화상 인덱스를 초과하는 경우, 상기 상속된 참조 화상 인덱스는 디폴트 참조 화상 인덱스(N)(N은 음이 아닌 정수임)로 설정될 수 있다. N과 연관된 정보는 시퀀스, 뷰, 계층, 화상, 슬라이스, CTU(코딩 트리 단위), CU(코딩 단위) 또는 PU(예측 단위) 레벨에서 비트스트림으로 송신될 수 있다. CTU, CU 및 PU는 HEVC(고효율 비디오 코딩) 표준에서 규정된 비디오 코딩/처리 단위이다. N은 또한 인코더와 동일한 도출 처리를 이용하여 디코더 측에서 암묵적으로 도출될 수 있다. 디폴트 참조 인덱스는 현재 코딩 화상의 POC로부터 최소 POC 거리를 가진 현재 참조 화상으로 설정될 수 있다. 상속된 MV는 대응 블록의 참조 화상의 POC 및 디폴트 참조 인덱스에 의해 지시된 참조 화상의 POC에 따라 스케일링될 수 있다.
본 발명의 상기 제4 실시형태를 통합한 3D/멀티뷰 비디오 코딩 시스템의 성능은 표 1에 나타낸 바와 같이 ATM-9.0에 기초를 둔 종래 시스템의 성능과 비교된다. 이 성능 비교는 제1열에 리스트된 상이한 테스트 데이터 집합에 기초를 둔다. BD-레이트 차는 뷰 1(비디오 1)과 뷰 2(비디오 2)에 텍스처 화상에 대하여 나타내었다. 표 1에 나타낸 바와 같이, 본 발명의 실시형태를 통합한 뷰 1 및 뷰 2의 텍스처 화상에 대한 BD-레이트는 ATM-9.0의 것과 동일하다. 제2 성능 그룹은 텍스처 비디오만의 비트레이트 측정치(비디오/비디오 비트레이트), 텍스처 비디오에 대한 총 비트레이트(텍스처 비트레이트 및 깊이 비트레이트)(비디오/총 비트레이트) 및 코딩되고 합성된 비디오에 대한 총 비트레이트(코딩 및 합성/총 비트레이트)이다. 표 1에 나타낸 바와 같이, 이 그룹의 평균 성능도 또한 종래의 ATM-9.0의 평균 성능과 동일하다. 처리 시간(인코딩 시간, 디코딩 시간 및 렌더링 시간)도 또한 비교된다. 표 1에 나타낸 바와 같이, 인코딩 시간, 디코딩 시간 및 렌더링 시간은 대략 동일하다. 따라서, 상기 예에 있어서, 제4 실시형태를 통합한 시스템은 종래의 ATM-9.0과 동일한 성능을 달성한다. 그러나, 상속된 참조 화상 인덱스와 상속된 모션 벡터 간에 정렬불량이 발생하는 경우, 종래의 시스템은 무효 참조 화상 인덱스에 관한 메모리 장애에 기인하여 시스템 폭주와 같은 시스템 문제점을 야기할 것이다. 반면에 제4 실시형태를 통합한 시스템은 본 발명의 실시형태에 따라 부정확한 참조 화상 인덱스가 회피되기 때문에 상기와 같은 메모리 장애로부터 자유롭다.
비디오 비디오
1 2		 비디오/비디오 비트레이트 비디오/총 비트레이트 코딩 & 합성/총 비트레이트 인코딩 디코딩
시간 시간		 렌더링 시간
Balloons
Kendo
Newspapercc
GhostTownFly
PoznanHall2
PoznanStreet
UndoDancer		 0.0% 0.0%
0.0% 0.0%
0.0% 0.0%
0.0% 0.0%
0.0% 0.0%
0.0% 0.0%
0.0% 0.0%		 0.0%
0.0%
0.0%
0.0%
0.0%
0.0%
0.0%		 0.0%
0.0%
0.0%
0.0%
0.0%
0.0%
0.0%		 0.0%
0.0%
0.0%
0.0%
0.0%
0.0%
0.0%		 99.0% 100.6%
100.0% 99.6%
100.3% 100.4%
100.5% 104.1%
100.2% 100.3%
99.9% 103.7%
99.8% 101.2%		 100.6%
100.7%
98.6%
101.1%
102.2%
99.8%
97.9%
1024×768
1920×1088		 0.0% 0.0%
0.0% 0.0%		 0.0%
0.0%		 0.0%
0.0%		 0.0%
0.0%		 99.8% 100.2%
100.1% 102.3%		 100.0%
100.3%
평균 0.0% 0.0% 0.0% 0.0% 0.0% 99.8% 101.4% 100.1%
도 7은 본 발명의 실시형태에 따라 정렬된 모션 파라미터 도출을 통합한 3차원 또는 멀티뷰 비디오 코딩 시스템의 예시적인 흐름도이다. 시스템은 단계 710에 표시한 바와 같이 하나 이상의 현재 참조 화상 리스트를 가진 현재 블록과 연관된 입력 데이터를 수신하고, 이때 상기 현재 블록은 종속 뷰 내의 현재 화상 내에 있다. 인코딩을 위하여, 상기 현재 블록과 연관된 입력 데이터는 최초 화소 데이터, 깊이 데이터, 잔여 데이터, 또는 코딩될 현재 블록과 연관된 다른 정보(예를 들면, 모션 벡터, 변위 벡터, 모션 벡터 차 또는 변위 벡터 차)에 대응한다. 디코딩을 위하여, 상기 입력 데이터는 디코딩 대상의 코딩된 블록에 대응한다. 입력 데이터는 컴퓨터 메모리, 버퍼(RAM 또는 DRAM) 또는 기타 매체 등의 스토리지로부터 검색될 수 있다. 입력 데이터는 제어기, 중앙 처리 장치, 디지털 신호 프로세서 또는 입력 데이터를 생성하는 전자 회로 등의 프로세서로부터 또한 수신될 수 있다. 대응 블록 및 관련 모션 파라미터가 단계 720에서 결정되고, 이때 참조 뷰 내의 대응하는 참조 화상 내의 상기 대응 블록은 현재 블록에 대응하고, 상기 모션 파라미터는 상기 대응 블록과 연관된 제1 MV(모션 벡터), 제1 참조 화상 인덱스 및 제1 예측 방향을 포함한다. 현재 블록에 대한 정렬된 모션 파라미터는 단계 730에 표시한 것처럼 상기 하나 이상의 현재 참조 화상 리스트와 연관된 모션 정보와 상기 모션 파라미터를 정렬시킴으로써 상기 모션 파라미터에 기초하여 도출되고, 이때 상기 정렬된 모션 파라미터는 정렬된 MV, 정렬된 참조 화상 인덱스 및 정렬된 예측 방향을 포함한다. 단계 740에 표시한 바와 같이, 인터-뷰 코딩은 정렬된 모션 파라미터를 포함한 그룹으로부터 선택된 모션 벡터 또는 모션 벡터 예측기를 이용하여 현재 블록에 적용된다.
전술한 흐름도는 본 발명에 따라 정렬된 모션 파라미터를 도출하는 예를 보이기 위한 것이다. 이 기술에 통상의 지식을 가진 사람이라면 본 발명의 정신으로부터 벗어나지 않고 각 단계를 수정하고, 단계들을 재배열하고, 단계를 분할하고, 또는 단계들을 결합하여 본 발명을 실시할 수 있을 것이다.
전술한 설명은 이 기술에 통상의 지식을 가진 사람이 특수 응용 및 그 필요조건과 관련하여 제공된 것처럼 본 발명을 실시할 수 있도록 하기 위해 제시된다. 이 기술에 숙련된 사람이라면 전술한 실시형태에 대한 각종 수정이 가능할 것이고, 여기에서 규정하는 일반적인 원리는 다른 실시형태에도 적용될 수 있다. 그러므로, 본 발명은 여기에서 도시하고 설명한 특정 실시형태로 제한되지 않고, 여기에서 설명한 원리 및 신규 특징과 일치하는 최광의의 범위로 해석되어야 한다. 전술한 상세한 설명에 있어서, 각종의 특정 세부는 본 발명의 완전한 이해를 제공하기 위해 예시된 것이다. 그럼에도 불구하고, 본 발명이 실시될 수 있다는 것을 이 기술에 숙련된 사람이라면 이해할 것이다.
전술한 바와 같은 본 발명의 실시형태는 각종의 하드웨어, 소프트웨어 코드 또는 이들의 조합으로 구현될 수 있다. 예를 들면, 본 발명의 실시형태는 여기에서 설명한 처리를 수행하도록 비디오 압축 칩에 집적된 회로 또는 비디오 압축 소프트웨어에 통합된 프로그램 코드일 수 있다. 본 발명의 실시형태는 또한 여기에서 설명한 처리를 수행하도록 디지털 신호 프로세서(DSP)에서 실행되는 프로그램 코드일 수 있다. 본 발명은 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로프로세서 또는 현장 프로그램가능 게이트 어레이(FPGA)에 의해 수행되는 다수의 기능을 또한 수반할 수 있다. 이러한 프로세서들은 본 발명에 의해 구현되는 특수 방법들을 규정하는 기계 판독가능 소프트웨어 코드 또는 펌웨어 코드를 실행함으로써, 본 발명에 따른 특정 태스크를 수행하도록 구성될 수 있다. 상기 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어 및 상이한 포맷 또는 스타일로 개발될 수 있다. 상기 소프트웨어 코드는 다른 타겟 플랫폼용으로 또한 컴파일될 수 있다. 그러나, 소프트웨어 코드의 다른 코드 포맷, 스타일 및 언어, 및 본 발명에 따른 태스크를 수행하도록 코드를 구성하는 다른 수단은 본 발명의 정신 및 범위로부터 벗어나지 않을 것이다.
본 발명은 그 정신 또는 본질적 특성으로부터 벗어나지 않고 다른 특정 형태로 구현될 수 있다. 전술한 예들은 모든 점에서 예시하는 것이지 제한하는 것이 아닌 것으로 생각하여야 한다. 그러므로, 본 발명의 범위는 전술한 상세한 설명보다는 첨부된 특허 청구범위에 의해 규정된다. 특허 청구범위의 균등물의 수단 및 범위 내에 있는 모든 변화들은 본 발명의 범위 내에 포함되어야 한다.

Claims (20)

  1. 3차원 또는 멀티뷰 비디오 코딩을 위한 방법에 있어서,
    하나 이상의 현재 참조 화상 리스트를 가진 현재 블록과 연관된 입력 데이터를 수신하는 단계로서, 상기 현재 블록은 종속 뷰 내의 현재 화상에 있는 것인, 상기 수신하는 단계;
    대응 블록 및 연관된 모션 파라미터를 결정하는 단계로서, 참조 뷰 내의 대응 참조 화상의 상기 대응 블록은 상기 현재 블록에 대응하고, 상기 모션 파라미터는 상기 대응 블록과 연관된 것으로서, 제1 참조 화상을 가리키는 제1 MV(모션 벡터), 상기 제1 참조 화상의 제1 참조 화상 인덱스 및 상기 대응 블록의 제1 예측 방향을 포함하는 것인, 상기 결정하는 단계;
    상기 하나 이상의 현재 참조 화상 리스트와 연관된 모션 정보와 상기 모션 파라미터를 정렬시킴으로써 상기 모션 파라미터에 기초하여 상기 현재 블록에 대한 정렬된 모션 파라미터를 도출하는 단계로서, 상기 정렬된 모션 파라미터는 정렬된 MV, 정렬된 참조 화상 인덱스 및 정렬된 예측 방향을 포함하는 것인, 상기 도출하는 단계; 및
    상기 정렬된 모션 파라미터를 포함한 그룹으로부터 선택된 모션 벡터 또는 모션 벡터 예측기를 이용하여 상기 현재 블록에 인터-뷰(inter-view) 코딩을 적용하는 단계
    를 포함한, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  2. 제1항에 있어서, 상기 정렬된 모션 파라미터는 상기 현재 블록에 의해 직접 사용되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  3. 제1항에 있어서, 상기 대응 블록은, 상기 현재 블록에 대한 도출된 변위 벡터에 의해 상기 현재 블록의 위치를 이동시킴으로써 위치되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  4. 제1항에 있어서, 상기 정렬된 모션 파라미터를 도출하는 단계는, 상기 참조 뷰 내의 제1 참조 화상의 POC(Picture Order Count)와 동일한 POC를 가진 정합된 참조 화상을 찾기 위해 각각의 현재 참조 화상 리스트를 탐색(search)하는 단계와, 상기 정합된 참조 화상의 참조 화상 인덱스를 상기 현재 블록에 대한 상기 정렬된 참조 화상 인덱스로서 이용하는 단계를 포함한 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  5. 제4항에 있어서, 상기 참조 뷰 내의 상기 제1 참조 화상의 POC와 동일한 POC를 가진 정합된 참조 화상이 임의의 현재 참조 화상 리스트에서 이용불능인 경우, 상기 정렬된 모션 파라미터는 이용불능으로서 지정되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  6. 제4항에 있어서, 상기 참조 뷰 내의 상기 제1 참조 화상의 POC와 동일한 POC를 가진 정합된 참조 화상이 임의의 현재 참조 화상 리스트에서 이용불능인 경우, 상기 정렬된 참조 화상 인덱스는 디폴트 참조 화상 인덱스로 설정되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  7. 제6항에 있어서, 상기 디폴트 참조 화상 인덱스는 0인 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  8. 제6항에 있어서, 상기 정렬된 모션 파라미터에 대한 상기 정렬된 MV는, 상기 대응 블록의 대응 참조 화상의 POC 및 상기 디폴트 참조 화상 인덱스에 의해 지시된 상기 하나 이상의 현재 참조 화상 리스트 내의 목표 참조 화상의 POC에 따라 상기 제1 MV로부터 스케일링되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  9. 제1항에 있어서, 상기 정렬된 모션 파라미터를 도출하는 단계는, 상기 참조 뷰 내의 제1 참조 화상의 뷰 인덱스와 동일한 뷰 인덱스를 가진 정합된 참조 화상을 찾기 위해 각각의 현재 참조 화상 리스트를 탐색하는 단계와, 상기 정합된 참조 화상의 참조 화상 인덱스를 상기 현재 블록에 대한 상기 정렬된 참조 화상 인덱스로서 이용하는 단계를 포함한 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  10. 제9항에 있어서, 상기 참조 뷰 내의 상기 제1 참조 화상의 뷰 인덱스와 동일한 뷰 인덱스를 가진 정합된 참조 화상이 임의의 현재 참조 화상 리스트에서 이용불능인 경우, 상기 정렬된 참조 화상 인덱스는 디폴트 참조 화상 인덱스로 설정되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  11. 제10항에 있어서, 상기 정렬된 모션 파라미터에 대한 상기 정렬된 MV는, 상기 대응 블록의 대응 참조 화상과 연관된 뷰 거리 및 상기 디폴트 참조 화상 인덱스에 의해 지시된 목표 참조 화상에 따라 상기 제1 MV로부터 스케일링되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  12. 제9항에 있어서, 상기 정렬된 모션 파라미터에 대한 상기 정렬된 MV는, 상기 대응 블록의 대응 참조 화상과 연관된 뷰 거리 및 상기 참조 뷰 내의 상기 제1 참조 화상의 뷰 인덱스와 동일한 뷰 인덱스를 가진 상기 정합된 참조 화상에 따라 상기 제1 MV로부터 스케일링되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  13. 제1항에 있어서, 상기 정렬된 모션 파라미터를 도출하는 단계는, 상속(inherit)될 상기 참조 뷰 내의 상기 참조 화상의 참조 화상 인덱스가 상기 현재 블록의 각각의 현재 참조 화상 리스트의 최대 참조 화상 인덱스를 초과하는지 여부를 검사하기 위해 각각의 현재 참조 화상 리스트를 탐색하는 단계, 및 상기 참조 뷰 내의 참조 화상의 참조 화상 인덱스가 각각의 현재 참조 화상 리스트의 최대 참조 화상 인덱스를 초과하지 않는 경우, 상기 현재 블록을 위한 참조 화상 인덱스를 상기 정렬된 참조 화상 인덱스로서 이용하는 단계를 포함한 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  14. 제13항에 있어서, 상기 참조 뷰 내의 상기 참조 화상의 참조 화상 인덱스가 각각의 현재 참조 화상 리스트의 최대 참조 화상 인덱스를 초과한 경우, 상기 정렬된 모션 파라미터는 이용불능으로서 지정되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  15. 제13항에 있어서, 상기 참조 뷰 내의 상기 참조 화상의 참조 화상 인덱스가 각각의 현재 참조 화상 리스트의 최대 참조 화상 인덱스를 초과한 경우, 상기 정렬된 참조 화상 인덱스는 디폴트 참조 화상 인덱스로 설정되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  16. 제15항에 있어서, 상기 디폴트 참조 화상 인덱스는 N으로 설정되고, 상기 N은 음이 아닌 정수인 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  17. 제16항에 있어서, 상기 N과 연관된 정보는 시퀀스, 뷰, 계층, 화상, 슬라이스, CTU(coding tree unit), CU(coding unit) 또는 PU(prediction unit) 레벨에서 비트스트림으로 송신되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  18. 제16항에 있어서, 상기 N과 연관된 정보는 암묵적으로(implicitly) 도출되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  19. 제15항에 있어서, 상기 디폴트 참조 화상 인덱스는, 상기 현재 화상의 POC(Picture Order Count)로부터 최소 POC 거리를 가진 상기 현재 참조 화상 리스트 내 목표 참조 화상의 참조 화상 인덱스로 설정되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
  20. 제15항에 있어서, 상기 정렬된 MV는, 상기 대응 블록의 상기 대응 참조 화상의 POC(Picture Order Count) 및 상기 디폴트 참조 화상 인덱스에 의해 지시된 상기 현재 참조 화상 리스트 내 목표 참조 화상의 POC에 따라 스케일링되는 것인, 3차원 또는 멀티뷰 비디오 코딩을 위한 방법.
KR1020167007106A 2013-10-17 2014-10-17 멀티뷰 및 3차원 비디오 코딩시의 모션 정보 예측 및 상속 방법 KR101761523B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361892251P 2013-10-17 2013-10-17
US61/892,251 2013-10-17
PCT/CN2014/088845 WO2015055143A1 (en) 2013-10-17 2014-10-17 Method of motion information prediction and inheritance in multi-view and three-dimensional video coding

Publications (2)

Publication Number Publication Date
KR20160045100A KR20160045100A (ko) 2016-04-26
KR101761523B1 true KR101761523B1 (ko) 2017-07-25

Family

ID=52827683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167007106A KR101761523B1 (ko) 2013-10-17 2014-10-17 멀티뷰 및 3차원 비디오 코딩시의 모션 정보 예측 및 상속 방법

Country Status (5)

Country Link
US (1) US10075690B2 (ko)
KR (1) KR101761523B1 (ko)
CN (1) CN105637871B (ko)
CA (1) CA2921759C (ko)
WO (1) WO2015055143A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2014000159A (es) * 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
EP3996371A4 (en) 2019-07-01 2023-08-02 Samsung Electronics Co., Ltd. DEVICE AND METHOD FOR CODING AND DECODING MOTION INFORMATION USING NEIGHBORING MOTION INFORMATION

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
KR101199498B1 (ko) * 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
ZA200900857B (en) 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
CN101491079A (zh) 2006-07-11 2009-07-22 汤姆逊许可证公司 用在多视角视频编码中的方法和装置
CN101222638B (zh) 2007-01-08 2011-12-07 华为技术有限公司 多视视频编解码方法及装置
KR20080066522A (ko) 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
EP2130374A4 (en) * 2007-03-23 2011-03-02 Lg Electronics Inc METHOD AND ARRANGEMENT FOR DECODING / CODING A VIDEO SIGNAL
US8917775B2 (en) * 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
CN101816180B (zh) * 2007-08-06 2013-01-16 汤姆森特许公司 利用多个视图间参考画面的运动跳跃模式的方法和装置
KR101524465B1 (ko) * 2008-01-10 2015-06-02 삼성전자주식회사 색차 보상을 이용한 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
WO2009115901A2 (en) * 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
KR101893559B1 (ko) * 2010-12-14 2018-08-31 삼성전자주식회사 다시점 비디오 부호화/복호화 장치 및 방법
KR20120095610A (ko) 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2721825A4 (en) * 2011-06-15 2014-12-24 Mediatek Inc METHOD AND DEVICE FOR MOTION AND DISPARITY VECTOR PREDICTION AND COMPENSATION IN 3D VIDEO CODING
WO2012177063A2 (ko) * 2011-06-24 2012-12-27 엘지전자 주식회사 스킵 모드 부호화 복호화 방법 및 장치
US9473752B2 (en) * 2011-11-30 2016-10-18 Qualcomm Incorporated Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9560353B2 (en) * 2012-01-27 2017-01-31 Sun Patent Trust Video encoding method, video encoding device, video decoding method and video decoding device
US9380289B2 (en) * 2012-07-20 2016-06-28 Qualcomm Incorporated Parameter sets in video coding
US9398284B2 (en) * 2012-08-16 2016-07-19 Qualcomm Incorporated Constructing reference picture lists for multi-view or 3DV video coding
JP6787667B2 (ja) * 2012-09-21 2020-11-18 ノキア テクノロジーズ オサケユイチア ビデオコーディングのための方法と装置
US9699450B2 (en) * 2012-10-04 2017-07-04 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
WO2014075236A1 (en) * 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding
US9357199B2 (en) * 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
US9277200B2 (en) * 2013-01-17 2016-03-01 Qualcomm Incorporated Disabling inter-view prediction for reference picture list in video coding
US9521389B2 (en) * 2013-03-06 2016-12-13 Qualcomm Incorporated Derived disparity vector in 3D video coding
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US9596448B2 (en) * 2013-03-18 2017-03-14 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US9667990B2 (en) * 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation

Also Published As

Publication number Publication date
CN105637871A (zh) 2016-06-01
US20160198139A1 (en) 2016-07-07
CN105637871B (zh) 2018-08-10
CA2921759C (en) 2018-05-15
KR20160045100A (ko) 2016-04-26
WO2015055143A1 (en) 2015-04-23
CA2921759A1 (en) 2015-04-23
US10075690B2 (en) 2018-09-11

Similar Documents

Publication Publication Date Title
EP2944087B1 (en) Method of disparity vector derivation in three-dimensional video coding
US10021367B2 (en) Method and apparatus of inter-view candidate derivation for three-dimensional video coding
US9961370B2 (en) Method and apparatus of view synthesis prediction in 3D video coding
US10264281B2 (en) Method and apparatus of inter-view candidate derivation in 3D video coding
KR101709649B1 (ko) 3d 비디오 코딩에서의 인터 뷰 모션 벡터 예측과 변이 벡터 예측의 방법 및 장치
US9621920B2 (en) Method of three-dimensional and multiview video coding using a disparity vector
US20150172714A1 (en) METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING
US20160073132A1 (en) Method of Simplified View Synthesis Prediction in 3D Video Coding
US10477183B2 (en) Method and apparatus of camera parameter signaling in 3D video coding
JP6042556B2 (ja) ３ｄビデオ符号化における制約される視差ベクトル導出の方法と装置
US20150365649A1 (en) Method and Apparatus of Disparity Vector Derivation in 3D Video Coding
EP2923491A1 (en) Method and apparatus for bi-prediction of illumination compensation
KR101761523B1 (ko) 멀티뷰 및 3차원 비디오 코딩시의 모션 정보 예측 및 상속 방법
US20150365694A1 (en) Method and Apparatus of Disparity Vector Derivation for Three-Dimensional and Multi-view Video Coding
CN105144714A (zh) 三维视频编码的视差向量推导的方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant