KR101834688B1 - 저 지연 조명 보상 프로세스 및 깊이 룩업 테이블 기반 코딩을 위한 방법 - Google Patents

저 지연 조명 보상 프로세스 및 깊이 룩업 테이블 기반 코딩을 위한 방법 Download PDF

Info

Publication number
KR101834688B1
KR101834688B1 KR1020167027789A KR20167027789A KR101834688B1 KR 101834688 B1 KR101834688 B1 KR 101834688B1 KR 1020167027789 A KR1020167027789 A KR 1020167027789A KR 20167027789 A KR20167027789 A KR 20167027789A KR 101834688 B1 KR101834688 B1 KR 101834688B1
Authority
KR
South Korea
Prior art keywords
slice
picture
current picture
coding
dlt
Prior art date
Application number
KR1020167027789A
Other languages
English (en)
Other versions
KR20160129903A (ko
Inventor
이-웬 첸
카이 장
지안-리앙 린
유-웬 후앙
Original Assignee
에이치에프아이 이노베이션 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이치에프아이 이노베이션 인크. filed Critical 에이치에프아이 이노베이션 인크.
Publication of KR20160129903A publication Critical patent/KR20160129903A/ko
Application granted granted Critical
Publication of KR101834688B1 publication Critical patent/KR101834688B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

3차원(3D) 및 멀티뷰 코딩 시스템에서의 저 지연 조명 보상을 위한 방법 및 장치가 개시되어 있다. 본 발명에 따르면, 인코더는, 선택된 참조 픽처 또는 슬라이스 각각과 연관된 통계에 관련된 또는 현재 픽처 또는 슬라이스 각각과 연관된 상위 레벨 코딩 정보에 관련된 조건에 기초하여, 현재 픽처 또는 슬라이스에 대해 조명 보상을 인에이블할지 디스에이블할지의 여부를 결정한다. 현재 픽처 또는 슬라이스와 연관된 상위 레벨 코딩 정보는 현재 픽처 또는 슬라이스 각각의 픽셀 값에 관련된 임의의 정보를 배제한다. 조명 보상이 이어서 인코더에 의해 행해진 결정에 따라 적용된다. 유사한 저 지연 방법이 또한 깊이 룩업 테이블(DLT) 기반 코딩에 대해 적용된다.

Description

저 지연 조명 보상 프로세스 및 깊이 룩업 테이블 기반 코딩을 위한 방법{METHOD FOR LOW-LATENCY ILLUMINATION COMPENSATION PROCESS AND DEPTH LOOKUP TABLE BASED CODING}
관련 출원의 상호 참조
본 발명은 2014년 3월 17일자로 출원된 PCT 특허 출원 제PCT/CN2014/073555호를 우선권 주장한다. 이 PCT 특허 출원은 이로써 그 전체가 참고로 포함된다.
본 발명은 3차원(three-dimensional) 및 멀티뷰(multi-view) 비디오 코딩에 관한 것이다. 상세하게는, 본 발명은 저 지연 조명 보상 프로세스(low-latency illumination compensation process) 및 깊이 룩업 테이블 기반 코딩(Depth Lookup Table based coding)을 위한 방법에 관한 것이다.
3차원(three-dimensional; 3D) 텔레비전은 시청자에게 굉장한 시청 경험을 가져다주는 것을 목표로 하는 최근의 기술 동향이었다. 멀티뷰 비디오(multi-view video)는 3D 비디오를 캡처링하고 랜더링하는 기법이다. 멀티뷰 비디오는 전형적으로 다수의 카메라를 동시에 사용하여 장면을 캡처링하는 것에 의해 생성되고, 여기서 다수의 카메라는 각각의 카메라가 하나의 시점으로부터의 장면을 캡처링하도록 적절히 위치되어 있다. 뷰와 연관된 많은 수의 비디오 시퀀스를 갖는 멀티뷰 비디오는 엄청난 양의 데이터를 나타낸다. 그에 따라, 멀티뷰 비디오는 저장하기 위해 큰 저장 공간을 그리고/또는 전송하기 위해 높은 대역폭을 요구할 것이다. 따라서, 요구된 저장 공간 및 전송 대역폭을 감소시키기 위해 기술 분야에서 멀티뷰 비디오 코딩 기법이 개발되었다. 간단한 접근법은 각각의 단일뷰 비디오 시퀀스에 독립적으로 종래의 비디오 코딩 기법을 단순히 적용하고 상이한 뷰들 간의 어떤 상관 관계도 무시할 수 있다. 이러한 간단한 기법으로부터는 좋지 않은 코딩 성능이 얻어질 것이다. 멀티뷰 비디오 코딩 효율을 개선시키기 위해, 멀티뷰 비디오 코딩은 뷰간 중복성(inter-view redundancy)을 항상 이용한다. 2 개의 뷰 간의 시차(disparity)는 2 개의 각자의 카메라의 위치 및 각도에 의해 야기된다.
도 1은 3D 비디오 코딩에 대한 통상적인 테스트 조건(condition)에서 사용되는 예시적인 예측 구조를 나타낸 것이다. 특정의 카메라 위치에 대응하는 비디오 픽처(video picture) 및 깊이 맵(depth map)은 뷰 식별자(view identifier)(즉, 도 1에서 V0, V1 및 V2)에 의해 표시되어 있다. 동일한 카메라 위치에 속하는 모든 텍스처 픽처(texture picture) 및 깊이 맵은 동일한 viewId(즉, 뷰 식별자)와 연관되어 있다. 뷰 식별자는 액세스 유닛(access unit) 내의 코딩 순서(order)를 명시하고 오류가 발생하기 쉬운 환경에서 누락된 뷰를 검출하기 위해 사용된다. 액세스 유닛은 동일한 순간에 대응하는 모든 비디오 픽처 및 깊이 맵을 포함한다. 액세스 유닛 내에서, viewId = 0을 갖는 비디오 픽처 및 연관된 깊이 맵(존재하는 경우)이 먼저 코딩되고, 이어서 viewId = 1을 갖는 비디오 픽처 및 깊이 맵이 코딩되며, 이하 마찬가지이다. viewId = 0을 갖는 뷰(즉, 도 1에서 V0)는 기본 뷰(base view) 또는 독립 뷰(independent view)라고도 지칭된다. 기본 뷰 비디오 픽처는 다른 뷰에 의존함이 없이 종래의 HEVC 비디오 코더를 사용하여 코딩될 수 있다.
도 1에 도시된 예는 V0(즉, 기본 뷰)부터 V1으로 그리고 이어서 V2가 오는 뷰 코딩 순서(view coding order)에 대응한다. 코딩 중인 현재 픽처 내의 현재 블록은 V2에 있다. HTM-6.0에 따르면, 이전에 코딩된 뷰 내의 참조 블록(reference block)의 모든 MV는 뷰간 후보(inter-view candidate)로서 간주될 수 있다. 도 1에서, 프레임(110, 120 및 130)은, 각각 시각(t1) 내의 뷰(V0, V1 및 V2)로부터의 비디오 픽처 또는 깊이 맵에 대응한다. 블록(132)은 현재 뷰 내의 현재 블록이고, 블록(112 및 122)은, 각각 V0 및 V1 내의 현재 블록이다. V0 내의 현재 블록(112)에 대해, 뷰간 병치 블록(inter-view collocated block)(114)을 찾아내기 위해 시차 벡터(disparity vector)(116)가 사용된다. 이와 유사하게, V1 내의 현재 블록(122)에 대해, 뷰간 병치 블록(124)을 찾아내기 위해 시차 벡터(126)가 사용된다.
조명 보상(Illumination compensation; IC)
조명 보상(IC)은 상이한 위치에 있는 상이한 카메라에 의해 캡처링되는 2 개의 뷰의 상이한 LF(light field)에 의해 야기되는 뷰들 사이의 강도 차(intensity difference)를 감소시키는 기법이다. HTM에서, 상이한 뷰 사이의 조명 불일치(illumination discrepancy)를 보상하기 위한 선형 IC 모델이 Liu 등의 문헌("3D-CE2.h: Results of Illumination Compensation for Inter-View Prediction", Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2nd Meeting: Shanghai, CN, 13-19 Oct. 2012, Document: JCT3V-B0045)에 의해 개시되어 있다. 이용 가능한 가장 가까운 재구성된 이웃 픽셀을 사용하여 각각의 예측 유닛(prediction unit; PU)에 대해 IC 모델 내의 파라미터가 추정된다. 따라서, IC 파라미터를 디코더로 전송할 필요가 없다. IC를 적용할지의 여부는 코딩 유닛(coding unit; CU) 레벨에서 결정되고, IC가 CU 레벨에서 인에이블(enable)되는지의 여부를 나타내기 위해 IC 플래그가 코딩된다. 플래그는 뷰간 예측(inter-view prediction)을 사용하여 코딩되는 CU에 대해서만 존재한다. IC가 CU에 대해 인에이블되고 CU 내의 PU가 시간 예측(temporal prediction)(즉, 인터 예측(Inter prediction))에 의해 코딩되면, PU 블록은 IC가 디스에이블된 것으로 추론된다. 뷰간 예측에서 사용되는 선형 IC 모델이 식 (1)에 나타내어져 있다:
Figure 112016096868873-pct00001
, 여기서
Figure 112016096868873-pct00002
임 (1)
여기서 PUc는 현재 PU이고 (i, j)는 PUc 내의 픽셀 좌표이고, (dvx, dvy)는 PUc의 시차 벡터이며, p(i, j)는 PUc의 예측이고, r (·, ·)는 이웃 뷰로부터의 PU의 참조 픽처이며, aIC　및 bIC는 선형 IC 모델의 파라미터이다.
PU에 대한 파라미터 aIC　및 bIC를 추정하기 위해, 도 2a 및 도 2b에 나타낸 2 개의 픽셀 세트가 사용된다. 도 2a에 도시된 바와 같이, 이웃 픽셀은 현재 CU(굵은 선의 박스로 표시됨)의 좌측 열에 그리고 위쪽 행에 있는 재구성된 이웃 픽셀(원으로 나타내어져 있음)로 이루어져 있고, 여기서 CU는 현재 PU를 포함한다. 도 2b에 도시된 바와 같이, 다른 픽셀 세트는 현재 CU의 참조 블록(굵은 선의 박스로 표시됨)의 이웃 픽셀(원으로 나타내어져 있음)에 대응한다. 현재 CU의 참조 블록은 현재 PU의 위치 및 현재 PU의 시차 벡터를 사용하여 찾아내어진다.
뷰간 비디오 코딩에 대한 적응적 루미넌스 보상 도구(adaptive luminance compensation tool)가 Mishurovskiy 등의 문헌("CE2.A results on inter-view coding with adaptive luminance compensation, "Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2nd Meeting: Shanghai, CN, 13-19 Oct. 2012, Document: JCT3V-B0031)에 개시되어 있다. 이 적응적 루미넌스 보상은 P 슬라이스에만 적용된다. 적응적 루미넌스 보상을 온 또는 오프시키기 위해 스킵(Skip) 매크로블록(macroblock; MB), P16x16, P16x8, P8x16 및 P8x8 MB에 대해 MB 레벨 플래그가 전송된다.
IC의 시그널링
조명 보상이 사용될지의 여부는 코딩 유닛 레벨에서 시그널링된다. 스킵/병합(Skip/Merge) 모드에서, ic_flag는 merge_idx 및 슬라이스 세그먼트 헤더 플래그(slice segment header flag) slice_ic_disable_merge_zero_idx_flag에 따라 조건부로 송신된다. ic_flag가 병합 모드에서 송신되지 않으면, ic_flag는 0인 것으로 추론된다. 3D-HEVC(Three-Dimensional Video Coding based on High Efficiency Video Coding) 테스트 모델인 HTM-7.0에서, 프로세스가 NBDV(Neighboring Block Disparity Vector)라고 알려진 시차 벡터 예측자를 도출하기 위해 사용된다. NBDV로부터 도출되는 시차 벡터는 이어서 참조 뷰(reference view)의 깊이 영상(depth image) 내의 깊이 블록(depth block)을 페치(fetch)하는 데 사용된다. 페치된 깊이 블록은 현재 PU(prediction unit)와 동일한 크기를 가질 것이고, 이어서 현재 PU에 대한 역방향 워핑(backward warping)을 수행하는 데 사용될 것이다.
merge_idx가 0일 때, 시간 뷰간 움직임 예측자 후보(temporal inter-view motion predictor candidate)가 전형적으로 사용된다. 이 경우에, 뷰간 예측이 자주 사용되지는 않는다. merge_idx가 0인 경우에 ic_flag를 시그널링하는 것과 연관된 오버헤드를 감소시키기 위해, 조명 보상이 허용되지 않는다. 이 시스템 구성은 슬라이스 레벨에서 제어 플래그(예컨대, slice_ic_disable_merge_zero_idx_flag)의 값을 1로 설정하는 것에 의해 표시된다. 뷰간 예측이 빈번히 사용될지도 모르는 일부 픽처에 대해, 상기 가정은 성립되지 않는다. 이 경우에, merge_idx 기반 ic_flag 스킵(merge_idx based ic_flag skipping)은 (POC ％ IntraPeriod)가 0이 아닌 조건 하에서만 적용되고, 여기서 POC는 Picture Order Count(픽처 출력 순서)에 대응한다. 이 POC 기반 결정은 인코더에 의해 행해진다. 인코더는 merge_idx가 0인 경우에 ic_flag 스킵(ic_flag skipping)을 인에이블할지의 여부에 관한 결정을, 슬라이스 헤더 플래그(예컨대, slice_ic_disable_merge_zero_idx_flag)를 송신하는 것에 의해, 알려줄 수 있다. 이것은 인코더가 코딩 구조 또는 시퀀스에 따라 조건을 제어할 수 있게 한다. 그에 부가하여, 인터 코딩된 PU에 대해, ARP(Advanced Residual Prediction)가 적용될 때 조명 보상은 항상 디스에이블된다. 따라서, 인터 코딩된 PU에 대한 ARP 가중 인자가 0이 아닐 때, ic_flag의 시그널링이 스킵되고 그의 값이 0으로 설정된다.
IC의 인코딩
현재 HTM에 따르면, 인코더는 현재 슬라이스/픽처에 대해 IC가 인에이블될지의 여부를 결정한다. 결정은 현재 픽처의 픽셀 및 뷰간 참조 픽처의 픽셀의 통계(statistic)에 기초하여 행해진다. 따라서, 통계가 수집될 때까지 결정이 행해지지 않을 수 있고, 이는, IC 제어 플래그가 슬라이스 레벨에서 시그널링될 때, 적어도 하나의 슬라이스의 지연을 도입한다.
상세하게는, 인코더는 먼저 현재 HTM에 따라 현재 슬라이스/픽처의 참조 픽처 리스트에 어떤 뷰간 참조 픽처가 있는지를 검사한다. 참조 리스트에 어떤 뷰간 참조 픽처도 없으면, 현재 슬라이스/픽처에 대해 IC가 오프될 것이다. 참조 리스트에 적어도 하나의 뷰간 참조 픽처가 존재하면, 인코더는 현재 픽처 및 뷰간 참조 픽처에 기초하여 픽셀 값의 2 개의 히스토그램을 도출할 것이다. 2 개의 히스토그램이 도출된 후에, 2 개의 히스토그램의 대응하는 엔트리(entry)들 간의 절대차 합(summation of absolute difference)(SAD)이 계산된다. 절대차 합 값이 미리 정의된 문턱값보다 크면, 현재 슬라이스/픽처에 대해 IC가 인에이블된다. 그렇지 않으면, 현재 슬라이스에 대해 IC가 디스에이블된다.
깊이 룩업 테이블(depth lookup table; DLT)
깊이 룩업 테이블(DLT)이 3D-HEVC에 채택되었다. 자주, 제한된 값만이 깊이 성분(depth component)에 나타난다. 따라서, DLT는 블록 내의 유효한 값의 콤팩트한 표현이다. CU가 인트라 SDC(simplified depth coding) 모드 또는 DMM(depth map modeling) 모드에서 코딩될 때, 유효한 깊이 값을 DLT 인덱스에 매핑하기 위해 DLT가 사용된다. 도 3은 픽처 내의 깊이 값의 DLT 표현의 일 예를 나타낸 것이다. 깊이 값의 범위가 0부터 255까지이지만, 5 개의 깊이 값(즉, 50, 108, 110, 112 및 200)만이 픽처에 나타난다. 그에 따라, DLT는 0부터 4까지의 인덱스를 갖는 5 개의 값으로 이루어져 있다. DLT는 PPS(picture parameter set)에서 시그널링되고, DLT를 발생시키는 것은 인코더의 몫이다.
현재 HTM에 따르면, 인코딩 프로세스가 시작되기 전에, 뷰에 대한 샘플 픽처 세트 내의 24 개 이상이나 되는 깊이 픽처가 먼저 분석된다. 샘플 픽처 세트에 나타나는 모든 깊이 값이 이 뷰에 대한 DLT에 포함된다. 이 접근법은 높은 인코딩 지연(encoding latency)을 부과하고 장면 변화와 같은 동적 환경에 잘 적응하지 못할 수 있다.
인코더측에서의 IC 및/또는 DLT 설계에 대해 긴 지연을 겪지 않는 IC 및/또는 DLT 코딩 방법을 개발하는 것이 바람직하다.
3차원(3D) 및 멀티뷰 코딩 시스템에서의 저 지연 조명 보상을 위한 방법 및 장치가 개시되어 있다. 본 발명에 따르면, 인코더는, 선택된 참조 픽처 또는 슬라이스 각각과 연관된 통계에 관련된 또는 현재 픽처 또는 슬라이스 각각과 연관된 상위 레벨(high-level) 코딩 정보에 관련된 조건에 기초하여, 현재 픽처 또는 슬라이스에 대해 조명 보상을 인에이블할지 또는 디스에이블할지의 여부를 결정한다. 현재 픽처 또는 슬라이스와 연관된 상위 레벨 코딩 정보는, 현재 픽처 또는 슬라이스 각각의 픽셀 값에 관련된 임의의 정보를 배제한다. 조명 보상이 이어서 인코더에 의해 행해진 결정에 따라 적용된다.
일 실시예에서, 선택된 참조 픽처 또는 슬라이스는, 현재 픽처 또는 슬라이스 각각의 제2 시간(temporal) ID(identifier)보다 작은 제1 시간 ID를 갖는 최후의(latest) 재구성된 픽처 또는 슬라이스에 대응한다. 선택된 참조 픽처의 통계는 최후의 재구성된 픽처의 코딩 유닛(CU) 레벨 인에이블 비율에 대응하고, 조건은 CU 레벨 인에이블 비율이 문턱값보다 큰지의 여부에 대응한다. CU 레벨 인에이블 비율은, 인에이블된 조명 보상을 갖는 최후의 재구성된 픽처 또는 슬라이스의 코딩 유닛(CU들)의 제1 개수와, 조명 보상이 인에이블되는지 또는 디스에이블되는지의 여부를 나타내는 IC 플래그를 갖는 최후의 재구성된 픽처 또는 슬라이스의 CU들의 제2 개수의 비율에 대응한다. 조건이 어서트(assert)되면, 현재 픽처 또는 슬라이스에 대한 조명 보상이 인에이블되고, 조건이 어서트되지 않으면, 현재 픽처 또는 슬라이스에 대한 조명 보상이 디스에이블된다.
선택된 참조 픽처 또는 슬라이스는, 현재 픽처 또는 슬라이스 각각의 제2 양자화 파라미터(quantization parameter; QP)보다 작은 제1 QP를 갖는 최후의 재구성된 픽처 또는 슬라이스에 대응할 수 있다. 선택된 참조 픽처의 통계는 또한 선택된 참조 픽처와 선택된 참조 픽처에 대응하는 뷰간 참조 픽처 사이의 평균 픽셀 차이(average pixel difference)에 대응할 수 있고, 조건은 평균 픽셀 차이가 문턱값보다 큰지의 여부에 대응한다.
현재 픽처 또는 슬라이스와 연관된 상위 레벨 코딩 정보에 관련된 조건은, 현재 픽처 또는 슬라이스 각각의 참조 리스트에 어떤 뷰간 참조 픽처가 있는지의 여부에 대응할 수 있다. 조건은 또한 현재 픽처 또는 슬라이스의 참조 리스트에 어떤 시간 참조 픽처(temporal reference picture)도 없는지의 여부, 또는 현재 픽처 또는 슬라이스와 시간 참조 픽처 또는 슬라이스 각각 사이의 가장 작은 POC 거리가 문턱값보다 큰지의 여부에 대응할 수 있다.
3차원(3D) 및 멀티뷰 코딩 시스템에서 깊이 룩업 테이블(DLT)을 사용하는 깊이 코딩 방법이 개시되어 있다. 인코더는 선택된 참조 픽처 또는 슬라이스 각각과 연관된 통계에 관련된 조건에 기초하여 DLT를 결정하고, 현재 픽처 또는 슬라이스에 대해 DLT를 사용하는 DLT 코딩을 인에이블할지 또는 디스에이블할지의 여부를 결정한다. 인코더에 의해 행해진 결정에 따라 현재 픽처 또는 슬라이스에 대해 DLT 코딩이 적용되거나 또는 스킵된다.
선택된 참조 픽처 또는 슬라이스는, 이전에 재구성된 픽처 또는 슬라이스 각각에 대응할 수 있고, 이전에 재구성된 픽처 또는 슬라이스는 현재 픽처 또는 슬라이스의 참조 픽처에 속한다. 다른 실시예에서, 이전에 재구성된 픽처 또는 슬라이스가 현재 픽처 또는 슬라이스의 참조 픽처에 속하는지의 여부에 관계없이, 임의의 이전에 재구성된 픽처 또는 슬라이스가 사용될 수 있다. 이전에 재구성된 픽처 또는 슬라이스가, 현재 픽처 또는 슬라이스 각각의 동일한 뷰 또는 상이한 뷰에 있을 수 있다. 선택된 참조 픽처 또는 슬라이스가 존재하지 않으면, 현재 픽처 또는 슬라이스에 대해 DLT 코딩이 디스에이블될 수 있거나, 디폴트 DLT를 사용하여 현재 픽처 또는 슬라이스에 DLT 코딩이 적용될 수 있다.
DLT가 또한 DLT 코딩에 대한 코딩 순서 또는 디스플레이 순서에 있어서 현재 픽처 또는 슬라이스 각각에 이어지는 다음 픽처 또는 슬라이스에 의해 사용될 수 있다. DLT가 다음 픽처 또는 슬라이스에 의해 사용될 때, 선택된 참조 픽처 또는 슬라이스에 나타나는 깊이 값만이 DLT 내에 포함될 것이다. 나타나는 깊이 값들의 개수가 0보다 크고 깊이 값들 중 최대 값보다 낮은 문턱값보다 크면, 현재 픽처 또는 슬라이스 또는 다음 픽처 또는 슬라이스에 대해 DLT 코딩이 디스에이블된다.
도 1은 MCP(motion compensated prediction) 및 DCP(disparity compensated prediction)가 사용되는, 3차원/멀티뷰 코딩의 일 예를 나타낸다.
도 2는 조명 보상 파라미터를 도출하기 위해 사용되는 현재 블록 및 참조 블록의 이웃 픽셀들의 일 예를 나타낸다.
도 3은 0부터 4까지의 인덱스로 표현되는 50, 108, 110, 112 및 200에 대응하는 5 개의 나타나는 깊이 값을 포함하는 예시적인 깊이 룩업 테이블(DLT)을 나타낸다.
도 4는 이전에 재구성된 픽처의 통계에 기초한 현재 픽처에 대한 DLT 도출의 일 예를 나타낸다.
도 5는 2 개의 이전에 재구성된 픽처의 통계에 기초한 현재 픽처에 대한 DLT 도출의 일 예를 나타낸다.
도 6은 이전에 재구성된 픽처의 하나 걸러 행의 통계에 기초한 현재 픽처에 대한 DLT 도출의 일 예를 나타낸다.
도 7은 이전에 재구성된 픽처에서 매 4 개의 깊이 샘플 중 하나의 깊이 샘플의 통계에 기초한 현재 픽처에 대한 DLT 도출의 일 예를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 3차원(3D) 및 멀티뷰 코딩 시스템에서의 저 지연 조명 보상에 대한 예시적인 플로우차트를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 3차원(3D) 및 멀티뷰 코딩 시스템에서의 저 지연 깊이 룩업 테이블 기반 코딩에 대한 예시적인 플로우차트를 나타낸다.
앞서 언급된 바와 같이, 기존의 IC 및 DLT 설계는 긴 지연을 겪고, 인코더측에서의 IC 및 DLT 설계와 연관된 긴 지연 문제를 극복하는 방법을 개발하는 것이 바람직하다. 이하의 설명은 본 발명을 수행하는 최상으로 생각되는 모드이다. 이 설명은 본 발명의 일반 원리를 예시하기 위한 것이며, 제한하는 의미로 보아서는 안된다. 본 발명의 범주는 첨부된 청구범위를 참조하여 최상으로 결정된다.
조명 보상(IC)의 인코더 결정
인코더측에서의 기존의 IC 및 DLT 설계와 연관된 긴 지연 문제를 극복하기 위해, 본 발명의 실시예는 저 지연 IC 인코딩을 달성하기 위해 현재 픽처/슬라이스의 픽셀 값에 액세스함이 없이 선택된 참조 픽처/슬라이스(즉, 디코딩된 픽처/슬라이스)의 정보 또는 현재 픽처/슬라이스 상위 레벨 코딩 정보에 관련된 조건에 따라 현재 픽처/슬라이스에 대해 IC가 인에이블될지 또는 디스에이블될지의 여부를 결정한다. 다양한 실시예가 이하에 예시되어 있다.
실시예 1: 선택된 참조 픽처/슬라이스에 기초한 IC 결정
이 실시예에 따르면, 인코더는 선택된 참조 픽처/슬라이스의 통계에 따라 현재 픽처/슬라이스에 대해 IC가 인에이블될지 또는 디스에이블될지의 여부를 단순히 결정한다. 선택된 참조 픽처/슬라이스는 이전에 재구성된 픽처/슬라이스에 대응할 수 있다. 어떤 선택된 참조 픽처/슬라이스도 발견되지 않으면, 슬라이스 레벨 IC 인에이블 플래그가 현재 픽처/슬라이스에 대한 디폴트 값(인에이블 또는 디스에이블)으로 설정된다.
선택된 픽처/슬라이스에 기초하여 다양한 통계가 수집될 수 있다. 예를 들어, 통계는 하기의 것에 대응할 수 있다:
Figure 112016096868873-pct00003
CU 레벨 IC 플래그의 인에이블 비율. 선택된 참조 픽처의 IC 인에이블 비율이 미리 정의된 문턱값보다 크면, 현재 픽처/슬라이스에 대해 IC가 인에이블된 것으로 설정되고; 그렇지 않으면, 현재 픽처/슬라이스에 대해 IC가 디스에이블된 것으로 설정된다. CU 레벨 인에이블 비율은 인에이블된 조명 보상을 갖는 최후의 재구성된 픽처 또는 슬라이스의 CU(coding unit)의 제1 개수와 조명 보상이 인에이블되는지 디스에이블되는지의 여부를 나타내는 IC 플래그를 갖는 최후의 재구성된 픽처 또는 슬라이스의 CU의 제2 개수의 비율로서 정의된다.
Figure 112016096868873-pct00004
선택된 참조 픽처 및 그의 뷰간 참조 픽처의 평균 픽셀 차이. 선택된 참조 픽처와 그의 뷰간 참조 픽처 사이의 평균 픽셀 값이 미리 정의된 문턱값보다 크면, 현재 픽처/슬라이스를 코딩하는 것에 대해 IC가 인에이블된 것으로 설정되고; 그렇지 않으면, 현재 픽처/슬라이스에 대해 IC가 디스에이블된 것으로 설정된다.
다양한 참조 픽처/슬라이스가 "선택된 참조 픽처/슬라이스"로서 사용될 수 있다. 예를 들어, 선택된 참조 픽처/슬라이스는 하기의 것일 수 있다:
Figure 112016096868873-pct00005
최후의 재구성된 픽처/슬라이스,
Figure 112016096868873-pct00006
현재 픽처/슬라이스의 시간 ID보다 작은 시간 ID를 갖는 최후의 재구성된 픽처/슬라이스,
Figure 112016096868873-pct00007
현재 픽처/슬라이스의 시간 ID보다 작거나 같은 시간 ID를 갖는 최후의 재구성된 픽처/슬라이스,
Figure 112016096868873-pct00008
현재 픽처/슬라이스의 QP보다 작은 QP를 갖는 최후의 재구성된 픽처/슬라이스, 또는
Figure 112016096868873-pct00009
현재 픽처/슬라이스의 QP보다 작거나 같은 QP를 갖는 최후의 재구성된 픽처/슬라이스.
실시예 2: 현재 픽처/슬라이스의 상위 레벨 코딩 정보에 기초한 IC 결정
이 실시예에 따르면, 인코더는 현재 픽처/슬라이스의 상위 레벨 코딩 정보에 관련된 조건에 따라 현재 픽처/슬라이스에 대해 IC가 인에이블될지 또는 디스에이블될지의 여부를 단순히 결정한다. 상위 레벨 코딩 정보는 하기의 것에 대응할 수 있다:
Figure 112016096868873-pct00010
현재 픽처/슬라이스의 참조 픽처 리스트에 어떤 뷰간 참조 픽처도 존재하지 않으면, 현재 픽처/슬라이스에 대해 IC가 디스에이블된 것으로 설정되고; 그렇지 않으면, 현재 픽처/슬라이스에 대해 IC가 인에이블된 것으로 설정된다.
Figure 112016096868873-pct00011
현재 픽처/슬라이스의 참조 픽처 리스트에 어떤 시간 참조 픽처도 존재하지 않고 리스트에 뷰간 참조 픽처만이 존재하면, 현재 픽처/슬라이스에 대해 IC가 인에이블된 것으로 설정된다.
Figure 112016096868873-pct00012
현재 픽처/슬라이스와 시간 참조 픽처 사이의 가장 작은 POC 거리가 문턱값보다 크면, 현재 픽처/슬라이스에 대해 IC가 인에이블된 것으로 설정되고; 그렇지 않으면, 현재 픽처/슬라이스에 대해 IC가 디스에이블된 것으로 설정된다. 어떤 시간 참조 픽처도 존재하지 않으면, 가장 작은 POC 거리가 정의된 문턱값보다 큰 디폴트 값으로서 추론된다.
Figure 112016096868873-pct00013
현재 픽처/슬라이스가 앵커 픽처/슬라이스이면, 현재 픽처/슬라이스에 대해 IC가 인에이블된 것으로 설정되고; 그렇지 않으면, 현재 픽처/슬라이스에 대해 IC가 디스에이블된 것으로 설정된다.
Figure 112016096868873-pct00014
현재 픽처/슬라이스의 QP가 문턱값보다 크면, 현재 픽처/슬라이스에 대해 IC가 인에이블된 것으로 설정되고; 그렇지 않으면, 현재 픽처/슬라이스에 대해 IC가 디스에이블된 것으로 설정된다.
Figure 112016096868873-pct00015
시간 ID = 0을 갖는 픽처/슬라이스에 대해 IC가 인에이블된 것으로 설정된다.
Figure 112016096868873-pct00016
픽처/슬라이스에 대해 주기적으로 IC가 인에이블된 것으로 설정된다. 주기는 N POC(picture order count)일 수 있고, 여기서 N은 양의 정수이다.
Figure 112016096868873-pct00017
슬라이스 유형에 따라 IC가 인에이블된 것으로 설정된다. 예를 들어, B 슬라이스에 대해서는 IC가 인에이블되기만 한다.
실시예 3: 선택된 픽처/슬라이스에 기초한 단일 샘플 모드 결정
"단일 샘플 모드" 또는 "단일 샘플 코딩 모드"라고 지칭되는, 비디오 데이터(화면 콘텐츠 데이터의 깊이 데이터)의 평탄한 영역을 표현하기 위해 단일 샘플 값을 사용하는 코딩 방법이 동시 계류 중인 출원에 개시되어 있다. 블록이 단일 샘플 코딩 모드에서 코딩될 때, 현재 블록 전체가 단일 픽셀 값으로서 코딩된다. 환언하면, 블록이 단일 샘플 코딩 모드에서 코딩될 때, 블록 내의 모든 픽셀을 단일 샘플 값(즉, 깊이 값 또는 픽셀 값)으로 채우는 것에 의해 블록 전체가 재구성된다. 픽셀은 임의의 색상 포맷(예컨대, YUV444, YUV420, YUV422, YUV400 또는 RGB)에 대응할 수 있다.
실시예 3에 따르면, 인코더는 선택된 참조 픽처/슬라이스의 통계 및 현재 픽처/슬라이스의 상위 레벨 코딩 정보에 따라 현재 픽처/슬라이스에 대해 단일 샘플 모드가 인에이블될지 또는 디스에이블될지의 여부를 단순히 결정한다. 실시예 1에서 IC 결정에 대해 앞서 개시되어 있는 선택된 참조 픽처/슬라이스의 다양한 통계 및 현재 픽처/슬라이스의 상위 레벨 코딩 정보가 실시예 3에도 적용 가능하다.
본 발명에 따른 IC 결정의 예가 이하에 개시되어 있다.
IC 결정 예 1. 현재 픽처/슬라이스의 참조 픽처 리스트에 어떤 뷰간 참조 픽처도 존재하지 않으면, 현재 픽처/슬라이스에 대해 IC가 디스에이블된 것으로 설정되고; 그렇지 않으면, 인코더는 현재 픽처/슬라이스의 시간 ID보다 작은 시간 ID를 갖는 최후의 재구성된 픽처/슬라이스를 선택된 참조 픽처로서 선택한다. 인코더는 이어서 선택된 참조 픽처에서 IC 인에이블 비율이 문턱값보다 큰지의 여부를 검사한다. IC 인에이블 비율이 문턱값보다 크면, 현재 픽처/슬라이스에 대해 IC가 인에이블된 것으로 설정되고; 그렇지 않으면, 현재 픽처/슬라이스에 대해 IC가 디스에이블된 것으로 설정된다. 어떤 선택된 참조 픽처도 발견될 수 없으면, 현재 픽처/슬라이스에 대해 IC가 인에이블된 것으로 설정된다.
IC 결정 예 2. 현재 픽처/슬라이스의 참조 픽처 리스트에 어떤 뷰간 참조 픽처도 존재하지 않으면, 현재 픽처/슬라이스에 대해 IC가 디스에이블된 것으로 설정되고; 그렇지 않으면, 인코더는 현재 픽처/슬라이스의 QP보다 작은 QP를 갖는 최후의 재구성된 픽처/슬라이스를 선택된 참조 픽처로서 선택한다. 인코더는 이어서 선택된 참조 픽처에서 IC 인에이블 비율이 문턱값보다 큰지의 여부를 검사한다. IC 인에이블 비율이 문턱값보다 크면, 현재 픽처/슬라이스에 대해 IC가 인에이블된 것으로 설정되고; 그렇지 않으면, 현재 픽처/슬라이스에 대해 IC가 디스에이블된 것으로 설정된다. 어떤 선택된 참조 픽처도 발견될 수 없으면, 현재 픽처/슬라이스에 대해 IC가 인에이블된 것으로 설정된다.
IC 결정 예 3. 현재 픽처/슬라이스와 시간 참조 픽처 사이의 가장 작은 POC 거리가 문턱값보다 크면, 현재 픽처/슬라이스에 대해 IC가 인에이블된 것으로 설정되고; 그렇지 않으면, 현재 픽처/슬라이스에 대해 IC가 디스에이블된 것으로 설정된다. 어떤 시간 참조 픽처도 존재하지 않으면, 가장 작은 POC 거리가 정의된 문턱값보다 큰 디폴트 값으로서 추론된다.
실시예 4: 선택된 참조 픽처/슬라이스의 통계에 기초한 DLT 결정
이 실시예에 따르면, 인코더는 DLT를 결정하고 선택된 참조 픽처/슬라이스의 통계에 따라 현재 픽처/슬라이스에 대한 DLT를 사용할지의 여부를 결정한다. 선택된 참조 픽처/슬라이스는 이전에 재구성된 픽처/슬라이스에 대응할 수 있다. 어떤 선택된 참조 픽처/슬라이스도 발견될 수 없으면, 인코더는 하기의 조치들 중 하나를 취할 수 있다:
Figure 112016096868873-pct00018
현재 픽처/슬라이스에 대한 DLT를 오프시키는 것;
Figure 112016096868873-pct00019
현재 픽처/슬라이스의 통계에 따라 현재 픽처/슬라이스에 대한 DLT를 도출하는 것;
Figure 112016096868873-pct00020
디폴트 DLT를 이용하는 것; 또는
Figure 112016096868873-pct00021
현재 픽처에 대한 참조 픽처/슬라이스가 아닌 이전에 재구성된 픽처/슬라이스의 통계에 따라 현재 픽처/슬라이스에 대한 DLT를 도출하는 것.
실시예 5: 이전에 재구성된 픽처/슬라이스의 통계에 기초한 DLT 결정
이 실시예에 따르면, 인코더는 DLT를 결정하고, 이전에 재구성된 픽처/슬라이스가 현재 픽처/슬라이스에 대한 참조 픽처/슬라이스인지 여부에 관계없이, 이전에 재구성된 픽처/슬라이스의 통계에 따라 현재 픽처/슬라이스에 대한 DLT를 사용할지의 여부를 결정한다.
실시예 6: 2 개 이상의 선택된 참조 픽처/슬라이스의 통계에 기초한 DLT 결정
이 실시예에 따르면, 인코더는 DLT를 결정하고 2 개 이상의 선택된 참조 픽처/슬라이스의 통계에 따라 현재 픽처/슬라이스에 대한 DLT를 사용할지의 여부를 결정한다. 선택된 참조 픽처/슬라이스는 이전에 재구성된 픽처/슬라이스이다. 어떤 선택된 참조 픽처/슬라이스도 발견될 수 없으면, 인코더는 하기의 조치들 중 하나를 취할 수 있다:
Figure 112016096868873-pct00022
현재 픽처/슬라이스에 대한 DLT를 오프시키는 것;
Figure 112016096868873-pct00023
현재 픽처/슬라이스의 통계에 따라 현재 픽처/슬라이스에 대한 DLT를 결정하는 것;
Figure 112016096868873-pct00024
디폴트 DLT를 이용하는 것; 또는
Figure 112016096868873-pct00025
현재 픽처에 대한 참조 픽처/슬라이스가 아닌 2 개 이상의 이전에 재구성된 픽처/슬라이스 중 하나의 이전에 재구성된 픽처/슬라이스의 통계에 따라 현재 픽처/슬라이스에 대한 DLT를 결정하는 것.
실시예 7: 2 개 이상의 이전에 재구성된 픽처/슬라이스의 통계에 기초한 DLT 결정
이 실시예에 따르면, 인코더는, 2 개 이상의 이전에 재구성된 픽처/슬라이스가 현재 픽처/슬라이스에 대한 참조 픽처/슬라이스인지의 여부에 관계없이, 2 개 이상의 이전에 재구성된 픽처/슬라이스의 통계에 따라 현재 픽처/슬라이스에 대한 DLT를 결정한다.
실시예 4 내지 실시예 7에서 현재 픽처/슬라이스에 대한 DLT를 도출하는 데 사용되는 이전에 재구성된 픽처는 현재 픽처의 동일한 뷰 또는 상이한 뷰에 있을 수 있다.
또한, 실시예 4 내지 실시예 7에서 획득된 DLT는 코딩 순서 또는 디스플레이 순서에 있어서 현재 픽처에 이어지는 하나 이상의 픽처/슬라이스에 의해 사용될 수 있다.
실시예 4 내지 실시예 7에서, 통계를 위한 이전에 재구성된 픽처/슬라이스에 나타나는 깊이 값은 현재 뷰에 대한 DLT에 포함되는 반면, 이전에 재구성된 픽처/슬라이스의 통계에 나타나지 않는 깊이 값은 현재 뷰에 대한 DLT에 포함되지 않는다. 게다가, 이전에 재구성된 픽처/슬라이스의 일부만이 통계를 위해 사용될 수 있다. 통계를 위한 이전에 재구성된 픽처/슬라이스 내의 특정 부분에 나타나는 깊이 값은 현재 뷰에 대한 DLT에 포함되는 반면, 이전에 재구성된 픽처/슬라이스의 통계에서의 특정 부분에 나타나지 않는 값은 현재 뷰에 대한 DLT에 포함되지 않는다.
DLT 결정에 관련된 상기 실시예에서, 재구성된 픽처/슬라이스 대신에 원래의 픽처/슬라이스에 대해 통계가 행해질 수 있다. 또한, 현재 픽처/슬라이스에 대해 또는 나타나는 값들의 개수가 숫자 M보다 크면 현재 픽처 이후의 보다 많은 픽처/슬라이스에 대해 DLT가 오프될 수 있고, 여기서 M은 0보다 크고 깊이 샘플들에 대한 최대 값에 대응하는 MaxDepthValue보다 작다. 예를 들어, M은 MaxDepthValue/2 또는 (MaxDepthValue+1)/2일 수 있다.
본 발명에 따른 DLT 결정의 예
도 4는 이전에 재구성된 픽처의 통계에 기초한 현재 픽처에 대한 DLT 도출의 일 예를 나타낸 것이다. DLT가 현재 픽처에 대한 이전에 재구성된 픽처로부터 도출되기 때문에, DLT를 결정하기 위해 현재 픽처 내의 모든 깊이 값을 수집하는 것을 기다릴 필요가 없다. 그에 따라, DLT에 대한 처리 지연이 감소된다.
도 5는 2 개의 이전에 재구성된 픽처의 통계에 기초한 현재 픽처에 대한 DLT 도출의 일 예를 나타낸 것이다. 다시 말하지만, DLT를 결정하기 위해 현재 픽처 내의 모든 깊이 값을 수집하는 것을 기다릴 필요가 없다. 그에 따라, DLT에 대한 처리 지연이 감소된다.
도 6은 각각의 재구성된 픽처의 하나 걸러 행의 통계에 기초한 현재 픽처에 대한 DLT 도출의 일 예를 나타낸 것이다. 도 4에서의 접근법과 비교하여, 도 6에서의 접근법은 이전에 재구성된 픽처 내의 샘플의 1/2만을 사용한다.
도 7은 이전에 재구성된 픽처에서 매 4 개의 샘플 중 하나의 샘플의 통계에 기초한 현재 픽처에 대한 DLT 도출의 일 예를 나타낸 것이다. 도 4에서의 접근법과 비교하여, 도 7에서의 접근법은 이전에 재구성된 픽처 내의 샘플의 1/4만을 사용한다.
본 발명의 일 실시예에 따른 저 지연 조명 보상을 포함하는 3D/멀티뷰 비디오 코딩 시스템의 성능이 표 1에 나타낸 바와 같이 HTM-10.0에 기초한 종래의 시스템의 성능과 비교된다. 성능 비교는 제1 열에 열거된 상이한 테스트 데이터 세트에 기초한다. HTM-10.0에 기초한 종래의 시스템에서, IC 결정은 현재 픽처 내의 샘플을 이용하고, 이는 프레임 지연을 야기시켰다. 다른 한편으로, 본 발명의 일 실시예를 포함하는 시스템은 IC 인에이블/디스에이블 결정을 위해 이전에 재구성된 픽처로부터의 샘플을 이용한다. 뷰 0/1/2(비디오 0/1/2) 내의 텍스처 픽처에 대해 BD 레이트 차이가 나타내어져 있다. BD 레이트에서의 마이너스 값은 본 발명이 더 나은 성능을 갖는다는 것을 암시한다. 제2 성능 그룹은 텍스처 비디오에만 대한 비트 레이트 척도(비디오/비디오 비트 레이트), 텍스처 비디오에 대한 총 비트 레이트(텍스처 비트레이트 및 깊이 비트레이트)(비디오/총 비트레이트), 및 코딩되고 합성된 비디오의 총 비트 레이트(합성/총 비트 레이트)이다. 표 1에 나타낸 바와 같이, 평균 성능은 종래의 HTM-10.0과 거의 동일하다. 환언하면, 본 발명의 실시예에 따라 저 지연 IC를 사용하는 것에 의한 어떤 성능 열화도 없다. 처리 시간(인코딩 시간, 디코딩 시간 및 랜더링 시간)도 비교된다.
Figure 112016096868873-pct00026
도 8은 본 발명의 일 실시예에 따른 3차원(3D) 및 멀티뷰 코딩 시스템에서의 저 지연 조명 보상에 대한 예시적인 플로우차트를 나타낸 것이다. 본 시스템은 단계(810)에 나타낸 바와 같이 종속 뷰(dependent view) 내의 현재 픽처 또는 슬라이스를 수신한다. 종속 뷰 내의 현재 픽처 또는 슬라이스는 메모리(예컨대, 컴퓨터 메모리, 버퍼(RAM 또는 DRAM) 또는 다른 매체)로부터 또는 프로세서로부터 검색될 수 있다. 본 시스템은, 단계(820)에 나타낸 바와 같이, 선택된 참조 픽처 또는 슬라이스 각각과 연관된 통계에 관련되거나 또는 현재 픽처 또는 슬라이스 각각과 연관된 상위 레벨 코딩 정보에 관련된 조건에 기초하여, 현재 픽처 또는 슬라이스에 대해 조명 보상을 인에이블할지 또는 디스에이블할지의 여부를 결정한다. 현재 픽처 또는 슬라이스와 연관된 상위 레벨 코딩 정보는, 현재 픽처 또는 슬라이스 각각의 픽셀 값에 관련된 임의의 정보를 배제한다. 단계(830)에서, 조명 보상이 인에이블되는지의 여부가 검사된다. 결과가 "YES"이면, 단계(840)에 도시된 바와 같이, 현재 픽처 또는 슬라이스 각각에 조명 보상이 적용된다. 결과가 "NO"이면, 단계(850)에 도시된 바와 같이, 현재 픽처 또는 슬라이스 각각에 대해, 조명 보상이 스킵된다.
도 9는 본 발명의 일 실시예에 따른 3차원(3D) 및 멀티뷰 코딩 시스템에서의 저 지연 깊이 룩업 테이블 기반 코딩에 대한 예시적인 플로우차트를 나타낸 것이다. 단계(910)에 나타낸 바와 같이, 본 시스템은 현재 깊이 픽처 또는 슬라이스를 수신한다. 단계(920)에 도시된 바와 같이, 본 시스템은 선택된 참조 픽처 또는 슬라이스 각각과 연관된 통계에 관련된 조건에 기초하여 DLT를 결정하고, 현재 픽처 또는 슬라이스에 대해 DLT를 사용하는 DLT 코딩을 인에이블할지 또는 디스에이블할지의 여부를 결정한다. 단계(930)에서, DLT 코딩이 인에이블되는지의 여부가 검사된다. 결과가 "YSE"이면, 단계(940)에 도시된 바와 같이, 현재 픽처 또는 슬라이스 각각에, DLT 코딩이 적용된다. 결과가 "NO"이면, 단계(950)에 도시된 바와 같이, 현재 픽처 또는 슬라이스 각각에 대해, DLT 코딩이 스킵된다.
앞서 나타낸 플로우차트들은, 각각 3차원 및 멀티뷰 코딩에서의 저 지연 조명 보상 및 DLT 코딩을 사용하는 3D/멀티뷰 코딩의 일 예를 예시하기 위한 것이다. 본 기술 분야의 통상의 기술자는, 본 발명의 사상을 벗어남이 없이, 본 발명을 실시하기 위해 각각의 단계를 수정하거나, 단계들을 재배열하거나, 단계를 분할하거나, 단계들을 결합할 수 있다.
본 기술 분야의 통상의 기술자가 특정의 응용 및 그의 요구사항과 관련하여 제공되는 바와 같이 본 발명을 실시할 수 있게 하기 위해 이상의 설명이 제시되어 있다. 기술된 실시예에 대한 다양한 수정이 본 기술 분야의 통상의 기술자에게는 명백할 것이고, 본원에서 정의되는 일반 원리가 다른 실시예에 적용될 수 있다. 따라서, 본 발명은 도시되고 기술된 특정의 실시예로 제한되는 것으로 의도되어 있지 않고, 본원에 개시되는 원리 및 신규의 특징에 따른 가장 넓은 범주를 부여받아야 한다. 이상의 상세한 설명에서, 본 발명의 완전한 이해를 제공하기 위해 다양한 구체적인 상세가 예시되어 있다. 그럼에도 불구하고, 본 기술 분야의 통상의 기술자라면 본 발명이 실시될 수 있다는 것을 잘 알 것이다.
앞서 기술된 바와 같은 본 발명의 실시예는 다양한 하드웨어, 소프트웨어 코드, 또는 이 둘의 조합으로 구현될 수 있다. 예를 들어, 본 발명의 일 실시예는 비디오 압축 칩에 통합된 회로 또는 본원에 기술되는 처리를 수행하는 비디오 압축 소프트웨어에 통합된 프로그램 코드일 수 있다. 본 발명의 일 실시예는 또한 본원에 기술되는 처리를 수행하기 위해 DSP(Digital Signal Processor) 상에서 실행될 프로그램 코드일 수 있다. 본 발명은 또한 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로프로세서, 또는 FPGA(field programmable gate array)에 의해 수행될 다수의 기능을 포함할 수 있다. 이 프로세서는 본 발명에 의해 구현되는 특정의 방법을 정의하는 머신 판독 가능 소프트웨어 코드 또는 펌웨어 코드를 실행함으로써 본 발명에 따른 특정의 작업을 수행하도록 구성될 수 있다. 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어 및 상이한 포맷 또는 스타일로 개발될 수 있다. 소프트웨어 코드는 또한 상이한 대상 플랫폼을 위해 컴파일될 수 있다. 그렇지만, 본 발명에 따라 작업을 수행하도록 코드를 구성하는 소프트웨어 코드 및 다른 수단의 상이한 코드 포맷, 스타일 및 언어가 본 발명의 사상 및 범주를 벗어나지 않을 것이다.
본 발명은 그의 사상 또는 본질적인 특성을 벗어나지 않고 다른 특정의 형태로 구현될 수 있다. 기술된 예가 모든 점에서 제한적이 아니라 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 발명의 범주는 이상의 설명이 아니라 첨부된 청구범위에 의해 나타내어진다. 청구범위의 등가성의 의미 및 범위 내에 속하는 모든 변경이 청구범위의 범위 내에 포함되어야 한다.

Claims (20)

  1. 3차원(three-dimensional; 3D) 및 멀티뷰(multi-view) 코딩 시스템에서의 조명 보상 방법으로서,
    종속 뷰(dependent view) 내의 현재 픽처 또는 슬라이스를 수신하는 단계;
    선택된 참조 픽처 또는 슬라이스 각각과 연관된 통계(statistic)에 관련되거나 또는 상기 현재 픽처 또는 슬라이스 각각과 연관된 상위 레벨(high-level) 코딩 정보 - 상기 현재 픽처 또는 슬라이스와 연관된 상기 상위 레벨 코딩 정보는, 상기 현재 픽처 또는 슬라이스 각각의 픽셀 값에 관련된 임의의 정보를 배제함 - 에 관련된 조건(condition)에 기초하여, 상기 현재 픽처 또는 슬라이스의 픽셀 값들에 액세스(access)함이 없이 상기 현재 픽처 또는 슬라이스에 대해 상기 조명 보상을 인에이블할지 또는 디스에이블할지의 여부를 결정하는 단계;
    상기 조명 보상이 인에이블되면, 상기 조명 보상을 상기 현재 픽처 또는 슬라이스 각각에 적용하는 단계; 및
    상기 조명 보상이 디스에이블되면, 상기 조명 보상을 상기 현재 픽처 또는 슬라이스 각각에 대해 스킵하는 단계
    를 포함하는 조명 보상 방법.
  2. 제1항에 있어서, 상기 선택된 참조 픽처 또는 슬라이스는, 상기 현재 픽처 또는 슬라이스 각각의 제2 시간(temporal) ID(identifier)보다 작은 제1 시간 ID를 갖는 최후의(latest) 재구성된 픽처 또는 슬라이스에 대응하는 것인 조명 보상 방법.
  3. 제2항에 있어서, 상기 선택된 참조 픽처의 상기 통계는 상기 최후의 재구성된 픽처의 코딩 유닛(coding unit; CU) 레벨 인에이블 비율에 대응하고, 상기 조건은 상기 CU 레벨 인에이블 비율이 문턱값보다 큰지의 여부에 대응하며,
    상기 CU 레벨 인에이블 비율은, 상기 인에이블된 조명 보상을 갖는 상기 최후의 재구성된 픽처 또는 슬라이스의 코딩 유닛들(CU들)의 제1 개수와, 상기 조명 보상이 인에이블되는지 또는 디스에이블되는지의 여부를 나타내는 IC 플래그를 갖는 상기 최후의 재구성된 픽처 또는 슬라이스의 CU들의 제2 개수의 비율에 대응하는 것인 조명 보상 방법.
  4. 제3항에 있어서, 상기 조건이 어서트(assert)되면 상기 현재 픽처 또는 슬라이스에 대한 상기 조명 보상이 인에이블되고, 상기 조건이 어서트되지 않으면 상기 현재 픽처 또는 슬라이스에 대한 상기 조명 보상이 디스에이블되는 것인 조명 보상 방법.
  5. 제1항에 있어서, 상기 선택된 참조 픽처 또는 슬라이스는, 상기 현재 픽처 또는 슬라이스 각각의 제2 양자화 파라미터(quantization parameter; QP)보다 작은 제1 QP를 갖는 최후의 재구성된 픽처 또는 슬라이스에 대응하는 것인 조명 보상 방법.
  6. 제1항에 있어서, 상기 선택된 참조 픽처의 상기 통계는 상기 선택된 참조 픽처의 코딩 유닛(CU) 레벨 인에이블 비율에 대응하고, 상기 조건은 상기 CU 레벨 인에이블 비율이 문턱값보다 큰지의 여부에 대응하며,
    상기 CU 레벨 인에이블 비율은, 상기 인에이블된 조명 보상을 갖는 상기 선택된 참조 픽처 또는 슬라이스의 코딩 유닛들(CU들)의 제1 개수와, 상기 조명 보상이 인에이블되는지 또는 디스에이블되는지의 여부를 나타내는 IC 플래그를 갖는 상기 선택된 참조 픽처 또는 슬라이스의 CU들의 제2 개수의 비율에 대응하는 것인 조명 보상 방법.
  7. 제1항에 있어서, 상기 선택된 참조 픽처의 상기 통계는 상기 선택된 참조 픽처와 상기 선택된 참조 픽처에 대응하는 뷰간(inter-view) 참조 픽처 사이의 평균 픽셀 차이(average pixel difference)에 대응하고, 상기 조건은 상기 평균 픽셀 차이가 문턱값보다 큰지의 여부에 대응하는 것인 조명 보상 방법.
  8. 제1항에 있어서, 상기 현재 픽처 또는 슬라이스와 연관된 상기 상위 레벨 코딩 정보에 관련된 상기 조건은, 상기 현재 픽처 또는 슬라이스 각각의 참조 리스트 내에 임의의 뷰간 참조 픽처가 있는지의 여부에 대응하는 것인 조명 보상 방법.
  9. 제1항에 있어서, 상기 현재 픽처 또는 슬라이스와 연관된 상기 상위 레벨 코딩 정보에 연관된 상기 조건은, 상기 현재 픽처 또는 슬라이스 각각의 참조 리스트 내에 임의의 시간 참조 픽처도 없는지의 여부에 대응하는 것인 조명 보상 방법.
  10. 제1항에 있어서, 상기 현재 픽처 또는 슬라이스와 연관된 상기 상위 레벨 코딩 정보에 관련된 상기 조건은, 상기 현재 픽처 또는 슬라이스와 시간 참조 픽처 또는 슬라이스 각각 사이의 가장 작은 POC(Picture Order Count) 거리가 문턱값보다 큰지의 여부에 대응하는 것인 조명 보상 방법.
  11. 제1항에 있어서, 상기 조건이 어서트되면 상기 현재 픽처 또는 슬라이스에 대한 상기 조명 보상이 인에이블되고, 상기 조건이 어서트되지 않으면 상기 현재 픽처 또는 슬라이스에 대한 상기 조명 보상이 디스에이블되는 것인 조명 보상 방법.
  12. 3차원(3D) 및 멀티뷰 코딩 시스템에서의 조명 보상 장치로서,
    하나 이상의 전자 회로를 포함하고, 상기 하나 이상의 전자 회로는,
    종속 뷰 내의 현재 픽처 또는 슬라이스를 수신하고;
    선택된 참조 픽처 또는 슬라이스 각각과 연관된 통계에 관련되거나 또는 상기 현재 픽처 또는 슬라이스 각각과 연관된 상위 레벨 코딩 정보 - 상기 현재 픽처 또는 슬라이스와 연관된 상기 상위 레벨 코딩 정보는, 상기 현재 픽처 또는 슬라이스 각각의 깊이 값에 관련된 임의의 정보를 배제함 - 에 관련된 조건에 기초하여, 상기 현재 픽처 또는 슬라이스의 픽셀 값들에 액세스(access)함이 없이 상기 현재 픽처 또는 슬라이스에 대해 상기 조명 보상을 인에이블할지 또는 디스에이블할지의 여부를 결정하며;
    상기 조명 보상이 인에이블되면, 상기 조명 보상을 상기 현재 픽처 또는 슬라이스 각각에 적용하고;
    상기 조명 보상이 디스에이블되면, 상기 조명 보상을 상기 현재 픽처 또는 슬라이스 각각에 대해 스킵하도록
    구성되는 것인 조명 보상 장치.
  13. 3차원(3D) 및 멀티뷰 코딩 시스템에서 깊이 룩업 테이블(depth lookup table; DLT)을 사용하는 깊이 코딩 방법으로서,
    현재 픽처 또는 슬라이스를 수신하는 단계;
    선택된 참조 픽처 또는 슬라이스 각각과 연관된 통계에 관련된 조건에 기초하여, 상기 현재 픽쳐 또는 슬라이스 내의 모든 깊이 값들을 획득(gather)하는 것을 기다릴 필요 없이, 상기 DLT를 결정하고 상기 현재 픽처 또는 슬라이스에 대해 상기 DLT를 사용하는 DLT 코딩을 인에이블할지 또는 디스에이블할지의 여부를 결정하는 단계;
    상기 DLT 코딩이 인에이블되면, 상기 DLT 코딩을 상기 현재 픽처 또는 슬라이스 각각에 적용하는 단계; 및
    상기 DLT 코딩이 디스에이블되면, 상기 DLT 코딩을 상기 현재 픽처 또는 슬라이스 각각에 대해 스킵하는 단계
    를 포함하는 깊이 코딩 방법.
  14. 제13항에 있어서, 상기 선택된 참조 픽처 또는 슬라이스는 이전에 재구성된 픽처 또는 슬라이스 각각에 대응하고, 상기 이전에 재구성된 픽처 또는 슬라이스는 상기 현재 픽처 또는 슬라이스의 참조 픽처에 속하는 것인 깊이 코딩 방법.
  15. 제13항에 있어서, 상기 선택된 참조 픽처 또는 슬라이스는, 이전에 재구성된 픽처 또는 슬라이스가 상기 현재 픽처 또는 슬라이스의 참조 픽처에 속하는지의 여부에 관계없이, 상기 이전에 재구성된 픽처 또는 슬라이스 각각에 대응하는 것인 깊이 코딩 방법.
  16. 제13항에 있어서, 상기 선택된 참조 픽처 또는 슬라이스는 이전에 재구성된 픽처 또는 슬라이스 각각에 대응하고, 상기 이전에 재구성된 픽처 또는 슬라이스는 상기 현재 픽처 또는 슬라이스 각각의 동일한 뷰 또는 상이한 뷰 내에 있는 것인 깊이 코딩 방법.
  17. 제13항에 있어서, 상기 선택된 참조 픽처 또는 슬라이스가 존재하지 않으면, 상기 DLT 코딩이 상기 현재 픽처 또는 슬라이스에 대해 디스에이블되거나, 또는 디폴트 DLT를 사용하여 상기 DLT 코딩이 상기 현재 픽처 또는 슬라이스에 적용되는 것인 깊이 코딩 방법.
  18. 제13항에 있어서, 상기 DLT는 또한, 상기 DLT 코딩에 대한 코딩 순서(order) 또는 디스플레이 순서에 있어서 상기 현재 픽처 또는 슬라이스 각각에 이어지는 다음 픽처 또는 슬라이스에 의해 사용되는 것인 깊이 코딩 방법.
  19. 제18항에 있어서, 상기 DLT 내에 상기 선택된 참조 픽처 또는 슬라이스에 나타나는 깊이 값만이 포함되는 것인 깊이 코딩 방법.
  20. 제18항에 있어서, 상기 DLT 코딩은, 나타나는 깊이 값들의 개수가 0보다 크고 깊이 값들 중 최대 값보다 낮은 문턱값보다 크면, 상기 현재 픽처 또는 슬라이스 또는 상기 다음 픽처 또는 슬라이스에 대해 디스에이블되는 것인 깊이 코딩 방법.
KR1020167027789A 2014-03-17 2015-03-17 저 지연 조명 보상 프로세스 및 깊이 룩업 테이블 기반 코딩을 위한 방법 KR101834688B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2014/073555 WO2015139187A1 (en) 2014-03-17 2014-03-17 Low latency encoder decision making for illumination compensation and depth look-up table transmission in video coding
CNPCT/CN2014/073555 2014-03-17
PCT/CN2015/074371 WO2015139605A1 (en) 2014-03-17 2015-03-17 Method for low-latency illumination compensation process and depth lookup table based coding

Publications (2)

Publication Number Publication Date
KR20160129903A KR20160129903A (ko) 2016-11-09
KR101834688B1 true KR101834688B1 (ko) 2018-03-05

Family

ID=54143622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167027789A KR101834688B1 (ko) 2014-03-17 2015-03-17 저 지연 조명 보상 프로세스 및 깊이 룩업 테이블 기반 코딩을 위한 방법

Country Status (6)

Country Link
US (1) US10349083B2 (ko)
EP (1) EP3100454B1 (ko)
KR (1) KR101834688B1 (ko)
CN (1) CN106134191B (ko)
CA (1) CA2941085C (ko)
WO (2) WO2015139187A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015139203A1 (en) * 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
EP3518543A1 (en) 2018-01-26 2019-07-31 Thomson Licensing Illumination compensation flag in frame rate up-conversion with template matching
CN110662043B (zh) 2018-06-29 2021-12-21 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
CN110662056B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 哪个查找表需要更新或不更新
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
AU2019293670B2 (en) 2018-06-29 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
WO2020003283A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Conditions for updating luts
JP7328330B2 (ja) 2018-06-29 2023-08-16 北京字節跳動網絡技術有限公司 Ｌｕｔにおける動き候補のチェック順序
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
WO2020003270A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
WO2020008348A1 (en) 2018-07-02 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Order of rounding and pruning in lamvr
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
MX2021008027A (es) * 2018-12-31 2021-08-05 Beijing Dajia Internet Information Tech Co Ltd Sistema y metodo de se?alizacion de modos de fusion de movimiento en codificacion de video.
KR102648159B1 (ko) 2019-01-10 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的***顺序
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
US11432004B2 (en) * 2019-04-25 2022-08-30 Hfi Innovation Inc. Method and apparatus of constraining merge flag signaling in video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0719860B1 (pt) * 2006-10-18 2021-09-08 Interdigital Vc Holdings, Inc. Aparelhos, métodos e meio de armazenamento não transitório para compensação de iluminação e cor local sem sinalização explícita
KR100856411B1 (ko) 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR101460362B1 (ko) * 2007-06-25 2014-11-14 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
KR20080114482A (ko) * 2007-06-26 2008-12-31 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
WO2009005658A2 (en) * 2007-06-28 2009-01-08 Thomson Licensing Single loop decoding of multi-vieuw coded video
CN101710985B (zh) 2009-12-11 2011-06-15 哈尔滨工业大学 一种用于图像编码的图像亮度补偿方法
US9363535B2 (en) 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
CN102609680B (zh) * 2011-12-22 2013-12-04 中国科学院自动化研究所 一种基于三维深度图像信息的并行统计学习人体部位检测方法
US9615090B2 (en) * 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D-CE5.h related : Removal of parsing dependency for illumination compensation, Joint Collaborative Team on 3D Video Coding Extension Development, JCT3V-D0152(2013.04.26.)*
3D-HEVC Draft Text 3 Joint Collaborative Team on 3D Video Coding Extension Development, JCT3V-G1001-v1(2014.01.17.)*

Also Published As

Publication number Publication date
CA2941085C (en) 2019-09-24
EP3100454A1 (en) 2016-12-07
KR20160129903A (ko) 2016-11-09
WO2015139187A1 (en) 2015-09-24
EP3100454A4 (en) 2017-03-29
US20170013276A1 (en) 2017-01-12
WO2015139605A1 (en) 2015-09-24
CA2941085A1 (en) 2015-09-24
CN106134191A (zh) 2016-11-16
EP3100454B1 (en) 2018-12-26
CN106134191B (zh) 2019-03-22
US10349083B2 (en) 2019-07-09

Similar Documents

Publication Publication Date Title
KR101834688B1 (ko) 저 지연 조명 보상 프로세스 및 깊이 룩업 테이블 기반 코딩을 위한 방법
US11638016B2 (en) Selection of motion vector precision
EP2929684B1 (en) Method of error-resilient illumination compensation for three-dimensional video coding
US10375411B2 (en) Predictor for depth map intra coding
US9961347B2 (en) Method and apparatus for bi-prediction of illumination compensation
US10271034B2 (en) Simplified depth coding
US9961370B2 (en) Method and apparatus of view synthesis prediction in 3D video coding
CA2891723C (en) Method and apparatus of constrained disparity vector derivation in 3d video coding
US20150172714A1 (en) METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING
CN113315974A (zh) 视频解码器和方法
US10075692B2 (en) Method of simple intra mode for video coding
US20170019665A1 (en) Method and Apparatus of Single Sample Mode for Video Coding
US20120140036A1 (en) Stereo image encoding device and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant