KR20160102073A - 3d 비디오 코딩에서 큰 예측 블록들의 세그먼트-와이즈 dc 코딩의 단순화 - Google Patents

Abstract

일반적으로, 이 개시물은 3D-HEVC 와 같은 3D 비디오 코딩 프로세스에서 64x64 블록들과 같은 큰 인트라-예측 블록들의 SDC 코딩을 단순화하기 위한 기술들을 설명한다. 일부 예들에서, 이 기술들은 인트라 SDC 에서 64x64 인트라-예측 블록들을 4 개의 32x32 인트라-예측 블록들로서 프로세싱하는 것을 포함할 수도 있다. 인트라 SDC 에서 큰 인트라-예측 블록들을 다수의, 더 작은 인트라-예측 블록들로서 프로세싱하는 것은 인트라 SDC 프로세스에서 최대 버퍼 사이즈 요건들을 감소시킬 수도 있다.

Description

3D 비디오 코딩에서 큰 예측 블록들의 세그먼트-와이즈 DC 코딩의 단순화{SIMPLIFICATION OF SEGMENT-WISE DC CODING OF LARGE PREDICTION BLOCKS IN 3D VIDEO CODING}

이 개시물은 비디오 코딩에 관한 것이고, 보다 상세하게는, 3-차원 (3D) 비디오 코딩 프로세스에서 세그먼트-와이즈 DC 코딩 (segment-wise DC coding; SDC) 에 관한 것이다.

디지털 비디오 능력들은 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 태블릿 컴퓨터들, 스마트폰들, 개인 휴대정보 단말기들 (PDA들), 랩탑 또는 데스크탑 컴퓨터들, 디지털 카메라들, 디지털 리코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 원격 화상회의 디바이스들, 셋-탑 디바이스들 등을 포함한, 광범위한 디바이스들에 포함될 수 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, 파트 10, AVC (Advanced Video Coding) 에 의해 정의된 표준들, HEVC (High Efficiency Video Coding) 표준, 및 이런 표준들의 확장판들에서 설명되는 것들과 같은, 비디오 압축 기법들을 구현한다. 비디오 디바이스들은 디지털 비디오 정보를 좀더 효율적으로 송신, 수신, 및 저장할 수도 있다.

인코더-디코더 (코덱) 은 비디오 시퀀스들에 내재하는 리던던시를 감소시키거나 또는 제거하기 위해 공간 (인트라-화상 (intra-picture)) 예측 및/또는 시간 (인터-화상 (inter-picture)) 예측을 수행하는 비디오 압축 기법들을 적용한다. 블록-기반 비디오 코딩에 있어, 비디오 슬라이스는 비디오 블록들로 파티셔닝될 수도 있으며, 이 비디오 블록들은 또한 코딩된 트리블록 (CTB) 들, 코딩 유닛들 (CU들) 및/또는 코딩 노드들로서 지칭될 수도 있다. 화상의 인트라-코딩된 (I) 슬라이스에서의 비디오 블록들은 동일한 화상의 이웃하는 블록들에서의 참조 샘플들에 대한 공간 예측을 이용하여 인코딩된다. 화상의 인터-코딩된 (P 또는 B) 슬라이스에서의 비디오 블록들은 동일한 화상의 이웃하는 블록들에서의 참조 샘플들에 대한 공간 예측, 또는 다른 참조 화상들에서의 참조 샘플들에 대한 시간 예측을 이용할 수도 있다. 화상들은 대안적으로 "프레임들" 로서 지칭될 수도 있다.

공간 또는 시간 예측은 코딩되는 블록에 대한 예측 블록을 초래한다. 잔차 데이터는 코딩되는 원래 블록과 예측 블록 사이의 픽셀 차이들을 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 가리키는 모션 벡터, 및 코딩된 블록과 예측 블록 사이의 차이를 나타내는 잔차 데이터에 따라서 인코딩된다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라서 인코딩된다. 추가적인 압축을 위해, 잔차 데이터는 공간 도메인으로부터 변환 도메인으로 변환되어, 잔차 변환 계수들을 초래할 수도 있으며, 이 잔차 변환 계수는 그후 양자화될 수도 있다. 처음에 2차원 어레이로 배열된, 양자화된 변환 계수들은 변환 계수들의 1차원 벡터를 발생하기 위해 스캐닝될 수도 있으며, 엔트로피 코딩이 더욱 더 많은 압축을 달성하기 위해 적용될 수도 있다.

멀티-뷰 코딩 비트스트림은 뷰들을, 예컨대, 다수의 관점들로부터 인코딩함으로써 발생될 수도 있다. 멀티-뷰 코딩은 디코더로 하여금, 상이한 뷰들을 선택하거나 또는 어쩌면 다수의 뷰들을 렌더링하는 것을 허용할 수도 있다. 또한, 개발되었거나, 또는 개발중인, 어떤 3차원 (3D) 비디오 기법들 및 표준들은 멀티뷰 코딩 양태들을 이용한다. 예를 들어, 일부 3D 비디오 코딩 프로세스들에서, 상이한 뷰들은 3D 비디오를 지원하기 위해 좌안 및 우안 뷰들을 송신라기 위해 이용될 수도 있다. 다른 3D 비디오 코딩 프로세스들은 멀티뷰-플러스-심도 코딩을 이용할 수도 있다. HEVC 에 대한 3D-HEVC 확장판에 의해 정의되는 프로세스와 같은, 멀티뷰 플러스 심도 코딩 프로세스에서, 3D 비디오 비트스트림은 텍스쳐 뷰 성분들 뿐만 아니라, 심도 뷰 성분들도 포함하는 다수의 뷰들을 포함할 수도 있다. 예를 들어, 주어진 뷰는 텍스쳐 뷰 성분 및 심도 뷰 성분을 포함할 수도 있다. 텍스쳐 뷰 및 심도 뷰 컴포넌트들은 3D 비디오 데이터를 구성하기 위해 이용될 수도 있다.

일반적으로, 이 개시물은 HEVC 에 대한 3D-HEVC 확장과 일치하는 프로세스와 같은 3D 비디오 코딩 프로세스에서 64x64 블록들과 같은 큰 인트라-예측 블록들의 SDC 코딩을 단순화하기 위한 기술들을 설명한다. 일부 예들에서, 이 기술들은 인트라 SDC 에서 64x64 인트라-예측 블록들을 4 개의 32x32 인트라-예측 블록들로서 프로세싱하는 것을 포함할 수도 있다. 인트라 SDC 에서 큰 인트라-예측 블록들을 다수의, 더 작은 인트라-예측 블록들로서 프로세싱하는 것은 인트라 SDC 프로세스에서 최대 버퍼 사이즈 요건들을 감소시킬 수도 있다.

하나의 예에서, 본 개시는, 비디오 코딩을 위한 심도 데이터 (depth data) 를 디코딩하는 방법을 기술하고, 이 방법은, 심도 데이터의 제 1 블록에 대한 인트라-예측 (intra-prediction) 모드에 대해, 제 2 블록들에 대한 심도 데이터의 샘플들을 인트라-예측하는 단계로서, 여기서, 제 2 블록들은, 심도 데이터의 제 1 블록의 사이즈의 1/4 와 동일한 사이즈를 각각 갖는 4 개의 블록들을 포함하고, 심도 데이터의 제 1 블록의 상부 좌측, 상부 우측, 하부 좌측, 및 하부 우측 블록들에 대응하는, 상기 제 2 블록들에 대한 심도 데이터의 샘플들을 인트라-예측하는 단계, 제 1 블록의 픽셀 값들과 제 2 블록들의 인트라-예측된 샘플들 사이의 차이를 나타내는 심도 데이터의 제 1 블록에 대한 잔차 데이터를 수신하는 단계, 및 제 2 블록들에 대한 인트라-예측된 샘플들과 잔차 데이터에 기초하여 심도 데이터의 제 1 블록을 복원하는 단계를 포함한다.

다른 예에서, 본 개시는, 비디오 코딩을 위한 심도 데이터를 인코딩하는 방법을 기술하고, 이 방법은, 심도 데이터의 제 1 블록에 대한 인트라-예측 모드에 대해, 제 2 블록들에 대한 심도 데이터의 샘플들을 인트라-예측하는 단계로서, 여기서, 제 2 블록들은, 심도 데이터의 제 1 블록의 사이즈의 1/4 와 동일한 사이즈를 각각 갖는 4 개의 블록들을 포함하고, 심도 데이터의 제 1 블록의 상부 좌측, 상부 우측, 하부 좌측, 및 하부 우측 블록들에 대응하는, 상기 제 2 블록들에 대한 심도 데이터의 샘플들을 인트라-예측하는 단계, 제 1 블록의 픽셀 값들과 제 2 블록들의 인트라-예측된 샘플들 사이의 차이에 기초하여 제 1 블록에 대한 잔차 데이터를 생성하는 단계, 및 인트라-예측 모드 및 잔차 데이터에 기초하여 심도 데이터의 제 1 블록을 인코딩하는 단계를 포함한다.

또 다른 예에서, 본 개시는, 비디오 코딩을 위한 심도 데이터를 코딩하기 위한 디바이스를 기술하고, 이 디바이스는, 비디오 코딩을 위한 심도 데이터를 저장하는 메모리, 및 하나 이상의 프로세서들을 포함하고, 이 하나 이상의 프로세서들은, 심도 데이터의 제 1 블록에 대한 인트라-예측 모드에 대해, 제 2 블록들에 대한 심도 데이터의 샘플들을 인트라-예측하는 것으로서, 여기서, 제 2 블록들은, 심도 데이터의 제 1 블록의 사이즈의 1/4 와 동일한 사이즈를 각각 갖는 4 개의 블록들을 포함하고, 심도 데이터의 제 1 블록의 상부 좌측, 상부 우측, 하부 좌측, 및 하부 우측 블록들에 대응하는, 상기 제 2 블록들에 대한 심도 데이터의 샘플들을 인트라-예측하는 것을 행하고, 제 1 블록의 픽셀 값들과 제 2 블록들의 인트라-예측된 샘플들 사이의 차이를 나타내는 제 1 블록에 대한 잔차 데이터 및 인트라-예측 모드에 기초하여 심도 데이터의 제 1 블록을 코딩하도록 구성된다.

본 개시물의 하나 이상의 양태들의 세부 사항들이 첨부도면 및 아래의 상세한 설명에서 개시된다. 본 개시물에서 설명된 기법들의 다른 특징들, 목적들, 및 이점들은 설명 및 도면들로부터, 그리고 청구범위로부터 명백히 알 수 있을 것이다.

도 1 은 HEVC 에서 사용되는 인트라 예측 모드들을 나타내는 도이다.
도 2 는 HEVC 에서 인트라-예측 모드들에서 사용되는 이웃하는 샘플들을 나타내는 도이다.
도 3 은 이 개시의 기술들을 이용할 수도 있는 예시적인 비디오 코딩 시스템을 나타내는 블록도이다.
도 4 는 픽셀 샘플들의 8x8 블록을 코딩함에 있어서 사용하기 위한 하나의 웨지렛 파티션 패턴 (wedgelet partition pattern) 의 일 예를 나타내는 도이다.
도 5 는 픽셀 샘플들의 8x8 블록을 코딩함에 있어서 사용하기 위한 하나의 윤곽 파티션 패턴 (contour partition pattern) 의 일 예를 나타내는 도이다.
도 6 은 이 개시의 기술들을 구현할 수도 있는 예시적인 비디오 인코더를 나타내는 블록도이다.
도 7 은 이 개시의 기술들을 구현할 수도 있는 예시적인 비디오 디코더를 나타내는 블록도이다.
도 8 은 64x64 인트라-예측 블록을 4 개의 더 작은 32x32 인트라-예측 블록들로서 프로세싱하는 것을 나타내는 도이다.
도 9 는 이 개시의 일 예에 따른 64x64 인트라 심도 블록을 인코딩하는 방법을 나타내는 흐름도이다.
도 10 은 이 개시의 일 예에 따른 64x64 인트라 심도 블록을 디코딩하는 방법을 나타내는 흐름도이다.

이 개시는 3D-HEVC 와 같은 3D 비디오 코딩 프로세스에서 64x64 블록들과 같은 큰 인트라-예측 블록들에 대한 세그먼트-와이즈 DC 코딩 (SDC) 을 단순화하기 위한 기술들을 설명한다. HEVC 메인 프로파일에서, 최대 인트라 예측 사이즈는 32x32 이다. 하지만, 3D-HEVC 의 인트라 SDC 모드에서, 평면형 모드의 최대 인트라 예측 사이즈는 64x 64 이다. 또한, JCT3V-F0126, Liu 등의 "CE5 related: Generic SDC for all Intra modes in 3D-HEVC", ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11 의 3D 비디오 코딩 확장에 대한 공동 협력 팀, 6차 회의, 스위스, 제네바, 2013년 10월 25일 - 11월 1일에서, 심도 코딩에서, 추가적인 심도 인트라 예측 모드들 및 원래의 HEVC 인트라 예측 모드들에 대해 SDC 가 적용될 수 있다는 것이 제안되었다.

이 개시에서, 32x32, 64x64, 또는 다른 NxN 표현들은, 픽셀들, 참조 샘플들 또는 예측 샘플들의 컨텍스트에서 사용될 때, 비디오 데이터의 블록과 연관된 다수의 픽셀들, 참조 샘플들 또는 예측 샘플들을 지칭할 수도 있다. 픽셀들, 참조 샘플들 또는 예측 샘플들은 비디오 데이터의 루마, 크로마 또는 심도 컴포넌트들과 연관될 수도 있다. 일반적으로, NxN 픽셀들 또는 샘플들은 블록에서의 N² 총 픽셀들 또는 샘플들을 산출하고, 여기서, 블록은 하나의 차원, 예컨대, 수평 차원에서 N 개의 픽셀들 또는 샘플들, 및 다른 차원, 예컨대, 수직 차원에서 N 개의 픽셀들 또는 샘플들을 포함한다.

JCT3V-F0126 에서의 제안으로, 모든 HEVC 인트라 예측 모드들의 최대 인트라 예측 사이즈는 64x64 이다. 따라서, HEVC 와 비교될 때, JCT3V-F0126 및 3D-HEVC 양자는 인트라 예측을 위해 사용되는 최대 버퍼 사이즈를 증가시킨다. 일부 예들에서, 본 개시는 3D-HEVC 에서 64x64 SDC 코딩의 단순화를 위한 기술들을 설명한다. 3D-HEVC 와 같은 3D 비디오 코딩 프로세스에서64x64 블록들과 같은 큰 인트라-예측 블록들의 SDC 코딩을 단순화하기 위해, 본 개시는, 인트라 SDC 에서, 큰 인트라-예측 블록들, 예컨대, 64x64 인트라-예측 블록들을 4 개의 더 작은 인트라-예측 블록들, 예컨대, 4 개의 32x32 인트라-예측 블록들로서 프로세싱하는 것을 포함할 수도 있는 기술들을 설명한다. 이러한 방식으로, 인트라 SDC 에서, HEVC 인트라 예측 모드들을 이용한 64x64 인트라 예측 블록은 4 개의 32x32 인트라 예측 서브-블록들로서 프로세싱된다. 인트라 SDC 에서 큰 인트라-예측 블록들을을 다수의 더 작은 인트라-예측 블록들로서 프로세싱하는 것은 인트라 SDC 프로세스에서 최대 버퍼 사이즈 요건들을 감소시킬 수도 있다.

SDC 에서, 비디오 인코더는 심도 코딩 유닛 (CU) 의 코딩된 예측 유닛 (PU) 또는 PU 파티션의 픽셀들과 예측된 PU 또는 PU 파티션의 예측된 샘플들 사이의 차이를 나타내기 위해 델타 (delta) DC 잔차 값을 생성한다. PU 는 심도 맵 모델링 (depth map modeling; DMM) 모드들과 같은 파티셔닝 모드들에 따라 정의된 단일 파티션 또는 2 개 이상의 파티션들을 가질 수도 있다. SDC 에서, 델타 DC 값은 PU 또는 파티션의 픽셀들의 평균 값과 예측된 PU 또는 파티션의 예측 샘플들의 평균 값 사이의 차이를 나타내는 단일 값이다. PU 또는 PU 파티션을 복원하기 위해, 단일 델타 DC 값은 예측된 PU 또는 PU 파티션의 예측 샘플들의 각각의 값들과 합산된다.

이 섹션에서는, 이 개시물에 관련된 비디오 코딩 표준들 및 HEVC 기법들이 검토된다. 비디오 코딩 표준들의 예들은 ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual 및 그의 스케일러블 비디오 코딩 (SVC) 및 멀티뷰 비디오 코딩 (MVC) 확장판들을 포함한, (또한, ISO/IEC MPEG-4 AVC 로서 알려진) ITU-T H.264 를 포함한다. MVC 의 최신 합동 초안은 2010 년 3월, ITU-T 권고안 H.264, "Advanced Video Coding for generic audiovisual services" 에 설명되어 있다.

게다가, ITU-T 비디오 코딩 전문가 그룹 (VCEG) 과 ISO/IEC 동화상 전문가 그룹 (MPEG) 의 비디오 코딩에 관한 합동 작업팀 (JCT-VC) 에 의해 개발되는, 새로운 차기 비디오 코딩 표준, 즉, 고 효율 비디오 코딩 (HEVC) 이 존재한다. HEVC 표준의 최신 안, JCTVC-L1003, Benjamin Bross, Woo-Jin Han, Jens-Ranier Ohm, Gary Sullivan, Ye-Kui Wang, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 10 (for FDIS & Last Call)", ITU-T SG 16 WP 3 와 ISO/IEC JTC 1/SC 29/WG 11 의 JCT-VC (Joint Collaborative Team on Video Coding), 12차 회의: 2013 년 1월 14일-23일, 스위스, 제네바 ("HEVC WD10") 는 참조에 의해 그 전체가 본원에 통합되고, 다음 링크로부터 입수가능하다: http://phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip

도 1은 HEVC에서 사용되는 인트라 예측 모드들을 예시하는 도면이다. 도 1은 HEVC에서의 인트라 코딩을 위해 이용 가능한 다양한 방향성 인트라 예측 모드들에 연관된 예측 방향들을 일반적으로 예시한다. 현재 HEVC에서, 예컨대, HEVC WD 10에서 설명된 바와 같이, 각각의 예측 단위 (PU) 의 루마 성분에 대해, 인트라 예측 방법이, 도 1에 도시된 바와 같이, 33 개의 방향 (각도) 예측 모드들 (2에서 34까지 인덱싱됨), DC 모드 (1로 인덱싱됨) 및 평면 모드 (0으로 인덱싱됨) 와 함께 이용된다.

평면 모드 (0으로 인덱싱됨) 에서, 예측이 비디오 데이터의 블록, 예컨대, PU 내의 픽셀들의 각각에 대해 예측자 (predictor) 값들을 결정하는 이른바 "평면" 함수를 사용하여 수행된다. DC 모드 (1로 인덱싱됨) 에 따르면, 예측이 블록 내의 픽셀들의 각각에 대한 예측자 값들을 결정하기 위해 그 블록 내의 픽셀 값들의 평균을 사용하여 수행된다. 방향 예측 모드에 따르면, 예측이 특정 방향 (모드에 표시된 바와 같음) 을 따라 이웃 블록의 복원된 픽셀들에 기초하여 수행된다. 대체로, 도 1에 도시된 화살표의 맨 끝은 이웃 픽셀들 중 값이 취출되는 상대를 나타내는 반면, 화살표의 머리는 취출된 값이 예측 블록을 형성하기 위해 전파되는 방향을 나타낸다.

HEVC 인트라 예측 모드들의 경우, 비디오 인코더 및/또는 비디오 디코더가, 예컨대, 모드 2 내지 모드 34에 대해 PU의 이웃 샘플들을 사용함으로써, 위에서 논의된 다양한 모드들을 사용하여 PU에서의 각각의 픽셀에 대한 픽셀 특정 예측자 값을 생성한다. 비디오 인코더가 블록의 픽셀들에 대한 실제 심도 값들 및 예측자 값들 간의 차이들에 기초하여 비디오 블록에 대한 잔차 값들을 결정하고, 그 잔차 값들을 비디오 디코더로 제공한다. HEVC WD 10에 따르면, 비디오 인코더가 잔차 값들을 변환하고 변환 계수들을 양자화하고, 양자화된 변환 계수들을 또한 엔트로피 인코딩할 수도 있다. 비디오 디코더가 (예컨대, 엔트로피 디코딩, 역 양자화, 및 역 변환 후) 잔차 값들과 예측자 값들을 가산함으로써 블록의 픽셀들에 대한 복원된 값들을 결정한다. HEVC 인트라 예측 모드들에 관한 추가의 세부사항들이 HEVC WD 10에서 명시되어 있다. SDC 에서, 단일 델타 DC 잔차 값은 각각의 예측된 PU 또는 파티션에 대해 코딩된다. 또한, 델타 DC 잔차 값은 변환 또는 양자화되지 않는다.

도 2 는 HEVC 에서 인트라-예측 모드드에서 사용되는 이웃 샘플들을 나타내는 도이다. 도 2 에서 도시된 바와 같이, 현재의 예측 블록의 픽셀들에 대한 다양한 방향의 인트라-예측 모드들은 공간적으로 이웃하는 샘플들 또는 이러한 이웃하는 샘플들의 조합들에 의존할 수도 있다. 특히, 인트라 예측 프로세스에서, 도 2 에 도시된 바와 같이, 하부 좌측 이웃 샘플들, 좌측 이웃 샘플들, 상부 좌측 이웃 샘플, 상주 이웃 샘플들 및 상부 우측 이웃 복원된 샘플들은 그들이 이용가능한 경우에 사용된다. 이웃하는 샘플들은 예컨대, 동일한 화상 또는 뷰 내에서 인트라-코딩될 현재의 블록에 공간적으로 이웃하는 인접 블록들로부터 획득될 수도 있다.

JCT-3V에서는, 두 개의 HEVC 확장본들, 즉, 멀티뷰 확장본 (MV-HEVC) 및 3D 비디오 확장본 (3D-HEVC) 이 개발되고 있다. 3D-HEVC를 위한 레퍼런스 소프트웨어의 최근 버전, 즉, "3D-HTM 버전 9.0"가 그 전체가 참조로 본원에 통합되고, 다음의 링크로부터 다운로드될 수 있다:

[3D-HTM 버전 9.0]:

https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-9.0/

3D-HEVC의 최근 초안이 『JCTVC-F1001-v2, Gerhard Tech, Krzysztof Wegner, Ying Chen, and Sehoon Yea, "3D-HEVC Draft Text 2," Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 6th Meeting: Geneva, CH, 25 Oct. - 1 Nov. 2013 (이후로는 "F1001" 또는 "3D-HEVC WD"라고 지칭됨) 』에서 제시되며, 그 전부가 참조로 본원에 통합되고, 다음 링크로부터 입수 가능하다:

http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1001-v2.zip

3D-HEVC에서는, 위에서 언급된 3D-HEVC WD에서 정의된 바와 같이, 각각의 액세스 단위가 다수의 화상들을 포함하고, 각각의 뷰에서의 화상들의 각각은 고유 뷰 식별 (id), 또는 뷰 순서 인덱스를 갖는다. 그러나, 동일한 뷰의 심도 화상 및 텍스처 화상이 상이한 계층 id들을 가질 수도 있다.

3D 비디오 코딩에서의 심도 코딩이 이제 설명될 것이다. 3D 비디오 데이터가 캡처된 뷰들 (텍스처) 이 대응 심도 맵들과 연관되는 멀티뷰 비디오 플러스 심도 포맷을 사용하여 나타내어진다. 3D 비디오 코딩에서, 텍스처들 및 심도 맵들은 코딩되고 3D 비디오 비트스트림으로 다중화된다. 심도 맵들은 루마 샘플들이 심도 값들을 나타내는 그레이스케일 비디오로서 코딩되고, 기존의 인트라-코딩 및 인터-코딩 방법들이 심도 맵 코딩을 위해 적용될 수 있다.

심도 맵들은 예리한 에지들 및 상수 영역들에 의해 특징화될 수도 있다. 심도 맵 샘플들의 상이한 통계들로 인해, 상이한 코딩 체계들이 2D 비디오 코덱에 기초하여 심도 맵들을 위해 설계된다. 멀티뷰 플러스 심도 코딩 프로세스에서, 뷰가 텍스처 성분과 심도 성분을 포함할 수도 있다. 심도 성분에서의 심도 코딩 단위들 (CU들) 은 인터 코딩 또는 인트라 코딩될 수도 있다. 심도 CU들은 하나 이상의 PU들로 분할될 수도 있고, PU들은 하나 이상의 파티션들로 분할될 수도 있다.

파티션들은 인트라-예측되거나 인터-예측될 수도 있고, 심도 잔차는 일부 예들에서 세그먼트-와이즈 DC 잔차 코딩 (SDC) 을 이용하여 코딩될 수도 있다. SDC 에서, 코딩된 PU 파티션 및 인트라- 또는 인터-코딩된 PU 파티션 사이의 차이를 나타내는 델타 DC 잔차 값이 코딩될 수도 있다. 특히, 델타 DC 값은 전체 PU 또는 PU 파티션에 대한 단일 값일 수도 있다. 단일 값은 코딩된 PU 파티션의 픽셀 값들의 평균과 인터- 또는 인트라-예측된 PU 또는 파티션의 예측 샘플들의 평균 사이의 차이를 나타낼 수도 있다.

도 3 은 3D-HEVC 와 같은 3D 비디오 코딩 프로세스에서 64x64 블록들과 같은 큰 인트라-예측 블록들에 대한 세그먼트-와이즈 DC 코딩 (SDC) 을 단순화하기 위한 기법들과 같은, 본 개시물의 당야한 기술들을 이용하도록 구성될 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 나타내는 블록도이다. 일부 예들에서, 시스템 (10) 의 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 인트라 SDC 에서 큰 64x64 인트라-예측 블록들, 예컨대, 64x64 인트라-예측 블록들을 4 개의 더 작은 인트라-예측 블록들, 예컨대, 4 개의 32x32 인트라-예측 블록들로서 프로세싱하도록 구성될 수도 있다. 이러한 식으로, 인트라 SDC 에서, HEVC 인트라 예측 모드드의 64x64 인트라 예측은 4 개의 32x32 인트라 예측으로서 프로세싱된다. 일부 경우들에서, 인트라 SDC 에서 큰 인트라-예측 블록들을 다수의 더 작은 인트라-예측 블록들로서 프로세싱하는 것은 인코더 (20) 및/또는 디코더 (30) 에 대한 인트라 SDC 프로세스에서의 최대 버퍼 사이즈 요건들을 감소시킬 수도 있다.

도 3 에 도시된 바와 같이, 시스템 (10) 은 목적지 디바이스 (14) 에 의해 나중에 디코딩될 인코딩된 비디오 데이터를 제공하는 소스 디바이스 (12) 를 구비한다. 특히, 소스 디바이스 (12) 는 비디오 데이터를 컴퓨터 판독가능 매체 (16) 를 통해 목적지 디바이스 (14) 로 제공한다. 소스 디바이스 (12) 와 목적지 디바이스 (14) 는 데스크톱 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 박스들, 이른바 "스마트" 폰들과 같은 전화기 핸드셋들, 이른바 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함하는 매우 다양한 디바이스들 중 임의의 것을 포함할 수도 있다. 몇몇 경우들에서, 소스 디바이스 (12) 와 목적지 디바이스 (14) 는 무선 통신을 위해 갖추어질 수도 있다.

목적지 디바이스 (14) 는 컴퓨터 판독가능 매체 (16) 를 통해 디코딩될 인코딩된 비디오 데이터를 수신할 수도 있다. 컴퓨터 판독가능 매체 (16) 는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동시키는 것이 가능한 임의의 유형의 매체 또는 디바이스를 포함할 수도 있다. 하나의 예에서, 컴퓨터 판독가능 매체 (16) 는 소스 디바이스 (12) 로 하여금 인코딩된 비디오 데이터를 직접 목적지 디바이스 (14) 에 실시간으로 송신할 수 있게 하기 위한, 송신 채널과 같은, 통신 매체를 포함할 수도 있다.

인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되어, 목적지 디바이스 (14) 로 송신될 수도 있다. 통신 매체는 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수도 있다. 통신 매체는 패킷 기반 네트워크, 예컨대 근거리 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.

일부 예들에서, 인코딩된 데이터는 출력 인터페이스 (22) 로부터 비일시적 컴퓨터 판독가능 저장 매체와 같은 컴퓨터 판독가능 저장 매체, 즉, 데이터 저장 디바이스로 출력될 수도 있다. 유사하게, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스로부터 액세스될 수도 있다. 저장 디바이스는 하드 드라이브, 블루레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비-휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산된 또는 로컬로 액세스되는 비일시적 데이터 저장 매체들 중 임의의 데이터 저장 매체를 포함할 수도 있다. 추가 예에서, 저장 디바이스는 소스 디바이스 (12) 에 의해 생성되는 인코딩된 비디오를 저장할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 대응할 수도 있다.

목적지 디바이스 (14) 는 스트리밍 또는 다운로드를 통해 저장 디바이스로부터의 저장된 비디오 데이터에 액세스할 수도 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 에 송신하는 것이 가능한 임의의 타입의 서버일 수도 있다. 예시적인 파일 서버들은 웹 서버 (예를 들어, 웹사이트용), FTP 서버, NAS (network attached storage) 디바이스들, 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스 (14) 는 인터넷 연결을 포함하는 임의의 표준 데이터 연결을 통해 인코딩된 비디오 데이터에 액세스할 수도 있다. 이것은 파일 서버 상에 저장되는 인코딩된 비디오 데이터에 액세스하기에 적합한 무선 채널 (예를 들어, Wi-Fi 연결), 유선 연결 (예를 들어, DSL, 케이블 모뎀 등), 또는 양쪽의 조합을 포함할 수도 있다. 인코딩된 비디오 데이터의 저장 디바이스로부터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이들의 조합일 수도 있다.

본 개시물의 기법들은 공중경유 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 인터넷 스트리밍 비디오 송신들, 예컨대 DASH (dynamic adaptive streaming over HTTP), 데이터 저장 매체 상으로 인코딩되는 디지털 비디오, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들과 같은 다양한 유선 또는 무선 멀티미디어 애플리케이션들 중 임의의 것을 지원하여 비디오 코딩에 적용될 수도 있다. 일부 예들에서, 시스템 (10) 은 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 화상 통화와 같은 애플리케이션들을 지원하기 위해 1-방향 또는 2-방향 비디오 송신을 지원하도록 구성될 수도 있다.

도 3 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 본 개시물에 따르면, 소스 디바이스 (12) 의 비디오 인코더 (20) 는, 3D-HEVC 와 같은 3D 비디오 코딩 프로세스에서 심도 코딩을 위해 단순화된 델타 DC 코딩을 위한 기법들을 적용하도록 구성될 수도 있다. 다른 예들에서, 소스 디바이스 및 목적지 디바이스는 다른 컴포넌트들 또는 어레인지먼트들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (12) 는 외부 카메라와 같은 외부 비디오 소스 (18) 로부터 비디오 데이터를 수신할 수도 있다. 마찬가지로, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함하기보다는, 외부 디스플레이 디바이스와 인터페이싱할 수도 있다.

도 3 의 예시된 시스템 (10) 은 단지 일 예이다. 이 개시물에 기술된 기법들은 디지털 비디오 인코딩 및/또는 디코딩 디바이스에 의해 수행될 수도 있다. 일반적으로 본 개시물의 기법들은 비디오 인코더 (20) /비디오 디코더 (30) 에 의해 수행되지만, 그 기법들은 또한 "코덱" 으로서 일반적으로 지칭되는, 비디오 인코더/디코더에 의해 수행될 수도 있다. 더욱이, 본 개시물의 기법들은 또한 비디오 프리프로세서에 의해 수행될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 단지 코딩 디바이스들의 예들이며, 여기서, 소스 디바이스 (12) 는 목적지 디바이스 (14) 로의 송신을 위해 코딩된 비디오 데이터를 발생한다. 일부 예들에서, 디바이스들 (12, 14) 은 디바이스들 (12, 14) 의 각각이 비디오 인코딩 및 디코딩 구성요소들을 포함하도록, 실질적으로 대칭적 방식으로 동작할 수도 있다. 그러므로, 시스템 (10) 은 예컨대, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 또는 비디오 전화 통신을 위해, 비디오 디바이스들 (12, 14) 사이에 단방향 또는 양방향 비디오 송신을 지원할 수도 있다.

소스 디바이스 (12) 의 비디오 소스 (18) 는 비디오 카메라와 같은 비디오 캡쳐 디바이스, 이전에 캡쳐된 비디오를 포함하는 비디오 아카이브, 및/또는 비디오 콘텐츠 제공자로부터 비디오를 수신하는 비디오 공급 인터페이스를 포함할 수도 있다. 추가 대안적인 예로서, 비디오 소스 (18) 는 컴퓨터 그래픽스-기반의 데이터를 소스 비디오, 또는 라이브 비디오, 아카이브된 비디오, 및 컴퓨터 발생된 비디오의 조합으로서 발생할 수도 있다. 어떤 경우, 비디오 소스 (18) 이 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 스마트 폰들 또는 태블릿 컴퓨터들 또는 비디오 폰들을 형성할 수도 있다. 그러나, 위에서 언급한 바와 같이, 본 개시물에서 설명하는 기법들은 비디오 코딩에 일반적으로 적용가능할 수도 있으며, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다. 각 경우, 캡쳐되거나, 사전-캡쳐되거나, 또는 컴퓨터-발생된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 정보는 그후 출력 인터페이스 (22) 에 의해 컴퓨터-판독가능 매체 (16) 상으로 출력될 수도 있다.

컴퓨터-판독가능 매체 (16) 는 무선 브로드캐스트 또는 유선 네트워크 송신과 같은, 일시성 매체, 또는 데이터 저장 매체들 (즉, 비일시성 저장 매체들) 을 포함할 수도 있다. 일부 예들에서, 네트워크 서버 (미도시) 는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 수신하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로, 예컨대, 네트워크 송신을 통해서 제공할 수도 있다. 이와 유사하게, 디스크 스탬핑 설비와 같은 매체 생산 설비의 컴퓨팅 디바이스는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 수신하고 그 인코딩된 비디오 데이터를 포함하는 디스크를 제조할 수도 있다. 따라서, 컴퓨터-판독가능 매체 (16) 는 여러 예들에서, 여러 형태들의 하나 이상의 컴퓨터-판독가능 매체들을 포함하는 것으로 이해될 수도 있다.

본 개시물은 일반적으로 어떤 정보를 비디오 디코더 (30) 와 같은 또 다른 디바이스로 "시그널링하는" 비디오 인코더 (20) 를 참조할 수도 있다. 그러나, 비디오 인코더 (20) 는 어떤 신택스 엘리먼트들을 비디오 데이터의 여러 인코딩된 부분들과 연관시킴으로써 정보를 시그널링할 수도 있는 것으로 이해되어야 한다. 즉, 비디오 인코더 (20) 는 어떤 신택스 엘리먼트들을 비디오 데이터의 여러 인코딩된 부분들의 헤더들에 또는 페이로드들에 저장하여 데이터를 "시그널링할" 수도 있다. 일부의 경우, 이런 신택스 엘리먼트들은 비디오 디코더 (30) 에 의해 수신되어 디코딩되기 전에 인코딩되어 저장될 수도 있다 (예컨대, 컴퓨터-판독가능 매체 (24) 에 저장될 수도 있다). 따라서, 용어 "시그널링" 은 일반적으로 압축된 비디오 데이터를 디코딩하기 위한 신택스 또는 다른 데이터의 통신을 지칭할 수도 있으며, 이런 통신이 인코딩 시에 신택스 엘리먼트들을 매체에 저장할 때에 일어날지도 모르는 것과 같이, 실시간으로 또는 거의-실시간으로 일어나든 또는 어떤 기간에 걸쳐서 일어나든, 이 신택스 엘리먼트들은 그후 이 매체에 저장되어진 후 임의의 시간에 디코딩 디바이스에 의해 취출될 수도 있다.

목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 컴퓨터-판독가능 매체 (16) 로부터 정보를 수신한다. 컴퓨터-판독가능 매체 (16) 의 정보는 블록들 및 다른 코딩된 유닛들, 예컨대, GOP들의 특성들 및/또는 프로세싱을 기술하는 신택스 엘리먼트들을 포함하는, 비디오 인코더 (20) 에 의해 정의되고 또한 비디오 디코더 (30) 에 의해 사용되는, 신택스 정보를 포함할 수도 있다. 디스플레이 디바이스 (32) 는 그 디코딩된 비디오 데이터를 사용자에게 디스플레이하며, 음극선관 (CRT), 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 프로젝션 디바이스, 또 다른 유형의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 디바이스를 포함할 수도 있다.

도 1 에 나타내지는 않지만, 일부 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오디오 인코더 및 디코더와 각각 통합될 수도 있으며, 오디오 및 비디오 양쪽의 인코딩을 공통 데이터 스트림 또는 별개의 데이터 스트림들로 처리하기에 적합한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능한 경우, MUX-DEMUX 유닛들은, 일 예로서, ITU H.223 멀티플렉서 프로토콜, 또는 다른 프로토콜들, 예컨대, 사용자 데이터그램 프로토콜 (UDP) 을 따를 수도 있다.

비디오 인코더 (20) 및 비디오 디코더 (30) 각각은, 적용가능한 경우, 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직 회로, 소프트웨어, 하드웨어, 펌웨어 또는 임의의 이들의 조합들과 같은, 다양한 적합한 인코더 또는 디코더 회로 중 임의의 회로로서 구현될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 쪽이든 결합된 비디오 인코더/디코더 (CODEC) 의 일부로서 통합될 수도 있다. 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 를 포함하는 디바이스는 집적 회로, 마이크로프로세서, 및/또는 무선 통신 디바이스, 예컨대 셀룰러 전화기를 포함할 수도 있다.

비디오 인코더 (20) 및 비디오 디코더 (30) 는 본 개시물에서 참조되는 바와 같은, HEVC 표준, 그리고 좀더 자세하게는, HEVC 표준의 3D-HEVC 확장판과 같은, 비디오 코딩 표준에 따라서 동작할 수도 있다. HEVC 는 예컨대, ITU-T H.264/AVC 와 같은, 다른 프로세스들에 따라서 코딩을 수행하도록 구성된 디바이스들에 대해, 비디오 코딩 디바이스들의 여러 추가적인 능력들을 가정한다. 예를 들어, H.264 는 9개의 인트라-예측 인코딩 모드들을 제공하는 반면, HM 은 35개 만큼이나 많은 인트라-예측 인코딩 모드들을 제공할 수도 있다.

HEVC 의 일부 기본적인 양태들이 이제 논의될 것이다. 일반적으로, HEVC 는, 비디오 화상 (또는 "프레임") 이 코딩 트리 유닛 (CTU) 들로서 지칭되는 최대 코딩 유닛들의 시퀀스로 분할될 수도 있는 것을 규정한다. CTU 는, 루마 및 크로마 샘플들을 각각 포함하는, 코딩된 트리 블록들 (CTB) 로서 지칭되는, 대응하는 루마 및 크로마 컴포넌트들, 예컨대, 루마 CTB 및 크로마 CTB 들을 포함한다. 비트스트림 내 신택스 데이터는 CTU 에 대한 사이즈를 정의할 수도 있으며, 이 최대 코딩 유닛은 픽셀들의 개수의 관점에서 최대 코딩 유닛이다. 슬라이스는 코딩 순서에서 다수의 연속되는 CTB 들을 포함한다. 화상은 하나 이상의 슬라이스들로 파티셔닝될 수도 있다. 각각의 CTB 는 쿼드트리 파티셔닝 구조에 따라 코딩 유닛들 (CU들) 로 분할될 수도 있다. 일반적으로, 쿼드트리 데이터 구조는 CU 당 하나의 노드를 포함하며, 동시에, 루트 노드는 CTB 에 대응한다. CU 가 4개의 서브-CU들로 분할되면, CU 에 대응하는 노드는 4개의 리프 노드들을 포함하며, 그 리프 노드 각각은 서브-CU들 중 하나에 대응한다.

쿼드트리 데이터 구조의 각각의 노드는 대응하는 CU 에 대한 신택스 데이터를 제공할 수도 있다. 예를 들어, 쿼드트리에서 노드는 그 노드에 대응하는 CU 가 서브-CU들로 분할되는지의 여부를 나타내는 분할 플래그를 포함할 수도 있다. CU 에 대한 신택스 엘리먼트들은 회귀적으로 정의될 수도 있으며, CU 가 서브-CU들로 분할되는지의 여부에 의존할 수도 있다. CU 가 추가로 분할되지 않으면, 리프-CU 로서 지칭된다. 리프-CU 의 4개의 서브-CU들은 또한 원래 리프-CU 의 명시적인 분할이 없더라도 리프-CU들로 지칭될 수도 있다. 예를 들어, 16x16 사이즈에서 CU 가 추가로 분할되지 않으면, 4개의 8x8 서브-CU들 가 또한 16x16 CU 가 전혀 분할되지 않았더라도 리프-CU들로서 지칭될 것이다.

HEVC 에서의 CU 는 CU 가 사이즈 구별을 갖지 않는다는 점을 제외하고는, H.264 표준의 매크로블록과 유사한 목적을 갖는다. 예를 들어, CTB 는 4개의 자식 노드들 (또한, 서브-CU들로서 지칭됨) 로 분할될 수도 있으며, 각각의 자식 노드는 결국 부모 노드일 수도 있으며 또 다른 4개의 자식 노드들로 분할될 수도 있다. 쿼드트리의 리프 노드로서 지칭되는, 최종, 미분할된 자식 노드는 리프-CU 로서 또한 지칭되는, 코딩 노드를 포함한다. 코딩된 비트스트림과 연관되는 신택스 데이터는 최대 CU 심도로서 지칭되는, CTB 가 분할될 수도 있는 최대 횟수를 정의할 수도 있으며, 또한 코딩 노드들의 최소 사이즈를 정의할 수도 있다. 따라서, 일부 예들에서, 비트스트림은 또한 최소 코딩 유닛을 정의할 수도 있다.

CU 는 코딩 노드, 및 이 코딩 노드와 연관되는 변환 유닛들 (TU들) 및 예측 유닛들 (PU들) 을 포함한다. 이 개시물은, HEVC 의 컨텍스트에서, CU, 예측 유닛 (PU), 변환 유닛 (TU), 또는 이들의 파티션, 또는 다른 표준들의 컨텍스트에서 유사한 데이터 구조들을 지칭하기 위해 "블록 (block)" 이라는 용어를 사용할 수도 있다. CU 의 사이즈는 코딩 노드의 사이즈에 대응한다. CU 의 사이즈는 8x8 픽셀들로부터 64x64 픽셀들 이상의 최대치를 갖는 CTB 의 사이즈까지 이를 수도 있다. 각각의 CU 는 하나 이상의 PU들 및 하나 이상의 TU들을 포함할 수도 있다. CU 와 연관되는 신택스 데이터는 예를 들어, 하나 이상의 PU들로의 CU 의 파티셔닝을 기술할 수도 있다. 파티셔닝 모드들은 CU 가 스킵되는지 또는 직접 모드 인코딩될지, 인트라-예측 모드 인코딩될지, 또는 인터-예측 모드 인코딩될지 여부의 사이에 상이할 수도 있다. PU들은 비-정사각형 형태로 파티셔닝될 수도 있거나, 또는 본 개시물에서 설명되는 바와 같이 심도 코딩의 경우 비-직사각형 형태인 파티션들을 포함할 수도 있다. CU 와 연관되는 신택스 데이터는 또한 예를 들어, 쿼드트리에 따른 하나 이상의 TU들로의 CU 의 파티셔닝을 기술할 수도 있다. TU 는 정사각형 또는 비-정사각형 (예컨대, 직사각형) 의 형태일 수 있다.

HEVC 표준은 TU들에 따라서 변환들을 허용하며, 이 TU들은 상이한 CU들에 대해 상이할 수도 있다. TU들은 일반적으로 파티셔닝된 CTB 에 대해 정의된 주어진 CU 내 PU들의 사이즈에 기초하여 사이징되지만, 이것이 항상 그런 것은 아니다. TU들은 일반적으로 PU들과 동일한 사이즈이거나 또는 그보다 작다. 일부 예들에서, CU 에 대응하는 잔차 샘플들은 "잔차 쿼드 트리" (RQT) 로서 알려진 쿼드트리 구조를 이용하여 더 작은 유닛들로 세분될 수도 있다. RQT 의 리프 노드들은 변환 유닛들 (TU들) 로서 지칭될 수도 있다. TU들과 연관되는 픽셀 차이 값들은 변환 계수들을 발생하기 위해 변환될 수도 있으며, 그 변환 계수들은 양자화될 수도 있다. 하지만, SDC 에서, 델타 DC 잔차 값들은 통상적으로 변환되거나 양자화되지 않는다.

리프-CU 는 하나 이상의 예측 유닛들 (PU들) 을 포함할 수도 있다. 일반적으로, PU 는 대응하는 CU 의 모두 또는 부분에 대응하는 공간 영역을 나타내며, PU 에 대한 참조 샘플들을 취출하기 위한 데이터를 포함할 수도 있다. 참조 샘플들은 참조 블록으로부터의 픽셀들일 수도 있다. 일부 예들에서, 참조 샘플들은 참조 블록으로부터 획득되거나, 또는 예컨대, 내삽 또는 다른 기법들에 의해 발생될 수도 있다. 또한, PU 는 예측에 관련된 데이터를 포함한다. 예를 들어, PU 가 인트라-모드 인코딩될 때, PU 에 대한 데이터는 잔차 쿼드트리 (RQT) 에 포함될 수도 있으며, PU 에 대응하는 TU 에 대한 인트라-예측 모드를 기술하는 데이터를 포함할 수도 있다.

또 다른 예로서, PU 가 인터-모드 인코딩될 때, PU 는 PU 에 대한 하나 이상의 모션 벡터들을 정의하는 데이터를 포함할 수도 있다. PU 에 대한 모션 벡터를 정의하는 데이터는 예를 들어, 모션 벡터의 수평 성분, 모션 벡터의 수직 성분, 모션 벡터에 대한 해상도 (예컨대, 1/4 픽셀 정밀도 또는 1/8 픽셀 정밀도), 모션 벡터가 가리키는 참조 화상, 및/또는 모션 벡터에 대한 참조 화상 리스트 (예컨대, RefList 0 또는 RefList 1) 를 기술할 수도 있다.

하나 이상의 PU들을 갖는 리프-CU 는 또한 하나 이상의 변환 유닛들 (TU들) 을 포함할 수도 있다. 변환 유닛들은 위에서 설명한 바와 같이, RQT (또한, TU 쿼드트리 구조로서 지칭됨) 를 이용하여 규정될 수도 있다. 예를 들어, 분할 플래그는 리프-CU 가 4개의 변환 유닛들로 분할되는지 여부를 나타낼 수도 있다. 그 후, 각각의 변환 유닛은 추가적인 서브-TU들로 추가로 분할될 수도 있다. TU 가 추가로 분할되지 않을 때, 리프-CU 로서 지칭될 수도 있다. 일반적으로, 인트라 코딩에 있어, 리프-CU 에 속하는 모든 리프-TU들은 동일한 인트라 예측 모드를 공유한다. 즉, 동일한 인트라 예측 모드가 일반적으로 리프-CU 의 모든 TU들에 대해 예측된 값들을 계산하기 위해 적용된다. 인트라 코딩에 있어, 비디오 인코더 (20) 는 각각 리프-TU 에 대한 잔차 값을 인트라 예측 모드를 이용하여, TU 에 대응하는 CU 의 부분과 원래 블록 사이의 차이로서 계산할 수도 있다. TU 는 PU 의 사이즈에 반드시 제한되지는 않는다. 따라서, TU들은 PU 보다 더 크거나 또는 더 작을 수도 있다. 인트라 코딩에 있어, PU 는 동일한 CU 에 대한 대응하는 리프-TU 와 동일 위치에 배치될 수도 있다. 일부 예들에서, 리프-TU 의 최대 사이즈는 대응하는 리프-CU 의 사이즈에 대응할 수도 있다.

더욱이, 리프-CU들의 TU들은 또한 잔차 쿼드트리들 (RQT들) 로서 지칭되는, 각각의 쿼드트리 데이터 구조들과 연관될 수도 있다. 즉, 리프-CU 는 리프-CU 가 어떻게 TU들로 파티셔닝되는 지를 나타내는 쿼드트리를 포함할 수도 있다. TU 쿼드트리의 루트 노드는 일반적으로 리프-CU 에 대응하는 반면, CU 쿼드트리의 루트 노드는 일반적으로 CTB 에 대응한다. 분할되지 않은 RQT 의 TU들은 리프-TU들로서 지칭된다. 일반적으로, 본 개시물은 달리 언급하지 않는 한, 리프-CU 및 리프-TU 를 각각 지칭하기 위해 용어들 CU 및 TU 를 사용한다.

비디오 시퀀스는 일반적으로 일련의 화상들을 포함한다. 본원에서 설명되는 바와 같이, "화상" 및 "프레임" 은 교환가능하게 사용될 수도 있다. 즉, 비디오 데이터를 포함하는 화상은 비디오 프레임, 또는 간단히 "프레임" 으로 지칭될 수도 있다. 화상들의 그룹 (GOP) 은 일반적으로 비디오 화상들의 하나 이상의 시리즈를 포함한다. GOP 는 GOP 의 헤더, 화상들의 하나 이상의 헤더, 또는 다른 곳에, GOP 에 포함된 다수의 화상들을 기술하는 신택스 데이터를 포함할 수도 있다. 화상의 각각의 슬라이스는 각각의 슬라이스에 대한 인코딩 모드를 기술하는 슬라이스 신택스 데이터를 포함할 수도 있다. 비디오 인코더 (20) 는 일반적으로 비디오 데이터를 인코딩하기 위해 개개의 비디오 슬라이스들 내 비디오 블록들에 대해 동작한다. 비디오 블록은 CU 내 코딩 노드에 대응할 수도 있다. 비디오 블록들은 고정 또는 가변 사이즈들을 가질 수도 있으며, 규정된 코딩 표준에 따라서 사이즈가 상이할 수도 있다.

일 예로서, HEVC 는 여러 PU 사이즈들에서 예측을 지원한다. 특정의 CU 의 사이즈가 2Nx2N 이라고 가정하면, HEVC 는 2Nx2N 또는 NxN 의 PU 사이즈들에서는 인트라-예측을, 그리고 2Nx2N, 2NxN, Nx2N, 또는 NxN 의 대칭적인 PU 사이즈들에서는 인터 예측을 지원한다. 2Nx2N 의 사이즈를 갖는 PU 는 그것이 존재하는 CU 와 동일한 사이즈이기 때문에, 비분할된 CU 를 나타낸다. 다시 말해서, 2Nx2N PU 는 그의 CU 와 동일한 사이즈이다. HEVC 는 2NxnU, 2NxnD, nLx2N, 및 nRx2N 의 PU 사이즈들에서 인터 예측에 대해 비대칭적인 파티셔닝을 지원한다. 비대칭적인 파티셔닝에서, CU 의 하나의 방향은 파티셔닝되지 않지만, 다른 방향은 25% 및 75% 로 파티셔닝된다. 25% 파티션에 대응하는 CU 의 부분은 "상부 (Up)", "하부 (Down)", "좌측 (Left)", 또는 "우측 (Right)" 의 표시가 뒤따르는 "n" 으로 표시된다. 따라서, 예를 들어, "2NxnU" 는 상부에서 2Nx0.5N PU 로 그리고 하부에서 2Nx1.5N PU 로 수평으로 파티셔닝된 2Nx2N CU 를 지칭한다. 심도 코딩에 대해, 3D-HEVC WD 는, 이하 설명되는 바와 같이, 비-직사각형 파티션들을 포함하는, 심도 모델링 모드 (DMM) 들에 따른 PU들의 파티셔닝을 추가로 지원한다.

본 개시물에서, "NxN" 및 "N 곱하기 N" 은 수직 및 수평 치수들의 관점에서 비디오 블록의 픽셀 치수들, 예컨대, 16x16 픽셀들 또는 16 곱하기 16 픽셀들을 지칭하기 위해 상호교환가능하게 사용될 수도 있다. 일반적으로, 16x16 블록은 수직 방향으로 16개의 픽셀들 (y = 16) 및 수평 방향으로 16개의 픽셀들 (x = 16) 을 가질 것이다. 이와 유사하게, NxN 블록은 일반적으로 수직 방향으로 N 개의 픽셀들 및 수평 방향으로 N 개의 픽셀들을 가지며, 여기서 N 은 음이 아닌 정수 값을 나타낸다. 블록에서 픽셀들은 로우들 및 칼럼들로 배열될 수도 있다. 더욱이, 블록들은 수직 방향에서와 같이 수평 방향에서 동일한 픽셀들의 개수를 반드시 가질 필요는 없다. 예를 들어, 블록들은 NxM 픽셀들을 포함할 수도 있으며, 여기서 M 은 반드시 N 과 같을 필요는 없다.

CU 의 PU들을 이용한 정규의 인트라-예측 또는 인터 예측 코딩 이후, 비디오 인코더 (20) 는 CU 의 TU들에 대한 잔차 데이터를 계산할 수도 있다. PU들은 공간 도메인 (또한, 픽셀 도메인으로 지칭됨) 에서 예측 픽셀 데이터를 발생하는 방법 또는 모드를 기술하는 신택스 데이터를 포함할 수도 있으며, TU들은, 정규의 잔차 코딩에 대해, 이산 코사인 변환 (DCT), 정수 변환, 웨이블릿 변환, 또는 잔차 비디오 데이터에 개념적으로 유사한 변환과 같은 변환의 적용 이후 변환 도메인에서의 계수들을 포함할 수도 있다. 잔차 데이터는 미인코딩된 화상의 픽셀들과 PU들에 대응하는 예측 값들 사이의 픽셀 차이들에 대응할 수도 있다. 비디오 인코더 (20) 는 CU 에 대한 잔차 데이터를 포함하는 TU들을 형성하고, 그후 그 TU들을 변환하여, 그 CU 에 대한 변환 계수들을 발생할 수도 있다.

변환 계수들을 생성하는 임의의 변환들 이후, 비디오 인코더 (20) 는 변환 계수들의 양자화를 수행할 수도 있다. 양자화는 일반적으로 계수들을 나타내는데 사용되는 데이터의 양을 가능한 한 감축하기 위해 변환 계수들이 양자화되는 프로세스를 지칭하며, 추가적인 압축을 제공한다. 양자화 프로세스는 그 계수들의 일부 또는 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 예를 들어, n-비트 값은 양자화 동안 m-비트 값까지 절사될 수도 있으며, 여기서, n 은 m 보다 더 크다. 심도 코딩에 대해, 3D-HEVC WD는 추가로 잔차 데이터에 대한 SDC 를 지원하고, 여기서, 델타 DC 값들은 PU 파티션들에 대한 잔차 값들을 나타낸다. 정규 HEVC 잔차 값들과는 달리, 델타 DC 잔차 값들은 통상적으로 변환 또는 양자화되지 않는다.

양자화 이후, 비디오 인코더 (20) 는 양자화된 변환 계수들을 스캐닝하여, 양자화된 변환 계수들을 포함하는 2차원 매트릭스로부터 1차원 벡터를 발생할 수도 있다. 스캐닝은 어레이의 앞부분에 더 높은 에너지 (따라서, 더 낮은 주파수) 계수들을 배치하고, 그리고 어레이의 뒷부분에 더 낮은 에너지 (따라서, 더 높은 주파수) 계수들을 배치하도록 설계될 수도 있다.

일부 예들에서, 비디오 인코더 (20) 는 엔트로피 인코딩될 수 있는 직렬화된 벡터를 발생하기 위해, 미리 정의된 스캐닝 순서를 이용하여, 양자화된 변환 계수들을 스캐닝할 수도 있다. 다른 예들에서, 비디오 인코더 (20) 는 적응적 스캐닝을 수행할 수도 있다. 양자화된 변환 계수들을 스캐닝하여 1차원 벡터를 형성한 후, 비디오 인코더 (20) 는 HEVC 에서 사용되는 바와 같이 예컨대, 컨텍스트-적응 2진 산술 코딩 (CABAC) 에 따라서, 1차원 벡터를 엔트로피 인코딩할 수도 있다. 다른 엔트로피 코딩 프로세스들의 예들은, 컨텍스트-적응 가변 길이 코딩 (CAVLC), 신택스-기반 컨텍스트-적응 2진 산술 코딩 (SBAC), 및 확률 간격 파티셔닝 엔트로피 (PIPE) 코딩을 포함한다. 다시, HEVC 에서, CABAC 가 사용된다. 비디오 인코더 (20) 는 또한 비디오 데이터를 디코딩할 때에 비디오 디코더 (30) 에 의해 사용하기 위한 인코딩된 비디오 데이터와 연관되는 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다.

비디오 인코더 (20) 는 블록-기반 신택스 데이터, 화상-기반의 신택스 데이터, 및 GOP-기반 신택스 데이터와 같은 신택스 데이터를, 비디오 디코더 (30) 로, 예컨대, 화상 헤더, 블록 헤더, 슬라이스 헤더, 또는 GOP 헤더로 추가로 전송할 수도 있다. GOP 신택스 데이터는 각각의 GOP 에서의 화상들의 수를 기술할 수도 있으며, 프레임 신택스 데이터는 대응하는 화상을 인코딩하는데 사용되는 인코딩/예측 모드를 나타낼 수도 있다.

비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 심도 데이터의 인트라-화상 예측 코딩 및 심도 데이터의 인터-예측 코딩을 수행할 수도 있다. 덧붙여서, 본 개시물의 예들에 따라, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는, 예컨대 다양한 예들 중 임의의 예에 따라, 비디오 데이터의 심도 인트라 예측 코딩 및/또는 비디오 데이터의 심도 인터 예측 코딩으로부터 생기는 잔차 데이터를 코딩하기 위해 SDC를 사용할 수도 있는데, 이는 설명될 것이다.

HEVC에서, 코딩 단위 (CU) 의 사이즈가 2Nx2N이라고 가정하면, 비디오 인코더 (20) 와 비디오 디코더 (30) 는 인트라 예측을 위한 2Nx2N 또는 NxN의 다양한 예측 단위 (PU) 사이즈들과, 인터 예측을 위한 2Nx2N, 2NxN, Nx2N, NxN, 또는 유사한 사이즈들의 대칭적 PU 사이즈들을 지원할 수도 있다. 비디오 인코더와 비디오 디코더가 인터 예측을 위해 2NxnU, 2NxnD, nLx2N, 및 nRx2N의 PU 사이즈들에 대한 비대칭 파티셔닝을 또한 지원할 수도 있다. 3D-HEVC에서 제공되는 바와 같은 심도 코딩의 경우, 비디오 인코더와 비디오 디코더가, 본 개시물에서 설명되는 바와 같이, 다양한 심도 모델링 모드들 (DMM들) 을 포함하는, 인트라 예측 및/또는 인터 예측을 위한 다양한 상이한 심도 코딩 모드들을 지원하도록 구성될 수도 있다.

3D 비디오 코딩 기법들을 사용하여 코딩된 비디오 데이터는 3차원 효과를 생성하기 위해 랜더링 및 디스플레이될 수도 있다. 하나의 예로서, 상이한 뷰들의 두 개의 이미지들 (즉, 약간 상이한 수평 포지션들을 갖는 두 개의 카메라 관점들에 대응함) 은, 하나의 이미지가 관람자의 좌안에 의해 보이고 나머지 이미지는 관람자의 우안에 의해 보이도록 실질적으로 동시에 디스플레이될 수도 있다.

3D 효과가, 예를 들어, 스테레오스코픽 디스플레이들 또는 오토스테레오스코픽 디스플레이들을 사용하여 달성될 수도 있다. 스테레오스코픽 디스플레이들은 두 개의 이미지들을 그에 따라 필터링하는 안경류 (eyewear) 와 연계하여 사용될 수도 있다. 예를 들어, 패시브 안경이 적절한 눈이 적절한 이미지를 보는 것을 보장하기 위해 편광 렌즈들, 또는 상이한 착색된 렌즈들, 또는 다른 광학적 필터링 기법들을 사용하여 이미지들을 필터링할 수도 있다. 다른 예로서, 액티브 안경은 좌안 이미지를 디스플레이하는 것과 우안 이미지를 디스플레이하는 것 간을 교번할 수도 있는 스테레오스코픽 디스플레이와 협력하여 대체 렌즈들을 빠르게 셔터링할 수도 있다. 오토스테레오스코픽 디스플레이들은 두 개의 이미지들을 안경이 필요 없는 그런 방식으로 디스플레이한다. 예를 들어, 오토스테레오스코픽 디스플레이들은 각각의 이미지로 하여금 관람자의 적절한 눈들 속으로 투영되게 하도록 구성되는 거울들 또는 프리즘들을 포함할 수도 있다.

본 개시물의 기법들은 3D 비디오를 지원하기 위해 심도 데이터를 코딩함으로써 3D 비디오 데이터를 코딩하는 기법들에 관련된다. 대체로, "텍스처"라는 용어는 이미지의 휘도 (luminance) (다시 말하면, 밝기 또는 "루마") 값들 및 그 이미지의 색차 (chrominance) (다시 말하면, 컬러 또는 "크로마") 값들을 기술하는데 사용된다. 몇몇 예들에서, 텍스처 이미지가 휘도 데이터 (Y) 의 하나의 세트와 청색 색상들 (Cb) 및 적색 색상들 (Cr) 을 위한 색차 데이터의 두 개의 세트들을 포함할 수도 있다. 특정한 크로마 포맷들, 이를테면 4:2:2 또는 4:2:0에서, 크로마 데이터는 루마 데이터에 비하여 다운샘플링된다. 다시 말하면, 색차 픽셀들의 공간적 해상도는 대응 휘도 픽셀들의 공간적 해상도보다 더 낮을 수도, 예컨대, 휘도 해상도의 1/2 또는 1/4일 수도 있다.

심도 데이터가 대응 텍스처 데이터에 대한 심도 값들을 일반적으로 기술한다. 예를 들어, 심도 이미지가 심도를, 예컨대, 뷰의 심도 성분으로 각각 기술하는 심도 픽셀들 (또는 심도 값들) 의 세트를, 예컨대 그 뷰의 텍스처 성분에서의 대응 텍스처 데이터에 대해 포함할 수도 있다. 각각의 픽셀은 하나 이상의 텍스처 값들 (예컨대, 휘도 및 색차) 을 가질 수도 있고, 하나 이상의 심도 값들을 또한 가질 수도 있다. 텍스처 화상과 심도 맵이 동일한 공간적 해상도를 가질 수도 있지만 동일한 공간적 해상도를 가질 필요는 없다. 예를 들면, 심도 맵은 대응하는 텍스처 화상보다 더 많거나 더 적은 픽셀들을 포함할 수도 있다. 심도 데이터는 대응하는 텍스처 데이터에 대한 수평 디스패리티 (disparity) 를 결정하는데 사용될 수도 있고, 몇몇 경우들에서, 수직 디스패리티가 또한 사용될 수도 있다.

텍스처 및 심도 데이터를 수신하는 디바이스가 하나의 뷰 (예컨대, 좌안 뷰) 를 위한 제 1 텍스처 이미지를 디스플레이하고, 제 1 텍스처 이미지의 픽셀 값들을 심도 값들에 기초하여 결정된 수평 디스패리티 값들만큼 오프셋시킴으로써 다른 뷰 (예컨대, 우안 뷰) 를 위한 제 2 텍스처 이미지를 생성하기 위해 심도 데이터를 사용하여 제 1 텍스처 이미지를 수정할 수도 있다. 대체로, 수평 디스패리티 (또는 간단히 "디스패리티") 는 우측 뷰에서의 대응 픽셀에 대해 제 1 뷰에서의 픽셀의 수평 공간 오프셋을 기술하며, 여기서 그 두 개의 픽셀들은 두 개의 뷰들에서 나타내어진 바와 동일한 대상의 동일한 부분에 대응한다.

또 다른 예들에서, 심도 데이터는 이미지 평면에 수직인 z-차원에서의 픽셀들에 대해 정의될 수도 있어서, 주어진 픽셀에 연관된 심도가 그 이미지에 대해 정의된 영의 디스패리티 평면을 기준으로 정의된다. 이러한 심도는 픽셀을 디스플레이하기 위한 수평 디스패리티를 생성하는데 사용될 수도 있어서, 픽셀은 영의 디스패리티 평면을 기준으로 한 픽셀의 z-차원 심도 값에 의존하여, 좌안 및 우안에 대하여 상이하게 디스플레이된다. 영의 디스패리티 평면은 비디오 시퀀스의 상이한 부분들에 대해 변경될 수도 있고, 영-디스패리티 평면을 기준으로 한 심도의 양이 또한 변경될 수도 있다.

영의 디스패리티 평면 상에 위치된 픽셀들은 좌안 및 우안에 대해 유사하게 정의될 수도 있다. 영의 디스패리티 평면의 앞쪽에 위치된 픽셀들은 픽셀이 이미지 평면에 수직인 z-방향에서 이미지로부터 나오는 것으로 보이는 지각을 생성하기 위해서 (예컨대, 수평 디스패리티를 사용하여) 좌안 및 우안에 대해 상이한 로케이션들에서 디스플레이될 수도 있다. 영의 디스패리티 평면 뒤쪽에 위치된 픽셀들은 심도의 지각을 무시하기 위해, 약간의 블러 (blur) 를 가지고 디스플레이될 수도 있거나, 또는 좌안 및 우안에 대해 상이한 로케이션들에서 (예컨대, 영의 디스패리티 평면 앞쪽에 위치된 픽셀들의 수평 디스패리티와 반대인 수평 디스패리티를 사용하여) 디스플레이될 수도 있다. 다른 많은 기법들이 이미지에 대한 심도 데이터를 전달 또는 정의하는데 또한 사용될 수도 있다.

2차원 비디오 데이터는 화상들의 각각이 특정 시간 인스턴스에 대응하는 개별 화상들의 시퀀스로서 일반적으로 코딩된다. 다시 말하면, 각각의 화상은 시퀀스에서의 다른 이미지들의 플레이백 시간들을 기준으로 연관된 플레이백 시간을 갖는다. 이들 화상들은 텍스처 화상들 또는 텍스처 이미지들로 간주될 수도 있다. 심도 기반 3D 비디오 코딩에서, 시퀀스에서의 각각의 텍스처 화상은 심도 맵에 또한 대응할 수도 있다. 다시 말하면, 텍스처 화상에 대응하는 심도 맵이 대응 텍스처 화상에 대한 심도 데이터를 기술한다. 멀티뷰 비디오 데이터는, 각각의 뷰가 텍스처 성분들 및 대응 심도 성분들의 각각의 시퀀스를 포함할 수도 있는 다양한 상이한 뷰들에 대한 데이터를 포함할 수도 있다.

화상이 특정 시간 인스턴스에 일반적으로 대응한다. 비디오 데이터는, 각각의 액세스 단위가 특정 시간 인스턴스에 대응하는 모든 데이터를 포함하는 액세스 단위들의 시퀀스를 사용하여 나타내어질 수도 있다. 따라서, 예를 들어, 멀티뷰 비디오 데이터 플러스 심도 코딩의 경우, 공통의 시간 인스턴스에 대한 각각의 뷰로부터의 텍스처 이미지들, 더하기 그 텍스처 이미지들의 각각에 대한 심도 맵들이, 특정 액세스 단위 내에 모두 포함될 수도 있다. 그런고로, 텍스처 이미지에 대응하는 텍스처 성분을 위한 데이터 및 심도 맵에 대응하는 심도 성분을 위한 데이터를 각각의 뷰가 포함할 수도 있는 다수의 뷰들을 액세스 단위가 포함할 수도 있다.

각각의 액세스 단위는 다수의 뷰 성분들 또는 화상들을 포함할 수도 있다. 특정 뷰에 대한 뷰 성분들은 고유한 뷰 id 또는 뷰 순서 인덱스와 연관되어서, 상이한 뷰들의 뷰 성분들은 상이한 뷰 ID들 또는 뷰 순서 인덱스들과 연관된다. 뷰 성분이 텍스처 뷰 성분뿐 아니라 심도 뷰 성분을 포함할 수도 있다. 동일한 뷰에서의 텍스처 및 심도 뷰 성분들은 상이한 계층 ID들을 가질 수도 있다. 텍스처 뷰 성분이 하나 이상의 텍스처 슬라이스들로서 코딩될 수도 있는 반면, 심도 뷰 성분은 하나 이상의 심도 슬라이스들로서 코딩될 수도 있다. 멀티뷰-플러스-심도는 다양한 코딩 가능성들, 이를테면 인트라-화상, 인터-화상, 인트라-뷰, 인터-뷰, 모션 예측 등을 생성한다.

이런 방식으로, 3D 비디오 데이터는 캡처된 또는 생성된 뷰들이 대응 심도 맵들에 연관되는 텍스처 성분들을 포함하는 멀티뷰 비디오 플러스 심도 포맷을 사용하여 나타내어질 수도 있다. 더구나, 3D 비디오 코딩에서, 텍스처 및 심도 맵들이 코딩되고 3D 비디오 비트스트림으로 다중화될 수도 있다. 심도 맵들은 심도 맵들의 "루마" 샘플들 (다시 말하면, 픽셀들) 이 심도 값들을 표현하는 그레이스케일 이미지들로서 코딩될 수도 있다.

일반적으로, 심도 데이터의 블록 (예컨대 픽셀들에 대응하는, 심도 맵의 샘플들의 블록) 이 심도 블록이라고 지칭될 수도 있다. 심도 값이 심도 샘플에 연관된 루마 값이라고 지칭될 수도 있다. 다시 말하면, 심도 맵은 모노크롬 텍스처 화상, 즉, 휘도 값들을 포함하지만 색차 값들을 포함하지 않는 텍스처 화상으로서 일반적으로 취급될 수도 있다. 어느 경우에나, 기존의 인트라-코딩 및 인터-코딩 방법들은 심도 맵 코딩을 위해 적용될 수도 있다. 대안적으로, 또는 추가적으로, 인트라 SDC 또는 인터 SDC 와 같은 다른 코딩 방법들이 3D-HEVC 와 같은 3D 비디오 코딩 프로세스에서의 심도 맵 코딩을 위해 적용될 수도 있다.

3D-HEVC에서, 인트라 예측 모드들의 동일한 정의는 HEVC에서 이용된다. 다시 말하면, 3D-HEVC에서 사용되는 인트라 모드들은 HEVC의 인트라 모드들을 포함한다. 또한, 3D-HEVC에서, 심도 모델링 모드들 (DMM들) 이 심도 슬라이스의 인트라 예측 단위를 코딩하기 위해 HEVC 인트라 예측 모드들과 함께 도입된다.

심도 맵들에서의 예리한 에지들의 더 나은 표현들을 위해, 현재 HTM (3D-HTM 버전 9.0) 은 심도 맵의 인트라 코딩을 위해 DMM 방법을 적용한다. 심도 블록이 DMM 패턴에 의해 특정된 두 개의 구역들로 파티셔닝되는데, 각각의 구역은 상수 값에 의해 표현된다. DMM 패턴은 명시적으로 시그널링되거나 (DMM 모드 1), 또는 병치된 텍스처 블록을 사용하여 예측될 수 있다 (DMM 모드 4).

웨지렛 파티셔닝 및 윤곽 파티셔닝을 포함하는, DMM에서 정의된 파티셔닝 모델들의 두 가지 유형들이 있다. 도 4 는 픽셀 샘플들의 블록을 코딩함에 있어서 사용하기 위한 웨지렛 파티션 패턴의 일 예를 도시하는 도면이다. 도 5 는 픽셀 샘플들의 블록을 코딩함에 있어서 사용하기 위한 윤곽 파티션 패턴의 일 예를 도시하는 도면이다. 웨지렛 파티션의 경우, 도 4 에 도시된 바와 같이, PU 와 같은 심도 블록이 일직선에 의해 두 개의 구역들로 파티셔닝되는데, 두 개의 구역들은 P0와 P1으로 라벨 표시된다. 윤곽 파티셔닝의 경우, 도 5 에 도시된 바와 같이, PU 와 같은 심도 블록이 두 개의 불규칙 구역들로 파티셔닝될 수 있다. 따라서, PU 는 단일 파티션을 포함할 수도 있고, 또는, 웨지렛 파티셔닝 또는 윤곽 파티셔닝의 경우에, 2 개의 파티션들을 포함할 수도 있다.

윤곽 파티셔닝은 웨지렛 파티셔닝보다 더 유연하지만, 명시적으로 시그널링되는 것이 어렵다. DMM 모드 4에서, 3윤곽 파티셔닝 패턴은 병치된 텍스처 블록의 복원된 루마 샘플들을 사용하여 암시적으로 도출된다.

하나의 예로서, 도 4 는 8x8 블록 (40) 에 대한 웨지렛 패턴의 예시도를 제공한다. 웨지렛 파티션의 경우, 심도 블록, 예컨대, PU가, 일직선 (46) 에 의해, 도 4 에 예시된 바와 같이 시작점 (48) 이 (Xs, Ys) 에 위치되고 종점 (50) 이 (Xe, Ye) 에 위치되는 두 개의 구역들 (42, 44) 로 파티셔닝되는데, 두 개의 구역들 (42, 44) 은 각각 P0 및 P1으로 또한 라벨 표시된다. 블록 (40) 에서의 각각의 패턴은 대응 샘플이 구역 P0에 속하는지 또는 P1에 속하는지를 라벨 표시하는 사이즈 uB×vB 이진 숫자의 어레이로 이루어지는데, uB 및 vB는 각각 현재 PU의 수평 사이즈 및 수직 사이즈를 나타낸다. 구역들 (P0 및 P1) 은 도 4 에서 각각 백색 샘플들 및 음영진 샘플들로 나타내어진다.

도 5 의 예에서 도시된 바와 같이, 심도 블록, 이를테면 심도 블록 (60) 이 윤곽 파티셔닝을 사용하여 세 개의 불규칙 형상 구역들 (62, 64A 및 64B) 로 파티셔닝될 수 있는데, 구역 (62) 은 P0로서 라벨 표시되고 두 개의 구역들 (64A 및 64B) 은 각각 P1으로서 공동 라벨 표시된다. 비록 구역 (64A) 에서의 픽셀들이 구역 (64B) 에서의 픽셀들과 바로 인접하지 않지만, 구역들 (64A 및 64B) 은 심도 블록 (60) 의 PU를 예측할 목적으로 하나의 단일 구역을 형성하기 위해 정의될 수도 있다. DMM 모드 4 에서, 3D-HEVC 의 경우에, 윤곽 파티셔닝 패턴은 병치된 텍스처 블록의 복원된 루마 샘플들을 이용하여 암시적으로 도출된다.

도 4 및 도 5 를 참조하면, NxN 심도 블록들 (40 및 60) 내의 각 개개의 정사각형이 각각 심도 블록들 (40 및 60) 의 각 개개의 픽셀을 나타낸다. 도 4 에서, 정사각형들 내의 수치 값들은 대응 픽셀이 구역 (42) 에 속하는지 (도 4의 예에서의 값 "0") 또는 구역 (44) 에 속하는지 (도 4의 예에서의 값 "1") 를 나타낸다. 픽셀이 구역 (42) (백색 정사각형들) 에 속하는지 또는 구역 (44) (회색 음영의 정사각형들) 에 속하는지를 나타내기 위해 음영이 도 4에서 또한 사용된다.

위에서 논의된 바와 같이, 각각의 패턴 (다시 말하면, 웨지렛 및 윤곽 양쪽 모두) 이, 대응 샘플 (다시 말하면, 픽셀) 이 구역 P1에 속하는지 또는 P2에 속하는지 (여기서 P0는 도 4에서의 구역 (42) 및 도 5에서의 구역 (62) 에 대응하고, P1은 도 4에서의 구역 (44) 및 도 5에서의 구역들 (64A, 64B) 에 대응함) 를 라벨 표시하는 사이즈 uB X vB 이진 숫자들의 어레이에 의해 정의될 수도 있으며, 여기서 uB 및 vB는 현재 PU의 수평 사이즈 및 수직 사이즈를 각각 나타낸다. 도 4 및 도 5의 예들에서, PU는 블록들 (40 및 60) 에 각각 대응한다. 비디오 인코더 (20) 및 비디오 디코더 (30) 와 같은 비디오 코더들은, 코딩의 시작부, 예컨대, 인코딩의 시작부 또는 디코딩의 시작부에서 웨지렛 패턴들을 초기화할 수도 있다.

HEVC 인트라 예측 모드들의 경우, 픽셀 특정 인트라 예측자 값이, HEVC WD 10의 하위절 8.4.2에서 명기된 바와 같이, PU의 이웃 샘플들을 사용함으로써 PU에서의 각각의 픽셀에 대해 생성된다.

다른 심도 인트라 모드들에 대해, 파티션 특정 DC 예측자는 PU 의 2 개까지의 이웃하는 샘플들을 이용함으로써 PU 내의 각 파티션에 대해 계산된다. bPattern[x][y] 를 PU 의 파티션 패턴이라 하고, 여기서, x = 0..N - 1, y = 0..N-1 이고 N 은 PU 의 폭이다. bPattern[x][y] 는 픽셀 (x, y) 이 속하는 파티션을 표시하며, bPattern[x][y] 는 0 또는 1 과 동일할 수 있다. BitDepth 를 심도 샘플들의 비트 심도라 하고 RecSample[x][y] 를 PU 의 복원된 이웃하는 샘플들이라 하며, 여기서, x = -1 및 y = 0..N-1 (PU 의 좌측 이웃하는 픽셀들에 대응함) 또는 y = -1, x = 0..N-1 (PU 의 상부 이웃하는 픽셀들에 대응함) 이다. 그 후, 파티션 X 의 DC 예측자, 즉 DCPred[X] (여기서, X = 0 또는 1) 는 다음과 같이 유도된다:

Set bT = ( bPattern[0][0] != bPattern[N-1][0] ) 1 : 0

Set bL = ( bPattern[0][0] != bPattern[0][N-1] ) ? 1 : 0

If bT 이 bL 과 동일한 경우

- DCPred[X] = ( RecSample[-1][0] + RecSample[0][-1] ) >> 1

- DCPred[1-X] = bL ? ( RecSample[-1][N-1] + RecSample[N-1][-1] ) >> 1 : 2 ^{BitDepth -1}

그렇지 않은 경우

- DCPred[X] = bL ? RecSample[(N-1)>>1][-1] : RecSample[-1][(N-1)>>1]

- DCPred[1-X] = bL ? RecSample[-1][N-1] : RecSample[N-1][-1]

심도 룩업 테이블 (Depth Lookup Table, DLT) 이 심도 인덱스들을 심도 값들에 매핑한다. DLT는 전체 비디오 시퀀스를 인코딩하기 전에 제 1 인트라 기간 내의 프레임들을 분석함으로써 구축될 수 있다. 3D-HEVC의 현재 설계에서, 유효한 심도 값들의 모두는 오름 차순으로 정렬되고 인덱스들을 증가시키면서 DLT에 삽입된다.

DLT는 옵션적인 코딩 도구이다. 현재 HTM (3D-HTM 버전 9.0) 에서, 인코더 (20) 는 0부터 MAX_DEPTH_VALUE (예컨대, 8-비트 심도 샘플들의 경우 255) 까지의 절반을 초과하는 값들이 분석 단계에 원래의 심도 맵에서 보인다면 DLT를 사용하지 않을 것이다. 그렇지 않으면, DLT는 시퀀스 파라미터 세트 (sequence parameter set, SPS) 및/또는 비디오 파라미터 세트 (video parameter set, VPS) 에서 코딩될 것이다. 인코더 (20) 가 DLT를 코딩하기 위하여, 유효한 심도 값들의 수는 Exp-Golomb 코드로 먼저 코딩된다. 그 다음에, 각각의 유효한 심도 값이 Exp-Golomb 코드로 또한 코딩된다.

비디오 인코더 (20) 는 코딩될 입력 비디오 시퀀스로부터 미리 정의된 수의 프레임들을 읽고 이용 가능한 심도 맵 값들에 대해 모든 샘플들을 스캔한다. 이 프로세스 동안, 인코더 (20) 는 원래의 비압축 심도 맵에 기초하여 심도 값들을 유효한 심도 값들에 매핑하는 매핑 테이블을 생성한다.

인코더 (20) 및/또는 디코디 (30) 는 심도 룩업 테이블 Idx2Depth(.), 인덱스 룩업 테이블 Depth2Idx(.), 심도 매핑 테이블 M(.) 및 유효한 심도 값들의 수 (d_valid) 를 심도 맵 (D_t) 을 분석하는 다음의 알고리즘을 사용하여 도출한다:

1. 초기화

부울린 벡터 B(d)는 모든 심도 값들 (d) 에 대해 B(d) = FALSE

인덱스 카운터 i = 0

2. 다수의 시간 인스턴스들 (t) 에 대해 D _t 에서 각각의 픽셀 포지션 (p) 을 프로세싱:

유효한 심도 값들을 마킹하기 위해 (B(D _t (p)) = TRUE 로 설정

3. B(d) → d_valid 에서의 TRUE 값들의 수를 카운트

4. B(d) == TRUE 인 각각의 d에 대해:

Idx2Depth(i) = d 로 설정

M(d) = d 로 설정

Depth2Idx(d) = i 로 설정

i = i + 1

5. B(d) == FALSE인 각각의 d에 대해:

d' = arg min|d - d'| 및 B(d') == TRUE 를 구함

M(d) = d' 으로 설정

Depth2Idx(d) = Depth2Idx(d') 로 설정

인덱스 (Idx) 로부터 다시 심도 값 (d) 으로의 매핑은 다음과 같다: d = Idx2Depth[Idx]. 심도 값 (d) 으로부터 인덱스 (Idx) 로의 매핑은 다음과 같다: Idx = Depth2Idx[d].

인트라 SDC 모드 (즉, 인트라 세그먼트-와이즈 DC 코딩, 이는 인트라 단순화된 심도 코딩이라고 또한 지칭될 수도 있음) 는 심도 슬라이스의 인트라 PU를 코딩하기 위해 HEVC 인트라 예측 모드들, DMM 모드들 및 체인 코딩 모드와 함께 3D-HEVC에서 도입되었다. 현재 3D-HEVC에서, SDC는 2Nx2N PU 파티션 사이즈에 대해서만 적용된다. 양자화된 변환 계수들을 코딩하는 대신, SDC 모드들은 다음 두 개의 유형들의 정보로 심도 블록을 나타낸다:

1. 다음을 포함하는, 현재 심도 블록의 파티션의 유형:

a. DMM 모드 1 (2 파티션들)

b. 평면 (1 파티션)

2. 각각의 파티션에 대해, (픽셀 도메인에서의) 잔차 값이 비트스트림으로 시그널링된다.

평면 및 DMM 모드 1의 파티션 유형들에 각각 대응하는 SDC 모드 1 및 SDC 모드 2를 포함하는 두 개의 서브-모드들이 SDC에서 정의된다. DC 잔차 값은 심도 PU 파티션의 DC 값과 그 심도 PU 파티션에 대한 예측된 파티션의 DC 값에서의 차이를 표시하는 델타 DC 값으로서 나타내어질 수도 있다. 다시, DC 값은 심도 PU 파티션에서의 심도 픽셀 샘플들의 평균 픽셀 값일 수도 있다.

단순화된 잔차 코딩이 인트라 SDC에서 사용된다. 단순화된 잔차 코딩에서, 위에서 설명된 바와 같이, 하나의 DC 잔차 값은 PU의 각각의 파티션에 대해 시그널링되고, 변환 또는 양자화는 적용되지 않는다. 각각의 파티션의 DC 잔차 값을 나타내는 정보를 시그널링하기 위해, 위에서 논의된 바와 같이, 다음 두 개의 방법들이 적용될 수 있다:

1. 현재 PU에서의 현재 파티션의 DC 값 (즉, 평균 값, Aver로 표시됨) 으로부터 이웃 샘플들에 의해 생성된 Pred로 표시된 예측자를 감산함으로써 계산되는 각각의 파티션의 DC 잔차 값을 직접 코딩한다.

2. DLT들이 송신되는 경우, DC 잔차 값을 코딩하는 대신, 인덱스 룩업 테이블로부터 매핑된 Aver 및 Pred의 인덱스 차이가 코딩된다. 인덱스 차이는 Aver의 인덱스로부터 Pred의 인덱스를 감산함으로써 계산된다. 디코더 측에서, 디코딩된 인덱스 차이 및 Pred의 인덱스의 합은 DLT에 기초하여 심도 값들에 다시 매핑된다.

JCT3V-F0126 에서, 심도 코딩에서, 인트라 SDC 가 모든 추가적인 심도 인트라 예측 모드들 및 원래의 HEVC 인트라 예측 모드들에 대해 적용될 수 있음이 제안되었다. 특히, SDC 의 기본 아이디어는 비디오 인코더 (20) 및 비디오 디코더 (30) 에서 이용되는 다양한 인트라 예측 모드들에 대해 확장된다. SDC 에서, 비디오 인코더 (20) 또는 비디오 디코더 (30) 는 인트라 예측 모드에서 코딩된 심도 PU 또는 PU 파티션에 대해 오직 하나의 DC 잔차 값, 즉, 델타 DC 값만을 코딩한다. 변환 및 양자화는 스킵되고, 추가적인 잔차 변환 트리는 심도 코딩 유닛 (CU) 에 대해 요구되지 않는다. 따라서, SDC는 인트라 모드에서 심도 PU 또는 파티션에 대한 하나의 DC 잔차 값을 인코더 (20) 는 인코딩만 하게 하고 및/또는 비디오 디코더 (30) 는 디코딩만 하게 하는 대안적 잔차 코딩 방법을 제공한다.

도 6 은, 3D-HEVC 와 같은 3D 비디오 코딩 프로세스에서, 64x64 블록들과 같은, 큰 인트라-예측 블록들에 대해 세그먼트-와이즈 DC 코딩 (SDC) 을 단순화하기 위한 기법들과 같은, 본 개시의 기술들을 구현하도록 구성될 수도 있는 예시적인 비디오 인코더 (20) 를 나타내는 블록도이다. 일부 예들에서, 비디오 인코더 (20) 는 인트라 SDC 에서, 큰 64x64 인트라-예측 블록들, 예컨대, 64x64 인트라-예측 블록들을 4 개의 더 작은 인트라-예측 블록들, 예컨대, 4 개의 32x32 인트라-예측 블록들로서 프로세싱하도록 구성될 수도 있다. 이러한 방식으로, 인트라 SDC 에서, HEVC 인트라 예측 모드들의 64x64 인트라 예측 블록은 4 개의 32x32 인트라 예측 블록들로서 프로세싱된다. 일부 경우들에서, 인트라 SDC 에서 큰 인트라-예측 블록들들 다수의, 더 작은 인트라-예측 블록들로서 프로세싱하는 것은 인코더 (20) 에 대한 인트라 SDC 프로세스에서의 최대 버퍼 사이즈 요건들을 감소시킬 수도 있다.

본 개시물은 HEVC 코딩, 더 상세하게는, 예컨대, 3D-HEVC WD에서 설명된 바와 같은 그리고 본 개시물에서 설명된 바와 같이 추가로 수정된 바와 같은 3D-HEVC 코딩의 맥락에서 비디오 인코더 (20) 를 설명한다. 그러나, 본 개시물의 기법들은 인트라 SDC 모드가 심도 코딩을 위해 이용되는 다른 코딩 표준들 또는 방법들에 적용 가능할 수도 있다. 따라서, 도 6 은 설명의 목적으로 제공되고 본 개시물에서 폭넓게 예시되고 설명된 바와 같은 기법들의 제한으로서 고려되지 않아야 한다.

도 6 의 예에서, 비디오 인코더 (20) 는 예측 프로세싱 유닛 (100), 잔차 생성 유닛 (102), 변환 프로세싱 유닛 (104), 양자화 유닛 (106), 역 양자화 유닛 (108), 역 변환 프로세싱 유닛 (110), 복원 유닛 (112), 필터 유닛 (114), 디코딩된 화상 버퍼 (116), 및 엔트로피 인코딩 유닛 (118) 을 포함한다. 예측 프로세싱 유닛 (100) 은 인터 예측 프로세싱 유닛 (120) 과 인트라 예측 프로세싱 유닛 (126) 을 구비한다. 인터 예측 프로세싱 유닛 (120) 은 모션 추정 (motion estimation, ME) 유닛 (122) 과 모션 보상 (motion compensation, MC) 유닛 (124) 을 구비한다.

예측 프로세싱 유닛 (100) 의 컴포넌트들은 텍스처 인코딩 및 심도 인코딩 양쪽 모두를 수행하는 것으로서 설명된다. 몇몇 예들에서, 텍스처 및 심도 인코딩이 예측 프로세싱 유닛 (100) 의 동일한 컴포넌트들 또는 예측 프로세싱 유닛 (100) 내의 상이한 컴포넌트들에 의해 수행될 수도 있다. 예를 들어, 별개의 텍스처 및 심도 인코더들이 몇몇 구현예들에서 제공될 수도 있다. 또한, 다수의 텍스처 및 심도 인코더들이, 예컨대, 멀티뷰 플러스 심도 코딩을 위해 다수의 뷰들을 인코딩하기 위해 제공될 수도 있다. 비디오 인코더 (20) 는 도 6 에서 도시된 것보다 더 많은, 더 적은, 또는 상이한 기능적 컴포넌트들을 포함할 수도 있다.

어느 경우에나, 예측 프로세싱 유닛 (100) 은 3D 코딩 프로세스, 이를테면 3D-HEVC 프로세스의 부분으로서 텍스처 데이터 및 심도 데이터를 인트라-인코딩 또는 인터-인코딩하도록 구성될 수도 있다. 특히, 몇몇 모드들에서, 예측 프로세싱 유닛 (100) 은 정규의, 비-SDC 잔차 코딩 또는 SDC 코딩을 사용할 수도 있다. SDC 코딩의 경우, 예측 프로세싱 유닛 (100) 은 인트라 코딩된 또는 인터 코딩된 심도 PU에 대해 델타 DC 잔차 값을 생성할 수도 있는데, 델타 DC 잔차 값은 PU 또는 코딩된 PU의 파티션에서의 픽셀들의 평균 값과 인트라 예측된 또는 인터 예측된 PU 파티션에서의 예측된 샘플들의 평균 값 간의 차이를 나타낸다. PU가, 코딩 모드에 의존하여, 단일 파티션 또는 다수의 파티션들을 가질 수도 있다. HEVC 인트라, HEVC 인터 모드들, DMM들 또는 다른 모드들이 심도 PU를 코딩하기 위해 사용될 수도 있다.

몇몇 예들에서, 예측 프로세싱 유닛 (100) 은, 인트라 SDC 모드에서, 예를 들어, 64x64 인트라-예측 블록들을 4 개의 더 작은 인트라-예측 블록들로서 프로세싱함으로써, 큰 인트라-예측 블록들에 대해 세그먼트-와이즈 DC 코딩 (SDC) 을 단순화하는 것에 관련된 것들과 같은, 본 개시물에서 설명되는 수정들 및/또는 추가들을 조건으로, 예컨대 3D-HEVC WD 에서 설명된 바와 같은 3D-HEVC에 따라, 실질적으로 동작할 수도 있다. 이러한 방식으로, 인트라 SDC 에서, HEVC 인트라 예측 모드들의 64x64 인트라 예측은 4 개의 32x32 인트라 예측으로서 프로세싱된다. 예측 프로세싱 유닛 (100) 은 신택스 정보를 엔트로피 인코딩 유닛 (118) 에 제공할 수도 있다. 그 신택스 정보는, 예를 들어, 어떤 예측 모드들이 사용되었는지와 이러한 모드들에 관련한 정보를 표시할 수도 있다.

비디오 인코더 (20) 는 인코딩될 비디오 데이터를 수신한다. 비디오 인코더 (20) 는 비디오 데이터의 화상의 슬라이스에서의 복수의 코딩 트리 유닛 (CTU) 들의 각각을 인코딩할 수도 있다. CTU들의 각각은 화상의 동일-사이즈의 루마 코딩 트리 블록들 (CTB들) 및 대응하는 크로마 CTB들과 연관될 수도 있다. CTU 를 인코딩하는 것의 일부로서, 예측 프로세싱 유닛 (100) 은 쿼드-트리 파티셔닝을 수행하여, CTU 의 CTB들을 계속해서-더 작은 블록들로 분할할 수도 있다. 더 작은 블록은 CU들의 코딩 블록들일 수도 있다. 예를 들어, 예측 프로세싱 유닛 (100) 은 CTU 와 연관되는 CTB 를 4개의 동일-사이즈로된 서브-블록들로 파티셔닝하고, 서브-블록들 중 하나 이상을 4개의 동일-사이즈로된 서브-서브-블록들로, 그리고 기타 등등으로 파티셔닝할 수도 있다.

비디오 인코더 (20) 는 CU들의 인코딩된 표현들 (즉, 코딩된 CU들) 을 발생하기 위해 CTB 의 CU들을 인코딩할 수도 있다. CU 를 인코딩하는 것의 일부로서, 예측 프로세싱 유닛 (100) 은 CU 의 하나 이상의 PU들 중에서 CU 와 연관되는 코딩 블록들을 파티셔닝할 수도 있다. 따라서, 각각의 PU 는 루마 예측 블록 및 대응하는 크로마 예측 블록들과 연관될 수도 있다.

비디오 인코더 (20) 및 비디오 디코더 (30) 는 여러 사이즈들을 가지는 PU들을 지원할 수도 있다. 위에서 나타낸 바와 같이, CU 의 사이즈는 CU 의 루마 코딩 블록의 사이즈를 지칭할 수도 있으며, PU 의 사이즈는 루마 PU 의 예측 블록의 사이즈를 지칭할 수도 있다. 특정의 CU 의 사이즈가 2Nx2N 이라고 가정하면, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 인트라 예측에 대해서는 2Nx2N 또는 NxN 의 PU 사이즈들을, 그리고 인터 예측에 대해서는 2Nx2N, 2NxN, Nx2N, NxN, 또는 등등의 대칭 PU 사이즈들을 지원할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한 인터 예측에 대해서 2NxnU, 2NxnD, nLx2N, 및 nRx2N 의 PU 사이즈들에 대한 비대칭적인 파티셔닝을 지원할 수도 있다. 본 개시물의 양태들에 따르면, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한 심도 인터 코딩을 위한 PU 의 비-직사각형의 파티션들을 지원한다.

인터-예측 프로세싱 유닛 (120) 은 CU 의 각각의 PU 에 대해 인터 예측을 수행함으로써, PU 에 대한 예측 데이터를 발생시킬 수도 있다. PU 에 대한 예측 데이터는 PU 의 예측 샘플 블록들 및 PU 에 대한 모션 정보를 포함할 수도 있다. 인터-예측 프로세싱 유닛 (120) 은 PU 가 I 슬라이스, P 슬라이스, 또는 B 슬라이스 내에 있는지에 따라서, CU 의 PU 에 대해 상이한 동작들을 수행할 수도 있다. I 슬라이스에서, 모든 PU들은 인트라 예측된다. 그러므로, PU 가 I 슬라이스에 있으면, 인터-예측 프로세싱 유닛 (120) 은 PU 에 관해 인터 예측을 수행하지 않는다. 따라서, I-모드에서 인코딩되는 블록들에 대해, 예측된 블록은 동일한 프레임 내에서 이전에-인코딩된 이웃하는 블록들로부터 공간 예측을 이용하여 형성된다.

PU 가 P 슬라이스 내에 있을 때, 모션 추정 (ME) 유닛 (122) 은 참조 화상들의 리스트 (예컨대, "RefPicList0") 에서의 참조 화상들을 PU 에 대한 참조 영역에 대해 탐색할 수도 있다. 참조 화상들은 디코딩된 화상 버퍼 (116) 에 저장될 수도 있다. PU 에 대한 참조 영역은 PU 의 샘플 블록들에 가장 가깝게 대응하는 샘플 블록들을 포함하는, 참조 화상 내, 영역일 수도 있다. 모션 추정 (ME) 유닛 (122) 은 PU 에 대한 참조 영역을 포함하는 참조 화상의 RefPicList0 에서의 위치를 나타내는 참조 인덱스를 발생할 수도 있다.

또한, 인터-코딩에 대해, 모션 추정 (ME) 유닛 (122) 은 PU 의 코딩 블록과, 참조 영역과 연관되는 참조 로케이션 사이의 공간 변위를 나타내는 모션 벡터 (MV) 를 발생시킬 수도 있다. 예를 들어, MV 는 현재의 디코딩된 화상에서의 좌표들로부터 참조 화상에서의 좌표들까지 오프셋을 제공하는 2차원 벡터일 수도 있다. 모션 추정 (ME) 유닛 (122) 은 참조 인덱스 및 MV 를 PU 의 모션 정보로서 출력할 수도 있다. 모션 보상 (MC)유닛 (124) 은 PU 의 모션 벡터에 의해 표시되는 참조 로케이션에서의 실제 또는 내삽된 샘플들에 기초하여, PU 의 예측 샘플 블록들을 발생시킬 수도 있다.

PU 가 B 슬라이스 내에 있을 때, 모션 추정 유닛 (122) 은 PU 에 대해 단방향-예측 또는 양방향-예측을 수행할 수도 있다. PU 에 대한 단방향-예측을 수행하기 위해, 모션 추정 유닛 (122) 은 RefPicList0 또는 제 2 참조 화상 리스트 ("RefPicList1") 의 참조 화상들을 PU 에 대한 참조 영역에 대해 탐색할 수도 있다. 모션 추정 (ME) 유닛 (122) 은 참조 영역을 포함하는 참조 화상의 RefPicList0 또는 RefPicList1 에서의 위치를 나타내는 참조 인덱스, PU 의 샘플 블록과 참조 영역과 연관되는 참조 로케이션 사이의 공간 변위를 나타내는 MV, 및 참조 화상이 RefPicList0 또는 RefPicList1 에 있는지 여부를 나타내는 하나 이상의 예측 방향 표시자들을, PU 의 모션 정보로서 출력할 수도 있다. 모션 보상 (MC) 유닛 (124) 은 PU 의 모션 벡터에 의해 표시되는 참조 영역에서의 실제 또는 내삽된 샘플들에 적어도 부분적으로 기초하여, PU 의 예측 샘플 블록들을 발생시킬 수도 있다.

PU 에 대한 양방향 인터-예측을 수행하기 위해, 모션 추정 유닛 (122) 은 RefPicList0 에서의 참조 화상들을 PU 에 대한 참조 영역에 대해 탐색할 수도 있으며, 또한 RefPicList1 에서의 참조 화상들을 PU 에 대한 또 다른 참조 영역에 대해 탐색할 수도 있다. 모션 추정 (ME) 유닛 (122) 은 참조 영역들을 포함하는 참조 화상들의 RefPicList0 및 RefPicList1 에서의 위치들을 나타내는 참조 화상 인덱스들을 발생시킬 수도 있다. 게다가, 모션 추정 (ME) 유닛 (122) 은 참조 영역들과 연관되는 참조 로케이션과 PU 의 샘플 블록 사이의 공간 변위들을 나타내는 MV들을 발생시킬 수도 있다. PU 의 모션 정보는 PU 의 참조 인덱스들 및 MV들을 포함할 수도 있다. 모션 보상 (MC) 유닛 (124) 은 PU 의 모션 벡터에 의해 표시되는 참조 영역에서의 실제 또는 내삽된 샘플들에 적어도 부분적으로 기초하여, PU 의 예측 샘플 블록들을 발생시킬 수도 있다.

인트라-예측 프로세싱 유닛 (126) 은 PU 에 대해 인트라 예측을 수행함으로써, PU 에 대한 예측 데이터를 발생시킬 수도 있다. PU 에 대한 인트라-예측 데이터는 PU 에 대한 예측 샘플 블록들 및 여러 신택스 엘리먼트들을 포함할 수도 있다. 인트라-예측 프로세싱 유닛 (126) 은 I 슬라이스들, P 슬라이스들, 및 B 슬라이스들에서의 PU들에 대해 인트라 예측을 수행할 수도 있다. PU 상에 인트라 예측을 수행하기 위해, 인트라-예측 프로세싱 유닛 (126) 은 다수의 인트라 예측 모드들을 이용하여 예측 PU 에 대한 데이터의 다수의 세트들을 발생시키고, 그후 허용가능한 또는 최적의 코딩 성능을, 예컨대, 레이트-왜곡 최적화 기법들을 이용하여 얻는 인트라-예측 모드들 중 하나를 선택할 수도 있다.

인트라 예측 모드를 이용하여 예측 PU 에 대한 데이터의 세트를 발생하기 위해, 인트라-예측 프로세싱 유닛 (126) 은 샘플들을 공간적으로 이웃하는 PU들의 샘플 블록들로부터 PU 의 샘플 블록들을 가로질러 인트라 예측 모드와 연관되는 방향으로 확장할 수도 있다. 이웃하는 PU들은 PU들, CU들, 및 CTU들에 대해 좌-우, 상-하 인코딩 순서를 가정하면, PU 의 상측에, 우상부에, 좌상부에, 또는 좌측에 있을 수도 있다. 인트라-예측 프로세싱 유닛 (126) 은 다수의 인트라 예측 모드들, 예컨대, 33개의 방향 인트라 예측 모드들을 이용할 수도 있다. 일부 예들에서, 인트라 예측 모드들의 개수는 PU 와 연관되는 영역의 사이즈에 의존할 수도 있다.

예측 프로세싱 유닛 (100) 은 PU들에 대해 인터-예측 프로세싱 유닛 (120) 에 의해 발생된 예측 데이터, 또는 PU들에 대해 인트라-예측 프로세싱 유닛 (126) 에 의해 발생된 예측 데이터 중으로부터, CU 의 PU들에 대한 예측 데이터를 선택할 수도 있다. 일부 예들에서, 예측 프로세싱 유닛 (100) 은 예측 데이터의 세트들의 레이트/왜곡 메트릭들에 기초하여, CU 의 PU들에 대한 예측 데이터를 선택한다. 선택된 예측 데이터의 예측 샘플 블록들은 본원에서, 선택된 예측 샘플 블록들로서 지칭될 수도 있다.

잔차 발생 유닛 (102) 은 CU 의 루마, Cb 및 Cr 코딩 블록 및 CU 의 PU들의 선택된 인터- 또는 인트라-예측 루마, Cb 및 Cr 블록들에 기초하여, CU 의 루마, Cb 및 Cr 잔차 블록들을 발생할 수도 있다. 예를 들어, 잔차 발생 유닛 (102) 은 잔차 블록들에서의 각각의 샘플이 CU 의 코딩 블록에서의 샘플과 CU 의 PU 의 대응하는 선택된 예측 샘플 블록에서의 대응하는 샘플 사이의, 즉, 적용가능한 경우 루마 또는 크로마 픽셀 값에서의, 차이와 동일한 값을 갖도록, CU 의 잔차 블록들을 발생시킬 수도 있다. 잔차 발생 유닛 (102) 은 또한, SDC 모드들에 대한 델타 DC 잔차 값들을 발생시킬 수도 있다.

변환 프로세싱 유닛 (104) 은 쿼드-트리 파티셔닝을 수행하여, CU 와 연관되는 잔차 블록들을 CU 의 TU들과 연관되는 변환 블록들로 파티셔닝할 수도 있다. 따라서, TU 는 루마 변환 블록 및 2개의 크로마 변환 블록들과 연관될 수도 있다. CU 의 TU들의 루마 및 크로마 변환 블록들의 사이즈들 및 위치들은 CU 의 PU들의 예측 블록들의 사이즈들 및 위치들에 기초하거나 또는 기초하지 않을 수도 있다. "잔차 쿼드-트리" (RQT) 로서 알려진 쿼드-트리 구조는 그 영역들 각각과 연관되는 노드들을 포함할 수도 있다. CU 의 TU들은 RQT 의 리프 노드들에 대응할 수도 있다.

정규 잔차 코딩에 대해, 변환 프로세싱 유닛 (104) 은 하나 이상의 변환들을 TU 의 변환 블록들에 적용함으로써, CU 의 각각의 TU 에 대한 변환 계수 블록들을 발생시킬 수도 있다. 변환 프로세싱 유닛 (104) 은 여러 변환들을 TU 와 연관되는 변환 블록에 적용할 수도 있다. 예를 들어, 변환 프로세싱 유닛 (104) 은 변환 블록에 이산 코사인 변환 (DCT), 방향성 변환, 또는 개념적으로 유사한 변환을 적용할 수도 있다. 일부 예들에서, 변환 프로세싱 유닛 (104) 은 변환들을 변환 블록에 적용하지 않는다. 이러한 예들에서, 변환 블록은 변환 계수 블록으로서 취급될 수도 있다. 다시, SDC 코딩에 대해, 변환 및 양자화는 예측된 PU 또는 파티션에 대해 생성된 델타 DC 잔차 값에는 통상적으로 적용되지 않는다.

양자화 유닛 (106) 은, 정규 잔차 코딩에 대해, 계수 블록에서의 잔차 변환 계수들을 양자화할 수도 있다. 양자화 프로세스는 그 변환 계수들의 일부 또는 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 예를 들어, n-비트 변환 계수는 양자화 동안 m-비트 변환 계수로 절사될 수도 있으며, 여기서, n 은 m 보다 더 크다. 양자화 프로세싱 유닛 (106) 은 CU 와 연관되는 양자화 파라미터 (QP) 값에 기초하여 CU 의 TU 와 연관되는 계수 블록을 양자화할 수도 있다. 비디오 인코더 (20) 는 CU 와 연관되는 QP 값을 조정함으로써 CU 와 연관되는 계수 블록들에 적용되는 양자화의 정도를 조정할 수도 있다. 양자화는 정보의 손실을 도입할 수도 있으며, 따라서 양자화된 변환 계수들은 원래 정밀도들보다 낮은 정밀도를 가질 수도 있다.

역양자화 프로세싱 유닛 (108) 및 역변환 프로세싱 유닛 (110) 은 역양자화 및 역변환들을 계수 블록에 각각 적용하여, 계수 블록으로부터 잔차 블록을 복원할 수도 있다. 복원 유닛 (112) 은 그 복원된 잔차 블록을 예측 프로세싱 유닛 (100) 에 의해 발생되는 하나 이상의 예측 샘플 블록들로부터의 대응하는 샘플들에 가산하여, TU 와 연관되는 복원된 변환 블록을 생성할 수도 있다. 이 방법으로 CU 의 각각의 TU 에 대한 변환 블록들을 복원함으로써, 비디오 인코더 (20) 는 CU 의 코딩 블록들을 복원할 수도 있다.

HEVC 인트라 모드들, HEVC 인터 모드들 및 다른 모드들, 이를테면 DMM 모드들의 경우, 심도 CU 들에 대한 SDC 잔차 코딩이, 예측된 PU 또는 PU 파티션에 대해, DC 잔차 값이라고 또한 지칭되는, 델타 DC 잔차 값을 생성하는데 이용될 수도 있다. SDC에 대해, 잔차 생성 유닛 (102) 은 각각의 심도 PU 또는 PU 파티션에 대해 단일 델타 DC 값을 생성할 수도 있는데, 단일 델타 DC 값은 PU 또는 PU 파티션에서의 픽셀들의 평균 값과, 인트라 예측된 또는 인터 예측된 PU 또는 PU 파티션에서의 예측된 샘플들의 평균 값 간의 차이를 나타낸다. 델타 DC 잔차 값은 변환 또는 양자화되지 않고, 도 6 에서 라인 (115) 에 의해 표시된 바와 같이 잔차 생성 유닛 (102) 에 의해 엔트로피 코딩 유닛 (118) 으로 제공될 수도 있다.

복원 유닛 (112) 은 CU의 PU들의 파티션들에 대한 DC 잔차 값들 및 CU의 PU들의 대응하는 예측된 파티션들에 기초하여 심도 CU를 복원할 수도 있다. 예를 들어, 각각의 심도 PU 파티션에 대한 델타 DC 잔차 값은 심도 PU 파티션을 복원하기 위해 대응하는 예측된 파티션에서의 픽셀 값들에 가산될 수도 있는데, DC 잔차 값은 심도 PU 파티션의 픽셀들의 평균 값과 예측된 파티션의 예측된 샘플들의 평균 값 간의 차이를 나타낼 수도 있다. 몇몇 예들에서, DC 잔차 값을 나타내는 정보, 이를테면 델타 DC 값들을 나타내는 하나 이상의 신택스 엘리먼트들은, 예측 프로세싱 유닛 (100) 에 의해 생성되며, 엔트로피 인코딩 유닛 (118) 에 의해 수신되고, 예컨대 라인 (115) 에 의해 표시된 바와 같이, 역 양자화 또는 역 변환 프로세싱 없이, 복원 유닛 (112) 에 의해 사용될 수도 있다.

필터 유닛 (114) 은 하나 이상의 필터링 동작들을 수행하여 복원된 CU에 연관된 코딩 블록들에서의 블록화 아티팩트들과 같은 아티팩트들을 감소시킬 수도 있다. 필터링 동작들은, 블록 경계들에서 블록키니스를 제거하는 블록화제거, 픽셀 천이들을 평활화하기 위한 루프 필터링, 픽셀 천이들을 평활화하기 위한 샘플 적응적 오프셋 필터링, 또는 가능한 다른 유형들의 필터링 동작들 또는 기법들 중 하나 이상을 포함할 수도 있다. 디코딩된 화상 버퍼 (116) 는, 필터 유닛 (114) 이 복원된 코딩 블록들에 대해 하나 이상의 블록화제거 동작들을 수행한 후에 복원된 코딩 블록들을 저장할 수도 있다. 인터 예측 유닛 (120) 은 다른 화상들의 PU들에 대해 인터 예측을 수행하기 위해 복원된 코딩 블록들을 포함하는 참조 화상을 사용할 수도 있다. 덧붙여서, 인트라 예측 프로세싱 유닛 (126) 은 CU와 동일한 화상에서의 다른 PU들에 대해 인트라 예측을 수행하기 위해 디코딩된 화상 버퍼 (116) 에서의 복원된 코딩 블록들을 사용할 수도 있다.

엔트로피 인코딩 유닛 (118) 은 비디오 인코더 (20) 의 다양한 기능성 컴포넌트들로부터 데이터를 수신할 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (118) 은 양자화 유닛 (106) 으로부터 계수 블록들을 수신할 수도 있고 예측 프로세싱 유닛 (100) 으로부터 신택스 엘리먼트들을 수신할 수도 있다. 덧붙여서, 엔트로피 인코딩 유닛 (118) 은 잔차 생성 유닛 (102) 으로부터 델타 DC 잔차 값들을 수신할 수도 있다. 엔트로피 인코딩 유닛 (118) 은 그 데이터에 대해 하나 이상의 엔트로피 인코딩 동작들을 수행하여 엔트로피 인코딩된 데이터를 생성할 수도 있다. 예를 들어, 엔트로피 인코딩 유닛 (118) 은 CABAC 동작을 수행할 수도 있다. 다른 엔트로피 코딩 프로세스들의 예들은 콘텍스트 적응 가변 길이 코딩 (CAVLC), 신택스 기반 콘텍스트 적응 이진 산술 코딩 (SBAC), 및 확률 간격 파티셔닝 엔트로피 (PIPE) 코딩을 포함한다. HEVC에서, CABAC가 사용된다. 비디오 인코더 (20) 는 엔트로피 인코딩 유닛 (118) 에 의해 생성된 엔트로피 인코딩된 데이터를 포함하는 비트스트림을 출력할 수도 있다. 예를 들면, 비트스트림은 이진 신택스 엘리먼트들 또는 2치화된 신택스 엘리먼트들의 빈들을 나타내는 비트들을 포함할 수도 있다.

비디오 인코더 (20) 는, 큰 예측 블록들의 단순화된 세그먼트-와이즈 DC 코딩을 위한 기법들을 포함하는, 본 개시물에서 설명되는 기법들 중 어느 것을 수행하도록 구성된 비디오 인코더의 일 예이다. 추가적인 3D 프로세싱 컴포넌트들이 비디오 인코더 (20) 내에 또한 포함될 수도 있다. 본 개시물의 하나 이상의 기법들에 따라, 비디오 인코더 (20) 내의 하나 이상의 유닛들은 비디오 인코딩 프로세스의 부분으로서 본원에서 설명되는 기법들을 수행할 수도 있다. 마찬가지로, 비디오 인코더 (20) 는 이 개시물의 기법들 중 어느 것을 이용하여 비디오 디코딩 프로세스를 수행하여 후속하는 코딩된 비디오 데이터의 예측을 위한 참조 데이터로서 사용되는 비디오 데이터를 복원할 수도 있다.

도 7 은 본 개시물의 기법들을 수행하도록 구성되는 일 예의 비디오 디코더 (30) 를 도시하는 블록도이다. 도 7 은 예시의 목적으로 제공되고 본 개시물에서 폭넓게 예시되고 설명된 바와 같은 기법들의 제한으로서 고려되지 않아야 한다. 본 개시물은 HEVC 코딩, 특히, 3D-HEVC 코딩의 맥락에서 비디오 디코더 (30) 를 설명한다. 그러나, 본 개시물의 기법들은 다른 3D 비디오 코딩 표준들 또는 방법들에 적용 가능할 수도 있다. 비디오 디코더 (30) 는, 3D-HEVC 와 같은 3D 비디오 코딩 프로세스에서 64x64 블록들과 같은 큰 인트라-예측 블록들에 대해 세그먼트-와이즈 DC 코딩 (SDC) 을 단순화하기 위한 기법들을 수행하도록 구성될 수도 있다. 일부 예들에서, 비디오 디코더 (30) 는 인트라 SDC 에서, 큰 64x64 인트라-예측 블록들, 예컨대, 64x64 인트라-예측 블록들을 4 개의 더 작은 인트라-예측 블록들, 예컨대, 4 개의 32x32 인트라-예측 블록들로서 프로세싱하도록 구성될 수도 있다. 이러한 방식으로, 인트라 SDC 심도 코딩에서, HEVC 인트라 예측 모드들의 64x64 인트라 예측은 4 개의 32x32 인트라 예측으로서 프로세싱된다. 일부 경우들에서, 인트라 SDC 에서 큰 인트라-예측 블록들들 다수의, 더 작은 인트라-예측 블록들로서 프로세싱하는 것은 디코더 (30) 에 대한 인트라 SDC 프로세스에서의 최대 버퍼 사이즈 요건들을 감소시킬 수도 있다.

도 7 의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (150), 예측 프로세싱 유닛 (152), 역 양자화 유닛 (154), 역 변환 프로세싱 유닛 (156), 복원 유닛 (158), 필터 유닛 (160), 및 디코딩된 화상 버퍼 (162) 를 구비한다. 예측 프로세싱 유닛 (152) 은 인트라 예측을 위한 모션 보상 (MC) 유닛 (164) 과 인트라 예측 프로세싱 유닛 (166) 을 구비한다. 예시의 편의를 위해, 예측 프로세싱 유닛 (152) 의 컴포넌트들은 텍스처 디코딩 및 심도 디코딩 양쪽 모두를 수행하는 것으로서 설명된다. 몇몇 예들에서, 텍스처 및 심도 디코딩이 예측 프로세싱 유닛 (152) 의 동일한 컴포넌트들 또는 예측 프로세싱 유닛 (152) 내의 상이한 컴포넌트들에 의해 수행될 수도 있다. 예를 들어, 별개의 텍스처 및 심도 디코더들이 몇몇 구현예들에서 제공될 수도 있다. 또한, 다수의 텍스처 및 심도 디코더들이, 예컨대, 멀티뷰 플러스 심도 코딩을 위해 다수의 뷰들을 디코딩하기 위해 제공될 수도 있다. 어느 경우에나, 예측 프로세싱 유닛 (152) 은 3D 코딩 프로세스, 이를테면 3D-HEVC 프로세스의 부분으로서 텍스처 데이터 및 심도 데이터를 인트라-디코딩 또는 인터-디코딩하도록 구성될 수도 있다.

따라서, 예측 프로세싱 유닛 (152) 은, 인트라 SDC 모드에서, 큰 64x64 인트라-예측 블록들, 예컨대, 64x64 인트라-예측 블록들을 4 개의 더 작은 인트라-예측 블록들로서 프로세싱하기 위한 기술들과 같은, 큰 인트라-예측 블록들에 대해 세그먼트-와이즈 DC 코딩 (SDC) 을 단순화하기 위한 기술들에 관련된 것들과 같은, 본 개시물에서 설명되는 수정들 및/또는 추가들을 조건으로, 실질적으로 3D-HEVC에 따라 동작할 수도 있다. 예측 프로세싱 유닛 (152) 은 SDC 또는 정규의 비-SDC 잔차 코딩 기법들을 사용하여 인트라 디코딩된 또는 인터 디코딩된 심도 데이터에 대해 인코딩된 비디오 비트스트림으로부터의 잔차 데이터를 엔트로피 디코딩 유닛 (150) 을 통해 획득하고, 인트라 예측된 또는 인터 예측된 심도 데이터 및 잔차 데이터를 사용하여 CU들을 복원할 수도 있다. 잔차 데이터는, SDC 가 이용될 때 델타 DC 잔차 값들일 수도 있다. 몇몇 예들에서, 비디오 디코더 (30) 는 도 7 에 도시된 바보다는 더 많거나, 더 적거나, 또는 상이한 기능성 컴포넌트들을 포함할 수도 있다.

비디오 디코더 (30) 는 인코딩된 비디오 비트스트림을 수신한다. 엔트로피 디코딩 유닛 (150) 은 비트스트림으로부터 인트로피 인코딩된 신택스 엘리먼트들을 디코딩하기 위해 그 비트스트림을 파싱할 수도 있다. 몇몇 예들에서, 엔트로피 디코딩 유닛 (118) 은, 비트스트림에서의 비트들로부터, 델타 DC 잔차 값을 나타내는 신택스 엘리먼트에 대한 빈들을 디코딩하기 위해 CABAC 코더를 이용하도록 구성될 수도 있다. 엔트로피 디코딩 유닛 (118) 은, 정규의 잔차 코딩을 갖는 인트라- 또는 인터-코딩 모드들 및 델타 DC 잔차 코딩을 갖는 인트라- 또는 인터-SDC 모드들을 포함하는, 상이한 코딩 모드들에 대해 다양한 다른 신택스 엘리먼트들을 디코딩하기 위해 CABAC 코더를 이용할 수도 있다.

예측 프로세싱 유닛 (152), 역양자화 유닛 (154), 역변환 프로세싱 유닛 (156), 복원 유닛 (158), 및 필터 유닛 (160) 은 비트스트림으로부터 추출된 신택스 엘리먼트들에 기초하여, 디코딩된 비디오 데이터를 발생시킬 수도 있다. 비트스트림은 일련의 NAL 유닛들을 포함할 수도 있다. 비트스트림의 NAL 유닛들은 코딩된 슬라이스 NAL 유닛들을 포함할 수도 있다. 비트스트림을 디코딩하는 것의 일부로서, 엔트로피 디코딩 유닛 (150) 은 코딩된 슬라이스 NAL 유닛들로부터 신택스 엘리먼트들을 추출하여 엔트로피 디코딩할 수도 있다.

코딩된 슬라이스들 각각은 슬라이스 헤더 및 슬라이스 데이터를 포함할 수도 있다. 슬라이스 헤더는 슬라이스에 관련된 신택스 엘리먼트들을 포함할 수도 있다. 슬라이스 헤더에서의 신택스 엘리먼트들은 슬라이스를 포함하는 화상과 연관되는 PPS 를 식별하는 신택스 엘리먼트를 포함할 수도 있다. PPS 는 SPS 를 참조할 수도 있으며, 결과적으로 VPS 를 참조할 수도 있다. 엔트로피 디코딩 유닛 (150) 은 또한 SEI 메시지들과 같은, 신택스 정보를 포함할 수도 있는 다른 엘리먼트들을 엔트로피 디코딩할 수도 있다. 슬라이스 헤더, 파라미터 세트들, 또는 SEI 메시지들 중 임의의 것에서의 디코딩된 신택스 엘리먼트들은 본 개시물에서 설명되는 예의 기법들에 따라 시그널링된 것으로서 본원에서 설명되는 정보를 포함할 수도 있다. 이러한 신택스 정보는 텍스처 또는.심도 블록들의 디코딩 및 복원을 위해 예측 프로세싱 유닛 (152) 에 제공될 수도 있다.

비디오 디코더 (30) 는 비파티셔닝된 CU들 및 PU들에 관해 복원 동작을 수행할 수도 있다. 복원 동작을 수행하기 위해, 비-SDC 코딩에 대해, 비디오 디코더 (30) 는 CU 의 각각의 TU 에 대해 복원 동작을 수행할 수도 있다. CU 의 각각의 TU 에 대해 복원 동작을 수행함으로써, 비디오 디코더 (30) 는 CU 의 블록들을 복원할 수도 있다. CU 의 TU 에 대해 복원 동작을 수행하는 것의 일부로서, 역양자화 유닛 (154) 은 TU 와 연관되는 계수 블록들을 역양자화할 수도 있다, 즉, 양자화 해제할 수도 있다. 역양자화 유닛 (154) 은 TU 의 CU 와 연관되는 QP 값을 이용하여, 적용할 역양자화 유닛 (154) 에 대한 양자화의 정도 및 이와 유사하게, 역양자화의 정도를 결정할 수도 있다. 즉, 압축 비, 즉, 원래 시퀀스 및 압축된 시퀀스를 표현하는데 사용되는 비트수의 비는, 변환 계수들을 양자화할 때 사용되는 QP 의 값을 조정함으로써 제어될 수도 있다. 압축 비는 또한 채용되는 엔트로피 코딩의 방법에 의존할 수도 있다.

역양자화 유닛 (154) 이 계수 블록을 역양자화한 후, 역변환 프로세싱 유닛 (156) 은 TU 와 연관되는 잔차 블록을 발생하기 위해, 하나 이상의 역변환들을 계수 블록에 적용할 수도 있다. 예를 들어, 역변환 프로세싱 유닛 (156) 은 역 DCT, 역 정수 변환, 역 Karhunen-Loeve 변환 (KLT), 역 회전 변환, 역 방향 변환, 또는 또 다른 역변환을 계수 블록에 적용할 수도 있다.

PU 가 인트라 예측을 이용하여 인코딩되면, 인트라-예측 프로세싱 유닛 (166) 은 인트라 예측을 수행하여, PU 에 대한 예측 블록들을 발생시킬 수도 있다. 인트라-예측 프로세싱 유닛 (166) 은 공간적으로-이웃하는 PU들의 예측 블록들에 기초하여, PU 에 대한 예측 루마, Cb 및 Cr 블록들을 발생하기 위해, 인트라 예측 모드를 이용할 수도 있다. 인트라-예측 프로세싱 유닛 (166) 은 비트스트림으로부터 디코딩된 하나 이상의 신택스 엘리먼트들에 기초하여, PU 에 대한 인트라 예측 모드를 결정할 수도 있다.

PU가 인트라 예측을 사용하여 인코딩되면, MC 유닛 (164) 은 PU에 대한 인터 예측된 비디오 블록을 생성하기 위해 인트라 예측을 수행할 수도 있다. MC 유닛 (164) 은 인터 예측 모드를 사용하여 다른 화상들 또는 뷰들에서의 PU들의 예측 블록들에 기초하여 PU에 대한 예측 루마, Cb 및 Cr 블록들을 생성할 수도 있다. MC 유닛 (164) 은 비트스트림으로부터 디코딩된 하나 이상의 신택스 엘리먼트들에 기초하여 PU에 대한 인터 예측 모드를 결정할 수도 있고, 모션 벡터들, 예측 방향, 및 참조 화상 인덱스들과 같은 모션 정보를 수신할 수도 있다.

인터-예측에 대해, MC 유닛 (164) 은, 비트스트림으로부터 추출된 신택스 엘리먼트들에 기초하여, 제 1 참조 화상 리스트 (RefPicList0) 및 제 2 참조 화상 리스트 (RefPicList1) 를 구성할 수도 있다. PU 가 인터 예측을 이용하여 인코딩되면, 엔트로피 디코딩 유닛 (150) 은 PU 에 대한 모션 정보를 추출할 수도 있다. MC 유닛 (164) 은 PU 의 모션 정보에 기초하여, PU 에 대한 하나 이상의 참조 블록들을 결정할 수도 있다. 모션 보상 (MC) 유닛 (164) 은 PU 에 대한 하나 이상의 참조 블록들에서의 샘플들 블록들에 기초하여, PU 에 대한 예측 루마, Cb 및 Cr 블록들을 발생시킬 수도 있다.

복원 유닛 (158) 은 CU 의 루마, Cb, 및 Cr 코딩 블록들을 복원하기 위해, 적용가능한 경우, CU 의 TU들과 연관되는 루마, Cb, 및 Cr 변환 블록들 및 CU 의 PU들의 예측 루마, Cb, 및 Cr 블록들, 즉, 인트라-예측 데이터 또는 인터-예측 데이터를 이용할 수도 있다. 예를 들어, 복원 유닛 (158) 은 루마, Cb 및 Cr 변환 블록들의 잔차 샘플들을 예측 루마, Cb 및 Cr 블록들의 대응하는 샘플들에 추가하여, CU 의 루마, Cb 및 Cr 코딩 블록들을 복원할 수도 있다.

필터 유닛 (160) 은 CU 의 루마, Cb 및 Cr 코딩 블록들과 연관되는 블록킹 아티팩트들을 감소시키기 위해 디블록킹 동작을 수행할 수도 있다. 비디오 디코더 (30) 는 CU 의 루마, Cb, 및 Cr 코딩 블록들을 디코딩 화상 버퍼 (162) 에 저장할 수도 있다. 디코딩된 화상 버퍼 (162) 는 후속 모션 보상, 인트라 예측, 및 도 3 의 디스플레이 디바이스 (32) 와 같은 디스플레이 디바이스 상에의 프리젠테이션을 위해, 참조 화상들을 제공할 수도 있다. 예를 들어, 비디오 디코더 (30) 는, 디코딩된 화상 버퍼 (162) 에서의 루마, Cb 및 Cr 블록들에 기초하여, 다른 CU들의 PU들에 대한 인터 예측 동작들을 수행할 수도 있다.

비디오 디코더 (30) 는, 큰 예측 블록들의 단순화된 세그먼트-와이즈 DC 코딩을 위한 기법들을 포함하는, 본 개시물에서 설명되는 기법들 중 어느 것을 수행하도록 구성된 비디오 디코더의 일 예이다. 본 개시물의 하나 이상의 기법들에 따라, 비디오 디코더 (30) 내의 하나 이상의 유닛들은 비디오 디코딩 프로세스의 부분으로서 본원에서 설명되는 하나 이상의 기법들을 수행할 수도 있다. 추가적인 3D 코딩 컴포넌트들이 비디오 디코더 (30) 내에 또한 포함될 수도 있다.

예측 프로세싱 유닛 (152), 더 상세하게는, 인트라-예측 프로세싱 유닛 (166) 및 모션 보상 (MC) 유닛 (164) 은, 3D-HEVC와 같은 3D 비디오 코딩 프로세스의 심도 인트라-예측 모드들 및 심도 인터-예측 모드들에서, 해당되는 경우, SDC를 수행할지 여부를 결정할 수도 있다. SDC 가 이용되는 경우, 엔트로피 디코딩 유닛 (150) 은 심도 CU의 PU들 또는 PU 파티션들에 대한 하나 이상의 델타 DC 잔차 값들, 뿐만 아니라 연관된 신택스 정보를 엔트로피 디코딩할 수도 있다.

SDC에 대해, 엔트로피 디코딩 유닛 (150) 은, 도 7 에서 표시된 바와 같이, 블록에 대한 SDC 신택스 정보를 예측 프로세싱 유닛 (152) 으로 제공할 수도 있다. 엔트로피 디코딩 유닛 (150) 은 델타 DC 잔차 값들을 복원 유닛 (158) 으로 제공할 수도 있다. 비디오 디코더 (30) 에 의해 수신된 델타 DC 잔차 값들은 변환 및 양자화되지 않을 수도 있다. 특히, 델타 DC 잔차 값(들)은 역 양자화 및 역 변환을 위해 역 양자화 유닛 (154) 및 역 변환 프로세싱 유닛 (156) 으로 먼저 제공될 필요가 없다. 대신, 엔트로피 디코딩 유닛 (150) 은, 비트스트림에서의 비트들로부터, 델타 DC 잔차 값을 나타내는 하나 이상의 신택스 엘리먼트들에 대한 빈들을 디코딩하고, 델타 DC 잔차 값을 나타내는 정보를 복원 유닛 (158) 으로 SDC 코딩된 PU 또는 파티션을 복원함에 있어서의 사용을 위해 제공할 수도 있다. 복원 유닛 (158) 은 예측 프로세싱 유닛 (152) 으로부터 심도 CU의 인트라 예측된 또는 인터 예측된 PU 또는 PU 파티션을 수신하고 코딩된 PU 또는 PU 파티션을 복원하기 위해 델타 DC 잔차 값을 예측된 PU 또는 PU 파티션의 샘플들의 각각에 가산할 수도 있다.

이런 방식으로, SDC 가 이용되는 경우, 복원 유닛 (158) 은 CU의 PU들의 파티션들 및 CU의 대응하는 예측된 PU들 또는 PU 파티션들에 대한 델타 DC 잔차 값들에 기초하여 심도 CU를 복원할 수도 있다. 다시, 델타 DC 잔차 값은 심도 PU 또는 PU 파티션의 픽셀들의 평균 값과 예측된 PU 또는 PU 파티션의 샘플들의 평균 값 간의 차이를 나타낼 수도 있다. 이하 설명되는 바와 같이, 신택스 정보가 인트라 SDC 64ㅌ64 모드를 나타내는 경우, 디코더 (30) 는 64x64 모드를 4 개의 32x32 모드들로서 프로세싱한다.

HEVC 메인 프로파일에서, 최대 인트라 예측 사이즈는 32x32 이다. 하지만, 3D-HEVC 의 인트라 SDC 모드에서, 평면형 모드의 최대 인트라 예측 사이즈는 64x64 이다. JCT3V-F0126 에서의 제안으로, SDC 는 추가적인 심도 인트라 예측 모드들 및 원래의 HEVC 인트라 예측 모드들에 대해 적용될 수 있다. 따라서, 이 제안으로, 모든 HEVC 인트라 예측 모드들에서의 최대 인트라 예측 사이즈는 64x64 이다. HEVC 와 비교할 때, 3D-HEVC 및 JCT3V-F0126 에서의 제안 양자는 인트라 예측을 위해 사용되는 최대 버퍼 사이즈를 증가시킨다.

이 개시의 일 예에 따르면, 큰 인트라-예측 블록들의 SDC 코딩을 단순화시키기 위해, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 큰 인트라-예측 블록을 4 개의 더 작은 인트라-블록들로서 프로세싱하도록 구성될 수도 있다. 64x64 인트라 예측 블록의 경우에, 예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 64x64 인트라-예측 블록을 4 개의 더 작은 인트라-예측 블록들로서 프로세싱하도록 구성될 수도 있다. 이러한 방식으로, SDC 에서, HEVC 인트라 예측 모드들의 64x64 인트라 예측은 4 개의 32x32 인트라 예측으로서 프로세싱된다. 64x64 및 32x32 의 표시들은, SDC 를 이용하여 인트라-코딩될 심도 PU 또는 파티션에서의 픽셀들의 수, 또는 인트라-예측된 심도 PU 또는 파티션에서의 예측 샘플들의 대응하는 수를 지칭한다. 64x64 인트라-예측 블록을 4 개의 32x32 인트라-예측 블록들로서 프로세싱하기 위한 다양한 양태들의 기술들이 예시의 목적으로 이하에서 섦여된다.

도 8 은 64x64 SDC 인트라-예측 블록을 4 개의 더 작은 32x32 인트라-예측 블록들로서 프로세싱하는 것을 나타내는 도이다. 도 8 에서 나타낸 바와 같이, 64x64 심도 블록 (170) 은 4 개의 32x32 서브-블록들 (172, 174, 176 및 178) 로 분할된다. 서브-블록들 (172, 174, 176, 178)의 각각은 동일한 인트라 모드를 가질 수도 있다. 예를 들어, 인트라 모드가 블록 (170) 에 적용될 수도 있고, 4 개의 4 개의 32x32 서브-블록들 (172, 174, 176, 178) 의 각각에 대해 이용될 수도 있다. 블록 (172) 은 64x64 블록의 상부 좌측 32x32 인트라 블록이고, 블록 (174) 은 64x64 블록의 상부 우측 32x32 인트라 블록이며, 블록 (176) 은 64x64 블록의 하부 좌측 32x32 인트라 블록이고, 블록 (178) 은 심도 데이터의 64x64 블록의 하부 우측 32x32 인트라 블록이다. 이 예에서, 64x64 블록 (170) 은 수평으로 x=0 에서부터 x=63 까지 그리고 수직으로 y=0 에서부터 y=63까지 연장된다. 상부 좌측 32x32 인트라 블록 (172) 은 수평으로 x=0 에서부터 x=31 까지 그리고 수직으로 y=0 에서부터 y=31까지 연장되고, 상부 우측 32x32 인트라 블록 (172) 은 수평으로 x=32 에서부터 x=63 까지 그리고 수직으로 y=0 에서부터 y=31까지 연장되며, 하부 좌측 32x32 인트라 블록 (172) 은 수평으로 x=0 에서부터 x=31 까지 그리고 수직으로 y=32 에서부터 y=63까지 연장되고, 하부 우측 32x32 인트라 블록 (172) 은 수평으로 x=32 에서부터 x=63 까지 그리고 수직으로 y=32 에서부터 y=63까지 연장된다.

도 8 에서 추가적으로 나타낸 바와 같이, 64x64 블록에 대한 공간적으로 이웃하는 복원된 샘플들 RecSample[x][y] 은 32x32 블록들의 일부 인트라 모드들의 예측에 대해 이용가능하고, 여기서, x 및 y 는 각각, x=0, y=0 에서 64x64 블록 (170) 의 상부-좌측 샘플에 대해 복원된 샘플의 수직 및 수평 위치들이다. 예를 들어, 도 8 은, 예컨대 i=-1 및 j=0 에서부터 63 까지에서의, 복원된 좌측 이웃 샘플들 (182), 예컨대 i=-1, j=-1 에서의, 상부 좌측 이웃 샘플들 (184), 예컨대 i=0 내지 63, j=-1 에서의, 상부 이웃 샘플들 (186), 및 예컨대, i=64 내지 127, j=-1 에서의, 상부 우측 이웃 샘플들 (188) (오직 그 부분만이 도 8 에 도시됨) 을 나타낸다. i=-1, j=64-127 에서의 저부 좌측 이웃 샘플들은, 코딩 유닛들이 통상적으로 래스터 (raster) 스캔 순서로 코딩되기 때문에, 64x64 가 HEVC 및 3D-HEVC 양자 모두에 대해 사용되는 최대 코딩 유닛 사이즈인 경우 일반적으로 이용가능하지 않다. 따라서, 코딩 유닛을 코딩할 때, 그것 아래의 코딩 유닛은 아직 인코딩되지 않고, 따라서, 아직 어떤 이용가능한 복원된 샘플들을 생성하지 않았다.

복원된 이웃 샘플들 (182-188) 은 64x64 블록 (170) 에 공간적으로 이웃하는 인접 블록들에 존재한다. 64x64 블록 (170) 이 현재 인코딩되거나 디코딩되고 있기 전에 이웃 샘플들 (182, 184, 186, 188) 이 존재하는 블록들이 이미 인코딩되었거나 디코딩되었다는 점에서, 이웃 샘플들 (182-188) 은 복원되는 것으로 간주된다.

이 개시의 예들에서, 인트라 SDC 코딩에서, 현재의 3D-HEVC 에서와 같이 그리고 JCT3V-F0126 에서 잠재적으로 제안되는 바와 같이, HEVC 인트라 예측 모드들로 코딩되는 64x64 인트라 예측 블록은, 64x64 인트라 예측을 예컨대 도 8 에서 도시된 바와 같이 4 개의 32x32 인트라 예측 블록들로 분할함으로써 단순화될 수 있는 것이 제안된다. 이들 4 개의 32x32 인트라 예측 블록들은 동일한 인트라-예측 모드를 가질 수도 있고, 비디오 인코더 (20) 및 비디오 디코더 (30) 에 의한 래스터 스캔 또는 디코딩 순서로 인트라-예측될 수도 있다.

제 1 예에서, 이하 설명되는 바와 같이, 각각의 32x32 블록의 예측된 샘플들은, 적어도 일부 이웃하는 복원된 샘플들 대신에, 64x64 블록 내의 연속적인 32x32 블록들을 예측하기 위해 사용될 수 있다. 따라서, 64x64 블록의 일부 32x32 블록들의 인트라 예측을 위해, 이용가능한 참조 샘플들은 오직 복원될 수도 있고, 모드에 의존하여 복원 또는 예측될 수도 있고, 또는, 오직 예측될 수도 있다. 일반적으로, 복원된 참조 샘플들은 예컨대 예측된 참조 샘플들을 잔차 값들과 합산함으로써 복원되었고, 반면, 예측된 참조 샘플들은 통상적으로 잔차 값들과 합산되지 않았다. 각각의 경우에, 32x32 블록의 인트라-예측을 위해 사용되는 복원된 또는 예측된 샘플들은 일반적으로 그 32x32 블록에 이웃할 수도 있다. 제 2 예에서, 일부 32x32 블록들에 대해, 그들이 64x64 블록의 경계에 인접한다는 점에서 64x64 블록에 이웃하지만, 그들이 32x32 블록에 바로 인접하지는 않는다는 점에서 각각의 32x32 블록에 이웃하지 않는 복원된 샘플들을 포함하는, 64x64 블록의 32x32 블록들의 인트라-예측을 위해 오직 복원된 샘플들만이 사용된다.

제 1 예 또는 제 2 예 중 어느 것에서도, 제 1 32x32 블록, 즉, 64x64 블록의 상부 좌측 32x32 서브-블록은 HEVC 에 의해 명시된 바와 동일한 방식으로 인트라-예측될 수 있다. 특히, 64x64 블록의 외부에 있는 공간적 이웃하는 블록들에 대한 이웃하는 샘플들은 보통 복원될 것이고 상부 좌측 32x32 블록의 인트라-예측을 위해 이용가능할 것이다. 하지만, 제 1 예에서 예측된 샘플들 또는 복원된 샘플들은 32x32 블록들에 대해 사용될 수도 있는 반면, 제 2 예에서는 오직 복원된 샘플들만이 사용된다.

64x64 블록의 일부 32x32 블록들의 인트라-예측을 위해 복원된 또는 예측된 샘플들이 사용될 수도 있는 제 1 예가 이제 설명될 것이다. 도 8 을 참조하면, 예를 들어, 64x64 블록 (170) 에 대한, 좌측 이웃하는 샘플들 (182), 상부 좌측 이웃하는 샘플 (184), 및 상부 이웃하는 샘플들 (186) 은 보통, 상부 좌측 32x32 인트라 블록 (172) 의 인트라-예측에서 비디오 인코더 (20) 및 비디오 디코더 (30) 에 의한 사용을 위해 복원되고 이용가능할 것이다.

상부 좌측 블록 (172) 은, 인트라 예측 모드에 의존하여, 다음의 복원된 샘플들 RecSample[i][j] 중 어느 것을 이용하여 인트라-예측될 수도 있다: 하부 좌측 복원된 샘플들로서 i=-1, j=32 내지 63 에서 RecSample[i][j] 를 갖는 복원된 좌측 이웃하는 샘플들 (182), 좌측 복원된 샘플들로서 i=-1, j=0 내지 31 에서 RecSample[i][j] 를 갖는 복원된 좌측 이웃하는 샘플들 (182), 상부 좌측 복원된 샘플들로서 i=-1, j=-1 에서 RecSample[i][j] 를 갖는 복원된 상부 좌측 이웃하는 샘플들 (184), 상부 복원된 샘플들로서 i=0 내지 31, j=-1 에서 RecSample[i][j] 를 갖는 복원된 상부 이웃하는 샘플들 (186), 및 상부 우측 복원된 샘플들로서 i=32 내지 63, j=-1 에서 RecSample[i][j] 를 갖는 복원된 상부 이웃하는 샘플들 (186). 다시, 4 개의 서브-블록들 (172, 174, 176, 178) 각각은 동일한 인트라 모드를 가지고, 그 서브-블록들을 예측하기 위해 사용되는, 이용가능한 복원된 및/또는 예측된 샘플들 중에서부터의 특정 샘플들은 선택된 인트라 모드에 의존할 것이다.

일반적으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 에 의해 사용될 수 있는 예측된 참조 샘플들, 즉, 특정 32x32 블록의 인트라-예측을 위해 이용가능한 예측된 샘플들을 정의하기 위해, PredSample[x][y] 이 x=0 내지 x=63, y=0 내지 y=63 을 갖는, 64x64 블록의 예측된 샘플들이도록 하고, 여기서, x 및 y 는 각각, 64x64 블록 (170) 의, x=0, y=0 에서, 상부-좌측 샘플에 대한 샘플의, 수직 및 수평 위치들이다.

다른 3 개의 32x32 블록들, 즉, 블록들 (174, 176 및 178) 의 각각에 대해, 임의의 이용가능한 이웃하는 복원된 샘플들 외에, 64x64 블록의 이전의 32x32 블록들 (즉, 이전에 예측된 32x32 블록들) 의 예측된 샘플들 PredSample[i][j] 이 또한 인트라 예측 프로세스에서 이웃하는 샘플들로서 사용될 수도 있다. 예측된 샘플들은, 32x32 블록들이 존재하는 64x64 블록이 코딩되고 있음에 따라, 예측은 되지만 아직 복원되지 않을 수도 있다.

상부 우측 32x32 인트라 블록 (174) 을 인트라-예측하기 위해, 인트라-예측을 위해 비디오 인코더 (20) 및 비디오 디코더 (30) 에 대해 이용가능한 참조 샘플들은, 상부 우측 32x32 인트라 블록 (174) 상에 존재하는 복원된 상부 이웃하는 샘플들 (186) 의 부분 및 (도 8 에서 부분적으로 도시된) 복원된 상부 우측 이웃하는 샘플들 (188) 의 부분, 플러스 상부 좌측 32x32 인트라 블록 (172) 의 좌측 이웃하는 인트라-예측된 샘플들 (190) 을 포함할 수도 있다. 하부 좌측 32x32 인트라 블록 (176) 의 예측 샘플들 (198) 은, 상부 우측 32x32 인트라 블록 (174) 이 예측되고 있는 시간에 그것들이 예측되지 않은 경우에, 하부 좌측 샘플들로서의 사용을 위해 이용가능하지 않을 수도 있다.

따라서, 일부 예들에서, 상부 우측 32x32 인트라 블록 (174) 은 하부 좌측 샘플들을 이용함이 없이 인트라-예측될 수도 있다. 이 경우에, 일부 인트라 모드들에 대해, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 복원된 참조 샘플들 대신에 이웃하는 복원된 샘플들, 좌측 이웃하는 인트라-예측된 샘플들 (190), 또는 복원된 이웃하는 참조 샘플들과 함께 좌측 이웃하는 인트라-예측된 샘플들 (190) 을 이용하여 상부 우측 32x32 인트라 블록 (174) 을 인트라-예측할 수도 있다. 따라서, 상부 우측 32x32 인트라 블록 (174) 을 인트라-예측하기 위해 이용가능한 이웃하는 예측된 샘플들은 상부 우측 32x32 인트라 블록 (172) 으로부터의 것이고, 이는 코딩 순서에서 상부 우측 32x32 인트라 블록에 선행한다. 각각의 경우에, 인트라-예측을 위해 이용가능한 복원된 또는 예측된 샘플들은 상부 우측 32x32 인트라 블록 (174) 에 이웃한다.

제 2 의, 상부 우측 32x32 블록 (174) 을 예측할 때, 복원될 샘플들로 HEVC 에서 동일한 상대적인 위치에서 32x32 블록에 대해 인트라 예측을 수행하는 것과 유사한 단순한 방식으로, i=31, j=0 내지 31 을 갖는 PredSample[i][j] 이 좌측 이웃하는 샘플들로서 사용된다. 이 경우에, 상부 좌측 블록 (172) 에 대해 예측된 i=31, j=0 내지 31 에서의 PredSample[i][j] 를 갖는 예측된 샘플들 (190) 은 상부-우측 블록 (174) 의 인트라-예측을 위한 좌측 이웃하는 샘플들로서 기능한다. 상부-우측 32x32 블록 (174) 에 대해, 상부 좌측 샘플은 i=31, j=-1 에서의 RecSample[i][j] 을 갖는 복원된 샘플일 수도 있고, 상부 샘플들은 i=32-63, j=-1 에서의 RecSample[i][j] 을 갖는 샘플들일 수도 있으며, 상부 우측 샘플들은 i=64-95, j=-1 에서의 RecSample[i][j] 을 갖는 샘플들일 수도 있으며, 이들 모두는 이전에 코딩된 (예컨대, 래스터 순서로 이전 코딩된) 64x64 블록 (170) 상의 이웃하는 블록들로부터 이용가능할 수도 있다.

하부 좌측 32x32 인트라 블록 (176) 을 인트라-예측하기 위해, 인트라-예측을 위해 비디오 인코더 (20) 및 비디오 디코더 (30) 에 대해 이용가능한 참조 샘플들은, 좌측 샘플들로서 하부 좌측 32x32 인트라 블록 (176) 에 대해 존재하는 복원된 좌측 이웃하는 샘플들 (182) 의 부분 및 상부 좌측 샘플로서 하부 좌측 32x32 인트라 블록 (176) 의 상부 좌측에 대해 존재하는 복원된 좌측 이웃하는 샘플들 (182) 의 부분, 플러스, 상부 샘플들로서 상부 좌측 32x32 인트라 블록 (172) 의 상부 이웃하는 인트라-예측된 샘플들 (192), 및 상부 우측 샘플로서 상부 우측 32x32 인트라 블록 (174) 의 상부 우측 인트라-예측된 샘플들 (196) 을 포함할 수도 있다. 이 경우에, 일부 인트라 모드들에 대해, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 인트라 모드에 의존하여, 복원된 참조 샘플들 대신에 이웃하는 복원된 샘플들, 상부 이웃하는 인트라-예측된 샘플들 (192, 196), 또는 이웃하는 복원된 샘플들과 함께 이웃하는 인트라-예측된 샘플들 (192, 196) 을 이용하여 하부 좌측 32x32 인트라 블록 (174) 을 인트라-예측할 수도 있다. 하부 좌측 32x32 인트라 블록 (174) 을 인트라-예측하기 위해 이용가능한 이웃하는 인트라-예측된 샘플들은 상부 좌측 32x32 인트라 블록 (172), 및 상부 우측 32x32 인트라 블록 (174) 으로부터의 것이고, 이는 코딩 순서에서 하부 좌측 32x32 인트라 블록에 선행한다.

제 3 의, 하부 좌측 32x32 블록 (176) 을 예측할 때, 복원된 샘플들로 HEVC 에서와 동일한 상대적인 위치에서 32x32 블록에 대해 인트라 예측을 수행하는 것과 유사한 단순한 방식으로, i=0 내지 31, j=31 을 갖는 PredSample[i][j] 이 상부 이웃하는 샘플들로서 사용되고, i=32 내지 63, j=31 을 갖는 PredSample[i][j] 이 상부 우측 이웃하는 샘플들로서 사용된다. 이 경우에, 상부 좌측 블록 (172) 에 대해 예측되고 하부 좌측 블록 (176) 에 이웃하는 i=0 내지 31, j=31 을 갖는 예측된 샘플들 (192) 은 하부 좌측 블록 (176) 에 대한 상부 이웃하는 샘플들로서 기능하고, 상부 좌측 블록 (174) 에 대해 예측되고 하부 좌측 블록 (176) 에 이웃하는 i=32 내지 63, j=31 을 갖는 예측된 샘플들 (196) 은 하부 좌측 블록 (176) 의 인트라-예측을 위한 상부 우측 이웃하는 샘플들로서 기능한다. 하부-좌측 32x32 블록 (176) 에 대해, 상부 좌측 샘플은 i=-1, j=31 에서의 RecSample[i][j] 을 갖는 복원된 샘플일 수도 있고, 좌측 샘플들은 i=-1, j=32 내지 63 에서의 RecSample[i][j] 을 갖는 샘플들이며, 이들 모두는 64x64 블록 (170) 의 좌측에 대해 이전에 코딩된 (예컨대, 래스터 순서로 이전에 코딩된) 블록들로부터 이용가능할 수도 있다.

하부 우측 32x32 인트라 블록 (178) 을 인트라-예측하기 위해, 인트라-예측을 위해 비디오 인코더 (20) 및 비디오 디코더 (30) 에 대해 이용가능한 참조 샘플들은, 인접하는 32x32 블록들로부터 이웃하는 예측된 샘플들만을 포함할 수도 있다. 예를 들어, 하부 우측 32x32 인트라 블록 (178) 의 인트라-예측을 위해 비디오 인코더 (20) 및 비디오 디코더 (30) 에 대해 이용가능한 참조 샘플들은, 복원된 샘플들을 포함하지 않을 수도 있고, 대신에, 상부 좌측 32x32 인트라 블록 (172) 으로부터의 상부 좌측 이웃하는 예측된 샘플 (194), 상부 우측 32x32 인트라 블록 (174) 으로부터의 상부 이웃하는 예측된 샘플들 (196), 및 하부 좌측 32x32 인트라 블록 (176) 으로부터의 좌측 이웃하는 예측된 샘플 (198) 을 포함할 수도 있다.

제 4 의, 하부 우측 32x32 블록 (176) 을 예측할 때, 복원된 샘플들로 HEVC 에서와 동일한 상대적인 위치에서 32x32 블록에 대해 인트라 예측을 수행하는 것과 유사한 단순한 방식으로, PredSample[31][31] 이 상부 좌측 이웃하는 샘플로서 사용되고, i=31, j=32..63 에서의 PredSample[i][j] 이 좌측 이웃하는 샘플들로서 사용되며, i=32..63, j=31 에서의 PredSample[i][j] 을 갖는 예측 샘플들이 상부 이웃하는 샘플들로서 각각 사용된다. 이 예에서, 하부 우측 32x32 인트라 블록 (172) 에 대해, 블록들 (172, 174, 176) 로부터의 예측된 이웃하는 샘플들이 사용된다. 따라서, 하나의 예에서, 하부 우측 32x32 인트라 블록 (178) 의 인트라-예측을 위해 어떤 복원된 이웃하는 샘플들도 사용되지 않고, 오직 예측된 이웃하는 샘플들마이 사용된다. 또한, 하부 우측 32x32 인트라 블록 (178) 은 하부 좌측 또는 상부 우측 참조 샘플들을 이용함이 없이 예측될 수도 있다.

이 경우에, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 복원된 참조 샘플들 대신에 64x64 블록의 인접 32x32 블록들로부터의 이웃하는 인트라-예측된 샘플들만을 이용함으로써 하부 우측 32x32 인트라 블록 (178) 을 인트라-예측한다. 따라서, 이 예에서, 하부 우측 32x32 인트라 블록 (178) 의 인트라-예측을 위해 비디오 인코더 (20) 및 비디오 디코더 (30) 에 의해 복원된 참조 샘플들은 사용되지 않는다. 대신에, 오직 이웃하는 예측된 샘플들만이 코딩 순서에서 하부 우측 32x32 인트라 블록 (178) 에 선행하는 32x32 인트라 블록들 (172, 174, 176) 로부터 이용된다.

64x64 인트라 블록 (170) 의 32x32 블록들 (172, 174, 176, 178) 의 각각에 대해, 비디오 인코더 (20) 및 비디오 디코더 (30) 에 의해 이용가능한 예측된 및/또는 복원된 참조 샘플들로부터 선택된 특정 참조 샘플들은 32x32 인트라 블록을 코딩하기 위해 선택된 특정 인트라 모드에 의존할 것이다. 64x64 블록을 4 개의 32x32 블록들로 분할함으로써, 인트라 예측 프로세스가 단순화될 수 있다. 일부 예들에서, 더 작은 블록들을 프로세싱하는 것은 비디오 인코더 (20) 또는 비디오 디코더 (30) 에서의 메모리 버퍼 요건들을 감소시킬 수도 있다.

제 2 예에서, 예측된 이웃하는 샘플들을 이용하는 것에 대한 대안으로서, 오직, 현재의 64x64 블록 (170) 에 이웃하는 이웃하는 복원된 샘플들 RecSample[i][j] 만이 모든 4 개의 32x32 블록들 (172, 174, 176, 178) 을 예측하는데 사용된다. 이 예에서, 블록들 (172, 174, 176) 로부터의 예측된 샘플들은 블록들 (174, 176 및 178) 을 인트라-예측하기 위해 사용되지 않는다. 대신에, 64x64 블록 (170) 에 이웃하는 복원된 샘플들이, 더 큰 64x64 블록 (170) 에 이웃하는 복원된 샘플들의 일부가 주어진 32x32 서브-블록 (174, 176, 178) 에 이웃하지 않음에도 불구하고, 블록들 (174, 176, 178) 의 인트라-예측을 위해 사용된다.

일반적으로, 비디오 인코더 (20) 및 비디오 디코더 (30) 에 의해 사용될 수 있는, 즉, 특정 32x32 블록의 인트라-예측을 위해 이용가능한 복원된 참조 샘플들을 정의하기 위해, 다시, RecSample[x][y] 가 x=-1, y=-1..63, 또는 x=0..63, y=-1 을 갖는 64x64 블록의 복원된 이웃하는 샘플이도록 하고, 여기서, x 및 y 는 각각. x=0, y=0 에서의 64x64 블록 (170) 의 상부-좌측 샘플에 대한 복원된 샘플의 수직 및 수평 위치들이다.

이 제 2 예에서, 제 1 의, 상부 좌측 32x32 블록은 HEVC 에서와 또는 상기 제 1 예에서와 동일한 방식으로 예측된다. 즉, 제 1 의, 상부 좌측 32x32 블록은 예컨대 32x32 블록에 대해 인트라-예측을 위해 HEVC 에서 보통 사용되는 동일한 프로세스를 이용하여 여전히 예측될 수도 있다. 특히, 제 1 의 상부 좌측 32x32 를 인트라 블록 (172) 을 인트라-예측할 때, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 다음의 복원된 이웃하는 샘플들 RecSample[i][j] 중 어느 것을 이용할 수도 있다: 하부 좌측 복원된 샘플들로서 i=-1, j=32-63 에서 RecSample[i][j] 를 갖는 복원된 좌측 샘플들 (182), 좌측 복원된 샘플들로서 i=-1, j=0-31 에서 RecSample[i][j] 를 갖는 복원된 좌측 샘플들 (182), 상부 좌측 복원된 샘플들로서 i=-1, j=-1 에서 RecSample[i][j] 를 갖는 복원된 상부 좌측 샘플들 (184), 상부 복원된 샘플들로서 i=0-31, j=-1 에서 RecSample[i][j] 를 갖는 복원된 상부 샘플들 (186), 및 상부 우측 복원된 샘플들로서 i=32-63, j=-1 에서 RecSample[i][j] 를 갖는 복원된 상부 샘플들 (186).

다른 3 개의 32x32 블록들 (상부 우측 블록 (174), 하부 좌측 블록 (176) 및 하부 우측 블록 (178)) 의 각각에 대해, 이러한 블록들에 실제로 이웃하는 복원된 샘플들 (예컨대, 상부 우측 블록 (174) 에 이웃하는 상부 좌측, 상부 및 상부 우측 복원된 샘플들, 및 하우 좌측 블록 (176) 에 이웃하는 좌측 및 상부 좌측 복원된 샘플들, 하지만, 하부 우측 블록 (178) 에 이웃하는 복원된 샘플들은 아님) 외에, 추가적인 복원된 샘플들 RecSample[i][j] 이 또한 이하 설명되는 바와 같이 인트라 예측 프로세스에서 참조 샘플들로서 사용된다.

제 2 의, 상부 우측 32x32 블록 (174) 을 예측할 때, i=-1, j=0 내지 31 을 갖는 복원된 샘플들 RecSample[i][j] 은, 비록 이들 복원된 샘플들이 상부 우측 32x32 인트라 블록 (174) 에 직접 인접하지 않음에도 불구하고, 상부 우측 32x32 인트라 블록 (174) 의 인트라-예측을 위한 좌측 샘플들로서 비디오 인코더 (20) 및 비디오 디코더 (30) 에 의해 사용된다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한, 상부 우측 32x32 블록 (174) 에 대한 저부 좌측 복원된 샘플들로서 i=-1, j=32-63 에서 RecSample[i][j] 을 갖는 복원된 좌측 샘플들을 이용할 수도 있다. 다시, 좌측 복원된 샘플들과 같이, 이들 저부 좌측 복원된 샘플들은, 상부 우측 32x32 인트라 예측 블록 (174) 에 이웃, 즉, 직접 인접하지 않는다.

비-이웃, 즉, 비-인접, 복원된 샘플들에 추가하여, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 64x64 블록 (170) 의 상부 우측 32x32 블록 (174) 에 실제로 이웃, 즉 인접하는 복원된 샘플들을 이용할 수도 있다. 예를 들어, 상부 우측 32x32 인트라 블록 (174) 의 인트라 예측에 대해 이용될 수도 있는 다른 복원된 샘플들은, 상부 좌측 복원된 샘플로서 i=31, j=-1 에서 RecSample[i][j] 을 갖는 복원된 샘플들 (186) 의 부분, 상부 복원된 샘플들로서 i=32-63, j=-1 에서 RecSample[i][j] 을 갖는 복원된 샘플들 (186), 및 상부 우측 복원된 샘플로서 i=64-95, j=-1 에서 RecSample[i][j] 을 갖는 복원된 샘플들 (188) 의 부분을 포함한다. 따라서, 64x64 인트라 블록 (170) 의 상부 우측 32x32 인트라 블록 (174) 을 인트라 예측하기 위해, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 32x32 블록 (174) 의 최상부에 이웃, 즉, 인접하는 복원된 샘플들, 및 64x64 블록의 좌측에 이웃하지만 32x32 블록 (174) 의 좌측에는 이웃하지 않는 복원된 샘플들을 이용할 수도 있다.

64x64 블록 (170) 의 제 3 의, 하부 좌측 32x32 블록 (176) 을 예측할 때, i=-1, j=32 내지 63 에서 RecSample[i][j] 을 갖는 이웃하는 복원된 샘플들은, 좌측 이웃하는 샘플들로서 비디오 인코더 (20) 및 비디오 디코더 (30) 에 의해 사용된다. 이 예에서, i=-1 및 j=31 에서 RecSample[i][j] 을 갖는 이웃하는 복원된 샘플 (182) 은 하부 좌측, 32x32 인트라 블록 (176) 에 대한 인트라 예측을 위해 상부 좌측 이웃하는 복원된 샘플로서 사용될 수 있다. 따라서, 인트라 예측을 위해 사용되는 복원된 샘플들의 일부는 64x64 블록 (170) 및 하부 좌측 32x32 블록 (176) 양자에 이웃할 수도 있다.

또한, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 64x64 블록 (170) 에는 이웃하지만, 그 블록의 인트라 예측을 위해 하부 좌측 32x32 인트라 블록 (176) 에 이웃하지 않는, 즉, 직접 인접하지 않는 복원된 샘플들을 이용할 수도 있다. 예를 들어, 64x64 블록 (170) 의 제 3 의, 하부 좌측 32x32 블록 (176) 을 인트라-예측할 때, i=0 내지 31, j=-1 에서 RecSample[i][j] 을 갖는 복원된 샘플들 (186) 이 인트라 예측을 위해 상부 복원된 샘플들로서 비디오 인코더 (20) 및 비디오 디코더 (30) 에 의해 사용될 수도 있다. 또한, i=32 내지 63, j=-1 에서 RecSample[i][j] 을 갖는 복원된 샘플들 (186) 이 하부 좌측 32x32 인트라 블록 (176) 에 대한 상부 우측 복원된 샘플들로서 비디오 인코더 (20) 및 비디오 디코더 (30) 에 의해 사용될 수도 있다. 따라서, 64x64 인트라 블록 (170) 의 하부 좌측 32x32 블록 (176) 을 인트라-예측하기 위해, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 특정 인트라 모드에 의존하여, 32x32 블록 (176) 의 좌측에 이웃, 즉, 인접하는 복원된 샘플들, 및 64x64 블록 (170) 의 최상부에는 이웃하지만 하부 좌측 32x32 블록 (176) 의 최상부에는 인접하지 않는 이웃하는 복원된 샘플들을 사용할 수도 있다.

제 4 의, 하부 우측 32x32 블록 (178) 을 예측할 때, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 32x32 블록에 이웃, 즉, 직접 인접하지 않는 복원 샘플들을 이용할 수도 있다. 예를 들어, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 64x64 블록 (170) 에 이웃하지만 32x32 블록 (178) 에는 이웃하지 않는 하부 우측 32x32 인트라 블록 (178) 에 대해 다음과 같은 이웃하는 복원된 샘플들을 이용할 수도 있다: i=-1 및 j=31 에서 RecSample[i][j] 을 갖는 복원된 샘플 (182) 이 상부 좌측 샘플로서 사용될 수도 있고, i=-1 및 j=32 내지 63 에서 RecSample[i][j] 을 갖는 복원된 샘플들 (182) 이 좌측 샘플들로서 사용될 수도 있으며, i=32 내지 63 및 j=-1 에서 RecSample[i][j] 을 갖는 복원된 샘플들 (186) 이 상부 샘플들로서 사용될 수도 있다. 일부 예들에서, 하부 우측 32x32 인트라 블록 (178) 에 대해, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한, 상부 우측 샘플들로서 i=64 내지 95 및 j=-1 에서 RecSample[i][j] 을 갖는 복원된 샘플들 (188) 의 부분을 이용할 수도 있다.

상기 제 1 및 제 2 예들의 각각에 대해, 비디오 인코더 (20) 는 코딩된 64x64 블록과 인트라-예측 샘플들의 대응하는 4 개의 예측 32x32 블록들의 픽셀들 사이의 차이를 나타내는 잔차 데이터를 생성할 수도 있다. 이 잔차 데이터는, 정규 잔차 코딩의 경우에, 원래의 64x64 블록과 4 개의 32x32 예측된 블록들의 대응하는 예측 샘플들의 픽셀들 사이의 샘플 단위의 차이들을 나타내는 다수의 잔차 값들을 포함할 수도 있다. 대안적으로, SDC 의 경우데, 잔차 데이터는 원래의 64x64 블록에서의 픽셀들의 평균 값과 4 개의 32x32 예측된 블록들의 예측 샘플들의 평균 값 사이의 차이, 또는, 원래의 64x64 블록에서의 픽셀들의 평균 값과, 상부 좌측 예측된 블록 (172) 의 상부 좌측 픽셀, 상부 우측 예측된 블록 (174) 의 상부 우측 픽셀, 하부 좌측 예측된 블록 (176) 의 하부 좌측 픽셀, 및 하부 우측 예측된 블록 (178) 의 하부 우측 픽셀을 포함하는 4 개의 예측 샘플들의 평균 값 사이의 차이를 나타내는 단일 델타 DC 값일 수도 있다. 어느 경우에도, 비디오 인코더 (20) 는 64x64 블록에 대한 인트라-코딩 모드 및 64x64 블록에 대한 잔차 데이터를 나타내는 신택스 정보를 인코딩할 수도 있다. 비디오 디코더 (30) 는 그 신택스 정보를 이용하여 64x64 블록을 예측하고 예측된 블록과 잔차를 합산함으로써 블록을 복원할 수도 있다. 인트라 SDC 64x64 모드가 표시될 때, 비디오 디코더 (30) 는 심도 데이터의 인트라 SDC 64x64 블록을 4 개의 32x32 인트라-예측된 서브-블록들로서 프로세싱할 수도 있다. 이러한 방식으로, 기본적으로, 64x64 블록의 예측은 4 개의 32x32 서브-블록들에서 프로세싱되고; 하지만, 잔차는 64x64 블록에 대해 계산되고, 인트라 예측 모드는 또한 32x32 서브-블록들 대신에 64x64 블록에 대해 시그널링된다. 예를 들어, 64x64 인트라 SDC 모드를 나타내는 신택스 정보 및, 64x64 블록의 픽셀 값들과 32x32 블록들의 인트라-예측된 샘플들 상이의 차이를 나타내는 잔차 데이터를, 인코더 (20) 가 인코딩할 수도 있고, 디코더 (30) 가 디코딩할 수도 있다.

상기 제 1 및 제 2 예들의 각각에서, SDC 가 적용될 때, 변환은 필요하지 않다. 따라서, 보다 일반적으로, 이러한 방법들이 또한 정규 잔차 코딩의 비-SDC 인트라 예측에 적용되는 경우에, 이 방법들은, 변환이 적용되는 경우에 최대 변한 사이즈가 인트라 예측 블록 사이즈, 예컨대, 32x32 보다 더 크지 않은 경우들에만 적용될 것이다. 예를 들어, 또한, 상기 방법들은 심도 코딩을 위해 3D-HEVC 에서 보통의 64x64 인트라 예측을 가능하게 하기 위해 사용될 수 있지만, 32x32 이하의 변환 사이즈들을 갖는 코딩에 제한될 수도 있다.

도 9 는 이 개시의 일 예에 따른 64x64 인트라 심도 블록을 인코딩하기 위한 방법을 나타내는 흐름도이다. 도 9 의 예에서, 비디오 인코더 (20) 는 예컨대 3D-HEVC 프로세스에서 심도 블록을 인코딩하기 위해 인트라 SDC 64x64 모드를 선택한다 (200). 인트라 64x64 모드가 선택될 때, 비디오 인코더 (20) 는, 이 개시물에서 설명된 바와 같이, 64x64 인트라 블록에 대해 4 개의 32x32 블록들, 즉, 서브-블록들을 이용하여 64x64 블록을 인트라-예측한다 (202). 비디오 인코더 (20) 는 그 다음, 원래의 64x64 블록의 픽셀들과 4 개의 32x32 예측된 서브-블록들의 인트라-예측 샘플들 사이의 차이들을 나타내는 잔치 데이터를 생성하고 (204), 64x64 블록에 대한 인트라-예측 모드 및 잔차 데이터에 기초하여 인트라 64x64 블록을 인코딩한다 (206). 예를 들어, 비디오 인코더 (20) 는 64x64 심도 블록에 대한 64x64 인트라 모드를 나타내는 신택스 정보, 및 그리하여, 32x32 서브-블록들의 각각에 대한 샘플들을 예측하기 위해 사용되는 인트라 모드, 및 64x64 블록에 대한 잔차 데이터를 나타내는 신택스 정보를 시그널링할 수도 있다. 인트라 SDC 의 경우에, 일부 예들에서, 잔차 데이터는 64x64 블록 또는 그것의 파티션에 대해 델타 DC 값을 포함할 수도 있다. 델타 DC 값은 비트스트림에서 인코디을 위해 변환 또는 양자화될 필요가 없다. 정규 잔차 코디의 경우에, 비트스트림은 잔차 데이터를 나타내는 양자화된 변환 계수들에 포함될 수도 있다.

도 10 은 이 개시의 일 예에 다른, 64x64 인트라 심도 블록을 디코딩하기 위한 방법을 나타내는 흐름도이다. 도 10 의 예에서, 비디오 디코더는, 예컨대, 3D-HEVC 프로세스에서, 코딩될 64x64 심도 블록에 대한 SDC 64x64 인트라 모드를 나타내는 신택스 정보를 인코딩된 비디오 비트스트림에서 수신한다 (210). SDC 인트라 64x64 모드를 나타내는 신택스 정보에 응답하여, 비디오 디코더 (30) 는, 예컨대, 서브-블록들의 가각에 대해 동일한 인트라 모드를 이용하여, 64x64 심도 블록에 대한 4 개의 32x32 심도 서브-블록들을 인트라-예측하고 (212), 64x64 블록에 대한 잔차 데이터를 수신한다 (214). 예를 들어, 비디오 디코더 (30) 는 비트스트림으로부터 잔차 데이터를 디코딩할 수도 있다. 다시, 잔차 데이터는, 변환들 또는 양자화 없이, 또는 정규 잔차 코딩으로, SDC 에 의해 생성될 수도 있고, 이 경우에, 비디오 디코더 (30) 는 잔차 데이터를 획득하기 위해 역 양자화 및 역 변환을 적용할 수도 있다. 비디오 디코더 (30) 는 4 개의 32x32 블록들로부터의 인트라-예측 샘플들 및 64x64 블록에 대해 수신된 잔차 데이터에 기초하여 64x64 인트라-코딩된 블록의 심도 데이터를 복원한다 (216).

비록 64x64 및 32x32 블록들이 예시 및 설명의 목적들을 위해 기술되었지만, 다른 예들에서, 이 개시물에서 설명된 기술들은 더 큰 블록들에 적용될 수도 있다. 예를 들어, 인트라 128x128 블록은 4 개의 64x64 블록들로서 프로세싱될 수도 있고, 또는, 256x256 블록은 4 개의 128x128 블록들로서 프로세싱될 수도 있다. 따라서, 64x64 및 32x32 블록들에 적용되는 개념들은 더 큰 블록들에 적용가능한 것으로서 고려될 수도 있다.

일부 예들에서, 32x32 블록들의 적어도 일부 블록의 샘플들의 인트라-예측을 위해 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 에 대해 이용가능한 참조 샘플들은 다른 32x32 블록들 중 하나 이상으로부터의 인트라-예측된 참조 샘플들을 포함한다. 다른 예로서, 32x32 블록들의 적어도 일부 블록의 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은 각각의 32x32 블록에 이웃하는 다른 32x32 블록들 중 하나 이상으로부터의 인트라-예측된 참조 샘플들을 포함한다. 다른 예로서, 32x32 블록들의 적어도 일부 블록의 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 각각의 32x32 블록에 이웃하는 다른 32x32 블록들 중 하나 이상으로부터의 인트라-예측된 참조 샘플들 및, 64x64 블록 및 각각의 32x32 블록에 이웃하는 복원된 샘플들을 포함한다.

다른 예에서, 32x32 블록들의 적어도 일부 블록의 샘플들의 인트라-예측을 위해 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 에 대해 이용가능한 참조 샘플들은 64x64 블록에 이웃하는 복원된 샘플들을 포함한다. 다른 예로서, 32x32 블록들의 적어도 일부 블록의 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은 64x64 블록에는 이웃하지만 32x32 블록에는 이웃하지 않는 복원된 샘플들을 포함한다.

따라서, 다양한 예들에서, 비디오 인코더 (20) 또는 비디오 디코더 (30) 는, 다른 32x32 블록들 중 하나 이상으로부터의 인트라-예측된 참조 샘플들을 이용하여 32x32 블록들의 샘플들을 인트라-예측하고, 각각의 32x32 블록들에 이웃하는 하나 이상의 다른 32x32 블록들로부터의 인트라-예측된 참조 샘플들을 이용하여 32x32 블록들의 샘플들을 인트라-예측하며, 각각의 32x32 블록들에 이웃하는 다른 32x32 블록들 중 하나 이상으로부터의 참조 샘플들 및 64X64 블록 및 각각의 32x32 블록에 이웃하는 복원된 샘플들을 이용하여 32x32 블록들의 샘플들을 인트라-예측하고, 64x64 블록에 이웃하는 복원된 샘플들을 이용하여 32x32 블록들의 샘플들을 인트라-예측하고, 또는, 64x64 블록에 이웃하지만 각각의 32x32 블록에 이웃하지 않는 복원된 샘플들을 이용하여 32x32 블록들의 샘플들을 인트라-예측하도록 구성될 수도 있다.

비디오 디코더 (30) 는, 비디오 코딩을 위한 심도 데이터를 디코딩하는 방법을 수행할 수도 있고, 이 방법은, 심도 데이터의 제 1 블록에 대한 인트라-예측 모드에 대해, 제 2 블록들에 대한 심도 데이터의 샘플들을 인트라-예측하는 단계로서, 여기서, 제 2 블록들은, 심도 데이터의 제 1 블록의 사이즈의 1/4 와 동일한 사이즈를 각각 갖는 4 개의 블록들을 포함하고, 심도 데이터의 제 1 블록의 상부 좌측, 상부 우측, 하부 좌측, 및 하부 우측 블록들에 대응하는, 상기 제 2 블록들에 대한 심도 데이터의 샘플들을 인트라-예측하는 단계, 제 1 블록의 픽셀 값들과 제 2 블록들의 인트라-예측된 샘플들 사이의 차이를 나타내는 심도 데이터의 제 1 블록에 대한 잔차 데이터를 수신하는 단계, 및 제 2 블록들에 대한 인트라-예측된 샘플들과 잔차 데이터에 기초하여 심도 데이터의 제 1 블록을 복원하는 단계를 포함한다. 잔차 데이터는, 일부 예들에서, 제 1 블록의 픽셀 값들의 평균 값과 제 2 블록들의 인트라-예측된 샘플들의 평균 값 사이의 차이를 나타내는 DC 잔차 데이터를 포함할 수도 있다.

비디오 인코더 (20) 는, 비디오 코딩을 위한 심도 데이터를 인코딩하는 방법을 수행할 수도 있고, 이 방법은, 심도 데이터의 제 1 블록에 대한 인트라-예측 모드에 대해, 제 2 블록들에 대한 심도 데이터의 샘플들을 인트라-예측하는 단계로서, 여기서, 제 2 블록들은, 심도 데이터의 제 1 블록의 사이즈의 1/4 와 동일한 사이즈를 각각 갖는 4 개의 블록들을 포함하고, 심도 데이터의 제 1 블록의 상부 좌측, 상부 우측, 하부 좌측, 및 하부 우측 블록들에 대응하는, 상기 제 2 블록들에 대한 심도 데이터의 샘플들을 인트라-예측하는 단계, 제 1 블록의 픽셀 값들과 제 2 블록들의 인트라-예측된 샘플들 사이의 차이에 기초하여 심도 데이터의 제 1 블록에 대한 잔차 데이터를 생성하는 단계, 및 인트라-예측 모드 및 잔차 데이터에 기초하여 심도 데이터의 제 1 블록을 인코딩하는 단계를 포함한다. 잔차 데이터는, 일부 예들에서, 제 1 블록의 픽셀 값들의 평균 값과 제 2 블록들의 인트라-예측된 샘플들의 평균 값 사이의 차이를 나타내는 DC 잔차 데이터를 포함할 수도 있다.

이 개시물에서 설명된 다양한 인트라 코딩 기법들은 비디오 인코더 (20) (도 3 및 도 5) 및/또는 비디오 디코더 (30) (도 3 및 도 7) 에 의해 수행될 수도 있으며, 이 비디오 인코더와 디코더는 비디오 코더로서 일반적으로 지칭될 수도 있다. 게다가, 비디오 코딩은 적용가능한 경우, 비디오 인코딩 및/또는 비디오 디코딩을 일반적으로 지칭할 수도 있다.

본 개시물의 기법들은 3D-HEVC 에 대해 설명되지만, 기법들은 반드시 이에 한정될 필요는 없다. 위에서 설명된 기법들은 또한 3D 비디오 코딩에 대한 다른 현재의 표준들 또는 미래 표준들에도 적용가능할 수도 있다.

하나 이상의 예들에서, 본원에서 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 그 기능들은 하나 이상의 명령들 또는 코드로서, 컴퓨터-판독가능 매체 상에 저장되거나 또는 컴퓨터-판독가능 매체를 통해서 송신될 수도 있으며, 하드웨어-기반의 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터-판독가능 매체는 컴퓨터-판독가능 저장 매체들을 포함할 수도 있으며, 이 컴퓨터-판독가능 저장 매체들은 데이터 저장 매체와 같은 유형의 매체, 또는 예컨대, 통신 프로토콜에 따라서 한 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함한 통신 매체들에 대응한다. 이런 방법으로, 컴퓨터-판독가능 매체들은 일반적으로 (1) 비일시성 유형의 컴퓨터-판독가능 저장 매체, 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는 본 개시물에서 설명하는 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수도 있다.

일 예로서, 이에 한정하지 않고, 이런 컴퓨터-판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광디스크 스토리지, 자기디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터-판독가능 매체로 적절히 지칭된다. 예를 들어, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 무선 기술들, 예컨대 적외선, 라디오, 및 마이크로파를 이용하여 명령들이 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 무선 기술들 예컨대 적외선, 라디오, 및 마이크로파가 그 매체의 정의에 포함된다. 그러나, 컴퓨터-판독가능 저장 매체 및 데이터 저장 매체는 접속부들, 반송파들, 신호들, 또는 다른 일시성 매체를 포함하지 않고, 그 대신, 비-일시성 유형의 저장 매체로 송신되는 것으로 해석되어야 한다. 디스크 (disk) 및 디스크 (disc) 는, 본원에서 사용할 때, 컴팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 Blu-ray 디스크를 포함하며, 디스크들 (disks) 은 데이터를 자기적으로 보통 재생하지만, 디스크들 (discs) 은 레이저로 데이터를 광학적으로 재생한다. 앞에서 언급한 것들의 결합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.

명령들은 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 등가의 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 용어 "프로세서" 는, 본원에서 사용될 때 전술한 구조 중 임의의 구조 또는 본원에서 설명하는 기법들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 게다가, 일부 양태들에서, 본원에서 설명하는 기능은 인코딩 및 디코딩을 위해 구성되는 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공되거나, 또는 결합된 코덱에 포함될 수도 있다. 또한, 이 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들로 전적으로 구현될 수 있다.

본 개시물의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예컨대, 칩 세트) 를 포함한, 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 개시한 기법들을 수행하도록 구성되는 디바이스들의 기능적 양태들을 강조하기 위해서 여러 구성요소들, 모듈들, 또는 유닛들이 본 개시물에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하지는 않는다. 대신, 위에서 설명한 바와 같이, 여러 유닛들이 코덱 하드웨어 유닛에 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명한 바와 같은 하나 이상의 프로세서들을 포함한, 상호작용하는 하드웨어 유닛들의 컬렉션으로 제공될 수도 있다.

다양한 예들이 설명되었다. 이들 및 다른 dPef은 다음 청구항들의 범위 내에 있다.

Claims (51)

1. 비디오 코딩을 위한 심도 데이터를 디코딩하는 방법으로서,
   심도 데이터의 제 1 블록에 대한 인트라-예측 모드에 대해, 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계로서, 상기 제 2 블록들은, 상기 심도 데이터의 상기 제 1 블록의 사이즈의 1/4 와 동일한 사이즈를 각각 갖는 4 개의 블록들을 포함하고, 상기 심도 데이터의 제 1 블록의 상부 좌측, 상부 우측, 하부 좌측, 및 하부 우측 블록들에 대응하는, 상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계;
   상기 제 1 블록의 픽셀 값들과 상기 제 2 블록들의 인트라-예측된 상기 샘플들 사이의 차이를 나타내는 상기 심도 데이터의 제 1 블록에 대한 잔차 데이터를 수신하는 단계; 및
   상기 제 2 블록들에 대한 상기 인트라-예측된 샘플들과 상기 잔차 데이터에 기초하여 상기 심도 데이터의 제 1 블록을 복원하는 단계를 포함하는, 심도 데이터를 디코딩하는 방법.
2. 제 1 항에 있어서,
   상기 인트라-예측 모드는 인트라 64x64 모드이고, 상기 제 1 블록은 64x64 픽셀들의 사이즈를 가지며, 상기 제 2 블록들 각각은 32x32 픽셀들의 사이즈를 갖는, 심도 데이터를 디코딩하는 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 인트라-예측 모드는 3D-HEVC 에서의 인트라 세그먼트-와이즈 DC 코딩 (SDC) 모드인, 심도 데이터를 디코딩하는 방법.
4. 제 1 항 또는 제 2 항에 있어서,
   상기 인트라-예측 모드는 인트라 세그먼트-와이즈 DC 코딩 (SDC) 모드가 아닌, 심도 데이터를 디코딩하는 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 잔차 데이터는, 상기 제 1 블록의 상기 픽셀 값들의 평균 값과 상기 제 2 블록들의 상기 인트라-예측된 샘플들의 평균 값 사이의 차이를 나타내는 DC 잔차 데이터를 포함하는, 심도 데이터를 디코딩하는 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들을 포함하는, 심도 데이터를 디코딩하는 방법.
7. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 각각의 상기 제 2 블록에 이웃하는 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들을 포함하는, 심도 데이터를 디코딩하는 방법.
8. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 각각의 상기 제 2 블록에 이웃하는 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들, 및 상기 제 1 블록 및 각각의 상기 제 2 블록에 이웃하는 복원된 샘플들을 포함하는, 심도 데이터를 디코딩하는 방법.
9. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 상기 제 1 블록에 이웃하는 복원된 샘플들을 포함하는, 심도 데이터를 디코딩하는 방법.
10. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 상기 제 1 블록에 이웃하지만 각각의 상기 제 2 블록에 이웃하지 않는 복원된 샘플들을 포함하는, 심도 데이터를 디코딩하는 방법.
11. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계는, 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들을 이용하여 상기 샘플들을 인트라-예측하는 단계를 포함하는, 심도 데이터를 디코딩하는 방법.
12. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계는, 각각의 상기 제 2 블록에 이웃하는 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들을 이용하여 상기 샘플들을 인트라-예측하는 단계를 포함하는, 심도 데이터를 디코딩하는 방법.
13. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계는, 각각의 상기 제 2 블록에 이웃하는 다른 제 2 블록들 중 하나 이상으로부터의 참조 샘플들, 및 상기 제 1 블록 및 각각의 상기 제 2 블록에 이웃하는 복원된 샘플들을 이용하여 상기 샘플들을 인트라-예측하는 단계를 포함하는, 심도 데이터를 디코딩하는 방법.
14. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계는, 상기 제 1 블록에 이웃하는 복원된 샘플들을 이용하여 상기 샘플들을 인트라-예측하는 단계를 포함하는, 심도 데이터를 디코딩하는 방법.
15. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계는, 상기 제 1 블록에 이웃하지만 각각의 상기 제 2 블록에 이웃하지 않는 복원된 샘플들을 이용하여 상기 샘플들을 인트라-예측하는 단계를 포함하는, 심도 데이터를 디코딩하는 방법.
16. 비디오 코딩을 위한 심도 데이터를 인코딩하는 방법으로서,
    심도 데이터의 제 1 블록에 대한 인트라-예측 모드에 대해, 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계로서, 상기 제 2 블록들은, 상기 심도 데이터의 상기 제 1 블록의 사이즈의 1/4 와 동일한 사이즈를 각각 갖는 4 개의 블록들을 포함하고, 상기 심도 데이터의 제 1 블록의 상부 좌측, 상부 우측, 하부 좌측, 및 하부 우측 블록들에 대응하는, 상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계;
    상기 제 1 블록의 픽셀 값들과 상기 제 2 블록들의 인트라-예측된 상기 샘플들 사이의 차이에 기초하여 상기 심도 데이터의 제 1 블록에 대한 잔차 데이터를 생성하는 단계; 및
    상기 인트라-예측 모드 및 상기 잔차 데이터에 기초하여 상기 심도 데이터의 제 1 블록을 인코딩하는 단계를 포함하는, 심도 데이터를 인코딩하는 방법.
17. 제 16 항에 있어서,
    상기 인트라-예측 모드는 인트라 64x64 모드이고, 상기 제 1 블록은 64x64 픽셀들의 사이즈를 가지며, 상기 제 2 블록들 각각은 32x32 픽셀들의 사이즈를 갖는, 심도 데이터를 인코딩하는 방법.
18. 제 16 항 또는 제 17 항에 있어서,
    상기 인트라-예측 모드는 3D-HEVC 에서의 인트라 세그먼트-와이즈 DC 코딩 (SDC) 모드인, 심도 데이터를 인코딩하는 방법.
19. 제 16 항 또는 제 17 항에 있어서,
    상기 인트라-예측 모드는 인트라 세그먼트-와이즈 DC 코딩 (SDC) 모드가 아닌, 심도 데이터를 인코딩하는 방법.
20. 제 16 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 잔차 데이터는, 상기 제 1 블록의 상기 픽셀 값들의 평균 값과 상기 제 2 블록들의 상기 인트라-예측된 샘플들의 평균 값 사이의 차이를 나타내는 DC 잔차 데이터를 포함하는, 심도 데이터를 인코딩하는 방법.
21. 제 16 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들을 포함하는, 심도 데이터를 인코딩하는 방법.
22. 제 16 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 각각의 상기 제 2 블록에 이웃하는 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들을 포함하는, 심도 데이터를 인코딩하는 방법.
23. 제 16 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 각각의 상기 제 2 블록에 이웃하는 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들, 및 상기 제 1 블록 및 각각의 상기 제 2 블록에 이웃하는 복원된 샘플들을 포함하는, 심도 데이터를 인코딩하는 방법.
24. 제 16 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 상기 제 1 블록에 이웃하는 복원된 샘플들을 포함하는, 심도 데이터를 인코딩하는 방법.
25. 제 16 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 상기 제 1 블록에 이웃하지만 각각의 상기 제 2 블록에 이웃하지 않는 복원된 샘플들을 포함하는, 심도 데이터를 인코딩하는 방법.
26. 제 16 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계는, 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들을 이용하여 상기 샘플들을 인트라-예측하는 단계를 포함하는, 심도 데이터를 인코딩하는 방법.
27. 제 16 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계는, 각각의 상기 제 2 블록에 이웃하는 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들을 이용하여 상기 샘플들을 인트라-예측하는 단계를 포함하는, 심도 데이터를 인코딩하는 방법.
28. 제 16 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계는, 각각의 상기 제 2 블록에 이웃하는 다른 제 2 블록들 중 하나 이상으로부터의 참조 샘플들, 및 상기 제 1 블록 및 각각의 상기 제 2 블록에 이웃하는 복원된 샘플들을 이용하여 상기 샘플들을 인트라-예측하는 단계를 포함하는, 심도 데이터를 인코딩하는 방법.
29. 제 16 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계는, 상기 제 1 블록에 이웃하는 복원된 샘플들을 이용하여 상기 샘플들을 인트라-예측하는 단계를 포함하는, 심도 데이터를 인코딩하는 방법.
30. 제 16 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 단계는, 상기 제 1 블록에 이웃하지만 각각의 상기 제 2 블록에 이웃하지 않는 복원된 샘플들을 이용하여 상기 샘플들을 인트라-예측하는 단계를 포함하는, 심도 데이터를 인코딩하는 방법.
31. 비디오 코딩을 위한 심도 데이터를 코딩하기 위한 디바이스로서,
    비디오 코딩을 위한 심도 데이터를 저장하는 메모리; 및
    하나 이상의 프로세서들을 포함하고,
    상기 하나 이상의 프로세서들은,
    심도 데이터의 제 1 블록에 대한 인트라-예측 모드에 대해, 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 것으로서, 상기 제 2 블록들은, 상기 심도 데이터의 상기 제 1 블록의 사이즈의 1/4 와 동일한 사이즈를 각각 갖는 4 개의 블록들을 포함하고, 상기 심도 데이터의 제 1 블록의 상부 좌측, 상부 우측, 하부 좌측, 및 하부 우측 블록들에 대응하는, 상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 것을 행하고;
    상기 제 1 블록의 픽셀 값들과 상기 제 2 블록들의 인트라-예측된 상기 샘플들 사이의 차이를 나타내는 상기 제 1 블록에 대한 잔차 데이터 및 상기 인트라-예측 모드에 기초하여 상기 심도 데이터의 제 1 블록을 코딩하도록 구성되는, 심도 데이터를 코딩하기 위한 디바이스.
32. 제 31 항에 있어서,
    상기 디바이스는 비디오 디코더를 포함하고,
    상기 하나 이상의 프로세서들은 또한,
    상기 인트라-예측 모드를 나타내는 신택스 정보를 수신하고;
    상기 잔차 데이터를 수신하며; 그리고,
    상기 심도 데이터의 제 1 블록을 코딩하기 위해 상기 잔차 데이터 및 상기 제 2 블록들에 대한 상기 인트라-예측된 샘플들에 기초하여 상기 심도 데이터의 제 1 블록을 복원하도록 구성되는, 심도 데이터를 코딩하기 위한 디바이스.
33. 제 31 항에 있어서,
    상기 디바이스는 비디오 인코더를 포함하고,
    상기 하나 이상의 프로세스들은 또한,
    상기 인트라-예측 모드를 선택하고;
    상기 잔차 데이터를 생성하며; 그리고
    상기 심도 데이터의 제 1 블록을 코딩하기 위해 상기 잔차 데이터 및 상기 인트라-예측 모드에 기초하여 상기 심도 데이터의 제 1 블록을 인코딩하도록 구성되는, 심도 데이터를 코딩하기 위한 디바이스.
34. 제 31 항 내지 제 33 항 중 어느 한 항에 있어서,
    상기 인트라-예측 모드는 인트라 64x64 모드이고, 상기 제 1 블록은 64x64 픽셀들의 사이즈를 가지며, 상기 제 2 블록들 각각은 32x32 픽셀들의 사이즈를 갖는, 심도 데이터를 코딩하기 위한 디바이스.
35. 제 31 항 내지 제 34 항 중 어느 한 항에 있어서,
    상기 인트라-예측 모드는 3D-HEVC 에서의 인트라 세그먼트-와이즈 DC 코딩 (SDC) 모드인, 심도 데이터를 코딩하기 위한 디바이스.
36. 제 31 항 내지 제 34 항 중 어느 한 항에 있어서,
    상기 인트라-예측 모드는 인트라 세그먼트-와이즈 DC 코딩 (SDC) 모드가 아닌, 심도 데이터를 코딩하기 위한 디바이스.
37. 제 31 항 내지 제 36 항 중 어느 한 항에 있어서,
    상기 잔차 데이터는, 상기 제 1 블록의 상기 픽셀 값들의 평균 값과 상기 제 2 블록들의 상기 인트라-예측된 샘플들의 평균 값 사이의 차이를 나타내는 DC 잔차 데이터를 포함하는, 심도 데이터를 코딩하기 위한 디바이스.
38. 제 31 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들을 포함하는, 심도 데이터를 코딩하기 위한 디바이스.
39. 제 31 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 각각의 상기 제 2 블록에 이웃하는 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들을 포함하는, 심도 데이터를 코딩하기 위한 디바이스.
40. 제 31 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 각각의 상기 제 2 블록에 이웃하는 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들, 및 상기 제 1 블록 및 각각의 상기 제 2 블록에 이웃하는 복원된 샘플들을 포함하는, 심도 데이터를 코딩하기 위한 디바이스.
41. 제 31 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 상기 제 1 블록에 이웃하는 복원된 샘플들을 포함하는, 심도 데이터를 코딩하기 위한 디바이스.
42. 제 31 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 제 2 블록들의 적어도 일부 블록의 상기 샘플들의 인트라-예측을 위해 이용가능한 참조 샘플들은, 상기 제 1 블록에 이웃하지만 각각의 상기 제 2 블록에 이웃하지 않는 복원된 샘플들을 포함하는, 심도 데이터를 코딩하기 위한 디바이스.
43. 제 31 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 하나 이상의 프로세서들은, 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들을 이용하여 상기 샘플들을 인트라-예측하도록 구성되는, 심도 데이터를 코딩하기 위한 디바이스.
44. 제 31 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 하나 이상의 프로세서들은, 각각의 상기 제 2 블록에 이웃하는 다른 제 2 블록들 중 하나 이상으로부터 인트라-예측된 참조 샘플들을 이용하여 상기 샘플들을 인트라-예측하도록 구성되는, 심도 데이터를 코딩하기 위한 디바이스.
45. 제 31 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 하나 이상의 프로세서들은, 각각의 상기 제 2 블록에 이웃하는 다른 제 2 블록들 중 하나 이상으로부터의 참조 샘플들, 및 상기 제 1 블록 및 각각의 상기 제 2 블록에 이웃하는 복원된 샘플들을 이용하여 상기 샘플들을 인트라-예측하도록 구성되는, 심도 데이터를 코딩하기 위한 디바이스.
46. 제 31 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 제 1 블록에 이웃하는 복원된 샘플들을 이용하여 상기 샘플들을 인트라-예측하도록 구성되는, 심도 데이터를 코딩하기 위한 디바이스.
47. 제 31 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 제 1 블록에 이웃하지만 각각의 상기 제 2 블록에 이웃하지 않는 복원된 샘플들을 이용하여 상기 샘플들을 인트라-예측하도록 구성되는, 심도 데이터를 코딩하기 위한 디바이스.
48. 비디오 코딩을 위한 심도 데이터를 코딩하기 위한 디바이스로서,
    3D-HEVC 비디오 코딩을 위한 심도 데이터를 저장하는 수단;
    심도 데이터의 제 1 블록에 대한 인트라-예측 모드에 대해, 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 수단으로서, 상기 제 2 블록들은, 상기 심도 데이터의 상기 제 1 블록의 사이즈의 1/4 와 동일한 사이즈를 각각 갖는 4 개의 블록들을 포함하고, 상기 심도 데이터의 제 1 블록의 상부 좌측, 상부 우측, 하부 좌측, 및 하부 우측 블록들에 대응하는, 상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 수단; 및
    상기 제 1 블록의 픽셀 값들과 상기 제 2 블록들의 인트라-예측된 상기 샘플들 사이의 차이를 나타내는 상기 제 1 블록에 대한 잔차 데이터 및 상기 인트라-예측 모드에 기초하여 상기 심도 데이터의 제 1 블록을 코딩하는 수단을 포함하는, 심도 데이터를 코딩하기 위한 디바이스.
49. 비디오 코딩을 위한 심도 데이터를 코딩하기 위한 디바이스로서,
    제 1 항 내지 제 30 항 중 어느 한 항에 기재된 방법을 수행하기 위한 수단을 포함하는, 심도 데이터를 코딩하기 위한 디바이스.
50. 명령들을 포함하는 비-일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 비디오 코더의 하나 이상의 프로세서들로 하여금,
    3D-HEVC 비디오 코딩을 위한 심도 데이터를 저장하게 하고;
    심도 데이터의 제 1 블록에 대한 인트라-예측 모드에 대해, 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 것으로서, 상기 제 2 블록들은, 상기 심도 데이터의 상기 제 1 블록의 사이즈의 1/4 와 동일한 사이즈를 각각 갖는 4 개의 블록들을 포함하고, 상기 심도 데이터의 제 1 블록의 상부 좌측, 상부 우측, 하부 좌측, 및 하부 우측 블록들에 대응하는, 상기 제 2 블록들에 대한 상기 심도 데이터의 샘플들을 인트라-예측하는 것을 행하게 하며; 그리고
    상기 제 1 블록의 픽셀 값들과 상기 제 2 블록들의 인트라-예측된 상기 샘플들 사이의 차이를 나타내는 상기 제 1 블록에 대한 잔차 데이터 및 상기 인트라-예측 모드에 기초하여 상기 심도 데이터의 제 1 블록을 코딩하게 하는, 비-일시적 컴퓨터 판독가능 저장 매체.
51. 비디오 코더의 하나 이상의 프로세서들로 하여금, 제 1 항 내지 제 30 항 중 어느 한 항에 기재된 방법을 수행하기 하기 위한 명령들을 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.

Images