KR101540167B1 - 평활화 동작들의 적응적 수행 - Google Patents

Abstract

비디오 코딩 프로세스 중에, 예측 블록이 CU 에 대해 생성된다. CU 는 2 개 이상의 예측 유닛들을 갖는다. 컴퓨팅 디바이스는, 예측 유닛들 중 하나 이상의 예측 유닛들의 크기들에 기초하여, 예측 블록의 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할지 여부를 결정한다. 전이 영역은 상이한 예측 유닛들과 연관된 예측 블록의 샘플들 사이의 경계에 위치된다. 켬퓨팅 디바이스가 평활화 동작을 수행하도록 결정하는 경우, 전이 영역 내의 예측 블록의 샘플들을 평활화하기 위해 평활화 동작이 수행된다.

Description

평활화 동작들의 적응적 수행{ADAPTIVELY PERFORMING SMOOTHING OPERATIONS}

관련 출원들에 대한 상호 참조

이 출원은 2011 년 1 월 10 일에 출원된 미국 가출원 제 61/431,408 호, 2011 년 3 월 8 일에 출원된 미국 가출원 제 61/450,532 호, 2011 년 3 월 8 일에 출원된 미국 가출원 제 61/450,538 호, 및 2011 년 9 월 21 일에 출원된 미국 가출원 제 61/537,450 호의 우선권을 주장하며, 각각의 전체 내용이 이로써 참조로 포함된다.

기술 분야

이 개시물은 비디오 코딩에 관한 것이다.

디지털 비디오 능력들은 디지털 텔레비젼들, 디지털 직접 방송 시스템들, 무선 방송 시스템들, PDA (personal digital assistant) 들, 랩탑 컴퓨터들이나 데스크탑 컴퓨터들, 디지털 카메라들, 디지털 녹음 디바이스들, 디지털 미디어 재생기들, 비디오 게임 디바이스들, 비디오 게임 콘솔들, 셀룰러 무선 전화들 또는 위성 무선 전화들, 비디오 원격화상회의 디바이스들 등을 포함하는 광범위한 디바이스들에 포함될 수도 있다. 디지털 비디오 디바이스들은, 좀더 효율적으로 디지털 비디오 정보를 송수신하기 위해, MPEG-2, MPEG-4, ITU-T H.263 또는 ITU-T H.264/MPEG-4, 파트 10, AVC (Advanced Video Coding) 에 의해 정의된 표준들, 및 이러한 표준들의 확장들에서 설명된 것과 같은 비디오 압축 기법들을 구현한다.

비디오 압축 기법들은 공간 예측 및/또는 시간 예측을 수행하여 비디오 시퀀스들에 내재하는 중복을 감소시키거나 제거한다. 블록 기반 비디오 코딩에 있어서, 비디오 프레임 또는 슬라이스가 블록들로 파티셔닝될 수도 있다. 각각의 블록은 더 파티셔닝될 수도 있다. 인트라 코딩된 (intra-coded) (I) 프레임 또는 슬라이스 내의 블록들은 이웃하는 블록들에 대한 공간 예측을 이용하여 인코딩된다. 인터 코딩된 (inter-coded) (P 또는 B) 프레임 또는 슬라이스 내의 블록들은 동일한 프레임이나 슬라이스 내의 이웃하는 블록들에 대한 공간 예측, 또는 다른 참조 프레임들에 대한 시간 예측을 이용할 수도 있다.

일반적으로, 이 개시물에 설명된 기법들은, 예측 블록의 전이 영역 내의, 픽셀 값들과 같은 샘플들에 대해 평활화 동작을 수행할지 여부를 결정함으로써, 코딩 유닛 (coding unit; CU) 에 대한 코딩 효율을 증가시킬 수도 있다. 예측 블록은 움직임 보상 동작의 결과로서 생성된 샘플들의 블록일 수도 있다. 컴퓨팅 디바이스는 움직임 보상 동작 중에 CU 의 예측 유닛들의 움직임 정보를 이용하여 예측 블록을 생성할 수도 있다. 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하는 것은 그 샘플들과 이웃하는 샘플들 사이의 차이들을 감소시킬 수도 있다.

일부 상황들에서, 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하는 것은 이웃하는 샘플들 사이의 휘도 및 색도에서의 뚜렷한 불연속성들을 감소시킬 수도 있고, 따라서 CU 와 연관된 데이터의 코딩 효율을 증가시킬 수도 있다. 그러나, 다른 상황들에서, 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하는 것은 CU 에 대한 원래의 샘플 블록과 예측 블록 사이의 차이들을 증가시킬 수도 있고, 따라서 CU 와 연관된 데이터의 코딩 효율을 감소시킬 수도 있다. 이 개시물의 기법들에 따라, 컴퓨팅 디바이스는 예측 유닛들 중 하나 이상의 예측 유닛들의 크기들에 기초하여 평활화 동작을 수행할지 여부를 결정할 수도 있다.

일 예에서, 이 개시물은 비디오 데이터를 코딩하는 방법을 설명한다. 방법은 비디오 데이터의 프레임의 CU 에 대한 예측 블록을 생성하는 단계를 포함한다. 예측 블록은 CU 의 제 1 PU 와 연관된 예측 블록의 샘플들과 CU 의 제 2 PU 와 연관된 예측 블록의 샘플들 사이의 경계에 전이 영역을 포함한다. 방법은 또한, 컴퓨팅 디바이스에 의해, 제 1 평활화 동작을 수행할지 여부를 제 1 PU 의 크기에 기초하여 결정하는 단계를 포함한다. 또한, 방법은, 컴퓨팅 디바이스가 제 1 평활화 동작을 수행하도록 결정한 후에, 전이 영역 내에 있는 예측 블록의 샘플들을 평활화하기 위해 제 1 평활화 동작을 수행하는 단계를 포함한다.

다른 예에서, 이 개시물은 비디오 데이터를 코딩하는 컴퓨팅 디바이스를 설명한다. 컴퓨팅 디바이스는 비디오 데이터의 프레임의 CU 에 대한 예측 블록을 생성하도록 구성되는 프로세서를 포함한다. 예측 블록은 CU 의 제 1 예측 유닛 (prediction unit; PU) 과 연관된 예측 블록의 샘플들과 CU 의 제 2 PU 와 연관된 예측 블록의 샘플들 사이의 경계에 전이 영역을 포함한다. 프로세서는 또한 제 1 평활화 동작을 수행할지 여부를 제 1 PU 의 크기에 기초하여 결정하도록 구성된다. 또한, 프로세서는, 컴퓨팅 디바이스가 평활화 동작을 수행하도록 결정한 후에, 프로세서가 전이 영역 내의 예측 블록의 샘플들을 평활화하기 위해 제 1 평활화 동작을 수행을 수행하도록 구성된다.

다른 예에서, 이 개시물은 비디오 데이터를 코딩하는 컴퓨팅 디바이스를 설명한다. 컴퓨팅 디바이스는 비디오 데이터의 프레임의 CU 에 대한 예측 블록을 생성하기 위한 수단을 포함한다. 예측 블록은 CU 의 제 1 PU 와 연관된 예측 블록의 샘플들과 CU 의 제 2 PU 와 연관된 예측 블록의 샘플들 사이의 경계에 전이 영역을 포함한다. 컴퓨팅 디바이스는 또한 평활화 동작을 수행할지 여부를 제 1 PU 의 크기에 기초하여 결정하기 위한 수단을 포함한다. 또한, 컴퓨팅 디바이스는, 컴퓨팅 디바이스가 평활화 동작을 수행하도록 결정한 후에, 전이 영역 내에 있는 예측 블록의 샘플들을 평활화하기 위해 평활화 동작을 수행하기 위한 수단을 포함한다.

다른 예에서, 이 개시물은 비디오 데이터를 코딩하기 위한 컴퓨터 프로그램 제품을 설명한다. 컴퓨터 프로그램 제품은 저장된 명령들을 갖는 컴퓨터 판독가능 저장 매체를 포함하며, 명령들은 하나 이상의 프로세서들로 하여금 비디오 데이터의 프레임의 CU 에 대한 예측 블록을 생성하게 하도록 한다. 예측 블록은 CU 의 제 1 PU 와 연관된 예측 블록의 샘플들과 CU 의 제 2 PU 와 연관된 예측 블록의 샘플들 사이의 경계에 전이 영역을 포함한다. 명령들은 또한 하나 이상의 프로세서들로 하여금 평활화 동작을 수행할지 여부를 제 1 PU 의 크기에 기초하여 결정하게 하도록 한다. 또한, 컴퓨팅 디바이스가 평활화 동작을 수행하도록 결정한 후에, 명령들은 하나 이상의 프로세서들로 하여금 전이 영역 내의 예측 블록의 샘플들을 평활화하기 위해 평활화 동작을 수행하도록 한다.

본 발명의 하나 이상의 실시형태들의 세부사항들이 첨부 도면들 및 하기의 설명에서 제시된다. 본 발명의 다른 특징들, 목적들 및 이점들은 설명 및 도면들, 및 청구항들로부터 자명할 것이다.

도 1 은 예시적인 멀티미디어 코딩 시스템을 도시하는 블록 다이어그램이다.
도 2 는 비디오에서의 예시적인 일련의 프레임들을 도시하는 개념적 다이어그램이다.
도 3 은 인코딩 유닛의 예시적인 구성을 도시하는 블록 다이어그램이다.
도 4 는 트리블록들로 파티셔닝된 예시적인 프레임을 도시하는 개념적 다이어그램이다.
도 5 는 트리블록들의 다른 예시적인 파티셔닝을 도시하는 개념적 다이어그램이다.
도 6 은 인터-예측 유닛의 예시적인 구성을 도시하는 블록 다이어그램이다.
도 7 은 디코딩 유닛의 예시적인 구성을 도시하는 블록 다이어그램이다.
도 8 은 인터-예측 유닛에 의해 수행되는 예시적인 인터 프레임 코딩 동작을 도시하는 플로우차트이다.
도 9 는 예시적인 직사각형 파티셔닝 모드들을 도시하는 개념적 다이어그램이다.
도 10 은 예시적인 기하학적 파티셔닝 모드들을 도시하는 개념적 다이어그램이다.
도 11 은 CU 의 전이 영역을 도시하는 개념적 다이어그램이다.
도 12 는 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 예시적인 동작을 도시하는 플로우차트이다.
도 13 은 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작을 도시하는 플로우차트이다.
도 14 는 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작을 도시하는 플로우차트이다.
도 15 는 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작을 도시하는 플로우차트이다.
도 16 은 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작을 도시하는 플로우차트이다.
도 17 은 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작을 도시하는 플로우차트이다.
도 18 은 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작을 도시하는 플로우차트이다.
도 19 는 예시적인 전이 샘플 식별 동작을 도시하는 플로우차트이다.
도 20 은 평활화 유닛의 다른 예시적인 동작을 도시하는 플로우차트이다.
도 21 은 다른 예시적인 전이 샘플 식별 동작을 도시하는 플로우차트이다.

첨부된 도면들은 예들을 도시한다. 첨부된 도면들에서 참조 부호들로 나타내어진 요소들은 다음의 설명에서 유사한 참조 부호들로 나타내어진 요소들에 대응한다. 첨부된 도면들에서, 타원들은 타원들에 의해 분리된 요소들과 유사한 하나 이상의 요소들의 존재를 나타낸다. 유사한 요소들에 대한 참조 부호들에서의 알파벳 접미사들은 특정 개수의 요소들의 존재를 나타내려는 의도는 아니다. 이 개시물에서, 서수 단어들 (예를 들어, "제 1", "제 2", "제 3" 등) 으로 시작하는 명칭들을 갖는 요소들은 반드시 요소들이 특정 순서를 가짐을 시사하는 것은 아니다. 오히려, 이러한 서수 단어들은 단지 동일하거나 유사한 종류의 상이한 요소들을 지칭하는데 이용될 수도 있다.

비디오 데이터의 프레임은 샘플들의 하나 이상의 블록들 (즉, 샘플 블록) 과 연관된다. 샘플은 픽셀의 루마 (luma) 컴포넌트 또는 크로마 (chroma) 컴포넌트와 같은, 픽셀의 컴포넌트를 정의하는 값일 수도 있다. 샘플 블록은 이러한 샘플들의 2 차원 어레이를 지칭할 수도 있다. 프레임의 샘플 블록들의 각각은 프레임 내의 픽셀들의 상이한 컴포넌트들을 명시할 수도 있다. 인코더는 먼저 프레임을 "슬라이스들" 로 파티셔닝할 수도 있다. 슬라이스는 독립적으로 디코딩가능한 프레임의 부분들을 지칭하기 위해 일반적으로 이용되는 용어이다.

인코더는 다음으로 이러한 슬라이스들을 "트리블록들" 로 파티셔닝할 수도 있다. 트리블록은 최대 코딩 유닛 (largest coding unit; LCU) 으로도 지칭될 수도 있다. 인코더는 트리블록들을 점차적으로 보다 작은 샘플 블록들의 계층구조로 파티셔닝할 수도 있는데, 계층구조는 도시되는 경우 계층적 트리 구조로 표현될 수도 있으므로, 그 명칭이 "트리블록들" 이다. 이러한 계층적 트리 구조의 리프 노드 (leaf node) 들은 이러한 리프 노드들이 코딩될 샘플 블록이나 유닛을 정의한다는 점에서 코딩 유닛들 (CU) 에 대응할 수도 있다. 이러한 방식으로, CU들의 각각은 프레임의 상이한 샘플 블록과 연관된다. 이러한 방식으로 트리블록들을 파티셔닝하는 것은 인코더가 상이한 크기들의 움직임을 캡쳐하는 것을 가능하게 할 수도 있다.

CU들의 각각은 하나 이상의 예측 유닛 (prediction unit; PU) 들을 가질 수도 있다. CU 의 샘플 블록은 CU 의 PU 들과 연관된 예측 구역들로 파티셔닝된다. 코더는 샘플 블록의 예측 구역들에 대한 움직임 추정 동작을 수행하여 각각의 예측 구역에 대한 움직임 정보를 생성할 수도 있다. 예측 구역들의 각각에 대한 움직임 정보는 PU 로서 저장된다. 인코더 또는 디코더는 PU 들에 대해 결정된 움직임 정보를 이용하여 CU 에 대한 예측 블록을 생성한다. 이 개시물에서, 용어 "코더" 는 인코더 도는 디코더를 지칭할 수도 있고, 용어 "코딩" 은 인코딩 또는 디코딩을 지칭할 수도 있다.

일부 사례들에서, 코더는 예측 블록의 예측 블록의 전이 영역 내의 샘플들을 평활화하기 (smooth) 위해 평활화 동작을 수행한다. 전이 영역은 일반적으로 상이한 PU 들과 연관되는 예측 블록의 샘플들 사이의 경계에서 발생한다. 코더는 이러한 평활화 동작을 수행하여 CU 의 잔여 데이터의 후속하는 코딩 및/또는 디코더에 의해 복원되는 경우 (여기서 이러한 비디오 데이터는 "복원된 비디오 데이터" 라고 지칭될 수도 있다) 결과로 초래된 비디오 데이터의 비디오 품질을 개선시킬 수도 있다.

일부 사례들에서 전이 영역 내의 샘플들을 평활화하는 것은 압축 성능 및/또는 복원된 비디오 데이터의 시각적 품질을 개선시키기는 하나, 다른 사례들에서 평활화 동작의 수행은 압축 성능을 저하시키는 인위적인 영향들을 도입한다. 따라서, 평활화 동작을 수행하는 것은 평활화 동작에 의한 추가적인 잔여 데이터의 도입으로 인해 크기가 더 큰 압축된 비디오 데이터를 야기할 수도 있다. 또한, 이러한 도입된 인위적인 영향들은 뷰어로 뷰잉되는 경우 복원된 비디어 데이터의 주관적 인지를 저하시킬 수도 있으며, 이는 주관적 비디오 품질에 영향을 미친다. 일부 다른 사례들에서, 이러한 평활화 동작을 수행하는 것은 특정 프레임에 중요한 것으로 여겨질 수도 있는 비디오 컨텐츠 내의 데이터를 제거할 수도 있으며, 이는 시각적 품질을 더 감소시키고 프레임의 복원을 위해 이러한 프레임에 의존하는 다른 프레임들의 복원에 영향을 미칠 수도 있다. 이러한 평활화 동작의 수행을 통한 데이터의 손실은, 또한, 되돌릴 수 없을 수도 있으며, 이는 디코더가 손실된 데이터를 복구할 수 없을 수도 있음을 의미한다.

이 개시물은 잠재적으로 시각적 품질 및 압축 성능을 잠재적으로 개선시키는 방법으로 평활화 동작을 적응적으로 수행하기 위한 기법들을 제공한다. 종래의 인코더들에서 흔한 바와 같이, 각각의 모든 예측 블록의 전이 영역들 내의 샘플들을 평활화하도록 평활화 동작을 수행하는 대신에, 기법들은, 시각적 품질 또는 압축 성능의 면에서 측정된 바에 따라, 그것이 가장 이로울 것이라고 코더가 결정하는 경우들에, 코더가 평활화 동작을 적응적으로 수행하는 것을 가능하게 한다. 예를 들어, 코더는 CU 의 하나 이상의 PU 들의 크기에 기초하여 평활화 동작을 적응적으로 수행할 수도 있다.

큰 전이 영역으로, 보다 많은 샘플들이 조작될 수도 있다. 그러나, 너무 많은 샘플들을 프로세싱하는 것은 추가적인 왜곡을 도입할 수도 있다. 작은 전이 영역으로는, 평활화 동작의 성능이 제한될 수도 있다. 이 개시물에 설명된 일부 기법들에 따라, 코더는 이웃 지역 크기를 적응적으로 선택한다. 코더는 선택된 이웃 지역 크기의 지역들을 이용하여 예측 블록의 샘플들이 전이 영역 내에 있는지 여부를 결정한다. 이러한 방식으로, 코더는 전이 영역의 크기를 선택하여 평활화 동작의 성능을 최대화할 수도 있다.

도 1 은 예시적인 멀티미디어 코딩 시스템 (100) 을 도시하는 블록 다이어그램이다. 멀티미디어 코딩 시스템 (100) 은 비디오 데이터를 캡쳐하며, 캡쳐된 비디오 데이터를 인코딩하며, 인코딩된 비디오 데이터를 송신하며, 인코딩된 비디오 데이터를 디코딩하고, 그 다음에 디코딩된 비디오 데이터를 재생한다.

멀티미디어 코딩 시스템 (100) 은 소스 유닛 (102), 인코딩 유닛 (104), 디코딩 유닛 (106), 및 프레젠테이션 유닛 (108) 을 포함한다. 소스 유닛 (102) 은 비디오 데이터를 생성한다. 인코딩 유닛 (104) 은 비디오 데이터를 인코딩한다. 디코딩 유닛 (106) 은 인코딩된 비디오 데이터를 디코딩한다. 프레젠테이션 유닛 (108) 디코딩된 비디오 데이터를 프레젠팅한다.

하나 이상의 컴퓨팅 디바이스들이 소스 유닛 (102), 인코딩 유닛 (104), 디코딩 유닛 (106), 및 프레젠테이션 유닛 (108) 을 구현한다. 이 개시물에서, 용어 컴퓨팅 디바이스는 정보를 프로세싱하는 물리적 디바이스들을 망라한다. 예시적인 유형의 컴퓨팅 디바이스들은 개인용 컴퓨터들, 랩탑 컴퓨터들, 이동 전화들, 스마트폰들, 태블릿 컴퓨터들, 차내 (in-car) 컴퓨터들, 텔레비젼 셋 톱 박스들, 화상 회의 시스템들, 비디오 제품 기기, 비디오 카메라들, 비디오 게임 콘솔들, 또는 정보를 프로세싱하는 다른 유형의 디바이스들을 포함한다.

일부 예들에서, 단일 컴퓨팅 디바이스가 소스 유닛 (102), 인코딩 유닛 (104), 디코딩 유닛 (106), 및 프레젠테이션 유닛 (108) 중의 2 개 이상을 구현할 수도 있다. 예를 들어, 단일 컴퓨팅 디바이스는 소스 (102) 및 인코딩 유닛 (104) 을 구현할 수도 있다. 이러한 예에서, 다른 컴퓨팅 디바이스가 디코딩 유닛 (106) 및 프레젠테이션 유닛 (108) 을 구현할 수도 있다. 다른 예들에서, 상이한 컴퓨팅 디바이스들이 소스 유닛 (102), 인코딩 유닛 (104), 디코딩 유닛 (106), 및 프레젠테이션 유닛 (108) 을 구현한다.

도 1 의 예에서, 컴퓨팅 디바이스 (103) 가 인코딩 유닛 (104) 을 구현하고, 컴퓨팅 디바이스 (107) 가 디코딩 유닛 (106) 을 구현한다. 일부 예들에서, 컴퓨팅 디바이스 (103) 가 인코딩 유닛 (104) 이외에 기능성을 제공할 수도 있다. 또한, 일부 예들에서, 컴퓨팅 디바이스 (107) 가 디코딩 유닛 (106) 이외에 기능성을 제공할 수도 있다.

위에서 간단히 언급된 바와 같이, 소스 유닛 (102) 은 일련의 프레임들을 표현하는 비디오 데이터를 생성한다. 프레임은 또한 흔히 "영상" 이라고 지칭된다. 비디오 데이터 내의 일련의 프레임들이 빠른 연속 (예를 들어, 초당 24 또는 25 프레임들) 으로 사용자에게 보여지는 경우, 사용자는 움직이게 될 프레임들 내의 객체들을 인지할 수도 있다.

도 2 는 비디오 데이터 내의 예시적인 일련의 프레임들 (200A 내지 200P) 을 도시하는 개념적 다이어그램이다. 이 개시물은 프레임들 200A 내지 200P 를 "프레임들 (200)" 로서 총괄하여 지칭한다. 비디오 데이터는 자전거 경주의 장면들을 나타낸다. 행들 (202 및 204) 에서의 프레임들은 자전의 페달을 밟는 사람에 대한 장면을 도시한다. 행 (206) 에서의 프레임들은 데스크 뒤에 2 명의 해설자들이 앉아 있는 것을 도시한다. 행 (208) 에서의 프레임들은 상공으로부터의 자전거 경주자들에 대한 장면을 도시한다. 장면 내의 각각의 프레임은 이전 프레임과 약간 다를 수도 있다. 빠른 연속으로 프레임들 (200) 을 프레젠팅함으로써, 사용자들은 이러한 장면들에서의 움직임을 인지할 수도 있다.

이제 도 1 의 예에 대한 참조가 계속된다. 다양한 예들에서, 소스 유닛 (102) 은 다양한 방식들로 비디오 데이터를 생성한다. 예를 들어, 소스 유닛 (102) 은 비디오 카메라를 포함할 수도 있다. 이러한 예에서, 비디오 카메라는 가시적인 환경으로부터 이미지들을 캡쳐한다. 다른 예들에서, 소스 유닛 (102) 은 의료용 이미징, 산업용 이미징, 또는 과학용 이미징을 위한 하나 이상의 센서들을 포함할 수도 있다. 이러한 센서들은 x 레이 검출기들, 자기 공명 이미징 센서들, 입자 검출기들 등을 포함할 수도 있다. 또 다른 예에서, 소스 유닛 (102) 은 애니메이션 시스템을 포함할 수도 있다. 이러한 예에서, 한 명 이상의 사용자들은 사용자들의 상상들로부터 비디오 데이터의 컨텐츠를 그리거나, 초안을 작성하거나, 프로그래밍하거나, 그렇지 않으면 설계하기 위해 애니메이션 시스템을 이용할 수도 있다.

인코딩 유닛 (104) 은 소스 유닛 (102) 에 의해 생성된 비디오 데이터를 수신한다. 인코딩 유닛 (104) 은 보다 적은 데이터가 비디오 데이터 내의 일련의 프레임들을 표현하도록 비디오 데이터를 인코딩한다. 일부 사례들에서, 이러한 방식으로 비디오 데이터를 인코딩하는 것은 비디오 데이터가 DVD 또는 CD-ROM 과 같은 주어진 유형의 컴퓨터 판독가능 매체들에 저장될 수도 있는 것을 보장하기 위해 필요할 수도 있다. 또한, 일부 사례들에서, 이러한 방식으로 비디오 데이터를 인코딩하는 것은 비디오 데이터가 인터넷과 같은 통신 네트워크를 통해 효율적으로 송신될 수 있는 것을 보장하기 위해 필요할 수도 있다.

인코딩 유닛 (104) 은 종종 비디오 프레임들의 시퀀스 또는 일련의 비디오 프레임들로 표현되는 비디오 데이터를 인코딩할 수도 있다. 비디오 데이터를 인코딩하기 위해, 인코딩 유닛 (104) 은 이러한 프레임들을 (흔히 "슬라이스들" 이라고 지칭되는) 독립적으로 디코딩가능한 부분들로 분할할 수도 있으며, 그 부분들은, 다음에, 인코딩 유닛 (104) 이 트리블록들로 분할할 수도 있다. 이러한 트리 블록들은 재귀적인 계층적 쿼드트리 (quadtree) 분할의 형태로 진행할 수도 있다. 인코딩 유닛 (104) 은 이러한 분할을 수행하여 "트리블록" 이라고 불리는 루트 노드를 갖는 계층적 트리형 데이터 구조를 생성할 수도 있다. 이러한 계층적 트리형 데이터 구조의 리프 노드들은 "코딩 노드들" 이라고 지칭될 수도 있다. "코딩 유닛" 또는 "CU" 는 코딩 노드뿐만 아니라, 움직임 정보 및 변환 정보를 포함하여 다른 유형의 정보를 포함한다. 각각의 코딩 노드는 트리블록 내의 샘플 블록을 식별한다. 이 개시물에서, CU 와 연관된 코딩 노드에 의해 식별된 샘플 블록은 CU 의 샘플 블록이라고 지칭될 수도 있다.

인코딩 유닛 (104) 은 직사각형 파티셔닝 모드 및/또는 기하학적 파티셔닝 모드를 이용하여 CU 의 샘플 블록을 예측 구역들로 파티셔닝할 수도 있다. 인코딩 유닛 (104) 이 기하학적 파티셔닝 모드를 이용하여 CU 의 샘플 블록을 파티셔닝하는 경우, 파티션 구역들 사이의 경계는 샘플 블록의 가장자리들에서 직각으로 만나지 않을 수도 있다. 인코딩 유닛 (104) 은 각각의 예측 구역에 대한 움직임 추정의 한 형태를 수행하여 각각의 예측 구역에 대해, 움직임 벡터와 같은 움직임 정보를 생성할 수도 있다. CU 의 "예측 유닛" 또는 "PU" 는 CU 의 예측 구역을 나타내는 정보, 예측 구역에 대한 움직임 정보, 및/또는 예측 구역에 관한 다른 정보를 포함할 수도 있다. 인코딩 유닛 (104) 은 움직임 정보를 이용하여 예측 블록을 생성할 수도 있다.

이 개시물의 기법들에 따라, 인코딩 유닛 (104) 은 평활화 동작을 수행할지 여부를 CU 의 제 1 PU 의 크기에 기초하여 결정할 수도 있다. 전이 영역은 CU 의 제 1 PU 와 연관된 예측 블록의 샘플들과 CU 의 제 2 PU 와 연관된 예측 블록의 샘플들 사이의 경계에 발생한다. 인코딩 유닛 (104) 이 평활화 동작을 수행하도록 결정한 후에, 인코딩 유닛 (104) 은 예측 블록의 전이 영역 내의 샘플들을 평활화하기 위해 평활화 동작을 수행할 수도 있다.

또한, 이 개시물의 기법들에 따라, 인코딩 유닛 (104) 은 이웃 지역 크기를 선택함으로써 예측 블록의 샘플들이 전이 영역 내에 있는지 여부를 결정할 수도 있다. 이웃 지역 크기를 선택한 후에, 인코딩 유닛 (104) 은 예측 블록의 전이 영역 내의 샘플들을 식별할 수도 있다. 전이 영역은 이웃 지역이 샘플을 포함하는 경우 CU 의 제 1 PU 와 연관된 샘플을 포함하고, CU 의 제 2 PU 와 연관되는 예측 블록의 샘플도 포함한다. 이웃 지역은 선택된 이웃 지역 크기를 갖는다.

인코딩 유닛 (104) 은 그 다음에 CU 의 원래의 샘플 블록을 예측 블록과 비교함으로써 잔여 데이터를 결정한다. 이러한 잔여 데이터를 결정한 후에, 인코딩 유닛 (104) 은 잔여 데이터에 변환을 적용할 수도 있다. 따라서, 인코딩 유닛 (104) 은 예측 블록으로부터 도출된 잔여 데이터에 변환을 적용하기 전에 예측 블록의 전이 영역 내의 샘플들에 대해 평탄화 동작을 적용한다. 이러한 잔여 데이터를 변환하기 위해, 인코딩 유닛 (104) 은 잔여 데이터를 하나 이상의 변환 구역들로 파티셔닝할 수도 있다. 인코딩 유닛 (104) 은 그 다음에 잔여 데이터의 변환 구역들에 대해 하나 이상의 변환들을 적용하여 변환된 잔여 데이터를 생성하는데, 변환된 잔여 데이터는 또한 "변환 계수 블록" 이라고 지칭될 수도 있다. 이러한 변환 계수 블록은 일반적으로 변환 계수들의 블록으로 잔여 데이터를 표현하다. 변환된 잔여 데이터는 그 다음에 대응하는 CU 의 변환 유닛 (transform unit; TU) 에 저장된다. 따라서, CU 는 코딩 노드나 샘플 블록, TU 와 CU, 뿐만 아니라 변환된 잔여 데이터를 디코딩하기 위해 필요할 수도 있는 임의의 다른 구문 요소 (syntax element) 들을 포함한다.

디코딩 유닛 (106) 은 인코딩된 비디오 데이터를 수신한다. 다양한 예들에서, 디코딩 유닛 (106) 은 다양한 방식들로 인코딩된 비디오 데이터를 수신할 수도 있다. 예를 들어, 디코딩 유닛 (106) 은 비디오 데이터를 저장하는, DVD 와 같은 컴퓨터 판독가능 매체를 수신할 수도 있다. 다른 예에서, 디코딩 유닛 (106) 은 인터넷, LAN (local area network), 다른 컴퓨팅 디바이스에 접속된 케이블, 또는 무선 네트워킹 링크와 같은 통신 매체로부터 인코딩된 비디오 데이터를 수신할 수도 있다.

인코딩된 비디오 데이터를 수신한 후에, 디코딩 유닛 (106) 은 인코딩된 비디오 데이터를 디코딩한다. 디코딩 유닛 (106) 이 인코딩된 비디오 데이터를 디코딩하는 경우, 디코딩 유닛 (106) 은 비디오 데이터 내의 프레임의 CU 에 대한 예측 블록을 생성할 수도 있다. 디코딩 유닛 (106) 은 그 다음에 예측 블록의 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할지 여부를 결정할 수도 있다. 예측된 블록의 전이 영역은 CU 의 제 1 PU 와 연관된 예측 블록의 샘플들과 CU 의 제 2 PU 와 연관된 예측 블록의 샘플들 사이의 경계에 있을 수도 있다. 디코딩 유닛 (106) 이 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하도록 결정한 후에, 디코딩 유닛 (106) 은 예측 블록의 전이 영역 내의 샘플들을 평활화하기 위해 평활화 동작을 수행한다.

또한, 이 개시물의 기법들에 따라, 디코딩 유닛 (106) 은 이웃 지역 크기를 선택함으로써 예측 블록의 샘플들이 전이 영역 내에 있는지 여부를 결정할 수도 있다. 이웃 지역 크기를 선택한 후에, 디코딩 유닛 (106) 은 예측 블록의 전이 영역 내의 샘플들을 식별할 수도 있다. 전이 영역은 이웃 지역이 샘플을 포함하는 경우 CU 의 제 1 PU 와 연관된 샘플을 포함하고, CU 의 제 2 PU 와 연관되는 예측 블록의 샘플도 포함한다. 이웃 지역은 선택된 이웃 지역 크기를 갖는다.

프레젠테이션 유닛 (108) 은 디코딩 유닛 (106) 으로부터 디코딩된 비디오 데이터를 수신한다. 다양한 예들에서, 프레젠테이션 유닛 (108) 은 다양한 방식들로 디코딩된 비디오 데이터를 수신한다. 예를 들어, 단일 컴퓨팅 디바이스가 디코딩 유닛 (106) 및 프레젠테이션 시스템 (108) 을 제공하는 경우, 프레젠테이션 유닛 (108) 은 케이블들 또는 버스들과 같은 하나 이상의 내부 통신 매체들을 통해 디코딩된 비디오 데이터를 수신할 수도 있다. 다른 예들에서, 프레젠테이션 유닛 (108) 은 네트워크 접속부, DVD, CD-ROM, 솔리드 스테이트 메모리 디바이스 등과 같은 하나 이상의 컴퓨터 판독가능 매체들로부터 디코딩된 비디오 데이터를 수신할 수도 있다. 디코딩된 비디오 데이터를 수신한 후에, 프레젠테이션 유닛 (108) 은 한 명 이상의 사용자들에게 디코딩된 비디오 데이터 내의 프레임들을 보여 준다.

도 3 은 인코딩 유닛 (104) 의 예시적인 구성을 도시하는 블록 다이어그램이다. 도 3 의 예에서, 인코딩 유닛 (104) 은 모드 선택 유닛 (302), 인터 예측 (inter-prediction) 유닛 (304), 인트라-예측 (intra-prediction) 유닛 (308), 잔여 생성 유닛 (310), 변환 모듈 (312), 양자화 유닛 (314), 엔트로피 코딩 유닛 (316), 역 양자화 유닛 (318), 역 변환 유닛 (320), 복원 유닛 (322), 및 참조 프레임 저장부 (324) 를 제공한다. 인코딩 유닛 (104) 의 일부 예들은 보다 많거나, 보다 적거나, 상이한 유닛들을 포함할 수도 있음을 독자들은 이해할 것이다.

다양한 예들에서, 인코딩 유닛 (104) 은 다양한 방식들로 모드 선택 유닛 (302), 인터-예측 유닛 (304), 인트라-예측 유닛 (308), 잔여 생성 유닛 (310), 변환 모듈 (312), 양자화 유닛 (314), 엔트로피 코딩 유닛 (316), 역 양자화 유닛 (318), 역 변환 유닛 (320), 복원 유닛 (322), 및 참조 프레임 저장부 (324) 를 구현한다. 예를 들어, 인코딩 유닛 (104) 을 구현하는 하나 이상의 컴퓨팅 디바이스들은, 하나 이상의 컴퓨팅 디바이스들의 프로세서들이 하나 이상의 컴퓨터 판독가능 매체들에 저장된 특정의 컴퓨터 판독가능 명령들을 실행하는 경우, 이러한 유닛들 중 하나 이상의 유닛들을 구현할 수도 있다. 이 예에서, 이러한 유닛들 또는 모듈들은 컴퓨터 소프트웨어의 이산형 모듈러 부분들로 구현될 수도 있거나 그렇지 않을 수도 있다. 다른 예에서, 인코딩 유닛 (104) 을 구현하는 하나 이상의 컴퓨팅 디바이스들은 이러한 유닛들 중 하나 이상의 유닛들의 기능성을 구현하는 하나 이상의 ASIC (application-specific integrated circuit) 들을 포함할 수도 있다. 일부 예들에서, 이러한 유닛들의 기능성은 개별적인 컴퓨팅 디바이스들에 의해 제공될 수도 있다.

인코딩 유닛 (104) 은 비디오 데이터의 프레임들을 표현하는 데이터를 수신한다. 인코딩 유닛 (104) 이 프레임을 표현하는 데이터를 수신하는 경우, 인코딩 유닛 (104) 은 프레임을 인코딩한다. 설명의 용이함을 위해, 이 개시물은 인코딩되는 프레임을 소스 프레임으로 지칭한다. 소스 프레임을 표현하는 데이터는 샘플들의 하나 이상의 블록들을 포함한다.

소스 프레임을 인코딩하기 위해, 모드 선택 유닛 (302) 은 복수의 트리블록들 중에서 프레임의 샘플 블록을 파티셔닝한다. 일부 사례들에서, 트리블록은 루마 샘플들의 N×N 블록 및 2 개의 대응하는 크로마 샘플들의 블록들일 수도 있다. 일부 예들에서, 블록은 샘플들 또는 변환 계수들의 2 차원 어레이이다. 다른 사례들에서, 트리블록은 루마 샘플들의 블록 또는 크로마 샘플 어레이일 수도 있다.

모드 선택 유닛 (302) 은 트리블록들의 각각에 대한 쿼드트리를 생성할 수도 있다. 트리블록에 대한 쿼드트리는 노드들의 계층을 포함한다. 처음에, 주어진 트리블록의 쿼드트리는 오직 루트 노드만을 포함한다. 루트 노드는 주어진 트리블록에 대응한다. 모드 선택 유닛 (302) 은 주어진 트리블록을 다수의 보다 작은 샘플 블록들로 파티셔닝할 수도 있다. 모드 선택 유닛 (302) 이 주어진 트리블록을 다수의 보다 작은 샘플 블록들로 파티셔닝하는 경우, 모드 선택 유닛 (302) 은 주어진 트리블록의 쿼드트리에 자식 노드들을 추가한다. 자식 노드들의 각각은 보다 작은 샘플 블록들 중의 상이한 샘플 블록에 대응한다. 일부 예들에서, 모드 선택 유닛 (302) 은 보다 작은 샘플 블록들 중 하나 이상의 샘플 블록들을 그보다 더 작은 샘플 블록들로 세분할 수도 있다. 모드 선택 유닛 (302) 이 보다 작은 샘플 블록들을 그보다 더 작은 샘플 블록들로 파티셔닝하는 경우, 모드 선택 유닛 (302) 은 주어진 트리블록의 쿼드트리에 손자 노드들을 추가할 수도 있다. 손자 노드들의 각각은 그보다 더 작은 샘플 블록들 중 하나의 샘플 블록에 대응한다. 손자 노드들은 자식 노드들의 자식이다. 모드 선택 유닛 (302) 은 주어진 트리블록을 파티셔닝하여, 미리 결정된 제한선까지, 적절한만큼 주어진 트리블록의 쿼드트리에 노드들을 생성하기를 계속할 수도 있다. 자식 노드들이 없는 쿼드트리에서의 노드들 (즉, 리프 노트들) 은 본원에서 코딩 노드들로 지칭된다.

코딩 노드들의 각각은 상이한 CU 에 대응한다. CU 의 코딩 노드는 예측 트리 및 변환 트리의 루트 노드이다. 예측 트리는 CU 의 PU 들의 정보를 저장한다. 예를 들어, 예측 트리는 PU 들의 예측 구역들의 크기들 및 포지션들을 명시할 수도 있다. CU 의 PU 들은 또한 추가적인 연관된 예측 데이터를 포함할 수도 있다. 변환 트리는 CU 의 TU들에 관한 정보를 저장한다. 예를 들어, 변환 트리는 TU들의 변환 구역의 크기들 및 포지션들을 명시할 수도 있다. CU 의 TU들은 또한 추가적인 연관된 변환 데이터를 포함할 수도 있다.

도 4 는 트리블록들 (400A 내지 400P) (총괄하여, "트리블록들 (400)") 로 파티셔닝된 예시적인 프레임 (200A) 을 도시하는 개념적 다이어그램이다. 트리블록들 (400) 의 각각은 정사각형이고 동일한 크기를 갖는다. 예를 들어, 트리블록들 (400) 의 샘플 블록들은 32 샘플 너비 × 32 샘플 높이 (즉, 32×32) 일 수도 있다. 다른 예에서, 트리블록들 (400) 의 샘플 블록들은 64 샘플 너비 × 64 샘플 높이 (즉, 64×64) 일 수도 있다.

도 5 는 트리블록들 (400) 의 다른 예시적인 파티셔닝을 도시하는 개념적 다이어그램이다. 도 5 의 예에서, 모드 선택 유닛 (302) 은 트리 블록 (400J) 의 샘플 블록을 4 개의 보다 작은 블록들 (500A 내지 500D) 로 파티셔닝했다. 또한, 도 5 의 예에서, 모드 선택 유닛 (302) 은 샘플 블록 (400D) 을 4 개의 샘플 블록들 (502A 내지 504D) 로 파티셔닝 했다. 모드 선택 유닛 (302) 은 샘플 블록 (502A) 을 4 개 더의 샘플 블록들 (504A 내지 504D) 로 더 세분했다.

이제 도 3 의 예에 대한 참조가 계속된다. 모드 선택 유닛 (302) 이 트리블록에 대한 쿼드트리를 생성한 후에, 인터-예측 유닛 (304) 은 트리블록의 각각의 CU 에 대한 인터 프레임 코딩 동작을 수행한다. 인터-예측 유닛 (304) 이 CU 에 대한 인터 프레임 코딩 동작을 수행하는 경우, 인터-예측 유닛 (304) 은 직사각형 파티셔닝 모드 및/또는 기하하적 파티셔닝 모드를 이용하여 CU 의 샘플 블록을 예측 구역들로 파티셔닝한다. CU 의 PU 들은 이러한 예측 구역들을 명시한다.

인터-예측 유닛 (304) 이 주어진 파티셔닝 모드를 이용하여 샘플 블록을 2 개 이상의 예측 구역들로 파티셔닝한 후에, 인터-예측 유닛 (304) 은 이러한 예측 구역들과 연관된 PU 들에 대한 움직임 정보를 생성하는 움직임 추정 동작을 수행할 수도 있다. 움직임 추정 동작 중에, 인터-예측 유닛 (304) 은 PU 들에 대한 참조 샘플들에 대해 참조 프레임을 탐색한다. PU 에 대한 참조 샘플은 PU 의 예측 구역 내의 샘플들에 대응하는 참조 프레임의 일부분이다. 인터-예측 유닛 (304) 은 PU 에 대한 움직임 정보를 생성하여 PU 에 대한 참조 샘플을 나타낸다.

인터-예측 유닛 (304) 은 CU 의 PU 들에 대한 참조 샘플들을 이용하여 CU 에 대한 예측 블록을 생성한다. CU 의 예측 블록은 예측된 샘플들의 블록이다. CU 에 대한 예측 블록은 CU 의 샘플 블록과 다소 상이할 수도 있다. 예를 들어, 예측 블록 내의 샘플들은 CU 의 샘플 블록의 대응하는 샘플들과 약간 상이한 색상들 또는 밝기들을 가질 수도 있다.

이 개시물의 기법들에 따라, 인터-예측 유닛 (304) 은 예측 블록의 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할지 여부를 결정할 수도 있다. 인터-예측 유닛 (304) 이 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하도록 결정하는 경우, 인터-예측 유닛 (304) 은 전이 영역 내의 샘플들을 평활화하기 위해 평활화 동작을 수행한다. 또한, 인터-예측 유닛 (304) 은 예측 블록의 전이 영역 내의 샘플들을 적응적으로 식별할 수도 있다. 예를 들어, 인터-예측 유닛 (304) 은 이웃 지역 크기를 선택할 수도 있다. 이웃 지역 크기를 선택한 후에, 인터-예측 유닛 (304) 은 전이 영역 내의 샘플들을 식별할 수도 있다. 이러한 예에서, 전이 영역은 이웃 지역이 샘플을 포함하는 경우 CU 의 제 1 PU 와 연관된 샘플을 포함하고, CU 의 제 2 PU 와 연관되는 예측 블록의 샘플도 포함한다. 이웃 지역은 선택된 이웃 지역 크기를 갖는다.

인트라-예측 유닛 (308) 은 소스 프레임의 다른 CU들의 샘플 블록들 내의 샘플들을 이용하여 CU 에 대한 예측 블록을 생성할 수도 있다. 다양한 예들에서, 인트라-예측 유닛 (308) 은 다양한 방식들로 예측 블록을 생성한다. 예를 들어, 인트라-예측 유닛 (308) 은 이웃하는 CU들 내의 샘플들이 예측 블록에 걸쳐 수평으로 또는 예측 블록을 거쳐 수직으로 아래로 확장하도록 CU 의 예측 블록을 생성할 수도 있다. 인트라-예측 유닛 (308) 은 또한 CU 의 샘플 블록에 가장 잘 대응하는 인트라-예측 모드를 선택할 수도 있다.

인터-예측 유닛 (306) 및 인트라-예측 유닛 (308) 이 CU 에 대한 예측 블록들을 생성한 후에, 모드 선택 유닛 (302) 이 CU 에 대한 예측 블록들 중 하나의 예측 블록을 선택할 수도 있다. 모드 선택 유닛 (302) 이 인트라-예측 유닛 (308) 에 의해 생성된 예측 블록을 선택하는 경우, 모든 선택 유닛 (302) 은 CU 의 코딩 노드에 구문 요소를 추가하여 선택된 예측 블록을 생성할 때 인트라-예측 유닛 (308) 이 이용된 인트라-예측 모드를 나타낼 수도 있다. 모드 선택 유닛 (302) 이 인터-예측 유닛 (304) 에 의해 생성된 예측 블록을 선택하는 경우, 모드 선택 유닛 (302) 은 CU 를 인코딩하는데 인터-예측이 이용되었음을 나타내는 구문 요소를 CU 에 대한 코딩 노드에 추가할 수도 있다. 또한, 모드 선택 유닛 (302) 은 CU 의 예측 트리에 구문 요소들을 추가할 수도 있다. 예를 들어, 모드 선택 유닛 (302) 은 CU 의 PU 들의 크기들 및 위치들, PU 들에 대한 움직임 벡터들, 및 인터 프레임 코딩 동작 중에 생성된 다른 데이터를 나타내는 구문 요소들을 예측 트리에 추가할 수도 있다. 또한, 모드 선택 유닛 (302) 은 CU 의 변환 트리에 구문 요소들을 추가할 수도 있다. 예를 들어, 모드 선택 유닛 (302) 은 CU 의 TU들의 크기들 및 위치들을 나타내는 구문 요소들을 변환 트리에 추가할 수도 있다.

일부 예들에서, 구문 요소는 비트스트림으로 표현된 데이터의 요소이다. 비트스트림은 하나 이상의 코딩된 비디오 시퀀스들을 형성하는 코딩된 영상들 및 연관된 데이터의 표현을 형성하는 비트들의 시퀀스일 수도 있다. 코딩된 비디오 시퀀스는 액세스 유닛들의 시퀀스일 수도 있다. 액세스 유닛은 디코딩 순서에서 연속적인 네트워크 추상 계층 (Network Abstraction Layer; NAL) 유닛들의 세트이고, 정확히 하나의 기본 코딩 영상을 포함할 수도 있다. NAL 유닛은 뒤따를 데이터의 유형에 대한 표시를 포함하는 구문 구조, 및 에뮬레이션 방지 비트들과 함께 필요에 따라 배치된 RBSP (raw byte sequence payload) 의 형태인 데이터를 포함하는 바이트들일 수도 있다. 기본 코딩 영상은 비트스트림에 대한 디코딩 프로세스에 의해 이용될 영상의 코딩된 표현일 수도 있다.

모드 선택 유닛 (302) 이 CU 의 예측 블록을 선택한 후에, 잔여 생성 유닛 (310) 이 CU 의 원래의 샘플 블록 및 CU 의 선택된 예측 블록을 이용하여 CU 에 대한 잔여 데이터를 생성할 수도 있다. 일부 예들에서, CU 에 대한 잔여 데이터는 잔여 데이터의 2 차원 어레이 (즉, 잔여 블록) 로 배열될 수도 있다. CU 에 대한 잔여 데이터는 CU 의 원래의 샘플 블록과 CU 의 예측 블록 사이의 차이들을 표현할 수도 있다. 다양한 예들에서, 잔여 생성 유닛 (310) 은 다양한 방식들로 잔여 데이터를 생성할 수도 있다. 예를 들어, 잔여 생성 유닛 (310) 은 CU 의 샘플 블록 내의 샘플들로부터 CU 의 예측 블록 내의 샘플들을 감산함으로써 CU 에 대한 잔여 데이터를 생성할 수도 있다.

위에서 간단히 언급된 바와 같이, 각각의 CU 는 하나 이상의 TU들을 갖는다. 변환 유닛은 변환 트리 및 연관된 변환 데이터를 포함할 수도 있다. 변환 트리는 변환 구역들의 크기들 및 포지션들을 명시할 수도 있다. 예를 들어, 변환 트리는 변환 구역의 상단 왼쪽 구석의 위치를 나타낼 수도 있다. 이러한 예에서, 변환 구역의 크기는 변환 트리에서 대응하는 노드의 심도로부터 도출될 수도 있다.

잔여 생성 유닛 (310) 이 CU 에 대한 잔여 데이터를 생성하는 경우, 변환 모듈 (312) 은 CU 의 각각의 TU 에 대한 변환 동작을 수행할 수도 있다. 변환 모듈 (312) 이 CU 의 TU 에 대한 변환 동작을 수행하는 경우, 변환 모듈 (312) 은 잔여 데이터의 해당되는 샘플들을 공간 도메인에서 주파수 도메인으로 변환한다. 변환 모듈 (312) 은 주파수 도메인 내의 샘플들을 변환 계수 블록으로서 저장할 수도 있다. 잔여 데이터의 해당되는 샘플들은 TU 에 의해 명시된 변환 구역 내의 잔여 데이터의 샘플들을 포함할 수도 있다. 변환 계수 블록은 변환 계수들의 2 차원 어레이이다. 일부 예들에서, 변환 계수는, 디코딩 프로세스의 역 변환 부분에서 특정 1 차원 주파수 인덱스 또는 2 차원 주파수 인덱스와 연관되는, 주파수 도메인 내에 있는 것으로 여겨지는 스칼라 양일 수도 있다.

변환 모듈 (312) 이 잔여 데이터의 샘플들에 대해 변환 동작을 수행하는 경우, 변환 모듈 (312) 은 샘플들에 수학적 변환을 적용한다. 예를 들어, 변환 모듈 (312) 은 샘플들에 이산 여현 변환 (Discrete Cosine Transform; DCT) 을 수행하여 샘플들을 공간 도메인에서 주파수 도메인으로 변환할 수도 있다.

변환 모듈 (312) 은 결과로 초래된 변환 계수 블록을 양자화 유닛 (314) 에 제공할 수도 있다. 양자화 유닛 (314) 은 변환 계수 블록에 대해 양자화 동작을 수행할 수도 있다. 양자화 유닛 (314) 이 양자화 동작을 수행하는 경우, 양자화 유닛 (314) 은 변환 계수 블록 내의 변환 계수들의 각각을 양자화할 수도 있으며, 그렇게 함으로써 양자화된 변환 계수 블록을 생성한다. 양자화된 변환 계수 블록은 양자화된 변환 계수들의 2 차원 어레이이다. 다양한 예들에서, 양자화 유닛 (314) 은 다양한 양자화 동작들을 수행한다. 예를 들어, 양자화 유닛 (314) 은 변환 계수들을 양자화 파라미터로 나누고 그다음에 결과로 초래된 몫들을 잘라냄으로써 (clip) 변환 계수들을 양자화하는 양자화 동작을 수행할 수도 있다.

양자화 유닛 (314) 이 CU 의 변환 계수 블록들에 대해 양자화 동작을 수행한 후에, 엔트로피 코딩 유닛 (316) 이 CU 의 양자화된 변환 계수 블록, CU 의 코딩 노드, CU 의 예측 트리, 및 CU 의 변환 트리에 대해 엔트로피 코딩 동작을 수행한다. 엔트로피 코딩 유닛 (316) 은 이러한 엔트로피 코딩 동작을 수행한 결과로서 CU 에 대한 엔트로피 코딩된 데이터를 생성한다. 일부 사례들에서, 엔트로피 코딩 유닛 (316) 이 엔트로피 코딩 동작을 수행하는 경우, 양자화 유닛 (314) 은 CU 의 데이터를 표현하는데 필요한 비트들의 개수를 감소시킬 수도 있다. 다양한 사례들에서, 엔트로피 코딩 유닛 (316) 은 CU 의 데이터에 대해 다양한 엔트로피 코딩 동작들을 수행할 수도 있다. 예를 들어, 엔트로피 코딩 유닛 (316) 은 CU 의 데이터에 대해 컨텍스트 적응 가변 길이 코딩 (context-adaptive variable-length coding; CAVLC) 동작 또는 컨텍스트 적응 이진 산술 코딩 (context-adaptive binary arithmetic coding; CABAC) 동작을 수행할 수도 있다.

인코딩 유닛 (104) 은 CU 에 대한 엔트로피 인코딩된 데이터를 포함하는 비트스트림을 생성한다. 다양한 예들에서, 인코딩 유닛 (104) 은 CU 에 대한 엔트로피 인코딩된 데이터를 포함하는 다양한 유형의 비트스트림들을 생성할 수도 있다. 예를 들어, 인코딩 유닛 (104) 은 NAL 유닛 스트림을 출력할 수도 있다. 이러한 예에서, NAL 유닛 스트림은 NAL 유닛들이라고 불리는 구문 구성들의 시퀀스를 포함한다. NAL 유닛들은 디코딩 순서대로 배열된다. NAL 유닛들 중 하나 이상의 NAL 유닛은 CU 에 대한 엔트로피 인코딩된 데이터를 포함할 수도 있다. 다른 예에서, 인코딩 유닛 (104) 은 바이트 스트림을 출력할 수도 있다. 인코딩 유닛 (104) 은 디코딩 순서로 NAL 유닛들을 배열하고 시작 코드 프리픽스 (prefix) 및 바이트들의 스트림을 형성하기 위한 0 개 이상의 제로 값 바이트들로 각각의 NAL 유닛을 프리픽싱함으로써, NAL 유닛 스트림으로부터 바이트 스트림을 구성한다.

역 양자화 유닛 (318) 은 양자화된 변환 계수 블록들에 대해 역 양자화 동작을 수행한다. 역 양자화 동작은 양자화 유닛 (314) 에 의해 수행된 양자화 동작의 효과를 적어도 부분적으로 반전시킴으로써, 변환 계수 블록들을 생성한다.

역 변환 유닛 (320) 은 역 양자화 유닛 (318) 에 의해 생성된 변환 계수 블록들에 대해 역 변환 동작을 수행한다. 역 변환 유닛 (320) 이 역 변환 동작을 수행하는 경우, 역 변환 유닛 (320) 은 변환 모듈 (312) 에 의해 수행된 변환 동작의 효과를 반전시킴으로써, 복원된 잔여 데이터를 생성한다.

복원 유닛 (322) 은 복원된 샘플 블록들을 생성하는 복원 동작을 수행한다. 복원 유닛 (322) 은 복원된 잔여 데이터, 및 인터-예측 유닛 (304) 이나 인트라-예측 유닛 (308) 에 의해 생성된 예측 블록들에 기초하여 복원된 샘플 블록들을 생성한다. 다양한 예들에서, 복원 유닛 (322) 은 다양한 복원 동작들을 수행한다. 예를 들어, 복원 유닛 (322) 은 복원된 잔여 데이터 내의 샘플들을 예측 블록들 내의 대응하는 샘플들과 가산함으로써 복원 동작을 수행한다.

참조 프레임 저장부 (324) 는 복원된 샘플 블록들을 저장한다. 인코딩 유닛 (104) 이 소스 프레임의 각각의 CU 에 대한 인코딩된 데이터를 가진 후에, 인코딩 유닛 (104) 은 소스 프레임 내의 각각의 CU 에 대한 생성된, 복원된 샘플 블록들을 갖는다. 따라서, 참조 프레임 저장부 (324) 는 소스 프레임의 샘플 블록의 완전한 복원을 저장한다. 모드 선택 유닛 (302) 은 소스 프레임의 샘플 블록들의 복원들을 참조 프레임으로서 인터-예측 유닛 (304) 에 제공할 수도 있다.

도 6 은 인터-예측 유닛 (304) 의 예시적인 구성을 도시하는 블록 다이어그램이다. 도 6 의 예에서, 인터-예측 유닛 (304) 은 움직임 추정 유닛 (602), 움직임 보상 유닛 (604), 및 TU 생성 유닛 (606) 을 포함한다. 움직임 보상 유닛 (604) 은 평활화 유닛 (608) 을 포함한다. 인터-예측 유닛 (304) 의 다른 예시적인 구성들은 보다 많거나, 보다 적거나, 상이한 컴포넌트들을 포함할 수도 있음을 독자들은 이해할 것이다.

움직임 추정 유닛 (602) 은 CU 의 각각의 PU 에 대한 움직임 추정 동작을 수행할 수도 있다. 움직임 보상 유닛 (604) 은 CU 에 대한 예측 블록을 생성하는 움직임 보상 동작을 수행할 수도 있다. TU 생성 유닛 (606) 은 CU 의 TU들을 생성하는 변환 유닛 선택 동작을 수행할 수도 있다. 이 개시물의 기법들에 따라, 평활화 유닛 (608) 은 예측 블록의 전이 영역 내의 샘플들에 대해 평활화 동작을 적응적으로 수행할 수도 있다. 또한, 평활화 유닛 (608) 은 예측 블록의 어느 샘플들이 전이 영역 내에 있는지를 결정할 수도 있다. 비록 도 12 - 도 21 이 평활화 유닛 (608) 에 의해 수행되는 동작들로서 설명되나, 도 12 - 도 21 에 설명된 동작들은 디코딩 유닛 (106) 의 움직임 보상 유닛에 의해 수행될 수도 있다.

움직임 보상 유닛 (602) 이 CU 에 대한 움직임 추정 동작을 수행하는 경우, 움직임 추정 유닛 (602) 은 하나 이상의 예측 트리들을 생성할 수도 있다. 예측 트리들의 각각은 CU 의 상이한 PU 와 연관될 수도 있다. 예측 트리들의 각각은 예측 구역의 포지션 및 크기를 명시할 수도 있다. 설명의 용이함을 위해, 이 개시물은 PU 의 예측 트리에 의해 명시된 예측 구역의 포지션 또는 크기를 PU 의 포지션 또는 크기로서 지칭할 수도 있다.

움직임 보상 유닛 (602) 은 참조 샘플들에 대한 하나 이상의 참조 프레임들을 탐색할 수도 있다. PU 의 참조 샘플들은 PU 의 예측 구역에 내에 속하는 CU 의 샘플 블록의 부분들에 시각적으로 대응하는 참조 프레임들의 구역들일 수도 있다. 움직임 보상 유닛 (602) 이 PU 들 중 하나의 PU 에 대한 이러한 참조 샘플을 발견하는 경우, 움직임 보상 유닛 (602) 은 움직임 벡터를 생성할 수도 있다. 움직임 벡터는 PU 에 대한 참조 샘플의 공간적 포지션과 PU 의 시간적 포지션 사이의 차이를 설명하는 데이터의 세트이다. 예를 들어, 움직임 벡터는 PU 의 참조 샘플이 PU 보다 5 샘플 높고 3 샘플 오른쪽임을 나타낼 수도 있다. 또한, 일부 상황들에서, 움직임 보상 유닛 (602) 은 PU 에 대한 참조 샘플을 식별하지 못할 수도 있다. 이러한 상황들에서, 움직임 보상 유닛 (602) 은 PU 에 대해 스킵 (skip) 모드 또는 다이렉트 (direct) 모드를 선택할 수도 있다.

일부 예들에서, PU 의 참조 샘플에 대한 탐색을 수행하는 대신에, 움직임 보상 유닛 (602) 은 PU 에 대한 움직임 벡터를 예측할 수도 있다. 이러한 움직임 벡터 예측을 수행할 시에, 움직임 추정 유닛 (602) 은 소스 프레임 내의 공간적으로 이웃하는 CU들에 대해 결정된 움직임 벡터들 중 하나의 움직임 벡터, 또는 참조 프레임 내의 동일 위치에 배열된 (co-located) CU 에 대해 결정된 움직임 벡터를 선택할 수도 있다. 움직임 추정 유닛 (602) 은 참조 샘플에 대한 탐색 대신에 움직임 벡터 예측을 수행하여 각각의 파티션에 대한 움직임 벡터를 결정하는 것과 연관된 복잡도를 감소시킬 수도 있다.

움직임 보상 유닛 (604) 은 PU 들의 인터 코딩 모드들을 이용하여 CU 의 예측 블록을 생성한다. 움직임 추정 유닛 (602) 이 PU 에 대해 스킵 모드를 선택한 경우, 움직임 보상 유닛 (604) 은 PU 와 연관되는 예측 블록 내의 샘플들이 참조 프레임 내의 동일 위치에 배열된 샘플들에 매칭하도록 CU 의 예측 블록을 생성할 수도 있다. 움직임 추정 유닛 (602) 이 PU 에 대해 다이렉트 모드를 선택한 경우, 움직임 보상 유닛 (604) 은 PU 과 연관되는 예측 블록 내의 샘플들이 CU 의 샘플 블록 내의 동일 위치에 배열된 샘플들에 매칭하도록 예측 블록을 생성할 수도 있다. 움직임 추정 유닛 (602) 이 PU 에 대한 움직임 벡터를 생성한 경우, 움직임 보상 유닛 (604) 은 PU 와 연관되는 예측 블록 내의 샘플들이 움직임 벡터에 의해 나타내어진 참조 프레임의 부분 내의 샘플들에 대응하도록 예측 블록을 생성할 수도 있다. 움직임 추정 유닛 (602) 이 PU 에 대해 다수의 움직임 벡터들을 생성한 경우, 움직임 보상 유닛 (604) 은 PU 와 연관되는 예측 블록 내의 샘플들이 PU 의 움직임 벡터들에 의해 나타내어진 다수의 참조 프레임들의 부분들 내의 샘플들에 대응하도록 예측 블록을 생성할 수도 있다.

도 7 은 디코딩 유닛 (106) 의 예시적인 구성을 도시하는 블록 다이어그램이다. 도 7 의 예에 도시된 바와 같이, 디코딩 유닛 (106) 은 엔트로피 디코딩 유닛 (700), 움직임 보상 유닛 (702), 인트라-예측 유닛 (704), 역 양자화 유닛 (708), 역 변환 모듈 (710), 복원 유닛 (712), 및 참조 프레임 저장부 (714) 를 구현한다. 다양한 예들에서, 디코딩 유닛 (106) 은 다양한 방식들로 이러한 컴포넌트들을 구현한다. 예를 들어, 컴퓨팅 디바이스들의 프로세서들이 특정의 컴퓨터 판독가능 명령들을 실행하는 경우, 디코딩 유닛 (106) 을 제공하는 하나 이상의 컴퓨팅 디바이스들이 이러한 유닛들을 구현할 수도 있다. 이 예에서, 이러한 유닛들 또는 모듈들은 컴퓨터 소프트웨어의 이산형 모듈러 부분들로 구현될 수도 있거나 그렇지 않을 수도 있다. 다른 예에서, 디코딩 유닛 (106) 을 구현하는 하나 이상의 컴퓨팅 디바이스들은 이러한 유닛들 중 하나 이상의 유닛들의 기능성을 제공하는 하나 이상의 ASIC들을 포함할 수도 있다.

디코딩 유닛 (106) 은 비디오 데이터를 표현하는 인코딩된 비트스트림을 수신한다. 인코딩된 비트스트림은 비디오 데이터 내의 프레임들을 표현하는 데이터를 포함할 수도 있다. 예를 들어, 인코딩된 비트스트림은 프레임들 (200) (도 2) 의 각각을 표현하는 데이터를 포함할 수도 있다. 디코딩 유닛 (106) 이 프레임에 대해 표현하는 데이터를 수신하는 경우, 디코딩 유닛 (106) 은 데이터를 디코딩하여 프레임을 복원한다. 설명의 용이함을 위해, 이 개시물은 이러한 프레임을 소스 프레임이라고 지칭할 수도 있다.

디코딩 유닛 (106) 이 소스 프레임에 대한 데이터를 디코딩하는 경우, 디코딩 유닛 (106) 은 소스 프레임의 각각의 CU 에 대한 인코딩된 데이터를 수신한다. 예를 들어, 디코딩 유닛 (106) 은 CU 에 대한 양자화된 변환 계수 블록의 인코딩된 버전, CU 의 코딩 노드의 인코딩된 버전, CU 의 예측 트리의 인코딩된 버전, 및 CU 의 변환 트리의 인코딩된 버전을 수신할 수도 있다. 디코딩 유닛 (106) 은 그 다음에 소스 프레임의 각각의 CU 의 데이터를 디코딩한다. 디코딩 유닛 (106) 이 주어진 CU 의 데이터를 디코딩하는 경우, 엔트로피 디코딩 유닛 (700) 은 주어진 CU 에 대한 인코딩된 데이터를 수신한다. 엔트로피 디코딩 유닛 (700) 은 주어진 CU 에 대한 인코딩된 데이터에 대해 엔트로피 디코딩 동작을 수행한다. 엔트로피 디코딩 동작은 엔트로피 코딩 유닛 (316) (도 3) 에 의해 수행된 엔트로피 코딩 동작의 효과들을 반전시킨다.

엔트로피 디코딩 유닛 (700) 은 CU 에 대한 양자화된 변환 계수 블록을 역 양자화 유닛 (708) 에 제공한다. 엔트로피 디코딩 유닛 (700) 은 CU 의 코딩 노드, 예측 트리, 및 변환 트리와 같은, CU 에 대한 코딩 데이터를 움직임 보상 유닛 (702) 및/또는 인트라-예측 유닛 (704) 에 제공할 수도 있다.

움직임 보상 유닛 (702) 이 CU 에 대한 코딩 데이터를 수신하는 경우, 움직임 보상 유닛 (702) 은 코딩 데이터를 이용하여 CU 에 대한 예측 블록을 생성하는 움직임 보상 동작을 수행한다. 움직임 보상 동작 중에, 움직임 보상 유닛 (702) 은 참조 프레임 저장부 (714) 로부터 하나 이상의 참조 프레임들을 검색할 수도 있다. 움직임 보상 유닛 (702) 은 그 다음에 CU 의 PU 들에 대한 참조 샘플들을 식별할 수도 있다. PU 들에 대한 움직임 벡터들은 참조 프레임들 내의 구역들을 PU 들에 대한 참조 샘플들로서 식별한다. CU 의 PU 들에 대한 참조 샘플들을 식별한 후에, 움직임 보상 유닛 (702) 은 CU 에 대한 예측 블록을 생성한다. 예측 블록에서, CU 의 PU 들은 PU 들의 참조 샘플들을 포함할 수도 있다.

이 개시물의 기법들에 따라, 움직임 보상 유닛 (702) 은 예측 블록의 전이 영역 내의 샘플들에 대해 평활화 동작을 적응적으로 수행하는 동작을 수행할 수도 있다. 예를 들어, 움직임 보상 유닛 (702) 은 도 12 - 도 18, 및 도 20 에 도시된 예시적인 동작들 중 하나의 동작을 수행할 수도 있다. 또한, 일부 사례들에서, 움직임 보상 유닛 (702) 은 어느 샘플들이 전이 영역 내에 있는지를 결정할 수도 있다. 일부 예들에서, 움직임 보상 유닛 (702) 은 도 20 및 도 21 에 도시된 예시적인 동작들을 수행함으로써 어느 샘플들이 전이 영역 내에 있는지를 결정할 수도 있다.

인트라-예측 유닛 (704) 이 CU 에 대한 코딩 데이터를 수신하는 경우, 인트라-예측 유닛 (704) 은 소스 프레임 내의 이전에 디코딩된 샘플 블록들의 복원된 샘플 블록들을 이용하여 CU 에 대한 예측 블록을 생성한다. 인트라-예측 유닛 (704) 은 나타내어진 인트라-예측 모드에 따라 예측 블록 내의 샘플들을 수정할 수도 있다.

역 양자화 유닛 (708) 은 각각의 CU 에 대한 하나 이상의 양자화된 변환 계수 블록들을 수신한다. 역 양자화 유닛 (708) 이 CU 에 대한 양자화된 변환 계수 블록을 수신하는 경우, 역 양자화 유닛 (708) 은 양자화 유닛 (314) (도 3) 에 의해 수행된 양자화 동작의 효과를 적어도 부분적으로 반전시키는 역 양자화 동작을 수행함으로써, CU 에 대한 비양자화된 변환 계수 블록을 생성한다.

역 변환 모듈 (710) 은 변환 계수 블록들에 대해 역 변환 동작을 수행한다. 역 변환 동작은 변환 모듈 (312) (도 3) 에 의해 수행된 변환 동작의 효과를 반전시킴으로써, 복원된 잔여 데이터를 생성할 수도 있다. 역 변환 모듈 (710) 은 복원된 잔여 데이터를 복원 유닛 (712) 에 제공한다.

복원 유닛 (712) 은 움직임 보상 유닛 (702) 및 인트라-예측 유닛 (704) 으로부터 예측 블록들을 수신한다. 복원 유닛 (712) 은 또한 역 변환 모듈 (710) 로부터 대응하는 복원된 잔여 데이터를 수신한다. 복원 유닛 (712) 은 CU 의 복원된 잔여 데이터 및 CU 에 대한 예측 블록을 이용하는 복원 동작을 수행하여 CU 에 대한 복원된 샘플 블록을 생성한다. 다양한 예들에서, 복원 유닛 (712) 은 다양한 복원 동작들을 수행할 수도 있다. 예를 들어, 복원 유닛 (712) 은 CU 의 복원된 잔여 데이터 내의 샘플들을 CU 의 예측 블록 내의 대응하는 샘플들과 가산함으로써 CU 의 복원된 샘플 블록을 생성할 수도 있다.

CU 에 대한 복원된 샘플 블록을 생성한 후에, 복원 유닛 (712) 은 복원된 샘플 블록을 출력한다. 복원 유닛 (712) 은 또한 복원된 샘플 블록을 참조 프레임 저장부 (714) 에 제공한다. 참조 프레임 저장부 (714) 는 복원된 샘플 블록을 저장한다. 움직임 보상 유닛 (702) 및/또는 인트라-예측 유닛 (704) 은 후속하여 복원된 샘플 블록을 이용하여 추가적인 예측 블록들을 생성할 수도 있다.

도 8 은 인터-예측 유닛 (304) 에 의해 수행되는 예시적인 인터 프레임 코딩 동작 (800) 을 도시하는 플로우차트이다. 인코딩 유닛 (104) 이 인터 프레임 코딩 동작 (800) 을 시작한 후에, 움직임 추정 유닛 (602) 은 CU 의 PU 들에 대해 움직임 추정 동작을 수행한다 (802). 일부 사례들에서, 움직임 추정 유닛 (602) 은 PU 에 대한 참조 샘플에 대해 참조 프레임의 탐색 구역 내에서 탐색함으로써 PU 에 대한 움직임 추정 동작을 수행할 수도 있다. PU 에 대한 참조 샘플은 PU 예측 트리에 의해 명시된 예측 구역에 대응하는 참조 프레임의 부분일 수도 있다. 움직임 추정 유닛 (602) 이 PU 에 대한 참조 샘플을 발견하는 경우, 움직임 추정 유닛 (602) 은 PU 와 PU 에 대한 참조 샘플 사이의 포지션에서의 차이를 나타내는 움직임 벡터를 생성할 수도 있다. 다른 예시들에서, 움직임 추정 유닛 (602) 은 PU 에 대한 움직임 벡터를 예측할 수도 있다.

이러한 일반적인 프레임워크 내에서, 움직임 추정 유닛 (602) 의 다양한 예들은 다양한 방식들로 움직임 추정 동작을 수행할 수도 있다. 예를 들어, 상이한 예들의 움직임 추정 유닛 (602) 은 PU 에 대응하는 참조 프레임의 부분을 탐색하는 경우에 상이한 탐색 구역들을 이용할 수도 있다. 일부 이러한 예들에서, 인코딩 유닛 (104) 은 움직임 추정 유닛 (602) 에 의해 이용되는 탐색 구역의 크기를 제어하는 탐색 구역 파라미터를 갖는다. 탐색 구역 파라미터의 값은 사람인 사용자에 의해 또는 컴퓨터 프로그램에 의해 설정될 수도 있다.

CU 의 PU 들에 대해 움직임 추정 동작을 수행한 후에, 움직임 보상 유닛 (604) 은 움직임 보상 동작을 수행하여 CU 에 대한 예측 블록을 생성한다 (804). 또한, 동작 (800) 의 수행 중에, 평활화 유닛 (608) 은 예측 블록의 전이 영역 내의 샘플들에 대해 평활화 동작을 적응적으로 수행하는 동작을 수행할 수도 있다 (806). 평활화 동작은 예측 블록의 전이 영역 내의 샘플들을 평활화할 수도 있다. 전이 영역은 CU 의 상이한 PU 들과 연관된 예측 블록의 샘플들 사이의 경계에서 발생할 수도 있다. 예를 들어, 전이 영역은 CU 의 제 1 PU 와 연관된 예측 블록의 샘플들과 제 2 PU 와 연관된 예측 블록의 샘플들 사이의 경계에서 발생할 수도 있다. 샘플이 PU 의 예측 트리에 의해 명시된 예측 구역 내에 있는 경우, 예측 블록의 샘플은 PU 과 연관될 수도 있다.

일부 예들에서, 전이 구역 내의 샘플을 평활화하는 것은 샘플과 그 샘플과 이웃하는 샘플들 사이의 차이들을 감소시킬 수도 있다. 이 개시물의 다른 곳에서 설명된 바와 같이, 평활화 유닛 (608) 은 평활화 동작을 수행함으로써 CU 의 디코딩된 샘플 블록의 코딩 효율 및/또는 시각적 외관을 개선시킬 수도 있다. 다양한 예들에서, 평활화 유닛 (608) 은 다양한 평활화 동작들을 수행한다. 이 개시물의 다른 곳에서 상세히 설명된, 도 12 - 도 18 및 도 20 은 예측 블록들의 전이 영역들 내의 샘플들을 적응적으로 평활화하기 위해 평활화 유닛 (608) 에 의해 수행되는 예시적인 동작들을 도시한다.

또한, TU 생성 유닛 (606) 이 변환 선택 동작을 수행하여 CU 에 대한 TU들의 크기들을 선택할 수도 있다 (808). 위에서 논의된 바와 같이, 변환 모듈 (312) 은 CU 에 대한 잔여 데이터를 수신할 수도 있다. 변환 모듈 (312) 은 그 다음에 CU 의 각각의 TU 에 대해 변환 동작을 수행할 수도 있다. 변환 모듈 (312) 이 TU 에 대해 변환 동작을 수행하는 경우, 변환 모듈 (312) 은 TU 에 대응하는 잔여 데이터의 샘플들에 변환을 적용함으로써, TU 에 대한 변환 계수 블록을 생성할 수도 있다. 샘플들이 TU 의 변환 트리에 의해 명시된 변환 구역 내에 있는 경우, 잔여 데이터의 샘플들은 TU 에 대응할 수도 있다. 인코딩 유닛 (104) 내의 역 변환 유닛 (320) 및 디코딩 유닛 (106) 내의 역 변환 모듈 (710) 은 또한 변환 계수 블록들을 샘플 블록들로 변환하는 경우 선택된 변환 크기들을 갖는 변환들을 이용한다.

또한, 인터-예측 유닛 (304) 이 인터-예측 구문 요소들을 생성할 수도 있다 (810). 인터-예측 구문 요소들은 CU 및 예측 블록에 관한 정보를 제공할 수도 있다. 예를 들어, 인터-예측 구문 요소들은 CU 가 한 개 이상의 PU 를 갖는지 여부를 나타내는 구문 요소들을 포함할 수도 있다. 이러한 예에서, CU 가 한 개 이상의 PU 를 갖는 경우, 인터-예측 구문 요소들은 또한 PU 들의 예측 구역들의 크기들, 형상들, 및/또는 위치들을 나타낼 수도 있다. 다른 예에서, 인터-예측 구문 요소들은 CU 의 PU 들에 대한 인터-예측 모드들을 명시할 수도 있다. 또한, 인터-예측 구문 요소들은 CU 의 PU 들 중 하나 이상의 PU 들에 대한 움직임 벡터들에 기초한 데이터를 포함할 수도 있다. 다른 예에서, 인터-예측 구문 요소들은 CU 의 TU들의 크기들 및/또는 위치를 나타낼 수도 있다. 일부 예들에서, 인터-예측 구문 요소들의 세트는 H.264 MPEG 파트 10 표준에 의해 명시된 인터-예측 구문 요소들 중의 일부 또는 전부를 포함한다.

모드 선택 유닛 (302) 이 단계 804 에서 생성된 예측 블록을 선택하는 경우, 인터-예측 유닛 (304) 은 잔여 생성 유닛 (310) 및 복원 유닛 (322) 에 예측 블록을 출력할 수도 있다. 또한, 모드 선택 유닛 (302) 이 단계 804 에서 생성된 예측 블록을 선택하는 경우, 모드 선택 유닛 (302) 은 CU 의 코딩 노드, 예측 트리, 및/또는 변환 트리 내의 인터-예측 구문 요소들을 포함할 수도 있다.

도 9 는 예시적인 직사각형 파티셔닝 모드들을 도시하는 개념적 다이어그램이다. 위에서 간략히 설명된 바와 같이, 모드 추정 유닛 (602) 은 CU 에 대한 하나 이상의 PU 들을 생성할 수도 있다. PU 들의 각각은 예측 구역의 크기 및 포지션을 명시하는 예측 트리를 가질 수도 있다. 예측 구역들의 각각은 CU 의 샘플 블록의 상이한 파티션에 대응할 수도 있다. 설명의 용이함을 위해, 이 개시물은, PU 의 예측 트리에 의해 명시된 예측 구역이 CU 의 샘플 블록의 파티션에 대응하는 경우, PU 가 CU 의 샘플 블록의 파티션에 대응하는 것으로 설명할 수도 있다.

다양한 예들에서, 움직임 추정 유닛 (602) 은 다양한 파티셔닝 모드들을 이용하여 CU 의 PU 들을 생성할 수도 있다. 이러한 파티셔닝 모드들은 직사각형 파티셔닝 모드들을 포함할 수도 있다. 직사각형 파티셔닝 모드들에서, PU 들은 CU 의 샘플 블록의 직사각형 형상의 파티션들에 대응한다. 일부 예들에서, 움직임 추정 유닛 (602) 은 H.264 MPEG 파트 10 표준에서 정의된 일부 또는 모든 직사각형 파티셔닝 모드들을 이용할 수 있다.

도 9 의 예는 직사각형 파티셔닝 모드들 (900A-H) (총괄하여, "직사각형 파티셔닝 모드들 (900)") 을 도시한다. 직사각형 파티셔닝 모드 (900A) 에서, 움직임 추정 유닛 (602) 은 CU 에 대한 단일 PU 를 생성한다. 이러한 PU 의 예측 구역은 CU 의 샘플 블록과 동일한 크기이다. 직사각형 파티셔닝 모드 (900B) 에서, 움직임 추정 유닛 (602) 은 CU 에 대한 4 개의 PU 들을 생성한다. 직사각형 파티셔닝 모드 (900B) 를 이용하여 생성된 PU 들은 CU 의 샘플 블록의 4 개의 동일한 크기의 파티션들에 대응한다.

직사각형 파티셔닝 모드들 (900C 내지 900H) 에서, 움직임 추정 유닛 (602) 은 CU 에 대한 2 개의 PU 들을 생성한다. 직사각형 파티셔닝 모드 (900C) 를 이용하여 생성된 PU 들은 동일한 크기의, 수평으로 나눠진 CU 의 샘플 블록의 파티션들에 대응한다. 직사각형 파티셔닝 모드 (900D) 를 이용하여 생성된 PU 들은 동일한 크기의, 수직으로 나눠진 CU 의 샘플 블록의 파티션들에 대응한다.

직사각형 파티셔닝 모드 (900E) 를 이용하여 생성된 PU 들은 샘플 블록의 수평으로 나눠진 샘플 블록의 파티션들에 대응하며, 하부 파티션은 상부 파티션보다 크다. 일부 예들에서, 움직임 추정 유닛 (602) 은 샘플 블록의 수평 중심선 위의 샘플 블록 내의 임의의 샘플에서 수평으로 샘플 블록을 파티셔닝할 수도 있다. 직사각형 파티셔닝 모드 (900F) 를 이용하여 생성된 PU 들은 샘플 블록의 수평으로 나눠진 샘플 블록의 파티션들에 대응하며, 하부 파티션은 상부 파티션보다 작다. 일부 예들에서, 움직임 추정 유닛 (602) 은 샘플 블록의 수평 중심선 아래의 샘플 블록 내의 임의의 샘플에서 수평으로 샘플 블록을 파티셔닝할 수도 있다.

직사각형 파티셔닝 모드 (900G) 를 이용하여 생성된 PU 들은 수직으로 나눠진 샘플 블록의 파티션들에 대응하며, 왼쪽 파티션은 오른쪽 파티션보다 작다. 일부 예들에서, 움직임 추정 유닛 (602) 은 샘플 블록의 수직 중심선의 왼쪽으로 샘플 블록 내의 임의의 샘플에서 수직으로 샘플 블록을 파티셔닝할 수도 있다. 직사각형 파티셔닝 모드 (900H) 를 이용하여 생성된 PU 들은 수직으로 나눠진 샘플 블록의 파티션들에 대응하며, 왼쪽 파티션은 오른쪽 파티션보다 크다. 일부 예들에서, 움직임 추정 유닛 (602) 은 샘플 블록의 수직 중심선의 오른쪽으로 샘플 블록 내의 임의의 샘플에서 수직으로 샘플 블록을 파티셔닝할 수도 있다.

도 10 은 예시적인 기하학적 파티셔닝 모드들을 도시하는 개념적 다이어그램이다. 일부 예들에서, 움직임 추정 유닛 (602) 은 기하학적 파티셔닝 모드를 이용하여 CU 에 대한 2 개의 PU 들을 생성한다. 움직임 추정 유닛 (602) 이 기하학적 파티셔닝 모드를 이용하여 CU 에 대한 PU 들을 생성하는 경우, PU 들은 반드시 경계들이 샘플 블록의 가장자리들에서 직각으로 만날 필요가 없는 CU 의 샘플 블록의 파티션들에 대응한다.

도 10 의 예에서, 움직임 추정 유닛 (602) 은 기하학적 파티셔닝 모드를 이용하여 샘플 블록 (1000) 을 제 1 파티션 (1002) 과 제 2 파티션 (1004) 으로 파티셔닝했다. 파티셔닝 라인 (1006) 이 제 1 파티션 (1002) 과 제 2 파티션 (1004) 을 분리한다. 설명의 용이함을 위해, 도 10 은 샘플 블록 (1000) 의 수직 중심선 (1008) 및 수평 중심선 (1010) 을 도시한다. 2 개의 파라미터들이 샘플 블록 (1000) 을 파티셔닝하는데 이용되는 기하학적 파티셔닝 모드를 정의한다. 이 개시물에서, 이러한 2 개의 파라미터들은 세타 (theta) 및 로 (rho) 라고 지칭된다. 세타 파라미터는 라인 (1014) 이 샘플 블록 (1000) 의 중심 점으로부터 확장하는 각 (1012) 을 나타낸다. 로 파라미터는 라인 (1014) 의 길이 (1016) 를 나타낸다. 따라서, 세타 파라미터 및 로 파라미터는 샘플 블록 (1000) 내의 점 (1018) 을 나타내기 위한 극좌표로 작용한다. 파티셔닝 라인 (1006) 은 파티셔닝 라인 (1006) 이 직각으로 라인 (1014) 을 만나도록 정의된다. 도 10 의 예에서, 파티셔닝 라인 (1006) 이 샘플 블록 (1000) 의 가장자리와 만나는 각 (1020) 은 직각이 아니다. 이러한 방식을, 세타 파라미터 및 로 파라미터는 파티셔닝 라인 (1006) 의 위치를 정의한다. 세타 파라미터 및 로 파라미터에 대한 다양한 값들을 이용하여, 움직임 추정 유닛 (602) 은 샘플 블록 (1000) 을 파티셔닝하는 다양한 라인들을 정의할 수도 있다.

파티셔닝 라인 (1006) 및 라인 (1014) 은 반드시 샘플 블록 (1000) 내에 시각적으로 존재할 필요는 없고 샘플 블록 (1000) 이 어떻게 기하학적으로 파티셔닝되는지를 예시하기 위해 도 10 에서 도시된다.

도 11 은 CU 의 예측 블록 (1202) 의 전이 영역 (1200) 을 도시하는 개념적 다이어그램이다. 도 11 의 예에서, 예측 블록 (1202) 은 CU 의 제 1 PU 와 연관된 샘플들 (1204) 및 CU 의 제 2 PU 와 연관된 샘플들 (1206) 을 포함한다. 파티셔닝 라인 (1208) 은 샘플들 1204 을 샘플들 1206 으로부터 분리한다. 전이 영역 (1200) 은 샘플들 1204 와 샘플들 1206 사이의 경계에서 발생하는 예측 블록 (1202) 의 일부분이다. 도 11 의 예에서, 전이 영역 (1200) 내의 샘플들은 블록들로 도시된다.

하기에서 상세히 설명되는, 도 12 - 도 18 및 도 20 은 예측 블록들의 전이 영역들 내의 샘플들을 적응적으로 평활화하기 위한 예시적인 동작들을 도시한다. 이러한 예시적인 동작들의 각각에서, 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할지 여부를 결정한다. 일부 상황들에서, CU 의 코딩 효율은 전이 영역 내의 샘플들을 평활화함으로써 향상될 수도 있다. 다른 상황들에서, CU 의 코딩 효율은 전이 영역 내의 샘플들을 평활화함으로써 감소될 수도 있다. 따라서, 전이 영역 내의 샘플들에 대해 평활화 동작을 적응적으로 수행함으로써, 인코딩 유닛 (104) 은 CU 의 코딩 효율을 향상시킬 수도 있다.

도 12 는 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작 (1250) 을 도시하는 플로우차트이다. 평활화 유닛 (608) 은 도 13 - 도 18 및 도 20 에서 도시된 예시적인 동작들에 대한 대안으로서 동작 1250 을 수행할 수도 있다.

위에서 논의된 바와 같이, 잔여 생성 유닛 (310) 은 CU 의 샘플들로부터 예측 블록의 샘플들을 감산하여 잔여 데이터를 생성할 수도 있다. 인터-예측 유닛 (304) 은 CU 에 대한 하나 이상의 TU들을 생성할 수도 있다. TU들의 각각은 변환 구역을 명시한다. CU 의 잔여 데이터는 TU들 중에서 파티셔닝된다. 설명의 용이함을 위해, 이 개시물은 TU 의 변환 구역 내의 CU 의 잔여 데이터의 부분들이 TU 내에 있는 것으로 설명할 수도 있다. 각각의 TU 에 있어서, 변환 모듈 (312) 은 TU 내의 CU 의 잔여 데이터의 부분들에 변환을 적용하여 TU 에 대한 변환 계수 블록을 생성한다.

TU 의 변환 구역이 PU 들의 예측 구역들과 중첩되는 경우, CU 의 TU 는 CU 의 2 개 이상의 PU 들에 걸쳐 이어질 수도 있다. CU 의 TU 가 CU 의 2 개 이상의 PU 들에 걸쳐 이어지는 경우, PU 들 사이의 파티션 라인의 반대 측들에서의 샘플들 사이에 색상 또는 밝기에서 급격한 불연속들이 있을 확률이 더 크다. 일부 예들에서, 변환 모듈 (312) 이 급격한 불연속들을 지닌 샘플들을 갖지 않는 TU들에 변환들을 적용하는 경우보다 변환 모듈 (312) 이 급격한 불연속성들을 지닌 샘플들을 갖는 TU들에 변환들을 적용하는 경우에, 변환 모듈 (312) 은 보다 많은 유효 (즉, 제로가 아닌) 계수들을 갖는 변환 계수 블록을 생성한다.

전이 영역 내의 샘플들에 평활화 필터를 적용하는 것은 상이한 PU 들과 연관된 예측 블록의 부분들 사이의 파티션 라인의 반대 측들에서의 샘플들 사이의 색상 또는 밝기에서의 불연속성들을 감소시킬 수도 있다. 평활화 필터를 적용함으로써 불연속성들이 감소될 수도 있기 때문에, 변환 모듈 (312) 은 보다 적은 유효 계수들을 갖는 변환 계수 블록을 생성할 수도 있다.

그러나, TU 가 전부 하나의 PU 내에서 발생하는 경우, TU 내의 샘플들에 평활화 필터를 적용하는 것은 CU 의 예측 블록과 CU 의 원래의 샘플 블록 사이의 차이들을 증가시킬 수도 있어, 보다 복잡한 잔여 데이터를 야기한다. 변환 모듈 (312) 은 보다 복잡한 잔여 데이터에 대해 보다 많은 유효 계수들을 갖는 변환 계수 블록을 생성할 수도 있다.

평활화 유닛 (608) 에서 동작을 시작한 후에 (1250), 평활화 유닛 (608) 은 CU 의 TU 가 CU 의 다수의 PU 들에 걸쳐 이어지는지 여부를 결정한다 (1252). CU 의 TU 가 CU 의 다수의 PU 들에 걸쳐 이어진다고 평활화 유닛 (608) 이 결정하는 경우, 평활화 유닛 (608) 은 CU 의 예측 블록의 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하도록 결정한다. 따라서, CU 의 TU 가 CU 의 다수의 PU 들에 걸쳐 이어진다고 평활화 유닛 (608) 이 결정하는 경우 (1252 의 "예"), 평활화 유닛 (608) 은 CU 의 예측 블록의 전이 영역 내의 샘플들을 식별하여 (1254) 전이 영역 내의 샘플들에 대해 평활화 동작을 수행한다 (1256). 그렇지 않고, TU 가 다수의 PU 들에 걸쳐 이어지지 않는다고 평활화 유닛 (608) 이 결정하는 경우 (1252 의 "아니오"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하지 않는다 (1258).

다양한 예들에서, 평활화 유닛 (608) 은 다양한 방식들로 전이 영역 내의 샘플들을 식별한다. 예를 들어, 평활화 유닛 (608) 은 전이 영역 내의 샘플들을 식별하기 위해, 도 20 에 도시된 예시적인 전이 샘플 식별 동작, 또는 도 21 에 도시된 예시적인 전이 샘플 식별 동작을 이용할 수도 있다.

다양한 예들에서, 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 다양한 평활화 동작들을 수행할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 중첩 블록 움직임 보상 (Overlapped-Block Motion Compensation; OBMC) 을 수행할 수도 있다. OBMC 평활화 동작에서, 평활화 유닛 (608) 은 전이 영역 내의 샘플들의 각각에 대해 2 개의 예측들을 생성한다. 평활화 유닛 (608) 은 PU 들 중 하나의 PU 의 움직임 벡터에 의해 나타내어진 참조 프레임의 샘플을 식별함으로써 주어진 샘플에 대한 제 1 예측을 생성한다. 평활화 유닛 (608) 은 PU 들 중의 다른 PU 의 움직임 벡터에 의해 나타내어진 참조 프레임의 샘플을 식별함으로써 주어진 샘플에 대한 제 2 예측을 생성한다. PU 들 중 하나의 PU 가 움직임 벡터를 갖지 않는 경우, 평활화 유닛 (608) 은 주어진 샘플과 동일한 공간적 위치들에 있는 참조 프레임의 샘플을 식별함으로써 예측을 생성할 수도 있다.

또한, OBMC 평활화 동작에서, 평활화 유닛 (608) 은 전이 영역 내의 각각의 샘플에 대한 예측들을 혼합한다. 다양한 예들에서, 평활화 유닛 (608) 은 다양한 방식들로 주어진 샘플에 대한 예측들을 혼합한다. 예를 들어, 평활화 유닛 (608) 은 예측들의 가중 평균을 계산함으로써 주어진 샘플에 대한 예측들을 혼합할 수도 있다. 다양한 예들에서, 평활화 유닛 (608) 은 예측들에 상이한 가중치들을 줄 수도 있다. 예를 들어, 평활화 유닛 (608) 은 주어진 샘플을 포함하는 PU 의 움직임 벡터에 기초한 예측에 3/4 의 가중치를 줄 수도 있고, 다른 PU 의 움직임 벡터에 기초한 예측에 1/4 의 가중치를 줄 수도 있다.

다른 예들에서, 평활화 유닛 (608) 은 필터 기반 평활화 동작을 수행할 수도 있다. 평활화 유닛 (608) 이 필터 기반 평활화 동작을 수행하는 경우, 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 하나 이상의 필터들을 적용할 수도 있다. 이러한 필터 기반 평활화 동작들에서, 평활화 유닛 (608) 은 전이 영역 내의 식별된 샘플들에 다양한 평활화 필터들을 적용할 수도 있다. 이러한 예에서, 평활화 유닛 (608) 은 전이 영역 내의 각각의 샘플에 다음의 3×3 평활화 필터를 적용할 수도 있다:

1/15 2/15 1/15

2/15 3/15 2/15

1/15 2/15 1/15

이 예에서, 평활화 유닛 (608) 이 주어진 샘플에 평활화 필터를 적용하는 경우, 주어진 샘플의 새로운 값의 1/15 은 주어진 샘플의 위쪽 왼쪽의 샘플에 기초하며, 새로운 값의 2/15 는 주어진 샘플의 위쪽의 샘플에 기초하며, 새로운 값의 1/15 은 주어진 샘플의 위쪽 오른쪽의 샘플에 기초하며, 새로운 값의 2/15 는 주어진 샘플의 왼쪽의 샘플에 기초하며, 새로운 값의 3/15 은 주어진 샘플의 현재 값에 기초하며, 새로운 값의 2/15 는 주어진 샘플의 오른쪽의 샘플에 기초하며, 새로운 값의 1/15 은 주어진 샘플의 아래쪽 왼쪽에 기초하며, 새로운 값의 2/15 는 주어진 샘플의 아래의 샘플에 기초하고, 새로운 값의 1/15 은 주어진 샘플의 아래쪽 오른쪽의 샘플에 기초한다. 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 다른 평활화 필터들을 적용할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 평활화 필터들에 상이한 가중치들을 적용할 수도 있다. 다른 예에서, 평활화 유닛 (608) 은 다른 크기들, 예를 들어, 5×5, 7×7 등의 평활화 필터들을 적용할 수도 있다.

일부 예들에서, 동작 (1250) 은 비디오 데이터를 코딩하는 방법의 부분이다. 방법은 비디오 데이터의 프레임 내의 CU 에 대한 예측 블록을 생성하는 단계를 포함한다. 방법은 또한, 컴퓨팅 디바이스에 의해, CU 의 TU 가 CU 의 다수의 PU 들에 걸쳐 이어지는지 여부에 기초하여 예측 블록의 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할지 여부를 결정하는 단계를 포함한다. 전이 영역은 CU 의 제 1 PU 와 연관된 예측 블록의 샘플들과 CU 의 제 2 PU 와 연관된 예측 블록의 샘플들 사이의 경계에 있다. 방법은 또한, 컴퓨팅 디바이스가 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하도록 결정한 후에, 예측 블록의 전이 영역 내의 샘플들을 평활화하기 위해 평활화 동작을 수행하는 단계를 포함한다.

일부 예들에서, 평활화 유닛 (608) 은 TU 가 다수의 PU 들에 걸쳐 이어지는지 여부 및 다른 인자들에 기초하여 평활화 동작을 수행할지 여부를 결정할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 TU 가 다수의 PU 들에 걸쳐 이어지는지 여부 및 CU 의 PU 의 크기에 기초하여 평활화 동작을 수행할지 여부를 결정할 수도 있다.

도 13 은 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작 1300 을 도시하는 플로우차트이다. 평활화 유닛 (608) 은 도 12, 도 14 - 도 18, 및 도 20 에 도시된 예시적인 동작들을 수행하는 것에 대한 대안으로서 동작 1300 을 수행할 수도 있다.

평활화 유닛 (608) 은 예측 블록의 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할지 여부를 결정하기 위해 동작 1300 을 수행할 수도 있다. 동작 1300 에서, 평활화 유닛 (608) 은 CU 의 PU 들의 크기들에 기초하여 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할지 여부를 결정한다. 일부 예시들에서, CU 의 PU 들은 상대적으로 작을 수도 있다. 이러한 예시들에서, PU 들 사이의 전이 영역 내의 샘플들을 평활화하는 것은 이미지 품질을 개선시키지 않거나 코딩 효율을 상당히 개선시키지 않을 수도 있다.

평활화 유닛 (608) 이 동작 1300 을 시작한 후에, 평활화 유닛 (608) 은 PU 들 중 하나의 PU 의 크기가 주어진 임계치 아래인지 여부를 결정한다 (1302). 일부 예들에서, PU 의 크기는 PU 의 예측 트리에 의해 명시된 예측 구역의 크기이다. 다양한 예들에서, 평활화 유닛 (608) 은 PU 의 크기가 다양한 임계치들 아래인지 여부를 결정할 수도 있다. 예를 들어, PU 가 크기 M×N 을 갖는 경우, 평활화 유닛 (608) 은 M 또는 N 중 하나가 4 보다 작은지 여부를 결정할 수도 있다. 일부 예들에서, 주어진 임계치는 인코딩 유닛 (104) 및 디코딩 유닛 (106) 내에 미리 구성된다. 다른 예들에서, 인코딩 유닛 (104) 및 디코딩 유닛 (106) 은 주어진 임계치를 프로그램에 따라서 결정한다.

다양한 예들에서, 평활화 유닛 (608) 은 다양한 방식들로 PU 들 중 하나의 PU 의 크기가 주어진 임계치 아래인지 여부를 결정할 수도 있다. 예를 들어, 인코딩 유닛 (104) 은 룩업 테이블을 저장할 수도 있다. 룩업 테이블은 상이한 PU 크기들에 대응하는 엔트리들을 포함한다. 엔트리들의 각각은 대응하는 PU 크기가 주어진 임계치 위인지 아래인지 여부를 나타낸다.

PU 들의 크기들이 주어진 임계치 아래가 아닌 경우 (1302 의 "아니오"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하도록 결정한다. 예를 들어, PU 가 크기 M×N 을 갖는 경우, 평활화 유닛 (608) 은 M 또는 N 이 4 이상인 경우 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하도록 결정할 수도 있다. 따라서, PU 들의 크기들이 주어진 임계치 아래가 아닌 경우 (1302 의 "아니오"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들을 식별하고 (1304), 그 다음에 전이 영역 내의 샘플들에 대해 평활화 동작을 수행한다 (1306). 그렇지 않고, PU 들 중 하나의 PU 의 크기가 주어진 임계치 아래인 경우 (1302 의 "예"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하지 않도록 결정한다 (1308). 다양한 예들에서, 평활화 유닛 (608) 은 다양한 방식들로 전이 영역 내의 샘플들을 식별할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 전이 영역 내의 샘플들을 식별하기 위해 도 19 - 도 21 에 도시된 예시적인 동작들을 이용할 수도 있다. 또한, 다양한 예들에서, 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 다양한 평활화 동작들을 수행할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 도 12 와 관련하여 위에서 설명된 바와 같이 하나 이상의 OBMC 평활화 동작 또는 필터 기반 평활화 동작을 수행할 수도 있다.

다른 예들에서, 평활화 유닛 (608) 은, PU 의 크기가 임계치 아래인지 여부를 결정하는 대신에 평활화 유닛 (608) 이 변환의 크기가 임계치 아래인지 여부를 결정하는 동작 1300 의 일 버전을 수행할 수도 있다. 변환 모듈 (312) 은 예측 블록에 기초하여 잔여 데이터를 공간 도메인에서 주파수 도메인으로 변환시키는 경우에 변환을 이용할 수도 있다. 따라서, 평활화 유닛 (608) 은 변환의 크기에 기초하여 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할지 여부를 결정할 수도 있다.

일부 예들에서, 동작 1300 은 비디오 데이터를 코딩하는 방법의 일부분이다. 방법은 비디오 데이터의 프레임 내의 CU 에 대한 예측 블록을 생성하는 단계를 포함한다. 방법은 또한, 컴퓨팅 디바이스에 의해, CU 의 PU 의 크기 또는 변환의 크기에 기초하여, 예측 블록의 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할지 여부를 결정하는 단계를 포함한다. 전이 영역은 CU 의 제 1 PU 와 연관된 예측 블록의 샘플들과 CU 의 제 2 PU 와 연관된 예측 블록의 샘플들 사이의 경계에 있다. 방법은 또한, 컴퓨팅 디바이스가 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하도록 결정한 후에, 예측 블록의 전이 영역 내의 샘플들을 평활화하기 위해 평활화 동작을 수행하는 단계를 포함한다.

일부 예들에서, 평활화 유닛 (608) 은 PU 의 변환의 크기 또는 다른 인자들에 기초하여 평활화 동작을 수행할지 여부를 결정할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 PU 이나 변환의 크기 또는 CU 의 PU 들의 움직임 벡터들에 기초하여 평활화 동작을 수행할지 여부를 결정할 수도 있다.

도 14 는 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작 1400 을 도시하는 플로우차트이다. 평활화 유닛 (608) 은 도 12, 도 13, 도 15 - 도 18, 및 도 20 에 도시된 예시적인 동작들을 수행하는 것에 대한 대안으로서 동작 1400 을 수행할 수도 있다.

움직임 추정 유닛 (602) 이 CU 의 PU 들에 대해 움직임 추정 동작을 수행하는 경우, 움직임 추정 유닛 (602) 은 PU 들의 각각에 대해 움직임 벡터를 생성할 수도 있다. 예를 들어, CU 가 제 1 PU 및 제 2 PU 를 갖는 경우, 움직임 예측 유닛 (602) 은 제 1 움직임 벡터 및 제 2 움직임 벡터를 생성할 수도 있다. 제 1 움직임 벡터는 제 1 PU 와 제 1 참조 샘플 사이의 공간적 위치에서의 차이를 나타낸다. 제 1 참조 샘플은 참조 프레임 내의 제 1 PU 에 대응하는 구역이다. 제 2 움직임 벡터는 제 2 파티션 유닛과 제 2 참조 샘플 사이의 공간적 위치에서의 차이를 나타낸다. 제 2 참조 샘플은 참조 프레임 내의 제 2 PU 에 대응하는 구역이다.

평활화 유닛 (608) 이 동작 1400 을 시작한 후에, 평활화 유닛 (608) 은 CU 의 PU 들에 대한 움직임 벡터들을 수신한다 (1402). 평활화 유닛 (608) 은 그 다음에 PU 들에 대한 움직임 벡터들에 대해 함수를 적용한다 (1404). 함수는 결과 값을 산출한다. 다양한 예들에서, 평활화 유닛 (608) 은 움직임 벡터들에 다양한 함수들을 적용할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 움직임 벡터들 중 하나의 벡터를 다른 움직임 벡터에서 감산하는 것의 절대 값을 계산하는 함수를 적용할 수도 있다. 다른 예에서, 평활화 유닛 (608) 은 이웃하는 PU 에 대해 결정된 움직임 벡터 및 예측된 움직임 벡터의 진폭에 기초한 함수를 적용할 수도 있다. 이러한 예에서, 예측된 움직임 벡터는 이웃하는 예측 유닛에 대해 결정된 움직임 벡터 및 참조 프레임 내의 동일 위치에 배열된 예측 유닛에 대해 결정된 움직임 벡터 중 하나 이상의 움직임 벡터로부터 예측될 수도 있다.

움직임 벡터들에 함수를 적용한 후에, 평활화 유닛 (608) 은 결과 값이 임계치를 초과하는지 여부를 결정한다 (1406). 다양한 예들에서, 평활화 유닛 (608) 은 결과 값이 다양한 임계치들을 초과하는지 여부를 결정할 수도 있다. 예를 들어, 결과가 움직임 벡터들 사이의 차이의 절대 값인 경우, 평활화 유닛 (608) 은 결과 값이 임계치보다 큰지 여부를 결정할 수도 있다. 이러한 예에서, 임계치는 1 정수 픽셀일 수도 있다. 일부 예들에서, 임계치는 인코딩 유닛 (104) 및 디코딩 유닛 (106) 에 설정된 미리 결정된 파라미터이다. 다른 예들에서, 인코딩 유닛 (104) 은 임계치를 명시하는 구문 요소를 생성하여 디코딩 유닛 (106) 에 구문 요소를 제공할 수도 있다. 예를 들어, 인코딩 유닛 (104) 은 구문 요소로서 CU 와 연관된 시퀀스 파라미터 세트로 임계치를 디코딩 유닛 (106) 에 제공할 수도 있다.

함수의 결과 값이 주어진 임계치를 초과하는 경우 (1406 의 "예"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하도록 결정한다. 따라서, 함수의 결과 값이 주어진 임계치를 초과하는 경우 (1406 의 "예"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들을 식별하고 (1408), 전이 영역 내의 샘플들에 대해 평활화 동작을 수행한다 (1410). 그렇지 않고, 함수의 결과 값이 주어진 임계치를 초과하지 않는 경우 (1406 의 "아니오"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하지 않는다 (1412). 이러한 방식으로, 평활화 유닛 (608) 은 제 1 움직임 벡터 및 제 2 움직임 벡터에 적어도 부분적으로 기초하여 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할지 여부를 결정한다. 다양한 예들에서, 평활화 유닛 (608) 은 다양한 방식들로 전이 영역 내의 샘플들을 식별할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 전이 영역 내의 샘플들을 식별하기 위해 도 19 - 도 21 에 도시된 예시적인 동작들을 이용할 수도 있다. 또한, 다양한 예들에서, 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 다양한 평활화 동작들을 수행할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 도 12 와 관련하여 위에서 설명된 바와 같이 하나 이상의 OBMC 평활화 동작 또는 필터 기반 평활화 동작을 수행할 수도 있다.

일부 예들에서, 평활화 유닛 (608) 은 움직임 벡터들 및 다른 인자들에 기초하여 평활화 동작을 수행할지 여부를 결정할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 움직임 벡터들 및 CU 의 PU 의 크기에 기초하여 평활화 동작을 수행할지 여부를 결정할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 움직임 벡터들 사이의 차이가 주어진 임계치보다 크고 CU 내의 PU 의 크기가 임계치를 초과하는 경우 평활화 동작을 수행하도록 결정할 수도 있다.

도 15 는 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작 1500 을 도시하는 플로우차트이다. 인터-예측 유닛 (304) 은 도 12 - 도 14, 도 16 - 도 18, 및 도 20 에 도시된 예시적인 동작들을 수행하는 것에 대한 대안으로 평활화 결정 동작 1500 을 수행할 수도 있다. 도 15 의 예에서, 평활화 유닛 (608) 은 주어진 CU 의 PU 들의 인터-예측 방향성들에 기초하여 주어진 CU 의 잔여 데이터의 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할지 여부를 결정한다. PU 의 인터-예측 방향성은 PU 과 연관된 CU 의 예측 블록의 부분이 1 개 또는 2 개의 참조 프레임들로부터의 참조 샘플들에 기초하는지 여부를 결정할 수도 있다.

인코딩 유닛 (104) 은 프레임을 인트라 프레임 (즉, "I 프레임"), 예측 프레임 (즉, "P 프레임"), 또는 양방향 예측 프레임 (즉, "B 프레임") 으로 인코딩할 수도 있다. 유사하게, 인코딩 유닛 (104) 은 프레임의 슬라이스를 인트라 슬라이스 (즉, "I 슬라이스"), 예측 슬라이스 (즉, "P 슬라이스"), 또는 양방향 슬라이스 (즉, "B 슬라이스") 로 인코딩할 수도 있다. 인코딩 유닛 (104) 이 프레임 또는 슬라이스를 I 프레임 또는 I 슬라이스로 인코딩하는 경우, 프레임 또는 슬라이스 내의 PU 들은 오직 인트라-예측된 PU 들일 수도 있다. 인코딩 유닛 (104) 이 프레임 또는 슬라이스를 P 프레임 또는 P 슬라이스로 인코딩하는 경우, 프레임 또는 슬라이스 내의 PU 들은 인트라-예측된 PU 들 또는 단일 예측된 PU 들일 수도 있다. 인코딩 유닛 (104) 이 프레임 또는 슬라이스를 B 프레임 또는 B 슬라이스로 인코딩하는 경우, 프레임 또는 슬라이스 내의 PU 들은 인트라-예측된 PU 들, 일방향 예측된 PU 들, 또는 양방향 예측된 PU 들일 수도 있다. 움직임 보상 유닛 (604) 및/또는 움직임 보상 유닛 (702) 은 다른 프레임들 또는 슬라이스들에 대한 참조 없이 인트라-예측된 PU 와 연관되는 예측 블록의 부분들을 생성할 수도 있다. 움직임 보상 유닛 (604) 및/또는 움직임 보상 유닛 (702) 은 비디오 데이터 내의 단일 참조 프레임에 기초하여 일방향 예측된 PU 와 연관되는 예측 블록의 부분들을 생성할 수도 있다. 일부 예시들에서, 오직 일방향 예측된 PU 들만을 갖는 CU 는 일방향 예측된 CU 또는 일방향 예측 CU 로 지칭될 수도 있다. 움직임 보상 유닛 (604) 및/또는 움직임 보상 유닛 (702) 은 2 개의 참조 프레임들에 기초하여 양방향 예측된 PU 와 연관되는 예측 블록의 부분들을 생성할 수도 있다. 일부 예시들에서, 하나 이상의 양방향 예측된 PU 들을 포함하는 CU 는 양방향 예측된 CU 또는 양방향 예측 CU 로 지칭될 수도 있다.

예를 들어, 주어진 PU 가 양방향 예측된 PU 인 경우, 인코딩 유닛 (104) 은 주어진 PU 에 대한 참조 샘플들에 대해 단일 참조 프레임을 탐색한다. 이러한 단일 참조 프레임은 주어진 PU 의 프레임의 전 또는 후에 일시적으로 발생할 수도 있다. 다시 말해, 단일 참조 프레임은 LIST_0 또는 LIST_1 일 수도 있다. 인코딩 유닛 (104) 은 그 다음에 주어진 PU 의 참조 샘플들을 이용하여 주어진 PU 와 연관되는 CU 에 대한 예측 블록의 부분들을 생성할 수도 있다.

주어진 PU 가 양방향 예측된 PU 인 경우, 인코딩 유닛 (104) 은 2 개의 참조 프레임들을 탐색하여 주어진 PU 에 대한 2 개의 참조 샘플들을 획득할 수도 있다. 참조 프레임들 중 하나의 참조 프레임은 주어진 PU 의 프레임 전에 일시적으로 발생할 수도 있고, 참조 프레임들 중 하나의 참조 프레임은 주어진 PU 의 프레임 후에 일시적으로 발생할 수도 있다. CU 의 예측 블록을 생성하기 위해, 인코딩 유닛 (104) 은 주어진 PU 에 대해 혼합 동작을 수행할 수도 있다. 인코딩 유닛 (104) 이 주어진 PU 에 대해 혼합 동작을 수행하는 경우, 인코딩 유닛 (104) 은 주어진 PU 의 2 개의 참조 샘플들에 기초하여 주어진 PU 과 연관되는 예측 블록의 부분들을 생성할 수도 있다. 예를 들어, 인코딩 유닛 (104) 은 주어진 PU 의 2 개의 참조 샘플들 내의 샘플들의 가중 평균에 기초하여 주어진 PU 와 연관되는 예측 블록의 부분들을 생성할 수도 있다.

양방향 예측된 PU 를 포함하지 않는 CU 의 예측 블록 내의 샘플들에 대해 OBMC 평활화 동작을 수행하는 것보다 양방향 예측된 PU 를 포함하는 CU (즉, 양방향 예측 CU) 의 예측 블록 내의 샘플들에 대해 OBMC 평활화 동작을 수행하는데, 비교적 보다 많은 데이터가 메모리로부터 검색될 필요가 있을 수도 있다. 따라서, CU 가 양방향 예측된 PU 를 포함하는 경우 평활화 동작을 수행하는 것을 자제하는 것은 메모리로부터 검색되는 데이터의 양을 감소시키고 인코딩 프로세스 또는 디코딩 프로세스를 가속화할 수도 있다.

도 15 의 예에 도시된 바와 같이, 평활화 유닛 (608) 은 CU 가 양방향 예측된 PU 를 갖는지 여부를 결정할 수도 있다 (1502). CU 가 양방향 예측된 PU 를 갖지 않는 경우 (1502 의 "아니오"), 평활화 유닛 (608) 은 CU 의 예측 블록의 전이 영역의 샘플들에 대해 평활화 동작을 수행하도록 결정한다. 따라서, CU 가 양방향 예측된 PU 를 갖지 않는 경우 (1502 의 "아니오"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들을 식별하고 (1504) 전이 영역 내의 샘플들에 대해 평활화 동작을 수행한다 (1506). 다른 예들에서, 평활화 유닛 (608) 은 CU 가 양방향 예측된 PU 를 갖는 경우 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하도록 결정할 수도 있다. 다른 예에서, CU 는 2 개의 PU 들을 가질 수도 있고, PU 들 중 하나의 PU 는 양방향 예측된 PU 이다. OBMC 평활화 동작을 수행하기 위해, 평활화 유닛 (608) 은 (전술된 바와 같이 메모리로부터 검색되는 데이터의 양을 증가시킬) 양방향 예측된 PU 의 2 개의 참조 샘플들을 이용하여 전이 지역들 내의 샘플들의 서브세트를 도출할 필요가 있을 수도 있다. 따라서, 이러한 예에서, 평활화 유닛 (608) 은 양방향 예측된 PU 와 연관되는 전이 지역의 샘플들의 서브세트에 대해 OBMC 평활화 동작을 수행하지 않도록 결정할 수도 있다. 평활화 유닛 (608) 은 또한 다른 PU 가 양방향 예측된 PU 인지 여부에 기초하여 다른 PU 와 연관되는 전이 지역의 다른 샘플들에 대해 OBMC 평활화 동작을 수행하도록 결정할 수도 있다.

다양한 예들에서, 평활화 유닛 (608) 은 다양한 방식들로 전이 영역 내의 샘플들을 식별할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 전이 영역 내의 샘플들을 식별하기 위해 도 19 및 도 21 에 도시된 예시적인 동작들을 이용할 수도 있다. 또한, 다양한 예들에서, 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 다양한 평활화 동작들을 수행할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 도 12 와 관련하여 위에서 설명된 바와 같이 하나 이상의 OBMC 또는 필터 기반 평활화 동작들을 수행할 수도 있다.

그렇지 않고, CU 가 양방향 예측된 PU 를 갖는 경우 (1502 의 "예"), 평활화 유닛 (608) 은 CU 의 예측 블록의 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하지 않는다 (1508). 따라서, CU 가 양방향 예측된 PU 를 갖는 경우, 평활화 유닛 (608) 은 예측 블록의 전이 영역 내의 샘플들에 평활화 동작을 적용하지 않는다. 이러한 방식으로, 평활화 유닛 (608) 은 CU 의 PU 들의 인터-예측 방향성 및 따라서 CU 의 인터-예측 방향성들에 기초하여 평활화 동작을 수행할지 여부를 결정한다.

일부 예들에서, 평활화 유닛 (608) 은 CU 의 PU 들이나 인터-예측 방향성들 및 다른 인자들에 기초하여 평활화 동작을 수행할지 여부를 결정할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 PU 들의 인터-예측 방향성들 및 CU 의 PU 의 크기에 기초하여 평활화 동작을 수행할지 여부를 결정할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 CU 가 양방향 예측 PU 를 가지지 않고 CU 내의 PU 의 크기가 임계치를 초과하는 경우 평활화 동작을 수행하도록 결정할 수도 있다.

도 16 은 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작 1600 을 도시하는 플로우차트이다. 평활화 유닛 (608) 은 도 12 - 도 15, 도 17, 도 18, 및 도 20 의 예들에 도시된 동작들을 수행하는 대안으로서 동작 1600 을 수행할 수도 있다.

인터-예측 유닛 (304) 이 동작 1600 을 수행하는 경우, 평활화 유닛 (608) 은 CU 의 예측 블록의 전이 영역 내의 샘플들을 식별한다 (1602). 다양한 예들에서, 평활화 유닛 (608) 은 다양한 방식들로 전이 영역 내의 샘플들을 식별할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 전이 영역 내의 샘플들을 식별하기 위해 도 19 및 도 21 에 도시된 예시적인 동작들을 이용할 수도 있다.

전이 영역 내의 샘플들을 식별한 후에, 평활화 유닛 (608) 은 CU 의 상이한 PU 들과 연관되는 전이 영역 내의 샘플들 사이의 차이의 양을 결정한다 (1604). 예를 들어, 평활화 유닛 (608) 은 CU 의 제 1 PU 와 연관되는 전이 영역 내의 샘플들과 CU 의 제 2 PU 와 연관되는 전이 영역 내의 샘플들 사이의 차이의 양을 결정할 수도 있다.

평활화 유닛 (608) 은 그 다음에 파티셔닝 라인의 반대 측들에서의 샘플들 사이의 차이의 양이 주어진 임계치를 초과하는지 여부를 결정한다 (1606). 상이한 예들에서, 평활화 유닛 (608) 은 차이의 양이 다양한 임계치들을 초과하는지 여부를 결정한다. 예를 들어, 평활화 유닛 (608) 은 파티셔닝 라인의 반대 측들에서의 대응하는 샘플들 사이의 차이의 양이 2 보다 큰지 여부를 결정할 수도 있다. 일부 예들에서, 사람인 사용자들이 주어진 임계치를 구성할 수도 있다. 다른 예들에서, 인코딩 유닛 (104) 및 디코딩 유닛 (106) 은 주어진 임계치를 프로그램에 따라서 결정한다.

파티셔닝 라인의 반대 측들에서의 샘플들 사이의 차이가 주어진 임계치를 초과하는 경우 (1606 의 "예"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할 수도 있다 (1608). 예를 들어, 파티셔닝 라인의 반대 측들에서의 대응하는 샘플들 사이의 차이가 2 이하인 경우, 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 평활화 동작을 수행할 수도 있다. 다양한 예들에서, 평활화 유닛 (608) 은 샘플들에 대해 다양한 평활화 동작들을 수행할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 도 12 와 관련하여 위에서 설명된 바와 같이 전이 영역 내의 샘플들에 대해 OBMC 기반 평활화 동작 또는 필터 기반 평활화 동작을 수행할 수도 있다. 그렇지 않고, 파티셔닝 라인의 반대 측들에서의 샘플들 사이의 차이가 주어진 임계치를 초과하지 않는 경우 (1606 의 "아니오"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 평활화 동작을 수행하지 않는다 (1610). 이러한 방식으로, 평활화 유닛 (608) 은 CU 의 하나의 PU 와 연관되는 전이 영역 내의 샘플들과 CU 의 다른 PU 와 연관되는 전이 영역 내의 샘플들 사이의 차이의 양에 적어도 부분적으로 기초하여 평활화 동작을 수행할지 여부를 결정할 수도 있다.

일부 예들에서, 평활화 유닛 (608) 은 상이한 PU 들과 연관되는 전이 영역 내의 샘플들 사이의 차이의 양 및 다른 인자들에 기초하여 평활화 동작을 수행할지 여부를 결정할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 상이한 PU 들과 연관되는 전이 영역 내의 샘플들 사이의 차이의 양 및 CU 의 PU 의 크기에 기초하여 평활화 동작을 수행할지 여부를 결정할 수도 있다.

도 17 은 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작 1700 을 도시하는 플로우차트이다. 평활화 유닛 (608) 은 도 12 - 도 16, 도 18, 및 도 20 에 도시된 예시적인 동작들을 수행하는 것에 대한 대안으로서 동작 1700 을 수행할 수도 있다. 인터-예측 유닛 (304) 이 동작 1700 을 수행하는 경우, 인터-예측 유닛 (304) 은 선택적으로 전이 영역 내의 샘플들에 대해 평활화 동작들을 수행할 수도 있다. 다시 말해, 인터-예측 유닛 (304) 은 반드시 전이 영역 내의 모든 샘플들을 평활화할 필요는 없다.

인터-예측 유닛 (304) 이 동작 1700 을 수행하는 경우, 평활화 유닛 (608) 은 전이 샘플 식별 동작을 수행하여 CU 의 예측 블록의 전이 영역 내의 샘플들을 식별한다 (1702). 다양한 예들에서, 평활화 유닛 (608) 은 다양한 전이 샘플 식별 동작들을 수행할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 도 19 에 도시된 예시적인 전이 샘플 식별 동작, 또는 도 21 에 도시된 예시적인 전이 샘플 식별 동작을 수행할 수도 있다.

전이 영역 내의 샘플들을 식별한 후에, 평활화 유닛 (608) 은 전이 영역 내에 잔여 샘플들이 있는지 여부를 결정한다 (1704). 전이 영역 내에 하나 이상의 잔여 샘플들이 있는 경우 (1704 의 "예"), 평활화 유닛 (608) 은 전이 영역 내의 잔여 샘플들 중 하나의 잔여 샘플을 선택한다 (1706). 평활화 유닛 (608) 이 샘플을 선택한 후에, 평활화 유닛 (608) 은 그 샘플을 잔여 샘플인 것으로 여기지 않을 수도 있다.

평활화 유닛 (608) 은 그 다음에 선택된 샘플이 특정 기준을 만족시키는지 여부를 결정한다 (1708). 선택된 샘플이 기준을 만족시키는 경우 (1708 의 "예"), 평활화 유닛 (608) 은 선택된 샘플에 대해 평활화 동작을 수행한다 (1710). 예를 들어, 평활화 유닛 (608) 은 선택된 샘플에 대해 OBMC 기반 평활화 동작 또는 필터 기반 평활화 동작을 수행할 수도 있다. 선택된 샘플이 기준을 만족시키지 않는 경우 (1708 의 "아니오"), 평활화 유닛 (608) 은 선택된 샘플들에 대해 평활화 동작을 수행하지 않는다 (1712). 어떠한 경우에도, 평활화 유닛 (608) 은 전이 영역 내에 잔여 샘플들이 있는지 여부를 다시 결정한다 (1704). 전이 영역 내에 잔여 샘플들이 있는 경우, 평활화 유닛 (608) 은 잔여 샘플들에 대해 단계들 (1706, 1708, 1710, 및 1712) 을 반복할 수도 있다.

다양한 예들에서, 평활화 유닛 (608) 은 선택된 샘플이 다양한 기준을 만족시키는지 여부를 결정할 수도 있다. 예를 들어, 선택된 샘플이 CU 의 주어진 PU 내에 있는 경우, 평활화 유닛 (608) 은 선택된 샘플이 기준을 만족시킨다고 결정할 수도 있다. 이러한 예에서, 선택된 샘플이 CU 의 다른 PU 내에 있는 경우, 평활화 유닛 (608) 은 선택된 샘플이 기준을 만족시키지 않는다고 결정할 수도 있다. 이러한 방식으로, 평활화 유닛 (608) 은 주어진 PU 내의 샘플들에 대해 평활화 동작을 수행하나, 다른 PU 내의 샘플들에 대해서는 평활화 동작을 수행하지 않을 수도 있다. 예를 들어, 평활화 유닛 (608) 이 평활화 동작을 수행하는 경우, 평활화 유닛 (608) 은 CU 의 제 1 PU 와 연관되는 전이 영역 내의 샘플들을 수정하고, CU 의 제 2 PU 와 연관되는 전이 영역 내의 샘플들은 수정하지 않는다.

다른 예에서, 평활화 유닛 (608) 은 시퀀스 파라미터 세트 (sequence parameter set; SPS) 를 수신할 수도 있다. 이러한 예에서, SPS 가 샘플들을 명시하는 경우, 평활화 유닛 (608) 은 샘플이 기준을 만족시킨다고 결정할 수도 있다. 이러한 예에서, SPS 가 샘플을 명시하지 않는 경우, 평활화 유닛 (608) 은 샘플이 기준을 만족시키지 않는다고 결정할 수도 있다.

도 18 은 예측 블록의 전이 영역 내의 샘플들을 적응적으로 평활화하기 위한 다른 예시적인 동작 1800 을 도시하는 플로우차트이다. 인터-예측 유닛 (304) 은 도 12 - 도 17, 및 도 20 에 도시된 예시적인 동작들을 수행하는 것에 대한 대안으로서 동작 1800 을 수행할 수도 있다. 도 18 의 예에서, 평활화 유닛 (608) 은 복수의 이용가능한 평활화 동작들 중에서 평활화 동작을 적응적으로 택한다. 일부 예들에서, 다수의 이용가능한 평활화 동작들 중에서 평활화 동작을 적응적으로 택하는 것은 보다 큰 코딩 효율 및/또는 이미지 품질을 초래할 수도 있다.

평활화 유닛 (608) 이 동작 1800 을 시작한 후에, 평활화 유닛 (608) 은 CU 의 예측 블록의 전이 영역 내의 샘플들에 대해 제 1 평활화 동작을 수행할지 여부를 결정한다 (1802). 평활화 유닛 (608) 이 전이 영역 내의 샘플들에 대해 제 1 평활화 동작을 수행하도록 결정하는 경우 (1802 의 "예"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들을 식별하고 (1804), 그 다음에 전이 영역 내의 샘플들에 대해 제 1 평활화 동작을 수행할 수도 있다 (1806). 다양한 예들에서, 평활화 유닛 (608) 은 다양한 방식들로 제 1 평활화 동작을 수행하도록 결정할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 도 12 - 도 17 에 도시된 예시적인 동작들을 이용하여 제 1 평활화 동작을 수행할지 여부를 결정할 수도 있다. 이러한 예에서, CU 의 크기가 32×32 또는 16×16 인 경우, 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 제 1 평활화 동작을 적용하도록 결정할 수도 있다.

그렇지 않고, 평활화 유닛 (608) 이 제 1 평활화 동작을 수행하지 않도록 결정하는 경우 (1802 의 "아니오"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 대해 제 2 평활화 동작을 수행할지 여부를 결정할 수도 있다 (1808). 평활화 유닛 (608) 이 전이 영역 내의 샘플들에 대해 제 2 평활화 동작을 수행하도록 결정하는 경우 (1808 의 "예"), 평활화 유닛 (608) 은 전이 영역 내의 샘플들을 식별하고 (1810), 전이 영역 내의 샘플들에 대해 제 2 평활화 동작을 수행할 수도 있다 (1812). 다양한 예들에서, 평활화 유닛 (608) 은 다양한 방식들로 제 2 평활화 동작을 수행하도록 결정할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 도 12 - 도 17 에 도시된 예시적인 동작들을 이용하여 제 2 평활화 동작을 수행하도록 결정할 수도 있다. 이러한 예에서, CU 의 크기가 8×8 인 경우 및 CU 의 인터-예측 방향이 양방향 예측된 CU 인 경우, 평활화 유닛 (608) 은 전이 영역 내의 샘플들에 제 2 평활화 동작을 적용하도록 결정할 수도 있다. 따라서, 평활화 유닛 (608) 이 동작 1800 을 수행하는 경우, 평활화 유닛 (608) 은 위에서 설명된 동작들의 조합들에 기초하여 평활화 동작들을 수행할지 여부를 결정할 수도 있다.

제 1 평활화 동작을 수행한 후, 제 2 평활화 동작을 수행한 후, 또는 제 2 평활화 동작을 수행하지 않도록 결정한 후에, 평활화 동작 (608) 은, 만약 있다면, 어느 평활화 동작이 전이 영역 내의 샘플들에 대해 수행되었는지를 나타내는 구문 요소를 출력할 수도 있다 (1814). 인코딩 유닛 (104) 내의 움직임 보상 유닛 (604) 은 CU 을 복원하는 경우 참조 프레임의 일부로서 이러한 구문 요소를 이용할 수도 있다. 또한, 디코딩 유닛 (106) 내의 움직임 보상 유닛 (702) 은 CU 에 대한 예측 블록을 복원하는 경우 이러한 구문 요소를 이용할 수도 있다.

제 1 평활화 동작 및 제 2 평활화 동작은 동일한 유형 또는 상이한 유형의 평활화 동작들일 수도 있다. 예를 들어, 제 1 평활화 커널 (kernel) 이 제 1 평활화 동작을 구성하고, 제 2 평활화 커널이 제 2 평활화 동작을 구성할 수도 있다. 이러한 예에서, 커널들은 평활화 필터들에 의해 수행되는 평활화의 유형 및 정도를 정의한다. 이러한 예에서, 평활화 유닛 (608) 은 변환의 크기, CU 의 PU 의 크기, 이웃하는 PU 에 대해 결정된 움직임 벡터의 진폭, 및 예측된 움직임 벡터에 기초하여 제 1 평활화 동작을 수행할지 여부를 결정할 수도 있다. 이러한 예에서, 움직임 벡터는 이웃하는 예측 유닛에 대해 결정된 움직임 벡터들 중 하나 이상의 움직임 벡터들로부터 예측되고, 움직임 벡터는 참조 프레임 내의 동일 위치에 배열된 예측 유닛에 대해 결정된다.

다른 예에서, 제 1 평활화 동작은 OBMC 기반 평활화 동작일 수도 있고, 제 2 평활화 동작은 필터 기반 평활화 동작일 수도 있다. 제 1 평활화 동작 및 제 2 평활화 동작이 상이한 유형의 평활화 동작들일 수도 있기 때문에, 제 1 평활화 동작 및 제 2 평활화 동작은 서로 다른 예측 블록의 버전들을 산출할 수도 있다.

도 19 는 예시적인 전이 샘플 식별 동작 (2100) 을 도시하는 플로우차트이다. 평활화 유닛 (608) 은 전이 샘플 식별 동작 (2100) 을 수행하여 예측 블록의 전이 영역 내의 샘플들을 식별할 수도 있다. 평활화 유닛 (608) 이 전이 샘플 식별 동작 (2100) 을 시작한 후에, 평활화 유닛 (608) 은 이웃 지역의 크기를 선택한다 (2102). 다시 말해, 평활화 유닛 (608) 은 이웃 지역 크기를 선택한다. 다양한 예들에서, 평활화 유닛 (608) 은 다양한 이웃 지역 크기들을 선택할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 3×3, 5×5, 7×7, 또는 이웃 지역 크기와는 다른 크기를 선택할 수도 있다.

다양한 예들에서, 평활화 유닛 (608) 은 다양한 방식들로 이웃 지역 크기를 선택한다. 예를 들어, 인코딩 유닛 (104) 및 디코딩 유닛 (106) 은 크기를 나타내는 미리 결정된 이웃 지역 크기 구문 요소를 저장할 수도 있다. 이러한 예에서, 인코딩 유닛 (104) 및 디코딩 유닛 (106) 은 이웃 지역 크기 구문 요소를 판독하고 이웃 지역 크기 구문 요소를 이용해 이웃 지역 크기를 선택한다.

다른 예에서, 인코딩 유닛 (104) 은 크기를 나타내는 이웃 지역 크기 파라미터를 저장한다. 일부 예들에서, 인코딩 유닛 (104) 및/또는 디코딩 유닛 (106) 은 사람인 사용자로부터 이웃 지역 크기 파라미터를 수신한다. 다른 예들에서, 이웃 지역 크기 파라미터는 프로그램에 따라서 설정된다. 인코딩 유닛 (104) 은 이웃 지역 크기 파라미터를 이용하여 이웃 지역 크기를 선택한다. 또한, 인코딩 유닛 (104) 은 이웃 지역 크기를 디코딩 유닛 (106) 에 신호한다. 예를 들어, 인코딩 유닛 (104) 은 이웃 지역 크기를 나타내는 영상 파라미터 세트 (picture parameter set; PPS) 또는 슬라이스 파라미터 세트 (slice parameter set; SPS) 로 구문 요소를 출력할 수도 있다.

다른 예에서, 인코딩 유닛 (104) 은, 평활화 유닛 (608) 이 전이 샘플 식별 동작 (2100) 을 수행하기에 앞서, 멀티미디어 컨텐츠의 프레임에 대한 이웃 지역 크기, 현재의 프레임을 포함하는 영상들의 그룹, 다른 CU, CU들의 그룹, 서브 CU들의 그룹, 현재의 프레임의 슬라이스, 현재의 프레임의 2 개 이상의 부분들, 또는 멀티미디어 컨텐츠의 다른 부분을 선택할 수도 있다. 이러한 예에서, 인코딩 유닛 (104) 은 특정의 기준에 기초하여 이웃 지역 크기를 선택하고, 선택된 이웃 크기를 디코더에 명시적으로 신호할 수도 있다. 평활화 유닛 (608) 은 CU 와 연관된 멀티미디어 컨텐츠의 부분에 대해 이전에 선택된 이웃 지역 크기에 기초하여 이웃 지역 크기를 선택한다.

또 다른 예에서, 평활화 유닛 (608) 은 CU 의 특성들에 기초하여 이웃 지역 크기를 선택할 수도 있다. 다양한 예들에서, 평활화 유닛 (608) 은 CU 의 다양한 특성들에 기초하여 이웃 지역 크기를 선택할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 CU 의 크기에 기초하여 이웃 지역 크기를 선택할 수도 있다. 다른 예에서, 평활화 유닛 (608) 은 CU 내의 PU 의 움직임 벡터에 기초하여 이웃 지역 크기를 선택할 수도 있다. 이러한 예에서, 평활화 유닛 (608) 은 움직임 벡터의 진폭에 기초하여 이웃 지역 크기를 선택할 수도 있다. 또 다른 예에서, 평활화 유닛 (608) 은 CU 의 PU 에 대한 예측 모드 (즉, 스킵 모드, 다이렉트 모드, 인터 프레임 모드, 또는 인트라 프레임 모드) 에 기초하여 이웃 지역 크기를 선택할 수도 있다. 또 다른 예에서, 평활화 유닛 (608) 은 예측 블록 내의 샘플들에서의 차이들에 기초하여 이웃 지역 크기를 선택할 수도 있다.

또 다른 예에서, 평활화 유닛 (608) 은 비디오 데이터 내의 다른 CU들의 인코딩 결과들에 기초하여 이웃 지역 크기를 선택할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 보다 큰 이웃 지역 크기를 이용하여 다른 CU들에 대해 생성된 예측 블록들이 보다 작은 이웃 지역 크기들을 이용하여 생성된 예측 블록들보다 적은 왜곡을 야기한다고 결정하거나, 그 반대로 결정할 수도 있다. 다른 예들에서, 이웃 지역 크기는 이전의 인코딩된 CU 의 파티션 모드들, 이전의 인코딩된 CU들의 파티션 모드들, 이전의 인코딩된 CU들의 움직임 벡터들에 기초하여 결정될 수도 있다. 이러한 결정에 기초하여, 평활화 유닛 (608) 은 가장 낮은 왜곡의 레벨들로 예측 블록들을 산출하는 경향이 있는 이웃 지역 크기를 선택할 수도 있다.

이웃 지역 크기를 선택한 후에, 평활화 유닛 (608) 은 전이 영역 내의 샘플들을 식별한다. 하기에서 설명된 바와 같이, 전이 영역은 이웃 지역이 샘플을 포함하는 경우 CU 의 주어진 PU 와 연관된 샘플을 포함하고, CU 의 다른 PU 와 연관되는 예측 블록의 샘플도 포함한다. 이웃 지역은 선택된 이웃 지역 크기를 갖는다. 전이 영역 내의 샘플들을 식별하기 위해, 평활화 유닛 (608) 은 예측 블록 내에 임의의 잔여 샘플들이 있는지 여부를 결정할 수도 있다 (2104). 샘플 블록 내에 하나 이상의 잔여 샘플들이 있는 경우 (2104 의 "예"), 평활화 유닛 (608) 은 잔여 샘플들 중 하나의 잔여 샘플을 선택한다 (2106). 평활화 유닛 (608) 이 샘플을 선택한 후에, 평활화 유닛 (608) 은 그 샘플을 예측 블록의 잔여 샘플인 것으로 여기지 않는다. 평활화 유닛 (608) 은 그 다음에 선택된 샘플과 연관된 PU 를 식별한다 (2108).

다음으로, 평활화 유닛 (608) 은 이웃 지역 내의 샘플들을 식별한다 (2110). 이웃 지역은 선택된 이웃 지역 크기를 가지고, 선택된 샘플을 포함하는 예측 블록의 영역이다 (2110). 일부 예들에서, 이웃 지역은 선택된 샘플의 중심에 있다. 예를 들어, 이웃 지역이 3×3 평방 (square) 인 경우, 선택된 샘플은 3×3 평방의 중심 샘플일 것이다. 다른 예에서, 이웃 지역은 선택된 샘플의 중심에 있지 않다. 예를 들어, 이웃 지역이 3×3 평방인 경우, 선택된 샘플은 3×3 평방의 위, 아래, 왼쪽, 또는 오른쪽 가장자리에 있을 수도 있다. 따라서, 이웃 지역이 선택된 샘플의 중심에 있지 않는 경우, 전이 영역은 하나의 PU 외에 다른 PU 로 더 확장할 수도 있다.

일부 예들에서, 인터-예측 유닛 (304) 은 평활화 유닛 (608) 을 이용하여 전이 샘플 식별 동작 (2100) 을 수차례 수행할 수도 있다. 예를 들어, 평활화 유닛 (608) 은 이웃 지역들이 선택된 샘플들의 중심에 있는 경우 및 이웃 지역들이 선택된 영역들의 중심에 있지 않는 경우 전이 샘플 식별 동작 (2100) 을 수행할 수도 있다. 인터-예측 유닛 (304) 은 이웃 지역들이 선택된 샘플들의 중심이 있는 경우 또는 이웃 지역들이 선택된 샘플들의 중심에 있지 않는 경우에 예측 블록이 보다 적은 왜곡을 갖는지 여부를 평가할 수도 있다. 인터-예측 유닛 (304) 은 보다 적은 왜곡을 갖는 예측 블록을 선택할 수도 있다.

이웃 지역 내의 샘플들을 식별한 후에, 평활화 유닛 (608) 은 이웃 지역 내의 샘플들 중의 임의의 샘플이 선택된 샘플과는 상이한 PU 내에 있는지 여부를 결정한다 (2112). 이웃 지역 내의 샘플들 중의 임의의 샘플이 선택된 샘플과는 상이한 PU 내에 있는 경우 (2112의 "예"), 평활화 유닛 (608) 은 선택된 샘플이 전이 영역 내에 있는 것으로 식별한다 (2114). 그렇지 않고, 이웃 지역 내의 샘플들 중의 어느 샘플도 선택된 샘플과는 상이한 PU 내에 있지 않는 경우 (2112 의 "아니오"), 평활화 유닛 (608) 은 선택된 샘플이 전이 영역 내에 있는 것으로 식별하지 않는다 (2116). 어떠한 경우에도, 평활화 유닛 (608) 은 예측 블록 내에 잔여 샘플들이 있는지 여부를 다시 결정할 수도 있다 (2104).

예측 블록 내에 잔여 샘플들이 있는 경우, 평활화 유닛 (608) 은 예측 블록 내의 잔여 샘플들에 대해 단계들 (2106, 2108, 2110, 2112, 2114, 및 2116) 을 반복할 수도 있다. 예측 블록 내에 잔여 샘플들이 없는 경우 (2104 의 "아니오"), 평활화 유닛 (608) 은 전이 샘플 식별 동작 (2100) 을 종료한다.

도 20 은 평활화 유닛 (608) 의 다른 예시적인 동작 (2200) 을 도시하는 플로우차트이다. 평활화 유닛 (608) 이 동작 (2200) 을 시작한 후에, 평활화 유닛 (608) 은 CU 의 예측 블록의 제 1 전이 영역 내의 샘플들을 식별한다 (2202). 다양한 예들에서, 평활화 유닛 (608) 은 다양한 방식들로 제 1 전이 영역 내의 샘플들을 식별한다. 예를 들어, 평활화 유닛 (608) 은 예측 블록 내의 샘플들을 검사할 수도 있다. 샘플 유닛 (608) 이 주어진 샘플을 검사하는 경우, 평활화 유닛 (608) 은 이웃 지역 내의 샘플들이 주어진 샘플과는 상이한 CU 의 PU 와 연관되는지 여부를 결정할 수도 있다. 이러한 예에서, 이웃 지역은 다양한 크기들을 가질 수도 있다. 예를 들어, 이웃 지역은 3×3 평방일 수도 있다.

평활화 유닛 (608) 은 그 다음에 예측 블록의 제 2 전이 영역 내의 샘플들을 식별한다 (2204). 다양한 예들에서, 평활화 유닛 (608) 은 다양한 방식들로 제 2 전이 영역 내의 샘플들을 식별한다. 예를 들어, 평활화 유닛 (608) 은 예측 블록 내의 샘플들을 검사할 수도 있다. 이러한 예에서, 평활화 유닛 (608) 이 주어진 샘플을 검사하는 경우, 평활화 유닛 (608) 은 이웃 지역 내의 샘플들이 주어진 샘플과는 상이한 CU 의 PU 와 연관되는지 여부를 결정한다. 이러한 예에서, 평활화 유닛 (608) 은 제 2 전이 영역 내의 예측 블록의 샘플들을 식별할 수도 있으며, 여기서 샘플들을 포함하는 이웃 지역들이 CU 의 제 2 PU 와 연관된 샘플들을 포함하는 경우, CU 의 제 1 PU 와 연관된 샘플들은 제 2 전이 영역 내에 있다. 이러한 예에서, 샘플들을 포함하는 이웃 지역들이 제 1 PU 와 연관된 샘플들을 포함하는 경우, 제 2 PU 와 연관된 샘플들은 제 2 전이 영역 내에 있다. 이러한 예에서, 이웃 영역은 주어진 샘플을 포함하는 예측 블록의 영역에 있다. 이웃 지역의 크기는 제 1 전이 영역 내의 샘플들을 식별하는데 이용되는 이웃 지역들의 크기와는 상이할 수도 있다. 예를 들어, 제 1 전이 영역 내의 샘플들을 식별하는데 이용되는 이웃 지역의 크기는 3×3 일 수도 있고, 제 2 전이 영역 내의 샘플들을 식별하는데 이용되는 이웃 지역의 크기는 5×5 일 수도 있다.

평활화 유닛 (608) 은 그 다음에 제 1 전이 영역 내의 샘플들에 대해 제 1 평활화 동작을 수행한다 (2206). 평활화 유닛 (608) 은 제 2 전이 영역 내의 샘플들에 대해 제 2 평활화 동작을 수행한다 (2208). 제 2 평활화 동작은 제 1 평활화 동작과 상이할 수도 있다. 예를 들어, 제 1 평활화 동작 및 제 2 평활화 동작은 양자 모두 OBMC 기반 평활화 동작들일 수도 있다. 그러나, 이러한 예에서, OBMC 기반 평활화 동작들은 예측된 샘플들을 상이하게 혼합할 수도 있다. 예를 들어, OBMC 기반 평활화 동작은 상이한 PU 들로부터 예측들에 대한 상이한 가중치들을 이용할 수도 있다. 예를 들어, 이러한 예에서, 샘플이 CU 의 제 1 PU 와 연관되고 또한 제 1 전이 영역 내에 있는 경우, 평활화 유닛 (608) 은 제 1 PU 로부터 예측에 대한 가중치 3/4, 및 CU 의 제 2 PU 으로부터 예측에 대한 1/4 의 가중치를 이용할 수도 있다. 이러한 예에서, 샘플이 제 1 PU 와 연관되고, 또한 제 2 전이 영역 내에 있는 경우, 평활화 유닛 (608) 은 제 1 PU 로부터 예측에 대한 7/8 의 가중치, 및 제 2 PU 로부터 예측에 대한 1/8 의 가중치를 이용할 수도 있다. 다른 예에서, 평활화 동작들 중 하나의 평활화 동작은 OBMC 기반 평활화 동작일 수도 있고, 평활화 동작들 중 하나의 평활화 동작은 필터 기반 평활화 동작일 수도 있다. 또 다른 예에서, 제 1 평활화 동작 및 제 2 평활화 동작 양자 모두는 필터 기반 평활화 동작들일 수도 있다. 그러나, 이러한 예에서, 제 1 평활화 동작 및 제 2 평활화 동작에서 이용되는 필터들은 상이할 수도 있다.

이러한 방식으로, 평활화 유닛 (608) 은 상이한 방식들로 예측 블록의 상이한 부분들을 평활화할 수도 있다. 이는 보다 큰 코딩 효율 및/또는 보다 적은 양의 왜곡을 야기할 수도 있다.

도 21 은 다른 예시적인 전이 샘플 식별 동작 (2300) 을 도시하는 플로우차트이다. 평활화 유닛 (608) 은 전이 샘플 식별 동작 (2300) 을 수행하여 CU 의 예측 블록의 전이 영역 내의 샘플들을 식별할 수도 있다. 평활화 유닛 (608) 이 전이 샘플 식별 동작 (2300) 을 시작한 후에, 평활화 유닛 (608) 은 예측 블록 내에 임의의 잔여 블록들이 있는지 여부를 결정한다 (2302). 예측 블록 내에 하나 이상의 잔여 샘플들이 있는 경우 (2304 의 "예"), 평활화 유닛 (608) 은 잔여 샘플들 중 하나의 샘플을 선택한다 (2304). 평활화 유닛 (608) 이 샘플을 선택한 후에, 평활화 유닛 (608) 은 그 샘플을 예측 블록의 잔여 샘플인 것으로 여기지 않는다. 평활화 유닛 (608) 은 그 다음에 선택된 샘플과 연관된 CU 의 PU 를 식별한다 (2306).

다음으로, 평활화 유닛 (608) 은 선택된 샘플과 연관된 PU 와 연관된 이웃 지역 크기를 선택한다 (2308). 상이한 PU 들이 상이한 이웃 지역 크기들과 연관될 수도 있다. 예를 들어, CU 는 제 1 PU 및 제 2 PU 를 가질 수도 있다. 이러한 예에서, 제 1 PU 는 3×3 샘플들의 이웃 지역 크기와 연관될 수도 있고, 제 2 지역 PU 는 5×5 샘플들의 이웃 지역 크기와 연관될 수도 있다. 이러한 예에서, 선택된 샘플이 제 1 PU 와 연관되는 경우, 평활화 유닛 (608) 은 3×3 샘플들의 이웃 지역 크기를 선택한다. 이러한 예에서, 선택된 샘플이 제 2 PU 와 연관된는 경우, 평활화 유닛 (608) 은 5×5 샘플들의 이웃 지역 크기를 선택한다.

다양한 예들에서, PU 들은 다양한 방식들로 이웃 지역 크기들과 연관될 수도 있다. 예를 들어, 인코딩 유닛 (104) 및 디코딩 유닛 (106) 은 PU 들과 연관된 이웃 지역 크기들을 개별적으로 나타내는 데이터를 저장하고/하거나 수신할 수도 있다. 다른 예에서, 인코딩 유닛 (104) 및 디코딩 유닛 (106) 은 제 1 PU 와 연관된 이웃 지역 크기를 나타내는 데이터를 저장하고/하거나 수신할 수도 있다. 이러한 예에서, 인코딩 유닛 (104) 및 디코딩 유닛 (106) 은 제 1 PU 와 연관된 이웃 지역 크기로부터 제 2 PU 와 연관된 이웃 지역 크기를 도출할 수도 있다.

평활화 유닛 (608) 은 그 다음에 이웃 지역 내의 샘플들을 식별한다 (2310). 이웃 지역은 선택된 이웃 지역 크기를 가지고, 선택된 샘플을 포함하는 예측 블록의 영역이다. 위에서 논의된 예시적인 전이 샘플 식별 동작 (2100) 과 유사하게, 이웃 지역은 선택된 샘플의 중심에 있을 수도 있거나 선택된 샘플의 중심에 있지 않을 수도 있다.

이웃 지역 내의 샘플들을 식별한 후에, 평활화 유닛 (608) 은 이웃 지역 내의 샘플들 중의 임의의 샘플이 선택된 샘플과는 상이한 PU 와 연관되는지 여부를 결정한다 (2312). 이웃 지역 내의 샘플들 중의 임의의 샘플이 선택된 샘플과는 상이한 PU 와 연관되는 경우 (2312 의 "예"), 평활화 유닛 (608) 은 선택된 샘플이 전이 영역 내에 있는 것으로 식별한다 (2314). 그렇지 않고, 이웃 지역 내의 샘플들 중의 어느 샘플도 선택된 샘플과는 상이한 PU 와 연관되지 않은 경우 (2312 의 "아니오"), 평활화 유닛 (608) 은 선택된 샘플이 전이 영역 내에 있는 것으로 식별하지 않는다 (2316). 어떠한 경우에도, 평활화 유닛 (608) 은 예측 블록 내에 잔여 샘플들이 있는지 여부를 다시 결정할 수도 있다 (2302).

예측 블록 내에 잔여 샘플들이 있는 경우, 평활화 유닛 (608) 은 예측 블록 내의 잔여 샘플들에 대해 단계들 (2304, 2306, 2308, 2310, 2312, 2314, 및 2316) 을 반복할 수도 있다. 예측 블록 내에 잔여 샘플들이 없는 경우 (2302 의 "아니오"), 평활화 유닛 (608) 은 전이 샘플 식별 동작 (2300) 을 종료한다.

일부 사례들에서, 전이 샘플 식별 동작 (2300) 은 비디오 데이터의 프레임 내의 CU 에 대한 예측 블록을 생성하는 단계를 포함하는 방법을 구현하며, CU 는 제 1 PU 및 제 2 PU 를 갖는다. 방법은 또한 예측 블록 내의 제 1 샘플을 선택하는 단계 및 제 1 샘플이 제 1 PU 와 연관된다고 결정하는 단계를 포함한다. 방법은 또한, 컴퓨팅 디바이스에 의해, 제 1 PU 가 제 1 이웃 지역 크기와 연관된다고 결정함으로써 제 1 이웃 지역 크기를 선택하는 단계를 포함한다. 방법은 또한, 제 1 이웃 지역 크기를 갖는 이웃 지역이 제 1 샘플을 포함하고 제 2 PU 와 연관된 샘플도 포함하는 경우 제 1 샘플이 제 1 전이 영역 내에 있는 것으로 식별하는 단계를 포함한다. 방법은 또한 예측 블록 내의 제 2 샘플을 선택하는 단계, 제 2 샘플이 제 2 PU 와 연관된다고 결정하는 단계, 및 제 2 PU 가 제 2 이웃 지역 크기와 연관된다고 결정하는 단계를 포함한다. 제 2 이웃 지역 크기는 제 1 이웃 지역 크기와 상이하다. 방법은 또한, 제 2 이웃 지역 크기를 갖는 이웃 지역이 제 2 샘플을 포함하고 제 1 PU 와 연관된 샘플도 포함하는 경우 제 2 샘플이 제 1 전이 영역 내에 있는 것으로 식별하는 단계를 포함한다. 방법은 또한 제 1 전이 영역 내의 샘플들에 대해 제 1 평활화 동작을 수행하는 단계를 포함한다.

하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능 매체 상에 저장되거나 송신되고, 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은, 데이터 저장 매체들과 같은 유형의 매체, 또는 예를 들어, 통신 프로토콜에 따라, 한 곳에서 다른 곳으로 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체들에 대응하는 컴퓨터 판독가능 저장 매체들을 포함할 수도 있다. 이러한 방식으로, 컴퓨터 판독 가능한 매체들은 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체들 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체들은 이 개시물에 설명된 기법들의 구현을 위한 명령들, 코드, 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.

하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 기능들은 하드웨어 기반 프로세싱 유닛에 의해 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능 매체 상에 저장되거나 송신되고, 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은, 데이터 저장 매체들과 같은 유형의 매체, 또는 예를 들어, 통신 프로토콜에 따라, 한 곳에서 다른 곳으로 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체들에 대응하는 컴퓨터 판독가능 저장 매체들을 포함할 수도 있다. 이러한 방식으로, 컴퓨터 판독 가능한 매체들은 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체들 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체들은 이 개시물에 설명된 기법들의 구현을 위한 명령들, 코드, 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.

비제한적인 예로서, 이러한 컴퓨터 판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들, 플래시 메모리 또는 요구되는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 이용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수도 있다. 또한, 임의의 접속은 컴퓨터 판독가능 매체라고 적절히 칭해진다. 예를 들면, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 명령들이 송신되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 접속들, 반송파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않고, 대신에 비일시적, 유형의 저장 매체들에 대한 것임이 이해되어야 한다. 본원에서 이용되는 바와 같은 디스크 (disk) 및 디스크 (disc) 는 CD (compact disc), 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피 디스크, 및 블루레이 디스크를 포함하는데, 여기서 디스크 (disk) 는 보통 데이터를 자기적으로 재생하며, 반면 디스크 (disc) 는 레이저들을 이용하여 광학적으로 데이터를 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.

명령들은, 하나 이상의 디지털 신호 프로세서 (DSP) 들, 범용 마이크로프로세서들, 주문형 집적 회로 (ASIC) 들, 필드 프로그래머블 로직 어레이 (FPGA) 들, 또는 다른 등가의 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 그에 따라, 본원에서 이용되는 바와 같은 용어 "프로세서" 는 앞서 언급한 구조, 또는 본원에서 설명된 기법들을 구현하기에 적절한 임의의 다른 구조 중 임의의 것을 지칭할 수도 있다. 또한, 일부 양상들에서, 본원에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성되는 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공되거나 결합된 코덱으로 포함될 수도 있다. 또한, 기법들은 하나 이상의 회로들 또는 로직 요소들로 완전히 구현될 수 있다.

이 개시물의 기법들은 무선 핸드셋, 집적 회로 (integrated circuit; IC), 또는 IC 들의 세트 (예를 들어, 칩셋) 를 포함하여, 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 개시된 기법들을 수행하도록 구성되는 디바이스들의 기능적 양상들을 강조하기 위해 다양한 컴포넌트들, 모듈들, 또는 유닛들이 본 개시물에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하지는 않는다. 오히려, 상술한 바와 같이, 다양한 유닛들은, 적절한 소프트웨어 및/또는 펌웨어와 연계하여, 상술한 하나 이상의 프로세서들을 포함해, 코덱 하드웨어 유닛으로 결합되거나 상호동작가능한 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.

다양한 예들이 설명되었다. 이러한 예들 및 다른 예들은 다음의 청구항들에 의해 정의된 본 발명의 범위 내에 있다.

Claims (27)

1. 비디오 데이터를 코딩하는 방법으로서,
   상기 비디오 데이터의 프레임의 코딩 유닛 (coding unit; CU) 에 대한 예측 블록을 생성하는 단계로서, 상기 CU 는 제 1 예측 유닛 (prediction unit; PU) 및 제 2 PU 를 포함하는 복수의 PU 들을 갖고, 상기 예측 블록은 상기 CU 의 상기 제 1 PU 와 연관된 상기 예측 블록의 샘플들과 상기 CU 의 상기 제 2 PU 와 연관된 상기 예측 블록의 샘플들 사이의 경계에 전이 영역을 포함하며, 상기 제 2 PU 는 상기 제 1 PU 에 이웃하는, 상기 예측 블록을 생성하는 단계;
   컴퓨팅 디바이스에 의해, 상기 제 1 PU 의 크기에 기초하여 그리고 상기 CU 의 하나 이상의 상기 PU 들의 인터-예측 방향성들에 기초하여 중첩 블록 움직임 보상 (Overlapped-Block Motion Compensation; OBMC) 평활화 동작을 수행할지 여부를 결정하는 단계; 및
   상기 컴퓨팅 디바이스가 상기 OBMC 평활화 동작을 수행하도록 결정하는 경우, 상기 전이 영역 내에 있는 상기 예측 블록의 샘플들을 평활화하기 위해 상기 OBMC 평활화 동작을 수행하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
2. 제 1 항에 있어서,
   상기 컴퓨팅 디바이스는, 상기 예측 블록이 생성된 후에 상기 OBMC 평활화 동작을 수행할지 여부를 결정하는, 비디오 데이터를 코딩하는 방법.
3. 제 1 항에 있어서,
   제 1 평활화 동작으로서 상기 OBMC 평활화 동작을 수행하지 않도록 결정이 이루어지는 경우, 상기 컴퓨팅 디바이스에 의해, 상기 전이 영역 내의 샘플들에 대해 필터 기반 평활화 동작을 수행할지 여부를 결정하는 단계를 더 포함하며, 상기 OBMC 평활화 동작 및 상기 필터 기반 평활화 동작은 서로 상이한 상기 예측 블록의 버전들을 산출하는, 비디오 데이터를 코딩하는 방법.
4. 제 3 항에 있어서,
   제 1 커널이 상기 OBMC 평활화 동작을 구성하고, 제 2 커널이 상기 제 2 평활화 동작을 구성하는, 비디오 데이터를 코딩하는 방법.
5. 제 1 항에 있어서,
   상기 OBMC 평활화 동작을 수행하는 단계는, 상기 제 1 PU 와 연관되는 상기 전이 영역 내의 샘플들은 수정하고, 상기 제 2 PU 와 연관되는 상기 전이 영역 내의 샘플들은 수정하지 않는 것을 포함하는, 비디오 데이터를 코딩하는 방법.
6. 제 1 항에 있어서,
   상기 OBMC 평활화 동작을 수행하는 단계는, 상기 전이 영역 내의 상기 샘플들의 서브세트는 수정하고, 상기 서브세트 외의 상기 전이 영역의 샘플들은 수정하지 않는 것을 포함하는, 비디오 데이터를 코딩하는 방법.
7. 제 6 항에 있어서,
   상기 샘플들의 상기 서브세트를 결정하는 단계를 더 포함하고,
   상기 샘플들의 상기 서브세트를 결정하는 단계는,
   상기 제 1 PU 또는 상기 제 2 PU 의 크기; 및
   이웃하는 PU 에 대해 결정된 움직임 벡터 및 예측된 움직임 벡터의 진폭
   중 하나 이상에 기초하며,
   상기 예측된 움직임 벡터는,
   상기 이웃하는 예측 유닛에 대해 결정된 상기 움직임 벡터; 및
   참조 프레임 내에서 동일 위치에 배열된 예측 유닛에 대해 결정된 움직임 벡터;
   중 하나 이상으로부터 예측되는, 비디오 데이터를 코딩하는 방법.
8. 제 1 항에 있어서,
   상기 예측 블록을 생성하는 단계는, 상기 제 1 PU 의 움직임 정보 및 상기 제 2 PU 의 움직임 정보를 이용하여 상기 예측 블록을 생성하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
9. 제 1 항에 있어서,
   상기 OBMC 평활화 동작을 수행하는 단계는, 상기 예측 블록으로부터 도출된 잔여 데이터에 변환을 적용하기에 앞서, 상기 전이 영역 내의 상기 예측 블록의 샘플들을 평활화하기 위해 상기 OBMC 평활화 동작을 수행하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
10. 제 1 항에 있어서,
    상기 비디오 데이터를 코딩하는 것은 상기 비디오 데이터를 인코딩하는 것을 포함하고;
    상기 방법은 상기 CU 의 원래의 샘플 블록 및 상기 예측 블록을 이용하여 상기 CU 에 대한 잔여 데이터를 생성하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
11. 제 1 항에 있어서,
    상기 비디오 데이터를 코딩하는 것은 상기 비디오 데이터를 디코딩하는 것을 포함하고;
    상기 방법은 상기 CU 의 복원된 잔여 데이터 및 상기 예측 블록을 이용하여 상기 CU 에 대한 복원된 샘플 블록을 생성하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
12. 비디오 데이터를 코딩하는 컴퓨팅 디바이스로서,
    상기 컴퓨팅 디바이스는,
    상기 비디오 데이터를 저장하는 저장 매체;
    상기 비디오 데이터의 프레임의 코딩 유닛 (coding unit; CU) 에 대한 예측 블록을 생성하는 것으로서, 상기 CU 는 제 1 예측 유닛 (prediction unit; PU) 및 제 2 PU 를 포함하는 복수의 PU 들을 갖고, 상기 예측 블록은 상기 CU 의 상기 제 1 PU 와 연관된 상기 예측 블록의 샘플들과 상기 CU 의 상기 제 2 PU 와 연관된 상기 예측 블록의 샘플들 사이의 경계에 전이 영역을 포함하며, 상기 제 2 PU 는 상기 제 1 PU 에 이웃하는, 상기 예측 블록을 생성하고;
    제 1 예측 유닛 (prediction unit; PU) 의 크기에 기초하여 그리고 상기 CU 의 하나 이상의 상기 PU 들의 인터-예측 방향성들에 기초하여 중첩 블록 움직임 보상 (Overlapped-Block Motion Compensation; OBMC) 평활화 동작을 수행할지 여부를 결정하고;
    상기 컴퓨팅 디바이스가 상기 OBMC 평활화 동작을 수행하도록 결정하는 경우, 상기 전이 영역 내의 상기 예측 블록의 샘플들을 평활화하기 위해 상기 OBMC 평활화 동작을 수행하도록 구성되는
    프로세서; 및
    상기 비디오 데이터의 복원된 샘플 블록들을 저장하는 참조 프레임 저장부를 포함하는, 비디오 데이터를 코딩하는 컴퓨팅 디바이스.
13. 제 12 항에 있어서,
    상기 프로세서는, 상기 예측 블록이 생성된 후에 상기 OBMC 평활화 동작을 수행할지 여부를 결정하도록 구성되는, 비디오 데이터를 코딩하는 컴퓨팅 디바이스.
14. 제 12 항에 있어서,
    상기 프로세서는,
    제 1 평활화 동작으로서 상기 OBMC 평활화 동작을 수행하지 않도록 결정이 이루어지는 경우 상기 전이 영역 내의 샘플들에 대해 필터 기반 평활화 동작을 수행할지 여부를 결정하도록 구성되며, 상기 OBMC 평활화 동작 및 상기 필터 기반 평활화 동작은 서로 상이한 상기 예측 블록의 버전들을 산출하는, 비디오 데이터를 코딩하는 컴퓨팅 디바이스.
15. 제 14 항에 있어서,
    제 1 커널이 상기 OBMC 평활화 동작을 구성하고, 제 2 커널이 상기 제 2 평활화 동작을 구성하는, 비디오 데이터를 코딩하는 컴퓨팅 디바이스.
16. 제 12 항에 있어서,
    상기 프로세서는, 상기 제 1 PU 내에 있는 상기 전이 영역 내의 샘플들은 수정하고, 상기 제 2 PU 내에 있는 상기 전이 영역 내의 샘플들은 수정하지 않도록 구성되는, 비디오 데이터를 코딩하는 컴퓨팅 디바이스.
17. 제 12 항에 있어서,
    상기 프로세서는, 상기 전이 영역 내의 상기 샘플들의 서브세트는 수정하고, 상기 서브세트 외의 상기 전이 영역 내의 샘플들은 수정하지 않도록 구성되는, 비디오 데이터를 코딩하는 컴퓨팅 디바이스.
18. 제 17 항에 있어서,
    상기 프로세서는 상기 샘플들의 상기 서브세트를 결정하도록 구성되며,
    상기 샘플들의 상기 서브세트는,
    상기 제 1 PU 또는 상기 제 2 PU 의 크기; 및
    이웃하는 PU 에 대해 결정된 움직임 벡터 및 예측된 움직임 벡터의 진폭
    중 하나 이상에 기초하고,
    상기 예측된 움직임 벡터는,
    상기 이웃하는 예측 유닛에 대해 결정된 상기 움직임 벡터; 및
    참조 프레임 내에서 동일 위치에 배열된 예측 유닛에 대해 결정된 움직임 벡터;
    중 하나 이상으로부터 예측되는, 비디오 데이터를 코딩하는 컴퓨팅 디바이스.
19. 제 12 항에 있어서,
    상기 컴퓨팅 디바이스는, 상기 제 1 PU 의 움직임 정보 및 상기 제 2 PU 의 움직임 정보를 이용하여 상기 예측 블록을 생성하는, 비디오 데이터를 코딩하는 컴퓨팅 디바이스.
20. 제 12 항에 있어서,
    상기 컴퓨팅 디바이스는, 상기 예측 블록으로부터 도출된 잔여 데이터에 변환을 적용하기에 앞서, 상기 전이 영역 내의 상기 예측 블록의 상기 샘플들을 평활화하기 위해 상기 OBMC 평활화 동작을 수행하는, 비디오 데이터를 코딩하는 컴퓨팅 디바이스.
21. 제 12 항에 있어서,
    상기 컴퓨팅 디바이스는 상기 비디오 데이터를 인코딩하고;
    상기 프로세서는 상기 CU 의 원래의 샘플 블록 및 상기 예측 블록을 이용하여 상기 CU 에 대한 잔여 데이터를 생성하도록 더 구성되는, 비디오 데이터를 코딩하는 컴퓨팅 디바이스.
22. 제 12 항에 있어서,
    상기 컴퓨팅 디바이스는 상기 비디오 데이터를 디코딩하고;
    상기 프로세서는 상기 CU 의 복원된 잔여 데이터 및 상기 예측 블록을 이용하여 상기 CU 에 대한 복원된 샘플 블록을 생성하도록 더 구성되는, 비디오 데이터를 코딩하는 컴퓨팅 디바이스.
23. 비디오 데이터를 코딩하는 컴퓨팅 디바이스로서,
    상기 컴퓨팅 디바이스는,
    상기 비디오 데이터의 프레임의 코딩 유닛 (coding unit; CU) 에 대한 예측 블록을 생성하기 위한 수단으로서, 상기 CU 는 제 1 예측 유닛 (prediction unit; PU) 및 제 2 PU 를 포함하는 복수의 PU 들을 갖고, 상기 예측 블록은 상기 CU 의 상기 제 1 PU 와 연관된 상기 예측 블록의 샘플들과 상기 CU 의 상기 제 2 PU 와 연관된 상기 예측 블록의 샘플들 사이의 경계에 전이 영역을 포함하며, 상기 제 2 PU 는 상기 제 1 PU 에 이웃하는, 상기 예측 블록을 생성하기 위한 수단;
    상기 제 1 PU 의 크기에 기초하여 그리고 상기 CU 의 하나 이상의 상기 PU 들의 인터-예측 방향성들에 기초하여 중첩 블록 움직임 보상 (Overlapped-Block Motion Compensation; OBMC) 평활화 동작을 수행할지 여부를 결정하기 위한 수단; 및
    상기 컴퓨팅 디바이스가 상기 OBMC 평활화 동작을 수행하도록 결정하는 경우, 상기 전이 영역 내에 있는 상기 예측 블록의 샘플들을 평활화하기 위해 상기 OBMC 평활화 동작을 수행하기 위한 수단을 포함하는, 비디오 데이터를 코딩하는 컴퓨팅 디바이스.
24. 저장된 명령들을 갖는 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은 하나 이상의 프로세서들로 하여금,
    비디오 데이터의 프레임의 코딩 유닛 (coding unit; CU) 에 대한 예측 블록을 생성하는 것으로서, 상기 CU 는 제 1 예측 유닛 (prediction unit; PU) 및 제 2 PU 를 포함하는 복수의 PU 들을 갖고, 상기 예측 블록은 상기 CU 의 상기 제 1 PU 와 연관된 상기 예측 블록의 샘플들과 상기 CU 의 상기 제 2 PU 와 연관된 상기 예측 블록의 샘플들 사이의 경계에 전이 영역을 포함하며, 상기 제 2 PU 는 상기 제 1 PU 에 이웃하는, 상기 예측 블록을 생성하는 것;
    상기 제 1 PU 의 크기에 기초하여 그리고 상기 CU 의 하나 이상의 상기 PU 들의 인터-예측 방향성들에 기초하여, 중첩 블록 움직임 보상 (Overlapped-Block Motion Compensation; OBMC) 평활화 동작을 수행할지 여부를 결정하는 것; 및
    상기 하나 이상의 프로세서들이 상기 OBMC 평활화 동작을 수행하도록 결정하는 경우, 상기 전이 영역 내에 있는 상기 예측 블록의 샘플들을 평활화하기 위해 상기 OBMC 평활화 동작을 수행하는 것을 하게 하는, 컴퓨터 판독가능 저장 매체.
25. 삭제
26. 삭제
27. 삭제

Images