KR20220052991A - 스위칭가능한 보간 필터들 - Google Patents

Abstract

비디오 압축 방식에서 압축 효율을 개선하기 위한 방법 및 장치는 스위칭가능한 보간 필터들의 사용을 허용한다. 보간 필터들은 비디오 블록들의 다수의 분할들에 대해 사용되어, 더 양호한 모션 보상된 예측 및 개선된 비디오 코딩 효율을 허용한다. 하나의 실시예에서, 보간 필터 지수는 모션 정보 후보 파라미터들로부터 블록의 삼각형 분할들에 대해 도출되어, 각각의 단방향 모션 보상이 상이한 값의 보간 필터 지수를 사용할 수 있다. 다른 실시예에서, 보간 필터 지수는 비디오 분할들의 형상 또는 영역과 같은 특성들의 함수이다.

Description

스위칭가능한 보간 필터들

본 실시예들 중 적어도 하나는 일반적으로 비디오 인코딩 또는 디코딩을 위한 방법 또는 장치에 관한 것이다.

높은 압축 효율을 달성하기 위해, 이미지 및 비디오 코딩 방식들은 일반적으로 공간 및/또는 모션 벡터 예측을 포함하는 예측, 및 비디오 콘텐츠 내의 공간적 및 시간적 중복성을 활용하기 위한 변환들을 채용한다. 일반적으로, 인트라(intra) 또는 인터(inter) 예측이 프레임 내 또는 프레임 간 상관관계를 활용하기 위해 사용되고, 이어서, 예측 에러들 또는 예측 잔차(residual)들로서 종종 일컬어지는, 원본 이미지와 예측된 이미지 사이의 차이들이 변환, 양자화, 및 엔트로피 코딩된다. 비디오를 재구성하기 위해, 압축 데이터는 엔트로피 코딩, 양자화, 변환, 및 예측에 대응하는 역 프로세스들에 의해 디코딩된다. 코딩 및 디코딩의 프로세스에서 다수의 코딩 도구들이 사용될 수 있다.

전통적인 비디오 코딩 표준들에서, 블록이 인터 코딩될 때, 모션 벡터들이 직접 코딩되는 것이 아니라 모션 벡터(MV)와 모션 벡터 예측 (MVP) 사이의 모션 벡터 차이(MVD)가 코딩된다. AMVR 도구는 MVD의 정밀도(IMV)(및 또한 일부 구현예들에서 모션 벡터(MV)의 정밀도)를 시그널링함으로써 MVD를 코딩하기 위한 비트들의 수를 감소시키는 것을 허용한다. 전형적인 IMV 값들은 예를 들어 FULL_PEL, HALF_PEL, 또는 QUARTER_PEL이다. 예를 들어, 다기능 비디오 코딩 표준에서, IMV는 신택스 요소 "amvr_precision_idx"로부터 도출된다.

종래 기술의 문제점들 및 단점들은 인코딩 및 디코딩에서의 블록 형상 적응형 인트라 예측 방향들에 관련된, 본 명세서에 기술된 일반적인 양태들에 의해 해결될 수 있다.

제1 양태에 따르면, 방법이 제공된다. 방법은, 보간 필터에 대응하는 필터 지수를 획득하는 단계; 상기 대응하는 필터를 사용하여 적어도 하나의 비디오 블록의 예측을 필터링하는 단계; 및 상기 필터링된 예측을 사용하여 상기 적어도 하나의 비디오 블록을 인코딩하는 단계를 포함한다.

제2 양태에 따르면, 방법이 제공된다. 방법은, 보간 필터에 대응하는 필터 지수를 획득하는 단계; 상기 대응하는 필터를 사용하여 적어도 하나의 비디오 블록의 예측을 필터링하는 단계; 및 상기 필터링된 예측을 사용하여 상기 적어도 하나의 비디오 블록을 디코딩하는 단계를 포함한다.

다른 양태에 따르면, 장치가 제공된다. 장치는 프로세서를 포함한다. 프로세서는 전술된 방법들 중 임의의 방법을 실행함으로써 비디오의 블록을 인코딩하거나 비트스트림을 디코딩하도록 구성될 수 있다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 디코딩 실시예들 중 임의의 것에 따른 장치; 및 (i) 신호를 수신하도록 구성된 안테나 - 신호는 비디오 블록을 포함함 -, (ii) 수신된 신호를 비디오 블록을 포함하는 주파수들의 대역으로 제한하도록 구성된 대역 제한기(band limiter), 또는 (iii) 비디오 블록을 나타내는 출력을 디스플레이하도록 구성된 디스플레이 중 적어도 하나를 포함하는 디바이스가 제공된다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 기술된 인코딩 실시예들 또는 변형예들 중 임의의 것에 따라 생성된 데이터 콘텐츠를 포함하는 비일시적 컴퓨터 판독가능 매체가 제공된다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 기술된 인코딩 실시예들 또는 변형예들 중 임의의 것에 따라 생성된 비디오 데이터를 포함하는 신호가 제공된다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 비트스트림은 기술된 인코딩 실시예들 또는 변형예들 중 임의의 것에 따라 생성된 데이터 콘텐츠를 포함하도록 포맷화된다.

적어도 하나의 실시예의 다른 일반적인 양태에 따르면, 명령어들을 포함하는 컴퓨터 프로그램 제품이 제공되며, 명령어들은 프로그램이 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 기술된 디코딩 실시예들 또는 변형예들 중 임의의 것을 수행하게 한다.

일반적인 양태들의 이들 및 다른 양태들, 특징들 및 이점들은 첨부된 도면들과 관련하여 읽을 예시적인 실시예들의 다음의 상세한 설명으로부터 명백해질 것이다.

도 1은 하나의 비디오 압축 방식에서 제안된 보간 필터들의 예를 도시한다.
도 2는 비디오 압축 방식에서의 모션 보상 필터링 도출의 예시적인 흐름도를 도시한다.
도 3은 삼각형 분할(triangle partition) 기반 인터 예측의 예를 도시한다.
도 4는 비대각선(non-diagonal) 삼각형 분할 및 비대칭 분할의 예를 도시한다.
도 5는 기하학적 분할의 예를 도시한다.
도 6은 IF 지수의 도출 및 사용의 예를 도시한다.
도 7은 IF 지수의 도출 및 사용의 다른 예를 도시한다.
도 8은 모션 정보를 위한 공동-위치된(co-located) 저장 버퍼의 하나의 실시예를 도시한다.
도 9는 삼각형 분할 모드에 대한 단방향 예측(unidirectional prediction) 모션 벡터 선택의 예(좌측), 및 대각선 방향의 샘플들에 대한 가중 인자들(우측)을 도시한다.
도 10은 기술된 실시예들이 구현될 수 있는 전형적인 표준의 일반적 비디오 압축 방식을 도시한다.
도 11은 기술된 실시예들이 구현될 수 있는 전형적인 표준의 일반적 비디오 압축해제 방식을 도시한다.
도 12는 본 명세서에 기술된 일반적인 양태들을 사용하는, 이분 분할(bi-partition) 및/또는 양방향 예측(bi-prediction)에 대한 IF 지수 정보의 하나의 제안된 도출 사용 및 저장을 도시한다.
도 13은 본 명세서에 기술된 일반적인 양태들을 사용하는, 모션 정보 버퍼에서의 IF 지수의 저장의 예를 도시한다.
도 14는 기준 픽처(reference picture) 버퍼의 모션 정보에 저장된 값으로부터의 IF 도출의 예를 도시한다.
도 15는 본 명세서에 기술된 일반적인 양태들을 사용하는 인코딩 방법의 하나의 실시예를 도시한다.
도 16은 본 명세서에 기술된 일반적인 양태들을 사용하는 디코딩 방법의 하나의 실시예를 도시한다.
도 17은 본 명세서에 기술된 일반적인 양태들을 사용하는 인코딩 또는 디코딩하기 위한 장치의 하나의 실시예를 도시한다.
도 18은 본 명세서에 기술된 일반적인 양태들을 사용하는 인코딩 또는 디코딩하기 위한 시스템의 하나의 실시예를 도시한다.

다음의 일반적인 양태들은 비디오 압축 분야에 있다.

스위칭가능한 보간 필터(IF)의 원리는 각각의 블록 예측에 대해 사용할 IF(IF-idx)를 선택함으로써 모션 보상 예측을 개선하는 것이다. IF들은 전형적으로 평활화 특성들에 따라 상이할 수 있다(도 1).

IF 지수는 코딩 단위(CU) 당 선택될 수 있고, 코딩된 모션 벡터 차이(MVD)의 해상도를 나타내는 코딩된 "imv" 지수로부터 도출될 수 있다: if IMV=HALF_PEL, then IF-idx=1 is selected, else IF-idx=0.

병합(Merge)의 경우, IF 지수는 명시적으로 코딩되지 않고, 병합 후보(들)로부터 도출된다.

종래 연구에서, IF-지수 값은 2개의 필터들 중 하나일 수 있지만(IF-0 또는 IF-1}, IF-1은 HALF_PEL 모션 벡터 값들만을 위해 사용될 수 있다. 이어서, IF-지수가 0과 동일하지 않고 MV 수평(또는 수직) 성분이 HALF_PEL이 아니면, IF-0이 사용된다(도 2).

하기에서, 본 발명자들은 단순화를 위해 N=2개의 IF 필터들(IF=0 및 IF=1)을 갖는 것을 고려할 것이지만, 발명은 N>2(IF=0, … IF=(N-1))개의 경우로 쉽게 확장될 수 있다. 이 경우, 다음에서 IF=0 및 IF=1에 대응하는 IF=0 및 IF≠0의 경우를 구분한다. 또한, 필터 IF=0를 "디폴트 필터"로 칭할 것이다.

삼각형 예측 유닛

종래 연구들에서, 병합 모드에서, 삼각형 인터 예측은 2개의 삼각형 분할들로 이루어진 블록 예측을 구축하는 것을 허용한다(도 3). CU에서 각각의 삼각형 분할은 그 자체의 모션을 사용하여 인터 예측된다; 각각의 분할에 대해 단방향 예측(uni-prediction)(단방향)만 허용되는데, 즉 각각의 분할은 하나의 모션 벡터 및 하나의 기준 지수를 갖는다. 단방향 예측 모션 제약은, 종래의 양방향 예측과 동일하게, 각각의 CU에 대해 단지 2개의 모션 보상된 예측들만이 필요하도록 보장하기 위해 적용된다. 현재 CU에 대해 삼각형 분할 모드가 사용되는 경우, 삼각형 분할의 방향(대각선 또는 반 대각선(anti-diagonal))을 나타내는 플래그(split-dir), 및 2개의 병합 지수들(cand0 및 cand1, 각각의 분할마다 하나씩)이 추가로 시그널링된다.

비대칭의 확장된 삼각형 또는 기하구조 분할 예측 유닛

삼각형-분할의 일반화로서, 일반적인 양태들은 또한, 예를 들어 비대각선 삼각형 분할(종래 연구에서 제안되고 도 4의 좌측에 도시된 바와 같음), 비대칭 분할(종래 연구 또는 HEVC에서 제안되고 도 4 내지 도 4의 우측에 도시된 바와 같음), 또는 기하학적 분할(종래 연구에서 제안되고 도 5에 도시된 바와 같음)과 같이, 적어도 2개의 예측 유닛(prediction unit, PU)들로 분할된 CU에 대해 적용된다.

도 6은 AMVR 및 병합 모드들의 경우에 IF-지수의 도출을 도시한다. 코딩된 MVD의 정밀도(IMV) 가 명시적으로 코딩되는 경우, IF-지수는 IMV의 값으로부터 도출된다. 양방향 예측(interDir=3)의 경우, 두 모션 보상들 모두에 동일한 IF-지수 값이 적용된다.

도 7은 병합 모드의 경우에 "IF-지수"의 도출을 도시한다. 코딩 후보들의 파라미터들의 목록이 이웃하는 재구성 CU들로부터 구축된다. 후보 지수가 명시적으로 코딩되고, 사용할 후보 파라미터를 선택하는 것을 허용한다. 후보 파라미터들은 전형적으로 MV, 기준 및 IF-지수를 포함할 수 있다. 비-병합 경우들에 대해서는, CU가 양방향 예측되는 경우, IF-지수의 하나의 단일 값이 사용된다. 일부 경우들에서(예컨대, 삼각형, 아핀(affine)...), IF-지수는 디폴트(IF=0)로 강제된다.

각각의 CU에 대해, IF-지수의 값은 전형적으로 이웃 후보 목록들을 구축하기 위해 추가로 사용될 수 있도록 4x4 해상도에서 공동-위치된 저장 버퍼에 저장된다(도 8). 메모리 저장 부담을 피하기 위해, 하나의 단일 IF-지수가 저장된다. 이러한 저장은 구축 후보들의 파라미터들 목록 단계에서, 병합 모드에서 코딩된 후속 CU들에 대한 IF-지수를 도출하는 것을 가능하게 한다. 이어서, 다른 연구들에서, 양방향 예측의 경우, 저장된 값은 IF=최소(IF0,IF1)이며, 여기서 IF0 및 IF1은 기준 목록-0 및 기준 목록-1에 대한 IF-지수의 값들이다.

문제-1: 삼각형은 IF-0만 사용한다

삼각형 코딩의 경우, 단방향 예측 후보 목록은 최대 6개의 단방향 예측 후보들을 갖는다. 이 목록은 확장된 병합 예측 프로세스에 따라 구성된 병합 후보 목록으로부터 직접 도출된다. n은 삼각형 단방향 예측 후보 목록에서 단방향 예측 모션의 지수로서 나타낸다. n번째 확장된 병합 후보의 LX 모션 벡터는 - 여기서 X는 n의 패리티와 동일함 - 삼각형 분할 모드에 대한 n번째 단방향 예측 모션 벡터로서 사용된다. 이러한 모션 벡터들은 도 9에서 "x"로 표시된다. n번째 확장된 병합 후보의 대응하는 LX 모션 벡터가 존재하지 않는 경우, 동일한 후보의 L(1-X) 모션 벡터가 삼각형 분할 모드에 대한 단방향 예측 모션 벡터로서 대신 사용된다.

PU 예측 블록의 샘플들은 주로 2개의 가중치 단방향 예측들로 구성된 대각선 부분의 샘플들(블렌딩)을 제외하고 단방향 예측들로 구성된다. 이어서, 삼각형 모드의 경우에 IF-지수에 관한 양방향 예측 규칙들을 사용하여 역효과가 날 수 있다.

문제-2:

양방향 예측의 경우, IF-지수는 2개의 단방향 예측들에 대해 공유된다. 이어서, 하나의 MV가 HALF_PEL이고 다른 하나는 그렇지 않고 IF가 1인 경우 역효과가 날 수 있다.

영향을 받는 코덱 모듈들은 도 10의 인코더 모션 보상(170) 및 기준 픽처 버퍼(모션-정보)(180) 및 도 11의 대응하는 디코더 모션 보상(275) 및 기준 픽처 버퍼(모션-정보)(280)이다.

실시예-1:

모션 보상 프로세스가 다양한 보간 필터들을 선택할 수 있고, CU 디코딩이 2개의 상이한 MV들 및/또는 기준 픽처들(예컨대, 양방향 예측 또는 삼각형 또는 기하학)로 2개의 모션 보상을 수행하는 것을 의미하는 경우, 상이할 수 있는 IF-지수(IF-0 및 IF-1)에 대한 값을 적용할 수 있다.

실시예-2:

(실시예-1) + CU 디코딩 모드가 "삼각형"인 경우, 각각의 삼각형 분할에 대한 IF-지수의 값은 각각의 모션 정보 후보 파라미터들로부터 도출되어, 각각의 단방향 모션 보상이 IF-지수의 상이한 값을 사용할 수 있다(도 12).

실시예-3:

(실시예-1 또는 실시예-2), 여기서 IF 지수의 하나의 단일 값은 모션 정보 버퍼에 저장되고 최소(IF-0, IF-1)(도 12) 또는 최대(IF-0, IF-1)로서 계산된다.

변형예에서, IF-지수의 단일 값이 2개의 분할들 형상들의 함수이다.

a) 함수는 2개의 분할들 사이의 상대 면적 비에 따른다. 예를 들어, 영역-0 > 영역-1인 경우, IF-지수 = IF-0이다.

b) 또는 함수는 2개의 영역들 위치들에 따른다. 예를 들어, 영역-1이 영역-0 미만인 경우(예컨대, 도 6의 3개의 하단-우측 분할들), IF-지수 = IF-1이다. 실제로, 이 함수는 디코딩할 후속 CU들이 현재 CU 아래에 있는 경우에(대부분) 잘 적응될 것이다. 다른 예에서, 영역-1이 영역-0 우측에 있는 경우(예컨대, 도 6의 3개의 상단-우측 분할들), IF-지수 = IF-1이다. 실제로, 이 함수는 디코딩할 후속 CU들이 현재 CU 우측에 있는 경우에(대부분) 잘 적응될 것이다.

실시예-4:

모션 정보 버퍼로의 IF 지수 값들의 스패닝(spanning)은 MV 및 ref-idx 파라미터들의 스패닝에 대해 이루어진다. 이분 분할 영역이 완전히 중첩(예컨대, 삼각형 또는 기하학적 분할)되지 않는 경우, 저장된 IF-지수의 값은 모션 정보 버퍼 해상도(예컨대, 8x8)에서 단방향 모션 보상 영역에 대응한다.

일부 PU 샘플들이 하나 초과의 단방향 모션 보상으로 계산된 모션 정보 버퍼 영역들에서는, 스팬 IF 지수 값은 최소(IF-0, IF-1) 또는 최대(IF-0, IF-1)과 동일하다.

변형예에서, 그리고 실시예 3에서와 유사하게, IF-지수의 스패닝된 값은 2개-분할들 형상들의 상대적인 부분의 함수이다(도 13).

실시예-5:

(실시예-1 또는 실시예-2)는 이분 분할 영역들이 완전히 중첩되지 않는 경우에만 적용된다(예컨대, 삼각형 또는 기하학적 PU 분할에 적용되지만, 고전적 양방향 예측을 배제함).

그 이유는 (모든) 예측 샘플들이 함께 평균화될 경우, 스위칭가능한 보간 필터의 이점이 이분 분할 가중치에 의해 감소되기 때문이다.

실시예-6:

변형예에서, IF-지수의 값은 기준 픽처, 예를 들어, 위치(현재-CU + MV)에서의 기준 픽처의 모션 정보 버퍼로부터 검색된다(도 14).

변형예에서, IF의 값은 위치(현재-CU + MV)가 주어진 제한 영역(전형적으로 현재 CU의 CTU) 내부에 있는 경우에만 검색된다.

실시예-7:

일반화된 양방향 예측(GBI 또는 양방향 예측 가중 평균(BPWA) 또는 CU 수준 가중치를 이용한 양방향 예측(BCW)이라고도 함)의 경우, 양방향 예측 가중치는 2개의 단일 예측들을 평균화하기 위해 동일하지 않은 가중치들(w0,w1)을 사용할 수 있다.

bi-pred(x) = w0.pred0(x) + w1.pred1(x)

(w0;w1)의 값들에 따른 함수로 모션 보상 및/또는 모션 정보 버퍼에의 저장을 위한 If-지수 값을 도출하는 것이 제안된다. 예를 들어,

a) if w0 > w1, then IF = IF0, else if w1 > w0 then IF = IF1, else IF=min(IF0,IF1)

b) 또는 if w0 = w1, then IF = 0

본 명세서에 기술된 일반적인 양태들 하에서의 방법(1500)의 하나의 실시예가 도 15에 도시되어 있다. 방법은 시작 블록(1501)에서 시작하고, 제어는 보간 필터에 대응하는 필터 지수를 획득하기 위해 블록(1510)으로 진행한다. 제어는 상기 대응하는 필터를 사용하여 적어도 하나의 비디오 블록의 예측을 필터링하기 위해 블록(1510)으로부터 블록(1520)으로 진행한다. 제어는 상기 필터링된 예측을 사용하여 상기 적어도 하나의 비디오 블록을 인코딩하기 위해 블록(1520)으로부터 블록(1530)으로 진행한다.

본 명세서에 기술된 일반적인 양태들 하에서의 방법(1600)의 하나의 실시예가 도 16에 도시되어 있다. 방법은 시작 블록(1601)에서 시작하고, 제어는 보간 필터에 대응하는 필터 지수를 획득하기 위해 블록(1610)으로 진행한다. 제어는 상기 대응하는 필터를 사용하여 적어도 하나의 비디오 블록의 예측을 필터링하기 위해 블록(1610)으로부터 블록(1620)으로 진행한다. 제어는 상기 필터링된 예측을 사용하여 상기 적어도 하나의 비디오 블록을 디코딩하기 위해 블록(1620)으로부터 블록(1630)으로 진행한다.

도 17은 보간 필터들을 사용하여 비디오를 압축, 인코딩 또는 디코딩하기 위한 장치(1700)의 하나의 실시예를 도시한다. 장치는 프로세서(1710)를 포함하고 적어도 하나의 포트를 통해 메모리(1720)에 상호 연결될 수 있다. 프로세서(1710) 및 메모리(1720) 둘 모두는 또한 외부 연결들에 대한 하나 이상의 추가의 상호 연결들을 가질 수 있다.

프로세서(1710)는 또한 비트스트림에 정보를 삽입하거나 수신하고, 보간 필터들을 사용하여 압축, 인코딩 또는 디코딩하도록 구성된다.

본 출원은 도구들, 특징부들, 실시예들, 모델들, 접근법들 등을 포함하는 다양한 양태들을 기술한다. 이러한 양태들 중 많은 양태들이 구체적으로 기술되며, 적어도 개별적인 특성들을 보여주기 위해, 제한적으로 들릴 수 있는 방식으로 기술되는 경우가 종종 있다. 그러나, 이는 설명의 명확성을 위한 것이며, 이들 양태들의 응용 또는 범위를 제한하지 않는다. 실제로, 상이한 모든 양태들이 조합되고 상호 교환되어 추가의 양태들을 제공할 수 있다. 더 나아가, 양태들은 또한 이전 출원들에 기술된 양태들과 조합되고 상호 교환될 수 있다.

본 출원에서 기술되고 고려되는 양태들은 많은 상이한 형태들로 구현될 수 있다. 도 10, 도 11 및 도 18은 일부 실시예들을 제공하지만, 다른 실시예들이 고려되고, 도 10, 도 11 및 도 18의 논의는 구현예들의 폭을 제한하지 않는다. 양태들 중 적어도 하나는 일반적으로 비디오 인코딩 및 디코딩에 관한 것이고, 적어도 하나의 다른 양태는 일반적으로 생성되거나 인코딩된 비트스트림을 전송하는 것에 관한 것이다. 이들 및 다른 양태들은, 방법, 장치, 기술된 방법들 중 임의의 것에 따라 비디오 데이터를 인코딩 또는 디코딩하기 위한 명령어들이 저장된 컴퓨터 판독가능 저장 매체, 및/또는 기술된 방법들 중 임의의 것에 따라 생성된 비트스트림이 저장된 컴퓨터 판독가능 저장 매체로서 구현될 수 있다.

본 출원에서, "재구성된"및 "디코딩된"이라는 용어들은 상호 교환적으로 사용될 수 있으며, "픽셀" 및 "샘플"이라는 용어들은 상호 교환적으로 사용될 수 있고, "이미지", "픽처" 및 "프레임"이라는 용어들은 상호 교환적으로 사용될 수 있다. 반드시 그렇지는 않지만, 일반적으로 "재구성된"이라는 용어는 인코더 측에서 사용되는 반면, "디코딩된"은 디코더 측에서 사용된다.

다양한 방법들이 본 명세서에 기술되고, 각각의 방법은 기술된 방법을 달성하기 위한 하나 이상의 단계들 또는 동작들을 포함한다. 방법의 적절한 동작을 위해 단계들 또는 액션들의 특정 순서가 요구되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 사용은 수정되거나 조합될 수 있다.

본 출원에서 기술된 다양한 방법들 및 다른 양태들은 도 10 및 도 11에 도시된 바와 같이 비디오 인코더(100) 및 디코더(200)의 모듈들, 예를 들어, 인트라 예측, 엔트로피 코딩, 및/또는 디코딩 모듈들(160, 360, 145, 330)을 수정하는 데 사용될 수 있다. 더 나아가, 본 양태들은 VVC 또는 HEVC에 제한되지 않으며, 예를 들어, 기존에 있거나 미래에 개발되거나 여부에 관계없이 다른 표준들 및 권장 사항들, 그리고 임의의 이러한 표준들 및 권장 사항들(VVC 및 HEVC 포함)의 확장들에 적용될 수 있다. 달리 명시되지 않거나 기술적으로 배제되지 않는 한, 본 출원에 기술된 양태들은 개별적으로 또는 조합하여 사용될 수 있다.

본 출원에서 다양한 수치 값들이 사용된다. 특정 값들은 예시적인 목적들을 위한 것이며, 기술된 양태들은 이러한 특정 값들로 제한되지 않는다.

도 10은 인코더(100)를 도시한다. 이러한 인코더(100)의 변형들이 고려되지만, 인코더(100)는 모든 예상되는 변형들을 기술하지 않고 명확성을 위해 아래에서 기술된다.

인코딩되기 전에, 비디오 시퀀스는 사전 인코딩 프로세싱(101), 예를 들어 입력 색상 픽처에 색상 변환을 적용하거나(예컨대, RGB 4:4:4로부터 YCbCr 4:2:0으로의 변환), 또는 압축에 더 탄력적인 신호 분포를 얻기 위해 (예를 들어, 색상 성분들 중 하나의 히스토그램 등화를 사용하여) 입력 픽처 성분들의 재매핑을 수행하는 것을 거칠 수 있다. 메타데이터가 전처리와 연관되고 비트스트림에 첨부될 수 있다.

인코더(100)에서 픽처는 후술되는 바와 같이 인코더 요소들에 의해 인코딩된다. 인코딩될 픽처가 분할되고(102), 예를 들어, CU들의 단위로 프로세싱된다. 각각의 단위는 예를 들어 인트라 또는 인터 모드를 사용하여 인코딩된다. 단위가 인트라 모드로 인코딩될 때, 인트라 예측을 수행한다(160). 인터 모드에서는 모션 추정(175) 및 보상(170)이 수행된다. 인코더는 단위를 인코딩하기 위해 인트라 모드 또는 인터 모드 중 어느 것을 사용할지를 결정하고(105), 예를 들어 예측 모드 플래그에 의해 인트라/인터 결정을 나타낸다. 예측 잔차들은 예를 들어 원본 이미지 블록에서 예측된 블록을 감산함으로써(110) 계산된다.

이어서, 예측 잔차들은 변환되고(125) 양자화된다(130). 양자화된 변환 계수들뿐만 아니라 모션 벡터들 및 다른 신택스 요소들은 엔트로피 코딩되어(145) 비트스트림을 출력한다. 인코더는 변환을 건너뛸 수 있고, 비변환된 잔차 신호에 직접 양자화를 적용할 수 있다. 인코더는 변환 및 양자화 모두를 건너뛸 수 있으며, 즉, 잔차는 변환 또는 양자화 프로세스들의 적용 없이 직접 코딩된다.

인코더는 인코딩된 블록을 디코딩하여 추가 예측들을 위한 기준을 제공한다. 양자화된 변환 계수들은 예측 잔차들을 디코딩하기 위해 역양자화되고(140) 역변환된다(150). 디코딩된 예측 잔차들 및 예측된 블록을 결합하여(155) 이미지 블록이 재구성된다. 인루프(in-loop) 필터들(165)이, 예를 들어, 인코딩 아티팩트들을 감소시키기 위해 디블록킹(deblocking)/SAO(샘플 적응적 오프셋) 필터링을 수행하기 위해 재구성된 픽처에 적용된다. 필터링된 이미지는 기준 픽처 버퍼(180)에 저장된다.

도 11은 비디오 디코더(200)의 블록도를 도시한다. 디코더(200)에서, 비트스트림은 후술되는 바와 같이 디코더 요소들에 의해 디코딩된다. 비디오 디코더(200)는 일반적으로 도 10에 기술된 바와 같이 인코딩 패스에 상반적인 디코딩 패스를 수행한다. 인코더(100)는 또한 일반적으로 비디오 데이터를 인코딩하는 것의 일부로서 비디오 디코딩을 수행한다.

특히, 디코더의 입력은 비디오 인코더(100)에 의해 생성될 수 있는 비디오 비트스트림을 포함한다. 비트스트림은 변환 계수들, 모션 벡터들, 및 다른 코딩된 정보를 획득하기 위해 먼저 엔트로피 디코딩된다(230). 픽처 분할 정보는 픽처가 어떻게 분할되는지를 나타낸다. 따라서, 디코더는 디코딩된 픽처 분할 정보에 따라 픽처를 분할할 수 있다(235). 변환 계수들은 예측 잔차들을 디코딩하기 위해 역양자화되고(240) 역변환된다(250). 디코딩된 예측 잔차들 및 예측된 블록을 결합(255)하여 이미지 블록이 재구성된다. 예측된 블록은 인트라 예측(260) 또는 모션 보상된 예측(즉, 인터 예측)(275)으로부터 획득될 수 있다(270). 재구성된 이미지에 인루프 필터들(265)이 적용된다. 필터링된 이미지는 기준 픽처 버퍼(280)에 저장된다.

디코딩된 픽처는 사후 디코딩 프로세싱(285), 예를 들어, 사전 인코딩 프로세싱(101)에서 수행된 재매핑(remapping) 프로세스의 역을 수행하는 역 색상 변환(예컨대, YCbCr 4:2:0으로부터 RGB 4:4:4로의 변환) 또는 역 재매핑을 추가로 거칠 수 있다. 사후 디코딩 프로세싱은 사전 인코딩 프로세싱에서 도출되고 비트스트림에서 시그널링된 메타데이터를 사용할 수 있다.

도 18은 다양한 양태들 및 실시예들이 구현되는 시스템의 예의 블록도를 도시한다. 시스템(1000)은 후술되는 다양한 컴포넌트들을 포함하는 디바이스로서 구현될 수 있고, 본 문서에 기술된 양태들 중 하나 이상을 수행하도록 구성된다. 이러한 디바이스들의 예에는 개인용 컴퓨터들, 랩톱 컴퓨터들, 스마트폰들, 태블릿 컴퓨터들, 디지털 멀티미디어 셋톱 박스들, 디지털 텔레비전 수신기들, 개인용 비디오 녹화 시스템들, 연결된 가전 제품들 및 서버들과 같은 다양한 전자 디바이스들이 포함되지만, 이에 제한되지 않는다. 시스템(1000)의 요소들은 단일 집적 회로(IC), 다수의 IC들, 및/또는 별개의 컴포넌트들에서, 단독으로 또는 조합되어 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(1000)의 프로세싱 및 인코더/디코더 요소들은 다수의 IC들 및/또는 별개의 컴포넌트들에 걸쳐 분산된다. 다양한 실시예들에서, 시스템(1000)은 예를 들어 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트를 통해 하나 이상의 다른 시스템들, 또는 다른 전자 디바이스들에 통신가능하게 결합된다. 다양한 실시예들에서, 시스템(1000)은 본 문서에 기술된 양태들 중 하나 이상을 구현하도록 구성된다.

시스템(1000)은 예를 들어 본 문서에 기술된 다양한 양태들을 구현하기 위해 그 내부에 로딩된 명령어들을 실행하도록 구성된 적어도 하나의 프로세서(1010)를 포함한다. 프로세서(1010)는 내장된 메모리, 입력 출력 인터페이스, 및 당업계에 알려진 바와 같은 다양한 다른 회로부들을 포함할 수 있다. 시스템(1000)은 적어도 하나의 메모리(1020)(예를 들어, 휘발성 메모리 디바이스 및/또는 비휘발성 메모리 디바이스)를 포함한다. 시스템(1000)은 전기적으로 소거가능한 프로그래밍가능 판독-전용 메모리(EEPROM), 판독-전용 메모리(ROM), 프로그래밍가능 판독-전용 메모리(PROM), 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM), 플래시, 자기 디스크 드라이브 및/또는 광학 디스크 드라이브를 포함하지만 이에 제한되지 않는 비휘발성 메모리 및/또는 휘발성 메모리를 포함할 수 있는 저장 디바이스(1040)를 포함한다. 저장 디바이스(1040)는 비제한적인 예들로서 내부 저장 디바이스, 부착된 저장 디바이스(분리가능한 저장 디바이스 및 분리가능하지 않은 저장 디바이스를 포함함), 및/또는 네트워크 액세스가능한 저장 디바이스를 포함할 수 있다.

시스템(1000)은, 예를 들어, 인코딩된 비디오 또는 디코딩된 비디오를 제공하기 위해 데이터를 프로세싱하도록 구성된 인코더/디코더 모듈(1030)을 포함하고, 인코더/디코더 모듈(1030)은 자체 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(1030)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 나타낸다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 2개 모두를 포함할 수 있다. 또한, 인코더/디코더 모듈(1030)은 시스템(1000)과 별개의 요소로서 구현될 수 있거나, 또는 당업자에게 알려진 바와 같이 하드웨어와 소프트웨어의 조합으로서 프로세서(1010) 내에 통합될 수 있다.

본 문서에서 기술된 다양한 양태들을 수행하기 위해 프로세서(1010) 또는 인코더/디코더(1030)에 로딩될 프로그램 코드는 저장 디바이스(1040)에 저장될 수 있고 후속적으로 프로세서(1010)에 의한 실행을 위해 메모리(1020)에 로딩될 수 있다. 다양한 실시예들에 따르면, 프로세서(1010), 메모리(1020), 저장 디바이스(1040), 및 인코더/디코더 모듈(1030) 중 하나 이상은 본 문서에 기술된 프로세스들의 수행 동안 다양한 항목들 중 하나 이상을 저장할 수 있다. 이러한 저장된 항목들은 입력 비디오, 디코딩된 비디오 또는 디코딩된 비디오의 일부들, 비트스트림, 행렬들, 변수들, 및 방정식들, 공식들, 연산들 및 연산 로직의 프로세싱으로부터의 중간 또는 최종 결과들을 포함할 수 있지만, 이에 제한되지 않는다.

일부 실시예들에서, 프로세서(1010) 및/또는 인코더/디코더 모듈(1030) 내부의 메모리는 명령어들을 저장하고 인코딩 또는 디코딩 동안 필요한 프로세싱을 위한 작업 메모리를 제공하는 데 사용된다. 그러나, 다른 실시예들에서, 프로세싱 디바이스 외부의 메모리(예를 들어, 프로세싱 디바이스는 프로세서(1010) 또는 인코더/디코더 모듈(1030)일 수 있음)는 이러한 기능들 중 하나 이상에 사용된다. 외부 메모리는 메모리(1020) 및/또는 저장 디바이스(1040), 예를 들어, 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 일부 실시예들에서, 외부 비휘발성 플래시 메모리는 예를 들어, 텔레비전의 운영 체제를 저장하는 데 사용된다. 적어도 하나의 실시예에서, RAM과 같은 고속 외부 동적 휘발성 메모리는 MPEG-2(MPEG는 Moving Picture Experts Group을 지칭하고, MPEG-2는 또한 ISO/IEC 13818로도 지칭되고, 13818-1은 또한 H.222로도 알려져 있고, 13818-2는 또한 H.262로도 알려져 있음), HEVC(HEVC는 High Efficiency Video Coding을 지칭하고, H.265 및 MPEG-H Part 2로도 알려져 있음), 또는 VVC(Versatile Video Coding, JVET(Joint Video Experts Team)에서 개발 중인 새로운 표준)와 같은 비디오 코딩 및 디코딩 동작들을 위한 작업 메모리로 사용된다.

시스템(1000)의 요소들에 대한 입력은 블록(1130)에 나타낸 바와 같은 다양한 입력 디바이스들을 통해 제공될 수 있다. 이러한 입력 디바이스들은 (i) 예를 들어 브로드캐스터(broadcaster)에 의해 무선으로 전송된 무선 주파수(RF) 신호를 수신하는 무선 주파수(RF) 부분, (ii) 컴포넌트(COMP) 입력 단자(또는 COMP 입력 단자의 세트), (iii) 범용 직렬 버스(USB) 입력 단자 및/또는 (iv) 고화질 멀티미디어 인터페이스(HDMI) 입력 단자를 포함하지만, 이에 제한되지 않는다. 도 18에 도시되지 않은 다른 예들은 복합 비디오(composite video)를 포함한다.

다양한 실시예들에서, 블록(1130)의 입력 디바이스들은 당업계에 알려진 바와 같은 연관된 각자의 입력 프로세싱 요소들을 갖는다. 예를 들어, RF 부분은, (i) 원하는 주파수를 선택하고(신호를 선택하는 것 또는 신호를 주파수 대역으로 대역 제한하는 것으로도 지칭됨), (ii) 선택된 신호를 하향변환하고, (iii) (예를 들어) 특정 실시예들에서 채널로 지칭될 수 있는 신호 주파수 대역을 선택하기 위해 더 좁은 주파수 대역으로 다시 대역 제한하고, (iv) 하향변환되고 대역 제한된 신호를 복조하고, (v) 오류 보정을 수행하고, (vi) 원하는 데이터 패킷들의 스트림을 선택하기 위해 역다중화하는 데 적합한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 부분은 이러한 기능들을 수행하기 위한 하나 이상의 요소들, 예를 들어 주파수 선택기들, 신호 선택기들, 대역-제한기들, 채널 선택기들, 필터들, 하향변환기들, 복조기들, 오류 보정기들, 및 역다중화기들을 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 근거리 기저대역 주파수)로 또는 기저대역으로 하향변환하는 것을 포함하여 이러한 다양한 기능들을 수행하는 튜너를 포함할 수 있다. 하나의 셋톱 박스 실시예에서, RF 부분 및 그의 연관된 입력 프로세싱 요소는 유선(예를 들어, 케이블) 매체를 통해 전송된 RF 신호를 수신하고, 필터링하고, 하향변환하고 다시 원하는 주파수 대역으로 필터링함으로써 주파수 선택을 수행한다. 다양한 실시예들은 전술한(및 다른) 요소들의 순서를 재배열하고, 이들 요소들 중 일부를 제거하고/하거나 유사하거나 상이한 기능들을 수행하는 다른 요소들을 추가한다. 요소를 추가하는 것은, 예를 들어, 증폭기들 및 아날로그-디지털 변환기를 삽입하는 것과 같이, 기존 요소들 사이에 요소들을 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 부분은 안테나를 포함한다.

또한, USB 및/또는 HDMI 단자들은 시스템(1000)을 USB 및/또는 HDMI 연결들을 통해 다른 전자 디바이스들에 연결하기 위한 각자의 인터페이스 프로세서들을 포함할 수 있다. 입력 프로세싱, 예를 들어, 리드-솔로몬(Reed-Solomon) 에러 보정의 다양한 양태들이, 예를 들어, 필요에 따라, 별개의 입력 프로세싱 IC 내에서 또는 프로세서(1010) 내에서 구현될 수 있다는 것이 이해되어야 한다. 유사하게, USB 또는 HDMI 인터페이스 프로세싱의 양태들이, 필요에 따라, 별개의 인터페이스 IC 내에서 또는 프로세서(1010) 내에서 구현될 수 있다. 복조되고, 오류 보정되고, 역다중화된 스트림은, 예를 들어, 프로세서(1010), 및 메모리 및 저장 요소들과 조합하여 동작하는 인코더/디코더(1030)를 포함하는 다양한 프로세싱 요소들에 제공되어, 필요에 따라 출력 디바이스 상의 제시를 위해 데이터 스트림을 프로세싱한다.

시스템(1000)의 다양한 요소들이 통합된 하우징 내에 제공될 수 있으며, 집적 하우징 내에서, 다양한 요소들은 적합한 연결 배열, 예를 들어, 인터-IC(I2C) 버스, 배선, 및 인쇄 회로 기판을 포함하는, 당업계에 알려진 바와 같은 내부 버스를 사용하여 상호연결되고 그들 사이에서 데이터를 전송할 수 있다.

시스템(1000)은 통신 채널(1060)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(1050)를 포함한다. 통신 인터페이스(1050)는 통신 채널(1060)을 통해 데이터를 전송 및 수신하도록 구성된 트랜시버를 포함할 수 있지만, 이에 제한되지 않는다. 통신 인터페이스(1050)는 모뎀 또는 네트워크 카드를 포함할 수 있지만 이에 제한되지 않으며, 통신 채널(1060)은 예를 들어 유선 및/또는 무선 매체 내에서 구현될 수 있다.

데이터는, 다양한 실시예들에서, Wi-Fi 네트워크, 예를 들어 IEEE 802.11(IEEE는 전기 전자 기술자 협회(Institute of Electrical and Electronics Engineers)를 지칭함)과 같은 무선 네트워크를 사용하여, 시스템(1000)에 스트리밍되거나 또는 달리 제공된다. 이들 실시예들의 Wi-Fi 신호는 Wi-Fi 통신들에 대해 적응된 통신 채널(1060) 및 통신 인터페이스(1050)를 통해 수신된다. 이러한 실시예들의 통신 채널(1060)은 전형적으로 스트리밍 애플리케이션들 및 다른 오버-더-탑(over-the-top) 통신을 허용하기 위한 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 연결된다. 다른 실시예들은 입력 블록(1130)의 HDMI 연결을 통해 데이터를 전달하는 셋톱 박스를 사용하여 스트리밍된 데이터를 시스템(1000)에 제공한다. 또 다른 실시예들은 입력 블록(1130)의 RF 연결을 사용하여 스트리밍된 데이터를 시스템(1000)에 제공한다. 전술한 바와 같이, 다양한 실시예들은 비-스트리밍 방식으로 데이터를 제공한다. 또한, 다양한 실시예들은 Wi-Fi 이외의 무선 네트워크들, 예를 들어 셀룰러 네트워크 또는 블루투스 네트워크를 사용한다.

시스템(1000)은 디스플레이(1100), 스피커들(1110), 및 다른 주변 디바이스들(1120)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다양한 실시예들의 디스플레이(1100)는, 예를 들어, 터치스크린 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 커브드(curved) 디스플레이, 및/또는 폴더블(foldable) 디스플레이 중 하나 이상을 포함한다. 디스플레이(1100)는 텔레비전, 태블릿, 랩톱, 셀 폰(모바일 폰), 또는 다른 디바이스를 위한 것일 수 있다. 디스플레이(1100)는 또한 (예를 들어, 스마트 폰에서와 같이) 다른 컴포넌트들과 통합될 수도 있고, 별개일 수도 있다(예를 들어, 랩톱을 위한 외부 모니터). 실시예들의 다양한 예들에서, 다른 주변 디바이스들(1120)은 독립형 디지털 비디오 디스크(또는 디지털 다기능 디스크)(두 용어들 모두에 대해, DVR), 디스크 플레이어, 스테레오 시스템 및/또는 조명 시스템 중 하나 이상을 포함한다. 다양한 실시예들은 시스템(1000)의 출력에 기초하여 기능을 제공하는 하나 이상의 주변 디바이스들(1120)을 사용한다. 예를 들어, 디스크 플레이어는 시스템(1000)의 출력을 재생하는 기능을 수행한다.

다양한 실시예들에서, 제어 신호들은, AV.Link, 소비자 전자제품 제어(Consumer Electronics Control)(CEC)와 같은 시그널링, 또는 사용자 개입이 있거나 없이 디바이스 대 디바이스 제어를 가능하게 하는 다른 통신 프로토콜들을 사용하여 시스템(1000)과 디스플레이(1100), 스피커들(1110), 또는 다른 주변 디바이스들(1120) 사이에서 통신된다. 출력 디바이스들은 각자의 인터페이스들(1070, 1080, 1090)을 통한 전용 연결들을 통해 시스템(1000)에 통신가능하게 결합될 수 있다. 대안적으로, 출력 디바이스들은 통신 인터페이스(1050)를 통해 통신 채널(1060)을 사용하여 시스템(1000)에 연결될 수 있다. 디스플레이(1100) 및 스피커들(1110)은 예를 들어, 텔레비전과 같은 전자 디바이스에서 시스템(1000)의 다른 컴포넌트들과 단일 유닛으로 통합될 수 있다. 다양한 실시예들에서, 디스플레이 인터페이스(1070)는 예를 들어 타이밍 컨트롤러(T Con) 칩과 같은 디스플레이 드라이버를 포함한다.

디스플레이(1100) 및 스피커(1110)는 대안적으로, 예를 들어, 입력(1130)의 RF 부분이 별개의 셋톱 박스의 일부인 경우, 다른 컴포넌트들 중 하나 이상과 별개일 수 있다. 디스플레이(1100) 및 스피커들(1110)이 외부 컴포넌트들인 다양한 실시예들에서, 출력 신호는 예를 들어 HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 연결들을 통해 제공될 수 있다.

실시예들은 프로세서(1010)에 의해 구현되는 컴퓨터 소프트웨어에 의해 또는 하드웨어에 의해, 또는 하드웨어와 소프트웨어의 조합에 의해 수행될 수 있다. 비제한적인 예로서, 실시예들은 하나 이상의 집적 회로들에 의해 구현될 수 있다. 메모리(1020)는 기술적 환경에 적절한 임의의 유형일 수 있고, 비제한적인 예들로서, 광학 메모리 디바이스들, 자기 메모리 디바이스들, 반도체 기반 메모리 디바이스들, 고정 메모리 및 소거가능한 메모리와 같은 임의의 적절한 데이터 저장 기술을 사용하여 구현될 수 있다. 프로세서(1010)는 기술적 환경에 적합한 임의의 유형일 수 있고, 비제한적인 예들로서, 마이크로프로세서들, 범용 컴퓨터들, 특수 목적 컴퓨터들 및 멀티 코어 아키텍처 기반 프로세서들 중 하나 이상을 포함할 수 있다.

다양한 구현예들이 디코딩을 수반한다. 본 출원에서 사용되는 바와 같이, "디코딩"은 예를 들어, 수신된 인코딩된 시퀀스에 대해 수행되어 디스플레이에 적합한 최종 출력을 생성하는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 이러한 프로세스들은 디코더에 의해 전형적으로 수행되는 프로세스들 중 하나 이상의 프로세스들, 예를 들어, 엔트로피 디코딩, 역양자화, 역변환, 및 차동 디코딩을 포함한다. 다양한 실시예들에서, 이러한 프로세스들은 또한, 또는 대안적으로, 본 출원에 기술된 다양한 구현예들의 디코더에 의해 수행되는 프로세스들을 포함한다.

추가의 예들로서, 하나의 실시예에서, "디코딩"은 단지 엔트로피 디코딩을 지칭하고, 다른 실시예에서 "디코딩"은 단지 차동 디코딩을 지칭하고, 다른 실시예에서 "디코딩"은 엔트로피 디코딩과 차동 디코딩의 조합을 지칭한다. 어구 "디코딩 프로세스"가 동작들의 서브세트를 구체적으로 나타내기 위한 것인지, 또는 일반적으로 보다 광의의 디코딩 프로세스를 나타내기 위한 것인지 여부는 특정 설명들의 맥락에 기초하여 명확할 것이며, 당업자에 의해 잘 이해될 것으로 여겨진다.

다양한 구현예들이 인코딩을 수반한다. "디코딩"에 대한 상기 논의와 유사한 방식으로, 본 출원에서 사용되는 바와 같은 "인코딩"은 예를 들어 입력 비디오 시퀀스에 대해 수행되어 인코딩된 비트스트림을 생성하는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 이러한 프로세스들은 전형적으로 인코더에 의해 수행되는 프로세스들, 예를 들어, 분할, 차동 인코딩, 변환, 양자화, 및 엔트로피 인코딩 중 하나 이상을 포함한다. 다양한 실시예들에서, 이러한 프로세스들은 또한, 또는 대안적으로, 본 출원에 기술된 다양한 구현예들의 인코더에 의해 수행되는 프로세스들을 포함한다.

추가 예들에서, 하나의 실시예에서, "인코딩"은 단지 엔트로피 인코딩을 지칭하며, 다른 실시예에서 "인코딩"은 단지 차동 인코딩을 지칭하고, 다른 실시예에서 "인코딩"은 차동 인코딩과 엔트로피 인코딩의 조합을 지칭한다. 어구 "인코딩 프로세스"가 동작들의 서브세트를 구체적으로 나타내기 위한 것인지, 또는 일반적으로 보다 광의의 인코딩 프로세스를 나타내기 위한 것인지 여부는 특정 설명들의 맥락에 기초하여 명확할 것이며, 당업자에 의해 잘 이해될 것으로 여겨진다.

본 명세서에 사용된 신택스 요소들은 서술적 용어들이다. 따라서, 이들은 다른 신택스 요소 이름들의 사용을 배제하지 않는다.

도면이 흐름도로서 제시될 때, 그것은 또한 대응하는 장치의 블록도를 제공한다는 것을 이해해야 한다. 유사하게, 도면이 블록도로서 제시될 때, 그것은 또한 대응하는 방법/프로세스의 흐름도를 제공한다는 것을 이해해야 한다.

다양한 실시예들은 파라미터 모델들 또는 속도 왜곡 최적화를 지칭할 수 있다. 특히, 인코딩 프로세스 동안, 종종 계산 복잡성의 제약들을 감안하여 속도(rate)와 왜곡 사이의 균형 또는 절충이 고려된다. 이는 속도 왜곡 최적화(RDO) 메트릭, 또는 최소 평균 제곱(LMS), 절대 오차의 평균(MAE), 또는 다른 이러한 측정들을 통해 측정될 수 있다. 속도 왜곡 최적화는 일반적으로 속도와 왜곡의 가중 합인 속도 왜곡 함수를 최소화하도록 공식화된다. 속도 왜곡 최적화 문제를 해결하기 위한 상이한 접근법들이 있다. 예를 들어, 접근법들은, 코딩 및 디코딩 후 재구성된 신호의 코딩 비용 및 관련된 왜곡의 완전한 평가를 이용한, 모든 고려된 모드들 또는 코딩 파라미터들 값들을 포함하는 모든 인코딩 옵션들의 광범위한 테스트에 기초할 수 있다. 또한, 인코딩 복잡성을 줄이기 위해, 특히 재구성된 것이 아니라, 예측 또는 예측 잔차 신호에 기초한 근사화된 왜곡의 계산을 이용한 더 빠른 접근법들이 사용될 수 있다. 또한, 가능한 인코딩 옵션들 중 단지 일부에 대해서만 근사화된 왜곡을 사용하고, 다른 인코딩 옵션들에 대해서는 완전한 왜곡을 사용하는 것과 같이 이러한 두 가지 접근법들의 혼합이 사용될 수 있다. 다른 접근법들은 단지 가능한 인코딩 옵션들의 서브세트를 평가한다. 보다 일반적으로, 많은 접근법들은 최적화를 수행하기 위해 다양한 기술들 중 임의의 기술을 사용하지만, 최적화가 반드시 코딩 비용과 관련된 왜곡 둘 모두에 대한 완전한 평가이지는 않다.

본 명세서에 기술된 구현예들 및 양태들은 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수 있다. 구현예의 단일 형태의 맥락에서 논의된다 하더라도(예를 들어, 방법으로서만 논의됨), 논의된 특징들의 구현예는 다른 형태들(예를 들어, 장치 또는 프로그램)에서 구현될 수 있다. 예를 들어, 장치는 적절한 하드웨어, 소프트웨어, 및 펌웨어에서 구현될 수 있다. 예를 들어, 방법들은 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 논리 디바이스를 포함하는, 일반적으로 프로세싱 디바이스들을 지칭하는 프로세서에서 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 셀 폰들, 휴대용/개인 디지털 어시스턴트들("PDA들"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

"하나의 실시예" 또는 "일 실시예"또는 "하나의 구현예"또는 "일 구현예"에 대한 언급은 물론 이들의 다른 변형예들은 실시예와 관련하여 기술된 특정 특징, 구조, 특성 등이 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, "하나의 실시예에서" 또는 "일 실시예에서" 또는 "하나의 구현예에서" 또는 "일 구현예에서"라는 어구의 출현뿐만 아니라, 본 출원 전반에 걸쳐 다양한 위치들에 나타나는 임의의 다른 변형들이 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.

또한, 본 출원은 다양한 정보들을 "결정하는 것"을 지칭할 수 있다. 정보를 결정하는 것은, 예를 들어 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 메모리로부터 정보를 검색하는 것 중 하나 이상을 포함할 수 있다.

또한, 본 출원은 다양한 정보들에 "액세스하는 것"을 지칭할 수 있다. 정보에 액세스하는 것은, 예를 들어 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 이동하는 것, 정보를 복사하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.

또한, 본 출원은 다양한 정보들을 "수신하는 것"을 지칭할 수 있다. 수신하는 것은 "액세스하는 것"과 마찬가지로 광의의 용어인 것으로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것, 또는 (예를 들어, 메모리로부터) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 또한, "수신하는 것"은 전형적으로, 예를 들어 정보를 저장하는 동작, 정보를 프로세싱하는 동작, 정보를 전송하는 동작, 정보를 이동하는 동작, 정보를 복사하는 동작, 정보를 소거하는 동작, 정보를 계산하는 동작, 정보를 결정하는 동작, 정보를 예측하는 동작, 또는 정보를 추정하는 동작 동안 어떤 방식으로든 수반된다.

예를 들어 다음의 "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우들에서 "/", "및/또는", 및 "적어도 하나" 중 임의의 것의 사용은 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 옵션들(A 및 B) 둘 모두의 선택을 포함하도록 의도됨을 이해해야 한다. 또 다른 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나"의 경우들에서, 이러한 어구는 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 제3 열거된 옵션(C) 단독의 선택, 또는 제1 및 제2 열거된 옵션들(A 및 B) 단독의 선택, 또는 제1 및 제3 열거된 옵션들(A 및 C) 단독의 선택, 또는 제2 및 제3 열거된 옵션들(B 및 C) 단독의 선택, 또는 3개의 모든 옵션들(A, B 및 C)의 선택을 포함하도록 의도된다. 이는, 본 명세서에 기술된 바와 같은 많은 항목들에 대해, 본 명세서 및 관련 분야의 당업자에게 명백한 바와 같이 확장될 수 있다.

또한, 본 명세서에 사용된 바와 같이, 용어 "신호"는 특히 대응하는 디코더에게 무언가를 나타내는 것을 지칭한다. 예를 들어, 특정 실시예들에서, 인코더는 복수의 변환들, 코딩 모드들 또는 플래그들 중 특정의 하나를 시그널링한다. 이러한 방식으로, 일 실시예에서, 동일한 변환, 파라미터, 또는 모드가 인코더 측과 디코더 측 양측에서 사용된다. 따라서, 예를 들어, 인코더는 디코더가 동일한 특정 파라미터를 사용할 수 있도록 디코더에 특정 파라미터를 전송할 수 있다(명시적 시그널링). 반대로, 디코더가 이미 특정 파라미터뿐만 아니라 다른 것들을 갖는 경우, 시그널링은, 단순히 디코더가 특정 파라미터를 알고 선택할 수 있도록, 전송 없이 사용될 수 있다(암시적 시그널링). 임의의 실제 함수들의 전송을 피함으로써, 다양한 실시예들에서 비트 절약이 실현된다. 시그널링은 다양한 방식들로 달성될 수 있음을 이해해야 한다. 예를 들어, 하나 이상의 신택스 요소들, 플래그들 등이 다양한 실시예들에서 대응하는 디코더에 정보를 시그널링하는 데 사용된다. 전술된 표현이 단어 "신호"의 동사 형태와 관련되지만, 단어 "신호"는 또한 명사로서 본 명세서에서 사용될 수 있다.

당업자에게 명백한 바와 같이, 구현예들은 예를 들어 저장되거나 전송될 수 있는 정보를 운반하도록 포맷화된 다양한 신호들을 생성할 수 있다. 예를 들어, 정보는 방법을 수행하기 위한 명령어들, 또는 기술된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 비트스트림을 운반하도록 포맷화될 수 있다. 이러한 신호는 예를 들어 전자기파(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷화될 수 있다. 예를 들어, 포맷화는 데이터 스트림을 인코딩하고, 인코딩된 데이터 스트림으로 반송파를 변조하는 것을 포함할 수 있다. 예를 들어, 신호가 운반하는 정보는 아날로그 또는 디지털 정보일 수 있다. 신호는 알려진 바와 같이 다양한 상이한 유선 또는 무선 링크들을 통해 전송될 수 있다. 신호는 프로세서 판독가능한 매체 상에 저장될 수 있다.

다수의 실시예들을 다양한 청구 범위들 및 유형들에 걸쳐 기술한다. 이들 실시예들의 특징들은 단독으로 또는 임의의 조합으로 제공될 수 있다. 또한, 실시예들은 다양한 청구 범위들 및 유형들에 걸쳐 단독으로 또는 임의의 조합으로 다음의 특징들, 디바이스들, 또는 양태들 중 하나 이상을 포함할 수 있다:

다수의 변환 선택을 갖는 저주파수 분리가능하지 않은 변환들을 사용하여 비디오 데이터를 인코딩 또는 디코딩하기 위한 프로세스 또는 디바이스.

다수의 변환 선택을 갖는 낮은 행렬 기반 인트라 예측을 사용하여 비디오 데이터를 인코딩 또는 디코딩하기 위한 프로세스 또는 디바이스.

암시적인 다수의 변환 선택을 갖는 저주파수 분리가능하지 않은 변환들을 사용하여 비디오 데이터를 인코딩 또는 디코딩하기 위한 프로세스 또는 디바이스.

암시적인 다수의 변환 선택을 갖는 낮은 행렬 기반 인트라 예측을 사용하여 비디오 데이터를 인코딩 또는 디코딩하기 위한 프로세스 또는 디바이스.

기술된 신택스 요소들 중 하나 이상, 또는 이들의 변형들을 포함하는 비트스트림 또는 신호.

기술된 실시예들 중 어느 하나에 따라 생성된 신택스 이송 정보를 포함하는 비트스트림 또는 신호.

기술된 실시예들 중 어느 하나에 따른 생성 및/또는 전송 및/또는 수신 및/또는 디코딩.

기술된 실시예들 중 어느 하나에 따른 방법, 프로세스, 장치, 명령어들을 저장하는 매체, 데이터를 저장하는 매체, 또는 신호.

디코더가 인코더에 의해 사용되는 것에 대응하는 방식으로 코딩 모드를 결정할 수 있게 하는 시그널링 신택스 요소들에 삽입하는 것.

기술된 신택스 요소들 중 하나 이상 또는 이들의 변형들을 포함하는 비트스트림 또는 신호를 생성하는 것 그리고/또는 전송하는 것 그리고/또는 수신하는 것 그리고/또는 디코딩하는 것.

기술된 임의의 실시예들에 따라 변환 방법(들)을 수행하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

전술한 실시예들 중 임의의 것에 따라 변환 방법(들) 결정을 수행하고 (예를 들어, 모니터, 스크린, 또는 다른 유형의 디스플레이를 사용하여) 결과적인 이미지를 디스플레이하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

인코딩된 이미지를 포함하는 신호를 수신하기 위한 채널을 선택, 대역제한, 또는 (예를 들어, 튜너를 사용하여) 튜닝하고, 기술된 실시예들 중 임의의 것에 따른 변환 방법(들)을 수행하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

(예를 들어, 안테나를 사용하여) 인코딩된 이미지를 포함하는 무선 신호를 수신하고, 변환 방법(들)을 수행하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

Claims (15)

1. 방법으로서,
   보간 필터에 대응하는 필터 지수를 획득하는 단계;
   상기 대응하는 필터를 사용하여 적어도 하나의 비디오 블록의 예측을 필터링하는 단계; 및
   상기 필터링된 예측을 사용하여 상기 적어도 하나의 비디오 블록을 인코딩하는 단계를 포함하는, 방법.
2. 장치로서,
   프로세서를 포함하고, 상기 프로세서는:
   보간 필터에 대응하는 필터 지수를 획득하고;
   상기 대응하는 필터를 사용하여 적어도 하나의 비디오 블록의 예측을 필터링하고;
   상기 필터링된 예측을 사용하여 상기 적어도 하나의 비디오 블록을 인코딩하도록 구성되는, 장치.
3. 방법으로서,
   보간 필터에 대응하는 필터 지수를 획득하는 단계;
   상기 대응하는 필터를 사용하여 적어도 하나의 비디오 블록의 예측을 필터링하는 단계; 및
   상기 필터링된 예측을 사용하여 상기 적어도 하나의 비디오 블록을 디코딩하는 단계를 포함하는, 방법.
4. 장치로서,
   프로세서를 포함하고, 상기 프로세서는:
   보간 필터에 대응하는 필터 지수를 획득하고;
   상기 대응하는 필터를 사용하여 적어도 하나의 비디오 블록의 예측을 필터링하고;
   상기 필터링된 예측을 사용하여 상기 적어도 하나의 비디오 블록을 디코딩하도록 구성되는, 장치.
5. 제1항 또는 제3항에 있어서, 또는 제2항 또는 제4항에 있어서, 상기 비디오 블록은 대응하는 필터 지수들을 갖는 적어도 2개의 부분들로 분할되며, 상기 적어도 2개의 부분들 각각의 필터링은 대응하는 필터들로 수행되는, 방법 또는 장치.
6. 제1항 또는 제3항에 있어서, 또는 제2항 또는 제4항에 있어서, 삼각형 인터(inter) 예측이 사용되고, 상기 필터 지수는 모션 후보 파라미터들로부터 획득되고, 단방향 모션 보상이 별개의 필터 지수를 사용할 수 있는, 방법 또는 장치.
7. 제1항 또는 제3항에 있어서, 또는 제2항 또는 제4항에 있어서, 상기 필터 지수는 상기 비디오 블록을 포함하는 2개 이상의 분할들의 특성들의 함수인, 방법 또는 장치.
8. 제1항 또는 제3항에 있어서, 또는 제2항 또는 제4항에 있어서, 상기 필터 지수는 상기 비디오 블록을 포함하는 2개 이상의 분할들의 상대 부분들의 함수인, 방법 또는 장치.
9. 제1항 또는 제3항에 있어서, 또는 제2항 또는 제4항에 있어서, 이분 분할(bi-partition) 영역들이 중첩되지 않을 때 상이한 필터링 지수가 적용되는, 방법 또는 장치.
10. 제1항 또는 제3항에 있어서, 또는 제2항 또는 제4항에 있어서, 필터 지수는 기준 픽처(reference picture)의 모션 정보로부터 획득되는, 방법 또는 장치.
11. 제1항 또는 제3항에 있어서, 또는 제2항 또는 제4항에 있어서, 양방향 예측은 가중치 예측(weighted prediction)을 사용하여 수행되고, 필터 지수는 상기 가중치 예측에서 사용되는 가중치들의 함수인, 방법 또는 장치.
12. 디바이스로서,
    제4항 내지 제11항 중 어느 한 항에 따른 장치; 및
    (i) 신호를 수신하도록 구성된 안테나 - 상기 신호는 상기 비디오 블록을 포함함 -, (ii) 상기 수신된 신호를 상기 비디오 블록을 포함하는 주파수들의 대역으로 제한하도록 구성된 대역 제한기(band limiter), 및 (iii) 비디오 블록을 나타내는 출력을 디스플레이하도록 구성된 디스플레이 중 적어도 하나를 포함하는, 디바이스.
13. 프로세서를 사용한 재생을 위해, 제1항 및 제5항 내지 제11항 중 어느 한 항의 방법에 따라, 또는 제2항 및 제5항 내지 제11항 중 어느 한 항의 장치에 의해 생성된 데이터 콘텐츠를 포함하는, 비일시적 컴퓨터 판독가능 매체.
14. 프로세서를 사용한 재생을 위해, 제1항 및 제5항 내지 제11항 중 어느 한 항의 방법에 따라, 또는 제2항 및 제5항 내지 제11항 중 어느 한 항의 장치에 의해 생성된 비디오 데이터를 포함하는 신호.
15. 명령어들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 명령어들은, 상기 프로그램이 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 제1항, 제3항 및 제5항 내지 제11항 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터 프로그램 제품.

Images