KR20130095320A

KR20130095320A - 1 차원 스위칭 필터 및 1 차원 적응 필터의 조합을 사용한 비디오 필터링

Info

Publication number: KR20130095320A
Application number: KR1020137019874A
Authority: KR
Inventors: 웨이-정 치엔; 마르타 카르체비츠
Original assignee: 퀄컴 인코포레이티드
Priority date: 2011-01-05
Filing date: 2011-12-29
Publication date: 2013-08-27
Also published as: KR101552029B1; JP2014506065A; WO2012094232A1; CN103283230B; US20120170645A1; EP2661883A1; US9445126B2; JP5813783B2; CN103283230A

Abstract

일 예에서, 본 개시물은 비디오 코딩 프로세스 동안 재구성된 비디오 데이터의 루프 필터링 방법을 설명한다. 방법은 수평 또는 수직 중 어느 하나인 제 1 디멘전에서 비디오 데이터에 1 차원 (1D) 스위칭 필터를 적용하는 단계, 및 제 1 디멘전에 수직인 제 2 디멘전에서 비디오 데이터에 1D 적응 필터를 적용하는 단계를 포함한다.

Description

1 차원 스위칭 필터 및 1 차원 적응 필터의 조합을 사용한 비디오 필터링{VIDEO FILTERING USING A COMBINATION OF ONE-DIMENSIONAL SWITCHED FILTER AND ONE-DIMENSIONAL ADAPTIVE FILTER}

본 출원은 2011년 1월 5일자로 출원된 미국 가출원 제 61/430,128 호 및 2011년 3월 9일자로 출원된 미국 가출원 제 61/451,011 호의 우선권을 주장하며, 이 전체 내용이 참조로서 본원에 포함된다.

기술 분야

본 개시물은 비디오 데이터를 압축하는데 사용된 블록-기반 비디오 코딩 기법들, 보다 구체적으로는 블록-기반 비디오 코딩 동안 수행된 필터링 기법들에 관한 것이다.

디지털 비디오 능력들은 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 전화기 핸드셋들과 같은 무선 통신 디바이스들, 무선 브로드캐스트 시스템들, 개인휴대 정보단말들 (PDAs), 랩톱 또는 데스크톱 컴퓨터들, 테블릿 컴퓨터들, 디지털 카메라들, 디지털 레코딩 디바이스들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 개인 멀티미디어 플레이어 등을 포함하는 광범위한 디바이스들에 통합될 수 있다. 이러한 비디오 디바이스들은, 비디오 데이터를 압축하기 위해서 MPEG-2, MPEG-4, 또는 ITU-T H.264/MPEG-4, 파트 10, 고급 비디오 코딩 (AVC) 에 의해 설명된 것들과 같은 비디오 압축 기법들을 구현할 수도 있다. 비디오 압축 기법들은 비디오 시퀀스들에 내재된 리던던시를 감소 또는 제거하기 위해 공간 및 시간 예측을 수행한다. 새로운 표준들, 예컨대 HEVC (High Efficiency Video Coding) 표준 (궁극적으로 ITU-T H.265 로서 지칭될 수도 있음) 이 계속해서 알려지고 발달하고 있다.

많은 비디오 코딩 표준들 및 기법들은 블록 기반 비디오 코딩을 사용한다. 블록 기반 비디오 코딩 기법들은 비디오 프레임 (또는 그 일부) 의 비디오 데이터를 비디오 블록들로 분할한 후, 예측 블록 기반 압축 기법들을 사용하여 비디오 블록들을 인코딩한다. 비디오 블록들은, 비디오 블록 파티션들로 더 분할될 수도 있다. 비디오 블록들 (또는 그 파티션) 은 "코딩 유닛들" 로서 지칭될 수도 있고, 하나 이상의 비디오 특정 인코딩 기법들뿐만 아니라 일반적인 데이터 압축 기법들을 사용하여 인코딩될 수도 있다. 최근 생겨난 HEVC 표준을 이용하면, 가장 큰 코딩 유닛 (largest coded unit; LCU) 들은 쿼드트리 파티셔닝 스킴에 따라 점점 더 작은 코딩 유닛 (CU) 들로 분할될 수도 있고, 상이한 CU 들은 소위 예측 유닛 (PU) 들로 더 파티셔닝될 수도 있다. CU 들 (또는 PU 들) 은 모션 추정, 모션 보상, 변환 코딩, 예컨대 하나 이상의 가능한 변환 크기들을 갖는 변환 유닛 (TU) 들에 대하여 발생하는 이산 코사인 변환 (DCT), 양자화, 및 가변 길이 코딩을 사용하여 인코딩될 수도 있다. 신택스 정보는 흔히, 비디오 데이터를 디코딩하는 방법을 디코더에 알리기 위해 예를 들어, 비디오 슬라이스 헤더 또는 비디오 블록 헤더에서 인코딩된 비디오 데이터로 시그널링된다.

필터링 기법들은 인코딩 및 디코딩 프로세스의 일부로서 수행될 수도 있다. 필터링은 아티팩트들을 제거하거나 픽셀 경계들을 스무딩 (smooth) 함으로써 비디오 품질을 향상시킬 수도 있다. 비디오 블록 경계들 간의 필터링은 디블록 필터링으로서 지칭될 수도 있지만, 필터링은 또한 블록 경계들 내에 위치되지 않는 픽셀들에 적용될 수도 있다. 이러한 필터링은 "인 루프 (in loop)" 또는 "포스트 루프 (post loop)" 일 수도 있다. "인 루프" 필터링을 이용하면, 필터링된 픽셀들은 다른 비디오 데이터의 예측 코딩 (예를 들어, 모션 추정 및 모션 보상) 에서 사용될 수도 있는 재구성된 비디오 데이터를 형성한다. 반대로, "포스트 루프" 필터링을 이용하면, 필터링되지 않은 비디오 데이터는 다른 비디오 데이터의 예측 코딩에서 사용되는 재구성된 데이터를 형성한다. 따라서, "포스트 루프" 필터링을 이용하면, 필터링은 코딩 루프 밖에서 발생하고 단지 재구성되고 디스플레이될 데이터에만 적용한다. 따라서, "포스트 루프" 필터링을 이용하면, 필터링된 데이터는 예측 코딩을 위해 사용되지 않고, 대신에 필터링되지 않은 데이터가 예측 코딩을 위해 사용된다.

본 개시물은 비디오 인코딩 프로세스 또는 비디오 디코딩 프로세스 동안 발생하는 픽셀 필터링에 관한 것이다. 구체적으로, 본 개시물은 픽셀 경계들을 스무딩하고 가능하게는 재구성된 비디오 데이터로부터 아티팩트들을 제거하는데 통상 사용되는 소위 "포스트 루프 (post loop)" 또는 소위 "인 루프 (in loop)" 픽셀 필터링에 관한 것이다. 본 개시물에 따르면, 분리 가능한 적응 루프 필터 (즉, 인 루프 또는 포스트 루프) 는 1 차원 (1D) 적응 필터 (adaptive filter) 및 1D 스위칭 필터 (switching filter) 를 포함할 수도 있다. 1D 스위칭 필터는 오리지널 신호와 디코딩된 필터링 신호 간의 에러를 실질적으로 최소화함으로써 미리 정의된 필터 세트로부터 선택될 수도 있다. 1D 스위칭 필터는 일 방향, 주로 수평 또는 수직 방향에 적용될 수 있다. 1D 적응 필터는 그 후, 1D 스위칭 필터에 대해 수직 방향에서 적용된다. 그러나, 먼저 1D 적응 필터를 적용하고 그 후 1D 스위칭 필터를 두 번째로 적용하는 것이 가능하다. 어느 한 경우에서나, 이 설계에 기초하면, 2 개의 상이한 분리 가능한 1D 적응 필터들을 사용하는 기법과 유사한 코딩 성능을 유지하면서 반복적 필터 설계 문제 (즉, 가능하게는 막대한 양의 연산들을 초래함) 가 회피 또는 감소될 수 있다.

일 예에서, 본 개시물은 비디오 코딩 프로세스 동안 재구성된 비디오 데이터의 루프 필터링의 방법을 설명한다. 이 방법은, 수평 또는 수직 중 어느 하나인 제 1 디멘전에서 비디오 데이터에 1D 스위칭 필터를 적용하는 단계, 및 제 1 디멘전에 수직인 제 2 디멘전에서 비디오 데이터에 1D 적응 필터를 적용하는 단계를 포함한다.

다른 예에서, 본 개시물은 비디오 코딩 프로세스 동안 재구성된 비디오 데이터의 루프 필터링을 수행하는 비디오 코더 장치를 설명한다. 비디오 코더 장치는 수평 또는 수직 중 어느 하나인 제 1 디멘전에서 비디오 데이터를 필터링하는 1D 스위칭 필터, 및 제 1 디멘전에 수직인 제 2 디멘전에서 비디오 데이터를 필터링하는 1D 적응 필터를 포함한다.

다른 예에서, 본 개시물은 비디오 코딩 프로세스 동안 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스를 설명한다. 이 디바이스는, 수평 또는 수직 중 어느 하나인 제 1 디멘전에서 비디오 데이터에 1D 스위칭 필터를 적용하기 위한 수단, 및 제 1 디멘전에 수직인 제 2 디멘전에서 비디오 데이터에 1D 적응 필터를 적용하기 위한 수단을 포함한다.

본 개시물에 설명된 기법들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현될 수도 있다. 하드웨어에서 구현되면, 장치는 집적 회로, 프로세서, 이산 로직, 또는 이들의 임의의 조합으로서 실현될 수도 있다. 소프트웨어에서 구현되면, 소프트웨어는 하나 이상의 프로세서들, 예컨대 마이크로프로세서, 주문형 집적 회로 (ASIC), 필드 프로그램 가능 게이트 어레이 (FPGA), 또는 디지털 신호 프로세서 (DSP) 에서 실행될 수도 있다. 기법들을 실행하는 소프트웨어는 먼저, 유형의 컴퓨터 판독가능 저장 매체에 저장되고, 프로세서에서 로딩 및 실행될 수도 있다.

따라서, 본 개시물은 또한, 실행 시에 프로세서로 하여금 비디오 코딩 프로세스 동안 재구성된 비디오 데이터의 루프 필터링을 수행하게 하는 명령들을 포함하는 컴퓨터 판독가능 저장 매체를 고려하며, 이 명령들은 실행 시에 프로세서로 하여금 수평 또는 수직 중 어느 하나인 제 1 디멘전에서 비디오 데이터에 1D 스위칭 필터를 적용하게 하고, 제 1 디멘전에 수직인 제 2 디멘전에서 비디오 데이터에 1D 적응 필터를 적용하게 한다.

하나 이상의 양태들의 세부사항들은 첨부 도면들 및 다음의 설명에서 설명된다. 본 개시물에 설명된 기법들의 다른 피처들, 목적들, 및 이점들은 상세한 설명 및 도면들로부터, 그리고 청구항들로부터 명확하게 될 것이다.

도 1 은 본 개시물의 하나 이상의 기법들을 구현할 수도 있는 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2 는 본 개시물의 하나 이상의 예들과 일치하는 예시적인 비디오 인코더를 예시하는 블록도이다.
도 3 은 본 개시물의 하나 이상의 예들과 일치하는 예시적인 비디오 디코더를 예시하는 블록도이다.
도 4 는 쿼드트리 파티셔닝 스킴에 따라 파티셔닝된 비디오 블록들의 개념도이다.
도 5 는 도 4 에 도시된 쿼드트리 파티셔닝을 초래하는 파티셔닝 결정들을 나타내는 결정 트리이다.
도 6 내지 도 13 은 본 개시물과 일치하는 기법들을 예시하는 흐름도들이다.

본 개시물은 비디오 인코딩 프로세스 또는 비디오 디코딩 프로세스 동안 발생하는 픽셀 필터링에 관한 것이다. 구체적으로, 본 개시물은 픽셀 경계들을 스무딩하고 가능하게는 재구성된 비디오 데이터로부터 아티팩트들을 제거하는데 통상 사용되는 소위 "포스트 루프" 또는 소위 "인 루프" 픽셀 필터링에 관한 것이다. 일부 경우들에서, 루프 필터링 (예를 들어, 인 루프 또는 포스트 루프 필터링) 은 비디오 블록들의 에지들을 필터링하는 디블록 필터링 프로세스 후에 발생할 수도 있다. 루프 필터링을 이용하여, 필터링이 적용될 수도 있고, 이 필터링이 오리지널 블록에 비해 인코딩된 블록의 비디오 품질을 향상시켰는지 여부를 결정하기 위해 필터링된 블록은 오리지널 블록에 비교될 수도 있다. 슬라이스에서의 비디오 블록들 중 어느 블록들이 필터링되어야 하는지를 지정하기 위해 필터 맵이 생성될 수도 있고 인코딩된 데이터의 슬라이스 (예를 들어, 여기서 슬라이스는 비디오 프레임 또는 그 일부임) 와 함께 전송될 수도 있다. 비디오 블록들은 최근 생겨난 고 효율성 비디오 코딩 (High Efficiency Video Coding; HEVC) 표준에 정의된 바와 같이 "코딩 유닛들" 또는 "예측 유닛들" 을 포함할 수도 있고, 쿼드트리 표준에 따라 정의될 수도 있다. HEVC 표준은 가끔, ITU H.265 로서 지칭된다.

루프 필터링 (예를 들어, 인 루프 또는 포스트 루프 픽셀 필터링) 은 2 디멘전에서 발생할 수도 있다. 즉, 수직 또는 수평 픽셀 경계들이 필터링되도록 2 차원 필터링이 발생할 수도 있다. 본 개시물의 일 양태는, 수직 필터링이 수평 필터링으로부터 분리되는 "분리 가능한 (separable)" 필터링 접근법을 사용한다. 분리 가능한 필터링을 이용하면, 1 차원 (1D) 필터링은 제 1 디멘전 (예를 들어, 수직 또는 수평) 에서 발생할 수 있고, 그 후 1D 필터링은 제 1 디멘전과 상이한 제 2 디멘전에서 다시 발생할 수 있다. 1D 필터링이 발생하는 순서 (수직 다음에 수평 또는 수평 다음에 수직) 는 분리 가능한 필터들을 이용한 결과들에 영향을 주지 않을 수도 있다.

본 개시물의 다른 양태는 소위 "적응 필터링 (adaptive filtering)" 을 사용한다. 적응 필터링을 이용하면, 필터링 프로세스에 적용된 필터 계수들은 바람직하고 가능하게는 최적인 필터링을 달성하도록 데이터에 기초하여, 인코더에서 적응적으로 결정될 수도 있다. 적응 필터 계수들은 각각의 프레임 또는 슬라이스에 대해 인코더에서 디코더로 통신될 수도 있으므로, 디코더는 인코더에서 적응적으로 결정되고 적용된 동일한 필터 계수들을 적용할 수 있다.

본 개시물의 또 다른 양태는 소위 "스위칭 필터링 (switched filtering)" 을 사용한다. 스위칭 필터링을 이용하면, 필터 계수들의 미리 정의된 세트들이 인코더 및 디코더에 저장된다. 인코더는 임의의 코딩 유닛에 대한 필터 계수들의 최선의 세트를 선택할 수도 있고, 신택스 엘리먼트를 디코더로 통신할 수도 있다. 이 경우, 신택스 엘리먼트는, 디코더가 인코더에서 적응적으로 결정 및 적용되었던 동일한 필터 계수들을 적용할 수 있도록 (미리 정의된 세트들로부터) 필터 계수들의 선택된 세트를 식별하는 인덱스를 포함할 수도 있다. 스위칭 필터링은 적응 필터링에 비해 연산적 이점들 (즉, 연산적 간단함) 을 갖지만, 적응 필터링은 스위칭 필터링보다 더 바람직한 필터링을 달성할 수도 있다. 적응 필터링은 통상적으로, 적응 필터링이 사용되는 경우 필터 계수들 자체들이 전송되었기 때문에 스위칭 필터링에 비해 비트스트림에서 더 많은 신택스 정보를 요구한다. 따라서, 적응 필터링 또는 스위칭 필터링의 사용은 인코딩에서의 정확도, 연산 복잡도, 및 달성될 수 있는 압축 레벨에 영향을 줄 수 있는 설계 트레이드-오프로서 보여질 수도 있다.

본 개시물에 따라, 분리 가능한 적응 루프 필터 (예를 들어, 인 루프 또는 포스트 루프) 는 1D 적응 필터 및 1D 스위칭 필터를 포함할 수도 있다. 1D 스위칭 필터는 오리지널 신호와 디코딩된 필터링 신호 간의 에러를 실질적으로 최소화함으로써 미리정의된 필터 세트로부터 선택될 수도 있다. 1D 스위칭 필터는 일 방향, 주로 수평 또는 수직 방향에 적용될 수 있다. 1D 적응 필터는 그 후, 1D 스위칭 필터에 대해 수직한 방향에서 적용될 수 있다. 그러나, 또한 1D 적응 필터를 먼저 적용한 후, 두 번째로 1D 스위칭 필터를 적용하는 것이 가능하다. 어느 경우에나, 이 설계에 기초하면, 2 개의 상이한 분리 가능한 1D 적응 필터들을 사용하는 기법과 유사한 코딩 성능을 유지하면서 반복적 필터 설계 문제가 회피 또는 감소될 수 있다.

본 개시물의 기법들은 또한, 인코딩 디바이스에서 디코딩 디바이스로 루프 필터 정보를 통신하기 위한 시그널링 스킴을 사용할 수도 있고, 이 시그널링은 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스당 적어도 한 번 발생할 수도 있다. 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응할 수도 있다. LCU 들은 HEVC 프레임워크 내의 코딩 유닛들로 지칭될 수도 있고, 이들 자체는 쿼드트리 분배에 따라 더 작은 코딩 유닛들로 세분될 수도 있다. 쿼드트리 분배를 이용하면, 사각형 형상의 LCU 는 4 개의 사각형 형상의 코딩 유닛들로 분할되고, 코딩 유닛들은 또한 쿼드트리 분배에 따라 더 작은 코딩 유닛들로 세분될 수도 있다. 플래그들은, 추가의 쿼드트리 분배가 사용되었는지 여부를 나타내도록 각각의 CU 와 연관될 수도 있다. LCU 는 4 개의 CU 들로 세분될 수도 있고, 4 개의 CU 들은 각각 더 작은 CU 들로 추가로 분할될 수도 있다. HEVC 표준은 오리지널 LCU 의 쿼드트리 분배의 3 개의 레베들까지 지원할 수도 있다. LCU 를 다양한 CU 들로 분배한 후에, 상이한 CU 들은 예측 유닛들 (PU) 로 더 파티셔닝될 수도 있는데, 이 예측 유닛들은 정사각형 형상 또는 다른 직사각형 형상들을 가정할 수도 있는 비디오 블록들이다.

본 개시물에 따르면, 인코더는 1D 스위칭 필터 및 1D 적응 필터를 선택하고, 선택된 필터들을 적용하여 인코더에서 비디오 데이터를 재구성한다. 또한, 인코더는 디코더로 선택된 필터들을 시그널링하기 위한 신택스 정보를 생성한다. 이러한 필터 시그널링은 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 한 번 발생할 수도 있다. 시그널링은 고정 길이 코딩 또는 가변 길이 코딩에 따라 구현될 수도 있고, 또한 예를 들어 이전의 필터 계수들 또는 기지의 필터 계수들에 대한 잔여 차이들 (또는 델타들) 을 사용하여 필터 계수들이 코딩되는 예측 코딩을 통합할 수도 있다.

방향 시그널링은 필터들 중 어느 하나에 대해 수평 및 수직 방향들을 포함하는, 모든 가능한 방향들에서 시그널링을 허용하도록 설계될 수도 있다. 일부 경우들에서, 스위칭 필터 세트는 스위칭 필터에 대해 설계된 방향에 따라 상이하게 설계될 수 있다. 적응 필터는 플렉서블 필터 탭 크기 또는 고정 필터 탭 크기를 가질 수도 있다. 필터들의 필터 서포트 (즉, 형상) 는 또한 선택 가능할 수도 있다. 일부 예들에서, 2 개의 분리된 스위치 필터들은 일부 경우들 (즉, 일부 슬라이스들) 에서 허용되어, 적응 필터가 사용되지 않는 경우 복잡도를 감소시킬 수도 있다.

일부 예들에서, 디블록킹 필터는 픽처 품질을 향상시키기 위해 재구성된 픽처에 대한 디코딩 루프에 적용될 수도 있다. 본 개시물과 일치하여, 1D 적응 루프 필터 및 1D 스위칭 루프 필터는 비디오 블록들의 일부 또는 전부 (예를 들어, 일부 또는 모든 CU 들 또는 PU 들) 에 대해 디코딩된 픽처 품질을 더 향상시키기 위해 디블록킹 필터 후에 디코딩 루프에 추가될 수도 있다. 픽처 품질을 유지하고 연산을 감소시키기 위해, 비-분리 가능한 필터들이 I-슬라이스들을 필터링하는데 적용될 수 있는 한편, 분리 가능한 1D 필터들은 P-슬라이스들 및 B-슬라이스들 등의 필터링에만 적용될 수도 있다. 이 방식으로, 본 개시물의 기법들은 비디오 슬라이스들의 특정 유형들에 선택적으로 적용될 수도 있는 한편, 비디오 슬라이스들의 다른 유형들에는 다른 기법들이 사용될 수도 있다.

슬라이스는 비디오 블록들 (또는 LCU 들) 로 분할될 수도 있고, 각각의 비디오 블록은 쿼드트리 구조에 따라 파티셔닝될 수도 있다. 도 4 및 도 5 는 슬라이스 (예를 들어, LCU) 내의 비디오 블록이 서브 블록들 (예를 들어, 더 작은 CU 들) 로 파티셔닝될 수 있는 방법의 일 예를 나타낸다. 도 4 에 도시된 바와 같이, "온 (ON)" 으로 표시된 쿼드트리 서브 블록들은 본원에 설명된 루프 필터들에 의해 필터링될 수도 있는 한편, "오프 (OFF)" 로 표시된 쿼드트리 서브 블록들은 필터링되지 않을 수도 있다. 소정의 블록 또는 서브 블록을 필터링하는지의 여부의 결정은 코딩되고 있는 오리지널 블록에 대해 필터링된 결과 및 필터링되지 않은 결과를 비교함으로써 인코더에서 결정될 수도 있다. 도 5 는 도 4 에 도시된 쿼드트리 파티셔닝을 초래하는 파티셔닝 결정들을 나타내는 결정 트리이다. 도 4 및 도 5 는 인코더에서 생성될 수 있고 인코딩된 비디오 데이터의 슬라이스 당 적어도 한 번 디코더로 통신될 수 있는 필터 맵으로서 개별적으로 또는 총괄하여 보여질 수도 있다.

본 개시물의 기법들은 인-루프 필터링 또는 포스트-루프 필터링에 적용할 수도 있다. 인-루프 필터링 및 포스트-루프 필터링은 일부 양태들에서 서로 유사하다. 인-루프 필터링을 이용하면, 재구성된 비디오 데이터의 필터링은 코딩 루프에서 발생하고, 이는 필터링된 데이터가 후속의 이미지 데이터의 예측에서의 후속의 사용을 위해 디코더 또는 인코더에 의해 저장된다는 것을 의미한다. 반대로, 포스트-루프를 이용하면, 재구성된 비디오 데이터의 필터링은 코딩 루프 밖에서 발생하고, 이는 데이터의 필터링되지 않은 버전들이 후속의 이미지 데이터의 예측에서 후속의 사용을 위해 인코더 또는 디코더에 의해 저장된다는 것을 의미한다. 따라서, 포스트-루프 필터링을 이용하면, 필터링은 재구성된 비디오 데이터를 생성하는데 적용될 수도 있지만, 이러한 필터링은 다른 예측 인코딩에서의 사용을 위해 이러한 데이터를 저장하기 위해 데이터에 적용되지 않는다. 본 개시물과 일치하는 인-루프 필터링 또는 포스트-루프 필터링의 적어도 하나의 디멘전은, 필터링에 적용된 필터링 계수들이 프로세스 동안 적응적으로 정의된다는 점에서 적응적일 수도 있다. 양자의 디멘전들에서의 적응 필터링에 대한 복잡도를 감소시키도록 다른 디멘전은 스위칭 필터 접근법을 사용할 수도 있다.

본 개시물에서, 용어 "코딩" 은 인코딩 또는 디코딩을 지칭한다. 유사하게, 용어 "코더" 는 일반적으로 임의의 비디오 인코더, 비디오 디코더, 또는 결합형 인코더/디코더 (코덱) 을 지칭한다. 따라서, 용어 "코더" 는 비디오 인코딩 또는 비디오 디코딩을 수행하는 특수 컴퓨터 디바이스 또는 장치를 지칭하도록 본원에서 사용된다. 본 개시물의 필터링 기법들은 인코더 또는 디코더에 적용 가능할 수도 있다. 일부 경우들에서, 필터 신택스 엘리먼트들은 적용되는 필터링의 유형을 디코더에 알리기 위해서 비트스트림으로 인코딩될 수도 있다. 본 개시물은 또한, 예를 들어 인코딩된 데이터의 슬라이스와 연관된 헤더 엘리먼트 또는 푸터 (footer) 엘리먼트에서 필터 신택스 정보를 인코딩함으로써 필터 정보를 인코딩하기 위한 능력을 향상시킬 수도 있는 인코딩된 정보를 통신하는 포맷을 정의한다.

도 1 은 본 개시물의 기법들을 구현할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 예시하는 블록도이다. 도 1 에 도시된 바와 같이, 시스템 (10) 은 인코딩된 비디오를 통신 채널 (15) 을 통해 목적지 디바이스 (16) 에 송신하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 와 목적지 디바이스 (16) 는 넓은 범위의 디바이스들 중 임의의 것을 포함할 수도 있다. 일부 경우들에서, 소스 디바이스 (12) 와 목적지 디바이스 (16) 는 무선 통신 디바이스 핸드셋들, 예컨대 소위 셀룰러 또는 위성 무선전화기들을 포함할 수도 있다. 그러나, 비디오 코딩 동안 비디오 블록 및/또는 픽셀 필터링에 더 일반적으로 적용하는 본 개시물의 기법들은 무선 애플리케이션들 또는 설정들에 반드시 한정되지는 않고, 비디오 인코딩 및/또는 디코딩 능력들을 포함하는 비-무선 디바이스들에 적용될 수도 있다.

도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (20), 비디오 인코더 (22), 변조기/복조기 (모뎀)(23) 및 송신기 (24) 를 포함할 수도 있다. 목적지 디바이스 (16) 는 수신기 (26), 모뎀 (27), 비디오 디코더 (28), 및 디스플레이 디바이스 (30) 를 포함할 수도 있다. 본 개시물에 따르면, 소스 디바이스 (12) 의 비디오 인코더 (22) 는 비디오 인코딩 프로세스 동안 재구성된 비디오 데이터의 루프 필터링을 수행하도록 구성될 수도 있다. 비디오 인코딩 프로세스 자체는 인코딩된 데이터를 재구성하기 위해서 디코딩 루프를 포함할 수도 있고, 본 개시물의 루프 필터링은 인코딩 프로세스의 디코딩 루프의 일부로서 비디오 인코더 (22) 에서 발생할 수도 있다. 루프 필터링은 디블록 필터링 프로세스를 뒤따를 수도 있고, 수평이거나 수직인 제 1 디멘전에서 비디오 데이터에 1 차원 (1D) 스위칭 필터의 적용 및 제 1 디멘전에 수직인 제 2 디멘전에서 비디오 데이터의 1D 적응 필터의 적용을 포함할 수도 있다.

필터들은 인코딩 프로세스의 일부로서 선택될 수도 있고, 인코더 (22) 는 신택스 정보를 비트스트림으로 인코딩하여 디코더에 대한 필터들을 식별할 수도 있다. 이 인코딩된 신택스 정보는 1D 적응 필터에 대한 필터 계수들 및 인덱스 값을 포함하여, 1D 스위칭 필터를 식별할 수도 있다. 더욱이, 인코더 (22) 는 선택적인 방식으로 루프 필터링 (예를 들어 일부 비디오 블록들을 필터링하고 다른 비디오 블록들을 필터링하지 않음) 을 적용할 수도 있다. 인코더는 각각의 블록을 필터링하고, 필터링이 재구성된 비디오 블록을 향상시켰는지 또는 저하시켰는지 여부를 결정하도록 필터링된 블록과 필터링되지 않은 블록을 인코딩되고 있는 오리지널 블록에 비교할 수도 있다. 인코더 (22) 는 인코딩된 데이터의 슬라이스의 어느 블록들이 필터링되어야 하는지 및 어느 블록들이 필터링되지 않은 채로 남아 있는지를 시그널링하는 필터 맵을 생성할 수도 있다. 필터 신택스 정보 및 필터 맵의 인코딩에 관한 추가의 상세들이 이하에 제공된다.

유사한 필터링 기법들이 또한, 목적지 디바이스 (16) 의 비디오 디코더 (28) 에 의해 수행될 수도 있다. 즉, 비디오 디코더 (28) 는 또한, 수평이나 수직인 제 1 디멘전에서 비디오 데이터에 1D 스위칭 필터를 적용하고, 제 1 디멘전에 수직인 제 2 디멘전에서 비디오 데이터에 1D 적응 필터를 적용하도록 구성될 수도 있다. 디코딩 측에서, 목적지 디바이스 (16) 는 인코딩된 데이터의 슬라이스당 적어도 한 번 필터 맵 및 필터 신택스 정보를 수신할 수도 있고, 여기서 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트를 지칭한다. 이 방식으로, 비디오 디코더 (28) 는 비트스트림에서 인코더 (22) 가 제공하는 정보에 기초하여 인코더 (22) 에 의해 정의되는 루프 필터링을 적용할 수 있다.

다시, 도 1 의 예시된 시스템 (10) 은 단지 예시적이다. 본 개시물의 필터링 기법들은 임의의 인코딩 또는 디코딩 디바이스들에 의해 수행될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (16) 는 단지 이러한 기법들을 지원할 수 있는 코딩 디바이스들의 예들이다.

소스 디바이스 (12) 의 비디오 인코더 (22) 는 본 개시물의 기법들을 사용하여 비디오 소스 (20) 로부터 수신된 비디오 데이터를 인코딩할 수도 있다. 비디오 소스 (20) 는 비디오 카메라와 같은 비디오 캡처 디바이스, 미리 캡처된 비디오를 포함하는 비디오 아카이브, 또는 비디오 콘텐트 제공자로부터의 비디오 피드를 포함할 수도 있다. 추가의 대안으로서, 비디오 소스 (20) 는 소스 비디오 또는 라이브 비디오, 아카이빙된 비디오, 및 컴퓨터 생성 비디오의 조합과 같은 컴퓨터 그래픽 기반 데이터를 생성할 수도 있다. 일부 경우들에서, 비디오 소스 (20) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (16) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 각각의 경우에서, 캡처된, 미리 캡처된 또는 컴퓨터 생성된 비디오는 비디오 인코더 (22) 에 의해 인코딩될 수도 있다.

일단 비디오 데이터가 비디오 인코더 (22) 에 의해 인코딩되면, 인코딩된 비디오 정보는 그 후 통신 표준, 예컨대 코드 분할 다중 액세스 (CDMA), 직교 주파수 분할 다중화 (OFDM) 또는 임의의 다른 통신 표준 또는 기법에 따라 모뎀 (23) 에 의해 변조될 수도 있다. 인코딩 및 변조된 데이터는 그 후, 송신기 (24) 를 통해 목적지 디바이스 (16) 로 송신될 수 있다. 모뎀 (23) 은 각종 믹서들, 필터들, 증폭기들, 또는 신호 변조를 위해 설계된 다른 컴포넌트들을 포함할 수도 있다. 송신기 (24) 는 증폭기들, 필터들, 및 하나 이상의 안테나들을 포함하는 송신 데이터를 위해 설계된 회로들을 포함할 수도 있다. 목적지 디바이스 (16) 의 수신기 (26) 는 채널 (15) 을 통해 정보를 수신하고, 모뎀 (27) 은 정보를 복조한다. 다시, 비디오 디코더 (28) 에 의해 수행된 비디오 디코딩 프로세스는 비디오 인코더 (22) 의 것들과 유사한 필터링 기법들을 포함할 수도 있다.

통신 채널 (15) 은 임의의 무선 또는 유선 통신 매체, 예컨대 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들, 또는 무선 및 유선 매체의 임의의 조합을 포함할 수도 있다. 통신 채널 (15) 은 패킷 기반 네트워크, 예컨대 로컬 영역 네트워크, 와이드 영역 네트워크, 또는 글로벌 네트워크, 예컨대 인터넷의 일부를 형성할 수도 있다. 일반적으로, 통신 채널 (15) 은 소스 디바이스 (12) 로부터 목적지 디바이스 (16) 로 비디오 데이터를 송신하는 임의의 적합한 통신 매체, 또는 상이한 통신 매체의 콜렉션을 나타낸다.

비디오 인코더 (22) 및 비디오 디코더 (28) 는 최근에 생겨난 HEVC 표준과 같은 비디오 압축 표준에 따라 실질적으로 동작할 수도 있다. 그러나, 본 개시물의 기법들은 다양한 다른 비디오 코딩 표준들의 맥락에서 용이하게 적용될 수도 있다. 구체적으로, 인코더 또는 디코더에서 루프 필터링을 허용하는 임의의 표준은 본 개시물의 교시로부터 이익을 얻을 수도 있다.

도 1 에 도시되진 않았지만, 일부 양태들에서, 비디오 인코더 (22) 와 비디오 디코더 (28) 는 각각이 오디오 인코더 및 디코더와 통합될 수도 있고, 적합한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함하여, 공통 데이터 스트림 또는 개별 데이터 스트림들에서의 오디오 및 비디오 양자 모두의 인코딩을 핸들링할 수도 있다. 적용가능하다면, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜들을 준수할 수도 있다.

비디오 인코더 (22) 및 비디오 디코더 (28) 는 각각 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP), 주문형 집적 회로 (ASIC), 필드 프로그램 가능 게이트 어레이 (FPGA), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합으로서 구현될 수도 있다. 비디오 인코더 (22) 및 비디오 디코더 (28) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있고, 이 중 어느 하나는 각각의 모바일 디바이스에서 결합형 인코더/디코더 (CODEC), 가입자 디바이스, 브로드캐스트 디바이스, 서버 등의 일부로서 통합될 수도 있다. 본 개시물에서, 용어 코더는 인코더 또는 디코더를 지칭하고, 용어들 코더, 인코더 및 디코더 모두는 본 개시물과 일치하는 비디오 데이터의 코딩 (인코딩 또는 디코딩) 을 위해 설계된 특정 머신들을 지칭한다.

일부 경우들에서, 디바이스들 (12, 16) 은 실질적으로 대칭 방식으로 동작할 수도 있다. 예를 들어, 디바이스들 (12, 16) 각각은 비디오 인코딩 및 디코딩 컴포넌트들을 포함할 수도 있다. 따라서, 시스템 (10) 은 예를 들어, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 또는 비디오 텔레포니를 위해 비디오 디바이스들 (12, 16) 간의 일 방향 또는 양방향 송신을 지원할 수도 있다.

인코딩 프로세스 동안, 비디오 인코더 (22) 는 다수의 코딩 기법들 또는 동작들을 실행시킬 수도 있다. 일반적으로, 비디오 인코더 (22) 는 비디오 블록들을 인코딩하기 위해 개별의 비디오 프레임들 (또는 슬라이스들과 같은 비디오의 다른 독립적으로 정의된 유닛들) 내의 비디오 블록들 상에서 동작한다. 프레임들, 슬라이스들, 프레임들의 부분들, 픽처들의 그룹들, 또는 다른 데이터 구조들이 복수의 비디오 블록들을 포함하는 비디오 정보의 유닛들로서 정의될 수도 있다. 코딩 유닛들 내의 비디오 블록들은 고정 또는 가변 크기들을 가질 수도 있고, 특정 코딩 표준에 따라 크기에서 상이할 수도 있다. 일부 경우들에서, 각각의 비디오 프레임은 일련의 독립적으로 디코딩 가능한 슬라이스들을 포함할 수도 있고, 각각의 슬라이스는 더 작은 블록들로 배열될 수도 있는 일련의 비디오 블록들을 포함할 수도 있다.

매크로블록들은 ITU H.264 표준 및 다른 표준들에 의해 정의된 비디오 블록의 일 유형이다. 매크로블록들은 통상적으로, 데이터의 16×16 블록들을 지칭한다. ITU-T H.264 표준은 루마 컴포넌트들에 대해 다양한 블록 크기들, 예컨대 16×16, 8×8, 또는 4×4 및 크로마 컴포넌트들에 대해 8×8 에서 인트라 예측을 지원하고, 뿐만 아니라 다양한 블록 크기들, 예컨대 루마 컴포넌트들에 대해 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 및 4×4 및 크로마 컴포넌트들에 대해 대응하는 스케일링된 크기들로 인터 예측을 지원한다. 최근에 생겨난 HEVC 표준은 비디오 블록들에 대한 새로운 용어들을 정의한다. 특히, HEVC 를 이용하면, 비디오 블록들 (또는 그 파티션들) 은 "코딩 유닛 (coded unit) 들" 로서 지칭될 수도 있다. HEVC 표준을 이용하면, 가장 큰 코딩 유닛 (LCU) 들은 쿼드트리 파티셔닝 스킴에 따라 점점 더 작은 코딩 유닛들 (CUs) 로 분할될 수도 있고, 이 스킴에서 정의된 상이한 CU 들은 소위 예측 유닛들 (PUs) 로 추가로 파티셔닝될 수도 있다. LCU 들, CU 들, 및 PU 들은 모두 본 개시물의 의미 내의 모든 비디오 블록들이다. HEVC 표준 또는 다른 비디오 코딩 표준들과 일치하는 비디오 블록들의 다른 유형들이 또한 사용될 수도 있다. 따라서, 문구 "비디오 블록들" 은 임의의 크기의 비디오 블록을 지칭한다. 또한, 비디오 블록들은 가끔, 변환 도메인, 예컨대 이산 코사인 변환 (DCT) 도메인, DCT 와 유사한 도메인, 웨이블릿 도메인 등에서 데이터의 블록들, 또는 픽셀 도메인에서 비디오 데이터의 블록들을 지칭할 수도 있다. 본 개시물의 기법들과 일치하는 대부분의 경우들에서, 그러나, 본 개시물의 필터링은 픽셀 도메인에서 발생할 수도 있다.

비디오 인코더 (22) 는 예측 블록을 식별하기 위해, 코딩되고 있는 비디오 블록이 예측 프레임 (또는 다른 코딩 유닛) 에 비교되는 예측 코딩을 수행할 수도 있다. 이 예측 코딩의 프로세스는 모션 추정 및 모션 보상으로서 지칭될 수도 있다. 모션 추정은 하나 이상의 예측 프레임들 (또는 다른 코딩 유닛들) 의 하나 이상의 예측 비디오 블록들에 대해 비디오 블록 모션을 추정한다. 모션 보상은 하나 이상의 예측 프레임들 또는 다른 코딩 유닛들로부터 원하는 예측 비디오 블록을 생성한다. 모션 보상은 종종, 보간 필터링이 수행되어 프랙셔널 정확도 (fractional precision) 에서 예측 데이터를 생성하도록 수행된다.

예측 블록을 생성한 후에, 코딩되고 있는 현재 비디오 블록과 예측 블록 간의 차이는 잔여 블록으로서 코딩되고, 예측 신택스 (예컨대, 모션 벡터) 가 사용되어 예측 블록을 식별한다. 잔여 블록은 변환 및 양자화될 수도 있다. 변환 기법들은 DCT 프로세스 또는 개념적으로 유사한 프로세스, 정수 변환들, 웨이블릿 변환들, 또는 다른 유형들의 변환들을 포함할 수도 있다. DCT 프로세스에서, 예로써 변환 프로세스는 픽셀 값들 (예를 들어, 잔여 값들) 의 세트를 변환 계수들로 변환하는데, 이 계수들은 주파수 도메인으로 픽셀 값들의 에너지를 나타낼 수도 있다. ITU H.264 표준은 변환 유닛 (TU) 들에 따른 변환들을 허용하고, 이는 상이한 CU 들에 대해 상이할 수도 있다. TU 들은 통상적으로, 파티셔닝된 LCU 에 대해 정의된 CU 들의 크기에 따라 크기가 정해질 수도 있으나, 이는 항상 그 경우는 아닐 수도 있다. 양자화는 통상적으로, 변환 계수들에 적용되고 일반적으로 임의의 소정의 변환 계수와 연관된 비트들의 수를 제한하는 프로세스를 수반한다.

변환 및 양자화 다음에, 양자화 및 변환된 잔여 비디오 블록들에 엔트로피 코딩이 수행될 수도 있다. 신택스 엘리먼트들, 예컨대 인코딩 동안 정의된 필터 신택스 정보 및 예측 벡터들이 또한, 엔트로피 코딩된 비트스트림에 포함될 수도 있다. 일반적으로, 엔트로피 코딩은 양자화된 변환 계수들의 시퀀스 및/또는 다른 신택스 정보를 총괄하여 압축하는 하나 이상의 프로세스들을 포함한다. 2 차원 비디오 블록들로부터 계수들의 하나 이상의 연재된 1 차원 벡터들을 정의하기 위해 스캐닝 기법들, 예컨대 지그 재그 스캐닝 기법들이 양자화된 변환 계수들에 수행된다. 스캐닝된 계수들은 그 후, 예를 들어 콘텍스트 적응 가변 길이 코딩 (content adaptive variable length coding; CAVLC), 콘텍스트 적응 바이너리 산술 코딩 (context adaptive binary arithmetic coding; CABAC), 또는 다른 엔트로피 코딩 프로세스를 통해 임의의 신택스 정보와 함께 엔트로피 코딩된다.

인코딩 프로세스의 일부로서, 후속의 비디오 블록들의 후속의 예측-기반 코딩을 위해 사용되는 비디오 데이터를 생성하기 위해 인코딩된 비디오 블록들이 디코딩될 수도 있다. 이는 종종, 인코딩 프로세스의 디코딩 루프로서 지칭되고, 일반적으로 디코더 디바이스에 의해 수행되는 디코딩을 흉내낸다. 디코딩 루프에서, 본 개시물의 루프 필터링은 비디오 품질을 개선, 예를 들어 픽셀 경계들을 스무딩하고 가능하게는 디코딩된 비디오로부터 아티팩트들을 제거하기 위해서 이용될 수도 있다. 본 루프 필터링은 인-루프 또는 포스트-루프일 수도 있다. 다시, 인-루프 필터링을 이용하면, 재구성된 비디오 데이터의 필터링은 코딩 루프에서 발생하고, 이는 필터링된 데이터가 후속의 이미지 데이터의 예측에서의 후속의 사용을 위해 디코더 또는 인코더에 의해 저장된다는 것을 의미한다. 반대로, 포스트-루프를 이용하면, 재구성된 비디오 데이터의 필터링은 코딩 루프 밖에서 발생하고, 이는 데이터의 필터링되지 않은 버전들이 후속의 이미지 데이터의 예측에서 후속의 사용을 위해 인코더 또는 디코더에 의해 저장된다는 것을 의미한다. 루프 필터링은 종종, 별개의 디블록 필터링 프로세스를 뒤따르는데, 이 프로세스는 통상적으로 비디오 블록 경계들에서 나타나는 블록화 아티팩트들을 제거하기 위해 인접한 비디오 블록들의 경계들 상에 또는 부근에 있는 픽셀들에 필터링을 적용한다.

도 2 는 본 개시물과 일치하는 비디오 인코더 (50) 를 예시하는 블록도이다. 비디오 인코더 (50) 는 디바이스 (20) 의 비디오 인코더 (22), 또는 상이한 디바이스의 비디오 인코더에 대응할 수도 있다. 도 2 에 도시된 바와 같이, 비디오 인코더 (50) 는 예측 유닛 (32), 합산기들 (48 및 51), 및 메모리 (34) 를 포함한다. 비디오 인코더 (50) 는 또한, 변환 유닛 (38) 및 양자화 유닛 (40), 뿐만 아니라 역 양자화 유닛 (42) 및 역 변환 유닛 (44) 을 포함한다. 비디오 인코더 (50) 는 또한, 엔트로피 코딩 유닛 (46), 및 필터 유닛 (47) 을 포함한다. 필터 유닛 (47) 은 본 개시물과 일치하는 필터링을 수행한다. 특히, 필터 유닛 (47) 은 수평이나 수직인 제 1 디멘전에서 비디오 데이터에 1D 스위칭 필터를 적용하고, 제 1 디멘전에 수직인 제 2 디멘전에서 비디오 데이터에 1D 적응 필터를 적용한다. 또한, 필터 유닛 (47) 은 디코더에 대한 필터들을 식별하도록 인코딩된 비트스트림 내의 포함을 위해 필터들을 선택하고 신택스 정보를 생성할 수도 있다. 생성된 신택스 정보는 1D 적응 필터에 대한 필터 계수들, 및 1D 스위칭 필터를 식별하기 위한 인덱스 값을 포함할 수도 있다.

일부 예들에서, 필터 유닛 (47) 은, 선택적 방식으로 루프 필터링 (예를 들어 일부 비디오 블록들을 필터링하고 다른 비디오 블록들을 필터링하지 않음) 을 적용할 수도 있다. 필터 유닛 (47) 은 필터링이 재구성된 비디오 블록을 개선했는지 또는 저하했는지 여부를 결정하도록 각 블록을 필터링하고 필터링된 블록 및 필터링되지 않은 블록을 인코딩되고 있는 오리지널 비디오 블록에 비교할 수도 있다. 필터 유닛 (47) 은 또한, 인코딩된 데이터의 슬라이스의 어느 블록들이 필터링되어야 하는지 및 어느 블록들이 필터링되지 않은 채로 있어야 하는지를 시그널링하는 필터 맵을 생성할 수도 있다. 이 필터 맵, 뿐만 아니라 다른 필터 신택스 정보가 필터 유닛 (47) 으로부터 엔트로피 인코딩 유닛 (46) 으로 통신될 수도 있다. 필터 신택스 정보, 예를 들어, 필터 맵, 1D 스위칭 필터에 대한 인덱스 및 1D 적응 필터에 대한 계수들이 인코딩된 비디오 슬라이스와 연관된 슬라이스 헤더 (또는 다른 통계적 데이터 구조) 에 포함될 수도 있다. 다시, 슬라이스는 일반적으로 전체 프레임 또는 프레임의 일부를 지칭하고, 통상적으로 LCU 들에 포함된 더 작은 비디오 블록들 또는 LCU 들에 적용 가능한 슬라이스-레벨 신택스 정보 및 LCU 들의 세트를 포함한다.

일반적으로, 인코딩 프로세스 동안, 비디오 인코더 (50) 는 코딩될 비디오 블록을 수신하고, 예측 유닛 (32) 은 예측 코딩 기법들을 수행한다. 비디오 블록은 상기에서 요약된 바와 같이 CU 또는 PU 를 포함할 수도 있고, 또는 일반적으로 블록 기반 비디오 코딩 기법 또는 표준과 일치하는 비디오 데이터의 임의의 블록을 포함할 수도 있다. 인터 코딩에 있어서, 예측 유닛 (32) 은 예측 블록을 정의하기 위해 하나 이상의 비디오 레퍼런스 프레임들 또는 슬라이스들 (예를 들어, 레퍼런스 데이터의 하나 이상의 "리스트") 에서의 각종 블록들에 인코딩되는 비디오 블록을 비교한다. 인트라 코딩에 있어서, 예측 유닛 (32) 은 동일한 코딩 유닛 내의 이웃하는 데이터에 기초하여 예측 블록을 생성한다. 예측 유닛 (32) 은 잔여 블록을 생성하기 위해 코딩되고 있는 비디오 블록에서 예측 블록을 감산한다.

인터 코딩에 있어서, 예측 유닛 (32) 은 모션 벡터에 기초하여 예측 블록을 생성하고 예측 블록을 포인트하는 모션 벡터를 식별하는 모션 보상 유닛 및 모션 추정 유닛을 포함할 수도 있다. 통상적으로, 모션 추정은 모션을 추정하는 모션 벡터를 생성하는 프로세스로 고려된다. 예를 들어, 모션 벡터는 현재 프레임 내에서 코딩되고 있는 현재 블록에 대해 예측 프레임 내의 예측 블록의 변위를 나타낼 수도 있다. 모션 보상은 통상적으로, 모션 추정에 의해 결정된 모션 벡터에 기초하여 예측 블록을 생성하거나 페치하는 프로세스로 고려된다. 인트라 코딩에 있어서, 예측 유닛 (32) 은 동일한 코딩 유닛 내의 이웃하는 데이터에 기초하여 예측 블록을 생성한다. 하나 이상의 인트라 예측 모드들은, 인트라 예측 블록이 정의될 수 있는 방법을 정의할 수도 있다.

인터 코딩에 대한 모션 보상은 서브 픽셀 레졸루션에 대한 보간들을 포함할 수도 있다. 따라서, 예측 유닛 (32) 은 1/2 픽셀 레졸루션, 1/4 픽셀 레졸루션, 또는 심지어 더 미세한 레졸루션으로 예측 데이터를 보간하기 위한 하나 이상의 보간 필터들을 포함할 수도 있다. 이는 이러한 서브 픽셀 레졸루션에 대한 비디오 블록들의 모션을 추정하기 위해 모션 추정 프로세스를 허용한다.

예측 유닛 (32) 이 예측 블록을 출력한 후, 및 합산기 (48) 가 잔여 블록을 생성하기 위해 코딩되고 있는 비디오 블록에서 예측 블록을 감산한 후, 변환 유닛 (38) 은 잔여 블록에 변환을 적용한다. 변환은 ITU H.264 표준 또는 HEVC 표준에 의해 정의된 바와 같이 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환을 포함할 수도 있다. 일부 예들에서, HEVC 표준과 일치하여, 변환의 크기는 예를 들어, 소정의 LCU 에 대하여 발생하는 파티셔닝의 레벨에 따라 상이한 CU 들에 대해 변할 수도 있다. 변환 유닛 (TU) 들은 변환 크기를 설정하기 위해 정의될 수도 있다. 웨이블릿 변환들, 정수 변환들, 서브-대역 변환들 또는 다른 유형들의 변환들이 또한 사용될 수 있다. 임의의 경우, 변환 유닛은 잔여 블록에 변환을 적용하여, 잔여 변환 계수들의 블록을 생성한다. 일반적으로, 변환은 픽셀 도메인에서 주파수 도메인으로 잔여 정보를 컨버팅할 수도 있다.

양자화 유닛 (40) 은 그 후, 비트 레이트를 더 감소시키기 위해 잔여 변환 계수들을 양자화한다. 양자화 유닛 (40) 은, 예를 들어 계수들 각각을 코딩하는데 사용된 비트들의 수를 제한할 수도 있다. 양자화 후에, 엔트로피 코딩 유닛 (46) 은 데이터를 스캔하고 엔트로피 인코딩할 수도 있다. 예를 들어, 엔트로피 코딩 유닛 (46) 은 2 차원 표현으로부터 하나 이상의 연재된 1 차원 벡터들로 양자화된 계수 블록을 스캔할 수도 있다. 스캔 순서는 정의된 순서 (예컨대, 지그재그 스캐닝 또는 다른 미리 정의된 순서) 로 발생하도록 미리 프로그래밍될 수도 있고, 또는 가능하게는 이전의 코딩 통계치들에 기초하여 적응적으로 정의될 수도 있다. 이 스캐닝 프로세스 다음에, 엔트로피 인코딩 유닛 (46) 은 엔트로피 코딩 방법론에 따라 (본원에 설명된 필터 신택스 정보와 같은 임의의 신택스 엘리먼트들과 함께) 양자화된 변환 계수들을 인코딩한다. 엔트로피 코딩 유닛 (46) 에 의해 사용될 수도 있는 엔트로피 코딩 기법들의 예들은 콘텍스트 적응적 가변 길이 코딩 (CAVLC) 및 콘텍스트 적응적 바이너리 산술 코딩 (CABAC) 을 포함한다. 엔트로피 코딩된 비트스트림에 포함된 신택스 엘리먼트들은 예측 유닛 (32) 으로부터의 예측 신택스, 에컨대 인트라 코딩을 위한 예측 모드들 또는 인터 코딩을 위한 모션 벡터들을 포함할 수도 있다. 엔트로피 코딩된 비트스트림에 포함된 신택스 엘리먼트들은, 본원에 설명된 방식으로 인코딩될 수 있는 필터 유닛 (47) 으로부터의 필터 정보를 또한 포함할 수도 있다.

CAVLC 는, 엔트로피 코딩 유닛 (46) 에 의한 벡터화된 단위 (vectorized basis) 에 적용될 수도 있는, ITU H.264 표준 및 최근에 생겨난 HEVC 표준에 의해 지원된 엔트로피 코딩 기법의 일 유형이다. CAVLC 는 변환 계수들 및/또는 신택스 엘리먼트들의 연재된 "런들 (runs)" 을 효율적으로 압축하는 방식으로 가변 길이 코딩 (VLC) 테이블들을 사용한다. CABAC 는, 엔트로피 코딩 유닛 (46) 에 의한 벡터화된 단위에 적용될 수도 있는, ITU H.264 표준 또는 HEVC 표준에 의해 지원된 엔트로피 코딩 기법의 다른 유형이다. CABAC 는 바이너리화, 콘텍스 모델 선택, 및 바이너리 산술 코딩을 포함하는 여러 스테이지들을 수반할 수도 있다. 이 경우, 엔트로피 코딩 유닛 (46) 은 CABAC 에 따라 변환 계수들 및 신택스 엘리먼트들을 코딩한다. 엔트로피 코딩 기법들의 많은 다른 유형들이 또한 존재하고, 새로운 엔트로피 코딩 기법들이 미래에 생겨날 것이다. 본 개시물은 임의의 특정 엔트로피 코딩 기법에 한정되지 않는다.

엔트로피 인코딩 유닛 (46) 에 의한 엔트로피 코딩 다음에, 인코딩된 비디오는 이후의 송신 또는 취출을 위해 다른 디바이스로 송신되거나 아카이빙될 수도 있다. 다시, 인코딩된 비디오는 엔트로피 코딩된 벡터들 및 각종 신택스 정보 (본원에 설명된 필터 정보를 포함) 를 포함할 수도 있고, 이 정보는 디코딩 프로세스를 적절히 구성하기 위해 디코더에 의해 사용될 수 있다. 역 양자화 유닛 (42) 및 역 변환 유닛 (44) 은 역 양자화 및 역 변환을 각각 적용하여 잔여 블록을 픽셀 도메인에서 재구성한다. 합산기 (51) 는 예측 유닛 (32) 에 의해 생성된 예측 블록에 재구성된 잔여 블록을 가산하여 메모리 (34) 에 저장을 위한 재구성된 비디오 블록을 생성한다. 그러나, 이러한 저장 전에, 필터 유닛 (47) 은 비디오 블록에 필터링을 적용하여 비디오 품질을 개선할 수도 있다. 필터 유닛 (47) 에 의한 이러한 필터링은 아티팩트들을 감소시키고 픽셀 경계들을 스무딩할 수도 있다. 더욱이, 필터링은 코딩되고 있는 비디오 블록들에 가까운 매칭들을 포함하는 예측 비디오 블록들을 생성함으로써 압축을 향상시킬 수도 있다.

다시, 필터 유닛 (47) 은 본 개시물과 일치하는 1D 스위칭 필터 및 1D 적응 필터를 적용하고, 선택된 필터들을 적용하여 메모리 (34) 내에 저장하기 위한 비디오 데이터를 재구성한다. 또한, 필터 유닛 (47) 은 선택된 필터들을 디코더로 시그널링하기 위한 신택스 정보를 생성한다. 이러한 필터 신택스 정보는 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 한 번 발생될 수도 있고, 예를 들어 슬라이스 헤더의 일부로서 비트스트림 내의 포함을 위해 엔트로피 코딩 유닛 (46) 으로 포워딩될 수도 있다. 특히, 필터 유닛 (47) 은 1D 스위칭 필터들의 세트에 대하여 1D 스위칭 필터의 인덱스를 식별하는 신택스 엘리먼트를 생성하는, 1D 스위칭 필터를 선택하고, 1D 적응 필터에 대한 계수들을 식별할 수도 있다. 필터 유닛 (47) 은 1D 스위칭 필터를 선택하고, 신택스 엘리먼트를 생성하며, 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 적어도 한 번 발생하는 1D 적응 필터에 대한 계수들을 식별하고, 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 LCU 들의 세트에 대응한다. 일부 경우들에서, 필터 유닛 (47) 은 또한, 슬라이스 당 적어도 한 번 발생할 수도 있는, 1D 스위칭 필터 또는 1D 적응 필터 중 어느 하나와 연관된 방향을 정의하는 신택스 엘리먼트를 생성할 수도 있다. 일부 슬라이스들에 대해, 예를 들어 복잡도를 더 감소키기 위해 필터 유닛 (47) 은 수평 또는 수직 중 어느 하나인 제 1 디멘전에서 비디오 데이터에 제 1 의 1D 스위칭 필터를 적용하고, 제 1 디멘전에 수직한 제 2 디멘전에서 제 2 의 1D 스위칭 필터를 적용할 수도 있다.

필터링은 슬라이스의 CU 들의 서브세트에 대해서만 수행될 수도 있다. 이 경우, 필터 유닛 (47) 은 필터링되는 슬라이스의 코딩 유닛들의 서브세트를 정의하는 필터 맵을 생성할 수도 있다. 필터 유닛 (47) 은 모든 비디오 블록 (예를 들어, 슬라이스의 모든 CU 및 PU) 을 실제로 필터링할 수도 있지만, 필터링이 비디오 품질을 개선했는지 아닌지 여부를 결정할 수도 있다. 그렇다면, 필터 유닛 (47) 은, 필터링이 그 비디오 블록에 대해 턴 온되어야 한다는 것을 나타내도록 필터 맵에서 플래그를 코딩함으로써 그 소정의 비디오 블록에 대하여 필터링을 턴온할 수도 있다. 본 개시물의 필터링은 "루프 필터링" (예를 들어, 소위 "인 루프 필터링" 또는 소위 "포스트 루프 필터링") 으로서 지칭될 수도 있다. 루프 필터링은, 비디오 블록들의 에지들을 필터링하는 디블록 필터링 프로세스 후에 발생할 수도 있다. 따라서, 필터 유닛 (47) 은, 일부 예들에서 본 개시물에 설명된 루프 필터링 이전에 디블록 필터링을 수행할 수도 있다.

도 3 은 비디오 디코더 (60) 의 예를 예시하는 블록도이고, 이 디코더는 본원에 설명된 방식으로 인코딩되는 비디오 시퀀스를 디코딩한다. 본 개시물의 필터링 기법들은 일부 예들에서 비디오 디코더 (60) 에 의해 수행될 수도 있다. 비디오 디코더 (60) 에서 수신된 비디오 시퀀스는 이미지 프레임들의 인코딩된 세트, 프레임 슬라이스들의 세트, 통상적으로 코딩된 픽처들의 그룹들 (GOPs), 또는 이러한 비디오 블록들을 디코딩하는 방법을 정의하기 위해 인코딩된 비디오 블록들 (예컨대, CU 들 및 가능하게는 PU 들) 및 신택스 정보를 포함하는 비디오 정보의 광범위한 유닛들을 포함할 수도 있다.

비디오 디코더 (60) 는 엔트로피 디코딩 유닛 (52) 을 포함하고, 이는 도 2 의 엔트로피 인코딩 유닛 (46) 에 의해 수행된 인코딩의 레시프로컬 (reciprocal) 디코딩 기능을 수행한다. 특히, 엔트로피 디코딩 유닛 (52) 은 CAVLC 또는 CABAC 디코딩, 또는 비디오 인코더 (50) 에 의해 사용된 엔트로피 디코딩의 임의의 다른 유형을 수행할 수도 있다. 1 차원의 연재된 포맷으로 엔트로피 디코딩된 비디오 블록들은 계수들의 하나 이상의 1 차원 벡터들로부터 다시 2 차원 블록 포맷으로 컨버팅될 수도 있다. 이 벡터들의 수 및 크기, 뿐만 아니라 비디오 블록들에 대해 정의된 스캔 순서는 2 차원 블록이 재구성되는 방법을 정의할 수도 있다. 엔트로피 디코딩된 예측 신택스는 엔트로피 디코딩 유닛 (52) 으로부터 예측 유닛 (54) 으로 전송될 수도 있고, 엔트로피 디코딩된 필터 정보는 엔트로피 디코딩 유닛 (52) 으로부터 필터 유닛 (57) 으로 전송될 수도 있다.

비디오 디코더 (60) 는 또한, 예측 유닛 (54), 역 양자화 유닛 (56), 역 변환 유닛 (58), 메모리 (62), 및 합산기 (64) 를 포함한다. 또한, 비디오 디코더 (60) 는 또한, 합산기 (64) 의 출력을 필터링하는 필터 유닛 (57) 을 포함한다. 본 개시물과 일치하여, 필터 유닛 (57) 은 엔트로피 디코딩된 필터 정보를 수신할 수도 있고, 본 개시물과 일치하는 루프 필터링을 적용할 수도 있다. 비디오 인코더 (50) 를 이용하면, 비디오 디코더 (60) 는 예측 유닛 (54) 및 필터 유닛 (57) 을 포함한다. 비디오 디코더 (60) 의 예측 유닛 (54) 은 모션 보상 엘리먼트들 및 가능하게는 모션 보상 프로세스에서 서브 픽셀 보간을 위한 하나 이상의 보간 필터들을 포함할 수도 있다.

비디오 인코더 (50) 와 같이, 비디오 디코더 (60) 에서, 필터 유닛 (57) 은 본 개시물과 일치하는 1D 스위칭 필터 및 1D 적응 필터를 적용하고, 메모리 (34) 내의 저장을 위해 비디오 데이터를 재구성하도록 선택될 필터들을 적용한다. 디코딩 측에서, 비디오 디코더 (60) 는 필터링되는 슬라이스의 코딩 유닛들의 서브세트를 정의하는 필터 맵을 수신할 수도 있고, 이러한 필터링을 위해 필터 맵이 식별하는 이들 비디오 블록들에 필터링을 적용할 수도 있다. 비디오 디코더 (60) 는 1D 스위칭 필터들의 세트에 대하여 1D 스위칭 필터를 식별하는 1D 스위칭 필터의 인덱스를 수신할 수도 있고, 1D 적응 필터에 대한 계수들을 식별하는 정보를 수신할 수도 있다. 이 신택스 정보 (예를 들어, 필터 맵, 1D 스위칭 필터에 대한 인덱스 및 1D 적응 필터에 대한 계수들) 는 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 적어도 한 번 비트스트림에서 수신될 수도 있다. 신택스 정보는 또한, 1D 스위칭 필터 또는 1D 적응 필터 중 어느 하나와 연관된 방향을 식별하는 정보를 포함할 수도 있다.

본 개시물에 따르면, 인코더는 1D 스위칭 필터 및 1D 적응 필터를 선택하고, 인코더에서 비디오 데이터를 재구성하도록 선택된 필터들을 적용한다. 또한, 인코더는 디코더로 선택된 필터들을 시그널링하기 위한 신택스 정보를 생성한다. 디코더는 그 후, 인코더에 의해 선택 및 정의되었던 동일한 필터링을 적용한다. 설명된 바와 같이, 필터 시그널링은 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 한 번 발생할 수도 있다. 일 예로써, 시그널링은 다음의 의사코드에 따라 정의된다:

1. 1D 스위칭 필터에 대한 (또는 적응 필터에 대한) 방향을 시그널링,

2. 1D 스위칭 필터의 필터 인덱스를 시그널링, 및

3. 1D 적응 필터의 계수들을 시그널링.

이 시그널링 모두는 고정 길이 코딩 또는 가변 길이 코딩에 따라 구현될 수도 있고, 또는 예를 들어, 이전의 필터 계수들 또는 기지의 필터 계수들에 대한 잔여 차이들 (또는 델타들) 을 사용하여 필터 계수들이 코딩되는 예측 코딩을 통합할 수도 있다.

방향 시그널링은, 필터들 중 어느 하나에 대한 수평 및 수직 방향들을 포함하는, 필터들이 적용될 수도 있는 모든 가능한 방향들을 커버하도록 설계될 수도 있다. 일부 경우들에서, 스위칭 필터 세트는 스위칭 필터에 대해 정의된 방향에 따라 상이하게 설계될 수 있다. 적응 필터는 플렉서블 필터 탭 크기 또는 고정 필터 탭 크기를 가질 수도 있다. 필터들의 필터 써포트 (즉, 형상) 이 또한 선택가능할 수도 있다. 임의의 이러한 필터 피처들 (예를 들어, 필터 크기, 필터 형상, 필터 계수들 등) 은 인코딩된 데이터의 슬라이스 당 적어도 한 번 인코더에서 디코더로 통신될 수도 있다.

다른 예에서, 2 개의 분리된 스위치 필터들이 일부 경우들에서 (즉, 일부 슬라이스들에 대해) 허용되어 적응 필터가 사용되지 않는 경우 복잡도를 감소시킬 수도 있다. 이 경우, 시그널링은 다음의 의사코드에 의해 정의될 수도 있다:

1. 2 개의 1D 스위치들이 적용되는지 여부를 시그널링.

예이면 2 로 가기. 그렇지 않으면 5 로 가기.

2. 1D 스위칭 필터들에 대한 방향들을 시그널링.

3. 1D 스위칭 필터들의 필터 인덱스들을 시그널링.

4. 8 로 가기.

5. 1D 스위칭 필터에 대한 (또는 적응 필터에 대한) 방향을 시그널링.

6. 1D 스위칭 필터의 필터 인덱스를 시그널링.

7. 1D 적응 필터의 계수들을 시그널링.

8. 종료.

설명된 바와 같이, 디블록킹 필터는 디코더에 의해, 또는 재구성된 픽처에 대한 인코더의 디코딩 루프에서 적용되어, 픽처 품질을 향상시킬 수도 있다. 본 개시물과 일치하여, 1D 적응 루프 필터 및 1D 스위칭 루프 필터는, 일부 또는 모든 비디오 블록들 (예를 들어, 일부 또는 모든 CU 들 또는 PU 들) 에 대해 디코딩된 픽처 품질을 더 향상시키기 위해 디블록킹 필터 후에 (인코더 및 디코더에서) 디코딩 프로세스에 추가될 수도 있다. 픽처 품질을 유지하고 연산을 감소시키기 위해, 분리 가능하지 않은 필터들이 적용되어 I-슬라이스들을 필터링할 수 있는 한편, 분리 가능한 1D 필터들은 P-슬라이스들 및 B-슬라이스들의 필터링 등에만 적용될 수도 있다. 이 방식으로, 본 개시물의 기법들은 비디오 슬라이스들의 특정 유형들에 선택적으로 적용될 수도 있는 한편, 다른 기법들은 비디오 슬라이스들의 다른 유형들에 사용될 수도 있다.

슬라이스는 비디오 블록들 (또는 LCU들) 로 분할될 수도 있고, 각각의 비디오 블록은 쿼드트리 구조에 따라 파티셔닝될 수도 있다. 전술된 바와 같이, 도 4 및 도 5 는 슬라이스 (예를 들어, LCU) 내의 비디오 블록이 서브 블록들 (예를 들어, 더 작은 CU 들) 로 파티셔닝될 수 있는 방법에 대한 일 예를 나타낸다. 도 4 에 도시된 바와 같이, "온 (ON)" 으로 표시된 쿼드트리 서브 블록들은 본원에 설명된 루프 필터들에 의해 필터링될 수도 있는 한편, "오프 (OFF)" 로 표시된 쿼드트리 서브 블록들은 필터링되지 않을 수도 있다. 소정의 블록 또는 서브 블록을 필터링하는지 또는 안하는지의 결정은 코딩되고 있는 오리지널 블록에 대해 필터링된 결과 및 비-필터링된 결과를 비교함으로써 인코더에서 결정될 수도 있다. 도 5 는 도 4 에 도시된 쿼드트리 파티셔닝을 초래하는 파티셔닝 결정들을 나타내는 결정 트리이다.

특히, 도 4 는 가변 크기들의 더 작은 비디오 블록들로의 쿼드트리 분배 스킴에 따라 파티셔닝되는 대형 비디오 블록을 나타낼 수도 있다. 비디오 블록에 대해 필터링이 적용되는지 또는 회피되는지 여부를 예시하기 위해 도 4 에서 각각의 비디오 블록은 라벨링 (온 또는 오프) 된다. 비디오 인코더는 코딩되고 있는 오리지널 비디오 블록에 각각의 비디오 블록의 필터링된 및 필터링되지 않은 버전들을 비교함으로써 이 필터 맵을 정의할 수도 있다.

다시, 도 5 는 도 4 에 도시된 쿼드트리 파티셔닝을 초래하는 파티셔닝 결정들에 대응하는 결정 트리이다. 도 5 에서, 각각의 원은 CU 에 대응할 수도 있다. 원이 "1" 플래그를 포함하면, 그 CU 는 4 개 이상의 CU 들로 더 파티셔닝되지만, 원이 "0" 플래그를 포함하면, 그 CU 는 더이상 파티셔닝되지 않는다. 각각의 원 (예를 들어, CU 들에 대응함) 은 또한, 연관된 삼각형을 포함한다. 소정의 CU 에 대한 삼각형에서 플래그가 1 로 설정되면, 필터링은 그 CU 에 대해 턴 "온" 되지만, 소정의 CU 에 대한 삼각형에서 플래그가 0 으로 설정되면, 필터링은 턴 오프된다. 이 방식으로, 도 4 및 도 5 는 개별적으로 또는 총괄하여 각각의 파티셔닝된 비디오 블록 (예를 들어, LCU 내의 각각의 CU) 에 필터링을 적용하든 안하든 소정의 비디오 블록 (예를 들어, LCU) 에 대한 쿼드트리 파티셔닝의 레벨을 통신하기 위해, 인코딩된 비디오 데이터의 슬라이스 당 적어도 한 번 인코더에서 생성되고 디코더로 통신될 수 있는 필터 맵으로서 보여질 수도 있다.

도 6 은 비디오 인코더 또는 비디오 디코더에 의해 수행될 수도 있는 프로세스를 예시하는 흐름도이다. 도 6 은 도 2 의 비디오 인코더 (50) 및 도 3 의 비디오 디코더 (60) 의 관점에서 설명될 것이지만, 다른 디바이스들 또는 코더들이 또한 프로세스를 수행할 수 있다. 도 6 에 도시된 바와 같이, 비디오 인코더 (50) 또는 비디오 디코더 (60) 는 인코딩 프로세스 또는 디코딩 프로세스의 일부로서 재구성된 비디오 데이터를 생성한다 (601). 인코딩 프로세스에 있어서, 재구성된 비디오 데이터의 이 생성은 비디오 인코더 (50) 의 디코딩 루프에 대응할 수도 있다.

비디오 인코더 (50) 의 필터 유닛 (47) 또는 비디오 디코더 (60) 의 필터 유닛 (57) 은 재구성된 비디오 데이터의 루프 필터링을 위해 1D 스위칭 필터를 적용한다 (602). 언급된 바와 같이, 이 루프 필터는 슬라이스의 비디오 블록의 서브세트에만 수행될 수도 있고, 필터 유닛들 (47 및 57) 에 의해 또한 수행될 수도 있는 디블록 필터링 프로세스를 뒤따를 수도 있다. 임의의 경우, 필터 유닛 (47) 또는 필터 유닛 (57) 은 그 후, 인코딩된 데이터의 루프 필터링을 위해 1D 적응 필터를 적용한다 (603). 1D 적응 필터 및 1D 스위칭 필터의 사용은 2 개의 1D 적응 필터들로 달성될 수 있는 품질의 레벨에 접근하는 필터링 품질을 제공할 수 있으나, 2 개의 1D 적응 필터들의 사용에 비해 복잡도를 감소시키는 그러한 방식으로는 행한다. 또한, 1D 적응 필터 및 1D 스위칭 필터의 적용의 순서는 역전될 수 있음이 주목된다. 다시 말하면, 1D 필터들은 분리 가능한 필터들일 수도 있다. 그러나, 다른 경우들에서, 필터링을 위해 사용되는 1D 적응 필터는 또한, 1D 스위칭 필터에 대한 인덱스가 1D 적응 필터에 기초하여 정의되는 1D 스위칭 필터들의 세트에 적용하도록 1D 스위칭 필터들의 세트를 정의하는데 사용될 수 있다. 이 후자의 경우에서, 1D 필터들은 분리 가능한 필터들이 아닐 수도 있다.

도 7 은 본 개시물과 일치하는 비디오 인코더에 의해 수행될 수도 있는 프로세스를 예시하는 흐름도이다. 도 7 은 도 2 의 비디오 인코더 (50) 의 관점에서 설명될 것이지만, 다른 디바이스들 또는 코더들이 또한 프로세스를 수행할 수 있다. 도 7 에 도시된 바와 같이, 비디오 인코더 (50) 의 필터 유닛 (47) 은, 예컨대 상이한 필터 계수들을 적용하고 필터링의 품질을 액세스함으로써 1D 적응 필터의 계수들을 결정한다 (701). 적응 필터 계수들을 결정하는 이 프로세스는 완전한 검색일 수도 있고, 또는 가능한 계수들의 더 제한된 검색을 수반할 수 있다.

필터 유닛 (47) 은 또한, 1D 스위칭 필터들의 세트로부터 1D 스위칭 필터를 선택할 수도 있다 (702). 1D 스위칭 필터를 선택하는 프로세스는, 필터의 계수들의 상이한 세트들이 고려되는 적응 필터링 프로세스와 유사할 수도 있다. 그러나, 1D 스위칭 필터를 선택하는 프로세스는 또한, 1D 스위칭 필터가 미리 정의된 가능성들의 더 제한된 세트로부터 선택되기 때문에 적응 필터링에 비해 더 간단한 프로세스일 수도 있다.

일단 선택되면, 필터 유닛 (47) 은 예를 들어, 수평 및 수직 디멘전 (또는 그 반대의 경우) 에서 1D 적응 필터 및 1D 스위칭 필터를 적용한다 (703). 2 개의 상이한 1D 필터들이 서로에 대해 수직하게 배향되는 한, 대각선 필터링이 또한 사용될 수도 있다. 임의의 경우에서, 필터 유닛 (47) 은 미리 정의된 스위칭 필터들의 세트에 대해 선택된 1D 스위칭 필터를 식별하도록 신택스 엘리먼트 (예컨대, 필터 인덱스) 를 인코딩한다 (704). 또한, 필터 유닛 (47) 은 1D 적응 필터의 계수들을 식별하도록 추가로 신택스 엘리먼트들을 인코딩한다 (705). 이 인코딩은, 인코딩된 비트스트림이 각각의 슬라이스를 디코딩하는데 필요한 필터 정보를 포함하도록 인코딩된 데이터의 슬라이스 당 적어도 한 번 발생할 수도 있다.

도 8 은 본 개시물과 일치하는 비디오 인코더에 의해 수행될 수도 있는 프로세스를 예시하는 흐름도이다. 도 8 은 도 7 과 매우 유사하고, 도 2 의 비디오 인코더 (50) 의 관점에서 설명될 것이지만, 다른 디바이스들 또는 코더들이 또한 프로세스를 수행할 수 있다. 도 8 에 도시된 바와 같이, 비디오 인코더 (50) 의 필터 유닛 (47) 은, 예컨대 상이한 필터 계수들을 적용하고 필터링의 품질을 액세스함으로써 1D 적응 필터의 계수들을 결정한다 (801). 다시, 적응 필터 계수들을 결정하는 이 프로세스는 완전한 검색일 수도 있고, 또는 가능한 계수들의 더 제한된 검색을 수반할 수 있다.

필터 유닛 (47) 은 또한, 1D 스위칭 필터들의 세트로부터 1D 스위칭 필터를 선택할 수도 있다 (802). 일단 선택되면, 필터 유닛 (47) 은 예를 들어, 수평 및 수직 디멘전 (또는 그 반대의 경우) 에서 1D 적응 필터 및 1D 스위칭 필터를 적용한다 (803). 다른 예들에서 대각선 필터링이 또한 사용될 수도 있다. 임의의 경우에서, 필터 유닛 (47) 은 미리 정의된 스위칭 필터들의 세트에 대해 선택된 1D 스위칭 필터를 식별하도록 신택스 엘리먼트 (예컨대, 필터 인덱스) 를 인코딩한다 (804). 또한, 필터 유닛 (47) 은 1D 적응 필터의 계수들을 식별하도록 추가로 신택스 엘리먼트들을 인코딩한다 (805). 더욱이, 필터 유닛 (47) 은 1D 필터들 중 적어도 하나와 연관된 방향 (예를 들어, 수평 또는 수직) 을 식별하도록 또 다른 신택스 엘리먼트를 인코딩할 수도 있다 (806). 필터들 중 하나의 방향을 고려하면, 다른 1D 필터들과 연관된 방향은 디코더에 의해 암시될 수 있다. 다른 예들을 이용함으로써, 필터 정보의 이 인코딩은 인코딩된 비트스트림이 각각의 슬라이스를 디코딩하는데 필요한 필터 정보를 포함하도록 인코딩된 데이터의 슬라이스 당 적어도 한 번 발생할 수도 있다.

도 9 는 본 개시물과 일치하는 비디오 인코더에 의해 수행될 수도 있는 프로세스를 예시하는 다른 흐름도이다. 도 9 는 도 7 및 도 8 과 유사하고, 도 2 의 비디오 인코더 (50) 의 관점에서 설명될 것이지만, 다른 디바이스들 또는 코더들이 또한 프로세스를 수행할 수 있다. 도 9 에 도시된 바와 같이, 비디오 인코더 (50) 의 필터 유닛 (47) 은 예컨대, 상이한 필터 계수들을 적용하고 필터링의 품질을 액세스함으로써 1D 적응 필터의 계수들을 결정한다 (901). 다시, 적응 필터 계수들을 결정하는 이 프로세스는 완전한 검색 (exhaustive search) 일 수도 있고, 또는 가능한 계수들의 더 제한된 검색을 수반할 수 있다.

필터 유닛 (47) 은 또한, 1D 스위칭 필터들의 세트로부터 1D 스위칭 필터를 선택할 수도 있다 (902). 일단 선택되면, 필터 유닛 (47) 은 예를 들어, 수평 및 수직 디멘전 (또는 그 반대의 경우) 에서 1D 적응 필터 및 1D 스위칭 필터를 적용한다 (903). 다른 예들에서 대각선 필터링이 또한 사용될 수도 있다. 임의의 경우에서, 필터 유닛 (47) 은 미리 정의된 스위칭 필터들의 세트에 대해 선택된 1D 스위칭 필터를 식별하도록 신택스 엘리먼트 (예컨대, 필터 인덱스) 를 인코딩한다 (904). 또한, 필터 유닛 (47) 은 1D 적응 필터의 계수들을 식별하도록 추가로 신택스 엘리먼트들을 인코딩한다 (905).

도 9 의 예에서, 필터 유닛 (47) 은 슬라이스 내의 어느 블록들이 필터링되는지를, 그리고 어느 블록이 필터링되지 않은 채로 남아 있는지를 정의하도록 필터 맵을 생성할 수도 있다 (906). 필터 유닛 (47) 은 이러한 블록들을 필터링하는지 또는 필터링하지 않는지 여부를 결정하기 위해 코딩되고 있는 비디오 블록들에 필터링된 그리고 필터링되지 않은 블록들을 비교할 수도 있다. 전술된 바와 같이, 도 4 및 도 5 는 개별적으로 또는 총괄하여, 각각의 파티셔닝된 비디오 블록 (예를 들어, LCU 내의 각각의 CU) 에 필터링을 적용하든 안하든 소정의 비디오 블록 (예를 들어, LCU) 에 대한 쿼드트리 파티셔닝의 레벨을 통신하기 위해 인코딩된 비디오 데이터의 슬라이스 당 적어도 한 번 인코더에서 생성되고 디코더로 통신될 수 있는 필터 맵으로서 보여질 수도 있다. 비디오 코딩 디바이스 (예를 들어, 소스 디바이스 (12)) 는, 필터 맵 및 신택스 엘리먼트들에 기초하여 목적지 디바이스에 의해 적절한 필터링이 적용될 수 있도록 인코딩된 데이터의 슬라이스와 필터 맵 및 신택스 엘리먼트들을 통신할 수도 있다 (907). 예를 들어, 필터 맵 및 신택스 엘리먼트들은 슬라이스에 대해 신택스를 정의하도록 디코더에 의해 알려진 슬라이스 헤더, 슬라이스 푸터, 또는 비트스트림의 다른 데이터 엘리먼트로 통신될 수도 있다. 필터는 또한, 인코딩된 데이터의 슬라이스와 연관된 "필터 신택스 정보" 의 일부로서 지칭될 수도 있다.

도 10 은 본 개시물과 일치하는 비디오 인코더에 의해 수행될 수도 있는 프로세스를 예시하는 다른 흐름도이다. 이 경우에서, 비디오 인코더는 비디오 시퀀스 내의 비디오 데이터의 상이한 슬라이스들에 상이한 유형들의 필터링을 수행할 수도 있다. 특히, 도 10 에 따르면, 일부 슬라이스들은 (본 개시물와 일치하는) 1D 적응 필터 및 1D 스위치된 필터를 사용할 수도 있는 한편, 다른 프레임들은 단지 스위칭 필터들만을 사용한다. 도 10 은 도 2 의 비디오 인코더 (50) 의 관점에서 설명될 것이지만, 다른 디바이스들 또는 코더들은 또한 프로세스를 수행할 수 있다. 도 10 에 도시된 바와 같이, 비디오 인코더 (50) 는 인코딩 프로세스의 일부로서 재구성된 비디오 데이터를 생성한다 (1001). 인코딩 프로세스 동안, 이 재구성된 비디오 데이터의 생성은 비디오 인코더 (50) 의 디코딩 루프에 대응할 수도 있다.

비디오 인코더 (50) 의 필터 유닛 (47) 또는 비디오 디코더 (60) 의 필터 유닛 (57) 은 스위칭 필터링 만을 사용하는지 또는 스위칭 필터링 및 적응 필터링의 결합을 사용하는지 여부를 결정한다 (1002). 본 결정은 광범위한 팩터들, 예컨대 이용 가능한 프로세싱 능력들, 이용 가능한 대역폭, 적응 필터링이 이전 슬라이스들에서 발생했는지 아닌지의 여부, 비디오 품질, 또는 다른 팩터들에 기초하여 수행될 수도 있다. 소정의 슬라이스에 대해, 필터 유닛 (47) 이 스위칭 필터링 및 적응 필터링의 결합이 적용되는지를 결정하면, 필터 유닛 (47) 은 1D 스위칭 필터 (1003) 및 1D 적응 필터 (1004) 양자 모두에 적용한다. 그러나, 필터 유닛 (47) 은, 소정 슬라이스에 대해 단지 스위칭 필터링이 그 슬라이스에 적용된다고 결정하면, 필터 유닛 (47) 은 제 1 의 1D 스위칭 필터를 적용하고 (1005) 제 2 의 1D 스위칭 필터를 적용한다 (1006). 필터 유닛은 결정 (결합 또는 단지 스위칭 필터), 뿐만 아니라 이 결정과 연관된 적합한 필터 신택스 정보를 나타내도록 신택스를 생성할 수도 있다.

도 11 은 본 개시물과 일치하는 비디오 디코더에 의해 수행될 수도 있는 프로세스를 예시하는 흐름도이다. 도 11 은 도 3 의 비디오 디코더 (60) 의 관점에서 설명될 것이지만, 다른 디바이스들이 또한 프로세스를 수행할 수도 있다. 도 11 에 도시된 바와 같이, 비디오 디코더의 엔트로피 디코딩 유닛 (52) 은 비디오 데이터의 슬라이스를 수신하고 (1101), 슬라이스와 함께 1D 적응 필터의 계수들을 수신하며 (1102), 슬라이스와 함께 1D 스위칭 필터의 인덱스를 수신한다 (1103). 이 정보는, 예를 들어 슬라이스 헤더로부터 엔트로피 디코딩되고 필터 유닛 (57) 으로 포워딩될 수도 있다. 이 정보에 기초하여, 필터 유닛 (57) 은 슬라이스에 대한 재구성된 비디오 데이터의 루프 필러링을 위해 수신된 계수들을 사용하는 적합한 1D 적응 필터 및 적합한 1D 스위칭 필터를 적용한다 (1105).

도 12 는 본 개시물과 일치하는 비디오 디코더에 의해 수행될 수도 있는 프로세스를 예시하는 다른 흐름도이다. 도 12 는 도 11 와 매우 유사하고, 도 3 의 비디오 디코더 (60) 의 관점에서 설명될 것이지만 다른 디바이스들이 또한 프로세스를 수행할 수도 있다. 도 12 에 도시된 바와 같이, 비디오 디코더의 엔트로피 디코딩 유닛 (52) 은 비디오 데이터의 슬라이스를 수신하고 (1201), 슬라이스와 함께 1D 적응 필터의 계수들을 수신하고 (1202), 슬라이스와 함께 1D 스위칭 필터의 인덱스를 수신하며 (1203), 1D 필터들 중 적어도 하나의 방향을 나타내는 정보를 수신한다 (1204). 1D 필터들 중 하나의 방향을 고려하면, 디코더 (60) 는 다른 1D 필터의 방향을 제 1 의 1D 필터에 수직한 것으로서 암시할 수도 있다. 이 정보는, 예를 들어 슬라이스 헤더로부터 엔트로딩 디코딩되고 필터 유닛 (57) 으로 포워딩될 수도 있다. 이 정보에 기초하여, 필터 유닛 (57) 은 슬라이스에 대한 재구성된 비디오 데이터의 루프 필러링을 위해 수신된 계수들을 사용하는 적합한 1D 적응 필터 및 적합한 1D 스위칭 필터를 적용한다 (1205).

도 13 은 본 개시물과 일치하는 비디오 디코더에 의해 수행될 수도 있는 프로세스를 예시하는 또 다른 흐름도이다. 도 13 은 도 3 의 비디오 디코더 (60) 의 관점에서 설명될 것이지만, 다른 디바이스들이 또한 프로세스를 수행할 수도 있다. 도 12 에 도시된 바와 같이, 비디오 디코더의 엔트로피 디코딩 유닛 (52) 은 비디오 데이터의 슬라이스를 수신하고 (1301), 슬라이스와 함께 1D 적응 필터의 계수들을 수신하고 (1302), 슬라이스와 함께 1D 스위칭 필터의 인덱스를 수신하며 (1303), 필터링할 슬라이스의 블록을 정의하기 위해 슬라이스와 필터 맵을 수신한다 (1304). 필터 유닛 (57) 은 필터 맵에 기초하여 슬라이스 내의 특정 블록들의 루프 필터링을 위해 적합한 1D 적응 필터 및 1D 스위칭 필터를 적용한다 (1305).

본 개시물의 기법들은 무선 핸드셋, 및 집적 회로 (IC) 또는 IC 들의 세트 (즉, 칩 세트) 를 포함하는, 광범위한 디바이스들 또는 장치들로 실현될 수도 있다. 임의의 컴포넌트들, 모듈들 또는 유닛들이 기능적 양태들을 강조하기 위해 제공되도록 설명되었고, 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구하지는 않는다.

따라서, 본원에 설명된 기법들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 모듈들 또는 컴포넌트들로서 설명된 임의의 피처들은 통합형 로직 디바이스에 함께 구현될 수도 있고, 또는 별개이지만 상호 동작 가능한 로직 디바이스들로서 별개로 구현될 수도 있다. 소프트웨어에서 구현되는 경우, 기법들은 실행되는 경우 전술된 방법들 중 하나 이상을 수행하는 명령들을 포함하는 컴퓨터 판독가능 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독가능 데이터 저장 매체는, 패키징 재료들을 포함할 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다.

컴퓨터 판독가능 매체는 유형의 컴퓨터 판독가능 저장 매체, 예컨대 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거 가능한 프로그램 가능 판독 전용 메모리 (EEPROM), 플래시 메모리, 자기적 또는 광학적 데이터 저장 매체 등을 포함할 수도 있다. 기법들은 추가적으로, 또는 대안으로 데이터 구조들 또는 명령들의 형태로 코드를 운반 또는 통신하고 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.

명령들은 하나 이상의 프로세서들, 예컨대 하나 이상의 디지털 신호 프로세서 (DSP) 들, 범용 마이크로프로세서들, 주문형 집적회로 (ASIC) 들, 필드 프로그램가능 로직 어레이 (FPGA) 들, 또는 다른 동등한 집적 또는 개별 로직 회로에 의해 실행될 수도 있다. 따라서, 본원에서 사용되는 바와 같은 용어 "프로세서"는 상기의 구조 또는 본원에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 중의 어느 것을 나타낼 수도 있다. 또한, 일부 양태들에서, 본원에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성되는, 또는 결합형 비디오 인코더-디코더 (코덱) 으로 통합되는 전용 소프트웨어 모듈 또는 하드웨어 모듈들 내에 제공될 수도 있다. 또한, 본 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들 내에 완전히 구현될 수 있다.

본 개시물의 각종 양태들이 전술되었다. 이들 및 다른 양태들은 다음의 청구 범위 내에 있다.

Claims

비디오 코딩 프로세스 동안 재구성된 비디오 데이터의 루프 필터링 방법으로서,
수평 또는 수직 중 어느 하나인 제 1 디멘전에서 상기 비디오 데이터에 1 차원 (1D) 스위칭 필터를 적용하는 단계; 및
상기 제 1 디멘전에 수직인 제 2 디멘전에서 상기 비디오 데이터에 1D 적응 필터를 적용하는 단계를 포함하는, 재구성된 비디오 데이터의 루프 필터링 방법.
제 1 항에 있어서,
상기 방법은 인코더에서 적용되고,
상기 방법은,
상기 1D 스위칭 필터를 선택하는 단계;
1D 스위칭 필터들의 세트에 대하여 상기 1D 스위칭 필터의 인덱스를 식별하는 신택스 엘리먼트를 생성하는 단계; 및
상기 1D 적응 필터에 대한 계수들을 식별하는 단계를 더 포함하고,
상기 1D 스위칭 필터를 선택하는 단계, 상기 신택스 엘리먼트를 생성하는 단계, 및 상기 1D 적응 필터에 대한 계수들을 식별하는 단계는 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 적어도 한 번 발생하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (largest coded unit; LCU) 들의 세트에 대응하는, 재구성된 비디오 데이터의 루프 필터링 방법.
제 2 항에 있어서,
슬라이스 당 적어도 한 번, 상기 1D 스위칭 필터 또는 상기 1D 적응 필터 중 어느 하나와 연관된 방향을 정의하는 신택스 엘리먼트를 생성하는 단계를 더 포함하는, 재구성된 비디오 데이터의 루프 필터링 방법.
제 1 항에 있어서,
상기 방법은 인코딩된 비디오 데이터의 시퀀스의 제 1 슬라이스에 대하여 적용되고,
슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하고,
상기 방법은, 제 2 슬라이스에 대해,
수평 또는 수직 중 어느 하나인 상기 제 1 디멘전에서 상기 비디오 데이터에 제 1 의 1D 스위칭 필터를 적용하는 단계; 및
상기 제 1 디멘전에 수직인 상기 제 2 디멘전에서 제 2 의 1D 스위칭 필터를 적용하는 단계를 더 포함하는, 재구성된 비디오 데이터의 루프 필터링 방법.
제 1 항에 있어서,
상기 방법은 슬라이스의 코딩 유닛 (coded unit; CU) 들의 서브세트에 대하여 수행되고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하는, 재구성된 비디오 데이터의 루프 필터링 방법.
제 5 항에 있어서,
상기 방법은 인코더에 의해 수행되고,
상기 방법은,
필터링되는 상기 슬라이스의 코딩 유닛들의 서브세트를 정의하는 필터 맵을 생성하는 단계를 더 포함하는, 재구성된 비디오 데이터의 루프 필터링 방법.
제 5 항에 있어서,
상기 방법은 디코더에 의해 수행되고,
상기 방법은,
필터링되는 상기 슬라이스의 코딩 유닛들의 서브세트를 정의하는 필터 맵을 수신하는 단계를 더 포함하는, 재구성된 비디오 데이터의 루프 필터링 방법.
제 1 항에 있어서,
상기 방법은 상기 재구성된 비디오 데이터의 디블록 필터링 후에 수행되고,
상기 디블록 필터링은 슬라이스의 코딩 유닛 (CU) 들의 에지들에 대하여 발생하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하는, 재구성된 비디오 데이터의 루프 필터링 방법.
제 1 항에 있어서,
상기 방법은 디코더에서 적용되고,
상기 방법은,
1D 스위칭 필터들의 세트에 대하여 상기 1D 스위칭 필터를 식별하는 상기 1D 스위칭 필터의 인덱스를 수신하는 단계; 및
상기 1D 적응 필터에 대한 계수들을 식별하는 정보를 수신하는 단계를 더 포함하고,
상기 인덱스, 및 상기 계수들을 식별하는 정보를 수신하는 단계는, 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 적어도 한 번 발생하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하는, 재구성된 비디오 데이터의 루프 필터링 방법.
제 9 항에 있어서,
슬라이스 당 적어도 한 번,
상기 1D 스위칭 필터 또는 상기 1D 적응 필터 중 어느 하나와 연관된 방향을 식별하는 정보를 수신하는 단계를 더 포함하는, 재구성된 비디오 데이터의 루프 필터링 방법.
제 1 항에 있어서,
상기 루프 필터링은 포스트 루프 필터링, 및 인 루프 필터링 중 하나를 포함하는, 재구성된 비디오 데이터의 루프 필터링 방법.
비디오 코딩 프로세스 동안 재구성된 비디오 데이터의 루프 필터링을 수행하는 비디오 코더 장치로서,
수평 또는 수직 중 어느 하나인 제 1 디멘전에서 상기 비디오 데이터를 필터링하는 1 차원 (1D) 스위칭 필터; 및
상기 제 1 디멘전에 수직인 제 2 디멘전에서 상기 비디오 데이터를 필터링하는 1D 적응 필터를 포함하는, 비디오 코더 장치.
제 12 항에 있어서,
상기 비디오 코더 장치는 필터 유닛을 포함하는 인코더를 포함하고,
상기 필터 유닛은,
상기 1D 스위칭 필터를 선택하고;
1D 스위칭 필터들의 세트에 대하여 상기 1D 스위칭 필터의 인덱스를 식별하는 신택스 엘리먼트를 생성하며;
상기 1D 적응 필터에 대한 계수들을 식별하고,
상기 1D 스위칭 필터를 선택하는 것, 상기 신택스 엘리먼트를 생성하는 것, 및 상기 1D 적응 필터에 대한 계수들을 식별하는 것은 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 적어도 한 번 발생하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (largest coded unit; LCU) 들의 세트에 대응하는, 비디오 코더 장치.
제 13 항에 있어서,
슬라이스 당 적어도 한 번, 상기 필터 유닛은,
상기 1D 스위칭 필터 또는 상기 1D 적응 필터 중 어느 하나와 연관된 방향을 정의하는 신택스 엘리먼트를 생성하는, 비디오 코더 장치.
제 12 항에 있어서,
상기 1D 스위칭 필터 및 상기 1D 적응 필터는 인코딩된 비디오 데이터의 시퀀스 동안 제 1 슬라이스에 대하여 적용되고,
슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하고,
제 2 슬라이스에 대해 상기 비디오 코더 장치는,
수평 또는 수직 중 어느 하나인 상기 제 1 디멘전에서 상기 비디오 데이터를 필터링하는 제 1 의 1D 스위칭 필터; 및
상기 제 1 디멘전에 수직인 상기 제 2 디멘전에서 상기 비디오 데이터를 필터링하는 제 2 의 1D 스위칭 필터를 포함하는, 비디오 코더 장치.
제 12 항에 있어서,
상기 1D 스위칭 필터 및 상기 1D 적응 필터는 슬라이스의 코딩 유닛 (coded unit; CU) 들의 서브세트에 대하여 적용되고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하는, 비디오 코더 장치.
제 16 항에 있어서,
상기 비디오 코더 장치는 필터 유닛을 포함하는 인코더를 포함하고,
상기 필터 유닛은,
필터링되는 상기 슬라이스의 코딩 유닛들의 서브세트를 정의하는 필터 맵을 생성하는, 비디오 코더 장치.
제 16 항에 있어서,
상기 비디오 코더는 디코더를 포함하고,
상기 디코더는,
필터링되는 상기 슬라이스의 코딩 유닛들의 서브세트를 정의하는 필터 맵을 수신하는, 비디오 코더 장치.
제 12 항에 있어서,
상기 1D 스위칭 필터 및 상기 1D 적응 필터는 상기 재구성된 비디오 데이터의 디블록 필터링 후에 적용되고,
상기 디블록 필터링은 슬라이스의 코딩 유닛 (CU) 들의 에지들에 대하여 발생하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하는, 비디오 코더 장치.
제 12 항에 있어서,
상기 비디오 코더는 디코더를 포함하고,
상기 디코더는,
1D 스위칭 필터들의 세트에 대하여 상기 1D 스위칭 필터를 식별하는 상기 1D 스위칭 필터의 인덱스를 수신하며;
상기 1D 적응 필터에 대한 계수들을 식별하는 정보를 수신하고,
상기 디코더는 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 적어도 한 번 상기 인덱스, 및 상기 계수들을 식별하는 정보를 수신하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하는, 비디오 코더 장치.
제 20 항에 있어서,
슬라이스 당 적어도 한 번, 상기 디코더는,
상기 1D 스위칭 필터 또는 상기 1D 적응 필터 중 어느 하나와 연관된 방향을 식별하는 정보를 수신하는, 비디오 코더 장치.
제 12 항에 있어서,
상기 루프 필터링은 포스트 루프 필터링, 및 인 루프 필터링 중 하나를 포함하는, 비디오 코더 장치.
제 12 항에 있어서,
상기 비디오 코더 장치는,
집적 회로;
마이크로프로세서;
비디오 인코더를 포함하는 무선 통신 디바이스; 및
비디오 디코더를 포함하는 무선 통신 디바이스를 포함하는, 비디오 코더 장치.
비디오 코딩 프로세스 동안 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스로서,
수평 또는 수직 중 어느 하나인 제 1 디멘전에서 상기 비디오 데이터에 1 차원 (1D) 스위칭 필터를 적용하기 위한 수단; 및
상기 제 1 디멘전에 수직인 제 2 디멘전에서 상기 비디오 데이터에 1D 적응 필터를 적용하기 위한 수단을 포함하는, 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스.
제 24 항에 있어서,
상기 디바이스는 인코더를 포함하고,
상기 디바이스는,
상기 1D 스위칭 필터를 선택하기 위한 수단;
1D 스위칭 필터들의 세트에 대하여 상기 1D 스위칭 필터의 인덱스를 식별하는 신택스 엘리먼트를 생성하기 위한 수단; 및
상기 1D 적응 필터에 대한 계수들을 식별하기 위한 수단을 더 포함하고,
상기 1D 스위칭 필터를 선택하기 위한 수단, 상기 신택스 엘리먼트를 생성하기 위한 수단, 및 상기 1D 적응 필터에 대한 계수들을 식별하기 위한 수단은 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 적어도 한 번 선택,발생, 및 식별하는 것을 수행하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (largest coded unit; LCU) 들의 세트에 대응하는, 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스.
제 25 항에 있어서,
슬라이스 당 적어도 한 번,
상기 1D 스위칭 필터 또는 상기 1D 적응 필터 중 어느 하나와 연관된 방향을 정의하는 신택스 엘리먼트를 생성하기 위한 수단을 더 포함하는, 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스.
제 24 항에 있어서,
상기 디바이스는 인코딩된 비디오 데이터의 시퀀스 동안 제 1 슬라이스에 대하여 동작되고,
슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하고,
상기 디바이스는, 제 2 슬라이스에 대해,
수평 또는 수직 중 어느 하나인 상기 제 1 디멘전에서 상기 비디오 데이터에 제 1 의 1D 스위칭 필터를 적용하기 위한 수단; 및
상기 제 1 디멘전에 수직인 상기 제 2 디멘전에서 제 2 의 1D 스위칭 필터를 적용하기 위한 수단을 더 포함하는, 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스.
제 24 항에 있어서,
상기 디바이스는 슬라이스의 코딩 유닛 (coded unit; CU) 들의 서브세트에 대하여 동작하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하는, 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스.
제 28 항에 있어서,
상기 디바이스는 인코더를 포함하고,
상기 디바이스는,
필터링되는 상기 슬라이스의 코딩 유닛들의 서브세트를 정의하는 필터 맵을 생성하기 위한 수단을 더 포함하는, 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스.
제 28 항에 있어서,
상기 디바이스는 디코더를 포함하고,
상기 디바이스는,
필터링되는 상기 슬라이스의 코딩 유닛들의 서브세트를 정의하는 필터 맵을 수신하기 위한 수단을 더 포함하는, 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스.
제 24 항에 있어서,
상기 디바이스는 상기 재구성된 비디오 데이터의 디블록 필터링을 위한 수단을 더 포함하고,
상기 1D 스위칭 필터를 적용하기 위한 수단 및 상기 1D 적응 필터를 적용하기 위한 수단은 상기 디블록 필터링을 위한 수단 후에 동작하고,
상기 디블록 필터링을 위한 수단은 슬라이스의 코딩 유닛 (CU) 들의 에지들에 대하여 동작하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하는, 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스.
제 24 항에 있어서,
상기 디바이스는 디코더를 포함하고,
상기 디바이스는,
1D 스위칭 필터들의 세트에 대하여 상기 1D 스위칭 필터를 식별하는 상기 1D 스위칭 필터의 인덱스를 수신하기 위한 수단; 및
상기 1D 적응 필터에 대한 계수들을 식별하는 정보를 수신하기 위한 수단을 더 포함하고,
상기 인덱스, 및 상기 계수들을 식별하는 정보를 수신하기 위한 수단은 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 적어도 한 번 상기 인덱스, 및 상기 계수들을 식별하는 정보를 수신하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하는, 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스.
제 32 항에 있어서,
슬라이스 당 적어도 한 번,
상기 1D 스위칭 필터 또는 상기 1D 적응 필터 중 어느 하나와 연관된 방향을 식별하는 정보를 수신하기 위한 수단을 더 포함하는, 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스.
제 24 항에 있어서,
상기 루프 필터링은 포스트 루프 필터링, 및 인 루프 필터링 중 하나를 포함하는, 재구성된 비디오 데이터의 루프 필터링을 수행하는 디바이스.
프로세서에서 실행 시에 상기 프로세서로 하여금, 비디오 코딩 프로세스 동안 재구성된 비디오 데이터의 루프 필터링을 수행하게 하는 명령들을 포함하는 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 실행 시에 상기 프로세서로 하여금,
수평 또는 수직 중 어느 하나인 제 1 디멘전에서 상기 비디오 데이터에 1 차원 (1D) 스위칭 필터를 적용하게 하며;
상기 제 1 디멘전에 수직인 제 2 디멘전에서 상기 비디오 데이터에 1D 적응 필터를 적용하게 하는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 프로세서는 인코더를 포함하고,
상기 명령들은, 상기 프로세서로 하여금,
상기 1D 스위칭 필터를 선택하게 하고;
1D 스위칭 필터들의 세트에 대하여 상기 1D 스위칭 필터의 인덱스를 식별하는 신택스 엘리먼트를 생성하게 하며;
상기 1D 적응 필터에 대한 계수들을 식별하게 하고,
상기 1D 스위칭 필터를 선택하게 하는 것, 상기 신택스 엘리먼트를 생성하게 하는 것, 및 상기 1D 적응 필터에 대한 계수들을 식별하게 하는 것은 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 적어도 한 번 발생하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (largest coded unit; LCU) 들의 세트에 대응하는, 컴퓨터 판독가능 저장 매체.
제 36 항에 있어서,
상기 프로세서로 하여금, 슬라이스 당 적어도 한 번,
상기 1D 스위칭 필터 또는 상기 1D 적응 필터 중 어느 하나와 연관된 방향을 정의하는 신택스 엘리먼트를 생성하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 1D 스위칭 필터를 적용하게 하는 것 및 상기 1D 스위칭 필터를 적용하게 하는 것은 인코딩된 비디오 데이터의 시퀀스 동안 제 1 슬라이스에 대하여 발생하고,
슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하고,
상기 컴퓨터 판독가능 저장 매체는,
상기 프로세서로 하여금, 제 2 슬라이스에 대해,
수평 또는 수직 중 어느 하나인 상기 제 1 디멘전에서 상기 비디오 데이터에 제 1 의 1D 스위칭 필터를 적용하게 하며;
상기 제 1 디멘전에 수직인 상기 제 2 디멘전에서 제 2 의 1D 스위칭 필터를 적용하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 1D 스위칭 필터를 적용하게 하는 것 및 상기 1D 적응 필터를 적용하게 하는 것은 슬라이스의 코딩 유닛 (coded unit; CU) 들의 서브세트에 대하여 발생하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛들 (LCU) 들의 세트에 대응하는, 컴퓨터 판독가능 저장 매체.
제 39 항에 있어서,
상기 프로세서는 인코더를 포함하고,
상기 컴퓨터 판독가능 저장 매체는,
상기 프로세서로 하여금,
필터링되는 상기 슬라이스의 코딩 유닛들의 서브세트를 정의하는 필터 맵을 생성하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
제 39 항에 있어서,
상기 프로세서는 디코더를 포함하고,
상기 컴퓨터 판독가능 저장 매체는,
상기 프로세서로 하여금,
필터링되는 상기 슬라이스의 코딩 유닛들의 서브세트를 정의하는 필터 맵을 수신하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 프로세서로 하여금, 상기 재구성된 비디오 데이터의 디블록 필터링을 수행하게 하는 명령들을 더 포함하고,
상기 1D 스위칭 필터를 적용하게 하는 것 및 상기 1D 적응 필터를 적용하는 것은 상기 디블록 필터링 후에 발생하고,
상기 디블록 필터링은 슬라이스의 코딩 유닛 (CU) 들의 에지들에 대하여 발생하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 프로세서는 디코더를 포함하고,
상기 컴퓨터 판독가능 저장 매체는,
상기 프로세서로 하여금,
1D 스위칭 필터들의 세트에 대하여 상기 1D 스위칭 필터를 식별하는 상기 1D 스위칭 필터의 인덱스를 수신하게 하며;
상기 1D 적응 필터에 대한 계수들을 식별하는 정보를 수신하게 하는 명령들을 더 포함하고,
상기 인덱스, 및 상기 계수들을 식별하는 정보를 수신하게 하는 것은 인코딩된 비디오 데이터의 시퀀스 동안 슬라이스 당 적어도 한 번 발생하고,
상기 슬라이스는 비디오 프레임의 일부 또는 전부를 정의하는 가장 큰 코딩 유닛 (LCU) 들의 세트에 대응하는, 컴퓨터 판독가능 저장 매체.
제 43 항에 있어서,
상기 프로세서로 하여금, 슬라이스 당 적어도 한 번,
상기 1D 스위칭 필터 또는 상기 1D 적응 필터 중 어느 하나와 연관된 방향을 식별하는 정보를 수신하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 루프 필터링은 포스트 루프 필터링, 및 인 루프 필터링 중 하나를 포함하는, 컴퓨터 판독가능 저장 매체.