KR20210145748A - 비선형 적응형 루프 필터링에서 파라미터의 시간적 예측 - Google Patents

비선형 적응형 루프 필터링에서 파라미터의 시간적 예측 Download PDF

Info

Publication number
KR20210145748A
KR20210145748A KR1020217030931A KR20217030931A KR20210145748A KR 20210145748 A KR20210145748 A KR 20210145748A KR 1020217030931 A KR1020217030931 A KR 1020217030931A KR 20217030931 A KR20217030931 A KR 20217030931A KR 20210145748 A KR20210145748 A KR 20210145748A
Authority
KR
South Korea
Prior art keywords
filter
way
parameters
clipping
current video
Prior art date
Application number
KR1020217030931A
Other languages
English (en)
Other versions
KR102647470B1 (ko
Inventor
리 창
카이 창
홍빈 리우
유에 왕
Original Assignee
베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
바이트댄스 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드, 바이트댄스 아이엔씨 filed Critical 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드
Publication of KR20210145748A publication Critical patent/KR20210145748A/ko
Application granted granted Critical
Publication of KR102647470B1 publication Critical patent/KR102647470B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비선형 적응형 루프 필터링링에서 파라미터의 시간적 예측을 위한 장치, 시스템 및 방법이 설명되어 있다. 예시적인 측면에서, 비주얼 매체 처리를 위한 방법은 현재 비디오 블록에 대해, 비선형 필터링 작업의 일부인 클리핑 작업의 하나 이상의 파라미터를 구성하는 단계; 및 하나 이상의 파라미터에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 여기서 하나 이상의 파라미터는 규칙에 따라 코딩 된다.

Description

비선형 적응형 루프 필터링에서 파라미터의 시간적 예측
이 특허 문서는 비디오 코딩 및 디코딩 기술, 장치 및 시스템과 관련이 있다.
파리협약에 따른 대응하는 특허법 및/또는 규칙에 따라, 이 출원은 2019년 4월 15일에 출원된 국제 특허 출원 번호 PCT/CN2019/082626의 우선권과 이익을 적시에 주장하기 위해 이루어진다. 법에 따라 모든 목적을 위해, 상기 출원의 전체 공개는 이 출원의 공개의 일환으로 참조에 의해 통합된다.
비디오 압축의 발전에도 불구하고 디지털 비디오는 여전히 인터넷 및 기타 디지털 통신 네트워크에서 가장 큰 대역폭 사용을 차지한다. 비디오를 수신하고 표시할 수 있는 연결된 사용자 장치의 수가 증가함에 따라 디지털 비디오 사용에 대한 대역폭 수요가 계속 증가할 것으로 예상된다.
디지털 비디오 코딩(digital video coding)과 관련된 장치, 시스템 및 방법, 특히 비선형 적응형 루프 필터링링(non-linear adaptive loop filtering)에서 파라미터의 시간적 예측에 대해 설명된다. 상기 기술된 방법은 기존 비디오 코딩 표준(예를 들어, 고효율 비디오 코딩(High Efficiency Video Coding)(HEVC))과 미래의 비디오 코딩 표준(예를 들어, 범용 비디오 코딩(Versatile Video Coding)(VVC) 또는 코덱 모두에 적용될 수 있다.
하나의 대표적인 측면에서, 개시된 기술은 비주얼 매체 처리(visual media processing)를 위한 방법을 제공하기 위하여 사용될 수 있다. 이 방법은 현재 비디오 블록(current video block)에 대해, 비선형 필터링 작업(non-linear filtering operation)의 일부인 클리핑 작업(clipping operation)의 하나 이상의 파라미터를 구성하는 단계; 및 하나 이상의 파라미터에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현(bitstream representation) 사이의 변환을 수행하는 단계를 포함하고, 여기서 하나 이상의 파라미터는 규칙에 따라 코딩 된다.
또 다른 대표적인 측면에서, 개시된 기술은 비주얼 매체 처리를 위한 방법을 제공하기 위하여 사용될 수 있다. 이 방법은 현재 비디오 블록의 특성에 기초하여, 비선형 필터링 작업의 하나 이상의 파라미터를 결정하는 단계; 및 하나 이상의 파라미터에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함한다.
또 다른 대표적인 측면에서, 개시된 기술은 비주얼 매체 처리를 위한 방법을 제공하기 위하여 사용될 수 있다. 이 방법은 현재 비디오 블록에 대해 비선형 필터링 작업의 일부인 클리핑 작업의 하나 이상의 파라미터를 구성하는 단계; 및 하나 이상의 파라미터에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 하나 이상의 파라미터는 비선형 필터링 작업과 연관된 적어도 하나의 필터 계수(filter coefficient)의 값과 독립적으로 비트스트림 표현에 제시된다.
또 다른 대표적인 측면에서, 개시된 기술은 비주얼 매체 처리를 위한 방법을 제공하기 위하여 사용될 수 있다. 이 방법은 현재 비디오 블록에 대해 비선형 필터링 작업의 일부인 클리핑 작업의 하나 이상의 파라미터를 구성하는 단계; 및 하나 이상의 파라미터에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 현재 비디오 블록은 i번째 필터로부터 필터 계수를 상속하고, 클리핑 작업의 하나 이상의 파라미터의 상속과 연관된 제1 규칙은 필터 계수(filter coefficient)의 상속과 연관된 제2 규칙과 상이하다.
또 다른 대표적인 측면에서, 전술한 방법은 프로세서 실행 코드 형태(processor-executable code)로 구현되고 컴퓨터 판독 가능한 프로그램 매체(computer-readable program medium)에 저장된다.
또 다른 대표적인 측면에서, 비디오 인코더 장치는 여기에 기재된 바와 같은 방법을 구현할 수 있다.
또 다른 대표적인 측면에서, 비디오 디코더 장치는 여기에 기재된 바와 같은 방법을 구현할 수 있다.
상기 및 개시된 기술의 다른 측면 및 특징은 도면, 설명 및 청구항에서 더 자세히 설명된다.
도 1은 비디오 코딩을 위한 인코더 블록 다이어그램의 예를 나타낸다.
도 2a, 2b 및 2c는 기하학 변환 기반 적응형 루프 필터링(GALF) 필터 셰이프의 예를 나타낸다.
도 3은 GALF 인코더 결정에 대한 흐름 그래프의 예를 나타낸다.
도 4a 내지 4d는 적응형 루프 필터링(ALF) 분류를 위한 서브 샘플링 된 라플라스 계산의 예를 나타낸다.
도 5는 앙방향 필터에 활용된 이웃 샘플의 예를 나타낸다.
도 6은 중량 계산에 활용된 두 개의 샘플을 덮는윈도우의 예를 나타낸다.
도 7은 스캔 패턴의 예를 나타낸다.
도 8a 내지 8c는 비선형 적응형 루프 필터링링에서 파라미터의 시간적 예측을 위한 예시적인 방법의 순서도를 나타낸다.
도 9는 본 문서에 설명된 비디오 디코딩 또는 비디오 인코딩 기술을 구현하기 위한 하드웨어 플랫폼의 예의 블록 다이어그램이다.
도 10은 개시된 기술이 구현될 수 있는 예제 비디오 처리 시스템의 블록 다이어그램이다.
도 11은 비주얼 매체 처리를 위한 예제 방법의 순서도를 나타낸다.
도 12는 비주얼 매체 처리를 위한 예제 방법의 순서도를 나타낸다.
도 13은 비주얼 매체 처리를 위한 예제 방법의 순서도를 나타낸다.
도 14는 비주얼 매체 처리를 위한 예제 방법의 순서도를 나타낸다.
고해상도 비디오의 수요가 증가함에 따라 비디오 코딩 방법과 기술은 현대 기술에서 유비쿼터스이다. 비디오 코덱에는 일반적으로 디지털 비디오를 압축하거나 압축 해제하는 전자 회로 또는 소프트웨어가 포함되며 코딩 효율성을 높이기 위해 지속적으로 개선되고 있다. 비디오 코덱은 압축되지 않은 비디오를 압축 형식으로 변환하거나 그 반대의 경우도 마찬가지이다. 비디오 품질, 비디오(비트 전송률에 의해 결정됨), 인코딩 및 디코딩 알고리즘의 복잡성, 데이터 손실 및 오류에 대한 민감도, 편집 용이성, 무작위 액세스 및 종단 간 지연(대기 시간)사이에는 복잡한 관계가 있다. 압축 형식은 일반적으로 표준 비디오 압축 사양(예를 들어, HEVC) 표준(H.265 또는 MPEG-H 파트 2라고도 함), 범용 비디오 코딩(VVC) 표준또는 기타 현재 및/또는 미래의 비디오 코딩 표준을 준수한다.
비디오 코딩 표준은 주로 잘 알려진 ITU-T 및 ISO/IEC 표준의 개발을 통해 발전해 왔다. ITU-T는 H.261및 H.263을 제작했으며, ISO/IEC는 MPEG-1 및 MPEG-4 비주얼을 제작했으며, 두 조직은 H.262/MPEG-2 비디오 및 H.264/MPEG-4 고급 비디오 코딩(AVC) 및 H.265/HEVC 표준을 공동 제작했다. H.262 이후, 비디오 코딩 표준은 시간적 예측 과 변환 코딩이 사용되는 하이브리드 비디오 코딩 구조에 기초한다. HEVC를 넘어 미래의 비디오 코딩 기술을 연구하기 위해 JVET(공동 비디오 연구 팀)는 2015년에 VCEG와 MPEG가 공동으로 설립했다. 그 이후로 JVET에 의해 많은 새로운 방법을 채택하고 공동 탐색 모델 (JEM)이라는 참조 소프트웨어에 넣었다. 2018년 4월, VCEG(Q6/16)와 ISO/IEC JTC1 SC29/WG11(MPEG) 사이의 공동 비디오 전문가 팀이 HEVC에 비해 50% 비트 레이트 감소를 목표로 VVC 표준 작업을 위해 만들어졌다.
개시된 기술의 실시예는 런타임 성능을 향상시키기 위해 기존 비디오 코딩 표준(예를 들어, HEVC, H.265)과 미래 표준에 적용될 수 있다. 섹션 제목은 설명의 가독성을 향상시키기 위해 본 문서에서 사용되며, 토론 또는 실시예(및/또는 구현)를 각 섹션으로만 제한하지 않는다.
1 컬러 공간 및 크로마 서브 샘플링의 예
컬러 모델(또는 컬러 시스템)이라고도 하는 컬러 공간은 일반적으로 3또는 4값 또는 컬러 컴포넌트(예를 들어, RGB)로 컬러 범위를 숫자의 줄로 묘사하는 추상적인 수학적 모델이다. 기본적으로 컬러 공간은 좌표계와 서브 공간의 정교화이다.
비디오 압축의 경우 가장 자주 사용되는 컬러 공간은 YCbCr 및 RGB이다.
YCbCr, Y'CbCr, 또는 Y'Pb/Cb Pr/Cr은 YCBCR 또는 Y'CBCR으로 기재된 컬러 공간의 제품군은 비디오 및 디지털 픽처 시스템의 컬러 이미지 파이프라이닝의 일부로 사용된다. Y'는 루마 컴포넌트이고 CB와 CR은 청색-차이 및 적색-차이 크로마 컴포넌트이다. Y'(프라임) Y에서 구별된다, Y'(프라임 포함)는 휘도인 Y와 구별되고, 즉, 감마 보정된 RGB 프라이머리에 기초하여 빛의 강도가 비선형적으로 인코딩 된다.
크로마 서브 샘플링(Chroma subsampling)은 휘도보다 컬러 차이에 대한 인간 시각 시스템의 낮은 선명도를 사용하여 루마 정보보다 크로마 정보에 대해 더 낮은 해상도를 구현하여 이미지를 인코딩 하는 방식이다.
1.1 4:4:4 컬러 형식
3개의 Y'CbCr 컴포넌트 각각은 동일한 샘플링 레이트를 가지므로 크로마 서브 샘플링이 없다. 이 방식은 때때로 고급 필름 스캐너와 시네마틱 포스트 프로덕션에 사용된다.
1.2 4:2:2 컬러 형식
두 크로마 컴포넌트는 루마의 샘플 비율의 절반으로 샘플링되며, 예를 들어 수평 크로마 해상도가 반으로 줄어든다. 이렇게 하면 압축되지 않은 비디오 신호의 대역폭이 시각적 차이가 거의 또는 전혀 없는 3분의 1로 줄어든다.
1.3 4:2:0 컬러 형식
4:2:0에서, 수평 샘플링은 4:1:1에 비해 두 배가되지만 Cb 및 Cr 채널은 이 구성표의 각 대체 줄에서만 샘플링되기 때문에 수직 해상도가 반으로 줄어든다. 따라서 데이터 속도(data rate)는 동일하다. Cb와 Cr은 각각 수평 및 수직 모두에서 2의 계수로 서브 샘플링된다. 4:2:0 방식의 세 가지 변형이 있으며, 수평 및 수직 위치가 상이하다.
○ MPEG-2에서는 Cb와 Cr이 수평으로 구비된다. Cb와 Cr은 수직 방향의 픽셀 간에 위치된다(중간에 위치됨).
○ JPEG/JFIF, H.261 및 MPEG-1에서 Cb와 Cr은 대체 루마 샘플 사이의 중간에 교차하여 위치된다.
○ 4:2:0 DV에서 Cb와 Cr은 수평 방향으로 공동 위치로 지정된다. 수직 방향으로는 교대선에 공동으로 구성된다.
2 일반적인 비디오 코덱의 코딩 흐름의 예
도 1은 3개의 인루프 필터링 블록을 포함하는 VVC의 인코더 블록 다이어그램의 예를 보여준다: 디블로킹 필터(deblocking filter)(DF), 샘플 적응 오프셋(sample adaptive offset)(SAO) 및 ALF. 미리 정의된 필터를 사용하는 DF와 달리, SAO 및 ALF는 오프셋을 추가하고 오프셋 및 필터 계수를 시그널링 하는 코딩 된 부가 정보와 함께 유한 임펄스 응답(finite impulse response)(FIR) 필터를 각각 적용하여 원래 샘플과 재구성된 샘플 간의 평균 제곱 오류를 줄이기 위해 현재 픽처의 원래 샘플을 활용한다. ALF는 각 픽처의 마지막 처리 단계에 위치하며 이전 단계에서 만든 아티팩트를 포착하고 수정하려는 툴(tool)로 간주될 수 있다.
3 JEM의 형상 변환 기반 적응형 루프 필터링의 예
JEM에서는 블록 기반 필터 어댑티브가 있는 형상 변환 기반 적응형 루프 필터링(GALF)가 적용된다. 루마 컴포넌트의 경우 로컬 그레디언트(local gradient)의 방향과 활동에 따라 각 2Х2 블록에 대해 25개의 필터 중 하나가 선택된다.
3.1 필터 형태의 예
JEM에서, 최대 3개의 다이아몬드 필터 형태 (5x5 다이아몬드, 7x7 다이아몬드 및 9x9 다이아몬드에 대해 각각 도 2a, 2b 및 2c에 도시됨)가 루마 컴포넌트에 대해 선택될 수 있다. 인덱스는 루마 컴포넌트에 사용되는 필터 형태를 나타내기 위해 픽처 레벨에서 시그널링 된다. 픽처의 크로마 컴포넌트의 경우 5Х5 다이아몬드 형태가 항상 사용된다.
3.1.1 블록 분류
각
Figure pct00001
블록은 25개 클래스 중 하나로 분류된다. 분류 인덱스 C는 다음과 같이 방향성 D와 활동성
Figure pct00002
의 양자화된 값에 기초하여 유도된다:
Figure pct00003
(1)
D와
Figure pct00004
를 계산하기 위해, 수평, 수직 및 두 개의 대각선 방향의 그레디언트는 먼저 1-D 라플라스(1-D Laplacian)를 사용하여 계산된다:
Figure pct00005
인덱스 i 및 j 블록에서 왼쪽 상부 샘플의 좌표를
Figure pct00006
참조하고 R(i,j)는 좌표 (i,j)에서 재구성된 샘플을 나타낸다.
그런 다음 가로 및 수직 방향의 그레디언트의 D최대 값과 최소 값은 다음과 같이 설정된다:
Figure pct00007
(6)
두 대각선 방향의 그레디언트의 최대 값과 최소 값은 다음과 같이 설정된다.
Figure pct00008
(7)
방향성 D의 값을 유도하기 위해, 이러한 값은 서로 비교되고 두 임계값 t1 및 t2과 비교된다:
1단계.
Figure pct00009
둘이 참이면, D는 0으로 설정된다.
2단계.
Figure pct00010
이면, 3단계에서 계속하고, 그렇지 않으면 4단계에서 계속된다.
3단계.
Figure pct00011
이면, D는 2로 설정되고, 그렇지 않으면 D는 1로 설정된다.
4단계.
Figure pct00012
이면, D는 4로 설정되고, 그렇지 않으면 D는 3으로 설정된다.
활동 값(activity value) A는 다음과 같이 계산된다:
Figure pct00013
(8)
A는 0~4의 범위에 대해 더 양자화되고, 양자화된 값은
Figure pct00014
로 표시된다.픽처의 두 크로마 컴포넌트에 대해 분류 방법이 적용되지 않으며, 즉 단일 ALF 계수 세트가 각 크로마 컴포넌트에 적용된다.
3.1.2 필터 계수의 기하학적 변환
각 2Х2 블록을 필터링하기 전에 대응하는 블록에 대해 계산된 그레디언트 값에 따라 회전 또는 대각선 및 수직 뒤집기와 같은 기하학적 변환이 필터 계수 f(k,l)에 적용된다. 이는 필터 지원 영역의 샘플에 이러한 변환을 적용하는 것과 같다. 아이디어는 ALF가 적용되는 다른 블록을 방향성을 정렬하여 더 유사하게 만드는 것이다.
대각선, 수직 뒤집기 및 회전을 포함한 세 가지 기하학적 변환이 도입된다:
Figure pct00015
K는 필터의 크기이고, 0≤k,l≤K-1은 위치 (0,0)이 왼쪽 상부 모서리에 있고 위치 (K-1,K-1)이 오른쪽 하부 모서리에 있도록 하는 계수 좌표이다. 변환은 대응하는 블록에 대해 계산된 그레디언트 값에 따라 필터 계수 f(k, l)에 적용된다. 변환과 네 방향의 네 가지 그레디언트 사이의 관계는 표 1에 요약되어 있다.
한 블록및 변환에 대해 계산된 그레디언트 매핑
그레디언트 값 변형
gd2 < gd1 및 gh < gv 변환 없음
gd2 < gd1 및 gv < gh 대각선
gd1 < gd2 및 gh < gv 수직 뒤집기
gd1 < gd2 및 gv < gh 회전
3.1.3 필터 파라미터의 시그널링
JEM에서, GALF 필터 파라미터는 제1 CTU, 즉 슬라이스 헤더 후 및 제1 CTU의 SAO 파라미터 전에 시그널링 된다. 최대 25세트의 루마 필터 계수가 시그널링 될 수 있다. 비트 오버헤드를 줄이기 위해, 서로 다른 분류의 필터 계수를 병합할 수 있다. 또한, 레퍼런스 픽처의 GALF 계수는 저장되어 현재 픽처의 GALF 계수로 재사용할 수 있다. 현재 픽처는 레퍼런스 픽처에 저장된 GALF 계수를 사용하고 GALF 계수 시그널링을 우회할 수 있다. 이 경우, 레퍼런스 픽처 중 하나에 대한 인덱스만 시그널링 되고, 표시된 레퍼런스 픽처의 저장된 GALF 계수는 현재 픽처에 대해 상속된다.
GALF 시간적 예측을 지원하려면 GALF 필터 세트의 후보 목록이 유지된다. 새 시퀀스를 디코딩할 때 후보 목록은 비어 있다. 한 장의 픽처를 디코딩 한 후 대응하는 필터 세트를 후보 목록에 추가할 수 있다. 후보 목록의 크기가 허용되는 최대 값(즉, 현재 JEM에서 6)에 도달하면 새 필터 세트가 가장 오래된 세트를 디코딩 순서로 덮어쓰고, 즉 선입선출(first-in-first-out)(FIFO) 규칙이 적용되어 후보 목록을 업데이트한다. 중복을 방지하기 위해, 대응하는 픽처가 GALF 시간적 예측을 사용하지 않는 경우에만 세트를 목록에 추가할 수 있다. 시간적 확장성을 지원하기 위해 필터 세트의 여러 후보 목록이 있으며 각 후보 목록은 시간적 계층과 연관된다. 보다 구체적으로, TempIdx(TempIdx)에 의해 할당된 각 어레이는 이전에 디코딩 된 픽처의 필터 세트를 하단 TempIdx와 동일하게 작성할 수 있다. 예를 들어, k 번째 어레이는 K와 동일한 TempIdx와 연관되도록 할당되고, 및 k보다 작거나 동일한 TempIdxfh 픽처의 필터 세트만 포함한다. 특정 픽처를 코딩 한 후, 픽처와 연관된 필터 세트가 동일하거나 더 높은 TempIdx와 연관된 어레이를 업데이트하는 데 사용된다.
GALF 계수의 시간적 예측은 시그널링 오버헤드를 최소화 하기 위해 인터 코딩 된 프레임에 사용된다. 인트라 프레임의 경우 시간적 예측을 사용할 수 없으며 각 클래스에 16개의 고정 필터 세트가 할당된다. 고정 필터의 사용을 나타내기 위해 각 클래스에 대한 플래그가 표시되고 필요한 경우 선택한 고정 필터의 인덱스가 표시된다. 주어진 클래스에 대해 고정 필터를 선택하더라도, 적응 필터 f(k,l)의 계수는 이 클래스에 대해 여전히 전송될 수 있으며, 이 경우 재구성된 이미지에 적용될 필터의 계수는 두 계수 세트의 합이다. 루마 컴포넌트의 필터링 프로세스는 CU 레벨에서 제어할 수 있다. 플레그는 GALF가 CU의 루마 컴포넌트에 적용되는지 여부를 나타내기 위해 시그널링 된다. 크로마 컴포넌트의 경우 GALF가 적용되었는지 여부에 관계없이 픽처 레벨에서만 표시된다.
3.1.4 필터링 프로세스
디코더 측에서, 블록에 대해 GALF가 활성화되면 블록 내의 각 샘플 R(i,j)이 필터링되어 아래와 같이 샘플 값 R'(i,j)가 생성되고, 여기서 L은 필터 길이, fm,n은 필터 계수, fk,l은 디코딩 된 필터 계수를 나타낸다.
Figure pct00016
3.1.5 인코더 측 필터 파라미터에 대한 측정 프로세스
GALF에 대한 전반적인 인코더 의사 결정 과정은 도 3에 설명되어 있다. 각 CU의 루마 샘플의 경우 인코더는 GALF가 적용되고 적절한 신호 플래그가 슬라이스 헤더에 포함되어 있는지 여부를 결정한다. 크로마 샘플의 경우 필터를 적용하기로 한 결정은 CU 레벨이 아닌 픽처 레벨에 따라 수행된다. 또한, 픽처에 대한 크로마 GALF는 픽처에 대한 루마 GALF가 활성화된 경우에만 확인된다.
4 VVC의 형상 변환 기반 적응형 루프 필터링의 예
VVC에서 GALF의 현재 디자인은 JEM에 비해 다음과 같은 주요 변경 사항이 있다:
1) 적응형 필터 셰이프가 제거된다. 루마 컴포넌트에는 7x7 필터 형태만 허용되고 크로마 컴포넌트에는 5x5 필터 형태가 허용된다.
2) ALF 파라미터의 시간적 예측및 고정 필터의 예측은 모두 제거된다.
3) 각 CTU에 대해 ALF가 활성화되어 있는지 비활성화되었는지 여부에 관계없이 하나의 비트 플래그가 시그널링 된다.
4) 클래스 인덱스의 계산은 2x2 대신 4x4 레벨에서 수행된다. 또한, JVET-L0147에서 제안된 바와 같이, 도 4a 내지 도 4d에 도시된 바와 같이 ALF 분류를 위한 서브 샘플링된 라플라시안 계산 방법이 활용된다. 보다 구체적으로, 한 블록 내에서 각 샘플에 대해 수평/수직/45 대각선/135도 그레디언트를 계산할 필요가 없다. 대신 1:2 서브 샘플링이 활용된다.
VTM4.0에서는 적응형 루프 필터링의 필터링 프로세스가 다음과 같이 수행된다:
Figure pct00017
(11)
샘플 I(x+I,y+j)은 입력 샘플이고, O(x,y)는 필터링된 출력 샘플(예를 들어, 필터 결과)이고, w(I,j)는 필터 계수를 나타낸다. 실제로, VTM4.0에서는 고정 점 정밀 컴퓨테이션(fixed point precision computation)을 위해 정수 산술을 사용하여 구현된다:
Figure pct00018
(12)
여기서 L은 필터 길이를 나타내고,
Figure pct00019
는 고정 점 정밀도에서 필터 계수이다.
5 JVET-N0242의 비선형 적응형 루프 필터링링(ALF)
5.1 필터링 재형성
식(11)은 코딩 효율성에 영향을 주지 않고 다음 식에서 다시 수식화할 수 있다:
Figure pct00020
(13)
여기서, w(i,j) 식(11)과 동일한 필터 계수이다[식 (11)에는 1-∑(i, j)≠(0,0)w(i,j)과 동일하지만 식(13)에서 1과 동일한 w(0,0)을 제외].
5.2 수정된 필터
상기 필터 식(13)을 사용하여, 필터링되는 현재 샘플 값(I(x,y))과 너무 다른 이웃 샘플 값(I(x+i,y+j))의 영향을 줄이기 위해 간단한 클리핑 함수을 사용하여 ALF를 보다 효율적으로 만들기 위해 비선형성을 쉽게 도입할 수 있다.
이 제안서에서 ALF 필터는 다음과 같이 수정된다:
Figure pct00021
(14)
여기서, K(d,b)=min(b, max(-b,d))는 클리핑 함수이고, k(i,j)는 (i,j) 필터 계수에 따라 달라지는 파라미터를 클리핑 한다. 인코더는 최적의 k(i,j)를 찾기 위해 최적화를 수행한다. 정수 정밀도의 구현을 위해 반올림으로
Figure pct00022
시프트가 적용된다.
JVET-N0242 구현에서, 클리핑 파라미터 k(i,j)는 각 ALF 필터에 대해 지정되며, 필터 계수당 하나의 클리핑 값이 시그널링 된다. 이는 루마 필터당 비트스트림에서 최대 12개의 클리핑 값이 시그널링 될 수 있으며 크로마 필터의 클리핑 값은 최대 6개까지 시그널링 될 수 있음을 의미한다.
시그널링 비용과 인코더 복잡성을 제한하기 위해 클리핑 값의 평가를 가능한 값의 작은 세트로 제한한다. 제안서에서는 인터(INTER) 및 인트라(INTRA) 타일 그룹에 대해 동일한 4개의 고정 값만 사용한다.
루마의 경우 크로마보다 지역 별 차이의 변화가 더 높기 때문에 루마 필터와 크로마 필터에 두 개의 서로 다른 세트를 사용한다. 또한 각 세트에 최대 샘플 값(10비트 비트 깊이에 대해 1024)을 포함하므로 필요하지 않은 경우 클리핑을 비활성화할 수 있다.
JVET-N0242 테스트에 사용되는 클리핑 값 세트는 표 2에 제공된다. 4개의 값은 대수 영역에서 루마(Luma)의 경우 샘플 값의 전체 범위(10비트로 코딩됨)와 크로마(Chroma)의 경우 4에서 1024까지의 범위를 대략 균등하게 분할하여 선택되었다.
더 정확하게, 클리핑 값의 루마 테이블은 다음과 같은 수식에 의해 얻어졌다:
AlfClipL =
Figure pct00023
, M=210 및 N=4.
마찬가지로 클리핑 값의 크로마 테이블은 다음 수식에 따라 가져온다:
AlfClipC =
Figure pct00024
, M=210,, N=4 및 A=4.
승인된 클리핑 값
인트라/인터 타일 그룹
루마 { 1024, 181, 32, 6 }
크로마 { 1024, 161, 25, 4 }
선택한 클리핑 값은 위의 표 2의 클리핑 값 인덱스에 대응하는하는 Golomb 인코딩 스키마를 사용하여 "alf_data" 신택스 요소에 코딩 된다. 이 인코딩 구성표는 필터 인덱스에 대한 인코딩 스키마와 동일하다.
5.2.1 신택스, 의미론
새로 도입된 신택스 변경 사항(아래와 굵게 표시, 기울어진 글꼴 및 밑줄 글꼴)은 NLALF로 인하여
7.3.4.3 적응형 루프 필터링 데이터 신택스
Figure pct00025
Figure pct00026
6 JVET-N0427의 CTU 기반 ALF
적응 파라미터 세트(APS)는 VTM4에서 채택되었다. 각 APS에는 신호형 ALF 필터 1세트가 포함되어 있으며 최대 32개의 APS가 지원된다. 제안서에서, 슬라이스 레벨 시간적 필터(slice-level temporal filter)가 테스트된다. 타일 그룹은 APS에서 ALF 정보를 다시 사용하여 오버헤드를 줄일 수 있다. APS는 선입선출(FIFO) 버퍼로 업데이트된다.
루마 컴포넌트의 경우, ALF가 루마 CTB에 적용될 때 16개의 고정, 5개의 시간적 또는 1개의 시그널링 된 필터 세트(슬라이스 레벨로 시그널링 됨)중에서 선택이 표시된다. 필터 세트 인덱스만 시그널링 된다. 한 슬라이스의 경우, 25개의 필터중 하나만 시그널링 될 수 있다. 새 세트가 슬라이스에 대한 시그널링 되면, 동일한 슬라이스의 모든 루마 CTB가 해당 세트를 공유한다. 고정 필터 세트를 사용하여 새 슬라이스 레벨 필터 세트를 예측할 수 있으며 루마 CTB의 후보 필터 세트로도 사용할 수 있다. 필터 수는 총 64개이다.
크로마 컴포넌트의 경우, ALF가 크로마 CTB에 적용될 때, 새로운 필터가 슬라이스에 대해 신호를 받으면 CTB는 새로운 필터를 사용했으며, 그렇지 않으면, 가장 최근의 시간적 크로마 필터(temporal chroma filter)가 시간확장성 제약을 충족시화 한다.
슬라이스 레벨 시간적 필터로서, APS는 선입선출(FIFO) 버퍼로 업데이트된다.
7 재구성 후 필터
7.1 확산 필터(DF)
JVET-L0157에서, 확산 필터가 제안되고, 여기서 CU의 내/인터 예측 신호는 확산 필터에 의해 더 수정될 수 있다.
균일 확산 필터(Uniform diffusion filter). 균일 확산 필터는 아래에 정의된 hI 또는 hIV로 지정되는 고정 마스크로 예측 신호를 컨벌루션하여 구현된다.
예측 신호 자체 외에도, 블록의 왼쪽 과 위에 있는 재구성된 샘플의 한 줄은 필터 된 신호에 대한 입력으로 사용되며, 이러한 재구성된 샘플의 사용은 인터 블록에서 피할 수 있다.
pred를 인트라 또는 모션 보상 예측에 의해 획득된 주어진 블록에 대한 예측 신호라고 하자. 필터의 경계점을 처리하기 위해서는 예측 신호를 예측 신호 predext로 확장해야 한다. 이 확장된 예측은 두 가지 방식으로 형성될 수 있다.
어느 쪽이든, 중간 단계로서 블록 왼쪽과 위쪽에 재구성된 샘플의 한 라이닝이 예측 신호에 추가된 다음 결과 신호가 모든 방향으로 미러링된다. 또는 예측 신호 자체만 모든 방향으로 미러링 된다. 후자의 확장은 인터 블록에 사용된다. 이 경우, 예측 신호 자체만이 확장 예측 신호 predext에 대한 입력을 포함한다.
필터 hI가 사용되는 경우 pred 예측 신호를 다음과 같이 대체하는 것이 제안된다:
hI * pred,
앞서 언급한 경계 확장을 사용한다. 여기서 필터 hI 마스크는 다음과 같이 제공된다:
Figure pct00027
필터 hIV가 사용되는 경우 예측 신호 pred를 다음과 같이 대체하는 것이 제안된다:
hIV * pred
여기서, 필터 hIV는 다음과 같이 주어진다:
Hiv = hI * hI * hI * hI.
방향 확산 필터(Directional diffusion filter). 신호 적응형 확산 필터를 사용하는 대신 방향성 필터, 수평 필터 hhor 및 수직 필터 hver가 사용되며 여전히 고정 마스크가 있다. 더 정확하게, 이전 섹션의 마스크 hI에 해당하는 균일 확산 필터링은 수직 또는 수평 방향으로만 적용되도록 간단히 제한된다. 예측 신호에 대해 고정 필터 마스크
Figure pct00028
을 적용하여 수직 필터를 구현하고 수평 필터는 전치된 마스크 hhor = hver t를 사용하여 구현된다.
7.2 양방향 필터(Bilateral filter)(BF)
앙방향 필터는 JVET-L0406에서 제안되며, 항상 17보다 큰 비제로 변환 계수 및 슬라이스 양자화 파라미터를 가진 루마 블록에 적용된다. 따라서 앙방향 필터의 사용을 시그널링 할 필요가 없다. 양방향 필터가 적용되면, 역 변환 직후 디코딩 된 샘플에서 수행된다. 또한 필터 파라미터, 즉 가중치는 코딩 된 정보로부터 명시적으로 유도된다.
필터링 프로세스는 다음과 같이 정의된다:
Figure pct00029
(1)
여기서, P0,0은 현재 샘플의 강도이고 P'0,0은 현재 샘플의 수정된 강도이고, Pk,0 및 Wk는 각각 k번째 이웃 샘플에 대한 강도 및 가중치 파라미터이다. 하나의 현재 샘플과 그 네 개의 이웃 샘플(즉, K=4)의 예가 도 5에 도시되어 있다.
보다 구체적으로, k 번째 이웃 샘플과 관련된 가중치 Wk(x)는 다음과 같이 정의된다:
Wk(x) = Distancek x Rangek(x) (2)
여기서,
Figure pct00030
및
Figure pct00031
이다.
여기서, σd는 코딩 된 모드 및 코딩 블록 크기에 의존한다. 설명된 필터링 프로세스는 인트라 코딩 된 블록에 적용되고 TU가 추가로 분할될 때 인터 코딩 된 블록에 적용되어 병렬 처리가 가능하다.
비디오 신호의 통계적 특성을 더 잘 포착하고 필터의 성능을 향상시키려면, 식(2)의 결과 가중치 함수는 σd 파라미터에 의해 조정되며, 블록 분할(최소 크기)의 파라미터 및 코딩 모드에 종속되는 것으로 표 4에 표로 표시된다.
다양한 σd 블록 크기 및 코딩 모드의 값
최소(블록 너비, 블록 높이) 인트라 모드 인터 모드
4 82 62
8 72 52
다른 52 32
코딩 성능을 더욱 향상시키기 위해, TU가 분할되지 않을 때 상호 코딩 된 블록의 경우 현재 샘플과 이웃 샘플 중 하나 사이의 강도 차이는 현재 샘플을 덮고 있는 두윈도우와 이웃 샘플 사이의 대표적인 강도 차이로 대체된다. 따라서 필터링 프로세스의 식은 다음과 같은 것으로 수정된다:
Figure pct00032
(4)
여기서, Pk,m 및 P0,m은 각각 Pk,0 및 P0,0을 중심으로 하는 윈도우 내 m번째 샘플 값을 나타낸다. 이 제안에서,윈도우 크기는 3Х3으로 설정된다. P2,0 및 P0,0을 덮는 두 개의 윈도우의 예가 도 6에 도시되어 있다.
7.3 하다마드 변환 도메인 필터(Hadamard transform domain filter)(HF)
JVET-K0068에서는 1D 하다마드 변환 도메인의 루프 필터가 재구성 후 CU 레벨에 적용되고 곱셈 무료 구현이 있다. 제안된 필터는 미리 정의된 조건을 충족하는 모든 CU 블록에 적용되며 필터 파라미터는 코딩 된 정보에서 유도된다.
제안된 필터링은 4x4 블록을 제외하고 슬라이스 양자화 파라미터가 17보다 큰 경우 0이 아닌 변환 계수를 가진 루마 재구성 블록에 항상 적용된다. 필터 파라미터는 코딩 된 정보에서 명시적으로 유도된다. 제안된 필터가 적용되면 역 변환 직후 디코딩 된 샘플에서 수행된다.
재구성된 블록 픽셀 처리에서 각 픽셀에 대해 다음 단계로 구성된다:
○ 스캔 패턴에 따라 현재 를 포함하여 처리 픽셀 주변의 4 개의 이웃 픽셀을 스캔한다.
○ 읽기 픽셀의 4점 하다마드 변환
○ 다음 수식에 따라 스펙트럼 필터링:
Figure pct00033
여기서, (i)는 Hadamard 스펙트럼에서 스펙트럼 컴포넌트 지수이고, R(i)은 인덱스에 해당하는 재구성된 픽셀의 스펙트럼 컴포넌트이고, σ는 다음 방정식을 사용하여 코덱 양자화 파라미터 QP에서 파생된 필터링 파라미터이다.
Figure pct00034
.
스캔 패턴의 예는 도 7에 표시되고, A는 현재 픽셀이고 {B, C,D}는 이웃 픽셀이다.
CU 경계에 놓인 픽셀의 경우, 스캔 패턴이 조정되어 필요한 모든 픽셀이 현재 CU 내에 있는지 확인한다.
8 가상 파이프라이닝 데이터 유닛(Virtual Pipelining Data Units)(VPDU)
가상 파이프라이닝 데이터 유닛(VPD)는 픽처에서 겹치지 않는 MxM-루마(L)/NxN-크로마(C) 유닛으로 정의된다. 하드웨어 디코더에서 연속적인 VPD는 동시에 여러 파이프라이닝 단계에 의해 처리된다. 서로 다른 단계는 동시에 다른 VPD를 처리한다; VPDU 크기는 대부분의 파이프라이닝 단계의 버퍼 크기에 비례하므로 VPDU 크기를 작게 유지하는 것이 매우 중요하다고 한다. HEVC 하드웨어 디코더에서 VPDU 크기는 최대 변환 블록(TB) 크기로 설정된다. 최대 TB 크기를 32x32-L/16x16-C(HEVC와 같이)에서 64x64-L/32x32-C로 확대하면 코딩 이득을 가져올 수 있으며, HEVC와 비교하여 예상되는 VPDU 크기(64x64-L/32x32-C)의 4배로 예상된다. 그러나, 쿼드 트리(QT) 코딩 장치(CU) 분할 이외에, 삼항 트리(TT) 및 이진 트리(BT)는 추가 코딩 이득을 달성하기 위해 VVC에 채택되며, TT 및 BT 분할은 128x128-L/64x64-C 코딩 트리 블록(CTUs)에 재귀적으로 적용될 수 있으며, 이는 VPDU 크기(128x128-Lx)의 16배로 이어져 주며, 이는 HEVC에 비해 VPDU 크기(128x128-L/64x64-C)가 16배 증가한다고 한다.
VVC의 현재 설계에서 VPDU 크기는 64x64-L/32x32-C로 정의된다.
9 기존 구현의 단점
JVET-N0242의 비선형 ALF(NLALF) 설계에는 다음과 같은 문제가 있다:
(1) GALF의 분류 프로세스는 ALF를 적용하기 전에 재구성된 샘플을 활용하는 그레디언트 및 라플라시안 활동에 의존한다. 그러나 분류 결과가 부정확할 수 있다. 예를 들어, 한 샘플의 경우, 다른 샘플의 경우 이웃과 이웃 사이의 차이가 매우 유사할 수 있지만, 다른 샘플의 경우, 다른 샘플과 이웃 사이의 차이는 너무 다를 수 있으며 다른 모든 샘플의 차이는 너무 작을 수 있다. 이 두 경우, 그들은 불합리할 수 있는 하나의 클래스 인덱스로 분류될 수 있다.
(2) 클리핑 파라미터는 필터 계수와 연관된다. 그러나 필터 병합 프로세스로 인해 여러 클래스에 하나의 필터가 사용될 수 있다. 또한 동일한 클래스 인덱스가 있는 두 블록의 경우(0... 현재 GALF 설계에서 24), 필터 계수 및 클리핑 파라미터는 동일하다. 그러나, 두 블록은 서로 다른 특성을 가질 수 있고, 예를 들어, 선택된 기하학적 변환이 다를 수 있다. 동일한 클리핑 파라미터를 사용하는 것은 차선책일 수 있다.
(3) 클리핑 파라미터의 인덱스는 신택스 분석 단계에서 필터 계수를 구성해야 하는 비제로 필터 계수당 시그널링 된다. 이러한 디자인은 하드웨어 구현에 바람직하지 않다.
(4) 시간적 예측 과정에서, 한 블록은 이전에 코딩 된 프레임으로부터 필터 계수를 상속할 수 있다. 클리핑 파라미터를 처리하는 방법을 연구해야 한다.
(5) 클리핑 함수 K(d,b) = min(b,max(-b,d))에서, b를 상한으로, -b를 하한으로, d를 입력으로 사용한다. 상한 및 하한 경계에 대한 동일한 크기의 제한은 차선책일 수 있다.
10 비선형 ALF에서 파라미터의 시간적 예측을 위한 예시적인 방법
현재 개시된 기술의 실시예는 기존 구현의 단점을 극복하고, 따라서 더 높은 코딩 효율성을 가진 비디오 코딩을 제공한다. 개시된 기술에 기초하여 비선형 적응형 루프 필터링링에서 파라미터의 시간적 예측은 기존 및 미래의 비디오 코딩 표준을 모두 향상시킬 수 있으며, 다양한 구현에 대해 설명된 다음 예에서 설명된다. 아래에 제공된 개시된 기술의 예는 일반적인 개념을 설명하고 제한으로 해석되지 않다. 예를 들어, 반대로 명시적으로 표시되지 않는 한, 이러한 예에 기재된 다양한 피쳐가 결합될 수 있다.
이러한 예에서, 하나의 필터는 다중 필터 계수와 연관될 수 있다. 필터의 한 세트는 여러 필터를 나타낸다. i번째 필터를 Fi로 나타내고 변수 k는 Fi와 연관된 k번째 필터 계수를 나타내는 것과 같이 Fik로 연관된 필터 계수를 나타내며, 예를 들어 도 2의 Ck에 대응할 수 있다.
1. 코딩 된 정보에 따라 NLALF 파라미터(예를 들어, 켜기/끄기 제어 플래그, 클리핑 파라미터)를 결정하는 것이 제안된다.
a. NLALF 파라미터(예를 들어, 켜기/끄기 제어 플래그, 클리핑 파라미터)는 코딩 된 모드 정보에 종속될 수 있다.
i. 하나의 예에서, 선택할 NLALF 파라미터는 인트라 또는 비트라 모드와 같은 코딩 모드에 의해 결정될 수 있다.
ii. 하나의 예에서, 선택할 NLALF 파라미터는 인트라 또는 인터 모드와 같은 코딩 모드에 의해 결정될 수 있다.
iii. 하나의 예에서, 선택할 NLALF 파라미터는 IBC 또는 비IBC 모드와 같은 코딩 모드에 의해 결정될 수 있다.
b. NLALF 파라미터(예를 들어, 켜기/끄기 제어 플래그, 클리핑 파라미터)는 변환 정보에 의존할 수 있다.
i. 하나의 예에서, 변환 건너뛰기가 적용되는지 여부에 따라 달라질 수 있다.
c. NLALF 파라미터(예를 들어, 켜기/끄기 제어 플래그, 클리핑 파라미터)는 잔차 정보에 의존할 수 있다.
i. 하나의 예에서, 블록에 0이 아닌 계수를 포함하는지에 따라 달라질 수 있다.
d. NLALF 파라미터(예를 들어, 켜기/끄기 제어 플래그, 클리핑 파라미터)는 타일 그룹 유형/픽처 유형에 따라 달라질 수 있다.
e. NLALF 파라미터(예를 들어, 켜기/끄기 제어 플래그, 클리핑 파라미터)는 하나의 타일/타일 그룹/슬라이스 등과 관련된 시간적 계층 정보/레퍼런스 픽처 정보에 의존할 수 있다.
i. 하나의 예에서, 모든 레퍼런스 픽처가 현재 픽처와 비교하여 더 작은 POC 값과 연관되는지 여부에 따라 달라질 수 있다.
ii. 하나의 예에서, 모든 레퍼런스 픽처가 현재 픽처와 비교하여 더 작거나 동일한 POC 값과 연관되는지 여부에 따라 달라질 수 있다.
f. 한 블록과 관련된 레퍼런스 픽처/모션 정보에 따라 NLALF 파라미터(예를 들어, 켜기/끄기 제어 플래그, 클리핑 파라미터)를 결정하는 것이 제안된다.
2. 기하학적 변환에 따라 NLALF 파라미터(예를 들어, 켜기/끄기 제어 플래그, 클리핑 파라미터)를 결정하는 것이 제안된다.
a. 하나의 예에서, 두 개의 MxN 블록에 대해, 심지어 동일한 필터(예를 들어, 동일한 클래스 인덱스로 인해)와 연관되어 있으며, 연관된 NLALF 파라미터(예를 들어, 클리핑 파라미터)는 다를 수 있다.
b. 하나의 예에서, 하나의 필터 계수에 대해, 하나 이상의 클리핑 파라미터의 표시가 시그널링 될 수 있다.
i. 하나의 예에서, 클리핑 파라미터 또는 클리핑 파라미터의 다른 표현의 클리핑 파라미터 또는 클리핑 인덱스(clipping index)는 허용된 기하학적 변환 수에 따라 달라질 수 있다.
ii. 하나의 예에서, 하나의 필터 파라미터와 연관된 클리핑 파라미터의 클리핑 파라미터 / 인덱스의 예측 코딩이 적용될 수 있다.
1) 하나의 예에서, 하나의 샘플 또는 블록에 대한 하나의 필터의 클리핑 파라미터는 공간/측두구 인접 또는 비인접 한 이웃 샘플 또는 블록에 사용되는 다른 필터의 다른 클리핑 파라미터에 의해 예측될 수 있다.
3. 클리핑 함수의 상한 및 하한의 크기는 불평등할 수 있음을 제안한다.
a. 하나의 예에서, 하나의 클리핑 함수에 대한 상한 및 하한 모두의 표시가 시그널링 될 수 있다.
i. 또는, 또한, 상한과 하한 사이의 예측 코딩이 적용될 수 있다.
4. 클리핑 파라미터(예를 들어, 인덱스)의 표시를 고정 길이로 직접 코딩 하는 것이 제안된다.
a. 하나의 예에서, 각 값은 N 비트로 코딩될 수 있다(예를 들어, N은 2로 설정).
i. 하나의 예에서, N은 고정될 수 있다.
ii. 하나의 예에서, N은 시그널링 될 수 있다.
iii. 하나의 예에서, N은 QP, 픽처 디멘션(picture dimension) 등과 같은 코딩 정보에 따라 달라질 수 있다.
b. 또는 최대 값 N을 사용하여 잘린 단항(truncated unary) 방법으로 코딩될 수 있다.
i. 하나의 예에서, N은 고정될 수 있다.
ii. 하나의 예에서, N은 시그널링 될 수 있다.
iii. 하나의 예에서, N은 QP, 픽처 디멘션 등과 같은 코딩 정보에 따라 달라질 수 있다.
c. 또는 지수-골롬 방법으로 코딩될 수 있지만 하나의 필터/하나의 필터 세트에 대한 고정 순서로 코딩될 수 있다.
d. 또는 실행 길이 코딩으로 코딩될 수 있다.
i. 하나의 예에서, 각 필터에 대해 클리핑 파라미터의 인덱스는 먼저 '실행'으로 코딩될 수 있으며 연속적으로 동일한 클리핑 파라미터수를 '길이'로 코딩할 수 있다.
ii. 하나의 예에서, 모든 필터의 각 k 번째 필터 계수에 대해, Fi와 관련된 클리핑 파라미터의 인덱스는 먼저 '실행'으로 코딩될 수 있고, 다른 필터에서 동일한 클리핑 파라미터의 수를 '길이'로 코딩할 수 있다.
e. 하나의 예에서, 클리핑 파라미터(예를 들어, 인덱스)의 표시 예측 코딩이 적용될 수 있다.
i. 하나의 예에서, 예측 코딩은 하나의 필터 내에서 클리핑 파라미터에 적용될 수 있다.
ii. 하나의 예에서, 서로 다른 필터 간에 클리핑 파라미터에 예측 코딩이 적용될 수 있다.
1) 하나의 예에서, 예측 코딩은 하나의 컬러 컴포넌트에 대해 서로 다른 필터 간에 파라미터를 클리핑 하기 위해 적용될 수 있다.
2) 하나의 예에서, 예측 코딩은 여러 컬러 컴포넌트에 대해 서로 다른 필터 간에 파라미터를 클리핑 하기 위해 적용될 수 있다.
3) 하나의 예에서, 예측 코딩은 다른 샘플 또는 블록에 사용되는 필터의 클리핑 파라미터에 적용될 수 있다.
iii. 하나의 예에서, 예측 코딩은 다른 APS에서 시그널링 되는 클리핑 파라미터에 적용될 수 있다.
5. 클리핑 파라미터의 신택스 분석 및 필터 계수의 구성을 분리하는 것이 제안된다.
a. 하나의 예에서, 클리핑 파라미터(예를 들어, 클리핑 파라미터의 인덱스)의 신택스 분석은 필터 계수의 값과 독립적이다.
b. 하나의 예에서, 필터 계수가 0과 같을 때, 연관된 클리핑 파라미터의 표시는 여전히 시그널링 될 수 있다.
6. 한 블록이 i 번째 필터에서 필터 계수를 상속하면 i 번째 필터를 가진 연관된 클리핑 파라미터는 상속되지 않을 수 있다.
a. 하나의 예에서, 한 블록에 대해 시간적 예측이 활성화되면, 연관된 클리핑 파라미터를 직접 상속하는 대신, 비로컬 ALF 를 사용할지 여부(클리핑 적용 여부)가 시그널링 될 수 있다.
i. 하나의 예에서, 클리핑을 적용하기로 결정되면 관련 클리핑 파라미터도 상속될 수 있다.
b. 하나의 예에서, 필터 계수가 i 번째 필터에서 상속/예측된다고 가정하면, 클리핑 파라미터는 j 번째 필터에서 상속/예측되며, i는 j와 동일하지 않을 수 있다.
c. 하나의 예에서, 필터 계수가 i 번째 필터로부터 상속/예측된다고 가정하면, 클리핑 파라미터는 j 번째 필터로부터 상속/예측되며, i 번째 및 j 번째 필터는 상이한 필터 세트와 연관될 수 있다.
i. 하나의 예에서, i 번째 필터는 제1 픽처/타일 그룹/타일/슬라이스와 연관될 수 있으며 j 번째 필터는 제2 픽처/타일 그룹/타일/슬라이스와 연관될 수 있다.
ii. 하나의 예에서, i는 j와 동일하지 않다. 대안적으로 i는 j와 같다.
d. 하나의 예에서, 필터 인덱스와 같이 시그널링 될 수 있는 필터와 연관된 클리핑 파라미터의 표시가 있다.
e. 하나의 예에서, APS 인덱스와 같이 필터 세트와 관련된 클리핑 파라미터의 표시가 시그널링 될 수 있다.
i. 대안적으로, 또한, 필터 지수는 추가 시그널링 될 수 있다.
7. 분류 과정에서, 샘플 차이를 직접 사용하는 대신, 클리핑 된 샘플 차이가 활용될 수 있다.
a. 하나의 예에서, 그레디언트 계산 프로세스에서 클리핑 된 샘플 차이 또는 클리핑 된 그레디언트가 사용될 수 있다.
b. 하나의 예에서, 활동 계산 프로세스에서 클리핑 된 샘플 차이 또는 클리핑 된 그레디언트가 사용될 수 있다.
c. 하나의 예에서, 다음은 수직 그레디언트를 계산하는 데 사용될 수 있다:
Figure pct00035
즉, clip1 및 clip2는 두 개의 클리핑 함수이다.
d. 하나의 예에서, 다음을 사용하여 수평 그레디언트를 계산할 수 있다.
Figure pct00036
즉, clip1 및 clip2는 두 개의 클리핑 함수이다.
8. 클리핑 작업을 적용할지 여부는 필터링 프로세스에 사용되는 샘플의 위치(예를 들어, 섹션 5.2의 I(x+i,y+j))에 따라 달라질 수 있다.
a. 하나의 예에서, 필터 지지 계층의 샘플이 CU/PU/TU/픽처/타일/타일 그룹 경계에 위치하지 않으면 클리핑이 비활성화될 수 있다.
b. 하나의 예에서, 필터 지지 계층의 샘플이 CU/PU/TU/픽처/타일/타일 그룹/CTU/가상 파이프라이닝 데이터 유닛(VPDU) 경계에 있는 경우 클리핑이 적용될 수 있다.
c. 대안적으로 클리핑 작업을 적용할지 여부는 CU/PU/TU/픽쳐/타일/타일 그룹/CTU/VPDU 경계에서 필터링 프로세스에 사용될 샘플의 거리에 따라 달라질 수 있다(예를 들어, 섹션 5.2의 I(x+i,y+j)).
i. 하나의 예에서, 거리는 미리 정의될 수 있다(예를 들어, N-pel).
ii. 하나의 예에서, 거리는 시그널링 될 수 있다.
9. 적응형 루프 필터링 프로세스에 사용되는 필터 셰이프(일명 필터 지지대)는 컬러 표현에 따라 달라질 수 있다.
a. 하나의 예에서, 모든 구성 요소(예를 들어, Y, Cb, Cr)에 대한 필터 지원은 컬러 형식이 4:4:4일 때 동일해야 한다.
i. 예를 들어, 도 2b에서 필터 지지대는 도에 도시된 바와 같이 7*7 다이아몬드이다.
ii. 예를 들어, 도 2a에서 필터 지지대는 도에 도시된 바와 같이 5*5 다이아몬드이다.
b. 하나의 예에서, 컬러 형식이 RGB일 때 모든 구성 요소에 대한 지원 영역이다.
i. 예를 들어, 도 2b에서 필터 지지대는 도에 도시된 바와 같이 7*7 다이아몬드이다.
예를 들어, 도 2a에서 필터 지지대는 도에 도시된 바와 같이 5*5 다이아몬드이다.
전술한 예는 비디오 디코더 또는 비디오 인코더에서 구현될 수 있는 방법 800, 810 및 820과 같은 아래에 설명된 방법의 맥락에서 통합될 수 있다.
도 8a는 비디오 처리를 위한 모범적인 방법의 순서도를 나타낸다. 방법(800)은, 단계(802)에서, 현재 비디오 블록의 특성에 기초하여 비선형 필터링 작업의 하나 이상의 파라미터를 결정하는 단계를 포함한다.
방법(800)는, 단계(804)에서, 하나 이상의 파라미터들에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함한다.
일부 실시예에서, 현재 비디오 블록의 특징은 현재 비디오 블록의 코딩 모드이다. 예를 들어, 현재 비디오 블록의 코딩 모드는 인트라 모드, 비-인트라 모드, 인트라 브록 카피(intra block copy)(IBC) 모드 또는 비-IBC 모드이다.
일부 실시예에서, 특징은 변환 정보이다. 예를 들어, 변환 정보(transform information)는 현재 비디오 블록에 적용되는 변환 스킵의 표시를 포함한다.
일부 실시예에서, 특징은 잔차 정보이다. 예를 들어, 잔차 정보(residual information)는 현재 비디오 블록에서 제로 값 계수(zero-valued coefficient)를 포함한다.
일부 실시예에서, 특징은 타일 그룹 유형 또는 타일 그룹의 픽처 유형 또는 현재 비디오 블록을 포함하는 픽처이다.
일부 실시예에서, 특징은 타일, 타일 그룹, 픽처 또는 현재 비디오 블록을 포함하는 슬라이스와 관련된 시간적 계층 정보 또는 레퍼런스 정보이다.
일부 실시예에서, 특징은 현재 비디오 블록과 관련된 레퍼런스 픽처 또는 모션 정보이다.
일부 실시예에서, 특징은 기하학적 변환이다.
일부 실시예에서, 하나 이상의 파라미터는 클리핑 함수의 온/오프 제어 플래그 또는 하나 이상의 파라미터를 포함한다.
일부 실시예에서, 클리핑 함수의 상한 크기는 클리핑 함수의 하한 크기와 다르다. 예를 들어 클리핑 함수의 상한과 하한 사이에 예측 코딩이 적용된다.
도 8b는 비디오 처리를 위한 모범적인 방법의 순서도를 나타낸다. 방법(810)는, 단계(812)에서,현재 비디오 블록에 대해, 비선형 필터링 작업의 일부인 클리핑 작업의 하나 이상의 파라미터를 구성하는 단계를 포함한다.
방법(810)는, 단계(814)에서, 하나 이상의 파라미터에 기초하여 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함한다.
일부 실시예에서 하나 이상의 파라미터는 고정 길이의 N 비트로 코딩 된다. 다른 실시예에서, 하나 이상의 파라미터는 N의 최대 값으로 잘린 단항 방법으로 코딩 된다. 예를 들어 N이 고정된다. 또 다른 예에서 N은 시그널링 된다. 또 다른 예에서, N은 현재 비디오 블록을 포함하는 양자화 파라미터 또는 픽처의 디멘션을 포함하는 현재 비디오 블록의 코딩 된 정보에 기초한다.
일부 실시예에서, 하나 이상의 파라미터는 하나의 필터 또는 필터 세트에 대한 고정 순서로 지수-골롬 방식으로 코딩 된다.
일부 실시예에서, 하나 이상의 파라미터는 실행 길이 코딩으로 코딩 된다.
일부 실시예에서, 하나 이상의 파라미터는 하나 이상의 필터 계수의 값과 독립적으로 시그널링 된다.
일부 실시예에서, 하나 이상의 파라미터는 필터 계수를 더 포함하며, 현재 비디오 블록은 i 번째 필터로부터 필터 계수를 상속하고, 여기서 클리핑 함수의 하나 이상의 파라미터는 i 번째 필터와 다른 j 번째 필터로부터 상속된다.
도 8c는 비디오 처리를 위한 모범적인 방법의 순서도를 나타낸다. 방법(820)는, 단계 822에서, 클리핑 작업을 포함하는 비선형 필터링 작업을 구성하는 단계를 포함한다.
방법(820)는, 단계 824에서, 비선형 필터링 작업에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함한다.
일부 실시예에서, 방법(820)는 클리핑 작업을 사용하여 생성된 클리핑 샘플 차이 또는 클리핑 된 그레디언트를 사용하는 그레디언트 계산 프로세스(gradient calculation process)를 수행하는 단계를 더 포함한다. 다른 실시예에서, 방법(820)는 클리핑 작업을 사용하여 생성된 클리핑 작업 또는 클리핑 된 그레디언트를 사용하는 활동 계산 프로세스(activity calculation process)를 수행하는 단계를 더 포함한다. 예를 들어, 클리핑 된 그레디언트는
Figure pct00037
로 컴퓨팅 되는 수직 그레디언트를 포함한다. 다른 예에서, 클리핑 된 그레디언트는
Figure pct00038
로 컴퓨팅 된 수평 그레디언트를 포함하고, 여기서 clip1및 clip2가 각각 제1 및 제2 클리핑 함수이다.
일부 실시예에서, 변환을 수행하는 단계는 현재 비디오 블록의 하나 이상의 샘플을 필터링하는 단계를 포함하고, 클리핑 작업의 작업은 하나 이상의 샘플의 위치에 기초하여 구성된다.
일부 실시예에서, 하나 이상의 샘플의 위치는 코딩 장치(CU), 예측 유닛(PU), 변환 장치(TU), 비주얼, 타일, 타일 그룹, 코딩 트리 유닛(CTU) 또는 가상 파이프라이닝 데이터 유닛(VPDU)의 경계이다.
일부 실시예에서, 그리고 방법(800, 810 및 820)의 맥락에서, 비선형 필터링 작업에 사용되는 필터의 형태는 컬러 표현에 기초한다. 예에서, 컬러 표현은 4:4:4 컬러 형식 또는 RGB 컬러 형식을 포함한다. 다른 예에서, 필터는 다이아몬드 형태의 필터이다.
일부 실시예에서, 방법의 맥락에서 800, 810 및 820, 비선형 필터링 작업은 비선형 적응형 필터 작업이다.
11 개시된 기술의 예 구현
도 9는 비디오 처리 장치(900)의 블록 다이어그램이다. 상기 장치(900)는 본원에 기재된 하나 이상의 방법을 구현하는 데 사용될 수 있다. 상기 장치(900)는 스마트폰, 태블릿, 컴퓨터, 사물인터넷(IoT) 수신기 등에서 구현될 수 있다. 상기 장치(900)는 하나 이상의 프로세서(processor)(902), 하나 이상의 메모리(memory)(904) 및 비디오 처리 하드웨어(video processing hardware)(906)를 포함할 수 있다. 상기 프로세서(들) (902)는 본 문서에 기재된 하나 이상의 방법(800, 810 및 820을 포함하되 이에 국한되지 않음)을 구현하도록 구성될 수 있다. 상기 메모리(memories) (904)는 본 원에 기재된 방법 및 기술을 구현하는 데 사용되는 데이터 및 코드를 저장하는 데 사용될 수 있다. 비디오 처리 하드웨어(906)는 하드웨어 회로에서 본 문서에 설명된 일부 기술을 구현하는 데 사용될 수 있다.
일부 실시예에서, 비디오 코딩 방법(video coding method)은 도 9에 대하여 설명된 바와 같이 하드웨어 플랫폼에 구현되는 장치를 사용하여 구현될 수 있다.
도 10은 본 명세서에 개시된 다양한 기술이 구현될 수 있는 예시 비디오 처리 시스템(video processing system)(1000)을 보여주는 블록 다이어그램이다. 다양한 구현에는 시스템(1000)의 구성 요소의 일부 또는 전부가 포함될 수 있다. 상기 시스템(1000)에는 비디오 콘텐츠를 수신하기 위한 입력(1002)이 포함될 수 있다. 비디오 콘텐츠는 원시 또는 압축되지 않은 형식으로 수신될 수 있다(예를 들어, 8 또는 10비트 다중 구성 요소 픽셀 값) 또는 압축 또는 인코딩 된 형식으로 수행될 수 있다. 입력(1002)은 네트워크 인터페이스, 주변 버스 인터페이스 또는 스토리지 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예로는 이더넷, 패시브 광 네트워크(PON) 등과 같은 유선 인터페이스및 Wi-Fi 또는 셀룰러 인터페이스와 같은 무선 인터페이스가 있다.
상기 시스템(1000)은 본 문서에 기재된 다양한 코딩 또는 인코딩 방법을 구현할 수 있는 코딩 컴포넌트(coding component)(1004)을 포함할 수 있다. 상기 코딩 컴포넌트(1004)은 입력(1002)에서 코딩 컴포넌트(1004)의 출력으로 비디오의 평균 비트레이트를 감소시킬 수 있으며, 비디오의 코딩 된 표현을 생성할 수 있다. 따라서 코딩 기법을 비디오 압축 또는 비디오 트랜스코딩 기술이라고도 한다. 코딩 컴포넌트(1004)의 출력은 컴포넌트(1006)로 표현되는 바와 같이 연결된 통신을 통해 저장되거나 전송될 수 있다. 입력(1002)에서 수신된 비디오의 저장 또는 통신 비트스트림(또는 코딩) 표현은 디스플레이 인터페이스(display interface)(1010)로 전송되는 픽셀 값 또는 디스플레이 가능한 비디오를 생성하기 위해 컴포넌트(1008)에 의해 사용될 수 있다. 비트스트림 표현에서 사용자가 볼 수 있는 비디오를 생성하는 프로세스를 비디오 감압이라고도 한다. 또한 특정 비디오 처리 작업을 "코딩" 작업 또는 툴로 지칭하지만 코딩 툴 또는 작업이 인코더에서 사용되고 코딩 결과를 되돌리는 대응하는 디코딩 툴 또는 작업이 디코더에 의해 수행된다는 점을 높이 평가할 것이다.
주변 버스 인터페이스 또는 디스플레이 인터페이스의 예로는 범용 직렬 버스(USB) 또는 고화질 멀티미디어 인터페이스(HDMI) 또는 디스플레이포트 등이 포함될 수 있다. 스토리지 인터페이스의 예로는 SATA(직렬 첨단 기술 첨부 파일), PCI, IDE 인터페이스 등이 있다. 본 문서에 기재된 기술은 휴대전화, 노트북, 스마트폰 또는 디지털 데이터 처리 및/또는 비디오 디스플레이를 수행할 수 있는 기타 장치와 같은 다양한 전자 기기에 구현될 수 있다.
도 11은 비주얼 매체 처리를 위한 예제 방법의 순서도를 나타낸다. 이 순서도의 단계는 이 문서의 섹션 10의 예 4와 연결하여 설명된다. 단계 1102에서, 프로세스는 비선형 필터링 작업의 일부인 클리핑 작업의 현재 비디오 블록, 하나 이상의 파라미터를 구성한다. 단계 1104에서, 프로세스는 하나 이상의 파라미터, 현재 비디오 블록 사이의 변환 및 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하며, 여기서 하나 이상의 파라미터는 규칙에 따라 코딩 된다.
도 12는 비주얼 매체 처리를 위한 예제 방법의 순서도를 나타낸다. 이 순서도의 단계는 이 문서의 섹션 10의 예제 1과 연결하여 설명된다. 단계 1202에서, 프로세스는 현재 비디오 블록의 특성에 기초하여, 비선형 필터링 작업의 하나 이상의 파라미터를 결정한다. 단계 1204에서, 프로세스는 하나 이상의 파라미터에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행한다.
도 13은 비주얼 매체 처리를 위한 예제 방법의 순서도를 나타낸다. 이 순서도의 단계는 이 문서의 섹션 10의 예제 5와 연결하여 설명된다. 단계 1302에서, 프로세스는 현재 비디오 블록에 대해, 비선형 필터링 작업의 일부인 클리핑 작업의 하나 이상의 파라미터를 구성한다. 단계 1304에서, 프로세스는 하나 이상의 파라미터에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하고, 여기서 하나 이상의 파라미터는 비선형 필터링 작업과 연관된 하나 이상의 필터 계수의 값과 독립적으로 비트스트림 표현에 제시된다.
도 14는 비주얼 매체 처리를 위한 예제 방법의 순서도를 나타낸다. 이 순서도의 단계는 이 문서의 섹션 10의 예 6과 연결하여 설명된다. 단계 1402에서, 프로세스는 현재 비디오 블록에 기초하여, 비선형 필터링 작업의 일부인 클리핑 작업의 하나 이상의 파라미터를 구성한다. 단계 1404에서, 프로세스는 하나 이상의 파라미터에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하고, 현재 비디오 블록은 i번째 필터로부터 필터 계수를 상속하고, 여기서 클리핑 작업의 하나 이상의 파라미터의 상속과 관련된 제1 규칙은 필터 계수의 상속과 관련된 제2 규칙과 상이하다.
본 명세서에서 논의된 다양한 실시예는 이제 절 기반 형식으로 제시된다.
A1. 비주얼 매체 처리 방법에 있어서,
현재 비디오 블록에 대해, 비선형 필터링 작업의 일부인 클리핑 작업의 하나 이상의 파라미터를 구성하는 단계; 및
하나 이상의 파라미터에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 여기서 하나 이상의 파라미터는 규칙에 따라 코딩 된다.
A2. A1의 방법에 있어서, 규칙은 N 비트의 고정 길이로 하나 이상의 파라미터를 코딩 하도록 지정한다.
A3. A1의 방법에 있어서, 이 규칙은 N의 최대값에 기초하는 잘린 단항 방법으로 하나 이상의 파라미터를 코딩 하도록 지정한다.
A4. A1 내지 A3 중 어느 하나 이상의 방법에 있어서, N은 고정되어 있다.
A5. A1 내지 A3 중 어느 하나 이상의 방법에 있어서, N은 비트스트림 표현에서 시그널링 된다.
A6. A1 내지 A3 중 어느 하나 이상의 방법에 있어서, N은 양자화 파라미터를 포함하는 현재 비디오 블록의 코딩 된 정보 또는 현재 비디오 블록을 포함하는 픽처 디멘션에 기초한다.
A7. A1의 방법에 있어서, 비선형 필터링 작업은 필터에 기초하며, 여기서 규칙은 하나의 필터 또는 필터 세트에 대해 고정된 차수를 갖는 지수 골롬(Exponential-Golomb) 방법으로 하나 이상의 파라미터를 코딩 하는 것을 지정한다.
A8. A1의 방법에 있어서, 규칙은 실행 길이 코딩 방법에 기초하는 하나 이상의 파라미터 코딩을 지정한다.
A9. A5의 방법에 있어서, 규칙은 실행 길이 코딩 방법(run-length coding method)의 실행이 하나 이상의 파라미터의 인덱스에 대응하고 실행 길이 코딩 방법의 길이가 동일한 하나 이상의 파라미터의 연속적인 파라미터의 수에 대응한다는 것을 추가로 지정한다.
A10. A1의 방법에 있어서, 규칙은 예측 코딩에 기초하여 하나 이상의 파라미터를 코딩 하도록 지정한다.
A11. A10의 방법에 있어서, 하나의 필터 내에서 하나 이상의 파라미터에 대해 예측 코딩이 적용된다.
A12. A10의 방법에 있어서, 예측 코딩은 상이한 필터들 사이의 하나 이상의 파라미터에 대해 적용된다.
A13. A12의 방법에 있어서, 하나의 컬러 컴포넌트에 사용되는 서로 다른 필터 중 하나 이상의 파라미터에 대해 예측 코딩이 적용된다.
A14. A12의 방법에 있어서, 예측 코딩은 서로 다른 컬러 컴포넌트에 사용되는 서로 다른 필터 중 하나 이상의 파라미터에 적용된다.
A15. A12의 방법에 있어서, 예측 코딩은 현재 비디오 블록의 상이한 샘플에 사용되는 상이한 필터 중에서 하나 이상의 파라미터에 적용된다.
A16. A12의 방법에 있어서, 예측 코딩은 상이한 비디오 블록에 사용되는 상이한 필터 중 하나 이상의 파라미터에 적용된다.
A17. A11의 방법에 있어서, 하나 이상의 파라미터는 다른 적응 파라미터 세트(APS)의 필드로 포함된다.
A18. A1 내지 A17 중 어느 하나 이상의 방법에 있어서, 비선형 필터링 작업은 상이한 방향에서의 그레디언트 계산에 기초하여 필터 인덱스를 결정하는 것을 포함하는 적응형 루프 필터링(ALF) 작업이다.
A19. A1 내지 A17 중 어느 하나 이상의 방법에 있어서, 하나 이상의 파라미터에 클리핑 인덱스가 포함된다.
B1. 비주얼 매체 처리 방법에 있어서,
현재 비디오 블록의 특성에 기초하여, 비선형 필터링 작업의 하나 이상의 파라미터를 결정하는 단계; 및
하나 이상의 파라미터에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함한다.
B2. B1의 방법에 있어서, 현재 비디오 블록의 특성은 현재 비디오 블록의 코딩 모드이다.
B3. B2의 방법에 있어서, 현재 비디오 블록의 코딩 모드는 인트라 모드, 비-인트라 모드, 인트라 블록 복사(IBC) 모드 또는 비-IBC 모드이다.
B4. B1의 방법에 있어서, 특성은 변환 정보이다.
B5. B4의 방법에 있어서, 변환 정보는 현재 비디오 블록에 적용되는 변환 스킵의 표시를 포함한다.
B6. B1의 방법에 있어서, 특성은 잔차 정보이다.
B7. B6의 방법에 있어서, 잔차 정보는 현재 비디오 블록의 0 값 계수를 포함한다.
B8. B1의 방법에 있어서, 특성은 현재 비디오 블록을 포함하는 타일 그룹 또는 픽처의 그룹 유형 또는 픽처 유형이다.
B9. B1의 방법에 있어서, 특성은 현재 비디오 블록을 포함하는 타일, 타일 그룹, 픽처 또는 슬라이스와 연관된 시간적 계층 정보 또는 참조 정보이다.
B10. B1의 방법에 있어서, 특성은 현재 비디오 블록과 연관된 참조 픽처 또는 모션 정보이다.
B11. B1의 방법에 있어서, 특성은 기하학적 변환이다.
B12. B1 내지 B11 중 어느 하나 이상의 방법에 있어서,하나 이상의 파라미터는 온/오프 제어 플래그 및/또는 클리핑 함수의 하나 이상의 파라미터를 포함한다.
B13. B12의 방법에 있어서, 클리핑 함수의 상한 크기는 클리핑 함수의 하한 크기와 상이하다.
B14. B13의 방법에 있어서, 예측 코딩은 클리핑 함수의 상한과 하한 사이에 적용된다.
B15. B12의 방법에 있어서, 클리핑 함수의 상한과 클리핑 함수의 하한은 비트스트림 표현의 필드로 포함된다.
B16. B10의 방법에 있어서, 비선형 필터링 작업은 제1 필터 및 제2 필터의 사용을 포함하고, 제2 필터의 하나 이상의 파라미터는 제1 필터의 하나 이상의 파라미터를 사용하여 예측된다.
B17. B10의 방법에 있어서, 제1 필터와 제2 필터는 현재 비디오 블록의 서로 다른 샘플 세트에 적용된다.
B18. B10의 방법에 있어서, 제1 필터와 제2 필터는 서로 다른 비디오 블록과 관련된 샘플에 적용된다.
B19. A1 내지 B18 중 어느 하나 이상의 방법에 있어서, 비선형 필터링 작업에 사용되는 필터의 형태는 현재 비디오 블록과 관련된 샘플의 컬러 표현에 기초한다.
B20. B19의 방법에 있어서, 컬러 표현은 4:4:4 컬러 형식 또는 RGB 컬러 형식을 포함한다.
B21. B19의 방법에 있어서, 필터는 다이아몬드 형태의 필터이다.
B22. B19의 방법에 있어서, 다이아몬드 형태의 필터는 5x5 또는 7x7 크기이다.
B23. B1 내지 B22 중 어느 하나 이상의 방법에 있어서, 비선형 필터링 작업은 비선형 적응형 루프 필터링 작업이다.
B24. B1 내지 B23 중 어느 하나 이상의 방법에 있어서, 비선형 필터링 작업은 상이한 방향에서의 그레디언트 계산에 기초하여 필터 인덱스를 결정하는 것을 포함하는 적응형 루프 필터링(ALF) 작업이다.
B25. B1 내지 B23 중 어느 하나 이상의 방법에 있어서, 하나 이상의 파라미터에 클리핑 인덱스가 포함된다.
B26. A1 내지 B25 중 어느 하나의 방법에 있어서, 변환은 현재 비디오 블록으로부터 비트스트림 표현을 생성하는 것을 포함한다.
B27. A1 내지 B25 중 어느 하나의 방법에 있어서, 변환은 비트스트림 표현으로부터 현재 비디오 블록의 픽셀 값을 생성하는 단계를 포함한다.
B28. A1 내지 B25 중 어느 하나 이상에서 인용된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 인코더 장치.
B29. A1 내지 B25 중 어느 하나 이상에서 인용된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 디코더 장치.
B30. 코드가 저장된 컴퓨터 판독 가능 매체에 있어서, 코드는 A1 내지 B25 중 어느 하나 이상에서 인용된 방법을 구현하기 위한 프로세서 실행 가능 명령을 구현한다.
C1. 비주얼 매체 처리 방법에 있어서,
현재 비디오 블록에 대해, 비선형 필터링 작업의 일부인 클리핑 작업의 하나 이상의 파라미터를 구성하는 단계; 및
하나 이상의 파라미터에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 하나 이상의 파라미터는 비선형 필터링 작업과 연관된 적어도 하나의 필터 계수의 값과 독립적으로 비트스트림 표현에 제공된다.
C2. C1의 방법에 있어서, 하나 이상의 필터 계수의 값이 0인 경우에 하나 이상의 파라미터가 비트스트림 표현에 제시된다.
C3. C1 내지 C2 중 어느 하나 이상의 방법에 있어서, 하나 이상의 파라미터는 적어도 하나의 필터 계수의 값에 관계없이 비트스트림 표현으로 제시된다.
C4. C1 내지 C3 중 어느 하나 이상의 방법에 있어서, 비선형 필터링 작업은 상이한 방향에서의 그레디언트 계산에 기초하여 필터 인덱스를 결정하는 것을 포함하는 적응형 루프 필터링(ALF) 작업이다.
C5. C1 내지 C3 중 어느 하나 이상의 방법에 있어서, 하나 이상의 파라미터에 클리핑 인덱스가 포함된다.
D1. 비주얼 영상 미디어 처리 방법에 있어서,
현재 비디오 블록에 대해, 비선형 필터링 작업의 일부인 클리핑 작업의 하나 이상의 파라미터를 구성하는 단계; 및
하나 이상의 파라미터에 기초하여, 현재 비디오 블록과 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계 - 현재 비디오 블록은 i번째 필터로부터 필터 계수를 상속하고, 클리핑 작업의 하나 이상의 파라미터의 상속과 연관된 제1 규칙은 필터 계수의 상속과 연관된 제2 규칙과 상이함 - 를 포함한다.
D2. D1의 방법에 있어서, 제1 규칙은 i번째 필터에서 클리핑 작업의 하나 이상의 파라미터 상속을 제외하도록 지정한다.
D3. D1의 방법에 있어서,
현재 비디오 블록에 대해 시간적 예측이 활성화되는 것을 식별할 때, 클리핑 작업을 적용할지 또는 비활성화 할지의 결정을 내리는 단계를 더 포함한다.
D4. D1의 방법에 있어서,
현재 비디오 블록에 대해 시간적 예측이 활성화되는 것을 식별할 때, 클리핑 작업의 하나 이상의 파라미터의 상속을 적용할지 제외할지 여부의 결정을 내리는 단계를 더 포함한다.
D5. D1의 방법에 있어서, 제1 규칙은 j번째 필터에서 클리핑 작업의 하나 이상의 파라미터를 상속하도록 지정한다.
D6. D1의 방법에 있어서, 제1 규칙은 j번째 필터로부터 클리핑 작업의 하나 이상의 파라미터를 상속하는 것을 지정하고, j번째 필터와 i번째 필터는 다른 필터 세트와 연관된다.
D7. D6의 방법에 있어서, j번째 필터 및 i번째 필터는 상이한 픽처 및/또는 타일 그룹 및/또는 타일 및/또는 슬라이스와 연관된다.
D8. D6의 방법에 있어서, j번째 필터와 i번째 필터는 동일하다.
D9. D5의 방법에 있어서, j번째 필터와 i번째 필터는 상이하다.
D10. D1의 방법에 있어서, 제1 규칙은 클리핑 작업의 하나 이상의 파라미터를 비트스트림 표현의 필드로 포함하도록 지정한다.
D11. D10의 방법에 있어서, 필드에는 적응 파라미터 세트(APS) 인덱스에 포함된다.
D12. D1 내지 D11 중 어느 하나 이상의 방법에 있어서, 클리핑 작업은 클리핑 된 샘플 차이 또는 클리핑 그레디언트를 컴퓨팅 하는 단계를 포함한다.
D13. D12의 방법에 있어서, 클리핑 된 그레디언트는
Figure pct00039
와 같이 컴퓨팅 되는 수직 그레디언트를 포함하고, 여기서, clip1 및 clip2는 각각 제1 및 제2 클리핑 함수이고 R(i,j)는 현재 비디오 블록의 샘플을 나타낸다.
D14. D12의 방법에 있어서, 클리핑 된 그레디언트는
Figure pct00040
와 같이 계산되는 수평 그레디언트를 포함하고, clip1 및 clip2는 각각 제1 및 제2 클리핑 함수이고 R(i,j)는 현재 비디오 블록의 샘플을 나타낸다.
D15. D1 내지 D14 중 어느 하나 이상의 방법에 있어서,
필터링 작업에 사용된 샘플의 위치에 기초하여 클리핑 작업을 선택적으로 활성화 또는 비활성화할지 여부의 결정을 내리는 단계를 더 포함한다.
D16. D15의 방법에 있어서, 샘플이 코딩 유닛, 파티션 유닛, 변환 유닛, 픽처, 타일 또는 타일 그룹 중 하나 이상의 경계에 위치하지 않으면 클리핑 작업이 비활성화된다.
D17. D15의 방법에 있어서, 샘플이 코딩 유닛, 파티션 유닛, 변환 유닛, 픽처, 타일, 타일 그룹, 코딩 트리 유닛, 또는 가상 파이프라이닝 데이터 유닛 중 하나 이상의 경계에 위치하면 클링 작업이 활성화된다.
D18. D15의 방법에 있어서, 위치는 샘플과 다음 중 하나 이상의 경계 사이의 거리에 관한 것이다: 코딩 유닛, 파티션 유닛, 변환 유닛, 픽처, 타일, 타일 그룹, 코딩 트리 유닛, 또는 가상 파이프라이닝 데이터 유닛.
D19. D18의 방법에 있어서, 거리는 미리 정의된다.
D20. D18의 방법에 있어서, 거리는 비트스트림 표현으로 시그널링 된다.
D21. D1 내지 D20 중 어느 하나 이상의 방법에 있어서, 비선형 필터링 작업에 사용되는 필터의 형태는 현재 비디오 블록과 관련된 샘플의 컬러 표현에 기초한다.
D22. D21의 방법에 있어서, 컬러 표현은 4:4:4 컬러 형식 또는 RGB 컬러 형식을 포함한다.
D23. D21의 방법에 있어서, 필터는 다이아몬드 형태의 필터이다.
D24. D23의 방법에 있어서, 다이아몬드 형태의 필터는 5x5 또는 7x7 크기이다.
D25. D1 내지 D24 중 임의의 하나 이상의 방법에 있어서, 비선형 필터링 작업은 상이한 방향에서의 그레디언트 계산에 기초하여 필터 인덱스를 결정하는 것을 포함하는 적응형 루프 필터링(ALF) 작업이다.
D26. D1 내지 D24 중 임의의 하나 이상의 방법에 있어서, 하나 이상의 파라미터에 클리핑 인덱스가 포함된다.
D27. C1 내지 D26 중 어느 하나의 방법에 있어서, 변환은 현재 비디오 블록으로부터 비트스트림 표현을 생성하는 것을 포함한다.
D28. C1 내지 D26 중 어느 하나의 방법에 있어서, 변환은 비트스트림 표현으로부터 현재 비디오 블록의 픽셀 값을 생성하는 것을 포함한다.
D29. C1 내지 D26 중 임의의 하나 이상에 인용된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 인코더 장치.
D30. C1 내지 D26 중 임의의 하나 이상에 인용된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 디코더 장치.
D31. 코드가 저장된 컴퓨터 판독 가능 매체로서, 코드는 C1 내지 D26 중 어느 하나 이상에서 인용된 방법을 구현하기 위한 프로세서 실행 가능 명령을 구현한다.
본 문서에서 "비디오 처리" 또는 "비주얼 매체 처리" 또는 "비주얼 매체 처리"라는 용어는 비디오 인코딩, 비디오 디코딩, 비디오 압축 또는 비디오 압축 해제를 지칭할 수 있다. 예를 들어, 비디오 압축 알고리즘은 비디오의 픽셀 표현에서 대응하는 비트스트림 표현으로 또는 그 반대로 변환하는 동안 적용될 수 있다. 현재 비디오 블록의 비트스트림 표현은, 예를 들어, 신택스에 의해 정의된 바와 같이 비트스트림 내의 다른 위치에 함께 배치되거나 확산되는 비트에 대응할 수 있다. 예를 들어, 매크로 블록은 변환 및 코딩 된 오류 잔차 값의 관점에서 그리고 또한 헤더의 비트 및 비트스트림의 다른 필드를 사용하여 인코딩될 수 있다. 또한, 변환 동안 디코더는 위의 솔루션에서 설명된 바와 같이 결정에 기초하여 일부 필드가 존재하거나 없을 수 있다는 지식으로 비트스트림을 파싱할 수 있다. 유사하게, 인코더는 특정 신택스 필드가 포함되는지 여부를 결정할 수 있고, 이에 따라 코딩 된 표현으로부터 신택스 필드를 포함하거나 제외함으로써 코딩 된 표현을 생성할 수 있다.
전술한 내용으로부터, 현재 개시된 기술의 특정 실시예가 예시의 목적으로 여기에서 설명되었지만, 본 발명의 범위를 벗어나지 않고 다양한 수정이 이루어질 수 있다는 것이 이해될 것이다. 따라서, 현재 개시된 기술은 첨부된 청구범위에 의한 경우를 제외하고는 제한되지 않는다.
본 특허 문서에 기재된 주제의 구현 및 기능적 작업은 본 사양 및 구조상 등가물 또는 그 중 하나 이상의 조합으로 다양한 시스템, 디지털 전자 회로 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있다. 본 명세서에 기재된 주제의 구현은 하나 이상의 컴퓨터 프로그램 제품, 즉, 데이터 처리 장치의 작동을 제어하기 위해 실물 및 비일시적 컴퓨터 판독 가능한 매체에 인코딩 된 컴퓨터 프로그램 지침의 하나 이상의 모듈로 구현될 수 있다. 컴퓨터가 읽을 수 있는 매체는 기계가 읽을 수 있는 저장 장치, 기계가 읽을 수 있는 스토리지 기판, 메모리 장치, 기계가 읽을 수 있는 전파 신호에 영향을 미치는 물질의 조성 또는 하나 이상의 조합일 수 있다. 용어 "데이터 처리 장치" 또는 "데이터 처리 장치"는 예를 들어 프로그래밍 가능한 프로세서, 컴퓨터 또는 다중 프로세서 또는 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 장치, 장치 및 기계를 포함한다. 이 장치에는 대응하는 컴퓨터 프로그램에 대한 실행 환경을 만드는 코드(예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 또는 하나 이상의 조합)가 포함될 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램, 스크립트 또는 코드라고도 함)은 컴파일 되거나 해석된 언어를 포함하며 독립 실행형 프로그램 또는 모듈, 구성 요소, 서브루틴 또는 컴퓨팅 환경에서 사용하기에 적합한 기타 단위를 포함하여 모든 형태로 배포될 수 있는 모든 형태의 프로그래밍 언어로 작성할 수 있다. 컴퓨터 프로그램이 파일 시스템의 파일에 반드시 대응되는 것은 아니다. 프로그램은 다른 프로그램이나 데이터(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트), 대응하는 프로그램에 전념하는 단일 파일 또는 여러 조정된 파일(예를 들어, 하나 이상의 모듈, 서브 프로그램 또는 코드 일부를 저장하는 파일)에 저장할 수 있다. 컴퓨터 프로그램은 한 컴퓨터 또는 한 위치에 위치하거나 여러 위치에 분산되고 통신 네트워크에 의해 상호 연결된 여러 컴퓨터에서 실행하도록 배포할 수 있다.
이 사양에 설명된 프로세스 및 논리 흐름은 하나 이상의 프로그래밍 가능한 프로세서가 하나 이상의 프로그래밍 가능한 프로세서에서 수행하여 입력 데이터에서 작동하고 출력을 생성하여 기능을 수행할 수 있다. 프로세스 및 로직 흐름도 수행될 수 있으며, 장치는 특수 목적 논리 회로, 예를 들어 FPGA(필드 프로그래밍 가능한 게이트 어레이) 또는 ASIC(응용 프로그램 별 집적 회로)로 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서에는 예를 들어 일반 및 특수 목적 마이크로프로세서와 모든 종류의 디지털 컴퓨터의 하나 이상의 프로세서가 포함된다. 일반적으로 프로세서는 읽기 전용 메모리 또는 임의 액세스 메모리 또는 둘 다에서 지침과 데이터를 수신한다. 컴퓨터의 필수 요소는 명령을 수행하기 위한 프로세서와 명령 및 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치, 예를 들어 자기, 광자기 디스크 또는 광 디스크로부터 데이터를 수신하거나 이들로 데이터를 전송하거나 둘 모두를 포함하거나 작동 가능하게 결합된다. 그러나 컴퓨터에는 그러한 장치가 필요하지 않다. 컴퓨터 프로그램 지침 및 데이터를 저장하는 데 적합한 컴퓨터 판독 가능한 미디어에는 반도체 메모리 장치(예를 들어, EPROM, EEPROM 및 플래시 메모리 장치)를 비롯한 모든 형태의 비휘발성 메모리, 미디어 및 메모리 장치가 포함된다. 프로세서와 메모리는 특수 목적 논리 회로에 의해 보충되거나 통합될 수 있다.
이 사양은 도면과 함께 모범적인 예로 간주되며, 예시적인 예시가 예를 의미한다. 본 명세서에서 사용되는 바와 같이, 단수 형태 "하나(a)", "한(an)" 및 "그(the)"는 문맥이 명확하게 달리 나타내지 않는 한 복수 형태도 포함시키기 위한 것이다. 또한 컨텍스트가 달리 명확하게 나타내지 않는 한 "또는"를 사용하려면 "및/또는"를 포함하기 위한 것이다.
본 특허 문서에는 여러 가지 구체적인 내용이 포함되어 있지만, 이는 발명의 범위나 주장될 수 있는 것의 한계로 해석되어서는 안 되며, 오히려 특정 발명의 특정 실시예에 특정할 수 있는 특징에 대한 설명으로 해석되어야 한다. 이 특허 문서에 기재된 특정 특징은 별도의 실시예의 맥락에서 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시예의 문맥상에 기재되는 다양한 특징은 또한 다중 실시예에서 개별적으로 또는 어느 적합한 서브 조합에서 구현될 수 있다. 또한, 특징들이 특정 조합으로 작용하는 것으로 위에서 설명될 수 있고 심지어 초기에 그러한 것으로 청구될 수 있지만, 청구된 조합의 하나 이상의 특징이 경우에 따라 조합에서 제거될 수 있고, 청구된 조합은 서브 조합 또는 서브 조합의 변형에 관한 것일 수 있다.
마찬가지로, 작업은 특정 순서로 도면에 묘사되는 동안, 이러한 작업이 표시된 특정 순서 또는 순차순서로 수행되거나, 모든 일러스트레이션 작업을 수행하여 바람직한 결과를 달성하도록 요구하는 것으로 이해되어서는 안된다. 또한, 본 특허 문서에 기재된 실시예에서 다양한 시스템 컴포넌트의 분리는 모든 실시예에서 이러한 분리를 요구하는 것으로 이해되어서는 안된다.
몇 가지 구현 및 예제만 설명되며 이 특허 문서에 설명되고 설명된 내용에 따라 다른 구현, 개선 및 변형을 만들 수 있다.

Claims (36)

  1. 비주얼 매체 처리 방법에 있어서,
    현재 비디오 블록에 대해, 비선형 필터링 작업의 일부인 클리핑 작업의 하나 이상의 파라미터를 구성하는 단계; 및
    상기 하나 이상의 파라미터에 기초하여, 상기 현재 비디오 블록과 상기 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계 - 상기 하나 이상의 파라미터는 상기 비선형 필터링 작업과 연관된 적어도 하나의 필터 계수의 값과 독립적으로 상기 비트스트림 표현에 제시됨 -
    를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 하나 이상의 필터 계수의 값이 0인 경우에 상기 하나 이상의 파라미터가 상기 비트스트림 표현에 제시된는
    방법.
  3. 제1항 또는 제2항에 있어서,
    상기 하나 이상의 파라미터는 상기 적어도 하나의 필터 계수의 값에 관계없이 상기 비트스트림 표현으로 제시되는
    포함하는
    방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 비선형 필터링 작업은 상이한 방향에서의 그레디언트 계산에 기초하여 필터 인덱스를 결정하는 단계를 포함하는 적응형 루프 필터링(ALF) 작업 인
    방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 하나 이상의 파라미터는 클리핑 인덱스를 포함하는
    방법.
  6. 비주얼 매체 처리 방법에 있어서,
    현재 비디오 블록에 대해, 비선형 필터링 작업의 일부인 클리핑 작업의 하나 이상의 파라미터를 구성하는 단계; 및
    상기 하나 이상의 파라미터에 기초하여, 상기 현재 비디오 블록과 상기 현재 비디오 블록의 비트스트림 표현 사이의 변환을 수행하는 단계 - 상기 현재 비디오 블록은 i번째 필터로부터 필터 계수를 상속하고, 상기 클리핑 작업의 하나 이상의 파라미터의 상속과 연관된 제1 규칙은 상기 필터 계수의 상속과 연관된 제2 규칙과 상이함 -
    를 포함하는
    방법.
  7. 제6항에 있어서,
    상기 제1 규칙은 상기 i번째 필터에서 상기 클리핑 작업의 하나 이상의 파라미터 상속을 제외하도록 지정하는
    방법.
  8. 제6항에 있어서,
    상기 현재 비디오 블록에 대해 시간적 예측이 활성화 됨을 식별하는 단계에서, 상기 클리핑 작업을 적용할지 또는 비활성화 할지의 결정을 내리는 단계를 포함하는
    방법.
  9. 제6항에 있어서,
    상기 현재 비디오 블록에 대해 시간적 예측이 가능하다는 것을 식별하는 단계에서, 상기 클리핑 작업의 하나 이상의 파라미터의 상속을 적용할지 제외할지 여부의 결정을 내리는 단계를 포함하는
    방법.
  10. 제6항에 있어서,
    상기 제1 규칙은 j번째 필터에서 상기 클리핑 작업의 하나 이상의 파라미터를 상속하도록 지정하는
    방법.
  11. 제6항에 있어서,
    상기 제1 규칙은 j번째 필터에서 상기 클리핑 작업의 하나 이상의 파라미터를 상속하도록 지정하고, 및 j번째 필터와 상기 i번째 필터는 상이한 필터 세트와 연관되는
    방법.
  12. 제11항에 있어서,
    상기 j번째 필터 및 상기 i번째 필터는 상이한 픽처 및/또는 타일 그룹 및/또는 타일 및/또는 슬라이스와 연관되는
    방법.
  13. 제11항에 있어서,
    상기 j번째 필터와 상기 i번째 필터는 동일한
    방법.
  14. 제10항에 있어서,
    상기 j번째 필터와 상기 i번째 필터는 상이한
    방법.
  15. 제6항에 있어서,
    상기 제1 규칙은 상기 클리핑 작업의 하나 이상의 파라미터를 상기 비트스트림 표현의 필드로 포함하도록 지정하는
    방법.
  16. 제15항에 있어서,
    상기 필드는 적응형 파라미터 세트(APS) 인덱스를 포함하는
    방법.
  17. 제6항 내지 제16항 중 어느 한 항에 있어서,
    상기 클리핑 작업은 클리핑 된 샘플 차이 또는 클리핑 된 그레디언트를 컴퓨팅 하는 단계를 포함하는
    방법.
  18. 제17항에 있어서,
    상기 클리핑 된 그레디언트는:

    Figure pct00041


    와 같이 계산되는 수직 그레디언트를 포함하고,
    여기서, clip1 및 clip2는 각각 제1 및 제2 클리핑 함수이고 R(i,j)는 상기 현재 비디오 블록의 샘플을 나타내는
    방법.
  19. 제17항에 있어서,
    상기 클리핑 된 그레디언트는:

    Figure pct00042


    와 같이 계산되는 수평 그레디언트를 포함하고,
    여기서, clip1 및 clip2는 각각 제1 및 제2 클리핑 함수이고 R(i,j)는 상기 현재 비디오 블록의 샘플을 나타내는
    방법.
  20. 제6항 내지 제19항 중 어느 한 항에 있어서,
    상기 필터링 작업에 사용된 샘플의 위치에 기초하여, 클리핑 작업을 선택적으로 활성화 또는 비활성화할지 여부의 결정을 내리는 단계를 더 포함하는
    방법.
  21. 제20항에 있어서,
    상기 샘플이:
    코딩 유닛, 파티션 유닛, 변환 유닛, 픽처, 타일 또는 타일 그룹
    중 하나 이상의 경계에 있지 않으면 상기 클리핑 작업이 비활성화되는
    방법.
  22. 제20항에 있어서,
    상기 샘플이:
    코딩 유닛, 파티션 유닛, 변환 유닛, 픽처, 타일, 타일 그룹, 코딩 트리 유닛, 또는 가상 파이프라이닝 데이터 유닛
    중 하나 이상의 경계에 있지 않으면 상기 클리핑 작업이 활성화되는
    방법.
  23. 제20항에 있어서,
    상기 위치는 상기 샘플과:
    코딩 유닛, 파티션 유닛, 변환 유닛, 픽처, 타일, 타일 그룹, 코딩 트리 유닛, 또는 가상 파이프라이닝 데이터 유닛
    중 하나 이상의 경계 사이의 거리와 관련되는
    방법.
  24. 제23항에 있어서,
    상기 거리는 미리 정의되는
    방법.
  25. 제23항에 있어서,
    상기 거리는 비트스트림 표현으로 시그널링 되는
    방법.
  26. 제6항 내지 제25항 중 어느 한 항에 있어서,
    상기 비선형 필터링 작업에 사용되는 필터의 형태는 상기 현재 비디오 블록과 연관된 샘플의 컬러 표현에 기초하는
    방법.
  27. 제26항에 있어서,
    상기 컬러 표현은 4:4:4 컬러 형식 또는 RGB 컬러 형식을 포함하는
    방법.
  28. 제26항에 있어서,
    상기 필터는 다이아몬드 형태의 필터인
    방법.
  29. 제28항에 있어서,
    상기 다이아몬드 형태의 필터는 5x5 또는 7x7 크기 인
    방법.
  30. 제6항 내지 제29항 중 어느 한 항에 있어서,
    상기 비선형 필터링 작업은 상이한 방향에서의 그레디언트 계산에 기초하여 필터 인덱스를 결정하는 단계를 포함하는 적응형 루프 필터링링(ALF) 작업인
    방법.
  31. 제6항 내지 제29항 중 어느 한 항에 있어서,
    상기 하나 이상의 파라미터는 클리핑 인덱스를 포함하는
    방법.
  32. 제1항 내지 제31항 중 어느 한 항에 있어서,
    상기 변환은 상기 현재 비디오 블록으로부터 상기 비트스트림 표현을 생성하는 단계를 포함하는
    방법.
  33. 제1항 내지 제31항 중 어느 한 항에 있어서,
    상기 변환은 상기 비트스트림 표현으로부터 상기 현재 비디오 블록의 픽셀 값을 생성하는 단계를 포함하는
    방법.
  34. 제1항 내지 제31항 중 어느 한 항에 기재된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 인코더 장치.
  35. 제1항 내지 제31항 중 어느 한 항에 기재된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 디코더 장치.
  36. 제1항 내지 제31항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로세서 실행 가능 명령을 구현하는 코드가 저장된 컴퓨터 판독 가능 매체.
KR1020217030931A 2019-04-15 2020-04-15 비선형 적응형 루프 필터링에서 파라미터의 시간적 예측 KR102647470B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019082626 2019-04-15
CNPCT/CN2019/082626 2019-04-15
PCT/CN2020/084876 WO2020211770A1 (en) 2019-04-15 2020-04-15 Temporal prediction of parameters in non-linear adaptive loop filter

Publications (2)

Publication Number Publication Date
KR20210145748A true KR20210145748A (ko) 2021-12-02
KR102647470B1 KR102647470B1 (ko) 2024-03-14

Family

ID=72838043

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217030931A KR102647470B1 (ko) 2019-04-15 2020-04-15 비선형 적응형 루프 필터링에서 파라미터의 시간적 예측

Country Status (6)

Country Link
US (4) US11303894B2 (ko)
EP (1) EP3928524A4 (ko)
JP (2) JP7405865B2 (ko)
KR (1) KR102647470B1 (ko)
CN (3) CN115914627A (ko)
WO (2) WO2020211769A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115914627A (zh) 2019-04-15 2023-04-04 北京字节跳动网络技术有限公司 自适应环路滤波器中的裁剪参数推导
US11368684B2 (en) * 2019-04-23 2022-06-21 Qualcomm Incorporated Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters
CN113785573A (zh) * 2019-05-04 2021-12-10 华为技术有限公司 编码器、解码器和使用自适应环路滤波器的对应方法
JP7425808B2 (ja) 2019-06-04 2024-01-31 北京字節跳動網絡技術有限公司 動き候補リスト構築プロセスの条件付き実行
JP7346599B2 (ja) 2019-06-04 2023-09-19 北京字節跳動網絡技術有限公司 ビデオ・データ処理方法、装置、記憶媒体及び記憶方法
US11418779B2 (en) 2019-06-11 2022-08-16 Qualcomm Incorporated Clipping indices coding for adaptive loop filter in video coding
US11736688B2 (en) * 2019-06-21 2023-08-22 Qualcomm Incorporated Adaptive loop filter signalling
JP7291846B2 (ja) 2019-07-09 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングのためのサンプル決定
KR102648121B1 (ko) 2019-07-11 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서의 샘플 패딩
WO2021008514A1 (en) 2019-07-14 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Indication of adaptive loop filtering in adaptation parameter set
CN117676168A (zh) 2019-07-15 2024-03-08 北京字节跳动网络技术有限公司 自适应环路滤波中的分类
BR112022004668A2 (pt) 2019-09-14 2022-05-31 Bytedance Inc Método de processamento de dados de vídeo, aparelho para processar dados de vídeo e meios de armazenamento e de gravação não transitórios legíveis por computador
BR112022005046A2 (pt) 2019-09-18 2022-07-05 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento não transitório legível por computador e meio de gravação não transitório legível por computador
EP4018652A4 (en) 2019-09-22 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. FILLING METHOD IN AN ADAPTIVE LOOP FILTER
JP7326600B2 (ja) 2019-09-27 2023-08-15 北京字節跳動網絡技術有限公司 異なるビデオユニット間の適応ループフィルタリング
CN114450959A (zh) 2019-09-28 2022-05-06 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
JP7454042B2 (ja) 2019-10-10 2024-03-21 北京字節跳動網絡技術有限公司 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス
WO2021076475A1 (en) 2019-10-14 2021-04-22 Bytedance Inc. Joint coding of chroma residual and filtering in video processing
CN117528097A (zh) 2019-10-29 2024-02-06 抖音视界(北京)有限公司 跨分量自适应环路滤波器
WO2021118977A1 (en) 2019-12-09 2021-06-17 Bytedance Inc. Using quantization groups in video coding
JP7393550B2 (ja) 2019-12-11 2023-12-06 北京字節跳動網絡技術有限公司 クロス成分適応ループフィルタリングのためのサンプルパディング
CN114902657A (zh) 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换
EP4173290A4 (en) 2020-06-30 2024-01-10 Beijing Bytedance Network Technology Co., Ltd. BOUNDARY LOCATION FOR ADAPTIVE LOOP FILTERING
US11595644B2 (en) * 2020-10-01 2023-02-28 Tencent America LLC Method and apparatus for offset in video filtering
WO2023020305A1 (en) * 2021-08-14 2023-02-23 Beijing Bytedance Network Technology Co., Ltd. Improved fusion mode for adaptive loop filter in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110142136A1 (en) * 2009-12-10 2011-06-16 Hong Kong Applied Science and Technology Research Insititute Company Limited Method and apparatus for improving video quality

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070058713A1 (en) 2005-09-14 2007-03-15 Microsoft Corporation Arbitrary resolution change downsizing decoder
WO2008047258A2 (en) 2006-10-20 2008-04-24 Nokia Corporation System and method for implementing low-complexity multi-view video coding
JP4772721B2 (ja) * 2007-03-26 2011-09-14 株式会社東芝 画像処理装置及びその方法
JP2011501497A (ja) 2007-10-15 2011-01-06 ノキア コーポレイション マルチビュー映像コンテンツのための動きスキップおよびシングルループ符号化
JP2011223337A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置および方法
SG10202001623RA (en) 2010-04-09 2020-04-29 Mitsubishi Electric Corp Moving image encoding device and moving image decoding device
CN102055981B (zh) * 2010-12-31 2013-07-03 北京大学深圳研究生院 用于视频编码器的去块滤波器及其实现方法
CN107529708B (zh) 2011-06-16 2019-05-07 Ge视频压缩有限责任公司 解码器、编码器、解码和编码视频的方法及存储介质
US20130107973A1 (en) 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
EP2785579A2 (en) * 2011-12-02 2014-10-08 Helical Robotics, LLC Mobile robot
US9591331B2 (en) * 2012-03-28 2017-03-07 Qualcomm Incorporated Merge signaling and loop filter on/off signaling
EP2870758B1 (en) * 2012-07-03 2016-11-16 Telefonaktiebolaget LM Ericsson (publ) Controlling deblocking filtering
WO2014186542A1 (en) 2013-05-15 2014-11-20 Vid Scale, Inc. Single loop decoding based inter layer prediction
US20150049821A1 (en) 2013-08-16 2015-02-19 Qualcomm Incorporated In-loop depth map filtering for 3d video coding
CN103491045B (zh) * 2013-09-03 2016-08-24 大唐移动通信设备有限公司 多载波削峰处理方法与装置
EP3058739B1 (en) 2013-10-14 2019-08-07 Microsoft Technology Licensing, LLC Features of intra block copy prediction mode for video and image coding and decoding
CN111246050B (zh) * 2014-02-25 2022-10-28 苹果公司 用于视频数据处理的***、装置和方法
EP4087247A1 (en) * 2014-02-26 2022-11-09 Dolby Laboratories Licensing Corp. Luminance based coding tools for video compression
US11070810B2 (en) 2014-03-14 2021-07-20 Qualcomm Incorporated Modifying bit depths in color-space transform coding
EP3120561B1 (en) 2014-03-16 2023-09-06 VID SCALE, Inc. Method and apparatus for the signaling of lossless video coding
US10063867B2 (en) 2014-06-18 2018-08-28 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
WO2017045101A1 (en) * 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
MX2018003688A (es) * 2015-09-25 2018-08-01 Huawei Tech Co Ltd Aparato y metodo para compensacion de movimiento de video.
US20190045224A1 (en) * 2016-02-04 2019-02-07 Mediatek Inc. Method and apparatus of non-local adaptive in-loop filters in video coding
US11563938B2 (en) 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
EP3453180A4 (en) 2016-05-04 2020-04-01 Microsoft Technology Licensing, LLC INTRA-IMAGE PREDICTION USING NON-ADJACENT REFERENCE LINES OF SAMPLE VALUES
CN109121465B (zh) 2016-05-06 2023-06-06 交互数字麦迪逊专利控股公司 用于运动补偿残差预测的***和方法
RU2018144014A (ru) * 2016-05-13 2020-06-15 ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. Способ и устройство для кодирования видео с адаптивным отсечением
US10419755B2 (en) * 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
US11095922B2 (en) 2016-08-02 2021-08-17 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
US10694202B2 (en) 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
CN114157865B (zh) 2016-12-27 2023-10-20 松下电器（美国）知识产权公司 编码装置、解码装置及非暂时性的存储介质
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
CN115174902A (zh) * 2017-01-20 2022-10-11 世宗大学校产学协力团 影像解码方法、影像编码方法及比特流的生成方法
US10708591B2 (en) * 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding
US10559079B2 (en) * 2017-05-19 2020-02-11 Uih America, Inc. System and method for image reconstruction
US10778974B2 (en) 2017-07-05 2020-09-15 Qualcomm Incorporated Adaptive loop filter with enhanced classification methods
WO2019065487A1 (ja) * 2017-09-28 2019-04-04 シャープ株式会社 値制限フィルタ装置、動画像符号化装置および動画像復号装置
US11641488B2 (en) 2017-11-01 2023-05-02 Vid Scale, Inc. Methods for simplifying adaptive loop filter in video coding
US10721469B2 (en) 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding
EP3729812A1 (en) 2017-12-19 2020-10-28 VID SCALE, Inc. Face discontinuity filtering for 360-degree video coding
US20190238845A1 (en) 2018-01-26 2019-08-01 Qualcomm Incorporated Adaptive loop filtering on deblocking filter results in video coding
US20190306502A1 (en) 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
WO2020055288A2 (en) * 2018-09-16 2020-03-19 Huawei Technologies Co., Ltd. Apparatus and method for filtering in video coding with look-up table selected based on bitstream information
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
EP3935860A1 (en) * 2019-03-08 2022-01-12 Canon Kabushiki Kaisha An adaptive loop filter
US20200304785A1 (en) * 2019-03-22 2020-09-24 Qualcomm Incorporated Simplified non-linear adaptive loop filter
US20200314423A1 (en) * 2019-03-25 2020-10-01 Qualcomm Incorporated Fixed filters with non-linear adaptive loop filter in video coding
CN113661708B (zh) * 2019-04-02 2023-12-15 北京字节跳动网络技术有限公司 基于双向光流的视频编解码和解码
CN115914627A (zh) 2019-04-15 2023-04-04 北京字节跳动网络技术有限公司 自适应环路滤波器中的裁剪参数推导
WO2021025165A1 (en) * 2019-08-08 2021-02-11 Panasonic Intellectual Property Corporation Of America System and method for video coding
US11202068B2 (en) * 2019-09-16 2021-12-14 Mediatek Inc. Method and apparatus of constrained cross-component adaptive loop filtering for video coding
WO2021054424A1 (en) 2019-09-18 2021-03-25 Panasonic Intellectual Property Corporation Of America System and method for video coding
US11516469B2 (en) * 2020-03-02 2022-11-29 Tencent America LLC Loop filter block flexible partitioning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110142136A1 (en) * 2009-12-10 2011-06-16 Hong Kong Applied Science and Technology Research Insititute Company Limited Method and apparatus for improving video quality

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Taquet J et al: "CE5: Result of tests CE5-3-.1 to Ce5-3.4 on Non-Linear Adaptive Loop Filter", JVET-N0242, ver3, 2019.3.26.* *

Also Published As

Publication number Publication date
US20220124327A1 (en) 2022-04-21
CN113678462B (zh) 2023-01-10
WO2020211769A1 (en) 2020-10-22
US20210368171A1 (en) 2021-11-25
US20230388492A1 (en) 2023-11-30
JP7405865B2 (ja) 2023-12-26
KR102647470B1 (ko) 2024-03-14
CN113678462A (zh) 2021-11-19
US11233995B2 (en) 2022-01-25
US20210377524A1 (en) 2021-12-02
CN113678464B (zh) 2022-12-02
US11729382B2 (en) 2023-08-15
CN113678464A (zh) 2021-11-19
EP3928524A4 (en) 2022-06-22
JP2022526633A (ja) 2022-05-25
US11303894B2 (en) 2022-04-12
WO2020211770A1 (en) 2020-10-22
JP2024026219A (ja) 2024-02-28
CN115914627A (zh) 2023-04-04
EP3928524A1 (en) 2021-12-29

Similar Documents

Publication Publication Date Title
KR102647470B1 (ko) 비선형 적응형 루프 필터링에서 파라미터의 시간적 예측
KR102606010B1 (ko) 비디오 처리에서 비-선형 적응형 루프 필터링
KR102648121B1 (ko) 적응적 루프 필터링에서의 샘플 패딩
JP7291846B2 (ja) 適応ループフィルタリングのためのサンプル決定
JP7485761B2 (ja) クロスコンポーネント適応ループフィルタの信号通知
KR20220088427A (ko) 교차 성분 적응적 루프 필터
JP7323711B2 (ja) ビデオコーディングにおける適応ループフィルタの二部分シグナリング
US20230345056A1 (en) Scaling process for coding block
KR20220038690A (ko) 인트라 모드에서 예측 샘플 필터링을 위한 가중 인자들
CN113994696A (zh) 编解码视频中的块尺寸相关的二次变换的使用
RU2812618C2 (ru) Нелинейная адаптивная контурная фильтрация при обработке видеоданных
RU2815441C2 (ru) Способ заполнения отсчетов при адаптивной контурной фильтрации

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant