KR101680915B1 - 비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치 - Google Patents

비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치 Download PDF

Info

Publication number
KR101680915B1
KR101680915B1 KR1020117014741A KR20117014741A KR101680915B1 KR 101680915 B1 KR101680915 B1 KR 101680915B1 KR 1020117014741 A KR1020117014741 A KR 1020117014741A KR 20117014741 A KR20117014741 A KR 20117014741A KR 101680915 B1 KR101680915 B1 KR 101680915B1
Authority
KR
South Korea
Prior art keywords
regions
artifact
input
filter
artifact removal
Prior art date
Application number
KR1020117014741A
Other languages
English (en)
Other versions
KR20110089369A (ko
Inventor
준 수
조엘 솔
펭 인
윤페이 젱
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20110089369A publication Critical patent/KR20110089369A/ko
Application granted granted Critical
Publication of KR101680915B1 publication Critical patent/KR101680915B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치가 제공된다. 장치는 그룹화 메트릭에 기초하여 그 일부분 내의 영역을 그룹화하고, 그룹화된 영역을 변환하며, 인코더에 포함된 아티팩트 제거 필터(413)를 사용하여, 변환된 영역에 대해 아티팩트 제거 필터링을 적응적으로 수행하고, 아티팩트 제거된 영역을 역변환하여 교체 영역을 생성하며, 교체 영역을 그룹화 이전에 영역을 가져왔던 이미지에 대한 위치로 복원함으로써 이미지의 적어도 일부분을 인코딩하는 인코더(400)를 포함한다.

Description

비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치{METHODS AND APPARATUS FOR SPARSITY-BASED DE-ARTIFACT FILTERING FOR VIDEO ENCODING AND DECODING}
<관련 출원의 상호 참조>
본 출원은 2008년 11월 25일자로 출원된 미국 가특허 출원 제61/117,807호를 기초로 우선권을 주장하며, 이 미국 출원은 그 전체 내용이 참고로 본 명세서에 포함된다.
<기술 분야>
본 발명은 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로서, 보다 상세하게는 비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링(sparsity-based de-artifact filtering) 방법 및 장치에 관한 것이다.
많은 하이브리드 비디오 코딩 기술은 공간 영역 및 시간 영역에서의 상관을 감소시키기 위해 움직임 보상 및 블록-기반 변환(예를 들어, 이산 코사인 변환(DCT))을 이용한다. 변환 계수의 거친 양자화(coarse quantization) 및 RD(rate-distortion) 기반 최적화에서의 시각적 품질 제약조건의 부재는 시각적 아티팩트를 야기할 수 있다.
ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고안(이후부터, "MPEG-4 AVC 표준"이라고 함)에서, 코딩된 블록 경계를 따라 일어나는 블록형 아티팩트(blocky artifact)를 감소시키는 데 루프내 디블록킹 필터(in-loop deblocking filter)가 이용된다. 이러한 아티팩트는 변환(DCT) 계수의 거친 양자화는 물론 움직임 보상된 예측에 의해 야기된다. 블록 에지(block edge)에 저역 통과 필터를 적용함으로써, 디블록킹 필터는 주관적 및 객관적 비디오 품질 둘다를 향상시킬 수 있다.
도 1을 참조하면, MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더가 전체적으로 참조 번호(100)로 나타내어져 있다.
비디오 인코더(100)는 결합기(combiner)(185)의 비반전 입력과 신호 통신을 하는 출력을 갖는 프레임 순서화 버퍼(frame ordering buffer)(110)를 포함하고 있다. 결합기(185)의 출력은 변환기 및 양자화기(125)의 제1 입력에 연결되어 신호 통신을 한다. 변환기 및 양자화기(125)의 출력은 엔트로피 코더(entropy coder)(145)의 제1 입력 그리고 역변환기 및 역양자화기(150)의 제1 입력에 연결되어 신호 통신을 한다. 엔트로피 코더(145)의 출력은 결합기(190)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(190)의 출력은 출력 버퍼(135)의 제1 입력에 연결되어 신호 통신을 한다.
인코더 제어기(105)의 제1 출력은 프레임 순서화 버퍼(110)의 제2 입력, 역변환기 및 역양자화기(150)의 제2 입력, 화상-타입 결정 모듈(picture-type decision module)(115)의 입력, 매크로블록-타입(MB-타입) 결정 모듈(MB-type decision module)(120)의 제1 입력, 인트라 예측 모듈(intra prediction module)(160)의 제2 입력, 디블록킹 필터(165)의 제2 입력, 움직임 보상기(motion compensator)(170)의 제1 입력, 움직임 추정기(motion estimator)(175)의 제1 입력, 및 기준 화상 버퍼(reference picture buffer)(180)의 제2 입력에 연결되어 신호 통신을 한다.
인코더 제어기(105)의 제2 출력은 SEI(Supplemental Enhancement Information) 삽입기(130)의 제1 입력, 변환기 및 양자화기(125)의 제2 입력, 엔트로피 코더(145)의 제2 입력, 출력 버퍼(135)의 제2 입력, 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(140)의 입력에 연결되어 신호 통신을 한다.
SEI 삽입기(130)의 출력은 결합기(190)의 제2 비반전 입력에 연결되어 신호 통신을 한다.
화상-타입 결정 모듈(115)의 제1 출력은 프레임 순서화 버퍼(110)의 제3 입력에 연결되어 신호 통신을 한다. 화상-타입 결정 모듈(115)의 제2 출력은 매크로블록-타입 결정 모듈(320)의 제2 입력에 연결되어 신호 통신을 한다.
SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(140)의 출력은 결합기(190)의 제3 비반전 입력에 연결되어 신호 통신을 한다.
역양자화기 및 역변환기(150)의 출력은 결합기(119)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(119)의 출력은 인트라 예측 모듈(160)의 제1 입력 및 디블록킹 필터(165)의 제1 입력에 연결되어 신호 통신을 한다. 디블록킹 필터(165)의 출력은 기준 화상 버퍼(180)의 제1 입력에 연결되어 신호 통신을 한다. 기준 화상 버퍼(180)의 출력은 움직임 추정기(175)의 제2 입력 및 움직임 보상기(170)의 제3 입력에 연결되어 신호 통신을 한다. 움직임 추정기(175)의 제1 출력은 움직임 보상기(170)의 제2 입력에 연결되어 신호 통신을 한다. 움직임 추정기(175)의 제2 출력은 엔트로피 코더(145)의 제3 입력에 연결되어 신호 통신을 한다.
움직임 보상기(170)의 출력은 스위치(197)의 제1 입력에 연결되어 신호 통신을 한다. 인트라 예측 모듈(160)의 출력은 스위치(197)의 제2 입력에 연결되어 신호 통신을 한다. 매크로블록-타입 결정 모듈(120)의 출력은 스위치(197)의 제3 입력에 연결되어 신호 통신을 한다. 스위치(197)의 제3 입력은 스위치의 "데이터" 입력(제어 입력, 즉 제3 입력과 비교한 것임)이 움직임 보상기(170) 또는 인트라 예측 모듈(160)에 의해 제공되어야 하는지를 결정한다. 스위치(197)의 출력은 결합기(119)의 제2 비반전 입력 및 결합기(185)의 반전 입력에 연결되어 신호 통신을 한다.
프레임 순서화 버퍼(110)의 제1 입력 및 인코더 제어기(105)의 입력은, 입력 화상을 수신하기 위해, 인코더(100)의 입력으로서 이용가능하다. 게다가, SEI(Supplemental Enhancement Information) 삽입기(130)의 제2 입력은, 메타데이터를 수신하기 위해, 인코더(100)의 입력으로서 이용가능하다. 출력 버퍼(135)의 출력은, 비트스트림을 출력하기 위해, 인코더(100)의 출력으로서 이용가능하다.
도 2를 참조하면, MPEG-4 AVC 표준에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더가 전체적으로 참조 번호(200)로 나타내어져 있다.
비디오 디코더(200)는 엔트로피 디코더(245)의 제1 입력에 연결되어 신호 통신을 하는 출력을 갖는 입력 버퍼(210)를 포함하고 있다. 엔트로피 디코더(245)의 제1 출력은 역변환기 및 역양자화기(250)의 제1 입력에 연결되어 신호 통신을 한다. 역변환기 및 역양자화기(250)의 출력은 결합기(225)의 제2 비반전 입력에 연결되어 신호 통신을 한다. 결합기(225)의 출력은 디블록킹 필터(265)의 제2 입력 및 인트라 예측 모듈(260)의 제1 입력에 연결되어 신호 통신을 한다. 디블록킹 필터(265)의 제2 출력은 기준 화상 버퍼(280)의 제1 입력에 연결되어 신호 통신을 한다. 기준 화상 버퍼(280)의 출력은 움직임 보상기(270)의 제2 입력에 연결되어 신호 통신을 한다.
엔트로피 디코더(245)의 제2 출력은 움직임 보상기(270)의 제3 입력 및 디블록킹 필터(265)의 제1 입력에 연결되어 신호 통신을 한다. 엔트로피 디코더(245)의 제3 출력은 디코더 제어기(205)의 입력에 연결되어 신호 통신을 한다. 디코더 제어기(205)의 제1 출력은 엔트로피 디코더(245)의 제2 입력에 연결되어 신호 통신을 한다. 디코더 제어기(205)의 제2 출력은 역변환기 및 역양자화기(250)의 제2 입력에 연결되어 신호 통신을 한다. 디코더 제어기(205)의 제3 출력은 디블록킹 필터(265)의 제3 입력에 연결되어 신호 통신을 한다. 디코더 제어기(205)의 제4 출력은 인트라 예측 모듈(260)의 제2 입력, 움직임 보상기(270)의 제1 입력, 및 기준 화상 버퍼(280)의 제2 입력에 연결되어 신호 통신을 한다.
움직임 보상기(270)의 출력은 스위치(297)의 제1 입력에 연결되어 신호 통신을 한다. 인트라 예측 모듈(260)의 출력은 스위치(297)의 제2 입력에 연결되어 신호 통신을 한다. 스위치(297)의 출력은 결합기(225)의 제1 비반전 입력에 연결되어 신호 통신을 한다.
입력 버퍼(210)의 입력은, 입력 비트스트림을 수신하기 위해, 디코더(200)의 입력으로서 이용가능하다. 디블록킹 필터(265)의 제1 출력은, 출력 화상을 출력하기 위해, 디코더(200)의 출력으로서 이용가능하다.
전술한 디블록킹 필터는 블록 에지 주변의 샘플의 분석을 수행하고, 실제 이미지 콘텐츠에 관한 일반적으로 더 큰 세기 차이는 유지하면서 블록형 아티팩트로 인한 작은 세기 차이(intensity difference)는 감쇠시키도록 필터링 강도(filtering strength)를 적응시키는 동작을 한다. 몇가지 블록 코딩 모드 및 조건이 또한 필터가 적용되는 강도를 나타내는 역할을 한다. 이들은 인터/인트라 예측 결정 그리고 코딩된 잔차(coded residual) 및 인접 블록 간의 움직임 차이(motion difference)의 존재를 포함한다. 블록 레벨에서의 적응성 이외에, 디블록킹 필터는 또한 슬라이스-레벨에서 및 샘플-레벨에서도 적응가능하다. 슬라이스 레벨에서, 비디오 시퀀스의 개별 특성에 맞춰 필터링 강도가 조정될 수 있다. 샘플 레벨에서, 샘플 값 및 양자화기-기반 문턱값에 따라 각각의 개별 샘플에서 필터링이 실행되지 않을 수 있다.
그러나, MPEG-4 AVC 표준 디블록킹 필터에 의해 제거되는 블록형 아티팩트가 압축된 비디오에 존재하는 유일한 아티팩트는 아니다. 거친 양자화는 또한 링잉(ringing), 에지 왜곡, 및 텍스처 오염(texture corruption)과 같은 다른 아티팩트도 야기한다. 디블록킹 필터는 블록 내부에 나타나는 양자화 오차로 인해 야기된 아티팩트를 감소시킬 수 없다. 게다가, 디블록킹에서 이용되는 저역 통과 필터링 기법은 매끄러운 이미지 모델(smooth image model)을 가정하며, 에지 또는 텍스처와 같은 이미지 특이점(image singularities)을 처리하는 데 적합하지 않다.
최근에, 이미지 및 비디오에 희소성-기반 노이즈 제거(sparsity-based denoising) 방식을 적용하는 것에 관한 연구가 수행되었다. 이들 방식 중 일부가 희소 행렬(sparse matrix)을 수반한다. 희소 행렬은 주로 0으로 채워져 있는 행렬이다.
상기한 연구와 관련하여, 상세하게는 신경 과학 및 이미지 처리에서의 발견에 기초하여, 자연스런 이미지 또는 비디오가 이들을 랜덤 노이즈 신호(random noise signals)와 구별하는 희소 특성(sparse characteristics)을 공유하는 것으로 판명되었다. 이미지 및 비디오 노이즈 제거를 위한 이 희소성 특성은 이미지 및 비디오 신호가 어떤 기초에 의해 희소하게 분해될 수 있다는 것을 의미한다. 따라서, 이상의 희소성 특성에 기초하여 많은 알고리즘이 개발되었다. 많은 희소성-기반 노이즈 제거 방법은 통상적으로 실제 신호가 몇가지 기본 요소의 선형 결합에 의해 잘 근사화될 수 있는 것으로 가정한다. 즉, 신호가 변환 영역에서 희소하게 표현된다. 따라서, 실제 신호 에너지를 전달할 가능성이 높은, 크기가 큰 몇개의 변환 계수를 유지하고 나머지는 버림으로써(후자가 대부분이고 대체로 노이즈로 인한 것일 가능성이 높음), 실제 신호가 효과적으로 추정될 수 있다.
희소성-기반 노이즈 제거 동작은 통상적으로 다음과 같은 3가지 단계, 변환(transform), 축소(shrinkage)[또는 문턱값화(thresholding)] 및 역변환(inverse transform)을 포함한다. 희소 이미지 모델(sparse image model)을 이용하는 한가지 인기있는 방식은 선형 변환의 오버-컴플리트 집합(over-complete set) 및 문턱값화 동작을 사용하는 것이다. 예를 들어, "k-SVD 방식"이라고 하는 제1 종래의 방식은 기저 추적(basis pursuit) 방식을 포함하고, 여기서 변환 베이스(transform base)는 에너지 함수(energy function)를 최소화함으로써 이미지 또는 비디오 데이터베이스에 기초하여 훈련된다.
이 기저 추적 방식과 달리, 다른 종래 기술의 방식은, 신호에 대한 적당한 기저를 추적하는 대신에, 신호를 표준 베이스(standard base)에 적응시킨다. 예를 들어, 제2 종래의 방식에서, 슬라이딩-창 변환-영역 노이즈 제거 방법(sliding-window transform-domain denoising method)이 제시되고, 여기서 기본적인 생각은 FFT(Fast Fourier Transform) 또는 DCT(Discrete Cosine Transform)와 같은 표준 변환을 통해 얻어진 국소[창을 가지는(windowed)] 변환 영역에서 축소를 적용하는 것이다. 연속적인 창들 간의 중첩은 오버-컴플리트니스(over-completeness)를 고려한다. 제3 및 제4 종래 기술의 방식에서, kNN(k nearest neighbors) 패치-기반 노이즈 제거 방식이 제안된다. 제1 종래 기술의 방식에서와 같이 중첩된 공간 이웃(overlapped spatial neighbor)을 사용하는 대신에, 제3 및 제4 종래 기술의 방식은 비국소 적응적(non-local adaptive) 방식으로 유사한 d-차원 영역(패치 또는 구역)을 검색하고, 이어서 "그룹화된" 영역(패치 또는 구역)에 d+1 차원 변환을 적용하고 이어서 유사한 축소(문턱값화) 및 역변환을 적용한다. 마지막 노이즈 제거된 픽셀은 그 픽셀의 모든 추정치의 가중 평균이다.
일반성을 잃지 않고, k-SVD를 제외한 상기 방식들 전부는 kNN 영역-기반 노이즈 제거 방식으로 생각될 수 있으며, 여기서 2차원(2D) 경우에, 공간 이웃 패치는 kNN을 수행하는 임시 방법으로 간주될 수 있다.
도 3을 참조하면, kNN 영역-기반 희소성 노이즈 제거 방식의 일반 프레임워크가 전체적으로 참조 번호(300)으로 나타내어져 있다. 영역 클러스터(region cluster)(305)를 "패킹(pack)"(310)하고 "패킹된" 영역 클러스터 표현(315)을 얻기 위해 유사성 기준 또는 메트릭에 기초하여 영역 클러스터(305)에 대해 영역(패치 또는 구역) 클러스터링이 수행된다. 영역 차원 및 크기는 2D 또는 3D일 수 있다. 이어서, 선택된 변환(320)(예를 들어, FFT 또는 DCT)이 패킹된 영역 클러스터 표현(315)에 적용되어, 그에 대한 희소 표현(325)을 얻는다. 변환의 차원은 영역 및 영역 클러스터 차원에 의존한다. 변환 영역에서, 축소 또는 문턱값화 동작(330)은 종종 노이즈 제거를 위한 희소 표현(325)에 적용되어, 축소후(post-shrinkage) 결과를 나타내는 처리된 (변환 영역) 신호(335)를 얻는다. 이어서, 처리된 (변환 영역) 신호(335)를 다시 세기 영역으로 되돌아가게 하기 위해 역변환(340)이 적용되며, 따라서 처리된 (세기 영역) 신호(345)를 제공한다. 마지막으로, 영역 클러스터가 "언패킹(unpack)"(350)되고, 내부의 각각의 영역(패치 또는 구역)이 처리된 (세기 영역) 신호(345)로부터 그의 원래의 위치로 복원되어, 언패킹된 영역 클러스터(355)를 얻는다. 모든 처리 픽셀 위치에 걸쳐 루핑이 수행되고, 패치의 중첩으로 인해, 각각의 픽셀이 다수의 추정치를 가질 수 있다. 이어서, 이들 다수의 추정치가 (때때로 가중 알고리즘을 사용하여) 융합(결합)되어, 최종적인 노이즈 제거된 픽셀을 얻을 수 있다. 최상의 노이즈 제거 효과를 위해, 문턱값의 결정이 아주 중요하다.
희소성-기반 노이즈 제거 기법에 의해 영감을 받아, 압축 아티팩트 제거에 대한 문헌에서 비선형 루프내 필터(nonlinear in-loop filter)가 제안되었다. 이 기법은 변환의 오버-컴플리트 집합에 의해 제공된 일련의 노이즈 제거된 추정치를 사용한다. 구체적으로는, 제2 종래 기술의 방식의 구현은 웨이블릿 또는 DCT와 같은 주어진 2D 변환 H의 모든 가능한 변환 Hi를 사용함으로써 변환의 오버-컴플리트 집합을 생성한다. 따라서, 이미지 I가 주어진 경우, 다양한 변환 Hi를 적용함으로써 이미지 I의 일련의 상이한 변환된 버전 Yi가 생성된다. 일련의 Y'i를 생성하기 위해, 각각의 변환된 버전 Yi는 이어서 노이즈 제거 절차(통상적으로 문턱값화 동작을 포함함)를 거친다. 변환되고 문턱값화된 계수 Y'i는 이어서 다시 공간 영역으로 역변환되어, 노이즈 제거된 추정치 I'i를 생성한다. 오버-컴플리트 설정에서, 노이즈 제거된 추정치 중 일부가 다른 것들보다 더 나은 성능을 제공할 것이고 최종적인 필터링된 버전 I'이 이러한 노이즈 제거된 추정치의 평균을 구하는 것을 통한 결합으로부터 이득을 볼 것으로 예상된다. 제2 종래 기술의 방식의 노이즈 제거 필터는 노이즈 제거된 추정치 I'i의 가중 평균을 사용하며, 여기서 가중치는 최상의 노이즈 제거된 추정치를 강조하기 위해 최적화된다. 아티팩트 제거를 보다 효율적으로 처리하고 제2 종래 기술의 방식에 의해 제기된 제약조건을 제거하기 위해, 제5 종래 기술의 방식은 분석의 방향을 수직 및 수평 성분 이외로 확장하기 위해 필터링될 화상의 상이한 서브-격자 샘플링(sub-lattice sampling)을 이용하는 것을 제안한다. 게다가, 방향-적응적 아티팩트 제거 필터는 나머지(residue)를 코딩하는 데 사용된 변환과 유사하거나 가깝게 정렬된 변환으로부터 생기는 노이즈 제거된 추정치를 가중 결합으로부터 제외시킨다.
아티팩트 제거를 위해, 필터링 문턱값의 선택이 아주 중요하다. 적용된 문턱값은 필터의 노이즈 제거 용량을 제어하는 데는 물론 더 나은 노이즈 제거 추정치를 강조하는 데 사용되는 평균 가중치를 계산하는 데도 중요한 역할을 한다. 부적절한 문턱값 선택으로 인해 과도하게 평활화된 재구성된 화상이 얻어질 수 있거나, 아티팩트가 존속할 수 있다. 제6 종래 기술의 방식에서 제안된 방법은 양자화 노이즈 통계, 국소 인코딩 조건, 압축 요구사항 및 원래의 신호와 부합하는 필터링 문턱값을 적응적으로 선택함으로써 제5 종래 기술의 방식보다 성능을 향상시킨다. 비디오 품질 및/또는 코딩 비용을 최적화하기 위해 문턱값이 공간적으로도 시간적으로도 적응된다. 상세하게는, 상이한 문턱값 부류를 처리하기 위해 필터링 맵이 생성된다. 부류마다 선택된 문턱값이 인코딩되고 보조 정보로서 디코더로 전송된다. 그러나, 실제로는, 이러한 문턱값의 최적의 선택이 쉽지 않다. 예를 들어, 제6 종래 기술의 방식에서, 가장 높은 PSNR(peak signal-to-noise ratio)을 제공하는 최상의 문턱값을 찾기 위해 전수적인 검색이 사용된다.
마지막으로, 코딩 품질을 향상시키기 위해 비디오 압축에서 공간 Wiener 필터링이 사용된다. 예를 들어, 제7 종래 기술의 방식에서, 국소 공간 분산(local spatial variance)에 기초하여 인코더에서 훈련되는 Wiener 필터가 양자화 노이즈를 제거하기 위해 사후-필터(post-filter)로서 사용된다. 그러나, 제7 종래 기술의 방식에서, 필터 계수는 비트스트림에서 오버헤드로서 명시적으로 전송되며, 따라서 전송 오버헤드를 증가시킨다.
비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치에 관한 본 발명에 의해 종래 기술의 이들 및 기타 결점 및 단점이 해결된다.
본 발명의 일 양태에 따르면, 장치가 제공된다. 이 장치는 그룹화 메트릭에 기초하여 그 일부분 내의 영역을 그룹화하고, 그룹화된 영역을 변환하며, 인코더에 포함된 아티팩트 제거 필터(de-artifacting filter)를 사용하여, 변환된 영역에 대해 아티팩트 제거 필터링(de-artifact filtering)을 적응적으로 수행하고, 아티팩트 제거된 영역을 역변환하여 교체 영역(replacement region)을 생성하며, 교체 영역을 그룹화 이전에 영역을 가져왔던 이미지에 대한 위치로 복원함으로써 이미지의 적어도 일부분을 인코딩하는 인코더를 포함한다.
본 발명의 다른 양태에 따르면, 비디오 인코더에서 수행되는 방법이 제공된다. 이 방법은 이미지의 적어도 일부분을 인코딩하는 단계를 포함한다. 인코딩하는 단계는 그룹화 메트릭에 기초하여 그 일부분 내의 영역을 그룹화하는 단계, 그룹화된 영역을 변환하는 단계, 아티팩트 제거 필터를 사용하여, 변환된 영역에 대해 아티팩트 제거 필터링을 적응적으로 수행하는 단계, 아티팩트 제거된 영역을 역변환하여 교체 영역을 생성하는 단계, 및 교체 영역을 그룹화 이전에 영역을 가져왔던 이미지에 대한 위치로 복원하는 단계를 포함한다.
본 발명의 또 다른 양태에 따르면, 장치가 제공된다. 이 장치는 그룹화 메트릭에 기초하여 그 일부분 내의 영역을 그룹화하고, 그룹화된 영역을 변환하며, 디코더에 포함된 아티팩트 제거 필터를 사용하여, 변환된 영역에 대해 아티팩트 제거 필터링을 적응적으로 수행하고, 아티팩트 제거된 영역을 역변환하여 교체 영역을 생성하며, 교체 영역을 그룹화 이전에 영역을 가져왔던 이미지에 대한 위치로 복원함으로써 이미지의 적어도 일부분을 디코딩하는 디코더를 포함한다.
본 발명의 또 다른 양태에 따르면, 비디오 디코더에서 수행되는 방법이 제공된다. 이 방법은 이미지의 적어도 일부분을 디코딩하는 단계를 포함한다. 디코딩하는 단계는 그룹화 메트릭에 기초하여 그 일부분 내의 영역을 그룹화하는 단계, 그룹화된 영역을 변환하는 단계, 아티팩트 제거 필터를 사용하여, 변환된 영역에 대해 아티팩트 제거 필터링을 적응적으로 수행하는 단계, 아티팩트 제거된 영역을 역변환하여 교체 영역을 생성하는 단계, 및 교체 영역을 그룹화 이전에 영역을 가져왔던 이미지에 대한 위치로 복원하는 단계를 포함한다.
본 발명의 이들 및 기타 양태, 특징 및 이점이 첨부 도면과 관련하여 기술된 예시적인 실시예들에 대한 이하의 상세한 설명으로부터 명백하게 될 것이다.
본 발명이 이하의 예시적인 도면들을 참조하면 더 잘 이해될 수 있다.
도 1은 MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더를 나타낸 블록도이다.
도 2는 MPEG-4 AVC 표준에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더를 나타낸 블록도이다.
도 3은 kNN 영역-기반 희소성 노이즈 제거 방식의 일반 프레임워크를 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른, 디블록킹 필터 대신에 아티팩트 제거 필터를 가지는 예시적인 비디오 인코더를 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른, 디블록킹 필터 대신에 아티팩트 제거 필터를 가지는 예시적인 비디오 디코더를 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른, 디블록킹 필터에 후속하여 구성된 아티팩트 제거 필터를 가지는 예시적인 비디오 인코더를 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따른, 디블록킹 필터에 후속하여 구성된 아티팩트 제거 필터를 가지는 예시적인 비디오 디코더를 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른, 사후-처리 필터로서 구성된 아티팩트 제거 필터를 가지는 예시적인 비디오 인코더를 나타낸 블록도이다.
도 9는 본 발명의 일 실시예에 따른, 사후-처리 필터로서 구성된 아티팩트 제거 필터를 가지는 예시적인 비디오 디코더를 나타낸 블록도이다.
도 10은 본 발명의 일 실시예에 따른, 인코더에서 수행되는 예시적인 희소성-기반 아티팩트 제거 필터링 방법을 나타낸 흐름도이다.
도 11은 본 발명의 일 실시예에 따른, 디코더에서 수행되는 예시적인 희소성-기반 아티팩트 제거 필터링 방법을 나타낸 흐름도이다.
본 발명은 비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치에 관한 것이다.
이 설명은 본 발명에 대해 기술한다. 따라서, 당업자라면, 본 명세서에 명시적으로 기술되거나 도시되어 있지 않지만, 본 발명을 구현하고 본 발명의 사상 및 범위 내에 포함되는 다양한 구성들을 안출할 수 있다는 것을 잘 알 것이다.
본 명세서에 상술되는 모든 예 및 조건적 화법은 기술을 발전시키기 위해 발명자들이 기여한 개념들 및 본 발명을 이해하는 데 도움을 주도록 교육적 목적을 위한 것이며, 이러한 구체적으로 상술된 예들 및 조건들로 제한되는 것으로 해석되어서는 안 된다.
게다가, 본 발명의 원리, 양태 및 실시예는 물론 본 발명의 구체적인 예를 기술하는 본 명세서의 모든 설명이 본 발명의 구조적 등가물 및 기능적 등가물 둘다를 포괄하는 것으로 보아야 한다. 또한, 이러한 등가물이 현재 공지된 등가물은 물론 장래에 개발되는 등가물, 즉 구조에 상관없이 동일한 기능을 수행하는 개발된 임의의 요소도 포함하는 것으로 보아야 한다.
따라서, 예를 들어, 당업자라면 본 명세서에 제공된 블록도가 본 발명을 구현하는 예시적인 회로의 개념도를 나타낸다는 것을 잘 알 것이다. 마찬가지로, 어떤 플로우차트, 흐름도, 상태 천이도, 의사코드 등이, 사실상 컴퓨터 판독가능 매체에 표현되고 따라서 컴퓨터 또는 프로세서(이러한 컴퓨터 또는 프로세서가 명시적으로 도시되어 있는지 여부에 상관없음)에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것을 잘 알 것이다.
도면에 도시된 다양한 요소들의 기능이 전용 하드웨어는 물론 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어를 사용하여 제공될 수 있다. 프로세서에 의해 제공될 때, 이들 기능은 하나의 전용 프로세서에 의해, 하나의 공유 프로세서에 의해, 또는 복수의 개별 프로세서(이들 중 일부는 공유될 수 있음)에 의해 제공될 수 있다. 게다가, "프로세서" 또는 "제어기"라는 용어의 명시적 사용이 소프트웨어를 실행할 수 있는 하드웨어만을 말하는 것으로 해석되어서는 안 되며, 디지털 신호 처리기(DSP), 하드웨어, 소프트웨어를 저장하는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장 장치를 암시적으로 포함할 수 있지만 이에 한정되지 않는다.
기타 종래의(conventional) 하드웨어 및/또는 커스텀(custom) 하드웨어도 역시 포함될 수 있다. 마찬가지로, 도면들에 도시된 임의의 스위치는 단지 개념적인 것이다. 이들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어 및 전용 로직의 상호작용을 통해, 또는 심지어 수동으로 수행될 수 있으며, 문맥으로부터 보다 구체적으로 이해되는 바와 같이 특정의 기법이 구현자에 의해 선택될 수 있다.
본 발명의 청구항에서, 지정된 기능을 수행하는 수단으로서 표현된 임의의 요소는, 예를 들어, a) 그 기능을 수행하는 회로 요소들의 조합 또는 b) 기능을 수행하기 위해 소프트웨어를 실행하는 적절한 회로와 결합된 임의의 형태의 소프트웨어(따라서, 펌웨어, 마이크로코드 등을 포함함)를 비롯하여, 그 기능을 수행하는 임의의 방식을 포함하는 것으로 보아야 한다. 이러한 청구항에 의해 정의된 본 발명은 다양한 인용된 수단들에 의해 제공된 기능들이 청구항이 요구하는 방식으로 결합되어 합해진다는 사실에 존재한다. 따라서, 그 기능들을 제공할 수 있는 어떤 수단이라도 본 명세서에 제공된 기능들과 등가인 것으로 간주된다.
본 명세서에서 본 발명의 "일 실시예" 또는 "실시예"는 물론 그의 다른 변형이라고 하는 것은 이 실시예와 관련하여 기술된 특정의 특징, 구조, 특성 등이 본 발명의 적어도 하나의 실시예에 포함되어 있다는 것을 의미한다. 따라서, 본 명세서에 걸쳐 여러 곳에서 나오는 "일 실시예에서" 또는 "실시예에서"라는 문구가 모두 동일한 실시예를 말하는 것은 아니다.
"/", "및/또는"과 "~중 적어도 하나"라는 용어의 사용(예를 들어, "A/B", "A 및/또는 B"와 "A와 B 중 적어도 하나"의 경우)이 첫번째로 열거된 옵션(A)만의 선택, 또는 두번째로 열거된 옵션(B)만의 선택, 또는 양쪽 옵션(A 및 B) 둘다의 선택을 포괄하는 것으로 보아야 한다는 것을 잘 알 것이다. 추가의 예로서, "A, B 및/또는 C"와 "A, B 및 C 중 적어도 하나"의 경우에, 이러한 구문은 첫번째로 열거된 옵션(A)만의 선택, 또는 두번째로 열거된 옵션(B)만의 선택, 또는 세번째로 열거된 옵션(C)만의 선택, 또는 첫번째 및 두번째로 열거된 옵션(A 및 B)만의 선택, 또는 첫번째 및 세번째로 열거된 옵션(A 및 C)만의 선택, 또는 두번째 및 세번째로 열거된 옵션(B 및 C)만의 선택, 또는 3개의 옵션(A 및 B 및 C) 모두의 선택을 포괄하는 것으로 보아야 한다. 당업자라면 잘 알 수 있는 바와 같이, 열거된 동수의 항목들에 대해 이것이 확장될 수 있다.
게다가, 본 발명의 하나 이상의 실시예가 본 명세서에서 MPEG-4 AVC 표준과 관련하여 기술되어 있지만, 본 발명이 이 표준으로만 제한되지 않고 따라서 본 발명의 사상을 유지하면서 다른 비디오 코딩 표준들, 권고안들 및 이들의 확장(MPEG-4 AVC 표준의 확장을 포함함)과 관련하여 이용될 수 있다는 것을 잘 알 것이다.
게다가, 본 명세서에서 사용되는 바와 같이, "상위 레벨 구문(high level syntax)"은 계층적으로 매크로블록 계층 위쪽에 존재하는 비트스트림에 있는 구문을 말한다. 예를 들어, 상위 레벨 구문은, 본 명세서에서 사용되는 바와 같이, 슬라이스 헤더 레벨, SEI(Supplemental Enhancement Information) 레벨, PPS(Picture Parameter Set) 레벨, SPS(Sequence Parameter Set) 레벨 및 NAL(Network Abstraction Layer) 유닛 헤더 레벨에 있는 구문을 말할 수 있지만 이에 한정되지 않는다.
또한, 본 명세서에서 사용되는 바와 같이, 단어 "화상" 및 "이미지"는 서로 바꾸어 사용될 수 있고, 정지 화상 또는 비디오 시퀀스로부터의 화상을 말한다. 공지된 바와 같이, 화상은 프레임 또는 필드일 수 있다.
또한, 본 명세서에서 사용되는 바와 같이, "루프외"는 특정의 화상의 후속하는 인코딩 또는 디코딩에 영향을 미치지 않는 출력을 가지는 요소를 말하는데, 왜냐하면 이러한 요소가 코딩 루프 외부에 있을 것이기 때문이다. 게다가, 본 명세서에서 사용되는 바와 같이, "루프내"는 특정의 화상의 후속하는 인코딩 또는 디코딩에 영향을 미치는 출력을 가지는 요소를 말하는데, 왜냐하면 이러한 요소가 코딩 루프 내부에 있을 것이기 때문이다.
앞서 살펴본 바와 같이, 본 발명은 비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치에 관한 것이다.
일 실시예에서, 본 발명에 따른 아티팩트 제거 필터는 인코더 및/또는 디코더에서 기존의 디블록킹 필터를 대체하도록 구성될 수 있다.
도 4를 참조하면, 디블록킹 필터 대신에 아티팩트 제거 필터를 가지는 예시적인 비디오 인코더가 전체적으로 참조 번호(400)로 나타내어져 있다.
비디오 인코더(400)는 결합기(combiner)(485)의 비반전 입력과 신호 통신을 하는 출력을 갖는 프레임 순서화 버퍼(frame ordering buffer)(410)를 포함하고 있다. 결합기(485)의 출력은 변환기 및 양자화기(425)의 제1 입력에 연결되어 신호 통신을 한다. 변환기 및 양자화기(425)의 출력은 엔트로피 코더(entropy coder)(445)의 제1 입력 그리고 역변환기 및 역양자화기(450)의 제1 입력에 연결되어 신호 통신을 한다. 엔트로피 코더(445)의 출력은 결합기(490)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(490)의 출력은 출력 버퍼(435)의 제1 입력에 연결되어 신호 통신을 한다.
인코더 제어기(405)의 제1 출력은 프레임 순서화 버퍼(410)의 제2 입력, 역변환기 및 역양자화기(450)의 제2 입력, 화상-타입 결정 모듈(415)의 입력, 매크로블록-타입(MB-타입) 결정 모듈(420)의 제1 입력, 인트라 예측 모듈(460)의 제2 입력, 아티팩트 제거 필터(465)의 제2 입력, 움직임 보상기(470)의 제1 입력, 움직임 추정기(475)의 제1 입력, 및 기준 화상 버퍼(480)의 제2 입력에 연결되어 신호 통신을 한다.
인코더 제어기(405)의 제2 출력은 SEI(Supplemental Enhancement Information) 삽입기(430)의 제1 입력, 변환기 및 양자화기(425)의 제2 입력, 엔트로피 코더(445)의 제2 입력, 출력 버퍼(435)의 제2 입력, 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(440)의 입력에 연결되어 신호 통신을 한다.
SEI 삽입기(430)의 출력은 결합기(490)의 제2 비반전 입력에 연결되어 신호 통신을 한다.
화상-타입 결정 모듈(415)의 제1 출력은 프레임 순서화 버퍼(410)의 제3 입력에 연결되어 신호 통신을 한다. 화상-타입 결정 모듈(415)의 제2 출력은 매크로블록-타입 결정 모듈(420)의 제2 입력에 연결되어 신호 통신을 한다.
SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(440)의 출력은 결합기(490)의 제3 비반전 입력에 연결되어 신호 통신을 한다.
역양자화기 및 역변환기(450)의 출력은 결합기(419)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(419)의 출력은 인트라 예측 모듈(460)의 제1 입력 및 아티팩트 제거 필터(465)의 제1 입력에 연결되어 신호 통신을 한다. 아티팩트 제거 필터(465)의 출력은 기준 화상 버퍼(480)의 제1 입력에 연결되어 신호 통신을 한다. 기준 화상 버퍼(480)의 출력은 움직임 추정기(475)의 제2 입력 및 움직임 보상기(470)의 제3 입력에 연결되어 신호 통신을 한다. 움직임 추정기(475)의 제1 출력은 움직임 보상기(470)의 제2 입력에 연결되어 신호 통신을 한다. 움직임 추정기(475)의 제2 출력은 엔트로피 코더(445)의 제3 입력에 연결되어 신호 통신을 한다.
움직임 보상기(470)의 출력은 스위치(497)의 제1 입력에 연결되어 신호 통신을 한다. 인트라 예측 모듈(460)의 출력은 스위치(497)의 제2 입력에 연결되어 신호 통신을 한다. 매크로블록-타입 결정 모듈(420)의 출력은 스위치(497)의 제3 입력에 연결되어 신호 통신을 한다. 스위치(497)의 제3 입력은 스위치의 "데이터" 입력(제어 입력, 즉 제3 입력과 비교한 것임)이 움직임 보상기(470) 또는 인트라 예측 모듈(460)에 의해 제공되어야 하는지를 결정한다. 스위치(497)의 출력은 결합기(419)의 제2 비반전 입력 및 결합기(485)의 반전 입력에 연결되어 신호 통신을 한다.
프레임 순서화 버퍼(410)의 제1 입력 및 인코더 제어기(405)의 입력은, 입력 화상을 수신하기 위해, 인코더(400)의 입력으로서 이용가능하다. 게다가, SEI(Supplemental Enhancement Information) 삽입기(430)의 제2 입력은, 메타데이터를 수신하기 위해, 인코더(400)의 입력으로서 이용가능하다. 출력 버퍼(435)의 출력은, 비트스트림을 출력하기 위해, 인코더(400)의 출력으로서 이용가능하다.
도 5를 참조하면, 디블록킹 필터 대신에 아티팩트 제거 필터를 가지는 예시적인 비디오 디코더가 전체적으로 참조 번호(500)로 나타내어져 있다.
비디오 디코더(500)는 엔트로피 디코더(545)의 제1 입력에 연결되어 신호 통신을 하는 출력을 갖는 입력 버퍼(510)를 포함하고 있다. 엔트로피 디코더(545)의 제1 출력은 역변환기 및 역양자화기(550)의 제1 입력에 연결되어 신호 통신을 한다. 역변환기 및 역양자화기(550)의 출력은 결합기(525)의 제2 비반전 입력에 연결되어 신호 통신을 한다. 결합기(525)의 출력은 아티팩트 제거 필터(565)의 제2 입력 및 인트라 예측 모듈(560)의 제1 입력에 연결되어 신호 통신을 한다. 아티팩트 제거 필터(565)의 제2 출력은 기준 화상 버퍼(580)의 제1 입력에 연결되어 신호 통신을 한다. 기준 화상 버퍼(580)의 출력은 움직임 보상기(570)의 제2 입력에 연결되어 신호 통신을 한다.
엔트로피 디코더(545)의 제2 출력은 움직임 보상기(570)의 제3 입력 및 아티팩트 제거 필터(565)의 제1 입력에 연결되어 신호 통신을 한다. 엔트로피 디코더(545)의 제3 출력은 디코더 제어기(505)의 입력에 연결되어 신호 통신을 한다. 디코더 제어기(505)의 제1 출력은 엔트로피 디코더(545)의 제2 입력에 연결되어 신호 통신을 한다. 디코더 제어기(505)의 제2 출력은 역변환기 및 역양자화기(550)의 제2 입력에 연결되어 신호 통신을 한다. 디코더 제어기(505)의 제3 출력은 아티팩트 제거 필터(565)의 제3 입력에 연결되어 신호 통신을 한다. 디코더 제어기(505)의 제4 출력은 인트라 예측 모듈(560)의 제2 입력, 움직임 보상기(570)의 제1 입력, 및 기준 화상 버퍼(580)의 제2 입력에 연결되어 신호 통신을 한다.
움직임 보상기(570)의 출력은 스위치(597)의 제1 입력에 연결되어 신호 통신을 한다. 인트라 예측 모듈(560)의 출력은 스위치(597)의 제2 입력에 연결되어 신호 통신을 한다. 스위치(597)의 출력은 결합기(525)의 제1 비반전 입력에 연결되어 신호 통신을 한다.
입력 버퍼(510)의 입력은, 입력 비트스트림을 수신하기 위해, 디코더(500)의 입력으로서 이용가능하다. 아티팩트 제거 필터(565)의 제1 출력은, 출력 화상을 출력하기 위해, 디코더(500)의 출력으로서 이용가능하다.
일 실시예에서, 본 발명에 따른 아티팩트 제거 필터는 인코더 및/또는 디코더에서 기존의 디블록킹 필터 다음에 구성될 수 있다.
도 6을 참조하면, 디블록킹 필터에 후속하여 구성된 아티팩트 제거 필터를 가지는 예시적인 비디오 인코더가 전체적으로 참조 번호(600)로 나타내어져 있다.
비디오 인코더(600)는 결합기(combiner)(685)의 비반전 입력과 신호 통신을 하는 출력을 갖는 프레임 순서화 버퍼(frame ordering buffer)(610)를 포함하고 있다. 결합기(685)의 출력은 변환기 및 양자화기(625)의 제1 입력에 연결되어 신호 통신을 한다. 변환기 및 양자화기(625)의 출력은 엔트로피 코더(entropy coder)(645)의 제1 입력 그리고 역변환기 및 역양자화기(650)의 제1 입력에 연결되어 신호 통신을 한다. 엔트로피 코더(645)의 출력은 결합기(690)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(690)의 출력은 출력 버퍼(635)의 제1 입력에 연결되어 신호 통신을 한다.
인코더 제어기(605)의 제1 출력은 프레임 순서화 버퍼(610)의 제2 입력, 역변환기 및 역양자화기(650)의 제2 입력, 화상-타입 결정 모듈(615)의 입력, 매크로블록-타입(MB-타입) 결정 모듈(620)의 제1 입력, 인트라 예측 모듈(660)의 제2 입력, 디블록킹 필터(665)의 제2 입력, 아티팩트 제거 필터(613)의 제2 입력, 움직임 보상기(670)의 제1 입력, 움직임 추정기(675)의 제1 입력, 및 기준 화상 버퍼(680)의 제2 입력에 연결되어 신호 통신을 한다.
인코더 제어기(605)의 제2 출력은 SEI(Supplemental Enhancement Information) 삽입기(630)의 제1 입력, 변환기 및 양자화기(625)의 제2 입력, 엔트로피 코더(645)의 제2 입력, 출력 버퍼(635)의 제2 입력, 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(640)의 입력에 연결되어 신호 통신을 한다.
SEI 삽입기(630)의 출력은 결합기(690)의 제2 비반전 입력에 연결되어 신호 통신을 한다.
화상-타입 결정 모듈(615)의 제1 출력은 프레임 순서화 버퍼(610)의 제3 입력에 연결되어 신호 통신을 한다. 화상-타입 결정 모듈(615)의 제2 출력은 매크로블록-타입 결정 모듈(620)의 제2 입력에 연결되어 신호 통신을 한다.
SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(640)의 출력은 결합기(690)의 제3 비반전 입력에 연결되어 신호 통신을 한다.
역양자화기 및 역변환기(650)의 출력은 결합기(619)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(619)의 출력은 인트라 예측 모듈(660)의 제1 입력 및 디블록킹 필터(665)의 제1 입력에 연결되어 신호 통신을 한다. 디블록킹 필터(665)의 출력은 아티팩트 제거 필터(613)의 제1 입력에 연결되어 신호 통신을 한다. 아티팩트 제거 필터(613)의 출력은 기준 화상 버퍼(680)의 제1 입력에 연결되어 신호 통신을 한다. 기준 화상 버퍼(680)의 출력은 움직임 추정기(675)의 제2 입력 및 움직임 보상기(670)의 제3 입력에 연결되어 신호 통신을 한다. 움직임 추정기(675)의 제1 출력은 움직임 보상기(670)의 제2 입력에 연결되어 신호 통신을 한다. 움직임 추정기(675)의 제2 출력은 엔트로피 코더(645)의 제3 입력에 연결되어 신호 통신을 한다.
움직임 보상기(670)의 출력은 스위치(697)의 제1 입력에 연결되어 신호 통신을 한다. 인트라 예측 모듈(660)의 출력은 스위치(697)의 제2 입력에 연결되어 신호 통신을 한다. 매크로블록-타입 결정 모듈(620)의 출력은 스위치(697)의 제3 입력에 연결되어 신호 통신을 한다. 스위치(697)의 제3 입력은 스위치의 "데이터" 입력(제어 입력, 즉 제3 입력과 비교한 것임)이 움직임 보상기(670) 또는 인트라 예측 모듈(660)에 의해 제공되어야 하는지를 결정한다. 스위치(697)의 출력은 결합기(619)의 제2 비반전 입력 및 결합기(685)의 반전 입력에 연결되어 신호 통신을 한다.
프레임 순서화 버퍼(610)의 제1 입력 및 인코더 제어기(605)의 입력은, 입력 화상을 수신하기 위해, 인코더(600)의 입력으로서 이용가능하다. 게다가, SEI(Supplemental Enhancement Information) 삽입기(630)의 제2 입력은, 메타데이터를 수신하기 위해, 인코더(600)의 입력으로서 이용가능하다. 출력 버퍼(635)의 출력은, 비트스트림을 출력하기 위해, 인코더(600)의 출력으로서 이용가능하다.
도 7을 참조하면, 디블록킹 필터에 후속하여 구성된 아티팩트 제거 필터를 가지는 예시적인 비디오 디코더가 전체적으로 참조 번호(700)로 나타내어져 있다.
비디오 디코더(700)는 엔트로피 디코더(745)의 제1 입력에 연결되어 신호 통신을 하는 출력을 갖는 입력 버퍼(710)를 포함하고 있다. 엔트로피 디코더(745)의 제1 출력은 역변환기 및 역양자화기(750)의 제1 입력에 연결되어 신호 통신을 한다. 역변환기 및 역양자화기(750)의 출력은 결합기(725)의 제2 비반전 입력에 연결되어 신호 통신을 한다. 결합기(725)의 출력은 디블록킹 필터(765)의 제2 입력 및 인트라 예측 모듈(760)의 제1 입력에 연결되어 신호 통신을 한다. 디블록킹 필터(765)의 제2 출력은 아티팩트 제거 필터(713)의 제2 입력에 연결되어 신호 통신을 한다. 아티팩트 제거 필터(713)의 출력은 기준 화상 버퍼(780)의 제1 입력에 연결되어 신호 통신을 한다. 기준 화상 버퍼(780)의 출력은 움직임 보상기(770)의 제2 입력에 연결되어 신호 통신을 한다.
엔트로피 디코더(745)의 제2 출력은 움직임 보상기(770)의 제3 입력 및 디블록킹 필터(765)의 제1 입력에 연결되어 신호 통신을 한다. 엔트로피 디코더(745)의 제3 출력은 디코더 제어기(705)의 입력에 연결되어 신호 통신을 한다. 디코더 제어기(705)의 제1 출력은 엔트로피 디코더(745)의 제2 입력에 연결되어 신호 통신을 한다. 디코더 제어기(705)의 제2 출력은 역변환기 및 역양자화기(750)의 제2 입력에 연결되어 신호 통신을 한다. 디코더 제어기(705)의 제3 출력은 디블록킹 필터(765)의 제3 입력 및 아티팩트 제거 필터(713)의 제1 입력에 연결되어 신호 통신을 한다. 디코더 제어기(705)의 제4 출력은 인트라 예측 모듈(760)의 제2 입력, 움직임 보상기(770)의 제1 입력, 및 기준 화상 버퍼(780)의 제2 입력에 연결되어 신호 통신을 한다.
움직임 보상기(770)의 출력은 스위치(797)의 제1 입력에 연결되어 신호 통신을 한다. 인트라 예측 모듈(760)의 출력은 스위치(797)의 제2 입력에 연결되어 신호 통신을 한다. 스위치(797)의 출력은 결합기(725)의 제1 비반전 입력에 연결되어 신호 통신을 한다.
입력 버퍼(710)의 입력은, 입력 비트스트림을 수신하기 위해, 디코더(700)의 입력으로서 이용가능하다. 디블록킹 필터(765)의 제1 출력은, 출력 화상을 출력하기 위해, 디코더(700)의 출력으로서 이용가능하다.
일 실시예에서, 본 발명에 따른 아티팩트 제거 필터는 인코더 및/또는 디코더에서 사후-처리 필터로서 구성될 수 있다.
도 8을 참조하면, 사후-처리 필터로서 구성된 아티팩트 제거 필터를 가지는 예시적인 비디오 인코더가 전체적으로 참조 번호(800)로 나타내어져 있다.
비디오 인코더(800)는 결합기(combiner)(885)의 비반전 입력과 신호 통신을 하는 출력을 갖는 프레임 순서화 버퍼(frame ordering buffer)(810)를 포함하고 있다. 결합기(885)의 출력은 변환기 및 양자화기(825)의 제1 입력에 연결되어 신호 통신을 한다. 변환기 및 양자화기(825)의 출력은 엔트로피 코더(entropy coder)(845)의 제1 입력 그리고 역변환기 및 역양자화기(850)의 제1 입력에 연결되어 신호 통신을 한다. 엔트로피 코더(845)의 출력은 결합기(890)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(890)의 출력은 출력 버퍼(835)의 제1 입력에 연결되어 신호 통신을 한다.
인코더 제어기(805)의 제1 출력은 프레임 순서화 버퍼(810)의 제2 입력, 역변환기 및 역양자화기(850)의 제2 입력, 화상-타입 결정 모듈(815)의 입력, 매크로블록-타입(MB-타입) 결정 모듈(820)의 제1 입력, 인트라 예측 모듈(860)의 제2 입력, 디블록킹 필터(865)의 제2 입력, 아티팩트 제거 필터(813)의 제2 입력, 움직임 보상기(870)의 제1 입력, 움직임 추정기(875)의 제1 입력, 및 기준 화상 버퍼(880)의 제2 입력에 연결되어 신호 통신을 한다.
인코더 제어기(805)의 제2 출력은 SEI(Supplemental Enhancement Information) 삽입기(830)의 제1 입력, 변환기 및 양자화기(825)의 제2 입력, 엔트로피 코더(845)의 제2 입력, 출력 버퍼(835)의 제2 입력, 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(840)의 입력에 연결되어 신호 통신을 한다.
SEI 삽입기(830)의 출력은 결합기(890)의 제2 비반전 입력에 연결되어 신호 통신을 한다.
화상-타입 결정 모듈(815)의 제1 출력은 프레임 순서화 버퍼(810)의 제3 입력에 연결되어 신호 통신을 한다. 화상-타입 결정 모듈(815)의 제2 출력은 매크로블록-타입 결정 모듈(820)의 제2 입력에 연결되어 신호 통신을 한다.
SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(840)의 출력은 결합기(890)의 제3 비반전 입력에 연결되어 신호 통신을 한다.
역양자화기 및 역변환기(850)의 출력은 결합기(819)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(819)의 출력은 인트라 예측 모듈(860)의 제1 입력 및 디블록킹 필터(865)의 제1 입력에 연결되어 신호 통신을 한다. 디블록킹 필터(865)의 제1 출력은 아티팩트 제거 필터(813)의 제1 입력에 연결되어 신호 통신을 한다. 디블록킹 필터(865)의 제2 출력은 기준 화상 버퍼(880)의 제1 입력에 연결되어 신호 통신을 한다. 기준 화상 버퍼(880)의 출력은 움직임 추정기(875)의 제2 입력 및 움직임 보상기(870)의 제3 입력에 연결되어 신호 통신을 한다. 움직임 추정기(875)의 제1 출력은 움직임 보상기(870)의 제2 입력에 연결되어 신호 통신을 한다. 움직임 추정기(875)의 제2 출력은 엔트로피 코더(845)의 제3 입력에 연결되어 신호 통신을 한다.
움직임 보상기(870)의 출력은 스위치(897)의 제1 입력에 연결되어 신호 통신을 한다. 인트라 예측 모듈(860)의 출력은 스위치(897)의 제2 입력에 연결되어 신호 통신을 한다. 매크로블록-타입 결정 모듈(820)의 출력은 스위치(897)의 제3 입력에 연결되어 신호 통신을 한다. 스위치(897)의 제3 입력은 스위치의 "데이터" 입력(제어 입력, 즉 제3 입력과 비교한 것임)이 움직임 보상기(870) 또는 인트라 예측 모듈(860)에 의해 제공되어야 하는지를 결정한다. 스위치(897)의 출력은 결합기(819)의 제2 비반전 입력 및 결합기(885)의 반전 입력에 연결되어 신호 통신을 한다.
프레임 순서화 버퍼(810)의 제1 입력 및 인코더 제어기(805)의 입력은, 입력 화상을 수신하기 위해, 인코더(800)의 입력으로서 이용가능하다. 게다가, SEI(Supplemental Enhancement Information) 삽입기(830)의 제2 입력은, 메타데이터를 수신하기 위해, 인코더(800)의 입력으로서 이용가능하다. 출력 버퍼(835)의 출력 및 아티팩트 제거 필터(813)의 출력 각각은 비트스트림을 출력하는 인코더(800)의 출력으로서 이용가능하다.
도 9를 참조하면, 사후-처리 필터로서 구성된 아티팩트 제거 필터를 가지는 다른 예시적인 비디오 디코더가 전체적으로 참조 번호(900)로 나타내어져 있다.
비디오 디코더(900)는 엔트로피 디코더(945)의 제1 입력에 연결되어 신호 통신을 하는 출력을 갖는 입력 버퍼(910)를 포함하고 있다. 엔트로피 디코더(945)의 제1 출력은 역변환기 및 역양자화기(950)의 제1 입력에 연결되어 신호 통신을 한다. 역변환기 및 역양자화기(950)의 출력은 결합기(925)의 제2 비반전 입력에 연결되어 신호 통신을 한다. 결합기(925)의 출력은 디블록킹 필터(965)의 제2 입력 및 인트라 예측 모듈(960)의 제1 입력에 연결되어 신호 통신을 한다. 디블록킹 필터(965)의 제2 출력은 아티팩트 제거 필터(913)의 제2 입력에 연결되어 신호 통신을 한다. 디블록킹 필터(965)의 제1 출력은 기준 화상 버퍼(980)의 제1 입력에 연결되어 신호 통신을 한다. 기준 화상 버퍼(980)의 출력은 움직임 보상기(970)의 제2 입력에 연결되어 신호 통신을 한다.
엔트로피 디코더(945)의 제2 출력은 움직임 보상기(970)의 제3 입력 및 디블록킹 필터(965)의 제1 입력에 연결되어 신호 통신을 한다. 엔트로피 디코더(945)의 제3 출력은 디코더 제어기(905)의 입력에 연결되어 신호 통신을 한다. 디코더 제어기(905)의 제1 출력은 엔트로피 디코더(945)의 제2 입력에 연결되어 신호 통신을 한다. 디코더 제어기(905)의 제2 출력은 역변환기 및 역양자화기(950)의 제2 입력에 연결되어 신호 통신을 한다. 디코더 제어기(905)의 제3 출력은 디블록킹 필터(965)의 제3 입력 및 아티팩트 제거 필터(913)의 제1 입력에 연결되어 신호 통신을 한다. 디코더 제어기(905)의 제4 출력은 인트라 예측 모듈(960)의 제2 입력, 움직임 보상기(970)의 제1 입력, 및 기준 화상 버퍼(980)의 제2 입력에 연결되어 신호 통신을 한다.
움직임 보상기(970)의 출력은 스위치(997)의 제1 입력에 연결되어 신호 통신을 한다. 인트라 예측 모듈(960)의 출력은 스위치(997)의 제2 입력에 연결되어 신호 통신을 한다. 스위치(997)의 출력은 결합기(925)의 제1 비반전 입력에 연결되어 신호 통신을 한다.
입력 버퍼(910)의 입력은, 입력 비트스트림을 수신하기 위해, 디코더(900)의 입력으로서 이용가능하다. 디블록킹 필터(965)의 제1 출력은, 출력 화상을 출력하기 위해, 디코더(900)의 출력으로서 이용가능하다.
따라서, 본 발명에 따르면, 희소성-기반 노이즈 제거 방식이 이용되는 새로운 아티팩트 제거 프레임워크에 관한 실시예가 본 명세서에 기술되어 있다. 다양한 실시예에서, 아티팩트 제거는, 기본의 디블록킹 필터에 후속하여 구성되고(도 6 및 도 7) 사후-처리 필터로서 구성된(도 8 및 도 9), 기존의 디블록킹 필터를 대체하는 아티팩트 제거 필터(도 4 및 도 5)를 포함할 수 있다.
일 실시예에서, 새로운 아티팩트 제거 프레임워크는 변환 영역에서 구현되고, 아티팩트 제거 필터링은 적응적으로 선택되어 적용된다. 바람직한 실시예에서, 변환 영역 Wiener 필터가 사용된다. 이 방법을 변환 영역에서 적응적 필터링을 사용하는 영역-기반 희소성 아티팩트 제거 프레임워크라고 한다. 본 발명의 한가지 중요한 이점은 요구되는 오버헤드가 아주 작다는 것이다. 이전의 방식과 비교하여, (제6 종래의 기술에서 요구된) 문턱값을 검색할 필요가 없고, 또한, (제7 종래 기술의 방식에서 요구된) Wiener 필터 계수를 전송할 필요가 없다. 예를 들어, 변환 차원에 의해 구별되는 다양한 실시예가 예시되고 기술되어 있다. 본 발명은 비디오 압축에서 야기되는 양자화 아티팩트를 감소시키는 것 및 비디오 압축 인코더 및 디코더에서의 객관적 및 주관적 성능을 향상시키는 것을 목표로 한다.
일 실시예에서, 변환 영역에서 이용되는 적응적 필터링을 갖는 영역(또는 패치 또는 구역) 기반 희소성 아티팩트 제거 프레임워크를 제안한다. 이 프레임워크는 2개의 단계로 나누어진다. 제1 단계에서, 비디오 신호의 중첩된 영역을 영역 차원에 기초한 변환(2D, 3D 또는 4D 변환 등)에 의해 주파수 영역으로 분해(변환)한다. 바람직한 실시예에서, 변환-영역 Wiener 필터가 이어서 노이즈가 많은 변환 계수에 적용되고, 이어서 역변환이 있게 된다. 그 후에, 처리된 영역 모두가 그의 원래의 위치로 복원된다. 다른 실시예에서, 영역 중첩으로 인해 동일한 픽셀의 다수의 추정치가 획득된다. 제2 단계에서, 각각의 픽셀에 대해, 신호의 중복 표현으로부터의 다수의 추정치를 융합(또는 다른 방식으로 결합 또는 가중)하기 위해 적응적 희소성-기반 필터링이 사용된다. 아티팩트 제거 프레임워크는 또한 비디오 코딩(또는 양자화) 통계를 고려해야만 한다.
일 실시예에서, 슬라이딩 창(sliding window)에 의해 중첩된 패치가 달성된다. 다른 실시예에서, kNN 비국소 검색(non-local search)에 의해 중첩된 패치가 달성된다. 이 검색은 현재 화상 또는 공간-시간 이웃 화상 내에서일 수 있다. 패치의 차원은 2D 또는 3D 등일 수 있다. 비디오 압축 분야에 공지된 바와 같이, 2-D는 화상, 프레임, 슬라이스 등의 공간 차원을 말한다. 3-D는 또한 2개 이상의 시간 화상, 슬라이스 또는 프레임 사이에 고려하기 위한 시간 요소를 추가한다. 적용된 변환(들)이 영역, 패치 또는 구역의 차원에 기초하여 또한 영역, 패치 또는 구역의 특성에 기초하여 2D, 3D, 4D 등일 수 있다. 제4 차원 요소는 영역, 패치 또는 구역의 그룹화의 추가된 차원으로 인해 생긴다. 일 실시예에서, 2D/3D/4D DCT를 사용할 수 있다. 다른 실시예에서, 2D/3D/4D FFT를 사용할 수 있다. 게다가, 본 발명이 임의의 특정의 변환(예를 들어, FFT 또는 DCT 등)으로 제한되지 않고 따라서 본 발명의 사상을 유지하면서 임의의 다른 변환(웨이블릿 변환 등)도 역시 적용될 수 있다는 것을 잘 알 것이다.
Wiener 필터를 이용하는 실시예에서, 이는 이하의 수식에서와 같이 변환 영역에서 요소별 곱셈으로서 구현되며, 여기서 λ는 변환 영역에서의 계수이고,
Figure 112011048506515-pct00001
는 재구성된 픽셀의 추정된 노이즈이고,
Figure 112011048506515-pct00002
는 λ의 필터링된 계수이다:
Figure 112011048506515-pct00003
상기 수식에서,
Figure 112011048506515-pct00004
만이 미지의 요소이다.
Figure 112011048506515-pct00005
는 원래의 신호와 재구성된 신호 간의 차이의 표준 편차로서 계산된다. 일 실시예에서,
Figure 112011048506515-pct00006
는 MAD(mean of absolute difference)를 사용하여 계산된다.
Figure 112011048506515-pct00007
는 상위/매크로블록 레벨 구문으로서 코딩되고 디코더에 보내질 수 있다. 일 실시예에서,
Figure 112011048506515-pct00008
는, 예를 들어, NAL(network abstraction layer) 유닛 헤더, SPS(sequence parameter set), PPS(picture parameter set), VPS(view parameter set), 슬라이스 헤더 등에서 상위 레벨 구문으로서 보내진다. 다른 실시예에서,
Figure 112011048506515-pct00009
는 매크로블록 레벨에서 오버헤드로서 코딩된다. 본 명세서에 기술된 하나 이상의 실시예가 Wiener 필터를 사용하고 있지만, 본 발명이 단지 Wiener 필터로 제한되지 않고 따라서 본 발명의 사상을 유지하면서 임의의 다른 필터가 본 발명에 따라 사용될 수 있는 어떤 성능 메트릭 또는 파라미터에 기초하여 적응적 방식으로 적용될 수 있다는 것을 잘 알 것이다.
제2 단계에서의 융합에 있어서, 일 실시예에서, 가중치가 변환 또는 다른 희소성 관련 값에서의 영이 아닌 계수의 수로서 근사화된다. 다른 실시예에서, 간단한 평균이 사용될 수 있다. 물론, 본 발명이 제2 상태와 관련하여 이상의 방식으로 제한되지 않으며, 따라서 본 발명의 사상을 유지하면서 제2 단계에서 다른 방식도 역시 사용될 수 있다.
아티팩트 제거 필터는 양자화 노이즈 통계, 코딩 모드 및 움직임 정보, 국소 코딩 조건, 압축 요구사항 및 원래의 신호의 특성을 고려할 필요가 없다. 비디오 품질 및/또는 코딩 비용을 최적화하기 위해 필터가 공간적으로도 시간적으로도 적응된다. 일 실시예에서, 과도한 평활화 효과를 피하기 위해, SKIP 모드 또는 DIRECT 모드와 같은 특정 조건에서 또는 이웃 블록에 대해 작은 움직임 차이를 가지는 잔차가 없는 블록에 대해 픽셀을 필터링하지 않는다. 다른 실시예에서, 상기 필터가 모든 아티팩트를 제거할 정도로 충분히 강하지 않는 경우, 아티팩트 제거 필터 이전에 또는 이후에 보조 필터가 구현된다. 보조 필터는, 예를 들어, 저역 통과 필터 또는 아티팩트 제거 필터의 제2 라운드일 수 있지만, 그것으로 제한되지 않는다. 게다가, 일 실시예에서, 보조 필터는 아티팩트 제거 필터링 이후에 인트라 매크로블록에 대해 적용될 수 있다.
앞서 살펴본 바와 같이, 본 발명에 따른 아티팩트 제거 필터는 다른 종류의 코딩 다이어그램(coding diagram)에서 사용될 수 있다. 일 실시예에서, 이는 루프외 필터(즉, 도 8 및 도 9에 도시된 바와 같이, 사후-필터)로서 사용될 수 있다. 다른 실시예에서, 이는 (도 4 및 도 5에 도시된 바와 같이) MPEG-4 AVC 인코더 및/또는 디코더에서 디블록킹 필터를 대체하는 인루프 필터로서 사용될 수 있거나, (도 6 및 도 7에 도시된 바와 같이) 디블록킹 필터와 함께 적용될 수 있다.
본 발명의 하나 이상의 실시예에 대응하는 예시적인 슬라이스 헤더 구문이 표 1에 나타내어져 있다.
Figure 112011048506515-pct00010
표 1에서 구문 요소들 중 일부의 의미는 다음과 같다:
deart_filter_present_flag가 1인 것은 아티팩트 제거 필터의 특성을 제어하는 일련의 구문 요소가 슬라이스 헤더에 존재한다는 것을 명시한다. deart_filter_present_flag가 0인 것은 아티팩트 제거 필터의 특성을 제어하는 일련의 구문 요소가 슬라이스 헤더에 존재하지 않고 그의 추론된 값이 효력이 없다는 것을 명시한다.
filter_selection_type은 아티팩트 제거에서 사용된 필터 구성을 명시한다. filter_selection_type이 0인 것은 방향-적응적 아티팩트 제거 필터링이 활성화되지 않을 것임을 명시한다. filter_selection_type이 1인 것은 루프외 아티팩트 제거 필터링이 사용된다는 것을 명시한다. filter_selection_type이 2인 것은 디블록킹 필터를 갖지 않는 루프내 아티팩트 제거 필터링이 사용된다는 것을 명시한다. filter_selection_type이 3인 것은 디블록킹 필터를 갖는 루프내 아티팩트 제거 필터링이 사용된다는 것을 명시한다.
noise_power는 Wiener 필터에 대해 사용되는 노이즈 전력의 값을 명시한다.
도 10을 참조하면, 인코더에서 수행되는 예시적인 희소성-기반 아티팩트 제거 필터링 방법이 전반적으로 참조 번호(1000)로 나타내어져 있다. 방법(1000)은 제어를 기능 블록(1010)으로 넘기는 시작 블록(1005)을 포함한다. 기능 블록(1010)은 초기화를 수행하고(일 실시예에서, 필터링 파라미터를 추정하는 것을 포함함), 제어를 루프 한계 블록(1015)으로 넘긴다. 루프 한계 블록은 모든 처리 픽셀에 걸쳐 루프를 시작하고, 제어를 기능 블록(1020)으로 넘긴다. 기능 블록(1020)은 각각의 처리 픽셀에 대한 kNN 패치 클러스터링을 수행하고, 제어를 기능 블록(1025)으로 넘긴다. 기능 블록(1025)은 희소성 제약조건을 시행하고, 제어를 루프 한계 블록(1030)으로 넘긴다. 루프 한계 블록(1030)은 모든 처리 픽셀에 걸쳐 루프를 종료하고, 제어를 루프 한계 블록(1035)으로 넘긴다. 루프 한계 블록(1035)은 모든 처리 픽셀에 걸쳐 루프를 시작하고, 제어를 기능 블록(1040)으로 넘긴다. 기능 블록(1040)은 각각의 픽셀에 대해 다수의 가설 융합(hypotheses fusion)을 발생하고, 제어를 루프 한계 블록(1045)으로 넘긴다. 루프 한계 블록(1045)은 모든 픽셀에 걸쳐 루프를 종료하고, 제어를 기능 블록(1050)으로 넘긴다. 기능 블록(1050)은 구문을 인코딩하고, 제어를 종료 블록(1099)으로 넘긴다.
기능 블록(1025)은 기능 블록(1025A, 1025B, 1025C)을 포함한다. 기능 블록(1025A)은 변환을 수행하고, 제어를 기능 블록(1025B)으로 넘긴다. 기능 블록(1025B)은 필터링을 수행하고, 제어를 기능 블록(1025C)으로 넘긴다. 기능 블록(1025C)은 역변환을 수행한다.
적어도 방법(1000)과 관련하여 언급된 처리 픽셀은 화상, 영역, 블록 등의 픽셀 전부보다 적을 수 있는데, 그 이유는, 비디오에 흔히 존재하는 중첩 영역이 주어진 경우, 복잡도를 감소시키기 위해 모든 픽셀이 처리될 필요는 없기 때문이다.
도 11을 참조하면, 디코더에서 수행되는 예시적인 희소성-기반 아티팩트 제거 필터링 방법이 전반적으로 참조 번호(1100)로 나타내어져 있다. 방법(1100)은 제어를 기능 블록(1110)으로 넘기는 시작 블록(1105)을 포함한다. 기능 블록(1110)은 구문을 파싱하고(예를 들어, 필터링 파라미터를 수집하기 위한 것임), 제어를 루프 한계 블록(1115)으로 넘긴다. 루프 한계 블록(1115)은 모든 처리 픽셀에 걸쳐 루프를 시작하고, 제어를 기능 블록(1120)으로 넘긴다. 기능 블록(1120)은 각각의 처리 픽셀에 대한 kNN 패치 클러스터링을 수행하고, 제어를 기능 블록(1125)으로 넘긴다. 기능 블록(1125)은 희소성 제약조건을 시행하고, 제어를 루프 한계 블록(1130)으로 넘긴다. 루프 한계 블록(1130)은 모든 처리 픽셀에 걸쳐 루프를 종료하고, 제어를 루프 한계 블록(1135)으로 넘긴다. 루프 한계 블록(1135)은 모든 픽셀에 걸쳐 루프를 시작하고, 제어를 기능 블록(1140)으로 넘긴다. 기능 블록(1140)은 각각의 픽셀에 대해 다수의 가설 융합을 수행하고, 제어를 루프 한계 블록(1145)으로 넘긴다. 루프 한계 블록(1145)은 모든 픽셀에 걸쳐 루프를 종료하고, 제어를 종료 블록(1199)으로 넘긴다.
기능 블록(1125)은 기능 블록(1125A, 1125B, 1125C)을 포함한다. 기능 블록(1125A)은 변환을 수행하고, 제어를 기능 블록(1125B)으로 넘긴다. 기능 블록(1125B)은 필터링을 수행하고, 제어를 기능 블록(1125C)으로 넘긴다. 기능 블록(1125C)은 역변환을 수행한다.
이제부터 본 발명의 많은 부수적인 이점들/특징들 중 몇몇에 대한 설명이 제공될 것이며, 이들 중 몇몇은 이상에서 언급하였다. 예를 들어, 한가지 이점/특징은 그룹화 메트릭에 기초하여 그 일부분 내의 영역을 그룹화하고, 그룹화된 영역을 변환하며, 인코더에 포함된 아티팩트 제거 필터를 사용하여, 변환된 영역에 대해 아티팩트 제거 필터링을 적응적으로 수행하고, 아티팩트 제거된 영역을 역변환하여 교체 영역을 생성하며, 교체 영역을 그룹화 이전에 영역을 가져왔던 이미지에 대한 위치로 복원함으로써 이미지의 적어도 일부분을 인코딩하는 인코더를 갖는 장치이다.
다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 아티팩트 제거 필터는 루프내 구성(in-loop configuration) 및 루프외 구성(out-of-loop configuration) 중 임의의 구성에서 사용하도록 구성가능하다.
또 다른 이점/특징은 인코더를 갖는 장치이며, 아티팩트 제거 필터는 전술한 루프내 구성 및 루프외 구성 중 임의의 구성에서 사용하도록 구성가능하고, 아티팩트 제거 필터가 루프내 구성에서 적용될 때, 아티팩트 제거 필터는 디블록킹 필터를 대체한다.
또 다른 이점/특징은 인코더를 갖는 장치이며, 아티팩트 제거 필터는 전술한 루프내 구성 및 루프외 구성 중 임의의 구성에서 사용하도록 구성가능하고, 인코더는 디블록킹 필터를 포함하고, 아티팩트 제거 필터는 디블록킹 필터에 후속하여 사용하도록 구성되어 있다.
게다가, 다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 이미지의 영역이 2개 이상의 차원에 대응한다.
게다가, 다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 그룹화된 영역이 2개 이상의 차원에서 동작할 수 있는 변환을 사용하여 변환된다.
또한, 다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 아티팩트 제거 필터는 Wiener 필터이다.
또한, 다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 교체 영역은 복원 이전에 가중치를 사용하여 결합된다.
또 다른 이점/특징은 인코더를 갖는 장치이며, 교체 영역은 이상에서 기술한 복원 이전에 가중치를 사용하여 결합되고, 그룹화된 영역은 변환되어 그에 대한 변환 희소성 값을 얻고, 가중치는 변환 희소성 값에 응답하여 결정된다.
게다가, 다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 아티팩트 제거 필터링의 유형 및 강도 중 적어도 하나가 양자화 노이즈 메트릭, 코딩 모드 메트릭, 움직임 정보 메트릭, 국소 코딩 조건 메트릭, 및 압축 요구사항 메트릭 중 적어도 하나에 응답하여 적응적으로 선택된다.
또한, 다른 이점/특징은 이상에서 기술한 인코더를 갖는 장치이며, 아티팩트 제거 필터 이전 또는 이후에 보조 필터가 적용된다.
본 발명의 이들 및 기타 특징들 및 이점들은 본 명세서에서의 개시 내용에 기초하여 당업자에 의해 용이하게 확인될 수 있다. 본 발명의 개시 내용이 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이들의 조합으로 구현될 수 있다는 것을 잘 알 것이다.
가장 양호하게는, 본 발명의 개시 내용이 하드웨어와 소프트웨어의 조합으로서 구현된다. 게다가, 소프트웨어는 프로그램 저장 장치에 유형으로 구현되는 애플리케이션 프로그램으로서 구현될 수 있다. 이 애플리케이션 프로그램은 임의의 적당한 아키텍처를 포함하는 기계에 업로드되어 이 기계에 의해 실행될 수 있다. 양호하게는, 이 기계는 하나 이상의 중앙 처리 장치(CPU), 랜덤 액세스 메모리(RAM), 및 입/출력(I/O) 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에 구현된다. 이 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로명령어 코드(microinstruction code)도 포함할 수 있다. 본 명세서에 기술된 다양한 프로세스 및 기능이, CPU에 의해 실행될 수 있는, 마이크로명령어 코드의 일부이거나 애플리케이션 프로그램의 일부이거나, 이들의 임의의 조합일 수 있다. 또한, 부가의 데이터 저장 장치 및 인쇄 장치와 같은 다양한 다른 주변 장치들이 컴퓨터 플랫폼에 연결되어 있을 수 있다.
또한, 첨부 도면에 도시된 시스템 구성요소들 및 방법들 중 일부가 양호하게는 소프트웨어로 구현되기 때문에, 시스템 구성요소들 또는 프로세스 기능 블록들 간의 실제 연결이 본 발명이 프로그램되는 방식에 따라 다를 수 있다는 것을 잘 알 것이다. 본 명세서의 개시 내용을 살펴보고, 당업자라면 본 발명의 이들 및 유사한 구현들 또는 구성들을 생각할 수 있을 것이다.
예시적인 실시예들이 첨부 도면을 참조하여 본 명세서에 기술되어 있지만, 본 발명이 이들 정확한 실시예로 제한되지 않고 다양한 변경 및 수정이 본 발명의 범위 또는 사상을 벗어나지 않고 당업자에 의해 행해질 수 있다는 것을 잘 알 것이다. 모든 이러한 변경 및 수정이 첨부된 청구항들에 기술된 본 발명의 범위 내에 포함되는 것으로 보아야 한다.

Claims (33)

  1. 비디오 인코딩을 위한 장치로서,
    아티팩트 제거 필터링(de-artifact filtering)을 사용하여 이미지의 적어도 일부를 인코딩하기 위한 인코더(400, 600, 800)를 포함하고,
    상기 인코더는, 그룹화 메트릭(grouping metric)에 기초하여 상기 일부 내의 영역들을 그룹화하고, 상기 영역들의 차원들(dimensions) 및 그룹화에 기초하여 상기 그룹화된 영역들을 변환하며, 상기 변환된 영역들에 대해 상기 아티팩트 제거 필터링을 적응적으로 수행하고, 상기 아티팩트 제거된 영역들을 역변환하여 교체 영역들을 생성하며, 상기 교체 영역들을 상기 그룹화 이전에 상기 영역들을 가져왔던 이미지에 대한 위치들로 복원함으로써 상기 아티팩트 제거 필터링을 수행하는 아티팩트 제거 필터를 포함하며,
    동일한 픽셀의 다수의 추정치가 중첩 영역들로부터 획득되고, 각각의 픽셀에 대해 상기 중첩 영역들의 중복 표현들로부터의 다수의 추정치를 융합하기 위해 적응적 희소성-기반 필터링(adaptive sparsity-based filtering)이 사용되고,
    상기 아티팩트 제거 필터링의 유형 및 강도는 양자화 노이즈 통계, 코딩 모드 메트릭, 움직임 정보 메트릭, 국소 코딩 조건 메트릭(local coding condition metric), 및 압축 요건 메트릭 중 적어도 하나에 응답하여 적응적으로 선택되는, 비디오 인코딩을 위한 장치.
  2. 제1항에 있어서, 상기 아티팩트 제거 필터(465, 613, 813)는 루프내 구성(in-loop configuration) 및 루프외 구성(out-of-loop configuration) 중 임의의 구성에서 사용하도록 구성가능한, 비디오 인코딩을 위한 장치.
  3. 제2항에 있어서, 상기 아티팩트 제거 필터가 상기 루프내 구성에서 적용될 때, 상기 아티팩트 제거 필터(465, 613, 813)는 디블록킹 필터를 대신하는, 비디오 인코딩을 위한 장치.
  4. 제2항에 있어서, 상기 인코더(400, 600, 800)는 디블록킹 필터를 포함하고, 상기 아티팩트 제거 필터(465, 613, 813)는 상기 디블록킹 필터에 후속하여 사용하도록 구성되어 있는, 비디오 인코딩을 위한 장치.
  5. 제1항에 있어서, 상기 아티팩트 제거 필터(465, 613, 813)는 위너 필터(Wiener filter)인, 비디오 인코딩을 위한 장치.
  6. 제1항에 있어서, 상기 교체 영역들은 복원 이전에 가중치들을 사용하여 결합되는, 비디오 인코딩을 위한 장치.
  7. 제6항에 있어서, 상기 그룹화된 영역들은 변환되어 그에 대한 변환 희소성 값(transform sparsity value)들을 얻고, 상기 가중치들은 상기 변환 희소성 값들에 응답하여 결정되는, 비디오 인코딩을 위한 장치.
  8. 삭제
  9. 비디오 인코더에서 수행되는 방법으로서,
    아티팩트 제거 필터링을 사용하여 이미지의 적어도 일부를 인코딩하는 단계
    를 포함하고,
    상기 아티팩트 제거 필터링은,
    그룹화 메트릭에 기초하여 상기 일부 내의 영역들을 그룹화하는 단계;
    상기 영역들의 차원들 및 그룹화에 기초하여 상기 그룹화된 영역들을 변환하는 단계;
    아티팩트 제거 필터를 사용하여, 상기 변환된 영역들에 대해 아티팩트 제거 필터링을 적응적으로 수행하는 단계;
    상기 아티팩트 제거된 영역들을 역변환하여 교체 영역들을 생성하는 단계; 및
    상기 교체 영역들을 상기 그룹화 이전에 상기 영역들을 가져왔던 이미지에 대한 위치들로 복원하는 단계를 포함하며,
    동일한 픽셀의 다수의 추정치가 중첩 영역들로부터 획득되고, 각각의 픽셀에 대해 상기 중첩 영역들의 중복 표현들로부터의 다수의 추정치를 융합하기 위해 적응적 희소성-기반 필터링이 사용되고,
    상기 아티팩트 제거 필터링의 유형 및 강도는 양자화 노이즈 통계, 코딩 모드 메트릭, 움직임 정보 메트릭, 국소 코딩 조건 메트릭, 및 압축 요건 메트릭 중 적어도 하나에 응답하여 적응적으로 선택되는, 비디오 인코더에서 수행되는 방법.
  10. 제9항에 있어서, 상기 아티팩트 제거 필터를, 루프내 구성 및 루프외 구성 중 임의의 구성에서 사용하도록 구성하는 단계를 더 포함하는, 비디오 인코더에서 수행되는 방법.
  11. 제10항에 있어서, 상기 아티팩트 제거 필터가 루프내 구성에서 적용될 때, 디블록킹 필터를 상기 아티팩트 제거 필터로 대체하는 단계를 더 포함하는, 비디오 인코더에서 수행되는 방법.
  12. 제10항에 있어서, 상기 인코더는 디블록킹 필터를 포함하고, 상기 방법은 상기 아티팩트 제거 필터를, 상기 디블록킹 필터에 후속하여 사용하도록 구성하는 단계를 더 포함하는, 비디오 인코더에서 수행되는 방법.
  13. 제9항에 있어서, 상기 복원하는 단계 이전에 가중치들을 사용하여 상기 교체 영역들을 결합하는 단계를 더 포함하는, 비디오 인코더에서 수행되는 방법.
  14. 제13항에 있어서, 상기 그룹화된 영역들은 변환되어 그에 대한 변환 희소성 값들을 얻고, 상기 가중치들은 상기 변환 희소성 값들에 응답하여 결정되는, 비디오 인코더에서 수행되는 방법.
  15. 삭제
  16. 제9항에 있어서, 상기 아티팩트 제거 필터 이전 또는 이후에 보조 필터(secondary filter)를 적용하는 단계를 더 포함하는, 비디오 인코더에서 수행되는 방법.
  17. 아티팩트 제거 필터링을 사용하여 이미지의 적어도 일부를 디코딩하기 위한 디코더(500, 700, 900)를 포함하고,
    상기 디코더는, 그룹화 메트릭에 기초하여 상기 일부 내의 영역들을 그룹화하고, 상기 영역들의 차원들 및 그룹화에 기초하여 상기 그룹화된 영역들을 변환하며, 상기 변환된 영역들에 대해 상기 아티팩트 제거 필터링을 적응적으로 수행하고, 상기 아티팩트 제거된 영역들을 역변환하여 교체 영역들을 생성하며, 상기 교체 영역들을 상기 그룹화 이전에 상기 영역들을 가져왔던 이미지에 대한 위치들로 복원함으로써 상기 아티팩트 제거 필터링을 수행하는 아티팩트 제거 필터를 포함하며,
    동일한 픽셀의 다수의 추정치가 중첩 영역들로부터 획득되고, 각각의 픽셀에 대해 상기 중첩 영역들의 중복 표현들로부터의 다수의 추정치를 융합하기 위해 적응적 희소성-기반 필터링이 사용되고,
    상기 아티팩트 제거 필터링의 유형 및 강도는 양자화 노이즈 통계, 코딩 모드 메트릭, 움직임 정보 메트릭, 국소 코딩 조건 메트릭, 및 압축 요건 메트릭 중 적어도 하나에 응답하여 적응적으로 선택되는 장치.
  18. 제17항에 있어서, 상기 아티팩트 제거 필터(565, 713, 913)는 루프내 구성 및 루프외 구성 중 임의의 구성에서 사용하도록 구성가능한 장치.
  19. 제18항에 있어서, 상기 아티팩트 제거 필터가 상기 루프내 구성에서 적용될 때, 상기 아티팩트 제거 필터(565, 713, 913)는 디블록킹 필터를 대신하는 장치.
  20. 제18항에 있어서, 상기 디코더(500, 700, 900)는 디블록킹 필터를 포함하고, 상기 아티팩트 제거 필터(565, 713, 913)는 상기 디블록킹 필터에 후속하여 사용하도록 구성되어 있는 장치.
  21. 제17항에 있어서, 상기 아티팩트 제거 필터(565, 713, 913)는 위너 필터인 장치.
  22. 제17항에 있어서, 상기 교체 영역들은 복원 이전에 가중치들을 사용하여 결합되는 장치.
  23. 제22항에 있어서, 상기 그룹화된 영역들은 변환되어 그에 대한 변환 희소성 값들을 얻고, 상기 가중치들은 상기 변환 희소성 값들에 응답하여 결정되는 장치.
  24. 삭제
  25. 비디오 디코더에서 수행되는 방법으로서,
    아티팩트 제거 필터링을 사용하여 이미지의 적어도 일부를 디코딩하는 단계
    를 포함하고,
    상기 아티팩트 제거 필터링은,
    그룹화 메트릭에 기초하여 상기 일부 내의 영역들을 그룹화하는 단계;
    상기 영역들의 차원들 및 그룹화에 기초하여 상기 그룹화된 영역들을 변환하는 단계;
    아티팩트 제거 필터를 사용하여, 상기 변환된 영역들에 대해 상기 아티팩트 제거 필터링을 적응적으로 수행하는 단계;
    상기 아티팩트 제거된 영역들을 역변환하여 교체 영역들을 생성하는 단계; 및
    상기 교체 영역들을, 상기 그룹화 이전에 상기 영역들을 가져왔던 이미지에 대한 위치들로 복원하는 단계를 포함하며,
    동일한 픽셀의 다수의 추정치가 중첩 영역들로부터 획득되고, 각각의 픽셀에 대해 상기 중첩 영역들의 중복 표현들로부터의 다수의 추정치를 융합하기 위해 적응적 희소성-기반 필터링이 사용되고,
    상기 아티팩트 제거 필터링의 유형 및 강도는 양자화 노이즈 통계, 코딩 모드 메트릭, 움직임 정보 메트릭, 국소 코딩 조건 메트릭, 및 압축 요건 메트릭 중 적어도 하나에 응답하여 적응적으로 선택되는, 비디오 디코더에서 수행되는 방법.
  26. 제25항에 있어서, 상기 아티팩트 제거 필터를, 루프내 구성 및 루프외 구성 중 임의의 구성에서 사용하도록 구성하는 단계를 더 포함하는 비디오 디코더에서 수행되는 방법.
  27. 제26항에 있어서, 상기 아티팩트 제거 필터가 루프내 구성에서 적용될 때, 디블록킹 필터를 상기 아티팩트 제거 필터로 대체하는 단계를 더 포함하는 비디오 디코더에서 수행되는 방법.
  28. 제26항에 있어서, 상기 디코더는 디블록킹 필터를 포함하고, 상기 방법은 상기 아티팩트 제거 필터를, 상기 디블록킹 필터에 후속하여 사용하도록 구성하는 단계를 더 포함하는 비디오 디코더에서 수행되는 방법.
  29. 제25항에 있어서, 상기 아티팩트 제거 필터는 위너 필터인 비디오 디코더에서 수행되는 방법.
  30. 제25항에 있어서, 상기 복원하는 단계 이전에 가중치들을 사용하여 상기 교체 영역들을 결합하는 단계를 더 포함하는 비디오 디코더에서 수행되는 방법.
  31. 제30항에 있어서, 상기 그룹화된 영역들은 변환되어 그에 대한 변환 희소성 값들을 얻고, 상기 가중치들은 상기 변환 희소성 값들에 응답하여 결정되는 비디오 디코더에서 수행되는 방법.
  32. 삭제
  33. 인코딩된 비디오 신호 데이터를 갖는 저장 매체로서,
    이미지의 적어도 일부를 포함하며,
    상기 이미지의 적어도 일부는, 그룹화 메트릭에 기초하여 상기 일부 내의 영역들을 그룹화하고, 상기 영역들의 차원들 및 그룹화에 기초하여 상기 그룹화된 영역들을 변환하며, 인코더에 포함된 아티팩트 제거 필터를 사용하여 상기 변환된 영역들에 대해 아티팩트 제거 필터링을 적응적으로 수행하고, 상기 아티팩트 제거된 영역들을 역변환하여 교체 영역들을 생성하며, 상기 교체 영역들을 상기 그룹화 이전에 상기 영역들을 가져왔던 이미지에 대한 위치들로 복원함으로써 인코딩되며,
    동일한 픽셀의 다수의 추정치가 중첩 영역들로부터 획득되고, 각각의 픽셀에 대해 상기 중첩 영역들의 중복 표현들로부터의 다수의 추정치를 융합하기 위해 적응적 희소성-기반 필터링이 사용되고,
    상기 아티팩트 제거 필터링의 유형 및 강도는 양자화 노이즈 통계, 코딩 모드 메트릭, 움직임 정보 메트릭, 국소 코딩 조건 메트릭, 및 압축 요건 메트릭 중 적어도 하나에 응답하여 적응적으로 선택되는, 저장 매체.
KR1020117014741A 2008-11-25 2009-11-18 비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치 KR101680915B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11780708P 2008-11-25 2008-11-25
US61/117,807 2008-11-25
PCT/US2009/006161 WO2010065060A1 (en) 2008-11-25 2009-11-18 Methods and apparatus for sparsity-based de-artifact filtering for video encoding and decoding

Publications (2)

Publication Number Publication Date
KR20110089369A KR20110089369A (ko) 2011-08-05
KR101680915B1 true KR101680915B1 (ko) 2016-11-29

Family

ID=41653491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117014741A KR101680915B1 (ko) 2008-11-25 2009-11-18 비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치

Country Status (7)

Country Link
US (1) US9723330B2 (ko)
EP (1) EP2351374A1 (ko)
JP (2) JP2012510202A (ko)
KR (1) KR101680915B1 (ko)
CN (1) CN102292990B (ko)
BR (1) BRPI0921986A2 (ko)
WO (1) WO2010065060A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
EP2135454A4 (en) * 2007-03-02 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
US20100278236A1 (en) * 2008-01-17 2010-11-04 Hua Yang Reduced video flicker
WO2010120338A2 (en) * 2009-04-14 2010-10-21 Thomson Licensing Methods and apparatus for filter parameter determination and selection responsive to variable transforms in sparsity-based de-artifact filtering
US8787443B2 (en) 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
US9042458B2 (en) 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
US9510020B2 (en) 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
US9769473B2 (en) * 2012-06-08 2017-09-19 Apple Inc. Predictive video coder with low power reference picture transformation
EP2883205B1 (en) 2012-08-09 2019-05-08 InterDigital CE Patent Holdings Method and apparatus to detect artificial edges in images
US9262808B2 (en) * 2013-02-07 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Denoising of images with nonstationary noise
US9558712B2 (en) * 2014-01-21 2017-01-31 Nvidia Corporation Unified optimization method for end-to-end camera image processing for translating a sensor captured image to a display image
US9454806B2 (en) * 2014-01-21 2016-09-27 Nvidia Corporation Efficient approximate-nearest-neighbor (ANN) search for high-quality collaborative filtering
US9747673B2 (en) 2014-11-05 2017-08-29 Dolby Laboratories Licensing Corporation Systems and methods for rectifying image artifacts
CN105847848B (zh) * 2015-11-17 2019-03-15 西安邮电大学 一种高效视频编码中判定滤波强弱的可重构阵列结构
US10043243B2 (en) * 2016-01-22 2018-08-07 Siemens Healthcare Gmbh Deep unfolding algorithm for efficient image denoising under varying noise conditions
US10587900B2 (en) * 2016-02-15 2020-03-10 Futurewei Technologies, Inc. Systems, methods, and devices for image coding
CN109891894B (zh) * 2016-12-01 2021-10-08 谷歌有限责任公司 用于恢复由重构产生的劣化帧的劣化图块的方法和装置
WO2018117896A1 (en) 2016-12-23 2018-06-28 Huawei Technologies Co., Ltd Low complexity mixed domain collaborative in-loop filter for lossy video coding
CN110100437B (zh) * 2016-12-23 2020-09-08 华为技术有限公司 用于有损视频编码的混合域协作环路滤波器
EP3529985A1 (en) * 2016-12-23 2019-08-28 Huawei Technologies Co., Ltd. Mixed domain collaborative post filter for lossy still image coding
US10623738B2 (en) 2017-04-06 2020-04-14 Futurewei Technologies, Inc. Noise suppression filter
US20180343449A1 (en) * 2017-05-26 2018-11-29 Ati Technologies Ulc Application specific filters for high-quality video playback
US10587883B2 (en) * 2017-07-14 2020-03-10 Qualcomm Incorporated Region-wise packing, content coverage, and signaling frame packing for media content
KR102520626B1 (ko) * 2018-01-22 2023-04-11 삼성전자주식회사 아티팩트 감소 필터를 이용한 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
EP3741127A1 (en) * 2018-03-07 2020-11-25 Huawei Technologies Co., Ltd. Loop filter apparatus and method for video coding
WO2019191888A1 (zh) * 2018-04-02 2019-10-10 北京大学 环路滤波的方法、装置和计算机***
US10491897B2 (en) * 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
KR20240010429A (ko) 2022-07-15 2024-01-23 얀마 홀딩스 주식회사 전기 작업 기계

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0649250A2 (en) 1993-10-15 1995-04-19 Avt Communications Limited Video signal processing
US20060262854A1 (en) * 2005-05-20 2006-11-23 Dan Lelescu Method and apparatus for noise filtering in video coding
EP1841230A1 (en) 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding

Family Cites Families (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05151254A (ja) * 1991-11-27 1993-06-18 Hitachi Ltd 文書処理方法およびシステム
US5761664A (en) * 1993-06-11 1998-06-02 International Business Machines Corporation Hierarchical data model for design automation
US5886702A (en) * 1996-10-16 1999-03-23 Real-Time Geometry Corporation System and method for computer modeling of 3D objects or surfaces by mesh constructions having optimal quality characteristics and dynamic resolution capabilities
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
JPH11177993A (ja) * 1997-12-12 1999-07-02 Nec Corp 動画像符号化装置
JP3415438B2 (ja) * 1998-05-12 2003-06-09 富士通株式会社 干渉チェック装置および方法
RU2154918C1 (ru) * 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
US6614430B1 (en) * 1998-09-08 2003-09-02 Proficiency Ltd. System and method for the exchange of CAD data
US6629065B1 (en) * 1998-09-30 2003-09-30 Wisconsin Alumni Research Foundation Methods and apparata for rapid computer-aided design of objects in virtual reality and other environments
US6434197B1 (en) * 1999-01-07 2002-08-13 General Instrument Corporation Multi-functional transcoder for compressed bit streams
US6285805B1 (en) * 1999-01-25 2001-09-04 International Business Machines Corp. System and method for finding the distance from a moving query point to the closest point on one or more convex or non-convex shapes
US6519369B1 (en) * 1999-02-12 2003-02-11 Sony Corporation Method and apparatus for filter tap expansion
US7123652B1 (en) * 1999-02-24 2006-10-17 Thomson Licensing S.A. Sampled data digital filtering system
US20030156127A1 (en) * 1999-05-24 2003-08-21 Vadim Kleyman Method and system for verifying the integrity of a cad format translation
US6351494B1 (en) * 1999-09-24 2002-02-26 Sony Corporation Classified adaptive error recovery method and apparatus
DE69939954D1 (de) * 1999-11-11 2009-01-02 St Microelectronics Asia Vorrichtung zur schätzung des rauschpegels in einem videosignal
EP1230791A1 (en) * 1999-11-11 2002-08-14 STMicroelectronics Asia Pacific Pte Ltd. Spatio-temporal video noise reduction system
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US6687388B2 (en) * 2000-01-28 2004-02-03 Sony Corporation Picture processing apparatus
US6898327B1 (en) * 2000-03-23 2005-05-24 International Business Machines Corporation Anti-flicker system for multi-plane graphics
JP2002077917A (ja) * 2000-06-13 2002-03-15 Sony Corp 画像データ処理装置及び画像データ処理方法
US7085318B2 (en) * 2000-06-15 2006-08-01 Sony Corporation Image processing system, image processing method, program, and recording medium
US6628709B2 (en) * 2000-12-21 2003-09-30 Matsushita Electric Corporation Of America Bit number prediction for VLC coded DCT coefficients and its application in DV encoding/transcoding
US6744818B2 (en) * 2000-12-27 2004-06-01 Vls Com Ltd. Method and apparatus for visual perception encoding
GB2373661B (en) * 2001-03-23 2005-05-11 Advanced Risc Mach Ltd A data processing apparatus and method for performing an adaptive filter operation on an input data sample
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US7110458B2 (en) * 2001-04-27 2006-09-19 Mitsubishi Electric Research Laboratories, Inc. Method for summarizing a video using motion descriptors
US7003173B2 (en) * 2001-06-12 2006-02-21 Sharp Laboratories Of America, Inc. Filter for combined de-ringing and edge sharpening
WO2003003749A1 (en) * 2001-06-29 2003-01-09 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
US7027654B1 (en) * 2001-08-16 2006-04-11 On2 Technologies Video compression system
US6983079B2 (en) * 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
US7440504B2 (en) * 2001-09-24 2008-10-21 Broadcom Corporation Method and apparatus for performing deblocking filtering with interlace capability
US20030117397A1 (en) * 2001-12-21 2003-06-26 Hubrecht Alain Yves Nestor Systems and methods for generating virtual reality (VR) file(s) for complex virtual environments
US7054367B2 (en) * 2001-12-31 2006-05-30 Emc Corporation Edge detection based on variable-length codes of block coded video
US7295610B2 (en) * 2002-03-27 2007-11-13 Scientific-Atlanta, Inc. Hybrid rate control in a digital stream transcoder
US7236521B2 (en) * 2002-03-27 2007-06-26 Scientific-Atlanta, Inc. Digital stream transcoder
US7190723B2 (en) * 2002-03-27 2007-03-13 Scientific-Atlanta, Inc. Digital stream transcoder with a hybrid-rate controller
US7826535B2 (en) * 2002-04-11 2010-11-02 Broadcom Corporation Adaptive pixel processing
US7095423B2 (en) * 2002-07-19 2006-08-22 Evans & Sutherland Computer Corporation System and method for combining independent scene layers to form computer generated environments
EP1394742B1 (en) * 2002-08-23 2007-12-12 STMicroelectronics S.r.l. Method for filtering the noise of a digital image sequence
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
US7116828B2 (en) * 2002-09-25 2006-10-03 Lsi Logic Corporation Integrated video decoding system with spatial/temporal video processing
US7486719B2 (en) * 2002-10-31 2009-02-03 Nec Corporation Transcoder and code conversion method
US20040179610A1 (en) * 2003-02-21 2004-09-16 Jiuhuai Lu Apparatus and method employing a configurable reference and loop filter for efficient video coding
US7352909B2 (en) * 2003-06-02 2008-04-01 Seiko Epson Corporation Weighted overcomplete de-noising
US20040258147A1 (en) * 2003-06-23 2004-12-23 Tsu-Chang Lee Memory and array processor structure for multiple-dimensional signal processing
US7394856B2 (en) * 2003-09-19 2008-07-01 Seiko Epson Corporation Adaptive video prefilter
US7496141B2 (en) * 2004-04-29 2009-02-24 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7397853B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20050243914A1 (en) * 2004-04-29 2005-11-03 Do-Kyoung Kwon Adaptive de-blocking filtering apparatus and method for mpeg video decoder
US7397854B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7539248B2 (en) * 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7400679B2 (en) * 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7724307B2 (en) * 2004-07-28 2010-05-25 Broadcom Corporation Method and system for noise reduction in digital video
US8085846B2 (en) * 2004-08-24 2011-12-27 Thomson Licensing Method and apparatus for decoding hybrid intra-inter coded blocks
US7697782B2 (en) * 2004-09-16 2010-04-13 Sharp Laboratories Of America, Inc. System for reducing ringing artifacts
JP4533081B2 (ja) * 2004-10-12 2010-08-25 キヤノン株式会社 画像符号化装置及びその方法
CN101095356B (zh) * 2004-10-21 2013-06-19 汤姆森许可贸易公司 基于块的胶片颗粒图案的自适应解块技术
KR100647295B1 (ko) * 2004-11-10 2006-11-23 삼성전자주식회사 비디오 디코더에서의 인접 정보 처리 장치 및 방법과 그방법을 수행하기 위한 프로그램이 저장된 기록 매체
KR100843196B1 (ko) * 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
US8218634B2 (en) * 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US7920628B2 (en) * 2005-07-29 2011-04-05 Broadcom Corporation Noise filter for video compression
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
SG130962A1 (en) * 2005-09-16 2007-04-26 St Microelectronics Asia A method and system for adaptive pre-filtering for digital video signals
US7865035B2 (en) * 2005-10-06 2011-01-04 Samsung Electronics Co., Ltd. Video quality adaptive coding artifact reduction
US7885341B2 (en) * 2005-10-21 2011-02-08 Cisco Technology, Inc. Spatial filtering for improving compression efficiency of motion compensated interframe coding
BRPI0706362B1 (pt) * 2006-01-09 2019-10-01 Interdigital Madison Patent Holdings Método e aparelho para proporcionar modo de atualização de resolução reduzida para codificação de vídeo multivisão
BRPI0706407B1 (pt) * 2006-01-09 2019-09-03 Interdigital Madison Patent Holdings método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo
US8542744B2 (en) * 2006-05-19 2013-09-24 Altera Corporation Methods and apparatus for providing a scalable deblocking filtering assist function within an array processor
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US8175405B1 (en) * 2006-09-14 2012-05-08 Marvell International Ltd. Adaptive MPEG noise reducer
CN105376574A (zh) * 2006-11-08 2016-03-02 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
US8111760B2 (en) * 2006-11-16 2012-02-07 Texas Instruments Incorporated Deblocking filters
KR100791388B1 (ko) * 2006-12-11 2008-01-07 삼성전자주식회사 영상의 선명도 향상을 위한 장치 및 방법
RU2461977C2 (ru) * 2006-12-18 2012-09-20 Конинклейке Филипс Электроникс Н.В. Сжатие и снятие сжатия изображения
US7907789B2 (en) * 2007-01-05 2011-03-15 Freescale Semiconductor, Inc. Reduction of block effects in spatially re-sampled image information for block-based image coding
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
WO2008084482A2 (en) 2007-01-10 2008-07-17 Gurevich, Shamgar Finite harmonic oscillator
JP2008182562A (ja) 2007-01-25 2008-08-07 Matsushita Electric Ind Co Ltd 量子化マトリクスを用いた適応的デブロッキングフィルタリングの方法と装置
US20100118940A1 (en) * 2007-04-19 2010-05-13 Peng Yin Adaptive reference picture data generation for intra prediction
KR20100024406A (ko) * 2007-06-08 2010-03-05 톰슨 라이센싱 다수-격자 성김-기반 필터링 방법 및 장치
JP5345139B2 (ja) * 2007-06-08 2013-11-20 トムソン ライセンシング 多格子スパース性ベースのフィルタリングに基づくインループ・アーチファクト解除フィルタリングのための方法及び装置
US8204128B2 (en) * 2007-08-01 2012-06-19 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Learning filters for enhancing the quality of block coded still and video images
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US8743972B2 (en) * 2007-12-20 2014-06-03 Vixs Systems, Inc. Coding adaptive deblocking filter and method for use therewith
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
KR20100103822A (ko) * 2008-01-14 2010-09-28 톰슨 라이센싱 다중 격자 성김-기반의 필터링을 사용하는 아티팩트 제거 필터링 방법 및 장치
US8059909B2 (en) * 2008-04-29 2011-11-15 Sony Corporation Adaptive generation of irregular spatial sub-sampling for images
US8055087B2 (en) * 2008-04-29 2011-11-08 Sony Corporation Sample level variation for spatial sub-sampled images
US8059908B2 (en) * 2008-04-29 2011-11-15 Sony Corporation Adaptive area of influence filter for irregular spatial sub-sampled images
US8081209B2 (en) * 2008-06-26 2011-12-20 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system of sparse code based object classification with sensor fusion
US8139883B2 (en) * 2008-07-29 2012-03-20 Sony Corporation System and method for image and video encoding artifacts reduction and quality improvement
US8139650B2 (en) * 2008-08-07 2012-03-20 California Institute Of Technology Fast noise reduction in digital images and video
US8792564B2 (en) * 2008-10-28 2014-07-29 Sony Corporation Adaptive preprocessing method using feature-extracted video maps
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding
US8724713B2 (en) * 2009-02-27 2014-05-13 Vixs Systems, Inc Deblocking filter with mode control and methods for use therewith
US8237868B2 (en) * 2009-03-30 2012-08-07 Sharp Laboratories Of America, Inc. Systems and methods for adaptive spatio-temporal filtering for image and video upscaling, denoising and sharpening
EP2265026A1 (en) * 2009-06-16 2010-12-22 Canon Kabushiki Kaisha Method and device for deblocking filtering of SVC type video streams during decoding
US20100329362A1 (en) * 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Video encoding and decoding apparatus and method using adaptive in-loop filter
KR102350436B1 (ko) * 2009-07-07 2022-01-14 인터디지털 브이씨 홀딩스 인코포레이티드 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR101757947B1 (ko) * 2009-10-05 2017-07-13 톰슨 라이센싱 비디오 인코딩 및 디코딩에서의 크로마 성분에 대한 예측 픽셀의 적응성 필터링을 위한 방법 및 장치
US8259819B2 (en) * 2009-12-10 2012-09-04 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for improving video quality by utilizing a unified loop filter
JP2011139208A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置および方法
WO2011096869A1 (en) * 2010-02-05 2011-08-11 Telefonaktiebolaget L M Ericsson (Publ) De-blocking filtering control
EP2375747B1 (en) * 2010-04-12 2019-03-13 Sun Patent Trust Filter positioning and selection
JP4799678B1 (ja) * 2010-07-27 2011-10-26 株式会社東芝 符号化歪み低減装置、符号化歪み低減方法およびそのためのプログラム
US8427583B2 (en) * 2010-09-30 2013-04-23 Sharp Laboratories Of America, Inc. Automatic parameter control for spatial-temporal filter
US8630356B2 (en) * 2011-01-04 2014-01-14 The Chinese University Of Hong Kong High performance loop filters in video compression
EP2938075B1 (en) * 2011-01-14 2018-12-05 Telefonaktiebolaget LM Ericsson (publ) Deblocking filtering
US20120183078A1 (en) * 2011-01-14 2012-07-19 Samsung Electronics Co., Ltd. Filter adaptation with directional features for video/image coding
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
US20120230423A1 (en) * 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US9432700B2 (en) * 2011-09-27 2016-08-30 Broadcom Corporation Adaptive loop filtering in accordance with video coding
DE102013102902A1 (de) * 2013-03-21 2014-09-25 Aesculap Ag Chirurgische Retraktionsvorrichtung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0649250A2 (en) 1993-10-15 1995-04-19 Avt Communications Limited Video signal processing
US20060262854A1 (en) * 2005-05-20 2006-11-23 Dan Lelescu Method and apparatus for noise filtering in video coding
EP1841230A1 (en) 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding

Also Published As

Publication number Publication date
JP6120896B2 (ja) 2017-04-26
JP2012510202A (ja) 2012-04-26
JP2015128323A (ja) 2015-07-09
EP2351374A1 (en) 2011-08-03
US9723330B2 (en) 2017-08-01
CN102292990A (zh) 2011-12-21
US20110222597A1 (en) 2011-09-15
KR20110089369A (ko) 2011-08-05
CN102292990B (zh) 2016-10-05
WO2010065060A1 (en) 2010-06-10
BRPI0921986A2 (pt) 2018-06-05

Similar Documents

Publication Publication Date Title
KR101680915B1 (ko) 비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치
US20200296426A1 (en) In loop chroma deblocking filter
JP5357898B2 (ja) 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置
KR102287414B1 (ko) 손실 비디오 코딩을 위한 저복잡도 혼합 도메인 협력 인-루프 필터
JP6104975B2 (ja) スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置
JP6646029B2 (ja) アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置
EP2082583A2 (en) Methods and apparatus for in-loop de-artifact filtering
JP5746193B2 (ja) 映像符号化及び復号化のための効率的な適応フィルタリングの方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant