TWI677239B - 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器 - Google Patents

結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器 Download PDF

Info

Publication number
TWI677239B
TWI677239B TW106145049A TW106145049A TWI677239B TW I677239 B TWI677239 B TW I677239B TW 106145049 A TW106145049 A TW 106145049A TW 106145049 A TW106145049 A TW 106145049A TW I677239 B TWI677239 B TW I677239B
Authority
TW
Taiwan
Prior art keywords
patch
local
noising
denoising
current
Prior art date
Application number
TW106145049A
Other languages
English (en)
Other versions
TW201828708A (zh
Inventor
陳慶曄
Ching Yeh Chen
莊子德
Tzu Der Chuang
徐志瑋
Chih Wei Hsu
黃毓文
Yu Wen Huang
Original Assignee
聯發科技股份有限公司
Mediatek Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司, Mediatek Inc. filed Critical 聯發科技股份有限公司
Publication of TW201828708A publication Critical patent/TW201828708A/zh
Application granted granted Critical
Publication of TWI677239B publication Critical patent/TWI677239B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明的方面提供一種視訊編解碼系統中去雜訊化已重構圖像的方法。本方法可以包括提供兩個或多個候選非局部去雜訊化技術，自兩個或多個候選非局部去雜訊化技術選擇目標非局部去雜訊化技術以用於補塊組，以及用目標非局部去雜訊化技術對已重構圖像的補塊組進行去雜訊化。此外，提供了兩種並行處理方法，以用於利用基於預測子搜索演算法來形成補塊組。

Description

結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器 【相關申請的交叉引用】
本申請要求2016年12月22日提出的名稱為"Methods of Improved Non-local Adaptive Loop Filters"的申請號為62/437,766的美國臨時專利申請的優先權，其整體以引用方式併入本文中。
本發明涉及視訊編解碼技術。具體而言，本發明描述在視訊編碼器中非局部適應性環路濾波器中實施的非局部圖像去雜訊化技術。
此處提供的先前技術描述用作一般呈現本發明的內容的目的。目前署名發明人的工作內容，既包含在本先前技術部分中所描述的工作的內容，也包含在申請時未被認為是先前技術的說明書的各方面，這些既不明確也不暗示地被承認是本發明的先前技術。
基於塊的運動補償，變換和量化通常用於視訊壓縮，以提高視訊通信系統的性能。然而，由於粗量化與運動補 償，可能引進壓縮雜訊，其引起偽影，例如重構圖像中的塊效應、漣漪效應和模糊效應。環路濾波器可以用於降低壓縮雜訊，其不僅可以提高已解碼圖像的品質，也可以提供高品質的參考圖像以用於後續圖像，以節省編解碼位元。非局部適應性環路濾波器是這類環路濾波器中的一個類型。
本發明的方面提供一種視訊編解碼系統中去雜訊化已重構圖像的方法。本方法可以包括提供兩個或多個候選非局部去雜訊化技術，自兩個或多個候選非局部去雜訊化技術選擇目標非局部去雜訊化技術以用於補塊組，以及用目標非局部去雜訊化技術對已重構圖像的補塊組進行去雜訊化。
在一實施例中，本方法還可以包括接收已重構圖像，將已重構圖像分割成多個當前補塊，以及形成多個補塊組，其中每個補塊組包括當前補塊和與當前補塊相似的多個參考補塊。在一個示例中，兩個或者多個候選非局部去雜訊化技術包括非局部低階去雜訊化技術、非局部均值去雜訊化技術、塊匹配與三維濾波去雜訊化技術或者三維離散余弦變換去雜訊化技術中的至少一個。
本方法的實施例可以包括基於待處理視訊資料的特徵，自兩個或多個候選非局部去雜訊化技術選擇目標非局部去雜訊化技術。本方法的實施例可以包括基於當前補塊和/或補塊組的多個參考補塊的特徵，選擇目標非局部去雜訊化技術，以用於對補塊組進行去雜訊化。在一實施例中，選擇目標非局部去雜訊化技術以用於對補塊組進行去雜訊化是基於當 前補塊與補塊組中的參考補塊之間的失真、當前補塊的紋理、補塊組的紋理或者補塊組是哪個顏色分量的中的一個或者其組合。
在一個示例中，當當前補塊與補塊組中的多個參考補塊之間的最大失真小於一閾值時，非局部均值去雜訊化技術被選擇作為目標非局部去雜訊化技術，以及當當前補塊與補塊組中的多個參考補塊之間的最大失真大於閾值時，非局部低階去雜訊化技術被選擇作為目標非局部去雜訊化技術。
在一個示例中，當已重構圖像是色度分量的時，非局部均值去雜訊化技術被選擇作為目標非局部去雜訊化技術，以及當已重構圖像是亮度分量的時，非局部低階去雜訊化技術被選擇作為目標非局部去雜訊化技術。
在一個示例中，當補塊組中的當前補塊或者多個補塊的方差小於一閾值時，非局部均值去雜訊化技術被選擇作為目標非局部去雜訊化技術，以及當補塊組中的當前補塊或者多個補塊的方差大於閾值時，非局部低階去雜訊化技術被選擇作為目標非局部去雜訊化技術。
本方法的實施例可以包括根據圖像或者圖像區域的特徵，選擇目標非局部去雜訊化技術，以用於處理圖像或者圖像區域。在一個示例中，表示目標非局部去雜訊化技術的語法元素自視訊編碼器發信至視訊解碼器。在一個示例中，語法元素被合併到位元流的補塊層、塊層、編碼樹塊層、編碼樹單元層、片段層或者序列層。
在一個示例中，兩個或多個非局部去雜訊化技術 被配置成至少兩個候選組，以及自兩個或多個候選非局部去雜訊化技術選擇目標非局部去雜訊化技術以用於補塊組可以包括：自至少兩個候選組確定選擇組，以及基於待處理視訊資料的特徵，自選擇組選擇一個候選非局部去雜訊化技術，作為目標非局部去雜訊化技術。在一個示例中，表示選擇組的語法元素自視訊編碼器發信至視訊解碼器。
本發明的方面提供一種視訊編解碼系統中去雜訊化已重構圖像的裝置。本裝置可以包括電路，其被配置為提供兩個或多個候選非局部去雜訊化技術，自兩個或多個候選非局部去雜訊化技術選擇目標非局部去雜訊化技術以用於補塊組，以及用目標非局部去雜訊化技術對已重構圖像的補塊組進行去雜訊化。
本發明的方面提供一種非暫時電腦可讀介質，存儲有多個指令，其在由視訊編解碼系統執行時使得視訊編解碼系統提供兩個或多個候選非局部去雜訊化技術，自兩個或多個候選非局部去雜訊化技術選擇目標非局部去雜訊化技術以用於補塊組，並用目標非局部去雜訊化技術對已重構圖像的補塊組進行去雜訊化。
本發明的方面提供一種第一並行處理方法，以用於形成補塊組。本第一方法可以包括接收已重構圖像，將已重構圖像分割成多個當前補塊，將已重構圖像分割成多個並行處理區域，其中每個並行處理區域包括當前補塊子集，對多個並行處理區域進行處理，以透過用基於預測子搜索演算法搜索與各自當前補塊相似的參考補塊集，形成用於多個當前補塊的多 個補塊組，其中，多個並行處理區域中的至少兩個被並行處理，並且多個控制區域中的至少兩個中的每個被處理，而不使用在各自控制區域外部的多個當前補塊的多個補塊預測子。
本發明的方面提供一種第二並行處理方法，以用於形成補塊組。本第二方法可以包括接收已重構圖像，將已重構圖像分割成多個當前補塊，將已重構圖像分割成多個並行處理區域，其中每個並行處理區域包括當前補塊子集，以及對多個並行處理區域進行處理，以透過用基於預測子搜索演算法搜索與各自當前補塊相似的參考補塊集，形成用於多個當前補塊的多個補塊組，其中第一並行處理區域內的多個當前補塊被並行處理，以使用基於預測子搜索演算法而不使用第一並行處理區域內的多個當前補塊的多個補塊預測子，形成多個補塊組。
100‧‧‧編碼器
101‧‧‧輸入視訊資料
102、201‧‧‧位元流
103、203‧‧‧去雜訊化技術的選擇/開啟/關閉控制標誌
110、210‧‧‧已解碼圖像暫存器
112、212‧‧‧畫面間-畫面內預測模組
114‧‧‧第一加法器
116‧‧‧殘差編碼器
118‧‧‧熵編碼器
120、220‧‧‧殘差解碼器
122‧‧‧第二加法器
130、230‧‧‧去塊濾波器
132、232‧‧‧樣本適應性偏移濾波器
134、234‧‧‧適應性環路濾波器
136、236‧‧‧非局部適應性環路濾波器
200‧‧‧解碼器
202‧‧‧輸出視訊資料
218‧‧‧熵解碼器
222‧‧‧加法器
300‧‧‧去雜訊化流程
S301、S310~S326、S399、S401、S410~S440、S499‧‧‧步驟
400‧‧‧流程
500、600‧‧‧已重構圖像
501~504、601~604‧‧‧並行處理區域
511~513、521、611~619、621~636‧‧‧當前補塊
將結合下面的圖式對被提供作為示例的本發明的各種實施例進行詳細描述，其中相同的符號表示相同的元件，以及其中：第1圖是根據本發明實施例的編碼器；第2圖是根據本發明實施例的解碼器；第3圖是根據本發明實施例的用於去雜訊化重構圖像的示例去雜訊化流程；第4圖是根據本發明實施例的具有選擇的去雜訊化技術的去雜訊化補塊組(patch group)的示例性流程；第5圖是根據本發明實施例的用於形成補塊組的第一示例性並行處理方法；以及 第6圖是根據本發明實施例的用於形成補塊組的第二示例性並行處理方法。
第1圖顯示了根據本發明實施例的編碼器100。編碼器100可以包括已解碼圖像暫存器110、畫面間-畫面內預測模組112、第一加法器114、殘差編碼器116、熵編碼器118、殘差解碼器120、第二加法器122和一個或多個環路濾波器，例如去塊濾波器(deblocking filter，DF)130、樣本適應性偏移濾波器(sample adaptive offset filter，SAO)132、適應性環路濾波器(adaptive loop filter，ALF)134和非局部適應性環路濾波器(non-local adaptive loop filter，NL-ALF)136。如第1圖所示，這些元件可以被耦接在一起。
編碼器100接收輸入視訊資料101，並執行視訊壓縮流程，以生成位元流102，作為輸出。輸入視訊資料101可以包括圖像序列。每個圖像可以包括一個或多個顏色分量，例如，亮度分量或者色度分量。位元流102可以具有符合視訊編解碼標準的格式，例如，高級視訊編解碼(Advanced Video Coding，AVC)標準、高效視訊編解碼(High Efficiency Video Coding，HEVC)標準等。
在一個示例中，非局部適應性環路濾波器136可以執行非局部去雜訊化流程，以降低重構圖像的壓縮雜訊，從而提高編碼器100的性能。例如，非局部適應性環路濾波器136可以將已重構圖像分割成多個補塊(patches)(稱為當前補塊)。對於每個當前補塊而言，非局部適應性環路濾波器136在已重 構圖像中搜索相似補塊(稱為參考補塊)，以形成補塊組。因此，非局部適應性環路濾波器136可以將去雜訊化技術應用到每個補塊組，以修改各自補塊組中的一個或多個補塊的像素值來降低這些補塊中的壓縮雜訊。已修改像素值被返回到圖像，以形成已濾波圖像。另外，不能保證的是，已濾波圖像中的已處理像素在雜訊水平上比已重構圖像中的相應未濾波像素更好。因此，非局部適應性環路濾波器136可以為已濾波圖像中的不同塊(區域)，適應性地確定塊是否將採用已處理像素還是保留已重構圖像的未濾波像素值。開啟/關閉控制標誌可以用於發信各自塊中的已處理像素值的適應性使用。
具體地，根據本發明，非局部適應性環路濾波器136可以使用並行處理方法，以加速補塊組形成流程。例如，搜索用於不同當前補塊的相似參考補塊可以被並行執行。另外，根據本發明，非局部適應性環路濾波器136可以根據補塊組或者圖像區域的特徵，自多個候選非局部去雜訊化技術選擇去雜訊化技術，並將所選擇的去雜訊化技術應用到各自補塊組或者圖像區域。相比於在非局部適應性環路濾波器136中僅使用一個去雜訊化技術，透過在非局部適應性環路濾波器136處結合不同非局部去雜訊化技術，已去雜訊化圖像的品質還可以在壓縮雜訊水平的方面被提高。例如，多個候選非局部去雜訊化技術可以包括非局部均值(non-local means，NLM)去雜訊化技術、非局部低階(non-local low-rank，NLLR)去雜訊化技術、塊匹配與三維濾波(block matching and three-dimensional，BM3D)去雜訊化技術或者三維離散余弦變 換(three-dimensional discrete cosine transform，3D-DCT)去雜訊化技術等。
在第1圖中，已解碼圖像暫存器110存儲參考圖像以用於在畫面間-畫面內預測模組112處所執行的運動估計和運動補償。畫面間-畫面內預測模組112執行畫面間圖像預測或者畫面內圖像預測，以在視訊壓縮流程期間確定用於當前圖像的塊的預測。當前圖像指的是在畫面間-畫面內預測模組112中正被處理的輸入視訊資料101中的圖像。當前圖像可以被分割成具有相同尺寸或者不同尺寸的多個塊，以用於畫面間預測操作或者畫面內預測操作。
在一個示例中，畫面間-畫面內預測模組112使用畫面間圖像編解碼技術或者畫面內圖像編解碼技術來處理塊。因此，使用畫面間圖像編解碼進行編碼的塊稱為畫面間已編碼塊，而使用畫面內圖像編解碼進行編碼的塊稱為畫面內已編碼塊。畫面間圖像編解碼技術使用參考圖像以獲得當前正被處理的塊(稱為當前塊)的預測。例如，當用畫面間圖像編解碼技術編碼當前塊時，運動估計可以被執行，以在參考圖像中搜索匹配區域。匹配區域用作當前塊的預測。相對地，畫面內圖像編解碼技術使用當前塊的相鄰像素以生成當前塊的預測。相鄰像素和當前塊均是處於相同圖像內。塊的預測被提供給第一加法器114和第二加法器122。
第一加法器114自畫面間-畫面內預測模組112接收塊的預測，並自輸入視訊資料101接收塊的原始像素。隨後，第一加法器114自塊的原始像素提取預測，以獲得塊的殘差。 塊的殘差被發送至殘差編碼器116。
殘差編碼器116接收塊的殘差，並壓縮殘差以生成已壓縮殘差。例如，殘差編碼器116可以先將諸如離散余弦變換、小波變換等的變換應用到對應於變換塊的接收到的殘差，並生成變換塊的變換係數。將圖像分割成變換塊可以與將圖像分割成預測塊相同或者不同，以用於畫面間-畫面內預測處理。
因此，殘差編碼器116可以量化係數以壓縮殘差。量化可以用量化參數(quantization parameter，QP)來控制。量化參數表示步長以用於將變換係數與步驟的有限集相關聯。越大的量化參數值表示粗略近似於變換的越大步驟，使得變換塊中的大部分信號可以透過越少係數來捕獲。相反地，越小的量化參數值可以越準確近似於變換，但是，以增加的位元數量為代價，以用於編碼殘差。因此，越大的量化參數可能將越多的失真或者壓縮雜訊引進到自視訊壓縮流程而得到的圖像中。已壓縮殘差(已量化變換係數)被發送至殘差解碼器120和熵編碼器118。
殘差解碼器120接收已壓縮殘差，並執行在殘差編碼器116處執行的量化操作與變換操作的逆流程，以重構變換塊的殘差。由於量化操作，已重構殘差與自第一加法器114生成的原始殘差相似，但通常不同於原始版本。
第二加法器122自畫面間-畫面內預測模組112接收塊的預測，並自殘差解碼器120接收變換塊的已重構殘差。第二加法器122因此將已重構殘差與對應於圖像中的相應區域的接收到的預測進行結合，以生成已重構視訊資料。隨後，例如， 已重構視訊資料可以被傳輸到去塊濾波器130。
在一個示例中，去塊濾波器130將低通濾波器的集合應用到塊邊界，以降低塊偽影。基於已重構圖像中位於塊分界線兩側的已重構樣本的特徵以及在畫面間-畫面內預測模組112處確定的預測參數(編解碼模式或者運動向量)，這些濾波器可以被使用。隨後，已去塊已重構視訊資料可以被提供給樣本適應性偏移濾波器132。在一個示例中，樣本適應性偏移濾波器132接收已去塊已重構視訊資料，並將已重構視訊資料中的像素進行分組。隨後，樣本適應性偏移濾波器132可以確定用於每個組的強度偏移(偏移值)，以補償每個組的強度偏移。隨後，已偏移已重構視訊資料可以自樣本適應性偏移濾波器提供到適應性環路濾波器134。在一個示例中，適應性環路濾波器134被配置為將濾波器應用到已重構視訊資料，以降低時域中的編解碼偽影。例如，適應性環路濾波器134自濾波器候選集選擇一濾波器，並將所選擇的濾波器應用到已重構視訊資料的區域。另外，適應性環路濾波器134可以被選擇性地開啟或者關閉，以用於已重構視訊資料的每個塊。隨後，已處理已重構視訊資料可以被發送至非局部適應性環路濾波器136。
如上所述，非局部適應性環路濾波器136可以使用多個非局部去雜訊化技術，處理接收到的已重構視訊資料，以降低已重構視訊資料中的壓縮雜訊。在一個示例中，非局部適應性環路濾波器136可以自多個非局部技術選擇目標去雜訊化技術，並將選擇的目標去雜訊化技術應用到各自補塊組或者圖像區域。因此，非局部適應性環路濾波器136可以將用於不同 補塊組或者圖像區域的去雜訊化技術的選擇發信到解碼器，使得解碼器可以使用相同的去雜訊化技術來處理各自補塊組或者圖像區域。因此，編碼器100與解碼器之間一致的參考圖像可以在解碼器處獲得。如第1圖所示，在一個示例中，去雜訊化技術的選擇103被發送至熵編碼器118。
在可選示例中，沒有去雜訊化技術的選擇的發信在編碼器100處執行。根據諸如視訊編解碼標準的協定，編碼器100和解碼器可以協調操作。
此外，非局部適應性環路濾波器136可以確定非局部適應性濾波是否用於已去雜訊化圖像中的塊。例如，非局部適應性環路濾波器136處理接收到的已重構視訊資料，並生成已濾波視訊資料。隨後，可以將已濾波視訊資料的已濾波塊與接收到的已重構視訊資料的相應塊進行比較，以確定有關於原始圖像的已濾波塊的失真是否已被改善。當已濾波塊的失真被改善時，此已濾波塊的像素值可以用於形成已去雜訊化圖像。否則，在已去雜訊化圖像中採用接收到的已重構視訊資料的相應塊的像素值。因此，基於是否在已去雜訊化圖像中採用用於各自塊的已濾波像素值的決策，已去雜訊化圖像可以被構造。隨後，已去雜訊化圖像可以被存儲在已解碼圖像暫存器110中。
開啟/關閉控制標誌可以用於將上述用於各自塊的決策發信至解碼器，使得解碼器可以以相同方式處理此塊。如第1圖所示，在一個示例中，表示非局部適應性環路濾波是否被應用到各自塊的開啟/關閉控制標誌103被發送至熵編碼器118。
熵編碼器118自殘差編碼器116接收已壓縮殘差。在一些示例中，熵編碼器118也自非局部適應性環路濾波器136接收去雜訊化技術的選擇以及開啟/關閉控制標誌103。熵編碼器118也可以接收其他參數和/或控制資訊，例如畫面內預測模式資訊、運動資訊、量化參數等。熵編碼器118編碼接收到的參數或者其他資訊，以形成位元流102。包括以已壓縮格式的資料的位元流102可以透過通信網路被發送至解碼器，或者被發送至位元流102所承載的視訊資料可以被存儲的存儲裝置(例如，非暫時電腦可讀介質)。
第2圖顯示了根據本發明實施例的解碼器200。解碼器200包括熵解碼器218、殘差解碼器220、已解碼圖像暫存器210、畫面間-畫面內預測模組212、加法器222和諸如的去塊濾波器230、樣本適應性偏移濾波器232、適應性環路濾波器234和非局部適應性環路濾波器236的一個或多個環路濾波器。如第2圖所示，這些元件可以被耦接在一起。在一個示例中，解碼器200自編碼器接收位元流201，例如自編碼器100接收位元流102，並執行去壓縮流程以生成輸出視訊資料202。輸出視訊資料202可以包括圖像序列，例如，其可以在顯示裝置上被顯示，例如監測器、觸控式螢幕等。
同樣於第1圖示例中的編碼器100，解碼器200使用具有與非局部適應性環路濾波器136相似的功能的非局部適應性環路濾波器236，以去雜訊化已重構圖像來獲得已濾波圖像。例如，非局部適應性環路濾波器236可以執行與由非局部適應性環路濾波器136所執行的非局部去雜訊化流程相似的非 局部去雜訊化流程。具體地，非局部適應性環路濾波器236可以使用在非局部適應性環路濾波器136處所執行的相似的並行處理方法，以形成補塊組。同樣地，非局部適應性環路濾波器236可以使用與非局部適應性環路濾波器136處所選擇且執行以用於相同補塊組的非局部去雜訊化技術相同的非局部去雜訊化技術來處理補塊組。
在如第2圖所示的去雜訊化技術的選擇203自編碼器100顯性發信至解碼器200的示例中，非局部適應性環路濾波器236可以跳過非局部適應性環路濾波器136處執行的自多個去雜訊化技術選擇以用於補塊組或者圖像區域的操作，并使用自編碼器100發信的去雜訊化技術的選擇以用於各自補塊組或者圖像區域。
在沒有去雜訊化技術的選擇的發信在編碼器100和解碼器200之間執行的示例中，非局部適應性環路濾波器236可以執行在非局部適應性環路濾波器136處所執行的自多個去雜訊化技術進行選擇的相同操作，以確定用於補塊組或者圖像區域的去雜訊化技術的選擇。根據與非局部適應性環路濾波器136的協定，例如視訊編解碼標準，或者非局部適應性環路濾波器136與非局部適應性環路濾波器236之間的原始通信期間所通信的預先配置，非局部適應性環路濾波器236可以執行在非局部適應性環路濾波器136處所執行的自多個去雜訊化技術進行選擇的相同操作。
另外，不同於第1圖示例中的非局部適應性環路濾波器136，非局部適應性環路濾波器236自編碼器接收開啟/關 閉控制標誌203，並因而確定已濾波圖像中的哪個塊的像素值將被包含或者排除在已去雜訊化圖像中。例如，當塊的控制標誌203處於開啟的狀態時，已濾波圖像中的塊的已濾波像素值被使用到已去雜訊化圖像的相應塊，而當塊的控制標誌203處於關閉的狀態時，已重構圖像中的塊的像素值被使用。
熵解碼器218接收位元流201，並執行解碼流程，其是第1圖示例中熵編碼器118所執行的編碼流程的逆流程。因此，已壓縮殘差、預測參數、去雜訊化技術的選擇和開啟/關閉控制標誌203等被獲得。已壓縮殘差被提供給殘差解碼器220，預測參數被提供給畫面間-畫面內預測模組212。畫面間-畫面內預測模組212基於接收到的預測參數生成圖像的塊的預測，並將預測提供到加法器220。已解碼圖像暫存器210存儲用於在畫面間-畫面內預測模組處執行的運動補償的參考圖像。例如，參考圖像可以自非局部適應性環路濾波器236接收。另外，參考圖像自已解碼圖像暫存器210獲得，並被包含在輸出視訊資料202中，以用於顯示到顯示裝置。
殘差解碼器220、加法器222、去塊濾波器230、樣本適應性偏移濾波器232和適應性環路濾波器234在功能和結構上與殘差解碼器120、第二加法器122、去塊濾波器130、樣本適應性偏移濾波器132和適應性環路濾波器134相似。這些組件的描述被省略。
解碼器或者編碼器中的非局部適應性環路濾波器的使用，例如非局部適應性環路濾波器136和非局部適應性環路濾波器236，降低了已重構視訊資料中的雜訊水平，形成了 高品質輸出圖像。另外，當這些高品質圖像用作參考圖像以用於編碼後續圖像時，用於已壓縮圖像的傳輸的位元速率可以被降低。因此，此處公開的去雜訊化技術可以提高包括非局部適應性環路濾波器的解碼器或者編碼器的性能和能力。
雖然第1圖和第2圖示例顯示了一系列濾波器，即去塊濾波器130、樣本適應性偏移濾波器132和適應性環路濾波器134，或者去塊濾波器230、樣本適應性偏移濾波器232和適應性環路濾波器234，其被包含在編碼器100或者解碼器200中，但是應該理解的是，在其他實施例中，沒有或者更少這類濾波器可以被包含在編碼器或者解碼器中。另外，相對於其他濾波器的非局部適應性環路濾波器136或者非局部適應性環路濾波器236的位置可以不同於第1圖示例或者第2圖示例中所示的位置。例如，非局部適應性環路濾波器136可以被設置在其他濾波器之前，使得其直接耦接到第二加法器122，或者被設置在此系列濾波器的一端，或者此系列濾波器中。
在各種實施例中，非局部適應性環路濾波器136和非局部適應性環路濾波器236可以用硬體、軟體或者其結合來實作。例如，非局部適應性環路濾波器136或者非局部適應性環路濾波器236可以用一個或多個積體電路(integrated circuit，IC)來實作，例如專用積體電路(application specific integrated circuit，ASIC)，現場可程式設計閘陣列(field programmable gate array，FPGA)等。又例如，非局部適應性環路濾波器136或者非局部適應性環路濾波器236可以被實作為軟體或者包括存儲在電腦可讀非易失性存儲介質的指令的 韌體。這些指令在由處理電路執行時使得處理電路執行非局部適應性環路濾波器136或者非局部適應性環路濾波器236的功能。
注意的是，實施此處所公開的去雜訊化技術的非局部適應性環路濾波器136和非局部適應性環路濾波器236可以被包含在其他解碼器或者編碼器中，其可以具有與第1圖或者第2圖所示的結構相似或者不同的結構。另外，在不同示例中，編碼器100和解碼器200可以被包含在相同設備或者獨立設備中。
第3圖顯示了根據本發明實施例的用於去雜訊化重構圖像的示例去雜訊化流程300。去雜訊化流程300可以在第1圖示例中的非局部適應性環路濾波器136處被執行。第1圖示例用於解釋去雜訊化流程300。去雜訊化流程300始於步驟S301並繼續到步驟S310。
在步驟S310中，在非局部適應性環路濾波器136處接收已重構圖像。例如，第二加法器122自畫面間-畫面內預測模組112接收預測，自殘差解碼器120接收殘差，並將預測和殘差進行結合以生成已重構視訊資料。在去雜訊化流程300的不同實施例中，已重構視訊資料可以對應於圖像、資訊框、圖像的片段或者圖像的預定義區域。因此，在本發明中，對應於已重構視訊資料的已重構圖像可以指的是圖像、資訊框、圖像的片段或者圖像的預定義區域等。另外，在本發明中，自對應於已重構視訊資料的已重構圖像得到的已濾波圖像或者已去雜訊化圖像因此可以用於針對圖像、資訊框、圖像的片段或者圖 像的預定義區域等。基於所使用的環路濾波器的數量以及這些環路濾波器中的位置，已重構視訊資料可以對應於自殘差解碼器120生成的已重構視訊資料，或者自與非局部適應性環路濾波器136相鄰且位於其之前的濾波器生成的已濾波已重構視訊資料。
在步驟S312中，將接收到的已重構圖像分割成多個補塊(或者圖像補塊)。在一個示例中，補塊具有相同的尺寸和形狀(例如，8x8像素)，並彼此不重疊。在其他示例中，補塊可以具有不同的尺寸和形狀。在又一示例中，補塊可以彼此重疊。每個補塊可以包括對應於亮度分量或者色度分量中的一個的多個像素，並稱為當前補塊。
在步驟S314中，可以形成每個當前補塊的補塊組。在一些實施例中，補塊組可以被形成而無需並行處理方法。可選地，在一些實施例中，用並行處理方法，補塊組可以被形成。例如，多個相似補塊(參考補塊)可以在已重構圖像中或者已重構圖像內的搜索視窗(例如，具有33x33個候選位置的搜索網格)被找到以用於已重構圖像中的每個當前補塊。在一個示例中，每個參考補塊具有與各自當前補塊相似的形狀和尺寸。另外，參考補塊可以彼此重疊，並且參考補塊與各自當前補塊可以彼此重疊。每個當前補塊和各自相似參考補塊可以形成補塊組。
在不同實施例中，不同的搜索方法可以用於搜索用於各自當前補塊的相似參考補塊。在一些實例中，這些搜索方法可以基於與當前正被處理的當前補塊相鄰的當前補塊的 補塊預測子。當前補塊的預測子指的是包括在此當前補塊的補塊組中的參考補塊。與當前正被處理的當前補塊相鄰的當前補塊的一個或多個最相似預測可以用於指導當前正被處理的當前補塊的搜索流程。這樣，當基於預測子的搜索方法用於每個當前補塊時，依存性存在於當前正被處理的當前補塊與先前已處理相鄰當前補塊之間。因此，在一些實例中，為了加速補塊組形成流程，透過移除不同的當前補塊之間的依存性，並行處理方法可以被使用，以並行處理不同的當前補塊。
在一個示例中，對於每個當前補塊，K個最相似補塊被找到，並且當前補塊及各自的K個最相似補塊形成包括K+1個補塊的補塊組。K表示對應於當前補塊的相似補塊的數量(例如，K=15)，並且K可以具有不同的值以用於不同的當前補塊或者補塊組。在一個示例中，找到以用於各自當前補塊的相似補塊不是最相似參考補塊，但是相似度測量在閾值之上的參考補塊。基於相似度度量，相似度測量可以被獲得。在一個示例中，補塊組被形成以用於多個當前補塊，而不是用於單一個當前補塊。
在不同的實施例中，不同的相似度度量可以用於測量當前補塊與參考補塊之間的相似度。例如，相似度度量可以是當前補塊與相應的參考補塊中的相應像素值之間的絕對差之和(sum of absolute differences，SAD)，或者均方差之和(sum of square differences，SSD)。又例如，當前補塊和相應的參考補塊中的相應像素值可以被設置為兩個向量，這兩個向量之間的歐幾里德距離(L2 norm distance)可以用作相似 度度量。
在步驟S316中，去雜訊化技術可以自至少兩個候選去雜訊化技術的集合選擇，以用於去雜訊化補塊組。例如，候選去雜訊化技術的集合可以包括非局部均值去雜訊化技術、塊匹配與三維濾波去雜訊化技術、非局部低階去雜訊化技術或者三維離散余弦變換去雜訊化技術。然而，可用於去雜訊化補塊組的候選去雜訊化技術不限於非局部均值技術、塊匹配與三維濾波技術、非局部低階技術或者三維離散余弦變換技術。
在一個示例中，步驟S316中的去雜訊化技術的選擇可以基於當前處於處理狀態的補塊組的特徵。例如，不同的補塊組可以具有不同的特徵，例如不同的壓縮雜訊水平和紋理特性。用圖像的特徵的不同的假設，不同的去雜訊化技術可以被發展，這樣相比于其他類型的補塊組，去雜訊化技術可以更適合於一個類型的補塊組。因此，相比於盲目地將單個去雜訊化技術應用到所有的補塊組，適應性選擇去雜訊化技術以用於基於補塊組的特徵來處理補塊組可以產生更好的結果。
另外，對於具有某些特徵的補塊組，使用具有更低功率消耗水平的簡單去雜訊化技術可能比使用更成熟去雜訊化技術但具有更高功率消耗水平更節省功率。例如，相比於非局部均值去雜訊化技術，非局部低階去雜訊化技術可能比非局部均值去雜訊化技術更成熟，並可以更好地保留補塊組的紋理。然而，非局部低階去雜訊化技術可能計算更密集且耗功率更大。在補塊組具有較小紋理方差(texture variation)的情景 中，使用簡單的非局部均值去雜訊化技術可以足夠生成與使用複雜非局部低階去雜訊化技術相似的品質。因此，均考慮品質和功率損耗，相比於盲目地將單個去雜訊化技術應用到所有補塊組，基於不同補塊組的特徵而適應性選擇不同的去雜訊化技術會更節省功率。
在不同的示例中，步驟S316中的去雜訊化技術的選擇可以基於下面因素中的一個或多個：當前補塊與補塊組中的參考補塊之間的失真、當前補塊的紋理、補塊組的紋理或者補塊組是哪個顏色分量的。這些因素可以與補塊組的特徵相關或者表示補塊組的特徵。
在第一示例中，當前補塊與補塊組中的相應參考補塊之間的最大失真用於自包括非局部均值去雜訊化技術和非局部低階去雜訊化技術的兩個去雜訊化技術選擇一個去雜訊化技術。兩個補塊之間的失真指的是這兩個補塊之間的差，並且可以用步驟S316中使用的相似度度量來進行測量，以用於評估當前補塊與候選參考補塊之間的相似度。補塊組的最大失真是當前補塊與補塊組中具有最低相似度的參考補塊之間的失真。
具體地，當補塊組的最大失真小於一閾值時，補塊組中的補塊彼此相似，其可以被譯為補塊組的壓縮雜訊水平相對較低，且紋理方差(例如，由標準差(standard deviation，SD)表示，或者補塊組的像素值的方差)較小。相反地，當補塊組的最大失真大於此閾值時，補塊組中的補塊彼此不相似，其可以被譯為補塊組的壓縮雜訊水平相對較高，且紋理方差很 大。
非局部均值去雜訊化技術可以平均補塊組中的不同補塊的像素值的加權和。平均操作可以移除包括在補塊組中的精細紋理的資訊。相反，非局部低階去雜訊化技術可以是更智慧的。例如非局部低階去雜訊化技術可以使用不同的補塊組的不同特徵，並區別引起不同特徵的不同因素(例如，壓縮雜訊或者紋理方差)。這樣，非局部低階去雜訊化技術可以更準確地控制對不同補塊組的去雜訊化操作，以相對於非局部均值去雜訊化技術更好地保留補塊組的紋理。另一方面，使用簡單技術的非局部均值去雜訊化技術可能比更智慧的但需要更多計算的非局部低階去雜訊化技術消耗更少功率。
因此，在一個示例中，當補塊組的最大失真小於此閾值時，非局部均值去雜訊化技術可以被選擇。否則，當補塊組的最大失真小於此閾值時，非局部低階去雜訊化技術可以被選擇。對於具有更小失真的補塊組，紋理方差相對較小，因此，平均操作不會對補塊組產生較大缺陷。非局部均值去雜訊化技術將足夠獲得具有更少功率消耗的合理去雜訊化結果。對於具有可能由較高壓縮雜訊水平或者較大紋理方差引起的更高失真的補塊組，非局部低階去雜訊化技術可以更好地保留補塊組的紋理但消耗更多功率。
在第二示例中，用於補塊組的去雜訊化技術的選擇基於補塊組的顏色分量的類型。通常，圖像可以包括不同顏色分量，例如亮度分量和色度分量。色度分量的已重構圖像可以具有不同於亮度分量的已重構圖像的特徵。例如，色度分量 的像素比亮度分量的像素通常可具有更小方差。因此，在一個示例中，對於亮度分量的補塊組，非局部低階去雜訊化技術可以被選擇，而對於色度分量的補塊組，非局部均值去雜訊化技術可以被選擇。
在第三示例中，用於補塊組的去雜訊化技術的選擇基於補塊組的紋理或者補塊組的當前補塊。例如，補塊組或者當前補塊的紋理特性可以由方差(variance)或者補塊組或者當前補塊的像素值的標準差來表示。具有更高方差的補塊組或者當前補塊比具有更低方差的補塊組或者當前補塊可以具有更高紋理方差。因此，對於方差在閾值之上或者具有方差在閾值之上的當前補塊的補塊組，非局部低階去雜訊化技術可以被選擇以更好地保留紋理。對於方差在閾值之下或者具有方差在閾值之下的當前補塊的補塊組，非局部均值去雜訊化技術可以被選擇。
在一些示例中，多個因素的組合可以被考慮以用於選擇去雜訊化技術，以取代基於單個因素選擇去雜訊化技術。例如，當補塊組是色度分量的時，非局部均值去雜訊化技術可以被選擇。當補塊組是亮度分量的時，去雜訊化技術的尋找可以基於當前補塊與補塊組的參考補塊之間的最大失真，或者基於補塊組的紋理。
又例如，用於補塊組的去雜訊化技術的選擇可以基於補塊組失真因子和紋理因子的組合。例如，當補塊組的最大補塊失真大於失真閾值，且補塊組的方差大於方差閾值時，非局部低階去雜訊化技術可以被選擇。否則，非局部均值技術 可以被選擇。
在步驟S318中，將選擇的去雜訊化技術(也稱為目標非局部去雜訊化技術)應用到各自補塊組，以修改各自補塊組中的一個或多個補塊的像素值。對於不同的去雜訊化技術，相應的去雜訊化流程可以被相應地實施，以用於處理各自補塊組。
在步驟S320中，檢測下一補塊組是否存在。當存在剩餘當前補塊時，去雜訊化流程300返回到步驟S316，並且步驟S316和步驟S318被重複以用於每個剩餘當前補塊。當所有當前補塊均已被處理時，則去雜訊化流程300可以繼續到步驟S322。另外，在所有補塊均已被處理之後，屬於不同的補塊組的重疊補塊的已修改像素值可以被聚合以形成已濾波圖像，例如，透過加權和的操作。
在步驟S322中，確定與已去雜訊化圖像中的控制塊相關的開啟/關閉控制標誌。開啟/關閉控制標誌表示控制塊是使用已濾波圖像中的已濾波像素值還是已重構圖像的像素值。在不同的實施例中，用於是否使用已濾波像素值結合步驟S340中的去雜訊化操作的控制的控制塊可以被定義或者以不同的方式分割。例如，控制塊的分割可以與HEVC標準中所定義的編碼單元的分割一致。或者說，控制塊的分割可以與濾波器中所使用的塊分割一致，例如去塊濾波器130、樣本適應性偏移濾波器132或者適應性環路濾波器134，以用於控制濾波操作。可選地，根據圖像中的不同區域的雜訊特徵，控制塊分割可以被確定。在不同的示例中，控制塊分割資訊可以自編碼器 發信至解碼器，或者在解碼器處被推導出，或者被預定義為編碼器和解碼器處的預設配置。
在步驟S324中，基於開啟/關閉控制標誌決策，構造已去雜訊化圖像。對於與開啟標誌相關的控制塊，自步驟S310-步驟S320的去雜訊化操作得到的已濾波像素值被使用，以用於各自控制塊，而對於與關閉標誌相關的控制塊，接收到的已重構圖像的已濾波像素值被使用，以用於各自控制塊。因此，基於已去雜訊化圖像，參考圖像可以被生成。例如，已去雜訊化圖像可以被存儲到已解碼圖像暫存器110，以用作參考圖像。可選地，基於非局部適應性環路濾波器136在其他環路濾波器中的位置，在存儲到已解碼圖像暫存器110之前，已去雜訊化圖像可以先由其他環路濾波器進行處理。
在步驟S326中，將去雜訊化技術的選擇自編碼器100發信至解碼器200。例如，在步驟S316中，去雜訊化技術可以被選擇以用於每個補塊組。諸如標誌或者索引表示選擇的去雜訊化技術的語法元素可以在非局部適應性環路濾波器136處生成，並被包括在位元流102中。去雜訊化流程300繼續到步驟S399，並結束于步驟S399。
雖然在去雜訊化流程300的上述示例中，自多個去雜訊化技術的選擇在補塊組層處被執行，但是在其他示例中，自多個技術的選擇可以在圖像層、圖像序列層或者圖像區域層處被執行。用作去雜訊化技術選擇的基礎的圖像區域可以是HEVC、AVC或者其他視訊編解碼標準中定義的圖像區域，例如巨集塊、編碼塊、編碼樹單元(coding tree unit，CTU)、 編碼樹塊(coding tree block，CTB)、片段、瓦片(tile)等。可選地，用作去雜訊化技術選擇的基礎的圖像區域可以由編解碼系統的配置定義的圖像的分割產生。
同理於補塊組，不同的圖像或者圖像區域可以具有不同的特徵，例如不同的壓縮雜訊水平，或者不同的紋理特性。因此，基於不同圖像或者圖像區域的特徵，不同的去雜訊化技術可以被選擇，以實作更好的圖像品質(雜訊水平和紋理保留方面)以及功率節省。例如，可以分析輸入視訊資料101中的原始圖像和/或已重構圖像，以獲得圖像或者圖像區域的特徵資訊。例如，透過比較已重構圖像區域與原始圖像中的相應圖像區域，已重構圖像區域的壓縮雜訊水平可以被確定。透過計算原始圖像區域的標準差，圖像區域的紋理特性可以被估計。基於獲得的圖像或者圖像區域的特徵資訊，合適的去雜訊化技術可以被相應地確定。
可選地，非局部適應性環路濾波器136可以嘗試不同去雜訊化技術以用於圖像區域。透過比較得到的已濾波圖像區域與相應的原始圖像區域，對圖像區域的不同去雜訊化技術的去雜訊化結果可以被評估並比較。因此，具有更好結果的去雜訊化技術可以被選擇以用於圖像區域。
在去雜訊化技術選擇在圖像層、圖像序列層或者圖像區域層上被執行的示例中，與去雜訊化流程300相似的具有一些變形的去雜訊化流程可以被使用。例如，基於圖像或者圖像區域的特徵而選擇去雜訊化技術的步驟可以被添加，例如，在步驟S310和步驟S312之間。用於在補塊組層處選擇去雜 訊化技術的步驟S316可以被移除。在步驟S318中，例如，去雜訊化補塊組可以使用根據圖像或者包括或重疊當前補塊組的區域來選擇的去雜訊化技術。
另外，在步驟326中，對應於圖像或者圖像區域的去雜訊化技術的選擇可以被發信。例如，在第1圖示例或者第2圖示例中，表示選擇去雜訊化技術的標誌或者索引的語法元素可以被包括在位元流102或者位元流201中。標誌元素或者索引元素可以與各自位元流中的圖像序列、圖像或者圖像區域相關，並被發信在，例如，序列層、圖像層、片段層、編碼樹單元層、編碼樹塊層、瓦片層等中。
在去雜訊化流程300的上述示例中，去雜訊化技術的選擇可以自編碼器100顯性地發信至解碼器200。對應於這種情景，與去雜訊化流程300相似的具有一些變形的去雜訊化流程可以在解碼器200的非局部適應性環路濾波器236處使用。例如，在非局部適應性環路濾波器236處的去雜訊化流程中，自編碼器發信的接收去雜訊化技術的選擇的步驟可以先被執行。因此，除了步驟S316之外的步驟S310-步驟S324可以被執行。
在可選示例中，沒有用於去雜訊化技術的選擇的發信在編碼器100與解碼器200之間執行。因此，解碼器200可以確定去雜訊化技術，以用於其本身以與編碼器100確定去雜訊化技術的方式相似的方式處理補塊組。例如，非局部適應性環路濾波器236可以根據編碼器100與解碼器200之間的協定進行操作。例如，此協定可以由視訊編解碼標準或者位元流102 或者位元流201中承載的配置指定，並自編碼器100發信至解碼器200。例如，非局部適應性環路濾波器236可以執行包括步驟S310-步驟S320的流程，以及包括在去雜訊化流程300中的步驟S324。具體地，在非局部適應性環路濾波器236處選擇用於補塊組的去雜訊化技術可以與在非局部適應性環路濾波器136處執行的相同流程和標準一起執行，使得與非局部適應性環路濾波器136處相同的去雜訊化技術可以產生。在去雜訊化技術的選擇在圖像層或者圖像區域層處執行的情況中，因此非局部適應性環路濾波器236可以以與非局部適應性環路濾波器136相同的方式執行選擇。
在一些示例中，去雜訊化技術的顯性選擇和隱性選擇的組合可以用於將選擇結果自編碼器發信至解碼器，並用於執行解碼器處的選擇。具體地，至少兩個候選去雜訊化技術組可以被創建。每個候選去雜訊化技術組可以包括至少兩個候選去雜訊化技術。例如，基於其對具有不同特徵的圖像或者圖像區域的不同類型的可應用性，候選去雜訊化技術可以被分組。
作為一示例，編碼器可以創建兩個候選去雜訊化技術組，即組A和組B。組A可以包括兩個候選去雜訊化技術，即{a1,a2}，組B可以包括兩個候選去雜訊化技術，即{b1,b2}。在編碼流程期間，編碼器可以執行選擇流程，以確定目標去雜訊化技術。例如，與組A相關的第一演算法可以被執行，以自{a1,a2}選擇一個去雜訊化技術，與組B相關的第二演算法可以被執行，以自{b1,b2}選擇一個去雜訊化技術。第一演算法或 者第二演算法可以基於與上述選擇方法相似的方法。選擇可以位於圖像層、圖像區域層、補塊組層等處。此後，分別自組A和組B選擇的兩個去雜訊化技術可以被比較並評估。因此，例如，在移除雜訊並保持紋理方面，具有更好性能的一個可以最終被選擇，以作為目標去雜訊化技術。
隨後，編碼器可以使用顯性選擇和隱性選擇的組合，以發信選擇結果。例如，假設去雜訊化技術b1被選擇，編碼器可以發信表示組B是包括最終選擇的去雜訊化技術b1的組(即選擇的組)的標誌，但無需發信具體選擇的技術(即去雜訊化技術b1)。在解碼器處，解碼器可以接收此標誌，並瞭解到組B是選擇的組。因此，基於與編碼器的協定，解碼器可以執行與組B相關的第二演算法，以自組B選擇去雜訊化技術(即去雜訊化技術b1)。顯性選擇和隱性選擇的組合的使用可以降低將選擇的目標去雜訊化技術自編碼器發信至解碼器所需的傳輸速率。
第4圖顯示了根據本發明實施例的用選擇的去雜訊化技術來去雜訊化補塊組的示例性流程400。流程400可以執行，替代流程300中的步驟S318，以獲得已濾波補塊組。選擇的去雜訊化技術是非局部均值去雜訊化技術。非局部適應性環路濾波器136用作一示例以解釋流程400。流程400始於步驟S401並繼續到步驟S410。在開始流程400之前，非局部適應性環路濾波器136處接收到的對應於已重構視訊資料的補塊組可以已被形成，並且非局部均值去雜訊化技術可以已被確定已具有當前正被處理的補塊組，其稱為當前補塊組。
在步驟S410中，計算當前補塊組中每個參考補塊的加權因子。基於參考補塊與當前補塊組中的當前補塊之間的相似度，參考補塊的加權因子可以被計算。參考補塊與當前補塊相似越多，參考補塊的加權因子越大。在一個示例中，使用如下運算式，加權因子可以被確定：w i,j =e -(SSE/Var)。在上述運算式中，i和j是補塊索引，wi,j表示相對於當前補塊i的參考補塊j的加權因子；SSE表示補塊i和補塊j中的相應像素值之間的均方差之和的平均，並表示補塊i和補塊j之間的相似度；Var表示當前補塊組中的壓縮雜訊的方差。例如，Var可以等於當前補塊組的壓縮雜訊的標準差的平方。Var可以表示濾波操作的強度。壓縮雜訊水平越高，Var越高，且當前補塊組的相應加權因子越大。在一個示例中，Var基於壓縮雜訊模型被推導出。
在步驟S420中，將當前補塊的像素值進行累加。在一個示例中，當前補塊像素值的累加以基於每個參考補塊的各自加權因子而將每個參考補塊中的相應像素的加權像素值聚合成當前補塊的相應像素值的方式被執行。在一個示例中，根據如下運算式，累加被執行：
Figure TWI677239B_D0001
 其中，p是像素索引，x Ai (p)表示聚合而來的當前補塊i中像素p的聚合像素值，x i (p)表示聚合之前的當前補塊i中像素p的原始像素值，w o 表示原始像素值的加權，y i (p)表示參考補塊j中的像素p的原始像素值。
在步驟S430中，將當前補塊組的每個參考補塊的像素值進行累加。在一個示例中，參考補塊的像素值的累加以基於參考補塊的加權因子而將當前補塊中的相應像素的加權像素值添加到當前補塊的相應像素值的方式被執行。在一個示例中，根據如下運算式，累加被執行，y Aj (p)=w o' ．y j (p)+w i,j ．x Ai (p)，其中p是像素索引，y Aj (p)表示聚合而來的參考補塊j中像素p的聚合像素值，x Ai (p)表示自步驟S420中的聚合而來的當前補塊i中像素p的原始像素值，y j (p)表示參考補塊j中的像素p的原始像素值，w o' 表示原始像素值的加權。在另一實施例中，在上述累加中，當前補塊i中的x i (p)被使用，而非x Ai (p)。
在步驟S440中，將自步驟S420和步驟S430得到的當前補塊和參考補塊的累加像素值累加到稱為累加圖像(accumulation picture)的圖像中的相應像素。由於當前補塊組中的參考補塊和當前補塊可以相互重疊，累加圖像中的像素可以接收來自於多個補塊的像素值，當前補塊或者一個或多個參考補塊。因此，透過用累加像素值的每個元素的加權之和來除以累加像素值，累加圖像中的累加像素值可以被歸一化。可選地，在所有補塊組均被處理之後，即流程300中的步驟S320之後，歸一化操作可以被執行。流程400繼續到步驟S499並結束於步驟S499。
第5圖顯示了根據本發明實施例的用於形成補塊組的第一示例性並行處理方法。第一並行處理方法可以在步驟S314處使用，以在已重構圖像中並行形成用於不同當前補塊的 補塊組。
例如，在流程300的步驟S310中，如第5圖所示的已重構圖像500可以被接收。隨後，在步驟S312中，已重構圖像500可以被分割成多個當前補塊，例如矩形補塊511-矩形補塊513以及矩形補塊521。因此，第一並行處理方法可以被執行。第一並行處理方法可以包括兩個階段。
在第一階段中，已重構圖像500可以被分割成多個並行處理區域。每個並行處理區域可以包括已重構圖像500的當前補塊子集。在第5圖中，如粗實線所示，已重構圖像500被分割成4個並行處理區域，即並行處理區域501-並行處理區域504，每個包括16個當前補塊。在可選示例中，並行處理區域可以具有不同尺寸，並包括不同數量的當前補塊。
在第二階段中，並行處理區域501-並行處理區域504中的至少兩個可以被並行處理。例如，並行處理區域501和並行處理區域502可以被並行處理。例如，並行處理區域501中的當前補塊可以被連續處理，例如，以如第5圖所示的逐行並從左到右的順序，以形成並行處理區域501中的每個當前補塊的補塊組。當在並行處理區域501中處理每個當前補塊時，基於預測子搜索演算法可以用於搜索各自當前補塊的相似參考補塊集合。同時，如第5圖所示，並行處理區域502中的當前補塊可以以與並行處理區域501中的相似的方式而被處理。相同或者不同的基於預測子搜索演算法可以用於處理並行處理區域502中的當前補塊。
另外，當處理並行處理區域501或者並行處理區域 502中的當前補塊時，用於處理此當前補塊的補塊預測子的使用可以被限制成與此當前補塊相同的並行處理區域內的當前補塊的預測子。例如，當前補塊521處於處理狀態，以形成當前補塊521的補塊組。用於處理當前補塊521的基於預測子搜索演算法可以使用當前補塊511-當前補塊513的預測子，以指導搜索流程。當前補塊511-當前補塊513與當前補塊521相鄰，並在與當前補塊521相同的並行處理區域內。
例如，每個當前補塊511-當前補塊513中的每一個可以具有一預測子，其在各自補塊組中的所有補塊中最相似於各自當前補塊511-當前補塊513。對應於當前補塊511-當前補塊513這三個相鄰當前補塊的三個最相似預測子可以稱為指導預測子。在一個示例中，三個指導預測子先與當前補塊521進行比較，最相似於當前補塊521的指導預測子可以用作中心位置以定義搜索視窗。搜索視窗可以包括多個候選位置，以用於搜索當前補塊521的參考補塊。在另一示例中，多個搜索視窗可以被定義，每個具有指導預測子中的一個作為中心位置。
在一個或多個搜索視窗被定義之後，可以在包括在搜索視窗中的候選位置上執行搜索流程，以搜索當前補塊521的相似參考補塊。例如，全搜索流程或者快速塊匹配運動估計流程可以在每個搜索視窗中被執行。快速塊匹配運動估計流程的示例可包括三步驟搜索、菱形搜索、四步驟搜索、基於六邊形的搜索、2D-log搜索等。
如上所述，用於當前補塊521的處理使用位於並行處理區域502內的當前補塊的預測子，並不使用位於並行處理 區域502外部的當前補塊的預測子。並行處理區域502內的其他當前補塊可以以與當前補塊521相似的方式被處理，而無需使用位於並行處理區域502外部的當前補塊的預測子。這樣，並行處理區域502的處理可以獨立於其他的並行處理區域501、並行處理區域503或者並行處理區域504的處理。相似地，並行處理區域501、並行處理區域503或者並行處理區域504中的每個可以被單獨且相互並行處理。
在一個示例中，第5圖中的並行處理區域的分割可以與用於實施上述的開啟/關閉控制標誌的控制單元的分割相同。這樣，當控制單元被設置有關閉控制標誌時，在解碼器200側，用於此控制單元的流程300中的步驟S314-步驟S318可以被跳過。具體地，因為控制單元在補塊預測子的使用方面相互獨立，基於預測子搜索演算法可以被使用在與具有關閉控制標誌的此控制單單元相鄰的其他控制單元，並將不受關閉控制標誌的影響。
第6圖示出了根據本發明實施例的用於形成補塊組的第二示例性並行處理方法。第二並行處理方法可以在步驟S314處使用，以在已重構圖像中並行形成用於不同當前補塊的補塊組。
例如，在流程300的步驟S310中，如第6圖所示的已重構圖像600可以被接收。隨後，在步驟S312中，已重構圖像600可以被分割成多個當前補塊，例如矩形補塊611-矩形補塊619以及矩形補塊621-矩形補塊636。因此，第二並行處理方法可以被執行。第二並行處理方法可以包括兩個階段。
在第一階段中，相似於第一並行處理方法的第一階段，已重構圖像600可以被分割成多個並行處理區域。每個並行處理區域可以包括已重構圖像600的當前補塊子集。在第6圖中，如粗實線所示，已重構圖像600被分割成4個並行處理區域，即並行處理區域601-並行處理區域604，每個包括16個當前補塊。在可選示例中，並行處理區域可以具有不同尺寸，並包括不同數量的當前補塊。
在第二階段中，並行處理區域601-並行處理區域604可以被並行處理，例如，以並行處理區域601、並行處理區域602、並行處理區域603和並行處理區域604的順序。然而，在並行處理區域601-並行處理區域604中的每個區域內，用基於預測子搜索演算法，當前補塊可以被並行處理。具體地，當前補塊的處理不使用包括在與當前正被處理的當前補塊處於相同的並行處理區域中的相鄰當前補塊的預測子。相反，當前補塊的處理使用位於包括當前正被處理的當前補塊的並行處理區域外部的當前補塊的預測子。這樣，相同的並行處理區域內的當前補塊被單獨處理。
作為一示例，並行處理區域604處於處理狀態，其包括16個當前補塊，即當前補塊621-當前補塊636。每個當前補塊621-當前補塊636的處理可以被並行執行。每個當前補塊621-當前補塊636的處理可以基於基於預測子的演算法。在處理期間使用的預測子可以是與並行處理區域604相鄰的當前補塊611-當前補塊619中的一個或多個的參考補塊。在可選示例中，在並行處理區域604的處理期間使用的預測子可以是位於 並行處理區域604外部除了當前補塊611-當前補塊619之外的當前補塊的預測子。
可以理解的是，在其他示例中，可能的是，並行處理區域601-並行處理區域603可以以任何順序被處理，順序或者並行。並行處理區域601-並行處理區域603的處理順序不影響並行處理區域604中的當前補塊621-當前補塊636。
此處描述的流程和功能可以被實作為電腦程式，其在由一個或多個處理器執行時可以使得一個或多個處理器執行各自的流程和功能。電腦程式可以被存儲或者分佈在合適的介質中，例如光存儲介質或者固態介質，其與其他硬體一起提供，或者作為其他硬體的部分。電腦程式也可以以其他形式被分佈例如透過互聯網或者其他有線或無線電信系統。例如，電腦程式可以被獲得並載入到一裝置中，包括透過物理介質或者分佈系統獲得電腦程式，例如包括自伺服器連接到互聯網。
電腦程式可以對提供程式指令的電腦可讀介質可訪問，以由電腦或者任何指令執行系統使用，或者與電腦或者任何指令執行系統連接。電腦可讀介質可以包括存儲、通信、傳播或者傳輸電腦程式的任何裝置，以由指令執行系統、裝置或者設備使用，或者與指令執行系統、裝置或者設備連接。電腦可讀介質可以是磁、光、電、電磁、紅外或者半導體系統(或者裝置或設備)或者傳播介質。電腦可讀介質可以包括電腦可讀非暫時性存儲介質，例如半導體或者固態記憶體、磁帶、可移動電腦磁片、隨機訪問記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、磁片和光 碟等。電腦可讀非暫時性存儲介質可以包括所有類型的電腦可讀介質，其包括磁存儲介質、光存儲介質、閃光介質和固態存儲介質。
由於已經結合本發明的被提出用作示例的具體實施例描述了本發明的各個方面，可以做出這些示例的替代、修改和變形。因此，此處所說明的實施例用作示意目的，但不用於限制。在不脫離請求項的範圍的情況下，可以做出改變。

Claims (19)

  1. 一種去雜訊化已重構圖像的方法，在視訊編解碼系統中，該方法包括：提供兩個或多個候選非局部去雜訊化技術，其中，該兩個或者多個候選非局部去雜訊化技術包括非局部低階去雜訊化技術、非局部均值去雜訊化技術、塊匹配與三維濾波去雜訊化技術或者三維離散余弦變換去雜訊化技術中的至少一個；基於待處理視訊資料的特徵，自該兩個或多個候選非局部去雜訊化技術選擇目標非局部去雜訊化技術以用於補塊組；以及用該目標非局部去雜訊化技術對該已重構圖像的該補塊組進行去雜訊化。
  2. 如申請專利範圍第1項所述之去雜訊化已重構圖像的方法，其中，還包括：接收該已重構圖像；將該已重構圖像分割成多個當前補塊；以及形成多個補塊組，其中每個補塊組包括當前補塊和與該當前補塊相似的多個參考補塊。
  3. 如申請專利範圍第1項所述之去雜訊化已重構圖像的方法，其中，自該兩個或多個候選非局部去雜訊化技術選擇該目標非局部去雜訊化技術，包括：基於該補塊組的當前補塊和/或多個參考補塊的特徵，選擇該目標非局部去雜訊化技術，以用於對該補塊組進行去雜訊化。
  4. 如申請專利範圍第1項所述之去雜訊化已重構圖像的方法，其中，自該兩個或多個候選非局部去雜訊化技術選擇該目標非局部去雜訊化技術，包括：基於該補塊組中的當前補塊與參考補塊之間的失真、該當前補塊的紋理、補塊組的紋理或者該補塊組是哪個顏色分量的中的一個或者其組合，選擇該目標非局部去雜訊化技術以用於該補塊組。
  5. 如申請專利範圍第1項所述之去雜訊化已重構圖像的方法，其中，自該兩個或多個候選非局部去雜訊化技術選擇該目標非局部去雜訊化技術，包括：當該補塊組中的當前補塊與多個參考補塊之間的最大失真小於一閾值時，選擇非局部均值去雜訊化技術作為該目標非局部去雜訊化技術；以及當該補塊組中的該當前補塊與該多個參考補塊之間的該最大失真大於該閾值時，選擇非局部低階去雜訊化技術作為該目標非局部去雜訊化技術。
  6. 如申請專利範圍第1項所述之去雜訊化已重構圖像的方法，其中，自該兩個或多個候選非局部去雜訊化技術選擇該目標非局部去雜訊化技術，包括：當該已重構圖像是色度分量的時，選擇非局部均值去雜訊化技術作為該目標非局部去雜訊化技術；以及當該已重構圖像是亮度分量的時，選擇非局部低階去雜訊化技術作為該目標非局部去雜訊化技術。
  7. 如申請專利範圍第1項所述之去雜訊化已重構圖像的方法，其中，自該兩個或多個候選非局部去雜訊化技術選擇該目標非局部去雜訊化技術，包括：當該補塊組中的當前補塊或者多個補塊的方差小於一閾值時，選擇非局部均值去雜訊化技術作為該目標非局部去雜訊化技術；以及當該補塊組中的該當前補塊或者該多個補塊的方差大於閾值時，選擇非局部低階去雜訊化技術作為該目標非局部去雜訊化技術。
  8. 如申請專利範圍第1項所述之去雜訊化已重構圖像的方法，其中，自該兩個或多個候選非局部去雜訊化技術選擇該目標非局部去雜訊化技術，包括：根據圖像或者圖像區域的特徵，選擇該目標非局部去雜訊化技術，以用於處理該圖像或者該圖像區域。
  9. 如申請專利範圍第1項所述之去雜訊化已重構圖像的方法，其中，表示該目標非局部去雜訊化技術的語法元素自視訊編碼器發信至視訊解碼器。
  10. 如申請專利範圍第9項所述之去雜訊化已重構圖像的方法，其中，該語法元素被合併到位元流的補塊層、塊層、編碼樹塊層、編碼樹單元層、片段層或者序列層。
  11. 如申請專利範圍第1項所述之去雜訊化已重構圖像的方法，其中，該兩個或多個非局部去雜訊化技術被配置成至少兩個候選組；以及自該兩個或多個候選非局部去雜訊化技術選擇該目標非局部去雜訊化技術以用於該補塊組，包括：自該至少兩個候選組確定選擇組；以及基於待處理視訊資料的特徵，自該選擇組選擇一個候選非局部去雜訊化技術，作為該目標非局部去雜訊化技術。
  12. 如申請專利範圍第1項所述之去雜訊化已重構圖像的方法，其中，表示該選擇組的語法元素自視訊編碼器發信至視訊解碼器。
  13. 一種去雜訊化已重構圖像的裝置，在視訊編解碼係數中，該裝置包括電路，被配置為：提供兩個或多個候選非局部去雜訊化技術，其中，該兩個或者多個候選非局部去雜訊化技術包括非局部低階去雜訊化技術、非局部均值去雜訊化技術、塊匹配與三維濾波去雜訊化技術或者三維離散余弦變換去雜訊化技術中的至少一個；基於待處理視訊資料的特徵，自該兩個或多個候選非局部去雜訊化技術選擇目標非局部去雜訊化技術以用於補塊組；以及用該目標非局部去雜訊化技術對該已重構圖像的該補塊組進行去雜訊化。
  14. 一種非暫時電腦可讀介質，存儲有多個指令，其在由視訊編解碼系統執行時使得該視訊編解碼系統：提供兩個或多個候選非局部去雜訊化技術，其中，該兩個或者多個候選非局部去雜訊化技術包括非局部低階去雜訊化技術、非局部均值去雜訊化技術、塊匹配與三維濾波去雜訊化技術或者三維離散余弦變換去雜訊化技術中的至少一個；基於待處理視訊資料的特徵，自該兩個或多個候選非局部去雜訊化技術選擇目標非局部去雜訊化技術以用於補塊組；以及用該目標非局部去雜訊化技術對該已重構圖像的該補塊組進行去雜訊化。
  15. 一種並行處理方法，包括：接收已重構圖像；將該已重構圖像分割成多個當前補塊；將該已重構圖像分割成多個並行處理區域，其中每個並行處理區域包括當前補塊子集；透過用基於預測子搜索演算法搜索與各自當前補塊相似的參考補塊集，對該多個並行處理區域進行處理，以形成用於該多個當前補塊的多個補塊組，其中：該多個並行處理區域中的至少兩個被並行處理，以及不使用位於各自控制區域外部的多個當前補塊的多個補塊預測子，該多個並行處理區域中的至少兩個中的每個被處理。
  16. 如申請專利範圍第15項所述之並行處理方法，其中，還包括：對包括在該多個並行處理區域中的至少兩個中的每個中的多個當前補塊進行連續處理，以用該基於預測子搜索演算法形成多個補塊組。
  17. 如申請專利範圍第15項所述之並行處理方法，其中，還包括：對該多個補塊組進行去雜訊化，以生成已濾波圖像；以及確定表示該已濾波圖像的多個像素值是否被用在該各自並行處理區域中以形成已去雜訊化圖像的開啟/關閉控制標誌，以用於該已濾波圖像中的該多個並行處理區域中的一個。
  18. 一種並行處理方法，包括：接收已重構圖像；將該已重構圖像分割成多個當前補塊；將該已重構圖像分割成多個並行處理區域，其中每個並行處理區域包括當前補塊子集；以及透過用基於預測子搜索演算法搜索與各自當前補塊相似的參考補塊集，對該多個並行處理區域進行處理，以形成用於該多個當前補塊的多個補塊組，其中第一並行處理區域內的多個當前補塊被並行處理，以使用該基於預測子搜索演算法而不使用該第一並行處理區域內的該多個當前補塊的多個補塊預測子，形成多個補塊組。
  19. 如申請專利範圍第18項所述之並行處理方法，其中，還包括：對該多個並行處理區域進行連續處理，以形成該多個當前補塊的該多個補塊組。
TW106145049A 2016-12-22 2017-12-21 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器 TWI677239B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662437766P 2016-12-22 2016-12-22
US62/437,766 2016-12-22
US15/844,190 US10469876B2 (en) 2016-12-22 2017-12-15 Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
US15/844,190 2017-12-15

Publications (2)

Publication Number Publication Date
TW201828708A TW201828708A (zh) 2018-08-01
TWI677239B true TWI677239B (zh) 2019-11-11

Family

ID=62624497

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106145049A TWI677239B (zh) 2016-12-22 2017-12-21 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器

Country Status (4)

Country Link
US (1) US10469876B2 (zh)
CN (1) CN110036637B (zh)
TW (1) TWI677239B (zh)
WO (1) WO2018113696A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10841581B2 (en) 2016-07-14 2020-11-17 Arris Enterprises Llc Region specific encoding and SAO-sensitive-slice-width-adaptation for improved-quality HEVC encoding
US20200236377A1 (en) * 2019-01-22 2020-07-23 Tencent America LLC Method for tile group identification
KR20210117327A (ko) 2019-01-25 2021-09-28 미디어텍 인크. 비디오 코딩에서 비선형 적응적 루프 필터링을 위한 방법 및 장치
TWI739386B (zh) 2019-04-11 2021-09-11 聯發科技股份有限公司 具有適應性參數集之適應性迴路濾波器
US11509931B2 (en) * 2019-06-07 2022-11-22 Tencent America LLC Method and apparatus for video coding
CN110570376B (zh) * 2019-09-10 2022-05-20 广州工程技术职业学院 一种图像去雨方法、装置、设备和计算机可读存储介质
CN112801882B (zh) * 2019-11-14 2022-11-08 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN112053291B (zh) * 2020-07-20 2023-04-18 清华大学 基于深度学习的弱光视频降噪方法及装置
CN113938575B (zh) * 2021-07-23 2023-06-13 东莞理工学院 一种视频超分辨率重构方法、装置、终端设备及存储介质
US11917144B2 (en) 2021-09-29 2024-02-27 Mediatek Inc. Efficient in-loop filtering for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804776A (zh) * 2010-05-10 2012-11-28 联发科技股份有限公司 自适应回路滤波方法和装置
CN105791877A (zh) * 2016-03-15 2016-07-20 北京大学 视频编解码中自适应环路滤波的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
CN101790092B (zh) * 2010-03-15 2013-02-06 河海大学常州校区 基于图像块编码信息的智能滤波器设计方法
GB2481239B (en) * 2010-06-17 2014-04-02 Canon Kk Method and device for enhancing a digital image
US10708622B2 (en) * 2011-12-20 2020-07-07 Texas Instruments Incorporated Adaptive loop filtering (ALF) for video coding
US9282328B2 (en) * 2012-02-10 2016-03-08 Broadcom Corporation Sample adaptive offset (SAO) in accordance with video coding
SG11201500846TA (en) * 2012-09-26 2015-05-28 Panasonic Ip Corp America Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US9280806B2 (en) * 2013-01-10 2016-03-08 Broadcom Corporation Edge smoothing block filtering and blending
CN103049892B (zh) * 2013-01-27 2015-05-27 西安电子科技大学 基于相似块矩阵秩最小化的非局部图像去噪方法
US9251569B2 (en) * 2013-09-10 2016-02-02 Adobe Systems Incorporated Removing noise from an image via efficient patch distance computations
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
CN105763881A (zh) * 2016-02-23 2016-07-13 北京大学 利用图像非局部结构相似性特征的视频编码图像滤波方法
US10462459B2 (en) * 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804776A (zh) * 2010-05-10 2012-11-28 联发科技股份有限公司 自适应回路滤波方法和装置
CN105791877A (zh) * 2016-03-15 2016-07-20 北京大学 视频编解码中自适应环路滤波的方法

Also Published As

Publication number Publication date
CN110036637A (zh) 2019-07-19
WO2018113696A1 (en) 2018-06-28
US10469876B2 (en) 2019-11-05
CN110036637B (zh) 2022-06-14
TW201828708A (zh) 2018-08-01
US20180184128A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
TWI677239B (zh) 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器
US11102515B2 (en) In loop chroma deblocking filter
CN108886621B (zh) 非本地自适应环路滤波方法
JP4565010B2 (ja) 画像復号装置および画像復号方法
RU2696552C1 (ru) Способ и устройство для видеокодирования
CN111819853A (zh) 变换域中预测的信令残差符号
CN110383331B (zh) 非局部适应性环路滤波器处理
JP2010514246A (ja) 画像圧縮及び伸張
WO2023028965A1 (en) Hardware codec accelerators for high-performance video encoding
RU2766557C1 (ru) Устройство обработки изображений и способ выполнения эффективного удаления блочности
TW201904295A (zh) 改進型非局部適應性環路濾波器處理
US20220353543A1 (en) Video Compression with In-Loop Sub-Image Level Controllable Noise Generation
CA2842489C (en) Adaptive filtering based on pattern information
KR101247024B1 (ko) 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법
RU2779474C1 (ru) Устройство обработки изображений и способ выполнения эффективного удаления блочности
WO2024007116A1 (zh) 解码方法、编码方法、解码器以及编码器
US20160150245A1 (en) System and a method for video encoding