TWI827609B - 基於區塊之自適應迴路濾波器(alf)之設計及發信令 - Google Patents

基於區塊之自適應迴路濾波器(alf)之設計及發信令 Download PDF

Info

Publication number
TWI827609B
TWI827609B TW108119088A TW108119088A TWI827609B TW I827609 B TWI827609 B TW I827609B TW 108119088 A TW108119088 A TW 108119088A TW 108119088 A TW108119088 A TW 108119088A TW I827609 B TWI827609 B TW I827609B
Authority
TW
Taiwan
Prior art keywords
adaptive loop
block
current image
loop filters
filters
Prior art date
Application number
TW108119088A
Other languages
English (en)
Other versions
TW202005399A (zh
Inventor
馬塔 卡茲維克茲
阿克沙伊 卡德
法迪姆 塞瑞金
錢威俊
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202005399A publication Critical patent/TW202005399A/zh
Application granted granted Critical
Publication of TWI827609B publication Critical patent/TWI827609B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種視訊編碼器及視訊解碼器，其可在一每區塊基礎上自複數個自適應迴路濾波器集合當中判定一自適應迴路濾波器集合。每一自適應迴路濾波器集合可包括來自一先前圖像之濾波器、經發信令用於當前圖像之濾波器，及/或經預先訓練之濾波器。藉由在一每區塊基礎上改變該自適應迴路濾波器集合，可供用於每一視訊資料區塊之該等自適應迴路濾波器可更適合於該視訊資料之本端統計。

Description

基於區塊之自適應迴路濾波器(ALF)之設計及發信令
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、最新定案之高效率視訊寫碼(HEVC)標準及此等標準之延伸中所描述的技術。視訊器件可藉由實施此等視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊，其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測導致用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。框內寫碼區塊係根據框內寫碼模式及殘餘資料編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至較多壓縮。
本發明描述與被稱作「自適應迴路濾波器(ALF)」之濾波技術相關的技術。ALF可用於後處理階段以用於迴路內寫碼，或用於預測程序。樣本自適應偏移(SAO)濾波及/或自適應環路濾波可應用於各種現有視訊編解碼器技術中之任一者，諸如HEVC相容編解碼器技術，或為任何將來視訊寫碼標準中之高效寫碼工具。所描述技術因此可應用於多種基於區塊之視訊寫碼技術，在該等技術中視訊係在逐塊基礎上重建構。像素區塊可取決於所使用的基於區塊之視訊寫碼而不同地被稱作寫碼樹型單元(CTU)、最大寫碼單元(LCU)、預測單元(PU)或其他術語，如稍後描述。
如將在下文更詳細地解釋，根據本發明之技術，視訊編碼器及視訊解碼器可經組態以在每區塊基礎上自複數個自適應迴路濾波器集合當中判定自適應迴路濾波器之集合(例如用於自適應環路濾波經啟用所針對的區塊)。以此方式，可供與特定區塊一起使用的自適應迴路濾波器之集合可更適合於靠近特定區塊的視訊資料之本端特性，因此改良寫碼效率及/或圖像品質。
在一個實例中，一種方法包括：對於使用自適應環路濾波的區塊，當前圖像的每區塊自複數個自適應迴路濾波器集合當中判定自適應迴路濾波器之各別集合，其中自適應迴路濾波器之每一各別集合包括在一或多個先前圖像中使用的一先前自適應迴路濾波器；及根據自適應迴路濾波器之各別集合對當前圖像之區塊進行自適應迴路濾波。
在另一實例中，一種經組態以寫碼視訊資料之裝置包括：一記憶體，其經組態以儲存視訊資料之當前圖像；及與該記憶體通信之一或多個處理器，該一或多個處理器經組態以：對於使用自適應環路濾波的區塊，當前圖像的每區塊自複數個自適應迴路濾波器集合當中判定自適應迴路濾波器之各別集合，其中自適應迴路濾波器之每一各別集合包括在一或多個先前圖像(或先前圖像、圖塊或區塊之其他粒度)中使用的一先前自適應迴路濾波器；及根據自適應迴路濾波器之各別集合對當前圖像之區塊進行自適應迴路濾波。
在另一實例中，一種經組態以寫碼視訊資料之裝置包括：用於對於使用自適應環路濾波的區塊，當前圖像的每區塊自複數個自適應迴路濾波器集合當中判定自適應迴路濾波器之各別集合的構件，其中自適應迴路濾波器之每一各別集合包括在一或多個先前圖像中使用的一先前自適應迴路濾波器；及用於根據自適應迴路濾波器之各別集合對當前圖像之區塊進行自適應迴路濾波的構件。
在另一實例中，本發明描述一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令當經執行時使得一或多個處理器：對於使用自適應環路濾波的區塊，當前圖像的每區塊自複數個自適應迴路濾波器集合當中判定自適應迴路濾波器之各別集合，其中自適應迴路濾波器之每一各別集合包括在一或多個先前圖像中使用的一先前自適應迴路濾波器；及根據自適應迴路濾波器之各別集合對當前圖像之區塊進行自適應迴路濾波。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
本申請案主張2018年6月1日申請之美國臨時申請案第62/679,685號之權益，該臨時申請案之全部內容以引用之方式併入本文中。
圖1為說明可利用本發明中所描述之用於自適應迴路濾波的技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所示，系統10包括源器件12，其產生稍後時間待由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可為以下廣泛範圍之器件中之任一者：包括桌上型電腦、筆記型(例如，膝上型)電腦、平板電腦、機頂盒、諸如所謂的「智慧型」電話之電話手持機、平所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些情況下，源器件12和目的地器件14可經裝備以用於無線通信。
目的地器件14可經由鏈路16接收待解碼的經編碼視訊資料。鏈路16可為能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一個實例中，鏈路16可為使源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包括任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14的通信之任何其他裝備。
在另一實例中，經編碼視訊資料可自輸出介面22輸出至儲存器件26。類似地，可藉由輸入介面28自儲存器件26存取經編碼視訊資料。儲存器件26可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。在另一實例中，儲存器件26可對應於可保持由源器件12產生之經編碼視訊的檔案伺服器或另一中間儲存器件。目的地器件14可自儲存器件26經由串流或下載來存取經儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料，並將經編碼視訊資料傳輸至目的地器件14之任何類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、檔案傳送協定(FTP)伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此可包括無線連接(例如Wi-Fi連接)、有線連接(例如DSL、電纜數據機等)或適於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之組合。經編碼視訊資料自儲存器件26之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用(諸如，(例如)經由網際網路之空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸)中之任一者的視訊寫碼、供儲存於資料儲存媒體上之數位視訊的編碼、儲存於資料儲存媒體上之數位視訊的解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些情況下，輸出介面22可包括調變器/解調器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如視訊捕捉器件(例如，視訊攝影機)、含有先前捕捉之視訊之視訊存檔、用以自視訊內容提供者接收視訊之視訊饋入介面及/或用於將電腦圖形資料產生為源視訊的電腦圖形系統，或此等源之組合。大體而言，捕捉視訊資料可包括用於記錄、產生及/或感測視訊資料之任何技術。作為一個實例，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂攝影機電話或視訊電話。然而，本發明中所描述之技術一般而言可適用於視訊寫碼，且可應用於無線及/或有線應用。
經捕捉、預先捕捉或電腦產生之視訊可由視訊編碼器20編碼。可經由源器件12之輸出介面22將經編碼視訊資料直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存至儲存器件26上用於稍後由目的地器件14或其他器件存取，用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些情況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或在儲存器件26上所提供之經編碼視訊資料可包括由視訊編碼器20所產生之多種語法元素，其供諸如視訊解碼器30之視訊解碼器在解碼該視訊資料時使用。傳輸於通信媒體上、儲存於儲存媒體上，或儲存於檔案伺服器之經編碼視訊資料內可包括此等語法元素。
顯示器件32可與目的地器件14整合或在目的地器件14的外部。在一些實例中，目的地器件14可包括整合式顯示器件且亦經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。大體而言，顯示器件32將經解碼視訊資料顯示給使用者，且可為多種顯示器件中之任一者，諸如液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如最近定案之高效率視訊寫碼(HEVC)標準)來操作，且可符合HEVC測試模型(HM)。視訊編碼器20及視訊解碼器30可另外根據HEVC延伸(諸如範圍延伸、多視圖延伸(MV-HEVC)，或已藉由視訊寫碼之聯合合作小組(JCT-VC)以及ITU-T視訊寫碼專家群(VCEG)及ISO/IEC動畫專家群(MPEG)的3D視訊寫碼延伸開發之聯合合作小組(JCT-3V)開發的可調式延伸(SHVC))操作。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準(諸如ITU-T H.264標準，被替代地稱作ISO/IEC MPEG-4，第10部分，進階視訊寫碼(AVC))或此等標準之延伸(諸如可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)延伸)操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263及ISO/IEC MPEG-4 Visual。HEVC (ITU-T H.265)(包括其範圍延伸、多視圖延伸(MV-HEVC)及可調式延伸(SHVC))係藉由視訊寫碼之聯合合作小組(JCT-VC)以及ITU-T視訊寫碼專家群(VCEG)及ISO/IEC動畫專家群(MPEG)的3D視訊寫碼延伸開發之聯合合作小組(JCT-3V)開發。在下文中被稱作HEVC WD之定案HEVC草案可自http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip獲得。
ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)現在正開發具有可能超過當前HEVC標準(包括用於螢幕內容寫碼及高動態範圍寫碼的其當前延伸及近期延伸)之壓縮性能的壓縮性能的將來視訊寫碼技術。新的標準被稱為H.266/VVC(多功能視訊寫碼)。該等群組正共同致力於聯合合作工作(被稱為聯合視訊探索小組(JVET))中之此探索活動，以評估由此領域中之專家提議的壓縮技術設計。JVET在2015年10月19日至21日期間第一次會面。參考軟體之一個版本，亦即聯合探索模型7 (JEM7)可自https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-7.0/下載。JEM7之演算法描述係描述於J. Chen、E. Alshina、G. J. Sullivan、J.-R. Ohm、J. Boyce (JVET-C1001，都靈，2017年7月)的「Algorithm description of Joint Exploration Test Model 7 (JEM7)」中。在ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊專家組(JVET)第14次會議：2019年3月19日至27日，Geneva, CH，JVET-N1001-v3，Bross等人之「Versatile Video Coding (Draft 5)」(下文中「VVC草案5)中描述VVC標準之最新草案。然而，本發明之技術不限於任何特定寫碼標準。
儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可符合ITU H.223多工器協定或其他協定(諸如，使用者資料報協定(UDP))。
視訊編碼器20及視訊解碼器30各自可實施為多種合適之編碼器電路或解碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術以軟體部分地實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。
本發明描述與可用於後處理階段中(作為迴路內寫碼之部分)或用於視訊寫碼之預測階段中之濾波操作相關的技術。本發明之技術可實施至現有視訊編解碼器(諸如HEVC)中，或為用於將來視訊寫碼標準(諸如當前處於開發中之H.266/VVC標準)之高效寫碼工具。
視訊寫碼通常涉及自同一圖像中的視訊資料之已經寫碼區塊預測視訊資料區塊(亦即，框內預測)或自不同圖像中的視訊資料之已經寫碼區塊預測視訊資料區塊(亦即，框間預測)。在一些情況下，視訊編碼器20亦藉由比較預測性區塊與原始區塊來計算殘餘資料。因此，殘餘資料表示預測性區塊與原始區塊之間的差。
視訊編碼器20變換及量化殘餘資料，且在經編碼位元串流中發信令該經變換及經量化殘餘資料。視訊解碼器30將殘餘資料添加至預測性區塊以產生相比單獨的預測性區塊更緊密匹配原始視訊區塊的經重建構視訊區塊。為進一步改良經解碼視訊之品質，視訊編碼器20及視訊解碼器30可對經重建構之視訊區塊執行一或多個濾波操作。此等濾波操作之實例包括解區塊濾波、樣本自適應偏移(SAO)濾波，及自適應迴路濾波。用於此等濾波操作之參數可藉由視訊編碼器20判定且在經編碼視訊位元串流中明確地發信令，或可隱含地藉由視訊解碼器30判定而無需在經編碼視訊位元串流中明確地發信令參數。
本發明描述與被稱作「自適應迴路濾波器(ALF)」之濾波方法相關的技術。ALF可用於後處理階段以用於迴路內寫碼，或用於預測程序。SAO濾波及/或自適應迴路濾波可應用於各種現有視訊編解碼器技術中之任一者(諸如HEVC相容編解碼器技術)，或為任何將來視訊寫碼標準中之高效寫碼工具。
如本發明中所使用，術語視訊寫碼一般指視訊編碼或視訊解碼。類似地，術語視訊寫碼器可一般指代視訊編碼器或視訊解碼器。此外，本發明中關於視訊解碼所描述之某些技術亦可應用於視訊編碼，且反之亦然。舉例而言，視訊編碼器及視訊解碼器時常經組態以執行相同程序或互逆程序。又，視訊編碼器20通常執行視訊解碼，作為判定如何編碼視訊資料之程序的部分。
如將在下文更詳細地解釋，根據本發明之技術，視訊編碼器20及視訊解碼器30可經組態以在每區塊基礎上自複數個自適應迴路濾波器集合當中判定自適應迴路濾波器之集合(例如用於自適應迴路濾波經啟用所針對的區塊)。以此方式，可供與特定區塊一起使用的自適應迴路濾波器之集合可更適合於靠近特定區塊的視訊資料之本端特性，因此改良寫碼效率及/或圖像品質。
在HEVC、VVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。在一個實例途徑中，圖像可包括三個樣本陣列，表示為SL 、SCb 及SCr 。在此實例途徑中，SL 為明度樣本之二維陣列(亦即，區塊)。SCb 為Cb色訊樣本之二維陣列。SCr 為Cr色度樣本之二維陣列。色訊樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。該等CTU中之每一者可包括明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用於寫碼寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CTU可包括單一寫碼樹型區塊及用以寫碼該寫碼樹型區塊之樣本的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小，且可包括一或多個寫碼單元(CU)。圖塊可包括按光柵掃描次序連續地定序之整數數目個CTU。
在一個實例中，為產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞回地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名為「寫碼樹型單元」。寫碼區塊可為樣本之N×N區塊。CU可包括具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊，及用於寫碼該等寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包括單個寫碼區塊及用於寫碼該寫碼區塊之樣本的語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包括明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用以對預測區塊進行預測之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包括單個預測區塊及用以對該預測區塊進行預測之語法結構。視訊編碼器20可針對CU之每一PU的明度預測區塊、Cb預測區塊及Cr預測區塊產生預測性明度區塊、預測性Cb區塊及預測性Cr區塊。
作為另一實例，視訊編碼器20及視訊解碼器30可經組態以根據JEM或VVC操作。根據JEM或VVC，視訊寫碼器(諸如視訊編碼器20)將圖像分割成複數個寫碼樹型單元(CTU)。視訊編碼器20可根據樹型結構(諸如四分樹二進位樹型(QTBT)結構或多類型樹型(MTT)結構)分割CTU。QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU(變換單元)之間的間距。QTBT結構包括兩個層級：根據四分樹分割分割的第一層級，及根據二進位樹分割分割的第二層級。QTBT結構之根節點對應於CTU。二進位樹之葉節點對應於寫碼單元(CU)。
在MTT分割結構中，區塊可使用四分樹(QT)分割、二進位樹(BT)分割及一或多種類型之三重樹(TT)分割來分割。三重樹分割為區塊***成三個子區塊的分割。在一些實例中，三重樹分割在不經由中心分隔原始區塊情況下將區塊分成三個子區塊。MTT中之分割類型(例如QT、BT及TT)可為對稱或不對稱的。
在一些實例中，視訊編碼器20及視訊解碼器30可使用單一QTBT或MTT結構以表示明度及色度分量中之每一者，而在其他實例中，視訊編碼器20及視訊解碼器30可使用兩個或大於兩個QTBT或MTT結構，諸如用於明度分量之一個QTBT/MTT結構及用於兩個色度分量之另一QTBT/MTT結構(或用於各別色度分量之兩個QTBT/MTT結構)。
視訊編碼器20及視訊解碼器30可經組態以使用四分樹分割、QTBT分割、MTT分割，或其他分割結構。
視訊編碼器20可使用框內預測或框間預測以產生用於區塊之預測性區塊(例如PU)。若視訊編碼器20使用框內預測產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之經解碼樣本產生PU之預測性區塊。若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本，產生PU之預測性區塊。
JEM及VVC之一些實例亦提供仿射運動補償模式，其可被認為框間預測模式。在仿射運動補償模式中，視訊編碼器20可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或大於兩個運動向量。
為了執行框內預測，視訊編碼器20可選擇框內預測模式以產生預測區塊。JEM及VVC之一些實例提供六十七種框內預測模式，包括各種定向模式以及平面模式及DC模式。大體而言，視訊編碼器20選擇描述預測當前區塊之樣本所藉以的當前區塊(例如CU之區塊)之相鄰樣本的框內預測模式。此類樣本通常可在與當前區塊相同之圖像中，在當前區塊之上方、左上方或左側，假定視訊編碼器20以光柵掃描次序(左至右、上至下)寫碼CTU及CU。
在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、預測性Cb區塊及預測性Cr區塊之後，視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中的一者中之明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差異。另外，視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中的對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
在一些實例中，視訊編碼器20可使用四分樹分割以將CU之明度、Cb及Cr殘餘區塊分成一或多個明度、Cb及Cr變換區塊。在其他實例中，變換區塊大小與預測區塊相同。變換區塊為供應用相同變換的樣本之矩形(例如，正方形或非正方形)區塊。CU之變換單元(TU)可包括明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用以對變換區塊樣本進行變換之語法結構。因此，CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包括單個變換區塊及用以變換該變換區塊之樣本的語法結構。
視訊編碼器20可將一或多個變換應用於TU之明度變換區塊以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。
具有CTU、CU、PU及TU之上述區塊結構通常描述在HEVC中使用之區塊結構。然而，其他視訊寫碼標準可使用不同區塊結構。作為一個實例，儘管HEVC允許PU及TU具有不同大小或形狀，但其他視訊寫碼標準可需要預測性區塊及變換區塊以具有相同大小。本發明之技術不限於HEVC之區塊結構且可與其他區塊結構相容。
在產生係數區塊(例如，明度係數區塊、Cb係數區塊或Cr係數區塊)之後，視訊編碼器20可將係數區塊量化。量化大體上係指將變換係數量化以可能地減少用以表示變換係數之資料之量從而提供進一步壓縮的程序。在視訊編碼器20量化係數區塊之後，視訊編碼器20可對指示經量化轉變係數之語法元素進行熵編碼。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。位元串流可包括網路抽象層(NAL)單元之序列。NAL單元為含有NAL單元中的資料之類型之指示及含有彼資料的呈按需要穿插有模擬阻止位元之原始位元組序列有效負載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者包括NAL單元標頭，且囊封一RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下，RBSP包括為零之位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，第一類型之NAL單元可囊封圖像參數集(PPS)之RBSP，第二類型之NAL單元可囊封經寫碼圖塊之RBSP，第三類型之NAL單元可囊封補充增強資訊(SEI)訊息之RBSP，等等。囊封視訊寫碼資料之RBSP (與參數集合及SEI訊息之RBSP相對)的NAL單元可被稱作視訊寫碼層(VCL) NAL單元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。此外，視訊解碼器30可剖析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重建構視訊資料之圖像。重建構視訊資料之程序可大體上與由視訊編碼器20執行之程序互逆。另外，視訊解碼器30可反量化與當前CU之TU相關聯之係數區塊。視訊解碼器30可對係數區塊執行反向變換以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之各CU的寫碼區塊，視訊解碼器30可重建構圖像。
現將論述HEVC及JEM技術之態樣。圖2展示HEVC解碼器31之實例方塊圖。圖2中所示之視訊解碼器31大體上對應於視訊解碼器30，但不同於視訊解碼器30，在重建構與參考圖像緩衝器之間不包括自適應迴路濾波器。圖5中更詳細地說明視訊解碼器30。HEVC採用兩個迴路內濾波器，包括解塊濾波器(DBF)及樣本自適應偏移(SAO)濾波器。在IEEE電路系統視訊技術彙刊，22(12)：1755頁至1764頁(2012年)，C. Fu, E. Alshina, A. Alshin, Y. Huang, C. Chen, Chia. Tsai, C. Hsu, S. Lei, J. Park, W. Han之「Sample adaptive offset in the HEVC standard」中描述關於HEVC解碼及SAO之額外細節。
如圖2中所說明，至DBF之輸入可為在框內或框間預測之後的經重建構影像，如運用來自重建構區塊之輸出所示。DBF執行在經寫碼區塊邊界處之偽影的偵測且藉由應用所選擇濾波器將該等假影衰減。與H.264/AVC解塊濾波器相比，HEVC解塊濾波器具有較低計算複雜度及較好並行處理能力同時仍達成視覺假影之顯著減少。對於額外實例，參看IEEE電路系統視訊技術彙刊，22(12)：1746頁至1754頁(2012年)，A. Norkin, G. Bjontegaard, A. Fuldseth, M. Narroschke, M. Ikeda, K. Andersson, Minhua Zhou, G. Van der Auwera之「HEVC Deblocking Filter」。
在HEVC中，獨立地對於處於網格上的四樣本長度之每一邊界進行解塊濾波器決策，從而將圖像分成8×8樣本之區塊。若以下條件為真，則對區塊邊界執行解塊：(1)區塊邊界為預測單元(PU)或變換單元(TU)邊界；(2)如下表1中所定義之邊界強度(Bs)大於零；(3)如以下等式(1)中所定義之在區塊邊界兩側的信號變化低於指定臨限值。
表1.用於兩個相鄰明度區塊之間的邊界的邊界強度(Bs)值 若對於明度區塊邊界，Bs＞0，則在以下條件保持情況下將解塊濾波應用於彼邊界： ，(1) 其中p 及q 為在邊界處的明度樣本值且為臨限值。
HEVC允許兩種類型之明度解塊濾波器，亦即：(i)正常濾波器，及(ii)強濾波器。解塊濾波器之選擇取決於特定信號變化項是否小於某些臨限值(參見Norkin等人(2012年)之上文針對細節所引用之「HEVC Deblocking Filter」)。儘管濾波決策僅僅基於四像素長垂直(或水平，視具體情況而定)邊界之兩列(或行)，但濾波器應用於邊界中之每一列(或行，視具體情況而定)。濾波程序中使用的像素之數目及可運用每種類型濾波修改的像素之數目係在下文表2中概述。表 2 . HEVC 解塊中每邊界使用 / 修改的像素之數目
僅僅當Bs等於二(2)時，執行色度解塊(亦即，對色度分量執行的解塊濾波)。在HEVC中，僅僅使用一種類型色度解塊濾波器。色度解塊濾波器使用像素p0 、p1 、q0 、q1 且可修改每一列中之像素p0 及q0 (指示列索引之第二下標為簡潔起見在以上描述中省略，此係因為濾波器應用於每一列)。在JEM中，解塊係在CU層級處執行。在邊界之任一側的CU之大小可大於8×8。JEM中之最小CU大小為4×4。因此，解塊濾波器亦可應用於4×4區塊之邊界。
至SAO濾波器之輸入可為在應用解塊濾波器之後的經重建構區塊，如運用自圖2中之解塊濾波器的輸出所示。視訊寫碼器可應用SAO濾波器以藉由首先運用所選擇分類器將區域樣本分類成多個類別，獲得用於每一類別之偏移，且接著添加偏移至類別之每一樣本而減小區域之平均樣本失真，其中分類器索引及區之偏移係在位元串流中寫碼。在HEVC中，區域(SAO參數發信令之單元)經定義為CTU。
在HEVC中採用可滿足低複雜度要求之兩種SAO類型。彼等兩種類型為邊緣偏移(EO)及頻帶偏移(BO) SAO，其在下文更詳細地論述。視訊編碼器20及視訊解碼器30可寫碼SAO類型之索引。對於EO，樣本分類係基於根據1D方向圖案：水平、垂直、135°對角線及45°對角線在當前樣本與相鄰樣本之間的比較。
圖3A至圖3D展示EO樣本分類之四個1D方向圖案：水平(圖3A，EO類別=0)，垂直(圖3B，EO類別=1)，135°對角線(圖3C，EO類別=2），及45°對角線(圖3D，EO類別=3)。在IEEE電路系統視訊技術彙刊，22(12)：1755頁至1764頁(2012年)，C. Fu, E. Alshina, A. Alshin, Y. Huang, C. Chen, Chia. Tsai, C. Hsu, S. Lei, J. Park, W. Han之「Sample adaptive offset in the HEVC standard」中描述與SAO相關之額外細節。在圖3A至圖3D中，區塊C為當前區塊，且區塊A及B為相鄰區塊。
根據所選擇EO圖案，藉由表3中之edgeIdx表示的五個類別經進一步定義。對於等於0~3之edgeIdx，偏移之量值可經發信令而正負號旗標經隱含地寫碼，亦即，對於等於0或1之edgeIdx，負偏移，且對於等於2或3之edgeIdx，正偏移。對於等於4之edgeIdx，偏移始終經設定成0，此意謂對於此情況不需要操作。表 3 ：用於 EO 之 分類
對於BO，樣本分類係基於樣本值。每一色彩分量可具有用於BO類型SAO濾波之分類之其自身SAO參數。BO暗示一個偏移被添加至同一頻帶之所有樣本。樣本值範圍經相等地分成32個頻帶。對於範圍介於0至255之8位元樣本，頻帶之寬度為8，且自8k至8k+7之樣本值屬於頻帶k，其中k範圍介於0至31。一個偏移被添加至同一頻帶之所有樣本。頻帶中之原始樣本與經重建構樣本之間的平均差(亦即，頻帶之偏移)經發信令至解碼器(例如視訊解碼器30)。不存在對於偏移正負號之約束。四(4)個連續頻帶與開始頻帶位置之偏移僅被發信令至解碼器(例如，視訊解碼器30)。
視訊編碼器20及視訊解碼器30可經組態以實施在JEM及/或VVC的工作草案中闡述之各種自適應迴路濾波技術。現將描述一些實例JEM濾波技術(例如ALF)的態樣。除了經修改解塊(DB)及HEVC SAO方法之外，JEM包括另一濾波方法，稱為基於幾何變換之自適應迴路濾波(GALF)。至ALF/GALF之輸入可為在應用SAO之後的經重建構影像(例如，圖2中之樣本自適應偏移的輸出)。GALF之態樣描述於信號處理中之選定主題的IEEE期刊，7(6)，934頁至945頁，2013年，Tsai, C.Y., Chen, C.Y., Yamakage, T., Chong, I.S., Huang, Y.W., Fu, C.M., Itoh, T., Watanabe, T., Chujoh, T., Karczewicz, M.及Lei, S.M.之「Adaptive loop filtering for video coding」及圖像寫碼會議(PCS)，2016年，M. Karczewicz, L. Zhang, W.-J. Chien及X. Li之「Geometry transformation-based adaptive in-loop filter」中。
ALF技術試圖藉由使用自適應維納濾波器最小化原始樣本與經解碼/經重建構樣本之間的均方誤差。將輸入影像表示為p ，將源影像表示為S ，並將有限脈衝回應(FIR)濾波器表示為h 。接著平方誤差總和(SSE)之以下表達式應經最小化，其中(x,y)表示p 或S 中之任何像素位置。 可藉由如下將SSE關於h (i , j )之偏導數設定為等於0而獲得最佳h ，表示為hopt 。 此產生以下所示之維納-霍普夫等式，其給出最佳濾波器hopt ：
在JEM或VVC之一些實例中，視訊編碼器20及/或視訊解碼器30可經組態以基於本端梯度將圖像中之樣本分類成二十五(25)個類別，而非使用一個濾波器用於整個圖像。視訊編碼器20及/或視訊解碼器30可推導用於每一類別中之像素的單獨最佳維納濾波器。若干技術已用於藉由減小發信令額外負擔及計算複雜度而增加自適應迴路濾波之有效性。下文列舉可用以藉由減小發信令額外負擔及/或計算複雜度而增加ALF有效性的技術中之一些： 1.自固定濾波器之預測 ：用於每一類別之最佳濾波器係數係使用包括用於每一類別之16個候選者濾波器的固定濾波器之預測集區預測。最佳預測候選者經選擇用於每一類別且僅僅傳輸預測錯誤。 2.類別合併 ：多個類別中之像素可共用一個濾波器以便減少待寫碼之濾波器參數的數目，而非使用二十五(25)個不同濾波器(每一類別一個)。合併兩個類別可導致較高累積SSE但較低速率-失真(RD)成本。 3.抽頭之可變數目 ：濾波器抽頭之數目在圖框層級處自適應。理論上，具有更多抽頭之濾波器可達成較低SSE，但就RD成本而言可並非係好選擇，此係因為與更多濾波器係數相關聯的位元額外負擔。 4.區塊層級接通 / 斷開控制 ：ALF可在區塊基礎上接通及斷開(經啟用或停用)。接通/斷開控制旗標經發信令所藉以的區塊大小係在圖框層級處自適應地選擇。濾波器係數可使用來自ALF經啟用(亦即，ALF被使用)所針對的僅僅彼等區塊之像素來重新計算。 5.時間預測 ：經推導用於先前寫碼圖框之濾波器儲存於緩衝器中。若當前圖框為P或B圖框，則若濾波器之儲存集合中的一者產生較佳RD成本，則其可用於濾波此圖框。旗標經發信令以指示使用時間預測。若使用時間預測，則指示所儲存濾波器之哪一集合被使用的索引經發信令。不需要ALF係數之額外發信令。區塊層級ALF接通/斷開控制旗標亦可使用時間預測而發信令用於圖框。
ALF之一些態樣的細節係在此及之後段落中概述。ALF之一些態樣係與像素分類及幾何變換相關。在一個實例中，視訊編碼器20及視訊解碼器30可經組態以計算在覆蓋經重建構圖框中之每一像素的6×6窗內之全部像素處的垂直、水平及對角線拉普拉斯的絕對值之和(在ALF之前)。視訊編碼器20及視訊解碼器30將經重建構圖框分成非重疊2×2區塊。視訊編碼器20及視訊解碼器30基於彼區塊之總拉普拉斯活動及方向性將此等區塊中之四個像素分類成二十五(25)個類別中的一者，表示為Ck (k =0，1…，24)。另外，視訊編碼器20及視訊解碼器30基於彼區塊之梯度方向性將四個幾何變換(無變換、對角線翻轉、垂直翻轉或旋轉)中的一者應用於濾波器。額外細節可見於圖像寫碼會議(PCS)，2016年，M. Karczewicz, L. Zhang, W.-J. Chien及X. Li之「Geometry transformation-based adaptive in-loop filter」。
自適應迴路濾波之一些態樣與自固定濾波器之濾波器推導及預測相關。對於每一類別Ck ，視訊編碼器20及視訊解碼器30首先基於藉由濾波器給定之SSE自用於Ck 之集區判定最佳預測濾波器，表示為hpred , k 。Ck 之SSE (其將被最小化)可寫成如下， 其中為Ck 之最佳濾波器與hpred , k 之間的差。讓 為藉由hpred , k 濾波像素p (x,y)的結果。接著之表達式可重新寫為 藉由使SSEk 關於之偏導數等於0，獲得如下之經修改維納-霍普夫等式： 為了表達之簡單性，分別藉由及表示及，其中。接著，上述等式可寫為：(1) 對於每一Ck ，對於全部計算自相關矩陣及交叉相關向量。
在自適應迴路濾波之一個實例中，視訊編碼器20僅僅計算並傳輸最佳濾波器與固定預測濾波器之間的差。若可用於集區中之候選者濾波器中無一者為好預測因子，則視訊編碼器20及視訊解碼器30使用標識濾波器(亦即，在中心處具有僅僅一個等於1之非零係數的使輸入及輸出相同的濾波器)作為預測因子。
自適應迴路濾波之一些態樣與像素類別之合併相關。類別經合併以減少發信令濾波器係數之額外負擔。相對於SSE增加了合併兩個類別之成本。考慮具有分別由SSEm 及SSEn 給定之SSE的兩個類別Cm 及Cn 。讓Cm + n 表示具有表示為SSEm + n 之SSE的藉由合併Cm 及Cn 獲得的類別。SSEm + n 始終大於或等於SSEm +SSEn 。讓ΔSSEm + n 表示由合併Cm 及Cn 所引起之SSE增加，其等於SSEm + n -(SSEm +SSEn )。為計算SSEm + n ，視訊編碼器20可使用類似於(1)之以下表達式推導，Cm + n 之濾波器預測誤差： 視訊編碼器20可將經合併類別Cm + n 之SSE計算為：
為將類別之數目自N 減少至N - 1 ，兩個類別(Cm 及Cn )可需要被發現，使得與任何其他組合相比較，合併該兩個類別產生最小ΔSSEm + n 。在一些ALF設計中，視訊編碼器20經組態以檢查用於合併之每一對可用類別以發現具有最小合併成本之對。
若Cm 及Cn (其中m＜n)合併，則視訊編碼器20及視訊解碼器30可將Cn 標記為不可供用於進一步合併且用於Cm 之自相關及交叉相關經改變至如下組合之自相關及交叉相關： 。
視訊編碼器20可基於RD成本判定用於每一圖框之在合併之後的ALF類別之最佳數目。在一個實例中，此藉由開始於二十五(25)個類別及連續合併一對類別(來自可用類別之集合)直至僅僅剩餘一個類別為止而進行。對於在合併之後剩餘的類別(1, 2, …, 25)之每一可能數目，視訊編碼器20可儲存指示哪些類別經共同地合併的映射。視訊編碼器20接著選擇類別之最佳數目使得RD成本經如下最小化： 其中為使用N 個類別之總SSE()，為用以寫碼N 個濾波器的位元之總數目，且為藉由量化參數(QP)判定的加權因數。視訊編碼器20可傳輸用於數目個類別的合併映射(指示哪些類別經共同地合併)至視訊解碼器30。
在下文描述發信令ALF參數之態樣。下文給出藉由視訊編碼器20執行的實例ALF參數編碼程序之簡要逐步描述。視訊解碼器30可經組態以執行互逆程序(例如自視訊解碼器30之視角來看，信號為語法元素之接收)。 1. 發信令圖框層級ALF接通/斷開旗標。 2. 若ALF接通，則發信令指示來自先前圖像的濾波器之使用的時間預測旗標。 3. 若使用時間預測，則發信令對應ALF參數用於濾波當前圖框所藉以的圖框之索引。 4. 若並未使用時間預測，則發信令輔助ALF資訊及濾波器係數如下： a.以下輔助ALF資訊在發信令濾波器係數之前經發信令。輔助ALF資訊可包括： i. 在類別合併之後所使用獨特濾波器的數目。 ii. 濾波器抽頭之數目。 iii. 指示哪些類別共用濾波器預測錯誤的類別合併資訊。 iv. 用於每一類別之固定濾波器預測因子之索引。 b. 在發信令輔助ALF資訊之後，濾波器係數預測錯誤可經發信令如下： i. 一旗標經發信令以指示對於在合併之後的剩餘類別中之一些，濾波器預測錯誤是否強迫成零(0)。 ii. 一旗標經發信令以指示差分編碼是否用於發信令濾波器預測錯誤(在合併之後剩餘的類別之數目是否大於一(1))。 iii. 接著使用k階指數哥倫布寫碼發信令濾波器係數預測錯誤，其中用於不同係數位置之k值係憑經驗選擇。 c. 用於色度分量之濾波器係數(若可用)在不運用任何預測方法情況下直接被寫碼。 5. 最終，區塊層級ALF接通/斷開控制旗標經發信令。
在JEM之一些實例中的自適應迴路濾波之設計可呈現一或多個潛在問題。作為一個實例，一些實例自適應迴路濾波設計對每一圖框執行多個遍次以設計用於整個圖框之濾波器之一個集合(例如用於每一像素類別之一個濾波器或在圖框中之多個類別中共用的一個濾波器)。此等技術引入高編碼器潛時。高編碼器潛時可在低延遲應用(諸如視訊會議)中尤其會有問題，其中儘快發送甚至部分經編碼圖框至通道可係重要的。
作為另一實例，根據一些自適應迴路濾波設計，濾波器之一個集合用於整個圖像。原始圖像及經重建構圖像的小區塊中之本端統計可不同於使用整個圖像獲得的累積統計。因此，對於整個圖像最佳的ALF可能對於給定區塊並非最佳。
作為另一實例，使用圖像之小區塊設計維納濾波器之新集合以便獲得較佳本端適應性的潛在問題係可用於小區塊中之像素的數目可並不足以供視訊編碼器20判定相關矩陣及向量之好估計值。此可產生不適定維納-霍普夫等式，其隨後可輸出非最佳ALF係數。
作為另一實例，一些實例自適應迴路濾波設計定義十六(16)個固定濾波器用於二十五(25)個類別中之每一者，籍此產生總共四百(400)個濾波器。此等濾波器可用作用於每一類別之最終濾波器係數的預測因子濾波器。所使用預測因子濾波器之索引經發信令用於每一類別。此可引起高發信令額外負擔並減少總寫碼增益。
使用固定濾波器集合作為預測因子之另一潛在缺點係預測因子集合並不基於經設計用於先前圖框之新濾波器而修改。因為在時間上相鄰圖框可能具有類似統計，所以使用先前圖框之最佳濾波器可產生當前圖框之最佳濾波器的高效預測。
作為另一實例，一些實例自適應迴路濾波設計對於當前圖框需要兩個遍次進行區塊層級濾波器接通/斷開決策。此引入額外編碼器潛時。ALF接通/斷開旗標經發信令用於的區塊不與寫碼單元(CU)對準。因此，諸如模式、經寫碼區塊旗標等之CU資訊不能在接通/斷開控制決策中考慮。使用此資訊可減少接通/斷開發信令額外負擔。
為解決上文所論述問題中之一或多者，本發明描述用以進一步改良藉由使用自適應迴路濾波所獲得的寫碼增益及視覺品質的技術。視訊編碼器20及/或視訊解碼器30可個別地應用以下詳細列舉技術。替代地，視訊編碼器20及/或視訊解碼器30可應用下文論述的詳細列舉技術之任何組合。
根據本發明之一個實例技術，視訊編碼器20可發信令一個圖像/圖塊/塊中之每區塊的自適應迴路濾波器之集合。舉例而言，對於視訊資料之圖像、圖塊或塊中之每一視訊資料區塊，視訊編碼器20可經組態以編碼指示待針對區塊使用的自適應迴路濾波器之集合的一或多個語法元素。視訊解碼器30可經組態以解碼用於每一區塊之一或多個語法元素以判定待針對區塊使用的自適應迴路濾波器之集合。
在一個實例中，視訊編碼器20可經組態以藉由編碼至濾波器集合(例如複數個自適應迴路濾波器集合)之清單的一集合索引而指示ALF集合(例如上文所提及的自適應迴路濾波器集合)。在本發明中，術語「濾波器集合」可指自適應迴路濾波器之單一集合，術語「多個濾波器集合」可指複數個自適應迴路濾波器集合，且術語「濾波器集合清單」可指複數個自適應迴路濾波器集合之清單。在一個實例中，濾波器集合清單可包括複數個自適應迴路濾波器集合。亦即，濾波器集合清單可包括用於圖像/圖塊/塊之全部經判定可能濾波器集合(亦即，複數個自適應迴路濾波器集合)。在一些實例中，索引自包括於清單中之複數個自適應迴路濾波器集合當中識別自適應迴路濾波器之特定集合。視訊解碼器30可經組態以根據預定規則儲存及/或判定複數個自適應迴路濾波器集合。如下文將論述，複數個自適應迴路濾波器集合可包括預先經訓練濾波器、經發信令用於當前圖像之自適應迴路濾波器，及自先前圖像再使用的自適應迴路濾波器。在一個實例中，對於自適應迴路濾波器之特定集合，自適應迴路濾波器之特定集合的每一各別集合包括經發信令用於當前圖像之當前自適應迴路濾波器或預先經訓練自適應迴路濾波器中之一或多者。視訊解碼器30可經組態以解碼藉由視訊編碼器20發送的索引並自該複數個自適應迴路濾波器集合當中判定待針對特定視訊資料區塊使用的自適應迴路濾波器集合。
以此方式，視訊編碼器20及視訊解碼器30可經組態以自複數個自適應迴路濾波器集合當中判定用於自適應迴路濾波用於的區塊之當前圖像之每區塊的自適應迴路濾波器之各別集合。在本發明之一個實例中，自適應迴路濾波器之每一各別集合包括在一或多個先前圖像中使用的先前自適應迴路濾波器。視訊編碼器20及視訊解碼器30可經組態以在自適應迴路濾波經啟用用於區塊的情況下判定用於當前圖像之各別區塊的自適應迴路濾波器之各別集合(例如如由ALF接通/斷開旗標指示)。
視訊編碼器20及視訊解碼器30可進一步經組態以根據自適應迴路濾波器之各別集合對當前圖像之區塊進行自適應迴路濾波。舉例而言，如上文所描述，視訊編碼器20及視訊解碼器30可經組態以分類區塊之樣本且接著使用與分類相關聯的自適應迴路濾波器之各別集合中的自適應迴路濾波器。在另一實例中，視訊編碼器20可經組態以發信令指示自適應迴路濾波器之各別集合中的哪一自適應迴路濾波器用於當前區塊的語法元素。因此，在一個實例中，視訊編碼器20及視訊解碼器30可經組態以寫碼每區塊之指示自適應迴路濾波是否用於各別區塊的各別旗標(例如區塊層級ALF接通/斷開旗標)，並基於每區塊之各別旗標寫碼當前圖像之每區塊的指示複數個自適應迴路濾波器集合當中的自適應迴路濾波器之各別集合的各別語法元素。在一些實例中，視訊編碼器20及視訊解碼器30將在自適應迴路濾波不用於當前區塊的情況下不寫碼指示自適應迴路濾波器之各別集合的各別語法元素(例如區塊層級ALF旗標指示自適應迴路濾波斷開及/或並不經啟用)。
在以上實例中，當前圖像之「區塊」可定義為任何大小之區塊。在一個實例中，區塊可為寫碼樹型單元(CTU)或任何其他區塊。區塊可由於分割而去耦。在區塊為CTU之情況下，視訊編碼器20及視訊解碼器30可經組態以使用經發信令用於CTU的自適應迴路濾波器集合用於自CTU分割之全部區塊。
在一個實例中，視訊編碼器20及視訊解碼器30可經組態以判定複數個自適應迴路濾波器集合之清單。視訊編碼器20及視訊解碼器30可經組態以判定每圖像、每圖塊或每塊之此清單。該複數個自適應迴路濾波器集合的每一自適應迴路濾波器集合可經組態以使得樣本之每一可能的分類具有相關聯濾波器。亦即，每一集合可含有每類別指派之濾波器。如上文所描述，視訊編碼器20及視訊解碼器30可經組態以寫碼每區塊之一集合索引至該複數個自適應迴路濾波器集合之清單中。在一個實例中，複數個自適應迴路濾波器集合之清單可為圖表，其中圖表中之每一條目為自適應迴路濾波器之特定集合。另外，視訊編碼器20及視訊解碼器30可經組態以寫碼每區塊之指示ALF是否使用的旗標(例如區塊層級ALF接通/斷開旗標)。複數個自適應迴路濾波器集合之清單可包括一或多個預先經訓練濾波器，使用濾波器自先前圖像推導的一或多個濾波器，及/或在用於當前圖像之位元串流中發信令的濾波器。
根據本發明之一些實例，視訊編碼器20及/或視訊解碼器30可跨越不同圖像共用複數個濾波器集合的清單(例如用於先前圖像之自適應迴路濾波器包括於用於寫碼當前區塊的複數個濾波器集合之一集合中)。在一個實例中，濾波器集合清單可運用預先經訓練濾波器初始化。在寫碼圖像之後，視訊編碼器20可基於經編碼圖像推導新的濾波器集合並添加新的濾波器集合至濾波器集合清單。或者，新的濾波器集合可替換清單中之現有濾波器集合。在寫碼另一圖像之後，視訊編碼器20可推導另一濾波器集合且在濾波器集合清單中包括經推導濾波器集合。在此實例中，濾波器集合清單共同用於全部圖像且可在寫碼圖像之後被更新。自解碼器側，視訊解碼器30可在解碼圖像之後或在解碼圖像之前偵測新濾波器集合之發信令。
根據本發明之一些實例，視訊編碼器20可經組態以發信令(例如編碼)每圖像、每圖塊及/或每塊之濾波器的新集合之語法元素。視訊解碼器30可經組態以基於自視訊編碼器20之發信令判定濾波器之新集合並添加濾波器之新集合至包括複數個濾波器集合的清單。
在一個實例中，視訊編碼器20及視訊解碼器30可經組態以添加濾波器之新集合至濾波器集合清單。經更新清單可接著用以濾波下一或一些圖像中之區塊。在另一實例中，視訊編碼器20及視訊解碼器30可經組態以使用經更新清單(例如含有使用當前圖像/圖塊/塊推導的濾波器之新集合)以濾波當前圖像/圖塊/塊中之區塊。
根據本發明之一些實例，視訊編碼器20及視訊解碼器30可運用使用先前圖像、先前圖塊及/或先前塊推導的濾波器來更新濾波器集合清單(例如該複數個自適應迴路濾波器集合之清單)。視訊編碼器20及視訊解碼器30可經組態以在濾波器集合清單中添加自適應迴路濾波器集合所藉以的次序可為固定的，經預定義或撓性的。清單可基於與當前圖像相關的資訊及與推導清單中之對應濾波器所藉以的圖像相關的資訊而每圖像重新定序。視訊編碼器20可使用濾波器集合清單中之索引指示至視訊解碼器30之濾波器集合。在一些實例中，視訊編碼器20可向更頻繁使用之濾波器或新添加之濾波器指派較小索引值。
在一個實例中，視訊編碼器20及視訊解碼器30可經組態以添加新推導之濾波器集合至清單的開頭。在另一實例中，視訊編碼器20及視訊解碼器30可經組態以在清單中在當前經發信令濾波器之後及在清單中之現有濾波器集合(例如預先經訓練固定濾波器之集合)之前添加使用先前圖框推導的濾波器(例如先前自適應迴路濾波器)之集合。在另一實例中，視訊編碼器20及視訊解碼器30可經組態以添加自適應迴路濾波器至自適應迴路濾波器之每一各別集合以使得當前自適應迴路濾波器被首先添加，其次先前自適應迴路濾波器被添加，且預先經訓練自適應迴路濾波器被最後添加。
在本發明之另一實例中，在清單中之濾波器集合的定序可取決於其他圖像相關資訊。舉例而言，自與當前圖像相同之時間層中的圖像推導的濾波器可在使用另一時間層中之圖像推導的濾波器之前置放在清單中。在另一實例中，清單中之濾波器集合的索引可取決於其被推導所藉以的對應圖像是否為用於預測當前圖像的參考圖像。視訊編碼器20及視訊解碼器30可經組態以在自其他參考圖像推導出的濾波器之前添加對應於更頻繁使用之參考圖像的濾波器。以此方式定序濾波器集合可導致對於濾波器集合清單中之最頻繁使用濾波器集合具有較少位元的語法元素(例如濾波器集合清單中之索引)。因此，較少位元可用於發信令用於區塊之濾波器集合，因此增加寫碼效率。
在另一實例中，視訊編碼器20及視訊解碼器30可經組態以在自運用不同量化參數(QP)寫碼之先前圖像推導的濾波器之前添加使用運用類似於當前圖像之QP寫碼之圖像推導的濾波器。
在本發明之另一實例中，視訊編碼器20及視訊解碼器30可經組態以限制濾波器集合清單中之濾波器集合之最大數目。在一個實例中，至多三十二(32)個濾波器集合可保持在濾波器集合清單中。在一些實例中，視訊編碼器20可經組態以在圖塊標頭、序列參數集、圖像參數集中、在其他高層級語法資訊中或在別處發信令清單中的濾波器集合之最大數目。
在本發明之另一實例中，視訊編碼器20可使用不同數目個位元來發信令不同濾波器集合索引。相較於較高索引位置，較少位元可用以指示清單中之較低索引位置(此係因為靠近清單頂部之濾波器集合更可能被選擇)。此外，此可導致較少位元用以發信令更頻繁用於區塊之濾波器集合，因此增加寫碼效率。
根據本發明之一些實例，視訊編碼器20及視訊解碼器30可經組態以共用一些區塊之ALF資訊(例如跨越兩個或大於兩個區塊之ALF資訊的合併)。在一個實例中，視訊編碼器20及視訊解碼器30可經組態以跨越多個區塊共用濾波器集合之索引及/或ALF接通/斷開旗標(此旗標指示自適應迴路濾波是否應用於區塊)。一ALF合併指示符可指示哪些區塊被合併，且哪一ALF資訊與該ALF合併指示符相關聯。合併指示符可為索引、旗標或任何其他語法元素。
在一個實例中，視訊編碼器20及視訊解碼器30可經組態以合併一區塊與在上方之區塊或與左邊之區塊的ALF資訊。在其他實例中，亦可使用允許一個區塊與圖像中之任何其他區塊(亦即，未必相鄰區塊)之合併的更撓性ALF資訊合併。
在本發明之一些實例中，視訊解碼器30可經組態以基於其他現有區塊資訊推導ALF接通/斷開旗標。在一個實例中，視訊解碼器30可基於現有區塊資訊推導ALF接通/斷開旗標，且因而視訊編碼器20可不發信令ALF接通/斷開旗標。視訊編碼器20可發信令用於區塊之群組(表示為ALF區塊)的ALF接通/斷開旗標。ALF區塊之大小可經預定，或可藉由視訊編碼器20發信令。在一個實例中，共用同一ALF接通/斷開旗標之區塊可表示ALF區塊。在另一實例中，ALF區塊可等於一區塊。 a. 在一個實例中，視訊編碼器20及視訊解碼器30可經組態以基於ALF區塊中之區塊的數目推導ALF接通/斷開旗標，該ALF區塊共用同一ALF接通/斷開旗標，從而具有非零經寫碼區塊旗標(CBF)。CBF指示區塊是否包括任何意義(例如非零變換係數)。CBF之值「1」指示區塊包括非零變換係數。若非零CBF之數目小於某一臨限值，則ALF可停用，或預設ALF濾波器可應用於ALF區塊中之彼等區塊。 b. 在子項目編號「a」之實例中，可計數非零變換係數的數目而非CBF。臨限值可經引入用於經計數係數，且若非零變換係數之數目小於該臨限值，則自適應迴路濾波可對於包括於ALF區塊中的區塊而停用，或預設ALF濾波器可應用於彼等區塊。 c. 在另一實例中，若運用跳過模式寫碼的ALF區塊中之區塊的數目大於某一臨限值，則自適應迴路濾波可對於ALF區塊中之彼等區塊而停用。子項目編號「c」之技術可以任何組合方式連同子項目編號「a」及「b」之技術一起使用。 d. 在以上子項目編號「c」的實例中，跳過模式用作實例，且其他寫碼模式(例如特定模式，諸如特定框內預測方向、特定框間預測模式等)可用於推導ALF接通/斷開旗標。
圖4為說明可實施本發明中所描述之技術的實例視訊編碼器20之方塊圖。視訊編碼器20可執行視訊圖塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊中的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中的任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。
在圖4之實例中，視訊編碼器20包括視訊資料記憶體33、分割單元35、預測處理單元41、求和器50、變換處理單元52、量化單元54、熵編碼單元56。預測處理單元41包括運動估計單元(MEU) 42、運動補償單元(MCU) 44及框內預測單元46。對於視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60、求和器62、濾波器單元64及經解碼圖像緩衝器(DPB) 66。
如圖4中所示，視訊編碼器20接收視訊資料並將所接收之視訊資料儲存於視訊資料記憶體33中。視訊資料記憶體33可儲存待由視訊編碼器20之組件編碼的視訊資料。可例如自視訊源18獲得儲存於視訊資料記憶體33中之視訊資料。DPB 66可為儲存參考視訊資料以用於由視訊編碼器20編碼視訊資料(例如在框內或框間寫碼模式中)的參考圖像記憶體。視訊資料記憶體33及DPB 66可由諸如動態隨機存取記憶體(DRAM)之各種記憶體器件中之任一者形成，包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。視訊資料記憶體33及DPB 66可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體33可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。
分割單元35自視訊資料記憶體33擷取視訊資料且將視訊資料分割成視訊區塊。此分割亦可包括分割成圖塊、塊或其他較大單元，以及例如根據LCU及CU的四分樹結構的視訊區塊分割。視訊編碼器20大體上說明編碼待編碼之視訊圖塊內之視訊區塊的組件。圖塊可劃分成多個視訊區塊(且可能劃分成被稱作塊之視訊區塊集合)。預測處理單元41可基於誤差結果(例如寫碼速率及失真等級)選擇複數個可能寫碼模式中之一者(諸如複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者)用於當前視訊區塊。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖像。
預測處理單元41內之框內預測單元46可執行當前視訊區塊相對於與待寫碼的當前區塊相同之圖框或圖塊中的一或多個相鄰區塊之框內預測性寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼，以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊圖塊之框間預測模式。預定圖案可將序列中之視訊圖塊指定為P圖塊或B圖塊。運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示將當前視訊圖框或圖像內之視訊區塊的PU相對於參考圖像內之預測性區塊的移位。
預測性區塊為就像素差而言被發現緊密地匹配待寫碼的視訊區塊之PU之區塊，該像素差可由絕對差和(SAD)、平方差和(SSD)或其他差度量判定。在一些實例中，視訊編碼器20可計算儲存於DPB 66中之參考圖像的子整數像素位置之值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等參考圖像清單中之每一者識別儲存在DPB 66中之一或多個參考圖像。運動估計單元42將所計算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計(可能執行內插至子像素精確度)判定之運動向量而提取或產生預測性區塊。在接收當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差值形成用於區塊之殘餘資料，且可包括明度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。
在預測處理單元41經由框內預測或框間預測產生當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元率。量化程序可減小與係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。在另一實例中，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56對經量化變換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文自適應可變長度寫碼(CAVLC)、上下文自適應二進位算術寫碼(CABAC)、基於語法之上下文自適應二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至視訊解碼器30，或存檔以供稍後藉由視訊解碼器30傳輸或擷取。熵編碼單元56亦可對運動向量及用於藉由預測處理單元41提供的正被寫碼的當前視訊圖塊之其他語法元素進行熵編碼。
反量化單元58及反變換處理單元60分別應用反量化及反變換以重建構像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單中之一者內的參考圖像中之一者之預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊以計算用於子整數像素值以用於運動估計。求和器62將經重建構殘餘區塊添加至藉由運動補償單元44產生之運動補償預測區塊以產生經重建構區塊。
濾波器單元64對經重建構區塊(例如，求和器62之輸出)進行濾波且將經濾波之經重建構區塊儲存於DPB 66中以供用作參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作為參考區塊以對後續視訊圖框或圖像中之區塊進行框間預測。濾波器單元64可執行任何類型之濾波，諸如解塊濾波、SAO濾波、峰值SAO濾波、ALF及/或GALF，及/或其他類型之迴路濾波器。解塊濾波器可(例如)將解塊濾波應用於濾波器區塊邊界，以自經重建構視訊移除區塊效應假影。峰值SAO濾波器可將偏移應用於經重建構像素值，以便改良總體寫碼品質。亦可使用額外迴路濾波器(迴路中或迴路後)。
另外，濾波器單元64可經組態以執行在本發明中與自適應迴路濾波相關的技術中之任一者。詳言之，如上文所描述，濾波器單元64可經組態以自複數個自適應迴路濾波器集合當中判定自適應環路濾波所用於的區塊之當前圖像的每區塊之自適應迴路濾波器之各別集合，其中自適應迴路濾波器之每一各別集合包括在一或多個先前圖像中使用的一先前自適應迴路濾波器，並根據自適應迴路濾波器之各別集合對當前圖像之區塊進行自適應迴路濾波。
圖5為說明可實施本發明中所描述之技術的實例視訊解碼器30之方塊圖。圖5之視訊解碼器30可(例如)經組態以接收上文關於圖4之視訊編碼器20所描述的發信令。在圖5之實例中，視訊解碼器30包括視訊資料記憶體78、熵解碼單元80、預測處理單元81、反量化單元86、反變換處理單元88、求和器90、DPB 94及濾波器單元92。預測處理單元81包括運動補償單元82及框內預測單元84。在一些實例中，視訊解碼器30可執行大體可逆於關於自圖4之視訊編碼器20所描述之編碼遍次的解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30將所接收之經編碼視訊位元串流儲存於視訊資料記憶體78中。視訊資料記憶體78可儲存待由視訊解碼器30之組件解碼的視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體78中之視訊資料可(例如)經由鏈路16自儲存器件26或自本端視訊源(諸如攝影機)或藉由存取實體資料儲存媒體獲得。視訊資料記憶體78可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。DPB 94可為儲存參考視訊資料以供視訊解碼器30用於(例如)以框內或間寫碼模式解碼視訊資料的參考圖像記憶體。視訊資料記憶體78及DPB 94可由各種記憶體器件中之任一者形成，該等記憶體器件諸如DRAM、SDRAM、MRAM、RRAM或其他類型之記憶體器件。視訊資料記憶體78及DPB 94可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體78可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。
視訊解碼器30之熵解碼單元80熵解碼儲存於視訊資料記憶體78中之視訊資料以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級接收語法元素。
當視訊圖塊經寫碼為經框內寫碼(I)圖塊時，預測處理單元81之框內預測處理單元84可基於來自當前圖框或圖像之先前經解碼區塊的經發信令框內預測模式及資料來產生用於當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼圖塊(例如B圖塊或P圖塊)時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收到之運動向量及其他語法元素產生當前視訊圖塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內之參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於DPB 94中之參考圖像使用預設建構技術來建構參考圖框清單、清單0及清單1。
運動補償單元82藉由剖析運動向量及其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊，並使用該預測資訊以產生經解碼當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用接收之語法元素中之一些以判定用以寫碼視訊圖塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊或P圖塊)、圖塊之參考圖像清單中之一或多者之建構資訊、圖塊之每一經框間編碼視訊區塊之運動向量、圖塊之每一經框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此情況下，運動補償單元82可自所接收之語法元素判定由視訊編碼器20所使用之內插濾波器並使用該等內插濾波器以產生預測性區塊。
反量化單元86反量化(或解量化)位元串流中所提供，並由熵解碼單元80解碼的經量化之變換係數。反量化程序可包括使用由視訊編碼器20針對視訊圖塊中之每一視訊區塊計算的量化參數，以判定量化程度及同樣地應被應用之反量化程度。反變換處理單元88將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在預測處理單元81使用例如框內或框間預測產生當前視訊區塊之預測性區塊後，視訊解碼器30藉由將來自反變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊求和而形成經重建構之視訊區塊。求和器90表示執行此求和運算之該或該等組件。
濾波器單元92對經重建構區塊(例如，求和器90之輸出)進行濾波且將經濾波之經重建構區塊儲存於DPB 94中以供用作參考區塊。參考區塊可由運動補償單元82用作參考區塊以框間預測後續視訊圖框或圖像中之區塊。濾波器單元92可執行任何類型之濾波，諸如解塊濾波、SAO濾波、峰值SAO濾波、ALF及/或GALF，及/或其他類型之迴路濾波器。解塊濾波器可(例如)將解塊濾波應用於濾波器區塊邊界，以自經重建構視訊移除區塊效應假影。峰值SAO濾波器可將偏移應用於經重建構像素值，以便改良總體寫碼品質。亦可使用額外迴路濾波器(迴路中或迴路後)。
另外，濾波器單元92可經組態以執行在本發明中與自適應迴路濾波相關的技術中之任一者。詳言之，如上文所描述，濾波器單元92可經組態以自複數個自適應迴路濾波器集合當中判定自適應環路濾波所用於的區塊之當前圖像的每區塊之自適應迴路濾波器之各別集合，其中自適應迴路濾波器之每一各別集合包括在一或多個先前圖像中使用的一先前自適應迴路濾波器，並根據自適應迴路濾波器之各別集合對當前圖像之區塊進行自適應迴路濾波。
圖6展示濾波器單元92之實例實施。濾波器單元64可以相同方式實施。濾波器單元64及92可可能結合視訊編碼器20或視訊解碼器30之其他組件執行本發明之技術。在圖6之實例中，濾波器單元92包括解塊濾波器102、SAO濾波器104及ALF/GALF濾波器106。SAO濾波器104可(例如)經組態以本發明中描述之方式判定區塊之樣本的偏移值。ALF/GALF濾波器106可經組態以自複數個自適應迴路濾波器集合當中判定自適應環路濾波所用於的區塊之當前圖像的每區塊之自適應迴路濾波器之各別集合，其中自適應迴路濾波器之每一各別集合包括在一或多個先前圖像中使用的一先前自適應迴路濾波器，並根據自適應迴路濾波器之各別集合對當前圖像之區塊進行自適應迴路濾波。
濾波器單元92可包括較少濾波器及/或可包括額外濾波器。另外，圖6中展示之特定濾波器可以不同次序實施。亦可使用其他迴路濾波器(在寫碼迴路內或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。給定圖框或圖像中之經解碼視訊區塊接著儲存於DPB 94中，該DPB儲存用於後續運動補償之參考圖像。DPB 94可為額外記憶體的部分或與其分離，該額外記憶體儲存用於稍後呈現於顯示器件(諸如圖1之顯示器件32)上之經解碼視訊。
圖7為說明本發明之實例方法的流程圖。圖7之技術可藉由視訊編碼器20及視訊解碼器30之一或多個結構單元(包括濾波器單元64及濾波器單元92)執行。如上文所論述，術語「寫碼」大體指代編碼及解碼兩者。同樣，術語「寫碼」大體指代編碼及解碼兩者。
在本發明之一個實例中，視訊編碼器20及視訊解碼器30可經組態以自複數個自適應迴路濾波器集合當中判定自適應環路濾波所用於的區塊之當前圖像的每區塊之自適應迴路濾波器之各別集合，其中自適應迴路濾波器之每一各別集合包括在一或多個先前圖像中使用的一先前自適應迴路濾波器(700)。在一個實例中，為判定自適應迴路濾波器之各別集合，視訊編碼器20及視訊解碼器30進一步經組態以寫碼每區塊之指示自適應迴路濾波是否用於各別區塊的各別旗標，並基於每區塊之各別旗標寫碼當前圖像之每區塊的指示該複數個自適應迴路濾波器集合當中的自適應迴路濾波器之各別集合的各別語法元素。在一個實例中，各別語法元素為對包括該複數個自適應迴路濾波器集合之清單的索引。視訊編碼器20及視訊解碼器30可進一步經組態以根據自適應迴路濾波器之各別集合對當前圖像之區塊進行自適應迴路濾波(702)。
圖8為說明本發明之另一實例方法的流程圖。圖8更詳細地展示圖7之技術的實例。舉例而言，視訊編碼器20及視訊解碼器30可經組態以寫碼當前圖像中之視訊資料區塊以建立經重建構視訊資料區塊(800)。亦即，視訊編碼器20及視訊解碼器30可經組態以寫碼當前圖像中之視訊資料之第一區塊以建立第一經重建構視訊資料區塊。
視訊編碼器20及視訊解碼器30接著可經組態以判定區塊層級ALF接通/斷開旗標是否接通(802)。若否，則視訊編碼器20及視訊解碼器30不應用ALF，且實際上繼續寫碼下一視訊資料區塊(810)。若是，則視訊編碼器20及視訊解碼器30對於區塊寫碼指示自適應迴路濾波器之集合的語法元素(804)。舉例而言，視訊編碼器20及視訊解碼器30對於視訊資料之第一區塊寫碼指示複數個自適應迴路濾波器集合當中的自適應迴路濾波器之第一集合的第一語法元素。
視訊編碼器20及視訊解碼器30接著可自當前經寫碼區塊的自適應迴路濾波器之集合判定自適應迴路濾波器(806)。舉例而言，視訊編碼器20及視訊解碼器30可對於第一經重建構視訊資料區塊判定來自自適應迴路濾波器之第一集合的第一自適應迴路濾波器。視訊編碼器20及視訊解碼器30接著可將自適應迴路濾波器應用於經重建構區塊(808)。視訊編碼器20及視訊解碼器30接著可繼續寫碼下一視訊資料區塊(810)。舉例而言，下一視訊資料區塊可為第二視訊資料區塊。接著重複圖8之程序。應注意，當執行本發明之技術時，當判定用於下一視訊資料區塊(例如第二視訊資料區塊)的自適應迴路濾波器之集合時，用於第二視訊資料區塊的自適應迴路濾波器之集合可不同於用於其他視訊資料區塊的自適應迴路濾波器之集合。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而在一電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體(其包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體)。以此方式，電腦可讀媒體大體可對應於(1)為非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可為RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體中之任一者。而且，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
可由一或多個處理器執行指令，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效之整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能性可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於多種器件或裝置中，包括無線手機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適之軟體及/或韌體來提供該等單元。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧系統 12‧‧‧源器件 14‧‧‧目的地器件 16‧‧‧鏈路 18‧‧‧視訊源 20‧‧‧視訊編碼器 22‧‧‧輸出介面 26‧‧‧儲存器件 28‧‧‧輸入介面 30‧‧‧視訊解碼器 31‧‧‧視訊解碼器 32‧‧‧顯示器件 33‧‧‧視訊資料記憶體 35‧‧‧分割單元 41‧‧‧預測處理單元 42‧‧‧運動估計單元(MEU) 44‧‧‧運動補償單元(MCU) 46‧‧‧框內預測單元 50‧‧‧求和器 52‧‧‧變換處理單元 54‧‧‧量化單元 56‧‧‧熵編碼單元 58‧‧‧反量化單元 60‧‧‧反變換處理單元 62‧‧‧求和器 64‧‧‧濾波器單元 66‧‧‧經解碼圖像緩衝器(DPB) 78‧‧‧視訊資料記憶體 80‧‧‧熵解碼單元 81‧‧‧預測處理單元 82‧‧‧運動補償單元 84‧‧‧框內預測單元 86‧‧‧反量化單元 88‧‧‧反變換處理單元 90‧‧‧求和器 92‧‧‧濾波器單元 94‧‧‧經解碼圖像緩衝器(DPB) 102‧‧‧解塊濾波器 104‧‧‧自適應迴路濾波器(SAO)濾波器 106‧‧‧ALF/GALF濾波器 700‧‧‧步驟 702‧‧‧步驟 800‧‧‧步驟 802‧‧‧步驟 804‧‧‧步驟 806‧‧‧步驟 808‧‧‧步驟 810‧‧‧步驟
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統的方塊圖。
圖2展示HEVC解碼器之實例方塊圖。
圖3A至圖3D展示用於邊緣偏移(EO)樣本分類之四個1-D方向圖案。
圖4為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。
圖5為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖6展示用於執行本發明之技術的濾波器單元之實例實施。
圖7為說明本發明之實例方法的流程圖。
圖8為說明本發明之另一實例方法的流程圖。
800‧‧‧步驟
802‧‧‧步驟
804‧‧‧步驟
806‧‧‧步驟
808‧‧‧步驟
810‧‧‧步驟

Claims (36)

  1. 一種寫碼視訊資料之方法，該方法包含：在一圖塊層級判定適用於一圖塊之複數個自適應迴路濾波器集合；對於一當前圖像之一區塊自該複數個自適應迴路濾波器集合當中在一區塊層級判定自適應迴路濾波器之一集合，其中該當前圖像之該等區塊為該圖塊之寫碼樹型單元(CTU)，且其中自適應迴路濾波器之該集合包括包括一或多個先前自適應迴路濾波器且進一步包括一固定自適應迴路濾波器的複數自適應迴路濾波器；及根據自適應迴路濾波器之該集合對該當前圖像之該等區塊進行自適應迴路濾波。
  2. 如請求項1之方法，其中判定自適應迴路濾波器之該集合包含：對於該當前圖像之該區塊，寫碼指示該複數個自適應迴路濾波器集合當中之自適應迴路濾波器之該集合的一語法元素。
  3. 如請求項2之方法，其中該語法元素為對包括該複數個自適應迴路濾波器集合之一清單的一索引。
  4. 如請求項1之方法，其進一步包含：寫碼每區塊之指示自適應迴路濾波是否用於該各別區塊之一各別旗標。
  5. 如請求項1之方法，其進一步包含：寫碼該當前圖像之區塊之每群組的指示自適應迴路濾波是否用於該當前圖像之區塊之該各別群組中之每一區塊的一各別旗標。
  6. 如請求項1之方法，其進一步包含： 基於以下各者中的一或多者判定自適應迴路濾波係用於該當前圖像之每一區塊，抑或用於該當前圖像之區塊之一群組中的每一區塊：具有非零經寫碼區塊旗標(CBF)的區塊之一群組中區塊的一數目，非零變換係數之一數目，以一特定模式寫碼的區塊之一群組中區塊的一數目，及運用跳過模式寫碼的區塊之一群組中區塊的一數目。
  7. 如請求項1之方法，其中自適應迴路濾波器之該集合進一步包括經發信令用於該當前圖像之一或多個當前自適應迴路濾波器中之一或多者。
  8. 如請求項7之方法，其進一步包含：添加自適應迴路濾波器至自適應迴路濾波器之該集合，使得經發信令用於該當前圖像之該一或多個當前自適應迴路濾波器被首先添加，其次該一或多個先前自適應迴路濾波器被添加，且該固定自適應迴路濾波器被最後添加。
  9. 如請求項8之方法，其中該一或多個當前自適應迴路濾波器經發信令用於該當前圖像相對於該一或多個先前自適應迴路濾波器在一濾波器集合清單中具有一較低索引值。
  10. 如請求項7之方法，其進一步包含：對於該當前圖像，寫碼指示用於該當前圖像之該一或多個當前自適應迴路濾波器之一當前自適應迴路濾波器的一或多個語法元素。
  11. 如請求項1之方法，其中自適應迴路濾波器之該集合包括經指派給複數個類別中之每一類別的自適應迴路濾波器。
  12. 如請求項1之方法，其中判定自適應迴路濾波器之該集合包含：對於一第一視訊資料區塊，寫碼指示該複數個自適應迴路濾波器 集合當中的自適應迴路濾波器之一第一集合的一第一語法元素；及對於一第二視訊資料區塊，寫碼指示該複數個自適應迴路濾波器集合當中的自適應迴路濾波器之一第二集合的一第二語法元素，其中自適應迴路濾波器之該第二集合不同於自適應迴路濾波器之該第一集合，該方法進一步包含：寫碼該當前圖像中之該第一視訊資料區塊以建立一第一經重建構視訊資料區塊；對於該第一經重建構視訊資料區塊自自適應迴路濾波器之該第一集合判定一第一自適應迴路濾波器；將該第一自適應迴路濾波器應用於該第一經重建構視訊資料區塊；寫碼該當前圖像中之該第二視訊資料區塊以建立一第二經重建構視訊資料區塊；對於該第二經重建構視訊資料區塊自自適應迴路濾波器之該第二集合判定一第二自適應迴路濾波器；及將該第二自適應迴路濾波器應用於該第二經重建構視訊資料區塊。
  13. 如請求項1之方法，其中寫碼包含編碼，該方法進一步包含：運用一攝影機捕捉該當前圖像。
  14. 如請求項1之方法，其中寫碼包含解碼，該方法進一步包含：顯示該當前圖像。
  15. 如請求項1之方法，其中該當前圖像之該區塊為該當前圖像之一第一區塊，該方法進一步包含：根據判定用於該當前圖像之該第一區塊之自適應迴路濾波器之該集合對該當前圖像之一第二區塊進行自適應迴路濾波。
  16. 一種用於寫碼視訊資料之裝置，其經組態以寫碼視訊資料，該裝置包含：一記憶體，其經組態以儲存視訊資料之一當前圖像；及一或多個處理器，其與該記憶體通信，該一或多個處理器經組態以：在一圖塊層級判定適用於一圖塊之複數個自適應迴路濾波器集合；對於該當前圖像之一區塊自該複數個自適應迴路濾波器集合當中在一區塊層級判定自適應迴路濾波器之一集合，其中該當前圖像之該等區塊為該圖塊之寫碼樹型單元(CTU)，且其中自適應迴路濾波器之該集合包括包括一或多個先前自適應迴路濾波器且進一步包括一固定自適應迴路濾波器的複數自適應迴路濾波器；及根據自適應迴路濾波器之該集合對該當前圖像之該等區塊進行自適應迴路濾波。
  17. 如請求項16之裝置，其中為判定自適應迴路濾波器之該集合，該一或多個處理器進一步經組態以：對於該當前圖像之該區塊，寫碼指示該複數個自適應迴路濾波器集合當中之自適應迴路濾波器之該集合的一語法元素。
  18. 如請求項17之裝置，其中該語法元素為對包括該複數個自適應迴路濾波器集合之一清單的一索引。
  19. 如請求項16之裝置，其中該一或多個處理器進一步經組態以：寫碼每區塊之指示自適應迴路濾波是否用於該各別區塊之一各別旗標。
  20. 如請求項16之裝置，其中該一或多個處理器進一步經組態以：寫碼該當前圖像之區塊之每群組的指示自適應迴路濾波是否用於該當前圖像之區塊之該各別群組中之每一區塊的一各別旗標。
  21. 如請求項16之裝置，其中該一或多個處理器進一步經組態以：基於以下各者中的一或多者判定自適應迴路濾波係用於該當前圖像之每一區塊，抑或用於該當前圖像之區塊之一群組中的每一區塊：具有非零經寫碼區塊旗標(CBF)的區塊之一群組中區塊的一數目，非零變換係數之一數目，以一特定模式寫碼的區塊之一群組中區塊的一數目，及運用跳過模式寫碼的區塊之一群組中區塊的一數目。
  22. 如請求項16之裝置，其中自適應迴路濾波器之該集合進一步包括經發信令用於該當前圖像之一或多個當前自適應迴路濾波器中之一或多者。
  23. 如請求項22之裝置，其中該一或多個處理器進一步經組態以：添加自適應迴路濾波器至自適應迴路濾波器之該集合，使得經發信令用於該當前圖像之該一或多個當前自適應迴路濾波器被首先添加，其次該一或多個先前自適應迴路濾波器被添加，且該固定自適應迴路濾波器被最後添加。
  24. 如請求項23之裝置，其中該一或多個當前自適應迴路濾波器經發信令用於該當前圖像相對於該一或多個先前自適應迴路濾波器在一濾波器集合清單中具有一較低索引值。
  25. 如請求項22之裝置，其中該一或多個處理器進一步經組態以：對於該當前圖像，寫碼指示用於該當前圖像之該一或多個當前自適應迴路濾波器之一當前自適應迴路濾波器之一或多個語法元素。
  26. 如請求項16之裝置，其中自適應迴路濾波器之該集合包括經指派給複數個類別中之每一類別的自適應迴路濾波器。
  27. 如請求項16之裝置，其中為判定自適應迴路濾波器之該集合，該一或多個處理器進一步經組態以：對於一第一視訊資料區塊，寫碼指示該複數個自適應迴路濾波器集合當中的自適應迴路濾波器之一第一集合的一第一語法元素；及對於一第二視訊資料區塊，寫碼指示該複數個自適應迴路濾波器集合當中之自適應迴路濾波器之一第二集合的一第二語法元素，其中自適應迴路濾波器之該第二集合不同於自適應迴路濾波器之該第一集合，且其中該一或多個處理器進一步經組態以：寫碼該當前圖像中之該第一視訊資料區塊以建立一第一經重建構視訊資料區塊；對於該第一經重建構視訊資料區塊自自適應迴路濾波器之該第一集合判定一第一自適應迴路濾波器；將該第一自適應迴路濾波器應用於該第一經重建構視訊資料區塊；寫碼該當前圖像中之該第二視訊資料區塊以建立一第二經重建構視訊資料區塊；對於該第二經重建構視訊資料區塊自自適應迴路濾波器之該第二集合判定一第二自適應迴路濾波器；及將該第二自適應迴路濾波器應用於該第二經重建構視訊資料區塊。
  28. 如請求項16之裝置，其中為寫碼，該一或多個處理器經組態以進行編碼，該裝置進一步包含：一攝影機，其經組態以捕捉該當前圖像。
  29. 如請求項16之裝置，其中為寫碼，該一或多個處理器經組態以進行解碼，該裝置進一步包含：一顯示器，其經組態以顯示該當前圖像。
  30. 如請求項16之裝置，其中該當前圖像之該區塊為該當前圖像之一第一區塊，且其中該一或多個處理器經組態以：根據判定用於該當前圖像之該第一區塊之自適應迴路濾波器之該集合對該當前圖像之一第二區塊進行自適應迴路濾波。
  31. 一種用於寫碼視訊資料之裝置，其經組態以寫碼視訊資料，該裝置包含：用於在一圖塊層級判定適用於一圖塊之複數個自適應迴路濾波器集合的構件；用於對於一當前圖像之一區塊自該複數個自適應迴路濾波器集合當中在一區塊層級判定自適應迴路濾波器之一集合的構件，其中該當前圖像之該等區塊為該圖塊之寫碼樹型單元(CTU)，且其中自適應迴路濾波器之該集合包括包括一或多個先前自適應迴路濾波器且進一步包括一固定自適應迴路濾波器的複數自適應迴路濾波器；及用於根據自適應迴路濾波器之該集合對該當前圖像之該等區塊進行自適應迴路濾波的構件。
  32. 如請求項31之裝置，其中用於判定自適應迴路濾波器之該集合的該構件包含： 用於寫碼用於該區塊之指示自適應迴路濾波是否用於該區塊之一旗標的構件；及用於基於用於該區塊之該旗標寫碼用於該當前圖像之該區塊的指示該複數個自適應迴路濾波器集合當中的自適應迴路濾波器之該集合的一語法元素的構件。
  33. 如請求項31之裝置，其中自適應迴路濾波器之該集合進一步包括經發信令用於該當前圖像之一或多個當前自適應迴路濾波器中之一或多者。
  34. 一種儲存指令的非暫時性電腦可讀儲存媒體，該等指令在執行時使得一或多個處理器執行以下操作：在一圖塊層級判定適用於一圖塊之複數個自適應迴路濾波器集合；對於一當前圖像之一區塊自該複數個自適應迴路濾波器集合當中在一區塊層級判定自適應迴路濾波器之一集合，其中該當前圖像之該等區塊為該圖塊之寫碼樹型單元(CTU)，且其中自適應迴路濾波器之該集合包括包括一或多個先前自適應迴路濾波器且進一步包括一固定自適應迴路濾波器的複數自適應迴路濾波器；及根據自適應迴路濾波器之該集合對該當前圖像之該等區塊進行自適應迴路濾波。
  35. 如請求項34之非暫時性電腦可讀儲存媒體，其中為判定自適應迴路濾波器之該等各別集合，該等指令進一步使得該一或多個處理器執行以下操作：寫碼用於該區塊之指示自適應迴路濾波是否用於該區塊之一旗標；及 基於用於該區塊之該旗標寫碼用於該當前圖像之該區塊的指示該複數個自適應迴路濾波器集合當中的自適應迴路濾波器之該集合的一語法元素。
  36. 如請求項34之非暫時性電腦可讀儲存媒體，其中自適應迴路濾波器之該集合進一步包括經發信令用於該當前圖像之一或多個當前自適應迴路濾波器中之一或多者。
TW108119088A 2018-06-01 2019-05-31 基於區塊之自適應迴路濾波器(alf)之設計及發信令 TWI827609B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862679685P 2018-06-01 2018-06-01
US62/679,685 2018-06-01
US16/427,017 2019-05-30
US16/427,017 US11451773B2 (en) 2018-06-01 2019-05-30 Block-based adaptive loop filter (ALF) design and signaling

Publications (2)

Publication Number Publication Date
TW202005399A TW202005399A (zh) 2020-01-16
TWI827609B true TWI827609B (zh) 2024-01-01

Family

ID=68693391

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108119088A TWI827609B (zh) 2018-06-01 2019-05-31 基於區塊之自適應迴路濾波器(alf)之設計及發信令

Country Status (16)

Country Link
US (1) US11451773B2 (zh)
EP (1) EP3804337A1 (zh)
JP (1) JP7422684B2 (zh)
KR (1) KR20210015819A (zh)
CN (1) CN112243587B (zh)
AU (1) AU2019278991B2 (zh)
BR (1) BR112020024520A2 (zh)
CA (1) CA3099795A1 (zh)
CL (1) CL2020003085A1 (zh)
CO (1) CO2020014698A2 (zh)
IL (1) IL278482B1 (zh)
MX (1) MX2020012846A (zh)
PH (1) PH12020551866A1 (zh)
SG (1) SG11202010952XA (zh)
TW (1) TWI827609B (zh)
WO (1) WO2019232412A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713914B (zh) * 2011-06-30 2021-06-01 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
US11140418B2 (en) 2018-07-17 2021-10-05 Qualcomm Incorporated Block-based adaptive loop filter design and signaling
TWI692939B (zh) * 2018-08-14 2020-05-01 鈺創科技股份有限公司 過濾訊號的數位濾波器
US11284075B2 (en) 2018-09-12 2022-03-22 Qualcomm Incorporated Prediction of adaptive loop filter parameters with reduced memory consumption for video coding
US11051017B2 (en) 2018-12-20 2021-06-29 Qualcomm Incorporated Adaptive loop filter (ALF) index signaling
US11910024B2 (en) 2019-03-11 2024-02-20 Qualcomm Incorporated Boundary handling for adaptive loop filtering
US11159791B2 (en) * 2019-03-16 2021-10-26 Mediatek Inc. Method and apparatus for signaling adaptive loop filter parameters in video coding
US11683487B2 (en) 2019-03-26 2023-06-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) with adaptive parameter set (APS) in video coding
US11284114B2 (en) 2019-04-23 2022-03-22 Qualcomm Incorporated Adaptive loop filter set index signaling
CN112449183B (zh) * 2019-09-03 2023-05-09 联咏科技股份有限公司 视频编码器、视频解码器以及视频***
US20230076537A1 (en) * 2019-12-19 2023-03-09 Telefonaktiebolaget Lm Ericsson (Publ) Picture header prediction
BR112022012383A2 (pt) * 2019-12-23 2022-08-30 Huawei Tech Co Ltd Filtragem loop adaptativa de componente cruzado para codificação de vídeo
US11303892B2 (en) * 2020-01-23 2022-04-12 Qualcomm Incorporated Adaptive rounding for loop filters
US11516514B2 (en) * 2020-03-27 2022-11-29 Tencent America LLC High level control for deblocking operations
US20230085391A1 (en) * 2021-09-13 2023-03-16 Apple Inc. Systems and Methods for Luma or Chroma Statistics Collection
CN116962688A (zh) * 2022-04-20 2023-10-27 腾讯科技（深圳）有限公司 环路滤波方法、视频编解码方法、装置、介质及电子设备
WO2024094071A1 (en) * 2022-11-01 2024-05-10 Douyin Vision Co., Ltd. Using side information for adaptive loop filter in video coding
WO2024119191A1 (en) * 2022-12-03 2024-06-06 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for adaptive loop filtering and cross-component adaptive loop filter

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100074329A1 (en) * 2008-09-25 2010-03-25 Chih-Ming Fu Adaptive interpolation filter for video coding
US20130142262A1 (en) * 2010-01-14 2013-06-06 Dolby Laboratories Licensing Corporation Buffered Adaptive Filters
US20170332075A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8811484B2 (en) 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
JP2011151431A (ja) * 2009-12-25 2011-08-04 Sony Corp 画像処理装置および方法
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US20120039383A1 (en) * 2010-08-12 2012-02-16 Mediatek Inc. Coding unit synchronous adaptive loop filter flags
US9819966B2 (en) 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
US9681132B2 (en) * 2010-11-24 2017-06-13 Thomson Licensing Dtv Methods and apparatus for adaptive loop filtering in video encoders and decoders
US9445126B2 (en) 2011-01-05 2016-09-13 Qualcomm Incorporated Video filtering using a combination of one-dimensional switched filter and one-dimensional adaptive filter
US20120177104A1 (en) * 2011-01-12 2012-07-12 Madhukar Budagavi Reduced Complexity Adaptive Loop Filter (ALF) for Video Coding
US8982960B2 (en) 2011-02-23 2015-03-17 Qualcomm Incorporated Multi-metric filtering
EP2882190B1 (en) * 2011-04-21 2018-11-14 HFI Innovation Inc. Method and apparatus for improved in-loop filtering
US20120294353A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
US9277228B2 (en) * 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
WO2013042884A1 (ko) * 2011-09-19 2013-03-28 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
US9357235B2 (en) * 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
US20130114694A1 (en) * 2011-11-08 2013-05-09 Qualcomm Incorporated Parameter set groups for coded video data
BR112014018856B1 (pt) * 2012-02-01 2022-09-20 Nokia Technologies Oy Método para a codificação de conteúdo de vídeo tridimensional, aparelho para codificação de conteúdo de vídeo tridimensional, meio legível por computador, método para decodificar conteúdo de vídeo tridimensional codificado, aparelho para decodificar conteúdo de vídeo tridimensional codificado
US9596463B2 (en) * 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
US10057574B2 (en) * 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
EP3453174A1 (en) 2016-05-06 2019-03-13 VID SCALE, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
WO2018122092A1 (en) 2016-12-30 2018-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Methods, apparatus, and computer programs for decoding media
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
CN117336497A (zh) * 2017-10-06 2024-01-02 松下电器（美国）知识产权公司 编码方法和解码方法
US11284075B2 (en) 2018-09-12 2022-03-22 Qualcomm Incorporated Prediction of adaptive loop filter parameters with reduced memory consumption for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100074329A1 (en) * 2008-09-25 2010-03-25 Chih-Ming Fu Adaptive interpolation filter for video coding
US20130142262A1 (en) * 2010-01-14 2013-06-06 Dolby Laboratories Licensing Corporation Buffered Adaptive Filters
US20170332075A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding

Also Published As

Publication number Publication date
CO2020014698A2 (es) 2020-12-10
KR20210015819A (ko) 2021-02-10
IL278482B1 (en) 2024-05-01
TW202005399A (zh) 2020-01-16
CA3099795A1 (en) 2019-12-05
JP7422684B2 (ja) 2024-01-26
CN112243587A (zh) 2021-01-19
US20190373258A1 (en) 2019-12-05
AU2019278991A1 (en) 2020-12-03
EP3804337A1 (en) 2021-04-14
PH12020551866A1 (en) 2021-07-19
MX2020012846A (es) 2021-02-18
IL278482A (en) 2020-12-31
JP2021525981A (ja) 2021-09-27
BR112020024520A2 (pt) 2021-03-02
AU2019278991B2 (en) 2022-11-24
WO2019232412A1 (en) 2019-12-05
CL2020003085A1 (es) 2021-06-11
CN112243587B (zh) 2023-01-31
US11451773B2 (en) 2022-09-20
SG11202010952XA (en) 2020-12-30

Similar Documents

Publication Publication Date Title
TWI827609B (zh) 基於區塊之自適應迴路濾波器(alf)之設計及發信令
TWI812694B (zh) 以角度模式延伸之位置相關框內預測組合
US10419757B2 (en) Cross-component filter
JP7423653B2 (ja) ビデオコーディングにおける適応パラメータセット（ａｐｓ）を用いるブロックベースの適応ループフィルタ（ａｌｆ）
TWI782904B (zh) 合併用於視訊寫碼之用於多類別區塊之濾波器
TW201711461A (zh) 片級內部區塊複製及其他視訊寫碼改善
CN109792525B (zh) 峰值样本自适应偏移
WO2019152346A1 (en) Delta quantization parameter (qp) coding options for video
KR20190089890A (ko) 비디오 코딩에서의 양방향 필터 사용의 표시
JP2014506755A (ja) 画素レベルの適応イントラ平滑化
US11051017B2 (en) Adaptive loop filter (ALF) index signaling
US20190320172A1 (en) Hardware-friendly sample adaptive offset (sao) and adaptive loop filter (alf) for video coding
TW201921938A (zh) 具有在用於視訊寫碼之隨機存取組態中之未來參考訊框之可調適圖像群組結構
RU2783335C2 (ru) Устройство и сигнализация адаптивного контурного фильтра (alf) на блочной основе
TWI843809B (zh) 用於視訊寫碼中具有運動向量差之合併模式之信令傳輸
US20190373292A1 (en) In-loop bilateral filter type decision based on block information