TW201832562A - 具有減低複雜性之視訊寫碼中之雙邊濾波器 - Google Patents

具有減低複雜性之視訊寫碼中之雙邊濾波器 Download PDF

Info

Publication number
TW201832562A
TW201832562A TW107102759A TW107102759A TW201832562A TW 201832562 A TW201832562 A TW 201832562A TW 107102759 A TW107102759 A TW 107102759A TW 107102759 A TW107102759 A TW 107102759A TW 201832562 A TW201832562 A TW 201832562A
Authority
TW
Taiwan
Prior art keywords
current block
block
sample
samples
filtered
Prior art date
Application number
TW107102759A
Other languages
English (en)
Inventor
章立
陳建樂
錢威俊
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201832562A publication Critical patent/TW201832562A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Materials For Photolithography (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)

Abstract

一種濾波視訊資料之一經重新建構區塊之實例方法包括:由一或多個處理器獲得該視訊資料之一當前區塊之經重新建構樣本;及由該一或多個處理器選擇性地雙邊濾波該當前區塊之該等經重新建構樣本以產生一經濾波當前區塊。在此實例中,選擇性地雙邊濾波該當前區塊之該等經重新建構樣本包含抑制雙邊濾波該當前區塊之至少一個經重新建構樣本,使得該經濾波當前區塊包括至少一個非經雙邊濾波樣本。

Description

具有減低複雜性之視訊寫碼中之雙邊濾波器
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中,該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話—所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術,諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、進階視訊寫碼(AVC)、ITU-T H.265、高效率視訊寫碼(HEVC)標準及此等標準之延伸所定義之標準中所描述的視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以減低或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼,可將視訊截塊(亦即,視訊圖框或視訊圖框之部分)分割成視訊區塊,其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)截塊中之視訊區塊係使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測予以編碼。圖像之經框間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。空間或時間預測會產生用於待寫碼區塊之預測性區塊。殘餘資料表示原始待寫碼區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差的殘餘資料予以編碼。經框內寫碼區塊係根據框內寫碼模式及殘餘資料予以編碼。為了進行進一步壓縮,可將殘餘資料自像素域變換至變換域,從而產生殘餘變換係數,其接著可被量化。
一般而言,本發明描述可用於作為迴路內寫碼之部分之後處理階段中或用於視訊寫碼之預測階段中的濾波技術。本發明之濾波技術可應用於諸如高效率視訊寫碼(HEVC)之現有視訊編解碼器,或為任何未來視訊寫碼標準中之高效寫碼工具。 在一個實例中,一種濾波視訊資料之一經重新建構區塊之方法包括:由一或多個處理器獲得該視訊資料之一當前區塊之經重新建構樣本;及由該一或多個處理器選擇性地濾波該當前區塊之該等經重新建構樣本以產生一經濾波當前區塊。在此實例中,選擇性地濾波該當前區塊之該等經重新建構樣本包含抑制濾波該當前區塊之至少一個經重新建構樣本,使得該經濾波當前區塊包括至少一個非經濾波樣本及至少一個經濾波樣本。 在另一實例中,一種用於濾波視訊資料之一經重新建構區塊之裝置包括:一記憶體,其經組態以儲存視訊資料;及一或多個處理器。在此實例中,該一或多個處理器經組態以進行以下操作:獲得該視訊資料之一當前區塊之經重新建構樣本;及選擇性地濾波該當前區塊之該等經重新建構樣本以產生一經濾波當前區塊。在此實例中,為了選擇性地濾波該當前區塊之該等經重新建構樣本,該一或多個處理器經組態以抑制濾波該當前區塊之至少一個經重新建構樣本,使得該經濾波當前區塊包括至少一個非經濾波樣本及至少一個經濾波樣本。 在另一實例中,一種用於濾波視訊資料之一經重新建構區塊之裝置包括:用於獲得該視訊資料之一當前區塊之經重新建構樣本的構件;及用於選擇性地濾波該當前區塊之該等經重新建構樣本以產生一經濾波當前區塊的構件。在此實例中,該等用於選擇性地濾波該當前區塊之該等經重新建構樣本的構件經組態以抑制濾波該當前區塊之至少一個經重新建構樣本,使得該經濾波當前區塊包括至少一個非經濾波樣本及至少一個經濾波樣本。 在另一實例中,一種電腦可讀儲存媒體儲存指令,該等指令在執行時致使用於濾波視訊資料之一經重新建構區塊之一器件之一或多個處理器進行以下操作:獲得該視訊資料之一當前區塊之經重新建構樣本;及選擇性地濾波該當前區塊之該等經重新建構樣本以產生一經濾波當前區塊。在此實例中,致使該一或多個處理器選擇性地濾波該當前區塊之該等經重新建構樣本的該等指令包含致使該一或多個處理器進行以下操作的指令:抑制濾波該當前區塊之至少一個經重新建構樣本,使得該經濾波當前區塊包括至少一個非經濾波樣本及至少一個經濾波樣本。 下文在隨附圖式及實施方式中闡述本發明之一或多個態樣的細節。本發明中所描述之技術的其他特徵、目標及優點將自實施方式、圖式及申請專利範圍顯而易見。
本申請案主張2017年1月27日申請之美國臨時申請案第62/451,555 號的權利,該美國臨時申請案之全部內容特此以引用之方式併入。視訊寫碼器(例如,視訊編碼器及視訊解碼器)可對視訊資料執行各種濾波操作。舉例而言,為了節約邊緣且減低雜訊,視訊解碼器可藉由運用視訊資料樣本自身及其相鄰者之加權平均值來替換該樣本而對該樣本執行雙邊濾波。 通常可能需要使視訊寫碼器能夠並行地處理多個視訊資料區塊。舉例而言,視訊解碼器可同時重新建構及濾波若干視訊資料區塊之樣本。藉由並行地處理多個視訊資料區塊,視訊寫碼器可減低為了解碼視訊資料圖像所需要的時間量。然而,在一些狀況下,也許沒有可能並行地處理一些視訊資料區塊。舉例而言,若當前區塊之樣本的解碼及/或重新建構取決於相鄰區塊之經濾波樣本,則其可減小輸送量,此係因為當前區塊之樣本的解碼及/或重新建構需要等待直至相鄰區塊之濾波程序完成為止。 根據本發明之一或多種技術,視訊寫碼器可選擇性地濾波當前區塊之樣本,使得該濾波不會阻止相鄰區塊之並行處理。舉例而言,視訊解碼器可雙邊濾波可未由相鄰區塊用於框內預測的當前區塊之樣本,且抑制雙邊濾波可由相鄰區塊用於框內預測的當前區塊之樣本。以此方式,視訊寫碼器仍可獲得一些濾波益處,同時仍能夠並行地處理相鄰區塊。 圖1為繪示可利用本發明之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1所展示,系統10包括源器件12,源器件12提供稍後將由目的地器件14解碼之經編碼視訊資料。詳言之,源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者,包括桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、平板電腦、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、視訊串流器件或其類似者。在一些狀況下,源器件12及目的地器件14可經裝備以用於無線通信。因此,源器件12及目的地器件14可為無線通信器件。源器件12為實例視訊編碼器件(亦即,用於編碼視訊資料之器件)。目的地器件14為實例視訊解碼器件(亦即,用於解碼視訊資料之器件)。 在圖1之實例中,源器件12包括視訊源18、經組態以儲存視訊資料之儲存媒體19、視訊編碼器20,及輸出介面22。目的地器件14包括輸入介面26、經組態以儲存經編碼視訊資料之儲存媒體28、視訊解碼器30,及顯示器件32。在其他實例中,源器件12及目的地器件14可包括其他組件或配置。舉例而言,源器件12可自諸如外部攝影機之外部視訊源接收視訊資料。同樣地,目的地器件14可與外部顯示器件介接,而非包括整合式顯示器件。 圖1之所繪示系統10僅僅為一個實例。用於處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件執行。儘管本發明之技術通常由視訊編碼器件執行,但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編解碼器(CODEC)」)執行。源器件12及目的地器件14僅僅為此等寫碼器件之實例,其中源器件12產生經寫碼視訊資料以供傳輸至目的地器件14。在一些實例中,源器件12及目的地器件14可以實質上對稱方式而操作,使得源器件12及目的地器件14中之每一者包括視訊編碼及解碼組件。因此,系統10可支援源器件12與目的地器件14之間的單向或雙向視訊傳輸,例如,用於視訊串流、視訊播放、視訊廣播或視訊電話。 源器件12之視訊源18可包括視訊捕捉器件,諸如視訊攝影機、含有經先前捕捉視訊之視訊檔案庫,及/或用以自視訊內容提供者接收視訊資料之視訊饋送介面。作為一另外替代例,視訊源18可產生作為源視訊的基於電腦圖形之資料,或實況視訊、存檔視訊及電腦產生視訊之組合。源器件12可包含經組態以儲存視訊資料之一或多個資料儲存媒體(例如,儲存媒體19)。本發明中所描述之技術可大體上適用於視訊寫碼,且可應用於無線及/或有線應用。在每一狀況下,經捕捉、經預捕捉或電腦產生視訊可由視訊編碼器20編碼。輸出介面22可將經編碼視訊資訊輸出至電腦可讀媒體16。 輸出介面22可包含各種類型之組件或器件。舉例而言,輸出介面22可包含無線傳輸器、數據機、有線網路連接組件(例如,乙太網路卡)或另一實體組件。在輸出介面22包含無線接收器之實例中,輸出介面22可經組態以接收根據諸如4G、4G-LTE、進階LTE、5G及其類似者之蜂巢式通信標準而調變之資料,諸如位元串流。在輸出介面22包含無線接收器之一些實例中,輸出介面22可經組態以接收根據諸如IEEE 802.11規格、IEEE 802.15規格(例如,ZigBee ™)、Bluetooth ™標準及其類似者之其他無線標準而調變之資料,諸如位元串流。在一些實例中,輸出介面22之電路系統可整合至源器件12之視訊編碼器20及/或其他組件之電路系統中。舉例而言,視訊編碼器20及輸出介面22可為系統單晶片(SoC)之部分。SoC亦可包括其他組件,諸如一般用途微處理器、圖形處理單元等等。 目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一些實例中,電腦可讀媒體16包含用以使源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。可根據諸如無線通信協定之通信標準調變經編碼視訊資料,且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成諸如區域網路、廣域網路或諸如網際網路之全域網路的基於封包之網路之部分。通信媒體可包括路由器、交換器、基地台,或可用於促進自源器件12至目的地器件14之通信之任何其他設備。目的地器件14可包含經組態以儲存經編碼視訊資料及經解碼視訊資料之一或多個資料儲存媒體。 在一些實例中,可將經編碼資料自輸出介面22輸出至儲存器件。相似地,可由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本機存取資料儲存媒體中之任一者,諸如硬碟機、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體,或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在一另外實例中,儲存器件可對應於可儲存由源器件12產生之經編碼視訊的檔案伺服器或另一中間儲存器件。目的地器件14可經由串流或下載而自儲存器件存取經儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本機磁碟機。目的地器件14可經由包括網際網路連接之任何標準資料連接而存取經編碼視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等等)或此兩者之組合。自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。 該等技術可應用於視訊寫碼以支援多種多媒體應用中之任一者,諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸—諸如HTTP動態調適性串流(DASH)、編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼,或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸來支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 電腦可讀媒體16可包括:暫時性媒體,諸如無線廣播或有線網路傳輸;或儲存媒體(亦即,非暫時性儲存媒體),諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中,網路伺服器(未圖示)可例如經由網路傳輸而自源器件12接收經編碼視訊資料且將經編碼視訊資料提供至目的地器件14。相似地,諸如光碟衝壓設施之媒體生產設施之計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此,在各種實例中,電腦可讀媒體16可被理解為包括各種形式之一或多個電腦可讀媒體。 目的地器件14之輸入介面26自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20之視訊編碼器20定義之語法資訊,該語法資訊亦由視訊解碼器30使用,該語法資訊包括描述區塊及其他經寫碼單元—例如,圖像群組(GOP)—之特性及/或處理的語法元素。輸入介面26可包含各種類型之組件或器件。舉例而言,輸入介面26可包含無線接收器、數據機、有線網路連接組件(例如,乙太網路卡)或另一實體組件。在輸入介面26包含無線接收器之實例中,輸入介面26可經組態以接收根據諸如4G、4G-LTE、進階LTE、5G及其類似者之蜂巢式通信標準而調變之資料,諸如位元串流。在輸入介面26包含無線接收器之一些實例中,輸入介面26可經組態以接收根據諸如IEEE 802.11規格、IEEE 802.15規格(例如,ZigBee ™)、Bluetooth ™標準及其類似者之其他無線標準而調變之資料,諸如位元串流。在一些實例中,輸入介面26之電路系統可整合至目的地器件14之視訊解碼器30及/或其他組件之電路系統中。舉例而言,視訊解碼器30及輸入介面26可為SoC之部分。SoC亦可包括其他組件,諸如一般用途微處理器、圖形處理單元等等。 儲存媒體28可經組態以儲存經編碼視訊資料,諸如由輸入介面26接收之經編碼視訊資料(例如,位元串流)。顯示器件32向使用者顯示經解碼視訊資料,且可包含多種顯示器件中之任一者,諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。 視訊編碼器20及視訊解碼器單元30各自可被實施為多種合適編碼器電路系統中之任一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術係部分地以軟體予以實施時,一器件可將用於該軟體之指令儲存於合適的非暫時性電腦可讀媒體中,且使用一或多個處理器在硬體中執行該等指令,以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,該一或多個編碼器或解碼器中之任一者可被整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。 在一些實例中,視訊編碼器20及視訊解碼器30可根據諸如現有或未來標準之視訊寫碼標準而操作。實例視訊寫碼標準包括但不限於ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦被稱為ISO/IEC MPEG-4 AVC),包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)延伸。另外,ITU-T視訊寫碼專業團體(VCEG)及ISO/IEC動畫專業團體(MPEG)之視訊寫碼聯合協作小組(JCT-VC)以及3D視訊寫碼延伸開發聯合協作小組(JCT-3V)已開發新視訊寫碼標準,亦即,高效率視訊寫碼(HEVC)或ITU-T H.265,其包括其範圍及螢幕內容寫碼延伸、3D視訊寫碼(3D-HEVC)與多視圖延伸(MV-HEVC),及可調式延伸(SHVC)。Ye-Kui Wang等人在2013年7月25日至8月2日於維也納舉行之第14次會議上的ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合協作小組(JCT-VC)的「High Efficiency Video Coding (HEVC) Defect Report」—文件JCTVC-N1003_v1—為草案HEVC規格。 ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)現在正研究針對未來視訊寫碼技術之標準化的潛在需要,該未來視訊寫碼技術之壓縮能力顯著地超過當前HEVC標準(包括其當前延伸及針對螢幕內容寫碼及高動態範圍寫碼之近期延伸)之壓縮能力。該等團體正共同致力於被稱為聯合視訊探索小組(JVET)之聯合協作工作中之此探索活動,以評估由其在此領域中之專家提出的壓縮技術設計。JVET在2015年10月19日至21日期間首次舉行會議。Jianle Chen等人在2016年5月26日至6月1日於瑞士日內瓦舉行之第3次會議上的ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊探索小組(JVET)的「Algorithm Description of Joint Exploration Test Model 3」—文件JVET-C1001—為聯合探索測試模型3 (JEM3)之演算法描述。 在HEVC及其他視訊寫碼規格中,視訊資料包括一系列圖像。圖像亦可被稱作「圖框」。一圖像可包括一或多個樣本陣列。一圖像之每一各別樣本陣列可包含用於各別色彩分量之樣本陣列。在HEVC中,一圖像可包括三個樣本陣列,被標示為SL 、SCb 及SCr 。SL 為明度樣本之二維陣列(亦即,區塊)。SCb 為Cb色度樣本之二維陣列。SCr 為Cr色度樣本之二維陣列。在其他情況下,圖像可為單色的且可僅包括明度樣本陣列。 作為編碼視訊資料之部分,視訊編碼器20可編碼視訊資料之圖像。換言之,視訊編碼器20可產生視訊資料之圖像之經編碼表示。圖像之經編碼表示可在本文中被稱作「經寫碼圖像」或「經編碼圖像」。 為了產生圖像之經編碼表示,視訊編碼器20可編碼圖像之區塊。視訊編碼器20可將視訊區塊之經編碼表示包括於位元串流中。舉例而言,為了產生圖像之經編碼表示,視訊編碼器20可將圖像之每一樣本陣列分割成寫碼樹型區塊(CTB)且編碼CTB。CTB可為圖像之樣本陣列中的樣本之N×N區塊。在HEVC主規範中,CTB之大小可在16×16至64×64之範圍內,但技術上可支援8×8 CTB大小。 圖像之寫碼樹型單元(CTU)可包含一或多個CTB且可包含用以編碼該一或多個CTB之樣本之語法結構。舉例而言,每一CTU可包含明度樣本之一CTB、色度樣本之兩個對應CTB,及用以編碼該等CTB之樣本之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,一CTU可包含單一CTB,及用以編碼該CTB之樣本之語法結構。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。在本發明中,「語法結構」可被定義為按指定次序一起存在於位元串流中之零或多個語法元素。在一些編解碼器中,經編碼圖像為含有該圖像之所有CTU的經編碼表示。 為了編碼圖像之CTU,視訊編碼器20可將CTU之CTB分割成一或多個寫碼區塊。寫碼區塊為樣本之N×N區塊。在一些編解碼器中,為了編碼圖像之CTU,視訊編碼器20可對CTU之寫碼樹型區塊遞歸地執行四元樹分割以將CTB分割成寫碼區塊,因此命名為「寫碼樹型單元」。寫碼單元(CU)可包含一或多個寫碼區塊,及用以編碼該一或多個寫碼區塊之樣本之語法結構。舉例而言,一CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之一寫碼區塊及色度樣本之兩個對應寫碼區塊,及用以編碼該等寫碼區塊之樣本之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,一CU可包含單一寫碼區塊,及用以寫碼該寫碼區塊之樣本之語法結構。 此外,視訊編碼器20可編碼視訊資料之圖像之CU。在一些編解碼器中,作為編碼CU之部分,視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為被應用相同預測之樣本之矩形(亦即,正方形或非正方形)區塊。CU之一預測單元(PU)可包含CU之一或多個預測區塊,及用以預測該一或多個預測區塊之語法結構。舉例而言,一PU可包含明度樣本之一預測區塊、色度樣本之兩個對應預測區塊,及用以預測該等預測區塊之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,一PU可包含單一預測區塊,及用以預測該預測區塊之語法結構。 視訊編碼器20可產生用於CU之預測區塊(例如,明度、Cb及Cr預測區塊)之預測性區塊(例如,明度、Cb及Cr預測性區塊)。視訊編碼器20可使用框內預測或框間預測以產生預測性區塊。若視訊編碼器20使用框內預測以產生預測性區塊,則視訊編碼器20可基於包括CU之圖像之經解碼樣本而產生預測性區塊。若視訊編碼器20使用框間預測以產生當前圖像之CU之預測性區塊,則視訊編碼器20可基於參考圖像(亦即,除了當前圖像以外之圖像)之經解碼樣本而產生CU之預測性區塊。 視訊編碼器20可產生用於CU之一或多個殘餘區塊。舉例而言,視訊編碼器20可產生用於CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中之一者中之明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差。另外,視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中之Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生用於CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中之Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。 此外,視訊編碼器20可將CU之殘餘區塊分解成一或多個變換區塊。舉例而言,視訊編碼器20可使用四元樹分割以將CU之殘餘區塊分解成一或多個變換區塊。變換區塊為被應用相同變換之樣本之矩形(亦即,正方形或非正方形)區塊。CU之一變換單元(TU)可包含一或多個變換區塊。舉例而言,一TU可包含明度樣本之一變換區塊、色度樣本之兩個對應變換區塊,及用以變換該等變換區塊樣本之語法結構。因此,CU之每一TU可具有一明度變換區塊、一Cb變換區塊及一Cr變換區塊。TU之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。在單色圖像或具有三個單獨色彩平面之圖像中,一TU可包含單一變換區塊,及用以變換該變換區塊之樣本之語法結構。 視訊編碼器20可將一或多個變換應用於TU之變換區塊以產生用於TU之係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。在一些實例中,一或多個變換將變換區塊自像素域轉換至頻域。因此,在此等實例中,變換係數可為被視為在頻域中之純量。變換係數層級為表示在按比例調整以用於計算變換係數值之前與解碼程序中之特定2維頻率索引相關聯之值的整數量。 在一些實例中,視訊編碼器20跳過對變換區塊的變換之應用。在此等實例中,視訊編碼器20可處理殘餘樣本值,可以與變換係數相同之方式處理殘餘樣本值。因此,在視訊編碼器20跳過變換之應用的實例中,變換係數及係數區塊之以下論述可適用於殘餘樣本之變換區塊。 在產生一係數區塊之後,視訊編碼器20可量化該係數區塊。量化通常係指一程序,其中量化變換係數以可能減低用以表示變換係數之資料之量從而提供進一步壓縮。在一些實例中,視訊編碼器20跳過量化。在視訊編碼器20量化一係數區塊之後,視訊編碼器20可產生指示經量化變換係數之語法元素。視訊編碼器20可熵編碼指示經量化變換係數之語法元素中之一或多者。舉例而言,視訊編碼器20可對指示經量化變換係數之語法元素執行上下文調適性二進位算術寫碼(CABAC)。因此,一經編碼區塊(例如,一經編碼CU)可包括指示經量化變換係數之經熵編碼語法元素。 視訊編碼器20可輸出包括經編碼視訊資料之一位元串流。換言之,視訊編碼器20可輸出包括視訊資料之經編碼表示的一位元串流。舉例而言,位元串流可包含形成視訊資料及關聯資料之經編碼圖像之表示的一序列位元。在一些實例中,一經寫碼圖像之一表示可包括區塊之經編碼表示。 位元串流可包含一序列網路抽象層(NAL)單元。一NAL單元為含有NAL單元中之資料之類型之一指示及含有彼資料之位元組的一語法結構,該等位元組呈必要時穿插有仿真阻止位元之原始位元組序列酬載(RBSP)的形式。該等NAL單元中之每一者可包括一NAL單元標頭且囊封一RBSP。該NAL單元標頭可包括指示NAL單元類型碼之一語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。一RBSP可為含有囊封於一NAL單元內之整數數目個位元組之一語法結構。在一些情況下,RBSP包括零個位元。 NAL單元可囊封用於視訊參數集(VPS)、序列參數集(SPS)及圖像參數集(PPS)之RBSP。VPS為包含應用於零或多個全部經寫碼視訊序列(CVS)之語法元素的語法結構。SPS亦為包含應用於零或多個全部CVS之語法元素的語法結構。SPS可包括識別在SPS處於作用中時處於作用中之VPS的語法元素。因此,VPS之語法元素相比於SPS之語法元素可更一般化地適用。PPS為包含應用於零或多個經寫碼圖像之語法元素的語法結構。PPS可包括識別在PPS處於作用中時處於作用中之SPS的語法元素。截塊之截塊標頭可包括指示在截塊正被寫碼時處於作用中之PPS的語法元素。 視訊解碼器30可接收由視訊編碼器20產生之位元串流。如上文所提及,位元串流可包含視訊資料之經編碼表示。視訊解碼器30可解碼位元串流以重新建構視訊資料之圖像。作為解碼位元串流之部分,視訊解碼器30可剖析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素而重新建構視訊資料之圖像。用以重新建構視訊資料之圖像的程序可與由視訊編碼器20執行以編碼該等圖像之程序大體上互逆。舉例而言,視訊解碼器30可使用框間預測或框內預測以產生用於當前CU之每一PU之一或多個預測性區塊,可使用PU之運動向量以判定用於當前CU之PU之預測性區塊。另外,視訊解碼器30可反量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行反變換以重新建構當前CU之TU之變換區塊。在一些實例中,藉由將用於當前CU之PU之預測性區塊之樣本與當前CU之TU之變換區塊之對應經解碼樣本相加,視訊解碼器30可重新建構當前CU之寫碼區塊。藉由重新建構用於圖像之每一CU之寫碼區塊,視訊解碼器30可重新建構圖像。 圖像之截塊可包括圖像之整數數目個CTU。截塊之CTU可按諸如光柵掃描次序之掃描次序連續地排序。在HEVC中,截塊被定義為同一存取單元內的一個獨立截塊片段及先於下一獨立截塊片段(若存在)之所有後續相依截塊片段(若存在)中所含有的整數數目個CTU。此外,在HEVC中,截塊片段被定義為在圖像塊掃描中連續地排序且在單一NAL單元中所含有之整數數目個寫碼樹型單元。圖像塊掃描為分割圖像之CTB之特定循序排序,其中CTB在圖像塊中之CTB光柵掃描中連續地排序,而圖像中之圖像塊在圖像之圖像塊之光柵掃描中連續地排序。如HEVC及潛在其他編解碼器中所定義,圖像塊為圖像中之特定圖像塊行及特定圖像塊列內的CTB之矩形區域。圖像塊之其他定義可應用於除了CTB以外之類型的區塊。 視訊編碼器20及/或視訊解碼器30可對視訊資料執行各種濾波操作。舉例而言,如下文更詳細地所論述,視訊解碼器30可藉由運用視訊資料樣本自身及其相鄰者之加權平均值來替換該樣本而對該樣本執行雙邊濾波。然而,對當前區塊之樣本執行雙邊濾波可減低視訊解碼器30之輸送量,此係因為當前區塊之相鄰區塊之樣本的重新建構可取決於當前區塊之未經濾波樣本。 根據本發明之一或多種技術,視訊編碼器20及視訊解碼器30可選擇性地濾波當前區塊之樣本,使得該濾波不會阻止相鄰區塊之並行處理。舉例而言,視訊解碼器30可雙邊濾波可由相鄰區塊用於框內預測的當前區塊之樣本,且抑制雙邊濾波可未由相鄰區塊用於框內預測的當前區塊之樣本。以此方式,視訊解碼器20及視訊解碼器30仍可獲得一些濾波益處,同時仍能夠並行地處理相鄰區塊。 圖2為繪示可執行本發明之技術之實例視訊編碼器200的方塊圖。視訊編碼器200表示圖1之視訊編碼器20之一個實例,但其他實例係可能的。圖2係出於闡釋之目的而被提供,且不應被視為限制如本發明中大致地所例示及描述之技術。出於闡釋之目的,本發明在諸如HEVC視訊寫碼標準及開發中之H.266視訊寫碼標準之視訊寫碼標準的背景內容中描述視訊編碼器200。然而,本發明之技術並不限於此等視訊寫碼標準,且大體上適用於視訊編碼及解碼。 在圖2之實例中,視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、反量化單元210、反變換處理單元212、重新建構單元214、濾波器單元216、經解碼圖像緩衝器(DPB) 218,及熵編碼單元220。 視訊資料記憶體230可儲存將由視訊編碼器200之組件編碼之視訊資料。視訊編碼器200可自例如視訊源18 (圖1)接收儲存於視訊資料記憶體230中之視訊資料。DPB 218可充當參考圖像記憶體,其儲存參考視訊資料以用於由視訊編碼器200預測後續視訊資料。視訊資料記憶體230及DPB 218可由諸如動態隨機存取記憶體(DRAM)之多種記憶體器件中之任一者形成,該等記憶體器件包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM),或其他類型之記憶體器件。視訊資料記憶體230及DPB 218可由同一記憶體器件或單獨記憶體器件提供。在各種實例中,視訊資料記憶體230可如所繪示而與視訊編碼器200之其他組件一起在晶片上,或相對於彼等組件在晶片外。 在本發明中,對視訊資料記憶體230之參考不應被解譯為限於在視訊編碼器200內部之記憶體,除非有如此特定描述;或對視訊資料記憶體230之參考不應被解譯為限於在視訊編碼器200外部之記憶體,除非有如此特定描述。更確切地,對視訊資料記憶體230之參考應被理解為儲存由視訊編碼器200接收以供編碼之視訊資料(例如,待編碼的用於當前區塊之視訊資料)的參考記憶體。視訊資料記憶體230亦可提供來自視訊編碼器200之各種單元之輸出的暫時儲存。 圖2之各種單元被繪示為輔助理解由視訊編碼器200執行之操作。該等單元可被實施為固定功能電路、可程式化電路或其組合。固定功能電路係指提供特定功能性且對可被執行之操作預設的電路。可程式化電路係指可經程式化以執行各種任務且在可被執行之操作中提供靈活功能性的電路。舉例而言,可程式化電路可執行軟體或韌體,其致使可程式化電路以由軟體或韌體之指令定義的方式而操作。固定功能電路可執行軟體指令(例如,用以接收參數或輸出參數),但固定功能電路執行的操作之類型通常係不可變的。在一些實例中,該等單元中之一或多者可為相異電路區塊(固定功能或可程式化),且在一些實例中,該一或多個單元可為積體電路。 視訊編碼器200可包括由可程式化電路形成之算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或可程式化核心。在視訊編碼器200之操作係由可程式化電路所執行之軟體執行的實例中,視訊資料記憶體230可儲存由視訊編碼器200接收及執行的軟體之物件碼,或另一記憶體(未圖示)可儲存此等指令。 視訊資料記憶體230經組態以儲存經接收視訊資料。視訊編碼器200可自視訊資料記憶體230擷取視訊資料之圖像,且將視訊資料提供至殘餘產生單元204及模式選擇單元202。視訊資料記憶體230中之視訊資料可為待編碼之原始視訊資料。 模式選擇單元202包括運動估計單元222、運動補償單元224及框內預測單元226。模式選擇單元202可包括額外功能單元以根據其他預測模式而執行視訊預測。作為實例,模式選擇單元202可包括調色盤單元、區塊內複製單元(其可為運動估計單元222及/或運動補償單元224之部分)、仿射單元、線性模型(LM)單元或其類似者。 模式選擇單元202通常協調多個編碼遍次以測試編碼參數之組合及用於此等組合之所得速率失真值。編碼參數可包括CTU至CU之分割、用於CU之預測模式、用於CU之殘餘資料之變換類型、用於CU之殘餘資料之量化參數等等。模式選擇單元202最終可選擇相比於其他經測試組合具有較佳速率失真值的編碼參數之組合。 視訊編碼器200可將自視訊資料記憶體230擷取之圖像分割成一系列CTU,且將一或多個CTU囊封於截塊內。模式選擇單元202可根據諸如上文所描述之HEVC之QTBT結構或四元樹結構的樹結構而分割圖像之CTU。如上文所描述,視訊編碼器200可藉由根據樹結構而分割CTU來形成一或多個CU。此CU通常亦可被稱作「視訊區塊」或「區塊」。 一般而言,模式選擇單元202亦控制其組件(例如,運動估計單元222、運動補償單元224及框內預測單元226)以產生用於當前區塊(例如,當前CU,或在HEVC中為PU與TU之重疊部分)之預測區塊。對於當前區塊之框間預測,運動估計單元222可執行運動搜尋以識別一或多個參考圖像(例如,儲存於DPB 218中之一或多個經先前寫碼圖像)中之一或多個緊密匹配參考區塊。詳言之,運動估計單元222可例如根據絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、平均平方差(MSD)或其類似者而計算表示潛在參考區塊與當前區塊之相似程度的值。運動估計單元222通常可使用當前區塊與所考慮之參考區塊之間的逐樣本差來執行此等計算。運動估計單元222可識別具有由此等計算產生之最低值的參考區塊,其指示最緊密地匹配於當前區塊之參考區塊。 運動估計單元222可形成一或多個運動向量(MV),其相對於當前圖像中之當前區塊之位置來界定參考圖像中之參考區塊之位置。運動估計單元222接著可將運動向量提供至運動補償單元224。舉例而言,對於單向框間預測,運動估計單元222可提供單一運動向量,而對於雙向框間預測,運動估計單元222可提供兩個運動向量。運動補償單元224接著可使用運動向量來產生預測區塊。舉例而言,運動補償單元224可使用運動向量來擷取參考區塊之資料。作為另一實例,若運動向量具有分數樣本精確度,則運動補償單元224可根據一或多個內插濾波器而內插用於預測區塊之值。此外,對於雙向框間預測,運動補償單元224可擷取用於由各別運動向量識別之兩個參考區塊之資料,且例如經由逐樣本平均化或加權平均化來組合經擷取資料。 作為另一實例,對於框內預測,或框內預測寫碼,框內預測單元226可自相鄰於當前區塊之樣本產生預測區塊。舉例而言,對於方向模式,框內預測單元226通常可數學上組合相鄰樣本之值,且在橫越當前區塊之定義方向上填入此等計算值以產生預測區塊。作為另一實例,對於DC模式,框內預測單元226可計算當前區塊之相鄰樣本之平均值,且產生預測區塊以針對預測區塊之每一樣本包括此所得平均值。 圖3為繪示用於16×16影像區塊之框內預測之典型實例的概念圖。如圖3所展示,在運用框內預測的情況下,16×16影像區塊(在深色虛線正方形中)可由上方及左側相鄰經重新建構樣本(參考樣本)沿著所選擇預測方向(如由箭頭所指示)預測。 在HEVC中,對於明度區塊之框內預測包括35個模式,包括平面模式、DC模式及33個角模式。圖4A及圖4B為繪示框內預測模式之實例的概念圖。在HEVC中,在已針對垂直(VER)及水平(HOR)框內模式產生框內預測區塊之後,預測樣本之最左行及最頂列分別可被進一步調整。 為了捕捉自然視訊中所呈現之較精細邊緣方向,將方向框內模式自如HEVC中所定義之33延伸至65。新方向模式在圖4B中被描繪為虛線箭頭,且平面及DC模式保持不變。此等較密集方向框內預測模式適用於所有區塊大小以及明度及色度框內預測兩者。 另外,可利用四分接頭框內內插濾波器而非兩分接頭框內內插濾波器來產生框內預測區塊,此會改良方向框內預測準確度。可將HEVC中之邊界濾波器進一步延伸至若干對角框內模式,且使用兩分接頭濾波器(對於框內模式2及34)或三分接頭濾波器(對於框內模式3至6及30至33)來進一步調整高達四行或列之邊界樣本。 位置相依框內預測組合(PDPC)為用於框內預測之後處理,其調用HEVC框內預測與未經濾波邊界參考樣本之組合。在調適性參考樣本平滑化(ARSS)中,使用兩個低通濾波器(LPF)以處理參考樣本: • 3分接頭LPF,其係數為[1, 2, 1] / 4 • 5分接頭LPF,其係數為[2, 3, 6, 3, 2] / 16 CCLM為新色度預測方法,其中利用經重新建構明度區塊及相鄰色度區塊以導出色度預測區塊。可在2016年10月15日至21日中國成都第4次會議的JVET-D1001中(在下文中為「JVET-D1001」)找到關於PDPC、ARSS及CCLM之額外資訊。 模式選擇單元202將預測區塊提供至殘餘產生單元204。殘餘產生單元204自視訊資料記憶體230接收當前區塊之原始的未經寫碼版本,且自模式選擇單元202接收預測區塊之原始的未經寫碼版本。殘餘產生單元204計算當前區塊與預測區塊之間的逐樣本差。所得逐樣本差定義用於當前區塊之殘餘區塊。在一些實例中,殘餘產生單元204亦可判定殘餘區塊中之樣本值之間的差以使用殘餘差分脈碼調變(RDPCM)來產生殘餘區塊。在一些實例中,可使用執行二進位減法之一或多個減法器電路來形成殘餘產生單元204。 在模式選擇單元202將CU分割成PU之實例中,每一PU可與明度預測單元及對應色度預測單元相關聯。視訊編碼器200及視訊解碼器300可支援具有各種大小之PU。如上文所指示,CU之大小可指CU之明度寫碼區塊之大小,且PU之大小可指PU之明度預測單元之大小。假定特定CU之大小為2N×2N,則視訊編碼器200可支援用於框內預測的2N×2N或N×N之PU大小,及用於框間預測的2N×2N、2N×N、N×2N、N×N或相似者之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。 在模式選擇單元未將CU進一步分割成PU之實例中,每一CU可與明度寫碼區塊及對應色度寫碼區塊相關聯。如上,CU之大小可指CU之明度寫碼區塊之大小。視訊編碼器200及視訊解碼器120可支援2N×2N、2N×N或N×2N之CU大小。 作為少數實例,對於諸如區塊內複製模式寫碼、仿射模式寫碼及線性模型(LM)模式寫碼之其他視訊寫碼技術,模式選擇單元202經由與該等寫碼技術相關聯之各別單元而產生用於正被編碼之當前區塊之預測區塊。在諸如調色盤模式寫碼之一些實例中,模式選擇單元202可能不會產生預測區塊,而是產生指示基於所選擇調色盤來重新建構該區塊之方式的語法元素。在此等模式中,模式選擇單元202可將此等語法元素提供至熵編碼單元220以供編碼。 如上文所描述,殘餘產生單元204接收用於當前區塊及對應預測區塊之視訊資料。殘餘產生單元204接著產生用於當前區塊之殘餘區塊。為了產生殘餘區塊,殘餘產生單元204計算預測區塊與當前區塊之間的逐樣本差。因此, 變換處理單元206將一或多個變換應用於殘餘區塊以產生變換係數之區塊(在本文中被稱作「變換係數區塊」)。變換處理單元206可將各種變換應用於殘餘區塊以形成變換係數區塊。舉例而言,變換處理單元206可將離散餘弦變換(DCT)、方向變換、卡忽南-拉維(Karhunen-Loeve)變換(KLT)或概念上相似變換應用於殘餘區塊。在一些實例中,變換處理單元206可對殘餘區塊執行多個變換,例如,主要變換及次要變換,諸如旋轉變換。在一些實例中,變換處理單元206不將變換應用於殘餘區塊。 量化單元208可量化變換係數區塊中之變換係數,以產生經量化變換係數區塊。量化單元208可根據與當前區塊相關聯之量化參數(QP)值而量化變換係數區塊之變換係數。視訊編碼器200 (例如,經由模式選擇單元202)可藉由調整與CU相關聯之QP值而調整應用於與當前區塊相關聯之係數區塊的量化程度。量化可引入資訊損耗,且因此,經量化變換係數相比於由變換處理單元206產生之原始變換係數可具有較低精確度。 反量化單元210及反變換處理單元212可將反量化及反變換分別應用於經量化變換係數區塊,以自變換係數區塊重新建構殘餘區塊。重新建構單元214可基於經重新建構殘餘區塊及由模式選擇單元202產生之預測區塊而產生對應於當前區塊之經重新建構區塊(儘管潛在地具某種程度的失真)。舉例而言,重新建構單元214可將經重新建構殘餘區塊之樣本與來自由模式選擇單元202產生之預測區塊之對應樣本相加,以產生經重新建構區塊。 濾波器單元216可對經重新建構區塊執行一或多個濾波操作。舉例而言,濾波器單元216可執行解區塊操作以減低沿著CU之邊緣的區塊效應假影。如由虛線所繪示,在一些實例中可跳過濾波器單元216之操作。 視訊編碼器200將經重新建構區塊儲存於DPB 218中。舉例而言,在不需要濾波器單元216之操作的實例中,重新建構單元214可將經重新建構區塊儲存至DPB 218。在需要濾波器單元216之操作的實例中,濾波器單元216可將經濾波之經重新建構區塊儲存至DPB 218。運動估計單元222及運動補償單元224可自DPB 218擷取由經重新建構(且潛在地經濾波)區塊形成之參考圖像,以框間預測經隨後編碼圖像之區塊。另外,框內預測單元226可使用當前圖像之DPB 218中之經重新建構區塊,以框內預測當前圖像中之其他區塊。 一般而言,熵編碼單元220可熵編碼自視訊編碼器200之其他功能組件接收的語法元素。舉例而言,熵編碼單元220可熵編碼來自量化單元208之經量化變換係數區塊。作為另一實例,熵編碼單元220可熵編碼來自模式選擇單元202之預測語法元素(例如,用於框間預測之運動資訊,或用於框內預測之框內模式資訊)。熵編碼單元220可對為視訊資料之另一實例的語法元素執行一或多個熵編碼操作,以產生經熵編碼資料。舉例而言,熵編碼單元220可對資料執行上下文調適性可變長度寫碼(CAVLC)操作、CABAC操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文調適性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作,或另一類型之熵編碼操作。在一些實例中,熵編碼單元220可在略過模式中操作,其中不熵編碼語法元素。 視訊編碼器200可輸出位元串流,其包括為了重新建構截塊或圖像之區塊所需要的經熵編碼語法元素。詳言之,熵編碼單元220可輸出該位元串流。 上文所描述之操作係關於區塊予以描述。此描述應被理解為用於明度寫碼區塊及/或色度寫碼區塊之操作。如上文所描述,在一些實例中,明度寫碼區塊及色度寫碼區塊為CU之明度分量及色度分量。在一些實例中,明度寫碼區塊及色度寫碼區塊為PU之明度分量及色度分量。 在一些實例中,不需要針對色度寫碼區塊重複關於明度寫碼區塊所執行之操作。作為一個實例,不需要重複用以識別用於明度寫碼區塊之運動向量(MV)及參考圖像的操作以用於識別用於色度區塊之MV及參考圖像。更確切地,可按比例調整用於明度寫碼區塊之MV以判定用於色度區塊之MV,且參考圖像可不變。作為另一實例,框內預測程序針對明度寫碼區塊及色度寫碼區塊可相同。 如上文所論述,濾波器單元216可對經重新建構區塊執行一或多個濾波操作。在一些實例中,諸如在HEVC中,濾波器單元216可使用兩個迴路內濾波器,包括解區塊濾波器(DBF)及樣本調適性偏移(SAO)濾波器。 至解區塊濾波器寫碼工具之輸入為在預測(例如,框內或框間預測,但其他預測模式係可能的)之後的經重新建構影像。解區塊濾波器在經寫碼區塊邊界處執行假影之偵測,且藉由應用所選擇濾波器來減弱假影。如IEEE彙刊電路系統視訊技術(IEEE Trans. Circuits Syst. Video Technol.),22(12):第1746至1754頁(2012年),Norkin等人的「HEVC Deblocking Filter」中所描述,相較於H.264/AVC解區塊濾波器,HEVC解區塊濾波器具有較低計算複雜性及較佳並行處理能力,同時仍達成顯著的視覺假影減低。 至SAO濾波器之輸入為在調用解區塊濾波之後的經重新建構影像。SAO之概念係藉由以下操作而減低區域之平均樣本失真:首先運用所選擇分類器將區域樣本分類成多個類別,獲得用於每一類別之偏移,且接著將偏移與類別之每一樣本相加,其中分類器索引及區域之偏移係在位元串流中被寫碼。在HEVC中,區域(用於SAO參數傳信之單元)被定義為寫碼樹單元(CTU)。HEVC中採用可滿足低複雜性之要求的兩個SAO類型:邊緣偏移(EO)及頻帶偏移(BO)。SAO類型之索引被寫碼(其在[0, 2]之範圍內)。 對於EO,樣本分類係基於根據如下1維(1-D)方向型樣在當前樣本與相鄰樣本之間的比較:水平、垂直、135°對角,及45°對角。圖5A至圖5D各自繪示用於邊緣偏移樣本分類之1-D方向型樣。圖5A繪示水平(EO類別= 0)型樣,圖5B繪示垂直(EO類別= 1)型樣,圖5C繪示135°對角(EO類別= 2)型樣,且圖5D繪示45°對角(EO類別= 3)型樣。IEEE彙刊電路系統視訊技術(IEEE Trans. Circuits Syst. Video Technol.),22(12):第1755至1764頁(2012年),Fu等人的「Sample adaptive offset in the HEVC standard」中詳細地描述EO。 根據所選擇EO型樣,進一步定義由表1中之edgeIdx標示的五個類別。對於等於0~3之edgeIdx,偏移之量值可被傳信,而正負號旗標被隱含地寫碼,亦即,對於等於0或1之edgeIdx為負偏移,且對於等於2或3之edgeIdx為正偏移。對於等於4之edgeIdx,偏移始終被設定為0,此意謂對於此狀況不需要操作。 1 :用於 EO 之分類 對於BO,樣本分類係基於樣本值。每一色彩分量可具有其自己的SAO參數。BO暗示一個偏移與同一頻帶之所有樣本相加。樣本值範圍被相等地劃分成32個頻帶。對於範圍為0至255之8位元樣本,頻帶之寬度為8,且自8k至8k + 7之樣本值屬於頻帶k,其中k之範圍為0至31。原始樣本與頻帶中之經重新建構樣本(亦即,頻帶之偏移)之間的平均差被傳信至解碼器。對偏移正負號可能不存在約束。四個連續頻帶之偏移(且在一些實例中,僅為四個連續頻帶之偏移)及開始頻帶位置可被傳信至解碼器。 為了減低旁側資訊,可將多個CTU合併在一起(複製來自上方CTU之參數(經由將sao_merge_left_flag 設定為等於1)或複製來自左側CTU之參數(經由將sao_merge_up_flag 設定為等於1))以共用SAO參數。 除了經修改DB及HEVC SAO方法以外,JEM亦已包括另一濾波方法,被稱為基於幾何變換之調適性迴路濾波(GALF)。GALF旨在藉由引入若干新態樣而改良HEVC階段中研究之ALF之寫碼效率。ALF旨在藉由使用基於維納(Wiener)之調適性濾波器而最小化原始樣本與經解碼樣本之間的均方誤差。一圖像中之樣本被分類成多個類別,且每一類別中之樣本接著運用其關聯調適性濾波器予以濾波。濾波器係數可被傳信或繼承以最佳化均方誤差與附加項之間的抵換。一GALF方案可進一步改良ALF之效能,其引入待應用於濾波器支援區域中之樣本的諸如旋轉、對角翻轉及垂直翻轉之幾何變換,此取決於在ALF之前的經重新建構樣本之梯度之定向。至ALF/GALF之輸入為在調用SAO之後的經重新建構影像。 在2016年2月20日至2月26日於美國聖地亞哥舉行之ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11探索小組(JVET)第2次會議上的文件JVET-B0060中,Karczewicz等人的「EE2.5: Improvements on adaptive loop filter」中提出GALF,且在2016年5月26日至6月1日於瑞士日內瓦舉行之ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11探索小組(JVET)第3次會議上的文件JVET-C0038中,Karczewicz等人的「EE2.5: Improvements on adaptive loop filter」中提出GALF,基於幾何變換之ALF (GALF)。GALF已用於JEM之最新版本,亦即,JEM3.0中。在GALF中,在考慮到對角梯度的情況下修改分類,且可將幾何變換應用於濾波器係數。每一2×2區塊基於其方向性及活動之經量化值而分類成25個類別中之一者。以下子章節中描述細節。 如C. Tomasi及R. Manduchi在1998年1月印度孟買IEEE ICCV會刊中的「Bilateral filtering for gray and color images」中所描述,雙邊濾波可幫助避免針對邊緣中之像素的不良過度平滑化。雙邊濾波之主要想法為,相鄰樣本之加權考量像素值自身以更多地加權具有相似明度或色度值之彼等像素。位於(i, j)處之樣本係使用其相鄰樣本(k, l)予以濾波。權重為針對樣本(k, l)所指派之權重以濾波樣本(i, j),且其被定義為:在以上方程式(1)中,I(i, j )及I(k, l)分別為樣本(i, j)及(k,l)之強度值,為空間參數,且為範圍參數。下文提供空間參數及範圍參數之定義。可根據以下方程式(2)而定義具有由標示之經濾波樣本值的濾波程序。雙邊濾波器之性質(或強度)係由此等兩個參數控制。相比於較遠離且具有較大強度差之樣本,位於較接近於待濾波樣本處之樣本及與待濾波樣本具有較小強度差之樣本將具有較大權重。 如2016年10月15至21日在中國成都舉行之第4次會議上JVET-D0069的Jacob Ström等人之「Bilateral filter after inverse transform」(在下文中為「JVET-D0069」)中所描述,變換單元(TU)中之每一經重新建構樣本係僅使用其直接相鄰經重新建構樣本予以濾波。該濾波器具有在待濾波樣本中心處之加號形濾波器孔徑,如圖6所描繪。圖6為繪示當前區塊600之概念圖,當前區塊600包括用於雙邊濾波程序中之當前樣本602及相鄰樣本604至610。空間參數(亦即,)可基於變換單元大小而設定,且範圍參數(亦即,)可基於用於當前區塊400之QP而設定。方程式(3)及(4)提供可如何判定空間及範圍參數之一個實例。如2017年1月12至20日在瑞士日內瓦舉行之第5次會議上JVET-E0032的Jacob Ström等人之「Bilateral filter strength based on prediction mode」(在下文中為「JVET-E0032」)中所描述,為了在低延遲組態下進一步減低寫碼損耗,將濾波器強度進一步設計為取決於經寫碼模式。對於經框內寫碼區塊,仍使用以上方程式(3)。而對於經框間寫碼區塊,應用以下方程式(5)。應注意,所提出之雙邊濾波方法可僅應用於具有至少一個非零係數之明度區塊。對於具有全零係數之色度區塊及明度區塊,可始終停用雙邊濾波方法。 對於位於TU頂部及左側邊界處之樣本(亦即,頂列及左行),僅使用當前TU內之相鄰樣本以濾波當前樣本。圖7為繪示當前TU (例如,4×4 TU)內之相鄰樣本可如何用以濾波當前樣本的概念圖。圖7將當前TU 700繪示為包括當前樣本700及相鄰樣本704至710。如圖7所展示,當前樣本702之左側相鄰樣本710未包括於當前TU 700中。因而,左側相鄰樣本710可能不會用於當前樣本702之濾波程序中。 濾波器單元216可應用根據本發明之技術的雙邊濾波器。舉例而言,濾波器單元216可根據以上方程式(2)而對由重新建構單元214產生的當前區塊之經重新建構樣本應用雙邊濾波器。在將雙邊濾波器應用於當前區塊之經重新建構樣本之後,濾波器單元216可將當前區塊之經濾波版本儲存於經解碼圖像緩衝器218中。當前區塊之經濾波版本可作為參考圖像而用於編碼視訊資料之另一圖像,如在本發明中之其他處所描述。 JVET-D0069及JVET-E0032中之雙邊濾波設計可具有以下潛在問題。詳言之,恰好在一個區塊之重新建構之後應用雙邊濾波器。因此,視訊編碼器20可能必須等待直至針對待寫碼之下一相鄰區塊完成當前區塊之濾波程序為止。此設計可減小管線輸送量,此可為不良的。 本發明之技術可處理上述潛在問題。所提出之一些技術可組合在一起。所提出之技術可應用於取決於某些已知資訊以隱含地導出調適性濾波器參數之其他迴路內濾波方法,或具有明確參數傳信之濾波器。 根據本發明之一或多種技術,濾波器單元216可選擇性地濾波當前區塊之樣本,使得該濾波不會阻止相鄰區塊之並行處理。舉例而言,濾波器單元216可將當前區塊之樣本分類為「待濾波(to be filtered)」或「不待濾波(not to be filtered)」,且僅對被分類為待濾波之樣本執行雙邊濾波(亦即,濾波器單元216可抑制雙邊濾波被分類為不待濾波之樣本)。以此方式,濾波器單元216仍可獲得一些濾波益處,同時仍能夠並行地處理相鄰區塊。 濾波器單元216可以多種方式將當前區塊之樣本分類為待濾波或不待濾波。作為一個實例,濾波器單元216可基於樣本是否可用於預測相鄰區塊之樣本而執行分類。作為另一實例,濾波器單元216可基於樣本是否位於當前區塊之預定義區域中而執行分類。作為另一實例,濾波器單元216可基於樣本是否實際上用於預測相鄰區塊而執行分類。 圖8為根據本發明之一或多種技術的繪示可如何分類樣本之一個實例的概念圖。如圖8所展示,圖像800包括當前區塊810、底部相鄰區塊820及右側相鄰區塊830。 如上文所論述,濾波器單元216可基於當前區塊之樣本是否可用以預測相鄰區塊中之樣本(例如,在框內預測或LM模式中)而分類當前區塊之樣本。舉例而言,濾波器單元216可將當前區塊之所有樣本分類為不待濾波,該等樣本可能由一或多個相鄰區塊用於框內預測,而不評估該等樣本是否實際上用於/將實際上用於框內預測。出於說明起見,若當前區塊之第一樣本可由相鄰區塊用於框內預測,則濾波器單元216可將第一樣本分類為不待濾波且抑制對第一樣本執行雙邊濾波。另一方面,若當前區塊之第二樣本可能不會由相鄰區塊用於框內預測,則濾波器單元216可將第二樣本分類為待濾波且對第二樣本執行雙邊濾波。在一些實例中,濾波器單元216可判定位於當前區塊之最右行或底列的樣本(在採取水平光柵掃描次序的情況下,應理解,最右行及底列被解譯為「前置」行/列,且其他行/列可與其他掃描次序一起使用)可由相鄰區塊用於框內預測。舉例而言,在圖8之實例中,濾波器單元216可將最右行812中之樣本及底列814中之樣本分類為不濾波,此係因為有可能使相鄰區塊820及830將最右行812中之樣本及底列814中之樣本用於框內預測。 如上文所論述,濾波器單元216可基於當前區塊之樣本是否位於當前區塊之預定義區域中而分類該等樣本。此技術可相似於基於樣本是否可由相鄰區塊用於框內預測之分類,且在某些情形中與該分類重疊。舉例而言,當前區塊之預定義區域可包括當前區塊之最右行及底列。 如上文所論述,濾波器單元216可基於樣本是否實際上用於相鄰區塊之預測而執行分類。為了判定當前區塊之哪些樣本由相鄰區塊利用,濾波器單元216可基於自模式選擇單元202接收之資訊而判定當前區塊之相鄰區塊是否運用框內模式被寫碼。回應於判定當前區塊之右側相鄰區塊(例如,區塊830)使用框內預測被寫碼,濾波器單元216可判定位於當前區塊之最右行(例如,行812中之樣本)中的當前區塊之樣本由相鄰區塊用於框內預測。然而,回應於判定當前區塊之右側相鄰區塊(例如,區塊830)未使用框內預測被寫碼(例如,使用框間預測被寫碼),濾波器單元216可判定位於當前區塊之最右行(例如,行812中之樣本)中的當前區塊之樣本未由相鄰區塊用於框內預測。相似地,回應於判定當前區塊之底部相鄰區塊(例如,區塊820)使用框內預測被寫碼,濾波器單元216可判定位於當前區塊之底列(例如,列814中之樣本)中的當前區塊之樣本由相鄰區塊用於框內預測。然而,回應於判定當前區塊之底部相鄰區塊(例如,區塊820)未使用框內預測被寫碼,濾波器單元216可判定位於當前區塊之底列(例如,列814中之樣本)中的當前區塊中之樣本未由相鄰區塊用於框內預測。 在一些實例中,如上文所論述,視訊編碼器20可使用交叉分量線性模型(CCLM)預測模式來預測視訊資料之樣本。在CCLM中,視訊編碼器20可在執行色度區塊之色度框內預測程序時利用整個區塊之明度樣本。因而,在當前區塊之相鄰區塊依賴於明度重新建構樣本的情況下(例如,若相鄰區塊使用CCLM被寫碼),濾波器單元216可判定當前區塊之所有樣本實際上用於相鄰區塊之預測。在此等實例中,濾波器單元216可抑制對當前區塊之任何樣本執行雙邊濾波。 當基於樣本是否可用於預測相鄰區塊之樣本或基於樣本是否位於當前區塊之預定義區域中而分類樣本時,濾波器單元216可避免必須實際上判定當前區塊之哪些(若存在)樣本實際上用於預測相鄰區塊。藉由不判定當前區塊之哪些樣本實際上用於預測相鄰區塊,濾波單元216可減低濾波程序之複雜性。然而,藉由判定當前區塊之哪些樣本實際上用於預測相鄰區塊且僅抑制濾波實際上使用之樣本,濾波單元216可濾波較大數目個樣本,此可改良品質/假影減低。 在一些實例中,與選擇性地濾波當前區塊之一些樣本相反,濾波器單元216可對當前區塊之所有樣本執行雙邊濾波且儲存兩個重新建構區塊/子區塊集合。舉例而言,濾波器單元216可儲存包括當前區塊之未經雙邊濾波樣本的第一集合及包括當前區塊之經雙邊濾波樣本的第二集合。在一些實例中,第二集合可包括被雙邊濾波但尚未由諸如解區塊濾波器之其他迴路內濾波器濾波的樣本。 在一些實例中,框內預測單元226可始終將第一集合用於執行框內明度預測程序。在一些實例中,框內預測單元226可選擇第一集合或第二集合以用於基於框內預測模式資訊而執行相鄰區塊之明度框內預測。舉例而言,若當前區塊之相鄰區塊運用PDPC或ARSS模式被寫碼或邊界濾波器被啟用,則框內預測單元226可選擇第一集合以用於相鄰區塊之明度框內預測程序。在一些實例中,若色度模式依賴於明度重新建構樣本,例如,交叉分量線性模型(CCLM)預測模式,則框內預測單元226可在執行色度區塊之色度框內預測程序時利用對應明度區塊之第一集合。 相似地,可在對下一經寫碼區塊進行所有框內預測之後應用區塊/子區塊之重新建構的濾波程序。此處,框內預測可包括但不限於1)使用隨意經重新建構樣本之傳統正常框內預測,2)交叉分量線性模型(CCLM)預測。 視訊編碼器200表示經組態以編碼視訊資料之器件之實例,該器件包括:記憶體,其經組態以儲存視訊資料(例如,經解碼圖像緩衝器218);及一或多個處理器,其經組態以進行以下操作:獲得視訊資料之當前區塊之經重新建構樣本;及選擇性地雙邊濾波當前區塊之經重新建構樣本以產生經濾波當前區塊,其中選擇性地雙邊濾波當前區塊之經重新建構樣本包含抑制雙邊濾波當前區塊之至少一個經重新建構樣本,使得經濾波當前區塊包括至少一個非經雙邊濾波樣本。 圖9為繪示可執行本發明之技術之實例視訊解碼器300的方塊圖。視訊解碼器300表示圖1之視訊解碼器30之一個實例,但其他實例亦係可能的。圖9係出於闡釋之目的而被提供,且並不限制如本發明中大致地所例示及描述之技術。出於闡釋之目的,本發明描述視訊解碼器300係根據JEM及HEVC之技術予以描述。然而,本發明之技術可由對其他視訊寫碼標準所組態之視訊寫碼器件執行。 在圖9之實例中,視訊解碼器300包括經寫碼圖像緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、反量化單元306、反變換處理單元308、重新建構單元310、濾波器單元312及經解碼圖像緩衝器(DPB) 314。預測處理單元304包括運動補償單元316及框內預測單元318。預測處理單元304可包括用以根據其他預測模式而執行預測之附加單元。作為實例,預測處理單元304可包括調色盤單元、區塊內複製單元(其可形成運動補償單元316之部分)、仿射單元、線性模型(LM)單元或其類似者。在其他實例中,視訊解碼器300可包括更多、更少或不同的功能組件。 CPB記憶體320可儲存將由視訊解碼器300之組件解碼之視訊資料,諸如經編碼視訊位元串流。可例如自儲存媒體28 (圖1)獲得儲存於CPB記憶體320中之視訊資料。CPB記憶體320可包括儲存來自經編碼視訊位元串流之經編碼視訊資料(例如,語法元素)的CPB。又,CPB記憶體320可儲存除了經寫碼圖像之語法元素以外的視訊資料,諸如表示來自視訊解碼器300之各種單元之輸出的暫時資料。DPB 314通常儲存經解碼圖像,視訊解碼器300可在解碼經編碼視訊位元串流之後續資料或圖像時輸出及/或使用該等經解碼圖像作為參考視訊資料。CPB記憶體320及DPB 314可由諸如動態隨機存取記憶體(DRAM)之多種記憶體器件中之任一者形成,該等記憶體器件包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM),或其他類型之記憶體器件。CPB記憶體320及DPB 314可由同一記憶體器件或單獨記憶體器件提供。在各種實例中,CPB記憶體320可與視訊解碼器300之其他組件一起在晶片上,或相對於彼等組件在晶片外。 圖9所展示之各種單元被繪示為輔助理解由視訊解碼器300執行之操作。該等單元可被實施為固定功能電路、可程式化電路或其組合。相似於圖2,固定功能電路係指提供特定功能性且對可被執行之操作預設的電路。可程式化電路係指可經程式化以執行各種任務且在可被執行之操作中提供靈活功能性的電路。舉例而言,可程式化電路可執行軟體或韌體,其致使可程式化電路以由軟體或韌體之指令定義的方式而操作。固定功能電路可執行軟體指令(例如,用以接收參數或輸出參數),但固定功能電路執行的操作之類型通常係不可變的。在一些實例中,該等單元中之一或多者可為相異電路區塊(固定功能或可程式化),且在一些實例中,該一或多個單元可為積體電路。 視訊解碼器300可包括ALU、EFU、數位電路、類比電路,及/或由可程式化電路形成之可程式化核心。在視訊解碼器300之操作係由在可程式化電路上執行之軟體執行的實例中,晶片上或晶片外記憶體可儲存由視訊解碼器300接收及執行的軟體之指令(例如,物件碼)。 熵解碼單元302可自CPB接收經編碼視訊資料且熵解碼視訊資料以再生語法元素。預測處理單元304、反量化單元306、反變換處理單元308、重新建構單元310及濾波器單元312可基於自位元串流提取之語法元素而產生經解碼視訊資料。 一般而言,視訊解碼器300在逐區塊基礎上重新建構圖像。視訊解碼器300可對每一區塊個別地執行重新建構操作(其中當前正被重新建構(亦即,解碼)之區塊可被稱作「當前區塊」)。 熵解碼單元302可熵解碼定義經量化變換係數區塊之經量化變換係數的語法元素,以及諸如量化參數(QP)及/或變換模式指示之變換資訊。反量化單元306可使用與經量化變換係數區塊相關聯之QP以判定量化程度,且同樣地判定使反量化單元306適用之反量化程度。反量化單元306可例如執行按位元左移操作以反量化經量化變換係數。反量化單元306可藉此形成包括變換係數之變換係數區塊。 在反量化單元306形成變換係數區塊之後,反變換處理單元308可將一或多個反變換應用於變換係數區塊以產生與當前區塊相關聯之殘餘區塊。舉例而言,反變換處理單元308可將反DCT、反整數變換、反卡忽南-拉維變換(KLT)、反旋轉變換、反方向變換或另一反變換應用於係數區塊。 此外,預測處理單元304根據由熵解碼單元302熵解碼之預測資訊語法元素而產生預測區塊。舉例而言,若預測資訊語法元素指示當前區塊被框間預測,則運動補償單元316可產生預測區塊。在此狀況下,預測資訊語法元素可指示DPB 314中供擷取參考區塊之參考圖像,以及運動向量,其識別參考圖像中之參考區塊相對於當前圖像中之當前區塊之位置的位置。運動補償單元316通常可以實質上相似於關於運動補償單元224 (圖2)所描述之方式的方式執行框間預測程序。 作為另一實例,若預測資訊語法元素指示當前區塊被框內預測,則框內預測單元318可根據由預測資訊語法元素指示之框內預測模式而產生預測區塊。又,框內預測單元318通常可以實質上相似於關於框內預測單元226 (圖2)所描述之方式的方式執行框內預測程序。框內預測單元318可自DPB 314擷取當前區塊之相鄰樣本之資料。 重新建構單元310可使用預測區塊及殘餘區塊來重新建構當前區塊。舉例而言,重新建構單元310可將殘餘區塊之樣本與預測區塊之對應樣本相加以重新建構當前區塊。 濾波器單元312可對經重新建構區塊執行一或多個濾波操作。舉例而言,濾波器單元312可執行解區塊操作以減低沿著經重新建構區塊之邊緣的區塊效應假影。如由虛線所繪示,未必在所有實例中執行濾波器單元312之操作。 濾波器單元312通常可以實質上相似於關於濾波器單元216 (圖1)所描述之方式的方式執行濾波程序。舉例而言,濾波器單元312可選擇性地濾波當前區塊之樣本,使得該濾波不會阻止相鄰區塊之並行處理。舉例而言,濾波器單元312可將當前區塊之樣本分類為「待濾波」或「不待濾波」,且僅對被分類為待濾波之樣本執行雙邊濾波(亦即,濾波器單元312可抑制雙邊濾波被分類為不待濾波之樣本)。以此方式,濾波器單元312仍可獲得一些濾波益處,同時仍能夠並行地處理相鄰區塊。 視訊解碼器300可將經重新建構區塊儲存於DPB 314中。舉例而言,濾波器單元312可將經濾波之經重新建構區塊儲存於DPB 314中。如上文所論述,DPB 314可向預測處理單元304提供參考資訊,諸如用於框內預測之當前圖像及用於後續運動補償之經先前解碼圖像的樣本。此外,視訊解碼器300可輸出來自DPB之經解碼圖像以用於隨後呈現於諸如圖1之顯示器件32的顯示器件上。 圖10為根據本發明之一或多種技術的繪示用於濾波視訊資料之經重新建構區塊之實例程序的流程圖。出於闡釋之目的,下文將圖10之方法描述為由視訊解碼器30/300及其組件(例如,圖1及圖9所繪示)執行,但圖10之方法可由其他視訊解碼器或視訊編碼器執行。舉例而言,圖10之方法可由視訊編碼器20/200 (例如,圖1及圖2所繪示)執行。 視訊解碼器30可重新建構視訊資料之當前區塊之樣本(1002)。舉例而言,重新建構單元310可將殘餘區塊之樣本(由反變換處理單元308產生)與預測區塊之對應樣本(由預測處理單元304產生)相加以重新建構當前區塊之樣本。 視訊解碼器30可將當前區塊之樣本分類為待濾波或不待濾波(1004)。如上文所論述,濾波器單元216可以多種方法將當前區塊之樣本分類為待濾波或不待濾波。作為一個實例,濾波器單元216可基於樣本是否可用於預測相鄰區塊之樣本而執行分類。作為另一實例,濾波器單元216可基於樣本是否位於當前區塊之預定義區域中而執行分類。作為另一實例,濾波器單元216可基於樣本是否實際上用於預測相鄰區塊而執行分類。在一些實例中,分類樣本可被解譯為判定是否濾波。舉例而言,濾波器單元216可藉由判定是否濾波特定樣本而分類特定樣本,且不需要將值指派至用於特定樣本之某一屬性或變數。 視訊解碼器30可濾波被分類為待濾波的當前區塊之樣本(1006)。舉例而言,濾波器單元216可根據以上方程式(2)而對被分類為待濾波之每一樣本執行雙邊濾波程序。詳言之,濾波器單元216可運用被分類為待濾波之每一樣本自身及其相鄰者之加權平均值來替換該樣本。 視訊解碼器30可儲存當前區塊之經濾波樣本(1008)。舉例而言,濾波器單元216可將經濾波當前區塊(其包括當前區塊之經濾波樣本,以及被分類為不待濾波之未經濾波樣本)儲存於經解碼圖像緩衝器314中。此外,視訊解碼器30可輸出來自DPB之經解碼圖像以用於隨後呈現於諸如圖1之顯示器件32的顯示器件上。 出於說明之目的,已關於視訊寫碼標準而描述本發明之某些態樣。然而,本發明中所描述之技術可用於其他視訊寫碼程序,包括尚未開發之其他標準或專屬視訊寫碼程序。 上文所描述之技術可由視訊編碼器200及/或視訊解碼器120執行,其兩者可被整體上稱作視訊寫碼器。同樣地,在適用時,視訊寫碼可指視訊編碼或視訊解碼。 應理解,本文中所描述之所有技術可被個別地或組合地使用。本發明包括可取決於諸如區塊大小、調色盤大小、截塊類型等等之某些因素而改變之若干傳信方法。傳信或推斷語法元素之此等變化可為編碼器及解碼器先驗地所知,或可在視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)、截塊標頭中、在圖像塊層級處或在其他處被明確地傳信。 應認識到,取決於實例,本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行,可被添加、合併或完全省去(例如,並非所有所描述動作或事件皆為實踐該等技術所必要)。此外,在某些實例中,可例如經由多執行緒處理、中斷處理或多個處理器同時地而非循序地執行動作或事件。另外,儘管出於清晰之目的而將本發明之某些態樣描述為由單一模組或單元執行,但應理解,本發明之技術可由與視訊寫碼器相關聯之單元或模組之組合執行。 儘管上文描述該等技術之各種態樣之特定組合,但提供此等組合僅僅係為了說明本發明中所描述之技術之實例。因此,本發明之技術不應限於此等實例組合且可涵蓋本發明中所描述之技術之各種態樣的任何可設想組合。 在一或多個實例中,所描述之功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或在電腦可讀媒體上進行傳輸,且由基於硬體之處理單元執行。電腦可讀媒體可包括:電腦可讀儲存媒體,其對應於諸如資料儲存媒體之有形媒體;或通信媒體,其包括促進例如根據通信協定將電腦程式自一處傳送至另一處之任何媒體。以此方式,電腦可讀媒體通常可對應於(1)為非暫時性的有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術之指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 作為實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體,或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。此外,任何連接被適當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸指令,則同軸纜線、光纜、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體並不包括連接、載波、信號或其他暫時性媒體,而是有關於非暫時性的有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。 可由諸如以下各者之一或多個處理器執行指令:一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA),或其他等效積體或離散邏輯電路系統。因此,如本文中所使用之術語「處理器」可指前述結構或適合於實施本文中所描述之技術之任何其他結構中之任一者。另外,在一些態樣中,本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內,或併入於組合式編解碼器中。又,該等技術可完全地實施於一或多個電路或邏輯元件中。 本發明之技術可實施於各種各樣的器件或裝置中,該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如,晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣,但未必要求由不同硬體單元來實現。更確切地,如上文所描述,各種單元可結合合適的軟體及/或韌體而組合於編解碼器硬體單元中或由互操作硬體單元之集合提供,該等硬體單元包括如上文所描述之一或多個處理器。 已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
19‧‧‧儲存媒體
20‧‧‧視訊編碼器
22‧‧‧輸出介面
26‧‧‧輸入介面
28‧‧‧儲存媒體
30‧‧‧視訊解碼器
32‧‧‧顯示器件
200‧‧‧視訊編碼器
202‧‧‧模式選擇單元
204‧‧‧殘餘產生單元
206‧‧‧變換處理單元
208‧‧‧量化單元
210‧‧‧反量化單元
212‧‧‧反變換處理單元
214‧‧‧重新建構單元
216‧‧‧濾波器單元
218‧‧‧經解碼圖像緩衝器(DPB)
220‧‧‧熵編碼單元
222‧‧‧運動估計單元
224‧‧‧運動補償單元
226‧‧‧框內預測單元
230‧‧‧視訊資料記憶體
300‧‧‧視訊解碼器
302‧‧‧熵解碼單元
304‧‧‧預測處理單元
306‧‧‧反量化單元
308‧‧‧反變換處理單元
310‧‧‧重新建構單元
312‧‧‧濾波器單元
314‧‧‧經解碼圖像緩衝器(DPB)
316‧‧‧運動補償單元
318‧‧‧框內預測單元
320‧‧‧經寫碼圖像緩衝器(CPB)記憶體
600‧‧‧當前區塊
602‧‧‧當前樣本
604‧‧‧相鄰樣本
606‧‧‧相鄰樣本
608‧‧‧相鄰樣本
610‧‧‧相鄰樣本
700‧‧‧當前TU
702‧‧‧當前樣本
704‧‧‧相鄰樣本
706‧‧‧相鄰樣本
708‧‧‧相鄰樣本
710‧‧‧相鄰樣本
800‧‧‧圖像
810‧‧‧當前區塊
812‧‧‧最右行
814‧‧‧底列
820‧‧‧底部相鄰區塊
830‧‧‧右側相鄰區塊
1002‧‧‧步驟
1004‧‧‧步驟
1006‧‧‧步驟
1008‧‧‧步驟
圖1為繪示可利用本發明中所描述之一或多種技術之實例視訊編碼及解碼系統的方塊圖。 圖2為繪示可實施本發明中描述之技術之實例視訊編碼器的方塊圖。 圖3為繪示用於16×16影像區塊之框內預測之典型實例的概念圖。 圖4A及圖4B為繪示框內預測模式之實例的概念圖。 圖5A至圖5D各自繪示用於邊緣偏移樣本分類之1-D方向型樣。 圖6為繪示包括用於當前樣本之雙邊濾波程序中之當前樣本及相鄰樣本之當前區塊的概念圖。 圖7為繪示當前TU (例如,4×4 TU)內之相鄰樣本可如何用以濾波當前樣本的概念圖。 圖8為根據本發明之一或多種技術的繪示可如何分類樣本之一個實例的概念圖。 圖9為繪示可實施本發明中所描述之一或多種技術之實例視訊解碼器的方塊圖。 圖10為根據本發明之一或多種技術的繪示用於濾波視訊資料之經重新建構區塊之實例程序的流程圖。

Claims (26)

  1. 一種濾波視訊資料之一經重新建構區塊之方法,該方法包含: 由一或多個處理器獲得該視訊資料之一當前區塊之經重新建構樣本;及 由該一或多個處理器選擇性地濾波該當前區塊之該等經重新建構樣本以產生一經濾波當前區塊,其中選擇性地濾波該當前區塊之該等經重新建構樣本包含抑制濾波該當前區塊之至少一個經重新建構樣本,使得該經濾波當前區塊包括至少一個非經濾波樣本及至少一個經濾波樣本。
  2. 如請求項1之方法,其中選擇性地濾波包含選擇性地雙邊濾波該等經重新建構樣本。
  3. 如請求項2之方法,其中雙邊濾波一特定樣本包含運用該特定樣本之一值與該特定樣本之上方、下方、左側及右側相鄰樣本之值的一加權平均值來替換該特定樣本之該值,且其中選擇性地雙邊濾波該當前區塊之該等經重新建構樣本包含雙邊濾波該當前區塊之至少一個經重新建構樣本,使得該經濾波當前區塊包括至少一個經雙邊濾波樣本。
  4. 如請求項1之方法,其中選擇性地濾波該當前區塊之該等經重新建構樣本包含: 由該一或多個處理器將該當前區塊之該等經重新建構樣本分類為待濾波或不待濾波,其中選擇性地濾波包含: 濾波被分類為待濾波的該當前區塊之經重新建構樣本;及 抑制濾波被分類為不待濾波的該當前區塊之經重新建構樣本。
  5. 如請求項4之方法,其中分類該等經重新建構樣本包含: 判定該當前區塊之哪些樣本用於至少一個相鄰區塊之預測; 將用於至少一個相鄰區塊之預測的該當前區塊之經重新建構樣本分類為不待濾波;及 將未用於至少一個相鄰區塊之預測的該當前區塊之經重新建構樣本分類為待濾波。
  6. 如請求項5之方法,其中判定該當前區塊之哪些樣本用於至少一個相鄰區塊之預測包含: 回應於判定該當前區塊之一右側相鄰區塊使用框內預測被寫碼,判定位於該當前區塊之一最右行中的該當前區塊之樣本用於至少一個相鄰區塊之預測;及 回應於判定該當前區塊之一下方相鄰區塊使用框內預測被寫碼,判定位於該當前區塊之一底列中的該當前區塊之樣本用於至少一個相鄰區塊之預測。
  7. 如請求項5之方法,其中該當前區塊包含一當前色度區塊及一當前明度區塊,且其中判定該當前區塊之哪些樣本用於至少一個相鄰區塊之預測包含: 回應於判定該當前色度區塊之一相鄰區塊或該當前明度區塊之一對應色度區塊使用一交叉分量線性模型(CCLM)預測模式被寫碼,判定該當前區塊之所有樣本用於至少一個相鄰區塊之預測。
  8. 如請求項4之方法,其中分類該等經重新建構樣本包含: 將可由相鄰區塊用於框內預測的該當前區塊之經重新建構樣本分類為不待濾波;及 將不可由相鄰區塊用於框內預測的該當前區塊之經重新建構樣本分類為待濾波。
  9. 如請求項4之方法,其中分類該等經重新建構樣本包含: 將位於該當前區塊之一預定義區域中的該當前區塊之經重新建構樣本分類為不待濾波;及 將不位於該當前區塊之該預定義區域中的該當前區塊之經重新建構樣本分類為待濾波。
  10. 如請求項9之方法,其中該預定義區域包括該當前區塊之一最右樣本行及該當前區塊之一底部樣本列。
  11. 如請求項1之方法,該方法可在一無線通信器件上執行,其中該器件包含: 一記憶體,其經組態以儲存該視訊資料;及 一接收器,其經組態以接收該視訊資料且將該視訊資料儲存至該記憶體。
  12. 如請求項11之方法,其中該無線通信器件為一蜂巢式電話,且該視訊資料由一接收器接收且根據一蜂巢式通信標準予以調變。
  13. 一種用於濾波視訊資料之一經重新建構區塊之裝置,該裝置包含: 一記憶體,其經組態以儲存視訊資料;及 一或多個處理器,其經組態以進行以下操作: 獲得該視訊資料之一當前區塊之經重新建構樣本;及 選擇性地濾波該當前區塊之該等經重新建構樣本以產生一經濾波當前區塊,其中,為了選擇性地濾波該當前區塊之該等經重新建構樣本,該一或多個處理器經組態以抑制濾波該當前區塊之至少一個經重新建構樣本,使得該經濾波當前區塊包括至少一個非經濾波樣本及至少一個經濾波樣本。
  14. 如請求項13之裝置,其中,為了選擇性地濾波,該一或多個處理器經組態以選擇性地雙邊濾波該等經重新建構樣本。
  15. 如請求項13之裝置,其中,為了雙邊濾波一特定樣本,該一或多個處理器經組態以運用該特定樣本之一值與該特定樣本之上方、下方、左側及右側相鄰樣本之值的一加權平均值來替換該特定樣本之該值,且其中,為了選擇性地雙邊濾波該當前區塊之該等經重新建構樣本,該一或多個處理器經組態以雙邊濾波該當前區塊之至少一個經重新建構樣本,使得該經濾波當前區塊包括至少一個經雙邊濾波樣本。
  16. 如請求項13之裝置,其中,為了選擇性地濾波該當前區塊之該等經重新建構樣本,該一或多個處理器經組態以進行以下操作: 將該當前區塊之該等經重新建構樣本分類為待濾波或不待濾波; 濾波被分類為待濾波的該當前區塊之經重新建構樣本;及 抑制濾波被分類為不待濾波的該當前區塊之經重新建構樣本。
  17. 如請求項16之裝置,其中,為了分類該等經重新建構樣本,該一或多個處理器經組態以進行以下操作: 判定該當前區塊之哪些樣本用於至少一個相鄰區塊之預測; 將用於至少一個相鄰區塊之預測的該當前區塊之經重新建構樣本分類為不待濾波;及 將未用於至少一個相鄰區塊之預測的該當前區塊之經重新建構樣本分類為待濾波。
  18. 如請求項17之裝置,其中,為了判定該當前區塊之哪些樣本用於至少一個相鄰區塊之預測,該一或多個處理器經組態以進行以下操作: 回應於判定該當前區塊之一右側相鄰區塊使用框內預測被寫碼,判定位於該當前區塊之一最右行中的該當前區塊之樣本用於至少一個相鄰區塊之預測;及 回應於判定該當前區塊之一下方相鄰區塊使用框內預測被寫碼,判定位於該當前區塊之一底列中的該當前區塊之樣本用於至少一個相鄰區塊之預測。
  19. 如請求項17之裝置,其中該當前區塊包含一當前色度區塊及一當前明度區塊,且其中,為了判定該當前區塊之哪些樣本用於至少一個相鄰區塊之預測,該一或多個處理器經組態以進行以下操作: 回應於判定該當前色度區塊之一相鄰區塊或該當前明度區塊之一對應色度區塊使用一交叉分量線性模型(CCLM)預測模式被寫碼,判定該當前區塊之所有樣本用於至少一個相鄰區塊之預測。
  20. 如請求項16之裝置,其中,為了分類該等經重新建構樣本,該一或多個處理器經組態以進行以下操作: 將可由相鄰區塊用於框內預測的該當前區塊之經重新建構樣本分類為不待濾波;及 將不可由相鄰區塊用於框內預測的該當前區塊之經重新建構樣本分類為待濾波。
  21. 如請求項16之裝置,其中,為了分類該等經重新建構樣本,該一或多個處理器經組態以進行以下操作: 將位於該當前區塊之一預定義區域中的該當前區塊之經重新建構樣本分類為不待濾波;及 將不位於該當前區塊之該預定義區域中的該當前區塊之經重新建構樣本分類為待濾波。
  22. 如請求項21之裝置,其中該預定義區域包括該當前區塊之一最右樣本行及該當前區塊之一底部樣本列。
  23. 如請求項13之裝置,其中該器件為一無線通信器件,其進一步包含: 一接收器,其經組態以接收可解碼以獲得該等經重新建構樣本之一位元串流。
  24. 如請求項23之裝置,其中該無線通信器件為一蜂巢式電話,且該位元串流由該接收器接收且根據一蜂巢式通信標準予以調變。
  25. 一種用於濾波視訊資料之一經重新建構區塊之裝置,該裝置包含: 用於獲得該視訊資料之一當前區塊之經重新建構樣本的構件;及 用於選擇性地濾波該當前區塊之該等經重新建構樣本以產生一經濾波當前區塊的構件,其中該等用於選擇性地濾波該當前區塊之該等經重新建構樣本的構件經組態以抑制濾波該當前區塊之至少一個經重新建構樣本,使得該經濾波當前區塊包括至少一個非經濾波樣本及至少一個經濾波樣本。
  26. 一種電腦可讀儲存媒體,其儲存指令,該等指令在執行時致使用於濾波視訊資料之一經重新建構區塊之一器件之一或多個處理器進行以下操作: 獲得該視訊資料之一當前區塊之經重新建構樣本;及 選擇性地濾波該當前區塊之該等經重新建構樣本以產生一經濾波當前區塊,其中致使該一或多個處理器選擇性地濾波該當前區塊之該等經重新建構樣本的該等指令包含致使該一或多個處理器進行以下操作的指令:抑制濾波該當前區塊之至少一個經重新建構樣本,使得該經濾波當前區塊包括至少一個非經濾波樣本及至少一個經濾波樣本。
TW107102759A 2017-01-27 2018-01-25 具有減低複雜性之視訊寫碼中之雙邊濾波器 TW201832562A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762451555P 2017-01-27 2017-01-27
US62/451,555 2017-01-27
US15/879,359 US10694181B2 (en) 2017-01-27 2018-01-24 Bilateral filters in video coding with reduced complexity
US15/879,359 2018-01-24

Publications (1)

Publication Number Publication Date
TW201832562A true TW201832562A (zh) 2018-09-01

Family

ID=61189550

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107102759A TW201832562A (zh) 2017-01-27 2018-01-25 具有減低複雜性之視訊寫碼中之雙邊濾波器

Country Status (9)

Country Link
US (1) US10694181B2 (zh)
EP (1) EP3574650A1 (zh)
KR (1) KR20190110548A (zh)
CN (1) CN110169064B (zh)
AU (1) AU2018212665A1 (zh)
BR (1) BR112019015106A2 (zh)
SG (1) SG11201905243YA (zh)
TW (1) TW201832562A (zh)
WO (1) WO2018140587A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112997491A (zh) * 2018-11-06 2021-06-18 北京字节跳动网络技术有限公司 基于位置的帧内预测
US20210321140A1 (en) 2019-03-08 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Signaling of reshaping information in video processing
CN113711590A (zh) * 2019-04-18 2021-11-26 北京字节跳动网络技术有限公司 减少跨分量模式中的延迟
US11750799B2 (en) 2019-04-23 2023-09-05 Beijing Bytedance Network Technology Co., Ltd Methods for cross component dependency reduction
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction
US11924472B2 (en) 2019-06-22 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Syntax element for chroma residual scaling
US11956439B2 (en) 2019-07-07 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling
US12010333B2 (en) 2019-04-18 2024-06-11 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation in cross component mode

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
GB2567249A (en) * 2017-10-09 2019-04-10 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
EP3547686A1 (en) * 2018-03-29 2019-10-02 InterDigital VC Holdings, Inc. Method and apparatus for decoder side prediction based on weighted distortion
US10958928B2 (en) * 2018-04-10 2021-03-23 Qualcomm Incorporated Decoder-side motion vector derivation for video coding
US10805624B2 (en) * 2018-07-16 2020-10-13 Tencent America LLC Determination of parameters of an affine model
CN110839153B (zh) 2018-08-17 2023-04-07 北京字节跳动网络技术有限公司 一种处理视频数据的方法和装置
US11064196B2 (en) * 2018-09-03 2021-07-13 Qualcomm Incorporated Parametrizable, quantization-noise aware bilateral filter for video coding
US10819979B2 (en) * 2018-09-06 2020-10-27 Tencent America LLC Coupled primary and secondary transform
CN110896479B (zh) 2018-09-12 2023-10-03 北京字节跳动网络技术有限公司 单行交叉分量线性模型预测模式
BR122022004891B1 (pt) 2018-09-20 2023-03-21 Lg Electronics Inc Métodos de decodificação/codificação de imagem realizado por um aparelho de decodificação/codificação, aparelhos de decodificação/codificação para decodificar/codificar imagem, método de transmissão de dados para imagem e meio de armazenamento não transitório legível por computador
SG11202103372XA (en) * 2018-10-01 2021-04-29 Op Solutions Llc Methods and systems of exponential partitioning
WO2020071616A1 (ko) * 2018-10-04 2020-04-09 엘지전자 주식회사 Cclm에 기반한 인트라 예측 방법 및 그 장치
US11178396B2 (en) 2018-11-14 2021-11-16 Tencent America LLC Constrained intra prediction and unified most probable mode list generation
EP3871415A4 (en) 2018-12-07 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. CONTEXT-BASED INTRAPREDICTION
US20220078453A1 (en) * 2018-12-21 2022-03-10 Samsung Electronics Co., Ltd. Encoding method and device thereof, and decoding method and device thereof
CN113330742A (zh) * 2018-12-28 2021-08-31 韩国电子通信研究院 视频编码/解码方法、设备以及存储有比特流的记录介质
JP7279172B2 (ja) 2019-02-01 2023-05-22 北京字節跳動網絡技術有限公司 インループ再成形とインターコーディングツールとの間の相互作用
WO2020156535A1 (en) 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and block differential pulse coded modulation
WO2020156546A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Prediction using extra-buffer samples for intra block copy in video coding
KR102653088B1 (ko) 2019-02-02 2024-04-01 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 초기화
MX2021009788A (es) 2019-02-22 2021-09-08 Beijing Bytedance Network Tech Co Ltd Seleccion de muestra colindante para intraprediccion.
KR102476272B1 (ko) * 2019-02-22 2022-12-09 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측에 기반한 영상 디코딩 방법 및 그 장치
KR102472756B1 (ko) 2019-02-24 2022-12-01 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측을 위한 파라미터 유도
JP7405861B2 (ja) 2019-03-01 2023-12-26 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのための方向に基づく予測
CN117640927A (zh) 2019-03-04 2024-03-01 北京字节跳动网络技术有限公司 视频编解码中的帧内块复制中的实施方式方面
CN117499644A (zh) 2019-03-14 2024-02-02 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
KR20210139272A (ko) 2019-03-23 2021-11-22 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링 파라미터 세트들에 대한 제한들
CN113767631B (zh) * 2019-03-24 2023-12-15 北京字节跳动网络技术有限公司 用于帧内预测的参数推导中的条件
EP3912341A4 (en) * 2019-05-21 2022-10-19 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR INTER-COMPONENT PREDICTION
CN111699681B (zh) * 2019-06-25 2023-11-14 北京大学 一种视频图像处理方法、设备及存储介质
KR20220011182A (ko) 2019-06-25 2022-01-27 에스지 디제이아이 테크놀러지 코., 엘티디 비디오 이미지 처리 방법, 장치 및 저장 매체
EP3972258B1 (en) * 2019-06-25 2024-05-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Information processing method and device, apparatus, and storage medium
CN117294841A (zh) 2019-07-06 2023-12-26 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的虚拟预测缓冲
CN114175633B (zh) 2019-07-10 2023-12-29 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
JP2022539887A (ja) 2019-07-11 2022-09-13 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのためのビットストリーム適合性の制約
WO2021034722A1 (en) * 2019-08-16 2021-02-25 Apple Inc. Adaptive bilateral filtering using look-up tables
US11265558B2 (en) * 2019-11-22 2022-03-01 Qualcomm Incorporated Cross-component adaptive loop filter
EP4140127A4 (en) * 2020-05-26 2023-07-26 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR HIGH-LEVEL SYNTAX FOR SMOOTHING INTRAPREDICATION TECHNIQUES
US11743459B2 (en) * 2020-09-29 2023-08-29 Qualcomm Incorporated Filtering process for video coding
US20240007645A1 (en) * 2020-11-23 2024-01-04 Hyundai Motor Company Video encoding and decoding method using adaptive reference pixel selection

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
US20070171980A1 (en) 2006-01-26 2007-07-26 Yen-Lin Lee Method and Related Apparatus For Decoding Video Streams
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
US7894685B2 (en) * 2008-07-01 2011-02-22 Texas Instruments Incorporated Method and apparatus for reducing ringing artifacts
US8189943B2 (en) 2009-03-17 2012-05-29 Mitsubishi Electric Research Laboratories, Inc. Method for up-sampling depth images
JP5183664B2 (ja) * 2009-10-29 2013-04-17 財團法人工業技術研究院 ビデオ圧縮のためのデブロッキング装置及び方法
KR101681301B1 (ko) * 2010-08-12 2016-12-01 에스케이 텔레콤주식회사 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
US20130177078A1 (en) * 2010-09-30 2013-07-11 Electronics And Telecommunications Research Institute Apparatus and method for encoding/decoding video using adaptive prediction block filtering
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US20120236936A1 (en) * 2011-03-14 2012-09-20 Segall Christopher A Video coding based on edge determination
US9344729B1 (en) * 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9118932B2 (en) * 2013-06-14 2015-08-25 Nvidia Corporation Adaptive filtering mechanism to remove encoding artifacts in video data
US9924175B2 (en) 2014-06-11 2018-03-20 Qualcomm Incorporated Determining application of deblocking filtering to palette coded blocks in video coding
US10321140B2 (en) 2015-01-22 2019-06-11 Mediatek Singapore Pte. Ltd. Method of video coding for chroma components
WO2016184527A1 (en) * 2015-05-21 2016-11-24 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
EP3304906A4 (en) * 2015-06-03 2019-04-17 MediaTek Inc. METHOD AND APPARATUS FOR ERROR PROCESSING FOR VIDEO CODING USING INTRA-BLOCK COPY MODE
EP3767947A1 (en) * 2015-11-17 2021-01-20 Huawei Technologies Co., Ltd. Method and apparatus of adaptive filtering of samples for video coding

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112997491A (zh) * 2018-11-06 2021-06-18 北京字节跳动网络技术有限公司 基于位置的帧内预测
US11930185B2 (en) 2018-11-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Multi-parameters based intra prediction
CN112997491B (zh) * 2018-11-06 2024-03-29 北京字节跳动网络技术有限公司 基于位置的帧内预测
US12015784B2 (en) 2018-11-06 2024-06-18 Beijing Bytedance Network Technology Co., Ltd. Multi-models for intra prediction
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction
US20210321140A1 (en) 2019-03-08 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Signaling of reshaping information in video processing
US11910020B2 (en) 2019-03-08 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Signaling of reshaping information in video processing
US12010333B2 (en) 2019-04-18 2024-06-11 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation in cross component mode
CN113711590A (zh) * 2019-04-18 2021-11-26 北京字节跳动网络技术有限公司 减少跨分量模式中的延迟
CN113711590B (zh) * 2019-04-18 2024-04-19 北京字节跳动网络技术有限公司 减少跨分量模式中的延迟
US11750799B2 (en) 2019-04-23 2023-09-05 Beijing Bytedance Network Technology Co., Ltd Methods for cross component dependency reduction
US11924472B2 (en) 2019-06-22 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Syntax element for chroma residual scaling
US11956439B2 (en) 2019-07-07 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling

Also Published As

Publication number Publication date
SG11201905243YA (en) 2019-08-27
AU2018212665A1 (en) 2019-07-04
CN110169064A (zh) 2019-08-23
BR112019015106A2 (pt) 2020-03-10
WO2018140587A1 (en) 2018-08-02
EP3574650A1 (en) 2019-12-04
CN110169064B (zh) 2021-05-07
US20180220130A1 (en) 2018-08-02
KR20190110548A (ko) 2019-09-30
US10694181B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
CN110169064B (zh) 具有减低复杂性的视频译码中的双边滤波器
US11044473B2 (en) Adaptive loop filtering classification in video coding
TW201830964A (zh) 基於在視訊寫碼中之一預測模式導出雙邊濾波器資訊
TW201838415A (zh) 在視訊寫碼中判定用於雙邊濾波之鄰近樣本
TW201906406A (zh) 與視訊寫碼中之變換處理一起應用之內部濾波
TW201926995A (zh) 用於在視訊寫碼中自適應之迴路濾波之線路緩衝減少
US11153563B2 (en) Combined in-loop filters for video coding
TW202005399A (zh) 基於區塊之自適應迴路濾波器(alf)之設計及發信令
TW201711461A (zh) 片級內部區塊複製及其他視訊寫碼改善
US10764605B2 (en) Intra prediction for 360-degree video
TWI826487B (zh) 用於視訊寫碼中之適應性運動向量差解析度及增加的運動向量儲存精確度的運動向量捨位
JP2019534631A (ja) ピークサンプル適応オフセット
TW202029774A (zh) 藉由轉換域濾波之量化假影抑制及信號恢復
US12010325B2 (en) Intra block copy scratch frame buffer
US20190014349A1 (en) Division-free bilateral filter
CN115104303A (zh) 用于视频滤波的方法和装置
JP7494218B2 (ja) ビデオエンコーディングにおける適応ループフィルタのためのクリッピングインデックスコード化
JP2023512898A (ja) ビデオフィルタリングにおけるオフセットの方法及び装置
CN115336270A (zh) 用于视频滤波的方法和装置
TW202002654A (zh) 具有群組分流位元子之係數寫碼
CN115398899A (zh) 视频滤波方法和装置
TW202041018A (zh) 預測係數寫碼
CN115398893B (zh) 用于在视频编解码中滤波的方法和用于视频解码的设备
TWI843809B (zh) 用於視訊寫碼中具有運動向量差之合併模式之信令傳輸
US20190373292A1 (en) In-loop bilateral filter type decision based on block information