TWI739386B - 具有適應性參數集之適應性迴路濾波器 - Google Patents

具有適應性參數集之適應性迴路濾波器 Download PDF

Info

Publication number
TWI739386B
TWI739386B TW109112212A TW109112212A TWI739386B TW I739386 B TWI739386 B TW I739386B TW 109112212 A TW109112212 A TW 109112212A TW 109112212 A TW109112212 A TW 109112212A TW I739386 B TWI739386 B TW I739386B
Authority
TW
Taiwan
Prior art keywords
filter
aps
current block
adaptive parameter
parameter set
Prior art date
Application number
TW109112212A
Other languages
English (en)
Other versions
TW202101979A (zh
Inventor
蕭裕霖
陳俊嘉
陳慶曄
莊子德
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202101979A publication Critical patent/TW202101979A/zh
Application granted granted Critical
Publication of TWI739386B publication Critical patent/TWI739386B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一種用於信令適應性迴路濾波器(ALF)設置的方法。 視訊解碼器從位元流接收資料,以將要解碼的像素塊作為視訊當前圖片的當前塊。 視訊解碼器解析是否使用適應性參數集(APS)來對當前塊進行濾波,而無需確定是否從多個APS中選擇特定的APS。 當使用APS對當前塊進行濾波時,視訊解碼器解析第一濾波器選擇索引,以從APS中的一組濾波器中選擇濾波器。 當不使用APS濾波當前塊時,視訊解碼器信令第二個濾波器選擇索引,用於從一組默認的固定濾波器中選擇一個濾波器。 視訊解碼器基於所選濾波器濾波當前塊。 視訊解碼器輸出濾波後的當前塊。

Description

具有適應性參數集之適應性迴路濾波器
本公開總體上涉及視訊處理。特別地,本公開涉及信令(signal)適應性迴路(adaptive loop)濾波器設置的方法。
除非本文另外指出,否則本節中描述的方法不是後面列出的申請專利範圍的現有技術,並且不被包括在本節中而被承認為現有技術。
高效視訊編解碼(HEVC)是由視訊編解碼聯合協作團隊(JCT-VC)開發的最新國際視訊編解碼標準。從重構信號中預測輸入視訊信號,該重構信號從編解碼後的圖片區域中得出。預測殘差信號通過線性變換進行處理以產生一組(set,亦稱為集合)變換係數(transform coefficient)。量化變換係數,並與位元流中的其他輔助資訊(side information)一起進行熵編解碼。在對去量化的變換係數進行逆變換之後,從預測信號和重構殘留信號生成重構信號。重構的信號通過迴路濾波進一步處理,以消除編解碼偽像。解碼後的圖片存儲在幀緩衝器中,以預測輸入視訊信號中的未來圖片。
在HEVC中,將經解碼的圖片劃分成由關聯的編解碼樹單元(coding tree unit,簡寫為CTU)表示的非重疊的正方形塊區域。編解碼的圖片可以由切片的集合表示,每個切片包括整數個CTU。切片中的各個CTU按光柵掃描順序進行處理。可以使用幀內預測或幀間預測使用最多兩個運動矢量和參 考索引來解碼雙向預測(bi-predictive,簡寫為B)切片,以預測每個塊的採樣值。使用幀內預測或幀間預測使用最多一個運動矢量和參考索引對預測(P)切片(predictive slice/P slice)進行解碼,以預測每個塊的採樣值。僅使用幀內預測來對幀內(I)切片進行解碼。
可以使用遞歸四叉樹(recursive quadtree,簡寫為QT)結構將CTU劃分為多個非重疊的編解碼單元(CU),以適應各種局部運動和紋理特徵。CTU也可以通過使用通過使用二叉和三叉拆分(binary and ternary split)的嵌套多型樹(nested multi-type tree)的四叉樹分為一個或多個較小尺寸的CU。所得的CU分區可以為正方形或矩形。
為每個CU指定一個或多個預測單元(PU)。預測單元與關聯的CU語法一起,作為用於信令預測子資訊的基本單元。使用指定的預測過程來預測PU內部相關像素採樣的值。可以使用殘差四叉樹(residual quadtree,簡寫為RQT)結構來進一步劃分CU,以用於表示相關聯的預測殘差信號。RQT的葉節點對應於變換單元(TU)。變換單元包括大小為8x8、16x16或32x32的亮度採樣的變換塊(TB)或4:2:0顏色格式圖片的大小為4x4的四個亮度採樣的變換塊,以及兩個相應的色度採樣的變換塊。將整數變換應用於變換塊,並且將量化係數的級別值(level value)與其他輔助資訊一起在位元流中進行熵編解碼。
術語“編解碼樹塊”(CTB)、“編解碼塊”(CB)、“預測塊”(PB)和“變換塊”(TB)被定義為指定分別與CTU、CU、PU和TU相關聯的一種顏色分量的二維採樣數組。因此,CTU由一個亮度CTB、兩個色度CTB和相關的語法元素組成。類似的關係對於CU、PU和TU也有效。樹分割通常同時應用於亮度和色度,但是當達到色度的某些最小大小時會例外。
以下發明內容僅是說明性的,而無意於以任何方式進行限制。即,提供以下概述以介紹本文所述的新穎和非顯而易見的技術的概念、重點、益處和優點。選擇部分而並非所有實施方式將在下面的詳細描述中進一步描述。因此,以下發明內容既不旨在標識所要求保護的主題的必要特徵,也不旨在用於確定所要求保護的主題的範圍。
本公開的一些實施例提供了一種用於信令適應性迴路濾波器(adaptive loop filter,簡寫為ALF)設置的方法。視訊解碼器從位元流接收資料,以將要解碼的像素塊作為視訊的當前圖片的當前塊。視訊解碼器解析是否使用適應性參數集(adaptive parameter set,簡寫為APS)來對當前塊進行濾波,而無需確定是否從多個APS中選擇特定的APS。當使用APS對當前塊進行濾波時,視訊解碼器解析第一濾波器選擇索引,以從APS中的一組濾波器中選擇濾波器。當不使用APS濾波當前塊時,視訊解碼器會解析第二濾波器選擇索引,以從一組默認的固定濾波器中選擇一個濾波器。視訊解碼器基於所選濾波器濾波當前塊。視訊解碼器輸出濾波後的當前塊。
在一些實施例中,視訊解碼器從位元流接收資料,以將要解碼的像素塊作為視訊的當前圖片的當前塊。視訊解碼器通過使用在切片報頭中信令的APS標識符(identifier)從多個APS中選擇一個APS,其中,所選擇的APS用於為當前塊的色度像素提供濾波器。視訊解碼器從APS中的一組濾波器中選擇一個濾波器。視訊解碼器基於所選濾波器對當前塊進行濾波,並輸出濾波後的當前塊。
500:視訊編碼器
505:視訊源
508:減法器
595:位元流
510:變換模塊
511:量化模塊
512、812:量化係數
513、813:預測像素資料
514、805:逆量化模塊
515、810:逆變換模塊
517:重構像素資料
520:圖片內估計模塊
525、825:圖片內預測模塊
530、830:運動補償模塊
535:運動估計模塊
545、845:迴路濾波器
550:重構圖像緩衝器
565、865:MV緩衝器
575、875:MV預測模塊
590:熵編碼器
595、895:位元流
540、840:幀間預測模塊
610、910:亮度濾波器
615、915:色度濾波器
620、920:APS濾波器參數
625、925:固定濾波器參數
630、930:APS緩衝器
640、940:濾波器選擇信號
645、945:APS選擇信號
650:濾波器設置生成模塊
700、1000:過程
710~750、1010~1050:方框
800:視訊解碼器
816:變換係數
817:解碼像素資料
819:重構殘差信號
850:解碼圖片緩衝器
855:顯示設備
890:解析器
1100:電子系統
1105:匯流排
1110:處理單元
1115:圖形處理單元
1120:系統記憶體
1125:網路
1130:只讀記憶體
1135:永久存儲設備
1140:輸入設備
1145:輸出設備
包括附圖以提供對本公開的進一步理解,並且附圖被併入本公開並構成本公開的一部分。附圖示出了本公開的實施方式,並且與描述一起用於 解釋本公開的原理。可以理解的是,附圖不一定按比例繪製,因為為了清楚地示出本公開的概念,某些組件可能被顯示為與實際實現中的尺寸不成比例。
第1a-1b圖示出了用於亮度和色度分量的兩種菱形濾波形狀(diamond filter)。
第2a-d圖示出了子採樣(sub-sample)的拉普拉斯計算(Laplacian calculation)。
第3圖示出了虛擬邊界處的修改的塊分類。
第4圖示出了針對虛擬邊界處的亮度分量的修改的ALF濾波。
第5圖示出了應用適應性迴路濾波的示例視訊編碼器。
第6圖示出了執行ALF操作的視訊編碼器的部分。
第7圖從概念上說明用於通過視訊編碼器信令對於ALF參數或濾波器設置的選擇的過程。
第8圖示出了應用適應性迴路濾波的示例視訊解碼器。
第9圖示出了執行ALF操作的視訊解碼器的部分。
第10圖從概念上說明用於通過視訊解碼器信令對ALF參數或濾波器設置的選擇的過程。
第11圖概念性地示出了用於實現本公開的一些實施例的電子系統。
在以下詳細描述中,通過示例的方式闡述了許多具體細節,以提供對相關教導的透徹理解。基於本文描述的教導的任何變化、派生和/或擴展均在本公開的保護範圍內。在一些情況下,與本文公開的一個或多個示例實施方式有關的眾所周知的方法、過程、組件和/或電路可以在沒有詳細描述的情況下以相對較高的水平進行描述,以避免不必要地混淆本公開的教導的各個方面。
適應性迴路濾波器(ALF)是一種迴路濾波器,用於通過一些自定義的濾波器係數來濾波視訊像素。濾波器係數可以在視訊編解碼器中具有默 認值,或者可以以塊級別(例如,CTU或CTB)從編碼器發送到解碼器。ALF是HEVC中的一種眾所周知的技術。在一些實施例中,應用具有基於塊的濾波器適應性的ALF。對於亮度分量,根據局部梯度的方向和活動,為每個4×4塊在25個濾波器中選擇一個濾波器。第1a-1b圖示出了用於亮度和色度分量的兩種菱形濾波形狀。第1a圖示出了應用於亮度分量的7×7菱形形狀。第1b圖示出了應用於色度分量的5×5菱形。
對於亮度分量,每個4×4塊被分為25個類別之一。分類索引C基於其方向性(directionality)D和活動性(activity)Â的量化值而得出,如下所示:
Figure 109112212-A0305-02-0007-33
為了計算D和Â,首先使用一維拉普拉斯計算水平、垂直和兩個對角線方向的梯度:
Figure 109112212-A0305-02-0007-2
其中索引i和j表示4×4塊內左上採樣的坐標,R(i,j)表示在坐標(i,j)處的重構採樣。為了降低塊分類的複雜性,應用了子採樣的一維拉普拉斯計算。第2a-d圖示出了子採樣的拉普拉斯計算。第2a圖示出了垂直梯度的子採樣位置。第2b圖示出了用於水平梯度的子採樣位置。第2c和2d圖示出了 對角梯度(diagonal gradient)的子採樣位置。如第2a-d圖中所示,相同的子採樣位置用於所有方向的梯度計算。
然後將水平和垂直方向的梯度的最大值和最小值設置為:
Figure 109112212-A0305-02-0008-3
兩個對角線方向的梯度的最大和最小值設置為:
Figure 109112212-A0305-02-0008-4
為導出方向性D的值,這些值相互比較並與兩個閾值t 1t 2比較:
步驟1.若
Figure 109112212-A0305-02-0008-35
t 1
Figure 109112212-A0305-02-0008-47
Figure 109112212-A0305-02-0008-37
t 1
Figure 109112212-A0305-02-0008-38
均為真,則D設置為0。
步驟2.若
Figure 109112212-A0305-02-0008-46
/
Figure 109112212-A0305-02-0008-42
>
Figure 109112212-A0305-02-0008-43
/
Figure 109112212-A0305-02-0008-44
,從步驟3繼續;否則,請繼續執行步驟4。
步驟3.若
Figure 109112212-A0305-02-0008-48
>t 2
Figure 109112212-A0305-02-0008-49
,則D設置為2;否則D設置為1。
步驟4.若
Figure 109112212-A0305-02-0008-50
>t 2
Figure 109112212-A0305-02-0008-51
,則D設置為4;否則D設置為3。
活動性值A的計算如下:
Figure 109112212-A0305-02-0008-5
將A進一步量化到0至4的範圍(包括端值),並且將量化值表示為Â。對於圖片中的色度分量,不應用分類方法,即,對每個色度分量應用單組(single set)ALF係數。
在一些實施例中,在對每個4×4亮度塊進行濾波之前,根據變換,將諸如旋轉或對角線和垂直翻轉(vertical flip)之類的幾何變換應用於濾波器係數f(k,l)和對應的濾波器限幅值(clipping value)c(k,l),取決於為該塊計算的梯度值。這等效於將這些轉換應用於濾波器支持區域中的採樣。通過對齊方向,可以使應用了ALF的不同塊更加相似。包括對角、垂直翻轉和旋轉的三種 幾何變換如下:對角:f D (k,l)=f(l,k),c D (k,l)=c(l,k),垂直翻轉:f V (k,l)=f(k,K-l-1),c V (k,l)=c(k,K-l-1)
旋轉:f R (k,l)=f(K-l-1,k),c R (k,l)=c(K-l-1,k)
其中K是濾波器的大小,0
Figure 109112212-A0305-02-0009-52
k,l
Figure 109112212-A0305-02-0009-53
K-1是係數坐標,因此位置(0,0)在左上角(upper-left corner),位置(K-1,K-1)在右下角(lower-right corner)。根據為該塊計算的梯度值,將變換應用於濾波器係數f(k,l)和限幅值c(k,l)。下表1中總結了變換與四個方向的四個梯度之間的關係。
Figure 109112212-A0305-02-0009-6
在一些實施例中,在適應性參數集(APS)中信令ALF濾波器參數(包括ALF係數和限幅值)。在一個APS中,可以信令多達25組的亮度濾波器係數和限幅值索引,以及多達一組色度濾波器係數和限幅值索引。為了減少位元開銷(overhead),可以合併不同類別的濾波器係數。在一些實施例中,在切片報頭中信令用於當前切片的APS的索引。
從APS解碼的限幅值索引允許使用限幅值的亮度表和限幅值的色度表確定限幅值。這些限幅值取決於內部位元深度。更精確地,限幅值的亮度表和限幅值的色度表通過以下公式獲得:
Figure 109112212-A0305-02-0009-7
其中B等於內部位元深度,N等於4,在某些實施例中,它是允許的限幅值的數量。
在一些實施例中,濾波過程被控制在CTB級別。可以信令(signal)標記(flag)以指示是否將ALF應用於亮度CTB。亮度CTB可以從16個固定濾波器組和來自APS的濾波器組中選擇一個濾波器組。信令用於亮度CTB的濾波器組索引,以指示應用了哪個濾波器組。16個固定濾波器組在編碼器和解碼器中都是預定義或硬編碼的。
在一些實施例中,可以以等於128的範數(norm)來量化濾波器係數。為了限制乘法複雜度,應用位元流一致性,使得非中心位置的係數值應在-27至27-1的範圍內,包含-27和27-1。中心位置係數未在位元流中信令,並且被認為等於128。
在一些實施例中,在解碼器側,當啟用ALF用於CTB時,對CU內的每個採樣R(i,j)進行濾波,從而產生採樣值R'(i,j),如下所示
Figure 109112212-A0305-02-0010-8
其中f(k,l)表示解碼的濾波器係數,K(x,y)是限幅函數,而c(k,l)表示解碼的限幅參數。變量k和1在-
Figure 109112212-A0305-02-0010-54
Figure 109112212-A0305-02-0010-55
之間變化,其中L表示濾波器長度。限幅函數K(x,y)=min(y,max(-y,x))對應於Clip3(-y,y,x)。
在一些實施例中,為了減少ALF的行緩衝器需求,對水平CTU邊界附近的採樣採用修改的塊分類和濾波。在一些實施例中,虛擬邊界定義為將水平CTU邊界平移“N”個採樣的一條線。第3圖示出了在虛擬邊界處的修改的塊分類。在該示例中,對於亮度分量,N等於4,對於色度分量,N等於2。修改後的塊分類應用於亮度組件。對於虛擬邊界上方的4x4塊的一維拉普拉斯 梯度計算,僅使用虛擬邊界上方的採樣。類似地,對於虛擬邊界下方的4x4塊的一維拉普拉斯梯度計算,僅使用虛擬邊界下方的採樣。因此,通過考慮在一維拉普拉斯梯度計算中使用的數量減少的採樣(reduced number of samples),可以對活動值A的量化相應地縮放。
對於濾波處理,在虛擬邊界處的對稱填充(pad)操作用於亮度和色度分量。第4圖示出了針對虛擬邊界處的亮度分量的修改的ALF濾波。如圖所示,當要濾波的採樣位於虛擬邊界下方時,填充位於虛擬邊界上方的相鄰採樣。同時,另一側的相應採樣也對稱地填充。
CTB是每個顏色分量的最大的編解碼樹單元(CTU)。對於某些實施例,在CTB級別,根據以下內容進行ALF濾波器組選擇的信令:
Figure 109112212-A0305-02-0011-9
alf_ctb_use_first_aps_flag為1表示使用APS中具有與 slice_alf_aps_id_luma[0]相等的adaptive_parameter_set_id的濾波器資訊。相反,alf_ctb_use_first_aps_flag為0表示亮度CTB不使用APS中的Adaptive_parameter_set_id等於slice_alf_aps_id_luma[0]的濾波器資訊。當不存在alf_ctb_use_first_aps_flag時,將其推斷為等於0。此標誌用於確定是否從一組APS中選擇特定的APS來濾波當前塊。
alf_use_aps_flag為0表示將固定濾波器組之一應用於亮度CTB;alf_use_aps_flag為1表示將來自APS的濾波器組應用於亮度CTB。如果不存在alf_use_aps_flag,則將其推斷為等於0。
alf_luma_prev_filter_idx_minus1加1指定應用於亮度CTB的先前的濾波器。alf_luma_prev_filter_idx_minus1的值應在0到slice_num_alf_aps_ids_luma-2(含0和slice_num_alf_aps_ids_luma-2)範圍內。
alf_luma_fixed_filter_idx指定應用於亮度CTB的固定濾波器。alf_luma_fixed_filter_idx的值應在0到15的範圍內,包括0和15。
在一些實施例中,如下得出變量AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize],該變量指定了位置(xCtb,yCtb)處的亮度CTB的濾波器組索引:如果alf_ctb_use_first_aps_flag等於1,AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]設置為等於16。否則,如果alf_use_aps_flag等於0,則AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]設置為等於alf_luma_fixed_filter_idx。否則,將AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]設置為等於17+alf_luma_prev_filter_idx_minus1。
本公開的一些實施例提供了用於ALF濾波器選擇或ALF濾波器組選擇的新的CTB信令。對於一些實施例,以下提供用於ALF濾波器選擇的CTB信令的示例語法表:
Figure 109112212-A0305-02-0013-10
如語法表中所示,首先信令“use_aps”標誌。“use_aps”表示ALF將使用APS濾波器或濾波器組,而不是固定的默認濾波器或濾波器組。在一些實施例中,視訊編解碼器信令“use_aps”標誌,而不確定是否從多個APS的集合中選擇特定的APS以濾波當前塊(例如,不信令alf_ctb_use_first_aps_flag)。
如果“use_aps”標誌為0,則信令固定的濾波器或濾波器組選擇。信令“fixed_index”值以指定應用於亮度CTB的固定濾波器或濾波器組。如果“use_aps”標誌為1,則信令aps濾波器或濾波器組選擇。在一個實施例中,值“index_of_aps_filters”信令以在所有APS濾波器或濾波器組中選擇一個濾波器或濾波器組。在一些實施例中,如果slice_num_alf_aps_ids_luma為0,則“use_aps”標誌被推斷為0(因此信令“fixed_index”以指定固定濾波器組)。
在一些實施例中,指示是否使用APS對當前塊進行濾波的標誌(例如,use_aps)是基於色度格式、色度指示符或切片類型而推斷為真或假的,而不是明確的信令的。
在一些實施例中,每個APS包含一組信令的ALF濾波器,最多支持32個APS。切片組可以重新使用來自APS的ALF資訊以減少開銷。APS被更新為先進先出(FIFO)緩衝器。在基於CTB的ALF中,對於亮度分量, 當將ALF應用於亮度CTB時,會指示在5個時間的或1個信令的濾波器組中進行的選擇。僅信令濾波器組索引。提供了ALF資料的對應語法表如下:
Figure 109112212-A0305-02-0014-12
對於一個切片,只能信令一組新的25個濾波器。如果為某個切片信令新集合,則同一切片中的所有亮度CTB都共享該集合。對於色度分量,當將ALF應用於色度CTB時,如果信令了一個新濾波器用於一個切片,則(色度)CTB將使用新濾波器;否則,應用滿足時間可伸縮性約束(temporal scalability constrain)的最新時間色度濾波器(temporal chroma filter)。作為切片級時間濾波器,APS被更新為先進先出(FIFO)緩衝器。在CTU級別,提 供語法表以下:
Figure 109112212-A0305-02-0015-13
Figure 109112212-A0305-02-0016-15
在一些實施例中,適應性迴路濾波器的濾波處理的處理如下:
Figure 109112212-A0305-02-0016-17
其中採樣I(x+i,y+j)是輸入採樣,O(x,y)是濾波後的輸出採樣(即濾波結果),而w(i,j)表示濾波係數。在一些實施例中,它使用整數算法實現定點精度計算(fixed point precision computation):
Figure 109112212-A0305-02-0016-34
其中L表示濾波器長度,而w(i,j)是定點精度的濾波器係數。該方程可重新表示為:
Figure 109112212-A0305-02-0017-19
使用上面的濾波器公式,當相鄰採樣值(I(x+i,y+j))與被濾波的當前採樣(I(x,y))的差異太大時,可以通過使用簡單的限幅函數來減少相鄰採樣值(I(x+i,y+j))的影響,引入非線性以提高ALF的效率。在一些實施例中,對ALF濾波器進行如下修改:O'(x,y)=I(x,y)+Σ(i,j)≠(0,0) w(i,j).K(I(x+i,y+j)-I(x,y),k(i,j)).
K(d,b)=min(b,max(-b,d))是限幅函數,k(i,j)是限幅參數,其取決於(i,j)濾波器係數。編碼器執行優化以找到最佳的k(i,j)。
在一些實施例中,為每個ALF濾波器指定限幅參數k(i,j),每個濾波器係數信令一個限幅值。換句話說,在位元流中每個亮度濾波器信令12個限幅值,色度濾波器信令6個限幅值。為了限制信令成本和編碼器複雜性,限幅值的評估限於一小組可能的值。在一些實施例中,在INTER切片上僅使用4個可能值,而在INTRA切片上僅使用3個可能值。由於亮度的局部差異的方差(variance of the local difference)通常比色度的高,因此亮度和色度濾波器使用了兩個不同的集合。每組中都包含最大採樣值(此處為(位元深度為10位元的)1024),因此可以在不需要時禁用限幅。根據以下內容提供了允許的限幅值集合
Figure 109112212-A0305-02-0017-20
使用與集合中的限幅值的索引相對應的第k個指數Golomb編碼,在切片報頭中編碼限幅值。此外,僅當非中心係數為非零時,才信令相應的限幅值。也就是說,在對限幅值進行解碼之前,應首先重構濾波器係數。下面提 供了示例的對應語法表:
Figure 109112212-A0305-02-0018-21
Figure 109112212-A0305-02-0019-22
當通過使用APS FIFO中的索引來信令所選擇的時間濾波器並且未直接使用APS ID時,將限制使用已編解碼的APS用於當前圖塊組的可能性或組合。當APS丟失或重複時,這也可能會引入一些錯誤傳播。為了避免這些 問題,在一些實施例中,APS ID用於指示針對ALF的時間濾波器的選擇,而不是使用APS FIFO中的索引。在一些實施例中,該信令機制用於基於CTB的ALF。當允許多個時間濾波器並在某個級別(例如CTB級別)進行切換時,將信令當前圖塊組中使用的時間濾波器的APS ID。在一些實施例中,在切片/圖塊組報頭中設置的新的信令的濾波器也被移動到APS,並且在切片/圖塊組報頭中信令相應的APS ID。對於色度ALF,啟用它後,還可以在切片/切片組報頭中信令濾波器選擇,而不是在FIFO中進行隱式選擇,以便解碼器可以從切片/切片組報頭中解析濾波器選擇。下面提供了示例對應的語法表:
Figure 109112212-A0305-02-0020-24
在一些實施例中,色度濾波器包括在亮度APS中,因此僅對用於色度ALF的亮度APS中的索引進行編解碼,而不是對實際APS ID(特別是色度)進行編解碼。下面提供了示例對應的語法表:
Figure 109112212-A0305-02-0020-25
Figure 109112212-A0305-02-0021-26
如果只有一個亮度APS,則將色度濾波器推斷為該APS中的色度濾波器。在一些實施例中,色度ALF濾波器是從信令的APS之一繼承的。例如,色度ALF從第一個信令的APS繼承的。在這種情況下,切片報頭中未信令任何色度ALF語法(例如slice_alf_chroma_idc或slice_chroma_alf_index)。在CTB級別,由於新的信令的濾波器組也已移至一個APS,因此可以按以下方式進一步優化CTB級別的語法表。對一個標誌進行編解碼,以指示所選濾波器組來自不同APS中的多個濾波器組還是來自固定濾波器組。對一個濾波器組索引進行編解碼,以指示所選濾波器組位於不同APS的多個濾波器組或固定濾波器組中的索引。下面提供了示例對應的語法表:
Figure 109112212-A0305-02-0022-27
在一些實施例中,僅當非中心係數為非零時才信令相應的限幅值。即,在對限幅值進行解碼之前,首先重構濾波器係數。但是,這可能會引入一些延遲或解析吞吐量問題。在一些實施例中,即使非中心係數為零,也總是信令相應的限幅值。在一些實施例中,當使用濾波器係數預測(filter coefficient prediction)時,總是信令相應的限幅值。但是,如果未啟用濾波器係數預測,則會有條件地信令相應的限幅值。下面提供了示例對應的語法表:
Figure 109112212-A0305-02-0023-28
當允許固定濾波器組時,在固定濾波器中定義的濾波器係數也可以用於預測濾波器係數。在一些實施例中,當啟用濾波器係數預測時(即,預測子可以是一個固定濾波器或先前信令的濾波器),限幅值總是被信令。如果禁用了濾波器係數預測,則當濾波器係數為非零時信令限幅值。下面提供了示例的對應的語法表:
Figure 109112212-A0305-02-0024-29
在一些實施例中,信令限幅值的語法被簡化。第k階指數Golomb碼被一個固定長度碼(fixed-length code)代替,例如,兩位元或截斷的一元碼。以下提供了示例的ALF資料的對應語法表:
Figure 109112212-A0305-02-0025-31
以下提供用於ALF資料的另一示例的對應語法表:
Figure 109112212-A0305-02-0026-32
前述提出的方法可以在編碼器和/或解碼器中實現。例如,所提出的方法可以在編碼器的迴路濾波模塊和/或解碼器的迴路濾波模塊中實現。
示例視訊編碼器
第5圖示出了應用適應性迴路濾波的示例視訊編碼器500。如圖所示,視訊編碼器500從視訊源505接收輸入視訊信號,並將該信號編碼為位元流595。視訊編碼器500具有若干組件或模塊,用於對來自視訊源505的信號進行編碼,視訊編碼器500至少包括選自以下的一些組件:變換模塊510、量化 模塊511、逆量化模塊514、逆變換模塊515、圖片內估計模塊520、幀內預測模塊525、運動補償模塊530、運動估計模塊535、迴路濾波器545、重構圖像緩衝器550、MV緩衝器565和MV預測模塊575,以及熵編碼器590。運動補償模塊530和運動估計模塊535是幀間預測模塊540的一部分。
在一些實施例中,模塊510-590是由計算設備或電子裝置的一個或多個處理單元(例如,處理器)執行的軟體指令的模塊。在一些實施例中,模塊510-590是由電子裝置的一個或多個積體電路(IC)實現的硬體電路的模塊。儘管模塊510-590被示為單獨的模塊,但是一些模塊可以組合成單個模塊。
視訊源505提供原始視訊信號,該原始視訊信號呈現每個視訊幀未經壓縮的像素資料。減法器508計算視訊源505的原始視訊像素資料與來自運動補償模塊530或幀內預測模塊525的預測像素資料513之間的差。變換模塊510將該差(或殘差像素資料或殘差信號)轉換成變換係數(例如,通過執行離散餘弦變換(DCT))。量化模塊511將變換係數量化為量化資料(或量化係數)512,其由熵編碼器590編碼為位元流595。
逆量化模塊514對量化資料(或量化係數)512去量化以獲得變換係數,並且逆變換模塊515對變換係數執行逆變換以產生重構殘差519。重構殘差519與預測像素資料513相加以產生重構像素資料517。在一些實施例中,重構像素資料517被臨時存儲在行緩衝器(未示出)中,以用於圖片內預測和空間MV預測。重構像素由迴路濾波器545濾波,並存儲在重構圖片緩衝器550中。在一些實施例中,重構圖片緩衝器550是視訊編碼器500外部的記憶體。在一些實施例中,重構圖片緩衝器550是視訊編碼器500內部的記憶體。
圖片內估計模塊520基於重構的像素資料517執行幀內預測以產生幀內預測資料。幀內預測資料被提供給熵編碼器590以被編碼為位元流595。幀內預測資料也被幀內預測模塊525使用以產生預測像素資料513。
運動估計模塊535通過產生MV來參考存儲在重構圖片緩衝器550中的先前解碼的幀的像素資料進行幀間預測。這些MV被提供給運動補償模塊530以產生預測像素資料。
代替在位元流中編碼完整的實際MV,視訊編碼器500使用MV預測來生成預測的MV,並且將用於運動補償的MV與預測的MV之間的差編碼為殘差運動資料並存儲在位元流595中。
MV預測模塊575基於為對先前的視訊幀進行編碼而生成的參考MV(即,用於執行運動補償的運動補償MV)來生成預測的MV。MV預測模塊575從MV緩衝器565中從先前視訊幀擷取參考MV。視訊編碼器500將針對當前視訊幀生成的MV存儲在MV緩衝器565中,作為用於生成預測MV的參考MV。
MV預測模塊575使用參考MV來創建預測的MV。可以通過空間MV預測或時間MV預測來計算預測的MV。熵編碼器590將當前幀的預測MV和運動補償MV(MC MV)之間的差(殘差運動資料)編碼到位元流595中。
熵編碼器590通過使用諸如上下文適應性二进位算術編解碼(CABAC)或霍夫曼編碼的熵編碼技術將各種參數和資料編碼到位元流595中。熵編碼器590將各種報頭元素、標誌以及量化的變換係數512和殘差運動資料作為語法元素編碼到位元流595中。位元流595又被存儲在存儲設備中或通過通信介質,例如網絡被發送到解碼器。
迴路濾波器545對重構的像素資料517執行濾波或平滑操作,以減少尤其在像素塊的邊界處的編解碼的偽像。在一些實施例中,執行的濾波操作包括採樣適應性偏移(SAO)。在一些實施例中,濾波操作包括適應性迴路濾波器(ALF)。
第6圖說明視訊編碼器500的執行ALF操作的部分。具體地,該圖示出了在位元流595中信令的參數,該參數被用於確定迴路濾波器545的操作。迴路濾波器545將ALF濾波應用於重構像素資料517的亮度和色度分量。濾波后的像素依次存儲在重構圖片緩衝器550中。
迴路濾波器545的ALF濾波是由一組亮度濾波器610和一組色度濾波器615執行的。每個亮度或色度濾波器對像素塊執行濾波,該像素塊可以是CTB或較小的像素單位,例如4x4子塊。每個亮度或色度濾波器根據一組ALF參數執行濾波操作,這些參數用於得出濾波係數和限幅值。每個亮度或色度濾波器的ALF參數由APS濾波器參數620或固定濾波器參數625提供。固定濾波器參數625是內置在視訊編碼器中的硬佈線默認值(hard-wired default value)。APS濾波器參數620被一個APS提供。APS濾波器參數620和固定濾波器參數625都包括多組(例如25)濾波器設置(或ALF參數)。亮度和色度濾波器610和615中的每一個可以從多組濾波器設置中選擇並使用一組濾波器設置(濾波器係數和限幅值)。
對於每個亮度或色度濾波器,使用一組濾波器選擇信號640從APS濾波器參數620或固定濾波器參數625擷取濾波器設置。例如,使用標誌(例如use_aps)來指示是否使用來自APS濾波器參數620的參數或使用來自固定濾波器參數625的參數。索引(例如index_of_aps_filter)用於從APS濾波器參數620的多個濾波器設置中選擇一個濾波器設置。索引(例如fixed_index)用於從固定濾波器參數625中的多個濾波器設置中選擇一個濾波器設置。
APS濾波器參數620的內容屬於一個APS,其可以包括用於亮度和色度分量的25個不同濾波器設置的參數。當APS被編解碼為位元流595時,它們被存儲在APS緩衝器630中。一組APS選擇信號645選擇存儲在APS緩衝器630中的一個APS以用作APS濾波器參數620。
APS選擇信號645可以包括用於從存儲在APS緩衝器630中的多個APS中選擇APS的APS標識符(例如,slice_chroma_alf_aps_id,slice_luma_alf_aps_id)。在一些實施例中,APS標識符標識當前切片或者包含當前塊的圖塊組中使用的時間濾波器。在一些實施例中,用於濾波色度分量的參數被包括在用於亮度分量的APS中。換句話說,可以選擇APS中的亮度濾波器設置並將其用作色度濾波器設置,以便僅使用亮度APS中的一個索引來選擇色度濾波器設置,而不需要APS標識符即可選擇用於濾波色度像素的APS。
在一些實施例中,濾波器設置生成模塊650生成要存儲在APS緩衝器630中的APS以及APS選擇信號640和濾波器選擇信號645。熵編碼器590又將生成的APS、濾波器選擇信號645和APS選擇信號640編碼為位元流595中處於各種級別(CTB級別、切片級別等)的語法元素。
第7圖概念性地示出了用於通過視訊編碼器信令ALF參數或濾波器設置的選擇的過程700。在一些實施例中,實現編碼器500的計算設備的一個或多個處理單元(例如,處理器)通過執行存儲在計算機可讀介質中的指令來執行過程700。在一些實施例中,實現編碼器500的電子裝置執行過程700。
編碼器(在方框710處)將要編碼的像素塊的原始像素資料作為視訊的當前圖片的當前塊接收到位元流中。在一些實施例中,當前塊是用於編解碼樹單元(CTU)的亮度或色度分量的編解碼樹塊(CTB)。
編碼器信令(在方框720處)是否使用適應性參數集(APS)來對當前塊進行濾波(例如,use_aps)。APS包括用於適應性迴路濾波器(ALF)的相應的濾波器係數和限幅值。在一些實施例中,APS包括適用於亮度和色度CTB的多組濾波器,但是編碼器不確定是否從多個APS中選擇特定的APS對當前塊進行濾波(例如,不檢查slice_num_alf_aps_id_luma或信令alf_ctb_use_first_aps_flag。)
編碼器確定(在方框730處)是否使用APS來濾波當前塊。在一些實施例中,基於色度格式、色度指示符或切片類型,將指示是否使用APS對當前塊進行濾波的標誌推斷為是或否。當使用APS濾波當前塊時,過程進行到方框740。當不使用APS濾波當前塊時,過程進行到方框745。
編碼器信令(在方框740處)第一濾波器選擇索引(例如,index_of_aps_filters),用於從APS中的一組濾波器中選擇濾波器。在一些實施例中,通過使用在切片報頭中信令的APS標識符,從多個APS中選擇APS。APS標識符可以用於選擇用於為當前塊的亮度像素提供濾波器的APS。(例如slice_luma_alf_aps_id)。APS標識符可以用於選擇用於為當前塊的色度像素提供濾波器的APS。(例如slice_chroma_alf_aps_id)。然後,該過程進行到方框750。
編碼器信令(在方框745處)第二濾波器選擇索引(例如,fixed_index),該第二濾波器選擇索引用於從一組默認的固定濾波器中選擇濾波器,該組默認固定濾波器是預定義的或是在編碼器被硬編碼的,並且不會被信令的APS改變。
編碼器通過應用所選擇的濾波器來對當前塊進行編碼(在方框750處)。
示例的視訊解碼器
第8圖示出了應用適應性迴路濾波的示例視訊解碼器800。如圖所示,視訊解碼器800是圖片解碼或視訊解碼電路,其接收位元流895並將位元流的內容解碼為視訊幀的像素資料以供顯示。視訊解碼器800具有用於解碼位元流895的若干組件或模塊,包括選自逆量化模塊805、逆變換模塊810、幀內預測模塊825、運動補償模塊830、迴路濾波器845、解碼圖片緩衝器850、MV緩衝器865、MV預測模塊875和解析器890中的一些組件。運動補償模塊 830是幀間預測模塊840的一部分。
在一些實施例中,模塊810-890是由計算設備的一個或多個處理單元(例如,處理器)執行的軟體指令的模塊。在一些實施例中,模塊810-890是由電子裝置的一個或多個IC實現的硬體電路的模塊。儘管模塊810-890被示為單獨的模塊,但是一些模塊可以組合成單個模塊。
解析器890(或熵解碼器)接收位元流895,並根據由視訊編解碼或圖片編解碼標准定義的語法執行初始解析。解析的語法元素包括各種報頭元素、標誌以及量化的資料(或量化的係數)812。解析器890通過使用諸如上下文適應性二进位算術編解碼(CABAC)或霍夫曼編碼之類的熵編解碼技術解析各種語法元素。
逆量化模塊805對量化資料(或量化係數)812進行去量化以獲得變換係數,並且逆變換模塊810對變換係數816執行逆變換以產生重構殘差信號819。重構殘差信號819與來自幀內預測模塊825或運動補償模塊830的預測像素資料813相加,以產生解碼像素資料817。解碼像素資料由迴路濾波器845濾波並存儲在解碼圖片緩衝器850中。在一些實施例中,解碼圖片緩衝器850是視訊解碼器800外部的記憶體。在一些實施例中,解碼圖片緩衝器850是視訊解碼器800內部的記憶體。
幀內預測模塊825從位元流895接收幀內預測資料,並據此,從存儲在解碼圖片緩衝器850中的解碼像素資料817產生預測像素資料813。在一些實施例中,解碼像素資料817也被存儲在行緩衝器(未示出)中,用於圖片內預測和空間MV預測。
在一些實施例中,解碼圖片緩衝器850的內容用於顯示。顯示設備855或者擷取解碼圖片緩衝器850的內容以直接顯示,或者將解碼圖片緩衝器的內容擷取到顯示緩衝器。在一些實施例中,顯示設備通過像素傳輸(transport )從解碼圖片緩衝器850接收像素值。
運動補償模塊830根據運動補償MV(MC MV)從存儲在解碼圖片緩衝器850中的解碼像素資料817生成預測像素資料813。通過將從位元流895接收到的殘差運動資料與從MV預測模塊875接收到的預測MV相加,可以對這些運動補償MV進行解碼。
MV預測模塊875基於為解碼先前的視訊幀而生成的參考MV(例如,用於執行運動補償的運動補償MV)來生成預測的MV。MV預測模塊875從MV緩衝器865中擷取先前視訊幀的參考MV。視訊解碼器800將為解碼當前視訊幀而生成的運動補償MV存儲在MV緩衝器865中,作為用於產生預測MV的參考MV。
迴路濾波器845對解碼後的像素資料817進行濾波或平滑操作,以減少編解碼的偽像,特別是在像素塊的邊界處的偽像。在一些實施例中,執行的濾波操作包括採樣適應性偏移(SAO)。在一些實施例中,濾波操作包括適應性迴路濾波(ALF)。
第9圖說明執行ALF操作的視訊解碼器800的部分。具體地,該圖示出了在位元流895中信令的參數,參數用於確定迴路濾波器845的操作。迴路濾波器845將ALF濾波應用於解碼像素資料817的亮度和色度分量。濾波後的像素又被存儲在解碼圖片緩衝器850中。
迴路濾波器845的ALF濾波是由一組亮度濾波器910和一組色度濾波器915執行的。每個亮度或色度濾波器對像素塊(可能是CTB或較小的像素單位,例如4x4子塊)進行濾波。每個亮度或色度濾波器根據一組ALF參數執行濾波操作,這些參數用於得出濾波係數和限幅值。每個亮度或色度濾波器的ALF參數由APS濾波器參數920或固定濾波器參數925提供。固定濾波器參數925是內置在視訊解碼器中的硬佈線默認值。APS濾波器參數920由APS 提供。APS濾波器參數920和固定濾波器參數925都包括多組(例如25)濾波器設置(或ALF參數)。亮度和色度濾波器910和915中的每一個可以從多組濾波器設置中選擇並使用一組濾波器設置(濾波器係數和限幅值)。
對於每個亮度或色度濾波器,使用一組濾波器選擇信號940從APS濾波器參數920或固定濾波器參數925中擷取濾波器設置。例如,使用標誌(例如use_aps)來指示是否使用來自APS濾波器參數920的參數或使用來自固定濾波器參數925的參數。索引(例如index_of_aps_filter)用於從APS濾波器參數920的多個濾波器設置中選擇一個濾波器設置。索引(例如fixed_index)為用於從固定濾波器參數925中的多個濾波器設置中選擇一個濾波器設置。
APS濾波器參數920的內容屬於一個APS,其可以包括用於亮度和色度分量的25個不同濾波器設置的參數。當從位元流895中解析出APS時,它們被存儲在APS緩衝器930中。一組APS選擇信號945選擇存儲在APS緩衝器930中的APS之一,以用作APS濾波器參數920。
APS選擇信號945可以包括用於從存儲在APS緩衝器920中的多個APS中選擇APS的APS標識符(例如,slice_chroma_alf_aps_id,slice_luma_alf_aps_id)。在一些實施例中,APS標識符標識當前切片或者包含當前塊的圖塊組中使用的時間濾波器。在一些實施例中,用於濾波色度分量的參數被包括在用於亮度分量的APS中。換句話說,可以選擇APS中的亮度濾波器設置並將其用作色度濾波器設置,以便僅使用亮度APS中的一個索引來選擇色度濾波器設置,而不需要APS標識符即可選擇用於濾波色度像素的APS。
在一些實施例中,熵解碼器890解析位元流895以獲得APS濾波器選擇信號945和APS選擇信號940。這些信號被解碼為位元流895中不同級別(CTB級別,切片報頭等)的語法元素。
第10圖概念性地示出了用於通過視訊解碼器信令ALF參數或濾 波器設置的選擇的過程1000。在一些實施例中,實現解碼器800的計算設備的一個或多個處理單元(例如,處理器)通過執行存儲在計算機可讀介質中的指令來執行過程1000。在一些實施例中,實現解碼器800的電子裝置執行過程1000。
解碼器從位元塊流接收(在方框1010處)要被解碼的像素塊作為視訊的當前圖片的當前塊的資料。在一些實施例中,當前塊是用於編解碼樹單元(CTU)的亮度或色度分量的編解碼樹塊(CTB)。解碼器還從位元流中接收語法元素,其中解碼器信令語法元素以控制ALF濾波操作。
解碼器解析(在方框1020)是否使用適應性參數集(APS)來對當前塊進行濾波(例如,use_aps)。APS包含用於導出適應性迴路濾波器(ALF)的濾波器係數和限幅值的資訊。在一些實施例中,APS包括適用於亮度和色度CTB的多組濾波器,但是解碼器不確定是否從多個APS中選擇特定的APS以濾波當前塊(例如,不檢查slice_num_alf_aps_id_luma或不解析alf_ctb_use_first_aps_flag。)。
解碼器確定(在方框1030處)是否使用APS來濾波當前塊。在一些實施例中,基於色度格式、色度指示符或切片類型,將指示是否使用APS對當前塊進行濾波的標誌推斷為是或否。當使用APS濾波當前塊時,過程進行到方框1040。當不使用APS濾波當前塊時,過程進行到方框1045。
解碼器解析(在方框1040處)用於從APS中的一組濾波器中選擇濾波器的第一濾波器選擇索引(例如index_of_aps_filters)。在一些實施例中,通過使用在切片報頭中信令(或子切片報頭解析的)的APS標識符,從多個APS中選擇APS。APS標識符可以用於選擇用於為當前塊的亮度像素提供濾波器的APS。(例如slice_luma_alf_aps_id)。APS標識符可以用於選擇用於為當前塊的色度像素提供濾波器的APS。(例如slice_chroma_alf_aps_id)。然後該過程 進行到方框1050。
解碼器解析(在方框1045處)第二濾波器選擇索引,用於從一組默認的固定濾波器中選擇濾波器,該組默認固定濾波器是預定義的或是在解碼器被硬編碼的,並且不會被信令的APS改變。
解碼器基於選擇的濾波器對當前塊進行濾波(在方框1050處),並輸出濾波後的當前塊。
示例的電子系統
許多上述特徵和應用被實現為被指定為記錄在計算機可讀存儲介質(也稱為計算機可讀介質)上的一組指令的軟體過程。當這些指令由一個或多個計算或處理單元(例如,一個或多個處理器,處理器的核心或其他處理單元)執行時,它們使處理單元執行指令中指示的動作。計算機可讀介質的示例包括但不限於CD-ROM、閃存驅動器、隨機存取記憶體(RAM)晶片、硬碟驅動器、可擦可程式化只讀記憶體(EPROM)、電可擦可程式化只讀記憶體(EEPROM))等。計算機可讀介質不包括無線或通過有線連接傳遞的載波和電子信號。
在本說明書中,術語“軟體”旨在包括駐留在只讀記憶體中的韌體或存儲在磁性記憶體中的應用,其可以被讀入記憶體以供處理器處理。而且,在一些實施例中,可以將多個軟體發明實現為較大程式的子部分,同時保留不同的軟體發明。在一些實施例中,多種軟體發明也可以被實現為單獨的程式。最後,一起實現此處描述的軟體發明的單獨程式的任何組合都在本公開的範圍內。在一些實施例中,軟體程式在被安裝以在一個或多個電子系統上運行時,定義了一種或多種執行和執行軟體程式的操作的特定機器實現。
第11圖概念性地示出了實現本公開的一些實施例的電子系統1100。電子系統1100可以是計算機(例如,台式計算機、個人計算機、平板計 算機等)、電話、PDA或任何其他種類的電子設備。這樣的電子系統包括各種類型的計算機可讀介質以及用於各種其他類型的計算機可讀介質的介面。電子系統1100包括匯流排1105、處理單元1110、圖形處理單元(GPU)1115、系統記憶體1120、網路1125、只讀記憶體1130、永久存儲設備1135、輸入設備1140,以及輸出設備1145。
匯流排1105共同代表通信地連接電子系統1100的眾多內部設備的所有系統匯流排、外圍設備匯流排和晶片組匯流排。例如,匯流排1105將處理單元1110與GPU 1115、只讀記憶體1130、系統記憶體1120和永久存儲設備1135通信地連接。
處理單元1110從這些各種存儲單元中擷取要執行的指令和要處理的資料,以便執行本公開的處理。在不同的實施例中,處理單元可以是單個處理器或多核處理器。一些指令被傳遞到GPU 1115並由其執行。GPU 1115可以卸載各種計算或補充由處理單元1110提供的圖片處理。
只讀記憶體(ROM)1130存儲由處理單元1110和電子系統的其他模塊使用的靜態資料和指令。另一方面,永久存儲設備1135是讀寫存儲設備。該設備是非易失性存儲單元,即使電子系統1100處於關閉狀態,該單元也存儲指令和資料。本公開的一些實施例使用大容量存儲設備(諸如磁碟或光碟及其對應的磁碟驅動器)作為永久存儲設備1135。
其他實施例使用可移動存儲設備(例如軟碟、閃存設備等,及其對應的磁碟驅動器)作為永久存儲設備。像永久存儲設備1135一樣,系統記憶體1120是讀寫存儲設備。然而,與存儲設備1135不同,系統記憶體1120是易失性讀寫記憶體,例如隨機存取記憶體。系統記憶體1120存儲處理器在運行時使用的一些指令和資料。在一些實施例中,根據本公開的過程被存儲在系統記憶體1120,永久存儲設備1135和/或只讀記憶體1130中。例如,各種存儲單元 包括用於根據一些實施例處理多媒體剪切的指令。處理單元1110從這些各種存儲單元中擷取要執行的指令和要處理的資料,以便執行一些實施例的處理。
匯流排1105還連接到輸入和輸出設備1140和1145。輸入設備1140使用戶能夠向電子系統傳達資訊並選擇命令。輸入設備1140包括字母數位鍵盤和指示設備(也稱為“光標控制設備”)、照相機(例如,網路攝像頭)、麥克風或用於接收語音命令的類似設備等。輸出設備1145顯示由電子系統生成的圖片或其他輸出資料。輸出設備1145包括打印機和顯示設備,例如陰極射線管(CRT)或液晶顯示器(LCD),以及揚聲器或類似的音頻輸出設備。一些實施例包括既充當輸入設備又充當輸出設備的設備,例如觸摸屏。
最後,如第11圖所示,匯流排1105還通過網路適配器(未示出)將電子系統1100耦合到網路1125。以這種方式,計算機可以是計算機網路的一部分(例如局域網(“LAN”)、廣域網(“WAN”)或內聯網,或網路網(network of networks),例如互聯網。電子系統1100的任何或所有組件可以與本公開結合使用。
一些實施例包括電子組件,例如微處理器、記憶體和記憶體,將計算機程式指令存儲在機器可讀或計算機可讀介質(或者稱為計算機可讀存儲介質,機器可讀介質或機器可讀介質)中。這種計算機可讀介質的一些示例包括RAM、ROM、只讀光碟(CD-ROM)、可記錄光碟(CD-R)、可重寫光碟(CD-RW)、只讀數位多功能光碟(例如,DVD-ROM,雙層DVD-ROM)、各種可記錄/可重寫DVD(例如DVD-RAM,DVD-RW,DVD+RW等)、閃存(例如SD卡、mini-SD卡、micro-SD卡等)、磁性和/或固態硬碟驅動器、只讀和可記錄的Blu-Ray®光碟、超密度光碟,任何其他光學或磁性介質以及軟碟。該計算機可讀介質可以存儲計算機程式,該計算機程式可以由至少一個處理單元執行,並且包括用於執行各種操作的指令集。計算機程式或計算機代碼的示例包括諸如 由編譯器產生的機器代碼,以及包括由計算機、電子部件或使用解釋器的微處理器執行的更高級別的代碼的文件。
儘管以上討論主要是指執行軟體的微處理器或多核處理器,但是許多上述特徵和應用是由一個或多個積體電路執行的,例如專用積體電路(ASIC)或現場可程式化控制器門陣列(FPGA)。在一些實施例中,這樣的積體電路執行存儲在電路本身上的指令。另外,一些實施例執行存儲在可程式化邏輯設備(PLD),ROM或RAM設備中的軟體。
如本說明書和本申請的任何申請專利範圍中所使用的,術語“計算機”、“服務器”、“處理器”和“記憶體”均指電子或其他技術設備。這些術語不包括個人或人群。為了說明的目的,術語“顯示”或“顯示”是指在電子設備上顯示。如本說明書和本申請的任何申請專利範圍中所使用的,術語“計算機可讀媒體”、“計算機可讀介質”和“機器可讀介質”完全限於有形的物理對象,該有形的物理對像以可被電腦讀取的形式存儲資訊。這些術語不包括任何無線信號、有線下載信號和任何其他臨時信號。雖然已經參考許多具體細節描述了本公開,但是所屬領域具有通常知識者將認識到,在不脫離本公開的精神的情況下,本公開可以以其他特定形式來體現。另外,許多附圖(包括第7圖和第10圖)在概念上示出了過程。這些過程的特定操作可能無法按照所示和所描述的確切順序執行。可以不在一個連續的一系列操作中執行特定操作,並且可以在不同的實施例中執行不同的特定操作。此外,該過程可以使用幾個子過程來實現,或者作為更大的宏過程的一部分來實現。因此,所屬領域具有通常知識者將理解,本公開內容不受限於前述說明性細節,而是由所附申請專利範圍限定。在一些實施例中,編碼器可以在位元流中信令(或生成)一個或多個語法元素,使得解碼器可以從位元流中解析所述一個或多個語法元素。
文中描述的主題有時示出了包含在其它不同部件內的或與其它 不同部件連接的不同部件。應當理解:這樣描繪的架構僅僅是示例性的,並且,實際上可以實施實現相同功能的許多其它架構。在概念意義上,實現相同功能的部件的任何布置是有效地“相關聯的”,以使得實現期望的功能。因此,文中被組合以獲得特定功能的任意兩個部件可以被視為彼此“相關聯的”,以實現期望的功能,而不管架構或中間部件如何。類似地,這樣相關聯的任意兩個部件還可以被視為彼此“可操作地連接的”或“可操作地耦接的”,以實現期望的功能,並且,能夠這樣相關聯的任意兩個部件還可以被視為彼此“操作上可耦接的”,以實現期望的功能。“操作上可耦接的”的具體示例包含但不限於:實體地可聯結和/或實體地相互、作用的部件、和/或無線地可相互作用和/或無線地相互作用的部件、和/或邏輯地相互作用的和/或邏輯地可相互作用的部件。
此外,關於文中基本上任何複數和/或單數術語的使用,只要對於上下文和/或應用是合適的,所屬技術領域具有通常知識者可以將複數變換成單數,和/或將單數變換成複數。為清楚起見,這裡可以明確地闡述各種單數/複數排列。
所屬技術領域具有通常知識者將會理解,通常,文中所使用的術語,特別是在所附申請專利範圍(例如,所附申請專利範圍中的主體)中所使用的術語通常意在作為“開放性”術語(例如,術語“包含”應當被解釋為“包含但不限幹”,術語“具有”應當被解釋為“至少具有”,術語“包含”應當被解釋為“包含但不限幹”等)。所屬技術領域具有通常知識者還將理解,如果意在所介紹的申請專利範圍陳述對象的具體數目,則這樣的意圖將會明確地陳述在申請專利範圍中,在缺乏這樣的陳述的情況下,不存在這樣的意圖。例如,為了幫助理解,所附申請專利範圍可以包含使用介紹性短語“至少一個”和“一個或更多個”來介紹申請專利範圍陳述對象。然而,這樣的短語的使用不應當被解釋為:用不定冠詞“一個(a或an)”的申請專利範圍陳述對象的介紹將包含這樣介紹的申請專利範圍陳 述對象的任何申請專利範圍限制為只包含一個這樣的陳述對象的發明,即使在同一申請專利範圍包含介紹性短語“一個或更多個”或“至少一個”以及諸如“一個(a)”或“一個(an)”之類的不定冠詞的情況下(例如,“一個(a)”和/或“一個(an)”應當通常被解釋為意味著“至少一個”或“一個或更多個”)也如此;上述對以定冠詞來介紹申請專利範圍陳述對象的情況同樣適用。另外,即使明確地陳述了介紹的申請專利範圍陳述對象的具體數目,但所屬技術領域具有通常知識者也會認識到:這樣的陳述通常應當被解釋為意味著至少所陳述的數目(例如,僅有“兩個陳述對象”而沒有其他修飾語的陳述通常意味著至少兩個陳述對象,或兩個或更多個陳述對象)。此外,在使用類似於“A、B和C中的至少一個等”的慣用語的情況下,通常這樣的結構意在所屬技術領域具有通常知識者所理解的該慣用語的含義(例如,“具有A、B和C中的至少一個的系統”將包含但不限於具有單獨的A、單獨的B、單獨的C、A和B-起、A和C一起、B和C一起和/或A、B和C一起的系統等)。在使用類似於“A、B或C中的至少一個等”的慣用語的情況下,通常這樣的結構意在所屬技術領域具有通常知識者所理解的該慣用語的含義(例如,“具有A、B或C中的至少一個的系統”將包含但不限於具有單獨的A、單獨的B、單獨的C、A和B-起、A和C一起、B和C一起和/或A、B和C一起的系統等)。所屬技術領域具有通常知識者將進一步理解,不管在說明書、申請專利範圍中還是在附圖中,表示兩個或更多個可替換的術語的幾乎任意析取詞和/或短語應當理解成考慮包含術語中的一個、術語中的任一個或所有兩個術語的可能性。例如,短語“A或B”應當被理解成包含“A”、“B”、或“A和B”的可能性。
從前述內容可以理解,本文已經出於說明的目的描述了本公開的各種實施方式,並且在不脫離本公開的範圍和精神的情況下可以進行各種修改。因此,本文公開的各種實施方式不旨在是限制性的,真正的範圍和精神由 所附申請專利範圍指示。
700:過程
710~750:方框

Claims (11)

  1. 一種視訊解碼方法,包括: 從位元流接收資料,以將要解碼的像素塊作為視訊的當前圖片的當前塊; 在不確定是否從多個適應性參數集中選擇特定的適應性參數集的情況下,解析是否使用適應性參數集對該當前塊進行濾波; 當使用該適應性參數集對該當前塊進行濾波時,解析第一濾波器選擇索引,以從該多個適應性參數集中的一組濾波器中選擇一個濾波器; 當不使用該適應性參數集對該當前塊進行濾波時,解析第二濾波器選擇索引,以從一組默認的固定濾波器中選擇濾波器; 基於所選擇的該濾波器濾波該當前塊;以及 輸出濾波後的該當前塊。
  2. 如請求項1所述之方法,其中,該適應性參數集包括用於導出適應性迴路濾波器的濾波器係數和限幅值的資訊。
  3. 如請求項1所述之方法,其中,該當前塊是編解碼樹塊。
  4. 如請求項3所述之方法,其中,該適應性參數集包括適用於亮度和色度編解碼樹塊的多組濾波器。
  5. 如請求項1所述之方法,其中,通過使用在切片報頭中信令的適應性參數集標識符,從多個適應性參數集中選擇該適應性參數集。
  6. 如請求項5所述之方法,其中,所選擇的該適應性參數集用於為該當前塊的色度像素提供濾波器。
  7. 如請求項5所述之方法,其中,該適應性參數集標識符標識在包含該當前塊的當前切片或圖塊組中使用的時間濾波器。
  8. 如請求項1所述之方法,其中,用於色度分量的濾波器的參數包括在用於亮度分量的適應性參數集中。
  9. 如請求項1所述之方法,其中,基於色度格式、色度指示符或切片類型,將指示是否使用適應性參數集對該當前塊進行濾波的標誌推斷為真還是假。
  10. 一種視訊編碼方法,包括: 將要編碼的像素塊的原始像素資料作為視訊的當前圖片的當前塊接收到位元流中; 信令是否使用適應性參數集對該當前塊進行濾波,而無需確定是否從多個適應性參數集中選擇特定的適應性參數集對該當前塊進行濾波; 當使用該適應性參數集對該當前塊進行濾波時,信令第一濾波器選擇索引以從該適應性參數集中的一組濾波器中選擇濾波器; 當不使用該適應性參數集對該當前塊進行濾波時,信令第二濾波器選擇索引以從一組默認的固定濾波器中選擇濾波器;以及 通過應用所選的濾波器對該當前塊進行編碼。
  11. 一種電子裝置,包括: 視訊解碼器電路,配置為執行以下操作: 從位元流接收資料,以將要解碼的像素塊作為視訊的當前圖片的當前塊; 通過使用切片報頭中信令的適應性參數集標識符從多個適應性參數集中選擇一個適應性參數集,其中,所選擇的該適應性參數集用於為該當前塊的色度像素提供濾波器; 從該適應性參數集中的一組濾波器中選擇一個濾波器; 基於所選擇的該濾波器濾波該當前塊;以及 輸出濾波後的該當前塊。
TW109112212A 2019-04-11 2020-04-10 具有適應性參數集之適應性迴路濾波器 TWI739386B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962832349P 2019-04-11 2019-04-11
US62/832,349 2019-04-11
US201962880690P 2019-07-31 2019-07-31
US62/880,690 2019-07-31
US16/845,070 2020-04-10
US16/845,070 US11546587B2 (en) 2019-04-11 2020-04-10 Adaptive loop filter with adaptive parameter set

Publications (2)

Publication Number Publication Date
TW202101979A TW202101979A (zh) 2021-01-01
TWI739386B true TWI739386B (zh) 2021-09-11

Family

ID=72747479

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109112212A TWI739386B (zh) 2019-04-11 2020-04-10 具有適應性參數集之適應性迴路濾波器

Country Status (2)

Country Link
US (1) US11546587B2 (zh)
TW (1) TWI739386B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11284114B2 (en) * 2019-04-23 2022-03-22 Qualcomm Incorporated Adaptive loop filter set index signaling
CN113994671B (zh) * 2019-06-14 2024-05-10 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
CN114424539A (zh) 2019-06-14 2022-04-29 北京字节跳动网络技术有限公司 处理视频单元边界和虚拟边界
JP7439841B2 (ja) * 2019-06-25 2024-02-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド ループ内フィルタリングの方法及びループ内フィルタリングの装置
CN117478878A (zh) 2019-07-09 2024-01-30 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
US11190793B2 (en) * 2019-07-09 2021-11-30 Qualcomm Incorporated Memory constraint for adaptation parameter sets for video coding
JP7291845B2 (ja) 2019-07-11 2023-06-15 北京字節跳動網絡技術有限公司 適応ループフィルタリングにおけるサンプルパディング
WO2021008546A1 (en) 2019-07-15 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Accessing samples across video unit boundaries in adaptive loop filtering
US11197030B2 (en) * 2019-08-08 2021-12-07 Panasonic Intellectual Property Corporation Of America System and method for video coding
CN114128284A (zh) 2019-08-08 2022-03-01 松下电器(美国)知识产权公司 用于视频编码的***和方法
WO2021049593A1 (en) 2019-09-11 2021-03-18 Panasonic Intellectual Property Corporation Of America System and method for video coding
JP7321364B2 (ja) 2019-09-14 2023-08-04 バイトダンス インコーポレイテッド ビデオコーディングにおけるクロマ量子化パラメータ
KR20220061980A (ko) 2019-09-22 2022-05-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서의 패딩 프로세스
KR20220063177A (ko) 2019-09-27 2022-05-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 상이한 비디오 유닛들 간의 적응적 루프 필터링
CN114651442A (zh) * 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
JP7454042B2 (ja) 2019-10-10 2024-03-21 北京字節跳動網絡技術有限公司 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス
JP7443509B2 (ja) 2019-10-14 2024-03-05 バイトダンス インコーポレイテッド ビデオコーディングにおけるクロマ量子化パラメータの使用
WO2021118977A1 (en) 2019-12-09 2021-06-17 Bytedance Inc. Using quantization groups in video coding
CN114902657A (zh) 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换
US11863742B2 (en) * 2020-12-03 2024-01-02 Alibaba Group Holding Limited Method for using adaptive loop filter and system thereof
CN113852831B (zh) * 2021-03-05 2023-03-28 杭州海康威视数字技术股份有限公司 滤波方法、装置、设备及机器可读存储介质
US11818343B2 (en) 2021-03-12 2023-11-14 Tencent America LLC Sample offset with predefined filters
US11838557B2 (en) * 2021-11-17 2023-12-05 Mediatek Inc. Methods and apparatuses of ALF derivation in video encoding system
WO2024016983A1 (en) * 2022-07-20 2024-01-25 Mediatek Inc. Method and apparatus for adaptive loop filter with geometric transform for video coding
WO2024067188A1 (en) * 2022-09-28 2024-04-04 Mediatek Inc. Method and apparatus for adaptive loop filter with chroma classifiers by transpose indexes for video coding
WO2024114810A1 (en) * 2022-12-02 2024-06-06 Mediatek Inc. Method and apparatus for adaptive loop filter with fixed filters for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012094751A1 (en) * 2011-01-14 2012-07-19 Ebrisk Video Inc. Adaptive loop filtering using tables of filter sets for video coding
US20130022104A1 (en) * 2011-07-18 2013-01-24 Qualcomm Incorporated Adaptation parameter sets for video coding
US20130215974A1 (en) * 2012-02-22 2013-08-22 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807395B2 (en) 2011-01-18 2017-10-31 Dolby International Ab Video decoder with reduced dynamic range transform with inverse transform shifting memory
CN107959852A (zh) 2011-11-08 2018-04-24 株式会社Kt 对视频信号进行解码的方法
CN104380739B (zh) 2013-04-05 2018-10-26 索尼公司 图像处理设备和图像处理方法
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
US10469876B2 (en) 2016-12-22 2019-11-05 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
US10419758B2 (en) 2017-03-16 2019-09-17 Mediatek Inc. Non-local adaptive loop filter processing
KR20220127948A (ko) 2017-03-22 2022-09-20 한양대학교 산학협력단 적응적인 화소 분류 기준에 따른 인루프 필터링 방법
CN116760980A (zh) 2017-07-05 2023-09-15 艾锐势有限责任公司 对视频编码、解码的方法和计算机可读存储器或存储装置
US11683487B2 (en) * 2019-03-26 2023-06-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) with adaptive parameter set (APS) in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012094751A1 (en) * 2011-01-14 2012-07-19 Ebrisk Video Inc. Adaptive loop filtering using tables of filter sets for video coding
US20130022104A1 (en) * 2011-07-18 2013-01-24 Qualcomm Incorporated Adaptation parameter sets for video coding
US20130215974A1 (en) * 2012-02-22 2013-08-22 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding

Also Published As

Publication number Publication date
TW202101979A (zh) 2021-01-01
US20200329239A1 (en) 2020-10-15
US11546587B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
TWI739386B (zh) 具有適應性參數集之適應性迴路濾波器
CN112640448B (zh) 编码转换系数的熵编解码方法与装置
US10887594B2 (en) Entropy coding of coding units in image and video data
WO2018188648A1 (en) Secondary transform kernel size selection
TWI750624B (zh) 編解碼變換係數的方法及裝置
WO2020259631A1 (en) Signaling coding of transform-skipped blocks
WO2021073521A1 (en) Signaling block partitioning structure of image and video
WO2021139770A1 (en) Signaling quantization related parameters
TWI751811B (zh) 多重轉換選擇的發信
JP2023090929A (ja) ビデオ復号化方法、ビデオ復号化装置及び記憶媒体
JP2024045346A (ja) ループ内フィルタリングの方法及び装置
US11785214B2 (en) Specifying video picture information
TW202315411A (zh) 視訊編解碼方法及裝置
KR20240049359A (ko) 비디오 코딩에서 파면 병렬 프로세싱에 사용되는 히스토리 기반한 라이스 파라미터 유도
WO2021047590A1 (en) Signaling of subpicture structures
WO2022217245A1 (en) Remaining level binarization for video coding