TWI813741B - 雙邊濾波器的不相等加權樣點平均 - Google Patents
雙邊濾波器的不相等加權樣點平均 Download PDFInfo
- Publication number
- TWI813741B TWI813741B TW108129922A TW108129922A TWI813741B TW I813741 B TWI813741 B TW I813741B TW 108129922 A TW108129922 A TW 108129922A TW 108129922 A TW108129922 A TW 108129922A TW I813741 B TWI813741 B TW I813741B
- Authority
- TW
- Taiwan
- Prior art keywords
- sample
- sample point
- window
- parameters
- bilateral filter
- Prior art date
Links
- 230000002146 bilateral effect Effects 0.000 title claims abstract description 168
- 238000000034 method Methods 0.000 claims abstract description 212
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000013139 quantization Methods 0.000 claims description 56
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000463 material Substances 0.000 claims description 4
- 230000006870 function Effects 0.000 description 27
- 241000023320 Luma <angiosperm> Species 0.000 description 24
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 24
- 238000003672 processing method Methods 0.000 description 24
- 238000005192 partition Methods 0.000 description 17
- 238000000638 solvent extraction Methods 0.000 description 17
- 238000001914 filtration Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 11
- 230000011664 signaling Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 238000009795 derivation Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101150114515 CTBS gene Proteins 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Discrete Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Surface Acoustic Wave Elements And Circuit Networks Thereof (AREA)
- Piezo-Electric Or Mechanical Vibrators, Or Delay Or Filter Circuits (AREA)
- Control Of Motors That Do Not Use Commutators (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本公開涉及雙邊濾波器的不相等加權樣點平均。一種視頻位元流處理的方法,包括:由處理器確定視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差(SDiff
)的加權和,其中多個樣點強度差被分配不相等的權重;以及將由一個或多個參數定義的雙邊濾波器應用於視頻資料的當前樣點的重構表示。
Description
本文獻涉及視頻編碼和解碼技術。
根據適用的《專利法》和/或《巴黎公約》的規定,本發明及時要求於2018年8月21日提交的國際專利申請號PCT/CN2018/101479的優先權和利益。根據美國法律的所有目的,將國際專利申請號PCT/CN2018/101479的全部公開以引用方式併入本文,作為本發明公開的一部分。
數位視訊在互聯網和其他數位通信網路上的頻寬使用量最大。隨著能夠接收和顯示視頻的連接使用者設備數量的增加,預期數位視訊使用的頻寬需求將繼續增長。
所公開的技術可由視頻解碼器或編碼器實施例使用,其中可應用雙邊濾波器。
在一個示例方面,公開了一種視頻位元流處理的方法。該方法包括:由處理器確定視頻資料的第一部分的重構表示將經受至少基於相鄰樣點的樣點強度值的雙邊濾波器,該確定基於在序列參數集、圖片參數集、條帶標頭、圖片標頭、編碼樹單元(CTU)、編碼樹塊(CTB)或編碼單元(CU)組中的一個或多個中信令通知的資訊;以及基於該確定,將雙邊濾波器應用於視頻資料的第一部分的重構表示。
在另一個示例方面,一種視頻位元流處理的方法,包括:由處理器基於位元流中信令通知的資訊確定視頻資料的第一部分與大於閾值量化參數(QP)的QP相關聯;以及基於QP大於閾值QP的確定,確定第一部分的重構表示不經受雙邊濾波器,其中雙邊濾波器至少基於相鄰樣點的樣點強度值。
在另一示例方面,一種視頻位元流處理的方法,包括:由處理器確定視頻資料的第一部分的第一編碼模式和視頻資料的第二部分的第二編碼模式;以及基於第一編碼模式將雙邊濾波器應用於視頻資料的第一部分的重構表示,其中雙邊濾波器至少基於相鄰樣點的樣點強度值。
在另一個示例方面,一種視頻位元流處理的方法,包括:由處理器確定視頻資料的第一部分的重構表示將經受至少基於相鄰樣點的樣點強度值的雙邊濾波器,其中,視頻資料的第一部分與量化參數(QP)相關聯;以及基於QP將雙邊濾波器應用於視頻資料的第一部分的重構表示。
在另一個示例方面,一種視頻位元流處理的方法,包括:由處理器確定視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差的加權和(WSSDiff值),其中多個樣點強度差的加權和被分配相同的參數;以及將由一個或多個參數定義的雙邊濾波器應用於視頻資料的當前樣點的重構表示。
在另一個示例方面,一種視頻位元流處理的方法,包括:由處理器確定視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於當前樣點和一個或多個相鄰樣點之間的樣點強度差(SDiff值),其中多個樣點強度差被分配相同的參數;以及將由一個或多個參數定義的雙邊濾波器應用於視頻資料的當前樣點的重構表示。
在另一個示例方面,一種視頻位元流處理的方法,包括:由處理器確定視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差(SDiff)的加權和,其中多個樣點強度差被分配不相等的權重;以及將由一個或多個參數定義的雙邊濾波器應用於視頻資料的當前樣點的重構表示。
在另一個示例方面,一種視頻位元流處理的方法,包括:由處理器確定視頻資料的當前樣點的重構表示將經受由一個或多
個參數定義的雙邊濾波器,該一個或多個參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差的子集的加權和,其中多個樣點強度差被分配相同的權重;以及將由一個或多個參數定義的雙邊濾波器應用於視頻資料的當前樣點的重構表示。
在另一個示例方面,一種視頻位元流處理的方法,包括:由處理器確定視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差的子集的加權和,其中多個樣點強度差被分配不相等的權重;以及將由一個或多個參數定義的雙邊濾波器應用於視頻資料的當前樣點的重構表示。
在另一個示例方面,上述方法可由包含處理器的視頻解碼器裝置實現。
在另一個示例方面,上述方法可由包含處理器的視訊轉碼器裝置實現。
在另一個示例方面,這些方法可以以處理器可執行指令的形式實施,並存儲在電腦可讀程式介質上。
本文進一步描述了這些方面以及其他方面。
805、810:視窗
1100:視頻處理裝置
1102:處理器
1104:記憶體
1106:視頻處理硬體
1300、1400、1500、1600、1700、1800、1900、2000、2100、2200、2300、2400:方法
1305、1310、1405、1410、1505、1510、1610、1620、1710、1720、1810、1820、1910、1920、2010、2020、2110、2120、2210、
2220、2310、2320、2410、2420:步驟
2500:視頻處理系統
2502:輸入
2504:編碼元件
2506、2508:元件
2510:顯示介面
圖1是H.264/高級視頻編碼(AVC)中MB分割的示意圖。
圖2示出了將編碼塊(CB)劃分為預測塊(PB)的模式的示例。
圖3A至圖3B示出了將編碼樹塊(CTB)細分為CB的示例。
圖4A至圖4B示出了四叉樹加二叉樹(QTBT)結構的示例。
圖5示出了分割的示例。
圖6示出了變換單元(TU)和濾波器孔徑的示例。
圖7示出了雙邊濾波器中使用的相鄰樣點的示例。
圖8示出了加權計算中使用的覆蓋兩個樣點的視窗。
圖9示出了雙邊濾波器推導中使用的部分樣點。
圖10示出了雙邊濾波器推導中使用的部分樣點。
圖11是視頻處理裝置示例的框圖。
圖12示出了視訊轉碼器的示例實現的框圖。
圖13是視頻位元流處理方法示例的流程圖。
圖14是視頻位元流處理方法示例的流程圖。
圖15是視頻位元流處理方法示例的流程圖。
圖16是視頻位元流處理方法示例的流程圖。
圖17是視頻位元流處理方法示例的流程圖。
圖18是視頻位元流處理方法示例的流程圖。
圖19是視頻位元流處理方法示例的流程圖。
圖20是視頻位元流處理方法示例的流程圖。
圖21是視頻位元流處理方法示例的流程圖。
圖22是視頻位元流處理方法示例的流程圖。
圖23是視頻位元流處理方法示例的流程圖。
圖24是視頻位元流處理方法示例的流程圖。
圖25是可實施所公開技術的示例視頻處理系統的框圖。
本文提供了視頻位元流解碼器可以使用的各種技術,以提高解壓縮或解碼數位視訊的品質。此外,視訊轉碼器還可以在編碼處理中實現這些技術,以便重建用於進一步編碼的解碼幀。
在本文中,使用章節標題用於提高可讀性,並且不將每個章節中描述的技術和實施例的範圍僅限於該章節。此外,雖然使用了各種現有視頻轉碼器標準的某些術語,但所公開的技術不僅限於這些視頻標準或其後續標準,並且適用於其他視頻轉碼器標準。此外,在某些情況下,使用相應的編碼步驟公開了技術,並且應當理解的是,將在解碼器上執行相反順序的相應解碼步驟。此外,編碼還可用於執行轉碼,其中視頻從一種編碼表示(例如,一種位元速率)表示為另一種編碼表示(例如,不同的位元速率)。
1.概述
所公開的技術涉及視頻編碼技術。具體地,其涉及重建後濾波器,例如圖像/視頻編碼中的雙邊濾波器。它可以應用於現有的視頻編碼標準,如HEVC,或待定案的標準(多功能視頻編碼)。它也可能適用於未來的視頻編碼標準或視頻轉碼器。
2.初步討論
視頻編碼標準主要是通過開發著名的ITU-T和ISO/IEC標準而發展起來的。ITU-T制定了H.261和H.263,ISO/IEC制定了MPEG-1和MPEG-4視頻,並且兩個組織聯合制定了H.262/MPEG-2視頻和H.264/MPEG-4高級視頻編碼(AVC)和H.265/HEVC標準。自H.262以來,視頻編碼標準基於混合視頻編碼結構,其中採用了時域預測加變換編碼。
圖12是視訊轉碼器實施示例的框圖。
2.1 H.264/AVC中的分割樹結構
H.264/AVC中的分割樹結構
先前標準中編碼層的核心是巨集塊,包含亮度樣點的16×16塊,通常情況下是4:2:0顏色採樣的,彩度樣點的兩個對應的8×8塊。
幀內編碼塊使用空間預測來開發像素之間的空間相關性。定義了兩種分割:16x16和4x4。
幀間編碼塊通過估計圖片間的運動來使用時域預測而不是空間預測。可以單獨估計16x16宏塊或其任何子宏塊分割的運動:16x8、8x16、8x8、8x4、4x8、4x4(見圖2)。每個子宏塊分割只允許一個運動向量(MV)。
圖1是H.264/高級視頻編碼(AVC)中MB分割的示意圖。
2.1.2 HEVC中的分割樹結構
在HEVC中,通過使用四叉樹結構(表示為編碼樹)將CTU劃分成CU以適應各種局部特性。在CU級別做出是使用幀間(時域)還是幀內(空間)預測對圖像區域進行編碼的決定。根據PU的劃分類型,每個CU可以進一步劃分成一個、兩個或四個PU。在一個PU中,採用相同的預測處理,並且以PU為基礎將相關資訊傳輸到解碼器。在通過應用基於PU劃分類型的預測處理獲得殘差塊後,可以根據與CU的編碼樹相似的另一種四叉樹結構將CU分割成變換單元(TU)。HEVC結構的一個重要特點是它具有包括CU、PU、和TU的多個分割概念。
在下文中,使用HEVC的混合視頻編碼中涉及的各種特徵突出顯示如下。
1)編碼樹單元和編碼樹塊(CTB)結構:HEVC中的類似結構是編碼樹單元(CTU),其尺寸由編碼器選擇,並且可以大於傳統的宏塊。CTU由亮度CTB和相應的彩度CTB和語法元素組成。亮度CTB的尺寸L×L可以選擇為L=16、32或64個樣點,其中較大的尺寸通常能夠實現更好的壓縮。然後,HEVC支援使用樹結構和四叉樹式信令將CTB分割為更小的塊。
2)編碼單元(CU)和編碼塊(CB):CTU的四叉樹語法規定了其亮度和彩度CB的尺寸和位置。四叉樹的根與CTU相關聯。因此,亮度CTB的尺寸是亮度CB支持的最大尺寸。將CTU劃分為亮度和彩度CB是聯合發信令的。一個亮度CB和通常兩個彩度CB以及相關聯的語法一起形成編碼單元(CU)。CTB可以
只包含一個CU,也可以劃分成多個CU,並且每個CU都有分割成預測單元(PU)和轉換單元樹(TU)的相關聯的分割。
3)預測單元和預測塊(PB):在CU級別做出是使用幀間還是幀內預測對圖像區域進行編碼的決定。PU分割結構的根位於CU層。取決於基本的預測類型決定,可以在尺寸上進一步劃分亮度和彩度CB,並且可以從亮度和彩度預測塊(PB)中預測亮度和彩度CB。HEVC支援從64×64到4×4個樣點的可變PB尺寸。圖3A至圖3B示出了MxM CU允許的PB的示例。
圖2示出了將編碼塊(CB)劃分為預測塊(PB)的模式的示例。
4)TU和變換塊:使用變換塊對預測殘差進行編碼。TU樹結構的根位於CU層。亮度CB殘差可能與亮度變換塊(TB)相同,也可能進一步劃分為更小的亮度TB。其同樣適用於彩度TB。對於4×4、8×8、16×16和32×32的方形TB,定義了與離散餘弦變換(DCT)相似的整數基函數。對於亮度幀內預測殘差的4×4變換,也可以指定從離散正弦變換(DST)形式推導的整數變換。
圖3A至圖3B示出了將編碼樹塊(CTB)細分為CB的示例。
2.1.2.1 樹形結構分割成變換塊和變換單元
對於殘差編碼,CB可以遞迴地分割成轉換塊(TB)。分割由殘差四叉樹信令指示。僅指定了方形CB和TB分割,其中塊可以遞迴地劃分成象限,如圖4A至圖4B所示。對於尺寸為M×
M的給定亮度CB,標誌表示它是否被劃分成四個尺寸為M/2×M/2的塊。如果可以進一步劃分,如SPS中指示的殘差四叉樹的最大深度信令指示的那樣,每個象限都會被分配指示是否將其劃分為四個象限標誌。由殘差四叉樹生成的葉節點塊是由變換編碼進一步處理的變換塊。編碼器指示它將使用的最大和最小亮度TB尺寸。當CB尺寸大於最大TB尺寸時,則暗示劃分。如果劃分將導致亮度TB尺寸小於指示的最小值,則暗示不劃分。彩度TB尺寸在每個維度上是亮度TB尺寸的一半,但當亮度TB尺寸為4×4時除外,在這種情況下,由四個4×4亮度TB覆蓋的區域使用單個4×4彩度TB。對於幀內預測的CU的情況,最鄰近的TB(CB內或CB外)的解碼樣點被用作幀內預測的參考資料。
與先前的標準相反,HEVC設計允許TB跨越多個幀間預測CU的PB,以最大化四叉樹結構的TB分割的潛在編碼效率優勢。
2.1.2.2 父節點和子節點
CTB按照四叉樹結構進行劃分,其節點為編碼單元。四叉樹結構中的多個節點包括葉節點和非葉節點。葉節點在樹結構中沒有子節點(即葉節點無進一步劃分)。非葉節點包括樹結構的根節點。根節點對應於視頻資料的初始視頻塊(例如,CTB)。對於多個節點的每個對應的非根節點,對應的非根節點對應於視頻塊,該視頻塊是對應於樹結構中各個非根節點的父節點的視頻塊的子塊。多個非葉節點的每個對應的非葉節點在樹結構中具有一
個或多個子節點。
2.1.3 JEM中具有較大CTU的四叉樹加二叉樹塊結構
為了探索HEVC之外的未來視頻編碼技術,VCEG和MPEG於2015年共同成立了聯合視頻探索小組(JVET)。此後,JVET採用了許多新的方法,並將其應用於名為聯合探索模型(JEM)的參考軟體。
2.1.3.1 QTBT塊分割結構
與HEVC不同,QTBT結構消除了多個劃分類型的概念。即,其消除了CU、PU和TU概念的分離,並支持CU劃分形狀的更多靈活性。在QTBT塊結構中,CU可以是方形或矩形。如圖5所示,首先用四叉樹結構對編碼樹單元(CTU)進行劃分。四叉樹葉節點進一步被二叉樹結構劃分。在二叉樹劃分中有兩種劃分類型:對稱的水準劃分和對稱的垂直劃分。二叉樹葉節點被稱為編碼單元(CU),該劃分用於預測和轉換處理,而無需進一步劃分。這意味著在QTBT編碼塊結構中CU、PU和TU具有相同的塊尺寸。在JEM中,CU有時由不同顏色分量的編碼塊(CB)組成,例如,在4:2:0彩度格式的P條帶和B條帶中,一個CU包含一個亮度CB和兩個彩度CB,並且CU有時由單個分量的CB組成,例如,在I條帶的情況下,一個CU僅包含一個亮度CB或僅包含兩個彩度CB。
為QTBT分割方案定義了以下參數。
- CTU尺寸:四叉樹的根節點尺寸,與HEVC中的概念
相同。
- MinQTSize:最小允許的四叉樹葉節點尺寸
- MaxBTSize:最大允許的二叉樹根節點尺寸
- MaxBTDepth:最大允許的二叉樹深度
- MinBTSize:最小允許的二叉樹葉節點尺寸
在QTBT劃分結構的一個示例中,CTU尺寸被設置為具有兩個對應的64×64彩度樣點塊的128×128個亮度樣點,MinQTSize被設置為16×16,MaxBTSize被設置為64×64,MinBTSize(寬度和高度)被設置為4×4,MaxBTSize被設置為4。四叉樹劃分首先應用於CTU,以生成四叉樹葉節點。四叉樹葉節點的尺寸可以具有從16×16(即MinQTSize)到128×128(即CTU尺寸)的尺寸。如果葉四叉樹節點是128×128,則其不會被二叉樹進一步劃分,因為其尺寸超過了MaxBTSize(即64×64)。否則,葉四叉樹節點可以被二叉樹進一步劃分。因此,四叉樹葉節點也是二叉樹的根節點,並且其二叉樹深度為0。當二叉樹深度達到MaxBTDePTh(即4)時,不考慮進一步劃分。當二叉樹節點的寬度等於MinBTSize(即4)時,不考慮進一步的水準劃分。同樣,當二叉樹節點的高度等於MinBTSize時,不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點,而不需要進一步的劃分。在JEM中,最大CTU尺寸為256×256個亮度樣點。
圖4A說明了通過使用QTBT進行塊分割的示例,圖4B說明了相應的樹表示。實線表示四叉樹劃分,並且虛線表示二叉樹
劃分。在二叉樹的每個劃分(即非葉)節點中,會對一個標誌發信令來指示使用哪種劃分類型(即水準或垂直),其中0表示水準劃分,1表示垂直劃分。對於四叉樹劃分,不需要指明劃分類型,因為四叉樹劃分總是水準和垂直劃分一個塊,以生成尺寸相同的4個子塊。
此外,QTBT方案支援亮度和彩度具有單獨的QTBT結構的能力。目前,對於P條帶和B條帶,一個CTU中的亮度和彩度CTB共用相同的QTBT結構。然而,對於I條帶,用QTBT結構將亮度CTB劃分為CU,用另一個QTBT結構將彩度CTB劃分為彩度CU。這意味著I條帶中的CU由亮度分量的編碼塊或兩個彩度分量的編碼塊組成,P條帶或B條帶中的CU由所有三種顏色分量的編碼塊組成。
在HEVC中,為了減少運動補償的記憶體訪問,限制小塊的幀間預測,使得4×8和8×4塊不支持雙向預測,並且4×4塊不支援幀間預測。在JEM的QTBT中,這些限制被移除。
2.1.4 VVC的三叉樹
可以支援除四叉樹和二叉樹以外的樹類型。在實現中,引入了另外兩個三叉樹(TT)分割,即水準和垂直的中心側三叉樹,如圖5(d)和(e)所示。
圖5示出了分割的示例:(a)四叉樹分割(b)垂直二叉樹分割(c)水準二叉樹分割(d)垂直中心側三叉樹分割(e)水準中心側三叉樹分割。
有兩個層次的樹:區域樹(四叉樹)和預測樹(二叉樹或三叉樹)。首先用區域樹(RT)對CTU進行分割。可以進一步用預測樹(PT)劃分RT葉。也可以用PT進一步劃分PT葉,直到達到最大PT深度。PT葉是基本的編碼單元。為了方便起見,它仍然被稱為CU。CU不能進一步劃分。預測和變換都以與JEM相同的方式應用於CU。整個分割結構被稱為“多類型樹”。
2.2 重構後濾波
2.2.1 JEM中的雙邊濾波器
雙邊濾波器是JEM解碼處理鏈中的第一個環路濾波器。重構TU後,重構TU中的每個亮度樣點都會被其自身及其在TU中鄰居的加權平均值所替代。權重是基於距中心樣點的距離以及樣點值中的差異來計算的。因此,所公開的雙邊濾波器基於相鄰樣點的樣點強度值。重構的TU在本文中被稱為視頻資料的一部分的重構表示和/或一個或多個視頻樣點的重構表示。濾波器形狀是一個小的加號,如圖6所示。
圖6示出了變換單元(TU)和濾波器孔徑的示例。例如,圖6示出了8×8 TU塊和位於位置(1,1)處的樣點的濾波器孔徑的示例。
雙邊濾波器的工作原理是,濾波器權重不僅取決於與相鄰樣點的距離,還取決於它們的值。位於(i,j)處的樣點使用其相鄰樣點(k,l)進行濾波。權重ω(i,j,k,l)是分配給樣點(k,l)來對樣點(i,j)進行濾波的權重,並且其定義為
在這裡,I(i,j)和I(k,l)分別是樣點(i,j)和樣點(k,l)的原始重構強度值。σ d 是空間參數,並且σ r 是範圍參數。雙邊濾波器的性能(或強度)由這兩個參數控制。更靠近待濾波樣點的樣點、以及與待濾波樣點具有更小強度差的樣點將比更遠離的樣點和更大強度差的樣點具有更大的權重。在JEM中,根據變換單元尺寸和預測模式設置σ d ,並且基於用於當前塊的QP設置σ r 。
σ d 的不同值意味著與幀內預測塊相比,幀間預測塊的濾波強度相對較弱。幀間預測的殘差通常小於幀內預測的殘差,並且因此,雙邊濾波器被設計以更小地對幀間預測塊的重構進行濾波。因此,雙邊濾波器的強度可以基於視頻塊(或部分)的編碼模式或編碼條件。
其中I C 是中心樣點的強度,並且I L 、I R 、I A 和I B 分別是左側、右側、上方和下方樣點的強度。同樣地,ω C 是中心樣點的權重,並且ω L 、ω R 、ω A 和ω B 分别是相鄰樣點的相應權重。濾波器僅使用塊內的樣點進行濾波,外部權重設置為0。
其中使用的除法是整數除法,並且增加項(ω C +ω L +ω R +ω A +ω B )>>1以獲得正確的取整。
在JEM參考軟體中,等式10以使得其精確到等式9的方式實現。使用等式9(即使用除法運算)可以提供與JEM中無除法運算相同的結果。
如果QP<18或塊為幀間類型且塊尺寸為16×16或更大,則關閉濾波器。
2.2.2 非局部非除法雙邊濾波器
所提出的雙邊濾波器可以應用於具有非零變換係數且條帶量化參數大於17的亮度塊。因此,無需對雙邊濾波器的使用發信令。如果應用了雙邊濾波器,則在逆變換後立即在解碼樣點上運行。此外,濾波器參數(即權重)是從編碼資訊中顯式推導的。
圖7示出了雙邊濾波器中使用的相鄰樣點的示例。
更具體地,與第k個相鄰樣點相關聯的權重W k (x)定義如下:W k (x)=Distance k ×Range k (x) (12)
並且σ d 取決於編碼模式和編碼塊尺寸。所述的濾波處理應用於幀內編碼塊和當進一步劃分TU時的幀間編碼塊,以實現並行處理。
其中P k,m 和P 0,m 表示分別以P k,0和P 0,0為中心的視窗內的第m個樣點值。在本方案中,視窗尺寸設置為3×3。窗口覆蓋P 2,0和P 0,0的兩個窗口的示例如圖8所示。
圖8示出了覆蓋加權計算中使用的兩個樣點的視窗805
(如實線所示)和810(如虛線所示)。
2.3 量化參數
在一些實現中,最大允許的量化參數(QP)從HEVC/H.265中的51修改為63。該修改基於HEVC ISO/IEC 23008-2、ITU-T H.265。鑒於QP的擴大的範圍對當前技術標準版本的更改以粗體和斜體顯示在下文中。
7.3.2.3 圖片參數集RBSP語法
7.3.2.3.1 通用圖片參數集RBSP語法
7.4.3.3.1 通用圖片參數集RBSP語義
…
init_qp_minus26加26為關於PPS的每個條帶規定了SliceQpY的初始值。當解碼slice_qp_delta的非零值時,在條帶段層修改SliceQpY的初始值。init_qp_minus26的值應當在-(26+QpBdOffsetY)至+37的範圍內,包括-(26+QpBdOffsetY)和+37(而不是如該標準的當前版本的25)。
cu_qp_delta_enabled_flag等於1規定了語法元素diff_cu_qp_delta_depth存在於PPS中,並且cu_qp_delta_abs可能存在於變換單元語法和調色語法中。cu_qp_delta_enabled_flag等於0規定了語法元素diff_cu_qp_delta_depth不存在於PPS中,並且cu_qp_delta_abs不存在於變換單元語法和調色語法中。
diff_cu_qp_delta_depth規定了傳遞cu_qp_delta_abs和cu_qp_delta_sign_flag的編碼單元的亮度編碼樹塊尺寸和最小亮
度編碼塊尺寸之間的差。diff_cu_qp_delta_depth的值應當在0至log2_diff_max_min_luma_coding_block_size的範圍內,包括0和log2_diff_max_min_luma_coding_block_size。當不存在時,diff_cu_qp_delta_depth的值被推斷為等於0。
變數Log2MinCuQpDeltaSize推導如下:Log2MinCuQpDeltaSize=CtbLog2SizeY-diff_cu_qp_delta_depth (7-36)
pps_cb_qp_offset和pps_cr_qp_offset規定了分別用於推導Qp′Cb和Qp′Cr的亮度量化參數Qp′Y的偏移。pps_cb_qp_offset和pps_cr_qp_offset的值應當在-12至+12的範圍內,包括-12和+12。當ChromaArrayType等於0時,pps_cb_qp_offset和pps_cr_qp_offset不用於解碼處理,並且解碼器應當忽略它們的值。
pps_slice_chroma_qp_offsets_present_flag等於1指示語法元素slice_cb_qp_offset和slice_cr_qp_offset存在於相關聯的條帶標頭中。pps_slice_chroma_qp_offsets_present_flag等於0指示這些語法元素不存在於相關聯的條帶標頭中。當ChromaArrayType等於0時,pps_slice_chroma_qp_offsets_present_flag應當等於0。
7.4.7.1 通用條帶段標頭語義
…
slice_qp_delta規定了將用於條帶中的編碼塊的QpY的
初始值,直到被編碼單元層中的CuQpDeltaVal的值改變。條帶的量化參數QpY的初始值SliceQpY推導如下:SliceQpY=26+init_qp_minus26+slice_qp_delta (7-54)
SliceQpY的值應當在-QpBdOffsetY至+63的範圍內,包括-QpBdOffsetY和+63(而不是如該標準的當前版本的51)。
7.4.9.14 增量QP語義
…
當存在cu_qp_delta_abs時,變數IsCuQpDeltaCoded和CuQpDeltaVal推導如下:IsCuQpDeltaCoded=1 (7-87)
CuQpDeltaVal=cu_qp_delta_abs *(1-2 * cu_qp_delta_sign_flag) (7-88)
CuQpDeltaVal的值應當在-(32+QpBdOffsetY/2)至+(31+QpBdOffsetY/2)的範圍內,包括-(32+QpBdOffsetY/2)和+(31+QpBdOffsetY/2),注意該標準的當前版本使用“26”而不是32、使用“25”而不是31。
8.6.1 量化參數的推導過程
…
4.預測的亮度量化參數qPY_PRED推導如下:qPY_PRED=(qPY_A+qPY_B+1)>>1
(8-284)
變數QpY推導如下:QpY=((qPY_PRED+CuQpDeltaVal+64+2 * QpBdOffsetY)%(64+QpBdOffsetY))-QpBdOffsetY (8-285)
在以上兩個位置上,該標準的當前版本都使用“52”而不是64。
亮度量化參數Qp′Y推導如下:Qp′Y=QpY+QpBdOffsetY (8-286)
當ChromaArrayType不等於0時,以下適用:- 變數qpCb和qPCr推導如下:- 如果tu_residual_act_flag[xTbY][yTbY]等於0,則以下適用:qPiCb=Clip3(-QpBdOffsetC,69,QpY+pps_cb_qp_offset+slice_cb_qp_offset+CuQpOffsetCb) (8-287)
qPiCr=Clip3(-QpBdOffsetC,69,QpY+pps_cr_qp_offset+slice_cr_qp_offset+CuQpOffsetCr) (8-288)
- 否則(tu_residual_act_flag[xTbY][yTbY]等於1),以下適用:qPiCb=Clip3(-QpBdOffsetC,69,QpY+
PpsActQpOffsetCb+slice_act_cb_qp_offset+CuQpOffsetCb) (8-289)
qPiCr=Clip3(-QpBdOffsetC,69,QpY+PpsActQpOffsetCr+slice_act_cr_qp_offset+CuQpOffsetCr) (8-290)
注意,在以上四個等式中,該標準的當前版本都使用“57”而不是69。
- 如果ChromaArrayType等於1,則基於索引qPi分別等於qpiCb和qpiCr,將變數qPCb和qPCr設置為等於如表8-10中規定的QpC的值。
- 否則,基於索引qPi分別等於qPiCb和qPiCr,將變數qPCb和qPCr設置為等於Min(qPi,63)。注意,該標準的當前版本使用“51”而不是63。
- Cb和Cr分量的彩度量化參數Qp′Cb和Qp′Cr推導如下:Qp′Cb=qPCb+QpBdOffsetC (8-291)
Qp′Cr=qPCr+QpBdOffsetC (8-292)
表8-10對於ChromaArrayType等於1將QpC規定為qPi的函數
8.7.2.5.3 亮度塊邊緣的決策處理
…
變數qPL推導如下:qPL=((QpQ+QpP+1)>>1) (8-349)
變數β′的值是基於亮度量化參數Q如表8-12中所規定的來確定的,Q推導如下:Q=Clip3(0,63,qPL+(slice_beta_offset_div2<<1)) (8-350)
其中slice_beta_offset_div2是包含樣點q0,0的條帶的語法元素slice_beta_offset_div2的值。注意,該標準的當前版本使用“51”而不是63。
變數β推導如下:β=β′*(1<<(BitDepthY-8)) (8-351)
變數tC′的值是基於亮度量化參數Q如表8-12中所規定的來確定的,Q推導如下:Q=Clip3(0,65,qPL+2 *(bS-1)+(slice_tc_offset_div2<<1)) (8-352)
其中slice_tc_offset_div2是包含樣點q0,0的條帶的語法元素slice_tc_offset_div2的值。注意,該標準的當前版本使用“51”而不是63。
變數tC′的推導如下:tC=tC′*(1<<(BitDepthY-8)) (8-353)
表8-12從輸入Q推導閾值變數β′和tC′
8.7.2.5.彩度塊邊緣的濾波處理
…
如果ChromaArrayType等於1,則變數QpC是基於索引qPi如表8-10中所規定的來確定的,qPi推導如下:qPi=((QpQ+QpP+1)>>1)+cQpPicOffset (8-384)
否則(ChromaArrayType大於1),則變數QpC被設置
為等於Min(qPi,63)。
注釋-根據濾波的彩度分量是Cb或Cr分量,變數cQpPicOffset為pps_cb_qp_offset o或pps_cr_qp_offset的值提供了調整。然而,為了避免在圖片內需要改變調整量,濾波處理不包括對slice_cb_qp_offset或slice_cr_qp_offset的值的調整,也不包括(當chroma_qp_offset_list_enabled_flag等於1時)對CuQpOffsetCb或CuQpOffsetCr的值得調整。
變數tC′的值是基於亮度量化參數Q如表8-12中所規定的來確定的,Q推導如下:Q=Clip3(0,65,QpC+2+(slice_tc_offset_div2<<1)) (8-385)
其中slice_tc_offset_div2是包含樣點q0,0的條帶的語法元素slice_tc_offset_div2的值。
注意,該標準的當前版本使用“51”而不是63,使用“53”而不是65。
9.3.2.2 上下文變數的初始化過程
分配給pStateIdx和valMps的用於初始化的兩個值是從SliceQpY中推推導的,從等式7-54推推導。給定變數m和n,初始化規定如下:preCtxState=Clip3(1,126,((m * Clip3(0,63,SliceQpY))>>4)+n)
valMps=(preCtxState<=63)?0:1
pStateIdx=valMps?(preCtxState-64):(63-preCtxState) (9-6)
注意,該標準的當前版本使用“51”而不是63。
3.實施例解決的問題的示例
當條帶QP大於16(大於或等於17)且CU中存在非零係數時,啟用雙邊濾波器。這種設計存在以下問題:當給定一定的塊尺寸、編碼方式(幀內或幀間)和QP時,當樣點差較大時,濾波器參數會變小。儘管在閾值之後所有濾波器參數都將設置為0。對於小於閾值的樣點差,在樣點差和濾波器參數之間存在一對一映射。因此需要存儲每個樣點差的所有參數。記憶體需求很大。
如何處理不同塊可能使用不同QP的速率控制情況是未知的。
使用3x3視窗中的當前樣點與其相鄰樣點之間的平均樣點差而不是直接使用兩個樣點差的動機是:可能會阻止一些雜訊,以便獲得更多的增益。然而,用相同權重處理所有樣點差並未考慮位於3x3視窗中心的兩個樣點的重要性。
4.實施例的示例
下面詳細的實施例應被視為解釋一般概念的示例。這些實施例不應該被狹義地解釋。此外,這些實施例可以任何方式組合。
需要注意的是,下面描述的方法可用於任何其他濾波處理,這些濾波處理需要依賴於量化參數/樣點差的濾波器參數。
雙邊濾波器的使用
可以在序列參數集、圖片參數集、條帶標頭/圖片標頭/CTU/CTB/CU組中對啟用/禁用雙邊濾波器的指示發信令。
在一個示例中,此外,雙邊濾波器的使用指示的信令可能進一步取決於編碼塊(編碼單元)的最小尺寸、量化參數。
或者,在例如基於量化參數的某些條件下可以跳過該信令。例如,如果條帶量化參數大於第一閾值,則可以跳過該信令。
或者,在例如基於量化參數的某些條件下可以跳過該信令。例如,如果條帶量化參數小於第二閾值,則可以跳過該信令。
可以預先定義第一和/或第二閾值或在位元流中對其發信令。在一個示例中,第一閾值設置為18。
2.當選擇的量化參數大於閾值時,建議自動地禁用雙邊濾波器。
在一個示例中,閾值是預先定義的或者在例如序列參數集、圖片參數集、條帶標頭等中信令指示的。
3.是否應用以及如何應用雙邊濾波器可能取決於當前塊的編碼模式。
在一個示例中,對於使用基於子塊的預測(如仿射預測或ATMVP)編碼的CU,禁用雙向濾波器。
雙邊濾波器參數可能進一步取決於一個塊是否使用基於子塊的預測方法、OBMC、多假設預測等進行編碼。
在一個示例中,對於使用基於子塊的預測(如仿射預測或ATMVP)編碼的CU,雙邊濾波器更強。
在一個示例中,對於使用基於子塊的預測(如仿射預測或ATMVP)編碼的CU,雙邊濾波器較弱。
在一個示例中,對於使用OBMC預測的像素,雙邊濾波器較弱。
在一個示例中,對於使用多假設預測編碼的CU,雙邊濾波器較弱。
QP的選擇
4.雙邊濾波處理中用於參數推導的QP值可定義為:圖片級QP,例如,在與當前塊相關聯的PPS中信令通知的QP;包含當前塊的條帶QP;以前編碼的塊的QP的函數返回的值。
在一個示例中,該函數被定義為平均函數;在一個示例中,該函數被定義為線性函數,例如加權平均函數;在一個示例中,先前編碼的塊表示屬於相同CTU/相同
CTU行/相同條帶的塊;在一個示例中,先前編碼的塊覆蓋了當前塊的參考塊。
為降低存儲濾波器參數的記憶體大小的樣點差的量化
5.為了減小存儲雙邊濾波器中使用的相關(包括例如中間或最終)參數的表尺寸,從樣點差(例如,等式(1)中的ω(i,j,k,l),或在等式(12)中的W k (x))中推導的參數的值不是一對一映射。也就是說,可以為兩個或多個樣點差分配相同的權重。
在一個示例中,相同的差異可以首先被量化,並且量化值被用作輸入,以推導雙邊濾波器中使用的加權參數。
在一個示例中,可以應用線性量化方法。
在這種情況下,不使用SDiff作為輸入,而是使用(SDiff/stepSize)作為輸入,以推導雙邊濾波器參數。
或者,將((SDiff+offset)/stepSize)用作輸入,以推導雙邊濾波器參數。
參數stepSize可以預先定義。
參數stepSize可能取決於QP、塊尺寸/形狀/編碼模式等。
在一個示例中,可以應用樣點差的非線性量化方法。
在這種情況下,不使用SDiff作為輸入,而是使用Quant(SDiff,stepSize)作為輸入,以推導雙邊濾波器參數,其中函數
Quant通過給定輸入SDiff和stepSize返回量化值。
或者,不使用SDiff作為輸入,而是使用Quant(SDiff)作為輸入,以推導雙邊濾波器參數,其中函數Quant通過給定輸入SDiff返回量化值。
參數stepSize可以預先定義。
參數stepSize可能取決於QP、塊尺寸/形狀/編碼模式/預測方法(如子塊或非子塊)/運動資訊(如仿射運動或平移運動)/QP值等。
函數Quant可以預先定義。
在一個示例中,為小絕對樣點差設計更多的條目,並且為大絕對樣點差設計更少的條目。
可替代的,此外,當樣點差大於N或小於-M(N和M為正值)時,分配一個相同的權重。
變數N或M可能進一步取決於編碼模式資訊、塊尺寸/塊形狀/預測方法(例如,子塊或非子塊)/運動資訊(例如,仿射運動或平移運動)/QP值。
為了更高編碼性能的不相等加權樣點平均
6.在計算視窗內的樣點差時,不使用相等加權,而是使用不相等加權平均。
在樣點平均計算中使用的不相等權重(諸如WA k,m ,WA m )可以是預先定義的。
在一個示例中,與m大於0時的其他WA m 相比,m=0時的WA m
是最大的。
在樣點平均計算中使用的不相等的權重(諸如WA k,m ,WA m )可能進一步取決於QP、塊尺寸/形狀/編碼模式等。
應當注意的是,這種方法可以應用於任何雙邊濾波器內核,例如,用樣點平均代替樣點差的等式(10)。
減少視窗尺寸以降低計算複雜度
7.不使用NxN(例如N=3)視窗來計算樣點平均差,而是僅使用NxN視窗內的部分樣點。
圖9示出了雙邊濾波器推導中使用的部分樣點。
在一個示例中,如何選擇部分視窗取決於塊尺寸、塊形狀、塊QP或塊模式。
圖10示出了用於雙邊濾波器推導的部分樣點的示例。
圖11是視頻處理裝置1100的框圖。裝置1100可用於實施本文所述的一種或多種方法。裝置1100可包含在智慧手機、平板電腦、電腦、物聯網(IoT)接收器等中。設備1100可包括一個或多個處理器1102、一個或多個記憶體1104和視頻處理硬體1106。處理器1102可以配置為實現本文中描述的一種或多種方法。記憶體1104可用於存儲用於實現本文該方法和技術的資料和代碼。視頻處理硬體1106可用於在硬體電路中實現本檔所述的一些技術。
圖13是視頻位元流處理方法1300的流程圖。方法1300包括確定(1305)視頻資料的第一部分要經受雙邊濾波器,該確定基於包含序列參數集、圖片參數集、條帶標頭、圖片標頭、編碼樹單元(CTU)、編碼樹塊(CTB)或編碼單元組(CU)的一個或多個中的資訊;以及將雙邊濾波器應用(1310)於視頻資料的第一部分。
圖14是視頻位元流處理方法1400的流程圖。方法1400包括確定(1405)視頻資料的第一部分與大於閾值量化參數(QP)的QP相關聯;以及基於QP大於閾值QP的確定,確定(1410)第一部分不經受雙邊濾波器。
圖15是視頻位元流處理方法1500的流程圖。方法1500包括確定(1505)視頻資料第一部分的第一編碼模式;以及基於第一編碼模式應用(1510)雙邊濾波器。
參照方法1300、1400和1500,本文第4章節描述了一些
雙邊濾波器及其使用的示例。例如,如第4章節所述,可以基於各種確定來確定是否將雙邊濾波器應用於視頻資料的一部分。
參照方法1300、1400和1500,可以在視頻位元流中對第一部分進行編碼(或解碼),其中,可以通過使用與第一部分是否應經受雙邊濾波器相關的位元流生成規則來實現位元效率。
視頻資料可以包括圖片、條帶、片或可用於提供視頻內容的其他類型的資料。
該方法可包括:由處理器確定以下兩個中的一個或兩個:視頻資料的第二部分的量化參數(QP)、或視頻資料的第二部分的編碼塊(CB)或CU的最小尺寸;以及由處理器確定第二部分不經受雙邊濾波器,其中視頻資料的第一部分將經受雙邊濾波器的確定基於以下確定中的一個或兩個:QP、或CB或CU的最小尺寸,不經受雙邊濾波器指示跳過將雙邊濾波器應用於第二部分。
該方法可包括:由處理器確定與視頻資料的第二部分相關的條帶量化參數(QP)大於閾值;以及由處理器基於條帶QP大於閾值確定第二部分不經受雙邊濾波器,不經受雙邊濾波器指示跳過將雙邊濾波器應用於第二部分。
該方法可包括:由處理器確定與視頻資料的第二部分相關的條帶量化參數(QP)小於閾值;以及由處理器基於條帶QP小於閾值確定第二部分不經受雙邊濾波器,不經受雙邊濾波器指示跳過將雙邊濾波器應用於第二部分。
該方法可包括:其中閾值在與第二部分相關的位元流中
提供,並且閾值為18。
該方法可包括:其中在序列參數集、圖片參數集或條帶標頭的一個或多個中定義閾值QP。
該方法可包括:由處理器確定視頻資料的第一部分的第一編碼模式;以及基於第一編碼模式應用雙邊濾波器。
該方法可包括:由處理器確定視頻資料的第二部分的第二編碼模式是基於子塊的預測;以及由處理器基於第二編碼模式是基於子塊的預測的確定確定不將雙邊濾波器應用於第二部分。
該方法可包括:由處理器基於第一編碼模式確定雙邊濾波器參數,其中,根據雙邊濾波器參數應用雙邊濾波器。
該方法可包括:其中第一編碼模式包括基於子塊的預測,並且其中雙邊濾波器的強度基於包括基於子塊的預測的第一編碼模式,該強度高於如果第一編碼模式不包括基於子塊的預測的強度。
該方法可包括:其中第一編碼模式包括基於子塊的預測,並且其中雙邊濾波器的強度基於包括基於子塊的預測的第一編碼模式,該強度低於如果第一編碼模式不包括基於子塊的預測的強度。
該方法可包括:其中第一編碼模式包括重疊塊運動補償(OBMC),並且其中雙邊濾波器的強度基於包括OBMC的第一編碼模式,該強度低於如果第一編碼模式不包括OBMC的強度。
該方法可包括,其中第一編碼模式包括多假設預測,並且
其中雙邊濾波器的強度基於包括多假設預測的第一編碼模式,該強度低於如果第一編碼模式不包括多假設預測的強度。
該方法可包括:其中雙邊濾波器的應用基於量化參數(QP)。
該方法可包括:其中QP基於包括第一部分的圖片的圖片級QP。
該方法可包括:其中QP基於包括第一部分的條帶的條帶QP。
該方法可包括:其中QP基於與在第一部分之前編碼的其他部分的QP相關的函數的返回值。
該方法可包括:其中函數包括平均函數。
該方法可包括:其中函數包括線性函數。
該方法可包括:其中,在第一部分之前編碼的其他部分與第一部分在相同編碼樹單元(CTU)、CTU行或條帶內。
該方法可包括:其中,在第一部分之前編碼的其他部分覆蓋第一部分的參考部分。
該方法可包括:其中,雙邊濾波器的應用基於從非一對一映射的樣點差(SDiff)推導出的參數的值,所述非一對一映射導致多個樣點差被分配相同的權重。
該方法可包括:其中,對樣點差進行量化以生成量化值,並且量化值用於確定包括相同權重的加權樣點。
該方法可包括:其中雙邊濾波器的應用包括線性量化。
該方法可包括:其中從SDiff/stepSize中進一步推導出參數的值。
該方法可包括:其中stepSize是預定值。
該方法可包括:其中stepSize基於量化參數(QP)、塊尺寸、塊形狀或編碼模式的一個或多個。
該方法可包括:其中雙邊濾波器的應用包括非線性量化。
該方法可包括:其中從基於SDiff和StepSize提供量化值的量化函數中進一步推導出參數的值。
該方法可包括:其中從基於SDiff提供量化值的量化函數中進一步推導出參數的值。
該方法可包括:其中stepSize是預定的。
該方法可包括:其中stepSize基於以下一個或多個:量化參數(QP)、塊尺寸、塊形狀、編碼模式、預測方法或運動資訊。
該方法可包括:其中量化函數是預定的。
該方法可包括:包含小絕對樣點差比包含大絕對樣點差的線性量化涉及更多的條目。
該方法可包括:基於樣點差大於N或小於-M,將分配相同的權重,N和M為正值。
該方法可包括:其中N或M基於編碼模式資訊、塊尺寸、塊形狀、預測方法、運動資訊、或QP值中的一個或多個。
該方法可包括:其中雙邊濾波器的應用基於從具有不相等加權平均的樣點差(SDiff)推導出的參數值。
該方法可包括:其中不相等加權平均基於預定的不相等權重。
該方法可包括:其中,m=0時的WAm大於m>0時的WAm。
該方法可包括:其中不相等加權平均基於不相等權重,不相等權重基於量化參數(QP)、塊尺寸、形狀或編碼模式中的一個或多個。
該方法可包括:將該方法應用於任何雙邊濾波器內核。
該方法可包括:其中雙邊濾波器的應用基於NxN的並用於計算樣點平均差的樣點窗口。
該方法可包括:其中樣點視窗基於中心樣點和四角樣點。
該方法可包括:其中,雙邊濾波器的應用基於從非一對一
映射的樣點差(SDiff)推導出的參數的值,所述非一對一映射導致多個樣點差被分配相同的權重。
該方法可包括:其中雙邊濾波器的應用基於具有中心樣點和中心樣點的四個相鄰樣點的樣點窗口。
該方法可包括:其中部分樣點視窗基於塊尺寸、塊形狀、塊QP或塊模式中的一個或多個。
該方法可包括:其中雙邊濾波器包括其值取決於與相鄰樣點的距離的係數和相鄰樣點的值。
圖16是視頻位元流處理方法的示例的流程圖。該方法包括:由處理器確定(1610)視頻資料的第一部分的重構表示將經受至少基於相鄰樣點的樣點強度值的雙邊濾波器,該確定基於在序列參數集、圖片參數集、條帶標頭、圖片標頭、編碼樹單元(CTU)、編碼樹塊(CTB)或編碼單元(CU)組中的一個或多個中信令通知的資訊;以及基於該確定,將雙邊濾波器應用(1620)於視頻資料的第一部分的重構表示。
圖17是視頻位元流處理方法的示例的流程圖。該方法包括:由處理器基於位元流中信令通知的資訊確定(1710)視頻資料的第一部分與大於閾值量化參數(QP)的QP相關聯;以及基於QP大於閾值QP的確定,確定(1720)第一部分的重構表示不經受雙邊濾波器,其中雙邊濾波器至少基於相鄰樣點的樣點強度值。
圖18是視頻位元流處理方法的示例的流程圖。該方法包
括:由處理器確定(1810)視頻資料的第一部分的第一編碼模式和視頻資料的第二部分的第二編碼模式;以及基於第一編碼模式將雙邊濾波器應用(1820)於視頻資料的第一部分的重構表示,其中雙邊濾波器至少基於相鄰樣點的樣點強度值。
圖19是視頻位元流處理方法的示例的流程圖。該方法包括:由處理器確定(1910)視頻資料的第一部分的重構表示將經受至少基於相鄰樣點的樣點強度值的雙邊濾波器,其中,視頻資料的第一部分與量化參數(QP)相關聯;以及基於QP將雙邊濾波器應用(1920)於視頻資料的第一部分的重構表示。
圖20是視頻位元流處理方法的示例的流程圖。該方法包括:由處理器確定(2010)視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差的加權和(WSSDiff值),其中多個樣點強度差被分配相同的參數;以及將由一個或多個參數定義的雙邊濾波器應用(2020)於視頻資料的當前樣點的重構表示。
圖21是視頻位元流處理方法的示例的流程圖。該方法包括:由處理器確定(2110)視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於當前樣點和一個或多個相鄰樣點之間的樣點強度差(SDiff值),其中多個樣點強度差被分配相同的參數;以及將由一個或多個參數定義的雙邊濾波器應用(2120)於視頻資料的當前樣點的重
構表示。
圖22是視頻位元流處理方法的示例的流程圖。該方法包括:由處理器確定(2210)視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差(SDiff)的加權和,其中多個樣點強度差被分配不相等的權重;以及將由一個或多個參數定義的雙邊濾波器應用(2220)於視頻資料的當前樣點的重構表示。
圖23是視頻位元流處理方法的示例的流程圖。該方法包括:由處理器確定(2310)視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差的子集的加權和,其中多個樣點強度差被分配相同的權重;以及將由一個或多個參數定義的雙邊濾波器應用(2320)於視頻資料的當前樣點的重構表示。
圖24是視頻位元流處理方法的示例的流程圖。該方法包括:由處理器確定(2410)視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差的子集的加權和,其中多個樣點強度差被分配不相等的權重;以及將由一個或多個參數定義的雙邊濾波器應用(2420)於視頻資料的當前樣點的重構表示。
本文的一些實施例以如下基於條款的格式提供。這些實施例包括本文第4章節中的實施例1至7中所述技術的更多變型和方面。
A1.一種用於視頻位元流處理的方法,包括:由處理器確定視頻資料的第一部分的重構表示將經受至少基於相鄰樣點的樣點強度值的雙邊濾波器,該確定基於在序列參數集、圖片參數集、條帶標頭、圖片標頭、編碼樹單元(CTU)、編碼樹塊(CTB)或編碼單元(CU)組中的一個或多個中信令通知的資訊;以及基於該確定,將雙邊濾波器應用於視頻資料的第一部分的重構表示。
A2.根據條款A1所述的方法,還包括:由處理器確定以下的一個或二者:視頻資料的第二部分的量化參數(QP),或視頻資料的第二部分的編碼塊(CB)或CU的最小尺寸;以及由處理器確定第二部分的重構表示不經受雙邊濾波器。
A3.根據條款A1至A2中任一項或多項所述的方法,其中視頻資料的第一部分的重構表示將經受雙邊濾波器的確定基於視頻資料的第一部分的QP、或CB或CU的最小尺寸。
A4.根據條款A2所述的方法,還包括:由處理器確定與視頻資料的第二部分相關的量化參數(QP)大於第一閾值;以及
基於QP大於第一閾值,由處理器確定第二部分的重構表示不經受雙邊濾波器。
A5.根據條款A2所述的方法,還包括:由處理器確定與視頻資料的第二部分相關的量化參數(QP)小於第二閾值;以及基於QP小於第二閾值,由處理器確定第二部分的重構表示不經受雙邊濾波器。
A6.根據條款A1至A4中任一項或多項所述的方法,其中,在確定與視頻資料的第二部分相關的QP大於第一閾值或與視頻資料的第一部分相關的QP大於第一閾值時,不信令通知該資訊。
A7.根據條款A1至A5中任一項或多項所述的方法,其中,在確定與視頻資料的第二部分相關的QP小於第二閾值或與視頻資料的第一部分相關的QP小於第二閾值時,不信令通知該資訊。
A8.根據條款A4至A7中任一項或多項所述的方法,其中,在與第二部分相關的位元流中提供第一閾值,並且其中第一閾值為18。
B1.一種用於視頻位元流處理的方法,包括:由處理器基於位元流中信令通知的資訊確定視頻資料的第一部分與大於閾值量化參數(QP)的QP相關聯;以及基於QP大於閾值QP的確定,確定第一部分的重構表示
不經受雙邊濾波器,其中雙邊濾波器至少基於相鄰樣點的樣點強度值。
B2.根據條款B1所述的方法,其中在序列參數集、圖片參數集或條帶標頭的一個或多個中定義閾值QP。
C1.一種用於視頻位元流處理的方法,包括:由處理器確定視頻資料的第一部分的第一編碼模式和視頻資料的第二部分的第二編碼模式;以及基於第一編碼模式將雙邊濾波器應用於視頻資料的第一部分的重構表示,其中雙邊濾波器至少基於相鄰樣點的樣點強度值。
C2.根據條款C1所述的方法,其中雙邊濾波器的強度至少部分基於第一編碼模式和/或第二編碼模式。
C3.根據條款C2所述的方法,還包括:基於第二編碼模式是基於子塊的預測的確定,由處理器確定視頻資料的第二部分的重構表示不經受雙邊濾波器。
C4.根據條款C2所述的方法,其中第一編碼模式包括基於子塊的預測,其中第二編碼模式不包括基於子塊的預測,並且其中應用於視頻資料的第一部分的重構表示的雙邊濾波器的強度高於應用於視頻資料的第二部分的重構表示的雙邊濾波器的強度。
C5.根據條款C2所述的方法,其中第一編碼模式包括基於子塊的預測,其中第二編碼模式不包括基於子塊的預測,並且其中應用於視頻資料的第一部分的重構表示的雙邊濾波器的強度低
於應用於視頻資料的第二部分的重構表示的雙邊濾波器的強度。
C6.根據條款C2所述的方法,其中第一編碼模式包括重疊塊運動補償(OBMC),其中第二編碼模式不包括OBMC,並且其中應用於視頻資料的第一部分的重構表示的雙邊濾波器的強度低於應用於視頻資料的第二部分的重構表示的雙邊濾波器的強度。
C7.根據條款C2所述的方法,其中第一編碼模式包括多假設預測,其中第二編碼模式不包括多假設預測,並且其中應用於視頻資料的第一部分的重構表示的雙邊濾波器的強度低於應用於視頻資料的第二部分的重構表示的雙邊濾波器的強度。
C8.根據條款C2所述的方法,其中第一編碼模式和第二編碼模式包括幀內編碼,其中視頻資料的第一部分大於視頻資料的第二部分,並且其中應用於視頻資料的第一部分的重構表示的雙邊濾波器的強度低於應用於視頻資料的第二部分的重構表示的雙邊濾波器的強度。
D1.一種用於視頻位元流處理的方法,包括:由處理器確定視頻資料的第一部分的重構表示將經受至少基於相鄰樣點的樣點強度值的雙邊濾波器,其中,視頻資料的第一部分與量化參數(QP)相關聯;以及基於QP將雙邊濾波器應用於視頻資料的第一部分的重構表示。
D2.根據條款D1所述的方法,其中QP基於包含第一部分的圖片的圖片級QP。
D3.根據條款D1所述的方法,其中QP基於包含第一部分的條帶的條帶QP。
D4.根據條款D1所述的方法,其中QP基於與在第一部分之前編碼的其他部分的QP相關的函數的返回值。
D5.根據條款D4所述的方法,其中該函數包括平均函數。
D6.根據條款D4所述的方法,其中該函數包括線性函數。
D7.根據條款D4所述的方法,其中在第一部分之前編碼的其他部分與第一部分在相同編碼樹單元(CTU)、CTU行或條帶內。
D8.根據條款D4所述的方法,其中在第一部分之前編碼的其他部分覆蓋第一部分的參考部分。
E1.一種用於視頻位元流處理的方法,包括:由處理器確定視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差的加權和(WSSDiff值),其中多個樣點強度差被分配相同的參數;以及將由一個或多個參數定義的雙邊濾波器應用於視頻資料的當前樣點的重構表示。
E2.一種用於視頻位元流處理的方法,包括:由處理器確定視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分
基於當前樣點和一個或多個相鄰樣點之間的樣點強度差(SDiff值),其中多個樣點強度差被分配相同的參數;以及將由一個或多個參數定義的雙邊濾波器應用於視頻資料的當前樣點的重構表示。
E3.根據條款E1至E2的任一項或多項所述的方法,其中一個或多個相鄰樣點與當前樣點相鄰。
E4.根據條款E1至E2的任一項或多項所述的方法,其中一個或多個相鄰樣點與當前樣點不相鄰。
E5.根據條款E1所述的方法,其中第一視窗和/或第二視窗的尺寸為3x3。
E6.根據條款E1至E2的任一項或多項所述的方法,其中一個或多個參數對應於中間值。
E7.根據條款E1至E2的任一項或多項所述的方法,其中一個或多個參數對應於最終值。
E8.根據條款E1至E7的任一項或多項所述的方法,其中對WSSDiff或SDiff值進行量化以生成量化值,並使用量化值來確定一個或多個參數。
E9.根據條款E8所述的方法,其中生成量化值包括線性量化。
E10.根據條款E9所述的方法,其中一個或多個參數還基於比率WSSDiff/stepSize或SDiff/stepSize,其中WSSDiff是樣點強度差的加權和,SDiff是樣點強度差,並且stepSize定義為整數。
E11.根據條款E9所述的方法,其中一個或多個參數還基於比率(WSSDiff+offset)/stepSize或(SDiff+offset)/stepSize,其中WSSDiff是樣點強度差的加權和,SDiff是樣點強度差,offset定義為數位,stepSize定義為整數。
E12.根據條款E11所述的方法,其中offset定義為stepSize/2。
E13.根據條款E10至E12的任一項或多項所述的方法,其中stepSize為預定值。
E14.根據條款E10至E12的任一項或多項所述的方法,其中stepSize基於量化參數(QP)、塊尺寸、塊形狀或編碼模式中的一個或多個。
E15.根據條款E8所述的方法,其中生成量化值包括非線性量化。
E16.根據條款E15所述的方法,其中一個或多個參數還基於基於(WSSDiff,stepSize)或(SDiff,stepSize)生成量化值的量化函數。
E17.根據條款E15所述的方法,其中一個或多個參數還基於基於WSSDiff或SDiff生成量化值的量化函數。
E18.根據條款E16或E17所述的方法,其中stepSize是預定的。
E19.根據條款E16或E17所述的方法,其中stepSize基於量化參數(QP)、塊尺寸、塊形狀、編碼模式、預測方法或運動
資訊中的一個或多個。
E20.根據條款E16或E17所述的方法,其中量化函數是預定的。
E21.根據條款E1至E20的任一項或多項所述的方法,其中基於WSSDiff值或SDiff值大於N或小於-M,將分配相同的參數,N和M為正值。
E22.根據條款E21所述的方法,其中,相比較小WSSDiff或SDiff情況下,對應於相同的量化值的WSSDiff或SDiff值的數目,較大WSSDiff或SDiff情況下,對應於相同的量化值的WSSDiff或SDiff的數目更大。
E23.根據條款E21或E22所述的方法,其中N或M基於編碼模式資訊、塊尺寸、塊形狀、預測方法、運動資訊、或QP值中的一個或多個。
E24.根據條款E8至E23的任一項或多項所述的方法,其中至少一個量化值被用作預定義表的入口索引。
F1.一種用於視頻位元流處理的方法,包括:由處理器確定視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差(SDiff值)的加權和,其中多個樣點強度差被分配不相等的權重;以及將由一個或多個參數定義的雙邊濾波器應用於視頻資料
的當前樣點的重構表示。
F2.根據條款F1所述的方法,其中相鄰樣點與當前樣點相鄰。
F3.根據條款F1所述的方法,其中相鄰樣點與當前樣點不相鄰。
F4.根據條款F1至F3的任一項或多項所述的方法,其中第一視窗和/或第二視窗的尺寸為3x3。
F5.根據條款F1至F4的任一項或多項所述的方法,其中一個或多個參數表示為,其中P k,m 和P 0,m 分别表示相鄰樣點k的以P k,0和P 0,0為中心的對應視窗內的第m個樣點的強度值,WAk,m是相鄰樣點k的第m個樣點的權重,並且M是窗口樣點的總數。
F6.根據條款F1至F4的任一項或多項所述的方法,其中一個或多個參數表示為,其中P k,m 和P 0,m 分別表示相鄰樣點k的以P k,0和P 0,0為中心的對應視窗內的第m個樣點的強度值,WAm是第m個樣點值的權重,並且對於所有相鄰樣點都相同,並且M是視窗樣點的總數。
F7.根據條款F1至F6的任一項或多項所述的方法,其中不相等的權重是預定的。
F8.根據條款F1至F6的任一項或多項所述的方法,其中m=0時的不相等的權重大於m>0時的不相等的權重。
F9.根據條款F1至F6的任一項或多項所述的方法,其中不相等的權重基於量化參數(QP)、塊尺寸、形狀或編碼模式中的一個或多個。
F10.根據條款F1至F6的任一項或多項所述的方法,其中不相等的權重適用於任何雙邊濾波器內核。
G1.一種用於視頻位元流處理的方法,包括:由處理器確定視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差的子集的加權和,其中多個樣點強度差被分配相同的權重;以及將由一個或多個參數定義的雙邊濾波器應用於視頻資料的當前樣點的重構表示。
H1.一種用於視頻位元流處理的方法,包括:由處理器確定視頻資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,該一個或多個參數至少部分基於覆蓋當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差的子集的加權和,其中多個樣點強度差被分配不相等的權重;以及將由一個或多個參數定義的雙邊濾波器應用於視頻資料的當前樣點的重構表示。
H2.根據條款G1至H1的任一項或多項所述的方法,其
中子集基於第一視窗和第二視窗內的中心樣點和圍繞中心樣點的四個樣點。
H4.根據條款G1至H2的任一項或多項所述的方法,其中一個或多個參數表示為 其中P k,m 表示相鄰樣點k的以P k,0為中心的視窗內第m個樣點的強度值,WAk,m是相鄰樣點k的第m個樣點的權重,並且N*N是第一和第二視窗的尺寸。
H5.根據條款G1至H2的任一項或多項所述的方法,其中一個或多個參數表示為 ,其中P k,m 表示相鄰樣點k的以P k,0為中心的視窗內第m個樣點的強度值,WAk,m是相鄰樣點k的第m個樣點的權重,並且N*N是第一和第二視窗的尺寸。
H6.根據條款G1至H1的任一項或多項所述的方法,其中子集基於中心樣點和與中心樣點相鄰的四個樣點。
H8.根據條款G1至H6的任一項或多項所述的方法,其中一個或多個參數表示為 abs(P k,m*2-1-P 0,m*2-1)),其中P k,m 表示相鄰樣點k的以P k,0為中心的視窗內第m個樣點的強度值,WAk,m是相鄰樣點k的第m個樣點的權重,並且N*N是第一和第二視窗的尺寸。
H9.根據條款G1至H6的任一項或多項所述的方法,其中一個或多個參數表示為 abs(P k,m*2-1-P 0,m*2-1)),其中P k,m 表示相鄰樣點k的以P k,0為中心的視窗內第m個樣點的強度值,WAk,m是相鄰樣點k的第m個樣點的權重,並且N*N是第一和第二視窗的尺寸。
H10.根據條款G1至H6的任一項或多項所述的方法,其中樣點強度差的子集基於塊尺寸、塊形狀、塊QP或塊模式中的一個或多個。
I1.一種視頻解碼裝置,包括處理器,其被配置為實現條款A1至H10的一項或多項中所述的方法。
I2.一種視頻編碼裝置,包括處理器,其被配置為實現條款A1至H10的一項或多項中所述的方法。
I3.一種其上存儲了電腦代碼的電腦程式產品,當處理器執行該代碼時,該代碼使所述處理器實現條款A1至H10的任一項中所述的方法。
I4.本文中描述的方法、裝置或系統。
關於雙邊濾波器的定義,在一些實施例中,術語“權重”、“參數”和“加權參數”通常可以是同義詞。在一些其他實施例中,權重可以解釋為參數。也就是說,除了權重或加權參數外,雙邊濾波器還可以有其他參數。
應當理解的是,當被壓縮的編碼單元具有明顯不同於傳統方形塊或半方形的矩形塊的形狀時,所公開的技術可以實施在視訊轉碼器或解碼器中,以提高壓縮效率。例如,使用長或高編碼單元(諸如4x32或32x4尺寸的單元)的新編碼工具可能受益於所公開的技術。
圖25是示出示例視頻處理系統2500的框圖,其中可以實施本文公開的各種技術。各種實現可能包括系統2500的部分或全部元件。系統2500可包括用於接收視頻內容的輸入2502。視頻內容可以原始或未壓縮格式接收,例如8位或10位元多分量像素值,或者可以壓縮或編碼格式接收。輸入2502可以表示網路介面、週邊匯流排界面或存儲介面。網路介面的示例包括諸如乙太網、無源光網路(PON)等的有線介面,以及諸如Wi-Fi或蜂窩介面的無線介面。
系統2500可包括編碼元件2504,其可實現本文中所描述
的各種編碼或編碼方法。編碼元件2504可以降低從輸入2502到編碼元件2504的輸出的視頻的平均位元速率,以產生視頻的編碼表示。因此,編碼技術有時被稱為視訊壓縮或視頻轉碼技術。編碼元件2504的輸出可以被存儲,也可以通過連接的通信進行傳輸,如元件2506所示。輸入2502處接收的視頻的存儲或通信位元流(或編碼)表示可由元件2508用於生成像素值或發送到顯示介面2510的可顯示視頻。從位元流表示生成使用者可觀看視頻的處理有時稱為視頻解壓縮。此外,儘管某些視頻處理操作被稱為“編碼”操作或工具,但應當理解的是,編碼工具或操作被用於編碼器處,並且逆向編碼結果的相應的解碼工具或操作將由解碼器執行。
週邊匯流排界面或顯示介面的示例可以包括通用序列匯流排(USB)或高清晰度多媒體介面(HDMI)或顯示埠等。存儲介面的示例包括SATA(串列高級技術附件)、PCI、IDE介面等。本文中所述的技術可實施在各種電子設備中,例如行動電話、筆記型電腦、智慧手機或其他能夠執行數位資料處理和/或視頻顯示的設備。
本文中公開的和其他描述的解決方案、示例、實施例、模組和功能操作可以在數位電子電路、或電腦軟體、固件或硬體中實現,包括本文中所公開的結構及其結構等效體,或其中一個或多個的組合。公開的實施例和其他實施例可以實現為一個或多個電腦程式產品,即一個或多個編碼在電腦可讀介質上的電腦程式指令的模組,以供資料處理裝置執行或控制資料處理裝置的操作。電腦
可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、存放裝置、影響機器可讀傳播信號的物質組成或其中一個或多個的組合。術語“資料處理裝置”包括用於處理資料的所有裝置、設備和機器,包括例如可程式設計處理器、電腦或多處理器或電腦組。除硬體外,該裝置還可以包括為電腦程式創建執行環境的代碼,例如,構成處理器固件的代碼、協定棧、資料庫管理系統、作業系統或其中一個或多個的組合。傳播信號是人為產生的信號,例如機器產生的電信號、光學信號或電磁信號,生成這些信號以對資訊進行編碼,以便傳輸到適當的接收裝置。
電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以用任何形式的程式設計語言(包括編譯語言或解釋語言)編寫,並且可以以任何形式部署,包括作為獨立程式或作為模組、元件、副程式或其他適合在計算環境中使用的單元。電腦程式不一定與檔案系統中的檔對應。程式可以存儲在保存其他程式或資料的檔的部分中(例如,存儲在標記語言文件中的一個或多個腳本)、專用於該程式的單個檔中、或多個協調檔(例如,存儲一個或多個模組、副程式或部分代碼的檔)中。電腦程式可以部署在一台或多台電腦上來執行,這些電腦位於一個網站上或分佈在多個網站上,並通過通信網路互連。
本文中描述的處理和邏輯流可以通過一個或多個可程式設計處理器執行,該處理器執行一個或多個電腦程式,通過在輸入資料上操作並生成輸出來執行功能。處理和邏輯流也可以通過特
殊用途的邏輯電路來執行,並且裝置也可以實現為特殊用途的邏輯電路,例如,FPGA(現場可程式設計閘陣列)或ASIC(專用積體電路)。
例如,適於執行電腦程式的處理器包括通用和專用微處理器,以及任何類型數位電腦的任何一個或多個。通常,處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和存儲指令和資料的一個或多個存放裝置。通常,電腦還將包括一個或多個用於存儲資料的大型存放區設備,例如,磁片、磁光碟或光碟,或通過操作耦合到一個或多個大型存放區設備來從其接收資料或將資料傳輸到一個或多個大型存放區設備,或兩者兼有。然而,電腦不一定具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備,包括例如半導體記憶體設備,例如EPROM、EEPROM和快閃記憶體設備;磁片,例如內部硬碟或抽取式磁碟;磁光磁片;以及CDROM和DVD-ROM光碟。處理器和記憶體可以由專用邏輯電路來補充,或合併到專用邏輯電路中。
雖然本專利檔包含許多細節,但不應將其解釋為對任何實現或申請專利範圍的限制,而應解釋為對特定實施例的特徵的描述。本專利檔在單獨實施例的上下文描述的一些特徵也可以在單個實施例中組合實施。相反,在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施,或在任何合適的子組合
中實施。此外,儘管上述特徵可以描述為在一些組合中起作用,甚至最初要求是這樣,但在一些情況下,可以從組合中移除申請專利範圍組合中的一個或多個特徵,並且申請專利範圍的組合可以指向子組合或子組合的變體。
同樣,儘管圖紙中以特定順序描述了操作,但這不應理解為要獲得想要的結果必須按照所示的特定順序或循序執行此類操作,或執行所有說明的操作。此外,本專利檔實施例中各種系統元件的分離不應理解為在所有實施例中都需要這樣的分離。
僅描述了一些實現和示例,其他實現、增強和變體可以基於本專利檔中描述和說明的內容做出。
2100:方法
2110、2120:步驟
Claims (13)
- 一種用於圖像位元流處理的方法,包括:由處理器確定圖像資料的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,所述一個或多個參數至少部分基於覆蓋所述當前樣點的第一視窗和覆蓋相鄰樣點的第二視窗之間的樣點強度差的加權和,其中多個樣點強度差被分配不相等的權重;以及將由所述一個或多個參數定義的所述雙邊濾波器應用於所述圖像資料的所述當前樣點的所述重構表示,其中所述第一視窗的中心樣點的權重大於所述第一視窗的非中心樣點的權重,或者所述第二視窗的中心樣點的權重大於所述第二視窗的非中心樣點的權重。
- 根據申請專利範圍第1項所述的方法,其中所述相鄰樣點與所述當前樣點相鄰。
- 根據申請專利範圍第1項所述的方法,其中所述相鄰樣點與所述當前樣點不相鄰。
- 根據申請專利範圍第1項所述的方法,其中所述第一視窗和/或所述第二視窗的尺寸為3x3。
- 根據申請專利範圍第1項至第4項的任一項所述的方法,其中所述不相等的權重是預定的。
- 根據申請專利範圍第1項至第4項的任一項所述的方法,其中所述不相等的權重基於量化參數(QP)、塊尺寸、形狀或編解碼模式中的一個或多個。
- 根據申請專利範圍第1項至第4項的任一項所述的方法,其中所述不相等的權重適用於任何雙邊濾波器內核。
- 一種圖像解碼裝置,包括處理器,其被配置為實現申請專利範圍第1項至第9項的任一項中所述的方法。
- 一種圖像編碼裝置,包括處理器,其被配置為實現申請專利範圍第1項至第9項的任一項中所述的方法。
- 一種其上存儲了電腦代碼的電腦程式產品,當處理器執行所述代碼時,所述代碼使所述處理器實現申請專利範圍第1項至第9項的任一項或多項中所述的方法。
- 一種儲存圖像的位元流的方法,包括:由處理器確定圖像數據的當前樣點的重構表示將經受由一個或多個參數定義的雙邊濾波器,所述一個或多個參數至少部分基於覆蓋所述當前樣點的第一視窗和覆蓋鄰近樣點的第二視窗之間的樣點強度差的加權和,其中多個樣點強度差被分配不相等的權重;將由所述一個或多個參數定義的所述雙邊濾波器應用於所述圖像數據的所述當前樣點的所述重構表示;基於所述重構表示生成所述圖像數據的所述位元流;以及在非暫時性計算機可讀記錄介質中存儲所述位元流;其中所述第一視窗的中心樣點的權重大於所述第一視窗的非中心樣點的權重,或者所述第二視窗的中心樣點的權重大於所述第二視窗的非中心樣點的權重。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
WOPCT/CN2018/101479 | 2018-08-21 | ||
CN2018101479 | 2018-08-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202023284A TW202023284A (zh) | 2020-06-16 |
TWI813741B true TWI813741B (zh) | 2023-09-01 |
Family
ID=68104702
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108129923A TWI818064B (zh) | 2018-08-21 | 2019-08-21 | 用於在雙邊濾波器中的加權參數推導的量化差 |
TW108129922A TWI813741B (zh) | 2018-08-21 | 2019-08-21 | 雙邊濾波器的不相等加權樣點平均 |
TW108129924A TWI818065B (zh) | 2018-08-21 | 2019-08-21 | 雙邊濾波器的減小的視窗尺寸 |
TW108129914A TWI818063B (zh) | 2018-08-21 | 2019-08-21 | 雙邊濾波器的映射改進 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108129923A TWI818064B (zh) | 2018-08-21 | 2019-08-21 | 用於在雙邊濾波器中的加權參數推導的量化差 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108129924A TWI818065B (zh) | 2018-08-21 | 2019-08-21 | 雙邊濾波器的減小的視窗尺寸 |
TW108129914A TWI818063B (zh) | 2018-08-21 | 2019-08-21 | 雙邊濾波器的映射改進 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11490081B2 (zh) |
CN (4) | CN110855987B (zh) |
TW (4) | TWI818064B (zh) |
WO (4) | WO2020039363A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI818064B (zh) | 2018-08-21 | 2023-10-11 | 大陸商北京字節跳動網絡技術有限公司 | 用於在雙邊濾波器中的加權參數推導的量化差 |
US11153563B2 (en) * | 2019-03-12 | 2021-10-19 | Qualcomm Incorporated | Combined in-loop filters for video coding |
US11438584B2 (en) * | 2019-08-16 | 2022-09-06 | Apple Inc. | Adaptive bilateral filtering using look-up tables |
US11303897B2 (en) * | 2020-02-25 | 2022-04-12 | Tencent America LLC | Method and apparatus for signaling of chroma quantization parameters |
MX2022012154A (es) | 2020-03-31 | 2022-10-28 | Ericsson Telefon Ab L M | Procesamiento de video usando elementos de sintaxis. |
CN115428444A (zh) * | 2020-04-01 | 2022-12-02 | 抖音视界有限公司 | 对自适应参数集语法元素的约束 |
CN115443653A (zh) | 2020-04-07 | 2022-12-06 | 抖音视界有限公司 | 高级别语法中的帧间预测的信令通知 |
CN115668917A (zh) | 2020-04-09 | 2023-01-31 | 抖音视界有限公司 | 视频编解码中的去块信令通知 |
WO2021204251A1 (en) | 2020-04-10 | 2021-10-14 | Beijing Bytedance Network Technology Co., Ltd. | Use of header syntax elements and adaptation parameter set |
CN115868159A (zh) | 2020-04-17 | 2023-03-28 | 抖音视界有限公司 | 自适应参数集单元的存在 |
CN115486081A (zh) | 2020-04-26 | 2022-12-16 | 字节跳动有限公司 | 视频编解码语法元素的条件信令通知 |
EP3937492A1 (en) * | 2020-07-07 | 2022-01-12 | Google LLC | Alpha channel post processing in image coding |
CN114913099B (zh) * | 2021-12-28 | 2024-07-16 | 天翼数字生活科技有限公司 | 视频文件处理的方法和*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180184127A1 (en) * | 2016-12-22 | 2018-06-28 | Qualcomm Incorporated | Determining neighboring samples for bilateral filtering in video coding |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8180168B2 (en) * | 2007-01-16 | 2012-05-15 | Hewlett-Packard Development Company, L.P. | One-pass filtering and infrared-visible light decorrelation to reduce noise and distortions |
US8081836B2 (en) * | 2008-06-20 | 2011-12-20 | Mitsubishi Electric Research Laboratories, Inc. | Method for filtering of images with bilateral filters and integral histograms |
US9179148B2 (en) * | 2011-06-30 | 2015-11-03 | Futurewei Technologies, Inc. | Simplified bilateral intra smoothing filter |
US9578328B2 (en) * | 2013-07-15 | 2017-02-21 | Qualcomm Incorporated | Cross-layer parallel processing and offset delay parameters for video coding |
WO2016090568A1 (en) | 2014-12-10 | 2016-06-16 | Mediatek Singapore Pte. Ltd. | Binary tree block partitioning structure |
US11477484B2 (en) * | 2015-06-22 | 2022-10-18 | Qualcomm Incorporated | Video intra prediction using hybrid recursive filters |
US10121231B2 (en) * | 2016-02-01 | 2018-11-06 | Texas Instruments Incorporated | Adaptive bilateral (BL) filtering for computer vision |
CN109792541A (zh) * | 2016-10-05 | 2019-05-21 | 瑞典爱立信有限公司 | 用于视频译码的去振铃滤波器 |
WO2018097700A1 (ko) * | 2016-11-28 | 2018-05-31 | 한국전자통신연구원 | 필터링을 위한 방법 및 장치 |
US10555006B2 (en) * | 2016-12-22 | 2020-02-04 | Qualcomm Incorporated | Deriving bilateral filter information based on a prediction mode in video coding |
WO2018117938A1 (en) * | 2016-12-23 | 2018-06-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Deringing filter for video coding |
WO2018134363A1 (en) * | 2017-01-19 | 2018-07-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Filter apparatus and methods |
US20190082176A1 (en) | 2017-09-11 | 2019-03-14 | Qualcomm Incorporated | Non-local bilateral filter |
TWI818064B (zh) | 2018-08-21 | 2023-10-11 | 大陸商北京字節跳動網絡技術有限公司 | 用於在雙邊濾波器中的加權參數推導的量化差 |
-
2019
- 2019-08-21 TW TW108129923A patent/TWI818064B/zh active
- 2019-08-21 WO PCT/IB2019/057039 patent/WO2020039363A1/en active Application Filing
- 2019-08-21 CN CN201910774625.6A patent/CN110855987B/zh active Active
- 2019-08-21 CN CN201910774518.3A patent/CN110855985B/zh active Active
- 2019-08-21 CN CN201910774551.6A patent/CN110855986B/zh active Active
- 2019-08-21 WO PCT/IB2019/057040 patent/WO2020039364A1/en active Application Filing
- 2019-08-21 TW TW108129922A patent/TWI813741B/zh active
- 2019-08-21 TW TW108129924A patent/TWI818065B/zh active
- 2019-08-21 WO PCT/IB2019/057041 patent/WO2020039365A1/en active Application Filing
- 2019-08-21 CN CN201910774461.7A patent/CN110855995A/zh active Pending
- 2019-08-21 TW TW108129914A patent/TWI818063B/zh active
- 2019-08-21 WO PCT/IB2019/057038 patent/WO2020039362A1/en active Application Filing
-
2021
- 2021-01-15 US US17/150,256 patent/US11490081B2/en active Active
- 2021-01-15 US US17/150,296 patent/US11558610B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180184127A1 (en) * | 2016-12-22 | 2018-06-28 | Qualcomm Incorporated | Determining neighboring samples for bilateral filtering in video coding |
Non-Patent Citations (1)
Title |
---|
網路文獻 Akshay Gadde CE2.1.3: In-loop bilateral filter Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana, SI 10–18 July 2018 https://www.itu.int/en/ITU-T/studygroups/2017-2020/16/Pages/video/jvet.aspx * |
Also Published As
Publication number | Publication date |
---|---|
US20210136368A1 (en) | 2021-05-06 |
US20210144409A1 (en) | 2021-05-13 |
TWI818063B (zh) | 2023-10-11 |
WO2020039365A1 (en) | 2020-02-27 |
TWI818064B (zh) | 2023-10-11 |
CN110855987A (zh) | 2020-02-28 |
CN110855987B (zh) | 2023-03-10 |
WO2020039362A1 (en) | 2020-02-27 |
US11490081B2 (en) | 2022-11-01 |
TW202037161A (zh) | 2020-10-01 |
CN110855985A (zh) | 2020-02-28 |
WO2020039364A1 (en) | 2020-02-27 |
US11558610B2 (en) | 2023-01-17 |
TW202027502A (zh) | 2020-07-16 |
CN110855985B (zh) | 2023-05-23 |
TWI818065B (zh) | 2023-10-11 |
WO2020039363A1 (en) | 2020-02-27 |
TW202023284A (zh) | 2020-06-16 |
CN110855995A (zh) | 2020-02-28 |
CN110855986B (zh) | 2023-03-10 |
TW202025738A (zh) | 2020-07-01 |
CN110855986A (zh) | 2020-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI813741B (zh) | 雙邊濾波器的不相等加權樣點平均 | |
CN112042203B (zh) | 用于将解块滤波器应用于重构视频数据的***和方法 | |
US10555006B2 (en) | Deriving bilateral filter information based on a prediction mode in video coding | |
US20180184127A1 (en) | Determining neighboring samples for bilateral filtering in video coding | |
US20220038706A1 (en) | Interactions among multiple intra coding methods | |
CN113826383B (zh) | 变换跳过模式的块维度设置 | |
RU2770650C1 (ru) | Системы и способы применения фильтров деблокирования к восстановленным видеоданным | |
WO2020253864A1 (en) | Selective enablement of adaptive in-loop color-space transform in video coding | |
JP7479456B2 (ja) | ビデオ・データ処理方法及び装置並びに記憶媒体及び方法 | |
CN113728627A (zh) | 用于环路内重构的参数的预测 | |
CA3120828A1 (en) | An encoder, a decoder and corresponding methods of deblocking filter adaptation | |
CN113826405B (zh) | 多个颜色分量的变换量化旁路模式的使用 | |
WO2024007128A1 (zh) | 视频编解码方法、装置、设备、***、及存储介质 |