TWI829424B - 解碼方法、編碼方法及裝置 - Google Patents
解碼方法、編碼方法及裝置 Download PDFInfo
- Publication number
- TWI829424B TWI829424B TW111143288A TW111143288A TWI829424B TW I829424 B TWI829424 B TW I829424B TW 111143288 A TW111143288 A TW 111143288A TW 111143288 A TW111143288 A TW 111143288A TW I829424 B TWI829424 B TW I829424B
- Authority
- TW
- Taiwan
- Prior art keywords
- value
- information
- pixel
- image
- video
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 243
- 238000013139 quantization Methods 0.000 claims description 111
- 238000009795 derivation Methods 0.000 claims description 51
- 230000015654 memory Effects 0.000 claims description 47
- 238000003860 storage Methods 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000003709 image segmentation Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 67
- 239000011159 matrix material Substances 0.000 description 36
- 230000009466 transformation Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 24
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 21
- 238000010586 diagram Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 239000013598 vector Substances 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 7
- 230000000670 limiting effect Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
Abstract
一種圖像的解碼方法、編碼方法及裝置,涉及視頻編解碼領域。該解碼方法包括:首先,解析碼流以獲得一個或多個圖像幀,一個圖像幀包括一個或多個編碼單元(Coding Unit,CU);其次,確定所述一個圖像幀的多個量化參數(Quantization Parameter,QP)值;其中,一個CU包括多個量化組(Quantization Group,QG),一個QG對應一個QP值;最後,依據所述多個QP值對所述一個圖像幀進行解碼。
Description
本發明涉及視頻編解碼領域,尤其涉及一種圖像的解碼方法、編碼方法及裝置。
本發明要求於2021年11月11日提交的、申請號為202111334223.8的中國專利申請的優先權,該發明以引用的方式併入本文中。
在視頻編解碼技術中,視頻壓縮技術尤為重要。視頻壓縮技術執行空間(圖像內)預測和/或時間(圖像間)預測,以減少或移除視頻序列中固有的冗餘資訊。視頻壓縮的基本原理是,對空域、時間域和碼字之間的相關性進行量化,盡可能去除冗餘。量化(Quantization)是指將信號的連續取值(或大量的離散取值)映射為有限多個離散幅值的過程,實現信號取值多對一的映射。
目前的做法是,對於一幀圖像包括的一個或多個編碼單元(Coding Unit,CU),編碼端獲取每個CU的量化參數(Quantization Parameter,QP),並依據該QP對CU進行編碼獲得碼流;相應的,解碼端對碼流進行反量化(Dequantization),獲得CU的QP,並依據該QP對CU進行解碼。CU是依據圖像內容劃分的,編碼端和解碼端對一個CU對應的圖像內容採用相同的QP進行量化,導致圖像編解碼過程的量化失真較大。
本發明提供一種圖像的解碼方法、編碼方法及裝置,解決了圖像編解碼過程的量化失真較大的問題。
本發明採用如下技術方案。
第一方面,本發明提供了一種圖像的解碼方法,所述方法可應用於視頻解碼系統,或者該方法可應用於可以支援視頻解碼實現該方法的解碼端,例如該解碼端包括視頻解碼器,所述方法包括:首先,解析碼流以獲得一個或多個圖像幀,一個圖像幀包括一個或多個CU;其次,確定所述一個圖像幀的多個QP值;其中,一個CU包括多個QG,一個QG對應一個QP值;最後,依據所述多個QP值對所述一個圖像幀進行解碼。
相較於一個CU中所有的殘差係數都採用相同的QP值導致的圖像失真較大,在本實施例提供的視頻圖像的解碼過程中,一個CU可以被劃分為多個QG,每個QG中的一個或多個殘差係數共用一個QP值,進而,視頻解碼器可以對圖像幀對應的一個或多個CU進行更精細細微性的QP決策,在保證一定壓縮率的情況下,降低了圖像幀的解碼失真,提高了視頻圖像解碼的真實性和準確性。
在一種可選的實現方式中,所述一個CU包含多個殘差係數,所述一個QG包含所述多個殘差係數中的一部分殘差係數,所述一部分殘差係數共用所述一個QP值。
在一種可選的實現方式中,在所述確定所述一個圖像幀的多個QP值之前,所述方法還包括:按照第一規則劃分所述一個圖像幀包括的一個CU,獲取所述多個QG;其中,所述第一規則包括劃分域和劃分方式,所述劃分域為變換域或像素域,所述劃分方式包括均勻劃分和非均勻劃分中至少一種。
在一種可選的實現方式中,所述一個CU包含多個殘差係數,所述多個殘差係數的位置由座標進行標記,所述座標包括橫坐標和縱坐標。若所述劃分域為變換域,則按照第一規則劃分所述一個圖像幀包括的一個CU,獲取所述多個QG,包括:將所述多個殘差係數中,座標和未達到第一座標閾值的殘差係數劃分至第一QG,所述座標和達到所述第一座標閾值的殘差係數劃分至第二QG;所述座標和為殘差係數的橫坐標與縱坐標之和。
或者,將所述多個殘差係數中,座標和未達到第一座標閾值的殘差係數劃分至第一QG,所述座標和達到所述第一座標閾值、未達到第二
座標閾值的殘差係數劃分至第二QG,所述座標和達到所述第二座標閾值的殘差係數劃分至第三QG;所述第二座標閾值大於所述第一座標閾值。
在一種可選的實現方式中,所述一個CU包含多個殘差係數,若所述劃分域為變換域,按照第一規則劃分所述一個圖像幀包括的一個CU,獲取所述多個QG,包括:
對所述多個殘差係數進行排序,將所述多個殘差係數中未達到第一比例閾值的殘差係數劃分至第一QG,達到所述第一比例閾值的殘差係數劃分至第二QG;所述多個殘差係數的排序方式為以下任一種:Z字形、反向Z字形。
或者,對所述多個殘差係數進行排序,將所述多個殘差係數中未達到第一比例閾值的殘差係數劃分至第一QG,達到所述第一比例閾值、但未達到第二比例閾值的殘差係數劃分至第二QG,達到所述第二比例閾值的殘差係數劃分至第三QG;所述第二比例閾值大於所述第一比例閾值。
在一種可選的實現方式中,所述一個CU包含多個殘差係數,若所述劃分域為像素域,則按照第一規則劃分所述一個圖像幀包括的一個CU,獲取所述多個QG,包括:將所述多個殘差係數進行水平或垂直方向的對稱劃分,獲得包含的殘差係數的數量一致的兩個QG。
或者,將所述多個殘差係數進行水平或垂直方向的對稱劃分,獲得三個QG;所述三個QG中兩個不相鄰的QG包含的殘差係數的數量一致,且另一個QG包含的殘差係數的數量與所述兩個不相鄰的QG包含的殘差係數的數量和是一致的。
或者,將所述多個殘差係數進行水平或垂直方向的劃分,獲得包含的殘差係數的數量不一致的兩個QG。
或者,將所述多個殘差係數進行水平或垂直方向的劃分,獲得三個QG;所述三個QG包含的殘差係數不存在對稱關係。
在一種可選的實現方式中,所述一個QG對應的一個QP值包括亮度QP值和色度QP值。確定所述一個圖像幀的多個QP值,包括:分別獲取所述一個QG的亮度QP值和色度QP值。
或者,獲取所述一個QG的亮度QP值;基於所述亮度QP值
確定所述一個QG的色度QP值。
在一種可選的實現方式中,確定所述一個圖像幀的多個QP值,包括:解析所述碼流以獲得所述一個圖像幀的標記資訊,所述標記資訊用於指示所述一個QG的QP值,和/或,所述標記資訊用於指示所述一個CU的QP值。
在一種可選的實現方式中,確定所述一個圖像幀的多個QP值,包括:第一,解析所述碼流以獲得所述一個圖像幀的標記資訊,所述標記資訊用於指示所述一個QG的QP偏移量;第二,依據所述一個QG的預測QP值和所述標記資訊,確定所述一個QG的QP值。
在一種可選的實現方式中,依據所述一個QG的預測QP值和所述標記資訊,確定所述一個QG的QP值,包括:獲取所述一個QG的預測QP值,並將所述一個QG的預測QP值與所述QP偏移量之和作為所述一個QG的QP值。
在一種可選的實現方式中,確定所述一個圖像幀的多個QP值,包括:獲取所述一個QG的預測QP值,並依據所述一個QG的預測QP值和推導資訊,確定所述一個QG的QP值;其中,所述推導資訊為以下任意一種或幾種的組合:所述一個QG的平坦度資訊或紋理度資訊、所述碼流緩衝區的剩餘空間或失真約束資訊。
在一種可選的實現方式中,若所述推導資訊為所述失真約束資訊,所述失真約束資訊指示了所述多個QG中任一個QG的失真閾值。則依據所述一個QG的預測QP值和推導資訊,確定所述一個QG的QP值,包括:確定所述預測QP值對應的預測失真;若所述預測失真小於或等於所述失真閾值,將所述預測QP值作為所述QG的QP值;若所述預測失真大於所述失真閾值,將由所述失真閾值確定的QP值作為所述QG的QP值。
在一種可選的實現方式中,若所述推導資訊為所述一個QG的內容資訊或所述碼流緩衝區的剩餘空間,則依據所述一個QG的預測QP值和推導資訊,確定所述一個QG的QP值,包括:依據所述推導資訊確定所述一個QG的QP偏移量;將所述一個QG的預測QP值與所述QP偏移量之和作為所述一個QG的QP值。
在一種可選的實現方式中,獲取所述一個QG的預測QP值,包括:獲取所述一個CU中與所述一個QG相鄰的至少一個其他QG的QP值;依據所述至少一個其他QG的QP值,確定所述一個QG的預測QP值。
或者,將所述一個CU的QP值作為所述一個QG的預測QP值。
在一種可選的實現方式中,所述一個圖像幀至少包括第一部分CU和第二部分CU,所述第一部分CU和所述第二部分CU不具有重疊區域,且所述第一部分CU和所述第二部分CU的QP值的獲取方式不同。
在一種可選的實現方式中,確定所述一個圖像幀的多個QP值,包括:解析所述碼流以獲得所述一個圖像幀的標記資訊,所述標記資訊包括所述第一部分CU的QP偏移量;依據所述標記資訊確定所述第一部分CU的QP值。以及,針對於所述第二部分CU,獲取所述第二部分CU的預測QP值;依據所述第二部分CU的預測QP值和推導資訊,確定所述第二部分CU的QP值;其中,所述推導資訊為以下任意一種或幾種的組合:所述第二部分CU的平坦度資訊或紋理度資訊、所述碼流緩衝區的剩餘空間或失真約束資訊。
在一種可選的實現方式中,依據所述多個QP值對所述一個圖像幀進行解碼,包括:首先,針對於所述多個QP值中每一個QP值,獲取所述QP值對應的量化步長Qstep;其次,獲取所述QP值對應的QG所包含的水平值;最後,依據選擇的量化器組合,對所述QG的水平值進行反量化;所述量化器組合包括一個或多個量化器。示例的,所述量化器為均勻量化器或非均勻量化器。
在一種可選的實現方式中,所述量化器組合是通過所述碼流攜帶的標記資訊確定的,或者,殘差係數在所述QG中的分佈情況確定的。
在一種可選的實現方式中,對所述QG的水平值進行反量化,包括:首先,確定所述QG的劃分欄位型別。其次,若所述QG為劃分欄位型別為變換域,則從所述解碼端的矩陣範本庫中選擇與所述QG的參數資訊匹配的量化矩陣;所述矩陣範本庫包括多種類型的量化矩陣範本,所述參數資訊包括以下任意一種或多種的組合:所述QG的尺寸、所述QG所在的
CU的尺寸、亮色度通道資訊和平坦度資訊。最後,利用所述QG的量化矩陣對所述QG中的水平值進行反量化,獲得所述QG的殘差係數。
在一種可選的實現方式中,所述多種類型的量化矩陣範本包括平坦塊範本和紋理塊範本;所述平坦塊範本中頻率高於頻率閾值的殘差係數的Qstep大於或等於所述平坦塊範本中頻率未達到所述頻率閾值的殘差係數的Qstep;所述紋理塊範本中頻率高於頻率閾值的殘差係數的Qstep小於或等於所述紋理塊範本中頻率未達到所述頻率閾值的殘差係數的Qstep。
在一種可選的實現方式中,所述矩陣範本庫包括的量化矩陣範本由以下任意一種或多種類型的變換方式獲得:離散餘弦變換(Discrete Cosine Transform,DCT)、離散正弦變換(Discrete Sine Transform,DST)、整數變換或離散小波變換(Discrete Wave Transform,DWT)。
在一種可選的實現方式中,所述一個QG包括所述一個圖像幀的一個或多個像素點。
在一種可選的實現方式中,確定所述一個圖像幀的多個QP值,包括:解析所述碼流以確定所述一個CU中被標記的一個或多個QG;所述被標記的一個或多個QG在解碼過程中需進行反量化,所述一個CU中未被標記的QG不進行反量化;針對於所述被標記的一個或多個QG中每一個QG,獲取所述每一個QG的QP值。
或者,確定所述一個CU包括的所有QG的掃描順序;其中,所述掃描順序包括以下任意一種或幾種的組合:從上到下、從左到右、Z字形或反向Z字形順序;針對於所述所有QG中的每一個QG,按照所述掃描順序獲取所述每一個QG的QP值。
在一種可選的實現方式中,所述多個QG中至少兩個QG對應的QP值是不同的。
第二方面,本發明提供一種圖像的解碼方法,所述方法可應用於視頻解碼系統,或者該方法可應用於可以支援視頻解碼實現該方法的解碼端,所述方法由解碼端執行,所述方法包括:解析碼流以獲得一個或多個圖像幀,一個圖像幀包括一個或多個CU;確定所述一個圖像幀的多個QP
值;其中,一個CU包括多個像素點,一個像素點對應一個QP值,且所述多個像素點中至少兩個像素點的QP值不同;依據所述多個QP值對所述一個圖像幀進行解碼。
在一種可選的實現方式中,確定所述一個圖像幀的多個QP值,包括:獲取所述一個像素點的預測QP值,並依據所述一個像素點的預測QP值和推導資訊,確定所述一個像素點的QP值;其中,推導資訊為所述一個像素點周圍的一個或多個已重建像素點的資訊。
在另一種可選的實現方式中,所述一個像素點的預測QP值為所述一個像素點所在的CU或QG的QP值,或者根據所述一個像素點周圍的一個或多個已重建像素點的QP值推導得到,其中,推導的方法包括計算均值、中位數或眾數中至少一種。
在另一種可選的實現方式中,所述已重建像素點為以所述一個像素點為中心,邊長為3或5的正方形區域中的像素點,或者對角線長度為3或5的菱形區域中的像素點。
在另一種可選的實現方式中,所述已重建像素點的資訊包括以下任意一種或幾種的組合:像素值、平坦度資訊或紋理度資訊、背景亮度、對比度。
在另一種可選的實現方式中,依據所述一個像素點的預測QP值和推導資訊,確定所述一個像素點的QP值,包括:根據所述一個像素點周圍的一個或多個已重建像素點的資訊確定所述像素點的指示資訊;如果所述指示資訊小於或等於第一閾值,並且所述預測QP值大於或等於人眼恰可察覺失真對應的QP值,則將人眼恰可察覺失真對應的QP值作為所述像素點的QP值。其中,人眼恰可察覺失真對應的QP值是預設值(如編碼端或解碼端預設的圖像級或CU級資訊),所述人眼恰可察覺失真對應的QP值是從碼流中解析得到(圖像級或CU級傳輸),或者,人眼恰可察覺失真對應的QP值是根據周圍的已重建CU的平坦度資訊或紋理度資訊、背景亮度、對比度資訊推導得到。
第三方面,本發明提供一種圖像的編碼方法,所述方法可應用於視頻解碼系統,或者該方法可應用於可以支援視頻解碼實現該方法的編
碼端,所述方法由編碼端執行,所述方法包括:將一個圖像幀劃分為一個或多個CU;確定所述一個圖像幀的多個QP值;其中,一個CU包括多個QG,一個QG對應一個QP值;依據所述多個QP值對所述一個圖像幀進行編碼。
第四方面,本發明提供一種圖像的編碼方法,所述方法可應用於視頻解碼系統,或者該方法可應用於可以支援視頻解碼實現該方法的編碼端,所述方法由編碼端執行,所述方法包括:將一個圖像幀劃分為一個或多個CU;確定所述一個圖像幀的多個QP值;其中,一個CU包括多個像素點,一個像素點對應一個QP值,且所述多個像素點中至少兩個像素點的QP值不同;依據所述多個QP值對所述一個圖像幀進行編碼。
第五方面,本發明提供一種圖像的解碼裝置,解碼裝置應用於解碼端中,該解碼裝置包括用於實現第一方面或第二方面中任一種可能實現方式中方法的各個模組。如碼流解析單元、QP決策單元和圖像解碼單元。
有益效果可以參見第一方面或第二方面中任一方面的描述,此處不再贅述。所述解碼裝置具有實現上述第一方面或第二方面中任一方面的方法實例中行為的功能。所述功能可以通過硬體實現,也可以通過硬體執行相應的軟體實現。所述硬體或軟體包括一個或多個與上述功能相對應的模組。
第六方面,本發明提供一種圖像的編碼裝置,編碼裝置應用於編碼端中,該編碼裝置包括用於實現第三方面或第四方面中任一種可能實現方式中的方法的各個模組。如所述編碼裝置包括:圖像切分單元、QP決策單元和圖像編碼單元。有益效果可以參見第三方面或第四方面中任一種的描述,此處不再贅述。所述編碼裝置具有實現上述第三方面或第四方面中任一種的方法實例中行為的功能。所述功能可以通過硬體實現,也可以通過硬體執行相應的軟體實現。所述硬體或軟體包括一個或多個與上述功能相對應的模組。
第七方面,本發明提供一種電子設備,包括處理器和記憶體,所述記憶體用於存儲電腦指令,所述處理器用於從記憶體中調用並運行所述電腦指令,以實現第一方面至第四方面中任一種實現方式的方法。
例如,該電子設備可以是指視頻編碼器,或包括視頻編碼器的編碼端。
又如,該電子設備可以是指視頻解碼器,或包括視頻解碼器的解碼端。
第八方面,本發明提供一種電腦可讀存儲介質,存儲介質中存儲有電腦程式或指令,當電腦程式或指令被計算設備或計算設備所在的存儲系統執行時,以實現第一方面至第四方面中任一種實現方式的方法。
第九方面,本發明提供一種電腦程式產品,該計算程式產品包括指令,當電腦程式產品在計算設備或處理器上運行時,使得計算設備或處理器執行該指令,以實現第一方面至第四方面中任一種實現方式的方法。
第十方面,本發明提供一種視頻解碼系統,該視頻解碼系統包括編碼端和解碼端,解碼端用於實現第一方面至第二方面中任一種實現方式的方法,編碼端用於實現第三方面至第四方面中任一種實現方式的方法。
本發明在上述各方面提供的實現方式的基礎上,還可以進行進一步組合以提供更多實現方式。
1:視頻解碼系統
10:編碼端
100:視頻編碼器
101:變換器
102:量化器
103:熵編碼器
104,204:反量化器
105,205:反變換器
106,206:濾波器單元
107,207:經解碼圖像緩衝器(Decoded Picture Buffer,DPB)
108,208:預測處理單元
109,209:幀內預測器
110,210:幀間預測器
111,112,211:求和器
120:視頻源
1300:解碼裝置
1310:碼流解析單元
1320,1420:QP決策單元
1330:圖像解碼單元
140:輸出介面
1400:編碼裝置
1410:圖像切分單元
1430:圖像編碼單元
1500:電子設備
1510:處理器
1520:通信介面
1530:記憶體
1540:匯流排
2:並行編碼單元
20:解碼端
200:視頻解碼器
203:熵解碼器
220:顯示裝置
240:輸入介面
30:鏈路
40:存儲裝置
41:後處理實體
42:網路實體
A:矩陣
BPPtotal,BPPleft:平均比特數
Cb,Cr:色度
CU:編碼單元
D:量化失真
QG:量化組
R:像素域的殘差
S510,S520,S530,S810,S820,S820A,S820B,S830,S1010,S1020,S1030,S1210,S1220,S1230:步驟
U:水平變換矩陣
V:垂直變換矩陣
Y:亮度
圖1為本發明提供的一種視頻解碼系統的示例性框圖;
圖2為本發明提供的一種視頻編碼器的示例性框圖;
圖3為本發明提供的一種視頻解碼器的示例性框圖;
圖4為本發明提供的一種視頻編/解碼的流程示意圖;
圖5為本發明提供的一種圖像的解碼方法的流程示意圖;
圖6為本發明提供的一種變換域劃分的示意圖;
圖7為本發明提供的一種像素域劃分的示意圖;
圖8為本發明提供的一種採用預測編碼方式獲取QP的流程示意圖;
圖9為本發明提供的一種像素點的分佈示意圖;
圖10為本發明提供的一種圖像幀解碼的流程示意圖;
圖11為本發明提供的量化矩陣範本的示意圖;
圖12為本發明提供的一種圖像的編碼方法的流程示意圖;
圖13為本發明提供的一種解碼裝置的結構示意圖;
圖14為本發明提供的一種編碼裝置的結構示意圖;
圖15為本發明提供的一種電子設備的結構示意圖。
為了下述各實施例的描述清楚簡潔,首先給出相關技術的簡要介紹。
圖1為本發明提供的一種視頻解碼系統的示例性框圖,如本文所使用,術語“視頻解碼器”一般是指視頻編碼器和視頻解碼器兩者。在本發明中,術語“視頻解碼”或“解碼”可一般地指代視頻編碼或視頻解碼。視頻解碼系統1的視頻編碼器100和視頻解碼器200用於根據本發明提出的多種新的幀間預測模式中的任一種所描述的各種方法實例來預測當前經解碼圖像塊或其子塊的運動資訊,例如運動向量,使得預測出的運動向量最大程度上接近使用運動估算方法得到的運動向量,從而編碼時無需傳送運動向量差值,從而進一步的改善編解碼性能。
如圖1中所示,視頻解碼系統1包含編碼端10和解碼端20。編碼端10產生經編碼視頻資料。因此,編碼端10可被稱為視頻編碼裝置。解碼端20可對由編碼端10所產生的經編碼的視頻資料進行解碼。因此,解碼端20可被稱為視頻解碼裝置。編碼端10、解碼端20或兩個的各種實施方案可包含一或多個處理器以及耦合到所述一或多個處理器的記憶體。所述記憶體可包含但不限於隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、電子可抹除可程式唯讀記憶體(Electrically Erasable Programmable Read-Only Memory,EEPROM)、快閃記憶體或可用於以可由電腦存取的指令或資料結構的形式存儲所要的程式碼的任何其它媒體,如本文所描述。
編碼端10和解碼端20可以包括各種裝置,包含桌上型電腦、移動計算裝置、筆記型(例如,膝上型)電腦、平板電腦、機上盒、例如所謂的“智慧”電話等電話手持機、電視機、相機、顯示裝置、數位媒體播放機、視頻遊戲控制台、車載電腦或其類似者。
解碼端20可經由鏈路30從編碼端10接收經編碼視頻資料。鏈路30可包括能夠將經編碼視頻資料從編碼端10移動到解碼端20的一或
多個媒體或裝置。在一個實例中,鏈路30可包括使得編碼端10能夠即時將經編碼視頻資料直接發射到解碼端20的一或多個通信媒體。在此實例中,編碼端10可根據通信標準(例如無線通訊協定)來調製經編碼視頻資料,且可將經調製的視頻資料發射到解碼端20。所述一或多個通信媒體可包含無線和/或有線通信媒體,例如射頻(Radio Frequency,RF)頻譜或一或多個物理傳輸線。所述一或多個通信媒體可形成基於分組的網路的一部分,基於分組的網路例如為局域網、廣域網路或全球網路(例如,網際網路)。所述一或多個通信媒體可包含路由器、交換器、基地台或促進從編碼端10到解碼端20的通信的其它設備。
在另一實例中,可將經編碼資料從輸出介面140輸出到存儲裝置40。類似地,可通過輸入介面240從存儲裝置40存取經編碼資料。存儲裝置40可包含多種分散式或本地存取的資料存儲媒體中的任一者,例如硬碟驅動器、藍光光碟、數位影音光碟(Digital Video Disc,DVD)、光碟唯讀記憶體(Compact Disc Read-Only Memory,CD-ROM)、快閃記憶體、易失性或非易失性記憶體,或用於存儲經編碼視頻資料的任何其它合適的數位存儲媒體。
在另一實例中,存儲裝置40可對應於檔案伺服器或可保持由編碼端10產生的經編碼視頻的另一中間存儲裝置。解碼端20可經由資料流或下載從存儲裝置40存取所存儲的視頻資料。檔案伺服器可為任何類型的能夠存儲經編碼的視頻資料並且將經編碼的視頻資料發射到解碼端20的伺服器。實例檔案伺服器包含網路服務器(例如,用於網站)、檔案傳輸協定(File Transfer Protocol,FTP)伺服器、網路連結儲存(Network Attached Storage,NAS)裝置或本地磁碟機。解碼端20可通過任何標準資料連接(包含網際網路連接)來存取經編碼視頻資料。這可包含無線通道(例如,無線保真度(Wireless-Fidelity,Wi-Fi)連接)、有線連接(例如,數位用戶線(Digital Subscriber Line,DSL)、纜線數據機等),或適合於存取存儲在檔案伺服器上的經編碼視頻資料的兩者的組合。經編碼視頻資料從存儲裝置40的傳輸可為資料流、下載傳輸或兩者的組合。
本發明提供的圖像的解碼方法可應用於視頻編解碼以支援多
種多媒體應用,例如空中電視廣播、有線電視發射、衛星電視發射、串流視頻發射(例如,經由網際網路)、用於存儲於資料存儲媒體上的視頻資料的編碼、存儲在資料存儲媒體上的視頻資料的解碼,或其它應用。在一些實例中,視頻解碼系統1可用於支援單向或雙向視頻傳輸以支援例如視頻資料流、視頻重播、視頻廣播和/或視頻電話等應用。
圖1中所說明的視頻解碼系統1僅為實例,並且本發明的技術可適用於未必包含編碼裝置與解碼裝置之間的任何資料通信的視頻解碼設置(例如,視頻編碼或視頻解碼)。在其它實例中,資料從本機存放區器檢索、在網路上資料流等等。視頻編碼裝置可對資料進行編碼並且將資料存儲到記憶體,和/或視頻解碼裝置可從記憶體檢索資料並且對資料進行解碼。在許多實例中,由並不彼此通信而是僅編碼資料到記憶體和/或從記憶體檢索資料且解碼資料的裝置執行編碼和解碼。
在圖1的實例中,編碼端10包含視頻源120、視頻編碼器100和輸出介面140。在一些實例中,輸出介面140可包含調節器/解調器(數據機)和/或發射器。視頻源120可包括視頻捕獲裝置(例如,攝像機)、含有先前捕獲的視頻資料的視頻存檔、用以從視頻內容提供者接收視頻資料的視頻體入介面,和/或用於產生視頻資料的電腦圖形系統,或視頻資料的此些來源的組合。
視頻編碼器100可對來自視頻源120的視頻資料進行編碼。在一些實例中,編碼端10經由輸出介面140將經編碼視頻資料直接發射到解碼端20。在其它實例中,經編碼視頻資料還可存儲到存儲裝置40上,供解碼端20以後存取來用於解碼和/或播放。
在圖1的實例中,解碼端20包含輸入介面240、視頻解碼器200和顯示裝置220。在一些實例中,輸入介面240包含接收器和/或數據機。輸入介面240可經由鏈路30和/或從存儲裝置40接收經編碼視頻資料。顯示裝置220可與解碼端20集成或可在解碼端20外部。一般來說,顯示裝置220顯示經解碼視頻資料。顯示裝置220可包括多種顯示裝置,例如,液晶顯示器(Liquid Crystal Display,LCD)、等離子顯示器、有機發光二極體陣列(Organic Light-Emitting Diode,OLED)顯示器或其它類型的顯示裝
置。
儘管圖1中未圖示,但在一些方面,視頻編碼器100和視頻解碼器200可各自與音訊編碼器和解碼器集成,且可包含適當的多工器-多路分用器單元或其它硬體和軟體,以處置共同資料流程或單獨資料流程中的音訊和視頻兩者的編碼。在一些實例中,如果適用的話,那麼解複用器(MUX-DEMUX)單元可符合ITU H.223多工器協議,或例如用戶資料包協定(User Datagram Protocol,UDP)等其它協議。
視頻編碼器100和視頻解碼器200各自可實施為例如以下各項的多種電路中的任一者:一或多個微處理器、數位信號處理器(Digital Signal Processor,DSP)、特殊應用積體電路(Application-Specific Integrated Circuit,ASIC)、現場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)、離散邏輯、硬體或其任何組合。如果部分地以軟體來實施本發明,那麼裝置可將用於軟體的指令存儲在合適的非易失性電腦可讀存儲媒體中,且可使用一或多個處理器在硬體中執行所述指令從而實施本發明技術。前述內容(包含硬體、軟體、硬體與軟體的組合等)中的任一者可被視為一或多個處理器。視頻編碼器100和視頻解碼器200中的每一者可包含在一或多個編碼器或解碼器中,所述編碼器或解碼器中的任一者可集成為相應裝置中的組合編碼器/解碼器(編碼解碼器)的一部分。
本發明可大體上將視頻編碼器100稱為將某些資訊“發信號通知”或“發射”到例如視頻解碼器200的另一裝置。術語“發信號通知”或“發射”可大體上指代用以對經壓縮視頻資料進行解碼的語法元素和/或其它資料的傳送。此傳送可即時或幾乎即時地發生。替代地,此通信可經過一段時間後發生,例如可在編碼時在經編碼碼流中將語法元素存儲到電腦可讀存儲媒體時發生,解碼裝置接著可在所述語法元素存儲到此媒體之後的任何時間檢索所述語法元素。
JCT-VC開發了H.265(HEVC)標準。HEVC標準化基於稱作HEVC測試模型(HEVC Model,HM)的視頻解碼裝置的演進模型。H.265的最新標準文檔可從http://www.itu.int/rec/T-REC-H.265獲得,最新版本的標準文檔為H.265(12/16),該標準文檔以全文引用的方式併入本文中。HM
假設視頻解碼裝置相對於ITU-TH.264/AVC的現有演算法具有若干額外能力。例如,H.264提供9種幀內預測編碼模式,而HM可提供多達35種幀內預測編碼模式。
JVET致力於開發H.266標準。H.266標準化的過程基於稱作H.266測試模型的視頻解碼裝置的演進模型。H.266的演算法描述可從http://phenix.int-evry.fr/jvet獲得,其中最新的演算法描述包含於JVET-F1001-v2中,該演算法描述文檔以全文引用的方式併入本文中。同時,可從https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/獲得JEM測試模型的參考軟體,同樣以全文引用的方式併入本文中。
一般來說,HM的工作模型描述可將視頻幀或圖像劃分成包含亮度及色度樣本兩者的樹塊或最大編碼單元(Largest Coding Unit,LCU)的序列,LCU也被稱為編碼樹單元(Coding Tree Unit,CTU)。樹塊具有與H.264標準的巨集塊類似的目的。條帶包含按解碼次序的數個連續樹塊。可將視頻幀或圖像分割成一個或多個條帶。可根據四叉樹將每一樹塊***成編碼單元(Coding Unit,CU)。例如,可將作為四叉樹的根節點的樹塊***成四個子節點,且每一子節點可又為母節點且被***成另外四個子節點。作為四叉樹的葉節點的最終不可***的子節點包括解碼節點,例如,經解碼視頻塊。與經解碼碼流相關聯的語法資料可定義樹塊可***的最大次數,且也可定義解碼節點的最小大小。
CU的大小對應於解碼節點的大小且形狀必須為正方形。CU的大小的範圍可為8×8像素直到最大64×64像素或更大的樹塊的大小。
視頻序列通常包含一系列視頻幀或圖像。圖像群組(Group Of Picture,GOP)示例性地包括一系列、一個或多個視頻圖像。GOP可在GOP的頭資訊中、圖像中的一者或多者的頭資訊中或在別處包含語法資料,語法資料描述包含於GOP中的圖像的數目。圖像的每一條帶可包含描述相應圖像的編碼模式的條帶語法資料。視頻編碼器100通常對個別視頻條帶內的視頻塊進行操作以便編碼視頻資料。視頻塊可對應於CU內的解碼節點。視頻塊可具有固定或變化的大小,且可根據指定解碼標準而在大小上不同。
在本發明中,“N×N”與“N乘N”可互換使用以指依照垂直維度
及水平維度的視頻塊的像素尺寸,例如,16×16像素或16乘16像素。一般來說,16×16塊將在垂直方向上具有16個像素(y=16),且在水平方向上具有16個像素(x=16)。同樣地,N×N塊一股在垂直方向上具有N個像素,且在水平方向上具有N個像素,其中N表示非負整數值。可將塊中的像素排列成行及列。此外,塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。例如,塊可包括N×M個像素,其中M未必等於N。
在使用CU的幀內/幀間預測性解碼之後,視頻編碼器100可計算CU的殘餘資料。CU可包括空間域(也稱作像素域)中的像素資料,且CU可包括在將變換(例如,離散餘弦變換(Discrete Cosine Transform,DCT)、整數變換、離散小波變換或概念上類似的變換)應用於殘餘視頻資料之後變換域中的係數。殘餘資料可對應於未經編碼圖像的像素與對應於CU的預測值之間的像素差。視頻編碼器100可形成包含殘餘資料的CU,且產生CU的變換係數。
在任何變換以產生變換係數之後,視頻編碼器100可執行變換係數的量化。量化示例性地指對係數進行量化以可能減少用以表示係數的資料的量從而提供進一步壓縮的過程。量化過程可減少與係數中的一些或全部相關聯的位元深度。例如,可在量化期間將n位值降值捨位到m位值,其中n大於m。
在一些可行的實施方式中,視頻編碼器100可利用預定義掃描次序來掃描經量化變換係數以產生可經熵編碼的序列化向量。在其它可行的實施方式中,視頻編碼器100可執行自我調整性掃描。在掃描經量化變換係數以形成一維向量之後,視頻編碼器100可根據適應性變動長度編碼法(Context-Based Adaptive Variable-Length Code,CAVLC)、前文參考之可適性算術編碼(Context-Based Adaptive Binary Arithmetic Coding,CABAC)、基於語法的上下文自我調整性二進位算術解碼(Syntax-Based Adaptive Binary Arithmetic Coding,SBAC)、概率區間分割熵(Probability Interval Partitioning Entropy,PIPE)解碼或其他熵解碼方法來熵解碼一維向量。視頻編碼器100也可熵編碼與經編碼視頻資料相關聯的語法元素以供視頻解碼器200用於解碼視頻資料。
為了執行CABAC,視頻編碼器100可將上下文模型內的上下文指派給待傳輸的符號。上下文可與符號的相鄰值是否為非零有關。為了執行CAVLC,視頻編碼器100可選擇待傳輸的符號的可變長度碼。可變長度編碼(Variable-Length Code,VLC)中的碼字可經構建以使得相對較短碼對應於可能性較大的符號,而較長碼對應於可能性較小的符號。以這個方式,VLC的使用可相對於針對待傳輸的每一符號使用相等長度碼字達成節省碼率的目的。基於指派給符號的上下文可以確定CABAC中的概率。
在本發明實施例中,視頻編碼器可執行幀間預測以減少圖像之間的時間冗餘。本發明可將視頻解碼器當前在解碼的CU稱作當前CU。本發明可將視頻解碼器當前在解碼的圖像稱作當前圖像。
圖2為本發明提供的一種視頻編碼器的示例性框圖。視頻編碼器100用於將視頻輸出到後處理實體41。後處理實體41表示可處理來自視頻編碼器100的經編碼視頻資料的視頻實體的實例,例如媒體感知網路元件(Media Aware Network Element,MANE)或拼接/編輯裝置。在一些情況下,後處理實體41可為網路實體的實例。在一些視頻編碼系統中,後處理實體41和視頻編碼器100可為單獨裝置的若干部分,而在其它情況下,相對於後處理實體41所描述的功能性可由包括視頻編碼器100的相同裝置執行。在某一實例中,後處理實體41是圖1的存儲裝置40的實例。
在圖2的實例中,視頻編碼器100包括預測處理單元108、濾波器單元106、經解碼圖像緩衝器(Decoded Picture Buffer,DPB)107、求和器112、變換器101、量化器102和熵編碼器103。預測處理單元108包括幀間預測器110和幀內預測器109。為了圖像塊重構,視頻編碼器100還包含反量化器104、反變換器105和求和器111。濾波器單元106既定表示一或多個環路濾波器,例如去塊濾波器、自我調整環路濾波器(Adaptive Loop Filter,ALF)和樣本自我調整偏移(Sample Adaptive Offset,SAO)濾波器。儘管在圖2中將濾波器單元106示出為環路內濾波器,但在其它實現方式下,可將濾波器單元106實施為環路後濾波器。在一種示例下,視頻編碼器100還可以包括視頻資料記憶體、分割單元(圖中未示意)。
視頻資料記憶體可存儲待由視頻編碼器100的元件編碼的視
頻資料。可從視頻源120獲得存儲在視頻資料記憶體中的視頻資料。DPB107可為參考圖像記憶體,其存儲用於由視頻編碼器100在幀內、幀間解碼模式中對視頻資料進行編碼的參考視頻資料。視頻資料記憶體和DPB 107可由多種記憶體裝置中的任一者形成,例如包含同步動態隨機存取記憶體(Synchronous Dynamic Random Access Memory,SDRAM)的動態隨機存取記憶體(Dynamic Random Access Memory,DRAM)、磁阻式RAM(Magnetic Random Access Memory,MRAM)、電阻式RAM(Resistive Random Access Memory,RRAM),或其它類型的記憶體裝置。視頻資料記憶體和DPB 107可由同一記憶體裝置或單獨記憶體裝置提供。
如圖2所示,視頻編碼器100接收視頻資料,並將所述視頻資料存儲在視頻資料記憶體中。分割單元將所述視頻資料分割成若干圖像塊,而且這些圖像塊可以被進一步分割為更小的塊,例如基於四叉樹結構或者二叉樹結構的圖像塊分割。此分割還可包含分割成條帶(slice)、片(tile)或其它較大單元。視頻編碼器100通常說明編碼待編碼的視頻條帶內的圖像塊的元件。所述條帶可分成多個圖像塊(並且可能分成被稱作片的圖像塊集合)。預測處理單元108可選擇用於當前圖像塊的多個可能的解碼模式中的一者,例如多個幀內解碼模式中的一者或多個幀間解碼模式中的一者。預測處理單元108可將所得經幀內、幀間解碼的塊提供給求和器112以產生殘差塊,且提供給求和器111以重構用作參考圖像的經編碼塊。
預測處理單元108內的幀內預測器109可相對於與待編碼當前塊在相同幀或條帶中的一或多個相鄰塊執行當前圖像塊的幀內預測性編碼,以去除空間冗餘。預測處理單元108內的幀間預測器110可相對於一或多個參考圖像中的一或多個預測塊執行當前圖像塊的幀間預測性編碼以去除時間冗餘。
具體的,幀間預測器110可用於確定用於編碼當前圖像塊的幀間預測模式。舉例來說,幀間預測器110可使用碼率-失真分析來計算候選幀間預測模式集合中的各種幀間預測模式的碼率-失真值,並從中選擇具有最佳碼率-失真特性的幀間預測模式。碼率失真分析通常確定經編碼塊與經編碼以產生所述經編碼塊的原始的未經編碼塊之間的失真(或誤差)的量,
以及用於產生經編碼塊的位元碼率(也就是說,位元數目)。例如,幀間預測器110可確定候選幀間預測模式集合中編碼所述當前圖像塊的碼率失真代價最小的幀間預測模式為用於對當前圖像塊進行幀間預測的幀間預測模式。
幀間預測器110用於基於確定的幀間預測模式,預測當前圖像塊中一個或多個子塊的運動資訊(例如運動向量),並利用當前圖像塊中一個或多個子塊的運動資訊(例如運動向量)獲取或產生當前圖像塊的預測塊。幀間預測器110可在參考圖像列表中的一者中定位所述運動向量指向的預測塊。幀間預測器110還可產生與圖像塊和視頻條帶相關聯的語法元素以供視頻解碼器200在對視頻條帶的圖像塊解碼時使用。又或者,一種示例下,幀間預測器110利用每個子塊的運動資訊執行運動補償過程,以生成每個子塊的預測塊,從而得到當前圖像塊的預測塊;應當理解的是,這裡的幀間預測器110執行運動估計和運動補償過程。
具體的,在為當前圖像塊選擇幀間預測模式之後,幀間預測器110可將指示當前圖像塊的所選幀間預測模式的資訊提供到熵編碼器103,以便於熵編碼器103編碼指示所選幀間預測模式的資訊。
幀內預測器109可對當前圖像塊執行幀內預測。明確地說,幀內預測器109可確定用來編碼當前塊的幀內預測模式。舉例來說,幀內預測器109可使用碼率-失真分析來計算各種待測試的幀內預測模式的碼率-失真值,並從待測試模式當中選擇具有最佳碼率-失真特性的幀內預測模式。在任何情況下,在為圖像塊選擇幀內預測模式之後,幀內預測器109可將指示當前圖像塊的所選幀內預測模式的資訊提供到熵編碼器103,以便熵編碼器103編碼指示所選幀內預測模式的資訊。
在預測處理單元108經由幀間預測、幀內預測產生當前圖像塊的預測塊之後,視頻編碼器100通過從待編碼的當前圖像塊減去所述預測塊來形成殘差圖像塊。求和器112表示執行此減法運算的一或多個組件。所述殘差塊中的殘差視頻資料可包含在一或多個(Transform Unit,TU)中,並應用於變換器101。變換器101使用例如離散餘弦變換(Discrete Cosine Transform,DCT)或概念上類似的變換等變換將殘差視頻資料變換成殘差
變換係數。變換器101可將殘差視頻資料從像素值域轉換到變換域,例如頻域。
變換器101可將所得變換係數發送到量化器102。量化器102量化所述變換係數以進一步減小位碼率。在一些實例中,量化器102可接著執行對包含經量化的變換係數的矩陣的掃描。或者,熵編碼器103可執行掃描。
在量化之後,熵編碼器103對經量化變換係數進行熵編碼。舉例來說,熵編碼器103可執行適應性變動長度編碼法(CAVLC)、前文參考之可適性算術編碼(CABAC)、基於語法的上下文自我調整二進位算術編碼(SBAC)、概率區間分割熵(PIPE)編碼或另一熵編碼方法或技術。在由熵編碼器103熵編碼之後,可將經編碼碼流發射到視頻解碼器200,或經存檔以供稍後發射或由視頻解碼器200檢索。熵編碼器103還可對待編碼的當前圖像塊的語法元素進行熵編碼。
反量化器104和反變化器105分別應用逆量化和逆變換以在像素域中重構所述殘差塊,例如以供稍後用作參考圖像的參考塊。求和器111將經重構的殘差塊添加到由幀間預測器110或幀內預測器109產生的預測塊,以產生經重構圖像塊。濾波器單元106可以適用於經重構圖像塊以減小失真,諸如方塊效應(block artifacts)。然後,該經重構圖像塊作為參考塊存儲在經解碼圖像緩衝器107中,可由幀間預測器110用作參考塊以對後續視頻幀或圖像中的塊進行幀間預測。
應當理解的是,視頻編碼器100的其它的結構變化可用於編碼視頻流。例如,對於某些圖像塊或者圖像幀,視頻編碼器100可以直接地量化殘差信號而不需要經變換器101處理,相應地也不需要經反變換器105處理;或者,對於某些圖像塊或者圖像幀,視頻編碼器100沒有產生殘差數據,相應地不需要經變換器101、量化器102、反量化器104和反變換器105處理;或者,視頻編碼器100可以將經重構圖像塊作為參考塊直接地進行存儲而不需要經濾波器單元106處理;或者,視頻編碼器100中量化器102和反量化器104可以合併在一起。
圖3為本發明提供的一種視頻解碼器200的示例性框圖。在
圖3的實例中,視頻解碼器200包括熵解碼器203、預測處理單元208、反量化器204、反變換器205、求和器211、濾波器單元206以及DPB 207。預測處理單元208可以包括幀間預測器210和幀內預測器209。在一些實例中,視頻解碼器200可執行大體上與相對於來自圖2的視頻編碼器100描述的編碼過程互逆的解碼過程。
在解碼過程中,視頻解碼器200從視頻編碼器100接收表示經編碼視頻條帶的圖像塊和相關聯的語法元素的經編碼視頻碼流。視頻解碼器200可從網路實體42接收視頻資料,可選的,還可以將所述視頻資料存儲在視頻資料記憶體(圖中未示意)中。視頻資料記憶體可存儲待由視頻解碼器200的元件解碼的視頻資料,例如經編碼視頻碼流。存儲在視頻資料記憶體中的視頻資料,例如可從存儲裝置40、從相機等本地視頻源、經由視頻資料的有線或無線網路通信或者通過存取物理資料存儲媒體而獲得。視頻資料記憶體可作為用於存儲來自經編碼視頻碼流的經編碼視頻資料的經解碼圖像緩衝器(CPB)。因此,儘管在圖3中沒有示意出視頻資料記憶體,但視頻資料記憶體和DPB 207可以是同一個的記憶體,也可以是單獨設置的記憶體。視頻資料記憶體和DPB 207可由多種記憶體裝置中的任一者形成,例如:包含同步DRAM(SDRAM)的動態隨機存取記憶體(DRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM),或其它類型的記憶體裝置。
網路實體42可為伺服器、MANE、視頻編輯器/剪接器,或用於實施上文所描述的技術中的一或多者的其它裝置。網路實體42可包括或可不包括視頻編碼器,例如視頻編碼器100。在網路實體42將經編碼視頻碼流發送到視頻解碼器200之前,網路實體42可實施本發明中描述的技術中的部分。在一些視頻解碼系統中,網路實體42和視頻解碼器200可為單獨裝置的部分,而在其它情況下,相對於網路實體42描述的功能性可由包括視頻解碼器200的相同裝置執行。在一些情況下,網路實體42可為圖1的存儲裝置40的實例。
視頻解碼器200的熵解碼器203對碼流進行熵解碼以產生經量化的係數和一些語法元素。熵解碼器203將語法元素轉發到預測處理單
元208。視頻解碼器200可接收在視頻條帶層級和/或圖像塊層級處的語法元素。
當視頻條帶被解碼為經幀內解碼(I)條帶時,預測處理單元208的幀內預測器209可基於發信號通知的幀內預測模式和來自當前幀或圖像的先前經解碼塊的資料而產生當前視頻條帶的圖像塊的預測塊。當視頻條帶被解碼為經幀間解碼(即,B或P)條帶時,預測處理單元208的幀間預測器210可基於從熵解碼器203接收到的語法元素,確定用於對當前視頻條帶的當前圖像塊進行解碼的幀間預測模式,基於確定的幀間預測模式,對所述當前圖像塊進行解碼(例如執行幀間預測)。具體的,幀間預測器210可確定是否對當前視頻條帶的當前圖像塊採用新的幀間預測模式進行預測,如果語法元素指示採用新的幀間預測模式來對當前圖像塊進行預測,基於新的幀間預測模式(例如通過語法元素指定的一種新的幀間預測模式或預設的一種新的幀間預測模式)預測當前視頻條帶的當前圖像塊或當前圖像塊的子塊的運動資訊,從而通過運動補償過程使用預測出的當前圖像塊或當前圖像塊的子塊的運動資訊來獲取或生成當前圖像塊或當前圖像塊的子塊的預測塊。這裡的運動資訊可以包括參考圖像資訊和運動向量,其中參考圖像資訊可以包括但不限於單向/雙向預測資訊,參考圖像列表號和參考圖像列表對應的參考圖像索引。對於幀間預測,可從參考圖像列表中的一者內的參考圖像中的一者產生預測塊。視頻解碼器200可基於存儲在DPB 207中的參考圖像來建構參考圖像列表,即列表0和列表1。當前圖像的參考幀索引可包含於參考幀列表0和列表1中的一或多者中。在一些實例中,可以是視頻編碼器100發信號通知指示是否採用新的幀間預測模式來解碼特定塊的特定語法元素,或者,也可以是發信號通知指示是否採用新的幀間預測模式,以及指示具體採用哪一種新的幀間預測模式來解碼特定塊的特定語法元素。應當理解的是,這裡的幀間預測器210執行運動補償過程。
反量化器204將在碼流中提供且由熵解碼器203解碼的經量化變換係數逆量化,即去量化。逆量化過程可包括:使用由視頻編碼器100針對視頻條帶中的每個圖像塊計算的量化參數來確定應施加的量化程度以及同樣地確定應施加的逆量化程度。反變換器205將逆變換應用於變換係
數,例如逆DCT、逆整數變換或概念上類似的逆變換過程,以便產生像素域中的殘差塊。
在幀間預測器210產生用於當前圖像塊或當前圖像塊的子塊的預測塊之後,視頻解碼器200通過將來自反變換器205的殘差塊與由幀間預測器210產生的對應預測塊求和以得到重建的塊,即經解碼圖像塊。求和器211表示執行此求和操作的組件。在需要時,還可使用環路濾波器(在解碼環路中或在解碼環路之後)來使像素轉變平滑或者以其它方式改進視頻品質。濾波器單元206可以表示一或多個環路濾波器,例如去塊濾波器、自我調整環路濾波器(ALF)以及樣本自我調整偏移(SAO)濾波器。儘管在圖3中將濾波器單元206示出為環路內濾波器,但在其它實現方式中,可將濾波器單元206實施為環路後濾波器。在一種示例下,濾波器單元206適用於重建塊以減小塊失真,並且該結果作為經解碼視頻流輸出。並且,還可以將給定幀或圖像中的經解碼圖像塊存儲在經解碼圖像緩衝器207中,經DPB 207存儲用於後續運動補償的參考圖像。經DPB 207可為記憶體的一部分,其還可以存儲經解碼視頻,以供稍後在顯示裝置(例如圖1的顯示裝置220)上呈現,或可與此類記憶體分開。
應當理解的是,視頻解碼器200的其它結構變化可用於解碼經編碼視頻碼流。例如,視頻解碼器200可以不經濾波器單元206處理而生成輸出視頻流;或者,對於某些圖像塊或者圖像幀,視頻解碼器200的熵解碼器203沒有解碼出經量化的係數,相應地不需要經反量化器204和反變換器205處理。
本發明的技術可通過本發明中所描述的視頻編碼器或視頻解碼器中的任一者進行,如關於圖1到圖3所展示及描述的視頻編碼器100及視頻解碼器200。即,在一種可行的實施方式中,關於圖2所描述的視頻編碼器100可在視頻資料的塊的編碼期間在執行幀間預測時執行下文中所描述的特定技術。在另一可行的實施方式中,關於圖3所描述的視頻解碼器200可在視頻資料的塊的解碼期間在執行幀間預測時執行下文中所描述的特定技術。因此,對一般性“視頻編碼器”或“視頻解碼器”的引用可包含視頻編碼器100、視頻解碼器200或另一視頻編碼或解碼單元。
圖1~圖3僅為本發明提供的示例,在一些示例中,視頻編碼器100、視頻解碼器200以及視頻解碼系統可以包括更多或更少的部件或單元,本發明對此不予限定。
下面在圖1~圖3所示出的視頻解碼系統的基礎上,本發明提供一種可能的視頻編/解碼實現方式,如圖4所示,圖4為本發明提供的一種視頻編/解碼的流程示意圖,該視頻編/解碼實現方式包括過程至過程,過程至過程可以由上述的編碼端10、視頻編碼器100、解碼端20或視頻解碼器200中的任意一個或多個執行。
例如,獨立編碼單元的寬為w_lcu,高為h_lcu。若並行編碼單元劃分成一個獨立編碼單元,則獨立編碼單元的尺寸與並行編碼單元完全相同;否則,則獨立編碼單元的寬應大於高(除非是邊緣區域)。
通常的,獨立編碼單元可為固定的w_lcu×h_lcu,w_lcu和h_lcu均為2的N次方(N0),如獨立編碼單元的尺寸為:128×4,64×4,32×4,16×4,8×4,32×2,16×2或8×2等。
作為一種可能的示例,獨立編碼單元可為固定的128×4。若並行編碼單元的尺寸為256×8,則可將並行編碼單元等分為4個獨立編碼單元;若並行編碼單元的尺寸為288×10,則並行編碼單元劃分為:第一/二行為2個128×4+1個32×4的獨立編碼單元;第三行為2個128×2+1個32×2的獨立編碼單元。
值得注意的是,獨立編碼單元既可以是包括亮度Y、色度Cb、色度Cr三個分量,或紅(red,R)、綠(green,G)、藍(blue,B)三個分量,也可以僅包含其中的某一個分量。若獨立編碼單元包含三個分量,則這三個分量的尺寸可以完全一樣,也可以不一樣,具體與圖像的輸入格式相
關。
若獨立編碼單元分成多個互相不重疊的編碼單元,則其可行劃分例子有:水平等分(編碼單元的高與獨立編碼單元相同,但寬不同,可為其1/2,1/4,1/8,1/16等),垂直等分(編碼單元的寬與獨立編碼單元相同,高不同,可為其1/2,1/4,1/8,1/16等),水平和垂直等分(四叉樹劃分)等,優選為水平等分。
編碼單元的寬為w_cu,高為h_cu,則其寬應大於高(除非是邊緣區域)。通常的,編碼單元可為固定的w_cu x h_cu,w_cu和h_cu均為2個N次方(N大於等於0),如16x4,8x4,16x2,8x2,8x1,4x1等。
作為一種可能的示例,編碼單元可為固定的16x4。若獨立編碼單元的尺寸為64x4,則可將獨立編碼單元等分為4個編碼單元;若獨立編碼單元的尺寸為72x4,則編碼單元劃分為:4個16x4+1個8x4。
值得注意的是,編碼單元既可以是包括亮度Y、色度Cb、色度Cr三個分量(或紅R、綠G、藍B三分量),也可以僅包含其中的某一個分量。若包含三個分量,幾個分量的尺寸可以完全一樣,也可以不一樣,具體與圖像輸入格式相關。
過程:對於編碼單元,可以將其可再將其分成一個或多個互相不重疊的預測組(Prediction Group,PG),PG也可簡稱為Group,各個PG按照選定預測模式進行編解碼,得到PG的預測值,組成整個編碼單元的預測值,基於預測值和編碼單元的原始值,獲得編碼單元的殘差值。
過程:基於編碼單元的殘差值,對編碼單元進行分組,獲得
一個或多個相不重疊的殘差小塊(Residual Block,RB),各個RB的殘差係數按照選定模式進行編解碼,形成殘差係數流。具體的,可分為對殘差係數進行變換和不進行變換兩類。
其中,過程中殘差係數編解碼方法的選定模式可以包括,但不限於下述任一種:半定長編碼方式、指數哥倫布(Golomb)編碼方法、Golomb-Rice編碼方法、截斷一元碼編碼方法、游程編碼方法、直接編碼原始殘差值等。
例如,視頻編碼器可直接對RB內的係數進行編碼。
又如,視頻編碼器也可對殘差塊進行變換,如DCT、DST、Hadamard變換等,再對變換後的係數進行編碼。
作為一種可能的示例,當RB較小時,視頻編碼器可直接對RB內的各個係數進行統一量化,再進行二值化編碼。若RB較大,可進一步劃分為多個係數組(Coefficient Group,CG),再對各個CG進行統一量化,再進行二值化編碼。在本發明的一些實施例中,係數組(CG)和量化組(QG)可以相同。
下面以半定長編碼方式對殘差係數編碼的部分進行示例性說明。首先,將一個RB塊內殘差絕對值的最大值定義為修整最大值(modified maximum,mm)。其次,確定該RB塊內殘差係數的編碼比特數(同一個RB塊內殘差係數的編碼比特數一致)。例如,若當前RB塊的關鍵限值(Critical Limit,CL)為2,當前殘差係數為1,則編碼殘差係數1需要2個比特,表示為01。若當前RB塊的CL為7,則表示編碼8-bit的殘差係數和1-bit的符號位元。CL的確定是去找滿足當前子塊所有殘差都在[-2^(M-1),2^(M-1)]範圍之內的最小M值。若同時存在-2^(M-1)和2^(M-1)兩個邊界值,則M應增加1,即需要M+1個比特編碼當前RB塊的所有殘差;若僅存在-2^(M-1)和2^(M-1)兩個邊界值中的一個,則需要編碼一個Trailing位元來確定該邊界值是-2^(M-1)還是2^(M-1);若所有殘差均不存在-2^(M-1)和2^(M-1)中的任何一個,則無需編碼該Trailing位元。
另外,對於某些特殊的情況,視頻編碼器也可以直接編碼圖像的原始值,而不是殘差值。
下面將結合圖式對本發明實施例的實施方式進行詳細描述。
圖5為本發明提供的一種圖像的解碼方法的流程示意圖,該圖像的解碼方法可應用於圖1所示出的視頻解碼系統,該圖像的解碼方法可以由解碼端20執行,具體的,該解碼方法可以由解碼端20包括的視頻解碼器200執行,請參見圖5,本實施例提供的解碼方法包括以下步驟。
步驟S510,視頻解碼器200對獲取到的碼流進行解析,獲得一個或多個圖像幀。
其中,上述的一個圖像幀包括一個或多個CU。
如圖5所示,一個圖像幀可以包括3×5=15個CU。值得注意的是,一個圖像幀也可以包括更多個CU,如20個CU;一個圖像幀還可以包括更少個CU,如1個CU或2個CU等。
步驟S520,視頻解碼器200確定一個圖像幀的多個QP值。
其中,一個CU包括多個QG,一個QG對應一個QP值。
上述的一個CU包含多個殘差係數,且該一個QG包含前述多個殘差係數中的一部分殘差係數,該一部分殘差係數共用一個QP值。
值得注意的是,在編碼過程中,視頻編碼器對該殘差係數進行量化後,該殘差係數又被稱為水平值。而在本領域中,殘差係數和水平值也可以統稱為殘差係數,本實施例均以殘差係數來表示,不應理解為對本發明的限定。
相較於一個CU中所有的殘差係數都採用相同的QP值導致的圖像失真較大,在本實施例提供的視頻圖像的解碼過程中,一個CU可以被劃分為多個QG,每個QG中的一個或多個殘差係數共用一個QP值,進而,視頻解碼器可以對圖像幀對應的一個或多個CU進行更精細細微性的QP決策,在保證一定壓縮率的情況下,降低了圖像幀的解碼失真,提高了視頻圖像解碼的真實性和準確性。
在一種可選的實現方式中,一個QG可以包括一個像素點或多個像素點,每個像素點都具有相應的殘差係數。
在第一種可能的情形中,當一個QG包括一個像素點時,QG的量化過程也可以稱為圖像幀的自我調整逐點量化,該逐點量化也可以適
用於不做QG劃分的CU中。逐點量化的特點是允許每個像素點使用不同的QP,相當於把QP的細微性精細化到像素級。如此,採用逐點量化的方法對圖像幀進行反量化,可以在圖像幀的壓縮率不變的情況下,大幅度提高圖像幀的主觀品質。
在第二種可能的情形中,當一個QG包括多個像素點時,一個QG包括的多個像素點對應的殘差係數可以共用一個QP值。
在另一種可選的實現方式中,CU可以是通過以下方式確定的:視頻解碼器200按照第一規則劃分一個圖像幀包括的一個CU,獲取多個QG。
該第一規則包括劃分域和劃分方式,該劃分域為變換域或像素域,該劃分方式包括均勻劃分和非均勻劃分中至少一種。
一個CU包含的多個殘差係數的位置由座標進行標記,該標記可以包括橫坐標和縱坐標。例如,殘差係數的位置座標為(i,j),i為橫坐標,j為縱坐標。下面提供幾種可能的示例,對第一規則和CU中QG的劃分進行說明。
在第一種可能的示例中,若劃分域的類型為變換域,則視頻解碼器200劃分一個CU獲取多個QG的過程包括:將多個殘差係數中,座標和未達到第一座標閾值的殘差係數劃分至第一QG,座標和達到第一座標閾值的殘差係數劃分至第二QG。該座標和為殘差係數的橫坐標與縱坐標之和。
圖6為本發明提供的一種變換域劃分的示意圖,一個CU包括16個殘差係數對應的區域,其中,左上角的殘差係數的座標為(1,1),右下角的殘差係數的座標為(4,4)。
QG(2-1)示出了一種變換域的QG二分方式,對於(i,j)位置的殘差係數,滿足“i+j閾值1”的殘差係數為第一QG,其他為第二QG,如該閾值1為5.5。另外,也可以是滿足“i+j<閾值1”的殘差係數為第一QG,其他為第二QG。
在第二種可能的示例中,若劃分域的類型為變換域,視頻解碼器200劃分一個CU獲取多個QG的過程包括:將多個殘差係數中,座標和未達到第一座標閾值的殘差係數劃分至第一QG,座標和達到第一座標閾值、
未達到第二座標閾值的殘差係數劃分至第二QG,座標和達到第二座標閾值的殘差係數劃分至第三QG。該第二座標閾值大於第一座標閾值。
如圖6所示,QG(3-1)示出了一種變換域的QG三分方式,對於(i,j)位置的殘差係數,滿足“i+j<閾值1”的殘差係數為第一QG,滿足“閾值1i+j<閾值2”的殘差係數為第二QG,滿足“i+j閾值2”的殘差係數為第三QG,閾值2大於閾值1,如閾值1=5.5,閾值2=6.5。
在第三種可能的示例中,若劃分域的類型為變換域,視頻解碼器200劃分一個CU獲取多個QG的過程包括:對多個殘差係數進行排序,將多個殘差係數中未達到第一比例閾值的殘差係數劃分至第一QG,達到第一比例閾值的殘差係數劃分至第二QG。該多個殘差係數的排序方式為以下任一種:Z字形、反向Z字形。
例如,如圖6所示,QG(2-2)示出了一種Z字形的變換域的QG二分方式,前7/16(43.75%)的殘差係數被劃分到第一QG,剩餘的殘差係數被劃分到第二QG。
又如,如圖6所示,QG(2-3)示出了一種反Z字形的變換域的QG二分方式,前7/16(43.75%)的殘差係數被劃分到第一QG,剩餘的殘差係數被劃分到第二QG。
在第四種可能的示例中,若劃分域的類型為變換域,視頻解碼器200劃分一個CU獲取多個QG的過程包括:對多個殘差係數進行排序,將多個殘差係數中未達到第一比例閾值的殘差係數劃分至第一QG,達到第一比例閾值、但未達到第二比例閾值的殘差係數劃分至第二QG,達到第二比例閾值的殘差係數劃分至第三QG。該第二比例閾值大於第一比例閾值。
例如,如圖6所示,QG(3-2)示出了一種Z字形的變換域的QG三分方式,前5/16(31.25%)的殘差係數被劃分到第一QG,後3/16(18.75%)的殘差係數被劃分到第二QG,剩餘的殘差係數被劃分到第三QG。
又如,如圖6所示,QG(3-3)示出了一種反Z字形的變換域的QG三分方式,前5/16(31.25%)的殘差係數被劃分到第一QG,後3/16(18.75%)的殘差係數被劃分到第二QG,剩餘的殘差係數被劃分到第三QG。
上述第一至第四種可能的示例僅為本實施例為說明CU中變換域的劃分而給出的示例,不應理解為對本發明的限定。在劃分域的類型為變換域時,座標閾值、比例閾值的選取可以根據CU的圖像內容或者視頻編解碼的需求進行確定,本發明對此不予限定。另外,為提高一個CU內的QP決策精度,變換域還可以劃分為更多個QG,如4、5、10或更多等,本發明對此不予限定。
在劃分域的類型為像素域時,下面提供幾種可能的示例,對第一規則和CU中QG的劃分進行說明。
在第五種可能的示例中,視頻解碼器200將多個殘差係數進行水平或垂直方向的對稱劃分,獲得包含的殘差係數的數量一致的兩個QG。這兩個QG包含的殘差係數的比例為1:1。
圖7為本發明提供的一種像素域劃分的示意圖,QG_像素(Pixel,P)(2-1)示出了一種在CU的垂直方向上進行對稱二分的示例,QG_P(2-4)示出了一種在CU的水平方向上進行對稱二分的示例。
在第六種可能的示例中,視頻解碼器200將多個殘差係數進行水平或垂直方向的對稱劃分,獲得三個QG。三個QG中兩個不相鄰的QG包含的殘差係數的數量一致,且另一個QG包含的殘差係數的數量與兩個不相鄰的QG包含的殘差係數的數量和是一致的。
如圖7所示,QG_P(3-1)示出了一種在CU的垂直方向上進行對稱三分的示例,兩側的QG包含的殘差係數的數量相同,這三個QG包含的殘差係數的數量比例為1:2:1。QG_P(3-4)示出了一種在CU的垂直方向上進行對稱三分的示例,這三個QG包含的殘差係數的數量比例為1:2:1。
在第七種可能的示例中,視頻解碼器200將多個殘差係數進行水平或垂直方向的劃分,獲得包含的殘差係數的數量不一致的兩個QG。
例如,如圖7所示出的QG_P(2-2)給出了一種在CU的垂
直方向上進行二分的示例,這兩個QG包含的殘差係數的比例為1:3。
又如,QG_P(2-3)給出了一種在CU的垂直方向上進行二分的示例,這兩個QG包含的殘差係數的比例為3:1。
又如,QG_P(2-5)給出了一種在CU的水平方向上進行二分的示例,這兩個QG包含的殘差係數的比例為1:3。
又如,QG_P(2-6)給出了一種在CU的垂直方向上進行二分的示例,這兩個QG包含的殘差係數的比例為3:1。
在第八種可能的示例中,視頻解碼器200將多個殘差係數進行水平或垂直方向的劃分,獲得三個QG。這三個QG包含的殘差係數不存在對稱關係。
例如,如圖7所示出的QG_P(3-2)給出了一種在CU的垂直方向上進行三分的示例,這三個QG包含的殘差係數的比例為1:1:2。
又如,QG_P(3-3)給出了一種在CU的垂直方向上進行三分的示例,這三個QG包含的殘差係數的比例為2:1:1。
又如,QG_P(3-5)給出了一種在CU的水平方向上進行三分的示例,這三個QG包含的殘差係數的比例為1:1:2。
又如,QG_P(3-6)給出了一種在CU的垂直方向上進行三分的示例,這三個QG包含的殘差係數的比例為2:1:1。
上述第五至第八種可能的示例僅為本實施例為說明CU中像素域的劃分而給出的示例,不應理解為對本發明的限定。在劃分域的類型為像素域時,QG包含的殘差係數的比例可以根據CU的圖像內容或者視頻編解碼的需求進行確定,本發明對此不予限定。另外,為提高一個CU內的QP決策精度,像素域還可以劃分為更多個QG,如4、5、10或更多等,本發明對此不予限定。
如此,視頻解碼器200對像素域和變換域的殘差係數採用不同的QG劃分方式,QP量化過程也不同,從而降低了圖像解碼的失真。關於QP量化的過程,可參考本文中關於QP值的獲取過程的闡述,此處不予贅述。
請繼續參見圖5,在視頻解碼器200獲取到一個圖像幀的多個
QP值之後,本實施例提供的圖像的解碼方法還包括以下步驟S530。
步驟S530,視頻解碼器200依據多個QP值對一個圖像幀進行解碼。
例如,視頻解碼器200依據多個QP值對一個圖像幀進行解碼後,獲得經解碼後的圖像。在視頻解碼器200解碼多個圖像幀後,獲取到碼流解碼後的視頻。
如此,在本實施例中,視頻解碼器可以按照QG為細微性進行圖像解碼的QP量化,由於一個CU可以被劃分為多個QG,且一個QG對應一個QP值,相較於一個CU中所有的殘差係數都採用相同的QP值導致的圖像失真較大,在本實施例中,視頻解碼器可以對圖像幀對應的一個或多個CU進行更精細細微性的QP決策,在保證一定壓縮率的情況下,降低了圖像幀的解碼失真,提高了視頻圖像解碼的真實性和準確性。
在本發明提供的技術基礎上,視頻編/解碼的過程中,視頻編碼器/視頻解碼器會獲取每個QG(或CU)的QP值,這裡提供幾種可能的實現方式。
在一種可能的實現方式中,一個QG對應的一個QP值包括亮度QP值和色度QP值。亮度QP值(QP_Y)是指對圖像幀的亮度(Luminance 或Luma)進行量化或反量化所需的QP值,色度QP值是指對圖像幀的色度(Chrominance或Chroma)進行量化或反量化所需的QP值。示例的,針對於上述的步驟S520,視頻解碼器200確定一個圖像幀的多個QP值,可以包括以下兩種可能的情形。
第一種可能的情形,視頻解碼器200分別獲取一個QG的亮度QP值和色度QP值。
第二種可能的情形,首先,視頻解碼器200獲取一個QG的亮度QP值;其次,視頻解碼器200基於亮度QP值確定一個QG的色度QP值。如,色度QP為QP_Y加上圖像參數集(Picture Parameter Set,PPS)層和Slice層的QP偏移值。
示例的,上述的亮度QP值和色度QP值可以是視頻解碼器200解析碼流獲得的。
在對CU包括的QG進行QP決策(或稱QP量化)時,視頻解碼器200可以先獲取CU級的QP值,再獲取該CU中QG級的QP值。
下面提供兩種可能的實現方式來確定一個圖像幀的多個QP值。
第一種可能的實現方式,直接編碼/解碼:視頻解碼器200解析碼流以獲得一個圖像幀的標記資訊,該標記資訊用於指示一個QG的QP值,和/或,標記資訊用於指示一個CU的QP值。
例如,在近無失真壓縮中,小QP值出現的概率高於大QP值,所以視頻解碼器200可採用截斷一元碼、截斷萊斯碼或者指數哥倫布碼等方式,利用碼流攜帶的標記資訊中包括的QP值,對QG包括的殘差係數(水平值)進行反量化。
如此,在視頻編碼器200對一個CU進行QP決策時,該標記資訊可以攜帶有該CU的QP值。在無需對CU中的QG進行QP決策的情況下,視頻解碼器200可以依據碼流攜帶的標記資訊來確定CU的QP值,避免了視頻解碼器對碼流中的圖像幀進行推導來獲得CU的QP值,減少了視頻解碼器的計算資源消耗,提高了圖像解碼的效率。
又如,在視頻編碼器200對一個CU中的多個QG進行QP決策時,該標記資訊可以攜帶有該多個QG中任一個QG的QP值。
又如,該標記資訊可以攜帶有CU的QP值,以及該CU中任一個QG的QP值。
如此,在視頻編碼器200對一個QG進行QP決策時,該標記資訊可以攜帶有該QG的QP值,避免了視頻解碼器對碼流中的圖像幀進行推導來獲得QG的QP值,減少了視頻解碼器的計算資源消耗,提高了圖像解碼的效率。
第二種可能的實現方式,預測編碼/解碼:視頻解碼器200對實際(編碼)QP值與預測QP(predict QP,predQP)值的差值(deltaQP)進行編碼,包括以下幾個步驟:首先,獲取當前塊(CU或QG)的predQP;其次,確定當前塊的deltaQP;最後,確定實際(編碼)QP值為:QP=predQP+deltaQP。
下面以視頻解碼器200確定一個圖像幀中一個QG的QP值為例進行詳細說明,如圖8所示,圖8為本發明提供的一種採用預測編碼方式獲取QP的流程示意圖,該獲取QP的過程可以由視頻解碼器或視頻編碼器來實現,這裡以視頻解碼器200為例進行說明,該獲取QP的過程包括以下步驟。
步驟S810,視頻解碼器200獲取QG的預測QP值。
在一種可行的實現方式中,視頻解碼器200將QG所在CU的QP值作為該QG的預測QP值。示例的,該CU的QP值可以是視頻解碼器200解析碼流的標記資訊確定。
在另一種可行的實現方式中,視頻解碼器200可以先獲取QG所在CU中與該QG相鄰的至少一個其他QG的QP值,並依據該至少一個其他QG的QP值,確定前述QG的預測QP值。例如,視頻解碼器200將與該QG相鄰的其他QG的QP值作為該QG的預測QP值。
步驟S820,視頻解碼器200獲取QG的QP偏移量。
在本文中,QP偏移量可以用deltaQP來表示。
請繼續參見圖8,針對於步驟S820,本實施例提供了兩種可能的實現方式。
在第一種可選的實現方式中,視頻解碼器200可以利用碼流攜帶的標記資訊來確定QG的QP偏移量,如圖8所示出的步驟S820A。
步驟S820A,視頻解碼器200解析碼流以獲得指示了QG的QP偏移量的標記資訊。
例如,視頻解碼器200獲取到碼流後,對該碼流進行解析以獲取QG所在圖像幀的標記資訊,該標記資訊用於指示該QG的QP偏移量(deltaQP)。
在第二種可選的實現方式中,視頻解碼器200可以利用推導資訊來確定QG的QP偏移量,如圖8所示出的步驟S820B。
步驟S820B,視頻解碼器200依據QG的推導資訊確定QG的QP偏移量。
該推導資訊可以為以下任意一種或幾種的組合:該QG的平
坦度資訊或紋理度資訊、碼流緩衝區的剩餘空間或失真約束資訊。其中,平坦度資訊或紋理度資訊,用於指示QG的圖像梯度;失真約束資訊指示了一個圖像幀所包括的多個QG中任一個QG的失真閾值;碼流緩衝區的剩餘空間用於指示碼流緩衝區(如buffer空間)的可用餘量。
在第一種情形中,推導資訊為平坦度資訊或紋理度資訊,視頻解碼器200可以依據該平坦度資訊或紋理度資訊推導QG的QP偏移量。例如,視頻解碼器200計算當前塊(QG)的紋理複雜度,對於紋理複雜度高(如達到紋理複雜度閾值)的QG,使用大QP(如20);對於紋理複雜度低(如未達到紋理複雜度閾值)的QG,使用小QP(如5)。
在第二種情形中,推導資訊為碼流緩衝區的剩餘空間,視頻解碼器200計算整幅圖像所有像素的平均比特數BPPtotal,以及剩餘未編碼像素的平均比特數BPPleft,若BPPleft>BPPtotal,則減小QP,否則增大QP。其中,BPPtotal和BPPleft可以採用下述公式來獲取。
在第三種情形中,若推導資訊為失真約束資訊,不妨設D為量化失真(反量化後的重建值與量化前的殘差之差),並且對任意矩陣A記:
(2),如果對變換域的殘差做量化,不妨設R為像素域的殘差,U,V為水平變換矩陣和垂直變換矩陣,則像素域的最大失真與變換域的最大失真之間滿足下述公式。於是,像素域的最大失真不超過△的充分條件
是:變換域的最大失真滿足∥D∥max ,由此可推導變換域的QP
是值。
請繼續參見圖8,本實施例提供的獲取QP的過程還包括以下步驟。
步驟S830,視頻解碼器200依據QG的預測QP值和QP偏移量,確定QG的QP值。
例如,視頻解碼器200將QG的預測QP值與QP偏移量之和作為該QG的QP值。
值得注意的是,在步驟S820B提供的第三種情形中,若視頻解碼器200獲取QG的QP值可能存在以下的情況。
視頻解碼器200依據QG的參考QP值確定對應的預測失真,若預測失真小於或等於失真閾值,將該參考QP值作為QG的QP值;若預測失真大於失真閾值,將由失真閾值確定的QP值作為QG的QP值。
在示例1中,若推導資訊僅包括失真約束資訊,該參考QP值是指步驟S810確定的QG的預測QP值。
在示例2中,若推導資訊包括失真約束資訊和紋理度資訊(或平坦度資訊),該參考QP值可以是指由紋理度資訊(或平坦度資訊)確定的deltaQP和步驟S810確定的預測QP值相加獲得的QP值。
在示例3中,若推導資訊包括失真約束資訊和碼流緩衝區的剩餘空間,該參考QP值可以是指由碼流緩衝區的剩餘空間確定的deltaQP和步驟S810確定的預測QP值相加獲得的QP值。
也就是說,上述的推導資訊可以是用於確定QG的deltaQP,也可以是用於直接確定QG的實際編碼QP值,推導資訊具體的使用過程可以根據視頻編解碼中QP量化/反量化的需求進行確定,上述的3種情形和3種示例不應理解為對本發明的限定。
前述示例1~示例3僅為本實施例為說明視頻解碼器200利用推導資訊來確定QG的QP值的示例,不應理解為對本發明的限定,在另一些示例中,推導資訊可以同時包括失真約束資訊、紋理度資訊(或平坦度資
訊)和碼流緩衝區的剩餘空間,本發明對此不予限定。
值得注意的是,上述的色度/亮度QP值、直接編碼/預測編碼、碼流攜帶/推導資訊解析僅為本發明提供的一些示例,不應理解為對本發明的限定。
在一種可選的實現方式中,一個圖像幀至少包括第一部分CU和第二部分CU,第一部分CU和第二部分CU不具有重疊區域,且第一部分CU和第二部分CU的QP值的獲取方式不同。如第一部分CU的QP值獲取方式是碼流的標記資訊攜帶的,第二部分CU的QP值獲取方式是視頻解碼器200推導的。
具體的,上述視頻解碼器200確定一個圖像幀的多個QP值的過程可以包括以下過程:第一,視頻解碼器200解析碼流以獲得一個圖像幀的標記資訊,該標記資訊包括第一部分CU的QP偏移量,視頻解碼器200依據標記資訊確定第一部分CU的QP值;第二,視頻解碼器200針對於第二部分CU,獲取第二部分CU的預測QP值,視頻解碼器200還依據第二部分CU的預測QP值和推導資訊,確定第二部分CU的QP值。關於推導資訊的相關內容可以參考前述對QG的推導資訊的描述,將其中的QG替換為CU即可,此處不予贅述。
例如,視頻解碼器200將一幅圖像分為若干個區域,對不同區域的CU採用不同的QP處理方式。在圖像級傳輸不同區域的基準QP值,在CU級傳輸不同區域的標記資訊。不同區域的CU級QP可以通過碼流傳輸的方式獲取,也可以通過解碼端推導的方式獲取。如視頻解碼器將圖像劃分為感興趣(Region Of Interset,ROI)區域和非ROI區域,對於ROI區域的CU(第一部分CU),通過碼流傳輸的方式(如上述的標記資訊)獲取QP值;對於非ROI區域的CU(第二部分CU),通過解碼端推導(如上述的推導資訊)的方式獲取QP值。
作為一種可選的實現方式,一個圖像幀的一個CU可以包括多個QG,這多個QG可以是部分進行了QP量化,也可以是全部進行了QP量化。
例如,在步驟S520的過程中,若一個圖像幀的一個CU包括
的所有QG在編碼過程中均進行了量化,則視頻解碼器200可以首先確定該一個圖像幀的一個CU包括的所有QG的掃描順序。繼而,視頻解碼器200針對於所有QG中的每一個QG,按照掃描順序獲取每一個QG的QP值。其中,掃描順序包括以下任意一種:從上到下、從左到右、Z字形或反向Z字形順序。
具體的,如果只對某些QG做量化,其他QG不做量化,則需要標識做量化的那些QG的位置,然後為這些QG獲取相應的QP。例如,可以為這些QG每個都編碼一個QP偏移量。
又如,在步驟S520的過程中,若一個圖像幀的一個CU包括的部分QG在編碼過程中進行了量化,則視頻解碼器200可以解析碼流以確定一個圖像幀的一個CU中被標記的一個或多個QG,該被標記的一個或多個QG在解碼過程中需進行QP反量化;進而,視頻解碼器200針對於被標記的一個或多個QG中每一個QG,獲取每一個QG的QP值。
具體的,如果要對所有QG都做量化,則需要按照某種掃描順序依次為每個QG獲取相應的QP,其中的掃描順序與劃分方式有關,可以是從上到下、從左到右、Z字形或反向Z字形順序。例如,可以為這些QG每個都編碼一個QP偏移量。
如此,針對於一個圖像幀的一個CU中所有的QG,可以利用碼流攜帶的標記資訊來區分該所有QG的QP量化方式(部分量化或全部量化),避免了視頻解碼器無差別的進行QP量化,減少了視頻解碼器進行QP量化所需的計算資源和圖像失真,提高了視頻的解碼效率額準確性。
另外,當一個QG僅包括一個圖像幀中的一個像素點的情況下,一個像素點對應一個QP值,且一個圖像幀所包括的所有像素點中至少兩個像素點的QP值不同,該像素點的QP值量化過程(點預測模式)可以採用逐點量化技術,例如,該逐點量化技術包括以下過程:視頻解碼器200可以根據當前像素點周圍的已重建像素資訊來自我調整調整當前像素的QP值。其中已重建像素資訊包括但不限於像素值、平坦度資訊或紋理度資訊、背景亮度、對比度等。
值的注意的是,自我調整的逐點量化技術可以應用於QG中,
也可以適用於不做QG劃分的CU中。逐點量化技術的特點是允許一個圖像幀中每個像素點使用不同的QP值,相當於把QP值量化的細微性精細化到像素級。
逐點量化技術的一種實現方式是:不妨設QPpred是當前CU或QG的QP值,QPJND 0是人眼恰可察覺失真(Just Noticeable Distortion,JND)對應的QP值,offset>0是QP偏移值(可以在碼流中傳輸,也可以預先設定),則當前像素的QP值調整為:
其中,閾值2>閾值1。或者,
上述兩種當前像素的QP值確定方式僅為本實施例提供的示例,不應理解為對本發明的限定。
如此,視頻解碼器採用逐點量化技術,可以在不改變圖像幀的壓縮率的前提下,大幅度提升圖像幀的主觀品質,減少圖像幀的失真。
下面給出一種可能的實現方式,來說明圖像幀中的像素點的QP量化過程。
示例的,視頻解碼器200獲取一個像素點的預測QP值,並依據一個像素點的預測QP值和推導資訊,確定一個像素點的QP值。
在一種可能的情形中,一個像素點的預測QP值為該像素點所在的CU或QG的QP值。在另一種可能的情形中,一個像素點的預測QP值為根據該像素點周圍的一個或多個已重建像素點的QP值推導得到,其中,推導的方法包括計算均值(如多個像素點的QP值的平均值)、中位數(如多個像素點的QP值的中位數)或眾數(如多個像素點的QP值中出現頻次最大的QP值)中至少一種。
上述像素點的推導資訊可以是該像素點周圍的一個或多個已重建像素點的資訊。其中,該已重建像素點的資訊包括以下任意一種或幾種的組合:像素值、平坦度資訊或紋理度資訊、背景亮度、對比度。值得注意的是,前述的幾種資訊僅為本實施例提供的示例,不應理解為對本發明的限定。
此外,上述“周圍”的意思可以理解為待確定QP值的像素點的相鄰像素點,這裡提供幾種可能的示例進行說明,如圖9所示,圖9為本發明提供的一種像素點的分佈示意圖,圖9中的(A)示出了一種以當前像素點為中心的正方形區域劃分為例的示意,這裡給出了2種可能的情形:情形1,已重建像素點是指以當前像素點為中心,邊長為3的正方形區域中的像素點,如圖9的(A)中所示出的周圍像素點1;情形2,已重建像素點是指以當前像素點為中心,邊長為5的正方形區域中的像素點,如圖9的(A)中所示出的周圍像素點2。
圖9中的(B)示出了一種以當前像素點為中心的菱形區域劃分為例的示意,這裡給出了2種可能的情形:情形1,已重建像素點是指以當前像素點為中心,對角線長度為3的菱形區域中的像素點,如圖9的(B)中所示出的周圍像素點1;情形2,已重建像素點是指以當前像素點為中心,對角線長度為5的菱形區域中的像素點,如圖9的(B)中所示出的周圍像素點2。
圖9僅為本實施例為說明在當前像素點周圍的已重建像素點的示例,不應理解為對本發明的限定。在另一些可能的示例中,當前像素點周圍的已重建像素點還可以是指與該當前像素點上下相鄰、或左右相鄰的一個或兩個像素點。
作為一種可選的實現方式,依據一個像素點的預測QP值和推導資訊,確定一個像素點的QP值,包括:根據一個像素點周圍的一個或多個已重建像素點的資訊確定像素點的指示資訊;如果指示資訊小於或等於第一閾值,並且預測QP值大於或等於人眼恰可察覺失真對應的QP值,則將人眼恰可察覺失真對應的QP值作為像素點的QP值。
第一閾值可以是預設的,也可以是根據視頻編解碼的壓縮率
或失真率要求進行確定的。另外,第一閾值也可以是根據用戶的輸入資訊確定的。
值得注意的是,人眼恰可察覺失真對應的QP值是圖像級或CU級資訊。
例如,人眼恰可察覺失真對應的QP值是從碼流中解析得到,如該碼流中攜帶有人眼恰可察覺失真對應的QP值,如20。
又如,人眼恰可察覺失真對應的QP值是根據周圍的已重建CU的平坦度資訊或紋理度資訊、背景亮度、對比度資訊推導得到。關於推導獲得QP值的過程可以參考上述圖9的相關內容,此處不予贅述。
另外,人眼恰可察覺失真對應的QP值還可以是視頻編碼器或視頻解碼器設置的預設值,如15。也就是說,人眼恰可察覺失真對應的QP值不僅可以攜帶在碼流的標記資訊中,也可以是視頻編碼器或視頻解碼器在視頻編解碼過程中解析的,還可以是預設值的QP值。本實施例將人眼恰可察覺失真對應的QP值引入當前像素點的QP值決策,使得每個像素點滿足人眼恰可察覺失真相應的判斷資訊,降低了圖像失真,提高了圖像的主觀品質。
這裡給出一種可能的具體示例,以來說明像素點的QP值確定過程,如表3所示,表3示出了一種當前像素點的區間二分的QP值確定示意。
其中,其中offset>0是QP偏移值(可以在碼流中傳輸,也可以預先設定)。
方式一:當指示資訊小於或等於閾值時,將QP pred 和QP JND 中的較小值作為當前像素點的QP值;當指示資訊大於閾值時,將像素點的預
測QP值(QP pred )作為當前像素點的QP值。
方式二:當指示資訊小於或等於閾值時,將QP pred 和QP JND 中的較小值作為當前像素點的QP值;當指示資訊大於閾值時,將QP pred 與QP偏移量(offset)之和作為當前像素點的QP值。
方式三:當指示資訊小於或等於閾值時,將QP pred 作為當前像素點的QP值;當指示資訊大於閾值時,將像素點的QP pred 與QP偏移量(offset)之和作為當前像素點的QP值。
值得注意的是,上述示例以及表3僅為本實施例提供的當前像素點的QP值的可能獲取方式,不應理解為對本發明的限定。
如此,將人眼恰可察覺失真對應的QP值引入當前像素點的QP值決策過程中,使得每個像素點滿足人眼恰可察覺失真相應的判斷資訊,降低了圖像失真,提高了圖像的主觀品質。
在視頻解碼器200獲取到一個圖像幀的QP值之後,針對於上述的步驟S530,本發明提供一種可能的實現方式,圖10為本發明提供的一種圖像幀解碼的流程示意圖,步驟S530可以包括以下步驟S1010~S1030。
步驟S1010,針對於多個QP值中每一個QP值,獲取QP值對應的量化步長(Qstep)。
視頻解碼器根據QP值,可通過公式推導和查表中至少一種方式獲取Qstep,下面提供了四種可能的實現方法。
方法一:Qstep=2×QP+1。
方法二:不妨記octave為QP的位階,也即QP每增加octave,Qstep增加一倍,通常選取octave為6或8。記offset為一個整數偏移值,則:
Q step =2(QP+offset)/octave 。
則量化步長為:Q step =2 T 。
方法四:下面給出一種量化和反量化的示例。
反量化:c'=l*Q step
則當T<M時,Qstep由下述公式給出,否則量化係數和重建值均為零。
該方法四中一種可能的實現方式是:取a=f*2T-M或者取a=2T-M,其中M可以在碼流中傳輸,也可以直接取為比特深度。
在量化像素域的殘差時,方法三需要通過clip操作才能保證量化係數可用“M-T”位比特表示,方法四的量化係數天然的可用“M-T”位比特表示,無需clip。
另外,在JPEG-XS中均勻量化的方案是在方法四中取f=0.5,並在碼流中傳輸M。
值得注意的是,QP值越大,Qstep越大,量化越粗糙,量化失真越大,係數編碼的碼率越小。參數f與量化死區的長度有關,f越小,量化死區越長,量化後的水平值越靠近零點。當f=0.5時,上述步驟S1010的方法四提供的量化和反量化公式相當於四捨五入,量化失真最小。當f<0.5時,f越小,量化失真越大,係數編碼的碼率越小。H.265中選取:I圖像f=1/3,B/P圖像f=1/6。
請繼續參見圖8,上述的S530還可以包括以下步驟。
步驟S1020,獲取QP值對應的QG所包含的水平值。
步驟S1030,依據選擇的量化器組合,對QG的水平值進行反量化。
其中,該量化器組合包括一個或多個量化器,該量化器為均勻量化器或非均勻量化器。
取法一:f取為0.5或其他固定值。
取法二:f可根據QP值、預測模式以及是否做變換來自我調整確定。
又如,非均勻量化器是指非均勻標量量化器,量化水平值、量化區間和反量化的重建值之間的對應關係可通過查表獲得。一種可能的實現方式如下表1。
量化器組合可以採用一個非均勻標量量化器,或者採用多個非均勻標量量化器。
例如,量化器組合是通過碼流攜帶的標記資訊確定的。
又如,殘差係數在QG中的分佈情況確定的。如,視頻解碼器自我調整選擇使用哪個量化器,選擇依據可以是模式資訊或變換資訊,模式資訊或變換資訊與殘差係數在QG中的分佈情況相關。
針對於上述的步驟S1030中,對QG的水平值進行反量化,其可以包括以下過程。
首先,確定QG的劃分欄位型別。
其次,若QG為劃分欄位型別為變換域,則從解碼端的矩陣範本庫中選擇與QG的參數資訊匹配的量化矩陣。
其中,矩陣範本庫包括多種類型的量化矩陣範本,該參數資訊包括以下任意一種或多種的組合:QG的尺寸、QG所在的CU的尺寸、亮色度通道資訊和平坦度資訊。
最後,利用QG的量化矩陣對QG中的水平值進行反量化,獲得QG的殘差係數。
像素域中不同位置的殘差係數同等重要,所以不使用量化矩陣。變換域的係數分為低頻係數和高頻係數,通過量化矩陣使得高低頻係數採用不同的量化步長,可以在保證一定壓縮率的同時提升圖像的主觀品質。
量化矩陣的元素分佈具有特定的範本,本發明允許不同大小的編碼塊採用不同的量化矩陣範本,並且大尺寸的量化矩陣可由一種或多種小尺寸的量化矩陣上採樣得到。矩陣範本庫包括的量化矩陣範本由以下任意一種或多種類型的變換方式獲得:離散餘弦變換(DCT)、離散正弦變換(DST)、整數變換或離散小波變換(DWT)。如圖11所示,圖11為本發明提供的量化矩陣範本的示意圖,量化矩陣範本具體包括。
(1),如果水平和垂直方向都是DCT/DST變換(參見圖11中的(1)),同一反對角線上的係數具有相同的頻率,採用相同的量化步長,不同反對角線的係數可以採用不同的量化步長。
(2),如果水平和垂直方向都是小波變換(參見圖11中的(2)),採用四叉樹範本,四個子塊分別對應低/中/高頻,同一頻段的子塊採用相同的量化步長,不同頻段的子塊可以採用不同的量化步長。
(3),如果垂直方向用DCT/DST變換,水平方向用小波變換(參見圖11中的(3)),則先垂直方向二等分,左邊子塊為小波變換的低頻,右邊子塊為小波變換的高頻。每個子塊內部上邊為DCT/DST變換的低頻,下邊為DCT/DST變換的高頻。可以令矩陣元素A`/B`/C`/D`分別等於
A/B/C/D加上同一個偏移值。
(4),如果水平方向用DCT/DST變換,垂直方向用小波變換(參見圖11中的(4)),則先水平方向二等分,上邊子塊為小波變換的低頻,下邊子塊為小波變換的高頻。每個子塊內部左邊為DCT/DST變換的低頻,右邊為DCT/DST變換的高頻。可以令矩陣元素A`/B`/C`/D`分別等於A/B/C/D加上同一個偏移值。
可選的,矩陣範本庫包括的多種類型的量化矩陣範本可以包括平坦塊範本和紋理塊範本。平坦塊範本中頻率高於頻率閾值的殘差係數的Qstep大於或等於平坦塊範本中頻率未達到頻率閾值的殘差係數的Qstep。紋理塊範本中頻率高於頻率閾值的殘差係數的Qstep小於或等於紋理塊範本中頻率未達到頻率閾值的殘差係數的Qstep。
例如,視頻解碼器根據平坦度資訊將當前塊標記為平坦塊或紋理塊,然後按照紋理掩蔽效應設計量化矩陣範本:(1),如果當前塊(QG)是平坦塊,則量化矩陣中高頻係數的Qstep大於等於低頻係數的Qstep,因為人眼對平坦塊的低頻失真比高頻失真更敏感,所以高頻係數容許更大損失。(2),如果當前塊(QG)是紋理塊,則量化矩陣中高頻係數的Qstep小於等於低頻係數的Qstep,因為人眼對紋理塊的高頻失真比低頻失真更敏感,所以優先保護紋理塊的高頻係數。
也就是說,在圖像的解碼方法中,視頻解碼器首先獲取QG的QP和Qstep,從碼流中解析出水平值,然後自我調整選擇量化器,對水平值進行反量化,得到重建值,從而實現圖像幀的解碼。
綜上,相較於一個CU中所有的殘差係數都採用相同的QP值導致的圖像失真較大,在本實施例提供的視頻圖像的解碼過程中,一個CU可以被劃分為多個QG,每個QG中的一個或多個殘差係數共用一個QP值,進而,視頻解碼器可以對圖像幀對應的一個或多個CU進行更精細細微性的QP決策,在保證一定壓縮率的情況下,降低了圖像幀的解碼失真,提高了視頻圖像解碼的真實性和準確性。
相應的,在圖像的編碼方法中,視頻編碼器首先獲取QG的QP、Qstep和殘差係數;自我調整選擇量化器,對殘差係數進行量化;最後
調整量化係數,得到最終的水平值,從而實現圖像幀的編碼。
在圖2示出的視頻編碼器100的基礎上,本發明還提供一種圖像的編碼方法,如圖12所示,圖12為本發明提供的一種圖像的編碼方法的流程示意圖,該圖像的編碼方法可以由視頻編碼器100執行,也可以由支援視頻編碼器100的功能的編碼端(如圖1所示出的編碼端10)執行,這裡以視頻編碼器100實現編碼方法為例進行說明,該圖像的編碼方法包括以下步驟。
步驟S1210,視頻編碼器100將一個圖像幀劃分為一個或多個CU。
步驟S1220,視頻編碼器100確定一個圖像幀的多個QP值。
在一種示例中,一個CU包括多個QG,一個QG對應一個QP值。
在另一種示例中,一個CU包括多個像素點,一個像素點對應一個QP值,且多個像素點中至少兩個像素點的QP值不同。
步驟S1230,視頻編碼器100依據多個QP值對一個圖像幀進行編碼。
關於編碼方法中QP值的量化,可以參考上述圖4~圖11中解碼方法中的相應過程,此處不予贅述。
如此,相較於一個CU中所有的殘差係數都採用相同的QP值導致的圖像失真較大,在本實施例提供的視頻圖像的編碼過程中,一個CU可以被劃分為多個QG(或像素點),每個QG中的一個或多個殘差係數共用一個QP值,進而,視頻編碼器可以對圖像幀對應的一個或多個CU進行更精細細微性的QP決策,在保證一定壓縮率的情況下,降低了圖像幀的編碼失真,提高了視頻圖像編碼的真實性和準確性。
可以理解的是,為了實現上述實施例中功能,視頻編碼器/視頻解碼器包括了執行各個功能相應的硬體結構和/或軟體模組。本領域技術人員應該很容易意識到,結合本發明中所公開的實施例描述的各示例的單元及方法步驟,本發明能夠以硬體或硬體和電腦軟體相結合的形式來實現。某個功能究竟以硬體還是電腦軟體驅動硬體的方式來執行,取決於技術方
案的特定應用場景和設計約束條件。
圖13為本發明提供的一種解碼裝置的結構示意圖,該解碼裝置1300包括碼流解析單元1310、QP決策單元1320和圖像解碼單元1330。解碼裝置1300可以用於實現上述解碼方法實施例中視頻解碼器或解碼端的功能,因此也能實現上述解碼方法實施例所具備的有益效果。在本發明的實施例中,該解碼裝置1300可以是如圖1所示的解碼端20或視頻解碼器200,也可以是如圖3所示的視頻解碼器200,還可以是應用於解碼端20或視頻解碼器200的模組。
碼流解析單元1310、QP決策單元1320和圖像解碼單元1330,用於實現圖4至圖11中任一實施例提供的解碼方法。有關上述碼流解析單元1310、QP決策單元1320和圖像解碼單元1330更詳細的描述可以直接參考圖4至圖11所示的方法實施例中相關描述直接得到,這裡不加贅述。
圖14為本發明提供的一種編碼裝置的結構示意圖,該編碼裝置1400包括:圖像切分單元1410、QP決策單元1420和圖像編碼單元1430。編碼裝置1400可以用於實現上述解碼方法實施例中視頻編碼器或編碼端的功能,因此也能實現上述解碼方法實施例所具備的有益效果。在本發明的實施例中,該編碼裝置1400可以是如圖1所示的編碼端10或視頻編碼器100,也可以是如圖2所示的視頻編碼器100,還可以是應用於編碼端10或視頻編碼器100的模組。
圖像切分單元1410、QP決策單元1420和圖像編碼單元1430,用於實現圖12所提供的編碼方法。有關上述圖像切分單元1410、QP決策單元1420和圖像編碼單元1430更詳細的描述可以直接參考圖4至圖12所示的方法實施例中相關描述直接得到,這裡不加贅述。
本發明還提供一種電子設備,如圖15所示,圖15為本發明提供的一種電子設備的結構示意圖,電子設備1500包括處理器1510和通信介面1520。處理器1510和通信介面1520之間相互耦合。可以理解的是,通信介面1520可以為收發器或輸入輸出介面。可選的,電子設備1500還可以包括記憶體1530,用於存儲處理器1510執行的指令或存儲處理器1510運行指令所需要的輸入資料或存儲處理器1510運行指令後產生的資料。
該電子設備1500包括處理器1510和通信介面1520。處理器1510和通信介面1520之間相互耦合。可以理解的是,通信介面1520可以為收發器或輸入輸出介面。可選的,電子設備1500還可以包括記憶體1530,用於存儲處理器1510執行的指令或存儲處理器1510運行指令所需要的輸入資料,或存儲處理器1510運行指令後產生的資料。
當電子設備1500用於實現圖4~圖11所示的方法時,處理器1510和通信介面1520用於執行上述碼流解析單元1310、QP決策單元1320和圖像解碼單元1330的功能。
當電子設備1500用於實現圖12所示的方法時,處理器1510和通信介面1520用於執行上述圖像切分單元1410、QP決策單元1420和圖像編碼單元1430的功能。
本發明實施例中不限定上述通信介面1520、處理器1510以及記憶體1530之間的具體連接介質。本發明實施例在圖15中以通信介面1520、處理器1510以及記憶體1530之間通過匯流排1540連接,匯流排在圖15中以粗線表示,其它部件之間的連接方式,僅是進行示意性說明,並不引以為限。所述匯流排可以分為位址匯流排、資料匯流排、控制匯流排等。為便於表示,圖15中僅用一條粗線表示,但並不表示僅有一根匯流排或一種類型的匯流排。
記憶體1530可用於存儲軟體程式及模組,如本發明實施例所提供的解碼方法或編碼方法對應的程式指令/模組,處理器1510通過執行存儲在記憶體1530內的軟體程式及模組,從而執行各種功能應用以及資料處理。該通信介面1520可用於與其他設備進行信令或資料的通信。在本發明中該電子設備1500可以具有多個通信介面1520。
可以理解的是,本發明的實施例中的處理器可以是中央處理器(Central Processing Unit,CPU)、神經處理器(Neural Processing Unit,NPU)或圖形處理器(Graphic Processing Unit,GPU),還可以是其它通用處理器、數位信號處理器(Digital Signal Processor,DSP)、特殊應用積體電路(Application Specific Integrated Circuit,ASIC)、現場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)或者其它可程式邏輯器件、電
晶體邏輯器件,硬體部件或者其任意組合。通用處理器可以是微處理器,也可以是任何常規的處理器。
本發明的實施例中的方法步驟可以通過硬體的方式來實現,也可以由處理器執行軟體指令的方式來實現。軟體指令可以由相應的軟體模組組成,軟體模組可以被存放於隨機存取記憶體(Random Access Memory,RAM)、快閃記憶體、唯讀記憶體(Read-Only Memory,ROM)、可程式唯讀記憶體(Programmable ROM,PROM)、可抹除可程式唯讀記憶體(Erasable PROM,EPROM)、電子可抹除可程式唯讀記憶體(Electrically EPROM,EEPROM)、寄存器、硬碟、移動硬碟、CD-ROM或者本領域熟知的任何其它形式的存儲介質中。一種示例性的存儲介質耦合至處理器,從而使處理器能夠從該存儲介質讀取資訊,且可向該存儲介質寫入資訊。當然,存儲介質也可以是處理器的組成部分。處理器和存儲介質可以位於ASIC中。另外,該ASIC可以位於網路設備或終端設備中。當然,處理器和存儲介質也可以作為分立元件存在於網路設備或終端設備中。
在上述實施例中,可以全部或部分地通過軟體、硬體、韌體或者其任意組合來實現。當使用軟體實現時,可以全部或部分地以電腦程式產品的形式實現。所述電腦程式產品包括一個或多個電腦程式或指令。在電腦上載入和執行所述電腦程式或指令時,全部或部分地執行本發明實施例所述的流程或功能。所述電腦可以是通用電腦、專用電腦、電腦網路、網路設備、用戶設備或者其它可程式設計裝置。所述電腦程式或指令可以存儲在電腦可讀存儲介質中,或者從一個電腦可讀存儲介質向另一個電腦可讀存儲介質傳輸,例如,所述電腦程式或指令可以從一個網站網站、電腦、伺服器或資料中心通過有線或無線方式向另一個網站網站、電腦、伺服器或資料中心進行傳輸。所述電腦可讀存儲介質可以是電腦能夠存取的任何可用介質或者是集成一個或多個可用介質的伺服器、資料中心等資料存放裝置。所述可用介質可以是磁性介質,例如,磁片、硬碟、磁帶;也可以是光介質,例如,數位影音視頻光碟(Digital Video Disc,DVD);還可以是半導體介質,例如,固態硬碟(Solid State Drive,SSD)。
在本發明的各個實施例中,如果沒有特殊說明以及邏輯衝突,
不同的實施例之間的術語和/或描述具有一致性、且可以相互引用,不同的實施例中的技術特徵根據其內在的邏輯關係可以組合形成新的實施例。本發明中,“至少一個”是指一個或者多個,“多個”是指兩個或兩個以上。“和/或”,描述關聯物件的關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B的情況,其中A,B可以是單數或者複數。在本發明的文字描述中,字元“/”,一般表示前後關聯物件是一種“或”的關係;在本發明的公式中,字元“/”,表示前後關聯物件是一種“相除”的關係。
可以理解的是,在本發明的實施例中涉及的各種數字編號僅為描述方便進行的區分,並不用來限制本發明的實施例的範圍。上述各過程的序號的大小並不意味著執行順序的先後,各過程的執行順序應以其功能和內在邏輯確定。
200:視頻解碼器
CU:編碼單元
QG:量化組
S510,S520,S530:步驟
Claims (22)
- 一種圖像的解碼方法,其特徵在於,所述方法由解碼端執行,所述方法包括:解析碼流以獲得一個或多個圖像幀,一個圖像幀包括一個或多個編碼單元CU;確定所述一個圖像幀的多個量化參數QP值;其中,一個CU包括多個量化組QG,一個QG對應一個QP值;依據所述多個QP值對所述一個圖像幀進行解碼;其中,確定所述一個圖像幀的多個QP值,包括:獲取所述一個QG的預測QP值;依據所述一個QG的預測QP值和推導資訊,確定所述一個QG的QP值;其中,所述推導資訊為以下任意一種或幾種的組合:所述一個QG的平坦度資訊或紋理度資訊、所述碼流緩衝區的剩餘空間或失真約束資訊。
- 如請求項1所述的方法,其中,所述一個CU包含多個殘差係數,所述一個QG包含所述多個殘差係數中的一部分殘差係數,所述一部分殘差係數共用所述一個QP值。
- 如請求項1或2所述的方法,其特徵在於,所述一個QG對應的一個QP值包括亮度QP值和色度QP值;確定所述一個圖像幀的多個QP值,進一步包括:分別獲取所述一個QG的亮度QP值和色度QP值;或者,獲取所述一個QG的亮度QP值;基於所述亮度QP值確定所述一個QG的色度QP值。
- 如請求項1所述的方法,其中,若所述推導資訊為所述失真約束資訊,所述失真約束資訊指示了所述多個QG中任一個QG的失真閾值; 則依據所述一個QG的預測QP值和推導資訊,確定所述一個QG的QP值,包括:確定所述預測QP值對應的預測失真;若所述預測失真小於或等於所述失真閾值,將所述預測QP值作為所述QG的QP值;若所述預測失真大於所述失真閾值,將由所述失真閾值確定的QP值作為所述QG的QP值。
- 如請求項1所述的方法,其中,若所述推導資訊為所述一個QG的平坦度資訊或紋理度資訊,或所述碼流緩衝區的剩餘空間,則依據所述一個QG的預測QP值和推導資訊,確定所述一個QG的QP值,包括:依據所述推導資訊確定所述一個QG的QP偏移量;將所述一個QG的預測QP值與所述QP偏移量之和作為所述一個QG的QP值。
- 如請求項1、4至5中任一項所述的方法,其特徵在於,獲取所述一個QG的預測QP值,包括:獲取所述一個CU中與所述一個QG相鄰的至少一個其他QG的QP值;依據所述至少一個其他QG的QP值,確定所述一個QG的預測QP值;或者,將所述一個CU的QP值作為所述一個QG的預測QP值。
- 如請求項1所述的方法,其中,依據所述多個QP值對所述一個圖像幀進行解碼,包括:針對於所述多個QP值中每一個QP值,獲取所述QP值對應的量化步長Qstep;獲取所述QP值對應的QG所包含的水平值;依據選擇的量化器組合,對所述QG的水平值進行反量化;所述量化器組合包括一個或多個量化器。
- 如請求項7所述的方法,其中,所述量化器為均勻量化器或非均勻量化器。
- 如請求項1所述的方法,其中,所述一個QG包括所述一個圖像幀的一個或多個像素點。
- 如請求項1所述的方法,其中,所述多個QG中至少兩個QG對應的QP值是不同的。
- 一種圖像的解碼方法,其特徵在於,所述方法由解碼端執行,所述方法包括:解析碼流以獲得一個或多個圖像幀,一個圖像幀包括一個或多個編碼單元CU;確定所述一個圖像幀的多個量化參數QP值;其中,一個CU包括多個像素點,一個像素點對應一個QP值,且所述多個像素點中至少兩個像素點的QP值不同;依據所述多個QP值對所述一個圖像幀進行解碼;其中,確定所述一個圖像幀的多個QP值,包括:獲取所述一個像素點的預測QP值;依據所述一個像素點的預測QP值和推導資訊,確定所述一個像素點的QP值;其中,推導資訊為所述一個像素點周圍的一個或多個已重建像素點的資訊。
- 如請求項11所述的方法,其中,所述一個像素點的預測QP值為所述一個像素點所在的CU或QG的QP值,或者根據所述一個像素點周圍的一個或多個已重建像素點的QP值推導得到,其中,推導的方法包括計算均值、中位數或眾數中至少一種。
- 如請求項11或12所述的方法,其特徵在於,所述已重建像素點為以所述一個像素點為中心,邊長為3或5的正方形區域中的像素點,或者對角線長度為3或5的菱形區域中的像素點。
- 如請求項11所述的方法,其中,所述已重建像素點的資訊包括以下任意一種或幾種的組合: 像素值、平坦度資訊或紋理度資訊、背景亮度、對比度。
- 如請求項11所述的方法,其中,依據所述一個像素點的預測QP值和推導資訊,確定所述一個像素點的QP值,包括:根據所述一個像素點周圍的一個或多個已重建像素點的資訊確定所述像素點的指示資訊;如果所述指示資訊小於或等於第一閾值,並且所述預測QP值大於或等於人眼恰可察覺失真對應的QP值,則將人眼恰可察覺失真對應的QP值作為所述像素點的QP值;其中,所述人眼恰可察覺失真對應的QP值是預設值,或者,從碼流中解析得到,或者,根據周圍的已重建CU的平坦度資訊或紋理度資訊、背景亮度、對比度資訊推導得到。
- 一種圖像的編碼方法,其特徵在於,所述方法由編碼端執行,所述方法包括:將一個圖像幀劃分為一個或多個編碼單元CU;確定所述一個圖像幀的多個量化參數QP值;其中,一個CU包括多個量化組QG,一個QG對應一個QP值;依據所述多個QP值對所述一個圖像幀進行編碼;其中,確定所述一個圖像幀的多個QP值,包括:獲取所述一個QG的預測QP值;依據所述一個QG的預測QP值和推導資訊,確定所述一個QG的QP值;其中,所述推導資訊為以下任意一種或幾種的組合:所述一個QG的平坦度資訊或紋理度資訊、所述碼流緩衝區的剩餘空間或失真約束資訊。
- 一種圖像的編碼方法,其特徵在於,所述方法由編碼端執行,所述方法包括:將一個圖像幀劃分為一個或多個編碼單元CU;確定所述一個圖像幀的多個量化參數QP值;其中,一個CU包括多個 像素點,一個像素點對應一個QP值,且所述多個像素點中至少兩個像素點的QP值不同;依據所述多個QP值對所述一個圖像幀進行編碼;其中,確定所述一個圖像幀的多個QP值,包括:獲取所述一個像素點的預測QP值;依據所述一個像素點的預測QP值和推導資訊,確定所述一個像素點的QP值;其中,推導資訊為所述一個像素點周圍的一個或多個已重建像素點的資訊。
- 一種圖像的解碼裝置,其特徵在於,所述解碼裝置包括:碼流解析單元、QP決策單元和圖像解碼單元;所述碼流解析單元、所述QP決策單元和所述圖像解碼單元,用於實現請求項1至請求項15中任一項所述的方法。
- 一種圖像的編碼裝置,其特徵在於,所述編碼裝置包括:圖像切分單元、QP決策單元和圖像編碼單元;所述圖像切分單元、所述QP決策單元和所述圖像編碼單元,用於實現請求項16或請求項17所述的方法。
- 一種視頻解碼系統,其特徵在於,包括編碼端和解碼端,所述編碼端與所述解碼端通信連接,所述解碼端用於實現請求項1至請求項15中任一項所述的方法,所述編碼端用於實現請求項16或請求項17所述的方法。
- 一種電子設備,其特徵在於,包括處理器和記憶體,所述記憶體用於存儲電腦指令,所述處理器用於從記憶體中調用並運行所述電腦指令,實現請求項1至請求項17中任一項所述的方法。
- 一種電腦可讀存儲介質,其特徵在於,所述存儲介質中存儲有電腦程式或指令,當所述電腦程式或指令被電子設備執行時,實現請求項1至17中任一項所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111334223.8A CN116074531A (zh) | 2021-11-11 | 2021-11-11 | 解码方法、编码方法及装置 |
CN202111334223.8 | 2021-11-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202327358A TW202327358A (zh) | 2023-07-01 |
TWI829424B true TWI829424B (zh) | 2024-01-11 |
Family
ID=86170459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111143288A TWI829424B (zh) | 2021-11-11 | 2022-11-11 | 解碼方法、編碼方法及裝置 |
Country Status (4)
Country | Link |
---|---|
KR (1) | KR20240108461A (zh) |
CN (2) | CN116074531A (zh) |
TW (1) | TWI829424B (zh) |
WO (1) | WO2023083245A1 (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111602395A (zh) * | 2018-01-19 | 2020-08-28 | 高通股份有限公司 | 用于视频译码的量化组 |
CN112997486A (zh) * | 2018-09-11 | 2021-06-18 | 北京达佳互联信息技术有限公司 | 使用低复杂度网格编码量化的视频解码的方法和装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018018486A1 (en) * | 2016-07-28 | 2018-02-01 | Mediatek Inc. | Methods of reference quantization parameter derivation for signaling of quantization parameter in quad-tree plus binary tree structure |
CN118042173A (zh) * | 2018-09-05 | 2024-05-14 | 华为技术有限公司 | 视频解码方法及视频解码器 |
WO2020231228A1 (ko) * | 2019-05-15 | 2020-11-19 | 현대자동차주식회사 | 영상 복호화 장치에서 이용하는 역양자화장치 및 방법 |
-
2021
- 2021-11-11 CN CN202111334223.8A patent/CN116074531A/zh active Pending
- 2021-11-11 CN CN202310454868.8A patent/CN116527927A/zh active Pending
-
2022
- 2022-11-10 WO PCT/CN2022/131068 patent/WO2023083245A1/zh active Application Filing
- 2022-11-10 KR KR1020247019244A patent/KR20240108461A/ko active Search and Examination
- 2022-11-11 TW TW111143288A patent/TWI829424B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111602395A (zh) * | 2018-01-19 | 2020-08-28 | 高通股份有限公司 | 用于视频译码的量化组 |
CN112997486A (zh) * | 2018-09-11 | 2021-06-18 | 北京达佳互联信息技术有限公司 | 使用低复杂度网格编码量化的视频解码的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
TW202327358A (zh) | 2023-07-01 |
CN116527927A (zh) | 2023-08-01 |
WO2023083245A1 (zh) | 2023-05-19 |
KR20240108461A (ko) | 2024-07-09 |
CN116074531A (zh) | 2023-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI632805B (zh) | 視訊解碼方法、視訊編碼方法、視訊解碼裝置、視訊編碼裝置以及非暫態的電腦可讀取儲存媒體 | |
KR102229045B1 (ko) | 디스플레이 스트림 압축 (dsc) 을 위한 엔트로피 코딩 기법들 | |
TW201841503A (zh) | 視頻寫碼中之內濾波旗標 | |
TW201906406A (zh) | 與視訊寫碼中之變換處理一起應用之內部濾波 | |
CN110999299A (zh) | 在视频译码中跨分量动态范围调整(cc-dra)的***及方法 | |
CN117998085A (zh) | 视频编码的方法、装置以及存储介质 | |
WO2023040600A1 (zh) | 图像编码方法、图像解码方法、装置、电子设备及介质 | |
WO2019086033A1 (zh) | 视频数据解码方法及装置 | |
CN116760987A (zh) | 图像编解码方法、装置及存储介质 | |
WO2024022367A1 (zh) | 图像解码方法、编码方法及装置 | |
WO2024022359A1 (zh) | 一种图像编解码方法及装置 | |
WO2024022039A1 (zh) | 一种视频图像解码方法、编码方法、装置及存储介质 | |
CN118101967A (zh) | 用于视频编解码的位置相关空间变化变换 | |
TWI829424B (zh) | 解碼方法、編碼方法及裝置 | |
WO2023138562A1 (zh) | 图像解码方法、图像编码方法及相应的装置 | |
TWI821013B (zh) | 視頻編解碼方法及裝置 | |
TWI847806B (zh) | 視訊圖像解碼方法、編碼方法、裝置及存儲介質 | |
WO2023138532A1 (zh) | 一种视频解码方法、装置、视频解码器及存储介质 | |
WO2023138391A1 (zh) | 系数解码方法、装置、图像解码器及电子设备 | |
WO2022037478A1 (zh) | 视频解码方法、视频编码方法、装置、介质及电子设备 | |
WO2022257142A1 (zh) | 一种视频解码、编码方法及设备、存储介质 | |
WO2022193389A1 (zh) | 视频编解码方法与***、及视频编解码器 | |
TW202327356A (zh) | 圖像解碼方法及裝置、圖像編碼方法及裝置 | |
TW202345595A (zh) | 圖像編解碼的方法、裝置及存儲介質 |