TWI839833B - 視訊編解碼方法和相關裝置 - Google Patents
視訊編解碼方法和相關裝置 Download PDFInfo
- Publication number
- TWI839833B TWI839833B TW111133328A TW111133328A TWI839833B TW I839833 B TWI839833 B TW I839833B TW 111133328 A TW111133328 A TW 111133328A TW 111133328 A TW111133328 A TW 111133328A TW I839833 B TWI839833 B TW I839833B
- Authority
- TW
- Taiwan
- Prior art keywords
- bit
- fine
- tuning
- alf
- statistics
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 53
- 241000723655 Cowpea mosaic virus Species 0.000 claims abstract 11
- 239000013598 vector Substances 0.000 description 17
- 230000003044 adaptive effect Effects 0.000 description 10
- 238000013139 quantization Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 229910003460 diamond Inorganic materials 0.000 description 4
- 239000010432 diamond Substances 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Abstract
本發明提供一種視訊編解碼方法和相關裝置。本發明的視訊編解碼方法包括:接收與當前圖片中的圖片區域相關聯的輸入資料;收集與該圖片區域上的仿射 CPMV微調或 ALF微調相關的統計資料;以及基於在圖片區域上收集的該統計資料導出用於仿射CPMV微調或ALF微調的更新的參數,其中統計資料以具有第一精度的尾數部分的浮點格式表示,並且導出更新的參數包括使用降低精度的乘法器用統計資料執行乘法,並且其中降低精度的乘法器截斷尾數部分的至少一位元。本發明的視訊編解碼方法和相關裝置可以降低視訊編碼器複雜度。
Description
本發明涉及視訊編解碼系統。 更具體地說,本發明涉及在優化用於在編解碼過程中仿射CPMV微調(refinement)或ALF微調的參數的大資料範圍(large data range)問題。
通用視訊編解碼(Versatile video coding,簡寫爲VVC)是由ITU-T視訊編解碼專家組(VCEG)和ISO/IEC運動圖像專家組(MPEG)的聯合視訊專家組(JVET)共同開發的最新國際視訊編解碼標準。該標準已作爲 ISO 標準發布:ISO/IEC 23090-3:2021,資訊技術 - 沉浸式媒體的編解碼表示 - 第 3 部分:通用視訊編解碼,於 2021 年 2 月發布。VVC 是基於其前身 HEVC(高效視訊編解碼)通過增加更多的編解碼工具來提高編解碼的效率,也可以處理包括三維(3D)視訊信號在內的各種視訊源。
第1圖圖示了一個示例性的並入了環路處理自適應幀間/幀內視訊編解碼系統。對於幀內預測(Intra Prediction),預測資料是基於當前圖片中先前編碼的視訊資料得出的。對於幀間預測112,在編碼器側執行運動估計(ME)並且基於ME的結果執行運動補償(MC)以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112,並且選擇的預測資料被提供給加法器116以形成預測誤差,也稱爲殘差。然後由變換(T) 118以及隨後的量化(Q)120處理預測誤差。然後由熵編碼器122對變換和量化的殘差進行編碼以包括在對應於壓縮視訊資料的視訊位元流中。然後將與變換係數相關的位元流與諸如與幀內預測和幀間預測相關的運動和編解碼模式的輔助資訊(side information),以及諸如與應用於底層圖像區域的環路濾波器相關的參數的其他輔助資訊打包。如第1圖所示,與幀內預測110、幀間預測112和環路濾波器130相關聯的輔助資訊被提供給熵編碼器122。當使用幀間預測模式時,必須在編碼器端也重建一個或多個參考圖片。因此,變換和量化的殘差由反量化(IQ)124和反變換(IT)126處理以恢復殘差。然後在重建(REC)128將殘差加回到預測資料136以重建視訊資料。重建的視訊資料可以存儲在參考圖片緩衝器134中並且用於其他幀的預測。
如第1圖所示,輸入視訊資料在編碼系統中經過一系列處理。由於一系列處理,來自 REC 128 的重建視訊資料可能會受到各種損害。因此,在將重建的視訊資料存儲在參考圖片緩衝器134中之前,經常將環路濾波器130應用於重建的視訊資料,以提高視訊質量。例如,可以使用去塊濾波器(DF)、樣本自適應偏移(SAO)和自適應環路濾波器(ALF)。可能需要將環路濾波器資訊合並到位元流中,以便解碼器可以正確地恢復所需的資訊。因此,環路濾波器資訊也被提供給熵編碼器122以結合到位元流中。在第1图中,在將重建樣本存儲在參考圖片緩衝器134中之前,將環路濾波器130應用於重建的視訊。第1图中的系統旨在說明典型視訊編碼器的示例性結構。它可以對應於高效視訊編解碼 (HEVC) 系統、VP8、VP9、H.264 或 VVC。
解碼器可以使用與編碼器相似或部分相同的功能塊,除了變換 118 和量化 120,因爲解碼器只需要反量化 124 和反變換 126。解碼器使用熵解碼器代替熵編碼器 122將視訊位元流解碼爲量化的變換係數和所需的編解碼資訊。此外,解碼器只需要執行運動補償而不是運動估計/運動補償。
根據VVC,類似於HEVC,輸入圖片被劃分爲稱爲CTU (編解碼樹單元)的非重叠方形塊區域。每個 CTU 可以被分割成一個或多個更小的編解碼單元 (CU)。生成的 CU 分區可以是正方形或矩形。此外,VVC 將 CTU 劃分爲預測單元(PU)作爲一個單元來應用預測過程,例如幀間預測、幀內預測等。
與HEVC標準相比,VVC標準結合了各種新的編解碼工具,以進一步提高編解碼效率。例如,仿射運動估計(affine motion estimation)被 VVC 標準采用。仿射運動估計和 ALF 簡要回顧如下。
仿射模型
沿著時間軸跨越圖片發生的運動可以由許多不同的模型來描述。 假設
A(x, y)是位置
(x, y)處的原始像素,
A' (x', y')是當前像素
A(x, y)的參考圖片中位置
(x', y')處的對應像素,仿射運動模型描述如下。
仿射模型能够描述二維塊旋轉以及二維變形以將正方形(或矩形)變換爲平行四邊形。 這個模型可以描述如下:
x’ = Ax + By + C(1a)
y’ = Dx + Ey + F.(1b)
此外,公開了一種四參數仿射預測,其包括仿射合並模式。 當一個仿射運動塊在運動時,該塊的運動矢量場(motion vector field)可以用如下兩個控制點運動矢量或四個參數來描述,其中
(vx,vy)表示運動矢量
(2)
該運動塊中各點的運動矢量場可由下式描述:
(3)
上式中,(
v
0x,v
0y )是塊左上角的控制點運動矢量(即
v
0 ),(
v
1x,v
1y )是塊右上角的另一個控制點運動矢量(即
v
1 )。
第2圖示出了使用3個控制點(
,
和
)的六參數仿射模型。如第2圖所示,六參數仿射模型使用3個控制點(
,
和
),其中塊210對應於當前PU。六參數仿射運動模型能够將矩形變換爲平行四邊形220。當仿射運動塊移動時,塊的運動矢量場可以由三個控制點運動矢量或六個參數描述如下,其中
( vx, vy)表示運動矢量。
當解碼兩個控制點的MV(
v
0 和
v
1 )時,可以根據上式確定塊的每個4x4塊的MV。換言之,塊的仿射運動模型可以由兩個控制點處的兩個運動矢量來指定。此外,雖然使用塊的左上角和右上角作爲兩個控制點,但也可以使用其他兩個控制點。
當解碼三個控制點的MV(
v
0 、
v
1 和
v
2 )時,每個4x4塊的MV可以根據以下等式推導出:
(4)
對於等式(1a)和(1b)中的六參數仿射模型,編碼器可能需要調整參數以便通過减少失真來提高性能。 例如,如果將參數分別改爲(
A+a , B+b, C+c, D+d, E+e, F+f); 新的仿射模型變爲:
x” = (A+a)x + (B+b)y + (C+c) = x’ + ax + by + c(5a)
y” = (D+d)x + (E+e)y + (F+f) = y’ + dx + ey + f. (5b)
爲了提高性能,編碼器可以通過調整 (
a, b, c, d, e, f) 來微調模型參數以實現更小的失真,例如 MSE (均方誤差):
(6)
上式中,
B爲當前塊,
Org爲原始信號,
I爲預測。 在上面的等式中,
I(x'+ax+by+c,y'+dx+ey+f)可以使用泰勒展開從
I(x',y')近似:
MSE (7)
上式中,
是
I對
x的偏導數,
是
I對
y的偏導數,
E=Org(x,y)-I(x',y' )。
仿射
CPMV (
控制點運動矢量
)
微調過程
在下文中,描述了使用6參數仿射模型的仿射模型微調過程的示例。
設
,
。
爲了找到導致最低 MSE 的最優參數調整
,取 MSE 相對於
的梯度:
因此,在編碼算法中,我們首先將當前預測子
和
的當前失真E和梯度資訊收集在一個塊
B中。
因此,最小化 MSE 變成求解方程
。 在這個等式中,
是一個 6x6 矩陣,
和
是 6項(6-entry)矢量,
E是標量。
爲了估計仿射模型微調所需的資料範圍,MSE 最小化中相關資料的資料範圍評估如下:
預測子圖像梯度
和
是通過計算像素之間的差異得出的,它們最多爲 12 位元(假設像素值爲 10 位元)。
像素位置
x和
y最多爲 7 位元(假設最大 PU 爲 128x128)
矢量
一個樣本最多需要 12+7 = 19 位元
矩陣
一個樣本最多需要 19+19 = 38 位元
應該在一個塊(PU)上收集統計資訊:
最多需要 38+14 = 52 位元(假設最大的 PU 爲 128x128 = 2
14)
假設梯度爲0; 在這種極端情况下,收集到的統計資料也是0。因此,資料範圍從0到2
52左右,非常大。 因此,需要開發對仿射CPMV(Affine CPMV)精度要求較低的操作。
在 VVC 中,應用了具有基於塊的濾波器自適應的自適應環路濾波器 (ALF)。 對於亮度分量,根據局部梯度的方向和活動,爲每個 4×4 塊選擇 25 個濾波器中的一個。第3圖示出了兩個菱形濾波器形狀。7×7 菱形(310)用於亮度分量,5×5 菱形(310)用於色度分量。 VVC 標準還支持跨分量自適應環路濾波器 (CCALF),它使用亮度樣本值通過應用自適應來微調每個色度分量。
ALF重建遵循以下等式:
其中
c是係數的個數(亮度: 12, 色度: 6, CCALF: 7),
是ALF之前從
rec得到的鄰域資訊(neighboring information)及其鄰域樣本,
是ALF濾波器係數。
失真定義爲
,總失真爲:
上式中,pixAcc 是原始失真,y[c] 是互相關矩陣(cross-correlation matrix),E[ci][cj] 是自相關矩陣(auto-correlation matrix)。
這 3 種類型的統計資料對所有樣本(即
p)求和並提前收集。 換句話說,將計算以下 ALF 統計資訊:
: 原始失真
: 互相關矩陣
: 自相關矩陣
ALF係數調整所需的位元深度分析如下:
和
是像素值:10位元
是通過計算像素之間的差异得出的鄰域資訊:12位元
pixAcc 、 y[c]和
E[ci][cj]所需的位元爲 12+12 = 24 位元
對於 ALF CTU(編解碼樹單元)模式决策,我們需要收集整個 CTU 的 ALF 統計資訊:24+14 = 38 位元(假設 CTU 大小爲 128x128)。
對於 ALF 切片模式決策,我們需要收集整個圖片:38+9 = 47 位元(假設使用 4K 序列,每張圖片包含 510 ≈ 2
9個 CTU)。
假設鄰域差爲0; 在這種極端情况下,收集到的統計資料也是0。因此,資料範圍從0到2
47左右,非常大。 因此,需要開發對 ALF 精度要求較低的操作。
有鑒於此,本發明提供以下技術方案:
本發明提供一種視訊編解碼方法,包括:接收與當前圖片中的圖片區域相關聯的輸入資料;收集與該圖片區域上的仿射 CPMV微調或 ALF微調相關的統計資料;以及基於在圖片區域上收集的該統計資料導出用於仿射CPMV微調或ALF微調的更新的參數,其中統計資料以具有第一精度的尾數部分的浮點格式表示,並且導出更新的參數包括使用降低精度的乘法器用統計資料執行乘法,並且其中降低精度的乘法器截斷尾數部分的至少一位元。
本發明還提供一種視訊編解碼裝置,包括一個或多個電子電路或處理器,用於接收與當前圖片中的圖片區域相關聯的輸入資料;收集與該圖片區域上的仿射 CPMV微調或 ALF微調相關的統計資料;以及基於在圖片區域上收集的該統計資料導出用於仿射CPMV微調或ALF微調的更新的參數,其中統計資料以具有第一精度的尾數部分的浮點格式表示,並且導出更新的參數包括使用降低精度的乘法器用統計資料執行乘法,並且其中降低精度的乘法器截斷尾數部分的至少一位元。
本發明還提供一種視訊編解碼方法,包括:接收與當前圖片中的圖片區域相關聯的輸入資料;收集與圖片區域上的仿射 CPMV(控制點運動矢量)微調或 ALF(自適應環路濾波器)微調相關的統計資料;以及基於在圖片區域上收集的統計資料導出用於仿射CPMV微調或ALF微調的更新的參數,其中統計資料以具有m位元尾數部分的浮點格式表示,並且導出更新的參數包括通過從m位元尾數部分截去k位元,使用具有(m-k)位元輸入的查找表對統計資料執行倒數,查找表的內容包括m位元輸出,其中m和k爲正整數。
本發明還提供一種視訊編解碼裝置,包括一個或多個電子電路或處理器,用於接收與當前圖片中的圖片區域相關聯的輸入資料;收集與圖片區域上的仿射 CPMV(控制點運動矢量)微調或 ALF(自適應環路濾波器)微調相關的統計資料;以及基於在圖片區域上收集的統計資料導出用於仿射CPMV微調或ALF微調的更新的參數,其中統計資料以具有m位元尾數部分的浮點格式表示,並且導出更新的參數包括通過從m位元尾數部分截去k位元,使用具有(m-k)位元輸入的查找表對統計資料執行倒數,查找表的內容包括m位元輸出,其中m和k爲正整數。
本發明的視訊編解碼方法和相關裝置可以降低視訊編碼器複雜度。
在下面的描述中,闡述了許多具體細節。然而,應當理解,可以在沒有這些具體細節的情況下實踐本發明的實施例。在其他情况下,未詳細示出公知的電路、結構和技術,以免混淆對本說明書的理解。然而,所屬領域具有通常知識者將理解,可以在沒有這種具體細節的情况下實踐本發明。具有所包括的描述的所屬領域具有通常知識者將能够實現適當的功能而無需過度的實驗。
以下描述是實施本發明的最佳預期模式。該描述是爲了說明本發明的一般原理,不應理解爲限制性的。本發明的範圍最好通過參考所附申請專利範圍來確定。
浮點 (Floating-Point,簡寫爲FP) 是使用實數的公式表示作爲近似值以支持範圍和精度之間的權衡的算術。浮點計算廣泛用於計算系統以及信號處理系統,例如視訊和音訊編碼器/解碼器。根據浮點運算,一個數字用固定數量的有效數字(significant digit)(稱爲有效數字或尾數(significand or mantissa))近似表示,並使用某個固定基數的指數進行縮放。另外,符號位元(sign bit)用於表示數字的符號部分,例如正負號。雖然縮放的基數可以是 2 或 10,但以 2 爲基數通常用於計算系統和信號處理系統。可以表示的數字具有以下形式:
value = 其中尾數以
m位元表示,指數以
e位元表示。
給定兩個具有m位元尾數的浮點數,計算這兩個數的乘法將需要用於尾數部分的
(m+1)位元×
(m+1)位元乘法器。
兩個浮點數
a和
b的乘法可以如下執行:
c = a * b sign
c = sign
aXOR sign
b prod = (1 << m + mantissa
a) * (1 << m + mantissa
b)
carry-in = (prod >> (2m + 1)) exponent
c = exponent
a+ exponent
b+ carry-in
mantissa
c = carry-in ? prod[2m: m+1] : prod[2m-1: m]
在上述等式中,
prod[2m: m+1]表示
prod從第 (2m) 位元到第 (m+1) 位元(含第(2m) 位元和第 (m+1) 位元)的位元位置,
prod[2m-1: m]表示
prod從第 (2m-1) 位元到第 m 位元(含第(2m-1) 位元和第m位元)的位元位置。 另一種計算量更大的(computational intensive)浮點運算是倒數。 浮點數
a的倒數可以計算爲:
c = 1/a sign
c = sign
a exponent
c = 1 – (exponent
a ) mantissa
c= (1 << (2m + 1)) / ((1 << m) + mantissa
a) – (1 << m))
特例:
mantissa
a = 0
實際上,倒數的尾數部分可以使用查找表來實現,其中m位元作爲表輸入並且該表輸出m位元資料。
一個浮點數
a除以另一個浮點數
b可以計算爲:
c = a/b第1步:使用倒數運算導出 1/b
第 2 步:使用乘法運算導出
a* (1/
b)
低精度浮點運算
低精度浮點乘法
在本申請中,公開了一種低精度浮點乘法的方法。 根據本發明的實施例,浮點數
a和
b的尾數部分的乘法通過從尾數部分截去
k位元來使用降低精度,其中k是大於0的整數。換句話說, 降低精度的浮點乘法只需要一個 (
m-k+1) 位元 x
(m-k+1)位元乘法器。
根據本發明的乘法過程描述如下:
c = a * b sign
c = sign
aXOR sign
b prod = (1 << m + mantissa
a)
“
>>k”
* (1 << m + mantissa
b)
“
>>k”
carry-in = (prod >> (2m“
–
2k
”
+ 1)) exponent
c = exponent
a+ exponent
b+ carry-in
mantissa
c = carry-in ? prod[2m“
–
2k
”
: m“
–
2k
”
+1] : prod[2m“
–
2k
”
-1: m”
–
2k
”
]“如果
k > m/2,爲
mantissa
c 填充 0(
prod位元將不足(insufficient))”
低精度浮點乘法過程從具有常規全精度浮點乘法過程的乘法過程修改。差異用一對引號(即“ ”)表示,以指示***的文本。
例如,如果全精度浮點數使用 6 位元尾數,則全精度浮點乘法器將使用 (6+1) 位元 x (6+1) 位元乘法器,即 7 位元x 7 位元乘法器。全精度浮點乘法器的乘法器將計算輸入 a 的尾數(即 1
a
5a
4a
3a
2a
1a
0 )和輸入 b 的尾數(即1
b
5b
4b
3b
2b
1b
0 )的 13 位元或 14 位元乘積
p
13p
12p
11p
10p
9p
8p
7p
6p
5p
4p
3p
2p
1p
0 。但是,乘法器會輸出一個對應於
p
13p
12p
11p
10p
9p
8p
7 的 7 位元結果。如果選擇
k= 2(即截斷 2 位元)用於低精度浮點乘法器,即 (4+1) 位元 x (4+1) 位元乘法器。低精度浮點乘法器將僅使用尾數部分的 4 位元。換言之,
a和
b的尾數部分的 2 位元 (k=2) 將被截斷。因此,1
a
5a
4a
3a
200
和1
b
5b
4b
3b
200
將被低精度浮點乘法器使用。從 6 位元精度到 4 位元精度的轉換可以是任何截斷函數,例如 floor()、round() 或 ceil()。低精度浮點乘法器將生成 9 位元或 10 位元結果
p
13p
12p
11p
10p
9p
8p
7p
6p
5p
40000
。同樣,乘法器將輸出對應於
p
13p
12p
11p
10p
9p
8p
7 的 7 位元結果。
低精度浮點倒數(除法)
在本申請中,公開了一種低精度浮點倒數的方法。 根據本發明的實施例,低精度浮點倒數使用降低精度的尾數。 例如,如果尾數减少 k 位元(k > 0),則低精度浮點倒數運算變爲:
c = 1/a sign
c = sign
a exponent
c = 1 – (exponent
a ) mantissa
c= (1 << (2m “- k” + 1)) / ((1 << m) + mantissa
a) “>> k” – (1 << m))
特例:
mantissa
a = 0
低精度浮點倒數過程修改自具有常規全精度浮點倒數過程的倒數過程。差異用一對引號(即“ ”)表示,以指示上述等式中***的文本。
在實踐中,我們可以使用簡化的查找表,該查找表將
(m-k)位元作爲輸入並返回
m位元結果。
例如,如果全精度浮點數使用6位元尾數,則全精度浮點倒數將使用6位元(6-bit)表輸入並且每個表條目存儲6位元(6-bit)輸出。對於輸入
a,6 位元尾數(即
a
5a
4a
3a
2a
1a
0 )用於訪問查找表。每個表條目存儲一個對應的倒數輸出
c
5c
4c
3c
2c
1c
0 。如果選擇k = 2用於低精度浮點倒數,則低精度浮點倒數將根據
a
5a
4a
3a
2 使用4位元查找表來訪問表內容,每個表項存儲一個對應的倒數輸出,
c
5c
4c
3c
2c
1c
0 。
對於
a/b的低精度浮點除法,可以分兩步實現,先用較小的查找表計算倒數(
1/b),得到全精度尾數的輸出值。然後,我們使用低精度浮點乘法和降低精度的乘法器計算
a和 (
1/b) 的乘法。
本發明可以在仿射CPMV微調或ALF微調期間大大降低視訊編碼器複雜度用於優化。在仿射CPMV 微調期間 10 位元像素資料和 128x128 PU 大小的位元深度估計示例中,收集的統計資料
的資料範圍 可以在 0 到 2
52之間。解最終方程爲
以導出仿射 CPMV 微調的最佳參數需要以如此高精度執行浮點乘法、倒數或除法。然而,本發明允許使用降低尾數部分精度的乘法器或查找表執行浮點乘法、倒數或除法運算。例如,代替 (52+1) 位元 x (52+1) 位元乘法器,可以使用 (24+1) 位元 x (24+1) 位元降低精度的乘法器進行仿射 CPMV 微調。在 ALF 微調期間 10 位元像素資料和 4k 圖片的位元深度估計示例中,收集的統計資料的資料範圍可以在 0 和 2
47之間。同樣,本發明允許使用降低尾數部分精度的乘法器或查找表執行浮點乘法、倒數或除法運算。例如,代替 (47+1) 位元 x (47+1) 位元乘法器,可以使用 (24+1) 位元 x (24+1) 位元降低精度的乘法器來進行 ALF 微調。
結合本發明實施例的編碼器可以對仿射CPMV使用低精度浮點乘法/除法,其中低精度浮點乘法/除法用於收集統計資料並導出仿射模型參數,如上所述。根據本發明的一個實施例的仿射CPMV編碼過程可以結合在幀間預測112中以降低所需的複雜度。結合本發明實施例的編碼器可以將低精度浮點乘法/除法用於ALF,其中低精度浮點乘法/除法用於收集統計資料並導出用於ALF的參數,如上所述。根據本發明的一個實施例的ALF編碼過程可以結合在ILPF 130中以降低所需的複雜度。
第4圖示出了根據本發明實施例的利用降低精度浮點乘法的示例性視訊編碼系統的流程圖。根據該方法,在步驟410中接收與當前圖片中的圖片區域相關聯的輸入資料。在步驟420,在圖片區域上收集與仿射CPMV(控制點運動矢量)微調或ALF(自適應環路濾波器)微調相關的統計資料。在仿射CPMV微調的情况下,圖片區域可以對應於PU,而在ALF微調的情况下,圖片區域可以對應於CTU或整個圖片。然後在步驟430中,基於在圖片區域上收集的統計資料導出用於仿射CPMV微調或ALF微調的更新參數,其中統計資料以具有第一精度的尾數部分的浮點格式表示,並且導出更新參數的過程包括使用降低精度的乘法器執行用於統計資料的乘法。降低精度的乘法器會截斷尾數部分的至少一位元。
第5圖示出了根據本發明實施例的利用降低精度的浮點倒數的示例性視訊編碼系統的流程圖。根據該方法,在步驟510中接收與當前圖片中的圖片區域相關聯的輸入資料。在步驟520,在圖片區域上收集與仿射CPMV(控制點運動矢量)微調或ALF(自適應環路濾波器)微調相關的統計資料。在仿射CPMV微調的情况下,圖片區域可以對應於PU,而在ALF微調的情况下,圖片區域可以對應於CTU或整個圖片。然後在步驟530中基於在圖片區域上收集的統計資料導出用於仿射CPMV微調或ALF微調的更新參數,其中統計資料以具有m位元尾數部分的浮點格式表示,並且導出更新參數的過程包括使用具有(m-k)位元輸入的查找表來對統計資料執行倒數,其中通過從m位元尾數部分截斷k位元得到(m-k)位元輸入,並且查找表的內容包括m位元輸出。上述m和k是正整數。
所示流程圖旨在說明根據本發明的視訊編解碼的示例。所屬領域具有通常知識者在不脫離本發明的精神的情況下,可以修改每個步驟、重新排列步驟、拆分步驟或組合步驟來實施本發明。在本公開中,已經使用特定的句法和語義來說明示例以實現本發明的實施例。所屬領域具有通常知識者可以通過用等效的句法和語義代替句法和語義來實踐本發明,而不背離本發明的精神。
呈現以上描述是爲了使所屬領域具有通常知識者能够實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者來說將是顯而易見的,並且本文定義的一般原理可以應用於其他實施例。因此,本發明不旨在限於所示和描述的特定實施例,而是要符合與本文公開的原理和新穎特徵相一致的最寬範圍。在以上詳細描述中,爲了提供對本發明的透徹理解,說明了各種具體細節。然而,所屬領域具有通常知識者將理解,可以實踐本發明。
如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如,本發明的一個實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式代碼。本發明的實施例還可以是要在數位信號處理器(DSP)上執行以執行這裏描述的處理的程式代碼。本發明還可以涉及由計算機處理器、數位信號處理器、微處理器或現場可程式化門陣列(FPGA)執行的許多功能。這些處理器可以被配置爲通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以以不同的編程語言和不同的格式或樣式開發。軟體代碼也可以針對不同的目標平台進行編譯。然而,軟體代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式將不脫離本發明的精神和範圍。
本發明可以在不背離其精神或基本特徵的情况下以其他特定形式體現。所描述的示例在所有方面都僅被認爲是說明性的而不是限制性的。因此,本發明的範圍由所附申請專利範圍而不是由前述描述指示。在申請專利範圍的等效含義和範圍內的所有變化都應包含在其範圍內。
110:幀內預測
112:幀間預測
114:開關
116:加法器
118:變換
120:量化
122:熵編碼器
124:反量化
126:反變換
128:重建
130:環路濾波器
134:圖片緩衝器
136:預測資料
210:塊
220:平行四邊形
310、320:菱形
410~430、510~530:步驟
結合在本說明書中並構成本說明書一部分的附圖示出了本發明的實施例,並且與說明書一起用於解釋本發明的原理:
第1圖圖示了一個示例性的並入了環路處理自適應幀間/幀內視訊編解碼系統。
第2圖示出了使用3個控制點(
,
和
)的六參數仿射模型。
第3圖示出了兩個菱形濾波器形狀。
第4圖示出了根據本發明實施例的利用降低精度浮點乘法的示例性視訊編碼系統的流程圖。
第5圖示出了根據本發明實施例的利用降低精度的浮點倒數的示例性視訊編碼系統的流程圖。
410~430:步驟
Claims (7)
- 一種視訊編解碼方法,該方法包括:接收與當前圖片中的圖片區域相關聯的輸入資料;收集與該圖片區域上的仿射CPMV微調或ALF微調相關的統計資料;以及基於在該圖片區域上收集的該統計資料導出用於該仿射CPMV微調或該ALF微調的更新的參數,其中該統計資料以具有第一精度的尾數部分的浮點格式表示,並且導出該更新的參數包括使用降低精度的乘法器用該統計資料執行乘法,並且其中該降低精度的乘法器截斷該尾數部分的至少一位元,其中,該統計資料被用作該降低精度的乘法器的第一被乘數,並且該降低精度的乘法器截斷該尾數部分的至少一位元用於該降低精度的乘法器的至少該第一被乘數。
- 如請求項1所述之視訊編解碼方法,其中,該降低精度的乘法器根據底函數、舍入函數或頂函數截斷該尾數部分的該至少一位元。
- 一種視訊編解碼裝置,該裝置包括一個或多個電子電路或處理器,用於:接收與當前圖片中的圖片區域相關聯的輸入資料;收集與該圖片區域上的仿射CPMV微調或ALF微調相關的統計資料;以及基於在該圖片區域上收集的該統計資料導出用於該仿射CPMV微調或該ALF微調的更新的參數,其中該統計資料以具有第一精度的尾數部分的浮點格式表示,並且導出該更新的參數包括使用降低精度的乘法器用該統計資料執行乘法,並且其中該降低精度的乘法器截斷該尾數部分的至少一位元,其中,該統計資料被用作該降低精度的乘法器的第一被乘數,並且該降低精度的乘法器截斷該尾數部分的至少一位元用於該降低精度的乘法器的至少該第一被乘數。
- 一種視訊編解碼方法,該方法包括:接收與當前圖片中的圖片區域相關聯的輸入資料;收集與該圖片區域上的仿射CPMV微調或ALF微調相關的統計資料;以及基於在該圖片區域上收集的該統計資料導出用於該仿射CPMV微調或該ALF微調的更新的參數,其中該統計資料以具有m位元尾數部分的浮點格式表示,並且導出該更新的參數包括通過從該m位元尾數部分截去k位元,使用具有(m-k)位元輸入的查找表對該統計資料執行倒數,該查找表的內容包括m位元輸出,其中m和k為正整數。
- 如請求項4所述之視訊編解碼方法,其中,該m位元尾數部分根據底函數、舍入函數或頂函數被截斷。
- 如請求項4所述之視訊編解碼方法,其中,所述導出該更新的參數包括使用降低精度的乘法器對該統計資料執行乘法,並且其中該降低精度的乘法器截斷該m位元尾數部分的至少一位元。
- 一種視訊編解碼裝置,該視訊編解碼裝置包括一個或多個電子電路或處理器,用於:接收與當前圖片中的圖片區域相關聯的輸入資料;收集與該圖片區域上的仿射CPMV微調或ALF微調相關的統計資料;以及基於在該圖片區域上收集的該統計資料導出用於該仿射CPMV微調或該ALF微調的更新的參數,其中該統計資料以具有m位元尾數部分的浮點格式表示,並且導出該更新的參數包括通過從該m位元尾數部分截去k位元,使用具有(m-k)位元輸入的查找表對該統計資料執行倒數,該查找表的內容包括m位元輸出,其中m和k為正整數。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/728,392 | 2022-04-25 | ||
US17/728,392 US11979593B2 (en) | 2022-04-25 | 2022-04-25 | Method and apparatus for video coding with of low-precision floating-point operations |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202344062A TW202344062A (zh) | 2023-11-01 |
TWI839833B true TWI839833B (zh) | 2024-04-21 |
Family
ID=
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113728645A (zh) | 2019-02-20 | 2021-11-30 | 北京达佳互联信息技术有限公司 | 用于基于尾数-指数表示的帧间预测的运动矢量舍入、裁剪和存储的方法和装置 |
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113728645A (zh) | 2019-02-20 | 2021-11-30 | 北京达佳互联信息技术有限公司 | 用于基于尾数-指数表示的帧间预测的运动矢量舍入、裁剪和存储的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6639942B1 (en) | Method and apparatus for estimating and controlling the number of bits | |
CA2452632C (en) | Method for sub-pixel value interpolation | |
US7848425B2 (en) | Method and apparatus for encoding and decoding stereoscopic video | |
ES2275037T3 (es) | Procedimiento de codificacion de video con compensacion de fundido. | |
US10091504B2 (en) | Variations of rho-domain rate control | |
KR20100082013A (ko) | 모션 추정을 수행하기 위한 방법 및 장치 | |
KR101090586B1 (ko) | 부호화 장치/복호화 장치, 부호화 방법/복호화 방법 및 기록 매체 | |
JP2011229145A (ja) | 符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う方法、および関連装置 | |
JP5909149B2 (ja) | 色変換装置、符号化器および復号器ならびにそれらのプログラム | |
EP1095505A1 (en) | Image processing circuit and method for modifying a pixel value | |
WO2009133845A1 (ja) | 動画像符号化/復号化装置及び方法 | |
JP2024015184A (ja) | 画像復号装置及び方法及びプログラム | |
TWI839833B (zh) | 視訊編解碼方法和相關裝置 | |
US11979593B2 (en) | Method and apparatus for video coding with of low-precision floating-point operations | |
KR20050053135A (ko) | 절대차 연산 장치와 이를 이용한 움직임 추정 장치 및동영상 부호화 장치 | |
TW202038612A (zh) | 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法 | |
JPH06209469A (ja) | 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法、および画像記録媒体 | |
US20230171403A1 (en) | Methods and Apparatuses of Gaussian Elimination in Video Encoding System | |
KR101138921B1 (ko) | 다중 시점 기반의 비디오 인코딩 장치 및 방법 | |
JP6018012B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、およびそれらのプログラム並びに記録媒体 | |
Argyropoulos et al. | Coding of two-dimensional and three-dimensional color image sequences | |
TW202408243A (zh) | 用於視頻編解碼的解碼器側運動向量優化和雙向光流的方法和裝置 | |
KR20060034294A (ko) | 엔코딩 방법 및 디바이스 | |
KR0130167B1 (ko) | 동영상 압축 부호화 장치 | |
TW202420816A (zh) | 視頻編解碼的相依量化的視頻編解碼的方法和裝置 |