TW202327351A

TW202327351A - 視頻編解碼系統中編解碼模式選擇的方法和裝置

Info

Publication number: TW202327351A
Application number: TW111150369A
Authority: TW
Inventors: 江嫚書; 徐志瑋
Original assignee: 聯發科技股份有限公司
Priority date: 2021-12-29
Filing date: 2022-12-28
Publication date: 2023-07-01
Also published as: US20230209042A1; CN116366837A

Abstract

一種用於視頻編解碼的方法和裝置。根據該方法，確定一組與編碼模式或編碼參數相關聯的候選。通過使用當前塊的重建或預測樣本和相鄰重建或預測樣本，確定與候選集合相關聯的邊界匹配成本，其中，為當前塊候選集合中的一個目標候選確定邊界匹配成本中的每一個。當前塊的重建或預測樣本是根據所述一個目標候選確定的。候選集根據邊界匹配成本重新排序。然後使用基於候選集合的重新排序的候選從候選集合中選擇的最終候選對當前塊進行編碼或解碼。

Description

視頻編解碼系統中編解碼模式選擇的方法和裝置

本發明涉及視頻編解碼系統。特別地，本發明涉及依據邊界匹配成本重新排序模式候選，以增進編解碼效率。

通用視頻編碼(VVC)是由ITU-T視頻編碼專家組(VCEG)的聯合視頻專家組(JVET)和ISO/IEC運動圖像專家組(MPEG)共同製定的最新國際視頻編解碼標準。該標準已作為 ISO 標準發布：ISO/IEC 23090-3:2021，信息技術-沉浸式媒體的編碼表示 - 第 3 部分：通用視頻編碼，2021 年 2 月發布。VVC 是在其前身 HEVC（High Efficiency Video Coding）基礎上，通過添加更多的編解碼工具來提高編解碼效率，還可以處理各種類型的視頻源，包括 3 維（3D）視頻信號。

第1A圖說明了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。對於幀內預測110，預測資料是根據當前圖片中先前編碼的視頻資料導出的。對於幀間預測112，在編碼器側執行運動估計(ME)並且基於ME的結果執行運動補償(MC)以提供從其他畫面和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差。預測誤差然後由變換(T) 118和隨後的量化(Q) 120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視頻資料的視頻位元流中。與變換係數相關聯的位元流然後與輔助信息（例如與幀內預測和幀間預測相關聯的運動和編碼模式）以及其他信息（例如與應用於底層圖像區域的環路濾波器相關聯的參數）一起打包。與幀內預測110、幀間預測112和環內濾波器130相關聯的輔助信息被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化（IQ）124和逆變換（IT）126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視頻資料。重建的視頻資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。

如第1A圖所示，輸入的視頻資料在編碼系統中經過一系列處理。由於一系列處理，來自REC128的重建視頻資料可能會受到各種損害。因此，環路濾波器130經常在重構視頻資料被存儲在參考圖片緩衝器134中之前應用於重構視頻資料以提高視頻質量。例如，可以使用去塊濾波器（DF）、樣本自適應偏移（SAO）和自適應環路濾波器（ALF）。可能需要將環路濾波器信息合併到位元流中，以便解碼器可以正確地恢復所需的信息。因此，環路濾波器信息也被提供給熵編碼器122以合併到位元流中。在第1A圖中，環路濾波器130在重構樣本被存儲在參考圖片緩衝器134中之前被應用於重構視頻。第1A圖中的系統旨在說明典型視頻編碼器的示例性結構。它可能對應於高效視頻編碼 (HEVC) 系統、VP8、VP9、H.264 或 VVC。

如第1B圖所示，解碼器可以使用與編碼器相似或相同的功能塊，除了變換 118 和量化 120 之外，因為解碼器只需要逆量化 124 和逆變換 126。代替熵編碼器122，解碼器使用熵解碼器140將視頻位元流解碼為量化的變換係數和所需的編碼信息(例如ILPF信息、幀內預測信息和幀間預測信息)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測信息生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測信息執行運動補償（MC 152）而無需運動估計。

根據 VVC，類似於 HEVC，輸入圖片被劃分為稱為 CTU (編碼樹單元）的非重疊方形塊區域。每個 CTU 都可以劃分為一個或多個較小尺寸的編碼單元 (CU)。生成的 CU 分區可以是正方形或矩形。此外，VVC 將 CTU 劃分為預測單元 (PU)，作為應用預測過程的單元，例如幀間預測、幀內預測等。

VVC標準合併了各種新的編碼工具以進一步提高超過HEVC標準的編碼效率。在各種新的編碼工具中，與本發明相關的一些編碼工具綜述如下。

幀間預測概述

根據 JVET-T2002 第 3.4 節，（Jianle Chen 等人，“通用視頻編碼和測試模型 11 (VTM 11) 的算法描述”，ITU-T SG 16 WP 3 和 ISO/IEC JTC 1/SC 29 的聯合視頻專家組 (JVET) , 第20次會議，電話會議，2020年10月7–16日，檔案: JVET-T2002), 針對每一幀間預測CU，運動參數包含運動向量、參考圖片索引以及參考圖片列表使用標識，以及需要的額外信息 VVC 的新編碼功能用於幀間預測樣本生成。可以以顯式或隱式方式用信號通知運動參數。當 CU 以跳過（skip）模式編碼時，CU 與一個 PU相關聯並且沒有顯著的殘差係數，沒有編碼的運動向量增量或參考圖片索引。指定合併模式，當前 CU 的運動參數是從相鄰 CU 獲得的，包括空間和時間候選，以及 VVC 中引入的附加調度。合併模式可以應用於任何幀間預測的 CU，而不僅僅是跳過模式。合併模式的替代方案是運動參數的顯式傳輸，其中運動向量、每個參考圖片列表的相應參考圖片索引和參考圖片列表使用標識以及其他所需信息按每個 CU 顯式發送。除了 HEVC 中的幀間編碼功能外，VVC 還包括許多新的和改進的幀間預測編碼工具，如下所列： – 擴展合併預測（Extended merge prediction） – 與 MVD (MMVD) 的合併模式（Merge mode with MVD (MMVD)） – 對稱 MVD (SMVD) 信令（Symmetric MVD (SMVD) signalling） – 仿射運動補償預測（Affine motion compensated prediction） – 基於子塊的時間運動向量預測 (SbTMVP)（Subblock-based temporal motion vector prediction (SbTMVP)） – 自適應運動向量分辨率 (AMVR)（Adaptive motion vector resolution (AMVR)） – 運動場存儲：1/16 亮度樣本 MV 存儲和 8x8 運動場壓縮 – CU級權重雙向預測（BCW）（Bi-prediction with CU-level weight (BCW)） – 雙向光流 (BDOF)（Bi-directional optical flow (BDOF)） – 解碼器側運動向量細化 (DMVR)（Decoder side motion vector refinement (DMVR)） – 幾何分區模式 (GPM) Geometric partitioning mode (GPM) – 組合幀間和幀內預測 (CIIP)（Combined inter and intra prediction (CIIP)）

下面的描述提供了在 VVC 中指定的那些幀間預測方法的細節。

擴展合併預測

在VVC中，合併候選列表是通過依次包括以下五類候選來構建的： 1) 來自空間相鄰 CU 的空間 MVP 2) 來自並置 CU 的時間 MVP 3) 來自 FIFO 表的基於歷史的 MVP 4) 成對平均 MVP 5）零MV。

合併列表的大小在序列參數集（SPS)報頭中用信號通知並且合併列表的最大允許大小是6。對於在合併模式中編碼的每個CU，使用截斷一元二值化對最佳合併候選的索引進行編碼（TU）。合併索引的第一個二進制字符串（以下簡稱為bin）使用上下文編碼，旁路編碼用於其餘 bin。

本環節提供了每個類別的合併候選的推導過程。與在 HEVC 中所做的一樣，VVC 還支持為一定大小的區域內的所有 CU 並行推導合併候選列表（或稱為合併候選列表）。

空間候選推導

除了交換前兩個合併候選的位置之外，VVC中空間合併候選的導出與HEVC中的相同。在位於第2圖所示位置的候選中選擇當前CU 210的最多四個合併候選（B ₀、A ₀、B ₁和A ₁）。導出的順序是B ₀、A ₀、B ₁、A ₁和B ₂。位置 B ₂僅在位置 B ₀、A ₀、B ₁、A ₁的一個或多個相鄰 CU 不可用（例如，屬於另一個切片或瓦片）或被幀內編碼時才被考慮。添加位置A ₁的候選後，對剩餘候選的添加進行冗餘校驗，保證具有相同運動信息的候選被排除在列表之外，從而提高編碼效率。為了降低計算複雜度，在提到的冗餘檢查中並未考慮所有可能的候選對。相反，僅考慮第3圖中用箭頭鏈接的對，並且僅當用於冗餘檢查的相應候選不具有相同運動信息時才將候選添加到列表中。

時間候選推導

在該步驟中，僅將一個候選添加到列表中。具體地，在針對當前CU 410的該時間合併候選的推導中，基於屬於如第4圖所示的並置參考圖片（collocated reference picture）的并置CU 420推導縮放運動向量（scaled motion vector）。用於推導并置 CU的參考圖片列表（reference picture list）和參考圖片的索引（reference index）在切片標頭中明確以信號發送。如第4圖中的虛線所示，獲得時間合併候選的縮放運動向量 430，其使用 POC（圖片順序計數，Picture Order Count）距離 tb 和 td 從并置 CU 的運動向量 440 縮放，其中tb定義為當前圖片的參考圖片與當前圖片的POC差，td定義為并置（co-located）圖片的參考圖片與并置圖片的POC差。時間合併候選的參考圖片索引設置為等於零。

時間候選的位置在候選 C ₀和 C ₁之間選擇，如第5圖所示。如果位置 C ₀的 CU 不可用、被幀內編碼或在當前 CTU 行之外，則使用位置 C ₁。否則，位置 C ₀用於推導時間合併候選。

基於歷史的合併候選推導

基於歷史的MVP(HMVP)合併候選被添加到空間MVP和TMVP之後的合併列表。在該方法中，先前編碼塊的運動信息存儲在表中並用作當前CU的MVP。在編碼/解碼過程中維護具有多個 HMVP 候選的表。當遇到新的 CTU 行時，該表將被重置（清空）。每當存在非子塊幀間編碼 CU 時，相關聯的運動信息將作為新的 HMVP 候選添加到表的最後一個條目。

HMVP表大小S被設置為6，這指示最多5個基於歷史的MVP(HMVP)候選可以被添加到表中。當向表中***新的運動候選時，使用受約束的先進先出（FIFO）規則，其中首先應用冗餘檢查以查找表中是否存在相同的HMVP。如果找到，相同的HMVP被從表中移除並且之後的所有HMVP候選被向前移動，並且相同的HMVP被***到表的最後條目。

HMVP候選可以用於合併候選列表構建過程。依次檢查表中最新的幾個HMVP候選，並在TMVP候選之後***到候選列表中。冗餘檢查應用於 HMVP 候選至空間或時間合併候選。

為了減少冗餘校驗操作的數量，引入以下簡化： 1. 表中的最後兩個條目分別針對 A ₁和 B ₁空間候選進行冗餘檢查。 2.一旦可用合併候選的總數達到最大允許合併候選的數量-1，HMVP的合併候選列表構造過程終止。

成對平均合併候選推導

通過使用前兩個合併候選對現有合併候選列表中的預定義候選對進行平均來生成成對平均候選。第一個合併候選定義為 p0Cand，第二個合併候選可以分別定義為 p1Cand。根據p0Cand和p1Cand的運動向量的可用性分別針對每個參考列表計算平均運動向量。如果兩個運動向量在一個列表中都可用，則即使這兩個運動向量指向不同的參考圖片，也對其進行平均，並將其參考圖片設置為 p0C 和 p0C 之一；如果只有一個運動向量可用，則直接使用一個；如果沒有可用的運動向量，則保持此列表無效。此外，如果 p0Cand 和 p1Cand 的半像素插值濾波器索引不同，則將其設置為 0。

當添加成對平均合併候選後合併列表未滿時，將零個MVP***最後直到遇到最大合併候選數。

合併估計區域

合併估計區域（MER)允許獨立推導同一合併估計區域（MER)中的CU的合併候選列表。在當前CU的合併候選列表的生成中不包括與當前CU在相同MER內的候選塊。此外，僅當 (xCb + cbWidth) ＞＞ Log2ParMrgLevel 大於 xCb ＞＞ Log2ParMrgLevel 和 ( yCb + cbHeight ) ＞＞ Log2ParMrgLevel 大於 ( yCb ＞＞ Log2ParMrgLevel )，其中 ( xCb, yCb ) 是圖片中當前 CU 的左上角亮度樣本位置， ( cbWidth, cbHeight ) 是 CU 大小。 MER 大小在編碼器端選擇，並在序列參數集 (SPS) 中作為 log2_parallel_merge_level_minus2 發出信號。

具有 MVD 的合併模式 (MMVD)

除了其中隱式導出的運動信息被直接用於當前CU的預測樣本生成的合併模式之外，在VVC中引入了具有運動向量差(MMVD)的合併模式。在發送常規合併標識後立即發出 MMVD 標識，以指定 MMVD 模式是否用於 CU。

在MMVD中，在選擇了合併候選（本發明中被稱爲基本合并候選）之後，通過用信號發送的MVD信息對其進行進一步細化。進一步的信息包括合併候選標識、用於指定運動幅度的索引和用於指示運動方向的索引。在 MMVD 模式下，合併列表中的前兩個候選中的一個被選擇用作 MV 基礎。發出 MMVD 候選標識以指定在第一和第二合併候選之間使用哪一個。

距離索引指定運動幅度信息並且指示從L0參考塊610和L1參考塊620的起點（612和622)的預定義偏移。如第6圖所示，偏移被添加到起始 MV 的水平分量或垂直分量，其中不同樣式的小圓圈對應於距中心的不同偏移量。距離索引和預定義偏移量的關係在表 1 中指定。表 1 – 距離索引與預定義偏移量的關係

距離索引	0	1	2	3	4	5	6	7
偏移(以亮度樣本為單位)	1/4	1/2	1	2	4	8	16	32

方向指數表示 MVD 相對於起始點的方向。方向索引可以表示如表2所示的四個方向。需要注意的是，MVD符號的含義可以根據起始MV的信息而變化。當起始 MV 是非預測 MV 或雙預測 MV，兩個列表都指向當前圖片的同一側（即兩個參考的 POC 均大於當前圖片的 POC，或均小於當前圖片的 POC），表 2 中的符號指定添加到起始 MV 的 MV 偏移量的符號。當起始 MV 是雙向預測 MV，兩個 MV 指向當前圖片的不同側（即一個參考的 POC 大於當前圖片的 POC，另一個參考的 POC 小於當前圖片的 POC），並且列表0（可簡稱為list 0或L0）中POC的差異大於列表1（可簡稱為list 1或L1）中的POC，表2中的符號指定添加到起始MV的列表0的MV分量的MV偏移量的符號和列表1的MV的符號有相反的值。否則，如果列表1中的POC之差大於列表0，則表2中的符號指定添加到起始MV的列表1 MV分量的MV偏移量的符號與列表0MV的符號具有相反的值。

MVD是根據每個方向上的POC的差異來縮放的。如果兩個列表中 POC 的差異相同，則不需要縮放。否則，如果列表 0 中的 POC 差異大於列表 1 中的差異，則通過將 L0 的 POC 差異定義為 td 並將 L1 的 POC 差異定義為 tb 來縮放列表 1 的 MVD，如第5圖所示。如果 L1 的 POC 差異大於 L0，則列表 0 的 MVD 以相同的方式縮放。如果起始 MV 是單向預測的，則將 MVD 添加到可用 MV。表 2 – 方向索引指定的 MV 偏移符號

方向索引	00	01	10	11
X軸	+	−	N/A	N/A
Y軸	N/A	N/A	+	−

仿射運動 補償預測

在HEVC中，僅平移運動模型被應用於運動補償預測（MCP)。而在現實世界中，有很多種運動，例如放大/縮小、旋轉、透視運動和其他不規則運動。在 VVC 中，應用基於塊的仿射變換運動補償預測。如圖所示。在第7A-B圖中，塊710的仿射運動域由第7A圖中的兩個控制點(4參數)的運動信息或第7B圖中的三個控制點運動向量(6參數)描述。

對於4參數仿射運動模型，塊中樣本位置(x，y)處的運動向量被導出為： (1)

對於6參數仿射運動模型，塊中樣本位置(x，y)處的運動向量被導出為： (2)

其中(mv _0x，mv _0y)為左上角控制點的運動向量，(mv _1x，mv _1y)為右上角控制點的運動向量，(mv _2x，mv _2y)為底部-左角控制點的運動向量。

為了簡化運動補償預測，應用基於塊的仿射變換預測。為了導出每個 4×4 亮度子塊的運動向量，每個子塊的中心樣本的運動向量，如第8圖所示，根據上述等式計算，並四捨五入到 1/16 分數精度。然後，應用運動補償插值濾波器以生成具有導出的運動向量的每個子塊的預測。色度分量的子塊大小也設置為 4×4。 4×4 色度子塊的 MV 計算為並置 8x8 亮度區域中左上角和右下角亮度子塊的 MV 的平均值。

對於平移運動幀間預測，也有兩種仿射運動幀間預測模式：仿射合併模式和仿射AMVP模式。

仿射合併 預測 (AF_MERGE)

AF_MERGE模式可以應用於寬度和高度都大於或等於8的CU。在該模式下，基於空間相鄰CU的運動信息生成當前CU的CPMV(控制點MV)。最多可以有五個 CPMVP（CPMV 預測）候選，並且用信號發送一個索引以指示要用於當前 CU 的那個。下面三種類型的CPVM候選被用來構成仿射合併候選列表： – 從相鄰 CU 的 CPMV 推斷出的繼承仿射合併候選 – 使用相鄰 CU 的平移 MV 派生的構造仿射合併候選 CPMVP – 零MV

在VVC中，最多有兩個繼承的仿射候選，它們來自相鄰塊的仿射運動模型，一個來自左相鄰CU，一個來自上方相鄰CU。候選塊與第2圖所示相同。對於左預測子，掃描順序為A ₀-＞A ₁，對於上預測子，掃描順序為B0-＞B1-＞B2。僅選擇每一方的第一個繼承候選。在兩個繼承的候選之間不執行修剪檢查(pruning check)。識別相鄰的仿射 CU 時，其控制點運動向量用於導出當前 CU 的仿射合併列表中的 CPMVP 候選。如第9圖所示，如果當前塊910的左下相鄰塊A以仿射模式編碼，則獲得CU 920的左上角、右上角和包含塊 A的左下角的運動向量v ₂、v ₃和v ₄。當塊A採用4參數仿射模型編碼時，根據v ₂、v ₃計算當前CU的兩個CPMV（即v ₀和v ₁）。在塊A採用6參數仿射模型編碼的情況下，根據v ₂、v ₃、v ₄計算當前CU的三個CPMV。

構造仿射候選是指通過結合每個控制點的相鄰平移運動信息來構造候選。如第10圖所示，控制點的運動信息是從當前塊 1010 的指定空間鄰居和時間鄰居導出的。CPMV _k（k=1、2、3、4）表示第 k 個控制點。對於 CPMV ₁，檢查 B2-＞B3-＞A2 塊並使用第一個可用塊的 MV。對於 CPMV ₂，檢查 B1-＞B0 塊，對於 CPMV ₃，檢查 A1-＞A0 塊。如果 TMVP 可用，則將其用作 CPMV ₄。

在獲得四個控制點的 MV 後，基於運動信息構建仿射合併候選。以下控制點MV的組合用於按順序構建： {CPMV ₁, CPMV ₂, CPMV ₃}, {CPMV ₁, CPMV ₂, CPMV ₄}, {CPMV ₁, CPMV ₃, CPMV ₄}, {CPMV ₂, CPMV ₃, CPMV ₄}, { CPMV ₁, CPMV ₂}, { CPMV ₁, CPMV ₃}

3個CPMV的組合構造了6參數仿射合併候選並且2個CPMV的組合構造了4參數仿射合併候選。為了避免運動縮放過程，如果控制點的參考索引不同，則丟棄控制點MV的相關組合。

檢查繼承的仿射合併候选和構造的仿射合併候選後，如果列表仍未滿，則將零個MV***到列表的末尾。

仿射 AMVP 預測

仿射 AMVP 模式可以應用於寬度和高度都大於或等於 16 的 CU。CU 級的仿射標識在位元流中用信號發送以指示是否使用仿射 AMVP 模式，然後另一個標識用信號發送以指示是使用 4 參數仿射還是 6 參數仿射。在這種模式下，當前 CU 的 CPMV 與其預測變量 CPMVP 的差異在位元流中用信號表示。仿射AVMP候選列表大小為2，由以下四種CPVM候選依次生成： – 從相鄰 CU 的 CPMV 推斷出的繼承仿射 AMVP 候選 – 構建的仿射 AMVP 候選 CPMVP 使用相鄰 CU 的平移 MV 導出 – 來自相鄰 CU 的平移 MV – 零MV

繼承仿射AMVP候選的檢查順序與繼承仿射合併候選的檢查順序相同。唯一的區別是，對於 AVMP 候選，僅考慮與當前塊具有相同參考圖片的仿射 CU。將繼承的仿射運動預測***候選列表時，不應用裁剪過程。

構造的 AMVP 候選是從第10圖中所示的指定空間鄰居導出的。使用與仿射合併候選構造中相同的檢查順序。此外，還檢查相鄰塊的參考圖片索引。在檢查順序中，使用幀間編碼並具有與當前 CU 中相同的參考圖片的第一個塊。當當前CU使用4參數仿射模式編碼，並且和都可用時，將它們作為一個候選添加到仿射AMVP列表中。當當前 CU 使用 6 參數仿射模式編碼，並且所有三個 CPMV 都可用時，它們將作為一個候選添加到仿射 AMVP 列表中。否則，將構建的 AMVP 候選設置為不可用。

如果***有效繼承的仿射AMVP候选和構造的AMVP候選後，仿射AMVP候選列表的數量仍然小於2，則會添加 , 與作為平移MV以便在可用時預測當前 CU 的所有控制點 MV。最後，如果仿射 AMVP 列表仍未滿，則使用零 MV 來填充它。

仿射運動 信息存儲

在 VVC 中，仿射 CU 的 CPMV 存儲在單獨的緩衝區中。存儲的 CPMV 僅用於在仿射合併模式和仿射 AMVP 模式下為最近編碼的 CU 生成繼承的 CPMVP。從 CPMV 導出的子塊 MV 用於運動補償、平移 MV 的合併/ AMVP 列表的 MV 導出和去塊。

為了避免額外的 CPMV 的圖片行緩衝區，從上述 CTU 的 CU 繼承的仿射運動資料被區別對待，以從正常的相鄰 CU 繼承。如果用於仿射運動資料繼承的候選 CU 在上述 CTU 行中，則行緩衝區中的左下和右下子塊 MV 而不是 CPMV 用於仿射 MVP 推導。這樣，CPMV 僅存儲在本地緩衝區中。如果候選 CU 是 6 參數仿射編碼，則仿射模型退化為 4 參數模型。如第11圖所示，沿著頂部 CTU 邊界，CU 的左下和右下子塊運動向量用於底部 CTU 中 CU 的仿射繼承。在第11圖中，第1110行和第1112行表示原點(0，0)在左上角的圖片的x和y坐標。圖例1120顯示了各種運動向量的含義，其中箭頭1122表示局部緩衝區中用於仿射繼承的CPMV，箭頭1124表示用於局部緩衝區中的MC/合并/跳過MVP/去塊/TMVP和仿射的子塊向量行緩衝器中的繼承，箭頭1126代表MC/合并/跳過MVP/去塊/TMVP的子塊向量。

自適應運動向量分辨率 (AMVR)

在 HEVC 中，當切片標頭中的 use_integer_mv_flag 等於 0 時，（CU 的運動向量和預測運動向量之間的）運動向量差（MVD)以四分之一亮度樣本為單位用信號發送。在VVC中，引入了CU級自適應運動向量分辨率（AMVR）方案。 AMVR 允許 CU 的 MVD 以不同的精度進行編碼。根據當前 CU 的模式（普通 AMVP 模式或仿射 AVMP 模式），當前 CU 的 MVD 可以自適應地選擇如下： – 正常 AMVP 模式：四分之一亮度樣本、半亮度樣本、整數亮度樣本或四亮度樣本。 – 仿射 AMVP 模式：四分之一亮度樣本、整數亮度樣本或 1/16 亮度樣本。

如果當前CU具有至少一個非零MVD分量，則有條件地用信號通知CU級MVD分辨率指示。如果所有 MVD 分量（即，參考列表 L0 和參考列表 L1 的水平和垂直 MVD）均為零，則推斷出四分之一亮度樣本 MVD 分辨率。

對於具有至少一個非零MVD分量的CU，用信號發送第一標識以指示四分之一亮度樣本MVD精度是否用於CU。如果第一個標識為 0，則不需要進一步的信號傳輸，並且四分之一亮度樣本 MVD 精度用於當前 CU。否則，發出第二個標識以指示將半亮度樣本或其他 MVD 精度（整數或四亮度樣本）用於正常的 AMVP CU。在半亮度樣本的情況下，半亮度樣本位置使用 6 抽頭插值濾波器而不是默認的 8 抽頭插值濾波器。否則，用信號發送第三個標識以指示是將整數亮度樣本還是四亮度樣本 MVD 精度用於正常 AMVP CU。在仿射 AMVP CU 的情況下，第二個標識用於指示是否使用整數亮度樣本或 1/16 亮度樣本 MVD 精度。為了確保重建的 MV 具有預期的精度（四分之一亮度樣本、半亮度樣本、整數亮度樣本或四亮度樣本），CU 的運動向量預測因子將四捨五入為相同的、與 MVD 相加之前的 MVD 精度。運動向量預測值向零舍入（即，負運動向量預測值向正無窮大捨入，正運動向量預測值向負無窮大捨入）。

編碼器使用RD檢查確定當前CU的運動向量分辨率。為了避免總是對每個 MVD 分辨率執行四次 CU 級 RD 檢查，除四分之一亮度樣本之外的 MVD 精度的 RD 檢查僅在 VTM11 中有條件地調用。對於正常的 AVMP 模式，首先計算四分之一亮度樣本 MVD 精度和整數亮度樣本 MV 精度的 RD 成本。然後，將整數亮度樣本MVD精度的RD成本與四分之一亮度樣本MVD精度的RD成本進行比較，以決定是否有必要進一步檢查四亮度樣本MVD精度的RD成本。當四分之一亮度樣本 MVD 精度的 RD 成本遠小於整數亮度樣本 MVD 精度的 RD 成本時，將跳過四亮度樣本 MVD 精度的 RD 檢查。然後，如果整數亮度樣本 MVD 精度的 RD 成本明顯大於先前測試的 MVD 精度的最佳 RD 成本，則跳過半亮度樣本 MVD 精度的檢查。對於仿射AMVP模式，如果在檢查仿射合併/跳過模式、合併/跳過模式、四分之一亮度樣本MVD精度正常的AMVP模式和四分之一亮度樣本MVD精度的率失真成本後未選擇仿射幀間模式、仿射 AMVP 模式，則不檢查 1/16 亮度樣本 MV 精度和 1 像素 MV 精度仿射幀間模式。此外，在四分之一亮度樣本MV精度仿射幀間模式中獲得的仿射參數被用作1/16亮度樣本和四分之一亮度樣本MV精度仿射幀間模式的起始搜索點。

具有 CU 級權重 的雙向預測 (BCW)

在HEVC中，雙預測信號是通過對從兩個不同參考圖片和/或使用兩個不同運動向量獲得的兩個預測信號進行平均而生成的。在 VVC 中，雙預測模式被擴展到簡單的平均之外，以允許對兩個預測信號進行加權平均。

(3)

加權平均雙向預測允許五個權重，wϵ{-2,3,4,5,10}。對於每個雙向預測的 CU，權重 w 由以下兩種方式之一確定：1）對於非合併 CU，權重索引在運動向量差異之後發出信號； 2）對於合併CU，權重索引是根據合併候選索引從相鄰塊中推斷出來的。 BCW 僅適用於具有 256 個或更多亮度樣本的 CU（即，CU 寬度乘以 CU 高度大於或等於 256）。對於低延遲圖片，使用所有 5 個權重。對於非低延遲圖片，僅使用 3 個權重 (w ϵ {3,4,5})。在編碼器處，應用快速搜索算法來查找權重索引，而不會顯著增加編碼器的複雜性。這些算法總結如下。詳細信息在 VTM軟體和文件 JVET-L0646 中公開（Yu-Chi Su 等人，“CE4 相關：廣義雙向預測改進結合了 JVET-L0197 和 JVET-L0296”，聯合視頻專家組（ JVET) of ITU-T SG 16 WP 3 與 ISO/IEC JTC 1/SC 29, 第十二次會議：澳門，2018年10月3-12，檔案: JVET-L0646)。 – 當與 AMVR 結合時，如果當前圖片是低延遲圖片，則僅針對 1 像素和 4 像素運動向量精度有條件地檢查不等權重。 – 當與仿射相結合時，當且僅當選擇仿射模式作為當前最佳模式時，才會對不等權重執行仿射 ME。 – 當雙向預測中的兩個參考圖片相同時，僅有條件地檢查不相等的權重。 – 當滿足某些條件時不搜索不等權重，這取決於當前圖片與其參考圖片之間的 POC 距離、編碼 QP 和時間級別。

BCW 權重索引使用一個上下文編碼的bin和旁路編碼的bin進行編碼。第一個上下文編碼的bin指示是否使用相等的權重；如果使用了不等權重，則使用旁路編碼向附加箱(box)信號，以指示使用了哪個不等權重。

權重預測 (WP) 是一種受 H.264/AVC 和 HEVC 標準支持的編碼工具，可有效地對具有衰落的視頻內容進行編碼。對 WP 的支持也被添加到 VVC 標準中。WP允許為每個參考圖片列表 L0 和 L1 中的每個參考圖片發送權重參數（權重和偏移）。然後，在運動補償期間，應用相應參考圖片的權重和偏移。 WP 和 BCW 專為不同類型的視頻內容而設計。為了避免 WP 和 BCW 之間的交互，這會使 VVC 解碼器設計複雜化，如果 CU 使用 WP，則不通知 BCW 權重索引，並且權重 w 被推斷為 4（即應用相等的權重）。對於合併 CU，權重索引是根據合併候選索引從相鄰塊中推斷出來的。這可以應用於普通合併模式和繼承仿射合併模式。對於構造的仿射合併模式，仿射運動信息是基於最多3個塊的運動信息構造的。使用構造的仿射合併模式的 CU 的 BCW 索引被簡單地設置為等於第一個控制點 MV 的 BCW 索引。

在 VVC 中，CIIP 和 BCW 不能聯合申請一個 CU。當一個CU使用CIIP模式編碼時，當前CU的BCW索引設置為2，即對於相等權重w=4。相等權重暗示 BCW 指數的默認值。

組合幀間和幀內預測 (CIIP)

在VVC中，當CU以合併模式編碼時，如果CU包含至少64個亮度（luma）樣本（即CU寬度乘以CU高度等於或大於64），並且如果CU寬度和CU高度都小於 128 個亮度樣本，一個額外的標識被發送以指示組合幀間/幀內預測 (CIIP) 模式是否應用於當前 CU。正如其名稱所示，CIIP 預測將幀間預測信號與幀內預測信號組合在一起。 CIIP 模式中的幀間預測信號是使用應用於常規合併模式的相同幀間預測過程導出的；並且幀內預測信號是在具有平面模式的常規幀內預測過程之後導出的。然後，使用權重平均組合幀內和幀間預測信號，其中權重值 wt根據當前CU 1210的頂部和左側相鄰塊（如第12圖所示）的編碼模式計算如下： – 如果頂部鄰居可用且幀內編碼，則將 isIntraTop 設置為 1，否則將 isIntraTop 設置為 0； – 如果左鄰居可用且幀內編碼，則將isIntraLeft設置為1，否則將isIntraLeft設置為0； – 如果(isIntraLeft + isIntraTop)等於2，則 wt設置為3； – 否則，如果 (isIntraLeft + isIntraTop) 等於 1，則 wt設置為 2； – 否則，將 wt設置為 1。

CIIP預測形成如下： (4)

CCLM （跨組件線性模型）

CCLM 模式（有時縮寫為 LM 模式）背後的主要思想是彩色圖片的顏色分量（例如 Y/Cb/Cr、YUV 和 RGB）之間通常存在某種相關性。這些顏色在本公開中可以稱為第一顏色、第二顏色和第三顏色。 CCLM 技術通過線性模型從並置的重建亮度樣本預測塊的色度分量來利用相關性，線性模型的參數源自與塊相鄰的已重建亮度和色度樣本。

在 VVC 中，CCLM 模式通過從重建的亮度樣本中預測色度樣本來利用通道間依賴性。該預測是使用以下形式的線性模型進行的 . (5)

這裡，表示 CU 中的預測色度樣本，而表示同一 CU 的重建亮度樣本，這些樣本針對非 4： 4:4 彩色格式的情況進行了下採樣。模型參數 a 和 b 是基於編碼器和解碼器端重建的相鄰亮度和色度樣本導出的，沒有顯式信令。

VVC 中指定了三種 CCLM 模式，即 CCLM_LT、CCLM_L 和 CCLM_T。這三種模式在用於模型參數推導的參考樣本的位置方面有所不同。僅來自頂部邊界的樣本涉及 CCLM_T 模式，僅來自左邊界的樣本涉及 CCLM_L 模式。在 CCLM_LT 模式下，使用來自頂部邊界和左側邊界的樣本。

總體而言，CCLM模式的預測過程包括三個步驟： 1) 亮度塊及其相鄰重建樣本的下採樣以匹配相應色度塊的大小， 2）基於重建的相鄰樣本的模型參數推導，以及 3)應用模型方程(1)生成色度幀內預測樣本。

亮度分量的下採樣：為了匹配 4:2:0 或 4:2:2 彩色格式視頻序列的色度樣本位置，可以對亮度樣本應用兩種類型的下採樣濾波器，它們都具有水平和垂直方向上的 2 比 1 下採樣率。這兩個濾波器分別對應於「類型-0（type-0）」和「類型-2（type-2）」4:2:0 色度格式內容，分別由 . (6)

基於 SPS 級標識信息，二維 6 階（即 f ₂ ）或 5 階（即 f ₁ ）濾波器應用於當前塊內的亮度樣本及其相鄰亮度樣本。 SPS-級指的是序列參數集級別（Sequence Parameter Set level）。如果當前塊的上方行是 CTU 邊界，則會發生異常。在這種情況下，一維濾波器應用於上述相鄰亮度樣本，以避免在 CTU 邊界上方使用多個亮度隊列。

模型參數推導過程：來自等式 (5) 的模型參數a和b 基於編碼器和解碼器端重建的相鄰亮度和色度樣本導出，以避免需要任何信令開銷。在最初採用的 CCLM 模式版本中，線性最小均方誤差 (LMMSE) 估計器用於參數的推導。然而，在最終設計中，只涉及四個樣本以降低計算複雜度。第13圖顯示了 M×N 色度塊 1310、相應的 2M×2N 亮度塊 1320 及其「類型 0」內容的相鄰樣本（顯示為實心圓和三角形）的相對樣本位置。

在第13圖的示例中，顯示了在 CCLM_LT 模式中使用的四個樣本，它們用三角形標記。它們位於上邊界M/4和M∙3/4的位置，以及左邊界N/4和N∙3/4的位置。在CCLM_T和CCLM_L模式下，上邊界和左邊界被擴展到(M+N)個樣本的大小，用於模型參數推導的四個樣本位於(M+N)/8、(M+ N)∙3/8、(M+N)∙5/8 和 (M + N)∙7/8。

一旦選擇了四個樣本，就使用四個比較操作來確定其中兩個最小和兩個最大的亮度樣本值。令表示兩個最大亮度樣本值的平均值，令表示兩個最小亮度樣本值的平均值。類似地，讓和表示相應色度樣本值的平均值。然後，根據以下等式獲得線性模型參數： . (7)

在這個等式中，計算參數 a 的除法運算是通過查找表實現的。為了減少存儲該表所需的內存， diff值，即最大值和最小值之間的差值，以及參數a用指數表示法表示。這裡， diff的值用 4 位有效部分和指數近似。因此， diff的表僅包含 16 個元素。這樣做的好處是既降低了計算的複雜性，又減少了存儲表所需的內存大小。

MMLM 概覽

顧名思義，原始的 CCLM 模式採用一個線性模型來預測整個 CU 的亮度樣本的色度樣本，而在 MMLM（多模型 CCLM）中，可以有兩個模型。在MMLM中，將當前塊的相鄰亮度樣本和相鄰色度樣本分為兩組，每組作為訓練集推導線性模型（即針對特定組推導特定的α和β）。此外，當前亮度塊的樣本也基於與相鄰亮度樣本的分類相同的規則進行分類。 o 閾值（ Threshold）為相鄰重建亮度樣本的平均值。 Rec′L[x,y] ＜= Threshold 的相鄰樣本被分類為第 1 組；而 Rec′L[x,y] ＞ Threshold的相鄰樣本被分類為第 2 組。 o 相應地，色度的預測是使用線性模型獲得的：

色度幀內模式 編碼

對於色度幀內模式編碼，總共允許8種幀內模式用於色度幀內模式編碼。這些模式包括五種傳統幀內模式和三種跨組件線性模型模式（CCLM、LM_A 和 LM_L）。色度模式信令和推導過程如表 3 所示。色度模式編碼直接取決於相應亮度塊的幀內預測模式。由於在I切片中啟用了用於亮度和色度分量的單獨塊劃分結構，所以一個色度塊可以對應於多個亮度塊。因此，對於色度（Chroma）導出 (DM，derived mode)模式，直接繼承覆蓋當前色度塊中心位置的對應亮度塊的幀內預測模式。表 3. 啟用 CCLM 時從亮度模式推導色度預測模式

色度預測模式	相應亮度幀内預測模式
0	50	18	1	X ( 0 ＜= X ＜= 66 )
0	66	0	0	0	0
1	50	66	50	50	50
2	18	18	66	18	18
3	1	1	1	66	1
4	0	50	18	1	X
5	81	81	81	81	81
6	82	82	82	82	82
7	83	83	83	83	83

如表4所示，無論sps_cclm_enabled_flag的值如何，都使用單個二值化表。表 4. 色度預測模式統一二值化表

intra_chroma_pred_mode值	Bin 串
4	00
0	0100
1	0101
2	0110
3	0111
5	10
6	110
7	111

第一個 bin 表示它是常規模式（即 0）還是 LM 模式（即 1）。如果它是 LM 模式，則下一個 bin 指示它是 LM_CHROMA（即 0）還是不是（即 1）。如果不是 LM_CHROMA，則下一個 bin 指示它是 LM_L（即 0）還是 LM_A（即 1）。對於這種情況，當 sps_cclm_enabled_flag 為 0 時，可以在熵編碼之前忽略對應 intra_chroma_pred_mode 的二值化表的第一個 bin。或者，換句話說，第一個 bin 被推斷為 0，因此未被編碼。此單個二值化表用於 sps_cclm_enabled_flag 等於 0 和 1 的情況。前兩個 bin 使用其自己的上下文模型進行上下文編碼，其餘 bin 進行旁路編碼。

多假設預測 (MHP)

在多假設幀間預測模式 (JVET-M0425) 中，除了傳統的雙預測信號之外，還發出一個或多個附加運動補償預測信號。最終的整體預測信號是通過樣本權重疊加獲得的。利用雙預測信號和第一附加幀間預測信號/假設，得到的結果預測信號如下： (8)

根據以下映射（表 5），權重因子 α 由新語法元素 add_hyp_weight_idx 指定：表 5. 將 α 映射到 add_hyp_weight_idx

add_hyp_weight_idx
0	1/4
1	-1/8

與上文類似，可以使用一個以上的附加預測信號。得到的整體預測信號與每個附加預測信號一起迭代累積。 (9)

作為最後的 (即，具有最大索引n的 )獲得所得的整體預測信號。例如，最多可以使用兩個額外的預測信號（即，n 限制為 2）。

每個附加預測假設的運動參數可以通過指定參考索引、運動向量預測值索引和運動向量差來顯式地用信號發送，或者通過指定合併索引來隱式地用信號發送。一個單獨的多假設合併標識區分這兩種信號模式。

對於幀間 AMVP 模式，只有在雙向預測模式下選擇 BCW 中的非等權重時才應用 MHP。 VVC 的 MHP 的詳細信息可以在 JVET-W2025 中找到（Muhammed Coban 等人，「增強壓縮模型 2（ECM 2）的算法描述」，ITU-T SG 16 WP 3 的聯合視頻專家組（JVET）和 ISO/IEC JTC 1/SC 29，第 23 次會議，電話會議，2021 年 7 月 7-16 日，文件：JVET-W2025）。

MHP 和 BDOF 的組合是可能的，但是 BDOF 僅應用於預測信號的雙預測信號部分（即，普通的前兩個假設）。

公開了一種用於視頻編解碼的方法和設備。根據該方法，接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側待編碼的當前塊的像素資料或在解碼器側與待解碼的當前塊相關聯的編碼資料。確定一組與編解碼模式或編解碼參數相關聯的候選。通過使用當前塊的重建或預測樣本和相鄰重建或預測樣本，確定與候選集合相關聯的邊界匹配成本，其中，為候選集合中的每一個目標候選確定邊界匹配成本。當前塊的重建或預測樣本是根據所述一個目標候選確定的。然後使用基於至少一個邊界匹配成本從候選集合中選擇的最終候選對當前塊進行編碼或解碼。

在一個實施例中，該組候選對應於一組與合併編碼模式相關聯的合併候選。在一個實施例中，合併索引被分配給合併候選集。第一合併索引被分配給導致最小邊界匹配成本的第一合併候選者的最小索引值，並且第二合併索引被分配給導致最大邊界匹配成本的第二合併候選者的最大索引值。在一個實施例中，合併索引被分配給合併候選集，並且所選合併候選的目標合併索引在編碼器側用信號發送或在解碼器側被接收。在另一個實施例中，合併索引被分配給合併候選集，並且導致最小邊界匹配成本的所選合併候選的目標合併索引在編碼器側和解碼器側被隱式地確定。

在一個實施例中，候選集合對應於與不同顏色分量之間的LM預測相關聯的一組LM(線性模型)候選。在一個實施例中，LM候選集包括來自包括左上LM、僅上LM、僅左LM和MM（多模型）LM的組的至少兩個LM候選。在一個實施例中，LM 索引被分配給 LM 候選集，並且目標 LM 索引被分配給目標 LM 候選的最小索引值，從而導致最小的邊界匹配成本。在另一個實施例中，導致最小邊界匹配成本的目標 LM 候選被隱式地選擇為最終候選。

在一個實施例中，該組候選對應於一組MMVD(Merge Mode with MVD)候選，其中每個MMVD候選包括距基礎合併候選的偏移方向和偏移距離的組合。在一個實施例中，MMVD索引被分配給MMVD候選集合，並且目標MMVD索引被分配用於目標MMVD候選的最小索引值，導致最小邊界匹配成本。在另一個實施例中，導致最小邊界匹配成本的目標MMVD候選被隱含地選擇為最終候選。

在一個實施例中，公開了一組用於確定邊界匹配成本的等式。

在一個實施例中，一組候選根據邊界匹配成本被重新排序。

很容易理解，本發明的組件，如本文附圖中一般描述和圖示的，可以以多種不同的配置佈置和設計。因此，如附圖中所表示的本發明的系統和方法的實施例的以下更詳細的描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例。在整個說明書中對「一個實施例」、「一實施例」或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，在整個說明書的各個地方出現的短語「在一個實施例中」或「在一實施例中」不一定都指代相同的實施例。

此外，所描述的特徵、結構或特性可以在一個或多個實施例中以任何合適的方式組合。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個具體細節的情況下，或使用其他方法、組件等來實踐。在其他情況下，未示出或未示出眾所周知的結構或操作。詳細描述以避免模糊本發明的方面。通過參考附圖將最好地理解本發明的所示實施例，其中相同的部件自始至終由相同的數字表示。以下描述僅作為示例，並且簡單地說明了與如本文所要求保護的本發明一致的設備和方法的某些選定實施例。

隨著視頻編解碼的改進，開發了更多的編解碼工具。然而，新編解碼工具的編碼增益不是相加的。可能的原因是 - 考慮到語法開銷，並非所有新的編解碼模式都可以成為塊的候選模式。 - 隨著塊的候選模式的增加，需要更長的碼字來指示來自多個候選模式的編解碼模式。

以合併模式為例。與 HEVC 相比，建議將新的合併候選（例如成對平均合併候選、HMVP 合併候選等）添加到合併候選列表中。如前所述，最佳合併候選的索引被編碼/解碼以指示為當前塊選擇的合併候選。然而， - 合併候選列表中的合併候選數量限制為預先定義的數量，因此並非所有合併候選都可以添加到合併候選列表中。 - 如果合併候選列表中合併候選的數量增加，則最佳合併候選索引的碼字長度變長。

因此，提出了一種方案來自適應地重新排序候選模式。一般規則如下所示。 - 計算每個候選模式的成本，可以（但不限於）合併候選模式和/或可以擴展到任何其他工具的候選模式 - 接下來，根據成本決定這些候選模式的優先順序。 o 在一個實施例中，那些具有較小成本的候選模式獲得較高的優先級。 o 在另一個實施例中，那些具有較小成本的候選模式獲得較低的優先級。 - 接下來，候選模式根據優先順序重新排序。 o 值較小的索引表示優先級較高的候選模式。 o 換句話說，索引是指重新排序後的候選模式。 ●最初，索引的值是指候選模式的索引。 ●應用建議的重新排序方案後，索引的值指的是候選模式的重新排序索引。

在另一個實施例中，對於具有較高優先級的那些候選模式，較短的碼字被用於編碼/解碼。在另一個實施例中，對於優先級最高的候選模式，隱式設置為當前塊的編碼模式。在本發明中，確定優先順序的方案包括邊界匹配。對於每個候選模式，計算邊界匹配成本。優先順序取決於這些候選模式的邊界匹配成本。

候選模式的邊界匹配成本

候選模式的邊界匹配成本是指從候選模式生成的當前預測（第14圖中顯示為粗框的當前塊1410內的預測樣本）和相鄰重建（一個或多個相鄰塊內的重建樣本）之間的不連續性測量（包括頂部邊界匹配和/或左邊界匹配）。上邊界匹配是指當前頂部預測樣本與相鄰頂部重構樣本1420之間的比較，左邊界匹配是指當前左預測樣本與相鄰左重構樣本1430之間的比較。

在一個實施例中，使用當前預測的預定義子集來計算邊界匹配成本。使用當前塊內上邊界的n1行和/或當前塊內左邊界的m1列，其中n1和m1為大於或等於0的整數。此外，使用頂部相鄰重建的n2行和/或左相鄰重建的 m2 列，其中 n2 和 m2 是大於或等於 0 的整數。

這裡是計算n1＝2、m1＝2、n2＝2和m2＝2的邊界匹配成本的示例。

在上面的等式中，計算頂部邊界（即第一次求和）和左側邊界（即第二次求和）的成本。第一對絕對符號內的項（即| ) 對應於當前塊頂行中的像素與兩個垂直相鄰像素之間的差異（即，上方（在上方相鄰行中）的像素和下方（在當前塊中）的像素）。第二對絕對符號內的項（即| ) 對應於當前塊的頂部相鄰行中的像素與兩個垂直相鄰像素之間的差異（即，上方（在上方相鄰行中）的像素和下方（在當前塊中）的像素）。第三對絕對符號內的項（即| ) 對應於當前塊左行中的像素與兩個水平相鄰像素之間的差異（即左像素（在左相鄰行中）和右像素（在當前塊中））。第四對絕對符號內的項（即| )對應於當前塊的左相鄰行中的像素與兩個水平相鄰像素（即，左像素（在左相鄰行中）和右像素（在當前塊中））之間的差異。在上述等式中，權重(a、b、c、d、e、f、g、h、i、j、k、l)可以是任意正整數，例如a = 2、b = 1、 c = 1，d = 2，e = 1，f = 1，g = 2，h = 1，i = 1，j = 2，k = 1，l = 1。

這是計算n1＝2、m1＝2、n2＝1和m2＝1的邊界匹配成本的另一個例子。

在上述等式中，權重(a, b, c, g, h, i)可以是任意正整數，例如a = 2、b = 1、c = 1、g = 2、h = 1 、i = 1。

這是計算n1＝2、m1＝1、n2＝2和m2＝2的邊界匹配成本的另一個例子。

在上述等式中，權重(d, e, f, j, k, l)可以是任意正整數，例如d = 2、e = 1、f = 1、 j = 2、k = 1、l = 1。

這是計算n1＝1、m1＝1、n2＝1和m2＝1的邊界匹配成本的另一個例子。

在上述等式中，權重(a, c, g, i)可以是任意正整數，例如a = 1、c = 1、g = 1、i = 1。

這是計算n1＝2、m1＝1、n2＝2和m2＝1的邊界匹配成本的另一個例子。

在上述等式中，權重(a, b, c, d, e, f, g, i)可以是任意正整數，例如a = 2、b = 1、c = 1、d = 2、e = 1、f = 1、g = 1、i = 1。

這是計算n1＝1、m1＝2、n2＝1和m2＝2的邊界匹配成本的另一個例子。

在上述等式中，權重(a, c, g, h, i, j, k, l)可以是任意正整數，例如a = 1、c = 1、g = 2、h = 1、i = 1、j = 2、k = 1、l = 1。

以下用於n1和m1的示例也可以應用於n2和m2。

再例如，nl可以是任何正整數，例如1、2、3、4等。

又例如，m1可以是任何正整數，例如1、2、3、4等。

又例如，n1和/或m1隨塊寬度、高度或面積而變化。 – 根據一個示例，對於較大的塊（例如面積＞閾值），使用較大的 m1。 o 閾值 = 64、128 或 256。 o 當面積＞閾值時，m1 增加到 2。（最初，m1 為 1。） o 當面積＞閾值時，m1 增加到 4。（最初，m1 為 1 或 2。） – 根據另一個示例，對於更高的塊（例如高度＞閾值 * 寬度），使用更大的 m1 和/或使用更小的 n1。 o 閾值 = 1、2 或 4。 o 當高度＞閾值*寬度時，m1 增加到 2。（原來 m1 是 1。） o 當高度＞閾值*寬度時，m1 增加到 4。（原來 m1 是 1 或 2。） – 根據另一個例子，對於更大的塊（例如面積＞閾值），使用更大的 n1。 o 閾值 = 64、128 或 256。 o 當面積＞閾值時，n1 增加到 2。（最初，n1 為 1。） o 當面積＞閾值時，n1 增加到 4。（最初，n1 為 1 或 2。） – 根據另一個示例，對於更寬的塊（例如寬度＞閾值 * 高度），使用更大的 n1 和/或使用更小的 m1。 o 閾值 = 1、2 或 4。 o 當寬度＞閾值*高度時，n1 增加到 2。（原來 n1 是 1。） o 當寬度＞閾值*高度時，n1 增加到 4。（原來 n1 是 1 或 2。）

對於另一個例子，nl和/或ml可以在標準中定義或者取決於來自CU/CB、PU/PB、TU/TB、CTU/CTB、切片級別、圖片級別、SPS（序列參數集）級別和/或 PPS（圖片參數集）級別的語法的信令/解析。

在另一實施例中，當當前塊位於CTU行內的頂部邊界時，不使用頂部邊界匹配和/或僅使用左邊界匹配。（不使用跨 CTU 行的相鄰重建樣本。）

在另一實施例中，當當前塊位於CTU內的左邊界時，不使用左邊界匹配和/或僅使用上邊界匹配。

在另一個實施例中，當當前塊較高時（例如高度＞閾值*寬度），僅使用左邊界匹配。

在另一個實施例中，當當前塊更寬時（例如寬度＞閾值*高度），僅使用頂部邊界匹配。

在另一實施例中，左上相鄰重建樣本可用於邊界匹配。例如，邊界匹配成本加上以下項： .

合併候選作為候選模式

所提出的方案可用於重新排序合併候選。本來，最佳合併候選的索引是指合併候選在合併候選列表中的順序。對於所提出的方案，最佳合併候選的索引（index_best_merge）是指基於邊界匹配成本的優先級順序。

例如，假設合併候選列表由{cand0, cand1, cand2, cand3, cand4, cand5}組成。這些預測候選在本公開中被稱為預測候選組。 – 原案： o index_best_merge 0 指的是cand0 o index_best_merge 1 指的是cand1 o index_best_merge 2 指的是cand2 o …… – 建議的： o 計算每個合併候選的邊界匹配成本 {cost_cand0, cost_cand1, cost_cand2, …} ● cost_cand0 是 cand0 的邊界匹配成本 ● cost_cand1 是 cand1 的邊界匹配成本 ● cost_cand2 是 cand2 的邊界匹配成本 ● …… o 根據邊界匹配成本重新排序 {cand0, cand1, cand2, …} ▪ 在一個例子中， ● 如果 cost_cand0 ＞ cost_cand1 ＞ cost_cand2 ＞ cost_cand3 ＞ cost_cand4 ＞ cost_cand5，則重新排序的合併候選形成為 {cand5, cand4, cand3, cand2, cand1, cand0}。 o 重新排序後， ▪ index_best_merge 0 指的是 cand5（具有最小成本的合併候選用最短的碼字發出信號。） ▪ index_best_merge 1 指的是cand4 ▪ index_best_merge 2 指的是cand3 ▪ …… ▪ 否則，如果 cost_cand0 ＜ cost_cand1 ＜ cost_cand2 ＜ cost_cand3 ＜ cost_cand4 ＜ cost_cand5，則合併候選的順序與原始順序保持一致。 ▪ 在另一個例子中， ● 如果 cost_cand0 ＜ cost_cand1 ＜ cost_cand2 ＜ cost_cand3 ＜ cost_cand4 ＜ cost_cand5，則重新排序的合併候選形成為 {cand5, cand4, cand3, cand2, cand1, cand0}。 o 重新排序後， ▪ index_best_merge 0 指的是 cand5（具有最大成本的合併候選用最短的碼字發出信號。） ▪ index_best_merge 1 指的是cand4 ▪ index_best_merge 2 指的是cand3 ▪ …… ▪ 否則，如果cost_cand0 ＞ cost_cand1 ＞ cost_cand2 ＞ cost_cand3 ＞ cost_cand4 ＞ cost_cand5，合併候選的順序與原來的保持一致。

在另一個實施例中，具有較小值的index_best_merge被編碼為較短的碼字長度。例如，index_best_merge 是用截斷的一元碼字編碼的。

在另一個實施例中，重新排序被應用於合併候選列表的子集。 - 例如子集指的是原來的前n個候選cand0，cand1，cand2。那麼index_best_merge 0/1/2指的是基於邊界匹配的優先順序，index_best_merge 3/4/5指的是原來的cand3、cand4和cand5。 - 再比如，子集指的是原來的最後n個候選cand3，cand4，cand5。那麼index_best_merge 3/4/5指的是基於邊界匹配的優先順序，index_best_merge 0/1/2指的是原來的cand0、cand1和cand2。 - 又例如，子集指的是空間合併候選。

在另一個實施例中，最佳合併候選被推斷為所有合併候選中具有最小邊界匹配成本的合併候選。因此，index_best_merge 不需要由編碼器/解碼器發出信號/解析，可以推斷為 0。

在另一個實施例中，最佳合併候選被推斷為所有合併候選中具有最大邊界匹配成本的合併候選。因此，index_best_merge 不需要由編碼器/解碼器發出信號/解析，可以推斷為 0。

在另一實施例中，本節中的合併候選是指包括以下一個或多個候選的合併候選： 1) 來自空間相鄰 CU 的空間 MVP 2) 來自並置 CU 的時間 MVP 3) 來自 FIFO 表的基於歷史的 MVP 4) 成對平均 MVP 5）零MV。

在另一個實施例中，該部分中的合併候選是指CIIP的合併候選。當前塊內的預測樣本是根據 CIIP 過程生成的。

在另一個實施例中，本節中的合併候選是指子塊合併候選的合併候選，例如仿射合併候選。當前塊內的預測樣本是根據仿射過程生成的。

MMVD 作為候選模式

所提出的方案可用於重新排序MMVD候選以提高mmvd_cand_flag、mmvd_distance_idx和/或mmvd_direction_idx的語法的編解碼效率。下表（表6）是VVC標準中MMVD的語法表。表 6. VVC 標準中 MMVD 的語法表

if( mmvd_merge_flag[ x0 ][ y0 ] = = 1 ) {
if( MaxNumMergeCand ＞ 1 )
mmvd_cand_flag[ x0 ][ y0 ]	ae(v)
mmvd_distance_idx[ x0 ][ y0 ]	ae(v)
mmvd_direction_idx[ x0 ][ y0 ]	ae(v)

在上表中，mmvd_cand_flag[x0][y0]指定合併候選列表中的第一(0)或第二(1)候選與從mmvd_distance_idx[x0][y0]導出的運動向量差一起使用和 mmvd_direction_idx[ x0 ][ y0 ]。數組索引 x0, y0 指定所考慮編碼塊的左上角亮度樣本相對於圖片左上角亮度樣本的位置 (x0, y0)。

當mmvd_cand_flag[x0][y0]不存在時，推斷其等於0。

在上表中，mmvd_cand_flag[x0][y0]指定合併中的第一（0)或第二（1)候選者mmvd_distance_idx[x0][y0]指定用於導出MmvdDistance[x0][ y0] 的索引，如表 7 中指定的那樣。數組索引 x0，y0 指定所考慮的編碼塊的左上角亮度樣本相對於圖片的左上角亮度樣本的位置（x0，y0）。表 7 – 基於 mmvd_distance_idx[ x0 ][ y0 ] 的 MmvdDistance[ x0 ][ y0 ] 規範

mmvd_distance_idx[ x0 ][ y0 ]	MmvdDistance[ x0 ][ y0 ]
ph_mmvd_fullpel_only_flag = = 0	ph_mmvd_fullpel_only_flag = = 1
0	1	4
1	2	8
2	4	16
3	8	32
4	16	64
5	32	128
6	64	256
7	128	512

在上表中，mmvd_direction_idx[ x0 ][ y0 ] 指定用於導出表 8 中指定的 MmvdSign[ x0 ][ y0 ] 的索引。數組索引 x0, y0 指定位置 ( x0, y0 ) 所考慮的編碼塊的左上亮度樣本相對於圖片的左上亮度樣本。表 8 – 基於 mmvd_direction_idx[ x0 ][ y0 ] 的 MmvdSign[ x0 ][ y0 ] 規範

mmvd_direction_idx[ x0 ][ y0 ]	MmvdSign[ x0 ][ y0 ][ 0 ]	MmvdSign[ x0 ][ y0 ][ 1 ]
0	+1	0
1	−1	0
2	0	+1
3	0	−1

下面以mmvd_cand_flag為例，提高模式選擇效率。 mmvd_distance_idx和mmvd_direction_idx的信令保持與原始方法相同。

首先，計算每個MMVD模式的邊界匹配成本，包括 – MMVD 模式 0：MMVD 與合併候選列表中的第一個候選 – MMVD 模式 1：MMVD 與合併候選列表中的第二個候選

[一個實施例中，在根據成本重新排序之後， – 如果MMVD模式0的成本＞MMVD模式1的成本，mmvd_cand_flag等於0表示MMVD模式1，mmvd_cand_flag等於1表示MMVD模式0。 – 在替代方式中，mmvd_cand_flag 是隱式的，合併候選列表中的第一個或第二個候選（具有最小成本）用於 MMVD。

在另一個實施例中，在根據成本重新排序後， – 如果MMVD模式0的成本＜MMVD模式1的成本，mmvd_cand_flag等於0表示MMVD模式1，mmvd_cand_flag等於1表示MMVD模式0。 – 在替代方式中，mmvd_cand_flag 是隱式的，合併候選列表中的第一個或第二個候選（具有最大成本）用於 MMVD。

當改進mmvd_distance_idx和/或mmvd_direction_idx時使用類似的方式。

LM 作為候選模式

所提出的方案可用於重新排序LM候選以改進cclm_mode_idx的語法。下表（表9）是VVC標準中LM的語法表。表 9. VVC 標準中 LM 的語法表

if( cclm_mode_flag )
cclm_mode_idx	ae(v)

在上表中，cclm_mode_idx指定應用INTRA_LT_CCLM、INTRA_L_CCLM和INTRA_T_CCLM色度幀內預測模式中的哪一個。

下面以cclm_mode_idx為例，提高模式選擇效率。

首先，計算每個LM候選模式（例如INTRA_LT_CCLM、INTRA_L_CCLM和INTRA_T_CCLM色度幀內預測模式）的邊界匹配成本

在一個實施例中，在根據成本重新排序之後， – cclm_mode_idx 等於 0 指的是具有最小成本的 LM 候選模式，而 cclm_mode_idx 等於 2 指的是具有最大成本的 LM 候選模式。 – 在另一種方式中，cclm_mode_idx 是隱式的，並且使用 LM 候選模式（具有最小成本）。

在另一個實施例中，在根據成本重新排序之後， – cclm_mode_idx 等於 0 指的是具有最大成本的 LM 候選模式，而 bcw_idx 等於 2 指的是具有最小成本的 LM 候選模式。 – 在另一種方式中，cclm_mode_idx 是隱式的，並且使用 LM 候選模式（具有最大成本）。

在另一個實施例中，除了概述部分中的 CCLM (對於 cb，從亮度和 cb 導出模型參數；對於 cr，從亮度和 cr 導出模型參數），還公開了更多的 CCLM 變體。下面顯示了一些示例。

一種變體是用於cr: – 通過使用cb和cr的相鄰重建樣本作為模型推導的輸入X和Y來推導模型參數 – 然後通過導出的模型參數和 cb 重建樣本生成 cr 預測。

另一種變體是MMLM。

另一個變化是對於cb (或cr)，從多個並置的亮度塊導出模型參數。

LM候選模式（在本節中）也可以包括任何LM擴展/變化。隨著 LM 候選模式數量的增加，所提出的編碼性能改進變得更加顯著。

可以統一針對不同工具（不限於以下示例中的那些工具）所提出的重新排序方案。例如，為 MHP、LM、BCW、MMVD 和/或合併候選提出的重新排序方案與計算邊界匹配成本的相同規則統一。

可以根據隱式規則（例如塊寬度、高度或面積）或根據顯式規則（例如關於塊、切片、圖片、SPS或PPS級別的句法）啟用和/或禁用本發明中提出的方法 ). 例如，當塊區域小於閾值時，應用建議的重新排序。

本發明中的術語「塊」可以指代TU/TB、CU/CB、PU/PB或CTU/CTB。

本發明中的術語「LM」可以被視為一種 CCLM/MMLM 模式或 CCLM 的任何其他擴展/變體（例如本發明中提出的 CCLM 擴展/變體）。跨組件工具 (例如，本發明中提出的 CCLM 擴展/變體)。這裡的變化意味著當塊指示指的是使用交叉分量模式之一（例如 CCLM_LT、MMLM_LT、CCLM_L、CCLM_T、MMLM_L、MMLM_T 和/或幀內預測模式時，可以選擇一些可選模式，這不是一種當前塊的傳統 DC、平面和角度模式）。下面顯示了一個將捲積交叉組件模式（CCCM）作為可選模式的示例。當此可選模式應用於當前塊時，使用模型的交叉分量信息（包括非線性項）來生成色度預測。可選模式可能遵循 CCLM 的模板選擇，因此 CCCM 系列包括 CCCM_LT CCCM_L 和/或 CCCM_T。

本發明中提出的方法(用於CCLM)可以用於任何其他LM模式。

可以應用本發明中提出的方法的任何組合。

任何前述提出的方法都可以在編碼器和/或解碼器中實現。例如，所提出的任何方法都可以在編碼器的幀內/幀間編碼模塊（例如第1A圖中的幀間預測112）、運動補償模塊（例如第1B圖中的 MC 152）、合併解碼器的候選推導模塊。或者，所提出的方法中的任何一個都可以實現為耦合到編碼器的幀內/幀間編碼模塊和/或運動補償模塊、解碼器的合併候選推導模塊的電路。

第15圖圖示了根據本發明實施例的基於邊界匹配成本的重新排序模式候選的示例性視頻編解碼系統的流程圖。流程圖中所示的步驟可以實現為可在編碼器側的一個或多個處理器(例如，一個或多個CPU)上執行的程序代碼。流程圖中所示的步驟也可以基於硬件來實現，諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟1510中接收與當前塊相關聯的輸入資料，其中輸入資料包括在編碼器側待編碼的當前塊的像素資料或在解碼器側待解碼的與當前塊相關聯的編碼資料。在步驟1520中確定與編解碼模式或編解碼參數相關聯的一組候選，其中每個組合預測成員包括使用從加權集中選擇的目標加權的第一預測候選者和第二預測候選者的加權和。在步驟1530中確定與組合預測成員候選集相關聯的匹配成本，其中通過使用當前塊的預測樣本和相鄰塊的重構或預測樣本，為候選組合的每一個目標加權候選的組合預測成員確定邊界匹配成本，並且其中，根據所述一個目標候選來確定當前塊的重建或預測樣本。步驟1540，使用基於邊界匹配成本從候選集合中選擇的至少一個最終組合預測對當前塊進行編碼或解碼。

所示流程圖旨在說明根據本發明的視頻編碼的示例。在不脫離本發明的精神的情況下，本領域的技術人員可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定語法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，技術人員可以通過用等同的句法和語義替換句法和語義來實施本發明。

提供以上描述是為了使本領域普通技術人員能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，本領域的技術人員將理解可以實施本發明。

如上所述的本發明的實施例可以以各種硬件、軟件代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視頻壓縮芯片中的一個或多個電路電路或者集成到視頻壓縮軟件中的程序代碼以執行這裡描述的處理。本發明的實施例還可以是要在數字信號處理器(DSP)上執行以執行這裡描述的處理的程序代碼。本發明還可以涉及由計算機處理器、數字信號處理器、微處理器或現場可編程門陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟件代碼或固件代碼來執行根據本發明的特定任務。軟件代碼或固件代碼可以以不同的編程語言和不同的格式或風格來開發。也可以為不同的目標平台編譯軟件代碼。然而，軟件代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。

在不脫離其精神或基本特徵的情況下，本發明可以以其他特定形式體現。所描述的示例在所有方面都應被視為說明性而非限制性的。因此，本發明的範圍由所附權利要求而不是由前述描述來指示。落入權利要求等同物的含義和範圍內的所有變化都應包含在其範圍內。

110:幀內預測 112:幀間預測 114:開關 116:加法器 118:變換(T) 120:量化(Q) 122:熵編碼器 130:環路濾波器 124:反量化（IQ） 126:反變換（IT） 128:重建(REC) 136:預測資料 134:參考圖片緩衝器 140:熵解碼器 150:幀內預測 152:運動補償 210、410:當前CU 420:並置CU 430、440:運動向量 1510、1520、1530:預測 610:L0參考塊 620:L1參考塊 612、622:起點 710:塊 910、1010、1410:當前塊 1110、1112:行 1122、1124、1126:箭頭 1120:圖例 1210:當前CU 1310:色度塊 1320:亮度塊 1420:頂部重構樣本 1430:左重構樣本 1510、1520、1530:預測 1610-1640:步驟

第1A圖圖示了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。第1B圖圖示了第1A圖中的編碼器的相應解碼器。第2圖圖示了用於導出VVC的空間合併候選的相鄰塊。第3圖圖示了考慮用於VVC中的冗餘校驗的可能候選對。第4圖圖示了時間候選推導的示例，其中根據POC（圖片順序計數）距離推導縮放的運動向量。第5圖圖示了在候選C0和C1之間選擇的時間候選的位置。第6圖圖示了根據具有MVD的合併模式(MMVD)在水平和垂直方向上距起始MV的距離偏移。第7A圖示出了由兩個控制點(4參數)的運動信息描述的塊的仿射運動場的示例。第7B圖圖示了由三個控制點運動向量(6參數)的運動信息描述的塊的仿射運動場的示例。第8圖圖示了基於塊的仿射變換預測的示例，其中每個4×4亮度子塊的運動向量是從控制點MV導出的。第9圖圖示了基於相鄰塊的控制點MV推導繼承仿射候選的示例。第10圖示出了通過組合來自空間鄰居和時間的每個控制點的平移運動信息來構建仿射候選的示例。第11圖圖示了用於運動信息繼承的仿射運動信息存儲的示例。第12圖圖示了根據頂部和左側相鄰塊的編碼模式的用於組合幀間和幀內預測(CIIP)的權重值推導的示例。第13圖圖示了使用相鄰色度樣本和相鄰亮度樣本的CCLM(交叉分量線性模型)的模型參數推導的示例。第14圖圖示了用於導出候選模式的邊界匹配成本的邊界樣本和相鄰樣本的示例。第15圖圖示了根據本發明實施例的利用依據邊界匹配成本的編碼模式候選的示例性視頻編碼系統的流程圖。

1510-1540:步驟

Claims

一種視頻編解碼方法，該方法包括：接收與當前塊相關聯的輸入資料，其中，輸入資料包括編碼器側待編碼的當前塊的像素資料或解碼器側與當前待解碼塊相關聯的編碼資料；確定一組與編解碼模式或編解碼參數相關聯的候選；確定與候選集合相關聯的邊界匹配成本，其中通過使用該當前塊的重建或預測樣本和該當前塊的相鄰重建或預測樣本，為該候選集合的每一個目標候選確定邊界匹配成本，其中，該當前塊的重建或預測樣本是根據所述一個目標候選確定的；以及基於該邊界匹配成本中的至少一個，使用從候選集合中選擇的最終候選對該當前塊進行編碼或解碼。
如請求項1所述的方法，其中，所述一組候選對應於一組與合併編解碼模式相關聯的合併候選。
如請求項2所述的方法，其中合併索引被分配給合併候選集合，並且其中第一合併索引被分配用於導致最小邊界匹配成本的第一合併候選的最小索引值，並且第二合併索引是分配給導致最大邊界匹配成本的第二個合併候選分配最大索引值。
如請求項2所述的方法，其中，合併索引被分配給該合併候選集合，並且所選合併候選的目標合併索引在編碼器側用信號發送或在解碼器側接收。
如請求項2所述的方法，其中，合併索引被分配給該合併候選集合，並且導致最小邊界匹配成本的所選擇的合併候選的目標合併索引在編碼器側和解碼器側被隱含地確定。
如請求項1所述的方法，其中，所述候選集合對應於與不同顏色分量之間的線性模型（LM）預測相關聯的LM候選集合。
如請求項6所述的方法，其中該LM候選集合包括來自包括左上LM、僅上LM、僅左LM和多模型（MM）LM的組合的至少兩個LM候選。
如請求項6所述的方法，其中，LM索引被分配給LM候選集合，並且目標LM索引被分配導致最小邊界匹配成本的用於目標LM候選的最小索引值。
如請求項6所述的方法，其中導致最小邊界匹配成本的目標LM候選被隱含地選擇為最終候選。
如請求項1所述的方法，其中，所述一組候選對應於一組MVD合并模式 (MMVD)候選，其中每個MMVD候選包括距基本合併候選的偏移方向和偏移距離的組合。
如請求項10所述的方法，其中，MMVD索引被分配給MMVD候選集合，並且目標MMVD索引被分配用於導致最小邊界匹配成本的目標MMVD候選的最小索引值。
如請求項10所述的方法，其中導致最小邊界匹配成本的目標MMVD候選被隱含地選擇為最終候選。
如請求項1所述的方法，其中，所述每個邊界匹配成本被確定為第一邊界匹配成本、第二邊界匹配成本、第三邊界匹配成本和第四邊界匹配成本或其任何組合的總和，其中該第一邊界匹配成本是為該當前塊左側列中的第一列像素確定的，該第二邊界匹配成本是為該當前塊左相鄰列中的第二列像素確定的，該第三邊界匹配成本是為該當前塊的頂部相鄰行第一行像素確定的，該第四邊界匹配成本為該當前塊的頂部相鄰行中的第二行像素確定的。
如請求項13所述的方法，其中基於所述每個第一列像素與所述每個第一列像素的兩個水平相鄰像素之間的第一加權差來為每個第一列像素確定每個第一邊界匹配成本；基於所述每個第二列像素與所述每個第二列像素的兩個水平相鄰像素之間的第二加權差來為每個第二列像素確定每個第二邊界匹配成本；基於所述每個第一行像素與所述每個第一行像素的兩個垂直相鄰像素之間的第三加權差，為每個第一行像素確定每個第三邊界匹配成本；基於所述每個第二行像素與所述每個第二行像素的兩個垂直相鄰像素之間的第四加權差，為每個第二行像素確定每個第四邊界匹配成本。
如請求項14所述的方法，其中所述每個第一邊界匹配成本被確定為(2*所述每個第一列像素的值-所述每個第一列像素的兩個水平相鄰像素的值)；所述每個第二邊界匹配成本確定為(2*所述每個第二列像素的值-所述每個第二列像素的兩個水平相鄰像素的值)；所述每個第三邊界匹配成本確定為(2*所述每個第一行像素的值-所述每個第一行像素的兩個垂直相鄰像素的值)；所述每個第四邊界匹配成本確定為(2*所述每個第二行像素的值-所述每個第二行像素的兩個水平相鄰像素的值)；其中，當目標像素在當前塊中時，預測值被用於目標像素，而當目標像素在當前塊的相鄰區域中時，重建值被用於目標像素。
如請求項1所述的方法，還包括根據邊界匹配成本對候選集合重新排序。
一種用於視頻編解碼的設備，該設備包括一個或多個電子設備或處理器，被佈置成：接收與當前塊相關聯的輸入資料，其中，該輸入資料包括編碼器側待編碼的該當前塊的像素資料或解碼器側與當前待解碼塊相關聯的編碼資料；確定一組與編解碼模式或編解碼參數相關聯的候選；確定與該候選集合相關聯的邊界匹配成本，其中通過使用該當前塊的重建或預測樣本和該當前塊的相鄰重建或預測樣本，為該候選集合的每一個目標候選確定邊界匹配成本，其中，該當前塊的重建或預測樣本是根據所述一個目標候選確定的；以及基於該候選集合的重新排序的候選，使用從該候選集合中選擇的最終候選對該當前塊進行編碼或解碼。