TW202408234A - 視訊編解碼系統中具有混合的跨分量預測的方法和裝置 - Google Patents

Abstract

一種用於畫面間CCLM預測的方法和裝置。依據該方法，決定與第一色彩塊和第二色彩塊相關的一個或複數個跨色彩模型的一個或者複數個模型參數。透過將一個或複數個跨色彩模型應用於第一色彩塊對應的已重構或已預測第一色彩像素，推導第二色彩塊的跨分量預測子。透過使用跨分量預測子或組合跨分量預測子與第二色彩塊的目標模式預測子，推導第二色彩塊的最終預測子。透過使用包括最終預測子的預測資料，編碼或解碼第二色彩塊。

Description

視訊編解碼系統中具有混合的跨分量預測的方法和裝置

本發明涉及視訊編解碼系統。具體地，本發明涉及視訊編解碼系統中透過混合跨分量線性模型預測子和畫面間模式預測子的新視訊編解碼工具。

通用視訊編解碼（Versatile Video Coding，VVC）是由ITU-T視訊編解碼專家組（Video Coding Experts Group，VCEG）的聯合視訊專家組（Joint Video Experts Team，JVET）和ISO/IEC運動圖像專家組（Moving Picture Experts Group，MPEG）開發的最新的國際視訊編解碼標準。該標準已被發佈作為ISO標準發佈：ISO/IEC 23090-3:2021，資訊技術-沉浸式媒體編解碼表示-第3部分：通用視訊編碼，其於2021年2月被發佈。透過添加更多的編解碼工具，以提高編解碼效率，並處理包括三維（3-Dimensional，3D）視訊訊號的各種類型視訊源，VVC是在其前身HEVC（High Efficiency Video Coding，高效視訊編碼）的基礎上開發而來的。

第1A圖示出了包括環路處理的示例性自適應畫面間(Inter)/畫面內(Intra)視訊編碼系統。對於畫面內預測，預測資料是基於當前圖片中先前編解碼的視訊資料而推導的。對於畫面間預測112，在編碼器側執行運動估計（Motion Estimation，ME），並且基於ME的結果執行運動補償（Motion Compensation，MC），以提供從其他圖片推導的預測資料和運動資料。開關114選擇畫面內預測110或畫面間預測112，並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差。然後預測誤差依次由變換（Transform，T）118和量化（Quantization，Q）120進行處理。然後，已變換與已量化殘差由熵編碼器122編解碼，以被包括在與已壓縮視訊資料對應的視訊位元流中。然後，將與變換係數相關的位元流與諸如與畫面內預測和畫面間預測相關的運動模式和編碼模式的輔助資訊，以及諸如應用於底層圖像區域的環路濾波器相關的參數的其他資訊一起打包。如第1A圖所示，將與畫面內預測110、畫面間預測112和環路濾波器130相關的輔助資訊提供給熵編碼器122。當使用畫面間預測模式時，一個或複數個參考圖片也必須在編碼器端進行重構。因此，已變換與已量化殘差由逆量化（Inverse Quantization，IQ）124和逆變換（Inverse Transformation，IT）126處理，以恢復該殘差。然後，在重構（Reconstruction，REC）128處，將殘差添加回到預測資料136，以重構視訊資料。已重構視訊資料可以被存儲在參考圖片暫存器134中，並用於其他幀的預測。

如第1A圖所示，傳入的視訊資料在編碼系統中經歷一系列處理。來自REC 128的已重構視訊資料可能由於一系列處理而受到各種損失。因此，為了提高視訊品質，在已重構視訊資料被存儲在參考圖片暫存器134中之前，通常將環路濾波器130應用於已重構視訊資料。例如，可以採用去塊濾波器（Deblocking Filter，DF）、樣本自適應偏移（Sample Adaptive Offset，SAO）和自適應環路濾波器（Adaptive Loop Filter，ALF）。環路濾波器資訊可能需要被合併在位元流中，以使解碼器能夠適當地恢復所需資訊。因此，環路濾波器資訊也被提供給熵編碼器122，用於合併於位元流中。在第1A圖中，在已重構樣本被存儲在參考圖片暫存器134中之前，環路濾波器130被應用於已重構視訊。第1A圖中的系統旨在說明典型的視訊編碼器的示例性結構。它可以對應於高效視訊編解碼（High Efficiency Video Coding，HEVC）系統、VP8、VP9、H.264、VVC或任何其他視訊編解碼標準。

如第1B圖所示，由於解碼器只需逆量化124和逆變換126，因此除了變換118和量化120之外，解碼器可以使用與編碼器類似或部分相同的功能塊。解碼器使用熵解碼器140，而不是熵編碼器122，以將視訊位元流解碼為已量化變換係數和所需的編解碼資訊（例如，ILPF資訊、畫面內預測資訊和畫面間預測資訊）。解碼器側的畫面內預測150不需要執行模式搜索。相反，解碼器只需依據從熵解碼器140接收到的畫面內預測資訊，生成畫面內預測。此外，對於畫面間預測，解碼器只需依據從熵解碼器140接收的畫面間預測資訊，執行運動補償152，而不需要運動估計。

依據VVC，類似於HEVC，輸入圖片被分割為複數個非重疊方塊區域，稱為編解碼樹單元（Coding Tree Unit，CTU）。每個CTU可以被分割為一個或複數個更小尺寸的編解碼單元（Coding Unit，CU）。得到的CU分割可以是正方形形狀的或矩形形狀的。同時，VVC將CTU劃分為複數個預測單元（Prediction Unit，PU），作為單位以應用預測處理，例如畫面間預測、畫面內預測等。

本發明提出了各種新編解碼工具來提高VVC之外的編解碼效率。特別地，一種新編解碼工具涉及畫面間CCLM，其可以混合跨色彩LM預測子和非畫面內模式預測子。

本發明公開了一種視訊編碼系統中用於預測的方法和裝置。依據該方法，接收與包括第一色彩塊和第二色彩塊的當前塊相關的輸入資料，其中該輸入資料包括在編碼器側待編碼的當前塊的像素資料或在解碼器側待解碼的與當前塊相關的已編碼資料，第一色彩塊以目標模式進行編解碼，目標模式指的是畫面間模式或畫面內塊複製模式。決定與第一色彩塊和第二色彩塊相關的一個或複數個跨色彩模型的一個或者複數個模型參數。透過將一個或複數個跨色彩模型應用於第一色彩塊的對應的已重構或已預測第一色彩像素，推導第二色彩塊的跨分量預測子。透過使用跨分量預測子或組合跨分量預測子與第二色彩塊的目標模式預測子，推導第二色彩塊的最終預測子。透過使用包括最終預測子的預測資料，編碼或解碼第二色彩塊。

在一個實施例中，透過使用第一色彩塊的相鄰已重構第一色彩樣本和第二色彩塊的相鄰已重構第二色彩樣本，推導一個或複數個跨色彩模型的一個或多個模型參數。在另一個實施例中，透過使用第一色彩塊的相鄰已預測第一色彩樣本和第二色彩塊的相鄰已預測第二色彩樣本，推導用於一個或複數個跨色彩模型的一個或多個模型參數。

在一個實施例中，跨分量預測子是從跨分量模式集中選擇的。例如，跨分量模式集可以包括CCLM_LT模式、CCLM_L模式、CCLM_T模式、MMLM_LT模式，MMLM_L模式和MMLM_T模式中的全部或任意子集的組合。跨分量預測子可以是依據暗示規則從跨分量模式集中選擇的。在一個實施例中，暗示規則與當前塊的塊寬度、塊高度或塊面積相關。在另一個實施例中，暗示規則被推斷為被預定義。在又一個實施例中，跨分量預測子是依據一個或複數個明示索引選擇的。

在一個實施例中，使用組合畫面間合併和畫面內預測（Combined Inter Merge and Intra Prediction，CIIP）、具有範本匹配的CIIP（CIIP with Template Matching，CIIP-TM）或具有位置相關畫面內預測組合的CIIP（Position Dependent Intra Prediction Combination，CIIP-PDPC），推導目標模式預測子。

在一個實施例中，第一色彩塊對應於亮度塊，第二色彩塊對應於色度塊。

在一個實施例中，第二色彩塊的該最終預測子是使用跨分量預測子和目標模式預測子的加權和而推導的。在一個實施例中，跨分量預測子和目標模式預測子的加權和的一個或複數個權重是依據當前塊的一個或複數個相鄰塊的編解碼模式而選擇的。相鄰塊可以對應於頂部相鄰塊和左側相鄰塊中至少一個。

在一個實施例中，當以CIIP中對當前塊進行編解碼時，從位元流標示或解析一個或複數個旗標，以指示畫面間CCLM處理是否被應用於當前塊，其中，畫面間CCLM處理包括推導跨分量預測子、推導最終預測子以及透過使用包括最終預測子的預測資料編碼或解碼第二色彩塊。當畫面間CCLM處理被應用於當前塊時，跨分量預測子被推斷為依據CCLM_LT而被推導。在另一個實施例中，當畫面間CCLM處理被應用於當前塊時，跨分量預測子被推斷為候選跨分量模式集中具有最小邊界匹配成本的目標跨分量模式。

容易理解的是，如本文附圖中一般描述和說明，本發明的元件可以以各種不同的配置進行佈置和設計。如圖所示，以下對本發明系統和方法實施例的詳細描述並不旨在限制如所要求的本發明的範圍，而僅代表本發明所選擇的實施例。在說明書中，對“一個實施例”、“實施例”或類似語言的參考意味著結合實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，在說明書的各個地方出現的短語“在一個實施例中”或“在實施例中”不一定都指同一實施例。

此外，所描述的特徵、結構或特性可以在一個或複數個實施例中以任何合適的方式進行組合。然而，本領域的通常知識者將認識到，本發明可以被實施，而沒有一個或複數個特定細節，或者使用其他方法、元件等。在其他情況下，為了避免混淆本發明的各方面，沒有詳細示出或描述公知的結構或操作。本發明的圖示實施例將透過參考附圖以便最佳地被理解，其中相同的部分自始至終由相同的數位表示。以下描述僅作為示例，並且簡單地示出了與本發明所要求保護的一致的設備和方法的某些選定實施例。

VVC標準包括各種新編解碼工具，以比HEVC標準進一步提高編解碼效率。在各種新編解碼工具中，下面回顧與本發明相關的一些編解碼工具。

具有 67 個畫面內預測模式的畫面內模式編解碼

為了捕捉自然視訊中呈現的任意邊緣方向，VVC中的方向畫面內模式的數量從HEVC中使用的33擴展到65。不在HEVC中的新方向（角度）模式如第2圖中的紅色虛線箭頭所示，且平面模式和DC模式保持不變。這些更密集的方向畫面內預測模式被應用於所有塊大小以及亮度畫面內預測和色度畫面內預測。

為了保持最可能模式（Most Probable Mode，MPM）列表生成的複雜性較低，透過考慮兩個可用的相鄰畫面內模式，使用具有6個MPM的畫面內模式編解碼方法。考慮以下三個方面，以構造MPM列表： –預設畫面內模式 –相鄰畫面內模式 –已推導畫面內模式

多參考線 畫面內 預測

多參考線（Multiple Reference Line，MRL）畫面內預測使用更多的參考線用於畫面內預測。第3圖中，描述了4條參考線的示例，其中段A和段F的樣本不是從已重構相鄰樣本中獲取的，而是分別由來自段B和E的最接近的樣本填充的。HEVC畫面內圖片預測使用最近的參考線（即參考線0）。在MRL中，使用2條額外線（參考線1和參考線3）。

所選參考線的索引（mrl_idx）被標示，並用於生成畫面內預測子。對於大於0的參考線 idx，在MPM列表中僅包括額外的參考線模式，並且僅標示 mpm索引，而沒有剩餘模式。參考線索引在畫面內預測模式之前被標示，並且在非零參考線索引被標示的情況下，從畫面內預測模型中排除平面模式。

MRL被禁能用於CTU內的第一條線的塊，以防止使用當前CTU行之外的擴展參考樣本。此外，當使用額外線時，位置相關預測組合（Position-Dependent Prediction Combination，PDPC）被禁能。對於MRL模式，非零參考線索引的DC畫面內預測模式中的DC值的推導與參考線索引0的DC畫面內預測模式中的DC值的推導對齊MRL需要存儲CTU的3條相鄰亮度參考線來生成預測。跨分量線性模型（Cross-Component Linear Model，CCLM）工具還需要3條相鄰亮度參考線用於其下採樣濾波器。使用相同3條線的MRL的定義與CCLM一致，以減少解碼器的存儲需求。

畫面內 子分割

依據塊大小，畫面內子分割（Intra Sub-Partition，ISP）將亮度畫面內預測塊垂直或水平劃分為2或4個子分割。例如，ISP的最小塊大小為4x8（或8x4）。如果塊大小大於4x8（或8x4），則相應的塊由4個子分割進行劃分。已經注意到， （具有 ）ISP塊和 （具有 ）ISP塊能夠產生具有 虛擬解碼器流水線單元（Virtual Decoder Pipeline Unit，VDPU）的潛在問題。例如，在單樹情況下的 CU具有 亮度TB和兩個相應的 色度TB。如果CU使用ISP，則亮度TB將被劃分為四個 TB（只水平劃分是可能的），每個TB都小於 塊。然而，在ISP目前設計中，色度塊沒有被劃分。因此，兩個色度分量的大小將大於 塊。類似地，使用ISP的 CU，可以創建類似的情景。因此，這兩種情況是 解碼器流水線的問題。基於此，能夠使用ISP的CU大小被限制為 的最大值。第4A圖和第4B圖顯示了這兩種可能性的示例。所有子分割都滿足至少有16個樣本的條件。

在ISP中，不允許1xN和2xN子塊預測依賴於編解碼塊的已先前解碼1xN和2xN子塊的已重構值，使得子塊的最小預測寬度變為四個樣本。例如，使用具有垂直劃分的ISP所編解碼的8xN（N＞4）編解碼塊被劃分為每個大小為4xN的兩個預測區域以及大小為2xN的四個變換。此外，使用具有垂直劃分的ISP編解碼的4xN編解碼塊是使用完整的4xN塊而進行預測的；且每個為1xN的四個變換被使用。儘管允許變換大小為1xN和2xN，然，可以並行地執行這些塊4xN區域中的變換。例如，當4xN預測區域包含四個1xN變換時，在水平方向上沒有變換；垂直方向上的變換可以被執行為垂直方向上單個4xN變換。類似地，當4xN預測區域包含兩個2xN變換塊時，可以並行地進行兩個2xN塊在每個方向（水平和垂直）上的變換操作。因此，與處理4x4常規編解碼的畫面內塊相比，在處理這些更小的塊上沒有增加延遲。

對於每個子分割，透過將殘差訊號添加到預測訊號，獲得已重構樣本。此處，殘差訊號是透過諸如熵解碼、逆量化和逆變換等處理生成的。因此，每個子分割的已重構樣本值可用，以生成下一個子分割的預測，並且每個子分割連續地被處理。此外，待處理的第一個子分割是包含CU的左側頂部樣本，然後繼續向下（水平分割）或向右（垂直分割）的一個。因此，用於生成子分割預測訊號的參考樣本僅位於線的左側和上方。所有子分割共用相同的畫面內模式。

矩陣加權 畫面內 預測

矩陣加權畫面內預測（Matrix Weighted Intra Prediction，MIP）方法是VVC中新添加的畫面內預測技術。對於預測寬度 和高度 的矩形塊的樣本，MIP將位於該塊左側的 個已重構相鄰邊界樣本的一條線和位於該塊上方的 個已重構相鄰邊界樣本的一條線作為輸入。如果已重構樣本不可用，則它們是按照傳統畫面內預測中所做的那樣生成的。預測訊號的生成基於以下三個步驟，即如第5圖所示的平均、矩陣向量乘法和線性插值。位於塊左側的H個已重構相鄰邊界樣本512的一條線和位於塊上方的 個已重構相鄰邊界樣本510的一條線如點填充的小方形所示。在平均處理之後，邊界樣本被下採樣到頂部邊界線514和左側邊界線516。已下採樣樣本被提供給矩陣向量乘法單元520，以生成下採樣預測塊530。然後，插值處理被應用，以生成預測塊540。

對相鄰樣本進行平均

在邊界樣本中，透過基於塊大小和形狀進行平均，四個樣本或八個樣本被選擇。具體地，透過依據取決於塊大小的預定義規則對相鄰邊界樣本進行平均，輸入邊界 和輸入邊界 被減少成更小的邊界 和邊界 。然後，將兩個已減少的邊界 和 被級聯成已減少邊界向量 ，其因此是 的塊的四倍大小，是所有其他形狀的塊的八倍大小。如果 mode是指MIP模式，則該級聯(concatenation)被定義如下：

矩陣乘法

將平均樣本作為輸入，執行矩陣向量乘法，然後再執行添加偏移。結果是對原始塊中的樣本的子採樣集合的已減少預測訊號。除了已減少輸入向量 ，生成已減少預測訊號 ，其是對寬度 和高度 的已下採樣塊的訊號。此處， 和 被定義為：

透過計算矩陣向量乘積，並添加偏移，計算已減少預測訊號 ： .

此處， 是矩陣，其具有 行和4列，以用於 ，並且具有8列，以用於其他情況。 是 大小的向量。矩陣 和偏移向量 取自 , , 中的一個集合。索引 的定義如下：

此處，矩陣A的每個係數以8位元精度表示。集合 包括16個矩陣 ，每個矩陣為16行4列，以及16個偏移向量 ，每個偏移向量的大小為16。該集合的矩陣和偏移向量用於大小為 的塊。集合 包括8個矩陣 ，每個矩陣為16行和8列，以及8個偏移向量 ，每個偏移向量的大小為16。集合 包括6個矩陣 ，每個矩陣為64行和8列，以及6個偏移向量 組成，每個偏移向量的大小為64。

插值

透過線性插值，其是每個方向上的單步線性插值，剩餘位置處的預測訊號是從對已子採樣集合的預測訊號生成的。無論塊形狀或塊大小如何，插值是首先在水平方向執行，然後在垂直方向執行。

MIP 模式的標示 (Signalling) 和與其他編碼工具的協調 (Harmonization)

對於畫面內模式中的每個編解碼單元（Coding Unit，CU），指示MIP模式是否被應用的旗標被發送。如果MIP模式將被應用，則MIP模式 被標示。對於MIP模式，決定該模式是否被轉置的轉置旗標 和決定哪個矩陣將用於給定MIP模式的MIP模式Id 被推導如下。

透過考慮以下方面，MIP編解碼模式與其他編解碼工具進行協調： –使能低頻不可分離變換（Low-Frequency Non-Separable Transform，LFNST），以用於對較大塊的MIP。此處，平面模式的LFNST變換被使用 –與傳統畫面內預測模式相同，執行MIP的參考樣本推導 –對於MIP預測中使用的上採樣步驟，使用原始參考樣本，而不是下採樣樣本 –在上採樣之前執行剪裁，而不是在上採樣之後。 –無論最大變換大小如何，允許MIP最多至64x64。 –MIP模式的數量為32，用於sizeId=0，為16，用於sizeId=1，為12，用於sizeId=2。

畫面內 塊複製

畫面內塊複製（Intra Block Copy，IBC）是關於螢幕內容編解碼（Screen Content Coding，SCC）的HEVC擴展中採用的工具。眾所周知，它顯著提高了螢幕內容材料的編解碼效率。由於IBC模式被實施為塊級編解碼模式，因此在編碼器處執行塊匹配（Block Matching，BM），以找到每個CU的最佳塊向量（或運動向量）。此處，塊向量用於指示從當前塊到參考塊的位移，該參考塊已被重構於在當前圖片內。IBC編解碼的CU的亮度塊向量為整數精度。色度塊向量也被舍入為整數精度。當與自適應運動向量解析度（Adaptive Motion Vector Resolution，AMVR）組合時，IBC模式可以在1-像素運動向量精度和4-像素運動向量精度之間切換。用於IBC編解碼的CU的IBC模式被視為除了畫面內預測模式或畫面間預測模式之外的第三個預測模式。IBC模式可適用於寬度和高度均小於或等於64個亮度樣本的CU。

在編碼器側，基於散列的運動估計被執行用於IBC。編碼器對寬度或高度不大於16個亮度樣本的塊執行RD檢查。對於非合併模式，使用基於散列搜索，先執行塊向量搜索。如果散列搜索沒有返回有效的候選，則將執行基於塊匹配的本地搜索。

在基於散列搜索中，當前塊和參考塊之間的散列密鑰匹配（32位元CRC）被擴展到所有允許的塊大小。當前圖片中每個位置的散列密鑰計算基於4×4個子塊。對於更大大小的當前塊，當所有4×4個子塊的所有散列密鑰與相應參考位置中的散列密鑰匹配時，決定散列密鑰與參考塊的散列密鑰相匹配。如果發現複數個參考塊的散列密鑰與當前塊的散列密鑰相匹配，則計算每個匹配的參考的塊向量成本，並選擇最小成本的一個。

在塊匹配搜索中，搜索範圍被設置為覆蓋先前CTU和當前CTU。

在CU級，用旗標，IBC模式被標示，並且其可以被標示作為IBC AMVP（Advanced Motion Vector Prediction，高級運動向量預測）模式或IBC跳過/合併模式，如下： –IBC跳過/合併模式：合併候選索引用於指示來自相鄰候選IBC編解碼塊的的列表中哪個塊向量用於預測當前塊。合併列表包括空間候選、HMVP（History based Motion Vector Prediction，基於歷史的運動向量預測）候選和成對候選。 –IBC AMVP模式：塊向量差以與運動向量差相同的方式進行編解碼。塊向量預測方法使用兩個候選作為預測子，一個來自左側相鄰，一個來自上方相鄰（如果是IBC編解碼的）。當任一相鄰都不可用時，將使用默認塊向量作為預測子。旗標被標示，以指示塊向量預測子索引。

IBC 參考區域

為了降低記憶體消耗和解碼器複雜性，VVC中的IBC允許僅預定義區域的已重構部分包括當前CTU的區域和左側CTU的一些區域。第6圖顯示了IBC模式的參考區域，其中每個塊代表64x64亮度採樣單元。依據當前編解碼的CU在當前CTU內的位置，如下適用： –使用當前圖片參考（Current Picture Referencing，CPR）模式，如果當前塊落入當前CTU的左上64x64塊（第6圖中的情況610），則除了當前CTU中已經重構樣本外，它還可以參考左側CTU的右下64x64塊中的參考樣本。（CPR的更多細節可參考JVET-T2002 (Jianle Chen, et. al., “Algorithm description for Versatile Video Coding and Test Model 11 (VTM 11)”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 20th Meeting, by teleconference, 7 – 16 October 2020, Document: JVET-T2002)）。使用CPR模式，當前塊還可以參考左側CTU的左下64x64塊中的參考樣本和左側CTU的右上64x64塊中的參考樣本。 –使用CPR模式，如果當前塊落入當前CTU的右上64x64塊（第6圖中的情況620），則除了當前CTU中已經重構的樣本之外，如果相對於當前CTU亮度位置（0，64）尚未被重構，則當前塊還可以參考左側CTU的左下64x64塊和右下64x64塊中的參考樣本；否則，當前塊也可以參考左側CTU的右下64x64塊中的參考樣本。 –使用CPR模式，如果當前塊落入當前CTU的左下64x64塊（第6圖中的情況630），則除了當前CTU中已經重構的樣本之外，如果相對於當前CTU的亮度位置（64，0）尚未被重構，則當前塊還可以參考右上64x64塊左側CTU的和右下64x64塊中的參考樣本。否則，使用CPR模式，當前塊也可以參考左側CTU的右下64x64塊中的參考樣本。 –使用CPR模式，如果當前塊落入當前CTU的右下64x64塊（第6圖中的情況640），則它可以僅參考當前CTU中已經重構的樣本。

這一限制允許IBC模式使用硬體實施的本地片上記憶體來實施。

色度殘差的 聯合編解碼

VVC支持色度殘差的聯合編解碼（Joint Coding of Chroma Residual，JCCR）工具，其中色度殘差被聯合編解碼。JCCR模式的使用（啟動）由TU級旗標TU_joint_cbcr_recurial_flag指示，並且所選擇的模式由色度CBF暗示地指示。如果TU的色度CBF中的一個或兩個等於1，則旗標tu_joint_ccr_residual_flag存在。在PPS（Picture Parameter Set，圖片參數集）和切片頭中，色度QP偏移值被標示，用於JCCR模式，以區別於被標示用於常規色度殘差編解碼模式的常規色度QP偏移值。這些色度QP偏移值用於推導使用JCCR模式所編解碼的一些塊的色度QP值。JCCR模式有3個子模式。當對應的JCCR子模式（表1中的子模式2）在TU中處於啟動狀態時，在該TU的量化和解碼期間，將該色度QP偏移添加到所應用的亮度推導的色度QP。對於其他JCCR子模式（表1中的子模式1和子模式3），以與傳統Cb塊或Cr塊相同的方式，推導色度QP。表1中示出了來自所發送的變換塊的色度殘差（resCb和resCr）的重構處理。當JCCR模式被啟動時，一個單個聯合色度殘差塊（表1中的resJointC[x][y]）被標示，並且考慮諸如tu_cbf_Cb、tu_cbf_Cr和CSign等的資訊，其是切片頭中指定的符號值，Cb的殘差塊（resCb）和Cr的殘差塊（resCr）被推導。

在編碼器側，如下文解釋，聯合色度分量被推導。依據模式（表中列出的），resJointC｛1,2｝由編碼器生成，如下： –如果模式等於2（單個殘差，具有重構Cb=C，Cr=CSign*C的），則依據如下，決定聯合殘差。 resJointC[x][y]=（resCb[x][y]+CSign*resCr[x][y=）/2 –否則，如果模式等於1（單個殘差，具有重構Cb=C，Cr=（CSign*C）/2），則依據如下，決定聯合殘差。 resJointC[x][y]=（4*resCb[x][y=2*CSign*resCr[x][y]）/5 –否則（模式等於3，即單個殘差，重構Cr=C，Cb=（CSign*C）/2），依據如下，決定聯合殘差。 resJointC[x][y]=（4*resCr[x][y=2*CSign*resCb[x][y]）/5 表 1 色度殘差的 重構。值 CSign 是 切片頭中指定的符號值（ +1 或 − 1 ）， resJointC 是 傳輸的殘差

tu_cbf_cb	tu_cbf_cr	Cb 殘差和Cr殘差的重構	模式
1	0	resCb[x][y] = resJointC[x][y] resCr[x][y] = ( CSign * resJointC[x][y] ) ＞＞ 1	1
1	1	resCb[x][y] = resJointC[x][y] resCr[x][y] = CSign * resJointC[x][y]	2
0	1	resCb[x][y] = ( CSign * resJointC[x][y] ) ＞＞ 1 resCr[x][y] = resJointC[x][y]	3

上述三種聯合色度編解碼子模式僅被支持於I切片中。在P切片和B切片中，僅模式2被支持。因此，在P切片和B切片中，只有當兩個色度cbf都為1時，語法元素 tu_joint_cbcr_recurial_flag才存在。

JCCR模式可以與色度變換跳過（Transform Skip，TS）模式（TS模式的更多細節可參見JVET-T2002第3.9.3節）組合。為了加快編碼器決策，JCCR變換選擇取決於Cb分量和Cr分量的獨立編解碼是否選擇DCT-2或TS作為最佳變換，以及在獨立色度編解碼中是否存在非零係數。具體地，如果一個色度分量選擇DCT-2（或TS），而另一個分量全為零，或者兩個色度分量都選擇DCT-2（或TS），則在JCCR編碼中將僅考慮DCT-2。否則，如果一個分量選擇DCT-2而另一個選擇TS，則在JCCR編碼中將同時考慮DCT-2和TS。

跨分量線性模型（ Cross Component Linear Model ， CCLM ）

CCLM模式（有時縮寫為LM模式）背後的主要思想如下：可以透過線性模型，其參數是從與塊相鄰的已經重構的亮度樣本和色度樣本中推導的，該塊的色度分量是從已同位重構亮度樣本中預測的。

在VVC中，透過從已重構亮度樣本中預測色度樣本，CCLM模式利用通道間相關性。該預測是使用以下形式的線性模型實施的： .                                                  (1)

其中， 表示CU中的已預測色度樣本， 表示非4:4:4色彩格式的情況下所下採樣的同一CU的已重構亮度樣本。模型參數 和 是基於編碼器和解碼器側的已重構相鄰亮度樣本和色度樣本而推導的，而無明示指令。

在VVC中指定三種CCLM模式，即CCLM_LT、CCLM_L和CCLM_T。這三種模式關於用於模型參數推導的參考樣本的位置而不同。僅來自頂部邊界的樣本在CCLM_T模式中被涉及，而僅來自左側邊界的樣本在CCLM_L模式中被涉及。在CCLM_LT模式中，來自頂部邊界和左側邊界的採樣被使用。

總體而言，CCLM模式的預測處理包括三個步驟： 1）對亮度塊及其相鄰重構樣本進行下採樣，以匹配相應色度塊的大小， 2）基於已重構相鄰樣本的模型參數推導，以及 3）應用模型公式（1），以生成色度畫面內預測樣本。

亮度分量的下採樣 (Down-sampling) ：為了匹配4:2:0或4:2:2色彩格式視訊序列的色度樣本位置，可以對亮度採樣應用兩種類型的下採樣濾波器，其在水平方向和垂直方向上都具有2比1的下採樣比。這兩個濾波器分別對應於“類型-0”和“類型-2”4:2:0色度格式內容，由如下公式得到。 .                                                                                                                         (2)

基於SPS級旗標資訊，將二維6抽頭（即 f ₂ ）或5抽頭（即 f ₁ ）濾波器應用於當前塊內的亮度樣本及其相鄰亮度樣本。SPS級是指序列參數集級。如果當前塊的頂部線是CTU邊界，則會發生異常。在此種情況下，將一維濾波器 應用於上述相鄰亮度樣本，以為了避免在CTU邊界上方使用多於一條的亮度線。

模型參數推導處理：來自公式（1）的模型參數 和 是基於編碼器和解碼器側的已重構相鄰亮度樣本和色度樣本而推導的，以避免需要任何標示開銷。在最初採用版本的CCLM模式中，使用線性最小均方誤差（Linear Minimum Mean Square Error，LMMSE）估計器來推導參數。然而，在最終設計中，僅涉及四個樣本，以降低計算複雜度。第7圖顯示了“類型-0”內容的 色度塊710、相應的 亮度塊720及其相鄰樣本（如填充的圓形和三角形所述）的相對樣本位置。

在第7圖的示例中，顯示了CCLM_LT模式中使用的四個樣本，其由三角形形狀標記。它們位於頂部邊界的 和 位置，以及位於左側邊界的 位置和 位置。在CCLM_T模式和CCLM_L模式中，頂部邊界和左側邊界被擴展到（M+N）個樣本的大小，用於模型參數推導的四個樣本位於 和 位置。

一旦選擇了四個樣本，四個比較操作用於決定其中兩個最小亮度樣本值和兩個最大亮度樣本值。設 表示兩個最大亮度樣本值的平均值， 表示兩個最小亮度樣本值的平均值。類似地，設 和 表示相應色度樣本值的平均值。然後，依據以下公式，獲得線性模型參數： .                                             (3)

在該公式中，計算參數 的除法操作是使用查閱資料表而實施的。為了減少存儲該表所需的記憶體，為最大值和最小值之間的差的 diff值和參數 由指數計數製錶達。此處， diff值近似於4位元有效部分和指數。因此，1/ diff的表僅包括16個元素。因而，這具有降低計算複雜度和減少存儲表所需的記憶體大小的優點。

MMLM 概述

正如其名所指示，原始CCLM模式採用一個線性模型，用於從整個CU的亮度樣本中預測色度樣本，而在MMLM（Multiple Model CCLM，多模型CCLM）中，可以有兩個模型。在MMLM中，當前塊的相鄰亮度樣本和相鄰色度樣本被分類為兩組，每組被用於訓練集，以推導線性模型（即，特定的α和β被推導用於特定組）。此外，還基於用於相鄰亮度樣本的相同分類規則，對當前亮度塊的樣本進行分類。 o Threshold（閾值）被計算為相鄰已重構亮度樣本的平均值。Rec′L[x,y] ＜= Threshold 的相鄰樣本被分類到組1；而Rec′L[x,y] ＞ Threshold 的相鄰樣本被分類到組2。 o 相應地，使用線性模型，獲得色度的預測，如下：

色度推導模式（ Derived Mode ， DM ）模式

對於色度DM模式，覆蓋當前色度塊的中心位置的對應（同位）亮度塊的畫面內預測模式直接被繼承。

解碼 器側 畫面內 模式推導（ Decoder Side Intra Mode Derivation ， DIMD ）

當DIMD被應用時，兩個畫面內模式從已重構相鄰樣本中被推導，並且使用從梯度中推導的權重，這兩個預測子與平面模式預測子進行組合。DIMD模式被用作可選的預測模式，並且總是在高複雜度RDO模式中進行檢查。

為了暗示地推導塊的畫面內預測模式，在編碼器和解碼器側執行紋理梯度分析。該處理從具有對應於65個角度模式的65個條目的空梯度直方圖（Histogram of Gradient，HoG）開始。這些條目的幅度是在紋理梯度分析期間決定的。

在第一步驟中，DIMD分別從當前塊的左側和上方採取T=3列與線的範本。該區域被用於作為基於梯度的畫面內預測模式推導的參考。

在第二步驟中，水平Sobel濾波器和垂直Sobel濾波器被應用於所有3×3視窗位置，以範本中線的像素為中心。在每個視窗位置處，Sobel濾波器將純水平方向和垂直方向的強度分別計算為 和 。然後，視窗的紋理角度被計算為： (4)

其可以被轉換成65個角度畫面內預測模式中的一個。一旦當前視窗的畫面內預測模式索引被推導為 idx，則其在HoG[ idx]中的條目的幅度是透過以下相加來更新的： (5)

第8A-C圖示出了HoG的示例，其是在對範本中的所有像素位置應用上述操作後計算得到的。第8A圖示出了當前塊810的選定範本820的示例。範本820包括當前塊上方的T條線和當前塊左側的當前塊左側的T列。對於當前塊的畫面內預測，當前塊上方和左側的區域830對應於已重構區域，該塊下方和右側的區域840對應於不可用區域。第8B圖顯示了T=3的示例，並且HoG被計算用於中間線中的像素860和中間列中的像素862。例如，對於像素852，使用3x3視窗850。第8C圖示出了基於從公式（4）決定的角度畫面內預測模式的公式（16）計算的幅度（ ampl）的示例。

一旦HoG被計算，具有兩個最高直方圖條的索引被選擇作為塊的兩個暗示推導的畫面內預測模式，並進一步與平面模式進行組合作為DIMD模式的預測。預測融合被應用為上述三個預測子的加權平均。為此，平面的權重被固定為21/64（~1/3）。然後，43/64（~2/3）的剩餘權重在兩個HoG IPM之間共用，與它們的HoG條的幅度成比例。第9圖示出了該混合處理的示例。如第9圖所示，依據具有直方圖條910中兩個最高條的索引，選擇兩個畫面內模式（M1 912和M2 914）。三個預測子（940、942和944）用於形成已混合預測。這三個預測子對應於將M1、M2和平面畫面內模式（分別為920、922和924）應用於參考像素930，以形成相應的預測子。這三個預測子由相應的權重因數（ω1, ω2 和 ω3）950進行加權。使用加法器952對已加權預測子進行相加，以生成已混合預測子960。

此外，兩個暗示推導的畫面內模式被包括MPM清單中，從而在MPM列表被構造之前，DIMD處理被執行。DIMD塊的主推導畫面內模式與塊一起存儲，並用於相鄰塊的MPM列表構造。

基於範本的模式內推導（ Template-based Intra Mode Derivation ， TIMD ）

TIMD模式在編碼器和解碼器處使用相鄰範本而暗示推導CU的畫面內預測模式，而不是標示畫面內預測模型訊號給解碼器。如第10圖所示，當前塊1010的範本（1012和1014）的預測樣本是使用每個候選模式的範本的參考樣本（1020和1022）生成的。成本被計算為範本的預測樣本和重構樣本之間的SATD（Sum of Absolute Transformed Differences，絕對變換差之和）。成本最小的畫面內預測模式被選擇作為DIMD模式，並用於CU的畫面內預測。候選模式可以是如在VVC中的67個畫面內預測模式，或可以被擴展到131個畫面內預測模式。通常，MPM可以提供線索，以指示CU的方向資訊。因此，為了減少畫面內模式搜索空間並利用CU的特性，可以從MPM列表中暗示地推導畫面內預測模式。

對於MPM中的每個畫面內預測模式，範本的預測樣本和重構樣本之間的SATD被計算。具有最小SATD的前兩個畫面內預測模式被選擇作為TIMD模式。在應用PDPC處理後，將這兩種TIMD模式與權重進行融合，並將該加權的畫面內預測用於對當前CU進行編解碼。位置相關畫面內預測組合（Position Dependent intra Prediction Combination，PDPC）被包括在TIMD模式的推導中。

將兩種選擇模式的成本與閾值進行比較，在測試中，2的成本因數被應用為如下： costMode2＜2*costMode1。

如果該條件成立，則應用融合（Fusion），否則僅使用模式1。模式的權重依據其SATD成本計算如下： weight1 = costMode2/(costMode1+ costMode2) weight2 = 1 - weight1.

畫面間 預測概述

依據JVET-T2002第3.4節（Jianle Chen, et. al., “Algorithm description for Versatile Video Coding and Test Model 11 (VTM 11), Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 20th Meeting, by teleconference, 7 – 16 October 2020, Document: JVET-T2002)），對於每個已畫面間預測CU，運動參數包括運動向量、參考圖片索引和參考圖片清單使用索引以及VVC的新編解碼特徵所需的用於畫面間預測樣本生成的額外資訊。運動參數可以以明示或暗示方式被標示。當用跳過模式對CU進行編碼時，該CU與一個PU相關，並且不具有有效的殘差係數、不具有已編解碼運動向量delta或參考圖片索引。透過當前CU的運動參數，其是從相鄰CU獲得的，包括空間和時間候選，以及VVC中引入的額外調度，合併模式被指定。合併模式可以應用於任何已畫面間預測CU，不僅僅用於跳過模式。合併模式的可選方案是運動參數的明示傳輸，其中運動向量、每個參考圖片列表的對應參考圖片索引和參考圖片列表使用旗標以及其他所需資訊按每個CU被明示地標示。 除了HEVC中的畫面間編解碼特徵外，VVC還包括許多新的和細化的畫面間預測編解碼工具，如下所列出： –擴展合併預測 –具有MVD的合併模式（Merge mode with MVD，MMVD） –對稱MVD（Symmetric MVD，SMVD）標示 –仿射運動補償預測 –基於子塊的時間運動向量預測（Subblock-based temporal motion vector prediction，SbTMVP） –自適應運動向量解析度（Adaptive motion vector resolution，AMVR） –運動場存儲：十六分之一亮度樣本MV存儲和8x8運動場壓縮 –具有CU級權重的雙預測（Bi-prediction with CU-level weight，BCW） –雙向光流（Bi-directional optical flow，BDOF） –解碼器側運動向量細化（Decoder side motion vector refinement，DMVR） –幾何分割模式（Geometric partitioning mode，GPM） –組合畫面間和畫面內預測（Combined inter and intra prediction，CIIP）

以下描述提供了VVC中指定的那些畫面間預測方法的細節。

擴展合併預測 (Extended Merge Prediction)

在VVC中，透過按順序包括以下五種類型的候選，構造合併候選列表： 1）來自空間相鄰CU的空間MVP 2）來自同位CU的時間MVP 3）來自FIFO表中基於歷史的MVP 4）成對平均MVP 5）零MV。

合併列表的大小被標示於序列參數集（Sequence Parameter Set，SPS）頭中，並且合併列表的最大允許大小為6。對於以合併模式編解碼的每個CU，使用截斷的一元二值化（Truncated Unary，TU）對最佳合併候選的索引進行編碼。合併索引的第一個二進制碼（bin）使用上下文進行編解碼，並且對剩餘二進制碼使用旁路編碼。

本節中提供了合併候選的每個類別的推導處理。正如在HEVC中所執行的，VVC還支持在一定大小的區域內對所有CU的合併候選列表（或稱為合併候選列表）進行並行推導。

空間候選推導

VVC中空間合併候選的推導與HEVC中的推導相同，除了前兩個合併候選的位置被互換。在位於第11圖所示位置的候選中選擇當前CU 1110的最多四個合併候選（B ₀、A ₀、B ₁和A ₁）。推導的順序是B ₀、A ₀、B ₁、A ₁和B ₂。僅當位置B0、A0、B1、A1的一個或複數個相鄰CU不可用（例如屬於另一切片或片（tile））或被畫面內編解碼時，才考慮位置B2。在位於位置A1處的候選被添加之後，對剩餘候選的添加進行冗餘檢查，其確保具有相同運動資訊的候選從列表中被排除，從而提高了編解碼效率。為了降低計算複雜度，在上述冗餘檢查中並沒有考慮所有可能的候選對。相反，僅考慮第12圖中與箭頭鏈接的對。如果用於冗餘檢查的對應候選不具有相同的運動資訊，則僅將該候選添加到列表中。

時間候選推導

在這個步驟中，僅一個候選被添加到列表中。具體地，在推導當前CU 1310的時間合併候選時，基於第13圖所示的屬於同位參考圖片的同位CU 1320，已縮放運動向量被推導。用於同位CU的推導的參考圖片清單和參考索引被明示地標示於切片頭中。如第13圖中的虛線所示，時間合併候選的已縮放運動向量1330被獲取，其是使用POC（Picture Order Count，圖片順序計數）距離tb和td而從同位CU的運動向量1340中縮放而來的，其中tb被定義為當前圖片的參考圖片與當前圖片之間的POC差，td被定義為同位圖片的參考圖片與同位圖片之間的POC差。時間合併候選的參考圖片索引被設置為等於零。

如第14圖所示，在候選C0和候選C1之間選擇時間候選的位置。如果位於位置C0處的CU不可用、被畫面內編解碼或位於CTU的當前行之外，則使用位置C1。否則，在時間合併候選的推導中使用位置C0。

基於歷史的合併候選推導

基於歷史的MVP（History-based MVP，HMVP）合併候選在空間MVP和TMVP之後被添加到合併列表中。在這種方法中，先前編解碼塊的運動資訊被存儲在表中，並用作當前CU的MVP。在編碼/解碼處理中，保留具有複數個HMVP候選的表。當遇到新的CTU行時，該表被重置（清空）。每當存在非子塊畫面間編解碼CU時，相關的運動資訊被添加到表的最後一個條目，作為新的HMVP候選。

HMVP表大小S被設置為6，這指示可以向表中添加多達5個基於歷史的MVP（History-based MVP，HMVP）候選。當將新的運動候選***到表中時，使用受約束的先進先出（First-in-first-out，FIFO）規則，其中首先應用冗餘檢查，以發現表中是否存在相同的HMVP。如果找到，則從表中刪除相同的HMVP，然後將其後所有HMVP候選向前移動，並將相同的HMVP***到表的最後一個條目。

HMVP候選可以用於合併候選列表構造處理中。按順序檢查表中最近的幾個HMVP候選，並將其在TMVP候選之後***到候選列表中。將冗餘檢查應用於HMVP候選到空間或時間合併候選。

為了減少冗餘、檢查操作次數，引入了以下簡化： 1.分別相對A1空間候選和B1空間候選，檢查表中的最後兩個條目的冗餘。 2.一旦可用合併候選的總數達到最大允許合併候選的數量減1，則終止來自HMVP的合併候選列表構造處理。

成對平均合併候選推導

使用前兩個合併候選，透過對現有合併候選列表中的預定義候選對進行平均，成對平均候選被生成。第一合併候選被定義為p0Cand，第二合併候選可以被定義為p1Cand。依據每個參考列表各自的p0Cand和p1Cand的運動向量的可用性，計算平均運動向量。如果兩個運動向量在一個列表中都可用，則即使這兩個運動向量指向不同的參考圖片，也會對這兩個運動向量進行平均，並且它的參考圖片被設置為p0Cand對應的一個。如果只有一個運動向量可用，則直接使用該運動向量；如果沒有可用的運動向量，則保持該列表無效。此外，如果p0Cand和p1Cand的半像素插值濾波器索引不同，則將其設置為0。

當添加成對平均合併候選後合併列表未滿時，最後***零MVP，直到遇到最大合併候選數量。

合併估計區域

合併估計區域（Merge estimation region，MER）允許在同一合併估計區域中進行CU的合併候選列表的獨立推導。與當前CU在相同MER內的候選塊不被包括，用於生成當前CU的合併候選列表中。此外，僅當（xCb+cbWidth）＞＞Log2ParMrgLevel大於xCb＞＞Log2ParMrgLevel並且（yCb+cbHeight）＞＞Log2Par MrgLevel大於（yCb＞＞Log2ParMrgLevel）時，才更新基於歷史的運動向量預測子候選列表的更新處理。其中（xCb，yCb）是圖片中當前CU的左上亮度樣本位置，（cbWidth，cbHeight）是CU大小。在編碼器側選擇MER大小，並在序列參數集（Sequence Parameter Set，SPS）中標示log2_parallel_merge_level_minus2。

具有 MVD 的合併模式（ Merge Mode with MVD ， MMVD ）

除了合併模式，其中，暗示推導的運動資訊直接用於當前CU的預測樣本生成，在VVC中引入了具有運動向量差的合併模式（MMVD）。在發送常規合併旗標之後，緊接著標示MMVD旗標，以指定是否將MMVD模式用於CU。

在MMVD中，在選擇合併候選（在本發明中稱為基本合併候選）之後，其由已標示MVD資訊進行進一步細化。進一步的資訊包括合併候選旗標、指定運動幅度的索引以及用於指示運動方向的索引。在MMVD模式中，用於合併列表中的前兩個候選的一個被選擇作為MV基礎。MMVD候選旗標被標示，以指定哪一個用於第一合併候選和第二合併候選之間。

距離索引指定運動幅度資訊，並指示從L0參考塊1510的起始點和L1參考塊1520的起始點（1512和1522）的預定義偏移。如第15圖所示，偏移被添加到起始MV的水平分量或垂直分量，其中，不同樣式的小圓圈對應於距中心的不同偏移。表2中指定了距離索引和預定義偏移的關係。 表 2 距離索引與預定義偏移量的關係

距離索引	0	1	2	3	4	5	6	7
偏移(以亮度樣本為單位)	1/4	1/2	1	2	4	8	16	32

方向索引表示MVD相對於起點的方向。如表2中所示，方向索引可以表示四個方向。注意的是，MVD符號的含義可以依據起始MV的資訊而變化。當起始MV是單預測MV或雙預測MV時，其中兩個列表都指向當前圖片的同一側（即，兩個參考的POC都大於當前圖片的POC，或者都小於當前圖片的POC），表3中的符號指定被添加到起始MV的MV偏移的符號。當起始MV是雙預測MV，其中兩個MV指向當前圖片的不同側（即，一個參考的POC大於當前圖片的POC，另一個參考的POC小於當前圖片的POC），並且列表0中的POC差大於列表1中的POC差時，則表3中的符號指定被添加到起始MV的列表0 MV分量的MV偏移的符號，並且列表1 MV的符號具有相反的值。否則，如果列表1中的POC差大於列表0中POC差，則表3中的符號指定被添加到起始MV的列表1 MV分量的MV偏移的符號，並且列表0 MV的符號具有相反的值。

MVD依據每個方向上POC的差進行縮放。如果兩個列表中POC的相同，則不需要縮放。否則，如第13圖所示，如果列表0中POC的差大於列表1中的POC差，則透過將L0的POC差定義為td，將L1的POC差定義為tb，縮放列表1的MVD。如果L1的POC差大於L0的POC差，則以相同的方式縮放清單0的MVD。如果起始MV是單預測的，則MVD被添加到可用MV。 表 3 – 方向索引指定的 MV 偏移的符號

方向 IDX	00	01	10	11
x-軸	+	−	N/A	N/A
y-軸	N/A	N/A	+	−

仿射運動 補償預測

在HEVC中，僅平移運動模型用於運動補償預測（Motion Compensation Prediction，MCP）。而在現實世界中，有許多種運動，例如放大/縮小、旋轉、透視運動和其他不規則運動。在VVC中，應用了基於塊的仿射變換運動補償預測。如第16A -B圖所示，塊1610的仿射運動場由第16A圖中的兩個控制點（4參數）或第16B圖中的三個控制點運動向量（6參數）的運動資訊描述。

對於4參數仿射運動模型，塊中樣本位置( x, y)處的運動向量推導為： (6)

對於6參數仿射運動模型，塊中樣本位置( x, y)處的運動向量推導為： (7)

其中，（ mv _0x ， mv _0y ）是左上角控制點的運動向量，（ mv _1x ， mv _1y ）是右上角控制點通動向量，以及（ mv _2x ， mv _2y ）是左下角控制點運動向量。

為了簡化運動補償預測，應用了基於塊的仿射變換預測。如第17圖所示，為了推導每個4×4亮度子塊的運動向量，每個子塊的中心樣本的運動向量依據上述公式被計算，並舍入到1/16分數精度。然後，應用運動補償插值濾波器，以使用推導的運動向量生成每個子塊的預測。色度分量的子塊大小也被設置為4×4。4×4色度子塊的MV被計算為同位的8x8亮度區域中的左上亮度子塊和右下亮度子塊的MV的平均值。

與平移運動畫面間預測一樣，也有兩種仿射運動畫面間預測模式：仿射合併模式和仿射AMVP模式。

仿射合併 預測 (Affine Merge Prediction)

AF_MERGE模式可應用於寬度和高度均大於或等於8的CU。在該模式中，基於空間相鄰CU的運動資訊，生成當前CU的CPMV（Control Point MV，控制點MV）。最多可以有五個CPMVP（CPMV預測）候選，並且索引被標示，以指示將用於當前CU的一個。以下三種類型的CPVM候選用於形成仿射合併候選列表： –從相鄰CU的CPMV中推斷出的繼承仿射合併候選 –使用相鄰CU的平移MV而推導的已構造仿射合併候選CPMVP –零MV

在VVC中，最多有兩個繼承仿射候選，其是從相鄰塊的仿射運動模型推導的，一個來自左側相鄰CU，另一個來自上方相鄰CU。候選塊與第11圖所示的塊相同。對於左側預測子，掃描順序為A0-＞A1，而對於上方預測子，則掃描順序為B0-＞B1-＞B2。只選擇來自每側的第一個繼承候選。在兩個繼承的候選之間不執行修剪檢查。當識別出相鄰的仿射CU時，其控制點運動向量用於推導當前CU的仿射合併列表中的CPMVP候選。如第18圖所示，如果以仿射模式對當前塊1810的相鄰左下塊A進行編解碼，則獲得包含塊A的CU 1820的左上角、右上角和左下角的運動向量 ， 和 。當用4參數仿射模型對塊A進行編解碼時，依據 和 計算當前CU（即， 和 ）的兩個CPMV。在用6參數仿射模型對塊A進行編解碼時，依據 和 計算當前CU的三個CPMV。

已構造仿射候選是指透過組合每個控制點的相鄰平移運動資訊來構造候選。如第19圖所示，控制點的運動資訊是從當前塊1910的指定空間相鄰和時間相鄰推導的。CPMV _k（k=1,2,3,4）表示第k個控制點。對於CPMV ₁，檢查B2-＞B3-＞A2塊，並使用第一個可用塊的MV。對於CPMV ₂，檢查B1-＞B0塊，對於CPMV ₃，檢查A1-＞A0塊。對於CPMV ₄，如果TMVP可用，則將其用作CPMV ₄。

在獲得四個控制點的MV之後，基於運動資訊，構造仿射合併候選。控制點MV的以下組合用於按順序構造： {CPMV1, CPMV2, CPMV3}, {CPMV1, CPMV2, CPMV4}, {CPMV1, CPMV3, CPMV4},{CPMV2, CPMV3, CPMV4}, { CPMV1, CPMV2}, { CPMV1, CPMV3}

3個CPMV的組合構成6參數仿射合併候選，2個CPMV組合構成4參數仿射合併候選項。為了避免運動縮放處理，如果控制點的參考索引不同，則丟棄控制點MV的相關組合。

在檢查繼承仿射合併候選和已構造仿射合併候選之後，如果列表仍然沒滿，則將零MV***到列表的末尾。

仿射 AMVP 預測

仿射AMVP模式可應用於寬度和高度均大於或等於16的CU。在位元流中標示CU級中的仿射旗標，以指示是否使用仿射AMVP模式，然後標示另一個旗標，以指示使用4參數仿射還是6參數仿射。在該模式中，在位元流中標示當前CU的CPMV與其預測子CPMVP的差。仿射AVMP候選列表大小為2，並且是透過按順序使用以下四種類型的CPVM候選來生成的： –從相鄰CU的CPMV推斷的繼承仿射AMVP候選 –用相鄰CU的平移MV而推導的已構造仿射AMVP候選CPMVP –來自相鄰CU的平移MV –零MV

繼承仿射AMVP候選的檢查順序與繼承仿射合併候選的檢查順序相同。唯一的區別在於，對於AVMP候選，僅考慮具有與當前塊相同的參考圖片的仿射CU。當將繼承仿射運動預測子***候選列表時，不應用修剪處理。

已構造AMVP候選可以從第19圖所示的當前CU 1910的指定空間相鄰中推導得到。使用與仿射合併候選構造中的檢查順序相同的檢查順序。此外，還檢查相鄰塊的參考圖片索引。在檢查順序中，使用畫面間編解碼且具有與當前CU中相同的參考圖片的第一個塊。當當前CU是用4參數仿射模式進行編解碼的，並且 和 都可用時，它們被添加為仿射AMVP列表中的一個候選。當當前CU是用6參數仿射模式對編解碼時，並且所有三個CPMV都可用時，它們被添加為仿射AMVP列表中的一個候選。否則，已構造AMVP候選將被設置為不可用。

如果在***有效的繼承仿射AMVP候選和已構造AMVP候選之後，仿射AMVP列表候選的數量仍然小於2，則在可用時， 、 和 將被添加為平移MV，以便預測當前CU的所有控制點MV。最後，如果仿射AMVP列表仍然未滿，則使用零MV來填充該列表。

仿射運動 資訊存儲

在VVC中，仿射CU的CPMV被存儲在單獨的暫存器中。存儲的CPMV僅用於生成最近編解碼的CU的以仿射合併模式和仿射AMVP模式的繼承CPMVP。從CPMV推導的子塊MV用於運動補償、平移MV的合併/AMVP列表的MV推導和去塊。

為了避免額外CPMV的圖像線暫存器，來自上方CTU的CU的仿射運動資料繼承被處理，不同於來自常規相鄰CU的繼承。如果仿射運動資料繼承的候選CU位於上方CTU線中，則線暫存器中的左下子塊MV和右下子塊MV，而不是CPMV，用於仿射MVP推導。透過這種方式，CPMV僅被存儲在本地暫存器中。如果候選CU是6參數仿射編解碼的，則仿射模型被降級為4參數模型。如第20圖所示，沿著頂部CTU邊界，CU的左下子塊運動向量和右下子塊運動向量用於底部CTU中CU的仿射繼承。第20圖中，線2010和線2012表示圖片的x和y座標，其原點（0,0）位於左上角。圖例2020顯示了各種運動向量的含義，其中箭頭2022表示在本地暫存器中用於仿射繼承的CPMV，箭頭2024表示在本地暫存器中用於MC/合併/跳過/AMVP/去塊/TMVP的子塊向量和行暫存器中用於仿射繼承的子塊向量，箭頭2026表示用於MC/合併/跳過/AMVP/去塊/TMVP的子塊向量。

自適應運動向量解析度（ Adaptive Motion Vector Resolution ， AMVR ）

在HEVC中，當切片頭中的use_integer_mv_flag等於0時，以四分之一亮度樣本為單位，標示運動向量差（Motion Vector Difference，MVD）（CU的運動向量和預測運動向量之間）。在VVC中，引入了一種CU級自適應運動向量解析度（Adaptive Motion Vector Resolution，AMVR）方案。AMVR允許以不同的精度進行編解碼的CU的MVD。依據當前CU的模式（常規AMVP模式或仿射AVMP模式），當前CU的MVD可以被自適應地選擇為如下： –常規AMVP模式：四分之一亮度採樣、半亮度採樣、整數亮度採樣或四亮度採樣。 –仿射AMVP模式：四分之一亮度採樣、整數亮度採樣或十六分之一亮度採樣。

如果當前CU具有至少一個非零MVD分量，則有條件地標示CU級MVD解析度指示。如果所有MVD分量（即，參考列表L0和參考列表L1的水平MVD和垂直MVD）都為零，則推斷出四分之一亮度樣本MVD解析度。

對於具有至少一個非零MVD分量的CU，將標示第一旗標，以指示四分之一亮度樣本MVD精度是否用於CU。如果第一旗標為0，則不需要進一步的標示，並且四分之一亮度樣本MVD精確度用於當前CU。否則，標示第二旗標，以指示半亮度樣本或其他MVD精度（整數或四亮度樣本）用於常規AMVP CU。在半亮度樣本的情況下，6抽頭插值濾波器，而不是默認的8抽頭插值濾波器，用於半亮度樣本位置。否則，標示第三旗標，以指示整數亮度樣本還是四亮度樣本MVD精度用於常規AMVP CU。在仿射AMVP CU的情況下，第二旗標用於指示整數值亮度樣本還是十六分之一亮度樣本MVD精度被使用。為了確保已重構MV具有預期的精度（四分之一亮度樣本、半亮度樣本、整數亮度樣本或四亮度樣本），在與MVD一起被添加之前，CU的運動向量預測子被舍入成與MVD的精度相同的精度。運動向量預測子被舍入為零（即，負運動向量預測子被舍入正無窮大，正運動向量預測子為舍入為負無窮大）。

編碼器使用RD檢查來決定當前CU的運動向量解析度。為了避免總是為每個MVD解析度執行四次CU級RD檢查，在VTM11中僅有條件地調用除四分之一亮度樣本以外的MVD精度的RD檢查。對於常規AVMP模式，首先計算四分之一亮度樣本MVD精度和整數亮度樣本MV精度的RD成本。然後，將整數亮度樣本MVD精度的RD成本與四分之一亮度樣本MVD精度的RD成本進行比較，以決定是否有必要進一步檢查四亮度樣本MVD精度的RD成本。當四分之一亮度樣本MVD精度的RD成本遠小於整數亮度樣本MVD精度的RD成本時，跳過四個亮度樣本MVD精度的RD檢查。然後，如果整數亮度樣本MVD精度的RD成本顯著大於先前測試的MVD精度中的最佳RD成本，則跳過半亮度樣本MVD精度的檢查。對於仿射AMVP模式，如果在檢查了仿射合併/跳過模式、合併/跳過模式、四分之一亮度樣本MVD精度常規AMVP模式和四分之一亮度樣本MVD精度仿射AMVP模式的速率失真成本之後，沒有選擇仿射畫面間方式，則不檢查十六分之一亮度樣本MV精度和1-像素MV精度仿射畫面間模式。此外，在四分之一亮度樣本MV精度的仿射畫面間模型中獲得的仿射參數作為被用作十六分之一亮度樣本和四分之一亮度樣本MV精度仿射畫面間模式中的起始搜索點。

具有 CU 級權重的雙預測（ Bi-Prediction with CU-level Weight ， BCW ）

在HEVC中，透過對從兩個不同的參考圖片中得到的兩個預測訊號對 和 進行平均和/或使用兩個不同運動向量，雙預測訊號 被生成。在VVC中，雙預測模式被擴展到超過簡單平均，以允許對兩個預測訊號進行加權平均。

(8)

在加權平均雙預測中允許五個權重， 。對於每個雙預測CU，以兩種方式之一決定權重w：1）對於非合併CU，權重索引在運動向量差之後被標示；2）對於合併CU，基於合併候選索引，權重索引是從相鄰塊推斷的。BCW僅應用於具有256個或更多亮度樣本的CU（即，CU寬度乘以CU高度大於或等於256）。對於低延遲圖片，所有5個權重均被使用。對於非低延遲圖片，僅3個權重（w∈{3,4,5}）被使用。在編碼器處，快速搜索演算法被應用，以找到權重索引，而不顯著增加編碼器複雜度。這些演算法總結如下。細節被公開於VTM軟體和文件JVET-L0646 (Yu-Chi Su, et. al., “CE4-related: Generalized bi-prediction improvements combined from JVET-L0197 and JVET-L0296”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 12th Meeting: Macao, CN, 3–12 Oct. 2018, Document: JVET-L0646)中。 –當與AMVR組合時，如果當前圖片是低延遲圖片，則僅有條件地檢查不相等的權重，用於1-像素運動向量精度和4-像素運動向量精度。 –當與仿射組合時，當且僅當仿射模式被選擇為當前最佳模式時，將執行仿射ME用於不相等權重。 –當雙向預測中的兩個參考圖片相同時，僅有條件地檢查不相等權重。 –當滿足某些條件時，不搜索不相等權重，這取決於當前圖片與其參考圖片之間的POC距離、編解碼QP和時間級別。

BCW權重索引是使用一個上下文編解碼的二進制碼及其後的旁路編解碼的二進制碼進行編解碼的。第一個上下文編解碼的二進制碼指示是否使用相等的權重；如果使用不相等的權重，則使用旁路編解碼的額外二進制碼被標示，以指示使用哪個不相等的權重。

加權預測（Weighted prediction，WP）是H.264/AVC和HEVC標準支持的一種編解碼工具，以對漸變的視訊內容進行有效編解碼。VVC標準中還添加了對WP的支持。WP允許加權參數（權重和偏移）將被標示用於參考圖片列表L0和參考圖片列表L1中的每一個參考圖片。然後，在運動補償期間，應用相應參考圖片的權重和偏移。WP和BCW是為不同類型的視訊內容而設計的。為了避免WP和BCW之間的交互，這將使VVC解碼器設計複雜化，如果CU使用WP，則BCW權重索引不被標示，並且權重 w被推斷為4（即，應用相等的權重）。對於合併CU，基於合併候選索引，從相鄰塊推斷權重索引。這可以被應用於常規合併模式和繼承仿射合併模式。對於已重構仿射合併模式，基於多達3個塊的運動資訊來構造仿射運動資訊。使用已構造仿射合併模式的CU的BCW索引被簡單地設置為等於第一個控制點MV的BCW索引。

在VVC中，CIIP和BCW不能聯合應用於CU。當使用CIIP模式對CU進行編解碼時，當前CU的BCW索引設置為2（即，w=4用於相等的權重）。相等的權重意味著BCW索引的默認值。

組合 畫面間 和 畫面 內 預測（ Combined Inter and Intra Prediction ， CIIP ）

在VVC中，當以合併模式對CU進行編解碼時，如果CU包含至少64個亮度樣本（即，CU寬度乘以CU高度等於或大於64），並且如果CU寬度和CU高度都小於128個亮度樣本，則額外旗標被標示，以指示組合畫面間/畫面內預測（CIIP）模式是否被應用於當前CU。正如其名所指示，CIIP預測將畫面間預測訊號與畫面內預測訊號進行組合。使用應用於常規合併模式的相同畫面間預測處理，CIIP模式中的畫面間預測訊號 被推導；並且在具有平面模式的常規畫面內預測處理之後，畫面內預測訊號 被推導。然後，使用加權平均對畫面內預測訊號和畫面間預測訊號進行組合，其中依據當前CU 2110的頂部相鄰塊和左側相鄰塊（如第21圖所示）的編解碼模式，計算權重值 wt，如下所示。 –如果頂部相鄰可用並且是畫面內編解碼的，則將isIntraTop設置為1，否則將isIntraTop設置為0； –如果左側相鄰可用且畫面內編解碼的，則將isIntraLeft設置為1，否則將isIntralLeft設為0； –如果（isIntraLeft+isIntraTop）等於2，則將 wt設置為3； –否則，如果（isIntraLeft+isIntraTop）等於1，則將 wt設置為2； –否則，將 wt設置為1。

CIIP預測被形成如下： (9)

幾何分割模式（ Geometric Partitioning Mode ， GPM ）

在VVC中，幾何分割模式（Geometric Partitioning Mode，GPM）被支持用於畫面間預測，如JVET-W2002(Adrian Browne, et al., Algorithm description for Versatile Video Coding and Test Model 14 (VTM 14), ITU-T/ISO/IEC Joint Video Exploration Team (JVET), 23rd Meeting, by teleconference, 7–16 July 2021, document: document JVET-M2002)中所述。使用CU級旗標，幾何分割模式被標示作為一種合併模式，而其他合併模式包括常規合併模式、MMVD模式、CIIP模式和子塊合併模式。幾何分割模式總共支持64種分割，用於每個可能的CU大小， ，其中， ，不包括8x64和64x8。GPM模式可以應用於跳過或合併CU，其大小在上述限制內並且具有至少兩個常規合併模式。

當此模式被使用時，CU由幾何定位的直線以一定角度被劃分為兩個部分。在VVC中，總共有20個角度和4個偏移距離用於GPM，這系從早期草案中的24個角度減少的。劃分線的位置在數學上是從特定分割的角度參數和偏移參數推導的。在VVC中，如第22圖所示，總共有64個分割，其中，這些分割依據其角度進行分組，虛線表示冗餘分割。CU中的幾何分割的每個部分是使用其自身的運動而進行畫面間預測的；僅單預測被允許用於每個分割，即每個部分都有一個運動向量和一個參考索引。在第22圖中，每條線對應於一個分割的邊界。分割依據其角度進行分組。例如，分割組2210包括三個垂直GPM分割（即，90度）。分割組2220包括與垂直方向成小角度的四個傾斜GPM分割。此外，分割組2230包括三個垂直GPM分割（即，270度），其類似於組2210的分割，但具有相反的方向。與傳統的雙預測相同，單預測運動約束被應用。以確保每個CU只需要兩個運動補償預測。透過後續描述的處理推導每個分割的統一預測運動。

如果幾何分割模式用於當前CU，則將進一步標示指示幾何分割的選擇分割模式（角度和偏移）的幾何分割索引和兩個合併索引（一個用於每個分割）。最大GPM候選大小的數量被明示標示於SPS中，並且指定用於GPM合併索引的語法二值化。在預測了幾何分割的每個部分之後，使用稍後描述的處理，使用與自適應權重的混合處理，沿著幾何分割邊緣的樣本值被調整。這是整個CU的預測訊號，並且，如在其他預測模式中一樣，變換和量化處理將被應用於整個CU。最後，使用稍後描述的處理，使用幾何劃分模式預測的CU的運動場被存儲。

單預測候選列表構造

單預測候選列表是直接從依據擴展合併預測處理所構造的合併候選列表中推導的。幾何單預測候選列表中，將n表示為的單預測運動的索引。第n個擴展合併候選的LX運動向量（X＝0或1，即LX＝L0或L1），其中X等於n的奇偶性，被用作幾何分割模式的第n個單預測運動向量。這些運動向量在第23圖中用“x”進行標記。在第n個擴展合併候選的對應LX運動向量不存在的情況下，而是相同候選的L(1−X)運動向量被用作為幾何分割模式的單預測運動向量。

沿著幾何分割邊緣的混合

在使用其自身的運動預測幾何分割的每個部分之後，將混合應用於兩個預測訊號，以推導幾何分割邊緣周圍的樣本。基於各個位置和分割邊緣之間的距離，將推導CU的每個位置的混合權重。

兩個整數混合矩陣（ W ₀ 和 W ₁ ）用於GPM混合處理。如第24圖所示，GPM混合矩陣中的權重包含[0，8]的值範圍，並是基於從樣本位置到GPM分割邊界2440的位移而推導的。

具體地，如第25圖所示，權重由具有位移和兩個閾值的離散斜坡函數給出，其中斜坡的兩個端點（即-τ和τ）對應於第24圖中的線2442和線2444。

此處，閾值τ定義了GPM混合區域的寬度，並在VVC中被選為固定值。換言之，正如JVET-Z0137(Han Gao, et. al., “Non-EE2: Adaptive Blending for GPM”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 26th Meeting, by teleconference, 20–29 April 2022, JVET- Z0137)，混合強度或混合區域寬度θ對於所有不同的內容都是固定的。

混合掩碼中的權重值可以由以下斜坡函數給出： (10)

用當前ECM（VVC）設計中的固定像素 ，該斜坡函數可以被量化為： (11)

位置 到分割邊緣的距離被推導為： (12) (13) (14) (15)

其中， 是幾何分割的角度和偏移的索引，其取決於已標示的幾何分割索引。 和 的符號取決於角度索引 。

第26圖說明依據ECM 4.0 (Muhammed Coban, et. al., “Algorithm description of Enhanced Compression Model 4 (ECM 4)”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 26th Meeting, by teleconference, 20–29 April 2022, JVET- Y2025)的GPM混合的示例。第26圖中，分割邊界每一側的混合區域的大小由θ指示。幾何分割每個部分的權重被推導如下： (16) (17) (18)

partIdx取決於角度索引 。第24圖示出了權重 的一個示例，其中角度 φ _i 2410和偏移量 ρ _i 2420被指示用於GPM索引 i，點2430對應於塊的中心。線2440對應於GPM分割邊界

用於幾何分割模式的運動場存儲

來自幾何分割的第一哥部分的Mv1、來自幾何分割的第二歌部分的Mv2以及Mv1和Mv2的組合MV被存儲在幾何分割模式編解碼CU的運動場中。

運動場中每個單獨位置的存儲運動向量類型被決定為： (19)

其中，motionIdx等於 ，其是依據公式（7）重新計算的。partIdx取決於角度索引 。

如果sType等於0或1，則Mv0或Mv1被存儲在相應的運動場中，否則，如果sTType等於2，則來自Mv0和Mv2的組合MV被存儲。組合MV是使用以下處理生成的： 1）如果Mv1和Mv2來自不同的參考圖片列表（一個來自L0，另一個來自L1），則Mv1和Mv2被簡單地組合以形成雙預測運動向量。 2）否則，如果Mv1和Mv2來自同一列表，則僅單預測運動Mv2被存儲。

多假設預測（ Multi-Hypothesis Prediction ， MHP ）

在多假設畫面間預測模式（JVET-M0425）中，除了傳統的雙預測訊號之外，一個或複數個額外的運動補償預測訊號被標示。透過按樣本加權疊加來獲得所得到的總體預測訊號。利用雙預測訊號 和第一個額外畫面間預測訊號/假設 ，所得到的預測訊號被獲得如下： (20)

依據以下映射（表4），權重因數 由新語法元素 add_hyp_weight_idx指定： 表 4 將 映射到 add_hyp_weight_idx

add_hyp_weight_idx
0	1/4
1	-1/8

與上述類似，可以使用一個以上的額外預測訊號。將所得到的總體預測訊號與每個額外預測訊號一起反覆運算累加。 (21)

所得到的整體預測訊號被獲得作為最後一個 （即，具有最大索引 的 ）。例如，最多可以使用兩個額外的預測訊號（即， 被限制為2個）。

每個額外預測假設的運動參數可以透過指定參考索引、運動向量預測子索引和運動向量差而被明示地標示，或者透過指定合併索引被暗示地標示。單獨的多假設合併旗標在這兩種標示模式之間進行區分。

對於AMVP間模式，僅當在雙預測模式中選擇BCW中的非相等權重時，才應用MHP。用於VVC的MHP細節可在JVET-W2025 (Muhammed Coban, et. al., “Algorithm description of Enhanced Compression Model 2 (ECM 2)”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 23rd Meeting, by teleconference, 7–16 July 2021, Document: JVET- W2025)中找到。

GPM 擴展

GPM模式的幾種變體(JVET-W0097 (Zhipin Deng, et. al., “AEE2-related: Combination of EE2-3.3, EE2-3.4 and EE2-3.5”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 23rd Meeting, by teleconference, 7–16 July 2021, Document: JVET- W0097) 和JVET-Y0065 (Yoshitaka Kidani, et. al., “EE2-3.1: GPM with inter and intra prediction (JVET-X0166)”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 25th Meeting, by teleconference, 12–21 January 2022, Document: JVET- Y0065))已被提出，以提高VVC中GPM模式的編解碼效率。這些方法被包括勘探實驗（Exploration Experiment，EE2）中用於進一步評估，其主要技術方面被描述如下：

EE2-3.3關於具有MMVD的GPM（GPM-MMVD）：1）將額外的MVD添加到現有的GPM合併候選中；2）MVD以與VVC中的MMVD相同的方式被標示，即一個距離索引加一個方向索引；3）兩個旗標被標示，以分別控制MMVD是否應用於每個GPM分割。

EE2-3.4-3.5關於GPM與範本匹配（GPM-TM）：1）透過基於當前CU的左側相鄰樣本和上方相鄰樣本細化GPM MV，將範本匹配擴展到GPM模式；2）依據GPM劃分方向，選擇範本樣本；3）一個單個旗標被標示，以聯合控制範本匹配是否應用於兩個GPM分割的MV。

JVET-W0097提出了EE2-3.3、EE2-3.4和EE2-3.5的組合，以進一步提高GPM模式的編解碼效率。具體地，在提出的組合中，EE2-3.3、EE2-3.4和EE2-3.5中的現有設計保持不變，同時進一步應用以下修改來協調這兩種編解碼工具： 1）GPM-MMVD和GPM-TM專門被使能給一個GPM CU。這是透過首先標示GPM-MMVD語法來完成的。當兩個GPM-MMVD控制旗標都等於假時（即， GPM-MMVD被禁能用於兩個GPM分割）時， GPM-TM旗標被標示，以指示是否將範本匹配應用於兩個GPM分割。否則（至少一個GPM-MMVD旗標等於真），GPM-TM旗標的值被推斷為假。 2）以EE2-3.4.3.5中的MV修剪方案（其中MV修剪閾值是基於當前CU大小而自適應的）被應用於代替EE2-3.3中應用的默認MV修剪方案的方式，EE2-3.3和EE2-3.4-3.5中的GPM合併候選列表生成方法被直接組合；此外，如在EE2-3.4-3.5中，複數個零MV被添加，直到GPM候選列表被完全填充。

在JVET-Y0065中，在具有畫面間和畫面內預測的GPM（或命名為GPM畫面內）中，透過對每個GPM分離區域的畫面間預測樣本和畫面內預測樣本進行加權來生成最終預測樣本。畫面間預測樣本是透過與當前ECM中的GPM相同的方案而推導的，而畫面內預測樣本是透過畫面內預測模式（IPM）候選列表和從編碼器標示的索引而推導的。IPM候選列表大小被預定義為3。如第27A-C圖所示，可用的IPM候選是針對GPM塊邊界的平行角模式（平行模式）、針對GPM塊邊界的垂直角模式（垂直模式）以及平面模式。此外，如第27D圖所示的具有畫面間預測和畫面內預測的GPM被限制於所提出的方法中，以減少IPM的標示開銷，並避免硬體解碼器上的畫面內預測電路大小的增加。此外，關於GPM混合區域的直接運動向量和IPM存儲被引入，以進一步提高編解碼性能。

空間 GPM

類似於畫面間GPM，空間GPM（Spatial GPM，SGPM）包括一個分割模式和兩個相關的畫面內預測模式。如第28A圖所示，如果這些模式直接被標示在位元流中，則會產生顯著的開銷位元。為了在位元流中更有效地表達必要的分割和預測資訊，採用候選列表，並且在位元流中將僅標示候選索引。如第28B圖所示，列表中的每個候選都可以推導一個分割模式和兩個畫面內預測模式的組合。

範本用於生成該候選列表。範本的形狀如第29圖所示。如第29圖所示，對於一個分割模式和兩個畫面內預測模式的每個可能的組合，透過將分割權重擴展到範本，預測被生成用於範本。這些組合按其在範本的預測和重構之間的SATD的昇冪進行排列。候選列表的長度被設置為等於16，並且這些候選被視為當前塊的最可能的SGPM組合。編碼器和解碼器都基於該範本，構造相同的候選列表。

為了降低創建候選列表的複雜性，對可能的分割模式的數量和可能的畫面內預測模式的數量進行修剪。在以下的測試中，使用64個分割模式中的26個，並且僅使用67個畫面內預測模式中的MPM。

重疊運動補償（ Overlapped Motion Compensation ， OBMC ）

當OBMC被應用時，如JVET-L0101(Zhi-Yi Lin, et al. “CE10.2.1: OBMC”, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 12th Meeting: Macao, CN, 3–12 Oct. 2018, Document: JVET-L0101)中所述，使用具有加權預測的相鄰塊的運動資訊，細化CU的頂部邊界像素和左側邊界像素。

不應用OBMC的條件如下： ● 在SPS級禁能OBMC時； ● 當前塊具有畫面內模式或IBC模式時； ● 當前塊應用LIC時； ● 當當前亮度塊面積小於或等於32時。

透過使用相鄰子塊的運動資訊，將相同的混合應用於頂部、左側、底部和右側子塊邊界像素，執行子塊邊界OBMC。它被使能用於基於子塊的編解碼工具： ● 仿射AMVP模式； ● 仿射合併模式和基於子塊的時間運動向量預測（subblock-based temporal motion vector prediction，SbTMVP）； ● 基於子塊的雙邊匹配。

為了提高跨色彩預測的編解碼效率，下文公開了多種技術。

已重構相鄰樣本預處理

當推導模型參數時，使用第一個分量和第二個分量的已重構相鄰樣本。以概述部分中描述的CCLM為例。第一個分量是亮度，第二個分量是cb或cr。為了提高模型性能，已重構相鄰樣本在變成用於推導模型參數的輸入之前進行預處理。

第30圖示出了在變成用於推導模型參數的輸入之前所預處理的已重構相鄰樣本的示例，其中亮度塊3012的相鄰區域3010和色度（cb或cr）塊3012的相鄰區域3020在被提供給模型參數推導塊3030之前進行預處理。

在一個實施例中，對第一個分量的已重構相鄰樣本進行預處理。

在一個實施例中，對第二哥分量的已重構相鄰樣本進行預處理。

在另一個實施例中，僅對第一個分量和第二個分量中的一個的已重構相鄰樣本進行預處理。

在一個實施例中，預處理方法可以是（但不限於）以下處理中的任何一個或任何組合：3x3或5x5濾波、偏置、削波（clipping）、類似於ALF或CCALF的濾波或削波、類似於SAO的濾波、濾波器集（例如ALF集）

在另一個實施例中，第一個分量是亮度、cb和cr中的任何一個。例如，當第一個分量是亮度時，第二個分量是cb或cr。又例如，當第一個分量是cb時，第二個分量是亮度或cr。又例如，當第一個分量是cr時，第二個分量是亮度或cb。再例如，當第一分量是亮度時，第二分量基於cb和cr的加權組合。

在一個實施例中，一個分量（例如cr）的預處理方法取決於另一個分量（例如cb）。例如，cb的預處理方法的選擇是依據標示/位元流得出的，且cr遵循cb的選擇。又例如，假設cb和cr之間存在高度相關性，從而cr預處理方法的選擇如下所示： -cb重構（無預處理）加上cb殘差被視為黃金（golden）（即指導該處理的目標） -依據cb的預處理重構和黃金選擇cr的預處理方法 -例如，如果cb的預處理重構與黃金非常相似，則使用cb的預處理方法作為cr的預處理方法。

在另一個實施例中，在重構第一個和/或第二個分量的相鄰樣本之後立即應用預處理方法。

在另一個實施例中，在生成當前塊的模型參數之前，將預處理方法應用於已重構相鄰樣本。

預測樣本後處理 (Prediction Sample Post-processing)

將CCLM應用於當前塊後，生成當前塊的預測，並可以使用後處理方法進行進一步調整。後處理方法可以是（但不限於）以下處理中的任何一個或任何組合：3x3或5x5濾波、偏置、削波、類似於ALF或CCALF的濾波或削波、類似SAO的濾波、濾波器集（例如，ALF集）。

在一個實施例中，當前塊指的是亮度、cb和/或cr。例如，當LM（例如，在本發明的後續部分中描述的所提出的逆LM）用於生成亮度預測時，將後處理應用於亮度。又例如，當CCLM用於生成色度預測時，將後處理應用於色度。

在另一個實施例中，當塊大小（寬度和/或高度）大於閾值時，應用後處理。

在另一個實施例中，一個分量（例如cr）的後處理方法取決於另一個分量（例如cb）。例如，cb的後處理方法的選擇是依據標示/位元流推導的，並且cr遵循cb的選擇。又例如，假設cb和cr之間存在高度相關性，從而cr的後處理方法的選擇如下所示： -cb預測（無後處理）加上cb殘差被視為黃金 -依據cb的後處理預測和黃金選擇cr的後處理方法 -例如，如果cb的後處理預測與黃金非常相似，則使用cb的後處理方法作為cr的後處理方法。

Delta 預測的 LM

本節提出了一種新的LM方法。與先前在背景部分中公開的CCLM不同，推導模型參數的輸入是第一個分量的預測樣本（用作X）和第一個分量的已重構樣本和已預測樣本之間的delta樣本（用作Y）。已推導參數和第二個分量的初始已預測樣本可以決定第二個分量的當前已預測樣本。例如，cb和cr的預測子可以基於以下公式來計算： delta_cb = alpha * initial_pred_cb + beta, pred_cb = initial_pred_cb + delta_cb, delta _cr =  alpha * initial_pred_cr – beta, pred_cr = initial_pred_cr + delta_cr。

又例如，cb和cr的預測子可以基於以下公式來計算： delta_cb = alpha * initial_pred_cb + beta, pred_cb = initial_pred_cb + delta_cb, delta _cr =  -alpha * initial_pred_cr + beta, , pred_cr = initial_pred_cr + delta_cr。

預測-重構(pred-reco)LM的實施例可用於delta預測(delta-pred)的LM。

預測 - 重構 LM

本節提出了一種新的LM方法。與先前在背景部分中公開的CCLM不同，推導模型參數的輸入是第一個分量的已預測樣本（用作X）和第一個分量的已重構樣本（用作Y）。已推導參數和第二個分量的初始已預測樣本可以決定第二分量的當前已預測樣本。例如，cb和cr的預測子可以基於以下公式來計算： Pred_cb = alpha * initial_pred_cb + beta Pred_cr =  alpha * initial_pred_cr – beta

又例如，cb和cr的預測子可以基於以下來計算： Pred_cb = alpha * initial_pred_cb + beta, Pred_cr =  -alpha * initial_pred_cr + beta.

在一個實施例中，第一個分量是亮度，第二個分量是cb或cr。

在另一個實施例中，第一個分量為cb，第二個分量為cr。

在另一個實施例中，第一個分量是加權的cb和cr，第二個分量是亮度，其中逆LM被應用。例如，推導模型參數的輸入是cb和cr的加權預測以及cb和cr的加權已重構樣本。

在一個子實施例中，（cb，cr）的權重可以相等。

在另一個子實施例中，（cb，cr）的權重可以是（1，3）或（3，1）。以（3，1）為例，加權公式可以是： weighted_pred = (3*pred_cb + 1*pred_cr + offset) ＞＞ 2, weighted_reco = (3* reco _cb + 1* reco _cr + offset) ＞＞ 2.

在另一個實施例中，透過色度DM生成第二個分量的初始已預測樣本。

在另一個實施例中，第二個分量的初始預測樣本由一個或複數個傳統畫面內預測模式（例如，角畫面內預測模型、DC、平面）生成。

基於預測的 LM

本發明提出了一種新的LM方法。與如上所述的CCLM不同，其中模型參數被應用於第一個分量的已重構樣本，本發明的已推導模型參數被用於第一個分量的已預測樣本，以獲得第二個分量或第三個分量的已預測樣本。第31圖示出了基於預測的LM的示例，其中，來自亮度的已預測樣本（即， ）用於預測色度訊號（即， ）：

雖然第31圖中的示例基於亮度推導色度預測，但本發明可以基於另一色彩分量推導任何色彩分量的預測。在一個實施例中，第一個分量是亮度。

在一個子實施例中，使用下採樣濾波器對第一個分量的已預測樣本進行下採樣。例如，下採樣濾波器遵循原始的LM設計。又例如，下採樣濾波器將不訪問相鄰已預測/已重構樣本。在當前塊的邊界處，如果相鄰樣本被要求是下採樣濾波器的輸入樣本，則使用來自當前塊邊界的填充的已預測值。

在另一個實施例中，第二個分量是Cb。

在另一個實施例中，第三個分量是Cr。

以下顯示了基於預測的畫面間CCLM的流程。 ●透過從亮度樣本中線性預測色度樣本，改進畫面間色度預測 ●線性預測方法可以是如下一種 –CCLM_LT, CCLM_L, CCLM_T –MMLM_LT, MMLM_L, MMLM_T ●步驟： –步驟1：透過相鄰亮度已重構樣本和色度已重構樣本，推導線性模型 –步驟2：將推導的線性模型應用於當前亮度已預測樣本，以獲得當前色度已預測樣本 - - ：下採樣的當前亮度已預測樣本 • 在當前塊內部的邊界處使用填充

在本發明的上文中，CCLM_LT、CCLM_L、CCLM_T、MMLM_LT，MMLM_L和MMLM_T都被稱為LM模式。

聯合 LM(Joint LM)

與先前公開的CCLM不同，聯合線性模型被提出，以共用色度分量（cb和cr）的單個模型。

在一個實施例中，推導的單個模型的參數包括alpha和beta。例如，可以基於亮度已重構樣本和參數來計算cb和cr的預測子。 Pred_cb = alpha * reco_luma + beta, Pred_cr =  alpha * reco_luma – beta.

又例如，cb和cr的預測子可以被計算為 Pred_cb = alpha * reco_luma + beta, Pred_cr =  -alpha * reco_luma + beta.

在另一個實施例中，當推導模型參數時，使用亮度、cb和cr。亮度部分保持不變，色度部分發生變化。例如，在作為推導模型參數的輸入之前，對cb和cr已重構相鄰樣本進行加權。加權方法可以是將在JCCLM方法1/-方法2的部分中描述的方法中的任何一種或其任何組合。

在另一個實施例中，當推導模型參數時，使用亮度分量和一個色度分量。例如，使用亮度和cb來決定模型參數。

在另一個實施例中，不使用相鄰已重構樣本，而是使用相鄰殘差來推導模型參數。然後，cb和cr的聯合殘差被推導如下： b

在一個子實施例中，如果應用JCCR，則cb和cr的LM參數相同（即，聯合LM被應用）。

在另一個子實施例中，色度的相鄰殘差是相鄰cb殘差和cr殘差的加權和。

在另一個子實施例中，如果聯合LM被應用，則JCCR被推斷為被使能。

在另一個子實施例中，當使用聯合LM時，透過色度DM模式生成當前色度塊的預測。

在另一個子實施例中，當使用聯合LM時，透過色度DM模式生成當前色度塊的初始預測，並且基於初始預測和resi _C（例如，初始預測+resi _C）生成當前色度塊的最終預測。

殘差 LM(Residual LM)

不使用相鄰已重構樣本，而是使用相鄰殘差來推導模型參數。然後，當前色度塊的聯合殘差被推導如下（cb和cr分別有自己的模型）： b

在一個實施例中，當前色度塊的預測（表示為pred_c）由色度DM生成，並且當前色度塊的重構由pred_c+resi_c形成。

在另一個實施例中，透過色度DM模式生成當前色度塊的初始預測，並且基於初始預測和resi _C生成當前色度塊的最終預測。（例如，初始預測+resi _C）。

JCCLM （具有 CCLM 的 JCCR ） - 方法 1

JCCLM-方法1作為一種新的LM推導方案被提出。與先前在背景部分中公開的CCLM不同，相鄰亮度已重構樣本以及加權的已重構相鄰cb和cr樣本被用作模型推導的輸入X和Y。在本發明中，推導的模型被稱為JCCLM，並且模型參數被稱為JCCLM參數。然後，依據JCCLM參數和同位亮度塊的已重構樣本，決定JCCLM預測子。最後，透過JCCLM預測子計算cb和cr的預測。

在一個實施例中，用於生成加權的已重構相鄰cb和cr樣本的權重可以是(cb, cr)的(1, -1)。

在另一個實施例中，用於生成加權的已重構相鄰cb和cr樣本的權重可以是(cb, cr)的(1/2, 1/2)。

在另一個實施例中，cb和cr的預測被計算如下： pred_cb = 1* JCCLM_predictor, pred_cr = -1* JCCLM_predictor +k

在另一個子實施例中，k可以是任何正值。例如，k=512。

在另一個子實施例中，k隨著位元深度而變化。例如，如果位元深度是10，則k＝512。

在另一個子實施例中，k在標準中是預定義的，或者取決於塊、SPS、PPS和/或圖片級的標示。

在另一個實施例中，cb和cr的預測被計算如下： pred_cb = 1* JCCLM_predictor, pred_cr = 1* JCCLM_predictor.

在另一個實施例中，當用於生成加權的已重構相鄰cb和cr樣本的權重為(cb, cr)的(1, -1)時，cb和cr的預測被計算如下： pred_cb = 1* JCCLM_predictor, pred_cr = -1* JCCLM_predictor + k

在上述等式中，k的值可以參考上述子實施例。在另一個實施例中，當用於生成加權的已重構相鄰cb和cr樣本的權重為(cb, cr)的(1/2, 1/2)時，cb和cr的預測被計算如下。 pred_cb=1*JCCLM_predictor，pred_cr=1*JCCL M_predicter

在另一個實施例中，當應用JCCLM時，殘差編解碼自動使用JCCR。

JCCLM （具有 CCLM 的 JCCR ） - 方法 2

JCCLM-方法2作為一種新的LM推導方案被提出。與先前在背景部分中公開的CCLM不同，兩個模型用於生成當前塊的預測。這兩個模型的推導處理及其相應的預測子如下所示： -JCCLM：相鄰亮度已重構樣本以及加權的已重構相鄰cb和cr樣本被用作模型推導的輸入X和Y。在本發明中，推導的模型被稱為JCCLM，並且模型參數被稱為JCCLM參數。然後，依據JCCLM參數和同位亮度塊的已重構樣本，決定JCCLM預測子。 -Cb_CCLM：相鄰亮度已重構樣本和相鄰cb已重構樣本被用作模型推導的輸入X和Y。在本發明中，推導的模型被稱為cb_CCLM，並且模型參數被稱為cb_CCLM參數。然後，依據cb_CCLM參數和同位亮度塊的已重構樣本，決定cb_CCLM預測子。

最後，透過JCCLM預測子和cb_CCLM預測子，計算cb和cr的預測。第32圖示出了cr預測3210、cb預測3220與JCCLM預測子3230之間的關係的示例。

在一個實施例中，用於生成加權的已重構相鄰cb和cr樣本的權重可以是(cb, cr)的(1/2, 1/2)。

在另一個實施例中，cb的預測被計算如下： pred_cb = cb_CCLM_predictors.

在另一個實施例中，cr的預測被計算如下： pred_cr=2*JCCLM_predictor-cb_CCLM_prespector

在另一個實施例中，當應用JCCLM時，殘差編解碼自動使用JCCR。

CCLM 預測的多假設

除了先前在背景部分中公開的CCLM（對於cb，從亮度和cb推導模型參數；對於cr，從亮度或cr推導模型參數）之外，本發明還公開了更多的CCLM變體。下面舉出了一些示例。 - 在一變體中，cr預測透過以下方式推導： o 透過使用cb和cr的相鄰已重構樣本作為模型推導的輸入X和Y，推導模型參數 o 然後，透過推導的模型參數和cb已重構樣本，生成cr預測。 - 在另一變體中，使用MMLM。 - 在又一變體中，用於cb（或cr）預測的模型參數是從複數個同位亮度塊中推導的。

每種CCLM方法都適用於不同的場景。對於一些複雜的特徵，組合預測可以產生更好的性能。因此，多假設CCLM被公開以混合來自複數個CCLM方法的預測。待混合的CCLM方法可以來自（但不限於）上述CCLM方法。加權方案用於混合。

在一個實施例中，不同CCLM方法的權重在編碼器和解碼器處進行預定義。

在另一個實施例中，權重基於樣本（或區域）位置和參考樣本位置之間的距離而變化。

在另一個實施例中，權重取決於相鄰編解碼資訊。

在另一個實施例中，權重索引被標示或解析。碼字(code words)可以是固定的或者自適應地變化。例如，碼字隨著基於範本方法而變化。

自適應 畫面內 模式選擇

隨著視訊編解碼的改進，創建了更多的編解碼工具。選擇編解碼工具的語法開銷成為一個問題。幾種簡單的方法可以用於減少語法開銷。例如，較大塊可以使用相同的編解碼模式。又例如，複數個分量（例如cb和cr）可以共用相同的編解碼模式。

然而，使用這些簡單的方法，畫面內預測的準確性/性能會降低。可能的原因如下： -畫面內預測與相鄰參考樣本高度相關。當整個塊使用單個畫面內預測模式時，畫面內預測模型可能適合於接近參考樣本的那些樣本，但可能不適合於遠離參考樣本的這些樣本。 -在處理cr時，cb和亮度的重構被生成，可以用來選擇cr的編解碼模式。

在本節中，提出了依據分量的先前編解碼/解碼，自適應地改變當前塊內的一個或複數個樣本或子塊的畫面內預測模式。

在一個實施例中，透過先前已編碼/解碼分量的重構，決定不同編解碼模式的性能。然後，將更好的模式用於其餘分量（隨後被編碼和解碼的分量）。例如，對於cb，如果來自傳統畫面內預測模式（例如，角畫面內預測模型，DC，平面）的預測更優於來自LM模式的預測（例如，“更優”的意思類似於cb的重構。），則傳統的畫面內預測模式是優選的，以用於cr。

在一個子實施例中，所提出的方法可以是基於子塊的。例如，色度塊被劃分為若干個子塊。對於每個子塊，如果對於cb，則來自LM模式的子塊的預測更優於來自傳統畫面內預測模式（例如，角畫面內預測模型、DC、平面）的子塊預測（例如，“更優”意味著類似於cb的重構以及減少cb的殘差），則LM模式是優選的，以用於cr的相應子塊。示例如第33圖所示，其中色度塊被劃分為4個子塊。如果cb塊3310的子塊1和2使用LM模式具有更好的預測結果，則cr塊3320的子塊1和2也使用LM模式。

在另一個實施例中，自適應改變規則可以在編碼器和/或解碼器處執行，並且不需要額外的語法。

逆 LM(Inverse LM)

對於先前在背景部分中公開的CCLM模式，亮度已重構樣本用於推導色度塊中的預測子。在本發明中，逆LM被提出，以使用色度資訊來推導亮度塊中的預測子。當支持逆LM時，色度在亮度之前被編碼/解碼（被標示/解析）。

在一個實施例中，色度資訊指的是色度已重構樣本。當推導逆LM的模型參數時，已重構相鄰色度樣本被用作X，已重構相鄰亮度樣本被用作Y。此外，色度塊中的已重構樣本（與當前亮度塊同位）和推導的參數被用於生成當前亮度塊中的預測子。可選的方式是，本實施例中的“資訊”可以指預測樣本。

在一個實施例中，色度是指cb和/或cr分量。

在一個子實施例中，僅使用cb和cr資訊中的一個。

在另一個子實施例中，色度資訊來自cb和cr。例如，相鄰已重構cb和cr樣本被加權，然後用作推導模型參數的輸入。又例如，色度塊（與當前亮度塊同位）中的已重構cb和cr樣本被加權，然後用於推導當前亮度塊中的預測子。

在另一個實施例中，對於當前亮度塊，預測（由所提出的逆LM生成）可以與預測的一個或複數個假設（由一個或更複數個其他畫面內預測模式生成）進行組合。

在一個子實施例中，“其他畫面內預測模式”可以指角度畫面內預測模型、DC、平面、MIP、ISP、MRL、任何其他現有畫面內模型（HEVC/VVC中支持的）和/或任何其他畫面內預測模型。

在另一個子實施例中，當組合預測的複數個假設時，每個假設的權重可以是固定的或自適應地改變的。例如，對每個假設應用相等的權重。又例如，權重隨著相鄰編解碼資訊、樣本位置、塊寬度、高度、預測模式或面積而變化。相鄰編解碼資訊使用的一些示例如下所示： - 與樣本位置相關的一個可能規則描述如下： o 當樣本位置進一步遠離參考樣本時，來自其他畫面內預測模式的預測的權重減小。 - 與相鄰編解碼資訊相關的另一個可能規則描述如下： o 使用特定模式（例如模式A）對更多相鄰塊（左側、上方、左上、右上和/或左下）進行編解碼時，來自模式A的預測的權重變得更高。 - 與樣本位置相關的另一個可能規則描述如下： o 當前塊被分割為幾個區域。同一區域中的樣本位置共用相同的權  重。如果當前區域靠近參考L相鄰，則來自其他畫面內預測模式的預測的權重高於來自CCLM的預測的權重。下面顯示了對當前塊進行分割的一些可能方法（如第34圖A -C中的虛線所示）： § 第34A圖（寬度和高度之比接近或恰好為1:1）：考慮當前區域與左側和頂部參考L相鄰之間的距離。 § 第34B圖（寬度＞n*高度，其中n可以是任何正整數）：考慮當前區域與頂部參考L相鄰之間的距離。 § 第34C圖（高度＞n*寬度，其中n可以是任何正整數）：考慮當前區域與左參考L相鄰之間的距離。

畫面間 塊的 CCLM

如前所述，跨色彩工具用於畫面內塊，以改進色度畫面內預測。對於畫面間塊，色度預測可能不如亮度預測準確。可能的原因被列舉如下： -色度分量的運動向量是自亮度繼承而來（色度沒有自身的運動向量）。 -較少的編解碼工具被設置來改進畫面間色度預測。

因此，建議使用一個或複數個跨色彩工具作為可選方式，以對畫面間塊進行編解碼。以下以跨色彩工具作為CCLM為例。所提出的方法不限於僅使用CCLM作為跨色彩工具，並且可以被應用於和/或被組合與跨色彩工具的所有子集或任何子集。利用所提出的方法，可以依據對應的亮度去改進畫面間塊的色度預測。依據用於畫面間塊的CCLM（在本發明中稱為畫面間CCLM），以畫面間模式對對應的亮度塊進行編解碼，即，使用運動補償和一個或複數個運動向量來訪問一個或複數個先前編解碼的參考幀中的先前已重構亮度塊。與基於一個或複數個先前編解碼的參考幀中的先前已重構色度塊的畫面間預測相比，基於該畫面間編解碼的亮度的跨色彩線性模式可以提供更好的預測。先前已經描述了用於畫面內模式的CCLM。先前描述的CCLM處理可以在此處被應用。然而，儘管傳統的CCLM利用已重構亮度塊，其中參考樣本（用於預測或重構亮度塊）位於當前幀中，但CCLM畫面間模式利用已重構或已預測亮度塊，其中參考樣本（用於預測或重構亮度塊）位於一個或複數個先前編解碼的參考幀中。

在一個實施例中，對於色度分量，除了或者不是原始畫面間預測（由來自目標畫面間模式的運動補償生成），使用跨色彩預測的一個或複數個假設（由諸如CCLM和/或任何其他LM模式的任何跨色彩工具生成），以形成當前預測。跨色彩工具是指透過使用預定義的生成方法，使用一個以上的色彩資訊來生成一個或複數個跨色彩預測。一個以上的色彩資訊的使用和CCLM的預定義生成方法被描述於標題為CCLM的小節中。對於CCLM，如公式（1）所示，基於已重構相鄰亮度和色度樣本，推導模型參數 和 ，並且將推導的模型參數應用於同位亮度塊中的已重構亮度樣本。在此情況下，模型參數（僅包括和 和 ）的數量是2，並且對於在當前色度塊中生成(i, j)的已預測值，僅(i, j)的一個下採樣(down-sampling)同位亮度樣本被使用，並與模型參數進行組合。本發明不限於將模型參數的數量設置為2，以及僅使用一個下採樣同位亮度樣本用於生成色度塊中的位置處的已預測值。模型參數的數量可以是任何預定義的數量，同位亮度樣本可以沒有下採樣，和/或同位亮度採樣（將與模型參數組合）的數量可以是任何預定義的數量。對於跨色彩工具的更多變體，一個以上的色彩資訊包括同位元第一色彩（例如，亮度和/或第一色彩度分量）塊的已重構樣本、同位元第一色彩塊的預定義相鄰區域的已重構樣本，和/或第二色彩（例如當前色度分量）塊的預定義相鄰區域的已重構樣本。例如，同位第一色彩塊的預定義相鄰區域和第二色彩塊的預定相鄰區域用於推導模型參數，並且推導的模型參數被應用於同位第一色彩塊的已重構樣本，以生成當前第二色彩塊的跨色彩預測。對於可選的基於預測的跨色彩工具，一個以上的色彩資訊可以是上述資訊的任何子集，和/或還包括透過使用同位元第一色彩塊的目標畫面間模式的已預測樣本、來自同位元第一色彩（例如亮度）塊的預定義相鄰區域的目標畫面內模式的已預測樣本、和/或透過使用第二色彩（例如，當前色度分量）塊的預定義相鄰區域的目標畫面間模式的已預測樣本。例如，透過使用同位元第一色彩塊的目標畫面間模式的已預測樣本以及透過使用第二色彩塊的目標畫面間模式的已預測樣本用於推導模型參數，並且推導的模型參數被應用於同位第一色彩塊的已重構樣本，以生成當前第二色彩塊的跨色彩預測。一個以上的色彩資訊的使用可以取決於塊寬度、塊高度和/或塊面積。如果塊寬度/塊高度/塊面積小於預定義閾值，除了使用所提及的樣本（例如，同位元第一色彩塊的已預測樣本和第二色彩塊的已預測樣本）來推導模型參數之外，還使用相鄰已預測或已重構樣本。預定義相鄰區域可以包括具有N行的頂部相鄰區域、具有M列的左側相鄰區域、具有M×N個樣本的左上相鄰區域，或上述區域的任何子集。在本發明中提及術語“LM”的段落中可以找到更多的跨色彩工具。

在一個子實施例中，當前預測是畫面間預測和CCLM預測的加權和。權重是依據相鄰編解碼資訊、樣本位置、塊寬度、高度、模式或面積來設計的。以下示出了一些示例： -在一個示例中，對於小塊（例如，面積＜閾值），用於CCLM預測的權重高於用於畫面間預測的權重。 -在另一示例中，當大多數相鄰編解碼塊是畫面內塊時，用於CCLM預測的權重高於用於畫面間預測的權重。 -在又一個示例中，權重是固定值，用於整個塊。

在另一個實施例中，畫面間預測可以透過上述任何畫面間模式生成。例如，畫面間模式可以是常規合併模式(regular merge mode)。又例如，畫面間模式可以是CIIP模式。又例如，畫面間模式可以是CIIP PDPC。再例如，畫面間模式可以是GPM或任何GPM變體（例如，GPM畫面內）。

在一個子實施例中，常規合併模式是從具有已標示合併索引的合併候選列表中選擇的合併候選。

在另一個子實施例中，常規合併模式可以是MMVD。

在另一個子實施例中，在畫面間CCLM中使用的LM模式是基於預測的LM。

在另一個實施例中，僅當預定義的畫面間模式中的任何一個（或一個以上）用於當前塊時，才支持畫面間CCLM，或者當預定義的畫面間模式的使能旗標中的任何之一（或一個以上）被指示為被使能時，才支持畫面間CCRM。支持畫面間CCLM的含義是可以在應用畫面間CCRM或不應用畫面間CCLM之間選擇當前塊的預測。

在一個子實施例中：將預測的一個或複數個假設（由CCLM和/或任何其他LM模式生成）與原始畫面間預測混合。當應用畫面間CCLM時，透過以下生成當前塊的預測： - 混合已有畫面間模式的色度預測和來自LM的預測 o 混合：Predfinal = ( wmerge * PredInter + wLM * PredLM  + 2 ) ＞＞ 2 o 加權規則：w _Inter和w _LM， § 例如： ● 如果頂部和左側都是畫面內的，則（w _Inter，w _LM）=（1，3） ● 否則，如果頂部和左側中的一個是畫面內的，則（w _Inter，w _LM）=（2，2） ● 否則，（w _Inter，w _LM）=（3，1） § 又例如，權重遵循CIIP權重。 ●例如，pred _Inter=OBMC之後的畫面間預測（如果OBMC被使用）　 ● 又例如，pred _Inter=OBMC之前的畫面間預測（OBMC可以在混合之後被應用）

在另一個子實施例中，用預測的一個或複數個假設（由CCLM和/或任何其他LM模式生成）替換原始畫面間預測。

當不應用畫面間CCLM時，當前塊的預測來自原始畫面間預測。

在另一個實施例中，是否應用CCLM畫面間的選擇取決於標示。該標示可以位於TU/TB、CU/CB、PU/PB或CTU/CTB處。

在一個子實施例中，在位元流中標示一個或複數個旗標，以指示是否應用CCLM畫面間。例如，旗標是上下文編解碼的。又例如，只有一個上下文用於對旗標進行編解碼。又例如，複數個上下文用於對旗標進行編解碼，並且上下文的選擇取決於塊寬度、塊高度、塊面積或相鄰模式資訊。

在另一個子實施例中，當標示指示應用CCLM畫面間時，使用額外標示，以從總的候選LM模式（例如CCLM_LT、CCLM_L、CCLM_T、MMLM_L或來自上述模式的任何子集/擴展）中選擇一個或複數個LM。例如，如果一個LM模式被選擇，則LM預測由所選擇的LM生成。又例如，如果一個以上的LM模式被選擇，則透過混合來自複數個LM模式的預測的假設來生成LM預測。再例如，額外標示指的是位元流中的索引，該索引可以在有上下文和/或沒有上下文的情況下被截斷一元編解碼。

在另一個子實施例中，當標示指示應用CCLM畫面間時，從總的候選LM模式（例如CCLM_LT、CCLM_L、CCLM_T、MMLM_L或來自上述模式的任何子集/擴展）中暗示地選擇（或預定義）一個或複數個LM用於CCLM畫面間。

例如，CCLM_LT用於生成用於畫面間CCLM的LM預測。又例如，MMLM_LT用於生成用於畫面間CCLM的LM預測。再例如，如下所示，預定義規則取決於塊寬度、塊高度或塊面積。 - 僅當塊寬度、塊高度或塊面積大於閾值時，才能應用邊界匹配設置（用作預定義規則）。 - 僅當塊寬度、塊高度或塊面積小於閾值時，才能應用邊界匹配設置（用作預定義規則）。 - 當塊寬度、塊高度或塊面積小於閾值時，所選擇的LM模式被推斷為來自總的候選LM模式的任何一個（一個以上）LM模式。 o 選擇的LM模式被固定為CCLM_LT。 o 選擇的LM模式被固定為MMLM_LT。

又例如，預定義規則取決於邊界匹配設置。邊界匹配設置的細節將在邊界匹配設置部分稍後進行描述。在邊界匹配設置部分中使用的候選模式是指用於CCLM畫面間的每個候選LM模式。在邊界匹配設置部分中使用的來自候選模式的預測指的是由每個候選LM模式生成的預測，或者指的是來自每個候選LM模式和原始畫面間模式的混合預測。

在另一個實施例中，僅當滿足當前塊的大小條件時，才能支持CCLM畫面間。

在一個子實施例中，大小條件是塊寬度、塊高度或塊面積大於預定義閾值。預定義閾值可以是正整數，例如8、16、32、64、128、256等。

在另一個子實施例中，大小條件是塊寬度、塊高度或塊面積小於預定義閾值。預定義閾值可以是正整數，例如8、16、32、64、128、256、512、1024、2048、4096等。

在另一個實施例中，畫面間塊中使用的畫面間模式取決於使能旗標。例如，如果畫面間模式是常規合併，則使能旗標被稱為常規合併旗標。例如，如果畫面間模式是CIIP，則使能旗標被稱為CIIP旗標。又例如，如果畫面間模式是CIIP PDPC，則使能旗標被稱為CIIP PDPC旗標。又例如，指示為被使能的使能旗標（例如，旗標值等於1）意味著對應的畫面間模式被應用於當前塊。又例如，指示為被禁能的使能旗標（例如，旗標值等於0）意味著對應的畫面間模式不被應用於當前塊。又例如，使能旗標被標示於位元流中和/或在某些情況下被推斷。再例如，使能旗標的標示取決於塊寬度、塊高度或塊面積。

在另一個實施例中，可以透過相鄰已重構樣本和預定義的加權方案來調整來自畫面間的預測。例如，當以合併模式對當前塊進行編解碼時，將來自合併的預測與相鄰已重構樣本進行混合。又例如，依據CIIP PDPC旗標來使能所提出的方案，其中，當CIIP旗標被指示為被使能時，CIIP PDP旗標被標示。再例如，預定義的加權方案遵循PDPC權重。

描述詳細處理的示例如下： — 使用上方 和左側 的已重構樣本，細化常規合併模式的畫面間預測子 — nScale和 & 的推導與平面內模式中的相同 — = 32 ＞＞ ( ( y’＜＜1 ) ＞＞ nScale) — = 32 ＞＞ ( ( x’＜＜1 ) ＞＞ nScale) — nScale = (floorLog2(width) + floorLog2(height) - 2) ＞＞ 2; — CIIP PDPC： — 如果LMCS被使能，則在映射域中計算畫面間預測子 — — 否則，在原始域中計算畫面間預測子 — — 否則，在原始域中計算畫面間預測子 — — 當CIIP旗標為真時，進一步標示CIIP PDPC旗標，以指示是否使用CIIP PDP。

在另一個實施例中，原始畫面間預測（由運動補償生成）用於亮度，色度分量的預測由CCLM和/或任何其他LM模式生成。

在一個子實施例中，當前CU被視為畫面間CU、畫面內CU或新型預測模式（既不是畫面內也不是畫面間）。

上述提出的方法也可以被應用於IBC塊（本節中的“畫面間”可以被改變為IBC或任何其他非畫面內模式）。例如，將目標畫面間模式改變為目標IBC模式。如前所述，關於塊內複製的機制，由目標模式生成的預測是透過使用塊向量從當前幀中的已重構樣本中複製而來，其中，塊向量在編碼器/解碼器處被標示/解析，和/或被暗示推導。例如，透過在預定義的搜索範圍內使用範本匹配來從當前幀的已重構部分中找到最佳預測塊，暗示地決定塊向量。例如，範本是L形相鄰區域，範本匹配意味著在搜索範圍中找到與當前塊的範本最相似的範本。當將所提出的方法應用於以目標IBC模式編解碼的塊時，對於色度分量，塊向量預測可以由跨色彩預測組合或代替。

邊界匹配設置 (Boundary-matching setting)

當使用邊界匹配設置時，如第35圖所示，候選模式的邊界匹配成本是指從候選模式生成的當前預測（即當前塊內的已預測樣本）與相鄰重構（即，一個或複數個相鄰塊內的已重構樣本）之間的不連續測量（包括頂部邊界匹配和/或左側邊界匹配），其中 pred _{i ， j} 指已預測塊， reco _{i ， j} 指相鄰已重構塊，塊3510（如粗線框所示）對應於當前塊。頂部邊界匹配是指當前頂部已預測樣本與相鄰頂部已重構樣本之間的對比，而左側邊界匹配是指當前左側已預測樣本與相鄰左側已重構樣本之間的對比。

在另一個子實施例中，將具有最小邊界匹配成本的候選模式應用於當前塊。

在另一個實施例中，可以將cb和cr的邊界匹配成本相加，以變成色度的邊界匹配成本，從而共用cb和cr的所選擇的候選模式。因此，cb和cr的所選擇的候選模式將是相同的。

在另一個實施例中，cb和cr的所選擇的候選模式分別取決於cb和cr的邊界匹配成本，因此cb和cr的所選擇的候選模式可以相同或不同。

在一個實施例中，當前預測的預定義子集用於計算邊界匹配成本。使用當前塊內頂部邊界的n條線和/或當前塊內左側邊界的m條線。此外，使用頂部相鄰重構的n2條線和/或左側相鄰重構的m2條線。

在計算邊界匹配成本的示例中，n=2、m=2、n2=2和m2=2：

在上述公式中，權重（a，b，c，d，e，f，g，h，i，j，k，l）可以是任何正整數，例如a=2，b=1，c=1，d=2，e=1，f=1，g=2，h=1，i=1，j=2，k=1和l=1。

在計算邊界匹配成本的另一示例中，n=2，m=2，n2=1和m2=1：

在上述公式中，權重（a、b、c、g、h和i）可以是任何正整數，例如a=2、b=1、c=1、g=2、h=1和i=1。

在計算邊界匹配成本的又一示例中，n=1，m=1，n2=2和m2=2：

在上述公式中，權重（d，e，f，j，k和l）可以是任何正整數，例如d=2，e=1，f=1，j=2，k=1和l=1。

在計算邊界匹配成本的又一示例中，n=1，m=1，n2=1和m2=1：

在上述公式中，權重（a、c、g和i）可以是任何正整數，例如a=1、c=1、g=1和i=1。

在計算邊界匹配成本的又一示例中，n=2，m=1，n2=2和m2=1：

在上述公式中，權重（a、b、c、d、e、f、g和i）可以是任何正整數，例如a=2、b=1、c=1、d=2、e=1、f=1、g=1和i=1。

在計算邊界匹配成本的再一示例中，n=1，m=2，n2=1和m2=2：

在上述公式中，權重（a、c、g、h、i、j、k和l）可以是任何正整數，例如a=1、c=1、g=2、h=1、i=1、j=2、k=1和l=1。

以下n和m的示例也可應用於n2和m2。

例如，n可以是任何正整數，例如1、2、3、4等。

例如，m可以是任何正整數，例如1、2、3、4等。

例如，n和/或m隨塊寬度、高度或面積而變化。在一個實施例中，對於塊越大，m變得越大（例如，面積＞閾值2）。例如， o 閾值2=64、128或256。 o 當面積＞閾值2時，m被增加到2（原始地，m是1）。 o 當面積＞閾值2時，m被增加到4（原始地，m是1或2）。

例如，對於塊越高，m變得越大和/或n變得越小（例如，高度＞閾值2*寬度）。例如， o 閾值2=1、2或4。 o 當高度＞閾值2*寬度時，m被增加到2（原始地，m是1）。 o 當高度＞閾值2*寬度時，m被增加到4（原始地，m是1或2）。

在另一個實施例中，對於塊越大，n變得越大（面積＞閾值2）。 o 閾值2=64、128或256。 o 當面積＞閾值2時，n被增加到2。（原始地，n是1。） o 當面積＞閾值2時，n被增加到4。（原始地，n是1或2。）

在另一個實施例中，對於塊越寬（寬度＞閾值2*高度），n變得越大和/或m變得越小。例如， o 閾值2=1、2或4。 o 當寬度＞閾值2*高度時，n被增加到2（原始地，n是1）。 o 當寬度＞寬度2*高度時，n被增加到4（原始地，n是1或2）。

跨 CU LM

與傳統的畫面內預測模式（例如，角畫面內預測模式、DC和平面）相比，如第36圖所示，LM模式的優點在於預測不規則圖案，其中塊具有不規則圖案，而沒有角畫面內預測模式可以提供良好的預測。然而，使用LM模式，亮度塊3610可以為色度塊3620提供良好的預測。

對於畫面間圖片中不規則圖案的編碼/解碼，畫面內和畫面間編解碼模式的分佈可以如下所示。對於某些區域（與相鄰高度相關），使用畫面內模式。對於其他區域，畫面間模式是優選的。

為了處理上述情況，提出了一種跨CU LM模式。基於對當前CU祖先節點的觀測，採用LM模式。例如，如果祖先節點包含不規則圖案（例如，部分畫面內和部分畫面間），則使用LM模式對屬於該祖先節點的塊進行編碼/解碼。利用所提出的方法，不需要LM模式的CU級開/關旗標。第37圖示出了與包含不規則圖案的節點相關的亮度圖片區域。依據不規則圖案，將與節點相關的區域分割為複數個亮度塊。不規則圖案佔據塊的顯著部分的亮度塊（虛線塊）被處理為畫面內塊；否則亮度塊（虛線塊）被處理為畫面間亮度塊。

在一個實施例中，LM模式的塊級開/關旗標在祖先節點級處(ancestor node level)被定義/標示。例如，當祖先節點處的旗標指示跨CU LM被使能時，屬於祖先節點的CU（即，從祖先節點分割的那些）使用LM。又例如，當祖先節點處的旗標指示跨CU LM被禁能時，屬於祖先節點的CU（即，從祖先節點分割的那些）不使用LM。

在另一個實施例中，祖先節點指的是CTU。

在另一個實施例中，是否使能跨CU LM是依據祖先節點的塊性質的分析暗示地推導的。

在本節中，CU可以被改變為任何塊。例如，它可以是PU。

LM 輔助角 / 平面模式

對於傳統的畫面內預測模式（例如，角畫面內預測模型、DC和平面），參考樣本來自頂部和左側相鄰已重構樣本。因此，對於當前塊內的右下樣本，畫面內預測的準確度下降。在本節中，LM用於改進來著傳統畫面內預測模式的預測。

在一個實施例中，當前塊的預測由來自傳統畫面內預測模式的預測的一個或複數個假設與來自LM模式的預測的一個或複數個假設的加權和所形成。在一個子實施例中，兩者應用相等的權重。在另一個子實施例中，權重隨著相鄰編解碼資訊、樣本位置、塊寬度、高度、模式或面積而變化。例如，當樣本位置遠離左上區域時，來自傳統畫面內預測模式的預測的權重減小。更多的加權方案可以參考“逆LM”部分。

在另一個實施例中，提出了使用LM模式，以在當前塊內或當前塊附近生成右下區域。當進行畫面內預測時，參考樣本可以不僅基於原始的左側和頂部相鄰已重構樣本，而且基於所提出的右側和底部已LM預測樣本。下面顯示了示例。 - 在對色度塊進行畫面內預測之前，重構同位亮度塊。 - “同位亮度塊的相鄰亮度已重構樣本”和“當前色度塊的相鄰色度已重構樣本”用於推導LM參數。 - 具有推導的參數的“同位亮度塊的已重構樣本”用於獲得當前色度塊的右下已LM預測樣本。當前色度塊的右下區域可以是第38A圖-第38B圖所示的區域的任何子集。第38A圖示出了右下區域3812位於當前色度塊3810之外並相鄰的示例。第38B圖示出了右下區域3822位於當前色度塊3820內的示例。 - 透過參考原始L相鄰區域（原始左上區域，使用傳統畫面內預測模式獲得）和所提出的逆L區域（使用LM獲得），雙向生成當前塊的預測。

在一個子實施例中，來自原始左上區域的預測子與來自左下區域的預測子用加權進行組合。在一個示例中，兩者應用相等的權重。在另一示例中，權重隨著相鄰編解碼資訊、樣本位置、塊寬度、高度、模式或面積而變化。例如，當樣本位置遠離左上區域時，來自傳統畫面內預測模式的預測的權重減小。

在另一個實施例中，所提出的方法可以被應用於逆LM。然後，當進行亮度畫面內預測時，最終預測是雙向的，這類似於色度塊的上述示例。

在另一個實施例中，在進行分割以瞭解亮度的曲線圖案之後，所提出的LM輔助角度/平面模式協助色度獲得正確的彎曲角度。

可以依據暗示規則（例如，塊寬度、高度或面積）或依據明示規則（例如塊、切片、圖片、SPS或PPS級的語法）來使能和/或禁能本發明中提出的方法。

本發明中的術語“塊”可以指TU/TB、CU/CB、PU/PB或CTU/CTB。

本發明中的術語“LM”可以被視為一種CCLM/MMLM模式或CCLM的任何其他擴展/變體（例如，本發明中提出的CCLM擴展/變體）。儘管用於跨分量預測的線性模型已經用於說明上述所示的本發明實施例，然，本發明不限於線性模型。相反，任何跨分量（跨色彩）預測模型都可以用於實施本發明。以下示出了跨分量模式為卷積跨分量模式（Convolutional Cross-component Mode，CCCM）的示例。CCCM模式可以被視為CCLM的可選模式。當將該可選模式應用於當前塊時，具有一個或複數個模型的跨分量資訊，包括線性項和/或非線性項，用於生成色度預測。與CCLM類似，CCCM的可選模式可以遵循CCLM的範本選擇，因此，CCCM家族包括CCCM_LT CCCM_L和/或CCCM_T。此外，CCCM的可選模式使用CCCM的單個模型或多模型變體。

本發明中提出的方法（用於CCLM）可用於任何其他LM模式。

本發明中所提出的方法的任何組合可以被應用。在組合跨色彩工具中的所提出的方法以改進塊間或塊內複製，以及上述子分割方案的示例中，當當前第二色彩（色度）塊的塊寬度、塊高度或塊面積大於預定義閾值時，當前色度塊首先被劃分為子分割，並且每個子分割可以使用標題為畫面間塊的CCLM的小節中所提出的方法，以生成跨色彩預測的假設。對於當前色度塊的子分割，透過使用與當前子分割相鄰的已重構樣本、與同位第一色彩塊相鄰的已重構採樣、當前子分割中的已預測樣本（由目標模式生成）、同位元第一色彩塊中的已預測樣本（由目標模式生成）或已重構樣本，或者來自上述樣本的任何子集或擴展，推導模型參數。正如標題為畫面內子分割的小節中提到的子分割方案，最小子分割大小是預定義的，並且子分割的寬度、高度或面積不能小於預定義的子分割大小。當將當前塊拆分為子分割並且滿足最小子分割大小時，終止劃分。

上述提出的任何跨分量方法（例如CCLM和CCLM畫面間方法）都可以在編碼器和/或解碼器中實施。例如，所提出的任何方法都可以在編碼器的畫面內/畫面間編解碼模組（例如，第1A圖中的畫面內預測110和畫面間預測112）、運動補償模組（例如第1B圖中的MC152）或解碼器的合併候選推導模組中實施。可選地，所提出的任何方法都可以被實施為：耦合到編碼器的畫面內/畫面間編解碼模組和/或運動補償模組、解碼器的合併候選推導模組的電路。

第39圖示出了本發明實施例的將線性模型預測子與畫面間模式預測子混合的示例性視訊編解碼是統的流程圖。流程圖中所示的步驟可以被實施為在編碼器側的一個或複數個處理器（例如，一個或複數個CPU）上可執行的程式碼。流程圖中所示的步驟也可以基於硬體來實施，例如被佈置為執行流程圖中的步驟的一個或複數個電子設備或處理器。依據該方法，在步驟3910中，接收與包括第一色彩塊和第二色彩塊的當前塊相關的輸入資料。其中，輸入資料包括在編碼器側待編碼的當前塊的像素資料或與在解碼器側待解碼的與當前塊相關聯的已編碼資料；其中，第一色彩塊以目標模式進行編解碼，且該目標模式指的是畫面間模式或畫面內塊複製模式。在步驟3920中，決定與第一色彩塊和第二色彩塊相關的一個或複數個跨色彩模型的一個或者複數個模型參數。在步驟3930中，透過將一個或複數個跨色彩模型應用於第一色彩塊對應的已重構或已預測的第一色彩像素，推導第二色彩塊的跨分量預測子。在步驟3940中，透過使用跨分量預測子或組合跨分量預測子與第二色彩塊的目標模式預測子，推導第二色彩塊的最終預測子。在步驟3950中，透過使用包括最終預測子的預測資料，編碼或解碼第二色彩塊。

本發明所示的流程圖用於示出依據本發明的視訊編碼的示例。在不脫離本發明的精神的情況，本領域的通常知識者可以修改每個步驟、重組這些步驟、將一個步驟進行分離或者組合這些步驟來實施本發明。在本發明中，已經使用特定語法和語義來示出不同示例，以實施本發明的實施例。在不脫離本發明的精神的情況，透過用等價的語法和語義來替換該語法和語義，本領域的通常知識者可以實施本發明。

上述說明，使得本領域的普通通常知識者能夠在特定應用程式的內容及其需求中實施本發明。對本領域通常知識者來說，所描述的實施例的各種變形將是顯而易見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說明瞭各種具體細節，以便透徹理解本發明。儘管如此，將被本領域的通常知識者理解的是，本發明能夠被實踐。

如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的組合中實施。例如，本發明的實施例可以是集成在視訊壓縮晶片內的電路，或者是集成到視訊壓縮軟體中的程式碼，以執行本文所述的處理。本發明的一個實施例也可以是在數位訊號處理器（Digital Signal Processor，DSP）上執行的程式碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列（Field Programmable Gate Array，FPGA）所執行的若干函數。依據本發明，透過執行定義了本發明所實施的特定方法的機器可讀軟體代碼或者韌體代碼，這些處理器可以被配置為執行特定任務。軟體代碼或韌體代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以被編譯以用於不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。

本發明以不脫離其精神或本質特徵的其他具體形式來實施。所描述的例子在所有方面僅是說明性的，而非限制性的。因此，本發明的範圍由額外的申請專利範圍來表示，而不是前述的描述來表示。申請專利範圍的含義以及相同範圍內的所有變化都應納入其範圍內。

110:畫面內預測 112:畫面間預測 114:開關 116:加法器 118:變換 120:量化 122:熵編碼器 124:逆量化 126:逆變換 128:重構 130:環路濾波器 134:參考圖片暫存器 140:熵解碼器 150:畫面內預測 152:運動補償 510:W個已重構相鄰邊界樣本 512:H個已重構相鄰邊界樣本 514:頂部邊界線 516:左側邊界線 520:矩陣向量乘法單元 530:下採樣預測塊 540:預測塊 610,620,630,640:情況 710:色度塊 720:亮度塊 810:當前塊 820:選定範本 830:區域 840:區域 850:3x3視窗 852,860,862:像素 910:直方圖條 912:M1 914:M2 920:用M1的預測 922:用M2的預測 924:平面畫面內模式 930:參考像素 940,942,944:預測子 950:權重因數 960:已混合預測子 1010:當前塊 1012,1014:預測樣本 1020,1022:參考樣本 1310:當前CU 1320:同位CU 1330:已縮放運動向量 1340:運動向量 1410:當前CU的同位位置 1510:L0參考塊1510 1512:起始點 1520:參考塊1520 1522:起始點 1610:當前塊 1810:當前塊 1820: CU 1910:當前塊 2010,2012:線 2022,2024,2026:箭頭 2110:當前CU 2210,2220,2230:分割組 2410:角度φi 2420:偏移量ρi 2430:點 2440,2442,2444:線 3010:相鄰區域 3012:亮度塊 3020:相鄰區域 3022:色度（cb或cr）塊 3030:模型參數推導 3110:同位亮度塊 3112:相鄰區域 3120:當前Cb色度塊 3122:相鄰區域 3130:當前Cr色度塊 3131:相鄰區域 3210:cr預測 3220:cb預測 3230:JCCLM預測子 3310:cb塊 3320:cr塊 3510:塊 3610:亮度塊 3620:色度塊 3810:當前色度塊 3812:右下區域 3820:當前色度塊 3822:右下區域 3910,3920,3930,3940,3950:步驟

第1A圖示出了包括環路處理的示例性自適應畫面間/畫面內視訊編碼系統。 第1B圖示出了第1A圖中編碼器對應的解碼器。 第2圖示出了用於畫面內預測的方向（角度）模式的示例。 第3圖示出了多參考線（Multiple Reference Line，MRL）畫面內預測的示例，其中4條參考線用於畫面內預測。 第4A圖示出了畫面內子分割（Intra Sub-Partition，ISP）的示例，其中塊被水平地或垂直地分割為兩個子塊。 第4B圖示出了畫面內子分割（ISP）的示例，其中塊被水平地或垂直地劃分為四個子塊。 第5圖示出了矩陣加權畫面內預測（Matrix weighted Intra Prediction，MIP）處理流程的示例。 第6圖示出了IBC模式的參考區域，其中每個塊表示64x64亮度樣本單元，並且參考區域取決於當前已編解碼CU的位置。 第7圖示出了“類型-0”內容的 色度塊、相應的 亮度塊及其相鄰樣本（如填充圓形和填充三角形所示）的相對樣本位置。 第8A圖示出了用於當前塊的已選擇範本的示例，其中該範本包括當前塊上方的T行和當前塊左側的T列。 第8B圖示出了T=3的示例，並HoG（Histogram of Gradient，梯度直方圖）被計算用於中間線像素和中間列像素。 第8C圖示出了角度畫面內預測模式的幅度（ ampl）的示例。 第9圖示出了混合處理的示例，其中兩個角度畫面內模式（M1和M2）是依據具有直方圖條的兩個最高條的索引而選擇的。 第10圖示出了基於範本的畫面內模式推導（Template-based Intra Mode Derivation，TIMD）模式的示例，其中在編碼器和解碼器處使用相鄰範本，TIMD暗示地推導CU的畫面內預測模式。 第11圖示出了用於推導VVC的空間合併候選的相鄰塊。 第12圖示出了考慮用於VVC中的冗餘檢查的可能候選對。 第13圖示出了時間候選推導的示例，其中已縮放運動向量是依據圖片順序計數（Picture Order Count，POC）距離推導的。 第14圖示出了在候選C0和候選C1之間選擇的時間候選的位置。 第15圖示出了依據具有MVD的合併模式（Merge Mode with MVD，MMVD）在水平方向和垂直方向上從起始MV的距離偏移。 第16A圖示出了由兩個控制點（4參數）的運動資訊描述的塊的仿射運動場的示例。 第16B圖示出了由三個控制點運動向量（6參數）的運動資訊描述的塊的仿射運動場的示例。 第17圖示出了基於塊的仿射變換預測的示例，其中每個4×4亮度子塊的運動向量是從控制點MV推導的。 第18圖示出了基於相鄰塊的控制點MV推導繼承仿射候選的示例。 第19圖示出了透過組合來自空間和時間相鄰的每個控制點的平移運動資訊的仿射候選構造的示例。 第20圖示出了用於運動資訊繼承的仿射運動資訊存儲的示例。 第21圖示出了依據頂部相鄰塊和左側相鄰塊的編解碼模式的組合畫面間和畫面內預測（Combined Inter and Intra Prediction，CIIP）的權重值推導的示例。 第22圖示出了VVC標準中使用的64種分割的示例，其中分割是依據其角度而分組的，並且虛線指示冗餘分割。 第23圖示出了用於幾何分割模式的單預測MV選擇的示例。 第24圖示出了使用幾何分割模式的混合權重 的示例。 第25圖示出了依據邊界周圍的混合區域的離散斜坡（ramp）函數的GPM混合處理的示例。 第26圖示出了ECM 4.0中用於GPM混合的GPM混合處理的示例。 第27A-C圖分別示出了可用IPM候選的示例：針對GPM塊邊界的平行角模式（平行模式，第27 A圖）、針對GPM塊邊界的垂直角模式（垂直模式，第27 B圖）和平面模式（第27 C圖）。 第27D圖示出了具有畫面內預測和畫面間預測的GPM的示例，其中畫面內預測被限制以減少IPM的標示開銷和硬體解碼器成本。 第28A圖示出了使用簡化方法之前用於空間GPM（Spatial GPM，SGPM）的語法編解碼。 第28B圖示出了用於空間GPM（Spatial GPM，SGPM）的簡化語法編解碼的示例。 第29圖示出了用於空間GPM（Spatial GPM，SGPM）的範本的示例。 第30圖示出了用於亮度的範本和色度的範本以推導模型參數和範本匹配失真的示例。 第31圖示出了本發明實施例的基於預測的CCLM以基於Y的已預測樣本推導Cb和Cr的預測的示例。 第32圖示出了cr預測、cb預測和JCCLM預測子之間的關係的示例。 第33圖示出了自適應畫面內模式選擇的示例，其中色度塊被劃分為4個子塊。 第34A -C圖示出了分割當前塊以及從與這些分割相關的CCLM中進行預測的權重選擇的一些可能方式。 第35圖示出了用於推導邊界匹配成本的邊界樣本的示例。 第36圖示出了跨CU LM的示例，其中塊具有不規則圖案，沒有角度畫面內預測可以提供良好的預測。 第37圖示出了與節點相關的亮度圖片區域包含不規則圖案並且該圖片區域被劃分為用於應用畫面間或畫面內預測的各個塊。 第38A-B圖示出了使用LM模式在當前塊內（第38A圖）或當前塊外（第38B圖）生成右下區域的示例。 第39圖示出了本發明實施例的將線性模型預測子與畫面間模式預測子混合的視訊編解碼系統的流程圖。

3910,3920,3930,3940,3950:步驟

Claims (18)

1. 一種色彩圖片的預測方法，包括： 接收與包括第一色彩塊和第二色彩塊的當前塊相關的輸入資料，其中該輸入資料包括在編碼器側待編碼的該當前塊的像素資料或在解碼器側待解碼的與該當前塊相關的已編碼資料，其中該第一色彩塊以目標模式進行編解碼，該目標模式指的是畫面間模式或畫面內塊複製模式； 決定與該第一色彩塊和該第二色彩塊相關的一個或複數個跨色彩模型的一個或複數個模型參數； 透過將該一個或複數個跨色彩模型應用於該第一色彩塊的對應的已重構或已預測第一色彩像素，推導該第二色彩塊的跨分量預測子； 透過使用該跨分量預測子或組合該跨分量預測子與該第二色彩塊的目標模式預測子，推導該第二色彩塊的最終預測子；以及 透過使用包括該最終預測子的預測資料，編碼或解碼該第二色彩塊。
2. 如請求項1所述之方法，其中，透過使用該第一色彩塊的相鄰已重構第一色彩樣本和該第二色彩塊的相鄰已重構第二色彩樣本，推導該一個或複數個跨色彩模型的該一個或多個模型參數。
3. 如請求項1所述之方法，其中，透過使用該第一色彩塊的相鄰已預測第一色彩樣本和該第二色彩塊的相鄰已預測第二色彩樣本，推導該一個或複數個跨色彩模型的該一個或多個模型參數。
4. 如請求項1所述之方法，其中，該跨分量預測子是從跨分量模式集中選擇的。
5. 如請求項4所述之方法，其中，該跨分量模式集包括CCLM_LT模式、CCLM_L模式、CCLM_T模式、MMLM_LT模式，MMLM_L模式和MMLM_T模式的全部或任意子集的組合。
6. 如請求項4所述之方法，其中，該跨分量預測子是依據暗示規則從該跨分量模式集中選擇的。
7. 如請求項6所述之方法，其中，該暗示規則與該當前塊的塊寬度、塊高度或塊面積相關。
8. 如請求項6所述之方法，其中，該暗示規則被推斷為被預定義。
9. 如請求項4所述之方法，其中，該跨分量預測子是依據一個或複數個明示索引選擇的。
10. 如請求項1所述之方法，其中，使用組合畫面間合併和畫面內預測（Combined Inter Merge and Intra Prediction，CIIP）、具有範本匹配的CIIP（CIIP with Template Matching，CIIP-TM）或具有位置相關畫面內預測組合的CIIP （Position Dependent Intra Prediction Combination，CIIP PDPC），推導該目標模式預測子。
11. 如請求項1所述之方法，其中，該第一色彩塊對應於亮度塊，該第二色彩塊對應於色度塊。
12. 如請求項1所述之方法，其中，該第二色彩塊的該最終預測子是使用該跨分量預測子和該目標模式預測子的加權和而推導的。
13. 如請求項12所述之方法，其中，該跨分量預測子和該目標模式預測子的加權和的一個或複數個權重是依據該當前塊的一個或複數個相鄰塊的編解碼模式而選擇的。
14. 如請求項13所述之方法，其中，該一個或複數個相鄰塊對應於頂部相鄰塊和左側相鄰塊中至少一個。
15. 如請求項1所述之方法，其中，當以組合畫面間合併和畫面內預測（Combined Inter Merge and Intra Prediction，CIIP）對該當前塊進行編解碼時，從位元流標示或解析一個或複數個旗標，以指示跨分量處理是否被應用於該當前區塊；其中該跨分量處理包括該推導跨分量預測子、該推導最終預測子以及該透過使用包括最終預測子的預測資料編碼或解碼該第二色彩塊。
16. 如請求項15所述之方法，其中，當該跨分量處理被應用於該當前塊時，該跨分量預測子被推斷為依據預定義的跨分量模式而被推導。
17. 如請求項15所述之方法，其中，當該跨分量處理被應用於該當前塊時，該跨分量預測子被推斷為候選跨分量模式集中具有最小邊界匹配成本的目標跨分量模式。
18. 一種色彩圖片的預測裝置，包括：一個或複數個電子設備或處理器，被佈置為： 接收與包括第一色彩塊和第二色彩塊的當前塊相關的輸入資料，其中該輸入資料包括在編碼器側待編碼的該當前塊的像素資料或在解碼器側待解碼的與該當前塊相關的已編碼資料，其中該第一色彩塊以目標模式被編解碼，該目標模式指的是畫面間模式或畫面內塊複製模式； 決定與該第一色彩塊和該第二色彩塊相關的一個或複數個跨色彩模型的一個或複數個模型參數； 透過將該一個或複數個跨色彩模型應用於該第一色彩塊的對應的已重構或已預測的第一色彩像素，推導該第二色彩塊的跨分量預測子； 透過使用該跨分量預測子或組合該跨分量預測子與該第二色彩塊的目標模式預測子，推導該第二色彩塊的最終預測子；以及 透過使用包括該最終預測子的預測資料，編碼或解碼該第二色彩塊。

Images