TW202013958A - 非對稱加權merge和其它編碼工具的交互 - Google Patents

非對稱加權merge和其它編碼工具的交互 Download PDF

Info

Publication number
TW202013958A
TW202013958A TW108119600A TW108119600A TW202013958A TW 202013958 A TW202013958 A TW 202013958A TW 108119600 A TW108119600 A TW 108119600A TW 108119600 A TW108119600 A TW 108119600A TW 202013958 A TW202013958 A TW 202013958A
Authority
TW
Taiwan
Prior art keywords
merge candidate
prediction
weight
asymmetric
block
Prior art date
Application number
TW108119600A
Other languages
English (en)
Other versions
TWI739113B (zh
Inventor
劉鴻彬
張莉
張凱
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202013958A publication Critical patent/TW202013958A/zh
Application granted granted Critical
Publication of TWI739113B publication Critical patent/TWI739113B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供了一種視頻編碼中非對稱加權雙向預測Merge的設備、系統和方法。在一個典型的方面，一種視頻資料解碼方法，包括：確定視頻資料的當前視頻塊是從非對稱雙向預測Merge候選預測的，其中不同的權重被用於第一參考塊和第二參考塊；並且基於該確定，為當前視頻塊在啟用和禁用編碼工具之間做出決定。在當前視頻塊是從非對稱雙向預測Merge候選預測的情況下，編碼工具不應用到當前視頻塊。

Description

非對稱加權MERGE和其它編碼工具的交互
本發明是有關於一種視頻編碼技術。 [相關申請的交叉引用] 根據適用的專利法和/或《巴黎公約》的規定，本申請及時要求於2018年6月5日提交的國際專利申請號PCT/CN2018/089919的優先權和利益。根據美國法律，將國際專利申請號PCT/CN2018/089919的全部公開以引用方式併入本文，作為本申請公開的一部分。
運動補償是視頻處理中的一種技術，通過考慮攝像機和/或視頻中的物件的運動，給定先前幀和/或將來幀來預測視頻中的幀。運動補償可以用於視頻資料的編碼和解碼中以實現視訊壓縮。
本發明提供一種與用於運動補償的非對稱加權雙向預測Merge相關的設備、系統和方法。更一般地，所述的本公開技術為視頻編碼的Merge模式提供增強。
在一個典型的方面，公開的技術可用於提供使用非對稱加權雙向預測Merge的視頻解碼方法。該方法包括：確定視頻資料的當前塊是從非對稱雙向預測Merge候選預測的，其中不同的權重被用於第一參考塊和第二參考塊；並且基於該確定，為當前視頻塊在啟用和禁用編碼工具之間做出決定。在視頻塊是從非對稱雙向預測Merge候選預測的情況下，編碼工具不應用到當前視頻塊。
在另一個典型的方面，公開的技術可用於提供一種使用非對稱加權雙向預測Merge的視頻編碼方法。該方法包括：基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選，其中非對稱加權包括第一權重和與第一權重不同的第二權重；在構建之後，將Merge候選***到Merge候選列表中，從至少Merge候選列表中匯出運動資訊，並且基於運動資訊對被幀間編碼的視頻資料的當前塊進行編碼。
在另一個典型的方面，公開的技術可用於提供視頻資料解碼方法。該方法包括：接收被幀間編碼的視頻資料的當前塊；基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選，其中非對稱加權包括第一權重和與第一權重不同的第二權重，並且其中Merge候選包括運動向量和對應的參考圖片；在構建之後，將Merge候選***到Merge候選列表中；從至少Merge候選列表匯出運動資訊；以及基於運動資訊、運動向量和對應的參考圖片解碼當前塊。
在另一個典型的方面，公開的技術可用於提供使用非對稱加權雙向預測Merge的視頻編碼方法。該方法包括：基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選，其中非對稱加權包括第一權重和與第一權重不同的第二權重；在構建之後，將Merge候選***到Merge候選列表中；從至少Merge候選列表匯出運動資訊；以及基於運動資訊編碼被幀間編碼的視頻資料的當前視頻塊。在當前視頻塊是從非對稱雙向預測Merge候選預測的情況下，編碼工具不應用到當前視頻塊。Merge候選列表Merge候選列表
在又一典型的方面，上述方法以處理器可執行代碼的形式實施，並且存儲在電腦可讀的程式介質中。
在又一典型的方面，公開了一種設備，其被配置為或可操作以執行上述方法。該設備可以包括被程式設計以實現該方法的處理器。
在又一典型的方面，一種視頻解碼器裝置，其可以實現如本文所述的方法。
在附圖、說明書和權利要求書中更詳細地描述了所公開技術的上述方面、以及其他方面和特徵。
由於對高解析度視頻的需求日益增加，視頻編碼方法和技術在現代技術中無處不在。視頻編解碼器通常包括壓縮或解壓縮數位視訊的電子電路或軟體，並且不斷地被改進以提供更高的編碼效率。視頻編解碼器將未壓縮的視訊轉換為壓縮格式，或反之亦然。視頻品質、用於表示視頻的資料量（由位元速率決定）、編碼和解碼演算法的複雜度、對資料丟失和錯誤的敏感度、易於編輯、隨機訪問和端到端延遲（延遲）之間存在複雜的關係。壓縮格式通常符合標準視訊壓縮規範，例如，高效視頻編碼（HEVC）標準（也稱為H.265或MPEG-H第2部分）、待最終確定的通用視頻編碼標準或其他當前和/或未來的視頻編碼標準。
所公開技術的實施例可以應用于現有的視頻編碼標準（例如，HEVC、H.265）和未來的標準，以提高執行時間性能。它與視頻編碼中的Merge模式有著特定的關係。在本檔中，使用章節標題來提高描述的可讀性，並且不以任何方式將討論或實施例（和/或實現）僅限於各自的章節。為了便於理解，本檔中使用了章節，並且不將各章節中公開的技術和實施例的範圍僅限制在該章節中。
1. HEVC/H.265中的幀間預測的示例
多年來，視頻編碼標準有了顯著的改進，並且現在在某種程度上提供了高編碼效率和對更高解析度的支援。最新標準諸如HEVC和H.265等是基於混合視頻編碼結構，其中採用了時域預測加變換編碼。
1.1預測模式的示例
每個幀間預測的PU（預測單元）都有一個或兩個參考圖片列表的運動參數。在一些實施例中，運動參數包括運動向量和參考圖片指數。在其他實施例中，兩個參考圖片列表之一的使用也可以使用inter_pred_idc發信令。在又一實施例中，運動向量可顯式地編碼為相對於預測器的增量。
當CU採用跳躍模式編碼時，PU與CU相關聯，並且沒有顯著的殘差係數，沒有編碼運動向量增量或參考圖片指數。指定了一種Merge模式，通過該模式，可以從相鄰的PU（包括空間和時間候選）中獲取當前PU的運動參數。Merge模式可以應用於任何幀間預測的PU，而不僅僅是跳躍模式。Merge模式的另一種選擇是運動參數的顯式傳輸，其中每個參考圖片列表的運動向量、對應的參考圖片指數以及參考圖片列表的使用都會根據每個PU顯式地發信令。
當信令指示要使用兩個參考圖片列表中的一個時，從一個樣本塊中生成PU。這被稱為“單向預測”。單向預測對P條帶（slice）和B條帶都可用。
當信令指示要使用兩個參考圖片列表時，從兩個樣本塊中生成PU。這被稱為“雙向預測”。雙向預測僅對B條帶可用。
1.1.1構建Merge模式的候選的實施例
當使用Merge模式預測PU時，從位元流中解析指向Merge候選列表中條目的指數，並且使用該指數檢索運動資訊。此清單的構建可按以下步驟順序進行概括： 步驟1：初始候選推導 步驟1.1：空間候選推導 步驟1.2：空間候選冗餘檢查 步驟1.3：時域候選推導 步驟2：附加候選*** 步驟2.1：創建雙向預測候選 步驟2.2：***零運動候選
圖1示出了基於上面概括的步驟序列構建Merge候選列表的示例。對於空間Merge候選推導，在位於五個不同位置的候選中最多選擇四個Merge候選。對於時域Merge候選推導，在兩個候選中最多選擇一個Merge候選。由於在解碼器處假定每個PU的候選數為常量，因此當候選數未達到片頭中發信令的最大Merge候選數（maxNumMergeCand）時，生成附加的候選。由於候選數是恒定的，所以最佳Merge候選的指數使用截斷的一元二值化（TU）進行編碼。如果CU的大小等於8，則當前CU的所有PU都共用一個Merge候選列表，這與2N×2N預測單元的Merge候選列表相同。
1.1.2構建空間Merge候選
在空間Merge候選的推導中，在位於圖2所示位置的候選中最多選擇四個Merge候選。推導順序為A1， B1， B0， A0 和 B2。只有當位置A1， B1， B0， A0的任何PU不可用（例如，因為它屬於另一個條帶或片）或是內部編碼時，才考慮位置B2。在增加A1位置的候選後，對剩餘候選的增加進行冗餘檢查，其確保具有相同運動資訊的候選被排除在清單之外，從而提高編碼效率。
為了降低計算的複雜度，在所提到的冗餘檢查中並不考慮所有可能的候選對。相反，只有與圖3中的箭頭連結的對才會被考慮，並且只有當用於冗餘檢查的對應候選沒有相同的運動資訊時，才將候選添加到列表中。複製運動資訊的另一個來源是與2Nx2N不同的分區相關的“第二PU”。例如，圖4A和4B分別描述了N×2N和2N×N情況下的第二PU。當當前的PU被劃分為N×2N時，對於列表構建不考慮A1位置的候選。在一些實施例中，添加此候選可能導致兩個具有相同運動資訊的預測單元，這對於在編碼單元中僅具有一個PU是冗餘的。同樣地，當當前PU被劃分為2N×N時，不考慮位置B1。
1.1.3構建時域Merge候選
在此步驟中，只有一個候選添加到列表中。特別地，在這個時域Merge候選的推導中，基於與給定參考圖片列表中當前圖片具有最小POC差異的並置PU匯出了縮放運動向量。用於推導並置PU的參考圖片列表在條帶頭中顯式地發信令。
圖5示出了時域Merge候選（如虛線所示）的縮放運動向量的推導示例，其使用POC距離tb和td從並置PU的運動向量進行縮放，其中tb定義為當前圖片的參考圖片和當前圖片之間的POC差異，並且td定義為並置圖片的參考圖片與並置圖片之間的POC差異。時域Merge候選的參考圖片指數設置為零。對於B條帶，得到兩個運動向量（一個是對於參考圖片列表0，另一個是對於參考圖片列表1）並將其組合使其成為雙向預測Merge候選。
在屬於參考幀的並置PU（Y）中，在候選C0 和 C1之間選擇時域候選的位置，如圖6所示。如果位置C0處的PU不可用、內部編碼或在當前CTU之外，則使用位置C1。否則，位置C0被用於時域Merge候選的推導。
1.1.4構建附加類型的Merge候選
除了空時Merge候選，還有兩種附加類型的Merge候選：組合雙向預測Merge候選和零Merge候選。組合雙向預測Merge候選是利用空時Merge候選生成的。組合雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片列表運動參數與另一候選的第二參考圖片列表運動參數相結合，生成組合雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成新的雙向預測候選。
圖7示出了此過程的一個示例，其中原始列表（710，在左側）中具有MVL0和refIdxL0或MVL1和refIdxL1的兩個候選被用於創建添加到最終列表（720，在右側）中的組合雙向預測Merge候選。
***零運動候選以填充Merge候選列表中的其餘條目，從而達到MaxNumMergeCand的容量。這些候選具有零空間位移和從零開始並且每次將新的零運動候選添加到清單中時都會增加的參考圖片指數。這些候選使用的參考幀的數目對於單向預測和雙向預測分別是1幀和2幀。在一些實施例中，對這些候選不執行冗餘檢查。
1.1.5並行處理的運動估計區域的示例
為了加快編碼處理，可以並存執行運動估計，從而同時匯出給定區域內所有預測單元的運動向量。從空間鄰域匯出Merge候選可能會干擾並行處理，因為一個預測單元在完成相關運動估計之前無法從相鄰的PU匯出運動參數。為了緩和編碼效率和處理延遲之間的平衡，可以定義運動估計區域（MER）。MER的大小可在圖片參數集（PPS）中發信令。當定義MER時，落入同一區域的Merge候選標記為不可用，並且因此在列表構建中不考慮。
1.2運動向量預測的實施例
運動向量預測利用運動向量與相鄰的PU的空時相關性，其用於運動參數的顯式傳輸。首先通過檢查左上方的時域相鄰的PU位置的可用性、去掉多餘的候選位置並且加上零向量以使候選列表長度恒定來構建運動向量候選列表。然後，編碼器可以從候選清單中選擇最佳的預測器，並發送指示所選候選的對應指數。與Merge指數信令類似，最佳運動向量候選的指數使用截斷的一元進行編碼。
1.2.1構建運動向量預測候選的示例
圖8概括了運動向量預測候選的推導過程，並可以對每個參考圖片列表使用refidx作為輸入來實現。
在運動向量預測中，考慮了兩種類型的運動向量候選：空間運動向量候選和時域運動向量候選。對於空間運動向量候選的推導，基於位於先前圖2所示的五個不同位置的每個PU的運動向量最終推導出兩個運動向量候選。
對於時域運動向量候選的推導，從兩個候選中選擇一個運動向量候選，這兩個候選是基於兩個不同的並置位置推導出的。在作出第一個空時候選列表後，移除列表中重複的運動向量候選。如果潛在候選的數量大於二，則從列表中移除相關聯的參考圖片列表中參考圖片指數大於1的運動向量候選。如果空時運動向量候選數小於二，則會在列表中添加附加的零運動向量候選。
1.2.2構建空間運動向量候選
在推導空間運動向量候選時，在五個潛在候選中最多考慮兩個候選，這五個候選來自先前圖2所示位置上的PU，這些位置與運動Merge的位置相同。當前PU左側的推導順序定義為A0、A1、以及縮放的 A0、縮放的A1。當前PU上面的推導順序定義為B0、B1, B2、縮放的 B0、縮放的 B1、縮放的B2。因此，每側有四種情況可以用作運動向量候選，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況概括如下： --無空間縮放 （1）相同的參考圖片列表，並且相同的參考圖片指數（相同的POC） （2）不同的參考圖片列表，但是相同的參考圖片（相同的POC） --空間縮放 （3）相同的參考圖片列表，但是不同的參考圖片（不同的POC） （4）不同的參考圖片列表，並且不同的參考圖片（不同的POC）
首先檢查無空間縮放的情況，然後檢查允許空間縮放的情況。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同時，都會考慮空間縮放，而不考慮參考圖片列表。如果左側候選的所有PU都不可用或是內部編碼，則允許對上述運動向量進行縮放，以幫助左側和上方MV候選的平行推導。否則，不允許對上述運動向量進行空間縮放。
如圖9中的示例所示，對於空間縮放情況，以與時域縮放類似的方式縮放相鄰PU的運動向量。一個區別是，給出當前PU的參考圖片列表和指數作為輸入；實際的縮放處理與時域縮放處理相同。
1.2.3構建時域運動向量候選
除了參考圖片指數的推導外，時域Merge候選的所有推導過程與空間運動向量候選的推導過程相同（如圖6中的示例所示）。在一些實施例中，向解碼器發參考圖片指數的信令。
2. 聯合探索模型（JEM）中幀間預測方法的示例
在一些實施例中，使用名為聯合探索模型（JEM）的參考軟體來探索未來的視頻編碼技術。在JEM中，基於子塊的預測被用於多種編碼工具中，諸如仿射預測、可選時域運動向量預測（ATMVP）、空時運動向量預測（STMVP）、雙向光流（BIO）、畫面播放速率上轉換（FRUC）、局部自我調整運動向量解析度（LAMVR）、重疊塊運動補償（OBMC）、局部照明補償（LIC）和解碼器側運動向量細化（DMVR）。
2.1重疊塊運動補償（OBMC）的示例
在JEM中，可以使用CU級別的語法打開和關閉OBMC。當OBMC用於JEM時，OBMC用於所有運動補償（MC）塊邊界，但CU的右邊界和底邊界除外。此外，它還適用於亮度和色度分量。在JEM中，MC塊對應於編碼塊。當CU用子CU模式（包括子CU Merge、仿射和FRUC模式）編碼時，CU的每個子塊都是MC塊。為了用統一的方式處理CU邊界，在所有MC塊邊界的子塊級別執行OBMC，其中子塊大小設置為等於4×4，如圖10A和10B所示。
圖10A示出了在CU/PU邊界處的子塊，並且陰影線的子塊是應用OBMC的地方，同樣地，圖10B示出了在ATMVP模式下的子PU。
當OBMC應用於當前子塊時，除了當前運動向量外，四個相連的相鄰子塊的運動向量（如果可用且與當前運動向量不同）也可用於推導當前子塊的預測塊。將這些基於多個運動向量的多個預測塊組合起來，以生成當前子塊的最終預測訊號。
基於相鄰子塊運動向量的預測塊表示為PN，其中N表示相鄰上、下、左右子塊的索引，並且基於當前子塊運動向量的預測塊表示為PC。當PN基於包含與當前子塊相同的運動資訊的相鄰子塊的運動資訊時，OBMC不從PN處執行的。否則，每個PN的樣本都添加到PC中的相同樣本中，即將PN的四行/列添加到PC。PN使用權重因數{1/4, 1/8, 1/16, 1/32}，PC使用權重因數{3/4, 7/8, 15/16, 31/32}。例外情況是小MC塊（即編碼塊的高度或寬度等於4或CU是用子CU模式編碼的），對此在PC中只添加PN的兩行/列。在這種情況下，PN使用權重因數{1/4, 1/8}，PC使用權重因數{3/4, 7/8}。對於基於垂直（水準）相鄰子塊的運動向量生成的PN，將PN的同一行（列）中的樣本以相同的權重因數添加到PC中。
在JEM中，對於尺寸小於或等於256 亮度樣本的CU，會對CU級別標誌發信令，以指示當前CU是否應用OBMC。對於尺寸大於256 亮度樣本或未使用AMVP模式編碼的CU，預設情況下應用OBMC。在編碼器處，當OBMC應用于CU時，在運動估計階段會考慮其影響。使用上鄰塊和左鄰塊的運動資訊通過OBMC形成的預測訊號被用來補償當前CU的原始信號的上邊界和左邊界，並且然後應用正常的運動估計處理。
2.2 局部照明補償（LIC）的示例
LIC基於用於照明變化的線性模型，使用比例因數a和偏移量b。並且其對每個幀間編碼的編碼單元（CU）自我調整地啟用或禁用。
當LIC應用于CU時，採用最小二乘誤差法、通過使用當前CU的相鄰樣本及其對應的參考樣本匯出參數a和b。圖11示出了用於推導IC演算法參數的相鄰樣本的示例。具體來說，如圖11所示，使用參考圖片中CU的子採樣（2:1子採樣）相鄰樣本和對應的樣本（由當前CU或子CU的運動資訊識別）。推導出IC參數並將其分別應用於每個預測方向。
當使用Merge模式對CU進行編碼時，LIC標誌以類似於Merge模式下運動資訊複製的方式從相鄰塊複製；否則，將為CU發出LIC標誌，以指示LIC是否適用。
當為圖片啟用LIC時，需要附加的CU級RD檢查來確定是否為CU應用LIC。當對CU啟用LIC時，對於整數圖元運動搜索和分數圖元運動搜索，分別使用絕對差的平均去除和（MR-SAD）和絕對Hadamard變換差的平均去除和（MR-SATD），而不使用SAD和SATD。
為了降低編碼複雜度，在JEM中應用以下編碼方案： --當當前圖片與其參考圖片之間沒有明顯的亮度變化時，對整個圖片禁用LIC。為了識別這種情況，在編碼器處計算當前圖片的柱狀圖和當前圖片的每個參考圖片的柱狀圖。如果當前圖片和當前圖片的每個參考圖片之間的柱狀圖差小於給定閾值，則對當前圖片禁用LIC；否則，對當前圖片啟用LIC。
2.3模式匹配運動向量推導（PMMVD）的示例
PMMVD模式是基於畫面播放速率上轉換（FRUC）方法的特殊Merge模式。在這種模式下，塊的運動資訊不會被發信令，而是在解碼器側匯出。
對於CU，當其Merge標誌為真時，FRUC標誌可以被發信令。當FRUC標誌為假時，Merge指數可以被發信令並且使用常規Merge模式。當FRUC標誌為真時，另一個FRUC模式標誌可以被發信令來指示將使用哪種模式（例如，雙向匹配或範本匹配）來匯出該塊的運動資訊。
在編碼器端，基於對正常Merge候選所做的RD成本選擇決定是否對CU使用FRUC Merge模式。例如，通過使用RD成本選擇來檢查CU的多個匹配模式（例如，雙向匹配和範本匹配）。導致最低成本的模式進一步與其它CU模式相比較。如果FRUC匹配模式是最有效的模式，那麼對於CU，FRUC標誌設置為真，並且使用相關的匹配模式。
通常，FRUC Merge模式中的運動推導處理有兩個步驟：首先執行CU級運動搜索，然後執行子CU級運動優化。在CU級，基於雙向匹配或範本匹配，匯出整個CU的初始運動向量。首先，生成一個MV候選列表，並且選擇導致最低匹配成本的候選作為進一步優化CU級的起點。然後在起始點附近執行基於雙向匹配或範本匹配的局部搜索。將最小匹配成本的MV結果作為整個CU的MV值。接著，以匯出的CU運動向量為起點，進一步在子CU級細化運動資訊。
例如，對於W×H CU運動資訊推導執行以下推導過程。在第一階段，推導出了整個W×H CU的MV。在第二階段，該CU進一步被分成M×M子CU。M的值按照等式（1）計算，D是預先定義的劃分深度，在JEM中默認設置為3。然後匯出每個子CU的MV值。
Figure 02_image002
等式（1）
圖12示出在畫面播放速率上轉換（FRUC）方法中使用的雙向匹配的例子。通過沿當前CU（1200）的運動軌跡在兩張不同的參考圖片（1210，1211）中找到兩個塊之間最接近的匹配，使用雙向匹配來獲得當前CU的運動資訊。在連續運動軌跡假設下，指向兩個參考塊的運動向量MV0（1201）和MV1（1202）與當前圖片和兩個參考圖片之間的時間距離（例如，TD0（1203）和TD1（1204）成正比。在一些實施例中，當當前圖片1200暫時位於兩個參考圖片（1210，1211）之間並且當前圖片到兩個參考圖片的時間距離相同時，雙向匹配成為基於鏡像的雙向MV。
圖13示出在畫面播放速率上轉換（FRUC）方法中使用的範本匹配的例子。範本匹配可以用於通過查找當前圖片中的範本（例如，當前CU的頂部和/或左側相鄰塊）與參考圖片1310中的塊（例如，與範本大小相同）之間的最接近匹配來獲取當前CU 1300的運動資訊。除了上述的FRUC Merge模式外，範本匹配也可以應用於AMVP模式。在JEM和HEVC中，AMVP都具有兩個候選。通過範本匹配方法，可以匯出新的候選。如果通過範本匹配新匯出的候選與第一個現有的AMVP候選不同，則將其***AMVP候選列表的最開始處，並且然後將列表大小設置為2（例如，通過移除第二個現有AMVP候選）。當應用于AMVP模式時，僅應用CU級搜索。
CU級設置的MV候選可以包括以下：（1）初始AMVP候選，如果當前CU處於AMVP模式，（2）所有Merge候選，（3）插值MV場（稍後描述）中的數個MV，以及頂部和左側相鄰運動向量。
當使用雙向匹配時，Merge候選的每個有效MV可以用作輸入，以生成假設為雙向匹配的MV對。例如，Merge候選在參考列表A處的一個有效MV為（MVa，refa ）。然後在另一個參考列表B中找到其配對的雙向MV的參考圖片refb ，以便refa 和refb 在時間上位於當前圖片的不同側。如果參考列表B中的參考refb 不可用，則將參考refb 確定為與參考refa 不同的參考，並且其到當前圖片的時間距離是清單B中的最小距離。確定參考refb 後，通過基於當前圖片和參考refa 、參考refb 之間的時間距離縮放MVa匯出MVb。
在一些實現中，還可以將來自插值MV場中的四個MV添加到CU級候選列表中。更具體地，添加當前CU的位置（0，0），（W/2，0），（0，H/2）和（W/2，H/2）處插值的MV。當在AMVP模式下應用FRUC時，原始的AMVP候選也添加到CU級的MV候選集。在一些實現中，在CU級，可以將AMVP CU的15個 MV和Merge CU的13個 MV添加到候選列表中。
在子CU級設置的MV候選包括從CU級搜索確定的MV，（2）頂部、左側、左上方和右上方相鄰的MV，（3）參考圖片中並置的MV的縮放版本，（4）一個或多個ATMVP候選（例如，最多四個）和（5）一個或多個STMVP候選（例如，最多四個）。來自參考圖片的縮放MV匯出如下。兩個清單中的參考圖片都被遍歷。參考圖片中子CU的並置位置處的MV被縮放為起始CU級MV的參考。ATMVP和STMVP候選可以是前四個。在子CU級，一個或多個MV（例如，最多17個）被添加到候選列表中。
插值MV場的生成。在對幀進行編碼之前，基於單向ME生成整個圖片的內插運動場。然後，該運動場可以隨後用作CU級或子CU級的MV候選。
在一些實施例中，兩個參考清單中每個參考圖片的運動場在4×4的塊級別上被遍歷。圖14示出了在FRUC法中的單向運動估計（ME）1400的例子。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊，並且該塊沒有被分配任何內插運動，則根據時間距離TD0和TD1將參考塊的運動縮放到當前圖片（與HEVC中TMVP的MV縮放相同），並且在當前幀中將該縮放運動指定給該塊。如果沒有縮放的MV指定給4×4塊，則在插值運動場中將塊的運動標記為不可用。
插值和匹配成本。當運動向量指向分數採樣位置時，需要運動補償插值。為了降低複雜度，對雙向匹配和範本匹配都使用雙線性插值而不是常規的8抽頭HEVC插值。
匹配成本的計算在不同的步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本可以是雙向匹配或範本匹配的絕對和差（SAD）。在確定起始MV後，雙向匹配在子CU級搜索的匹配成本如下：
Figure 02_image004
等式（2）
這裡，w是權重係數。在一些實施例中，w可以被經驗地設置為4。MV和MVs 分別指示當前MV和起始MV。仍然可以將SAD用作模式匹配在子CU級搜索的匹配成本。
在FRUC模式下，MV通過僅使用亮度樣本匯出。匯出的運動將用於亮度和色度的MC幀間預測。確定MV後，對亮度使用8抽頭（8-taps）插值濾波器並且對色度使用4抽頭（4-taps）插值濾波器執行最終MC。
MV細化是基於模式的MV搜索，以雙向匹配成本或範本匹配成本為標準。在JEM中，支援兩種搜索模式—無限制中心偏置菱形搜索（UCBDS）和自我調整交叉搜索，分別在CU級別和子CU級別進行MV細化。對於CU級和子CU級的MV細化，都在四分之一亮度樣本精度下直接搜索MV，接著是八分之一亮度樣本MV細化。將CU和子CU步驟的MV細化的搜索範圍設置為8 個亮度樣本。
在雙向匹配Merge模式下，應用雙向預測，因為CU的運動資訊是在兩個不同的參考圖片中基於當前CU運動軌跡上兩個塊之間的最近匹配得出的。在範本匹配Merge模式下，編碼器可以從清單0的單向預測、列表1的單向預測或者雙向預測中為CU做出選擇。該選擇可以基於如下的範本匹配成本：
如果 costBi>=factor*min（cost0,cost1） 則使用雙向預測； 否則，如果 cost0>=cost1 則使用列表0中的單向預測； 否則， 使用列表1中的單向預測； 這裡，cost0是清單0範本匹配的SAD，cost1是清單2範本匹配的SAD，並且cost雙向是雙向範本匹配的SAD。例如，當factor的值等於1.25時，意味著選擇過程朝雙向預測偏移。幀間預測方向選擇可應用於CU級範本匹配處理。
2.4雙向光流（BIO）的示例
雙向光流（BIO）方法是在分塊運動補償之上對雙向預測進行的樣本方向運動細化。在一些實現中，樣本級的運動細化不使用信令。
設
Figure 02_image005
為塊運動補償後到參考k（k=0，1）的亮度值，並且
Figure 02_image007
,
Figure 02_image009
分別為
Figure 02_image005
梯度的水準分量和垂直分量。假設光流是有效的，則運動向量場
Figure 02_image011
由下式給出：
Figure 02_image013
等式（3）
將此光流等式與每個樣品運動軌跡的埃爾米特插值相結合，得到一個唯一的三階多項式，該多項式在末端同時匹配函數值
Figure 02_image005
和其導數
Figure 02_image007
，
Figure 02_image009
。該多項式在t=0時的值是BIO預測：
Figure 02_image015
等式（4）
圖15示出了雙向光流（BIO）方法中的示例光流軌跡。這裡，
Figure 02_image017
和
Figure 02_image019
表示到參考幀的距離。基於Ref0 和Ref1 的POC計算距離
Figure 02_image017
和
Figure 02_image019
：
Figure 02_image017
=POC(current) − POC(Ref0)，
Figure 02_image019
= POC(Ref1) − POC(current)。如果兩個預測都來自同一個時間方向（都來自過去或都來自未來），則符號是不同的（例如，
Figure 02_image022
）。在這種情況下，如果預測不是來自同一時間點（例如,
Figure 02_image024
），則應用BIO。兩個參考區域都具有非零運動（例如,
Figure 02_image026
），並且塊運動向量與時間距離成比例（例如，
Figure 02_image028
）。
通過最小化A點和B點之間的值的差∆來確定運動向量場
Figure 02_image011
。圖16A-16B示出了運動軌跡與參考幀平面相交的示例。對∆，模型僅使用局部泰勒展開的第一個線性項：
Figure 02_image030
等式 (5)
上述等式中的所有值取決於樣本位置，表示為
Figure 02_image033
。假設在局部周圍區域的運動是一致的，那麼Δ可以在以當前預測點（i，j）為中心的（2 M+1）x（2 M+1）方形視窗Ω內最小化，其中M等於2：
Figure 02_image034
等式 (6)
對於這個優化問題，JEM使用簡化方法，首先在垂直方向上最小化，然後在水準方向最小化。結果如下：
Figure 02_image037
等式 (7)
Figure 02_image039
等式 (8) 其中，
Figure 02_image040
等式 (9) 為了避免被零除或很小的值除，可在式（7）和式（8）中引入正則化參數r和m。
Figure 02_image043
等式 (10)
Figure 02_image045
等式 (11) 這裡，d是視頻樣本的位元深度。
為了使BIO的記憶體訪問與常規雙向預測運動補償相同，計算當前塊內位置的所有預測和梯度值
Figure 02_image047
，圖16A示出了塊2200外部的訪問位置示例。如圖16A所示，在等式（9）中，以預測區塊邊界上當前預測點為中心的(2M+1) x (2M+1)的方形視窗Ω需要訪問區塊外的位置。在JEM中，塊外的值
Figure 02_image047
設置為等於塊內最近的可用值。例如，這可以實現為填充區域2201，如圖16B所示。
使用BIO，可以對每個樣本的運動場進行細化。為了降低計算複雜度，在JEM中採用了基於塊的BIO。運動細化可以基於4x4塊計算。在基於塊的BIO中，可以對4x4塊中所有樣本的等式（9）中的sn 值進行聚合，然後將sn 的聚合值用於推導4x4塊的BIO運動向量偏移。更具體地說，下面的等式可以用於基於塊的BIO推導：
Figure 02_image048
等式（12）
這裡，bk 表示屬於預測塊的第k個 4x4塊的樣本組。等式（7）和等式（8）中的sn 替換為((sn ,bk ) >> 4 )以推導相關聯的運動向量偏移。
在某些情況下，由於雜訊或不規則運動，BIO的MV團可能不可靠。因此，在BIO中，MV團的大小被固定到一個閾值。該閾值是基於當前圖片的參考圖片是否全部來自一個方向確定的。例如，如果當前圖片的所有參考圖片都來自一個方向，該閾值的值被設置為
Figure 02_image051
，否則其被設置為
Figure 02_image053
。
可以使用與HEVC運動補償處理一致的操作（例如，2D分離有限脈衝響應（FIR））通過運動補償插值同時計算BIO的梯度。在一些實施例中，2D分離FIR的輸入是與運動補償處理相同的參考幀，以及根據塊運動向量的分數部分的分數位置（fracX，fracY）。對於水準梯度
Figure 02_image055
，首先使用BIOfilterS對信號進行垂直內插，該BIOfilterS對應於具有去縮放標度位移d-8的分數位置fracY。然後在水準方向上應用梯度濾波器BIOfilterG，該BIOfilterG對應於具有去縮放標度位移18-d的分數位置fracX。對於垂直梯度
Figure 02_image055
，在垂直方向上使用BIOfilterG應用梯度濾波器，該BIOfilterG對應於具有d-8去縮放標度位移的分數位置fracY。然後，然後在水準方向上使用梯度濾波器BIOfilterS執行信號替換，該BIOfilterS對應於具有去縮放標度位移18-d的分數位置fracX。用於梯度計算BIOfilterG和信號替換BIOfilterS的插值濾波器的長度可以更短（例如，6-tap），以保持合理的複雜度。表1示出了可用在BIO中於計算塊運動向量不同分數位置梯度的示例濾波器。表2示出了可用於在BIO中預測訊號生成的插值示例濾波器。
表 1 BIO中用於梯度計算的示例濾波器
Figure 108119600-A0304-0001
表 2 BIO中用於預測訊號生成的示例插值濾波器
Figure 108119600-A0304-0002
在JEM中，當兩個預測來自不同的參考圖片時，BIO可應用於所有的雙向預測塊。當為CU啟用局部照明補償（LIC）時，可以禁用BIO。
在一些實施例中，在正常MC處理之後將OBMC應用於塊。為了降低計算複雜度，在OBMC處理期間可能不應用BIO。這意味著在OBMC處理期間，當使用自己的MV時，將BIO應用於塊的MC處理，而當使用相鄰塊的MV時，BIO不應用於塊的MC處理。
2.5解碼器側運動向量優化（DMVR）的示例
在雙向預測操作中，對於一個塊區域的預測，將兩個分別由列表0的運動向量（MV）和列表1的MV形成的預測塊組合形成單個預測訊號。在解碼器側運動向量細化（DMVR）方法中，通過雙邊範本匹配處理進一步細化雙向預測的兩個運動向量。解碼器中應用的雙邊範本匹配用於在雙邊範本和參考圖片中的重建樣本之間執行基於失真的搜索，以便在不傳輸附加運動資訊的情況下獲得細化的MV。
在DMVR中，雙邊範本被生成為兩個預測塊的加權組合（即平均），其中兩個預測塊分別來自列表0的初始MV0和列表1的MV1，如圖17所示。範本匹配操作包括計算生成的範本與參考圖片中的樣本區域（在初始預測塊周圍）之間的成本度量。對於兩個參考圖片中的每一個，產生最小範本成本的MV被視為該列表的更新MV，以替換原始MV。在JEM中，為每個列表搜索九個MV候選。九個MV候選包括原始MV和8個周邊MV，這八個周邊MV在水準或垂直方向上或兩者與原始MV具有一個亮度樣本的偏移。最後，使用圖17所示的兩個新的MV（即MV0′和MV1′）生成最終的雙向預測結果。絕對差異之和（SAD）被用作成本度量。
在不傳輸附加語法元素的情況下，將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，並且另一個MV來自未來的參考圖片。在JEM中，當為CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。
3.使用非對稱加權的相關方法的實施例
在現有的實現中，如等式（13）所示，提出了用於幀間編碼的廣義雙向預測（G雙向）：
Figure 02_image057
等式（13）
這裡，w是權重值，x是當前塊的座標，P0 和 P1分別是列表0和清單1中的參考圖片，並且v0和v1是P0 和 P1中的運動向量。G雙向模式下的候選權重集包括總共7個權重（W={-1/4, 1/4, 3/8, 1/2, 5/8, 3/4, 5/4}），包括對應于傳統的雙向預測模式的0.5。指示候選權重集中權重值的條目位置的指數被發信令。每個CU最多有一個指數被發信令，並且對應的權重值在該CU中的所有PU和所有顏色分量中被共用。
為了減少指數的信令開銷，每個編碼單元（CU）最多分配一個w，在其所有的雙向預測單元（PU）中共用。如果CU包含至少一個需要對運動向量差（MVD）發信令的雙向預測PU，則對指數w顯式地發信令。否則，不需要對指數發信令。然後，應用以下規則確定CU中每個PU的權重值： --對於每個需要信令MVD的雙向預測PU（即正常預測模式和仿射預測模式），其權重值設置為等於顯式發信令的w。 --對於每個使用Merge模式、高級時域運動向量預測或仿射Merge模式編碼的雙向預測PU，直接從用於相關聯的Merge候選的權重值中推斷出其權重值w。 --對於其餘的雙向預測PU，它們的權重值設置為等於默認的權重值，即0.5。
然而，該方法在AMVP模式下對不同的權值進行複雜的選擇，並且與傳統方法相比編碼時間增加到了300%。此外，信令成本可能高，因為它為AMVP情形顯式地對權重指數發信令。
4. 非對稱加權雙向預測Merge的示例方法
圖18示出了使用非對稱加權雙向預測Merge進行視頻解碼的示例性方法1800的流程圖。在一些實現中，方法1800可以包括接收被幀間編碼的視頻資料的當前塊。當前塊可以從通過網路連接接收的視頻位元流中接收，也可以從本機存放區的壓縮視頻檔中接收。例如，解碼過程可以對視頻位元流執行解析，以在解析過程中到達與當前塊對應的位。
方法1800包括在步驟1810處，確定視頻資料的當前視頻塊是從非對稱雙向預測Merge候選預測的，其中對第一參考塊和第二參考塊使用不同的權重。在一些實施例中，Merge候選包括運動向量和對應的參考圖片。在一些實施例中，用於視頻解碼的非對稱加權是基於如下所述的等式（14）中的模型。
方法1800包括在步驟1830處，基於該確定，為當前視頻塊在啟用和禁用編碼工具之間做出決定。
在一些實現中，方法1800可能包括從至少Merge候選列表中推導出運動資訊。例如，運動資訊可以包括運動向量（和對應的參考幀）。
方法1800包括在步驟1850處，基於Merge候選列表生成當前塊。在當前視頻塊是從非對稱雙向預測Merge候選預測的情況下，編碼工具不應用到當前視頻塊（例如，禁用編碼工具的應用）。
圖19示出了使用非對稱加權雙向預測Merge的視頻編碼示例性方法的流程圖。方法1900包括在步驟1910處，基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選。在一些實施例中，非對稱加權包括第一權重和與第一權重不同的第二權重。在一些實施例中，用於視頻編碼的非對稱加權是基於如下所述的等式（14）中的模型。
方法1900包括在步驟1920處，在構建之後將Merge候選***到Merge候選列表中。
方法1900包括在步驟1930處，從至少Merge候選列表中推導出運動資訊。
方法1900包括在步驟1940處，基於運動資訊編碼被幀間編碼的視頻資料的當前塊。
方法1800和1900可進一步包括第一參考Merge候選和第二參考Merge候選的非對稱加權的不同實施例。在一些實施例中，第一參考Merge候選和第二參考Merge候選都可以是雙向候選，這樣每個候選都可以包括兩個運動向量和對應的運動資訊。在其他實施例中，只有第一或第二個參考Merge候選中的一個可以是雙向候選。
在一些實施例中，Merge候選基於來自第一參考Merge候選的兩個不同運動向量（和對應運動資訊）的非對稱加權。在其他實施例中，Merge候選基於來自第二參考Merge候選的兩個不同運動向量的非對稱加權。在其他實施例中，Merge候選基於來自第一和第二參考Merge候選的運動向量的非對稱加權。
分別在圖18和圖19中描述的方法1800和1900可進一步包括使用以下模型進行雙向預測：
Figure 02_image059
等式（14）
這裡，Pi [x+vi ]是參考圖片列表i中與位於x處的圖元相關聯的預測值，並且如果a等於b，則將權重（a，b）定義為對稱，否則（a不等於b），則將權重定義為非對稱。在一些實施例中，a+b=1。
在一些實施例中，非對稱加權雙向預測Merge候選可以推導出與現有設計（如HEVC和JEM等）中的Merge候選相同的運動資訊，包括預測方向、參考指數、運動向量（以及權重，如果啟用了通用雙向預測工具）。然而，與現有的應用對稱加權雙向預測的Merge候選不同，在Merge候選列表的構建處理中使用非對稱加權雙向預測（如果未啟用GBI），或者通過應用不同的非對稱加權考慮更多的Merge候選（如果啟用GBI）。
下面的例子說明了使用非對稱加權生成雙向預測Merge候選的各種實現和運動補償演算法。下文所述的示例可併入上述方法的上下文中，例如方法1800及1900，其可分別在解碼器及編碼器上實施。
示例1.非對稱加權可以應用於一個、部分或所有現有的Merge候選（或未來新設計的Merge候選）。例如，空間Merge候選、時域Merge候選、附加Merge候選、ATMVP、STMVP、PMMVD等可用于生成非對稱加權雙向預測Merge候選，這些候選將進一步***Merge列表中。
（a）在一個示例中，可以將非對稱加權應用於前N個可用的雙向Merge候選，其中N是一個正整數。
（b）在一個示例中，非對稱加權只能應用於在當前圖片與其兩個參考圖片之間具有非對稱圖片順序計數（POC）（順序圖片）差異的N個雙向Merge候選。將AbsPOCDiff(x, y)表示為計算圖片x和y之間絕對POC差異的函數，將P0 和 P1表示為分別來自列表0和清單1的參考圖片，並且將Pc表示為當前圖片。如果AbsPOCDiff(P0, Pc)不等於AbsPOCDiff(P1, Pc)，則將POC差異定義為非對稱。
（c）在一個示例中，只能選擇某些類型的Merge候選（例如高級時域運動向量預測或仿射Merge模式）來應用非對稱加權。
（d）在一個示例中，可以通過將非對稱加權應用于具有對稱權重的Merge候選來匯出新的Merge候選。如果用現有方法推導的Merge候選已經具有非對稱加權，諸如具有從相鄰塊繼承的權重的空間Merge候選，則不會選擇此空間Merge候選應用非對稱加權。或者，在另一方面，可以通過將不同的非對稱加權應用於具有非對稱加權的Merge候選來匯出新的Merge候選，諸如用現有方法推導出的空間Merge候選或時域Merge候選。
（e）當生成非對稱加權雙向預測Merge候選時，等式（14）中的權重值w受到如下限制： （i）當AbsPOCDiff (Pc , P0 ) > AbsPOCDiff (Pc , P1 )時，只能將大於1/2的權重值分配給a。 （ii）當AbsPOCDiff (Pc , P0 ) > AbsPOCDiff (Pc , P1 )時，只能將大於1/2的權重值分配給b。
示例2.可以將一個或一組非對稱加權應用於選定的N個雙向Merge候選。
（a）在一個示例中，個別的非對稱（a，b）被應用於N個Merge候選中的每一個。不同的（a，b）可以被應用於不同的Merge候選。
（b）在一個示例中，幾個非對稱的（a，b）可以被應用於N個Merge候選中的每一個。一些候選可能共用相同的（a，b）。
（c）在一個示例中，幾個非對稱的（a，b）可以被應用於前M（M>N）個Merge候選，並且只有一個非對稱的（a，b）應用於剩餘的N – M 個Merge候選。例如，M設置為等於1。
示例3.非對稱加權集可以在VPS（視頻參數集）、SPS（序列參數集）、PPS（圖片參數集）或條帶頭段中向解碼器發信令。或者，非對稱加權可以隱式地固定在編碼器和解碼器中。
（a）在一個示例中，a的非對稱加權包括{1/16, 2/16, 3/16, 4/16, 5/16, 6/16, 7/16, 9/16, 10/16, 11/16, 12/16, 13/16, 14/16, 15/16}。
（b）在一個示例中，a的非對稱重量包括{1/8, 2/8, 3/8, 5/8, 6/8, 7/8}。
（c）在更一般的情況下，a的非對稱加權包括{1/2N , 2/2N , …., 2N -2/2N , 2N -1/2N }，其中N是一個正整數，如2、3、4和5。
（d）在一個示例中，a和b的非對稱加權也可以為負數。
示例4.將非對稱加權雙向預測Merge候選***Merge清單時遵循以下規則：
（a）在一個示例中，相同的規則可以應用於一個條帶/片/圖片/序列中的所有塊。或者，順序可以從塊到塊進行調整。
（b）如果非對稱加權雙向預測Merge候選A是從對稱加權雙向預測Merge候選B生成的，則在Merge候選列表中的B之後（可能不直接在B之後）***A。
（c）假設非對稱加權雙向預測Merge候選A1和A2分別從對稱加權雙向預測Merge候選B1和B2生成，如果在Merge列表中B1在B2之前，那麼在Merge列表中A1也應該A2之前（可能不直接在A2之前），反之亦然。
（d）如果從一個對稱加權雙向預測Merge候選生成多個具有權重(a1, b1 ), (a2, b2 ), …, (aNA, bNA )的非對稱加權雙向預測Merge候選，則按給定順序***，例如按abs(ai – 1/2)的昇冪***，其中abs(x)計算x的絕對值，並且1 >= i >= NA。如果abs(ai – 1/2)等於abs(aj – 1/2)，則它們可以按任意順序***。
（e）在一個示例中，剛好在第一個雙向預測Merge候選之後***兩個非對稱加權雙向預測Merge候選，其權重值為(1/4, 3/4)和(3/4, 1/4)。
（f）在一個示例中，新生成的加權雙向預測Merge候選可以添加到用現有方法推導出的某個Merge候選之後，例如剛好在TMVP或ATMVP或STMVP或者聯合雙向預測Merge候選之後添加。
（g）可以首先構建兩個Merge候選列表，一個是使用現有方法，另一個是通過對第一個列表或第一個清單中的部分Merge候選應用非對稱加權獲得的。在這種情況下，可以為不同的塊調用兩個候選清單的不同順序。
示例5.對使用雙向預測Merge模式編碼的塊存儲權重值，並且可以由後面編碼的塊重用。
（a）在一個示例中，空間/時域Merge候選的非對稱加權值可以從Merge列表構建過程中對應的空間/時間相鄰塊的權重值繼承。在這種情況下，這些Merge候選本身就是非對稱加權的雙向預測Merge候選。在一個例子中，這些候選不再用於生成新的非對稱加權雙向預測Merge候選。只有對稱加權才能用於生成非對稱加權Merge候選。或者，這些候選也可用于生成新的非對稱加權雙向預測Merge候選，但具有不同的加權值。
（b）在一個示例中，在Merge列表構建過程中，不繼承非對稱的權重值。
（c）當啟用通用雙向預測工具時，上述方法也可適用。
示例6.對於非對稱加權雙向預測Merge候選，最大Merge列表長度增加L，其中L大於等於0。
（a）如果最多可以將T個非對稱加權雙向預測Merge候選添加到Merge列表中，則L>=T。
示例7.非對稱加權雙向預測Merge候選與現有編碼工具的融合。
（a）當應用加權預測、局部照明補償或雙向光流時，非對稱加權雙向預測Merge候選不會***到Merge候選列表中。在一些實現中，加權預測包括編碼工具，它允許編碼器在執行運動補償時指定縮放和偏移的使用，並在特殊情況下（如淡入到黑色、淡入和交叉淡入過渡）提供顯著的性能優勢。
（b）非對稱加權雙向預測Merge候選禁用DMVR。
（c）或者，為非對稱加權雙向預測Merge候選啟用DMVR，並且如等式（14）所示生成範本P。
（i）在使用細化的運動資訊（在每個參考清單中）進行運動細化和運動補償後，將對稱加權平均應用於最終的雙向預測。
（ii）在使用細化的運動資訊（在每個參考清單中）進行運動細化和運動補償後，將非對稱加權平均（與非對稱加權雙向預測Merge候選相同）應用於最終的雙向預測。
示例8.是否以及如何將非對稱加權雙向預測Merge候選***Merge候選列表可能取決於當前塊的大小和/或形狀、和/或編碼塊資訊。
（a）在一個示例中，假設當前塊大小為M×N，如果M×N >=T，則非對稱加權雙向預測Merge候選不會***到Merge候選列表中；或者，如果M×N >=T，則非對稱加權雙向預測Merge候選不會***到Merge候選列表中。T是例如32或64的整數。
（b）或者，它只能在M等於N或M不等於N時適用。
（c）或者，它可以取決於塊模式，例如非仿射模式。
（d）或者，它也可能取決於從現有設計中得出的Merge候選的總數（不包括組合的雙向預測Merge候選和/或零運動Merge候選）。如果達到了允許的Merge候選的總數，則不需要添加非對稱加權的雙向預測Merge候選。
示例9.非對稱加權雙向預測可以應用於所有分量，包括Y, Cb, Cr 或 R, G, B。或者只適用於一個或一些分量。例如，它僅應用於Y分量。
示例10.如果滿足以下一個或多個條件，具有加權值（a1，b1）的非對稱加權雙向預測Merge候選比具有相同運動資訊（關於參考圖片R0 的MV0，關於參考圖片R1的MV1）但不同的加權值(a2, b2) (且 a1 – b1 > a2 – b2)的非對稱加權雙向預測Merge候選具有更高的優先順序（或者說，***到更靠近Merge候選列表前面的Merge候選列表中）。 （a）R0的量化參數（QP）低於R1的QP （b）R0比R1更接近當前圖片 （c）MV0指向的參考塊的QP低於MV1指向的參考塊的QP
示例11.應當注意的是，所提出的方法也適用於多重假設運動預測。 （a）在一個示例中，對於多個預測塊，可以對每個預測塊應用不同的權重。 （b）或者，如果是雙向預測，則對於每個參考圖片列表，可以首先獲取兩個臨時預測塊（可以由與一個參考圖片列表相關聯多個參考塊生成），並且可以進一步應用兩個權重。 （c）或者，如果是單向預測但是來自兩個或兩個以上的參考塊，也可以應用非對稱加權。
示例12.Merge模式下的修剪處理除了考慮運動資訊外，還可以考慮權重。
5. 公開技術的示例實施
圖20是說明可用於實現本公開技術的各個部分的電腦系統或其他控制設備2000的結構的示例的框圖，包括（但不限於）方法1800和1900。在圖20中，電腦系統2000包括通過互連2025連接的一個或多個處理器2005和記憶體2010。互連2025可以表示由適當的橋、適配器或控制器連接的任何一條或多條單獨的物理匯流排、點對點連接或兩者。因此，互連2025可以包括例如系統匯流排、周邊元件連接（PCI）匯流排、超傳輸或工業標準架構（ISA）匯流排、小型電腦系統介面（SCSI）匯流排、通用序列匯流排（USB）、IIC（I2C）匯流排或電氣與電子工程師協會（IEEE）標準674匯流排（有時被稱為“火線”）。
處理器2005可以包括中央處理器（CPU），來控制例如主機的整體操作。在一些實施例中，處理器2005通過執行存儲在記憶體2010中的軟體或固件來實現這一點。處理器2005可以是或可以包括一個或多個可程式設計通用或專用微處理器、數位訊號處理器（DSP）、可程式設計控制器、專用積體電路（ASIC）、可程式設計邏輯器件（PLD）等，或這些器件的組合。
記憶體2010可以是或包括電腦系統的主記憶體。記憶體2010表示任何適當形式的隨機存取記憶體（RAM）、唯讀記憶體（ROM）、快閃記憶體等，或這些設備的組合。在使用中，記憶體2010除其他外可包含一組機器指令，當處理器2005執行該指令時，使處理器2005執行操作以實現本公開技術的實施例。
通過互連2025連接到處理器2005的還有（可選的）網路介面卡2015。網路介面卡2015為電腦系統提供與遠端設備（諸如存儲客戶機和/或其他存儲伺服器）通信的能力，並且可以是例如乙太網適配器或光纖通道適配器。
圖21示出了可以用於實施本公開技術的各個部分的移動設備2100的示例實施例的框圖, 包括（但不限於）方法1800和1900。移動設備2100可以是筆記型電腦、智慧手機、平板電腦、攝像機或其他能夠處理視頻的設備。移動設備2100包括處理器或控制器2101來處理資料，以及與處理器2101通信的記憶體2102來存儲和/或緩衝資料。例如，處理器2101可以包括中央處理器（CPU）或微控制器單元（MCU）。在一些實現中，處理器2101可以包括現場可程式設計閘陣列（FPGA）。在一些實現中，移動設備2100包括或與圖形處理單元（GPU）、視頻處理單元（VPU）和/或無線通訊單元通信，以實現智慧手機設備的各種視覺和/或通信資料處理功能。例如，記憶體2102可以包括並存儲處理器可執行代碼，當處理器2101執行該代碼時，將移動設備2100配置為執行各種操作，例如接收資訊、命令和/或資料、處理資訊和資料，以及將處理過的資訊/資料發送或提供給另一個資料設備，諸如執行器或外部顯示器。
為了支援移動設備2100的各種功能，記憶體2102可以存儲資訊和資料，諸如指令、軟體、值、圖像以及處理器2101處理或引用的其他資料。例如，可以使用各種類型的隨機存取記憶體（RAM）設備、唯讀記憶體（ROM）設備、快閃記憶體設備和其他合適的存儲介質來實現記憶體2102的存儲功能。在一些實現中，移動設備2100包括輸入/輸出（I/O）單元2103，來將處理器2101和/或記憶體2102與其他模組、單元或設備進行介面。例如，I/O單元2103可以與處理器2101和記憶體2102進行介面，以利用與典型資料通信標準相容的各種無線介面，例如，在雲中的一台或多台電腦和使用者設備之間。在一些實現中，移動設備2100可以通過I/O單元2103使用有線連接與其他設備進行介面。移動設備2100還可以與其他外部介面（例如資料記憶體）和/或可視或音訊顯示裝置2104連接，以檢索和傳輸可由處理器處理、由記憶體存儲或由顯示裝置2104或外部設備的輸出單元上顯示的資料和資訊。例如，顯示裝置2104可以根據所公開的技術顯示包含塊（CU、PU或TU）的視頻幀，其中該塊基於是否使用運動補償演算法編碼該塊來應用塊內複製。
在一些實施例中，視頻解碼器裝置可以實現視頻解碼的方法，其中使用本文所述的非對稱加權雙向預測Merge進行視頻解碼。該方法可類似於上述方法1800。
在一些實施例中，視頻解碼的解碼器側方法可以使用非對稱加權雙向預測Merge並通過下述方法來提高視頻品質：接收被幀間編碼的視頻資料的當前塊；基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選，其中非對稱加權包括第一權重和與第一權重不同的第二權重；在上述構建之後將Merge候選***到Merge候選列表中；從至少Merge候選列表匯出運動資訊；並且基於運動資訊、運動向量和對應的參考圖片解碼當前塊。
在一些實施例中，視頻解碼方法可以使用如關於圖20和圖21所述的在硬體平臺上實現的解碼裝置來實現。在一些實施例中，視頻解碼操作可以由視訊轉碼器在編碼過程中執行，在編碼過程中，視訊轉碼器如解碼器一樣確定重構的視頻圖像。
從上述來看，應當理解的是，為了便於說明，本發明公開的技術的具體實施例已經在本文中進行了描述，但是可以在不偏離本發明範圍的情況下進行各種修改。因此，除了的之外，本發明公開的技術不限於權利要求的限定。
本專利檔中描述的主題的實現和功能操作可以在各種系統、數位電子電路、或電腦軟體、固件或硬體中實現，包括本說明書中所公開的結構及其結構等效體，或其中一個或多個的組合。本說明說中描述的主題的實現可以實現為一個或多個電腦程式產品，即一個或多個編碼在有形的且非易失的電腦可讀介質上的電腦程式指令的模組，以供資料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、存放裝置、影響機器可讀傳播信號的物質組成或其中一個或其中多個的組合。術語“資料處理單元”或“資料處理裝置”包括用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或多處理器或電腦組。除硬體外，該裝置還可以包括為電腦程式創建執行環境的代碼，例如，構成處理器固件的代碼、協定棧、資料庫管理系統、作業系統或其中一個或多個的組合。
電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言（包括編譯語言或解釋語言）編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或其他適合在計算環境中使用的單元。電腦程式不一定與檔案系統中的檔對應。程式可以存儲在保存其他程式或資料的檔的部分中（例如，存儲在標記語言文檔中的一個或多個腳本）、專用於該程式的單個檔中、或多個協調檔（例如，存儲一個或多個模組、副程式或部分代碼的檔）中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個網站上或分佈在多個網站上，並通過通信網路互連。
本說明書中描述的處理和邏輯流可以通過一個或多個可程式設計處理器執行，該處理器執行一個或多個電腦程式，通過在輸入資料上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現為特殊用途的邏輯電路，例如，FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。
例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和存儲指令和資料的一個或多個存放裝置。通常，電腦還將包括一個或多個用於存儲資料的大型存放區設備，例如，磁片、磁光碟或光碟，或通過操作耦合到一個或多個大型存放區設備來從其接收資料或將資料傳輸到一個或多個大型存放區設備，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備。處理器和記憶體可以由專用邏輯電路來補充，或合併到專用邏輯電路中。
意圖在於本說明書和附圖僅被視為示例性的，其中示例性意味著示例。如本文所用，“或”旨在包括“和/或”，除非上下文另有明確說明。
雖然本專利檔包含許多細節，但不應將其解釋為對任何發明或權利要求範圍的限制，而應解釋為對特定發明的特定實施例的特徵的描述。本專利檔在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施，或在任何合適的子組合中實施。此外，儘管上述特徵可以描述為在某些組合中起作用，甚至最初要求是這樣，但在某些情況下，可以從組合中移除權利要求組合中的一個或多個特徵，並且權利要求的組合可以指向子組合或子組合的變體。
同樣，儘管圖紙中以特定順序描述了操作，但這不應理解為要獲得想要的結果必須按照所示的特定順序或循序執行此類操作，或執行所有說明的操作。此外，本專利檔所述實施例中各種系統元件的分離不應理解為在所有實施例中都需要這樣的分離。
僅描述了一些實現和示例，其他實現、增強和變體可以基於本專利檔中描述和說明的內容做出。
A1、B1、B0、A0、B2:位置 tb、td:POC距離 C0、C1:候選、位置 710:原始列表 720:最終列表 1201:MV0 1202:MV1 1200:當前塊、當前CU 1210、1211:參考圖片 1203:TD0 1204:TD1 1310:參考圖片 1300:當前CU、當前圖片 1400:單向運動估計（ME） 2201:填充區域 1800、1900:方法 1810:確定視頻資料的當前視頻塊是從非對稱雙向預測Merge候選預測的，其中不同的權重被用於第一參考塊和第二參考塊的步驟 1830:基於該確定，為當前視頻塊在啟用和禁用編碼工具之間做出確定的步驟 1850:基於Merge候選列表生成當前塊。（在當前視頻塊是從非對稱雙向預測Merge候選預測的情況下，編碼工具不應用到當前視頻塊的步驟 1910:基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選的步驟 1920:在構建之後，將Merge候選***到Merge候選列表中的步驟 1930:從至少Merge候選導出運動資訊的步驟 1940:基於運動資訊編碼被幀間編碼的視頻資料的當前塊的步驟 2000:電腦系統或其他控制設備、電腦系統 2005:（多個）處理器 2010:記憶體 2015:網路介面卡 2025:互連 2100:移動設備 2101:處理器/控制器 2102:記憶體 2103:I/O單元 2104:顯示裝置
圖1示出了構建Merge候選列表的示例。 圖2示出了空間候選的位置的示例。 圖3示出了接受空間Merge候選的冗餘檢查的候選對的示例。 圖4A和圖4B示出了基於當前塊的大小和形狀的第二預測單元（PU）的位置示例。 圖5示出了時域Merge候選的運動向量縮放示例。 圖6示出了時域Merge候選的候選位置示例。 圖7示出了生成組合的雙向預測Merge候選的示例。 圖8示出了構建運動向量預測候選的示例。 圖9示出了空間運動向量候選的運動向量縮放示例。 圖10A和圖10B示出了當使用重疊塊運動補償（OBMC）演算法時子塊的快照示例。 圖11示出了用於推導局部照明補償（LIC）演算法參數的相鄰樣本的示例。 圖12示出了模式匹配運動向量推導（PMMVD）模式中的雙邊匹配的示例，該模式是基於畫面播放速率上轉換（FRUC）演算法的特殊Merge模式。 圖13示出了FRUC演算法中範本匹配的示例。 圖14示出了FRUC演算法中的單邊運動估計的示例。 圖15示出了雙向光流（BIO）演算法使用的光流軌跡的示例。 圖16A和圖16B示出了使用無塊擴展的雙向光流（BIO）演算法的示例快照。 圖17示出了基於雙邊範本匹配的解碼器側運動向量優化（DMVR）演算法的示例。 圖18示出了根據所公開的技術使用非對稱加權雙向預測Merge的視頻解碼示例方法的流程圖。 圖19示出了根據所公開的技術使用非對稱加權雙向預測Merge的視頻編碼示例方法的流程圖。 圖20是說明可用於實現本公開技術的各個部分的電腦系統或其他控制設備的結構的示例的框圖。 圖21示出了可用於實施本公開技術的各個部分的移動設備的示例實施例的框圖。
1800:方法
1810:確定視頻資料的當前視頻塊是從非對稱雙向預測Merge候選預測的，其中不同的權重被用於第一參考塊和第二參考塊的步驟
1830:基於該確定，為當前視頻塊在啟用和禁用編碼工具之間做出確定的步驟
1850:基於Merge候選列表生成當前塊。(在當前視頻塊是從非對稱雙向預測Merge候選預測的情況下，編碼工具不應用到當前視頻塊的步驟

Claims (21)

  1. 一種視頻資料解碼方法，包括： 確定所述視頻資料的當前視頻塊是從非對稱雙向預測Merge候選預測的，其中不同的權重被用於第一參考塊和第二參考塊；以及 基於所述確定，為所述當前視頻塊在啟用和禁用編碼工具之間做出決定， 其中，在所述當前視頻塊是從非對稱雙向預測Merge候選預測的情況下，所述編碼工具不應用到所述當前視頻塊。
  2. 一種視頻資料編碼方法，包括： 基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選，其中所述非對稱加權包括第一權重和與所述第一權重不同的第二權重； 在所述構建後，將所述Merge候選***到Merge候選列表中； 從至少所述Merge候選列表中匯出運動資訊；以及 基於所述運動資訊，編碼幀間編碼的所述視頻資料的當前視頻塊， 其中，在所述當前視頻塊是從非對稱雙向預測Merge候選預測的情況下，編碼工具不應用到所述當前視頻塊。
  3. 如申請專利範圍第1項或第2項所述的方法，其中，所述編碼工具包括加權預測、局部照明補償（LIC）和雙向光流中的至少一種。
  4. 如申請專利範圍第1項或第2項所述的方法，其中，所述編碼工具包括解碼器側運動向量細化（DMVR）。
  5. 如申請專利範圍第4項所述的方法，其中，所述DMVR包括： 在所述當前視頻塊上執行運動細化和運動補償；並且 隨後基於對稱加權，執行所述DMVR方法的最終雙向預測步驟。
  6. 如申請專利範圍第5項所述的方法，其中，所述對稱加權包括： 將所述對稱加權平均應用於所述DMVR的所述最終雙向預測步驟。
  7. 如申請專利範圍第4項所述的方法，其中，所述DMVR包括： 在所述當前視頻塊上執行運動細化和運動補償；並且 隨後基於所述非對稱加權執行所述DMVR方法的最終雙向預測步驟。
  8. 如申請專利範圍第7項所述的方法，其中，所述非對稱加權包括： 將所述非對稱加權平均應用於所述DMVR的所述最終雙向預測步驟。
  9. 一種視頻資料解碼方法，包括： 接收幀間編碼的所述視頻資料的當前塊； 基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選，其中所述非對稱加權包括第一權重和與所述第一權重不同的第二權重，並且其中所述Merge候選包括運動向量和對應的參考圖片； 為所述視頻資料的所述解碼確定幀間預測方法； 在確定所述幀間預測方法不包括加權預測（WP）、局部照明補償（LIC）、或雙向光流（BIO）時，將所述Merge候選***到Merge候選列表中； 從至少所述Merge候選列表匯出運動資訊；以及 基於所述運動資訊、所述運動向量和所述對應的參考圖片，解碼所述當前塊。
  10. 一種視頻資料編碼方法，包括： 基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選，其中所述非對稱加權包括第一權重和與所述第一權重不同的第二權重； 為所述視頻資料的所述編碼確定幀間預測方法； 在確定所述幀間預測方法不包括加權預測（WP）、局部照明補償（LIC）、或雙向光流（BIO）時，將所述Merge候選***到Merge候選列表中； 從至少所述Merge候選列表匯出運動資訊；以及 基於所述運動資訊編碼幀間編碼的所述視頻資料的當前塊。
  11. 如申請專利範圍第9項或第10項所述的方法，還包括基於所述非對稱加權為所述Merge候選禁用解碼器側運動向量細化（DMVR）。
  12. 一種視頻資料解碼方法，包括： 接收幀間編碼的所述視頻資料的當前塊； 基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選，其中所述非對稱加權包括第一權重和與所述第一權重不同的第二權重，並且其中所述Merge候選包括顏色分量； 將所述Merge候選***到Merge候選列表中； 從至少所述Merge候選列表匯出顏色資訊；以及 基於所述顏色資訊解碼所述當前塊。
  13. 一種視頻資料編碼方法，包括： 基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選，其中所述非對稱加權包括第一權重和與所述第一權重不同的第二權重，並且其中所述Merge候選包括顏色分量； 將所述Merge候選***到Merge候選列表中； 從至少所述Merge候選列表匯出顏色資訊；以及 基於所述顏色資訊編碼幀間編碼的所述視頻資料的當前塊。
  14. 如申請專利範圍第12項或第13項所述的方法，其中所述顏色分量在包括或不包括其它顏色分量的情況下，包括Y、Cb、Cr或R、G、B。
  15. 一種視頻資料解碼方法，包括： 接收被幀間編碼的所述視頻資料的當前塊； 基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選，其中所述非對稱加權包括第一權重和與所述第一權重不同的第二權重； 將所述Merge候選***到Merge候選列表中； 從至少所述Merge候選列表匯出多個預測塊；以及 基於所述多個預測塊解碼所述當前塊， 其中應用於所述多個預測塊中的一個的所述第一權重和所述第二權重不同于應用於所述多個預測塊中的另一個的所述第一權重和所述第二權重。
  16. 一種視頻資料編碼方法，包括： 基於第一參考Merge候選和第二參考Merge候選的非對稱加權構建Merge候選，其中所述非對稱加權包括第一權重和與所述第一權重不同的第二權重； 將所述Merge候選***到Merge候選列表中； 從至少所述Merge候選列表匯出多個預測塊；以及 編碼幀間編碼的所述視頻資料的當前塊， 其中應用於所述多個預測塊中的一個的所述第一權重和所述第二權重不同于應用於所述多個預測塊中的另一個的所述第一權重和所述第二權重。
  17. 如申請專利範圍第15項或第16項所述的方法，其中，所述多個預測塊是基於雙向預測方法匯出的。
  18. 如申請專利範圍第17項所述的方法，其中，所述雙向預測方法被配置為使用參考圖片列表，並且其中從與所述參考圖片列表中的一個相關聯的多個參考塊為每個參考圖片列表生成兩個臨時預測塊。
  19. 如申請專利範圍第15項或第16項所述的方法，其中，所述多個預測塊是基於單向預測方法匯出的。
  20. 一種視頻系統中的設備，包括處理器和其上具有指令的非暫時性記憶體，其中所述處理器執行所述指令時，使所述處理器實現申請專利範圍第1至19項中任一項所述的方法。
  21. 一種存儲在非暫時性電腦可讀介質上的電腦程式產品，所述電腦程式產品包括用於實現申請專利範圍第1至19項中任一項所述的方法的程式碼。
TW108119600A 2018-06-05 2019-06-05 非對稱加權merge和其它編碼工具的交互 TWI739113B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018089919 2018-06-05
WOPCT/CN2018/089919 2018-06-05

Publications (2)

Publication Number Publication Date
TW202013958A true TW202013958A (zh) 2020-04-01
TWI739113B TWI739113B (zh) 2021-09-11

Family

ID=67003570

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108119600A TWI739113B (zh) 2018-06-05 2019-06-05 非對稱加權merge和其它編碼工具的交互
TW108119615A TWI736903B (zh) 2018-06-05 2019-06-05 非對稱加權雙向預測Merge

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108119615A TWI736903B (zh) 2018-06-05 2019-06-05 非對稱加權雙向預測Merge

Country Status (5)

Country Link
US (3) US11039165B2 (zh)
CN (3) CN115334301A (zh)
GB (1) GB2588546B (zh)
TW (2) TWI739113B (zh)
WO (2) WO2019234578A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019234578A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Asymmetric weighted bi-predictive merges
CN112272952B (zh) 2018-06-11 2022-07-01 寰发股份有限公司 用于视频编解码的双向光流的方法以及装置
US11470348B2 (en) * 2018-08-17 2022-10-11 Hfi Innovation Inc. Methods and apparatuses of video processing with bi-direction prediction in video coding systems
CN117241015A (zh) * 2018-09-13 2023-12-15 华为技术有限公司 用于视频译码中的条件性解码器侧运动矢量修正的装置和方法
TW202029755A (zh) * 2018-09-26 2020-08-01 美商Ｖｉｄ衡器股份有限公司 視訊編碼雙預測
CN111010571B (zh) 2018-10-08 2023-05-16 北京字节跳动网络技术有限公司 组合仿射Merge候选的生成和使用
JP2022525401A (ja) * 2019-03-11 2022-05-13 ヴィド スケール インコーポレイテッド 対称的マージモード動きベクトル符号化
BR112021022174A2 (pt) 2019-05-11 2021-12-21 Beijing Bytedance Network Tech Co Ltd Método para processar dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento e meio de gravação
CN114073090A (zh) * 2019-07-01 2022-02-18 交互数字Vc控股法国公司 仿射运动补偿的双向光流细化
CN114175655B (zh) 2019-07-27 2024-01-02 北京字节跳动网络技术有限公司 根据参考图片类型使用工具的限制
WO2021052491A1 (en) 2019-09-19 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Deriving reference sample positions in video coding
JP7391199B2 (ja) 2019-10-05 2023-12-04 北京字節跳動網絡技術有限公司 映像コーディングツールのレベルベースシグナリング
KR20220073752A (ko) 2019-10-12 2022-06-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩 툴들을 위한 상위 레벨 신택스
CN114556934A (zh) 2019-10-12 2022-05-27 北京字节跳动网络技术有限公司 视频编解码中的预测类型信令
MX2022004200A (es) * 2019-10-13 2022-05-02 Beijing Bytedance Network Tech Co Ltd Interaccion entre remuestreo de imagen de referencia y herramientas de codificacion de video.
WO2021129866A1 (en) 2019-12-27 2021-07-01 Beijing Bytedance Network Technology Co., Ltd. Signaling of slice types in video pictures headers
CN111263151B (zh) * 2020-04-26 2020-08-25 腾讯科技（深圳）有限公司 视频编码方法、装置、电子设备和计算机可读存储介质
US11582474B2 (en) * 2020-08-03 2023-02-14 Alibaba Group Holding Limited Systems and methods for bi-directional gradient correction
WO2023046917A1 (en) * 2021-09-24 2023-03-30 Interdigital Vc Holdings France, Sas Methods and apparatus for dmvr with bi-prediction weighting
WO2023122630A1 (en) * 2021-12-21 2023-06-29 Bytedance Inc. Method, apparatus, and medium for video processing
WO2024000581A1 (zh) * 2022-07-01 2024-01-04 Oppo广东移动通信有限公司 排序方法、解码方法、编码方法、装置、解码器和编码器
WO2024010635A1 (en) * 2022-07-05 2024-01-11 Innopeak Technology, Inc. System and method for multiple-hypothesis prediction for video coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610413B (zh) * 2009-07-29 2011-04-27 清华大学 一种视频的编码/解码方法及装置
CN102364948B (zh) * 2011-10-28 2013-10-16 上海国茂数字技术有限公司 视频编码合并模式双向补偿方法
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
US9106922B2 (en) * 2012-12-19 2015-08-11 Vanguard Software Solutions, Inc. Motion estimation engine for video encoding
US10244253B2 (en) 2013-09-13 2019-03-26 Qualcomm Incorporated Video coding techniques using asymmetric motion partitioning
JP2016213519A (ja) * 2013-10-15 2016-12-15 シャープ株式会社 画像復号装置、画像符号化装置
WO2015062002A1 (en) 2013-10-31 2015-05-07 Mediatek Singapore Pte. Ltd. Methods for sub-pu level prediction
TWI538487B (zh) * 2013-12-05 2016-06-11 財團法人工業技術研究院 螢幕視訊之預測編碼的方法與系統
US10327001B2 (en) * 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
US10182240B2 (en) * 2014-11-18 2019-01-15 Mediatek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
CN108476319A (zh) * 2016-01-11 2018-08-31 三星电子株式会社 图像编码方法和设备以及图像解码方法和设备
US10284845B2 (en) * 2016-05-25 2019-05-07 Arris Enterprises Llc JVET quadtree plus binary tree (QTBT) structure with multiple asymmetrical partitioning
US11509930B2 (en) * 2016-07-12 2022-11-22 Electronics And Telecommunications Research Institute Image encoding/decoding method and recording medium therefor
WO2019131807A1 (en) 2017-12-29 2019-07-04 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks for video coding
WO2019234578A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Asymmetric weighted bi-predictive merges

Also Published As

Publication number Publication date
CN110572666B (zh) 2021-11-02
US20210218985A1 (en) 2021-07-15
TW202019185A (zh) 2020-05-16
CN115334301A (zh) 2022-11-11
CN110572666A (zh) 2019-12-13
US20200366928A1 (en) 2020-11-19
GB2588546A (en) 2021-04-28
US20240007664A1 (en) 2024-01-04
US11706441B2 (en) 2023-07-18
CN110572645A (zh) 2019-12-13
TWI739113B (zh) 2021-09-11
TWI736903B (zh) 2021-08-21
GB2588546B (en) 2022-12-28
WO2019234599A1 (en) 2019-12-12
US11039165B2 (en) 2021-06-15
WO2019234578A1 (en) 2019-12-12
GB202018866D0 (en) 2021-01-13
CN110572645B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
TWI739113B (zh) 非對稱加權merge和其它編碼工具的交互
CN111083492B (zh) 双向光流中的梯度计算
TWI736907B (zh) 改進的模式匹配的運動向量推導
CN112913241B (zh) 解码器侧运动矢量推导的限制
CN113056914B (zh) 基于部分位置的差计算
CN111357294B (zh) 基于子块的运动信息列表的简化熵编解码
TW202025753A (zh) 具有自我調整運動向量解析度的運動向量精度指示的信令通知
JP2023052336A (ja) 適応動きベクトル解像度によるアフィンモードへの構文の使用
TW202013975A (zh) 仿射的運動矢量差精度
TW202025725A (zh) 色彩分量間的子區塊移動向量繼承
TW202005384A (zh) 基於交織預測的視頻處理方法、裝置及記錄媒體
CN110740321B (zh) 基于更新的运动矢量的运动预测
TW202017377A (zh) 視頻編碼和解碼中的仿射模式
CN113796084B (zh) 运动矢量和预测样点细化
CN113302917B (zh) 局部照明补偿的改进方法
TWI722465B (zh) 子塊的邊界增強
CN111083484B (zh) 基于子块的预测
CN111083484A (zh) 基于子块的预测