TWI728389B

TWI728389B - 基於優先級的非相鄰merge設計

Info

Publication number: TWI728389B
Application number: TW108123179A
Authority: TW
Inventors: 張莉; 張凱; 劉鴻彬; 王悅
Original assignee: 大陸商北京字節跳動網絡技術有限公司; 美商字節跳動有限公司
Priority date: 2018-07-01
Filing date: 2019-07-01
Publication date: 2021-05-21
Also published as: WO2020008330A1; TWI725463B; CN110677658A; US20210127129A1; US20230217039A1; CN110677658B; TW202021345A; TW202019175A; WO2020008329A1; CN110677668A; CN110677668B; US11595683B2

Abstract

描述了用於構建低複雜度非相鄰Merge候選的設備、系統和方法。在代表性方面，一種用於視頻處理的方法包括接收視頻數據的當前塊，基於規則選擇與當前塊不相鄰的第一非相鄰塊，基於第一非相鄰塊，構建包括運動信息的第一Merge候選，識別與當前塊不相鄰且與第一非相鄰塊不同的第二非相鄰塊，基於確定第二非相鄰塊不滿足規則，抑制添加從第二非相鄰塊推導的第二Merge候選，基於第一非相鄰塊構建Merge候選列表，以及基於Merge候選列表，對當前塊進行解碼。

Description

基於優先級的非相鄰Merge設計

本申請文件一般直接涉及圖片和視頻編碼技術。

數位視頻在互聯網和其它數位通信網絡上使用的頻寬最大。隨著能夠接收和顯示視頻的連接用戶設備數量的增加，預計數位視頻使用的頻寬需求將繼續增長。

描述了與識別非相鄰Merge候選以降低記憶體和複雜度需求並且提高編碼效率相關的設備、系統和方法。用於降低非相鄰Merge設計的複雜度的裝置、系統和方法。例如，當前公開的技術公開了用於選擇非相鄰Merge候選以將行緩衝器的尺寸保持在閾值之下的規則。所描述的方法可以應用於現有視頻編碼標準(例如，高效視頻編碼(HEVC))和未來視頻編碼標準或視頻編解碼器。

在一個代表性方面，所公開的技術可以用於提供用於視頻處理的方法。該方法包括：接收視頻數據的當前塊；基於規則選擇與當前塊不相鄰的第一非相鄰塊；基於第一非相鄰塊，構建包括運動信息的第一Merge候選；識別與當前塊不相鄰且與第一非相鄰塊不同的第二非相鄰塊；基於第二非相鄰塊不滿足規則的確定，抑制添加從第二非相鄰塊推導的第二Merge候選；基於第一非相鄰塊，構建Merge候選列表；以及基於Merge候選列表，對當前塊進行解碼。

在另一個代表性方面，所公開的技術可以用於提供用於視頻處理的另一方法。該方法包括：接收視頻數據的當前塊；基於規則選擇與當前塊不相鄰的第一非相鄰塊；基於第一非相鄰塊，構建包括運動信息的第一Merge候選；選擇第二非相鄰塊，其中第一非相鄰塊和第二非相鄰塊不與當前塊相鄰，其中第一非相鄰塊利用第一模式進行編碼，並且第二非相鄰塊利用第二模式進行編碼，並且其中在選擇第二非相鄰塊之前選擇第一非相鄰塊；以及基於第二非相鄰塊，構建包括運動信息的第二Merge候選。

在另一個代表性方面，所公開的技術可以用於提供用於視頻處理的另一方法。該方法包括：接收視頻數據的當前塊；基於規則選擇不與當前塊相鄰的非相鄰塊的第一子集和非相鄰塊的第二子集；以及基於非相鄰塊的第一子集，構建包括運動信息的Merge候選的第一子集，以及基於非相鄰塊的第二子集，構建包括運動信息的Merge候選的第二子集，其中將Merge候選的第一子集添加到第一類的Merge候選之後的Merge候選列表中，並且其中將Merge候選的第二子集添加到第二類的Merge候選之後的Merge候選列表中。

在另一個代表性方面，所公開的技術可以用於提供用於視頻處理的另一方法。該方法包括：接收視頻塊的當前塊；基於規則選擇與當前塊不相鄰的第一非相鄰塊；基於第一非相鄰塊構建至少一個運動向量預測值候選，其中，至少一個運動向量預測值候選被用作高級運動向量預測(AMVP)模式中的預測值；以及基於至少一個運動向量預測候選來解碼與AMVP模式相關聯的塊。

在又一代表性方面，上述方法以處理器可執行代碼的形式體現並存儲在電腦可讀程式媒體中。

在又一代表性方面，公開了一種配置或可操作以執行上述方法的設備。該設備可以包括被編程為實現該方法的處理器。在本文檔中描述了優選地通過各種實施例實現的其他特徵。

A₀、A₁、B₀、B₁、B₂:Merge候選

PU:預測單元

TU:變換單元

tb、td:POC距離

CU:編碼單元

Y:參考幀的並置PU

C0、C1:位置

1510、1520:Merge候選

1800至2014:編碼單元

TD0、TD1、2103、2104:時間距離

2100、2110、2111、2210、2200:圖片

MV0、MV1、MV0’、MV1’:向量

2800、2900、3000、3100:方法

2810至2870、2910至2950 3010至3030、3110至3140:步驟

3200:視頻處理裝置

3202:處理器

3204:記憶體

3206:視頻處理電路

圖1示出了典型高效視頻編碼(HEVC)視頻編碼器和解碼器的示例框圖。

圖2示出了H.264/AVC中的宏塊(MB)劃分的示例。

圖3示出了將編碼塊(CB)劃分為預測塊(PB)的示例。

圖4A和4B分別示出了將編碼樹塊(CTB)細分為CB和轉換塊(TB)以及相應的四叉樹的示例。

圖5A和5B示出了用於最大編碼單元(LCU)的細分和對應的QTBT(四叉樹加二叉樹)的示例。

圖6A-6E示出了劃分編碼塊的示例。

圖7示出了基於QTBT的CB的示例細分。

圖8A-8I示出了支持多樹類型(MTT)的CB的劃分的示例，其是QTBT的概括。

圖9示出了構建Merge候選列表的示例。

圖10示出了空間候選的位置的示例。

圖11示出了經受空間Merge候選的冗餘校驗的候選對的示例。

圖12A和12B示出了基於當前塊的尺寸和形狀的第二預測單元(PU)的位置的示例。

圖13示出了用於時域Merge候選的運動向量縮放的示例。

圖14示出了時域Merge候選的候選位置的示例。

圖15示出了產生組合的雙向預測Merge候選的示例。

圖16示出了構建運動向量預測候選的示例。

圖17示出了用於空間運動向量候選的運動向量縮放的示例。

圖18示出了使用用於編碼單元(CU)的可選時域運動向量預測(ATMVP)算法的運動預測的示例。

圖19示出了源塊和源圖片的識別的示例

圖20示出了具有由空間-時域運動向量預測(STMVP)算法使用的子塊和相鄰塊的編碼單元(CU)的示例。

圖21示出了模式匹配運動向量推導(PMMVD)模式中的雙邊匹配的示例，其是基於幀速率上轉換(FRUC)算法的特殊Merge模式。

圖22示出了FRUC算法中的模板匹配的示例。

圖23示出了FRUC算法中的單邊運動估計的示例。

圖24示出了基於雙邊模板匹配的解碼器側運動向量細化(DMVR)算法的示例。

圖25示出了用於推導空間Merge候選的空間相鄰塊的示例。

圖26示出了用於添加非相鄰Merge候選的示例性偽代碼。

圖27示出了非相鄰塊的受限區域的示例。

圖28示出了根據當前公開的技術的用於視頻編碼的示例方法的流程圖。

圖29示出了根據當前公開的技術的用於視頻編碼的另一示例方法的流程圖。

圖30示出了根據當前公開的技術的用於視頻編碼的又一示例方法的流程圖。

圖31示出了根據當前公開的技術的用於視頻編碼的再一示例方法的流程圖。

圖32是用於實現本文檔中描述的視覺媒體解碼或視覺媒體編碼技術的硬體平臺的示例的框圖。

由於對更高分辨率視頻的需求的增加，視頻編碼方法和技術在現代技術中普遍存在。視頻編解碼器通常包括壓縮或解壓縮數位視頻的電子電路或軟體，並且不斷改進以提供更高的編碼效率。視頻編解碼器將未壓縮視頻轉換為壓縮格式，反之亦然。視頻質量、用於表示視頻的數據量(由比特率確定)、編碼和解碼算法的複雜度、對數據丟失和錯誤的敏感性、編輯的簡易性、隨機訪問和端到端延遲(遲延)之間存在複雜的關係。壓縮格式通常符合標準視頻壓縮規範，例如，高效視頻編碼(HEVC)標準(也稱為H.265或MPEG-H第2部分)、要完成的通用視頻編碼標準、或其他當前和/或未來的視頻編碼標準。

所公開的技術的實施例可以應用於現有視頻編碼標準(例如，HEVC、H.265)和未來標準以改進壓縮性能。在本文檔中使用章節標題以提高描述的可讀性，並且不以任何方式將討論或實施例(和/或實現)限制於僅相應的部分。

1.視頻編碼的示例實施例

圖1示出了典型HEVC視頻編碼器和解碼器的示例框圖。產生符合HEVC的比特流的編碼算法通常如下進行。每個圖片被劃分成塊狀區域，精確的塊劃分被傳送到解碼器。視頻序列的第一圖片(以及每個乾淨的隨機訪問點到視頻序列中的第一圖片)僅使用幀內圖片預測(在同一圖片內使用區域到區域的空間數據的預測，但不依賴其他圖片)進行編碼。對於序列的所有其餘圖片或隨機訪問點之間的圖片，幀間圖片時域預測編碼模式通常用於大多數塊。用於幀間圖片預測的編碼處理包括選擇包含所選擇的參考圖片的運動數據和要應用於預測每個塊的樣點的運動向量(MV)。編碼器和解碼器通過使用MV和模式判決數據應用運動補償(MC)來產生相同的幀間圖片預測信號，其作為輔助信息被發送。

通過綫性空間變換來變換幀內圖片預測或幀間圖片預測的殘差信號，其是初始塊與其預測之間的差。然後對變換係數進行縮放、量化、熵編碼，並與預測信息一起發送。

編碼器複製解碼器處理循環(參見圖1中的灰色陰影框)，使得兩者都將為後續數據產生相同的預測。因此，通過逆縮放來構建量化的變換係數，然後對其進行逆變換以複製殘差信號的解碼的近似。然後將殘差添加到預測中，然後可以將該添加的結果饋送到一個或兩個環路濾波器中以平滑由逐塊處理和量化引起的偽像。最終圖片表示(即解碼器輸出的複製)存儲在解碼圖片緩衝器中，以用於後續圖片的預測。通常，圖片的編碼或解碼處理的順序通常不同於它們從源到達的順序；需要區分解碼器的解碼順序(即比特流順序)和輸出順序(即顯示順序)。

通常期望要由HEVC編碼的視頻材料作為逐行掃描圖像輸入(由於源視頻源自該格式或者由編碼之前的去交錯產生)。HEVC設計中不存在明確的編碼特徵以支持隔行掃描的使用，因為隔行掃描不再用於顯示器，並且對於分發而言變得基本不常見。然而，在HEVC中已經提供了元數據語法，以允許編碼器通過將隔行的視頻的每個場(即，每個視頻幀的偶數或奇數行)編碼為單獨的圖片來指示已經發送了隔行掃描視頻，或者通過將每個隔行的幀編碼為HEVC編碼圖片來指示已經發送了隔行掃描視頻。這提供了一種對隔行視頻進行編碼的有效方法，而不需要為解碼器提供支持特殊解碼處理。

1.1 H.264/AVC中的劃分樹結構的示例

先前標準中編碼層的核心是宏塊，包含16×16的亮度樣點塊，並且在常規的4：2：0顏色採樣情況下，包含兩個對應的8×8的色度樣點塊。

內部編碼塊使用空間預測來探索像素之間的空間相關性。定義了兩種劃分：16x16和4x4。

幀間編碼塊通過估計圖片之間的運動來使用時域預測，而不是空間預測。可以單獨估計16x16宏塊或其任何子宏塊劃分的運動：16x8、8x16、8x8、8x4、4x8、4x4，如圖2所示。每個子宏塊劃分只允許一個運動向量(MV)。

1.2 HEVC中的劃分樹結構的示例

在HEVC中，通過使用四叉樹結構(表示為編碼樹)將編碼樹單元(CTU)劃分成編碼單元(CU)來適應各種局部特性。在CU級別決定是使用圖片間(時域)預測還是圖片內(空間)預測對圖片區域進行編碼。根據預測單元(PU)的劃分類型，每個CU可以進一步劃分成一個、兩個或四個PU。在一個PU中，應用相同的預測處理，並且相關信息以PU為基礎傳輸到解碼器。在基於PU劃分類型通過應用預測處理獲得殘差塊後，可以根據與CU的編碼樹相似的另一個四叉樹結構將CU劃分成變換單元(TU)。HEVC結構的一個重要特徵是它具有多個劃分概念，包括CU、PU以及TU。

使用HEVC的混合視頻編碼中涉及的一些特徵包括：

(1)編碼樹單元(CTU)和編碼樹塊(CTB)結構：HEVC中的類似結構是編碼樹單元(CTU)，其具有由編碼器選擇並且可以大於傳統的宏塊的尺寸。CTU由亮度CTB和相應的色度CTB以及語法元素組成。亮度CTB的尺寸L×L可以選擇為L=16、32或64個樣點，較大的尺寸通常能夠實現更好的壓縮。然後，HEVC支持使用樹結構和四叉樹式信令將CTB劃分為更小的塊。

(2)編碼單元(CU)和編碼塊(CB)：CTU的四叉樹語法規定了其亮度和色度CB的尺寸和位置。四叉樹的根與CTU相關聯。因此，亮度CTB的尺寸是亮度CB支持的最大尺寸。CTU的亮度和色度CB的劃分是聯合發信令的。一個亮度CB和通常兩個色度CB以及相關的語法一起形成編碼單元(CU)。CTB可以只包含一個CU，也可以劃分形成多個CU，並且每個CU都有一個相關的劃分，劃分成預測單元(PU)和轉換單元樹(TU)。

(3)預測單元和預測塊(PB)：在CU級別決定是使用圖片間預測還是圖片內預測對圖片區域進行編碼。PU劃分結構的根位於CU級。取決於基本的預測類型決定，可以在尺寸上進一步劃分亮度和色度CB，並從亮度和色度預測塊(PB)中預測亮度和色度CB。HEVC支持從64×64到4×4個樣點的可變PB尺寸。圖3示出了M×M CU的允許PB示例。

(4)變換單元(TU)和變換塊(TB)：使用塊變換對預測殘差進行編碼。TU樹結構的根位於CU級。亮度CB殘差可能與亮度TB相同，或者也可能進一步劃分成更小的亮度TB。同樣適用於色度TB。對於4×4、8×8、16×16和32×32的方形TB定義了與離散余弦變換(DCT)相似的整數基函數。對於亮度圖片內預測殘差的4×4變換，也可以指定從離散正弦變換(DST)形式推導的整數變換。

1.2.1 樹結構劃分為TB和TU的示例

對於殘差編碼，CB可以遞歸地劃分為轉換塊(TB)。劃分由殘差四叉樹發信令。只指定了方形CB和TB劃分，其中塊可以遞歸地劃分為四象限，如圖4所示。對於尺寸為M×M的給定的亮度CB，標誌指示它是否被劃分成四個尺寸為M/2×M/2的塊。如果可以進一步劃分，如序列參數集(SPS)中指示的殘差四叉樹的最大深度所指示的那樣，每個象限都會分配一個標誌，指示是否將其劃分為四個象限。由殘差四叉樹產生的葉節點塊是由變換編碼進一步處理的變換塊。編碼器指示它將使用的最大和最小亮度TB尺寸。當CB尺寸大於最大TB尺寸時，則暗示劃分。當劃分將導致比指示的最小值更小的亮度TB尺寸時，則暗示不劃分。色度TB尺寸在每個維度上是亮度TB尺寸的一半，但當亮度TB尺寸為4×4時除外，在這種情況下，被四個4×4亮度TB覆蓋的區域使用單個4×4色度TB。在圖片內預測的CU的情況下，最近相鄰TB(CB內或CB外)的解碼樣點用作圖片內預測的參考數據。

與以前的標準不同，對於圖片間預測的CU，HEVC設計允許TB跨越多個PB，以最大化得益於四叉樹結構的TB劃分的潛在編碼效率。

1.2.2 父節點和子節點

根據四叉樹結構對CTB進行劃分，其節點為編碼單元。四叉樹結構中的多個節點包括葉節點和非葉節點。葉節點在樹結構中沒有子節點(即，葉節點不會進一步劃分)。非葉節點包括樹結構的根節點。根節點對應於視頻數據的初始視頻塊(例如，CTB)。對於多個節點的每個各自的非根節點，各自的非根節點對應於視頻塊，該視頻塊是對應於各自非根節點的樹結構中的父節點的視頻塊的子塊。多個非葉節點的每個各自的非葉節點在樹結構中具有一個或多個子節點。

1.3 在JEM中具有較大CTU的四叉樹加二叉樹塊結構的示例

在一些實施例中，使用稱為聯合探索模型(JEM)的參考軟體來探索未來的視頻編碼技術。除二叉樹結構外，JEM還描述了四叉樹加二叉樹(QTBT)和三叉樹(TT)結構。

1.3.1 QTBT塊劃分結構的示例

相比於HEVC，QTBT結構消除了多個劃分類型的概念，即，其消除了CU、PU和TU概念的分離，並支持CU劃分形狀的更多靈活性。在QTBT塊結構中，CU可以是方形或矩形。如圖5A所示，首先用四叉樹結構對編碼樹單元(CTU)進行劃分。四叉樹葉節點進一步被二叉樹結構劃分。在二叉樹劃分中有兩種劃分類型：對稱的水平劃分和對稱的垂直劃分。二叉樹葉節點被稱為編碼單元(CU)，該劃分用於預測和轉換處理，而無需進一步劃分。這意味著在QTBT編碼塊結構中CU、PU和TU具有相同的塊尺寸。在JEM中，CU有時由不同顏色分量的編碼塊(CB)組成，例如，在4：2：0色度格式的P條帶和B條帶中，一個CU包含一個亮度CB和兩個色度CB，並且CU有時由單個分量的CB組成，例如，在I條帶的情況下，一個CU僅包含一個亮度CB或僅包含兩個色度CB。

為QTBT劃分方案定義了以下參數。

- CTU尺寸：四叉樹的根節點尺寸，與HEVC中的概念相同。

- MiNQTSize：最小允許的四叉樹葉節點尺寸

- MaxBTSize：最大允許的二叉樹根節點尺寸

- MaxBTDePTh：最大允許的二叉樹深度

- MiNBTSize：最小允許的二叉樹葉節點尺寸

在QTBT劃分結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64色度樣點塊的128×128個亮度樣點，MiNQTSize被設置為16×16，MaxBTSize被設置為64×64，MiNBTSize(寬度和高度)被設置為4×4，MaxBTSize被設置為4。四叉樹劃分首先應用於CTU，以產生四叉樹葉節點。四叉樹葉節點的尺寸可以具有從16×16(即，MiNQTSize)到128×128(即，CTU尺寸)的尺寸。如果葉四叉樹節點是128×128，則其不會被二叉樹進一步劃分，因為其尺寸超過了MaxBTSize(即，64×64)。否則，葉四叉樹節點可以被二叉樹進一步劃分。因此，四叉樹葉節點也是二叉樹的根節點，並且其二叉樹深度為0。當二叉樹深度達到MaxBTDePTh(即，4)時，不考慮進一步劃分。當二叉樹節點的寬度等於MiNBTSize(即，4)時，不考慮進一步的水平劃分。同樣，當二叉樹節點的高度等於MiNBTSize時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點，而不需要進一步的劃分。在JEM中，最大CTU尺寸為256×256個亮度樣點。

圖5A示出了通過使用QTBT進行塊劃分的示例，圖5B示出了相應的樹表示。實綫表示四叉樹劃分，並且虛綫表示二叉樹劃分。在二叉樹的每個劃分(即，非葉)節點中，會對一個標誌發信令來指示使用哪種劃分類型(即，水平或垂直)，其中0表示水平劃分，1表示垂直劃分。對於四叉樹劃分，不需要指明劃分類型，因為四叉樹劃分總是水平和垂直劃分一個塊，以產生尺寸相同的4個子塊。

此外，QTBT方案支持亮度和色度具有單獨的QTBT結構的能力。目前，對於P條帶和B條帶，一個CTU中的亮度和色度CTB共享相同的QTBT結構。然而，對於I條帶，用QTBT結構將亮度CTB劃分為CU，用另一個QTBT結構將色度CTB劃分為色度CU。這意味著I條帶中的CU由亮度分量的編碼塊或兩個色度分量的編碼塊組成，P條帶或B條帶中的CU由所有三種顏色分量的編碼塊組成。

在HEVC中，為了減少運動補償的內存訪問，限制小塊的幀間預測，使得4×8和8×4塊不支持雙向預測，並且4×4塊不支持幀間預測。在JEM的QTBT中，這些限制被移除。

1.4 多功能視頻編碼(VVC)的三叉樹(TT)

圖6A示出了四叉樹(QT)劃分的示例，並且圖6B和6C分別示出了垂直和水平二叉樹(BT)劃分的示例。在一些實施例中，除了四叉樹和二叉樹之外，還支持三叉樹(TT)劃分，例如水平和垂直中心側三叉樹(如圖6D和6E所示)。

在一些實現中，支持兩個層次的樹：區域樹(四叉樹)和預測樹(二叉樹或三叉樹)。首先用區域樹(RT)對CTU進行劃分。可以進一步用預測樹(PT)劃分RT葉。也可以用PT進一步劃分PT葉，直到達到最大PT深度。PT葉是基本的編碼單元。為了方便起見，它仍然被稱為CU。CU不能進一步劃分。預測和變換都以與JEM相同的方式應用於CU。整個劃分結構被稱為“多類型樹”。

1.5 可選視頻編碼技術中的劃分結構的示例

在一些實施例中，支持被稱為多樹型(MTT)的樹結構，其是QTBT的廣義化。在QTBT中，如圖7所示，首先用四叉樹結構對編碼樹單元(CTU)進行劃分。然後用二叉樹結構對四叉樹葉節點進行進一步劃分。

MTT的結構由兩種類型的樹節點組成：區域樹(RT)和預測樹(PT)，支持九種類型的劃分，如圖8所示。區域樹可以遞歸地將CTU劃分為方形塊，直至4x4尺寸的區域樹葉節點。在區域樹的每個節點上，可以從三種樹類型中的一種形成預測樹：二叉樹、三叉樹和非對稱二叉樹。在PT劃分中，禁止在預測樹的分支中進行四叉樹劃分。和JEM一樣，亮度樹和色度樹在I條帶中被分開。

2.HEVC/H.265中的幀間預測的示例

多年來，視頻編碼標準已經顯著改進，並且現在部分地提供高編碼效率和對更高分辨率的支持。諸如HEVC和H.265的最新標準基於混合視頻編碼結構，其中利用時域預測加變換編碼。

2.1 預測模式的示例

每個幀間預測的PU(預測單元)具有一個或兩個參考圖片列表的運動參數。在一些實施例中，運動參數包括運動向量和參考圖片索引。在其他實施例中，還可以使用inter_pred_idc來用信號通知兩個參考圖片列表中的一個的使用。在又一其他實施例中，運動向量可以相對於預測值顯式地編碼為增量。

當CU採用跳躍模式編碼時，一個PU與CU相關聯，並且沒有顯著的殘差係數、沒有編碼的運動向量增量或參考圖片索引。指定了一種Merge模式，通過該模式，可以從相鄰的PU(包括空間和時域候選)中獲取當前PU的運動參數。Merge模式可以應用於任何幀間預測的PU，而不僅僅是跳躍模式。Merge模式的另一種選擇是運動參數的顯式傳輸，其中運動向量、每個參考圖片列表對應的參考圖片索引和參考圖片列表的使用都會在每個PU中顯式地發信令。

當信令指示要使用兩個參考圖片列表中的一個時，從一個樣點塊中產生PU。這被稱為“單向預測”。單向預測對P條帶和B條帶都可用。

當信令指示要使用兩個參考圖片列表時，從兩個樣點塊中產生PU。這被稱為“雙向預測”。雙向預測僅對B條帶可用。

2.1.1 構建Merge模式的候選的實施例

當使用Merge模式預測PU時，從比特流分析指向Merge候選列表中條目的索引，並用於檢索運動信息。該列表的結構可以按照以下步驟順序進行概括：

步驟1：初始候選推導

步驟1.1：空間候選推導

步驟1.2：空間候選的冗餘校驗

步驟1.3：時域候選推導

步驟2：附加候選***

步驟2.1：雙向預測候選的創建

步驟2.2：零運動候選的***

圖9示出了基於上面概述的步驟序列構建Merge候選列表的示例。對於空間Merge候選推導，在位於五個不同位置的候選中最多選擇四個Merge候選。對於時域Merge候選推導，在兩個候選中最多選擇一個Merge候選。由於在解碼器處假定每個PU的候選數為常量，因此當候選數未達到條帶報頭中發信令的最大Merge候選數(例如，MaxNumMergeCand)時，產生附加的候選。由於候選數是恒定的，所以最佳Merge候選的索引使用截斷的一元二值化進(TU)行編碼。如果CU的尺寸等於8，則當前CU的所有PU都共享一個Merge候選列表，這與2N×2N預測單元的Merge候選列表相同。

2.1.2 構建空間Merge候選

在空間Merge候選的推導中，在位於圖10所示位置的候選中最多選擇四個Merge候選。推導順序為A1、B1、B0、A0和B2。只有當位置A1、B1、B0、A0的任何PU不可用(例如，因為它屬另一個條帶或片)或是內部編碼時，才考慮位置B2。在增加A1位置的候選後，對其餘候選的增加進行冗餘校驗，其確保具有相同運動信息的候選被排除在列表之外，從而提高編碼效率。為了降低計算的複雜度，在所提到的冗餘校驗中並不考慮所有可能的候選對。相反，只有與圖11中的箭頭鏈接的對才會被考慮，並且只有當用於冗餘校驗的對應候選沒有相同的運動信息時，才將候選添加到列表中。複製運動信息的另一個來源是與2N×2N不同的分區相關的“第二PU”。例如，圖12A和12B分別描述了 N×2N和2N×N情況下的第二PU。當當前的PU被劃分為N×2N時，對於列表構建不考慮A1位置的候選。在一些實施例中，添加此候選可能導致兩個具有相同運動信息的預測單元，這對於在編碼單元中僅具有一個PU是冗餘的。同樣地，當當前PU被劃分為2N×N時，不考慮位置B1。

2.1.3 構建時域Merge候選

在此步驟中，只有一個候選添加到列表中。特別地，在這個時域Merge候選的推導中，基於與給定參考圖片列表中當前圖片具有最小POC差異的並置PU推導了縮放運動向量。用於推導並置PU的參考圖片列表在條帶報頭中顯式地發信令。

圖13示出了針對時域Merge候選(如虛綫)的縮放運動向量的推導的示例，其使用POC距離tb和td從並置PU的運動向量進行縮放，其中tb定義為當前圖片的參考圖片和當前圖片之間的POC差異，並且td定義為並置圖片的參考圖片與並置圖片之間的POC差異。時域Merge候選的參考圖片索引設置為零。對於B條帶，得到兩個運動向量(一個是對於參考圖片列表0，另一個是對於參考圖片列表1)並將其組合使其成為雙向預測Merge候選。

在屬參考幀的並置PU(Y)中，在候選C₀和C₁之間選擇時域候選的位置，如圖14所示。如果位置C₀處的PU不可用、內部編碼或在當前CTU之外，則使用位置C₁。否則，位置C₀被用於時域Merge候選的推導。

2.1.4 構建Merge候選的附加類型

除了空時Merge候選，還有兩種附加類型的Merge候選：組合雙向預測Merge候選和零Merge候選。組合雙向預測Merge候選是利用空時Merge候選產生的。組合雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片列表運動參數與另一候選的第二參考圖片列表運動參數相結合，產生組合雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成新的雙向預測候選。

圖15示出了該處理的示例，其中具有mvL0和refIdxL0或mvL1和refIdxL1的初始列表中的兩個候選(左側的1510)用於創建添加到最終列表的組合雙向預測Merge候選(右側的1520)。

***零運動候選以填充Merge候選列表中的其餘條目，從而達到MaxNumMergeCand的容量。這些候選具有零空間位移和從零開始並且每次將新的零運動候選添加到列表中時都會增加的參考圖片索引。這些候選使用的參考幀的數目對於單向預測和雙向預測分別是1幀和2幀。在一些實施例中，對這些候選不執行冗餘校驗。

2.1.5 並行處理的運動估計區域的示例

為了加快編碼處理，可以並行執行運動估計，從而同時推導給定區域內所有預測單元的運動向量。從空間鄰域推導Merge候選可能會干擾並行處理，因為一個預測單元在完成相關運動估計之前無法從相鄰的PU推導運動參數。為了緩和編碼效率和處理延遲之間的平衡，可定義運動估計區域(MER)。可使用語法元素“log2_parallel_merge_level_mirus2”在圖片參數集(PPS)中對MER的尺寸發信令。當定義MER時，落入同一區域的Merge候選標記為不可用，並且因此在列表構建中不考慮。

在表1中示出了圖片參數集(PPS)初始字節序列有效載荷(RBSP)語法，其中log2_parallel_Merge_level_MiNus2加2指定變量Log2ParMrgLevel的值，該變量用於Merge模式亮度運動向量的推導過程，以及現有視頻編碼標準中規定的空間Merge候選的推導過程。log2_parallel_Merge_level_MiNus2的值應在0到CtbLog2SizeY-2的範圍內，包括0和CtbLog2SizeY-2。

變量Log2ParMrgLevel推導如下：Log2ParMrgLevel=log2_parallel_Merge_level_MiNus2+2

注意Log2ParMrgLevel的值表示Merge候選列表並行推導的內置功能。例如，當Log2ParMrgLevel等於6時，可以並行推導64×64塊中包含的所有預測單元(PU)和編碼單元(CU)的Merge候選列表。

2.2 運動向量預測的實施例

運動向量預測利用運動向量與相鄰的PU的空時相關性，其用於運動參數的顯式傳輸。首先通過校驗左上方的時域相鄰的PU位置的可用性、去掉多餘的候選位置並且加上零向量以使候選列表長度恒定來構建運動向量候選列表。然後，編碼器可以從候選列表中選擇最佳的預測值，並發送指示所選候選的對應索引。與Merge索引信令類似，最佳運動向量候選的索引使用截斷的一元進行編碼。

2.2.1 構建運動向量預測候選的示例

圖16概括了運動向量預測候選的推導過程，並且可以針對每個參考圖片列表以refidx作為輸入實現。

在運動向量預測中，考慮了兩種類型的運動向量候選：空間運動向量候選和時域運動向量候選。對於空間運動向量候選的推導，基於位於圖10先前所示的五個不同位置的每個PU的運動向量最終推推導兩個運動向量候選。

對於時域運動向量候選的推導，從兩個候選中選擇一個運動向量候選，這兩個候選是基於兩個不同的並置位置推推導的。在作出第一個空時候選列表後，移除列表中重複的運動向量候選。如果潛在候選的數量大於二，則從列表中移除相關聯的參考圖片列表中參考圖片索引大於1的運動向量候選。如果空時運動向量候選數小於二，則會在列表中添加附加的零運動向量候選。

2.2.2 構建空間運動向量候選

在推導空間運動向量候選時，在五個潛在候選中最多考慮兩個候選，這五個候選來自圖10先前所示位置上的PU，這些位置與運動Merge的位置相同。當前PU左側的推導順序定義為A₀、A₁、以及縮放的A₀、縮放的A₁。當前PU上面的推導順序定義為B₀、B₁、B₂、縮放的B₀、縮放的B₁、縮放的B₂。因此，每側有四種情況可以用作運動向量候選，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況概括如下：

--無空間縮放

(1)相同的參考圖片列表，並且相同的參考圖片索引(相同的POC)

(2)不同的參考圖片列表，但是相同的參考圖片索引(相同的POC)

--空間縮放

(3)相同的參考圖片列表，但是不同的參考圖片索引(不同的POC)

(4)不同的參考圖片列表，並且不同的參考圖片索引(不同的POC)

首先校驗無空間縮放的情況，然後校驗允許空間縮放的情況。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同時，都會考慮空間縮放，而不考慮參考圖片列表。如果左側候選的所有PU都不可用或是內部編碼，則允許對上述運動向量進行縮放，以幫助左側和上方MV候選的平行推導。否則，不允許對上述運動向量進行空間縮放。

如在圖17中的示例所示，對於空間縮放情況，相鄰PU的運動向量以與時域縮放相似的方式縮放。一個區別在於，給出了當前PU的參考圖片列表和索引作為輸入，實際縮放處理與時域縮放處理相同。

2.2.3 構建時域運動向量候選

除了參考圖片索引的推導外，時域Merge候選的所有推導過程與空間運動向量候選的推導過程相同(如圖14中的示例所示)。在一些實施例中，向解碼器發參考圖片索引的信令。

2.2.4 AMVP信息的信令

對於AMVP模式，可以在比特流對四個部分發信令，包括預測方向、參考索引、MVD和MV預測候選索引，其在表2和表3中所示的語法的上下文中描述。

3 聯合探索模型(JEM)中幀間預測方法的示例

在一些實施例中，使用稱為聯合探索模型(JEM)的參考軟體來探索未來視頻編碼技術。在JEM中，在若干編碼工具中採用基於子塊的預測，諸如仿射預測、可選時域運動向量預測(ATMVP)、空間-時間運動向量預測(STMVP)、雙向光流(BIO)、幀速率上轉換(FRUC)、局部自適應運動向量分辨率(LAMVR)、重疊塊運動補償(OBMC)、局部照明補償(LIC)和解碼器側運動向量細化(DMVR)。

3.1 基於子CU的運動向量預測的示例

在具有四叉樹加二叉樹(QTBT)的JEM中，每個CU對於每個預測方向最多可以具有一組運動參數。在一些實施例中，通過將大的CU分割成子CU並推導該大CU的所有子CU的運動信息，編碼器中考慮了兩種子CU級的運動向量預測方法。可選時域運動向量預測(ATMVP)方法允許每個CU從多個小於並置參考圖片中當前CU的塊中獲取多組運動信息。在空時運動向量預測(STMVP)方法中，通過利用時域運動向量預測值和空間鄰接運動向量遞歸地推導子CU的運動向量。

在一些實施例中，為了為子CU運動預測的保持更精確的運動場，當前禁用參考幀的運動壓縮。

3.1.1 可選時域運動向量預測(ATMVP)的示例

在ATMVP方法中，時域運動向量預測(TMVP)方法是通過從小於當前CU的塊中提取多組運動信息(包括運動向量和參考索引)來修改的。

圖18示出了CU 1800的ATMVP運動預測過程的示例。ATMVP方法分兩步預測CU 1800內的子CU1801的運動向量。第一步是用時域向量識別參考圖片 1850中的對應塊1851。參考圖片1850還被稱為運動源圖片。第二步是將當前CU 1800劃分成子CU1801，並從每個子CU對應的塊中獲取運動向量以及每個子CU的參考索引。

在第一步中，參考圖片1850和對應的塊由當前CU 1800的空間相鄰塊的運動信息確定。為了避免相鄰塊的重複掃描處理，使用當前CU 1800的Merge候選列表中的第一個Merge候選。第一個可用的運動向量及其相關聯的參考索引被設置為時域向量和運動源圖片的索引。這樣，與TMVP相比，可以更準確地識別對應的塊，其中對應的塊(有時稱為並置塊)始終位於相對於當前CU的右下角或中心位置。

在一個示例中，如果第一個Merge候選來自左相鄰塊(即，圖19中的A₁)，則使用相關的MV和參考圖片來識別源塊和源圖片。

在第二步中，通過將時域向量添加到當前CU的坐標中，通過運動源圖片1850中的時域向量識別子CU 1851的對應塊。對於每個子CU，使用其對應塊的運動信息(例如，覆蓋中心樣點的最小運動網格)來推導子CU的運動信息。在識別出對應N×N塊的運動信息後，將其轉換為當前子CU的運動向量和參考索引，與HEVC的TMVP方法相同，其中應用運動縮放和其它處理。例如，解碼器校驗是否滿足低延遲條件(例如，當前圖片的所有參考圖片的POC都小於當前圖片的POC)，並可能使用運動向量MVx(例如，與參考圖片列表X對應的運動向量)來為每個子CU預測運動向量MVy(例如，X等於0或1且Y等於1-X)。

3.1.2 空時運動向量預測(STMVP)的示例

在STMVP方法中，子CU的運動向量是按照光柵掃描順序遞歸推導的。圖20示出了一個具有四個子塊及相鄰塊的CU的示例。考慮一個8×8的CU2000，它包含四個4×4的子CU A(2001)、B(2002)、C(2003)和D(2004)。當前幀中相鄰的4×4的塊標記為a(2011)、b(2012)、c(2013)和d(2014)。

子CU A的運動推導由識別其兩個空間鄰居開始。第一個鄰居是子CU A 1101上方的N×N塊(塊c 2013)。如果該塊c 2013不可用或內部編碼，則校驗子CU A(2001)上方的其它N×N塊(從左到右，從塊c 2013處開始)。第二個鄰居是子CU A 2001左側的一個塊(塊b 2012)。如果塊b(2012)不可用或是內部編碼，則校驗子CU A 2001左側的其它塊(從上到下，從塊b 2012處開始)。每個列表從相鄰塊獲得的運動信息被縮放到給定列表的第一個參考幀。接下來，按照HEVC中規定的與TMVP相同的程式，推導子塊A 2001的時域運動向量預測(TMVP)。提取塊D 2004處的並置塊的運動信息並進行相應的縮放。最後，在檢索和縮放運動信息後，對每個參考列表分別平均所有可用的運動向量。將平均運動向量指定為當前子CU的運動向量。

3.1.3 子CU運動預測模式信令通知的示例

在一些實施例中，子CU模式作為附加的Merge候選模式啟用，並且不需要附加的語法元素來對該模式發信令。將另外兩個Merge候選添加到每個CU的Merge候選列表中，以表示ATMVP模式和STMVP模式。在其他實施例中，如果序列參數集指示啟用了ATMVP和STMVP，則最多可以使用七個Merge候選。附加Merge候選的編碼邏輯與HM中的Merge候選的編碼邏輯相同，這意味著對於P條帶或B條帶中的每個CU，可能需要對兩個附加Merge候選進行兩次額外的RD校驗。在一些實施例中，例如JEM，Merge索引的所有二進制(bin)文件都由CABAC(基於上下文的自適應二進制算數編碼)進行上下文編碼。在其他實施例中，例如HEVC，只有第一個二進制是上下文編碼的，並且其餘的二進制是上下文旁路編碼的

3.2 自適應運動向量差分辨率的示例

在一些實施例中，當在條帶報頭中use_integer_mv_flag等於0時，運動向量差(MVD)(在PU的運動向量和預測運動向量之間)以四分之一亮度樣點為單位發信令。在JEM中，引入了局部自適應運動向量分辨率(LAMVR)。在JEM中，MVD可以用四分之一亮度樣點、整數亮度樣點或四亮度樣點的單位進行編碼。MVD分辨率控制在編碼單元(CU)級別，並且MVD分辨率標誌有條件地為每個至少有一個非零MVD分量的CU發信令。

對於具有至少一個非零MVD分量的CU，第一個標誌將發信令以指示CU中是否使用四分之一亮度樣點MV精度。當第一個標誌(等於1)指示不使用四分之一亮度樣點MV精度時，另一個標誌發信令以指示是使用整數亮度樣點MV精度還是使用四亮度樣點MV精度。

當CU的第一個MVD分辨率標誌為零或沒有為CU編碼(意味著CU中的所有MVD都為零)時，CU使用四分之一亮度樣點MV分辨率。當一個CU使用整數亮度樣點MV精度或四亮度樣點MV精度時，該CU的AMVP候選列表中的MVP將取整到對應的精度。

在編碼器中，CU級別的RD校驗用於確定哪個MVD分辨率將用於CU。也就是說，對每個MVD分辨率執行三次CU級別的RD校驗。為了加快編碼器速度，在JEM中應用以下編碼方案。

--在對具有正常四分之一亮度採樣MVD分辨率的CU進行RD校驗期間，存儲當前CU(整數亮度採樣精度)的運動信息。在對具有整數亮度樣點和4亮度樣點MVD分辨率的同一個CU進行RD校驗時，將存儲的運動信息(取整後)用作進一步小範圍運動向量細化的起始點，從而使耗時的運動估計處理不會重複三次。

--有條件地調用具有4亮度樣點MVD分辨率的CU的RD校驗。對於CU，當整數亮度樣點MVD分辨率的RD校驗成本遠大於四分之一亮度樣點MVD分辨率的RD校驗成本時，將跳過對CU的4亮度樣點MVD分辨率的RD校驗。

3.3 模式匹配運動向量推導(PMMVD)的示例

PMMVD模式是基於幀速率上轉換(FRUC)方法的特殊Merge模式。在這種模式下，塊的運動信息不會被發信令，而是在解碼器側推導。

對於CU，當其Merge標誌為真時，可以對FRUC標誌發信令。當FRUC標誌為假時，可以對Merge索引發信令並且使用常規Merge模式。當FRUC標誌為真時，可以對另一個FRUC模式標誌發信令來指示將使用哪種模式(例如，雙邊匹配或模板匹配)來推導該塊的運動信息。

在編碼器側，基於對正常Merge候選所做的RD成本選擇決定是否對CU使用FRUC Merge模式。例如，通過使用RD成本選擇來校驗CU的多個匹配模式(例如，雙邊匹配和模板匹配)。導致最低成本的模式進一步與其它CU模式相比較。如果FRUC匹配模式是最有效的模式，那麽對於CU，FRUC標誌設置為真，並且使用相關的匹配模式。

典型地，FRUC Merge模式中的運動推導過程有兩個步驟：首先執行CU級運動搜索，然後執行子CU級運動優化。在CU級，基於雙邊匹配或模板匹配，推導整個CU的初始運動向量。首先，產生一個MV候選列表，並且選擇導致最低匹配成本的候選作為進一步優化CU級的起點。然後在起始點附近執行基於雙邊匹配或模板匹配的局部搜索。將最小匹配成本的MV結果作為整個CU的MV值。接著，以推導的CU運動向量為起點，進一步在子CU級細化運動信息。

例如，對於W×H CU運動信息推導執行以下推導過程。在第一階段，推推導了整個W×H CU的MV。在第二階段，該CU進一步被分成M×M子CU。M的值按照等式(3)計算，D是預先定義的劃分深度，在JEM中默認設置為3。然後推導每個子CU的MV值。

圖21示出了在幀速率上轉換(FRUC)方法中使用的雙邊匹配的示例。通過沿當前CU的運動軌跡在兩個不同的參考圖片(2110、2111)中找到兩個塊之間最接近的匹配，使用雙邊匹配來推導當前CU(2100)的運動信息。在連續運動軌跡假設下，指向兩個參考塊的運動向量MV0(2101)和MV1(2102)與當前圖片和兩個參考圖片之間的時間距離(例如，TD0(2103)和TD1(2104)成正比。在一些實施例中，當當前圖片2100暫時位於兩個參考圖片(2110、2111)之間並且當前圖片到兩個參考圖片的時間距離相同時，雙邊匹配成為基於鏡像的雙向MV。

圖22示出了在幀速率上轉換(FRUC)方法中使用的模板匹配的示例。通過在當前圖片中的模板(例如，當前CU的頂部和/或左側相鄰塊)和參考圖片2210中的塊(例如，與模板尺寸相同)之間找到最接近的匹配，使用模板匹配來推導當前CU 2200的運動信息。除了上述的FRUC Merge模式外，模板匹配也可以應用於AMVP模式。在JEM和HEVC兩者中，AMVP有兩個候選。利用模板匹配方法，可以推導新的候選。如果由模板匹配新推導的候選與第一個現有AMVP候選不同，則將其***AMVP候選列表的最開始處，並且然後將列表尺寸設置為2(例如，通過移除第二個現有AMVP候選)。當應用於AMVP模式時，僅應用CU級搜索。

CU級的MV候選集可以包括以下：(1)初始AMVP候選，如果當前CU處於AMVP模式，(2)所有Merge候選，(3)插值MV場(稍後描述)中的幾個MV，以及頂部和左側相鄰運動向量。

當使用雙邊匹配時，Merge候選的每個有效MV可以用作輸入，以產生假設為雙邊匹配的MV對。例如，Merge候選在參考列表A處的一個有效MV為(MVa，ref_a)。然後在另一個參考列表B中找到其配對的雙邊MV的參考圖片ref_b，以便ref_a和ref_b在時間上位於當前圖片的不同側。如果參考列表B中的參考ref_b不可用，則將參考ref_b確定為與參考ref_a不同的參考，並且其到當前圖片的時間距離是列表B中的最小距離。確定參考ref_b後，通過基於當前圖片和參考ref_a、參考ref_b之間的時間距離縮放MVa推導MVb。

在一些實現中，還將來自插值MV場中的四個MV添加到CU級候選列表中。更具體地，添加當前CU的位置(0，0)，(W/2，0)，(0，H/2)和(W/2，H/2)處插值的MV。當在AMVP模式下應用FRUC時，初始的AMVP候選也添加到CU級的MV候選集。在一些實現中，在CU級，可以將AMVP CU的15個MV和Merge CU的13個MV添加到候選列表中。

在子CU級設置的MV候選包括：(1)從CU級搜索確定的MV，(2)頂部、左側、左上方和右上方相鄰的MV，(3)來自參考圖片的並置MV的縮放版本，(4)一個或多個ATMVP候選，以及(5)一個或多個STMVP候選(例如，最多4個)。來自參考圖片的縮放MV推導如下。兩個列表中的參考圖片都被遍歷。參考圖片中子CU的並置位置處的MV被縮放為起始CU級MV的參考。ATMVP和STMVP候選可以為前四個。在子CU級，一個或多個MV(最多17個)被添加到候選列表中。

插值MV場的產生：在對幀進行編碼之前，基於單向ME產生整個圖片的內插運動場。然後，該運動場可以隨後用作CU級或子CU級的MV候選。

在一些實施例中，兩個參考列表中每個參考圖片的運動場在4×4的塊級別上被遍歷。圖23示出了FRUC方法中的單邊運動估計(ME)2300的示例。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊，並且該塊沒有被分配任何內插運動，則根據時間距離TD0和TD1將參考塊的運動縮放到當前圖片(與HEVC中TMVP的MV縮放相同)，並且在當前幀中將該縮放運動指定給該塊。如果沒有縮放的MV指定給4×4塊，則在插值運動場中將塊的運動標記為不可用。

插值和匹配成本：當運動向量指向分數採樣位置時，需要運動補償插值。為了降低複雜度，對雙邊匹配和模板匹配都可以使用雙綫性插值而不是常規的8抽頭HEVC插值。

匹配成本的計算在不同的步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本可以是雙邊匹配或模板匹配的絕對和差(SAD)。在確定起始MV後，雙邊匹配在子CU級搜索的匹配成本C計算如下：

這裏，w是權重係數。在一些實施例中，w被經驗地設置為4。MV和MV^s分別指示當前MV和起始MV。仍然可以將SAD用作模式匹配在子CU級搜索的匹配成本。

在FRUC模式下，MV通過僅使用亮度樣點推導。推導的運動將用於亮度和色度的MC幀間預測。確定MV後，對亮度使用8抽頭(8-taps)插值濾波器並且對色度使用4抽頭(4-taps)插值濾波器執行最終MC。

MV細化是基於模式的MV搜索，以雙邊成本或模板匹配成本為標準。在JEM中，支持兩種搜索模式-無限制中心偏置菱形搜索(UCBDS)和自適應交叉搜索，分別在CU級別和子CU級別進行MV細化。對於CU級和子CU級的MV細化，都在四分之一亮度樣點精度下直接搜索MV，接著是八分之一亮度樣點MV細化。將CU和子CU步驟的MV細化的搜索範圍設置為8個亮度樣點。

在雙邊Merge模式下，應用雙向預測，因為CU的運動信息是在兩個不同的參考圖片中基於當前CU運動軌跡上兩個塊之間的最近匹配得出的。在模板匹配Merge模式下，編碼器可以從列表0的單向預測、列表1的單向預測或者雙向預測中為CU做出選擇。該選擇可以基於如下的模板匹配成本：如果costBi<=factor*min(cost0,cost1)則使用雙向預測；否則，如果cost0<=cost1則使用列表0中的單向預測；否則，使用列表1中的單向預測；這裏，cost0是列表0模板匹配的SAD，cost1是列表2模板匹配的SAD，並且costBi是雙向預測模板匹配的SAD。例如，當factor的值等於1.25，意味著選擇處理朝雙向預測偏移。幀間預測方向選擇可以應用於CU級模板匹配處理。

3.4 解碼器側運動向量細化(DMVR)的示例

在雙向預測操作中，對於一個塊區域的預測，將兩個分別由列表0的運動向量(MV)和列表1的MV形成的預測塊組合形成單個預測信號。在解碼器側運動向量細化(DMVR)方法中，通過雙邊模板匹配處理進一步細化雙向預測的兩個運動向量。解碼器中應用的雙邊模板匹配用於在雙邊模板和參考圖片中的重建樣點之間執行基於失真的搜索，以便在不傳輸附加運動信息的情況下獲得細化的MV。

在DMVR中，雙邊模板被產生為兩個預測塊的加權組合(即平均)，其中兩個預測塊分別來自列表0的初始MV0和列表1的MV1，如圖24所示。模板匹配操作包括計算產生的模板與參考圖片中的樣點區域(在初始預測塊周圍)之間的成本度量。對於兩個參考圖片中的每一個，產生最小模板成本的MV被視為該列表的更新MV，以替換初始MV。在JEM中，為每個列表搜索九個MV候選。九個MV候選包括初始MV和8個周邊MV，這八個周邊MV在水平或垂直方向上或兩者與初始MV具有一個亮度樣點的偏移。最後，使用圖24所示的兩個新的MV(即MV0′和MV1′)產生最終的雙向預測結果。絕對差異之和(SAD)被用作成本度量。

在不傳輸附加語法元素的情況下，將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，並且另一個MV來自未來的參考圖片。在JEM中，當為CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用 DMVR。

3.5 具有雙邊匹配細化的合並/跳過模式的示例

首先通過利用冗餘校驗將空間相鄰和時域相鄰塊的運動向量和參考索引***候選列表來構建Merge候選列表，直到可用候選數達到最大候選尺寸19。根據預定的***順序、並且在圖25中所示的編號的塊的上下文中通過***空間候選、時域候選、仿射候選、高級時域MVP(ATMVP)候選、空時域MVP(STMVP)候選和如HEVC中使用的附加候選(組合候選和零候選)來構建Merge/跳過模式的候選列表：

(1)塊1-4的空間候選

(2)塊1-4的外推仿射候選

(3)ATMVP

(4)STMVP

(5)虛擬仿射候選

(6)空間候選(塊5)(僅在可用候選數小於6時使用)

(7)外推仿射候選(塊5)

(8)時域候選(如在HEVC中推導的)

(9)非相鄰空間候選，其後是外推仿射候選(塊6至49)

(10)組合候選

(11)零候選

可以注意到，除了STMVP和仿射之外，IC標誌也從Merge候選繼承。此外，對於前四個空間候選，在單向預測的候選之前***雙向預測候選。

3.5.1 非相鄰Merge候選

如果可用Merge候選的總數尚未達到最大允許Merge候選，則可以將非相鄰Merge候選添加到Merge候選列表。在現有實現中，可以在TMVP Merge候選之後將非相鄰Merge候選***到Merge候選列表中。添加非相鄰Merge候選的處理可以通過圖26中所示的偽代碼來執行。

4 現有實現的示例

在現有實現中，使用從非相鄰塊獲得運動信息的非相鄰Merge候選可能導致次優性能。

在一個示例中，根據位於CTU行上方的非相鄰塊的運動信息的預測可以顯著增加行緩衝器尺寸。

在另一示例中，來自非相鄰塊的運動信息的預測可帶來額外的編碼增益，其中將所有運動信息(通常在4×4級上)存儲到高速緩存中，這顯著增加了硬體實現的複雜度。

5 用於構建非相鄰Merge候選的方法的示例

當前公開的技術的實施例克服了現有實現的缺點，從而提供具有較低記憶體和複雜度要求以及較高編碼效率的視頻編碼。基於所公開的技術選擇非相鄰Merge候選，其可以增強現有和未來的視頻編碼標準，在以下針對各種實現所描述的示例中闡明非相鄰Merge候選的選擇。以下提供的所公開技術的示例解釋了一般概念，並不意味著被解釋為限制。在示例中，除非明確地相反指示，否則可以組合這些示例中描述的各種特徵。

所公開的技術的實施例降低了非相鄰Merge候選所需的高速緩存/行緩衝器尺寸以及用於進一步改進非相鄰Merge候選的編碼性能的方法。

對於下面討論的示例，使當前塊的左上樣點坐標為(Cx，Cy)，並且使一個非相鄰塊中的左上樣點的坐標為(NAx，NAy)，原點(0,0)是圖片/條帶/片/LCU行/LCU的左上角。坐標差(即，與當前塊的偏移)由(offsetX，offsetY)表示，其中offsetX=Cx-NAx和offsetY=Cy-NAy。

示例1和2有利地至少提供對一些實施例的記憶體和緩衝器占用的降低。

示例1：在一個示例中，在構建Merge候選時，僅訪問位於特定位置的非相鄰塊。

(a)在一個示例中，x和y應該滿足NAx%M=0和NAy%N=0，其中M和N是兩個非零整數，諸如M=N=8或16。

(b)在一個示例中，如果一個非相鄰塊中的左上樣點不滿足給定條件，則跳過與該塊相關聯的運動信息的檢測。因此，不能將相關聯的運動信息添加到Merge候選列表。

(c)可替代地，如果一個非相鄰塊中的左上樣點不滿足給定條件，則可以移位、截斷或取整該塊的位置以確保滿足條件。例如，(NAx，NAy)可以被修改為((NAx/M) * M、(NAy/N) * N)，其中“/”是整數除法。

(d)可以預定義/發信號通知覆蓋所有非相鄰塊的受限區域尺寸。在這種情況下，當由給定偏移(OffsetX，OffsetY)計算的非相鄰塊在該區域之外時，它被標記為不可用或被視為幀內編碼模式。可以將相應的運動信息添加到候選列表中作為候選。圖27中描繪示例。

(i)在一個示例中，區域尺寸被定義為一個或多個CTB。

(ii)可替代地，覆蓋當前塊的LCU行上方的所有塊被標記為不可用或被視為幀內碼模式。可以將相應的運動信息添加到候選列表中作為候選。

(iii)可替代地，假設覆蓋當前塊的LCU的左上樣點坐標為(LX，LY)。(LX-NAx)、和/或abs(LX-NAx)、和/或(LY-NAy)、和/或abs(LY-NAy)應在閾值內。

(iv)可以預定義一個或多個閾值。它們可以進一步取決於CU高度的最小尺寸/寬度的最小尺寸/LCU尺寸等。例如，(LY-NAy)應小於CU高度的最小尺寸，或(LY-NAy)應小於CU高度的最小尺寸的兩倍。

(v)可以在序列參數集(SPS)、圖片參數集(PPS)、視頻參數集(VPS)、條帶報頭、片報頭等中用信號通知區域尺寸或閾值。

(vi)在一個示例中，用於並行編碼的當前條帶/片/其他種類單元之外的所有非相鄰塊被標記為不可用，並且不應將對應的運動信息添加到候選列表作為候選。

示例2：可以在編碼/解碼一個區域(例如，CTU、多個CTU)之後應用空間運動壓縮。

(a)當對區域應用運動壓縮時，意味著該區域內的所有塊被迫共享代表性運動信息集。

(b)在對區域進行編碼/解碼之後，可以應用空間運動壓縮。

(c)可替代地，此外，利用代表性運動信息集來預測以下塊。

(d)可替代地，此外，在濾波處理之前應用空間運動壓縮，例如，去塊濾波、採樣自適應偏移(SAO)濾波。

(e)可替代地，此外，在濾波處理中使用壓縮的運動信息。

(f)在一個示例中，選擇來自該區域的特定(例如，中心或右下)位置的運動信息集作為代表性集。

(g)可替代地，可以按順序校驗多個位置，一旦識別出用於位置的幀間編碼塊，則終止校驗處理並且將相關聯的運動信息用作代表集。

(h)在一個示例中，可以從與該區域相關聯的運動信息推導運動信息集，並將其用作代表性集。

示例3有利地至少提供了降低的計算複雜度。

示例3：當***新的非相鄰Merge候選時，可以將修剪應用於部分可用Merge候選。

(a)在一個示例中，新的非相鄰Merge候選不被修剪為其他***的非相鄰Merge候選。

(b)在一個示例中，新的非相鄰Merge候選不被修剪為時域Merge候選，諸如TMVP或ATMVP。

(c)在一個示例中，利用來自某些特定相鄰塊的一些Merge候選來修剪新的非相鄰Merge候選，但不利用來自一些其它特定相鄰塊的一些其他Merge候選來修剪新的非相鄰Merge候選。

示例4-7有利地至少提供編碼性能增益。

示例4：在Merge候選列表中並不考慮非相鄰塊的所有種類的運動信息。

(a)在一個示例中，僅考慮AMVP編碼的非相鄰塊的運動信息。

(b)在一個示例中，僅考慮Merge編碼的非相鄰塊的運動信息。

(c)在一個示例中，僅考慮不來自空間Merge候選的Merge編碼的非相鄰塊的運動信息。

(d)在一個示例中，僅考慮調用了運動細化處理的Merge編碼的非相鄰塊的運動信息。

(e)在一個示例中，不考慮用任何種類的解碼器側MV細化(諸如FRUC、模板匹配或PMVR)編碼的非相鄰塊的運動信息。

(f)在一個示例中，不考慮具有低MVD/MV精度(如4像素精度)的運動信息。

示例5：對於非相鄰空間鄰居，與以第二模式編碼的那些相比，給予以第一模式編碼的那些更高的優先級(例如，在用第二模式編碼的所有非相鄰空間鄰居之前校驗)。

(a)可替代地，對於每個距離，與用第二模式編碼的那些相比，給予用第一模式編碼的非相鄰空間鄰居更高的優先級。而對於不同的距離，給予具有較小距離的非相鄰空間鄰居較高的優先級。

(b)在一個示例中，將第一模式定義為AMVP模式，並且將第二模式定義為Merge模式，反之亦然。

(c)可替代地，將第一模式定義為雙向預測模式，並且將第二模式定義為單向預測模式，反之亦然。

(d)可替代地，將第一模式定義為AMVP模式，並且將第二模式定義為Merge模式而不是空間Merge候選。

(e)可替代地，將第一模式定義為仿射模式，並且將第二模式定義為非仿射模式，反之亦然。

(f)可替代地，將第一模式定義為高MV精度模式，並且將第二模式定義為低MV精度模式。

示例6：替代於在某種Merge候選(例如，TMVP)之後校驗非相鄰空間鄰居，可以推導非相鄰Merge候選的多個階段並將其添加到Merge候選列表。

(a)在一個示例中，對於第一階段，可以在第一給定種類的Merge候選之後添加用第一模式編碼的那些非相鄰空間鄰居。而對於第二階段，可以在第二給定種類的Merge候選之後添加用第二模式編碼的那些非相鄰空間鄰居，等等。

(b)在一個示例中，第一給定種類的Merge候選可以是上一空間Merge候選，而第二給定種類的Merge候選可以是TMVP Merge候選。

(c)可替代地，此外，多個階段可以涉及非相鄰塊的不同位置。

(d)第一和第二模式可以如示例5中所定義。

示例7：非相鄰塊的運動信息可以用作AMVP模式中的預測值。

(a)在一個實例中，可以將從一個或多個非相鄰塊推導(例如，縮放到目標參考圖片)/繼承的一個或多個MV候選添加到AMVP候選列表。

(b)可替代地，可以將從一個或多個非相鄰塊繼承的一個或多個運動候選添加到AMVP候選列表。在這種情況下，跳過用信號通知的參考圖像索引以及預測方向，並且它們從運動候選中繼承。

(c)與非相鄰塊相關聯的運動信息的使用可以在某些條件下應用，例如，AMVP候選的總數未達到最大允許的尺寸，和/或當用信號通知使用的指示時，和/或塊尺寸(W，H)，其中W>th0且H>th1(th0和th1是兩個閾值，例如，兩者都等於8)。

圖28示出了用於視頻編碼的示例方法的流程圖，其可在視頻編碼器中實施。方法2800包括，在步驟2810，接收視頻數據的當前塊。方法2800包括，在步驟2820，基於規則選擇與當前塊不相鄰的第一非相鄰塊。方法2800包括，在步驟2830，基於第一非相鄰塊，構建包括運動信息的第一Merge候選。方法2800包括，在步驟2840，識別與當前塊不相鄰且與第一非相鄰塊不同的第二非相鄰塊。方法2800包括，在步驟2850，基於第二非相鄰塊不滿足規則的確定，抑制添加從第二非相鄰塊推導的第二Merge候選。方法2800包括在步驟2860，基於第一非相鄰塊，構建Merge候選列表。方法2800包括，在步驟2870，基於Merge候選列表，對當前塊進行解碼。

圖29示出了根據當前公開的技術的用於視頻編碼的另一示例方法的流程圖。方法3200包括，在步驟2910，接收視頻數據的當前塊。方法3200包括，在步驟2920，基於規則選擇與當前塊不相鄰的第一非相鄰塊。方法3200包括，在步驟2930，基於第一非相鄰塊，構建包括運動信息的第一Merge候選。方法3200包括，在步驟2940，選擇第二非相鄰塊，其中第一非相鄰塊和第二非相鄰塊不與當前塊相鄰，其中第一非相鄰塊利用第一模式進行編碼，並且第二非相鄰塊利用第二模式進行編碼，並且其中在選擇第二非相鄰塊之前選擇第一非相鄰塊。方法3200包括，在步驟2950，基於第二非相鄰塊，構建包括運動信息的第二Merge 候選。

圖30示出了根據當前公開的技術的用於視頻編碼的又一示例方法的流程圖。方法3000包括，在步驟3010，接收視頻數據的當前塊。方法3000包括，在步驟3020，基於規則選擇不與當前塊相鄰的非相鄰塊的第一子集和非相鄰塊的第二子集。方法3000包括，在步驟3030，基於非相鄰塊的第一子集，構建包括運動信息的Merge候選的第一子集，以及基於非相鄰塊的第二子集，構建包括運動信息的Merge候選的第二子集，其中將Merge候選的第一子集添加到第一類的Merge候選之後的Merge候選列表中，並且其中將Merge候選的第二子集添加到第二類的Merge候選之後的Merge候選列表中。

圖31示出了根據當前公開的技術的用於視頻編碼的又一示例方法的流程圖。方法3100包括，在步驟3110，接收視頻塊的當前塊。該方法包括，在步驟3120，基於規則選擇與當前塊不相鄰的第一非相鄰塊。該方法包括，在步驟3130，基於第一非相鄰塊構建至少一個運動向量預測候選，其中，至少一個運動向量預測候選被用作高級運動向量預測(AMVP)模式中的預測。該方法包括，在步驟3140，基於至少一個運動向量預測候選來解碼與AMVP模式相關聯的塊。

一些實施例優選的一些特徵以基於條款的格式提供如下。這些實施例包括示例4至7中描述的技術的進一步變化和方面。

1.一種視頻處理方法(例如，方法2800)，包括：接收視頻數據的當前塊；基於規則選擇與當前塊不相鄰的第一非相鄰塊；基於第一非相鄰塊，構建包括運動信息的第一Merge候選；識別與當前塊不相鄰且與第一非相鄰塊不同的第二非相鄰塊；基於第二非相鄰塊不滿足規則的確定，抑制添加從第二非相鄰塊推導的第二Merge候選；基於第一非相鄰塊，構建Merge候選列表；以及基於Merge候選列表，對當前塊進行解碼。

2.如條款1的方法，其中，規則指示第一非相鄰塊和第二非相鄰塊的編碼特性。

3.如條款2的方法，其中，規則指示第一非相鄰塊是高級運動向量預測(AMVP)編碼的非相鄰塊。

4.如條款2的方法，其中，規則指示第一非相鄰塊是Merge編碼的非相鄰塊。

5.如條款4的方法，其中，規則指示未利用空間Merge候選對第一非相鄰塊進行編碼。

6.如條款4的方法，其中，規則指示利用運動細化處理對第一非相鄰塊進行編碼。

7.如條款2的方法，其中，規則指示未利用解碼器側運動向量細化(DMVR)對第一非相鄰塊進行編碼。

8.如條款2的方法，其中，規則指示利用一種運動信息來對第一非相鄰塊進行編碼，運動信息排除具有低精度運動向量或運動向量差的運動信息。

9.一種視頻處理方法(例如，方法3200)，包括：接收視頻數據的當前塊；基於規則選擇與當前塊不相鄰的第一非相鄰塊；基於第一非相鄰塊，構建包括運動信息的第一Merge候選；選擇第二非相鄰塊，其中第一非相鄰塊和第二非相鄰塊不與當前塊相鄰，其中第一非相鄰塊利用第一模式進行編碼，並且第二非相鄰塊利用第二模式進行編碼，並且其中在選擇第二非相鄰塊之前選擇第一非相鄰塊；以及基於第二非相鄰塊，構建包括運動信息的第二Merge候選。

10.如條款9的方法，還包括：基於第一Merge候選和第二Merge候選，構建Merge候選列表。

11.如條款10中任一個或多個的方法，其中在將第二Merge候選添加到第一Merge候選之後的Merge候選列表中。

12.如條款9的方法，其中，第一模式是高級運動向量預測(AMVP)模式，並且第二模式是Merge模式，反之亦然。

13.如條款12的方法，其中，Merge模式與Merge索引相關聯，Merge索引不對應於空間Merge候選。

14.如條款9的方法，其中，第一模式是雙向預測模式，並且第二模式是單向預測模式，或反之亦然。

15.如條款9的方法，其中，第一模式是仿射模式，並且第二模式是非仿射模式，或反之亦然。

16.如條款9的方法，其中，第一模式是高運動向量(MV)精度模式，並且第二模式是低MV精度模式。

17.一種視頻處理方法(例如，方法3000)，包括：接收視頻數據的當前塊；基於規則選擇不與當前塊相鄰的非相鄰塊的第一子集和非相鄰塊的第二子集；以及基於非相鄰塊的第一子集，構建包括運動信息的Merge候選的第一子集，以及基於非相鄰塊的第二子集，構建包括運動信息的Merge候選的第二子集，其中將Merge候選的第一子集添加到第一類的Merge候選之後的Merge候選列表中，並且其中將Merge候選的第二子集添加到第二類的Merge候選之後的Merge候選列表中。

18.如條款17的方法，其中，利用第一模式對非相鄰塊的第一子集進行編碼，並且利用第二模式對非相鄰塊的第二子集進行編碼。

19.如條款17-18中任一個或多個的方法，其中第一類的Merge候選是TMVP Merge候選。

20.如條款17-18中任一個或多個的方法，其中，第一類的Merge候選是最後空間Merge候選，並且其中第二類的Merge候選是TMVP Merge候選。

21.如條款17-18中任一個或多個的方法，其中，第一非相鄰塊和第二非相鄰塊相對於當前塊位於不同的空間位置。

22.如條款18的方法，其中，第一模式是高級運動向量預測(AMVP)模式，並且第二模式是Merge模式，或反之亦然。

23.如條款22的方法，其中，Merge模式與Merge索引相關聯，Merge索引不對應於空間Merge候選。

24.如條款18的方法，其中，第一模式是雙向預測模式，並且第二模式是單向預測模式，或反之亦然。

25.如條款18的方法，其中，第一模式是仿射模式，並且第二模式是非仿射模式，或反之亦然。

26.如條款18的方法，其中，第一模式是高運動向量(MV)精度模式，並且第二模式是低MV精度模式。

27.如條款17-18中任一個或多個的方法，其中，第一類的Merge候選和第二類的Merge候選是相同的。

28.一種視頻處理方法(例如，方法3100)，包括：接收視頻塊的當前塊；基於規則選擇與當前塊不相鄰的第一非相鄰塊；基於第一非相鄰塊構建至少一個運動向量預測候選，其中，至少一個運動向量預測候選被用作高級運動向量預測(AMVP)模式中的預測；以及基於至少一個運動向量預測候選來解碼與AMVP模式相關聯的塊。

29.如條款28的方法，其中，構建第一運動向量預測候選包括：將第一非相鄰塊的運動信息縮放到參考圖片，以產生縮放的運動信息；以及使用第一非相鄰塊的縮放的運動信息來構建AMVP候選列表。

30.如條款29的方法，其中，跳過參考圖片索引或當前塊的預測方向的信令。

31.如條款28-30中任一個或多個的方法，其中，基於以下一個或多個使用來自第一非相鄰塊或第二非相鄰塊的運動信息：(a)AMVP候選列表的尺寸的上限，(b)視頻數據的當前塊的維度，以及(c)運動信息的使用指示。

32.一種視頻系統中的裝置，包括處理器和其上具有指令的非暫時性記憶體，其中指令在由處理器執行時使處理器實現條款1至31中任一個的方法。

33.一種存儲在非暫時性電腦可讀媒體上的電腦程式產品，電腦程式產品包括用於執行如條款1至31中任一個的方法的程式碼。

以上描述的示例可以合並在下面描述的方法的上下文中，例如，可以在視頻解碼器和/或視頻編碼器(例如，轉碼器)處實現的方法2800、3200、3000和3100。

6 所公開的技術的示例實現

圖32是視頻處理裝置3200的框圖。裝置3200可用於實施本文所述的一種或多種方法。裝置3200可實施在智能手機、平板電腦、電腦、物聯網(IoT)接收器等之中。裝置3200可包括一個或多個處理器3202、一個或多個記憶體3204和視頻處理硬體3206。處理器3202可以配置為實現本文中描述的一個或多個方法(包括但不限於方法2800)。記憶體(多個記憶體)3204可用於存儲用於實現本文所述方法和技術的數據和代碼。視頻處理硬體3206可用於在硬體電路中實現本文中描述的一些技術。

在一些實施例中，視頻解碼器裝置可實現使用如本文中所描述的零單元的方法，以用於視頻解碼。該方法的各種特徵可以類似於上述方法2800、3000和3100。

在一些實施例中，視頻解碼方法可以使用解碼裝置來實現，該解碼裝置在硬體平臺上實現，如關於圖32所描述的。

基於以上描述，本領域普通技術人員將理解，公開了以下技術和方面。在一個代表性方面，所公開的技術可用於提供用於視頻編碼的方法。該方法包括接收視頻數據的當前塊，基於規則選擇與當前塊不相鄰的第一非相鄰塊，基於第一非相鄰塊構建包括運動信息的第一Merge候選，根據第一Merge候選構建Merge候選列表，以及基於Merge候選列表對當前塊進行解碼。如果不滿足規則，則在Merge候選列表構建過程中不考慮第一非相鄰塊的運動信息。

在另一代表性方面，所公開的技術可用於提供用於視頻編碼的另一方法。該方法包括接收視頻數據的當前塊，基於規則選擇與當前塊不相鄰的第一非相鄰塊，基於第一非相鄰塊構建包括運動信息的第一Merge候選，並選擇第二非相鄰塊，其中第一非相鄰塊和第二非相鄰塊是當前塊的空間鄰居，其中第一非相鄰塊利用第一模式進行編碼，其中第二非相鄰塊利用第二模式進行編碼，並且其中在選擇第二非相鄰塊之前選擇第一非相鄰塊。

在另一代表性方面，所公開的技術可用於提供用於視頻編碼的另一方法。該方法包括接收視頻數據的當前塊，基於第一規則選擇與當前塊不相鄰的一個或多個非相鄰塊的第一集，以及基於滿足第一規則的非相鄰塊的第一集構建包括運動信息的一個或多個Merge候選的第一子集，其中基於滿足第二規則的一個或多個非相鄰塊的第一集構建Merge候選的第二子集，其中，將Merge候選的第一子集添加到Merge候選的第二子集之後的Merge候選列表中。

在另一代表性方面，所公開的技術可用於提供用於視頻編碼的另一方法。該方法包括接收視頻數據的當前塊，選擇與當前塊不相鄰的一個或多個非相鄰塊的第一集，以及基於非相鄰塊的第一集構建包括運動信息的一個或多個Merge候選的第一子集，其中Merge候選的第一子集在滿足第一規則的情況下進行編碼，其中基於一個或多個非相鄰塊的第一集來構建Merge候選的第二子集，其中將Merge候選的第一子集添加到具有第一類的一個Merge候選之後的Merge候選列表中，並且將Merge候選的第二子集添加到具有第二類的一個Merge候選之後的Merge候選列表中

在另一代表性方面，所公開的技術可用於提供用於視頻編碼的另一方法。該方法包括接收視頻數據的當前塊，基於規則選擇與當前塊不相鄰的第一非相鄰塊，以及基於第一非相鄰塊構建包括運動信息第一Merge候選，其中第一非相鄰塊的運動信息被用作高級運動向量預測(AMVP)模式中的預測。

從上述來看，應當理解的是，為了便於說明，本發明公開的技術的具體實施例已經在本文中進行了描述，但是可以在不偏離本發明範圍的情況下進行各種修改。因此，除了的之外，本發明公開的技術不限於條款的限定。

本專利文件中描述的主題和功能操作的實現可以在各種系統、數位電子電路、或電腦軟體、固件或硬體中實現，包括本說明書中所公開的結構及其結構等效體，或其中一個或多個的組合。本說明書中描述的主題的實現可以實現為一個或多個電腦程式產品，即一個或多個編碼在暫時性和非暫時性電腦可讀媒體上的電腦程式指令的模塊，以供數據處理裝置執行或控制數據處理裝置的操作。電腦可讀媒體可以是機器可讀存儲設備、機器可讀存儲基板、存儲設備、影響機器可讀傳播信號的物質組成或其中一個或多個的組合。術語“數據處理單元”和“數據處理裝置”包括用於處理數據的所有裝置、設備和機器，包括例如可編程處理器、電腦或多處理器或電腦組。除硬體外，該裝置還可以包括為電腦程式創建執行環境的代碼，例如，構成處理器固件的代碼、協議棧、數據庫管理系統、操作系統或其中一個或多個的組合。

電腦程式(也稱為程式、軟體、軟體應用、脚本或代碼)可以用任何形式的編程語言(包括編譯語言或解釋語言)編寫，並且可以以任何形式部署，包括作為獨立程式或作為模塊、組件、子程式或其他適合在計算環境中使用的單元。電腦程式不一定與文件系統中的文件對應。程式可以存儲在保存其他程式或數據的文件的部分中(例如，存儲在標記語言文檔中的一個或多個脚本)、專用於該程式的單個文件中、或多個協調文件(例如，存儲一個或多個模塊、子程式或部分代碼的文件)中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個站點上或分布在多個站點上，並通過通信網絡互連。

本說明書中描述的處理和邏輯流可以通過一個或多個可編程處理器執行，該處理器執行一個或多個電腦程式，通過在輸入數據上操作並產生輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現為特殊用途的邏輯電路，例如，FPGA或ASIC。

例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個。通常，處理器將從只讀記憶體或隨機存取記憶體或兩者接收指令和數據。電腦的基本元件是執行指令的處理器和存儲指令和數據的一個或多個存儲設備。通常，電腦還將包括一個或多個用於存儲數據的大容量存儲設備，例如，磁碟、磁光碟或光碟，或通過操作耦合到一個或多個大容量存儲設備來從其接收數據或將數據傳輸到一個或多個大容量存儲設備，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於存儲電腦程式指令和數據的電腦可讀媒體包括所有形式的非揮發性記憶體、媒體和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備。處理器和記憶體可以由專用邏輯電路來補充，或合並到專用邏輯電路中。

旨在將說明書與附圖一起僅視為示例性的，其中示例性意味著示例。如這裏所使用的，除非上下文另有明確說明，單數形式“一”、“一個”和“該”旨在也包括複數形式。另外，除非上下文另有明確說明，否則“或”的使用旨在包括“和/或”。

雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或權利要求範圍的限制，而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施，或在任何合適的子組合中實施。此外，儘管上述特徵可以描述為在某些組合中起作用，甚至最初要求是這樣，但在某些情況下，可以從組合中刪除權利要求組合中的一個或多個特徵，並且權利要求的組合可以指向子組合或子組合的變體。

同樣，儘管圖紙中以特定順序描述了操作，但這不應理解為要獲得想要的結果必須按照所示的特定順序或順序執行此類操作，或執行所有說明的操作。此外，本專利文件所述實施例中各種系統組件的分離不應理解為在所有實施例中都需要這樣的分離。

僅描述了一些實現和示例，其他實現、增強和變體可以基於本專利文件中描述和說明的內容做出。

以上該僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims

一種視頻處理方法，包括：接收視頻數據的當前塊；基於規則選擇與該當前塊不相鄰的第一非相鄰塊；基於該第一非相鄰塊，構建包括運動信息的第一Merge候選；識別與該當前塊不相鄰且與該第一非相鄰塊不同的第二非相鄰塊；基於確定該第二非相鄰塊不滿足該規則，抑制添加從該第二非相鄰塊推導的第二Merge候選；基於該第一非相鄰塊，構建Merge候選列表；以及基於該Merge候選列表，對當前塊進行解碼。
如請求項1所述的方法，其中，該規則指示該第一非相鄰塊和該第二非相鄰塊的編碼特性。
如請求項2所述的方法，其中，該規則指示該第一非相鄰塊是高級運動向量預測(AMVP)編碼的非相鄰塊。
如請求項2所述的方法，其中，該規則指示該第一非相鄰塊是Merge編碼的非相鄰塊。
如請求項4所述的方法，其中，該規則指示未利用空間Merge候選對該第一非相鄰塊進行編碼。
如請求項4所述的方法，其中，該規則指示利用運動細化處理對該第一非相鄰塊進行編碼。
如請求項2所述的方法，其中，該規則指示未利用解碼器側運動向量細化(DMVR)對該第一非相鄰塊進行編碼。
如請求項2所述的方法，其中，該規則指示利用一類運動信息來對該第一非相鄰塊進行編碼，該一類運動信息排除具有低精度運動向量或運動向量差的運動信息。
一種視頻處理方法，包括：接收視頻數據的當前塊；基於規則選擇與該當前塊不相鄰的第一非相鄰塊；基於該第一非相鄰塊，構建包括運動信息的第一Merge候選；選擇第二非相鄰塊，其中該第一非相鄰塊和該第二非相鄰塊不與該當前塊相鄰，其中該第一非相鄰塊利用第一模式進行編碼，並且該第二非相鄰塊利用第二模式進行編碼，並且其中在選擇該第二非相鄰塊之前選擇該第一非相鄰塊；以及基於該第二非相鄰塊，構建包括運動信息的第二Merge候選。
如請求項9所述的方法，還包括：基於該第一Merge候選和該第二Merge候選，構建Merge候選列表。
如請求項10中所述的方法，其中將該第二Merge候選添加到該第一Merge候選之後的該Merge候選列表中。
如請求項9所述的方法，其中，該第一模式是高級運動向量預測(AMVP)模式，並且該第二模式是Merge模式，反之亦然。
如請求項12所述的方法，其中，該Merge模式與Merge索引相關聯，該Merge索引不對應於空間Merge候選。
如請求項9所述的方法，其中，該第一模式是雙向預測模式，並且該第二模式是單向預測模式，或反之亦然。
如請求項9所述的方法，其中，該第一模式是仿射模式，並且該第二模式是非仿射模式，或反之亦然。
如請求項9所述的方法，其中，該第一模式是高運動向量(MV)精度模式，並且該第二模式是低MV精度模式。
一種視頻處理方法，包括：接收視頻數據的當前塊；基於規則選擇不與該當前塊相鄰的非相鄰塊的第一子集和非相鄰塊的第二子集；以及基於該非相鄰塊的第一子集，構建包括運動信息的Merge候選的第一子集，以及基於該非相鄰塊的第二子集，構建包括運動信息的Merge候選的第二子集，其中將該Merge候選的第一子集添加到第一類的Merge候選之後的Merge候選列表中，並且其中將該Merge候選的第二子集添加到第二類的Merge候選之後的Merge候選列表中。
如請求項17所述的方法，其中，利用第一模式對該非相鄰塊的第一子集進行編碼，並且利用第二模式對該非相鄰塊的第二子集進行編碼。
如請求項17-18中任一項所述的方法，其中，該第一類的Merge候選是TMVP Merge候選。
如請求項17-18中任一項所述的方法，其中，該第一類的Merge候選是最後空間Merge候選，並且其中所述第二類的Merge候選是TMVP Merge候選。
如請求項17-18中任一項所述的方法，其中，該第一非相鄰塊和該第二非相鄰塊相對於該當前塊位於不同的空間位置。
如請求項18所述的方法，其中，該第一模式是高級運動向量預測(AMVP)模式，並且該第二模式是Merge模式；或者該第一模式是Merge模式，並且該第二模式是AMVP模式。
如請求項22所述的方法，其中，該Merge模式與Merge索引相關聯，該Merge索引不對應於空間Merge候選。
如請求項18所述的方法，其中，該第一模式是雙向預測模式，並且該第二模式是單向預測模式；或者該第一模式是單向預測模式，並且該第二模式是雙向預測模式。
如請求項18所述的方法，其中，該第一模式是仿射模式，並且該第二模式是非仿射模式；或者該第一模式是非仿射模式，並且該第二模式是仿射模式。
如請求項18所述的方法，其中，該第一模式是高運動向量(MV)精度模式，並且該第二模式是低MV精度模式。
如請求項17-18中任一項所述的方法，其中，該第一類的Merge候選和該第二類的Merge候選是相同的。
一種視頻處理方法，包括：接收視頻數據的當前塊；基於規則選擇與該當前塊不相鄰的第一非相鄰塊；基於第一非相鄰塊構建至少一個運動向量預測值候選，其中，該至少一個運動向量預測值候選被用作高級運動向量預測(AMVP)模式中的預測值；以及基於至少一個運動向量預測值候選來解碼與AMVP模式相關聯的塊。
如請求項28所述的方法，其中，構建第一運動向量預測值候選包括：將該第一非相鄰塊的運動信息縮放到參考圖片，以產生縮放的運動信息；以及使用該第一非相鄰塊的縮放的運動信息來構建AMVP候選列表。
如請求項29所述的方法，其中，跳過當前塊的參考圖片索引或預測方向的信令。
如請求項28-30中任一項所述的方法，其中，基於以下一個或多個使用來自該第一非相鄰塊或該第二非相鄰塊的該運動信息：(a)AMVP候選列表的尺寸的上限、(b)視頻數據的當前塊的維度、以及(c)運動信息的使用指示。
一種視頻系統中的裝置，包括處理器和其上具有指令的非暫時性記憶體，其中該指令在由該處理器執行時使該處理器實現請求項1至31中任一項所述的方法。
一種存儲在非暫時性電腦可讀媒體上的電腦程式產品，該電腦程式產品包括用於執行如請求項1至31中任一項所述的方法的程式碼。