TW202315405A - 視訊編解碼方法及其裝置 - Google Patents

Abstract

一種對預測候選重新排序的視訊編碼系統被提供。視訊編解碼器接收像素塊的資料，該資料將被編碼或解碼為視訊的當前圖片的當前塊。視訊編解碼器識別可能候選預測位置。視訊編解碼器計算識別出的可能候選預測位置中每個可能候選預測位置的成本。視訊編解碼器基於所計算的成本向來自所識別的可能候選預測位置的N個最低成本候選預測位置中的每個可能候選預測位置分配重新排序索引。視訊編解碼器使用所分配的重新排序索引來選擇候選預測位置，其中該選擇是在位元流中發送或從位元流中解析。視訊編解碼器藉由使用所選擇的候選預測位置對當前塊進行編碼或解碼。

Description

具有運動向量差的合併模式的候選重新排序

本公開總體上涉及視訊編解碼。具體地，本公開涉及對具有運動向量差的合併模式（Merge Mode with Motion Vector Difference，簡稱MMVD）候選進行排序的方法。

除非本文另有說明，否則本節中描述的方法不是下面列出的申請專利範圍的習知技術，以及不被包含在本節中而被承認為習知技術。

高效視訊編解碼（High-Efficiency Video Coding，簡稱HEVC）是由視訊編解碼聯合協作小組（Joint Collaborative Team on Video Coding，簡稱JCT-VC）開發的國際視訊編解碼標準。HEVC基於基於混合塊的運動補償類DCT變換編解碼架構。壓縮的基本單元，被稱為編解碼單元 （Coding unit，簡稱CU），是2Nx2N的正方形區塊，每個CU可以被遞迴地分成四個較小的CU，直到達到預定的最小大小。每個CU包含一個或多個預測單元（prediction unit，簡稱PU）。

為了提高HEVC中運動向量（motion vector，簡稱MV）編解碼的編解碼效率，HEVC具有跳過和合併模式。跳過和合併模式從空間相鄰塊（空間候選）或時間同位塊（時間候選）獲取運動資訊。當PU為跳過或合併模式時，運動資訊不會被編解碼，僅所選候選的索引被編解碼。對於跳過模式，殘差訊號被強制為零以及不被編解碼。在HEVC中，如果特定塊被編碼為跳過或合併，則候選索引被發送以指示候選集中的哪個候選用於合併。每個合併預測單元（prediction unit，簡稱PU）重用所選候選的MV，預測方向和參考圖片索引。

以下概述僅是說明性的並且不旨在以任何方式進行限制。即，以下概述被提供以介紹本文所述的新穎且非顯而易見的技術的概念，亮點，益處和優點。選擇而不是所有的實施方式在下面的詳細描述中被進一步描述。因此，以下概述並非旨在識別所要求保護的主題的基本特徵，也不旨在用於確定所要求保護的主題的範圍。

本公開的一些實施例提供對預測候選重新排序的視訊編解碼系統。視訊編解碼器接收資料，該資料將被編碼或解碼為視訊的當前圖片的當前塊。視訊編解碼器識別可能候選預測位置。視訊編解碼器計算識別出的可能候選預測位置中每個候選預測位置的成本。視訊編解碼器基於所計算的成本向來自所識別的可能候選預測位置的N個最低成本候選預測位置中的每個候選預測位置分配重新排序索引。視訊編解碼器使用分配的重新排序索引來選擇候選預測位置，其中該選擇在位元流中發送。視訊編解碼器藉由使用選擇的候選預測位置對當前塊進行編碼或解碼。在一些實施例中，N是大於一但小於識別的可能候選預測位置的總數，使得僅可能候選預測位置的子集被識別，從而減少編解碼或發送所需的位元數。

在一些實施例中，每個候選預測位置是精化位置，其藉由指定相對於合併候選的方向和距離來精化合併候選或起始MV。在一些實施例中，編碼器藉由在距合併候選特定距離或方向的精化位置中找到具有最低成本的特定精化位置以及藉由識別與特定精化位置相鄰的精化位置集作為可能候選預測位置。特定距離或方向可以由位元流中的視訊編碼器提供。

候選預測位置的成本可以藉由匹配當前塊的範本和參考塊的範本來計算，該參考塊由候選預測位置所參考。像素塊的範本包括像素塊頂部和左側的像素。

在一些實施例中，候選預測位置是MMVD的精化位置，在位元流中發送的選擇可以指定距離的重新排序索引或方向的重新排序索引。

在一些實施例中，被發送的選擇包括（i）組索引，用於指定多個候選精化位置組的中所選擇的候選精化位置組以及（ii）一個或多個索引（例如，方向索引和/或距離索引），用於指定所選擇的候選精化位置組中的選擇的候選精化位置。在一些實施例中，識別出的所有可能候選預測位置都屬於所選擇的候選精化位置組。重新排序索引被分配給所選擇的候選精化位置組中的N個最低成本候選精化位置，以及指定所選擇的候選精化位置組內的所選擇的候選精化位置的一個或多個索引包括重新排序索引。不同的候選精化位置組可以具有不同數量的成員候選精化位置。

在一些實施例中，識別的每個可能候選預測位置是不同候選精化位置組的代表候選精化位置。重新排序索引被分配給分別具有N個最低成本代表候選精化位置的N個組，N小於或等於多個候選精化位置組中的總組數。用於指定所選擇的候選精化位置組的組索引是重新排序索引。多個候選精化位置組中的每個候選精化位置組具有相同數量的成員候選精化位置。

在以下詳細描述中，藉由示例的方式闡述了許多具體細節，以便提供對相關教導的透徹理解。基於本文描述的教導的任何變化，衍生和/或擴展都在本公開的保護範圍內。在一些情況下，與在此公開的一個或多個示例實施方式有關的眾所周知的方法，處理，組件和/或電路可以在相對較高的水平上進行描述而沒有細節，以避免不必要地模糊本公開的教導的方面。 一、合併模式的候選重新排序

第1圖示出合併模式的運動候選。該圖示出視訊圖片或幀的當前塊100，其由由視訊編解碼器編碼或解碼。如圖所示，最多四個空間MV候選從空間相鄰A0，A1，B0 和B1導出，一個時間MV候選（首先使用TBR，如果TBR不可用，則使用TCTR）從TBR或TCTR導出。如果四個空間MV候選中的任何一個不可用，則位置B2用於導出MV候選作為替換。在四個空間MV候選和一個時間MV候選的推導處理之後，在一些實施例中，去除冗餘（裁剪）被應用以去除冗餘MV候選。如果在去除冗餘（裁剪）之後，可用的MV候選的數量小於五個，則三種附加的候選被導出以及被添加到候選集（候選列表）中。視訊編碼器根據率失真優化（rate-distortion optimization，簡稱RDO） 決策在候選集中選擇一個最終候選用於跳過或合併模式，以及將索引傳輸到視訊解碼器。（跳過模式和合併模式在本文中統稱為“合併模式”。）

對於一些實施例，合併候選被定義為一般“預測+合併”演算法框架的候選。“預測+合併”演算法框架有第一部分和第二部分。第一部分生成候選列表（一組）預測子，這些預測子藉由繼承相鄰資訊或精化或處理相鄰資訊得到。第二部分發送（i）合併索引，用於指示候選列表中哪個繼承相鄰被選擇以及（ii）與合併索引相關的一些輔助資訊。換句話說，編碼器將所選候選的合併索引和一些輔助資訊發送給解碼器。

第2圖概念性地示出合併候選的“預測+合併”演算法框架。候選列表包括繼承相鄰資訊的許多候選。然後繼承的資訊被處理或精化以形成新的候選。在此過程中，候選的一些輔助資訊被生成以及被發送到解碼器。

視訊編解碼器（編碼器或解碼器）可以以不同方式處理合併候選。首先，在一些實施例中，視訊編解碼器可以將兩個或更多候選組合成一個候選。其次，在一些實施例中，視訊編解碼器可以使用原始候選作為原始MV預測子以及使用當前塊像素執行運動估計搜索以找到最終MVD（運動向量差），其中輔助資訊是MVD。第三，在一些實施例中，視訊編解碼器可以使用原始候選作為原始MV預測子以及使用當前塊像素執行運動估計搜索以找到L0和L1預測子的最終MVD，以及L1預測子是原始候選。第四，在一些實施例中，視訊編解碼器可以使用原始候選作為原始MV預測子以及使用當前塊像素執行運動估計搜索以找到L1的最終MVD，以及L0預測子是原始候選。第五，在一些實施例中，視訊編解碼器可以使用原始候選作為原始MV預測子以及使用頂部或左側相鄰像素作為搜索範本來進行MV精化搜索以找到最終預測子。第六，視訊編解碼器可以使用原始候選作為原始MV預測子以及使用雙向範本（候選MV或鏡像MV指向的L0和L1參考圖片上的像素）作為搜索範本執行MV精化搜索以找到最終預測子。

對於本文檔，術語“合併候選”或“候選”是指一般“預測+合併”演算法框架中的候選。“預測+合併”演算法框架不局限於前面描述的實施例。任一具有“預測+合併索引”行為的演算法都屬於這個框架。

在一些實施例中，視訊編解碼器對合併候選重新排序，即，視訊編解碼器修改候選列表內的候選順序以獲得更好的編解碼效率。重新排序規則取決於當前候選的一些預計算（重新排序之前合併候選），例如當前CU的頂部相鄰條件（模式，MV等）或左側相鄰條件（模式，MV等），當前CU形狀，或頂部/左側L形範本匹配。

第3圖概念性地示出示例候選重新排序。如圖所示，示例合併候選列表300具有標記為“0”到“5”的六個候選。視訊編解碼器最初選擇一些候選（標記為“1”和“3”的候選）進行重新排序。然後，視訊編解碼器會預先計算這些候選的成本（標記為“1”和“3”的候選的成本分別為100和50）。成本被命名為候選的猜測成本，成本越低意味著候選越好。最後，視訊編解碼器藉由將成本較低的候選（標記為“3”的候選）移到列表的前面來重新排序所選擇的候選。

一般來說，對於在合併候選列表中具有順序位置Oi的合併候選Ci（i = 0〜N-1，N是列表中的候選總數，Oi = 0表示Ci在列表的開始，Oi=N-1表示Ci在列表的末尾），其中Oi = i（C0順序為0，C1順序為1，C2順序為2，...等等），視訊編解碼器藉由更改Ci的Oi中所選擇的i值（更改一些選定候選的順序）來重新排序列表中的合併候選。

在一些實施例中，合併候選重新排序可以根據當前PU的大小或形狀關閉。視訊編解碼器可以預定多個PU大小或形狀以關閉合併候選重新排序。在一些實施例中，還涉及其他條件來關閉合併候選重新排序，例如圖片大小，QP值等，是一些預定值。在一些實施例中，視訊編解碼器可以發送標誌以打開或關閉合併候選重新排序。例如，標誌（例如“merge_cand_rdr_en”）被發送以指示是否啟用“合併候選重新排序”（值1：啟用，值0：禁用）。該當標誌不存在時，merge_cand_rdr_en的值被推斷為1。信令中單元的最小大小 merge_cand_rdr_en 也可以在序列級別，圖片級別，片段級別或PU級別中單獨被編解碼。

通常，視訊編解碼器藉由以下方式執行候選重新排序：（1）識別一個或多個用於重新排序的候選，（2）計算每個識別的候選的猜測成本，以及（3）根據所選擇的候選的猜測成本對候選進行重新排序。在一些實施例中，一些候選的計算的猜測成本在候選被重新排序之前被調整（成本調整）。

在一些實施例中，選擇一個或多個候選的步驟可以藉由幾種不同的方法來執行。在一些實施例中，視訊編解碼器選擇merge_index≤threshold的所有候選。閾值（threshold）是預定值，merge_index是合併列表內部的原始順序（merge_index 是 0, 1, 2, ...）。例如，如果當前候選的原始順序在合併列表的開頭，則merge_index=0（對應於當前候選）。

在一些實施例中，視訊編解碼器根據候選類型選擇用於重新排序的候選。候選類型是所有候選的候選類別。視訊編解碼器首先將所有候選歸類為MG類型，（MG = 1或2或3或其他值），然後，它從所有MG類型中選擇MG_S（MG_S = 1,2,3......，MG_S≤MG）類型進行重新排序。分類的一個例子是將所有候選分為4種候選類型。類型1是空間相鄰MV的候選。類型2是時間相鄰MV的候選。類型3是所有子PU候選（例如Sub-PU TMVP，STMVP，仿射合併候選）。類型4是所有其他候選。在一些實施例中，視訊編解碼器根據merge_index和候選類型兩者來選擇候選。

在一些實施例中，L形匹配方法用於計算所選擇的候選的猜測成本。對於當前所選擇的合併候選，視訊編解碼器獲取當前圖片的L形範本和參考圖片的L形範本，以及比較兩個範本之間的差值。L形匹配方法有兩個部分或步驟：（i）識別L形範本和（ii）將導出的範本進行匹配。

第4-5圖概念性地示出用於計算所選擇的候選的猜測成本的 L 形匹配方法。第4圖示出當前圖片的L形範本，其中包括當前PU的頂部和左側邊界周圍的一些像素。參考圖片的L形範本包括當前合併候選的 reference_block_for_guessing的頂部和左側邊界周圍的一些像素。reference_block_for_guessing（其寬度BW和高度BH與當前PU相同）是當前合併候選的運動向量的整數部分指向的塊。

不同的實施例不同地定義L形範本。在一些實施例中，L形範本的所有像素都在reference_block_for_guessing之外（如第4圖中由“外部像素”標記）。在一些實施例中，L形範本的所有像素都在reference_block_for_guessing內（如第4圖中由“內部像素”標記）。在一些實施例中，L形範本的一些像素在reference_block_for_guessing之外，以及L形範本的一些像素在reference_block_for_guessing內。第5圖示出與第4圖相似的當前圖片的L形範本，但沒有左上角像素，以及參考圖片的L形範本（外像素實施例）沒有左上角像素。

在一些實施例中，L形匹配方法和對應的L形範本（命名為template_std）根據以下定義：假設當前PU的寬度為BW，當前PU的高度為BH，則當前圖片的L形範本有頂部和左側。定義頂部厚度= TTH, 左側厚度= LTH, 則頂部包括座標為（ltx+tj, lty-ti）的所有當前圖片像素，其中ltx為當前PU的左上整數像素水平座標，lty為當前PU的左上整數像素垂直座標，ti為像素行的索引（ti為0~（TTH-1）），tj為行中的像素索引（tj為0~BW-1）。左側包括座標為（ltx-tjl, lty+til）的所有當前圖片像素，其中ltx為當前PU的左上整數像素水平座標，lty為當前PU的左上整數像素垂直座標，til是列（column）中的像素索引（til是0~（BH-1）），tjl是列的索引（tjl是0~（LTH-1））。

在template_std中，參考圖片的L型範本具有頂部和左側。定義頂部厚度=TTHR, 左側厚度= LTHR，則頂部包括座標為（ltxr+tjr, ltyr-tir+shifty）的所有參考圖片像素，其中ltxr為reference_block_for_guessing的左上整數像素水平座標，ltyr為reference_block_for_guessing的左上整數像素垂直坐標，tir為像素行的索引（tir為0~（TTHR-1）），tjr為行中的像素索引（tjr為0~BW-1）,shifty是預定偏移值。左側部分由座標為（ltxr-tjlr+shiftx, ltyr+tilr）的所有參考圖片像素組成，其中ltxr為reference_block_for_guessing的左上整數像素水平座標，ltyr為reference_block_for_guessing的左上整數像素垂直座標，tilr是列中的像素索引（tilr是0~（BH-1）），tjlr是列的索引（tjlr是0~（LTHR-1）），shiftx是預定偏移值。

如果當前候選只有L0 MV或只有L1 MV，則參考圖片有一個L形範本。但是如果當前候選同時有L0和L1 MV（雙向候選），參考圖片有2個L型範本，一個範本由L0 MV和L0參考圖片指向，另一個範本由L1 MV和L1參考圖片指向。

在一些實施例中，對於L形範本，視訊編解碼器具有適應性厚度模式。厚度定義為L形範本中頂部的像素行數或L形範本中左側部分的像素列數。 對於前面提到的L型範本template_std，當前圖片的L型範本中頂部厚度為TTH，左側厚度為LTH，以及參考圖片L型範本中頂部厚度為TTHR，左側厚度為LTHR。適應性厚度模式根據一些條件改變頂部厚度或左側厚度，例如當前PU大小或當前PU形狀（寬度或高度）或當前片段的QP。例如，如果當前PU高度≥32，適應性厚度模式可以設置頂部厚度= 2，如果當前PU高度 ＜ 32，則頂部厚度=1。

當進行L型範本匹配時，視訊編解碼器獲取當前圖片的L型範本和參考圖片的L型範本，以及比較（匹配）兩個範本之間的差值。兩個範本中像素之間的差值（例如，絕對差值之和或SAD）被用作MV的成本。在一些實施例中，視訊編解碼器可以在計算兩個L形範本的所選擇的像素之間的差值之前從當前圖片的L形範本和參考圖片的L形範本中獲取所選擇的像素。 二、 MMVD 的候選重新排序

具有運動向量差的合併模式（Merge Mode with Motion Vector Difference，簡稱MMVD）是用於多功能視訊編解碼（Versatile Video Coding，簡稱VVC）標準的新編解碼工具。與隱式導出的運動資訊直接用於當前CU的預測樣本生成的常規合併模式不同，在MMVD中，導出的運動資訊藉由運動向量差（motion vector difference，簡稱MVD）進一步精化。MMVD還藉由添加附加的MMVD候選來擴展合併模式的候選列表，這些候選位於基於預定偏移值（也稱為 MMVD 偏移）的精化位置。因此，每個精化位置也是候選預測位置。在發送跳過標誌和合併標誌以指定MMVD模式是否用於CU之後MMVD標誌可以被發送。

如果MMVD模式被使用，則所選擇的合併候選藉由MVD資訊進行精化。MVD資訊包括運動幅度資訊（mmvd_distance_idx，或距離索引）和運動方向資訊（mmvd_direction_idx，或方向索引）。運動幅度資訊包括要添加到起始MV（合併候選）的水平分量或垂直分量的偏移值。運動方向資訊包括MVD相對於起點的方向。

第6圖概念性地示出藉由MVD 610對起始MV 600的精化。起始MV 600可以是所選擇的合併候選。MVD 610由具有方向和距離（相對於合併候選）的精化位置定義。起始MV 600由MVD 610精化以創建用於預測當前塊的精化MV 620。距離資訊可以用mmvd_distance_idx或距離索引進行編解碼。方向資訊可以用mmvd_direction_idx或方向索引進行編解碼。

MVD資訊包括合併候選標誌，用於指定運動幅度的距離索引和用於指示運動方向的方向索引。合併候選標誌被發送以指定前兩個合併候選中的哪一個要用作起始MV。距離索引用於藉由指示距起始MV的預定偏移來指定運動幅度資訊。偏移可被添加到起始MV的水平分量或垂直分量。從距離索引到預定偏移的示例映射在下面的 表 lI-1中指定。

表 lI-1 距離 索引

距離索引	0	1	2	3	4	5	6	7
偏移（以亮度樣本為單位）	1/4	1/2	1	2	4	8	16	32

方向索引表示MVD相對於起始點的方向。方向索引可以表示如 表 lI-2所示的四個方向之一。

表 lI-2 由方向索引指定的 MV 偏移符號

方向索引	00	01	10	11
x- 軸	+	–	N/A	N/A
y- 軸	N/A	N/A	+	–

需要說明的是，MVD符號的含義可以根據起始MV的資訊而有所不同。當起始MV是單向預測MV或雙向預測MV，兩個列表都指向當前圖片的同一側（即兩個參考圖片的圖片順序計數或POC都大於當前圖片，或者都小於當前圖片的POC）， 表 lI-2中的符號指定添加到起始MV的MV偏移的符號。當起始MV為雙向預測MV時，兩個MV指向當前圖片的不同側（即一個參考的POC大於當前圖片的POC，另一參考的POC小於當前圖片的POC）， 表 lI-2中的每個符號指定添加到起始MV的列表0 MV分量的MV偏移的符號，列表1 MV的符號具有相反值。在一些實施例中，MMVD候選的預定偏移（MmvdOffset）源自或表示為距離值（MmvdDistance）和方向符號（MmvdSign）。

在一些實施例中，視訊編解碼器根據以下步驟對MMVD的精化位置，或者更廣泛地是候選預測位置，執行候選重新排序：（1）識別可能精化位置，（2）基於成本以上升順序對精化位置進行重新排序精化位置，成本由範本匹配或雙向匹配計算，以及（3）選擇成本最低的前N個精化位置作為可用精化位置，N小於或等於步驟（1）中確定的可能精化位置的數量。這將MMVD候選列表中的精化位置的數量減少到僅包含可能精化位置的子集，從而減少了編解碼或發送距離索引 （mmvd_distance_idx） 和/或方向索引 （mmvd_direction_idx） 所需的位元數。

如上所述，執行候選重新排序的第一步是識別可能的或允許的精化位置。通常，每個精化位置可以表示為一對精化方向和精化距離，即{（方向，距離）}。在一些實施例中，第一步識別的可能精化位置{（direction, distance）}包括以下位置，該位置具有集合{n/8*π}中的方向或角度，n取值範圍為0到15，以及具有集合{1/4像素，1/2像素，1像素，4像素，8像素，16像素，32像素，64像素，128像素}中的距離。

第7圖概念性地示出一整組不同方向和距離的精化位置，其成本也被計算。視訊編碼器和視訊解碼器可以各自識別N個最低成本精化位置的列表（即，藉由範本或雙向匹配產生具有最低成本的MV的精化位置）以及根據基於成本的重新排序將索引分配給那些最低成本精化位置。視訊編碼器可以藉由使用重新排序的索引將精化位置的選擇發送至解碼器。精化位置的選擇可以在位元流中表示為mvd_distance_idx和mmvd_direction_idx但具有更少的位元。

在一些實施例中，在第一步中識別的可能精化位置是整組可能精化位置的子集。編碼器和解碼器各自根據子集識別包括N個最低成本精化位置的列表。該子集可以是編碼器和解碼器協商決定（例如，藉由視訊編解碼標準）的可能精化位置的任一子集。第8圖概念性地示出精化位置的示例子集。在這個示例子集中，精化位置僅包括集合{1/2-pel, 1-pel}中的距離和集合{n/4*π}中的方向，n的範圍從0到7。編碼器和解碼器各自都從該子集中識別出包括N個成本最低的精化位置的列表，以及根據基於成本的重新排序將索引分配給那些已識別的精化位置。視訊編碼器又可以藉由使用重新排序索引向解碼器發送精化位置的選擇。

在一些實施例中，在第一步中識別的可能精化位置包括由視訊編解碼器預選的一些有希望的精化位置。然後，視訊編碼器可以藉由使用分配給預選精化位置之中的最低成本精化位置的索引來發送MMVD精化位置的選擇。第9A-C圖概念性地示出基於所選距離的預選精化位置。在所示示例中，視訊編解碼器從一組可能距離中選擇距離，計算具有所選距離但在不同方向的精化​​位置的成本。視訊編解碼器識別在所選距離處具有最佳成本的方向（表示為 best_d）。在所選距離處與best_d相鄰或接近或相鄰的精化位置被確定，以及根據匹配成本重新排序被分配索引。視訊編碼器可以藉由使用重新排序的索引發送對MMVD的精化位置的選擇。

第9A圖概念性地示出從{1/4像素，1/2像素，1像素，4像素，8像素，16像素，32像素，64像素，128像素}的集合中選擇距離。在示例中，所選距離為1像素。然後，視訊編解碼器可以計算精化位置的成本，該精化位置的距離為1像素，以及具有集合{0, 1/8*π, 1/4*π, 3/8*π, 1/2*π, 5/8*π, 3/4*π, 7/8*π, π, 9/8*π, 5/4*π, 11/8*π, 3/2*π, 13/8*π, 7/4*π, 15/8*π}中的方向，該成本是藉由範本匹配或者雙向匹配計算出來的猜測成本。具有最佳成本的方向可以表示為best_d。第9B圖概念性地示出識別從距離（1/2像素）處的精化位置的最佳成本方向（best_d）。然後，視訊編解碼器計算所選距離（1/2像素）處方向best_d附近的精化位置的成本。第9C圖概念性示出對所選距離處的方向best_d附近的精化位置計算成本。在圖中，與（1像素, best_d）相鄰的八個精化位置被識別出，根據匹配成本被重新排序，以及根據重新排序被分配索引。精化位置表示為（距離，方向），其具有集合{1/4像素, 1/2像素, 1像素, 4像素, 8像素, 16像素, 32像素 , 64像素, 128像素}的距離以及方向可以是等差數列集合中的任一角度{best_d-n/8*π , best_d-n/8*π+d , best_d-n/8*π+2 *d , best_d+n/8*π }, d=1/8*π, 0≤n≤7。

在一些實施例中，視訊編解碼器基於選擇的距離預選精化位置。然而，為了找到所選距離的best_d，視訊編解碼器僅檢查可能方向的一個子集，而不是所有可能的方向（{n/8*π}，n的範圍為0到15）。一旦在所選距離處確定best_d方向，與（1-pel, best_d）相鄰的精化位置就會被確定，根據匹配成本被重新排序，以及根據重新排序被分配索引。精化位置表示為（距離，方向），其具有集合{1/4像素, 1/2像素, 1像素, 4像素, 8像素, 16像素, 32像素 , 64像素, 128像素}中的距離，以及方向可以是等差數列集合中的任一角度{best_d-n/m*π , best_d-n/m*π+d , best_d-n/m*π+2 *d , best_d+n/m*π }, d=1/m*π。

在一些實施例中，視訊編解碼器基於由視訊編碼器給出的距離來預選精化位置。給出的距離在位元流中被標記為mmvd_distance_idx。（換句話說，距離索引不受基於成本的重新排序，以及mmvd_distance_idx不受位元使用減少的影響。）視訊編解碼器檢查具有給出的距離和方向的精化位置的成本，該方向選自集合{0, 1/8*π, 1/4*π, 3/8*π, 1/2*π, 5/8*π, 3/4*π, 7/8*π, π, 9/8*π, 5/4*π, 11/8*π, 3/2*π, 13/8*π, 7/4*π, 15/8*π}。在一些實施例中，視訊編解碼器檢查具有給出的距離和方向的精化位置的成本，該方向選自集合{0, 1/8*π, 1/4*π, 3/8*π, 1/2*π, 5/8*π, 3/4*π, 7/8*π, 1*π, 9/8*π, 5/4*π, 11/8*π, 3/2*π, 13/8*π, 7/4*π, 15/8*π}的子集。檢查的精化位置根據匹配成本被重新排序，以及根據重新排序被分配索引。

在一些實施例中，距離索引mmvd_distance_idx（由編碼器）被給出，以及視訊編解碼器執行重新排序以對方向索引mmvd_direction_idx進行編解碼。相反地，在一些實施例中，方向索引mmvd_direction_idx（由編碼器）給出，以及視訊編解碼器執行重新排序以對距離索引mmvd_distance_idx進行編解碼。第10圖概念性地示出在具有相同距離但不同方向的精化位置之間的重新排序。在這種情況下，mmvd_direction_idx基於重新排序的索引。第11圖概念性地示出在具有相同方向但不同距離的精化位置之間的重新排序。在這種情況下，mmvd_distance_idx基於重新排序的索引。

在一些實施例中，精化位置被分成組，使得每個精化位置可以表示為{（組，方向，距離）}。視訊編碼器可以藉由發送組索引，距離索引和方向索引來發送精化位置的選擇。在一些實施例中，視訊編解碼器執行所選組內候選的重新排序，使得距離索引（mmvd_distance_idx）和/或方向索引（mmvd_direction_idx）藉由使用重新排序的索引來發送。對於一些實施例，所選組的成員精化位置是在候選重新排序的步驟（1）中識別的可能候選預測位置。

第12圖概念性地示出被分成組的精化位置。令A為{1/4像素，1/2像素，1像素，2像素，4像素，8像素，16像素，32像素，64像素，128像素的子集}, 令B為{0 , 1/8*π , 2/8*π , 3/8*π, 4/8*π, 5/8*π, 6/8*π, 7/8*π, 8/8*π, 9/8*π, 10/8*π, 11/8*π, 12/8*π, 13/8*π, 14/8*π, 15/8*π }的子集。B被分成幾組。每個組包含具有相鄰或鄰近（adjacent or neihboring）方向的精化位置，儘管不同組的大小可能不相等。

在示例中，A是集合{1像素，2像素}以及B是集合{0，1/4*π，1/2*π，3/4*π，1*π， 5/4*π, 3/2*π, 7/4*π}。基於集合A和B，有16個可能的位置。其中，6個精化位置在第1組（從1/4*π到3/4*π的方向），6個精化位置在第2組（從3/2π到2π的方向），以及4個精化位置在第3組（從π到5/4π的方向）。當第2組被選擇（藉由接收或發送相應的索引），第2組的6個精化位置使用分配給第2組的成員的重新排序的索引來發送。視訊編解碼器（編碼器和解碼器）基於匹配成本將重新排序的索引分配給組内成員精化位置。所選擇的成員精化位置的重新排序的索引可以使用mmvd_distance_idx和/或mmvd_direction_idx發送。

在一些實施例中，視訊編解碼器（編碼器或解碼器）執行不同的精化位置組之間的重新排序，使得組索引可藉由使用重新排序的索引來發送，而組內成員精化位置使用mmvd_distance_idx和/或mmvd_direction_idx來發送但不需要重新排序。在這些實施例中的一些中，可能方向的集合（B）被分成組。每個組包含具有相鄰方向的精化位置。所有組都有相同數量的成員精化位置。視訊編解碼器計算每個組的成本（例如，藉由計算代表成員精化位置的匹配成本）以及根據計算的成本將索引分配給不同的組。

第13圖概念性地示出不同組的精化位置之間的重新排序。如圖所示，16個可能精化位置被分為W，X，Y，Z四組，每組有四個方向相鄰的成員精化位置。每個組的成員都根據他們與組中指定的代表精化位置的相對位置進行索引。例如，標記為（W:0）的精化位置是組W的指定的代表精化位置，標記為（X:0）的精化位置是組X的指定的代表精化位置，等等。

視訊編解碼器藉由計算組的代表精化位置處的匹配成本來計算每個組的成本。示例中，精化位置“W:0”的匹配成本為30，所以30被用作組W的成本。精化位置“X:0”的匹配成本為50，所以50被用作X組的成本，等等。換句話說，代表精化位置（W:0, X:0, Y:0, Z:0）可以被認為是在候選重排序的步驟（1）中識別的可能候選預測位置。

基於不同組的計算成本，每個組被分配重新排序的索引：組W被分配重新排序的組索引1，組X被分配重新排序的組索引2，組Y被分配重新排序的組索引0，組Z被分配重新排序的組索引3。因此，例如，如果標記為“Y:2”的精化位置被選擇，則編碼器將發送“0”訊號用於組索引（組Y的重新排序索引）發出訊號，以及將發送“2”訊號用於相應的mmvd_distance_idx和/或 mmvd_direction_idx。

如上所述，為了減少發送的位元數，視訊編解碼器選擇具有最低成本的前N個精化位置作為可用精化位置，N小於或等於可能精化位置的數量。在這種情況下，視訊編解碼器選擇成本最低的前M個組作為可用組，M小於或等於所有可能組的數量。這允許視訊編解碼器使用比發送所有可能組所需的位元更少的位元來發送組索引。 三、 示例視訊編碼器

第14圖示出支援預測候選的重新排序的示例視訊編碼器1400。如圖所示，視訊編碼器1400從視訊源1405接收輸入視訊訊號以及將訊號編碼成位元流1495。視訊編碼器1400具有用於對來自視訊源1405的訊號進行編碼的若干組件或模組，至少包括選自以下的一些組件：變換模組1410，量化模組1411，逆量化模組1414，逆變換模組1415，幀內估計模組1420，幀內預測模組1425，運動補償模組1430，運動估計模組1435，環路濾波器1445，重構圖片緩衝器1450，MV緩衝器1465，MV預測模組14145和熵編碼器1490。運動補償模組1430和運動估計模組1435是幀間預測模組1440的一部分。

在一些實施例中，模組1410-1490是由計算設備或電子裝置的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組1410-1490是由電子裝置的一個或多個積體電路（integrated circuit，簡稱IC）實現的硬體電路模組。儘管模組1410-1490被示為單獨的模組，但一些模組可以組合成單個模組。

視訊源1405提供原始視訊訊號，其呈現每個視訊幀的像素資料而不進行壓縮。減法器1408計算視訊源1405的原始視訊像素資料與來自運動補償模組1430或幀內預測模組1425的預測像素資料1413之間的差值。變換模組1410將差值（或殘差像素資料或殘差訊號）轉換成變換係數（例如，藉由執行離散余弦變換或DCT）。量化模組1411將變換係數量化成量化資料（或量化係數）1412，其由熵編碼器1490編碼成位元流1495。

逆量化模組1414對量化資料（或量化係數）1412進行去量化以獲得變換係數，以及逆變換模組1415對變換係數執行逆變換以產生重構殘差1419。重構殘差1419與預測像素資料1413相加一起產生重構的像素資料1417。在一些實施例中，重構的像素資料1417被臨時存儲在行緩衝器（line buffer未示出）中用於幀內預測和空間MV預測。重構像素由環路濾波器1445濾波以及被存儲在重構圖片緩衝器1450中。在一些實施例中，重構圖片緩衝器1450是視訊編碼器1400外部的記憶體。在一些實施例中，重構圖片緩衝器1450是視訊編碼器1400內部的記憶體。

幀內估計模組1420基於重構的像素資料1417執行幀內預測以產生幀內預測資料。幀內預測資料被提供至熵編碼器1490以被編碼成位元流1495。幀內預測資料還被幀內預測模組1425用來產生預測像素資料1413。

運動估計模組1435藉由產生MV以參考存儲在重構圖片緩衝器1450中的先前解碼幀的像素資料來執行幀間預測。這些MV被提供至運動補償模組1430以產生預測像素資料。

視訊編碼器1400不是對位元流中的完整實際MV進行編碼，而是使用MV預測來生成預測的MV，以及用於運動補償的MV與預測的MV之間的差值被編碼為殘差運動資料以及存儲在位元流1495。

基於為編碼先前視訊幀而生成的參考MV，即用於執行運動補償的運動補償MV，MV預測模組1475生成預測的MV。MV預測模組1475從MV緩衝器1465中獲取來自先前視訊幀的參考MV。視訊編碼器1400將對當前視訊幀生成的MV存儲在MV緩衝器1465中作為用於生成預測MV的參考MV。

MV預測模組1475使用參考MV來創建預測的MV。預測的MV可以藉由空間MV預測或時間MV預測來計算。預測的MV和當前幀的運動補償MV（MC MV）之間的差值（殘差運動資料）由熵編碼器1490編碼到位元流1495中。

熵編碼器1490藉由使用諸如上下文適應性二進位算術編解碼（context-adaptive binary arithmetic coding，簡稱CABAC）或霍夫曼編碼的熵編解碼技術將各種參數和資料編碼到位元流1495中。熵編碼器1490將各種報頭元素，標誌連同量化的變換係數1412和作為語法元素的殘差運動資料編碼到位元流1495中。位元流1495繼而被存儲在存放裝置中或藉由比如網路等通訊媒介傳輸到解碼器。

環路濾波器1445對重構的像素資料1417執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，所執行的濾波操作包括樣本適應性偏移（sample adaptive offset，簡稱SAO）。在一些實施例中，濾波操作包括適應性環路濾波器（adaptive loop filter，簡稱ALF）。

第15圖示出實現候選重新排序的視訊編碼器1400的部分。具體地，該圖示出視訊編碼器1400的幀間預測模組1440的組件。如圖所示，幀間預測模組1440從MV緩衝器1465獲取候選運動向量以及搜索重構圖片緩衝器1450的內容以生成當前塊的MV。

幀間預測模組1440包括運動補償模組1430，候選識別模組1510，成本計算模組1520，候選重新排序模組1530和候選選擇模組1540。在一些實施例中，模組1510-1540是運動估計模組1435的一部分。

候選識別模組1510藉由基於MV緩衝器1465的內容識別例如合併候選或MMVD精化位置來識別候選預測位置。所識別的候選預測位置或精化位置可具有與合併候選不同的方向和距離。所識別的候選預測位置可以是預定的精化位置組（第12圖），不同精化位置組的代表精化位置（第13圖），預定的精化位置集或子集（第7圖和第8圖），特定距離（第10圖）或特定方向（第11圖）處的精化位置，具有優選方向和/或距離的特定精化位置的相鄰精化位置的集合（第9A-C圖）。

成本計算模組1520藉由如參考上述第4圖和第5圖所述的雙向匹配或範本匹配和藉由從重構圖片緩衝器1450中獲取像素資料來計算各個候選預測位置的成本（猜測成本或匹配成本）。計算出的各個候選位置的成本被提供給候選重新排序模組1530，其將重新排序的索引分配給各個候選位置，特別是多個（N）個成本最低的候選位置。

候選選擇模組1540可以選擇所識別的候選之一來以制定運動補償模組1430的MV以生成預測像素資料1413。候選選擇模組1540還將所選擇的候選的重新排序的索引提供至熵編碼器1490使得熵編碼器可以使用更少的位元來用發送位元流1495中的選擇。重新排序的索引可以用於指示所選擇的候選的組，距離和/或方向。

第16圖概念性地示出用於使用預測候選的重新排序來對像素塊進行編碼的處理1600。在一些實施例中，計算設備的一個或多個處理單元（例如，處理器）實現編碼器1400，其藉由執行存儲在電腦可讀介質中的指令來執行處理1600。在一些實施例中，實現編碼器1400的電子設備執行處理1600。

編碼器接收（在塊1610處）像素塊的資料，該資料將被編碼為視訊的當前圖片的當前塊於位元流中；

編碼器識別（在塊1620）可能候選預測位置。在一些實施例中，每個候選預測位置是精化位置，該精化位置藉由指定相對於合併候選的方向和距離來精化合並候選或起始MV。

在一些實施例中，藉由在距合併候選特定距離或方向的精化位置中找到具有最低成本的特定精化位置（例如，藉由找到best_d方向）以及藉由識別與特定精化位置相鄰的精化位置組作為可能候選預測位置，編碼器識別可能候選預測位置。特定距離或方向可由位元流中的視訊編碼器提供。

編碼器計算（在塊1630處）識別的可能候選預測位置的每個可能候選預測位置的成本。候選預測位置的成本可以藉由將當前塊的範本與候選預測位置所引用的參考塊的範本進行匹配來計算。像素塊的範本包括像素塊頂部和左側的像素。

基於計算出的成本，編碼器將重新排序的索引分配（在塊1640）給所識別的可能候選預測位置中的N個最低成本候選預測位置中的每個候選預測位置。在一些實施例中，N是大於一但小於所識別的可能候選預測位置的總數的數，使得僅識別可能候選預測位置的子集，從而減少編解碼或發送所需的位元數。

編碼器使用分配的重新排序的索引選擇（在塊1650）候選預測位置，其中該選擇在位元流中發送。在候選預測位置是MMVD的精化位置的一些實施例中，位元流中發送的選擇可以指定距離的重新排序的索引或方向的重新排序的索引。

編碼器藉由使用選擇的候選預測位置將當前塊編碼（在塊1660）到位元流中。具體的，選擇的候選預測位置或精化位置被用於導出用於獲得預測資料的MV。

在一些實施例中，發送的選擇包括（i）組索引，用於指定多個候選精化位置組中的選擇的候選精化位置組以及（ii）一個或多個索引（例如，方向索引和/或距離索引），用於指定選擇的候選精化位置組內的所選擇的候選精化位置。上述的第12圖示出其中識別的所有可能候選預測位置屬於選擇的候選精化位置組的示例。重新排序的索引被分配給選擇的候選精化位置組的N個最低成本候選精化位置，以及用於指定選擇的候選精化位置組內的所選擇的候選精化位置的一個或多個索引包括重新排序索引。不同候選精化位置組可以有不同數量的成員候選精化位置。上述的第13圖示出其中識別的可能候選預測位置中的每個可能候選預測位置是不同的候選精化位置組的代表候選精化位置的示例。重新排序索引被分配給N個組，其分別具有N個成本最低的代表候選精化位置，N小於或等於多個候選精化位置組中的總組數。用於指定選擇的候選精化位置組的組索引是重新排序索引。多個候選精化位置組中的每個候選精化位置組中成員候選精化位置的個數相同。 四， 示例視訊解碼器

在一些實施例中，編碼器可以發送（或生成）位元流中的一個或多個語法元素，使得解碼器可以從位元流中解析所述一個或多個語法元素。

第17圖示出可以支援預測候選的重新排序的示例視訊解碼器1700。如圖所示，視訊解碼器1700是圖像解碼或視訊解碼電路，該圖像解碼或視訊解碼電路接收位元流1795以及將位元流的內容解碼為視訊幀的像素資料以供顯示。視訊解碼器1700具有用於解碼位元流1795的若干組件或模組，包括選自以下的一些組件：逆量化模組1711，逆變換模組1710，幀內預測模組1725，運動補償模組1730，環路濾波器的1745，解碼圖片緩衝器1750，MV緩衝器1765，MV預測模組1775和解析器1790。運動補償模組1730是幀間預測模組1740的一部分。

在一些實施例中，模組1710-1790是由計算設備的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組1710-1790是由電子設備的一個或多個IC實現的硬體電路模組。儘管模組1710-1790被示為單獨的模組，但一些模組可以組合成單個模組。

解析器1790（或熵解碼器）接收位元流1795以及根據由視訊編碼或圖像編碼標準定義的語法執行初始解析。解析的語法元素包括各種報頭元素，標誌以及量化資料（或量化係數）1712。解析器1790藉由使用熵編解碼技術（例如上下文適應性二進位算術編解碼（context-adaptive binary arithmetic coding，簡稱ABAC）或霍夫曼編碼（Huffman encoding）解析出各種語法元素。

逆量化模組1711對量化資料（或量化係數）1712進行去量化以獲得變換係數，以及逆變換模組1710對變換係數1716進行逆變換以產生重構殘差訊號1719。重構殘差訊號1719與來自幀內預測模組1725或運動補償模組1730的預測像素資料713相加以產生解碼像素資料1717。解碼像素資料由環路濾波器1745濾波以及存儲在解碼圖片緩衝器1750中。在一些實施例中，解碼圖片緩衝器1750是視訊解碼器1700外部的記憶體。在一些實施例中，解碼圖片緩衝器1750是視訊解碼器1700內部的記憶體。

幀內預測模組1725從位元流1795接收幀內預測資料，以及據此，從存儲在解碼圖片緩衝器1750中的解碼像素資料1717產生預測像素資料1713。在一些實施例中，解碼像素資料1717也被存儲在行緩衝器（未示出）中，用於幀內預測和空間MV預測。

在一些實施例中，解碼圖片緩衝器1750的內容用於顯示。顯示裝置1755或者獲取解碼圖像緩衝器1750的內容以直接顯示，或者獲取解碼圖像緩衝器的內容到顯示緩衝器。在一些實施例中，顯示裝置藉由像素傳輸從解碼圖片緩衝器1750接收像素值。

運動補償模組1730根據運動補償MV（MC MV）從解碼圖片緩衝器1750中存儲的解碼像素資料1717產生預測像素資料1713。藉由將從位元流1795接收的殘差運動資料與從MV預測模組1775接收的預測MV相加，這些運動補償MV被解碼。

MV預測模組1775基於為解碼先前視訊幀而生成的參考MV（例如，用於執行運動補償的運動補償MV）生成預測的MV。MV預測模組1775從MV緩衝器1765中獲取先前視訊幀的參考MV。視訊解碼器1700將用於解碼當前視訊幀而生成的運動補償MV存儲在MV緩衝器1765中作為用於產生預測MV的參考MV。

環路濾波器1745對解碼的像素資料1717執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，所執行的濾波操作包括樣本適應性偏移（sample adaptive offset，簡稱SAO）。在一些實施例中，濾波操作包括適應性環路濾波器（adaptive loop filter，簡稱ALF）。

第18圖示出實現候選重排序的視訊解碼器1700的部分。具體地，該圖示出視訊解碼器1700的幀間預測模組1740的組件。如圖所示，幀間預測模組1740從MV緩衝器1765獲取候選運動向量以及搜索解碼圖片緩衝器1750的內容以生成當前塊的MV。

幀間預測模組1740包括運動補償模組1730，候選識別模組1810，成本計算模組1820，候選重新排序模組1830和候選選擇模組1840。

候選識別模組1810藉由基於MV緩衝器1765的內容識別例如合併候選或MMVD精化位置來識別候選預測位置。所識別的候選預測位置或精化位置可以具有與合併候選不同的方向和距離。所識別的候選預測位置可以是預定的精化位置組（第12圖），不同精化位置組的代表精化位置（第13圖），預定的精化位置集或子集（第7圖和第8圖），特定距離（第10圖）或特定方向（第11圖）處的精化位置，具有優選方向和/或距離的特定精化位置的相鄰精化位置的集合（第9A-C圖）。

成本計算模組1820藉由如參考上述第4圖和第5圖所述的雙向匹配或範本匹配和藉由從重構圖片緩衝器1450中獲取像素資料來計算各個候選預測位置的成本（猜測成本或匹配成本）。計算出的各個候選位置的成本被提供給候選重新排序模組1830，其將重新排序的索引分配給各個候選位置，特別是多個（N）個成本最低的候選位置。

候選選擇模組1840從熵解碼器1790接收對候選的選擇，熵解碼器1790可以解析來自位元流1795的選擇。候選的選擇可以包括重新排序的索引，其用於指示所選擇的候選的組，距離，和/或方向。候選選擇模組1840使用由熵解碼器1790發出的候選選擇來選擇由候選識別模組1810識別的候選之一。然後所選擇的候選被用來制定MV用於運動補償模組1730以生成預測的像素資料 1713。

第19圖概念性地示出用於使用預測候選的重新排序來解碼像素塊的處理1900。在一些實施例中，計算設備的一個或多個處理單元（例如，處理器）實現解碼器1700，其藉由執行存儲在電腦可讀介質中的指令來執行處理1900。在一些實施例中，實現解碼器1400的電子設備執行處理1900。

解碼器從位元流接收（在塊1910）像素塊的資料，該資料將被解碼為視訊的當前圖片的當前塊。

解碼器識別（在塊1920）可能候選預測位置。在一些實施例中，每個候選預測位置是精化位置，其藉由指定相對於合併候選的方向和距離來精化合併候選或起始MV。

在一些實施例中，藉由在距合併候選特定距離或方向的精化位置中找到具有最低成本的特定精化位置（例如，藉由找到best_d方向）以及藉由識別與特定精化位置相鄰的精化位置集合作為可能候選預測位置，解碼器識別可能候選預測位置。特定距離或方向可以由位元流中的視訊解碼器提供。

解碼器計算（在塊1930）識別的每個可能候選預測位置的成本。候選預測位置的成本可以藉由將當前塊的範本與參考塊的範本進行匹配來計算，該參考塊由候選預測位置所參考。像素塊的範本包括像素塊頂部和左側的像素。

基於計算出的成本，解碼器將重新排序的索引分配（在塊1940）給所識別的可能候選預測位置中的N個最低成本候選預測位置中的每個候選預測位置。在一些實施例中，N大於一但小於所識別的可能候選預測位置的總數，使得僅識別可能候選預測位置的子集，從而減少編解碼或發送所需的位元數。

解碼器使用分配的重新排序的索引來選擇（在塊1950處）候選預測位置，其中該選擇從位元流中解析。在候選預測位置是MMVD的精化位置的一些實施例中，位元流中發送的選擇可以指定距離的重新排序的索引或方向的重新排序的索引。

解碼器藉由使用所選擇的候選預測位置來重構（在塊1960處）當前塊。具體地，所選擇的候選預測位置或精化位置推導MV被用來導出用於獲取預測資料的MV以重構當前塊。

在一些實施例中，發送的選擇包括（i）組索引，用於指定多個候選精化位置組中的所選擇的候選精化位置組；以及（ii）一個或多個索引，用於指定所選擇的候選精化位置組内的所選擇的候選精化位置。第12圖示出其中所有識別的可能候選預測位置屬於所選擇的候選精化位置組的示例。重新排序的索引被分配給所選擇的候選精化位置組的N個最低成本候選精化位置，以及用於指定所選擇的候選精化位置組內的所選擇的候選精化位置的一個或多個索引包括重新排序索引。不同的候選精化位置組可以有不同數量的成員候選精化位置。上述的第13圖示出其中識別的每個可能候選預測位置是不同的候選精化位置組的代表候選精化位置的示例。重新排序的索引被分配給N個組，分別具有N個成本最低的代表候選精化位置，N小於或等於多個候選精化位置組中的總組數。指定所選擇的候選精化位置組的組索引是重新排序的索引。多個候選精化位置組中的每個候選精化位置組中成員候選精化位置的個數相同。 五、示例電子系統

許多上述特徵和應用被實現為軟體處理，這些軟體處理被指定為記錄在電腦可讀存儲介質（也稱為電腦可讀介質）上的一組指令。當這些指令由一個或多個計算或處理單元（例如，一個或多個處理器，處理器內核或其他處理單元）執行時，它們使處理單元執行指令中指示的動作。電腦可讀介質的示例包括但不限於唯讀光碟驅動器（compact disc read-only memory，簡稱CD-ROM），快閃記憶體驅動器，隨機存取記憶體（random-access memroy，簡稱RAM）晶片，硬碟驅動器，可擦除可程式設計唯讀記憶體（erasable programmble read-only memory，簡稱EPROM），電可擦除可程式設計唯讀記憶體 （electrically erasable proagrammble read-only memory，簡稱EEPROM）等。電腦可讀介質不包括藉由無線或有線連接傳遞的載波和電子訊號。

在本說明書中，術語“軟體”意在包括駐留在唯讀記憶體中的韌體或存儲在磁記憶體中的應用程式，其可以讀入記憶體以供處理器處理。此外，在一些實施例中，多個軟體發明可以實現為更大程式的子部分，同時保留不同的軟體發明。在一些實施例中，多個軟體發明也可以實現為單獨的程式。最後，共同實現此處描述的軟體發明的單獨程式的任一組合都在本公開的範圍內。在一些實施例中，軟體程式，在被安裝以在一個或多個電子系統上運行時，定義一個或多個特定機器實施方式，該實施方式處理和執行軟體程式的操作。

第20圖概念性地示出了實現本公開的一些實施例的電子系統2000。電子系統2000可以是電腦（例如，臺式電腦，個人電腦，平板電腦等），電話，PDA或任一其他類型的電子設備。這種電子系統包括各種類型的電腦可讀介質和用於各種其他類型的電腦可讀介質的介面。電子系統2000包括匯流排2005，處理單元2010，圖形處理單元（graphics-processing unit，簡稱GPU）2015，系統記憶體2020，網路2025，唯讀記憶體2030，永久存放裝置2035，輸入設備2040 , 和輸出設備2045。

匯流排2005共同表示與電子系統2000通訊連接的眾多內部設備的所有系統，週邊設備和晶片組匯流排。例如，匯流排2005將處理單元2010與GPU 2015，唯讀記憶體2030，系統記憶體2020和永久存放裝置2035通訊地連接。

處理單元2010從這些各種記憶體單元中獲取要執行的指令和要處理的資料，以便執行本公開的處理。在不同的實施例中，處理單元可以是單個處理器或多核處理器。一些指令被傳遞到GPU 2015並由其執行。GPU 2015可以卸載各種計算或補充由處理單元2010提供的影像處理。

唯讀記憶體（read-only-memory，簡稱ROM）2030存儲由處理單元2010和電子系統的其他模組使用的靜態資料和指令。另一方面，永久存放設備2035是讀寫存放設備。該設備是即使在電子系統2000關閉時也存儲指令和資料的非易失性存儲單元。本公開的一些實施例使用大容量記憶裝置（例如磁片或光碟及其對應的磁碟機）作為永久存放裝置2035。

其他實施例使用卸載式存放裝置設備（例如軟碟，快閃記憶體設備等，及其對應的磁碟機）作為永久存放裝置。與永久存放裝置2035一樣，系統記憶體2020是讀寫記憶體設備。然而，與永久存放裝置2035不同，系統記憶體2020是易失性（volatile）讀寫記憶體，例如隨機存取記憶體。系統記憶體2020存儲處理器在運行時使用的一些指令和資料。在一些實施例中，根據本公開的處理被存儲在系統記憶體2020，永久存放裝置2035和/或唯讀記憶體2030中。例如，根據本公開的一些實施例，各種記憶體單元包括用於根據處理多媒體剪輯的指令。從這些各種記憶體單元中，處理單元2010獲取要執行的指令和要處理的資料，以便執行一些實施例的處理。

匯流排2005還連接到輸入設備2040和輸出設備2045。輸入設備2040使使用者能夠向電子系統傳達資訊和選擇命令。輸入設備2040包括字母數位元鍵盤和定點設備（也被稱為“遊標控制設備”），照相機（例如，網路攝像頭），麥克風或用於接收語音命令的類似設備等。輸出設備2045顯示由電子系統生成的圖像或者輸出資料。輸出設備2045包括印表機和顯示裝置，例如陰極射線管（cathode ray tubes，簡稱CRT）或液晶顯示器（liquid crystal display，簡稱LCD），以及揚聲器或類似的音訊輸出設備。一些實施例包括用作輸入和輸出設備的設備，例如觸控式螢幕。

最後，如第20圖所示，匯流排2005還藉由網路介面卡（未示出）將電子系統2000耦合到網路2025。以這種方式，電腦可以是電腦網路（例如局域網（“LAN”），廣域網路（“WAN”）或內聯網的一部分，或者是多種網路的一個網路，例如互聯網。電子系統2000的任一或所有組件可以與本公開結合使用。

一些實施例包括電子組件，例如微處理器，存儲裝置和記憶體，其將電腦程式指令存儲在機器可讀或電腦可讀介質（或者被稱為電腦可讀存儲介質，機器可讀介質或機器可讀存儲介質）中。這種電腦可讀介質的一些示例包括RAM，ROM，唯讀光碟（read-only compact discs，簡稱CD-ROM），可記錄光碟（recordable compact discs，簡稱CD-R），可重寫光碟（rewritable compact discs，簡稱CD-RW），唯讀數位多功能光碟（read-only digital versatile discs）（例如, DVD-ROM, 雙層DVD-ROM），各種可燒錄/可重寫DVD （例如, DVD-RAM, DVD-RW, DVD+RW等），快閃記憶體（例如, SD卡, 迷你SD卡，微型SD卡等），磁性和/或固態硬碟驅動器，唯讀和可記錄Blu-Ray®光碟，超密度光碟，任一其他光學或磁性介質以及軟碟。電腦可讀介質可以存儲可由至少一個處理單元執行以及包括用於執行各種操作的指令集合的電腦程式。電腦程式或電腦代碼的示例包括諸如由編譯器產生的機器代碼，以及包括由電腦，電子組件或使用注釋器（interpreter）的微處理器執行的高級代碼的文檔。

雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但許多上述特徵和應用由一個或多個積體電路執行，例如專用積體電路（application specific integrated circuit，簡稱ASIC）或現場可程式設計閘陣列（field programmable gate array，簡稱FPGA）。在一些實施例中，這樣的積體電路執行存儲在電路本身上的指令。此外，一些實施例執行存儲在可程式設計邏輯器件（programmable logic device，簡稱PLD），ROM或RAM器件中的軟體。

如在本說明書和本申請的任一申請專利範圍中使用的，術語“電腦”，“伺服器”，“處理器”和“記憶體”均指電子或其他技術設備。這些術語不包括人或人群。出於本說明書的目的，術語顯示或顯示是指在電子設備上顯示。如在本說明書和本申請的任何申請專利範圍中所使用的，術語“電腦可讀介質”，“電腦可讀介質”和“機器可讀介質”完全限於以電腦可讀形式存儲資訊的有形物理物件。這些術語不包括任何無線訊號，有線下載訊號和任何其他短暫訊號。

雖然已經參考許多具體細節描述了本公開，但是本領域之通常知識者將認識到，本公開可以以其他特定形式實施而不背離本公開的精神。此外，許多圖（包括第16圖和第19圖）概念性地說明瞭處理。這些處理的具體操作可能不會按照所示和描述的確切循序執行。具體操作可以不是在一個連續的一系列操作中執行，在不同的實施例中可以執行不同的具體操作。此外，該處理可以使用幾個子處理來實現，或者作為更大的宏處理的一部分來實現。因此，本領域之通常知識者將理解本公開不受前述說明性細節的限制，而是由所附申請專利範圍限定。 補充說明

本文所描述的主題有時表示不同的組件，其包含在或者連接到其他不同的組件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實現相同的功能，從概念上講，任何實現相同功能的組件的排列實際上是“相關聯的”，以便實現所需功能。因此，不論結構或中間部件，為實現特定的功能而組合的任何兩個組件被視爲“相互關聯”，以實現所需的功能。同樣，任何兩個相關聯的組件被看作是相互“可操作連接”或“可操作耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視爲相互“可操作地耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦合”以實現特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的組件，和/或無線可交互和/或無線上相互作用的組件，和/或邏輯上相互作用和/或邏輯上可交互的組件。

此外，關於基本上任何複數和/或單數術語的使用，本領域之通常知識者可以根據上下文和/或應用從複數變換為單數和/或從單數到複數。為清楚起見，本發明明確闡述了不同的單數/複數排列。

此外，本領域之通常知識者可以理解，通常，本發明所使用的術語特別是申請專利範圍中的，如申請專利範圍的主題，通常用作“開放”術語，例如，“包括”應解釋為“包括但不限於”，“有”應理解為“至少有”“包括”應解釋為“包括但不限於”等。本領域之通常知識者可以進一步理解，若計畫介紹特定數量的申請專利範圍內容，將在申請專利範圍內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，下面申請專利範圍可能包含短語“至少一個”和“一個或複數個”，以介紹申請專利範圍的內容。然而，這些短語的使用不應理解為暗示使用不定冠詞“一個”或“一種”介紹申請專利範圍內容，而限制了任何特定神專利範圍。甚至當相同的申請專利範圍包括介紹性短語“一個或複數個”或“至少有一個”，不定冠詞，例如“一個”或“一種”，則應被解釋為表示至少一個或者更多，對於用於介紹申請專利範圍的明確描述的使用而言，同樣成立。此外，即使明確引用特定數量的介紹性內容，本領域之通常知識者可以認識到，這樣的內容應被解釋為表示所引用的數量，例如，沒有其他修改的“兩個引用”，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於“A，B和C中的至少一個”的表述的情況下，通常如此表述是為了本領域之通常知識者可以理解該表述，例如，“系統包括A，B和C中的至少一個”將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A，B和C的系統等。本領域之通常知識者進一步可理解，無論在説明書中，申請專利範圍中或者附圖中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，“A或B”應理解為，“A”，或者“B”，或者“A和B”的可能性。

從前述可知，出於説明目的，本發明已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於限制，真實的範圍和申請由申請專利範圍表示。

100:當前塊 300:合併候選列表 600:起始MV 610:MVD 620:精化MV 1400:解碼器 1405:視訊源 1408:減法器 1410:變換模組 1411:量化模組 1412:量化資料 1413:預測像素資料 1414:逆量化模組 1415:逆變換模組 1416:變換係數 1417:重構的像素資料 1419:重構殘差 1420:幀內估計模組 1425:幀內預測模組 1430:運動補償模組 1435:運動估計模組 1440:幀間預測模組 1445:環路濾波器 1450:重構圖片緩衝器 1465:MV緩衝器 1475:MV預測模組 1490:熵編碼器 1495:位元流 1510:候選識別模組 1520:成本計算模組 1530:候選重新排序模組 1540:候選選擇模組 1600:處理 1610，1620，1630、1640，1650，1660:步驟 1700:解碼器 1710:逆變換模組 1711:逆量化模組 1712:量化資料 1713:預測的像素資料 1716:變換係數 1717:解碼的像素資料 1719:重構殘差訊號 1725:幀內預測模組 1730:運動補償模組 1740:幀間預測模組 1750:解碼圖片緩衝器 1755:顯示裝置 1765:MV緩衝器 1775:MV預測模組 1790:熵解碼器 1795:位元流 1810:候選識別模組 1820:成本計算模組 1830:候選重新排序模組 1840:候選選擇模組 1900:處理 1910、1920、1930、1940、1950、1960:步驟 2000:電子系統 2005:匯流排 2010:處理單元 2015:GPU 2020:系統記憶體 2025:網路 2030:唯讀記憶體 2035:永久存放裝置 2040:輸入設備 2045:輸出設備

附圖被包括以提供對本公開的進一步理解並且被併入並構成本公開的一部分。附圖說明瞭本公開的實施方式，並且與描述一起用於解釋本公開的原理。值得注意的是，附圖不一定是按比例繪製的，因為在實際實施中特定組件可能被顯示為與大小不成比例，以便清楚地說明本公開的概念。 第1圖示出合併模式的運動候選。 第2圖概念性地示出合併候選的“預測+合併”算法框架。 第3圖概念性地示出示例候選重新排序。 第4-5圖概念性示出用於計算所選擇的候選的猜測成本的L形匹配方法。 第6圖概念性地示出使用MVD對起始MV的精化。 第7圖概念性地示出一整組不同方向和距離的精化位置，其成本被計算。 第8圖示出精化位置的示例子集。 第9A-C圖概念性地示出基於選定距離的預選精化位置。 第10圖概念性地示出在具有相同距離但不同方向的精化位置之間重新排序。 第11圖概念性地示出在具有相同方向但不同距離的精化位置之間重新排序。 第12圖概念性地示出被分成多個組的精化位置。 第13圖概念性地示出不同的精化位置組之間的重新排序。 第14圖示出示例視訊編碼器，其支援預測候選的重新排序。 第15圖示出視訊編碼器的部分，該視訊編碼器用於實現候選重新排序。 第16圖概念性地示出使用預測候選的重新排序對像素塊進行編碼的處理。 第17圖示出示例視訊解碼器，該視訊解碼器支援預測候選的重新排序。 第18圖示出視訊解碼器的部分，該視訊解碼器用於實現候選重新排序。 第19圖概念性地示出使用預測候選的重新排序對像素塊進行解碼的處理。 第20圖概念性地示出實現本發明實施例的電子系統。

1900:處理

1910、1920、1930、1940、1950、1960:步驟

Claims (18)

1. 一種視訊解碼方法，包括： 從一位元流中接收一像素塊的資料，以將該資料解碼為一視訊的一當前圖片的一當前塊； 識別多個可能候選預測位置； 計算識別的該等可能候選預測位置中每個可能候選預測位置的一成本； 基於所計算的多個成本，將一重新排序的索引分配給來自識別的該等可能候選預測位置的N個成本最低的候選預測位置中的每個候選預測位置； 使用分配的該重新排序索引選擇一候選預測位置，其中該選擇從該位元流中解析；以及 使用所選擇的該候選預測位置重構該當前塊。
2. 如請求項1所述之視訊解碼方法，其中，N小於所識別的該等可能候選預測位置的一總數。
3. 如請求項1所述之視訊解碼方法，其中，該候選預測位置的該成本藉由將該當前塊的一範本和一參考塊的一範本來計算，該參考塊由該候選預測位置所參考。
4. 如請求項3所述之視訊解碼方法，其中，一像素塊的該範本包括該像素塊頂部和左側的多個像素。
5. 如請求項1所述之視訊解碼方法，其中，每個候選預測位置是一精化位置，該精化位置藉由指定相對於一合併候選的一方向和一距離來精化該合併候選。
6. 如請求項5所述之視訊解碼方法，其中，從該位元流解析的該選擇指定該距離的一重新排序索引或該方向的一重新排序索引。
7. 如請求項5所述之視訊解碼方法，其中，識別該等可能候選預測位置包括： 從相對於該合併候選一特定距離或一特定方向的多個精化位置中尋找具有一最低成本的一特定精化位置； 將與該特定精化位置相鄰的一精化位置集識別為該等可能候選預測位置。
8. 如請求項7所述之視訊解碼方法，其中，該特定距離或該特定方向從該位元流中解析。
9. 如請求項5所述之視訊解碼方法，其中，被解析的該選擇包括（i）一組索引，用於指定多個候選精化位置組中選擇的一候選精化位置組；以及（ii）一個或多個索引，用於指定所選擇的該候選精化位置組內的選擇的一候選精化位置。
10. 如請求項9所述之視訊解碼方法，其中，識別出的所有可能候選預測位置都屬於所選擇的該候選精化位置組。
11. 如請求項10所述之視訊解碼方法，其中，多個重新排序索引被分配給所選擇的該候選精化位置組的N個成本最低的候選精化位置，其中用於指定所選擇的該候選精化位置組內的所選擇的該候選精化位置的一個或多個索引包括一重新排序索引。
12. 如請求項10所述之視訊解碼方法，其中，至少兩個不同的候選精化位置組具有不同數量的成員候選精化位置。
13. 如請求項9所述之視訊解碼方法，其中： 識別的每個可能候選預測位置是不同的候選精化位置組的一代表候選精化位置； 多個重新排序被分配給N組，N組分別具有N個成本最低的代表候選精化位置，N小於或等於多個候選精化位置組的一總組數；以及 用於指定選擇的該候選精化位置組的該組索引是一重新排序索引。
14. 如請求項13所述之視訊解碼方法，其中，該等候選精化位置組中的每個候選精化位置組中成員候選精化位置的數量相同。
15. 一種視訊編碼方法，包括： 接收一像素塊的資料，該資料將被編碼為一視訊的一當前圖片的一當前塊於一位元流中； 識別多個可能候選預測位置； 計算識別的該等可能候選預測位置中每個可能候選預測位置的一成本； 基於所計算的該成本，將一重新排序索引分配給來自識別的該等可能候選預測位置的N個成本最低的候選預測位置中的每個候選預測位置； 使用分配的該等重新排序索引選擇一候選預測位置，其中該選擇在該位元流中被發送；以及 使用所選擇的該候選預測位置將該當前塊編碼到該位元流中。
16. 一種電子裝置，包括： 一視訊解碼器電路，被配置為執行多個操作，包括： 從一位元流中接收一像素塊的資料，以將該資料解碼為一視訊的一當前圖片的一當前塊； 識別多個可能候選預測位置； 計算識別的該等可能候選預測位置中每個可能候選預測位置的一成本； 基於所計算的多個成本，將一重新排序的索引分配給來自識別的該等可能候選預測位置的N個成本最低的候選預測位置中的每個候選預測位置； 使用分配的該重新排序的索引選擇一候選預測位置，其中該選擇從該位元流中解析；以及 使用所選擇的該候選預測位置重構該當前塊。
17. 一種電子裝置，包括： 一視訊編碼器，被配置為執行多個操作，包括： 接收一像素塊的資料，該資料將被編碼為一視訊的一當前圖片的一當前塊於一位元流中； 識別多個可能候選預測位置； 計算識別的該等可能候選預測位置中每個可能候選預測位置的一成本； 基於所計算的該成本，將一重新排序索引分配給來自識別的該等可能候選預測位置的N個成本最低的候選預測位置中的每個候選預測位置； 使用分配的該等重新排序索引選擇一候選預測位置，其中該選擇在該位元流中被發送；以及 使用所選擇的該候選預測位置將該當前塊編碼到該位元流中。
18. 一種視訊編解碼方法，包括： 接收一像素塊的資料，該資料將被編碼或解碼為一視訊的一當前圖片的一當前塊於一位元流中； 識別多個可能候選預測位置； 計算識別的該等可能候選預測位置中每個可能候選預測位置的一成本； 基於所計算的該成本，將一重新排序索引分配給來自識別的該等可能候選預測位置的N個成本最低的候選預測位置中的每個候選預測位置； 使用分配的該等重新排序索引選擇一候選預測位置，其中該選擇在該位元流中被發送或者從該位元流中解析；以及 使用所選擇的該候選預測位置對該當前塊進行編碼或解碼。

Images