CN113228676A - 在合并列表中运动矢量预测量候选排序 - Google Patents
在合并列表中运动矢量预测量候选排序 Download PDFInfo
- Publication number
- CN113228676A CN113228676A CN201980073765.9A CN201980073765A CN113228676A CN 113228676 A CN113228676 A CN 113228676A CN 201980073765 A CN201980073765 A CN 201980073765A CN 113228676 A CN113228676 A CN 113228676A
- Authority
- CN
- China
- Prior art keywords
- motion vector
- vector predictor
- list
- predictor candidates
- candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 title claims abstract description 177
- 238000000034 method Methods 0.000 claims abstract description 83
- 230000002123 temporal effect Effects 0.000 claims description 24
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 31
- 230000015654 memory Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 19
- 238000010276 construction Methods 0.000 description 15
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013139 quantization Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 101150071238 tut1 gene Proteins 0.000 description 1
- -1 variables Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述不同的实现方式；尤其是使用包括基于历史的运动矢量预测量候选和平均运动矢量预测量候选的合并列表用于视频编码和解码的实现方式。该方法包括：使用画面的当前块之前的块的运动信息，对于当前块确定一个或多个基于历史的运动矢量预测量候选；通过平均运动矢量预测量候选的列表中的一对运动矢量预测量候选，对于当前块确定一个或多个平均运动矢量预测量候选，其中，使用在空间和时间上围绕当前块的块的运动信息形成列表中的运动矢量预测量候选；以及在运动矢量预测量候选列表中的一个或多个基于历史的运动矢量预测量候选之前，***一个或多个平均的运动矢量预测量候选。
Description
技术领域
本申请在视频压缩领域，并且其目的是与现有视频压缩***相比，改进压缩效率。
背景技术
对于视频数据的压缩，使用画面间预测以利用视频源信号的不同画面之间的时间冗余，或者使用画面内预测以利用源信号的单个画面中的空间冗余，来编码画面的块状区域。为此，取决于使用的压缩标准，可以指定画面中的各种块大小。然后，使用变换进一步压缩预测残差以去除残差内部的相关性，以其被量化并且甚至最终使用熵编码(也称为残差编码)进行更多压缩之前。
在HEVC视频压缩标准中(见“ITU-T H.265ITU电信标准化部门(10/2014)”，H系列：视听和多媒体***，视听服务的基础设施–运动视频编码，高效视频编码，推荐书ITU-TH.265”)，将一个运动矢量(MV)分配给单向预测预测单元(PU)，并且将一对运动矢量分配给双向预测PU，用于考虑的PU的运动补偿的时间预测。在HEVC中利用两个模式来编码运动数据。它们分别称为AMVP(自适应运动矢量预测)和合并。
AMVP基本在于用信号发送用于预测当前PU的(多个)参考画面、运动矢量预测量索引(在两个预测量列表中获取)和运动矢量差。合并模式在于用信号发送和解码在运动数据预测量的列表中收集的一些运动数据的索引。该合并列表由五个候选组成，并在解码器和编码侧以相同的方式构造。合并列表典型包含与在处理当前PU时以其解码状态可用的一些空间和时间周围块相关联的运动信息。
此外，在VTM-3中(见“多功能视频编码(草案3)”，B.Bross,J.Chen,S.Liu,文件JVET-L1001，中国澳门，2018年10月)，采用两种类型的合并候选，称为基于历史的运动矢量预测量(HMVP)和成对平均候选。
发明内容
根据本公开的一方面，公开了用于编码和/或解码画面的方法。这种方法包括：
使用画面的当前块之前的块的运动信息，对于当前块确定一个或多个基于历史的运动矢量预测量候选；
通过平均运动矢量预测量候选的列表中的一对运动矢量预测量候选，对于当前块确定一个或多个平均运动矢量预测量候选，其中，使用在空间和时间上围绕当前块的块的运动信息形成列表中的运动矢量预测量候选；以及
在运动矢量预测量候选的列表中的一个或多个基于历史的运动矢量预测量候选之前，***一个或多个平均运动矢量预测量候选。
根据本公开的另一方面，公开了用于编码和/或解码画面的装置。这种装置包括一个或多个处理器，其中，所述一个或多个处理器被配置为：
使用画面的当前块之前的块的运动信息，对于当前块确定一个或多个基于历史的运动矢量预测量候选；
通过平均运动矢量预测量候选的列表中的一对运动矢量预测量候选，对于当前块确定一个或多个平均运动矢量预测量候选，其中，使用在空间和时间上围绕当前块的块的运动信息形成列表中的运动矢量预测量候选；以及
在运动矢量预测量候选的列表中的一个或多个基于历史的运动矢量预测量候选之前，***一个或多个平均运动矢量预测量候选。
根据本公开的另一方面，公开了用于编码和/或解码画面的装置，该装置包括：
使用画面的当前块之前的块的运动信息，对于当前块确定一个或多个基于历史的运动矢量预测量候选的部件；
通过平均运动矢量预测量候选的列表中的一对运动矢量预测量候选，对于当前块确定一个或多个平均运动矢量预测量候选的部件，其中，使用在空间和时间上围绕当前块的块的运动信息形成列表中的运动矢量预测量候选；以及
在运动矢量预测量候选的列表中的一个或多个基于历史的运动矢量预测量候选之前，***一个或多个平均运动矢量预测量候选的部件。
根据本公开的方面，公开了用于编码和/或解码画面的方法。这种方法包括：
使用画面的当前块之前的块的运动信息，对于当前块确定一个或多个基于历史的运动矢量预测量候选；
对于当前块，确定一个或多个平均运动矢量预测量候选和/或一个或多个组合运动矢量预测量候选；和
取决于当前块的参考帧的时间结构，将确定的运动矢量预测量候选***到运动矢量预测量候选的列表中。
根据本公开的另一方面，公开了用于编码和/或解码画面的装置。这种装置包括一个或多个处理器，其中，所述一个或多个处理器被配置为：
使用画面的当前块之前的块的运动信息，对于当前块确定一个或多个基于历史的运动矢量预测量候选；
对于当前块，确定一个或多个平均运动矢量预测量候选和/或一个或多个组合运动矢量预测量候选；和
取决于当前块的参考帧的时间结构，将确定的运动矢量预测量候选***到运动矢量预测量候选的列表中。
根据本公开的另一方面，公开了用于编码和/或解码画面的装置，该装置包括：
使用画面的当前块之前的块的运动信息，对于当前块确定一个或多个基于历史的运动矢量预测量候选的部件；
对于当前块，确定一个或多个平均运动矢量预测量候选和/或一个或多个组合运动矢量预测量候选的部件；和
取决于当前块的参考帧的时间结构，将确定的运动矢量预测量候选***到运动矢量预测量候选的列表中的部件。
本公开还提供包括指令的计算机程序产品，该指令在由计算机执行时使计算机执行所描述的方法。本公开还提供非暂时性计算机可读介质，存储可执行程序指令，以使执行该指令的计算机执行所描述的任何方法。本公开还提供了信号，该信号包括根据所描述的任何方法生成的数据。本公开还提供比特流，其根据所描述的任何方法被格式化为包括语法元素和编码的图像信息。
本公开还提供了一种设备，包括：
所描述的装置；和
以下中的至少一个：(i)被配置为接收信号的天线，该信号包括表示图像信息的数据，(ii)频带限制器，被配置为将接收到的信号限制到包括表示图像信息的数据的频带上(iii)显示器，其被配置为显示来自图像信息的图像。
上面呈现主题的简化概述，以便提供对主题实施例的一些方面的基本理解。该概述不是该主题的详尽概述。其不意图标识实施例的关键/重要元素或描绘主题的范围。其唯一目的是以简化的形式呈现主题的一些概念，作为稍后呈现的更详细描述的序言。
从以下参考附图进行的说明性实施例的详细描述，本公开的附加特征和优点将变得明显。
附图说明
图1例示通用视频压缩方案的示例的框图。
图2例示通用视频解压缩方案的示例的框图。
图3例示表示压缩的HEVC画面的一些编码树单元。
图4例示将编码树单元划分为编码单元、预测单元和变换单元。
图5例示根据HEVC规范的帧间预测信息的信令。
图6例示HEVC中的合并运动运动矢量预测量候选的列表的构造。
图7例示在HEVC中的合并模式中使用的空间(a)和时间(b)运动矢量预测量的位置。
图8例示用于图6示出的空间和时间运动矢量预测量的位置的合并运动矢量预测量候选的列表的构造。
图9例示在使用基于历史的运动矢量预测量候选的方法中更新表的示例。
图10例示根据VVC草案3的非子块(或平移)合并候选列表构造。
图11例示根据VTM-3的基于子块的预测运动矢量预测量候选列表的构造。
图12例示根据第一实施例的第一变型的修改的平移合并候选列表构造。
图13例示利用修改的条件以***基于历史的运动矢量预测量的第一实施例的第二变型。
图14例示利用修改的条件以***成对平均运动矢量预测量的第一实施例的第三变型。
图15例示第二实施例的第一变型，其中，在候选列表构造期间，成对和基于历史的运动矢量预测量之间的顺序取决于最大列表大小。
图16例示第二实施例的第二变型，其中与第一变型相比，修改了考虑HMVP候选和成对候选的条件。
图17例示用于候选列表构造的第三实施例的第一变型，其中，基于历史的运动矢量预测量和成对候选在合并列表中被交织。
图18例示用于候选列表构造的第三实施例的第二变型，其中，与第一变型相比，修改了HMVP候选的***条件。
图19例示候选列表构造的第四实施例，其中，取决于当前帧的时间结构添加了组合的和成对候选。
图20例示根据本公开的实施例的方法的通用流程图。
图21例示其中可以实现示例性实施例的各个方面的***的示例的框图。
应当理解，附图是出于例示各个方面和实施例的示例的目的，并且不一定是唯一可能的配置。在各个附图中，相似的参考标号指代相同或相似的特征。
具体实施方式
为了描述清楚，以下描述将参考涉及视频压缩技术(诸如，例如HEVC和/或VVC/H.266)的实施例来描述各方面。但是，所描述的方面适用于其他视频处理技术和标准。
图1例示示例性编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而没有描述所有预期的变型。
在被编码之前，视频序列可以经过预编码处理(101)，例如，对输入的彩色画面应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入画面分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用颜色分量之一的直方图均衡化)。元数据可以与预处理相关联，并附加到比特流
为了编码具有一个或多个画面的视频序列，将画面例如划分(102)成一个或多个条带，其中每个条带可包括一个或多个条带段。在HEVC中，条带段被组织为编码单元、预测单元和变换单元。HEVC规范区分“块”和“单元”，其中“块”寻址样本阵列中的特定区域(例如亮度，Y)，并且“单元”包括所有编码颜色分量(Y，Cb，Cr或单色)的并置块、语法元素以及与这些块相关联的预测数据(例如，运动矢量)。
在编码器100中，画面由编码器元件编码，如下所述。要编码的画面例如以CU为单位被处理。例如使用帧内或帧间模式编码每个CU。当单元以帧内模式编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和运动补偿(170)。编码器决定(105)帧内模式或帧间模式中的哪一个用于编码单元，并且例如通过预测模式标志指示帧内/帧间决定。通过从原始图像块中减去(110)预测块来计算预测残差。
然后预测残差被变换(125)和量化(130)。熵编码(145)量化的变换系数以及运动矢量和其他语法元素，以输出比特流。编码器可以跳过该变换，并且将量化直接应用于未变换的残差信号。编码器还可以绕过变换和量化两者，即，在不应用变换或量化处理的情况下直接编码残差。
编码器对编码块进行解码，以为进一步的预测提供参考。量化的变换系数被去量化(140)并且逆变换(150)以解码预测残差。组合(155)解码的预测残差和预测块，重构图像块。环内滤波器(165)被应用于重构的画面，以例如执行去块/SAO(样本自适应偏移)滤波以减少编码伪像。滤波图像被存储在参考画面缓冲器(180)中。
图2例示视频解码器200的块图。在解码器200中，由解码器元件解码比特流，如下面描述。视频解码器200一般执行与图1中描述的编码通道相反的解码通道。编码器100也一般执行视频解码作为编码视频数据的一部分。
具体地，解码器的输入包括可由视频编码器100生成的视频比特流。首先熵解码(230)该比特流，以获得变换系数、运动矢量，和其他编码信息。画面分区信息指示画面如何被分区。因此，解码器可以根据解码的画面分区信息来划分(235)画面。去量化(240)和逆变换(250)变换系数以解码预测残差。组合(255)解码的预测残差和预测块，重构图像块。可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)预测块。将环内滤波器(265)应用于重构的图像。滤波的图像存储在参考画面缓冲器(280)处。
解码的画面可以进一步经历后解码处理(285)，例如，逆颜色变换(例如，从YCbCr4:2:0到RGB 4:4:4的转换)或逆重新映射以执行与预编码处理(101)中执行的重新映射处理的逆过程。后解码处理可以使用在预编码处理中推导出并在比特流中用信号通知的元数据。
本申请提出了在编码器和解码器中的运动矢量预测量的列表的自适应，诸如分别在图1和图2中例示的编码器和解码器，其采用运动补偿的时间预测来利用在视频序列的连续画面之间存在的冗余。
在HEVC视频压缩标准或类似于HEVC的技术中，将运动矢量与预测单元(PU)相关联。将要编码或解码的画面划分为作为编码的基本单元的所谓的编码树单元(CTU)，并且将CTU的连贯集合分组为条带。CTU通常包括三个编码树块(CTB)，一个用于亮度样本的块和两个用于色度样本的块以及相关联的语法元素。可以将编码树单元进一步分割为编码单元(CU)，其是用于预测类型判定(即，执行画面间还是画面内预测)的最小编码元素。最后，将编码单元进一步分割为一个或多个预测单元(PU)。
图3中示出将画面的一部分分区为CTU 0、1、2的示例。在该图中，左侧的CTU 0照原样直接使用，而其右侧的CTU 1基于由CTU覆盖的画面区域的信号特性被分区为多个较小部分。箭头指示相应部分的运动矢量。
CTB是四叉树分区成编码块(CB)的根，并且编码块可以被分区成一个或多个预测块(PB)，并形成四叉树分区成变换块(TB)的根。大于4x4的变换块(TB)被划分为量化系数的4x4子块，称为系数组(CG)。与编码块，预测块和变换块相对应，编码单元(CU)包括预测单元(PU)和树状结构的变换单元(TU)的集合。PU包括针对所有颜色分量的预测信息，并且TU包括针对每个颜色分量的残差编码语法结构。相同的预测应用于预测块(PB)。亮度分量的CB，PB和TB的大小适用于对应的CU，PU和TU。在图4中示出编码树单元划分为编码单元，预测单元和变换单元的示例。
在下文中，详细描述所提出的方法。首先，描述合并模式、成对平均和基于历史的运动矢量预测候选的一般原理，。然后，提出用于构建包括成对平均和基于历史的运动矢量预测候选的合并候选列表的不同实施例。
根据HEVC标准的合并模式在于从选定的运动信息预测量候选中推导给定预测单元的帧间预测信息(以下也称为运动信息)。这里考虑的运动信息包括PU的所有帧间预测参数，即：
-单向或双向时间预测类型；
-每个参考画面列表中的参考画面索引；
-(多个)运动矢量。
在图5中总结HEVC中的帧间预测信息的编码和解码。可以看出，运动信息编码/解码在跳过模式和合并模式中是相似的。在这两种模式下，用信号发送一个单一字段来使解码器能够检索PU的运动信息：所谓的合并索引Merge_idx。合并索引指示合并运动信息预测量的列表中的哪个运动矢量预测量用于推导当前PU的运动信息。在下文中，运动信息预测量的列表也称为合并列表或合并候选列表。此外，候选运动信息预测量被称为合并候选。
在HEVC中，合并候选列表***地由5个合并候选组成。图6例示在编码器侧和解码器侧上如何构造合并列表。首先，多达5个空间位置被考虑来检索一些潜在的候选。按照以下顺序访问它们：
1-左侧(A1)
2-上侧(B1)
3-右上侧(B0)
4-左下侧(A0)
5-左上侧(B2)
其中符号A0，A1，B0，B1，B2表示图7a中所示的空间位置。
选择最大四个彼此不同的空间候选。此外，通过考虑位于图7b例示的位置(即，位置H)处的时间运动信息，如果所考虑的参考画面中的位置H处的候选不可用，则考虑“中心”，来选择表示为TMVP的时间预测量。然后进行修剪过程以确保选择的空间和时间候选的集合不包含冗余候选。
接下来，在B条带的情况下，如果列表不完整，则将另一种类型的候选推送到合并列表中：所谓的合并候选。这在于形成候选，该候选由与来自已经存在于列表中的一个候选的一个参考画面列表(L0)相关联的运动信息，以及与来自已经存在于合并列表中的另一候选的与另一参考画面列表(L1)相关联的运动组成。
最后，如果合并列表仍不完整，即仍不包括5个元素，则将零运动矢量推到合并列表的末尾，直到合并列表完整为止。
图8的图表详细说明了HEVC中合并列表构建的整个过程。
在JVET-L0090中(请参见JVET-L0090“CE4.4.12:Pairwise averagecandidates”，Y.-L.Hsiao，T.-D.Chuang，C.-Y.Chen，C.-W.Hsu，Y.-Huang,S.-M.Lei，中国澳门，2018年10月)，将所谓的成对平均候选添加到合并候选列表中，以改进VTM-2压缩效率。这些成对候选如下计算。对于每个参考画面列表，一些预定义的候选对从合并候选列表中被获取并且被平均。在计算成对候选时，合并列表以其当前状态被获取。如果一个或两个候选可用于考虑的参考画面列表并且在合并候选列表中的考虑位置，则形成成对候选。多达六个候选被考虑以丰富合并候选列表。
作为VVC标准草案的一部分的最后一个新的合并增强工具称为基于历史的运动矢量预测(JVET-L0266，请参见JVET-L0266“CE4:History-based Motion Vector Prediction(Test 4.4.7)”，L.Zhang,K.Zhang,H.Liu,Y.Wang,P.Zhao,D.Hong,，中国澳门，2018年10月)。
基于历史的运动矢量预测在于维护由多个用于编码当前块之前的块的运动信息组成的表。每次编码非仿射帧间块时，将其关联的运动数据添加到表的末尾作为新HMVP合并候选。HMVP表中的运动矢量预测量的最大数量为6，并且根据FIFO(先进先出)规则从表中丢弃过去的运动数据。运动矢量预测量的基于历史的缓冲区(表)的管理在图9例示。
图10中例示根据VVC草案3构建的经典(或非子块或平移，而不是基于仿射或基于子块的)合并列表的构造。这里的“经典”是指合并列表用于平移运动补偿的时间预测，其中对于每个参考画面列表，一个运动矢量与CU相关联。
与HEVC相比，经典合并列表的构建如下被丰富。从图10中可以看出，在该过程的第一阶段使用相同的空间和时间预测量。已经添加空间和时间MV预测量之后，如果合并列表包含至少2个空闲位置，则HMVP候选被添加到列表中。在此阶段期间，一个或多个HMVP候选被重复地推送到候选列表的后面。一旦列表中剩余的空闲位置的数量减少到一个，或者当不再有HMVP候选可用时，此迭代HMVP填充步骤将停止。
接下来，如果列表仍然不完整(即，添加的候选数量小于允许的合并候选的最大数量)，则一些成对合并候选被评估并且添加到列表中。此阶段在于迭代地计算以及将成对候选推送到合并候选列表的后面。当合并候选列表完整或不再有成对候选时，此迭代过程停止。
最后，如果经典合并列表仍不完整，则将零运动矢量填充到该列表中。
在图11中例示仿射合并列表的构造。如VVC草案3。仿射合并列表收集涉及基于子块的运动补偿时间预测的所有合并MV预测量。因此，这包括高级时间运动矢量预测(ATMVP)合并模式和仿射合并模式。仿射合并候选代表合并候选，从中推导基于4x4块的仿射运动场用于当前CU，并用在当前CU的时间预测中。
ATMVP在于根据由从当前块的空间邻近块推导的运动矢量所指向的参考画面中的区域在时间上预测当前块的一个或多个运动矢量。
如图10例示，在VVC草案3中，在***成对平均候选之前，首先将HMVP合并候选***到合并列表中。此外，如果在考虑HMVP候选时，合并列表中至少剩余两个空闲位置，则将它们包括在合并候选列表中。实际上，在考虑HMVP候选之前，合并列表构建过程利用空间和时间预测量(如果可用)填充列表。
已经观察到，从编码效率视角来看，该合并列表组织可能不是最佳的。因此，在本申请提出的解决方案中，提出一些方法，以在合并列表中以率失真有效的方式排序HMVP和成对候选，即以相对于现有编解码器(例如VTM-3)改进编码效率的方式。特别地，已经注意到，取决于所允许的最大列表大小(最大6、8或10个候选)，就编码效率而言，在成对候选之前***HMVP候选可能不是最佳的。
由于这些观察，本公开的一个基本原理是将某个(某些)成对候选放在合并候选列表中的HMVP候选之前。提供若干个实施例用于此目的，并且在下面被详细描述。
根据第一实施例，成对平均候选被***在合并候选列表中的HMVP候选之前。图12给出所提出的用以构建平移合并候选列表的过程。该过程由编码器和解码器二者执行。可以看出，修改的过程在于将成对平均和HMVP合并候选放入列表的顺序颠倒。
由图13提供了所提出的过程的进一步修改的版本。与之前过程相比，此变型是进一步细化的过程，其中，HMVP候选***到列表中的条件被修改。这里，一旦合并列表仍不完整，就***HMVP候选。通过这样的事实来证明这种修改是合理的：在考虑HMVP候选之前，成对候选已经被计算并且被推送到列表。
根据图14中所示的另一变型，修改***成对平均候选的条件，使得如果列表中剩余至少两个空闲位置，则使用成对候选。否则，将不考虑成对候选。
根据另一实施例，HMVP与成对候选之间的合并列表的排序取决于合并列表的最大允许大小。实际上，已经观察到，当最大列表大小为8时，将成对候选放在HMVP候选之前可以改进编码效率。否则，如果为6，则观察到编码效率未改变。
因此，在该实施例中提出使顺序取决于最大列表大小。最大列表大小被编码为条带或画面首部参数，并且到目前为止在VVC中最大等于6。在该实施例中，设想允许合并列表大小大于6，可能达到10。
然后，根据最大合并列表大小自动决定合并列表中HMVP和成对之间的顺序。如果它高于或等于阈值(例如，8)，则在合并列表构造过程中在HMVP之前考虑成对候选。否则，首先考虑HMVP候选，就像VVC草稿3中的情况一样。
提出的实施例由图15和16的两个变型例示。在图15所示的第一变型中，与VTM-3相比，考虑HMVP和成对候选的各个条件是不改变的。这意味着，如果合并列表中至少剩余2个空闲位置，则处理HMVP候选。如果列表不完整，则考虑成对候选。
在图16所示的第二变型中，如果正在构造的合并列表中剩余至少两个空闲位置，则处理第一考虑类型的候选(根据动态选择的顺序)。如果合并列表仍不完整，则按所选顺序处理正被处理的第二类候选。
根据另一实施例，HMVP和成对候选在合并列表中交织。这由图17例示。该新的实施例包括用图17中的虚线包围的重复过程。该循环在于交替***HMVP和成对候选，直到不再有HMVP或成对候选可用为止。在循环期间，如果不再有HMVP候选可用，但某些成对候选仍然可用，则循环继续进行，直到不再有成对候选可用为止。以相同的方式，在循环期间，如果不再有成对候选可用，但是某些HMVP候选仍然可用，则循环继续进行，直到不再有HMVP候选为止。
根据本实施例的变型，如图18所示，修改被驱动以检查是否不得不将HMVP候选***到合并列表中的测试。对于要***的第一HMVP候选，该过程测试列表中是否至少有两个空闲位置。如果是，则***HMVP候选，否则，该过程将考虑替代***第一成对候选。接下来对于后续重复，相同条件被用于HMVP和成对候选的***：如果列表仍不完整，则这些候选被添加到列表中。
在JVET-L0090中，已经宣称，在随机访问配置中比在低延迟配置中，添加成对候选的增益更高。HEVC组合的候选在低延迟中比在随机访问配置中更有效。
根据当前实施例，合并候选推导过程取决于参考帧的当前时间结构。如果所有参考帧具有比当前的画面顺序计数(POC)更小的POC，即，参考帧在过去，则考虑当前帧具有低延迟(LD)配置。如果某些参考帧在过去，而其他参考帧在将来，则考虑当前帧具有随机访问(RA)配置。在当前实施例中，如果当前画面具有随机访问配置，则添加成对候选，如果当前画面具有低延迟配置，则添加组合的候选，如图19描绘。
在实施例的变型中，HMVP***位置取决于低延迟配置。
根据另一个实施例，列表中的HMVP和成对平均候选之间的排序是根据过去编码单元中这两个相应候选的使用率推导出的。JVET-L0318(请参阅JVET-L0318“CE4:rankingbased spatial merge candidate list for inter prediction(Test CE4.4.14))”，G.Li,X.Xu,X.Li,S.Liu(腾讯)，中国澳门，2018年十月)提出一种用于帧间预测的基于排名的空间合并候选列表。这里，将类似的方法应用于平移合并候选列表中HMVP和成对之间的排名。因此，只要编码单元被解码或编码，就分别维持HMVP和成对的使用率。然后，将出现次数较高的模式首先放入列表。
提出的各种实施例以速失真有效的方式提供包括HMVP和成对候选的合并列表。图20中例示示出这些实施例的通用基本原理的通用流程图300。对于画面的当前块，在步骤310中，使用当前块之前的块的运动信息来确定一个或多个基于历史的运动矢量预测量候选。此外，在步骤320中，通过对运动矢量预测量候选的列表中的一对运动矢量预测量候选进行平均，确定一个或多个平均的运动矢量预测量候选用于当前块，其中，使用在空间和/或时间上围绕当前块的块的运动信息来形成列表中的运动矢量预测量候选。最后，在，一个或多个平均的运动矢量预测量候选被***到运动矢量预测量候选列表中的一个或多个基于历史的运动矢量预测量候选之前。
本申请描述包括工具，特征，实施例，模型，方法等的多个方面。这些方面中的许多是专门描述的，并且至少为了示出各个特征，通常以听起来可能受到限制的方式来描述。然而，这是为了描述的清楚，并且不限制那些方面的应用或范围。实际上，所有不同方面都可以组合和互换以提供进一步的方面。此外，这些方面也可以与先前申请中描述的方面组合和互换。
本申请中描述和设想的方面可以以许多不同的形式实现。下面的图1，图2和图21提供了一些实施例，但是可以设想其他实施例，并且图1，2和21的讨论不限制实现方式的宽度。这些方面中的至少一个方面一般涉及视频编码和解码，并且至少另一个方面一般涉及传输所生成或编码的比特流。这些和其他方面可以实现为方法，装置，其上存储有用于根据所描述的任何方法编码或解码视频数据的指令的计算机可读存储介质，和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”，“画面”，和“帧”可以互换使用。通常但并非必须，术语“重构”在编码器侧使用，而“解码的”在解码器侧使用。
本文描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的适当操作需要特定顺序的步骤或动作，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。
本申请中描述的各种方法和其他方面可用于修改模块，例如，如图1和图2所示的视频编码器100和解码器200的熵编码和/或解码模块(170、175、275)。而且，本方面不限于VVC或HEVC，并且可以应用于例如其他标准和建议，无论是预先存在的还是将来开发的，以及任何这样的标准和推荐(包括VVC和HEVC)的扩展。除非另外指出或在技术上排除，否则本申请中描述的方面可以单独或组合使用。
在本申请中使用各种数值，例如，合并候选列表中剩余的点数，以及合并候选列表的最大允许大小的阈值。特定值是出于示例目的，并且所描述的方面不限于这些特定值。
图21例示其中实现各个方面和实施例的***的示例的块图。***1000可以体现为包括下面描述的各种组件的设备，并且被配置为执行本文件描述的一个或多个方面。这样的设备的示例包括但不限于各种电子设备，诸如个人计算机，膝上型计算机，智能电话，平板计算机，数字多媒体机顶盒，数字电视接收器，个人视频记录***，连接的家用电器和服务器。***1000的元件单独或者组合地可以体现在单个集成电路，多个IC和/或分立组件中。例如，在至少一个实施例中，***1000的处理和编码器/解码器元件跨越多个IC和/或分立组件分布。在各种实施例中，***1000例如经由通信总线或者通过专用输入和/或输出端口通信地耦合到一个或多个其他***或者其他电子设备。在各种实施例中，***1000配置为实现本文件描述的一个或者多个方面。
***1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，用于实现例如本文件描述的各种方面。处理器1010可以包括嵌入式存储器，输入输出接口和本领域已知的各种其他电路。***1000还可以包括至少一个存储器1020(例如，易失性存储器设备，非易失性存储器设备)。***1000可以包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)，只读存储器(ROM)，可编程只读存储器(PROM)，随机存取存储器(RAM)，动态随机存取存储器(DRAM)，静态随机存取存储器(SRAM)，闪存，磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备，附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可存取存储设备。
***1000包括编码器/解码器模块1030，其被例如配置为处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块1030可以包括其本身的处理器和存储器。编码器/解码器模块1030表示可以包括在设备中以执行编码和/或解码功能的(多个)模块。如所知，设备可以包括编码和解码模块中的一个或两者。另外，如本领域技术人员已知的，编码器/解码器模块1030可以实现为***1000的单独元件，或者可以并入处理器1010内作为硬件和软件的组合。
要加载到处理器1010或编码器/解码器1030上以执行本文件描述的各种方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上用于由处理器1010执行。根据示例性实施例，处理器1010，存储器1020，存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行本文件描述的处理期间存储各种项目中的一个或多个。这种存储的项目可以包括但不限于输入视频，解码视频或解码视频的一部分，比特流，矩阵，变量以及对等式、公式、运算和运算逻辑的中间或最终结果。。
在一些实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令并为编码或解码期间所需的处理提供工作存储器。然而，在其他实施例中，处理设备(例如，处理设备可以是处理器1010或编码器/解码器模块1030)外部的存储器被用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在若干个实施例中，外部非易失性闪存用于存储例如电视的操作***。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作用于视频编码和解码操作的工作存储器，诸如用于MPEG-2(MPEG指代运动画面专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，并且13818-2也称为H.262)，HEVC(HEVC指代高效视频编码，也称为H.265和MPEG-H第2部分)或VVC(通用视频编码，由JVET(联合视频专家组)开发的新标准)。
可以通过如块1130中指示的各种输入设备来提供对***1000的元件的输入。这种输入设备包括但不限于(i)接收例如通过广播者在空中传输的RF信号的射频(RF)部分，(ii)复合输入端子(或者COMP输入端子的集合)，(iii)通用串行总线(USB)输入端子和/或(iv)高清多媒体接口(HDMI)输入端子。在图21中未示出的其他示例包括复合视频。
在各种实施例中，块1130的输入设备具有相关联的相应输入处理元件，如本领域中已知的。例如，RF部分可以与适合于以下的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到频率的频带)，(ii)下转换选择的信号，(iii)再次将频带限制到较窄的频率的频带以选择(例如)在某些实施例中可以称为信道的信号频率带，(iv)解调下转换且频带限制的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个执行这些功能的元件，例如，频率选择器，信号选择器，频带限制器，信道选择器，滤波器，下转换器，解调器，纠错器和解复用器。RF部分可以包括执行各种这些功能(包括例如将接收到的信号下转换为较低频率(例如，中频或近基带频率)或基带)的调谐器。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收通过有线(例如电缆)介质传输的RF信号，并通过滤波，下转换和再次滤波到期望的频率带来执行频率选择。各种实施例重新布置上述(和其他)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其他元件。添加元件可以包括在现有元件之间***元件，例如，***放大器和模数转换器。在各个实施例中，RF部分包括天线。
另外，USB和/或HDMI端子可以包括相应的接口处理器，用于通过USB和/或HDMI连接将***1000连接到其他电子设备。要理解，输入处理的各个方面，例如里德-所罗门纠错，可以例如按照需要在单独的输入处理IC内或在处理器1010内实现。类似地，USB或HDMI接口处理的各个方面可以按照需要在单独的接口IC内或在处理器1010内实现。解调，纠错和解复用的流被提供给各种处理元件，包括例如与存储器和存储元件结合操作的处理器1010和编码器/解码器1030以处理数据流用于在输出设备上呈现。
可以在集成壳体内提供***1000的各种元件。在集成壳体内，可以使用合适的连接布置互连各种元件并在它们之间传输数据，例如，本领域已知的内部总线，包括内部IC(I2C)总线，布线和印刷电路板。。
***1000包括使得能够经由通信信道1060与其他设备通信的通信接口1050。通信接口1050可以包括但不限于配置为在通信信道1060上发送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。。
在各种实施例中，使用例如IEEE 802.11(IEEE指代电气和电子工程师协会)的无线网络诸如Wi-Fi网络将数据流传输到或以其他方式提供给***1000。这些实施例的Wi-Fi信号在适配于Wi-Fi通信的通信信道1060和通信接口1050上接收。这些实施例的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括因特网的外部网络的接入，以允许流传输应用和其他过顶(over-the-top)通信。其他实施例使用机顶盒向***1000提供流传输的数据，该机顶盒通过输入块1130的HDMI连接来传递数据。其他实施例也使用输入块1130的RF连接向***1000提供流传输的数据。如上所述，各种实施例以非流传输方式提供数据。另外，各种实施例使用除Wi-Fi之外的无线网络，例如蜂窝网络或蓝牙网络。
***1000可以向包括显示器1100，扬声器1110和其他***设备1120的各种输出设备提供输出信号。各种实施例的显示器1100包括例如触摸屏显示器，有机发光二极管(OLED)显示器，曲面显示器和/或可折叠显示器中的一个或多个。显示器1100可以用于电视，平板电脑，膝上型计算机，蜂窝电话(移动电话)或其他设备。显示器1100还可以与其他组件集成(例如，如在智能电话中)，或独立(例如，用于膝上型计算机的外部监视器)。其他***设备1120在实施例的各种示例中包括独立数字视频盘(或数字多功能盘)DVR(用于二者)，磁盘播放器，立体***，照明***的一个或多个。各种实施例使用基于***1000的输出提供功能的一个或多个***设备1120。例如，盘播放器执行播放***1000的输出的功能。
在各种实施例中，控制信号在***1000与显示器1100，扬声器1110，或其他***设备1120之间使用诸如AV.Link，消费者电子控制(CEC)之类的信令通信，或在有或没有用户干预的情况下使得设备到设备的控制成为可能的其他通信协议。输出设备可以通过各个接口1070、1080和1090经由专用连接而通信地耦合至***1000。可替代地，输出设备可以经由通信接口1050使用通信信道1060而连接至***1000。显示器1100和扬声器1110可以与***1000的其他组件集成到一个电子设备(诸如，例如电视机)中的单一单元。在各种实施例中，显示接口1070包括显示驱动器，诸如例如，时序控制器(T Con)芯片。
例如，如果输入1130的RF部分是单独的机顶盒的一部分，则显示器1100和扬声器1110可以可替换地与一个或多个其他组件分开。在显示器1100和扬声器1110是外部组件的各种实施例中，可以经由专用输出连接(包括例如HDMI端口，USB端口或COMP输出)提供输出信号。
实施例可以通过由处理器1010实现的计算机软件或者由硬件，或者由硬件和软件的组合来来实施。作为非限制性示例，实施例可以由一个或多个集成电路实现。作为非限制性示例，存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，诸如光存储设备，磁存储设备，基于半导体的存储设备，固定存储器和可移动存储器。作为非限制性示例，处理器1010可以是适合于技术环境的任何类型，并且可以包括微处理器，通用计算机，专用计算机和基于多核架构的处理器中的一个或多个。
各种实现方式涉及解码。本申请中使用的“解码”可以涵盖例如对接收到的编码序列执行的全部或部分处理，以便产生适合于显示的最终输出。在各种实施例中，这样的处理包括通常由解码器执行的一个或多个处理，例如，熵解码，逆量化，逆变换和差分解码。在各种实施例中，这样的处理还或者可替代地包括由本申请中描述的各种实现方式的解码器执行的处理。
作为另外的示例，在一个实施例中，“解码”仅是指熵解码，在另一实施例中，“解码”仅是指差分解码，并且在另一实施例中，“解码”是指熵解码和差分解码的组合。短语“解码处理”意图专门指操作的子集还是广义上指更广泛的解码处理，基于特定描述的上下文将是清楚的，并且相信本领域技术人员将很好地理解。
各种实现方式涉及编码。以与上述关于“解码”的讨论类似的方式，在本申请中使用的“编码”可以涵盖例如对输入视频序列执行的全部或部分处理，以便产生编码的比特流。在各种实施例中，这样的处理包括典型由编码器执行的一个或多个处理，例如，分区，差分编码，变换，量化和熵编码。在各种实施例中，这样的处理还或者可替代地包括由本申请中描述的各种实现方式的编码器执行的处理。
作为另外的示例，在一个实施例中，“编码”仅是指熵编码，在另一实施例中，“编码”仅是指差分编码，并且在另一实施例中，“编码”是指熵编码和差分编码的组合。无论短语“编码处理”是否意图专门指操作的子集还是广义上指更广泛的编码处理，基于特定描述的上下文将是清楚的，并且相信本领域技术人员将很好地理解。。
当附图作为流程图呈现时，应当理解，其还提供对应装置的块图。类似地，当附图作为块图呈现时，应当理解，其还提供对应方法/过程的流程图。
本文描述的实现方式和方面可以在例如方法或处理，装置，软件程序，数据流或信号中实现。即使仅在单个实现形式的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的实现方式也可以以其他形式(例如，装置或程序)来实现。装置可以在例如适当的硬件，软件和固件中实现。方法例如可以在例如处理器中实现，该处理器一般指代处理设备，包括例如计算机，微处理器，集成电路或可编程逻辑设备。处理器也包括通信设备，例如计算机，蜂窝电话，便携/个人数字助理(“PDA”)，以及便于终端用户之间的信息通信的其他设备。
对“一个实施例”或“实施例”或“一个实现方式”或“实现方式”的引用以及其其他变型意味着结合实施例描述的具体特征，结构，特性等包括在至少一个实施例中。因此，在整个文件中出现在各个地方的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型的出现不一定都指代同一个实施例。
另外，本申请可以指代“确定”各种信息。确定信息可以包括例如估计信息，计算信息，预测信息或从存储器检索信息中的一个或多个。
此外，本申请可以指代“访问”各种信息。访问信息可以包括例如接收信息，检索信息(例如，从存储器中)，存储信息，移动信息，复制信息，计算信息，确定信息，预测信息或估计信息中的一个或多个。
另外，本申请可以指代“接收”各种信息。与“访问”一样，接收意图是广义术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器中)中的一个或多个。此外，“接收”典型在操作期间以一种方式或其他方式，涉及例如，存储信息，处理信息，传送信息，移动信息，复制信息，擦除信息，计算信息，确定信息，预测信息或估计信息。
要认识到，例如在“A/B”，“A和/或B”和“A和B中的至少一个”的情况中的以下“/”，“和/或”和“至少一个”的使用意图包括仅对第一所列选项(A)的选择、或仅对第二所列选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的例子，在“A、B和/或C”和“A、B和C中的至少一个”的情况中，这样的措辞意图包括仅对第一所列选项(A)的选择、或仅对第二所列选择(B)的选择、或仅对第三所列选项(C)的选择、或仅对第一和第二所列选项(A和B)的选择、或仅对第一和第三所列选项(A和C)的选择、或仅对第二和第三所列选项(B和C)的选择、或对全部三个选项(A和B和C)的选择。如同对于本领域和相关领域中的普通技术人员来说容易地明显的那样，可以对于所列出的许多项目扩展该措辞。
将对于本领域技术人员明显的是，实现方式可以产生被格式化以携带例如可以存储或传送的信息的各种信号。该信息可以包括例如用于执行方法的指令或由描述的实施方式之一产生的数据。例如，可以格式化信号以携带描述的实施例的比特流。这样的信号可以被格式化，例如作为电磁波(例如，使用频谱的射频部分)或者作为基带信号。格式化可以包括，例如编码数据流和用编码数据流调制载波。信号携带的信息可以是例如模拟或数字信息。如已知，信号可以通过各种不同的有线或无线链路传送。信号可以存储在处理器可读介质上。
Claims (24)
1.一种用于编码或解码画面的方法，包括：
使用画面的当前块之前的块的运动信息，对于当前块确定一个或多个基于历史的运动矢量预测量候选；
通过对运动矢量预测量候选的列表中的一对运动矢量预测量候选进行平均，对于当前块确定一个或多个平均运动矢量预测量候选，其中，使用在空间和时间上围绕当前块的至少一个或多个块的运动信息形成列表中的运动矢量预测量候选；以及
在运动矢量预测量候选的列表中的一个或多个基于历史的运动矢量预测量候选之前，***一个或多个平均运动矢量预测量候选。
2.一种用于编码或解码画面的装置，包括一个或多个处理器，其中，所述一个或多个处理器被配置为：
使用画面的当前块之前的块的运动信息，对于当前块确定一个或多个基于历史的运动矢量预测量候选；
通过平均运动矢量预测量候选的列表中的一对运动矢量预测量候选，对于当前块确定一个或多个平均运动矢量预测量候选，其中，使用在空间和时间上围绕当前块的至少一个或多个块的运动信息形成列表中的运动矢量预测量候选；以及
在运动矢量预测量候选的列表中的一个或多个基于历史的运动矢量预测量候选之前，***一个或多个平均运动矢量预测量候选。
3.根据权利要求1所述的方法，或者根据权利要求2所述的装置，其中，在当前块的基于历史的运动矢量预测量候选之前，将当前块的所有平均运动矢量预测量候选***到运动矢量预测量候选的列表中。
4.根据权利要求3所述的方法或装置，其中，如果在***平均运动矢量预测量候选之后在列表中至少剩余两个空闲位置，则将基于历史的运动矢量预测量候选***到运动矢量预测量候选的列表中。
5.根据权利要求3所述的方法或装置，其中，如果在***平均运动矢量预测量候选之后在列表中剩余任何空闲位置，则将基于历史的运动矢量预测量候选***到运动矢量预测量候选的列表中。
6.根据权利要求3所述的方法或装置，其中，如果运动矢量预测量候选的列表中至少两个空闲位置可用，则仅将平均运动矢量预测量候选***到列表中。
7.根据权利要求1所述的方法，或者根据权利要求2所述的装置，其中，基于历史的运动矢量预测量候选和平均运动矢量预测量候选在运动矢量预测量候选的列表中的排序取决于运动矢量预测量候选的列表的最大列表大小。
8.根据权利要求7所述的方法或装置，其中，对于大于或等于预定义值的最大列表大小，在运动矢量预测量候选的列表中的基于历史的运动矢量预测量候选之前***平均运动矢量预测量候选，并且对于小于预定义值的最大列表大小，在运动矢量预测量候选的列表中的基于历史的运动矢量预测量候选之后***平均运动矢量预测量候选。
9.根据权利要求8所述的方法或装置，其中，最大列表大小被编码为条带或画面首部参数。
10.根据权利要求8或9所述的方法或装置，其中，如果在***平均运动矢量预测量候选之后，在运动矢量预测量候选的列表中剩余至少两个空闲位置，则将基于历史的运动矢量预测量候选***到列表中。
11.根据权利要求8或9所述的方法或装置，其中，如果在列表中剩余至少两个空闲位置，则***基于最大列表大小选择的第一类型的候选的运动矢量预测量候选，并且如果在***第一类型的候选的运动矢量预测量候选之后列表仍不完整，则***第二类型的候选的运动矢量预测量候选。
12.根据权利要求1所述的方法，或者根据权利要求2所述的装置，其中，在运动矢量预测量候选的列表中***基于历史的运动矢量预测量候选和平均运动矢量预测量候选，使得它们彼此交织。
13.根据权利要求12所述的方法或装置，其中，在列表中交替***基于历史的运动矢量预测量候选和平均运动矢量预测量候选，直到不再有基于历史的运动矢量预测量候选或平均运动矢量预测量候选可用为止，并且其中，如果不再有基于历史的运动矢量预测量候选可用，但仍然有一些平均运动矢量预测量候选可用，则***这些平均运动矢量预测量候选，直到不再有成对候选可用为止；如果不再有平均运动矢量预测量候选可用，但仍有一些基于历史的运动矢量预测量候选可用，则***这些基于历史的运动矢量预测量候选，直到不再有基于历史的运动矢量预测量候选可用为止。
14.根据权利要求1所述的方法，或者根据权利要求2所述的装置，其中，基于历史的运动矢量预测量候选和平均运动矢量预测量候选在运动矢量预测量候选的列表中的排序是基于这两类候选在过去的编码单元中的使用。
15.一种用于编码或解码画面的方法，包括：
使用画面的当前块之前的块的运动信息，对于当前块确定一个或多个基于历史的运动矢量预测量候选；
通过对运动矢量预测量候选的列表中的一对运动矢量预测量候选进行平均，对于当前块确定一个或多个平均运动矢量预测量候选，以及一个或多个组合运动矢量预测量候选，组合运动矢量预测量候选是通过对使用参考画面列表的一个运动矢量预测量和使用另一参考画面列表的另一运动矢量预测量进行组合而形成的双向运动矢量预测量；以及
取决于当前块的参考帧的时间结构，将所确定的运动矢量预测量候选***到运动矢量预测量候选的列表中。
16.一种编码或解码画面的装置，包括一个或多个处理器，其中，所述一个或多个处理器被配置为：
使用画面的当前块之前的块的运动信息，对于当前块确定一个或多个基于历史的运动矢量预测量候选；
对于当前块确定一个或多个平均运动矢量预测量候选和一个或多个组合运动矢量预测量候选；以及
取决于当前块的参考帧的时间结构，将所确定的运动矢量预测量候选***到运动矢量预测量候选的列表中。
17.根据权利要求15所述的方法，或者根据权利要求16所述的装置，其中，如果当前块的所有参考帧是先前帧，则将组合运动矢量预测量候选***到运动矢量预测量候选的列表中，而如果一些参考帧是先前帧并且另一些参考帧是后续帧，则***平均运动矢量预测量候选。
18.根据权利要求17所述的方法或装置，其中，在运动矢量预测量候选的列表中，将所确定的基于历史的运动矢量预测量候选***到所确定的当前块的平均运动矢量预测量候选或组合运动矢量预测量候选之前。
19.一种包括指令的计算机程序产品，所述指令在由计算机执行时使所述计算机执行根据权利要求1至18中的任一项所述的方法。
20.一种非暂时性计算机可读介质，其存储可执行程序指令，以使执行该指令的计算机执行根据权利要求1至18中的任一项所述的方法。
21.一种信号，其包括根据权利要求1至18中任一项所述的方法生成的数据。
22.一种比特流，其根据权利要求1至18中的任一项所述的方法被格式化为包括语法元素和编码的图像信息。
23.一种设备，包括：
根据权利要求1至18中任一项所述的装置；和
以下中的至少一个：(i)被配置为接收信号的天线，该信号包括表示图像信息的数据，(ii)频带限制器，被配置为将接收到的信号限制到包括表示图像信息的数据的频带上(iii)显示器，其被配置为显示来自图像信息的图像。
24.根据权利要求23所述的设备，其中，所述设备包括电视、电视信号接收器、机顶盒、网关设备、移动设备、手机、平板电脑或其他电子设备之一。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18306584.6 | 2018-11-20 | ||
| EP18306584 | 2018-11-29 | ||
| PCT/US2019/062975 WO2020112620A2 (en) | 2018-11-29 | 2019-11-25 | Motion vector predictor candidates ordering in merge list |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113228676A true CN113228676A (zh) | 2021-08-06 |
Family
ID=67436948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980073765.9A Pending CN113228676A (zh) | 2018-11-29 | 2019-11-25 | 在合并列表中运动矢量预测量候选排序 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11490112B2 (zh) |
| EP (1) | EP3888371A2 (zh) |
| JP (1) | JP7420807B2 (zh) |
| CN (1) | CN113228676A (zh) |
| MX (1) | MX2021006306A (zh) |
| WO (1) | WO2020112620A2 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024000768A1 (zh) * | 2022-07-01 | 2024-01-04 | Oppo广东移动通信有限公司 | 视频编、解码方法及装置、码流、解码器、编码器、存储介质 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020060374A1 (ko) * | 2018-09-21 | 2020-03-26 | 엘지전자 주식회사 | 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치 |
| US11297330B2 (en) * | 2018-09-22 | 2022-04-05 | Lg Electronics Inc. | Method and apparatus for processing video signal based on inter prediction |
| US20220103854A1 (en) * | 2019-01-31 | 2022-03-31 | Mediatek Inc. | Method and Apparatus of Combined Inter and Intra Prediction for Video Coding |
| WO2020185910A1 (en) * | 2019-03-11 | 2020-09-17 | Vid Scale, Inc. | Intra sub-partitions in video coding |
| CN114079787B (zh) * | 2020-08-10 | 2024-06-14 | 腾讯科技（深圳）有限公司 | 视频解码方法、视频编码方法、装置、设备和存储介质 |
| US11477437B2 (en) * | 2021-01-28 | 2022-10-18 | Lemon Inc. | Coding of motion information |
| WO2023132510A1 (ko) * | 2022-01-04 | 2023-07-13 | 현대자동차주식회사 | 개선된 차분 움직임벡터 머지를 이용하는 비디오 코딩을 위한 방법 및 장치 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6462791B1 (en) * | 1997-06-30 | 2002-10-08 | Intel Corporation | Constrained motion estimation and compensation for packet loss resiliency in standard based codec |
| US7769084B1 (en) * | 2002-07-15 | 2010-08-03 | Apple Inc. | Method for implementing a quantizer in a multimedia compression and encoding system |
| US8797414B2 (en) * | 2010-12-23 | 2014-08-05 | Samsung Electronics Co., Ltd. | Digital image stabilization device |
| JP2015019204A (ja) * | 2013-07-10 | 2015-01-29 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US11082702B2 (en) * | 2017-07-03 | 2021-08-03 | Lg Electronics Inc. | Inter prediction mode-based image processing method and device therefor |
| US10986360B2 (en) * | 2017-10-16 | 2021-04-20 | Qualcomm Incorproated | Various improvements to FRUC template matching |
| KR102306562B1 (ko) * | 2017-11-27 | 2021-09-30 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치 |
| KR20210016581A (ko) * | 2018-06-05 | 2021-02-16 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Ibc 및 atmvp 간의 상호 작용 |
| CN113115046A (zh) * | 2018-06-21 | 2021-07-13 | 北京字节跳动网络技术有限公司 | 分量相关的子块分割 |
| WO2020003283A1 (en) * | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Conditions for updating luts |
| WO2020061395A1 (en) * | 2018-09-21 | 2020-03-26 | Interdigital Vc Holdings, Inc. | Motion vector prediction in video encoding and decoding |
| CN110944193B (zh) * | 2018-09-24 | 2023-08-11 | 北京字节跳动网络技术有限公司 | 视频编码和解码中的加权双向预测 |
| CN116634170A (zh) * | 2018-10-10 | 2023-08-22 | 华为技术有限公司 | 帧间预测方法及装置 |
| JP2020088660A (ja) * | 2018-11-27 | 2020-06-04 | シャープ株式会社 | 動画像符号化装置、動画像復号装置 |
| JP2020108081A (ja) * | 2018-12-28 | 2020-07-09 | 株式会社Ｊｖｃケンウッド | 画像符号化装置、画像符号化方法及び画像符号化プログラム |
| WO2020142685A1 (en) * | 2019-01-03 | 2020-07-09 | Beijing Dajia Internet Information Technology Co., Ltd. | Video coding with triangle prediction |
-
2019
- 2019-11-25 US US17/276,819 patent/US11490112B2/en active Active
- 2019-11-25 CN CN201980073765.9A patent/CN113228676A/zh active Pending
- 2019-11-25 EP EP19827886.3A patent/EP3888371A2/en active Pending
- 2019-11-25 MX MX2021006306A patent/MX2021006306A/es unknown
- 2019-11-25 JP JP2021529468A patent/JP7420807B2/ja active Active
- 2019-11-25 WO PCT/US2019/062975 patent/WO2020112620A2/en unknown
Non-Patent Citations (2)
| Title |
|---|
| LEE等: "CE4-related: Composite merge candidate", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAU, CN, 08–12 OCT. 2018 JVET-L0144_R2, pages 1 - 3 * |
| ZHANG等: "CE4: History-based Motion Vector Prediction (Test 4.4.7)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAO, CN, 3–12 OCT. 2018 JVET-L0266-V2, pages 2 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024000768A1 (zh) * | 2022-07-01 | 2024-01-04 | Oppo广东移动通信有限公司 | 视频编、解码方法及装置、码流、解码器、编码器、存储介质 |
| WO2024000581A1 (zh) * | 2022-07-01 | 2024-01-04 | Oppo广东移动通信有限公司 | 排序方法、解码方法、编码方法、装置、解码器和编码器 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3888371A2 (en) | 2021-10-06 |
| JP2022510878A (ja) | 2022-01-28 |
| US11490112B2 (en) | 2022-11-01 |
| WO2020112620A3 (en) | 2020-07-30 |
| JP7420807B2 (ja) | 2024-01-23 |
| MX2021006306A (es) | 2021-08-11 |
| WO2020112620A2 (en) | 2020-06-04 |
| US20210266586A1 (en) | 2021-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7420807B2 (ja) | マージリストにおける動きベクトル予測子候補の順序付け | |
| CN112889287A (zh) | 广义双向预测和加权预测 | |
| US20230232037A1 (en) | Unified process and syntax for generalized prediction in video coding/decoding | |
| KR20220036982A (ko) | 비디오 인코딩 및 디코딩을 위한 이차 변환 | |
| US20220038681A1 (en) | Video encoding or decoding using block extension for overlapped block motion compensation | |
| KR20210069715A (ko) | 비디오 인코딩 및 디코딩의 아핀 모드 시그널링 | |
| KR20210058938A (ko) | 픽처 인코딩 및 디코딩을 위한 방법 및 디바이스 | |
| US11973969B2 (en) | Method and apparatus for video encoding and decoding using list of predictor candidates | |
| WO2020185492A1 (en) | Transform selection and signaling for video encoding or decoding | |
| EP3687172A1 (en) | Multiple transforms selection signalling | |
| US20230023837A1 (en) | Subblock merge candidates in triangle merge mode | |
| KR20220027173A (ko) | 비디오 인코딩 및 디코딩에서의 모션 벡터 예측 | |
| WO2020112451A1 (en) | Combining affine candidates | |
| US11539951B2 (en) | Method and device for picture encoding and decoding | |
| US20220264147A1 (en) | Hmvc for affine and sbtmvp motion vector prediction modes | |
| US20230336721A1 (en) | Combining abt with vvc sub-block-based coding tools | |
| JP7506063B2 (ja) | ビデオ符号化および復号のための複数のコーディングユニットの中でグループ化するパラメータ | |
| EP3664450A1 (en) | Method and device for picture encoding and decoding | |
| KR20220052991A (ko) | 스위칭가능한 보간 필터들 | |
| KR20220061137A (ko) | 비디오 코딩을 위한 코딩 모드 정보 전파 | |
| WO2020060864A1 (en) | Multiple transforms selection signalling | |
| KR20210074388A (ko) | 코딩 유형 또는 코딩 트리 유형의 시그널링을 이용한 비디오 인코딩 및 디코딩을 위한 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |