CN111357294B

CN111357294B - 基于子块的运动信息列表的简化熵编解码

Info

Publication number: CN111357294B
Application number: CN201980004125.2A
Authority: CN
Inventors: 刘鸿彬; 张莉; 张凯; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2018-10-23
Filing date: 2019-10-23
Publication date: 2022-12-30
Anticipated expiration: 2039-10-23
Also published as: WO2020084511A1; WO2020084510A1; US20210227214A1; US20200382771A1; CN116471403A; CN111357291A; CN111373754A; CN111357294A; WO2020084512A1; US11006106B2

Abstract

描述了涉及包括仿射编解码的自适应控制点选择的数字视频编解码的设备、***和方法。用于视频处理的示例方法包括：为视频的当前块和所述视频的比特流表示之间的转换，选择所述当前块的多个控制点，所述多个控制点包括所述当前块的至少一个非角点，并且所述多个控制点中的每一个代表所述当前块的仿射运动；以及基于所述多个控制点进行所述当前块和所述比特流表示之间的转换。

Description

基于子块的运动信息列表的简化熵编解码

相关申请的交叉引用

根据适用巴黎公约的专利法和/或规定，本申请及时要求于2018年10月23日提交的国际专利申请号PCT/CN2018/111403的优先权和权益。根据美国法律的所有目的，将上述申请的全部公开以引用方式并入本文，作为本申请公开的一部分。

技术领域

本专利文件涉及视频编解码技术、设备和***。

背景技术

尽管视频压缩有所进步，但数字视频仍占因特网和其它数字通信网络上最大的带宽使用。随着能够接收和显示视频的所连接的用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。

发明内容

描述了涉及包括仿射编解码的自适应控制点选择的数字视频编解码的设备、***和方法。所述方法可应用于现有视频编解码标准(例如，高效视频编解码(HEVC))和未来视频编解码标准二者、或视频编解码器。

在一个代表性方面，所公开的技术可用于提供一种视频处理的方法。所述方法包括：为视频的当前块和所述视频的比特流表示之间的转换，选择所述当前块的多个控制点，所述多个控制点包括所述当前块的至少一个非角点，并且所述多个控制点中的每一个代表所述当前块的仿射运动；以及基于所述多个控制点进行所述当前块和所述比特流表示之间的转换。

在另一代表性方面，所公开的技术可用于提供一种视频处理的方法。所述方法包括：为视频的当前块和所述视频的比特流表示之间的转换，确定用于编解码基于Merge的子块Merge候选列表的Merge索引的多个二进制数中的至少一个基于条件使用旁路编解码；以及基于所述确定进行所述转换。

在又一代表性方面，所公开的技术可用于提供一种视频处理的方法。所述方法包括：为视频的当前块和所述视频的比特流表示之间的转换，选择所述当前块的多个控制点，所述多个控制点包括所述当前块的至少一个非角点，并且所述多个控制点中的每一个代表所述当前块的仿射运动；基于所述当前块的一个或多个相邻块的控制点运动矢量(CPMV)，导出所述多个控制点的一个或多个控制点的运动矢量；以及基于所述多个控制点和所述运动矢量，进行所述当前块和所述比特流表示之间的转换。

在又一代表性方面，上述方法以处理器可执行代码的形式实施并存储在计算机可读程序介质中。

在又一代表性方面，公开了一种被配置或可操作以执行上述方法的设备。该设备可以包括被编程为实现该方法的处理器。

在又一代表性方面，视频解码器装置可以实现如本文中所描述的方法。

在附图、说明书和权利要求中更详细地描述了所公开技术的上述方面和特征以及其它方面和特征。

附图说明

图1示出了构建Merge候选列表的示例。

图2示出了空域候选的位置的示例。

图3示出了经受空域Merge候选的冗余检查的候选对的示例。

图4A和图4B示出了基于当前块的尺寸和形状的第二预测单元PU的位置的示例。

图5示出了用于时域Merge候选的运动矢量缩放的示例。

图6示出了用于时域Merge候选的候选位置的示例。

图7示出了生成组合的双向预测Merge候选的示例。

图8示出了构建运动矢量预测候选的示例。

图9示出了用于空域运动矢量候选的运动矢量缩放的示例。

图10示出了使用用于编解码单元(CU)的替代时域运动矢量预测(ATMVP)算法的运动预测的示例。

图11示出了具有由空域-时域运动矢量预测(STMVP)算法使用的子块和相邻块的编解码单元(CU)的示例。

图12示出了用于使用不同的MV精度进行编码的示例流程图。

图13A和图13B示出了将编解码单元(CU)划分成两个三角预测单元(PU)的示例。

图14示出了相邻块的位置的示例。

图15示出了应用第一加权因子组的CU的示例。

图16示出了运动矢量存储的示例。

图17A和图17B示出了当使用重叠块的运动补偿(OBMC)算法时子块的示例快照。

图18示出了用于导出局部亮度补偿(LIC)算法的参数的相邻样本的示例。

图19A和图19B分别示出了简化的4参数和6参数仿射运动模型的示例。

图20示出了每个子块的仿射运动矢量场(MVF)的示例。

图21示出了AF_INTER仿射运动模式的运动矢量预测(MVP)的示例。

图22A和图22B分别示出了4参数和6参数仿射模型的示例。

图23A和图23B示出了AF_Merge仿射运动模式的示例候选。

图24示出了仿射Merge模式的候选位置的示例。

图25示出了模式匹配运动矢量推导(PMMVD)模式中的双边匹配的示例，该模式是基于帧速率上转换(FRUC)算法的特殊Merge模式。

图26示出了FRUC算法中模板匹配的示例。

图27示出了FRUC算法中的单边运动估计的示例。

图28示出了双向光流(BIO)算法使用的光流轨迹的示例。

图29A和图29B示出了使用不具有块扩展的双向光流(BIO)算法的示例快照。

图30示出了基于双边模板匹配的解码器侧运动矢量细化(DMVR)算法的示例。

图31示出了编解码单元的不同控制点的示例。

图32示出了使用时域运动信息的控制点的示例。

图33示出了使用相邻CU的控制点运动矢量(CPMV)来导出OBMC中使用的运动矢量的示例。

图34示出了使用相邻块的CPMV来导出运动矢量预测器的示例。

图35A至图35C示出了用于视频编解码的示例方法的流程图。

图36是用于实现本文件中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。

图37是可以实现所公开的技术的示例视频处理***的框图。

具体实施方式

由于对更高分辨率视频的需求的增加，视频编解码方法和技术在现代技术中普遍存在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且被不断改进以提供更高的编解码效率。视频编解码器将未压缩视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率确定)、编码和解码算法的复杂度、对数据丢失和错误的敏感性、编辑的简易性，随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，高效视频编解码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待最终确定的通用视频编解码标准、或其它当前和/或未来的视频编解码标准。

所公开的技术的实施例可以应用于现有视频编解码标准(例如，HEVC，H.265)和未来的标准以改进压缩性能。在本文件中使用节标题以改进描述的可读性，并且不以任何方式将讨论或实施例(和/或实现方式)限制于仅相应的节。

1.在HEVC/H.265中的帧间预测的示例

多年来，视频编解码标准已经显着改进，并且现在部分地提供高编解码效率和对更高分辨率的支持。诸如HEVC和H.265的最新标准基于混合视频编解码结构，其中使用时域预测加变换编解码。

1.1帧间预测模式的示例

每个帧间预测的PU(预测单元)具有对于一个或两个参考图片列表的运动参数。在一些实施例中，运动参数包括运动矢量和参考图片索引。在其它实施例中，也可以使用inter_pred_idc来信令通知对两个参考图片列表中一个的使用。在另外的其它实施例中，运动矢量可以明确地被编解码为相对于预测器的增量(delta)。

当使用跳过(skip)模式来编解码CU时，一个PU与该CU相关联，并且不存在显著的残差系数，不存在编解码的运动矢量增量或参考图片索引。指定Merge模式，由此从相邻PU——包括空域和时域候选——获得用于当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU，而不仅适用于跳过模式。Merge模式的替代方案是运动参数的显式传输(explicit transmission)，其中运动矢量、每个参考图片列表的对应参考图片索引、参考图片列表使用对每个PU被显式信令通知。

当信令指示要使用两个参考图片列表中的一个时，PU从一个样本块产生。这被称为“单向预测”。单向预测可用于P条带和B条带。

当信令指示要使用两个参考图片列表时，PU从两个样本块产生。这被称为“双向预测”。双向预测仅可用于B条带。

1.1.1构建Merge模式的候选的实施例

当使用Merge模式预测PU时，从比特流解析出指向Merge候选列表(mergecandidates list)中的条目的索引，并且该索引被用于检索运动信息。该列表的构建可以根据以下步骤顺序进行总结：

步骤1：初始候选推导

步骤1.1：空域候选推导

步骤1.2：空域候选的冗余检查

步骤1.3：时域候选推导

步骤2：附加候选***

步骤2.1：创建双向预测候选

步骤2.2：***零运动候选

图1示出了基于上面总结的步骤顺序构建Merge候选列表的示例。对于空域Merge候选推导，在位于五个不同位置的候选中选择最多四个Merge候选。对于时域Merge候选推导，在两个候选中选择最多一个Merge候选。由于在解码器处假设每个PU的候选的数量为常数，因此当候选的数量未达到在条带报头中信令通知的最大Merge候选数量(MaxNumMergeCand)时，生成附加的候选。由于候选的数量是恒定的，因此使用二进制一元截断(TU)来编码最佳Merge候选的索引。如果CU的尺寸等于8，则当前CU的所有PU共享单个Merge候选列表，该单个Merge候选列表与2N×2N预测单元的Merge候选列表相同。

1.1.2构建空域Merge候选

在空域Merge候选的推导中，在位于图2中描绘的位置中的候选中选择最多四个Merge候选。推导的顺序是A₁、B₁、B₀、A₀和B₂。仅当位置A₁、B₁、B₀、A₀的任何PU不可用时(例如，因为该PU属于另一个条带(slice)或片(tile))或者是帧内编解码时，才考虑位置B₂。在添加位置A₁处的候选之后，对剩余候选的添加进行冗余检查，该冗余检查确保具有相同运动信息的候选被排除在列表之外，从而改进编解码效率。

为了降低计算复杂度，在所提到的冗余检查中并未考虑所有可能的候选对。相反，仅考虑与图3中的箭头链接的对，并且仅当如果用于冗余检查的对应候选具有不同的运动信息时，则该候选才被添加到列表中。重复的运动信息的另一个来源是与不同于2Nx2N的分割相关联的“第二PU”。作为示例，图4A和4B分别描绘了针对N×2N和2N×N的情况的第二PU。当当前PU被分割为N×2N时，位置A₁处的候选不被考虑用于列表构建。在一些实施例中，添加该候选可以导致具有相同运动信息的两个预测单元，这对于在编解码单元中仅具有一个PU是冗余的。类似地，当当前PU被分割为2N×N时，不考虑位置B₁。

1.1.3构建时域Merge候选

在此步骤中，只有一个候选被添加到列表中。特别地，在该时域Merge候选的推导中，基于并置(co-located)的PU来导出缩放的运动矢量，该并置的PU属于相对于给定参考图片列表内的当前图片具有POC差异的图片。在条带报头中明确地信令通知用于并置的PU的推导的参考图片列表。

图5示出了用于时域Merge候选(如虚线)的缩放的运动矢量的推导的示例，该用于时域Merge候选(如虚线)的缩放的运动矢量使用POC距离tb和td而从并置的PU的运动矢量被缩放，其中tb被定义为当前图片的参考图片与该当前图片之间的POC差异，并且td被定义为并置图片的参考图片与该并置图片之间的POC差异。时域Merge候选的参考图片索引被设置为等于零。对于B条带，获得两个运动矢量并将其组合以产生双向预测Merge候选，该两个运动矢量中的一个用于参考图片列表0(list 0)而另一个用于参考图片列表1(1ist 1)。

如图6所示，在属于参考帧的并置的PU(Y)中，在候选C₀和C₁之间选择用于时域候选的位置。如果位置C₀处的PU不可用、被帧内编解码的或在当前CTU之外，则使用位置C₁。否则，在时域Merge候选的推导中使用位置C₀。

1.1.4构建附加类型的Merge候选

除了空域-时域Merge候选之外，还存在两种附加类型的Merge候选：组合的双向预测Merge候选和零Merge候选。通过利用空域-时域Merge候选来生成组合的双向预测Merge候选。组合的双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一个候选的第二参考图片列表运动参数组合来生成组合的双向预测候选。如果这两个元组(tuple)提供不同的运动假设，则它们将形成一个新的双向预测候选。

图7示出了该过程的示例，在该过程中原始列表(710，在左方)中具有mvL0和refIdxL0或mvL1和refIdxL1的两个候选被用于创建组合的双向预测Merge候选，该组合的双向预测Merge候选被添加到最终列表(720，在右方)。

零运动候选被***以填充Merge候选列表中的剩余条目，并且因此达到MaxNumMergeCand容量。这些候选具有零空域位移和参考图片索引，该参考图片索引从零开始并且每当新的零运动候选被添加到列表时则增加。这些候选使用的参考帧的数量是分别用于单向和双向预测的1和2。在一些实施例中，不对这些候选执行冗余检查。

1.1.5用于并行处理的运动估计区域的示例

为了加速编码过程，可以并行执行运动估计，由此同时导出给定区域内的所有预测单元的运动矢量。来自空域相邻的Merge候选的推导可能干扰并行处理，因为一个预测单元直到其相关联的运动估计完成才能从相邻PU导出运动参数。为了减轻编解码效率和处理等待时域之间的折衷，可以定义运动估计区域(MER)。MER的尺寸可以在图片参数集(PPS)中使用“log2_parallel_merge_level_minus2”语法元素来信令通知。当MER被定义时，落入相同的区域的Merge候选被标记为不可用，并且因此在列表构建中也不被考虑。

1.2高级运动矢量预测(AMVP)的实施例

AMVP利用运动矢量与相邻PU的空域-时域相关性，该空域-时域相关性用于运动参数的显式传输。通过下述操作来构建运动矢量候选列表：首先检查左方、上方在时域上相邻PU位置的可用性，移除冗余候选，并添加零矢量，以使候选列表为恒定长度。然后，编码器可以从候选列表中选择最佳预测器，并传输指示所选候选的对应索引。与Merge索引信令类似，使用一元截断来编码最佳运动矢量候选的索引。在这种情况下要编码的最大值是2(参见图8)。在以下的节中，提供了关于运动矢量预测候选的推导过程的细节。

1.2.1构建运动矢量预测候选的示例

图8总结了用于运动矢量预测候选的推导过程，并且可以针对具有refidx作为输入的每个参考图片列表来实现。

在运动矢量预测中，考虑两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。如图2先前示出的，对于空域运动矢量候选推导，最终基于位于五个不同位置的每个PU的运动矢量来导出两个运动矢量候选。

对于时域运动矢量候选推导，从基于两个不同的并置位置导出的两个候选中选择一个运动矢量候选。在制作空域-时域候选的第一列表之后，移除列表中的重复的运动矢量候选。如果潜在候选的数量大于2，则从列表中移除其在相关联的参考图片列表内的参考图片索引大于1的运动矢量候选。如果空域-时域运动矢量候选的数量小于2，则将附加的零运动矢量候选添加到列表中。

1.2.2构建空域运动矢量候选

在空域运动矢量候选的推导中，在五个潜在候选中考虑最多两个候选，该五个潜在候选来自位于如图2先前示出的位置的PU，这些位置与运动Merge的那些位置相同。当前PU的左侧的推导顺序被定义为A₀、A₁以及缩放的A₀、缩放的A₁。当前PU的上侧的推导顺序被定义为B₀、B₁、B₂、缩放的B₀、缩放的B₁、缩放的B₂。因此，对于每一侧，存在四种可用作运动矢量候选的情况，其中两种情况不需要使用空域缩放，并且两种情况使用空域缩放。四种不同的情况总结如下。

·无空域缩放

(1)相同的参考图片列表，以及相同的参考图片索引(相同的POC)

(2)不同的参考图片列表，但是相同的参考图片(相同的POC)

·空域缩放

(3)相同的参考图片列表，但是不同的参考图片(不同的POC)

(4)不同的参考图片列表，以及不同的参考图片(不同的POC)

首先检查无空域缩放情况，接下来检查允许空域缩放的情况。不管参考图片列表如何，当POC在相邻PU的参考图片与当前PU的参考图片之间是不同的时，考虑空域缩放。如果左方候选的所有PU都不可用或者是被帧内编解码的，则允许对上方运动矢量进行缩放，以帮助左方和上方MV候选的并行推导。否则，对上侧运动矢量不允许空域缩放。

如图9中的示例所示，对于空域缩放情况，以与时域缩放类似的方式缩放相邻PU的运动矢量。一个差异在于当前PU的参考图片列表和索引被给定为作为输入；实际缩放过程与时域缩放过程相同。

1.2.3构建时域运动矢量候选

除了参考图片索引推导之外，用于时域Merge候选的推导的所有过程与用于空域运动矢量候选的推导的过程相同(如图6中的示例所示)。在一些实施例中，将参考图片索引信令通知给解码器。

2.在联合探索模型(JEM)中的帧间预测方法的示例

在一些实施例中，使用称为联合探索模型(JEM)的参考软件来探索未来的视频编解码技术。在JEM中，在数个编解码工具中采用基于子块的预测，诸如仿射预测、可选时域运动矢量预测(ATMVP)、空域-时域运动矢量预测(STMVP)、双向光流(BIO)、帧速率上转换(FRUC)、局部自适应运动矢量分辨率(LAMVR)、重叠块的运动补偿(OBMC)、局部亮度补偿(LIC)和解码器侧运动矢量细化(DMVR)。

2.1基于子CU的运动矢量预测的示例

在具有四叉树加二叉树(QTBT)的JEM中，每个CU可以具有针对每个预测方向的至多一个运动参数的集合。在一些实施例中，通过将大CU划分为子CU并且导出大CU的所有子CU的运动信息，在编码器中考虑两个子CU级别运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU从比并置参考图片中的当前CU小的多个块中获取运动信息的多个集合。在空域-时域运动矢量预测(STMVP)方法中，通过使用时域运动矢量预测和空域相邻运动矢量来递归地导出子CU的运动矢量。在一些实施例中，并且为了保留用于子CU运动预测的更准确的运动场，可以禁用参考帧的运动压缩。

2.1.1可选时域运动矢量预测(ATMVP)的示例

在ATMVP方法中(其也被称为子块时域运动矢量预测(sbTMVP))，通过从小于当前CU的块中取回运动信息(包括运动矢量和参考索引)的多个集合来修改时域运动矢量预测(TMVP)方法。

图10示出了CU 1000的ATMVP运动预测过程的示例。ATMVP方法以两个步骤预测CU1000内的子CU 1001的运动矢量。第一步骤是使用时域矢量识别参考图片1050中的对应块1051。参考图片1050也称为运动源图片。第二步骤是将当前CU 1000划分为子CU 1001，并从对应于每个子CU的块中获得运动矢量以及每个子CU的参考索引。

在第一步骤中，参考图片1050和对应块由当前CU 1000的空域相邻块的运动信息确定。为了避免相邻块的重复扫描过程，使用当前CU 1000的Merge候选列表中的第一Merge候选。第一可用运动矢量及其相关联的参考索引被设置为时域矢量和运动源图片的索引。这样，与TMVP相比，可以更准确地识别对应块，其中对应块(有时称为并置块)总是相对于当前CU处于右下或中心位置。

在第二步骤中，通过向当前CU的坐标添加时域矢量，由运动源图片1050中的时域矢量识别子CU 1051的对应块。对于每个子CU，其对应块的运动信息(例如，覆盖中心样本的最小运动网格)用于导出子CU的运动信息。在识别出对应的N×N块的运动信息之后，以与HEVC的TMVP相同的方式将其转换为当前子CU的运动矢量和参考索引，在该方式中应用运动缩放和其它过程。例如，解码器检查是否满足低延迟条件(例如，当前图片的所有参考图片的POC小于当前图片的POC)并且可能使用运动矢量MVx(例如，对应于参考图片列表X的运动矢量)用于预测每个子CU的运动矢量MVy(例如，其中X等于0或1并且Y等于1-X)。

2.1.2空域-时域运动矢量预测(STMVP)的示例

在STMVP方法中，按照光栅扫描顺序递归地导出子CU的运动矢量。图11示出了具有四个子块和相邻块的一个CU的示例。考虑包括四个4×4子CU A(1101)、B(1102)、C(1103)和D(1104)的8×8CU 1100。当前帧中的相邻4×4块标记为(1111)、b(1112)、c(1113)和d(1114)。

子CUA的运动推导通过识别其两个空域邻域(neighbor)开始。第一邻域是子CU A1101上方的N×N块(块c 1113)。如果该块c(1113)不可用或者是帧内编解码，则检查(从左到右，从块c 1113开始)子CU A(1101)上方的其它N×N块。第二邻域是子CU A 1101左侧的块(块b 1112)。如果块b(1112)不可用或者是帧内编解码，则检查子CU A 1101左侧的其它块(从上到下，从块b 1112开始)。对每个列表从相邻块获得的运动信息被缩放到给定列表的第一参考帧。接下来，通过遵循与HEVC中指定的TMVP推导相同的过程来导出子块A 1101的时域运动矢量预测(TMVP)。在块D 1104处的并置块的运动信息被相应地取回和缩放。最后，在提取和缩放运动信息之后，对每个参考列表分开平均所有可用运动矢量。平均运动矢量被指定为当前子CU的运动矢量。

2.1.3子CU运动预测模式信令通知的示例

在一些实施例中，子CU模式被启用作为附加的Merge候选，并且不需要附加的语法元素来信令通知模式。添加两个附加的Merge候选以合并每个CU的候选列表以表示ATMVP模式和STMVP模式。在其它实施例中，如果序列参数集指示启用了ATMVP和STMVP，则可以使用多达七个Merge候选。附加Merge候选的编码逻辑与HM中的Merge候选的编解码逻辑相同，这意味着，对于P或B条带中的每个CU，两个附加Merge候选可能需要再进行两次RD检查。在一些实施例中，例如JEM，Merge索引的所有二进制位由CABAC(基于上下文的自适应二进制算术编解码)进行上下文编解码。在其它实施例中，例如，HEVC，仅对第一个二进制数(bin)进行上下文编解码，并且对剩余的二进制数进行上下文旁路编解码。

2.2自适应运动矢量差异分辨率的示例

在一些实施例中，当条带报头中的use_integer_mv_flag等于0时，以四分之一亮度样本为单位，信令通知(PU的运动矢量与预测的运动矢量之间的)运动矢量差异(MVD)。在JEM中，引入了局部自适应运动矢量分辨率(LAMVR)。在JEM中，MVD可以以四分之一亮度样本、整数亮度样本或四个亮度样本为单位进行编解码。在编解码单元(CU)级别控制MVD分辨率，并且向具有至少一个非零MVD分量的每个CU，有条件地信令通知MVD分辨率标志。

对于具有至少一个非零MVD分量的CU，信令通知第一标记，以指示是否在CU中使用四分之一亮度样本MV精度。当第一标志(等于1)指示未使用四分之一亮度样本MV精度时，信令通知另一个标志，以指示是否使用整数亮度样本MV精度或四个亮度样本MV精度。

当CU的第一MVD分辨率标志为零，或未针对CU编解码(意味着CU中的所有MVD均为零)时，四分之一亮度样本MV分辨率被用于该CU。当CU使用整数亮度样本MV精度或四个亮度样本MV精度时，该CU的AMVP候选列表中的MVP被取整到对应的精度。

在编码器中，使用CU级别RD检查来确定将哪个MVD分辨率将用于CU。换言之，对于每个MVD分辨率，执行CU级RD检查三次。为了加快编码器速度，在JEM中应用以下编码方案：

·在具有正常四分之一亮度样本MVD分辨率的CU的RD检查期间，存储该当前CU的运动信息(整数亮度样本精度)。对于具有整数亮度样本和4个亮度样本MVD分辨率的相同CU，存储的运动信息(取整后)被用作RD检查期间进一步小范围运动矢量细化的起点，使得耗时的运动估计过程不重复三次。

·有条件地调用具有4个亮度样本MVD分辨率的CU的RD检查。对于CU，当整数亮度样本MVD分辨率的RD代价远大于四分之一亮度样本MVD分辨率的RD代价时，跳过该CU的4个亮度样本MVD分辨率的RD检查。

编码过程在图12中示出。首先，测试1/4像素MV并计算RRD代价并将RRD代价表示为RDCost0，然后测试整数MV并将RRD代价表示为RDCost1。如果RDCost1＜th*RDCost0(其中th是正值阈值)，则测试4像素MV；否则，跳过4像素MV。基本上，当检查整数或4像素MV时，已知1/4像素MV的运动信息和RD代价等，其可以重复使用来加速整数或4像素MV的编码过程。

2.3较高的运动矢量存储精度的示例

在HEVC中，运动矢量精度是四分之一像素(pel)(用于4∶2∶0视频的四分之一亮度样本和八分之一色度样本)。在JEM中，内部运动矢量存储和Merge候选的精度增加到1/16像素。较高的运动矢量精度(1/16像素)用于以跳过模式/Merge模式编解码的CU的运动补偿帧间预测。对于使用正常AMVP模式编解码的CU，使用整数像素或四分之一像素运动。

具有与HEVC运动补偿插值滤波器相同的滤波器长度和归一化因子的SHVC上采样插值滤波器，被用作附加分数像素位置的运动补偿插值滤波器。在JEM中色度分量运动矢量精度是1/32样本，通过使用两个相邻1/16像素分数位置的滤波器的平均值，来导出1/32像素分数位置的附加插值滤波器。

2.4三角预测单元模式的示例

三角预测单元模式的概念是引入用于运动补偿预测的新的三角分割。如图13A和13B所示，三角预测单元模式在对角线方向或逆对角线方向上将CU划分成两个三角预测单元。CU中的每个三角预测单元是使用从单向预测候选列表导出的其自身的单向预测运动矢量和参考帧索引进行帧间预测的。在对三角预测单元进行预测后，对于对角线边缘进行自适应加权处理。然后，将变换和量化处理应用于整个CU。应当注意的是，此模式仅应用于跳过和Merge模式。

2.4.1单向预测候选列表

单向预测候选列表包括五个单向预测运动矢量候选。如图14所示，它是从七个相邻块导出的，该七个相邻块包括五个空域相邻块(1至5)和两个时域上并置的块(6至7)。收集七个相邻块的运动矢量，并按照单向预测运动矢量、双向预测运动矢量的L0运动矢量、双向预测运动矢量的L1运动矢量的顺序、以及双向预测运动矢量的L0和L1运动矢量的平均运动矢量的顺序，将其放入单向预测候选列表中。如果候选数量少于五个，则将零运动矢量添加到列表中。

2.4.2自适应加权处理

在对每个三角预测单元进行预测后，对两个三角预测单元之间的对角线边缘应用自适应加权处理，以导出整个CU的最终预测。两个加权因子组定义如下：

第一加权因子组：分别将{7/8、6/8、4/8、2/8、1/8}和{7/8、4/8、1/8}用于亮度和色度样本；

第二加权因子组：分别将{7/8、6/8、5/8、4/8、3/8、2/8、1/8}和{6/8、4/8、2/8}用于亮度和色度样本。

基于两个三角预测单元的运动矢量的比较来选择一个加权因子组。当两个三角预测单元的参考图片彼此不同或者它们的运动矢量差大于16个像素时，使用第二加权因子组。否则，使用第一加权因子组。图15示出了该自适应加权处理的示例。

2.4.3运动矢量存储

三角预测单元的运动矢量(图16中的Mv1和Mv2)以4×4的网格存储。对于每个4×4的网格，存储单向预测或是双向预测运动矢量取决于4×4网格在CU中的位置。如图16所示，单向预测运动矢量(Mv1或Mv2)存储在位于非加权区域的4×4网格。在另一方面，双向预测运动矢量存储在位于加权区域的4×4网格。根据以下规则，从Mv1和Mv2导出双向预测运动矢量：

1)在Mv1和Mv2具有来自不同方向(L0或L1)的运动矢量的情况下，将Mv1和Mv2简单地组合以形成双向预测运动矢量。

2)在Mv1和Mv2都来自相同L0(或L1)方向的情况下，

2a)如果Mv2的参考图片与L1(或L0)参考图片列表中的图片相同，则将Mv2缩放到该图片。将Mv1和缩放的Mv2组合以形成双向预测运动矢量。

2b)如果Mv1的参考图片与L1(或L0)参考图片列表中的图片相同，则将Mv1缩放到该图片。将缩放后的Mv1和Mv2组合以形成双向预测运动矢量。

2c)否则，只为加权区域存储Mv1。

2.5重叠块的运动补偿(OBMC)的示例

在JEM中，OBMC可以在CU级别使用语法元素进行开关。当JEM中使用OBMC时，对除去CU的右侧边界和底部边界的所有运动补偿(MC)块边界执行OBMC。此外，它应用于亮度和色度分量。JEM中，MC块对应于编解码块。当使用子CU模式(包括子CU Merge、仿射以及FRUC模式)对CU进行编解码时，CU的每个子块是MC块。为了统一处理CU的边界，在子块的尺寸设置为4x4的情况下，对所有MC块边界以子块级别执行OBMC，如图17A和图17B所示。

图17A示出了CU/PU边界处的子块，并且阴影子块是应用OBMC的位置。类似地，图17B示出了ATMVP模式中的子PU。

当OBMC应用于当前子块时，除了当前MV之外，四个相邻子块的矢量(如果可用且与当前运动矢量不完全相同)也会被用于导出当前子块的预测块。组合这些基于多个运动矢量的多个预测块以生成当前子块的最终预测信号。

基于相邻子块的运动矢量的预测块被表示为PN，其中N指示相邻上方、下方、左侧和右侧的子块的索引，并且基于当前子块的运动矢量的预测块被表示为PC。当PN基于相邻子块的运动信息且该运动信息与当前子块的运动信息相同时，不从PN执行OBMC。否则，将PN的每个样本添加到PC中的相同样本中，即将四行/列PN添加到PC。加权因子{1/4，1/8，1/16，1/32}用于PN，并且加权因子{3/4，7/8，15/16，31/32}用于PC。例外是对于小MC块(即，当编解码块的高度或宽度等于4或CU使用子CU模式编解码时)仅将PN的两行/列添加到PC。在这种情况下，加权因子{1/4，1/8}用于PN，并且加权因子{3/4，7/8}用于PC。对于基于垂直(水平)相邻子块的运动矢量生成的PN，将PN的相同行(列)中的样本添加到具有相同加权因子的PC。

在JEM中，对于尺寸小于或等于256个亮度样本的CU，信令通知CU级别标志以指示是否对当前CU应用OBMC。对于尺寸大于256个亮度样本或未使用AMVP模式编解码的CU，默认情况下应用OBMC。在编码器处，当OBMC应用于CU时，在运动估计阶段期间考虑其影响。由OBMC使用顶部相邻块和左相邻块的运动信息形成的预测信号用于补偿当前CU的原始信号的顶部边界和左侧边界，并且然后应用正常运动估计过程。

2.6局部亮度补偿(LIC)的示例

LIC基于用于亮度变化的线性模型，使用缩放因子a和偏移b。并且，针对每个帧间模式编解码的编解码单元(CU)自适应地启用或禁用LIC。

当LIC应用于CU时，采用最小平方误差方法，通过使用当前CU的相邻样本及其对应的参考样本来导出参数a和b。图18示出了用于导出IC算法的参数的相邻样本的示例。具体地，并且如图18所示，使用了该CU的子采样(2∶1子采样)的相邻样本和参考图片中的对应样本(其由当前CU或子CU的运动信息识别)。IC参数被导出并被分别应用于每个预测方向。

当使用Merge模式对CU进行编解码时，以类似于Merge模式中的运动信息复制的方式从相邻块复制LIC标志；否则，向该CU信令通知LIC标志以指示LIC是否适用。

当对图片启用LIC时，需要附加的CU级别RD检查以确定是否对CU应用LIC。当对CU启用LIC时，分别对整数像素运动搜索和分数像素运动搜索，使用均值移除的绝对差和(mean-removed sum of absolute diffefference，MR-SAD)以及均值移除的绝对哈达玛变换差和(mean-removed sum of absolute Hadamard-transformed difference，MR-SATD)，而不是SAD和SATD。

为了降低编码复杂度，在JEM中应用以下编码方案：

--当当前图片与其参考图片之间不存在明显的亮度变化时，对整个图片禁用LIC。为了识别这种情况，在编码器处，计算当前图片与该当前图片的每个参考图片的直方图。如果当前图片与该当前图片的每个参考图片之间的直方图差异小于给定阈值，则对当前图片禁用LIC；否则，对当前图片启用LIC。

2.7仿射运动补偿预测的示例

在HEVC中，仅将平移运动模型应用于运动补偿预测(MCP)。然而，相机和对象可以具有多种运动，例如放大/缩小、旋转、透视运动和其它不规则的运动。在另一方面，JEM应用简化的仿射变换运动补偿预测。图19A示出了由两个控制点运动矢量V₀和V₁描述的块1900的仿射运动场的示例。块1900的运动矢量场(MVF)可以由以下等式描述：

如图19A所示，(v_0x，v_0y)是左上角控制点的运动矢量，并且(v_1x，v_1y)是右上角控制点的运动矢量。同样地，对于6参数仿射模型，块的MVF可描述为：

这里，如图19B所示，(v_0x，v_0y)是左上角控制点的运动矢量，并且(v₁x，v_1y)是右上角控制点的运动矢量。并且(v_2x，v_2y)为左下角控制点的运动矢量，(x，y)表示代表点相对于当前块内的左上角样本的坐标。在VTM中，代表点被定义为子块的中心位置，例如，当子块的左上角相对于当前块内的左上角样本的坐标为(xs，ys)时，代表点的坐标被定义为(xs+2，ys+2)。

为了简化运动补偿预测，可以应用基于子块的仿射变换预测。子块尺寸M×N如下导出：

这里，MvPre是运动矢量分数精度(例如，在JEM中为1/16)。(v_2x，v_2y)是左下控制点的运动矢量，根据等式(1)计算。如果需要，可以向下调整M和N，以使其分别为w和h的除数。

图20示出了块2000的每个子块的仿射MVF的示例。为了导出每个M×N子块的运动矢量，可以根据等式(1a)计算每个子块的中心样本的运动矢量，并将其取整到运动矢量分数精度(例如，在JEM中为1/16)。然后，可以应用运动补偿插值滤波器，以利用导出的运动矢量生成每个子块的预测。在MCP之后，每个子块的高精度运动矢量以与正常运动矢量相同的精度被取整并保存。

2.7.1 AF_INTER模式的示例

在JEM中，存在两种仿射运动模式：AF_INTER模式和AF_MERGE模式。对于宽度和高度均大于8的CU，可以应用AF_INTER模式。在比特流中信令通知CU级别中的仿射标志，以指示是否使用AF_INTER模式。在AF_INTER模式中，使用相邻块构建具有运动矢量对{(v₀，v₁)|v₀＝{v_A，v_B，v_c}，v₁＝{v_D，v_E}}的候选列表。

图21示出了用于在AF_INTER模式中的块1700的运动矢量预测(MVP)的示例。如图21所示，从子块A、B或C的运动矢量中选择v₀。来自相邻块的运动矢量可以根据参考列表来缩放。运动矢量还可以根据相邻块的参考的图片顺序计数(POC)、当前CU的参考的POC和当前CU的POC之间的关系来缩放。从相邻子块D和E中选择v₁的方法是类似的。如果候选列表的数量小于2，则由通过重复每个AMVP候选而构建的运动矢量对来填充该列表。当候选列表大于2时，首先可以根据相邻运动矢量(例如，基于候选对中的两个运动矢量的相似性)对候选进行分类。在一些实现方式中，保留前两个候选。在一些实现方式中，使用速率失真(RD)代价检查来确定选择哪个运动矢量对候选作为当前CU的控制点运动矢量预测(CPMVP)。可以在比特流中信令通知指示候选列表中的CPMVP的位置的索引。在确定当前仿射CU的CPMVP之后，应用仿射运动估计，并找到控制点运动矢量(CPMV)。然后在比特流中信令通知CPMV与CPMVP的差异。

在AF_INTER模式中，当使用4/6参数仿射模式时，需要2/3控制点，并且因此需要为这些控制点编解码2/3MVD，如图22A和22B所示。在现有实现方式中，MV可以如下导出，例如，它从mvd₀预测mvd₁和mvd₂。

在本文中，

mvd_i和mv₁分别是左顶像素(i＝0)、右顶像素(i＝1)或左底像素(i＝2)的预测运动矢量、运动矢量差异和运动矢量，如图22B所示。在一些实施例中，两个运动矢量(例如，mvA(xA，yA)和mvB(xB，yB))的相加等于单独地两个分量的求和。例如，newMV＝mvA+mvB意味着newMV的两个分量分别设置为(xA+xB)和(yA+yB)。

2.7.2 AF_INTER模式中的快速ME算法的示例

在仿射模式的一些实施例中，需要联合确定2个或3个控制点的MV。直接联合地搜索多个MV在计算上复杂的。在一个示例中，提出了快速仿射ME算法并将其用于VTM/BMS。

例如，快速仿射ME算法是针对4参数仿射模型描述的，并且该思想可以扩展到6参数仿射模型：

用a’替代(a-1)使得运动矢量可以重写为：

如果假设两个控制点(0，0)和(0，w)的运动矢量已知，则可从等式(5)中将仿射参数导出为：

运动矢量可以以矢量的形式重写为：

这里，P＝(x，y)是像素位置。

并且等式(8)

在一些实施例中，并且在编码器处，可以迭代地导出AF_INTER的MVD。将MVi(P)表示为在位置P的第i次迭代中导出的MV，并且将dMV_C ⁱ表示为在第i次迭代中针对MVC更新的增量。然后在第(i+1)次迭代中，

将Pic_ref表示为参考图片并将Pic_cur表示为当前图片并表示Q＝P+MVⁱ(P)。如果MSE用作匹配准则，则需要最小化的函数可以写为：

如果假设

足够小，则可以基于1阶泰勒展开将

重写为近似值，如：

这里，

如果采用表示Eⁱ⁺¹(P)＝Pic_cur(P)-Pic_ref(Q)，则：

术语

可以通过将误差函数的导数设置为零，并且然后根据

计算控制点(0，0)和(0，w)的增量MW而导出，如下：

在一些实施例中，该MVD推导处理可以迭代n次，并且最终MVD可以如下计算：

在前述实现中，从由mvd₀表示的控制点(0，0)的增量MV预测由mvd₁表示的预测控制点(0，w)的增量MV导致

仅针对mvd₁而被编码。

2.7.3AF_Merge模式的示例

当在AF_Merge模式下应用CU时，它从有效的相邻重构块中获取用仿射模式编解码的第一块。图23A示出了当前CU 2300的候选块的选择顺序的示例。如图23A所示，选择顺序可以是从当前CU 2300的左(2301)、上(2302)、右上(2303)、左下(2304)到左上(2305)。图23B示出了在AF_Merge模式中当前CU 2300候选块的另一个示例。如图23B所示，如果相邻的左下块2301以仿射模式编解码，则导出包含子块2301的CU左上角、右上角和左下角的运动矢量v₂、v₃和v4。当前CU 2300左上角的运动矢量v₀。是基于v₂、v₃和v₄计算的。可以相应地计算当前CU右上方的运动矢量v₁。

根据等式(1a)中的仿射运动模型计算当前CU的CPMV v₀和v₁后，可以生成当前CU的MVF。为了识别当前CU是否使用AF_Merge模式编解码，当存在至少一个相邻块以仿射模式编解码时，可以在比特流中信令通知仿射标志。

在一些实施例中，可以用以下步骤构建的仿射Merge候选列表：

1)***继承的仿射候选

继承的仿射候选是指该候选是从其有效相邻仿射编解码块的仿射运动模型导出的。在共同的基础上，如图24所示，候选位置的扫描顺序为：A1、B1、B0、A0和B2。

在导出候选之后，进行完全修剪来检查是否已经将相同的候选***了列表。如果存在相同的候选，则丢弃导出的候选。

2)***构建仿射候选

如果仿射Merge候选列表中的候选数目小于MaxNumAffineCand(本文中设为5)，则将构建仿射候选***候选列表中。构建仿射候选是指该候选是通过组合每个控制点的相邻运动信息构建的。

首先从图24所示的规定的空域领域和时域领域导出控制点的运动信息。CPk(k＝1，2，3，4)表示第k个控制点。A0，A1，A2，B0，B1，B2和B3是用于预测CPk(k＝1，2，3)的空域位置；T是用于预测CP4的时域位置。

CP1、CP2、CP3和CP4的坐标分别为(0，0)，(W，0)，(H，0)和(W，H)，其中W和H是当前块的宽度和高度。

按照以下优先顺序获得每个控制点的运动信息：

对于CP1，检查优先级为B2->B3->A2。如果B2可用，则使用B2。否则，如果B2不可用，则使用B3。如果B2和B3都不可用，则使用A2。如果三个候选都不可用，则无法获得CP1的运动信息。

对于CP2，检查优先级为B1->B0；

对于CP3，检查优先级为A1->A0；

对于CP4，使用T。

其次，使用控制点的组合来构建仿射Merge候选。

需要三个控制点的运动信息来构建6参数仿射候选。可以从以下四个组合中的一个来选择这三个控制点({CP1，CP2，CP4}，{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4})。组合{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4}将被转换为由左上、右上和左下控制点表示的6参数运动模型。

需要两个控制点的运动信息来构建4参数仿射候选。可以从以下六个组合中的一个来选择这两个控制点({CP1，CP4}，{CP2，CP3}，{CP1，CP2}，{CP2，CP4}，{CP1，CP3}，{CP3，CP4})。组合{CP1，CP4}，{CP2，CP3}，{CP2，CP4}，{CP1，CP3}，{CP3，CP4}将被转换为由左上和右上控制点表示的4参数运动模型。

按以下顺序将构建仿射候选的组合***到候选列表中：

{CP1，CP2，CP3}，{CP1，CP2，CP4}，{CP1，CP3，CP4}，{CP2，CP3，CP4}，{CP1，CP2}，{CP1，CP3}，{CP2，CP3}，{CP1，CP4}，{CP2，CP4}，{CP3，CP4}。

对于组合的参考列表X(X为0或1)，选择控制点中具有最高使用率的参考索引作为列表X的参考索引，并且缩放指向不同参考图片的运动矢量。

在导出候选之后，进行完全修剪处理，以检查是否已将相同的候选***到列表中。如果存在相同的候选，则丢弃导出的候选。

3)填充零运动矢量

如果仿射Merge候选列表中的候选数目小于5，则在候选列表中***具有零参考索引的零运动矢量，直到列表已满。

2.8模式匹配运动矢量推导(PMMVD)的示例

PMMVD模式是一种基于帧速率上转换(FRUC)方法的特殊Merge模式。使用该模式，块的运动信息不被信令通知，而是在解码器侧导出。

当CU的Merge标志为真时，可以向该CU信令通知FRUC标志。当FRUC标志为假时，可以信令通知Merge索引，并使用普通的Merge模式。当FRUC标志为真时，可以信令通知附加的FRUC模式标志以指示将使用哪种方法(例如，双边匹配或模板匹配)来导出该块的运动信息。

在编码器侧，关于是否对CU使用FRUC Merge模式的决定是基于如对正常Merge候选那样所做的RD代价选择。例如，通过使用RD代价选择来检查CU的多种匹配模式(例如，双边匹配和模板匹配)。导致最小代价的匹配模式与其它CU模式进一步比较。如果FRUC匹配模式是最有效的模式，则对于CU将FRUC标志设置为真，并且使用有关匹配模式。

通常，FRUC Merge模式中的运动推导过程有两个步骤。首先执行CU级别运动搜索，接下来执行子CU级别运动细化。在CU级别，基于双边匹配或模板匹配为整个CU导出初始运动矢量。首先，生成MV候选列表，并且选择导致最小匹配代价的候选作为进一步CU级别细化的起点。然后，围绕起始点执行基于双边匹配或模板匹配的局部搜索。将导致最小匹配代价的MV作为整个CU的MV。随后，运动信息在子CU级别进一步细化，其中导出的CU运动矢量作为起点。

例如，针对W×H CU运动信息推导执行以下推导处理。在第一阶段，导出整体W×HCU的MV。在第二阶段，CU进一步划分为M×M子CU。如等式(3)中计算M的值，D是预定义的划分深度，其在JEM中默认设置为3。然后导出每个子CU的MV。

图25示出了帧速率上转换(FRUC)方法中使用的双边匹配的示例。双边匹配用于通过在两个不同参考图片(2510，2511)中沿当前CU(2000)的运动轨迹找到两个块之间的最接近匹配，来导出当前CU的运动信息。在连续运动轨迹的假设下，指向两个参考块的运动矢量MV0(2501)和MV1(2502)与在当前图片和两个参考图片之间的时域距离——例如TD0(2503)和TD1(2504)——成比例。在一些实施例中，当当前图片(2500)在时域上在两个参考图片(2510，2511)之间并且从当前图片到两个参考图片的时域距离相同时，双边匹配变为基于镜像的双向MV。

图26示出了帧速率上转换(FRUC)方法中使用的模板匹配的示例。模板匹配可以用于通过找到在当前图片中的模板(例如，当前CU的顶部相邻块和/或左方相邻块)与参考图片2610中的块(例如，具有与模板相同的尺寸)之间的最接近匹配，来导出当前CU 2600的运动信息。除了上述FRUC Merge模式之外，模板匹配也可以适用于AMVP模式。在JEM和HEVC两者中，AMVP有两个候选。使用模板匹配方法，可以导出新的候选。如果由模板匹配的新导出的候选与第一现有AMVP候选不同，则将其***AMVP候选列表的最开始，并且然后将列表尺寸设置为2(例如，通过移除第二现有AMVP候选)。当应用于AMVP模式时，仅应用CU级别搜索。

CU级别的MV候选集合可以包括：(1)如果当前CU处于AMVP模式，则为原始AMVP候选，(2)所有Merge候选，(3)插值MV场(稍后描述)中的数个MV，以及(4)顶部和左方相邻的运动矢量。

当使用双边匹配时，Merge候选的每个有效MV可以被用作输入，以在假设双边匹配的情况下生成MV对。例如，Merge候选的一个有效MV是在参考列表A中的(MVa，ref_a)。然后，在其它参考列表B中找到其配对双边MV的参考图片ref_b，使得ref_a和ref_b在时域上位于当前图片的不同侧。如果参考列表B中这样的ref_b不可用，则ref_b被确定为与ref_a不同的参考，并且ref_b到当前图片的时域距离是列表B中的最小的一个。在确定ref_b之后，基于当前图片与ref_a、ref_b之间的时域距离，通过缩放MVa来导出MVb。

在一些实现方式中，来自插值MV场的四个MV也可以被添加到CU级别候选列表。更具体地，添加当前CU的位置(0，0)、(W/2，0)、(0，H/2)和(W/2，H/2)处的插值MV。当FRUC应用于AMVP模式时，原始AMVP候选也被添加到CU级别MV候选集合。在一些实现方式中，在CU级别，用于AMVP CU的15个MV、用于Merge CU的13个MV可以被添加到候选列表。

子CU级别的MV候选集合包括：

(1)从CU级别搜索确定的MV，

(2)顶部、左方、左顶和右顶的相邻MV，

(3)来自参考图片的并列MV的缩放版本，

(4)一个或多个ATMVP候选(例如，最多四个)，以及

(5)一个或多个STMVP候选(例如，最多四个)。

来自参考图片的缩放MV如下导出。遍历两个列表中的参考图片。参考图片中的子CU的并列位置处的MV被缩放到起始CU级别MV的参考。ATMVP和STMVP候选可以是前四个候选。在子CU级别，一个或多个MV(例如，最多十七个)被添加到候选列表中。

插值MV场的生成

在对帧进行编解码之前，基于单边ME为整个图片生成插值运动场。然后，运动场可以稍后用作CU级别或子CU级别MV候选。

在一些实施例中，两个参考列表中的每个参考图片的运动场以4×4块级别遍历。图27示出了在FRUC方法中的单向运动估计(ME)2700的示例。对于每个4×4块，如果与块相关联的运动通过当前图片中的4×4块并且该块尚未被分配任何插值运动，则参考块的运动根据时域距离TD0和TD1(与HEVC中的TMVP的MV缩放的方式相同的方式)缩放到当前图片，并且将缩放的运动分配给当前帧中的块。如果无缩放的MV被分配到4×4块，则在插值的运动场中将块的运动标记为不可用。

插值和匹配代价

当运动矢量指向分数样本位置时，需要运动补偿插值。为了降低复杂度，双边匹配和模板匹配两者可以使用双线性插值而不是普通的8抽头HEVC插值。

匹配代价的计算在不同的步骤略有不同。当从CU级别的候选集合中选择候选时，匹配代价可以是双边匹配或模板匹配的绝对差之和(SAD)。在确定起始MV之后，如下计算子CU级别搜索的双边匹配的匹配代价C：

其中w是一个加权因子。在一些实施例中，w根据经验设置为4，MV和MVs分别指示当前MV和起始MV。SAD可以仍用作子CU级别搜索的模板匹配的匹配代价。

在FRUC模式中，仅通过使用亮度样本来导出MV。导出的运动将用于MC帧间预测的亮度和色度两者。在确定MV之后，使用用于亮度的8抽头插值滤波器和用于色度的4抽头插值滤波器来执行最终MC。

MV细化是以双边匹配代价或模板匹配代价为准则的基于模式的MV搜索。在JEM中，支持两种搜索模式——分别用于CU级别和子CU级别的MV细化的无限制的中心偏置菱形搜索(unrestricted center-biased diamond search，UCBDS)和自适应交叉搜索(adaptivecross search)。对于CU级别和子CU级别MV细化，以四分之一亮度样本MV精度直接搜索MV，并且接下来以八分之一亮度样本MV细化。对于CU步骤和子CU步骤的MV细化的搜索范围被设置为等于8个亮度样本。

在双边匹配Merge模式中，应用双向预测，因为基于在两个不同参考图片中沿当前CU的运动轨迹的两个块之间的最接近匹配来导出CU的运动信息。在模板匹配Merge模式中，编码器可以在针对CU的来自列表0的单向预测、来自列表1的单向预测或者双向预测之中进行选择。选择可以基于模板匹配代价，如下：

如果costBi＜＝factor*min(cost0，cost1)

使用双向预测；

否则，如果cost0＜＝cost1

使用来自列表0的单向预测；

否则，

使用来自列表1的单向预测；

其中cost0是列表0模板匹配的SAD，cost1是列表1模板匹配的SAD，并且costBi是双向预测模板匹配的SAD。例如，当factor的值等于1.25时，这意味着选择过程偏向于双向预测。帧间预测方向选择可以应用于CU级别模板匹配过程。

2.9双向光流(BIO)的示例

双向光流(BIO)方法是在用于双向预测的逐块运动补偿之上执行的逐样本运动细化。在一些实现方式中，样本级别运动细化不使用信令通知。

让I^(k)是在块运动补偿之后的参考k(k＝0，1)的亮度值，并且将

分别表示为I^(k)梯度的水平分量和垂直分量。假设光流有效，则运动矢量场(v_x，v_y)由以下等式给定。

将此光流等式与用于每个样本的运动轨迹的埃尔米特(Hermite)插值组合，其结果是在末端匹配函数值I^(k)和导数

的唯一的三阶多项式。在t＝0时此多项式的值是BIO预测：

图28示出了双向光流(BIO)方法中的光流轨迹的示例。其中，τ₀和τ₁表示到参考帧的距离。距离τ₀和τ₁基于Ref₀和Ref₁的POC来计算：τ₀＝POC(当前)-POC(Ref₀)，τ₁＝POC(Ref₁)-POC(当前)。如果两个预测都来自相同的时域方向(既可以是来自过去的，也可以是来自未来的)，则符号是不同的(例如，τ₀·τ₁＜0)。在这种情况下，如果预测不是来自相同的时刻(例如，τ₀≠τ₁)，则应用BIO。两个参考区域都具有非零运动(例如，MVx₀，MVy₀，MVx₁，MVy₁≠0)并且块运动矢量与时域距离(例如，MVx₀/MVx₁＝MVy₀/MVy₁＝-τ₀/τ₁)成比例。

通过最小化点A和点B中的值之间的差异Δ来确定运动矢量场(v_x，v_y)。图9示出了运动轨迹和参考帧平面的交点的示例。模型仅使用对于Δ的局部泰勒展开的第一线性项：

上述等式中的所有值都取决于表示为(i′，j′)的样本位置。假设运动在局部周围区域是一致的，可以在以当前预测点(i，j)为中心的(2M+1)×(2M+1)方形窗口Ω内最小化Δ，其中M等于2：

对于此优化问题，JEM使用简化方法，首先在垂直方向上进行最小化，并且然后在水平方向上进行最小化。这导致

其中，

为了避免除以零或非常小的值，在等式(28)和等式(29)中引入正则化参数r和m。

r＝500·4^d-8 等式(31)

m＝700·4^d-8 等式(32)

其中d是视频样本的位深度。

为了保持BIO的存储器访问与普通双向预测运动补偿相同，针对当前块内的位置计算所有预测和梯度值I^(k)、

图29A示出了块2900外部的访问位置的示例。如图29A所示，在等式(30)中，以预测块的边界上的当前预测点为中心的(2M+1)×(2M+1)方形窗口Ω需要访问块外的位置。在JEM中，块外的I^(k)、

的值被设置为等于块内最近的可用值。例如，这可以实现为填充区域2901，如图29B所示。

使用BIO，可以针对每个样品来细化运动场是可能的。为了降低计算复杂度，可以在JEM中使用基于块的BIO设计。可以基于4×4块来计算运动细化。在基于块的BIO中，可以聚合4×4块中的所有样本在等式(30)中的s_n值，并且然后将聚合的s_n值用于4×4块的导出的BIO运动矢量偏移。更具体地，以下公式可以用于基于块的BIO推导：

其中bk表示属于预测块的第k个4×4块的样品的集合。由((s_n，bk)＞＞4)替换等式(28)和等式(29)中的s_n以导出相关联的运动矢量偏移。

在一些情况下，BIO的MV团(regiment)可能由于噪声或不规则运动而不可靠。因此，在BIO中，MV团的量级被修剪为阈值。基于当前图片的参考图片是否都来自一个方向来确定阈值。例如，如果当前图片的所有参考图片都来自一个方向，则阈值被设置为12×2¹⁴ ^-d；否则，它被设置为12×2^13-d。

可以同时计算BIO的梯度与运动补偿插值，该运动补偿插值使用与HEVC运动补偿过程一致的操作(例如，2D可分离有限脉冲响应(FIR))。在一些实施例中，2D可分离FIR的输入是与根据块运动矢量的分数部分的分数位置(fracX，fracY)和运动补偿过程相同的参考帧样本。对于水平梯度

首先对应于具有去缩放偏移d-8的分数位置fracY，使用BIOfilterS对信号进行垂直地插值。然后对应于具有去缩放偏移18-d的分数位置fracX，在水平方向上应用梯度滤波器BIOfilterG。对于垂直梯度

首先对应于具有去缩放偏移d-8的分数位置fracY，使用BIOfilterG垂直应用梯度滤波器。然后对应于具有去缩放偏移18-d的分数位置fracX，在水平方向上使用BIOfilterS来执行信号位移。用于梯度计算BIOfilterG和信号位移BIOfilterF的插值滤波器的长度可以较短(例如，6抽头)以维持合理的复杂度。表格1示出了可以用于BIO中块运动矢量的不同分数位置的梯度计算的示例滤波器。表格2示出了可以用于BIO中预测信号生成的示例插值滤波器。

表格1 BIO中梯度计算的示例性滤波器

分数像素位置	梯度插值滤波器(BIOfilterG)
		0	{8，-39，-3，46，-17，5}
1/16	{8，-32，-13，50，-18，5}
		1/8	{7，-27，-20，54，-19，5}
3/16	{6，-21，-29，57，-18，5}
		1/4	{4，-17，-36，60，-15，4}
5/16	{3，-9，-44，61，-15，4}
		3/8	{1，-4，-48，61，-13，3}
7/16	{0，1，-54，60，-9，2}
		1/2	{-1，4，-57，57，-4，1}

表格2 BIO中预测信号生成的示例性插值滤波器

在JEM中，当两个预测来自不同的参考图片时，BIO可以应用于所有双向预测的块。当对CU启用局部亮度补偿(LIC)时，可以禁用BIO。

在一些实施例中，在正常MC过程之后，对块应用OBMC。为了降低计算复杂度，在OBMC过程期间不可以应用BIO。这意味着当使用其自己的MV时BIO应用于块的MC过程，当在OBMC过程中使用相邻块的MV时BIO不应用于MC过程。2.10解码器侧运动矢量细化(DMVR)的示例

在双向预测操作中，为了预测一个块区域，分别使用列表0的运动矢量(MV)和列表1的MV形成的两个预测块被组合以形成单个预测信号。在解码器侧运动矢量细化(DMVR)方法中，双向预测的两个运动矢量通过双边模板匹配过程进一步细化。双边模板匹配应用于解码器中，以在双边模板和参考图片中的重建样本之间执行基于失真的搜索，以便在不传输附加的运动信息的情况下获得细化的MV。

如图30所示，在DMVR中，双边模板分别从列表0的初始MV0和列表1的MV1生成为两个预测块的加权组合(即平均)。模板匹配操作包括计算生成的模板与参考图片中的样本区域(在初始预测块周围)之间的代价度量。对于两个参考图片中的每一个，产生最小模板代价的MV被视为该列表的更新MV以替换原始模板。在JEM中，对于每个列表，搜索九个MV候选。该九个MV候选包括原始MV和8个周围MV，该周围的MV具有相对于原始MV的在水平方向上或垂直方向上或两者上的一个亮度样本的偏移。最后，如图30所示，两个新的MV，即MV0′和MV1′，被用于生成最终的双向预测结果。绝对差之和(SAD)用作代价度量。

DMVR被应用于双向预测的Merge模式，在不传输附加的语法元素的情况下使用来自过去的参考图片中的一个MV和来自将来的参考图片中的另一个MV。在JEM中，当为CU启用LIC、仿射运动、FRUC或子CU Merge候选时，不应用DMVR。

2.11基于子块的Merge候选列表的示例

在一些实施例(例如，JVET-L0369)中，通过将ATMVP从普通Merge列表移动到仿射Merge列表的第一位置来生成基于子块的Merge候选列表。基于子块的Merge列表的最大数目保持为5，并且对于普通Merge列表，列表长度从6减少到5。

子块Merge候选列表的构建步骤如下：

1)***ATMVP候选

2)***继承的仿射候选

3)***构建的仿射候选

4)填充零运动矢量

基于子块的Merge列表的Merge索引使用截断一元码进行二值化。

3.现有实现方式的缺陷

在仿射帧间模式的现有实现中，总是选择角点作为4/6参数仿射模型的控制点。然而，由于仿射参数是由CPMV表示的，当使用等式(1)导出运动矢量时，对于较大的x和y，这可能导致较大的误差。

在基于子块的Merge候选列表的其他现有的实现方式中，当对Merge索引进行编码时，所有的二进制数都被上下文编解码，这增加了解析处理的负荷。此外，如何协调仿射与UMVE/三角分割是未知的。当前仿射设计中缺少利用时域仿射信息的一个方面。

4.仿射模式编解码的控制点选择的示例方法

目前公开的技术的实施例克服了现有实现方式的缺点，从而提供了具有更高编解码效率的视频编解码。在为各种实现方式所描述的以下示例中阐明了基于所公开的技术的可以增强现有和未来的视频编解码标准的仿射模式编解码的控制点的选择。下面提供的公开技术的示例解释了一般概念，并且不意在被解释为限制性的。在示例中，除非明确地相反表示，否则可以组合这些示例中描述的各种特征。对于下面描述的示例，将块尺寸表示为W×H，并且将仿射模式下的子块尺寸表示为sW×sH。

示例1.提出了4参数仿射模型可以采用不同的控制点集合，而不必总是使用(0，0)和(W，0)的位置。

(a)例如，图31中突出显示(阴影)的任何2个点可以构成控制点对。

(b)在一个示例中，选择位置(0，0)和(W/2，0)作为控制点。

(c)在一个示例中，选择位置(0，0)和(0，H/2)作为控制点。

(d)在一个示例中，选择位置(W，0)和(0，H)作为控制点。

(e)在一个示例中，选择位置(W/2，H/2)和(W，0)作为控制点。

(f)在一个示例中，选择位置(W/2，H/2)和(0，0)作为控制点。

(g)在一个示例中，选择位置(0，H/2)和(W，H/2)作为控制点。

(h)在一个示例中，选择位置(W/4，H/2)和(3*W/4，H/2)作为控制点。

(i)在一个示例中，选择位置(W/2，H/4)和(W/2，3*H/4)作为控制点。

(j)在一个示例中，选择位置(W，0)和(W，H)作为控制点。

(k)在一个示例中，选择位置(W/2，0)和(W/2，H)作为控制点。

(1)在一个示例中，选择位置(W/4，H/4)和(3*W/4，3*H/4)作为控制点。

(m)在一个示例中，选择位置(3*W/4，H/4)和(W/4，3*H/4)作为控制点。

(n)在一个示例中，选择位置(sW/2，0)和(W/2+sW/2，0)作为控制点。

(o)在一个示例中，选择位置(0，sH/2)和(0，H/2+sH/2)作为控制点。

(p)在一个示例中，选择位置(0，H/2)和(W/2，0)作为控制点。

(q)在一个示例中，选择位置(0，H)和(W，0)作为控制点。

(r)在一个示例中，选择位置(0，0)和(W，H)作为控制点。

示例2.提出了6参数仿射模型可以使用不同的控制点集合，而不必总是使用(0，0)、(W，0)和(0，H)。

(a)例如，图31中的不在直线上的突出显示的红色点中的任何3个点可以构成控制点集合。

(b)在一个示例中，选择位置(W/2，0)，(0，H)和(W，H)作为控制点。

(c)在一个示例中，选择位置(0，0)，(W，0)和(W/2，H)作为控制点。

(d)在一个示例中，选择位置(0，0)，(W，H/2)和(0，H)作为控制点。

(e)在一个示例中，选择位置(0，H/2)，(W，0)和(W，H)作为控制点。

(f)在一个示例中，选择位置(W/4，H/4)，(3*W/4，H/4)和(3*W/4，3*H/4)作为控制点。

(g)在一个示例中，选择位置(3*W/4，H/4)，(W/4，3*H/4)和(3*W/4，3*H/4)作为控制点。

(h)在一个示例中，选择位置(0，0)，(W，0)和(0，H/2)作为控制点。

(i)在一个示例中，选择位置(0，0)，(W，0)和(W，H/2)作为控制点。

(j)在一个示例中，选择位置(3*W/4-sW/2，H/4)，(W/4-sW/2，3*H/4)和(3*W/4-sW/2，3*H/4)作为控制点。

(k)在一个示例中，选择位置(3*W/4-sW/2，H/4-sH/2)，(W/4-sW/2，3*H/4-sH/2)和(3*W/4-sW/2，3*H/4-sH/2)作为控制点。

示例3.控制点的选择可取决于运动信息、条带/片/图片类型、块尺寸和块形状。

(a)在一个示例中，对于宽度≥高度的块，选择(W/2，0)和(W/2，H)作为4参数模型的控制点。

(b)在一个示例中，对于宽度≥高度的块，选择(W/4，H/2)和(W*3/2，H/2)作为4参数模型的控制点。

(c)在一个示例中，对于宽度≥高度的块，选择(0，H/2)和(W，H/2)作为4参数模型的控制点。

(d)在一个示例中，对于宽度≤高度的块，选择(W/2，0)和(W/2，H)作为4参数模型的控制点。

(e)在一个示例中，对于宽度≤高度的块，选择(W/2，H/4)和(W/2，H*3/4)作为4参数模型的控制点。

(f)在一个示例中，对于宽度≤高度的块，选择(0，H/2)和(W，H/2)作为4参数模型的控制点。

(g)在一个示例中，对于宽度≥高度的块，选择(0，0)，(W/2，H)和(W，H)作为4参数模型的控制点。

(h)在一个示例中，对于宽度≥高度的块，选择(0，0)，(0，H)和(W，H/2)作为4参数模型的控制点。

(i)可以首先例如在相似性方面检查控制点的大集合的运动信息，并且可以选择那些彼此之间的运动信息更紧密相关联的控制点作为控制点。

示例4.在所提出的控制点处的运动矢量可以与正常运动矢量缓冲器分开存储。可替换地，在所提出的控制点处的运动矢量可以存储在正常运动矢量缓冲器中。

示例5.在仿射Merge模式或仿射帧间模式中，如果一些选择的控制点不在顶部行或左侧列中，则可以使用时域运动信息来导出构建的仿射Merge/AMVP候选，如图32所示。

(a)在一个示例中，对于这样的控制点，可从不位于相同的片/条带/图片内的一个或多个时域块导出其关联运动信息。

(i)在一个示例中，首先识别所选择的控制点的并置参考图片和并置块，然后缩放(如有必要)并置块的运动矢量，以生成运动矢量预测器。用与TMVP相同的方式进行这种处理。

(ii)可替换地，在SPS/PPS/条带头/片组头中信令通知并置参考图片。

(iii)可替换地，通过检查块的相邻运动信息来确定并置参考图片。例如，选择列表X或1-X中的第一可用相邻运动信息的参考图片作为预测方向X的并置图片，其中X是0或1。

(iv)可替换地，由列表X或1-X中的CU的相邻块最频繁参考的图片被选择为预测方向X的并置图片。

(v)可替换地，通过空域相邻运动信息来识别并置块。例如，按顺序扫描CU的相邻块，并且使用参考并置图片的第一可用运动信息来识别并置块。

(vi)可替换地，如果没有参考并置图片的相邻运动信息，则按顺序扫描CU的相邻块，并且将第一可用运动信息缩放到并置图片以识别并置块。

(vii)可识别并检查多个并置块的运动。

(b)可替换地，对于这样的控制点，可以依次检查其最接近的几个空域相邻块的运动信息，并且将参考目标参考图片的第一可用运动信息用作运动矢量预测器。

(i)如果没有可用的相邻运动信息，则认为该控制点不可用。

(ii)如果没有参考目标参考图片的相邻运动信息，则认为该控制点不可用。

(iii)可替换地，如果没有参考目标参考图片的相邻运动信息，则将第一可用的相邻运动信息缩放到目标参考图片并用作运动矢量预测器。

(iv)在一个示例中，当为该控制点生成列表X中的运动矢量预测器时，对于每个可用的双向相邻运动信息，首先检查列表X中的运动矢量，然后检查列表1-X中的运动矢量。

(v)在一个示例中，如果控制点相比其他角点更接近一角点(用N_cp表示)，则进行第2.7.3节中所述的过程以导出N_cp的运动矢量预测器，然后用于该控制点。

示例6.在仿射帧间模式中，可以从另一个控制点预测一个控制点的MVD。在一个示例中，选择位置(W/4，H/4)和(3*W/4，3*H/4)作为控制点，并从控制点(W/4，H/4)的MVD预测控制点(3*W/4，3*H/4)的MVD。

示例7.提出了相邻块的CPMV可用于导出当前块内和/或与当前块相邻的一个或多个位置的运动矢量(例如，在相邻块外但在当前块内和/或与当前块相邻的代表点)，并且导出的MV可用于生成当前块的最终预测块(例如，导出的MV可用于OBMC处理)。

(a)如图33所示，如果相邻块(例如，块A)用仿射模式编解码，则其相关联的CPMV被用于导出位于当前块中的块A相邻子块(例如，子块B0-B3)的MV，例如，以黄色高亮的子块。

(b)相邻块的CPMV可用于导出当前块的左上角位置的运动信息。例如，如果使用等式(1a)和/或(1b)，假设相邻仿射编解码块尺寸由W’×H’表示，则可以将代表点(x，y)设置为(W’+sW/2，H’+sH/2)。

(c)相邻块的CPMV可用于导出当前块或位于当前块的顶行和/或左列的子块的中心位置的运动信息。例如，如果使用等式(1a)和/或(1b)，假设相邻仿射编解码块尺寸由W’×H’表示，则可以将代表点(x，y)设置为(W′+W/2+sW/2，H′+H/2+sH/2)或(W′+W/2-sW/2，H′+H/2-sH/2)。

(d)相邻块的CPMV可用于导出当前块的右下位置的运动信息。例如，如果使用等式(1a)和/或(1b)，假设相邻仿射编解码块尺寸由W’×H’表示，则可将代表点(x，y)设置为(W′+W-sW/2，H′+H-sH/2)或(W′+W+sW/2，H′+H+sH/2)或(W′+W，H′+H)。

示例8.提出了在AMVP/Merge/UMVE/三角模式下，如果相邻块用仿射模式编解码，则可以通过将(一个或多个)代表点设置为当前块内的(一个或多个)位置，使用相邻块的CPMV来推导当前块的运动矢量预测器。示例如图34所示。

(a)在一个示例中，当前块的中心位置被用作导出MV预测器的代表点。

(b)在一个示例中，当前块的左上角位置被用作导出MV预测器的代表点。

(c)导出的MV预测器可另外***到AMVP/Merge列表或基于UMVE的Merge列表或三角Merge列表中。

(d)在一个示例中，导出的MV预测器可用于替换对应相邻块的MV。因此，相邻块的运动信息不被用作对当前块进行编解码的预测器。例如，在图35中，导出的MV预测器用于替换与块B2相关联的运动信息。

(e)在一个示例中，如果几个相邻块来自一个相同的仿射编解码的CU/PU，则导出的MV仅用于替换一个相邻块的MV。

(f)可替换地，如果几个相邻块来自一个相同的仿射编解码的CU/PU，则使用导出的MV，并且不将所有这些相邻块的MV***列表中。

(g)可替换地，如果几个相邻块来自一个相同的仿射编解码CU/PU，则可以使用当前块内的不同位置来导出多个MV预测器，这些MV预测器被进一步用于替换所有这些相邻块的MV。

(h)在一个示例中，如果M个相邻块来自N个仿射编解码的CU/PU，则仅生成K个导出的(可以使用块的不同位置)MV预测器，并且用于替换K个相邻块的MV，其中K＝1、2、...或M。可替换地，K＝1、2、...或N。

(i)在一个示例中，导出的MV预测器被赋予比其他正常MV预测器更高的优先级。也就是说，它们可以比其他正常MV预测器更早地被添加到运动矢量候选列表中。

(j)可替换地，导出的MV预测器被赋予比其他MV预测器更低的优先级。也就是说，它们可以在其他正常MV预测器之后被添加到运动矢量候选列表中。

(k)在一个示例中，导出的MV预测器与其他正常MV预测器具有相同的优先级。也就是说，它们可以与其他正常MV预测器以交错的方式添加到运动矢量候选列表中。

示例9.提出了在对基于子块的Merge候选列表的Merge索引进行编码时，对某些二进制数进行旁路编解码。将基于子块的Merge候选列表的最大长度表示为maxSubMrgListLen。

(a)在一个示例中，只有第一个二进制数是用上下文编解码的，并且所有其他二进制数都是旁路编解码的。

(i)在一个示例中，用一个上下文来编码第一个二进制数。

(ii)在一个示例中，用超过1个上下文来编码第一个二进制数。例如，使用3个上下文，如下所示：

(1)ctxIdx＝aboveBlockIsAffineMode+1eftBlockIsAffineMode；

(2)如果上相邻块以仿射模式编解码，则aboveBlockIsAffineMode等于1，否则aboveBlockIsAffineMode等于0；以及

(3)如果左相邻块以仿射模式编解码，则leftBlockIsAffineMode等于1，否则leftBlockIsAffineMode等于0。

(b)在一个示例中，只有前K个二进制数使用上下文进行编解码，而所有其他二进制数使用旁路编解码，其中K＝0、1，...或maxSubMrgListLen-1。

(i)在一个示例中，除了第一个二进制数之外，所有上下文编解码的二进制数共享一个上下文。

(ii)在一个示例中，除了第一个二进制数之外，每个上下文编解码的二进制数使用一个上下文。

示例10.是否启用或禁用自适应控制点选择方法可以在SPS/PPS/VPS/序列头/图片头/条带头/片组头/CTU组等中信令通知。

(a)在一个示例中，如果块使用仿射Merge模式编解码，则不应用自适应控制点选择。

(b)在一个示例中，如果不存在为块编解码的仿射MVD，则不应用自适应控制点选择。

(c)在一个示例中，如果不存在为块编解码的非零仿射MVD，则不应用自适应控制点选择。

示例11.在仿射编解码块上是否应用或如何应用自适应控制点选择取决于当前块的参考图片。在一个示例中，如果参考图片是当前图片，则不应用自适应控制点选择，例如，在当前块中应用帧内块复制。

示例12.可以在某些条件下应用所提出的方法，诸如块尺寸、编码模式、运动信息、条带/图片/片类型。

(a)在一个示例中，当块尺寸包含小于M×H的样本时(例如16、32或64个亮度样本)，不允许上述方法。

(b)在一个示例中，当块尺寸包含多于M×H的样本时(例如16、32或64个亮度样本)，不允许上述方法。

(c)可替换地，当块宽度或高度的最小尺寸小于或不大于X时，不允许上述方法。在一个示例中，X被设置为8。

(d)在一个示例中，当块的宽度或高度或宽度和高度二者都大于(或等于)阈值L时，可以将该块划分为多个子块。以与尺寸等于子块尺寸的正常编解码块相同的方式对待每个子块。

(i)在一个示例中，L是64，64x128/128x64的块被划分为两个64x64的子块，128x128的块被划分为四个64x64的子块。然而，Nx128/128xN(其中N＜64)的块不被划分成子块。

(ii)在一个示例中，L是64，64x128/128x64的块被划分为两个64x64的子块，128x128的块被划分为四个64x64的子块。同时，Nx128/128xN(其中N＜64)的块被划分成两个Nx64/64xN子块。

示例13.当CPMV被存储在不同于用于运动补偿的常规MV的单独缓冲器中时，可以用与用于运动补偿的MV的相同的精度存储CPMV。

(a)在一个示例中，对于用于运动补偿的常规MV和CPMV，它们以1/M像素精度存储，例如M＝16或4。

(b)可替换地，CPMV存储的精度可以不同于用于运动补偿的精度。在一个示例中，CPMV可以用1/N像素精度存储，用于运动补偿的MV可以用1/M像素精度存储，其中M不等于N。在一个示例中，M设置为4，并且N设置为16。

示例14.提出了在被用于导出仿射运动场之前，可以先修改用于仿射运动场生成的CPMV。

(a)在一个示例中，可以将CPMV首先移位到更高的精度。在导出一个位置/一个块的仿射运动信息之后，可能需要进一步缩放导出的运动信息以与用于运动补偿的普通MV的精度对准。

(b)可替换地，可以首先将CPMV取整(缩放)以与用于运动补偿的普通MV的精度对准，然后使用取整的CPMV来导出仿射运动场。例如，当CPMV以1/16像素精度存储，而普通MV以1/4像素精度存储时，可以应用这种方法。

(c)取整处理可定义为f(x)＝(x+offset)＞＞L，例如offset＝1＜＜(L-1)，L可取决于存储的CPMV和普通MV的精度。

(d)移位处理可定义为f(x)＝x＜＜L，例如，L＝2。

以上描述的示例可并入以下描述的方法的上下文中，例如方法3500、3530和3560，其可在视频解码器或视频编码器处实现。

图35A示出了用于视频处理的示例方法的流程图。方法3500包括：在步骤3502，为视频的当前块和视频的比特流表示之间的转换，选择当前块的多个控制点，所述多个控制点包括当前块的至少一个非角点，并且所述多个控制点中的每一个代表当前块的仿射运动。

方法3500包括：在步骤3504，基于多个控制点进行当前块和比特流表示之间的转换。

图35B示出了用于视频处理的示例方法的流程图。方法3530包括：在步骤3532，为视频的当前块和视频的比特流表示之间的转换，确定用于编解码基于Merge的子块Merge候选列表的Merge索引的多个二进制数中的至少一个基于条件使用旁路编解码。

方法3530包括：在步骤3534，基于确定执行转换。

图35C示出了用于视频处理的示例方法的流程图。方法3560包括：在步骤3562，为视频的当前块和视频的比特流表示之间的转换，选择当前块的多个控制点，所述多个控制点包括当前块的至少一个非角点，所述多个控制点中的每一个代表当前块的仿射运动。

方法3560包括：在步骤3564，基于当前块的一个或多个相邻块的控制点运动矢量(CPMV)，导出多个控制点的一个或多个控制点的运动矢量。

方法3560包括：在步骤3566，基于多个控制点和运动矢量，进行当前块和比特流表示之间的转换。

在一些实施例中，可以实现以下技术解决方案：

A1.一种视频处理的方法(例如，图35A中的方法3500)，包括：为视频的当前块和所述视频的比特流表示之间的转换，选择(3502)所述当前块的多个控制点，其中所述多个控制点包括所述当前块的至少一个非角点，并且其中所述多个控制点中的每一个代表所述当前块的仿射运动；以及基于所述多个控制点进行(3504)所述当前块和所述比特流表示之间的转换。

A2.根据解决方案A1所述的方法，其中，所述当前块的尺寸为W×H，其中W和H是正整数，其中所述当前块使用四参数仿射模型进行编解码，并且其中所述多个控制点不包括(0，0)和(W，0)。

A3.根据解决方案A2所述的方法，其中，所述多个控制点包括(0，0)和(W/2，0)。

A4.根据解决方案A2所述的方法，其中，所述多个控制点包括(0，0)和(0，H/2)。

A5.根据解决方案A2所述的方法，其中，所述多个控制点包括(W，0)和(0，H)。

A6.根据解决方案A2所述的方法，其中，所述多个控制点包括(W，0)和(W，H)。

A7.根据解决方案A2所述的方法，其中，所述多个控制点包括(W/2，0)和(W/2，H)。

A8.根据解决方案A2所述的方法，其中，所述多个控制点包括(W/4，H/4)和(3×W/4，3×H/4)。

A9.根据解决方案A2所述的方法，其中，所述多个控制点包括(W/2，H/2)和(W，0)。

A10.根据解决方案A2所述的方法，其中，所述多个控制点包括(W/2，H/2)和(0，0)。

A11.根据解决方案A2所述的方法，其中，所述多个控制点包括(0，H/2)和(W，H/2)。

A12.根据解决方案A2所述的方法，其中，所述多个控制点包括(W/4，H/2)和(3×W/4，H/2)。

A13.根据解决方案A2所述的方法，其中，所述多个控制点包括(W/2，H/4)和(W/2，3×H/4)。

A14.根据解决方案A2所述的方法，其中，所述多个控制点包括(3×W/4，H/4)和(W/4，3×H/4)。

A15.根据解决方案A2所述的方法，其中，所述当前块包括子块，其中所述子块的尺寸为sW×sH，并且其中sW和sH是正整数。

A16.根据解决方案A15所述的方法，其中，所述多个控制点包括(sW/2，0)和(W/2+sW/2，0)。

A17.根据解决方案A15所述的方法，其中，所述多个控制点包括(0，sH/2)和(0，H/2+sH/2)。

A18.根据解决方案A2或A15所述的方法，其中，所述多个控制点包括(0，H/2)和(W/2，0)。

A19.根据解决方案A2或A15所述的方法，其中，所述多个控制点包括(0，H)和(W，0)。

A20.根据解决方案A2或A15所述的方法，其中，所述多个控制点包括(0，0)和(W，H)。

A21.根据解决方案A1所述的方法，其中，所述当前块的尺寸为W×H，其中W和H是正整数，其中所述当前块使用六参数仿射模型进行编解码，并且其中所述多个控制点不包括(0，0)，(W，0)和(0，H)。

A22.根据解决方案A21所述的方法，其中，所述多个控制点包括(W/2，0)，(0，H)和(W，H)。

A23.根据解决方案A21所述的方法，其中，所述多个控制点包括(0，0)，(W，0)和(W/2，H)。

A24.根据解决方案A21所述的方法，其中，所述多个控制点包括(0，0)，(W，H/2)和(0，H)。

A25.根据解决方案A21所述的方法，其中，所述多个控制点包括(0，H/2)，(W，0)和(W，H)。

A26.根据解决方案A21所述的方法，其中，所述多个控制点包括(W/4，H/4)，(3×W/4，H/4)和(3×W/4，3×H/4)。

A27.根据解决方案A21所述的方法，其中，所述多个控制点包括(3×W/4，H/4)，(W/4，3×H/4)和(3×W/4，3×H/4)。

A28.根据解决方案A21所述的方法，其中，所述多个控制点包括(0，0)，(W，0)和(0，H/2)。

A29.根据解决方案A21所述的方法，其中，所述多个控制点包括(0，0)，(W，0)和(W，H/2)。

A30.根据解决方案A21所述的方法，其中，所述当前块包括子块，其中所述子块的尺寸为sW×sH，并且其中sW和sH是正整数。

A31.根据解决方案A30所述的方法，其中，所述多个控制点包括(3×W/4-sW/2，H/4)，(W/4-sW/2，3×H/4)和(3×W/4-sW/2，3×H/4)。

A32.根据解决方案A30所述的方法，其中，所述多个控制点包括(3×W/4-sW/2，H/4-sH/2)、(W/4-sW/2，3×H/4-sH/2)和(3×W/4-sW/2，3×H/4-sH/2)。

A33.根据解决方案A1所述的方法，其中，所述选择所述多个控制点基于运动信息、所述当前块的尺寸或形状、条带类型、图片类型或片类型中的至少一个。

A34.根据解决方案A33所述的方法，其中，所述当前块的尺寸为W×H，其中W和H是正整数，并且其中所述当前块使用四参数仿射模型进行编解码。

A35.根据解决方案A34所述的方法，其中，W≥H。

A36.根据解决方案A35所述的方法，其中，所述多个控制点包括(W/2，0)和(W/2，H)。

A37.根据解决方案A35所述的方法，其中，所述多个控制点包括(W/4，H/2)和(3×W/2，H/2)。

A38.根据解决方案A35所述的方法，其中，所述多个控制点包括(0，H/2)和(W，H/2)。

A39.根据解决方案A34所述的方法，其中，W≤H。

A40.根据解决方案A39所述的方法，其中，所述多个控制点包括(W/2，0)和(W/2，H)。

A41.根据解决方案A39所述的方法，其中，所述多个控制点包括(W/2，H/4)和(W/2，3×H/4)。

A42.根据解决方案A39所述的方法，其中，所述多个控制点包括(0，H/2)和(W，H/2)。

A43.根据解决方案A33所述的方法，其中，所述当前块的尺寸为W×H，其中W和H是正整数，并且其中所述当前块使用六参数仿射模型进行编解码。

A44.根据解决方案A43所述的方法，其中，W≥H，并且其中所述多个控制点包括(0，0)，(W/2，H)和(W，H)。

A45.根据解决方案A43所述的方法，其中，W≥H，并且其中所述多个控制点包括(0，0)，(0，H)和(W，H/2)。

A46.根据解决方案A1至A45中任一项所述的方法，其中，与所述多个控制点相对应的一个或多个运动矢量存储在与正常运动矢量缓冲器不同的缓冲器中。

A47.根据解决方案A1至A45中任一项所述的方法，其中，与所述多个控制点相对应的一个或多个运动矢量存储在正常运动矢量缓冲器中。

A48.根据解决方案A1所述的方法，其中，所述当前块使用仿射Merge模式或仿射帧间模式进行编解码，并且其中，所述方法还包括：基于所述当前块中的所述多个控制点的位置，使用时域运动信息以导出一个或多个构建的仿射Merge或高级运动矢量预测(AMVP)候选。

A49.根据解决方案A48所述的方法，其中，所述多个控制点的所述位置不包括所述当前块的顶行和左列。

A50.根据解决方案A48所述的方法，其中，所述时域运动信息是从位于与包括所述当前块的第二片、图片或条带不同的第一片、图片或条带内的块导出的。

A51.根据解决方案A48所述的方法，其中，所述时域运动信息是从并置参考图片或并置参考块导出的。

A52.根据解决方案A51所述的方法，其中，在图片参数集(PPS)、序列参数集(SPS)、条带头或片组头中信令通知所述并置参考图片。

A53.根据解决方案A51所述的方法，其中，所述并置参考图片是通过检查所述当前块的相邻运动信息来确定的。

A54.根据解决方案A51所述的方法，其中，所述并置参考图片对应于所述当前块的相邻块最频繁使用的参考图片。

A55.根据解决方案A1所述的方法，其中，所述当前块使用仿射帧间模式进行编解码，并且其中，所述方法还包括：基于所述多个控制点的第一控制点的运动矢量差(MVD)，预测所述多个控制点的第二控制点的MVD。

A56.根据解决方案A55所述的方法，其中，所述第一控制点为(W/4，H/4)，并且其中，所述第二控制点为(3×W/4，3×H/4)。

A57.根据解决方案A1所述的方法，其中，启用所述选择所述多个控制点基于序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、序列头、图片头、条带头或片组头中的信令通知。

A58.根据解决方案A57所述的方法，其中，所述当前块的编解码模式不包括仿射Merge模式。

A59.根据解决方案A57所述的方法，其中，为所述当前块编解码至少一个仿射运动矢量差(MVD)。

A60.根据解决方案A57所述的方法，其中，为所述当前块编解码至少一个非零仿射运动矢量差(MVD)。

A61.根据解决方案A1所述的方法，其中，启用所述选择所述多个控制点基于所述当前块的参考图片。

A62.根据解决方案A61所述的方法，其中，所述参考图片不同于包括所述当前块的当前图片。

A63.根据解决方案A1所述的方法，其中，所述当前块中的样本的数目大于或等于K，并且其中K是正整数。

A64.根据解决方案A1所述的方法，其中，所述当前块中的样本的数目小于或等于K，并且其中K是正整数。

A65.根据解决方案A63或A64所述的方法，其中，K＝16、32或64。

A66.根据解决方案A1所述的方法，其中，所述当前块的高度或宽度大于K，并且其中K是正整数。

A67.根据解决方案A66所述的方法，其中，K＝8。

A68.根据解决方案A1所述的方法，其中，在确定所述当前块的高度或宽度大于或等于阈值(L)时，在所述当前块的所述多个子块中的至少一个中进行所述多个控制点的选择。

A69.根据解决方案A68所述的方法，其中，L＝64，其中所述当前块的尺寸为64×128、128×64或128×128，并且其中，所述多个子块中的每一个的尺寸为64×64。

A70.根据解决方案A68所述的方法，其中，L＝64，其中所述当前块的尺寸为N×128或128×N，并且其中，所述多个子块中的两个子块的尺寸分别为N×64或64×N。

A71.根据解决方案A1所述的方法，其中，与所述多个控制点对应的一个或多个运动矢量被存储在不同于第二缓冲器的第一缓冲器中，所述第二缓冲器包括用于运动补偿的常规运动矢量。

A72.根据解决方案A71所述的方法，其中，以1/N像素精度存储所述一个或多个运动矢量，其中以1/M像素精度存储所述常规运动矢量，并且其中，M和N是整数。

A73.根据解决方案A72所述的方法，其中，M＝N，并且其中M＝4或16。

A74.根据解决方案A72所述的方法，其中，M＝4，并且N＝16。

A75.根据解决方案A1所述的方法，还包括：在进行所述转换之前修改所述多个控制点，其中所述转换包括导出仿射运动场；以及转换所述仿射运动场以将所述仿射运动场的精度与用于运动补偿的运动矢量的精度对准。

A76.根据解决方案A75所述的方法，其中，所述修改包括对所述多个控制点中的至少一个应用移位操作。

A77.根据解决方案A76所述的方法，其中，所述移位操作被定义为：f(x)＝x＜＜L，其中L是正整数。

A78.根据解决方案A77所述的方法，其中，L＝2。

A79.根据解决方案A75所述的方法，其中，所述修改包括应用取整操作或缩放操作，以将所述多个控制点中至少一个的精度与用于运动补偿的运动矢量的精度对准。

A80.根据解决方案A79所述的方法，其中，所述取整操作被定义为：f(x)＝(x+offset)＞＞L，其中offset＝(1＜＜(L-1))，并且其中L是正整数。

A81.根据解决方案A80所述的方法，其中，L基于普通运动矢量或所述多个控制点中的一个的运动矢量的精度。

A82.根据解决方案A1至A81中任一项所述的方法，其中，所述转换从所述比特流表示生成所述当前块。

A83.根据解决方案A1至A81中任一项所述的方法，其中，所述转换从所述当前块生成所述比特流表示。

A84.一种视频***中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，当所述处理器执行所述指令时，所述指令使所述处理器实现解决方案A1至A83中任一项所述的方法。

A85.一种计算机程序产品，存储在非暂时性计算机可读介质上，所述计算机程序产品包括用于实现解决方案A1至A83中任一项所述的方法的程序代码。

在一些实施例中，可以实现以下技术解决方案：

B1.一种视频处理的方法(例如，图35B中的方法3530)，包括：为视频的当前块和所述视频的比特流表示之间的转换，确定(3502)用于编解码基于Merge的子块Merge候选列表的Merge索引的多个二进制数中的至少一个基于条件使用旁路编解码；以及基于所述确定进行(3534)所述转换。

B2.根据解决方案B1所述的方法，其中，所述多个二进制数中的第一个二进制数是用至少一个上下文进行编解码的，并且其中，所述多个二进制数中的所有其他二进制数是被旁路编解码的。

B3.根据解决方案B2所述的方法，其中，所述至少一个上下文包含一个上下文。

B4.根据解决方案B2所述的方法，其中，所述至少一个上下文包含三个上下文。

B5.根据解决方案B4所述的方法，其中，所述三个上下文被定义为：ctxIdx＝aboveBlockIsAffineMode+leftBlockIsAffineMode；其中，如果所述当前块的上相邻块使用第一仿射模式编解码，则aboveBlockIsAffineMode＝1，否则aboveBlockIsAffineMode＝0；并且其中，如果所述当前块的左相邻块使用第二仿射模式编解码，则1eftBlockIsAffineMode＝1，否则1eftBlockIsAffineMode＝0。

B6.根据解决方案B1所述的方法，其中，所述多个二进制数的前K个二进制数中的每一个使用至少一个上下文编解码，其中所述多个二进制数的所有其他二进制数以旁路编解码，其中K是非负整数，其中0≤K≤maxSubMrgListLen-1，并且其中maxSubMrgListLen是所述多个二进制数的最大长度。

B7.根据解决方案B6所述的方法，其中，除了所述前K个二进制数的第一个二进制数之外，所述前K个二进制数共享一个上下文。

B8.根据解决方案B6所述的方法，其中，除了前所述K个二进制数的第一个二进制数之外，所述前K个二进制数的每一个使用一个上下文。

B9.根据解决方案B1至B8中任一项所述的方法，其中，所述基于Merge的子块Merge候选列表包括子块时域运动矢量预测(SbTMVP)候选。

B10.根据解决方案B1至B8中任一项所述的方法，其中，所述基于Merge的子块Merge候选列表包括一个或多个继承的仿射候选、一个或多个构建仿射候选、或一个或多个零候选。

B11.根据解决方案B1至B10中任一项所述的方法，其中，所述转换从所述比特流表示生成所述当前块。

B12.根据解决方案B1至B10中任一项所述的方法，其中，所述转换从所述当前块生成所述比特流表示。

B13.一种视频***中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，当所述处理器执行所述指令时，所述指令使所述处理器实现解决方案B1至B12中任一项所述的方法。

B14.一种计算机程序产品，存储在非暂时性计算机可读介质上，所述计算机程序产品包括用于实现解决方案B1至B12中任一项所述的方法的程序代码。

在一些实施例中，可以实现以下技术解决方案：

C1.一种视频处理的方法(例如，图35C中的方法3560)，包括：为视频的当前块和所述视频的比特流表示之间的转换，选择(3562)所述当前块的多个控制点，并且其中所述多个控制点包括所述当前块的至少一个非角点，并且其中，所述多个控制点中的每一个代表所述当前块的仿射运动；基于所述当前块的一个或多个相邻块的控制点运动矢量，导出(3564)所述多个控制点的一个或多个控制点的运动矢量；以及基于所述多个控制点和所述运动矢量，进行(3566)所述当前块和所述比特流表示之间的转换。

C2.根据解决方案C1所述的方法，其中，所述一个或多个相邻块包括用仿射模式编解码的第一块，并且其中，所述运动矢量是根据所述当前块中直接与所述第一块中的一个或多个子块相邻的一个或多个子块导出的。

C3.根据解决方案C1所述的方法，其中，所述一个或多个控制点包括所述当前块的左上角位置中的控制点。

C4.根据解决方案C1所述的方法，其中，所述一个或多个控制点包括位于所述当前块的中心位置中的控制点、或位于所述当前块的顶行或左列处的所述当前块的子块的中心位置中的控制点。

C5.根据解决方案C1所述的方法，其中，所述一个或多个控制点包括所述当前块的右下角位置中的控制点。

C6.根据解决方案C1所述的方法，其中，将所述一个或多个控制点的导出的运动矢量用于所述当前块的重叠块运动补偿(OMBC)处理。

C7.根据解决方案C1所述的方法，其中，所述当前块使用Merge模式、高级运动矢量预测(AMVP)模式、三角模式、或最终运动矢量表达(UMVE)模式中的至少一种进行编解码，其中，所述UMVE模式包括运动矢量表达，所述运动矢量表达包括所述当前块的起点、运动幅度和运动方向。

C8.根据解决方案C7所述的方法，其中，所述导出所述运动矢量基于所述当前块中的代表点。

C9.根据解决方案C8所述的方法，其中，所述代表点是所述当前块的中心位置或左上角位置。

C10.根据解决方案C7所述的方法，还包括：将所述运动矢量***到AMVP列表、或Merge列表、或基于UMVE的Merge列表、或三角Merge列表。

C11.根据解决方案C7所述的方法，还包括：用所述导出的运动矢量替换所述一个或多个相邻块的所述运动矢量中的至少一个。

C12.根据解决方案C11所述的方法，其中，所述一个或多个相邻块来自相同的仿射编解码的编解码单元(CU)或预测单元(PU)。

C13.根据解决方案C7所述的方法，还包括：在将正常运动矢量预测器***运动矢量候选列表之前，将所述导出的运动矢量中的每一个***所述运动矢量候选列表。

C14.根据解决方案C7所述的方法，还包括：在将正常运动矢量预测器***运动矢量候选列表之后，将所述导出的运动矢量中的每一个***所述运动矢量候选列表。

C15.根据解决方案C7所述的方法，还包括：将所述运动矢量以与正常运动矢量预测器以交错的方式***运动矢量候选列表中。

C16.根据解决方案C1至C15中任一项所述的方法，其中，所述转换从所述比特流表示生成所述当前块。

C17.根据解决方案C1至C15中任一项所述的方法，其中，所述转换从所述当前块生成所述比特流表示。

C18.一种视频***中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，当所述处理器执行所述指令时，所述指令使所述处理器实现解决方案C1至C17中任一项所述的方法。

C19.一种计算机程序产品，存储在非暂时性计算机可读介质上，所述计算机程序产品包括用于实现解决方案C1至C17中任一项所述的方法的程序代码。

5.公开技术的示例实现

图36是视频处理装置3600的框图。装置3600可用于实现本文所述的一个或多个方法。装置3600可以被实现在智能手机、平板计算机、计算机、物联网(IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。处理器3602可以被配置为实现本文所述的一个或多个方法(包括但不限于方法3500、3530和3560)。存储器(多个存储器)3604可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件3606可用于在硬件电路中实现本文所述的一些技术。

在一些实施例中，可以使用实现在如关于图36描述的硬件平台上的装置来实现视频编解码方法。

所公开技术的一些实施例包括：作出启用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被启用时，编码器将在视频块的处理中使用或实现该工具或模式，但不一定基于该工具或模式的使用来修改产生的比特流。也就是说，当基于决策或确定启用视频处理工具或模式时，从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知晓已经基于视频处理工具或模式修改了比特流的情况下处理比特流。也就是说，将使用基于决策或确定而启用的视频处理工具或模式来进行从视频的比特流表示到视频块的转换。

所公开技术的一些实施例包括：作出禁用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被禁用时，编码器将不在将视频块转换为视频的比特流表示的转换中使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在知晓未使用基于所述决策或确定而启用的视频处理工具或模式修改比特流的情况下来处理比特流。

图37是示出示例视频处理***3700的框图，其中可以实现本文公开的各种技术。各种实现方式可以包括***3700的一些或所有组件。***3700可以包括用于接收视频内容的输入3702。可以以例如8或10比特多分量像素值的原始或未压缩格式接收视频内容，或者可以以压缩或编码格式接收视频内容。输入3702可以表示网络接口、***总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

***3700可以包括编解码组件3704，其可以实现本文件中描述的各种编解码(coding)或字符编码(encoding)方法。编解码组件3704可以降低从输入3702到编解码组件3704的输出的视频的平均比特率以生成视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件3704的输出可以被存储，或者经由连接的通信被传输，如组件3706所示。在输入3702处接收的视频的存储或传送的比特流(或编解码)表示可以由组件3708使用，以用于生成发送到显示接口3710的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处使用，并且对应的解码工具或反转编解码结果的操作将由解码器执行。

***总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文件中描述的技术可以实施在各种电子设备中，诸如移动电话、膝上型计算机、智能手机或能够执行数字数据处理和/或视频显示的其它设备。

从前述内容可以理解，本文已经出于说明的目的描述了本公开技术的具体实施例，但是在不脱离本发明的范围的情况下可以进行各种修改。因此，除了所附权利要求之外，本发明所公开的技术不受限制。

本专利文件描述的主题和功能操作的实现方式可以以各种***实现，以数字电子电路实现，或者以计算机软件、固件或硬件实现，包括本说明书中公开的结构及其结构等同物，或者以它们中的一个或多个的组合实现。本说明书所描述的主题的实现方式可以实现为一个或多个计算机程序产品，即，在有形和非暂时性计算机可读介质上编码的一个或多个计算机程序指令模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合、或者它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理***、操作***、或者它们中的一个或多个的组合的代码。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式来部署计算机程序，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其它单元。计算机程序不一定对应于文件***中的文件。程序可以存储在保存其它程序或数据的文件的一部分中(例如，存储在标记语言文件中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。可以部署计算机程序以在一个计算机上或在位于一个站点上或分布在多个站点上并由通信网络互连的多个计算机上执行。

本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适合于执行计算机程序的处理器包括通用和专用微处理器、以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从该一个或多个大容量存储设备接收数据，或将数据传递到该一个或多个大容量存储设备，或者既接收又传递数据。然而，计算机不需要具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，举例来说，包括半导体存储器设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

旨在将说明书与附图一起仅视为示例性的，其中示例性意味着示例。如本文所使用的，除非上下文另有明确指示，否则“或”的使用旨在包括“和/或”。

虽然本专利文件包含许多细节，但这些细节不应被解释为对任何发明或可要求保护的范围的限制，而是作为特定于特定发明的特定实施例的特征的描述。在本专利文件中，在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以分开地或以任何合适的子组合在多个实施例中实现。此外，尽管上面的特征可以描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下，可以从所要求保护的组合中去除来自该组合的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或按顺序执行这样的操作，或者执行所有示出的操作，以实现期望的结果。此外，在本专利文件中描述的实施例中的各种***组件的分离不应被理解为在所有实施例中都要求这样的分离。

仅描述了几个实现方式和示例，并且可以基于本专利文件中描述和示出的内容来做出其它实现方式、增强和变型。

Claims

1.一种视频数据编解码的方法，包括：

为视频的当前视频块和所述视频的比特流之间的转换，确定用于编解码基于Merge的子块Merge候选列表的Merge索引的多个二进制数中的至少一个使用旁路编解码，其中所述基于Merge的子块Merge候选列表基于子块时域运动矢量预测SbTMVP候选而构建；以及

基于所述确定进行所述转换，

其中，所述SbTMVP候选基于时域运动位移从所述当前视频块的空域相邻块而推导，并且其中与所述时域运动位移相关的参考图片与所述当前视频块的共位图片相同；

其中，所述基于Merge的子块Merge候选列表还基于继承的仿射候选、构建仿射候选、或零候选而构建；并且

其中，所述继承的仿射候选的控制点运动矢量从以仿射模式编解码的空域相邻块的控制点运动矢量推导，其中所述控制点运动矢量和帧间预测模式下的运动矢量均以1/16像素精度存储。

2.根据权利要求1所述的方法，其中，所述时域运动位移被用于定位不同于包括所述当前视频块的当前图片的图片中的至少一个区域。

3.根据权利要求1所述的方法，其中，所述多个二进制数中的第一二进制数以至少一个上下文编解码，并且其中所述多个二进制数中的所有其他二进制数以旁路编解码。

4.根据权利要求3所述的方法，其中，所述至少一个上下文由一个上下文组成。

5.根据权利要求1所述的方法，其中，所述多个二进制数中的前K个二进制数中的每一个以至少一个上下文编解码，其中所述多个二进制数中的所有其他二进制数以旁路编解码，其中K是非负整数，其中0≤K≤maxSubMrgListLen–1,并且其中maxSubMrgListLen是所述多个二进制数的最大长度。

6.根据权利要求1至5中任一项所述的方法，其中，所述转换从所述比特流生成所述当前视频块。

7.根据权利要求1至5中任一项所述的方法，其中，所述转换从所述当前视频块生成所述比特流。

8.一种视频数据编解码的装置，包括处理器和其上具有指令的非暂时性存储器，其中，当所述处理器执行所述指令时，使得所述处理器：

基于所述确定进行所述转换，

9.根据权利要求8所述的装置，其中，所述时域运动位移被用于定位不同于包括所述当前视频块的当前图片的图片中的至少一个区域。

10.根据权利要求8所述的装置，其中，所述多个二进制数中的第一二进制数以至少一个上下文编解码，并且其中所述多个二进制数中的所有其他二进制数以旁路编解码。

11.根据权利要求10所述的装置，其中，所述至少一个上下文由一个上下文组成。

12.根据权利要求8至11中任一项所述的装置，其中，所述转换从所述比特流生成所述当前视频块。

13.根据权利要求8至11中任一项所述的装置，其中，所述转换从所述当前视频块生成所述比特流。

14.一种非暂时性计算机可读存储介质，其上存储有指令，所述指令使得处理器：

基于所述确定进行所述转换，

15.一种存储视频的比特流的方法，包括：

确定用于编解码基于Merge的子块Merge候选列表的Merge索引的多个二进制数中的至少一个使用旁路编解码，其中所述基于Merge的子块Merge候选列表基于子块时域运动矢量预测SbTMVP候选而构建；

基于所述确定从视频的当前视频块生成所述比特流；以及

将所述比特流存储在非暂时性计算机可读记录介质中，