CN113557720B - 视频处理方法、装置以及非暂态计算机可读介质 - Google Patents

Abstract

公开了视频编解码中的多假设预测中的自适应权重。在一种示例实现方式中，针对视频的第一块与视频的第一块的比特流表示之间的转换，确定启用还是禁用对在所述转换期间要应用的组合帧内和帧间预测(CIIP)模式中权重进行更新的使用；响应于确定启用对CIIP模式中的权重进行更新，更新CIIP模式中应用在所述第一块的部分像素中的权重；以及基于更新的权重和未更新的权重执行所述转换。

Description

视频处理方法、装置以及非暂态计算机可读介质

相关申请的交叉引用

根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2019年3月12日提交的国际专利申请第PCT/CN2019/077838号的优先权和利益。将国际专利申请第PCT/CN2019/077838号的全部公开内容以引用方式并入本文，作为本申请公开内容的一部分。

技术领域

本专利申请文件涉及视频编解码技术、设备和***。

背景技术

尽管视频压缩有了进展，但是数字视频仍然占用了因特网和其他数字通信网络上的最大带宽使用。随着所连接的能够接收和显示视频的用户设备数量的增加，预期对数字视频使用的带宽需求将持续增长。

发明内容

本文件描述了用于在视频编解码中使用多假设预测的各种实施例和技术。

在一个示例方面中，公开了用于在视频编解码中使用多假设预测的各种方法。

在另一个示例方面中，公开了一种视频处理的方法。该方法包括在当前视频区域与当前视频块的比特流表示之间的转换期间，对用于组合帧间和帧内预测模式的权重进行更新，以及基于更新执行转换。

在另一个示例方面中，公开了一种视频处理的方法。该方法包括：针对视频的第一块与视频的第一块的比特流表示之间的转换，确定启用还是禁用对在该转换期间要应用的组合帧内和帧间预测(CIIP)模式中的权重进行更新的使用；响应于确定启用对CIIP模式中的权重进行更新，更新CIIP模式中应用在第一块的部分像素内的权重；以及基于更新的权重和未更新的权重执行该转换。

在另一个示例性方面中，公开了一种视频处理的方法。该方法包括：针对视频的第一块和视频的第一块的比特流表示之间的转换，从组合帧内和帧间预测(CIIP)模式内正在使用的多个权重集中确定权重集，该确定取决于存在于下述选项中的至少一者内的消息：包括序列参数集(SPS)的序列级、包括条带标头的条带级、包括片组标头的片组级、包括图片标头的图片级以及包括编解码树单元(CTU)和编解码单元(CU)的块级；基于所确定的权重集，应用CIIP模式，以生成第一块的最终预测；以及基于最终预测执行该转换；其中，第一块的最终预测是基于第一块的中间帧内预测和中间merge帧间预测的加权和生成的。

在又一个示例方面，公开了一种被配置成实现上述方法之一的视频编解码装置。

在又一个示例方面，公开了一种被配置成实现上述方法之一的视频解码装置。

在又一个方面，公开了一种计算机可读介质。计算机可读介质上存储了用于实现上述方法之一的处理器可执行代码。

本文中描述了这些和其他方面。

附图说明

图1示出了用于merge候选列表构建的示例推导过程。

图2示出了空域merge候选的位置的示例。

图3示出了针对空域merge候选的冗余检查所考虑的候选对的示例。

图4示出了N×2N分割和2N×N分割的第二PU的位置的示例。

图5是时域merge候选的运动矢量缩放的示例性说明。

图6示出了时域merge候选的候选位置的示例C0和C1。

图7示出了组合双向预测merge候选的示例。

图8总结了运动矢量预测候选的推导过程。

图9示出了空域运动矢量候选的运动矢量缩放的例示。

图10示出了用于推导IC参数的相邻样点。

图11示出了对于(a)4参数仿射和(b)6参数仿射的简化仿射运动模型。

图12是每子块的仿射MVF的示例。

图13示出了4参数仿射模型(a)和6参数仿射模型(b)。

图14针对继承仿射候选示出了用于AF_INTER的MVP。

图15针对构建仿射候选示出了用于AF_INTER的MVP。

图16示出了用于AF_merge的候选。

图17示出了用于仿射merge模式的候选位置。

图18示出了MMVD搜索过程的示例。

图19示出了MMVD搜索点的示例。

图20示出了基于双边模板匹配的DMVR。

图21是DMVR中在列表0和列表1之间成镜像的MVD(0,1)的示例。

图22示出了可以在一次迭代中检查的MV。

图23示出了具有填充的所需参考样点的示例。

图24示出了用于实现本文件中描述的技术的示例装置。

图25是视频处理的示例方法的流程图。

图26是视频处理的示例方法的流程图。

图27是视频处理的示例方法的流程图。

在对附图的描述当中，(a)和(b)是指对应附图的左手边和右手边。

具体实施方式

本文件提供可由图像或视频比特流的解码器使用的各种技术，以提高解压缩或解码的数字视频或图像的质量。为了简洁起见，本文使用术语“视频”以包括图片的序列(传统称为视频)和单独的图像。此外，视频编码器也可以在编码过程期间实现这些技术，以便重建解码帧以进行进一步地编码。

本文件中使用了章节标题以使理解容易，并且不将实施例和技术限制到对应章节。这样一来，可以将来自一个章节的实施例与来自其他章节的实施例组合。

1.简要介绍

本专利文献涉及视频编解码技术。具体而言，本文涉及视频编解码中的候选列表构建。其可应用于现有的视频编解码标准，如HEVC、或待定案的标准(多功能视频编解码)。其也可能适用于未来的视频编解码标准或视频编解码器。

2.初步论述

视频编解码标准主要是通过开发公知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视觉，并且两个组织联合制作了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月，创建了VCEG(Q6/16)与ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家小组(JVET)，以针对VVC标准展开工作，目标是与HEVC相比降低50％的比特率。

2.1 HEVC/H.265中的帧间预测

每个帧间的预测PU都具有针对一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。还可以使用inter_pred_idc来信令通知对两个参考图片列表之一的使用。运动矢量可以被显式地编解码成相对于预测子(predictor)的增量。

在采用skip模式对CU编解码时，一个PU与该CU相关联，并且没有显著的残差系数，没有编解码的运动矢量增量或参考图片索引。merge模式被规定为当前PU的运动参数是从包括空域候选和时域候选的相邻PU获得的。merge模式可以被应用于任何帧间的预测PU，而不仅仅是用于skip模式的那些帧间预测的PU。merge模式的一种替代方案是运动参数的显式传输，其中，按照每个PU显示地信令通知运动矢量(更确切而言，相较于运动矢量预测子的运动矢量差(MVD))、每个参考图片列表的对应参考图片索引和参考图片列表使用。在本公开中将这样的模式称为高级运动矢量预测(AMVP)。

在信令指示将使用两个参考图片列表之一时，PU由一个样点块生成。这被称为“单向预测”。对于P条带和B条带两者而言，单向预测都是可用的。

在信令指示将使用两个参考图片列表时，PU由两个样点块产生。这被称为“双向预测”。双向预测只对B条带可用。

下文将提供有关在HEVC中规定的帧间预测模式的细节。描述将开始于merge模式。

2.1.1参考图片列表

在HEVC中，术语帧间预测用于表示从参考图片而非当前解码图片的数据元素(例如，样点值或运动矢量)中推导的预测。与H.264/AVC中类似，图片可以是从多个参考图片预测的。用于帧间预测的参考图片被组织在一个或多个参考图片列表当中。参考索引识别列表中的哪个参考图片应当被用于创建预测信号。

单个参考图片列表，即List 0被用于P条带，而两个参考图片列表，即List 0和List 1被用于B条带。应当注意，包含在List 0/1中的参考图片可以按照捕获/显示顺序来自于过去图片和未来图片。

2.1.2 HEVC中的Merge模式

2.1.2.1 merge模式的候选的推导

在使用merge模式预测PU时，从比特流中解析出指向merge候选列表中的条目的索引，并使用该索引检索运动信息。在HEVC标准中规定了对这一列表的构建，可以根据以下步骤序列对其做出总结：

步骤1：初始候选推导

步骤1.1：空域候选推导

步骤1.2：对空域候选的冗余检查

步骤1.3：时域候选推导

步骤2：附加候选***

步骤2.1：双向预测候选的创建

步骤2.2：零运动候选的***

还在图1中对这些步骤给出了示意性图示。对于空域merge候选推导而言，从位于五个不同位置上的候选当中选择最多四个merge候选。对于时域merge候选推导而言，从两个候选当中选择最多一个merge候选。由于在解码器处假定每个PU候选数量恒定，因而在从步骤1获得的候选的数量未达到在条带标头中信令通知的merge候选最大数量(MaxNumMergeCand)时，生成附加的候选。由于候选的数量是恒定的，因而使用截断一元二值化(TU)对最佳merge候选的索引进行编解码。如果CU的尺寸等于8，那么当前CU的所有PU都共享单个merge候选列表，其等同于2N×2N预测单元的merge候选列表。

在下文中，将详述与前述步骤相关联的操作。

2.1.2.2空域候选推导

在空域merge候选的推导当中，在位于图2所示的位置上的候选当中选择最多四个merge候选。推导的顺序为A1、B1、B0、A0和B2。只有在位置A1、B1、B0、A0的任何PU都不可用(例如，因为其属于另一条带或片)或者是帧内编解码的时才考虑位置B2。在位置A1处的候选被添加之后，其余候选的添加要受到冗余检查，其确保从列表中排除具有相同运动信息的候选，从而提高编解码效率。为了降低计算复杂性，在所提及的冗余检查当中并未考虑所有可能的候选对。相反，仅考虑用图3的箭头联系起来的对，并且只有在用于冗余检查的对应候选不具有相同的运动信息时才将该候选添加至列表。重复运动信息的另一来源是与不同于2N×2N的分割相关联的“第二PU”。作为示例，图4分别示出了N×2N和2N×N情况的第二PU。在当前PU被分割成N×2N时，不考虑将处于位置A1处的候选用于列表构建。实际上，添加这一候选将导致两个预测单元具有相同的运动信息，其对于令编解码单元内只有一个PU而言是冗余的。类似地，在当前PU被分割成2N×N时，不考虑位置B1。

2.1.2.3时域候选推导

在这一步骤中，只有一个候选被添加至列表。具体地，在此时域merge候选的推导当中，基于并置的PU推导出缩放的运动矢量，该并置的PU属于给定的参考图片列表内与当前图片之间具有最小POC差的图片。在条带标头中显示地信令通知将用于并置PU的推导的参考图片列表。用于时域merge候选的缩放的运动矢量是如图5中的虚线所示获得的，其使用POC距离(tb和td)由并置PU的运动矢量缩放而成，其中，tb被定义为当前图片的参考图片与当前图片之间的POC差，并且td被定义为并置图片的参考图片与并置图片之间的POC差。时域merge候选的参考图片索引被设为等于零。在HEVC规定中描述了缩放过程的实际实现。对于B条带而言，获得两个运动矢量(一个针对参考图片列表0，另一个针对参考图片列表1)，并且将其结合产生双向预测的merge候选。

如图6所示，在属于参考帧的并置PU(Y)中，在候选C0和C1之间选择时域候选的位置。如果位置C0处的PU不可用，是帧内编解码的，或者处于当前编解码树单元(CTU，又名LCU，最大编解码单元)行之外，则使用位置C1。否则，在时域merge候选的推导当中使用位置C0。

时域运动矢量预测又被称为“TMVP”。

2.1.2.4附加候选***

除了空域和时域merge候选之外，还有两种附加类型的merge候选：组合双向预测merge候选和零merge候选。组合双向预测merge候选是通过利用空域merge候选和时域merge候选生成的。组合双向预测merge候选仅用于B条带。组合双向预测候选是通过结合初始候选的第一参考图片列表运动参数与另一个的第二参考图片列表运动参数而生成的。如果这两个元组提供不同的运动假设，那么它们将形成新的双向预测候选。作为示例，图7示出了使用处于原始列表(左侧)中的两个候选(它们具有mvL0和refIdxL0或者mvL1和refIdxL1)来创建被添加至最终列表(右侧)的组合双向预测merge候选时的情况。关于所考虑的用以生成这些附加merge候选的组合存在很多规则。

零运动候选被***以填充merge候选列表中的剩余条目，并因此达到MaxNumMergeCand容量。这些候选具有零空域位移和开始于零并且在每次向列表添加新的零运动候选时增大的参考图片索引。最后，不对这些候选执行冗余检查。

2.1.3 AMVP

AMVP利用运动矢量与相邻PU的时空相关性，该时空相关性用于运动参数的显式传输。对于每个参考图片列表而言，运动矢量候选列表的构建方式是：首先检查左侧、上侧时域相邻PU位置的可用性，去除冗余候选，并且添加零矢量，从而使候选列表为恒定长度。之后，编码器可以从候选列表选择最佳预测子，并且传输指示所选候选的对应索引。与merge索引信令类似，使用截断一元码对最佳运动矢量候选的索引进行编解码。在这一情况下要被编码的最大值为2(参考图8)。在下文的章节中，将提供有关运动矢量预测候选的推导过程的细节。

2.1.3.1 AMVP候选的推导

图8示出了运动矢量预测候选的示例推导过程。

在运动矢量预测中，考虑两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导而言，基于在位于如图2所示的五个不同位置上的每个PU的运动矢量最终推导出两个运动矢量候选。

对于时域运动矢量候选推导而言，从基于两个不同的并置位置推导出的两个候选中选出一个运动矢量候选。在制作时空候选的第一列表之后，去除该列表中的重复运动矢量候选。如果可能候选的数量大于二，那么从列表中去除这样的运动矢量候选：其在相关联的参考图片列表内的参考图片索引大于1。如果时空运动矢量候选的数量小于二，那么向列表添加附加的零运动矢量候选。

2.1.3.2空域运动矢量候选

在空域运动矢量候选的推导当中，在五个可能的候选当中考虑最多两个候选，这五个可能候选是从位于如图2所示的位置上的PU推导出的，这些位置与运动merge的那些位置相同。针对当前PU的左侧的推导顺序被定义为A0、A1以及缩放A0、缩放A1。针对当前PU的上侧的推导顺序被定义为B0、B1、B2、缩放B0、缩放B1和缩放B2。对于每一侧，都因此存在可以被用作运动矢量候选的四种情况，其中两种情况不要求使用空域缩放，并且两种情况使用空域缩放。这四种不同情况的总结如下：

无空域缩放

(1)相同参考图片列表，并且相同参考图片索引(相同POC)

(2)不同参考图片列表，但是相同参考图片(相同POC)

空域缩放

(3)相同参考图片列表，但是不同参考图片索引(不同POC)

(4)不同参考图片列表，并且不同参考图片(不同POC)

首先检查无空域缩放情况，接下来空域缩放。当POC在相邻PU的参考图片与当前PU的参考图片之间存在不同时，不管参考图片列表如何，都考虑空域缩放。如果左侧候选的所有PU都不可用或者是帧内编解码的，那么允许针对上侧运动矢量的缩放，从而有助于左侧MV候选和上侧MV候选的并行推导。否则，不允许针对上侧运动矢量的空域缩放。

在空域缩放过程中，如图9所示，按照与时域缩放的类似的方式对相邻PU的运动矢量进行缩放。主要不同在于当前PU的参考图片列表和索引是作为输入给出的；实际缩放过程与时域缩放的过程相同。

2.1.3.3时域运动矢量候选

除参考图片索引推导之外，时域merge候选的推导的所有过程均与空域运动矢量候选的推导的过程(参见图6)相同。将参考图片索引信令通知给解码器。

2.2 JEM中的局部照明补偿

局部照明补偿(LIC)以使用缩放因数a和偏移量b的用于照明变化的线性模型为基础。并且，针对每个帧间模式编解码的编解码单元(CU)自适应地启用或禁用局部照明补偿。

图10示出了用于推导LIC参数的相邻样点。

在LIC适用于CU时，采用最小平方误差法通过使用当前CPU的相邻样点及其对应参考样点来推导参数a和b。更具体地，如图12所示，使用CU的子采样(2∶1子采样)相邻样点和参考图片中的对应样点(通过当前CU或子CU的运动信息所识别)。

2.2.1预测块的推导

针对每个预测方向单独推导并应用LIC参数。对于每个预测方向，用解码运动信息生成第一预测块，之后通过应用LIC模型而获得临时预测块。之后，利用两个临时预测块推导出最终预测块。

在用merge模式对CU进行编解码时，以与merge模式中的运动信息复制类似的方式从相邻块复制LIC标志；否则针对该CU信令通知LIC标志，以指示是否应用LIC。

在针对图片启用LIC时，需要附加的CU级RD检查，以确定是是否对CU应用LIC。在对CU启用LIC时，将去除了均值的绝对差之和(MR-SAD)以及去除了均值的绝对Hadamard变换差之和(MR-SATD)而非SAD和SATD分别用于整数像素运动细化和分数像素运动细化。

为了降低编码复杂性，在JEM中应用下述编码方案。

●当在当前图片与其参考图片之间没有明显的照明变化时，对整个图片禁用LIC。为了识别这种情况，在编码器处计算当前图片和当前图片的每个参考图片的直方图。如果当前图片和当前图片的每个参考图片之间的直方图差小于给定阈值，那么对当前图片禁用LIC；否则，对当前图片启用LIC。

2.3 VVC中的帧间预测方法

有几种用于帧间预测改进的新的编解码工具，诸如用于信令通知MVD的自适应运动矢量差分辨率(AMVR)、仿射预测模式、三角形预测模式(TPM)、高级TMVP(ATMVP，又称SbTMVP)、广义双向预测(GBI)、双向光流(BIO)。

2.3.1 VVC中的编解码块结构

在VVC中，采取四叉树/二叉树/多叉树(QT/BT/TT)结构将图片划分成方形或矩形块。

除了QT/BT/TT之外，在VVC中还对I帧采取分离树(separate tree)(又称双重编解码树)。在分离树的情况下，为亮度分量和色度分量单独地信令通知编解码块结构。

2.3.2自适应运动矢量差分辨率

在HEVC中，当条带标头中的use_integer_mv_flag等于0时，以四分之一亮度样点为单位信令通知(PU的运动矢量和预测运动矢量之间的)运动矢量差(MVD)。在VVC中，引入了局部自适应运动矢量分辨率(AMVR)。在VVC中，能够以四分之一亮度样点、整亮度样点和四亮度样点(即，1/4-pel、1-pel、4-pel)为单位编解码MVD。在编解码单元(CU)级上控制该MVD分辨率，并且针对每个具有至少一个非零MVD分量的CU有条件地信令通知MVD分辨率标志。

对于具有至少一个非零MVD分量的CU而言，信令通知第一标志，以指示在CU中是否使用四分之一亮度样点MV精确度。在第一标志(等于1)指示不使用四分之一亮度样点MV精确度时，信令通知另一标志，以指示是否使用整亮度样点MV精确度或四亮度样点MV精确度。

在CU的第一MVD分辨率标志为零时，或者未对CU编解码该标志时(意味着CU内的所有MVD均为零)，对该CU使用四分之一亮度样点MV分辨率。在CU使用整亮度样点MV精确度或者四亮度样点MV精确度时，CU的AMVP候选列表中的MVP被取整到对应的精确度。

2.3.3仿射运动补偿预测

在HEVC中，对于运动补偿预测(MCP)仅应用平移运动模型。而在现实世界中，则有很多种类的运动，例如，放大/缩小、旋转、透视运动和其他不规则运动。在VVC中，采用4参数仿射模型和6参数仿射模型来应用简化的仿射变换运动补偿预测。如图13所示，通过4参数仿射模型的两个控制点运动矢量(CPMV)和6参数仿射模型的3个CPMV来描述块的仿射运动场。

图11示出了(a)4参数仿射和(b)6参数仿射的简化仿射运动模型。

分别通过下述方程描述块的运动矢量场(MVF)，其中，方程(1)中所采用4参数仿射模型(其中，4个参数被定义为变量a、b、e和f)，并且方程2中采用6参数仿射模型(其中，6个参数被定义为a、b、c、d、e和f)：

其中，(mv^h ₀,mv^h ₀)是左上角控制点的运动矢量，(mv^h ₁,mv^h ₁)是右上角控制点的运动矢量，(mv^h ₂,mv^h ₂)是左下角控制点的运动矢量，所有的这三个运动矢量都被称为控制点运动矢量(CPMV)，(x,y)表示代表点相对于当前块内的左上样点的坐标，(mv^h(x,y),mv^v(x,y))是针对位于(x,y)处的样点推导出的运动矢量。CP运动矢量可以是被信令通知的(比如在仿射AMVP模式当中)或者可以是即时推导的(比如在仿射merge模式当中)。w和h是当前块的宽度和高度。在实践当中，通过右移连同取整运算实现除法。在VTM中，代表点被定义为子块的中心位置，例如，在子块的左上角的坐标相对于当前块内的左上样点的坐标为(xs,ys)时，那么代表点的坐标被定义为(xs+2,ys+2)。对于每个子块(例如，VTM中的4×4)，均利用该代表点推导整个子块的运动矢量。

为了进一步简化运动补偿预测，应用基于子块的仿射变换预测。为了推导每一M×N(在当前VVC中，M和N两者都被设置为4)子块的运动矢量，根据方程(1)和方程(2)计算每个子块的中心样点的运动矢量(如图14所示)，并且被取整到1/16分数精度。然后，应用1/16像素的运动补偿插值滤波器，从而借助于推导出的运动矢量生成每个子块的预测。1/16像素的插值滤波器是由仿射模式引入的。

在MCP之后，以与正常运动矢量相同的精度对每个子块的高精度运动矢量取整并保存。

-仿射预测的信令

与平移运动模型类似，还有两种对归因于仿射预测的侧信息进行信令通知的模式。它们是AFFINE_INTER模式和AFFINE_MERGE模式。

-AF_INTER模式

对于宽度和高度两者均大于8的CU，可以应用AF_INTER模式。在比特流中信令通知CU级中的仿射标志，以指示是否使用AF_INTER模式。

在此模式当中，对于每个参考图片列表(List 0或List 1)，采用三种类型的仿射运动预测子按照下述顺序构建仿射AMVP候选列表，其中，每个候选包括当前块的估计CPMV。信令通知在编解码器侧发现的最佳CPMV(例如，图15中的mv₀ mv₁ mv₂)与估计CPMV之间的差。此外，进一步信令通知从中推导估算的CPMV的仿射AMVP的索引。

1)继承的仿射运动预测子

检查顺序与HEVC AMVP列表构建中的空域MVP的检查顺序类似。首先，从被仿射编解码并且具有与当前块中相同的参考图片的{A1,A0}中的第一块推导出左侧继承仿射运动预测子。其次，从被仿射编解码并且具有与当前块中相同的参考图片的{B1,B0,B2}中的第一块推导出上侧继承仿射运动预测子。图16中描绘了五个块A1、A0、B1、B0、B2。

一旦发现相邻块是采用仿射模式编解码的，那么就使用覆盖相邻块的编解码单元的CPMV推导出当前块的CPMV的预测子。例如，如果A1是采用非仿射模式编解码的并且A0是采用4参数仿射模式编解码的，那么将从A0推导出左侧继承仿射MV预测子。在这种情况下，利用覆盖A0的CU的CPMV(如图16)中的左上CPMV的和图16中的右上CPMV的所表示的)来推导当前块的估算CPMV，其由当前块的左上位置(具有坐标(x0,y0))、右上位置(具有坐标(x1,y1))和右下位置(具有坐标(x2,y2))的 所表示的。

2)构建仿射移动预测子

构建仿射移动预测子由从相邻帧间编解码的块推导的控制点运动矢量(CPMV)构成，如图15所示，这些帧间编解码的块具有相同的参考图片。如果当前仿射运动模型是4参数仿射，那么CPMV的数量为2，否则如果当前仿射运动模型为6参数仿射，那么CPMV的数量为3。左上CPMV是由被帧间编解码并且具有与当前块中相同的参考图片的组{A,B,C}中的第一块处的MV推导出的。右上CPMV是由被帧间编解码并且具有与当前块中相同的参考图片的组{D,E}中的第一块处的MV推导出的。左下CPMV是由被帧间编解码并且具有与当前块中相同的参考图片的组{F,G}中的第一块处的MV推导出的。

如果当前仿射运动模型是4参数仿射，那么仅当和两者均被发现，也就是说和被用作当前块的左上(具有坐标(x0,y0))位置和右上(具有坐标(x1,y1))位置的估计CPMV时，才将构建仿射运动预测子***到候选列表中。

如果当前仿射运动模型是6参数仿射，那么仅当和全部被发现，也就是说，和被用作当前块的左上位置(具有坐标(x0,y0))、右上位置(具有坐标(x1,y1))和右下位置(具有坐标(x2,y2))的估计CPMV时，才将构建仿射运动预测子***到候选列表当中。

在将构建仿射移动预测子***到候选列表当中时不应用裁剪过程。

3)正常AMVP运动预测子

以下适用，直到仿射运动预测子的数量达到最大值为止。

1)通过将所有CPMV设为等于(如果可用的话)而推导仿射运动预测子。

2)通过将所有CPMV设为等于(如果可用的话)而推导仿射运动预测子。

3)通过将所有CPMV设为等于(如果可用的话)而推导仿射运动预测子。

4)通过将所有CPMV设为等于HEVC TMVP(如果可用的话)而推导仿射运动预测子。

5)通过将所有CPMV设为零MV而推导仿射运动预测子。

注意，在构建仿射运动预测子中已经推导出了

图14针对继承仿射候选示出了用于AF_INTER的MVP。

图15针对构建仿射候选示出了用于AF_INTER的MVP。

在AF_INTER模式下，当适用4/6参数仿射模式时，需要2/3个控制点，因此需要为这些控制点对2/3个MVD进行编解码，如图15所示。建议按照如下推导MV，即，由mvd₀预测mvd₁和mvd₂。

如图15中所示，其中，mvd_i和mv₁分别是左上像素(i＝0)、右上像素(i＝1)或左下像素(i＝2)的预测的运动矢量、运动矢量差和运动矢量。请注意，两个运动矢量(例如，mvA(xA,yA)和mvB(xB,yB))的相加等于单独地对两个分量的求和，也就是说newMV＝mvA+mvB，并且newMV的两个分量被分别设为(xA+xB)和(yA+yB)。

-AF_MERGE模式

当在AF_MERGE模式下应用CPU时，其从有效邻居重建块得到采用仿射模式编解码的第一块。并且候选块的选择顺序是从左、上、右上、左下到左上，如图16中所示(由按顺序的A、B、C、D、E表示)。例如，如果邻居左下块是以仿射模式编解码的(如图16中由A0所表示的)，那么提取含有块A的相邻CU/PU的左上角、右上角和左下角的控制点(CP)运动矢量mv₀ ^N、mv₁ ^N和mv₂ ^N。基于mv₀ ^N、mv₁ ^N和mv₂ ^N计算当前CU/PU的左上角/右上/左下的运动矢量mv₀ ^C、mv₁ ^C和mv₂ ^C(其仅用于6参数仿射模型)。应当注意在VTM-2.0中，如果当前块是仿射编解码的，那么位于左上角的子块(例如，VTM中的4×4块)存储mv0，位于右上角的子块存储mv1。如果当前块是采用6参数仿射模型编解码的，那么位于左下角的子块存储mv2；否则(采用4参数仿射模型)，LB存储mv2’。其他子块存储用于MC的MV。

在推导出当前CU的CPMV mv₀ ^C、mv₁ ^C和mv₂ ^C之后，根据简化仿射运动模型方程(1)和(2)，生成当前CU的MVF。为了识别出当前CU是否是采用AF_MERGE模式编解码的，当存在至少一个以仿射模式编解码的邻居块时，在比特流中信令通知仿射标志。

仿射merge候选列表是通过下述步骤构建的：

1)***继承仿射候选

继承仿射候选是指：候选是从其有效邻居仿射编解码的块的仿射运动模型推导出的。最多两个继承仿射候选是从邻居块的仿射运动模型推导出的，并且被***到候选列表当中。对于左侧预测子而言，扫描顺序为{A0,A1}；对于上侧预测子而言，扫描顺序为{B0，B1,B2}。

2)***构建仿射候选

如果仿射merge候选列表中的候选的数量小于MaxNumAffineCand(例如，5)，那么构建仿射候选被***到候选列表内。构建仿射候选是指：候选是通过结合每个控制点的邻居运动信息来构建的。

a)控制点的运动信息首先由图17所示的指定的空域邻居和时域邻居推导出的。CPk(k＝1，2，3，4)表示第k个控制点。A0、A1、A2、B0、B1、B2和B3是用于预测CPk(k＝1，2，3)的空域位置；T是用于预测CP4的时域位置。

CP1、CP2、CP3和CP4的坐标分别为(0，0)、(W,0)、(H,0)和(W,H)，其中，W和H是当前块的宽度和高度。

每个控制点的运动信息是根据下述优先权顺序获得的：

–对于CP1，检查优先权为B2->B3->A2。如果B2可用，那么适用B2。否则，如果B2不可用，那么使用B3。如果B2和B3两者都不可用，那么使用A2。如果所有的三个候选都不可用，那么不能获得CP1的运动信息。

–对于CP2，检查优先权为B1->B0。

–对于CP3，检查优先权为A1->A0。

–对于CP4，使用T。

b)其次，使用控制点的组合来构建仿射merge候选。

I.需要三个控制点的运动信息来构建6参数仿射候选。这三个控制点可以选自下述四个组合之一({CP1,CP2,CP4}、{CP1,CP2,CP3}、{CP2,CP3,CP4}、{CP1,CP3,Cp4})。组合{CP1,CP2,CP3}、{CP2,CP3,CP4}、{CP1,CP3,Cp4}将被转换成由左上控制点、右上控制点和左下控制点表示的6参数运动模型。

II.需要两个控制点的运动信息来构建4参数仿射候选。这两个控制点可以选自两个组合({CP1,CP2}、{CP1,CP3})之一。这两个组合将被转换成由左上控制点和右上控制点表示的4参数运动模型。

III.构建仿射候选的组合被按照下述顺序***到候选列表中：{CP1,CP2,CP3}、{CP1,CP2,CP4}、{CP1,CP3,CP4}、{CP2,CP3,CP4}、{CP1,CP2}、{CP1,CP3}

i.对于每个组合，检查每个CP的列表X的参考索引，如果它们全部相同，那么此组合具有用于列表X的有效CPMV。如果组合没有用于列表0和列表1两者的有效CPMV，那么将此组合标记为无效。否则，其有效，并且CPMV被放到子块merge列表中。

3)用零运动矢量进行填充

如果仿射merge候选列表中的候选的数量小于5，那么将具有零参考索引的零运动矢量***到候选列表内，直到列表满了为止。

更具体地，对于子块merge候选列表而言，4参数merge候选具有被设为(0，0)的MV以及被设为来自列表0的单向预测(对于P条带)和双向预测(对于B条带)的预测方向。

在VTM4中，仿射CU的CPMV被存储到单独的缓冲器内。所存储的CPMV仅用于为最近编解码的CU生成仿射merge模式和仿射AMVP模式中的继承CPMVP。从CPMV推导出的子块MV用于运动补偿、平移MV的merge/AMVP列表的MV推导和去方块。为了避免对附加CPMV的图片行缓冲器，对来自于源自上方CTU的CU的仿射运动数据继承与来自正常相邻CU的继承做不同对待。如果用于仿射运动数据继承的候选CU在上方CTU行内，那么将行缓冲器中的左下和右下子块MV(而非CPMV)用于仿射MVP推导。通过这种方式，CPMV仅被存储到本地缓冲器内。如果候选CU是6参数仿射编解码的，那么仿射模型被降级至4参数模型。

-采用运动矢量差的Merge(MMVD)

将介绍最终运动矢量表达(UMVE，又称为MMVD)。UMVE用于采用所提出的运动矢量表达方法的skip模式或merge模式。

UMVE重新使用与VVC中包含在常规merge候选列表当中的那些merge候选相同的merge候选。在这些merge候选当中，可以选择基本候选，并且通过所提出的运动矢量表达方法对基本候选做进一步扩充。

UMVE提供了一种新的运动矢量差(MVD)表示方法，其中，采用起始点、运动幅度和运动方向表示MVD。

所提出的这种技术照原样使用merge候选列表。但是对于UMVE扩充仅考虑默认merge类型(MRG_TYPE_DEFAULT_N)的候选。

基本候选索引定义起始点。基本候选索引指示列表内的候选当中的最佳候选，如下文所述。

表1基本候选IDX

基本候选IDX	0	1	2	3
					第N MVP	第1 MVP	第2 MVP	第3 MVP	第4 MVP

如果基本候选的数量等于1，那么不信令通知基本候选IDX。

距离索引是运动幅度信息。距离索引指示距起始点信息的预定义距离。预定义距离如下：

表2距离IDX

方向索引表示MVD相对于起始点的方向。方向索引可以表示如下文所示的四个方向。

表3方向IDX

方向IDX	00	01	10	11
					x轴	+	–	N/A	N/A
y轴	N/A	N/A	+	–

在发送skip标志或mergemerge标志之后立即信令通知UMVE标志。如果skip或merge标志为真，那么对UMVE标志进行解析。如果UMVE标志等于1，那么对UMVE语法进行解析。但是，如果不等于1，那么对AFFINE标志进行解析。如果AFFINE标志等于1，其为AFFINE模式，但是如果不等于1，那么针对VTM的skip/merge模式对skip/merge索引进行解析。

不需要因UMVE候选引起的附加行缓冲器。因为软件的skip/merge候选被直接用作基本候选。在使用输入UMVE索引的情况下，对MV的补充是刚好在运动补偿之前决定的。没有必要为此保持长的行缓冲器。

在当前的普通测试条件下，可以选择merge候选列表中的第一merge候选或者第二merge候选作为基本候选。

UMVE又被称为采用MV差的Merge(MMVD)。

此外，在条带标头中向解码器信令通知是否使用分数距离的标志tile_group_fpel_mmvd_enabled_flag。在禁用分数距离时，默认表中的距离全都乘以4，即，使用距离表{1,2,4,8,16,32,64,128}像素。由于距离表的尺寸未改变，因而距离索引的熵编解码未改变。

-解码器侧运动矢量细化(DMVR)

在双向预测操作中，对于一个块的区域的预测而言，结合分别使用列表0的运动矢量(MV)和列表1的MV形成的两个预测块，以形成单个预测信号。在解码器侧运动矢量细化(DMVR)方法中，进一步细化双向预测的两个运动矢量。

-JEM中的DMVR

在JEM设计中，通过双边模板匹配过程来细化运动矢量。在解码器中应用双边模板匹配来执行双边模板与参考图片中的重建样点之间的基于失真的搜索，从而在无需传输附加的运动信息的情况下获得细化的MV。在图20中示出了一个示例。如图20所示，双边模板被生成为两个预测块的加权组合(即，平均值)，这两个预测块分别来自于列表0的初始MV0和列表1的初始MV1。模板匹配操作由计算所生成的模板和参考图片中的样点区域(围绕初始预测块)之间的成本度量构成。对于两个参考图片的每者而言，得到最低模板成本的MV被视为该列表的更新MV，以替代原始的那个。在JEM中，针对每个列表搜索九个MV候选。这九个MV候选包括原始MV和8个在水平方向上或垂直方向上或两者上相对于原始MV具有一个亮度样点偏移量的周围MV。最后，两个新MV，即如图20所示的MV0’和MV1’被用于生成最终双向预测结果。绝对差之和(SAD)被用作成本度量。请注意，在计算由一个周围MV生成的预测块的成本时，使用被取整的MV(到整像素程度)而非实际MV来获得预测块。

图20示出了基于双边模板匹配的DMVR。

-VVC中的DMVR

对于VVC中的DMVR，假定列表0和列表1之间的MVD镜像如图21所示，并且执行双边匹配来细化MV，即在几个MVD候选当中找到最佳MVD。通过MVL0(L0X,L0Y)和MVL1(L1X,L1Y)来表示两个参考图片列表的MV。列表0的可以使成本函数(例如，SAD)最小化的由(MvdX,MvdY)表示的MVD被定义为最佳MVD。对于SAD函数而言，其被定义为列表0的参考块与列表1的参考块之间的SAD，列表0的参考块是采用列表0参考图片中的运动矢量(L0X+MvdX，L0Y+MvdY)推导的，列表1参考块是采用列表1参考图片中的运动矢量(L1X-MvdX,L1Y-MvdY)推导的。

运动矢量细化过程可以迭代两次。如图22所示，在每次迭代中，可以在两个步骤中检查最多6个MVD(具有整像素精确度)。在第一步骤中，检查MVD(0，0)、(-1，0)、(1，0)、(0，-1)、(0，1)。在第二步骤中，可以选择检查MVD(-1，-1)、(-1，1)、(1，-1)或(1,1)之一，并对其做进一步检查。假设函数Sad(x，y)返回MVD(x,y)的SAD值。如下决定在第二步骤中检查的由(MvdX,MvdY)表示的MVD：

MvdX＝-1；

MvdY＝-1；

If(Sad(1，0)<Sad(-1,0))

MvdX＝1；

If(Sad(0，1)<Sad(0，-1))

MvdY＝1；

在第一次迭代中，起始点是信令通知的MV，并且在第二次迭代中，起始点是信令通知的MV加第一次迭代中的所选择的最佳MVD。仅在一个参考图片是在先图片并且另一参考图片是随后图片并且这两个参考图片具有距当前图片相同的图片顺序计数距离时，DMVR适用。

图21是DMVR中在列表0和列表1之间成镜像的MVD(0,1)的示例。

图22示出了可以在一次迭代中检查的MV。而且，VVC中的DMVR首先执行如上文所述的整数MVD细化。这是第一步骤。其后，有条件地执行分数精确度上的MVD细化，从而对运动矢量进一步细化。这是第二步骤。是否执行第二步骤的条件基于当前迭代之后的MVD是否是零MV。如果其为零MV(MV的垂直分量和水平分量为0)，那么将执行第二步骤。

如下给出分数MVD细化的细节。应当注意，MVD表示在运动补偿中使用的初始运动矢量和最终运动矢量之间的差。

使用整数距离位置以及在这些位置上评估的成本来拟合参数误差表面，之后其被用于确定1/16像素精确度子像素偏移量。

下面将总结所提出的方法：

1.仅当中心位置是给定迭代中的最佳成本位置时才计算参数误差表面拟合。

2.中心位置成本和距中心(-1,0)、(0,-1)、(1,0)和(0,1)位置上的成本用于拟合下述形式的2-D抛物线误差表面方程

E(x,y)＝A(x-x₀)²+B(y-y₀)²+C

其中，(x₀,y₀)对应于具有最低成本的位置，C对应于最低成本值。通过求解5个未知数当中的5个方程，(x₀,y₀)被计算为：

x₀＝(E(-1,0)-E(1,0))/(2(E(-1,0)+E(1,0)-2E(0,0)))

y₀＝(E(0,-1)-E(0,1))/(2((E(0,-1)+E(0,1)-2E(0,0)))

可以通过调整执行除法的精确度(即，计算商的多少位)来将(x₀,y₀)计算到任何所需的子像素精确度计算。对于1/16像素精度而言，只需计算商的绝对值中的4个比特，这适用于基于快速移位减法实现每个CU所需的2个除法。

3.所计算的(x₀,y₀)被加到整数距离细化MV上，从而得到子像素精确细化增量MV。

所推导出的分数运动矢量的幅度被局限为小于或者等于半个像素

为了进一步简化DMVR的过程，提出了对JEM中的设计的几项变化。更具体地，被VTM-4.0(将很快发布)采纳的DMVR设计具有下述主要特征：

●在列表0和列表1之间的(0,0)位置SAD小于阈值时提早终止。

●当对于某一位置而言列表0和列表1之间的SAD为零时提早终止。

●DMVR的块尺寸：W×H>＝64&&H>＝8，其中，W和H是块的宽度和高度。

●对于CU尺寸>16×16的DMVR而言，将CU划分成多个16×16子块。当只有CU的宽度或高度大于16时，仅在垂直方向或水平方向上对其进行划分。

●参考块尺寸(W+7)×(H+7)(对于亮度而言)。

●基于25点SAD的整像素搜索(即，(+-)2细化搜索范围，单个阶段)

●基于双线性插值的DMVR。

●基于“参数误差表面方程”的子像素细化。仅当在最后一次MV细化迭代中最低SAD成本不等于零并且最佳MVD为(0,0)时执行此过程。

●亮度/色度MC w/参考块填充(如果需要的话)

●仅用于MC和TMVP的细化的MV。

-DMVR的使用

在下述条件均为真时，可以启用DMVR：

–SPS中的DMVR启用标志(即，sps_dmvr_enabled_flag)等于1。

–TPM标志、帧间仿射标志和子块merge标志(要么ATMVPmerge，要么仿射merge)标志全都等于0。

–merge标志等于1。

–当前块是双向预测的，并且当前图片与列表1中的参考图片之间的POC距离等于列表0中的参考图片与当前图片之间的POC距离。

–当前CU高度大于或等于8

–亮度样点的数量(CU宽度×高度)大于或等于64

-DMVR中的所需参考样点

对于具有尺寸W×H的块而言，假设最大允许MVD值是+/-偏移量(例如，VVC中为2)，并且滤波器尺寸为filteSize(例如，在VVC中对于亮度为8并且对于色度为4)，那么需要(W+2×offSet+filterSize–1)×(H+2×offSet+filterSize–1)个参考样点。为了降低存储器带宽，仅提取中心的(W+filterSize–1)×(H+filterSize–1)个参考样点，并且通过重复所提取的样点的边界来生成其他像素。在图23中示出了8×8块的示例。

在运动矢量细化期间，使用这些参考样点执行双线性运动补偿。与此同时，还使用这些参考样点执行最终运动补偿。

图23示出了采用填充的所需参考样点的示例。

-组合帧内和帧间预测(CIIP)

提出了多假设预测，其中，组合帧内和帧间预测是一种生成多个假设的方式。

在应用多假设预测改善帧内模式时，多假设预测结合了一种帧内预测和一种merge索引预测。在merge CU中，针对merge模式信令通知一个标志，从而在该标志为真时从帧内候选列表选择帧内模式。对于亮度分量而言，帧内候选列表是从包括DC模式、平面模式、水平模式和垂直模式在内的4种帧内预测模式推导的，并且帧内候选列表的尺寸可以是3或4，取决于块形状。当CU宽度大于CU高度的二倍时，水平模式被排除在帧内模式列表之外，并且当CU高度大于CU宽度的二倍时，垂直模式被从帧内模式列表中去除。使用加权平均来结合通过帧内模式索引选择的一种帧内预测模式和通过merge索引选择的一种merge索引预测。对于色度分量而言，总是应用DM，而无需多余的信令。如下描述用于结合预测的权重。在选择DC或平面模式，或者CB宽度或高度小于4时，应用相等权重。对于那些具有大于或者等于4的CB宽度和高度的CB而言，在选择水平/垂直模式时，一个CB首先被垂直/水平划分成四个等面积区域。被表示为(w_intra_i,w_inter_i)的每个权重集将被应用于对应区域，其中，i从1到4，并且(w_intra₁，w_inter₁)＝(6，2)，(w_intra₂，w_inter₂)＝(5，3)，(w_intra₃，w_inter₃)＝(3，5)，(w_intra₄，w_inter₄)＝(2，6)。(w_intra₁,w_inter₁)用于最接近参考样点的区域，而(w_intra₄，w_inter₄)用于离参考样点最远的区域。之后，可以通过对两个加权预测求和并且右移3个比特来计算组合预测。此外，可以将用于预测子的帧内假设的帧内预测模式保存起来，以供接下来的相邻CU的参考。

在VTM4中，当CU是以merge模式编解码的时，并且如果CU含有至少64个亮度样点(也就是说，CU宽度乘以CU高度等于或者大于64)，那么信令通知附加的标志，以指示是否对当前CU应用组合帧间/帧内预测(CIIP)。

3.问题

CIIP采用帧内预测和帧间预测之间的加权组合，这在对具有清晰边缘的屏幕内容进行编解码时可能不太有效率。其可能使预测信号模糊，并进一步损害编解码性能。

4.实施例和技术的示例列举

提出了在针对一个块启用CIIP时，该块内的某些样点可以仅从帧内预测来预测，而其他的则可以仅从帧间预测来预测。

下文的详细列举应被视为解释一般概念的示例。不应狭义地解释这些技术。此外，这些发明可以以任何方式组合。

除了下文提及的CIIP之外，下文描述的方法还可以适用于其他解码器运动信息推导技术。

1.针对预测单元/编解码块/区域在CIIP模式中可以＝更新权重。

a.在一个示例中，可以将CIIP模式中的被表示为(w_intra_i,w_inter_i)(其中i从1到4)的权重集更新为(w_intra₁,w_inter₁)＝(N,0)，(w_intra₂，w_inter₂)＝(0，N)，(w_intra₃,w_inter₃)＝(0,N)和(w_intra₄,w_inter₄)＝(0,N)

b.在一个示例中，可以将CIIP模式中的被表示为(w_intra_i,w_inter_i)(其中i从1到4)的权重集更新为(w_intra1,w_inter1)＝(N,0)，(w_intra2,w_inter2)＝(N，0)，(w_intra3,w_inter3)＝(0,N)和(w_intra4,w_inter4)＝(0，N)

c.在一个示例中，可以将CIIP模式中的被表示为(w_intra_i,w_inter_i)(其中i从1到4)的权重集更新为(w_intra1,w_inter1)＝(N,0)，(w_intra2,w_inter2)＝(N，0)，(w_intra3,w_inter3)＝(N,0)和(w_intra4,w_inter4)＝(0,N)

d.在一个示例中，根据上述方法更新仅一些部分的权重，并且其他部分仍然使用当前权重。

e.在一个示例中，上方的k行像素可以具有(intra,inter)权重(N,0)，并且其他行可以具有权重(0，N)。

f.在一个示例中，左侧的k列像素可以具有(intra,inter)权重(N,0)，并且其他列可以具有权重(0,N)。

g.在一个示例中，N被设为1。替代地，当最终预测块是两个预测块的平均值除以8时，N被设为8。

h.在一个示例中，在使用上述更新的权重集时，在CIIP模式中加权预测可以被实现成块复制。

i.在一个示例中，针对预测单元/编解码块/区域的CIIP模式中的更新的权重的值可以取决于例如，在序列(例如，SPS)/条带(例如，条带标头)/片组(例如，片组标头)/图片级(例如，图片标头)/块级(例如，CTU或CU)中信令通知的消息(例如，标志)，。

2.对针对预测单元/编解码块/区域的CIIP模式中的权重进行更新的使用的指示可以取决于例如，在序列(例如，SPS)/条带(例如，条带标头)/片组(例如，片组标头)/图片级(例如，图片标头)/块级(例如，CTU或CU)中信令通知的消息(例如，标志)。

a.在一个示例中，在序列(例如，SPS)/条带(例如，条带标头)/片组(例如，片组标头)/图片级(例如，图片标头)/块级(例如，CTU或CU)中信令通知的标志(例如，tile_group_MHIntra_SCC_weight_enabled_flag)为真，那么可以更新CIIP模式中的权重。换言之，当在序列(例如，SPS)/条带(例如，条带标头)/片组(例如，片组标头)/图片级(例如，图片标头)/块级(例如，CTU或CU)中信令通知的标志为真时，可以更新CIIP中的权重。

b.在一个示例中，在序列(例如，SPS)/条带(例如，条带标头)/片组(例如，片组标头)/图片级(例如，图片标头)/块级(例如，CTU或CU)中信令通知的标志(例如，tile_group_MHIntra_SCC_weight_enabled_flag)为假，那么可以不更新CIIP模式中的权重。换言之，当在序列(例如，SPS)/条带(例如，条带标头)/片组(例如，片组标头)/图片级(例如，图片标头)/块级(例如，CTU或CU)中信令通知的标志为假时，可以不更新CIIP内的权重。

c.在一个示例中，对CIIP模式中的权重进行更新的使用的指示可以被推断出，并且其可以取决于

a)当前块维度

b)当前量化参数

c)变换类型

d)帧间运动矢量指向的块的编解码模式

e)运动矢量精确度

f)CIIP中使用的merge索引

g)CIIP中使用的帧内预测模式

h)CIIP中使用的运动矢量的幅度

i)相邻块使用哪一权重集的指示

d.在一个示例中，对CIIP模式中的权重进行更新的使用的指示可以在子块级上被信令通知。

e.在一个示例中，对CIIP模式中的权重进行更新的使用的指示可以在子块级上被推断。

3.在CIIP模式下可以提供多个权重集。针对预测单元/编解码块/区域使用哪一权重集的指示可以取决于例如，在序列(例如，SPS)/条带(例如，条带标头)/片组(例如，片组标头)/图片级(例如，图片标头)/块级(例如，CTU或CU)中信令通知的消息(例如，标志)。

a.在一个示例中，可以在序列(例如，SPS)/条带(例如，条带标头)/片组(例如，片组标头)/图片级(例如，图片标头)/块级(例如，CTU或CU)中信令通知消息(例如，标志)，以指示在CIIP模式中可以使用哪一权重集。

b.替代性地，在一个示例中，在CIIP模式中使用哪一权重集的指示可以被推断，此外，在一个示例中，对其的推断可以基于

a)当前块维度

b)当前量化参数

c)CIIP中使用的merge索引

d)CIIP中使用的帧内预测模式

e)CIIP内使用的运动矢量的幅度

f)对相邻块使用哪一权重集的指示

c.在一个示例中，在CIIP模式中使用哪一权重集的指示可以在子块级上被信令通知。

d.在一个示例中，在CIIP模式中使用哪一权重集的指示可以在子块级上被推断。

-实施例

7.3.2原始字节序列有效负载、结尾比特(trailing bit)和字节对准语法

7.3.2.1序列参数集RBSP语法

sps_scc_MHIntra_weight_enabled_flag指定对CIIP模式中的权重进行更新。sps_scc_MHIntra_weight_enabled_flag等于0指定对CIIP模式中的权重不进行更新。如果不存在sps_scc_MHIntra_weight_enabled_flag，那么推断其为0。

7.3.4片组标头语法

7.3.4.1一般片组标头语法

8.5.7.6用于组合merge和帧内预测的加权样点预测过程

对这一过程的输入为：

–当前编解码块的宽度cbWidth，

–当前编解码块的高度cbHeight，

–两个(cbWidth)x(cbHeight)阵列predSamplesInter和predSamplesIntra

–帧内预测模式predModeIntra

–指定颜色分量索引的变量cIdx

这一过程的输出是预测样点值的(cbWidth)×(cbHeight)阵列predSamplesComb

变量bitDepth的推导如下:

–如果cIdx等于0，那么bitDepth被设为等于BitDepth_Y。

–否则，bitDepth被设为等于BitDepth_C。

预测样点predSamplesComb[x][y](其中，x＝0..cbWidth-1并且y＝0..cbHeight-1)的推导如下：

–权重w的推导如下：

–如果下述条件中的一者或多者为真，那么w被设为等于4：

–cbWidth小于4。

–cbHeight小于4。

–predModeIntra等于INTRA_PLANAR

–predModeIntra等于INTRA_DC。

–否则，如果predModeIntra为INTRA_ANGULAR50，那么在表8-11中规定了w，其中，nPos等于y并且nSize等于cbHeight。

–否则，如果predModeIntra为INTRA_ANGULAR18，那么在表8-11中规定了w，其中，nPos等于x并且nSize等于cbWidth。

–否则，w被设为等于4。

–预测样点predSamplesComb[x][y]的推导如下：

-if tile_group_MHIntra_SCC_weight_enabled_flag is 1,

-if tile_group_MHIntra_SCC_weight_enabled_flag is 0,

表格8-11–作为位置nP和尺寸nS的函数的w1的规定

表格8-12–作为位置nP和尺寸nS的函数的w2的规定

图24是视频处理装置1000的框图。装置1000可用于实施本文所述的一种或多种方法。装置1000可包含在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1000可包括一个或多个处理器1002、一个或多个存储器1004和视频处理硬件1006。(一个或多个)处理器1002可以被配置为实现本文件中描述的一种或多种方法。(一个或多个)存储器1004可用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件1006可用于在硬件电路***中实现本文件中描述的一些技术。

图25是视频处理的示例方法2500的流程图。方法2500包括在当前视频区域与当前视频块的比特流表示之间的转换期间更新(2502)用于组合帧间和帧内预测模式的权重，以及基于更新执行(2504)转换。

在权利要求章节和第4章中描述了附加的特征。

图26是视频处理的示例方法2600的流程图。方法2600包括：针对视频的第一块与视频的第一块的比特流表示之间的转换，确定(2502)启用还是禁用对在该转换期间要应用的组合帧内和帧间预测(CIIP)模式中的权重进行更新的使用；响应于确定启用对CIIP模式中的权重进行更新，更新(2504)CIIP模式中应用在第一块的部分像素中的权重；以及基于更新的权重和未更新的权重执行(2506)转换。

在一些示例中，应用CIIP模式，从而基于第一块的中间帧内预测和中间merge帧间预测的加权和来推导第一块的最终预测。

在一些示例中，在该转换期间针对预测单元、编解码块和区域中的至少一者应用CIIP模式。

在一些示例中，CIIP模式中应用在第一块的部分像素中的权重包括一个或多个权重集，并且每个权重集(w_intra_i,w_inter_i)包括用于帧内模式的权重(w_intra_i)和用于帧间模式的权重(w_inter_i)，并且被应用于对应的预测单元或编解码块或区域，其中，i为整数。

在一些示例中，i为从1到4。

在一些示例中，权重集(w_intra₁,w_inter₁)用于最接近参考样点的区域，并且(w_intra₄,w_inter₄)用于离参考样点最远的区域。

在一些示例中，将CIIP模式中的权重集更新为(w_intra₁,w_inter₁)＝(N,0)、(w_intra₂,w_inter₂)＝(0，N)、(w_intra₃,w_inter₃)＝(0,N)和(w_intra₄,w_inter₄)＝(0,N)，N为整数。

在一些示例中，将CIIP模式中的权重集更新为(w_intra1,w_inter1)＝(N,0)、(w_intra2,w_inter2)＝(N,0)、(w_intra3,w_inter3)＝(0,N)和(w_intra4,w_inter4)＝(0,N)，N为整数。

在一些示例中，将CIIP模式中的权重集被更新为(w_intra1,w_inter1)＝(N,0)、(w_intra2，w_inter2)＝(N,0)、(w_intra3,w_inter3)＝(N,0)和(w_intra4,w_inter4)＝(0,N)，N为整数。

在一些示例中，用于第一块的上方k行处的像素的权重集(w_intra,w_inter)具有权重(N,0)，并且用于其他行的权重集(w_intra,w_inter)具有权重(0,N)，K为整数。

在一些示例中，用于第一块的左侧k列处的像素的权重集(w_intra,w_inter)具有权重(N，0)，并且用于其他列的权重集(w_intra，w_inter)具有权重(0，N)，K为整数。

在一个示例中，N被设为1。

在一些示例中，在最终预测块是两个预测块的加权平均值除以8时，N被设为8。

在一些示例中，当在该转换期间使用更新的权重集时，加权预测在CIIP模式中被实现成块复制。

在一些示例中，CIIP模式中应用在第一块的部分像素中的权重的值取决于在下述选项中的至少一者中信令通知的消息：包括序列参数集(SPS)的序列级、包括条带标头的条带级、包括片组标头的片组级、包括图片标头的图片级以及包括编解码树单元(CTU)和编解码单元(CU)的块级。

在一些示例中，该确定基于对CIIP模式中的权重进行更新的使用的指示。

在一些示例中，对CIIP模式中的权重进行更新的使用的指示取决于在下述选项中的至少一者中信令通知的消息：包括序列参数集(SPS)的序列级、包括条带标头的条带级、包括片组标头的片组级、包括图片标头的图片级以及包括编解码树单元(CTU)和编解码单元(CU)的块级。

在一些示例中，该消息包括存在于比特流表示中的标志。

在一些示例中，当该标志为真时，启用对CIIP模式中的权重进行更新的使用。

在一些示例中，在该标志为假时，禁用对CIIP模式中的权重进行更新的使用。

在一些示例中，该标志是tile_group_MHIntra_SCC_weight_enabled_flag。

在一些示例中，对CIIP模式中的权重进行更新的使用的指示是被推断出的。

在一些示例中，对CIIP模式中的权重进行更新的使用的指示取决于下述选项中的至少一者：

a)当前块维度；

b)当前量化参数；

c)变换类型；

d)帧间运动矢量指向的块的编解码模式；

e)运动矢量精确度；

f)CIIP模式中使用的merge索引；

g)CIIP模式中使用的帧内预测模式；

h)CIIP模式内使用的运动矢量的幅度；

i)第一块的相邻块使用哪一权重集的指示。

在一些示例中，对CIIP模式中的权重进行更新的使用的指示是在子块级上被信令通知的。

在一些示例中，对CIIP模式中的权重进行更新的使用的指示是在子块级上被推断的。

图27是视频处理的示例方法2700的流程图。方法2700包括：针对视频的第一块与视频的第一块的比特流表示之间的转换，从组合帧内和帧间预测(CIIP)模式中正在使用的多个权重集中确定(2702)权重集，所述确定取决于存在于下述选项中的至少一者中的消息：包括序列参数集(SPS)的序列级、包括条带标头的条带级、包括片组标头的片组级、包括图片标头的图片级以及包括编解码树单元(CTU)和编解码单元(CU)的块级；基于所确定的权重集，应用(2704)CIIP模式，以生成第一块的最终预测；以及基于最终预测执行(2706)该转换；其中，第一块的最终预测是基于第一块的中间帧内预测和中间merge帧间预测的加权和生成的。

在一些示例中，在该转换期间针对预测单元、编解码块和区域中的至少一者应用该CIIP模式中的多个权重集中的至少一者。

在一些示例中，该消息包括存在于比特流表示中的标志。

在一些示例中，信令通知该消息，以指示要在CIIP模式下使用哪一权重集。

在一些示例中，对在CIIP模式中正被使用的多个权重集中的哪一权重集的指示是被推断的。

在一些示例中，对在CIIP模式中正被使用的所述多个权重集中的哪一权重集的指示取决于下述选项中的至少一者：

a)当前块维度；

b)当前量化参数；

c)CIIP模式中使用的merge索引；

d)CIIP模式中使用的帧内预测模式；

e)CIIP模式中使用的运动矢量的幅度；

f)第一块的相邻块使用哪一权重集的指示。

在一些示例中，对在CIIP模式中正被使用的多个权重集中的哪一权重集的指示是在子块级上被信令通知的。

在一些示例中，对在CIIP模式中正被使用的多个权重集中的哪一权重集的指示是在子块级上被推断的。

在一些示例中，该转换由比特流表示生成视频的第一块。

在一些示例中，该转换由视频的第一块生成比特流表示。

本文中所公开的和描述的其他方案、示例、实施例、模块和功能操作可以在数字电子电路***、或计算机软件、固件或硬件，包括本文中所公开的结构及其结构等效体，或其中一个或多个的组合中实现。公开的实施例和其他实施例可以实现为一个或多个计算机程序产品，即编解码在计算机可读介质上的计算机程序指令的一个或多个模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机。除硬件外，装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理***、操作***或其中一个或多个的组合。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编解码信息以供传输到合适的接收器设备。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或其他适合在计算环境中使用的单元。计算机程序不一定与文件***中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于所讨论的程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。可以部署计算机程序以在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。

本文中描述的过程和逻辑流可以通过一个或多个可编程处理器来执行，该处理器执行一个或多个计算机程序，通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储器设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或***作性地耦接以从一个或多个大容量存储设备接收数据或向其传输数据，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动硬盘；磁光盘；以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

虽然本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求的范围的限制，而应解释为对特定技术的特定实施例专有的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反地，在单个实施例的上下文中描述的各种特征也可单独地或者以任何合适的子组合的形式在多个实施例中实现。此外，虽然某些特征可能在上面被描述为以某些组合来起作用并且甚至最初也这样地来要求保护，但是来自要求保护的组合的一个或多个特征在某些情况下可从该组合中去除，并且要求保护的组合可针对子组合或子组合的变体。

同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或先后顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种***组件的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现方式和示例，其他实现方式、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (35)

1.一种视频处理方法，包括：

针对视频的第一块与所述的视频的第一块的比特流表示之间的转换，确定启用还是禁用对在所述转换期间要应用的组合帧内和帧间预测CIIP模式中的权重进行更新的使用；

响应于确定启用对CIIP模式中的权重进行更新，更新CIIP模式中应用在所述第一块的部分像素中的权重；以及

基于更新的权重和未更新的权重执行所述转换，

其中，用于所述第一块的上方k行处的像素的更新的权重集(w_intra,w_inter)具有权重(N,0)，并且用于其他行的更新的权重集(w_intra,

w_inter)具有权重(0,N)，K为整数，以及/或者，

用于所述第一块的左侧k列处的像素的更新的权重集(w_intra,

w_inter)具有权重(N,0)，并且用于其他列的更新的权重集(w_intra,

w_inter)具有权重(0,N)，K为整数。

2.根据权利要求1所述的方法，其中，应用所述CIIP模式，从而基于所述第一块的中间帧内预测和中间merge帧间预测的加权和来推导所述第一块的最终预测。

3.根据权利要求1或2所述的方法，其中，在所述转换期间针对预测单元、编解码块和区域中的至少一者应用所述CIIP模式。

4.根据权利要求1所述的方法，其中，CIIP模式中应用在所述第一块的部分像素中的权重包括一个或多个权重集，并且每个权重集(w_intra_i,w_inter_i)包括用于帧内模式的权重(w_intra_i)和用于帧间模式的权重(w_inter_i)，并且被应用于对应的预测单元或编解码块或区域，其中，i为整数。

5.根据权利要求4所述的方法，其中，i从1到4。

6.根据权利要求5所述的方法，其中，权重集(w_intra₁,w_inter₁)用于最接近参考样点的区域，并且(w_intra₄,w_inter₄)用于离所述参考样点最远的区域。

7.根据权利要求5或6所述的方法，其中，将所述CIIP模式中的权重集更新为(w_intra₁,w_inter₁)＝(N,0)、(w_intra₂,w_inter₂)＝(0,N)、(w_intra₃,w_inter₃)＝(0,N)和(w_intra₄,w_inter₄)＝(0,N)，N为整数。

8.根据权利要求5或6所述的方法，其中，将所述CIIP模式中的权重集更新为(w_intra₁,w_inter₁)＝(N,0)、(w_intra₂,w_inter₂)＝(N,0)、(w_intra₃,w_inter₃)＝(0,N)和(w_intra₄,w_inter₄)＝(0,N)，N为整数。

9.根据权利要求5或6所述的方法，其中，将所述CIIP模式中的权重集更新为(w_intra₁,w_inter₁)＝(N,0)、(w_intra₂,w_inter₂)＝(N,0)、(w_intra₃,w_inter₃)＝(N,0)和(w_intra₄,w_inter₄)＝(0,N)，N为整数。

10.根据权利要求1或2所述的方法，其中，N被设为1。

11.根据权利要求1或2所述的方法，其中，在最终预测块是两个预测块的加权平均值除以8时，N被设为8。

12.根据权利要求1或2所述的方法，其中，当在所述转换期间使用更新的权重集时，加权预测在CIIP模式中被实现成块复制。

13.根据权利要求1或2所述的方法，其中，CIIP模式中应用在所述第一块的部分像素中的权重的值取决于在下述选项中的至少一者中信令通知的消息：包括序列参数集SPS的序列级、包括条带标头的条带级、包括片组标头的片组级、包括图片标头的图片级以及包括编解码树单元CTU和编解码单元CU的块级。

14.根据权利要求1所述的方法，其中，所述确定基于对CIIP模式中的权重进行更新的使用的指示。

15.根据权利要求14所述的方法，其中，对CIIP模式中的权重进行更新的使用的指示取决于在下述选项中的至少一者中信令通知的消息：包括序列参数集SPS的序列级、包括条带标头的条带级、包括片组标头的片组级、包括图片标头的图片级以及包括编解码树单元CTU和编解码单元CU的块级。

16.根据权利要求15所述的方法，其中，所述消息包括存在于所述比特流表示中的标志。

17.根据权利要求16所述的方法，其中，当所述标志为真时，启用对CIIP模式中的权重进行更新的使用。

18.根据权利要求16所述的方法，其中，在所述标志为假时，禁用对CIIP模式中的权重进行更新的使用。

19.根据权利要求16-18中的任何一项所述的方法，其中，所述标志为tile_group_MHIntra_SCC_weight_enabled_flag。

20.根据权利要求14所述的方法，其中，对CIIP模式中的权重进行更新的使用的指示是被推断出的。

21.根据权利要求20所述的方法，其中，对CIIP模式下中的权重进行更新的使用的指示取决于下述选项中的至少一者：

a)当前块维度；

b)当前量化参数；

c)变换类型；

d)帧间运动矢量指向的块的编解码模式；

e)运动矢量精确度；

f)CIIP模式中使用的merge索引；

g)CIIP模式中使用的帧内预测模式；

h)CIIP模式中使用的运动矢量的幅度；

i)所述第一块的相邻块使用哪一权重集的指示。

22.根据权利要求15所述的方法，其中，对CIIP模式中的权重进行更新的使用的指示是在子块级上被信令通知的。

23.根据权利要求14所述的方法，其中，对CIIP模式中的权重进行更新的使用的指示是在子块级上被推断的。

24.根据权利要求1所述的方法，还包括：

从组合帧内和帧间预测CIIP模式中正在使用的多个权重集中确定权重集，所述确定取决于存在于下述选项中的至少一者中的消息：包括序列参数集SPS的序列级、包括条带标头的条带级、包括片组标头的片组级、包括图片标头的图片级以及包括编解码树单元CTU和编解码单元CU的块级；

基于所确定的权重集，应用CIIP模式以生成所述第一块的最终预测；以及

基于所述最终预测执行所述转换；

其中，所述第一块的最终预测是基于所述第一块的中间帧内预测和中间merge帧间预测的加权和生成的。

25.根据权利要求24所述的方法，其中，在所述转换期间，针对预测单元、编解码块和区域中的至少一者应用所述CIIP模式中的所述多个权重集中的至少一者。

26.根据权利要求24或25所述的方法，其中，所述消息包括存在于所述比特流表示中的标志。

27.根据权利要求24或25所述的方法，其中，信令通知所述消息，以指示要在CIIP模式中使用哪一权重集。

28.根据权利要求24或25所述的方法，其中，对在CIIP模式中正被使用的所述多个权重集中的哪一权重集的指示是被推断的。

29.根据权利要求28所述的方法，其中，对在CIIP模式中正被使用的所述多个权重集中的哪一权重集的指示取决于下述选项中的至少一者：

a)当前块维度；

b)当前量化参数；

c)CIIP模式中使用的merge索引；

d)CIIP模式中使用的帧内预测模式；

e)CIIP模式中使用的运动矢量的幅度；

f)所述第一块的相邻块使用哪一权重集的指示。

30.根据权利要求24或25所述的方法，其中，对在CIIP模式中正被使用的所述多个权重集中的哪一权重集的指示是在子块级上被信令通知的。

31.根据权利要求24或25所述的方法，其中，对在CIIP模式中正被使用的所述多个权重集中的哪一权重集的指示是在子块级是被推断的。

32.根据权利要求1或2所述的方法，其中，所述转换从所述比特流表示生成视频的第一块。

33.根据权利要求1或2所述的方法，其中，所述转换从所述的视频的第一块生成所述比特流表示。

34.一种视频***中的装置，其包括处理器以及具有位于其上的指令的非暂态存储器，其中，所述指令在被所述处理器执行时使得所述处理器实现权利要求1到33中的任何一项所述的方法。

35.一种其上存储有计算机程序产品的非暂态计算机可读介质，所述计算机程序产品包括用于实现权利要求1到33中的任何一项所述的方法的程序代码。