CN118020300A - 用于视频处理的方法、装置和介质 - Google Patents

Abstract

提出了一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的码流之间的转换期间，确定与目标块的第一部分的编解码信息相关的存储信息，该目标块利用几何划分模式(GPM)被编解码；以及基于存储信息执行转换。

Description

用于视频处理的方法、装置和介质

技术领域

本公开的实施例一般地涉及视频编解码技术，更具体地，涉及图像/视频编解码中的多重假设预测的信令。

背景技术

如今，数字视频功能正被应用于人们生活的各个方面。已经针对视频编码/解码，已经提出了多种类型的视频压缩技术，诸如MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频编解码(AVC)、ITU-T H.265高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准。然而，常规视频编解码技术的编解码效率通常较低，这是不希望的。

发明内容

本公开的实施例提供用于视频处理的解决方案。

在第一方面，提出了一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的码流之间的转换期间，确定与目标块的第一部分的编解码信息相关的存储信息，该目标块利用几何划分模式(GPM)被编解码；以及基于存储信息执行转换。与传统解决方案相比，所提出的方法可以有利地提高编解码效率和性能。

在第二方面，提出了另一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的码流之间的转换期间，基于多个帧内预测生成目标块的多重假设预测块；以及基于多重假设预测块执行转换。与现有解决方案相比，所提出的方法可以有利地提高编解码效率和性能。

在第三方面，提出了另一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的码流之间的转换期间，基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示，该目标块是GPM块；以及基于该确定来执行转换。与传统解决方案相比，所提出的方法可以有利地提高编解码效率和性能。

在第四方面，提出了另一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的码流之间的转换期间，针对编解码方法，基于与目标块相关联的邻近样本的可用性，确定被用于目标块的模板的形状；以及基于该确定执行转换。与传统解决方案相比，所提出的方法可以有利地提高编解码效率和性能。

在第五方面，提出了一种用于处理视频数据的装置。该处理视频数据的装置包括处理器和其上带有指令的非暂态存储器，其中指令在由处理器执行时，使处理器执行根据第一方面、第二方面、第三方面或第四方面中的任一个的方法。

在第六方面，提出了一种用于处理视频数据的装置。该非暂态计算机可读存储介质存储使处理器执行根据第一方面、第二方面、第三方面或第四方面中的任一个的方法的指令。

在第七方面，提出了一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由视频处理装置执行的方法生成的码流，其中该方法包括：确定与目标块的第一部分的编解码信息相关的存储信息，该目标块利用几何划分模式(GPM)被编解码；以及基于存储信息生成目标块的码流。

在第八方面，提出了另一种用于存储视频的码流的方法。该方法包括：确定与目标块的第一部分的编解码信息相关的存储信息，该目标块利用几何划分模式(GPM)被编解码；基于存储信息生成目标块的码流；以及将码流存储在非暂态计算机可读记录介质中。

在第九方面，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由视频处理装置执行的方法生成的码流，其中该方法包括：基于多个帧内预测生成目标块的多重假设预测块；以及基于多重假设预测块生成目标块的码流。

第十方面，提出了另一种用于存储视频的码流的方法。该方法包括基于多个帧内预测生成目标块的多重假设预测块；基于多重假设预测块生成目标块的码流；以及将码流存储在非暂态计算机可读记录介质中。

在第十一方面，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由视频处理装置执行的方法生成的码流，其中该方法包括：基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示，目标块是GPM块；以及基于该确定生成目标块的码流。

在第十二方面，提出了另一种用于存储视频的码流的方法。该方法包括：基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示，目标块是GPM块；基于该确定生成目标块的码流；以及将该码流存储在非暂态计算机可读记录介质中。

在第十三方面，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由视频处理装置执行的方法生成的码流，其中该方法包括：针对编解码方法，基于与目标块相关联的邻近样本的可用性，确定被用于目标块的模板的形状；以及基于确定生成目标块的码流。

在第十四方面，提出了另一种用于存储视频的码流的方法。该方法包括：针对编解码方法，基于与目标块相关联的邻近样本的可用性，确定被用于目标块的模板的形状；基于确定生成目标块的码流；以及将码流存储在非暂态计算机可读记录介质中。

提供本发明内容是为了以简化的形式介绍以下在详细描述中进一步描述的概念的选择。本发明内容不旨在识别所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。

附图说明

通过参考附图的以下详细描述，本公开的示例实施例的上述和其他目的、特征和优点将变得更加明显。在本公开的示例实施例中，相同的附图标记通常指代相同的组件。

图1示出了根据本公开的一些实施例的示例视频编解码***的框图；

图2示出了根据本公开的一些实施例的示例视频编码器的框图；

图3示出了根据本公开的一些实施例的示例视频解码器的框图；

图4是帧内预测模式的示意图；

图5示出了用于广角帧内预测的参考样本的框图；

图6示出了在方向超过45°的情况下的不连续性问题的示意图；

图7示出了应用于对角线和相邻角帧内模式的PDPC所使用的样本定义的示意图；

图8示出邻近预测块的四个参考行的示例的示意图；

图9示出了取决于块大小的子划分的示意图；

图10示出了矩阵加权帧内预测过程；

图11示出了空间合并候选的位置；

图12示出了考虑用于空间合并候选的冗余检查的候选对；

图13示出了用于时间合并候选的运动矢量缩放的示意图；

图14示出了时间合并候选C0和C1的候选位置；

图15示出了MMVD搜索点的示意图；

图16示出了BDOF中使用的扩展CU区域；

图17示出了对称MVD模式的示意图；

图18示出了解码侧运动矢量细化；

图19示出了在CIIP权重导出中使用的顶部和左侧邻近块；

图20示出了按相同角度分组的GPM分割的示例；

图21示出了几何划分模式的单向预测MV选择；

图22示出了使用几何划分模式生成弯曲权重w0的示例；

图23示出了所提出的帧内块解码过程；

图24示出了来自宽度为3像素的模板的HoG计算；

图25示出了通过两个HoG模式和平面的加权平均的预测融合；

图26示出了根据本公开的实施例的方法的流程图；

图27示出了根据本公开的实施例的方法的流程图；

图28示出了根据本公开的实施例的方法的流程图；

图29示出了根据本公开的实施例的方法的流程图；以及

图30示出了其中可以实现本公开的各种实施例的计算设备的框图。

在所有附图中，相同或相似的附图标记通常指代相同或相似的元素。

具体实施方式

现在将参考一些实施例来描述本公开的原理。应当理解的是，描述这些实施例仅出于说明并且帮助本领域技术人员理解和实施本公开的目的，而不暗示对本公开的范围的任何限制。除了下文所述的方式之外，本文所描述的公开内容还可以以各种方式实施。

在以下描述和权利要求中，除非另有定义，否则在本文中使用的所有科学术语和技术术语具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。

本公开中提及的“一个实施例”、“实施例”、“示例实施例”等指示所描述的实施例可以包括特定的特征、结构或特性，但是并非每个实施例都必须包括该特定的特征、结构或特性。此外，这些短语不一定指同一实施例。此外，当结合示例实施例描述特定的特征、结构或特性时，无论是否明确描述，认为影响与其他实施例相关的这种特征、结构或特性在本领域技术人员的知识范围内。

应当理解的是，尽管术语“第一”和“第二”等可以用于描述各种元素，但这些元素不应受限于这些术语。这些术语仅用于区分一个元素与另一个元素。例如，第一元素可以被称为第二元素，类似地，第二元素可以被称为第一元素，而不脱离示例实施例的范围。如本文中所使用的，术语“和/或”包括一个或多个所列术语的任何和所有组合。

本文中所使用的术语仅用于描述特定实施例的目的，并不旨在限制示例实施例。如本文中所用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确指示。还应理解，术语“包括”、“包含”和/或“具有”在本文中使用时表示存在所述特征、元素和/或组件等，但不排除一个或多个其他特征、元素、组件和/或其组合的存在或添加。

示例环境

图1是图示可以利用本公开的技术的示例视频编解码***100的框图。如所示出的，视频编解码***100可以包括源设备110和目的设备120。源设备110也可以称为视频编码设备，并且目的设备120也可以称为视频解码设备。在操作中，源设备110可以被配置为生成经编码的视频数据，并且目的设备120可以被配置为对由源设备110生成的经编码的视频数据进行解码。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备之类的源。视频捕获设备的示例包括但不限于从视频内容提供商接收视频数据的接口、用于生成视频数据的计算机图形***和/或其组合。

视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成码流。码流可以包括形成视频数据的编码表示的位序列。码流可以包括编码图片和相关联的数据。编码图片是图片的编码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器和/或发送器。经编码的视频数据可以通过网络130A经由I/O接口116直接传输至目的设备120。经编码的视频数据也可以存储在存储介质/服务器130B上，以供目的设备120访问。

目的设备120可以包括I/O接口126、视频解码器124和显示设备122。I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130B获取经编码的视频数据。视频解码器124可以对经编码的视频数据进行解码。显示设备122可以向用户显示经解码的视频数据。显示设备122可以与目的设备120集成，或者可以在目的设备120的外部，该目的设备120被配置为与外部显示设备接口连接。

视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他现有和/或将来的标准。

图2是示出根据本公开的一些实施例的视频编码器200的示例的方框图，视频编码器200可以是图1所示的***100中的视频编码器114的示例。

视频编码器200可以被配置为实现本公开的任何或所有技术。在图2的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在一些实施例中，视频编码器200可以包括划分单元201、预测单元202、残差生成单元207、变换单元208、量化单元209、反量化单元210、反变换单元211、重建单元212、缓冲213和熵编解码单元214，该预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括块内复制(IBC)单元。IBC单元可以在IBC模式中执行预测，其中至少一个参考图片是当前视频块所位于的图片。

此外，尽管一些组件(诸如运动估计单元204和运动补偿单元205)可以被集成，但是为了解释的目的，这些组件在图2的示例中被分离地示出。

划分单元201可以将图片划分成一个或多个视频块。视频编码器200和视频解码器300(其将在以下详细讨论)可以支持各种视频块大小。

模式选择单元203可以例如基于误差结果来选择多种编解码模式(帧内编码或帧间编码)中的一种编解码模式，并且将所产生的帧内编解码块或帧间编解码块提供给残差生成单元207以生成残差块数据，并且提供给重建单元212以重建编解码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择针对运动矢量的分辨率(例如，亚像素精度或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲213的一个或多个参考帧与当前视频块进行比较来生成针对当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲213的除了与当前视频块相关联的图片之外的图片的经解码样本，来确定针对当前视频块的预测视频块。

运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。如本文中使用的，“I条带”可以是指由宏块构成的图片的一部分，所有宏块均基于同一图片内的宏块。此外，如本文中使用的，在一些方面中，“P条带”和“B条带”可以是指由独立于同一图片中的宏块的宏块构成的图片的部分。

在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以搜索列表0或列表1的参考图片，以寻找针对当前视频块的参考视频块。运动估计单元204然后可以生成参考索引和运动矢量，该参考索引指示列表0或列表1中的包含参考视频块的参考图片，并且该运动矢量指示当前视频块与参考视频块之间的空间位移。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。

备选地，在其他示例中，运动估计单元204可以对当前视频块执行双向预测。运动估计单元204可以搜索列表0中的参考图片以寻找针对当前视频块的参考视频块，并且还可以搜索列表1中的参考图片以寻找针对当前视频块的另一参考视频块。运动估计单元204然后可以生成多个参考索引和多个运动矢量，该多个参考索引指示列表0和列表1中的包含多个参考视频块的多个参考图片，并且该多个运动矢量指示在多个参考视频块与当前视频块之间的多个空间位移。运动估计单元204可以输出当前视频块的多个参考索引和多个运动矢量以作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的多个参考视频块来生成针对当前视频块的预测视频块。

在一些示例中，运动估计单元204可以输出完整的运动信息集，以用于解码器的解码处理。备选地，在一些实施例中，运动估计单元204可以参考另一视频块的运动信息来通过信号传输当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中向视频解码器300指示一值，该值指示当前视频块具有与另一视频块相同的运动信息。

在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示在当前视频块的运动矢量与所指示的视频块的运动矢量之间的差异。视频解码器300可以使用所指示的视频块的运动矢量以及运动矢量差来确定当前视频块的运动矢量。

如上所讨论的，视频编码器200可以以预测性的方式通过信号传输运动矢量。可以由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。

帧内预测单元206可以对当前视频块执行帧内预测。当对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中其他视频块的经解码样本来生成针对当前视频块的预测数据。针对当前视频块的预测数据可以包括预测视频块和各个语法元素。

残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成针对当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样本的不同样本部分的残差视频块。

在其他示例中，例如在跳过模式中，针对当前视频块可以不存在针对当前视频块的残差数据，并且残差生成单元207可以不执行减去操作。

变换单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块，来生成针对当前视频块的一个或多个变换系数视频块。

在变换单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

反量化单元210和反变换单元211可以分别对变换系数视频块应用反量化和反变换，以从变换系数视频块重建残差视频块。重建单元212可以将经重建的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样本，以产生与当前视频块相关联的重建视频块，以供存储在缓冲213中。

在重建单元212重建视频块之后，可以执行环路滤波操作以减少视频块中的视频块效应伪像。

熵编解码单元214可以从视频编码器200的其他功能组件接收数据。当数据被接收时，熵编解码单元214可以执行一个或多个熵编码操作，以生成熵编解码数据并且输出包括该熵编解码数据的码流。

图3是示出根据本公开的一些实施例的视频解码器300的示例的方框图，视频解码器300可以是图1所示的***100中的视频解码器124的示例。

视频解码器300可以被配置为执行本公开的任何或所有技术。在图3的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在图3的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、反量化单元304、反变换单元305、以及重建单元306和缓冲307。在一些示例中，视频解码器300可以执行通常与关于视频编码器200所描述的编码过程相对的解码过程。

熵解码单元301可以取回经编码的码流。经编码的码流可以包括经熵编码的视频数据(例如，经编码的视频数据块)。熵解码单元301可以对经熵编码的视频数据进行解码，并且运动补偿单元302可以从经熵解码的视频数据中确定运动信息，该运动信息包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息。运动补偿单元302可以例如通过执行AMVP和合并模式来确定该信息。AMVP被使用，包括基于邻近PB的数据和参考图片得出数个最可能的候选项。运动信息通常包括水平和竖直运动矢量位移值、一个或两个参考图片索引，并且在B条带中的预测区域的情况下，还包括哪个参考图片列表与每个索引相关联的标识。如本文所使用的，在一些方面中，“合并模式”可以是指从空间或时间上邻近的块中导出运动信息。

运动补偿单元302可以产生运动补偿块，可能地基于插值滤波器来执行内插。针对以亚像素精度被使用的插值滤波器的标识符可以被包括在语法元素中。

运动补偿单元302可以使用由视频编码器200在视频块的编码期间使用的插值滤波器来计算用于参考块的亚整数像素的内插值。运动补偿单元302可以根据接收到的语法信息来确定由视频编码器200使用的插值滤波器，并且运动补偿单元302可以使用插值滤波器来产生预测块。

运动补偿单元302可以使用至少部分语法信息来确定用于编码经编码视频序列的(多个)帧和/或(多个)条带的块的大小、描述经编码视频序列的图片的每个宏块如何被划分的划分信息、指示每个划分如何被编码的模式、针对每个帧间编解码块的一个或多个参考帧(和参考帧列表)、以及对经编码视频序列进行解码的其他信息。如本文中所使用的，在一些方面，“条带”可以是指在熵编码、信号预测和残差信号重建方面可以独立于同一图片的其他条带而被解码的数据结构。条带可以是整个图片，或者也可以是图片的区域。

帧内预测单元303可以使用例如在码流中接收的帧内预测模式，以从空间邻近块形成预测块。反量化单元304反量化(即，去量化)在码流中提供的、并且由熵解码单元301解码的量化视频块系数。反变换单元305应用反变换。

重建单元306可以例如通过将残差块与由运动补偿单元302或帧内预测单元303生成的相应预测块相加来获得经解码的块。如果需要的话，还可以应用去块效应滤波器以对经解码的块进行过滤，以便去除块效应伪像。经解码的视频块随后被存储在缓冲307中，缓冲307为后续运动补偿/帧内预测提供参考块，并且缓冲307还产生经解码的视频以供在显示设备上呈现。

下文将详细描述本公开的一些示例实施例。应当注意，在本文件中使用章节标题是为了便于理解，而不是将章节中公开的实施例仅限于该章节。此外，尽管参考通用视频编解码或其他特定视频编解码器描述了一些实施例，但是所公开的技术也适用于其他视频编解码技术。此外，尽管一些实施例详细描述了视频编码步骤，但是应当理解的是取消编码的相应解码步骤将由解码器实现。此外，术语视频处理包括视频编解码或压缩、视频解码或解压缩以及视频转码，在该视频转码中视频像素被从一种压缩格式表示为另一种压缩格式或以不同的压缩码率表示。

1.概述

本公开涉及视频编解码技术，具体来说，是关于从多于一个组合生成预测块，其中每种组合可以从不同的编解码技术获得，它可以应用于HEVC、VVC等现存视频编解码标准，也可以适用于未来的视频编解码标准或视频编解码器。

2.背景

视频编解码标准主要通过众所周知的ITU-T和ISO/IEC标准的发展而演进。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4Visual，两个组织联合制定了H.262/MPEG-2Video和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中使用了时间预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合创立了联合视频探索团队(JVET)。JVET会议每季度同时举行一次，新的视频编解码标准在2018年4月的JVET会议上被正式命名为多功能视频编解码(VVC)，当时发布了VVC测试模型(VTM)的第一个版本。VVC工作草案和测试模型VTM在每次会议后都被更新。VVC项目在2020年7月的会议上实现了技术完成(FDIS)。

2.1.编解码工具

2.1.1.帧内预测

2.1.1.1.具有67种帧内预测模式的帧内模式编解码

为了捕捉自然视频中呈现的任意边缘方向，VVC中的定向帧内模式的数量从HEVC中使用的33个扩展到65个。图4中未在HEVC中的新定向模式被描绘为红色虚线箭头，并且平面和DC模式保持不变。这些更密集的定向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

在VVC中，对于非正方形块，几种传统的角度帧内预测模式被自适应地替换为广角帧内预测模式。

在HEVC中，每个帧内编解码块都具有正方形形状，并且其每条边的长度是2的幂。因此，不需要除法运算来使用DC模式生成帧内预测子。在VVC中，块可以具有矩形形状，这在一般情况下需要使用每个块的除法运算。为了避免针对DC预测的除法运算，仅使用较长边来计算非正方形块的平均值。

2.1.1.2.帧内模式编解码

为了保持最可能模式(MPM)列表生成的复杂度较低，考虑到两种可用的邻近帧内模式，采用6MPM的帧内模式编解码方法。考虑以下三个方面来构建MPM列表：

–默认帧内模式

–邻近帧内模式

–导出帧内模式

无论是否应用MRL和ISP编解码工具，统一的6-MPM列表都用于帧内块。MPM列表是基于左侧和上方邻近块的帧内模式构建的。假设左侧的模式表示为Left，上方块的模式表示为Above，则统一的MPM列表被构建如下：

–当邻近块不可用时，其内部模式默认被设置为平面。

–如果Left和Above两个模式都是非角度模式：

–MPM列表→{平面、DC、V、H、V-4、V+4}

–如果Left和Above模式中的一个模式是角度模式，另一个模式是非角度模式：

–在Left和Above中设置模式Max作为较大的模式

–MPM列表→{平面、Max、DC、Max-1、Max+1、Max-2}

–如果Left和Above都是角度的，并且它们是不同的：

–在Left和Above中设置模式Max作为较大的模式

–如果Left模式和Above模式的差在2到62(含)的范围内

–MPM列表→{平面，Left，Above，DC，Max-1，Max+1}

–否则

–MPM列表→{平面，Left，Above，DC，Max-2，Max+2}

–如果Left和Above都是角度的，并且它们是相同的：

–MPM列表→{平面，Left，Left-1，Left+1，DC，Left-2}

此外，mpm索引码字的第一个二进制位是CABAC上下文编解码的。总共三个上下文被使用，对应于当前帧内块是启用MRL、启用ISP还是正常帧内块。

在6-MPM列表生成过程中，修剪被使用以删除重复的模式，以便只有唯一的模式可以包含在MPM列表中。对于61个非MPM模式的熵编解码，截断二进制码(TBC)被使用。

2.1.1.3.针对非正方形块的广角帧内预测

常规的角度帧内预测方向被定义为顺时针方向的45度到-135度。在VVC中，对于非正方形块，几种常规的角度帧内预测模式被自适应地替换为广角帧内预测模式。替换的模式使用原始模式索引通过信号被传输，原始模式索引在解析后被重新映射到广角模式的索引。帧内预测模式的总数不变，即67个，并且帧内模式编解码方法不变。

为了支持这些预测方向，长度为2W+1的顶部参考和长度为2H+1的左侧参考被定义为如图5所示。

广角方向模式中替换的模式的数量取决于块的宽高比。替换的帧内预测模式如表1所示。

表1-被广角模式替代的帧内预测模式

图6示出了在方向超过45度的情况下不连续性的框图。如图6的图示600所示，在广角帧内预测的情况下，两个垂直相邻的预测样本可以使用两个非相邻的参考样本。因此，低通参考样本滤波器和侧平滑被应用于广角预测，以减少增加的间隙Δpα的负面影响。如果广角模式表示非分数偏移。广角模式中有8种模式满足这个条件，8种模式是[-14，-12，-10，-6,72,76,78,80]。当块通过这些模式被预测时，参考缓冲中的样本被直接复制，而不应用任何插值。通过这种修改，需要平滑的样本数量减少了。此外，它对齐了传统预测模式和广角模式中的非分数模式的设计。

在VVC中，支持4:2:2和4:4:4以及4:2:0色度格式。4:2:2色度格式的色度导出模式(DM)导出表最初是从HEVC移植的，HEVC将条目数量从35扩展到67，以与帧内预测模式的扩展保持一致。由于HEVC规范不支持低于-135度和高于45度的预测角度，范围从2到5的亮度帧内预测模式被映射到2。因此，针对4:2:2:色度格式的色度DM导出表通过替换映射表的条目的值被更新，以更精确地转换色度块的预测角度。

2.1.1.4.模式相关帧内平滑(MDIS)

四抽头帧内插值滤波器用于提高定向帧内预测精度。在HEVC中，使用两抽头线性插值滤波器生成定向预测模式(即不包括平面和DC预测子)中的帧内预测块。在VVC中，简化的6位4抽头高斯插值滤波器仅用于定向帧内模式。非定向帧内预测过程是不变的。4抽头滤波器的选择是根据提供非分数位移的定向帧内预测模式的MDIS条件被执行的，即排除以下的所有定向模式：2、HOR_IDX、DIA_IDX、VER_IDX、66。

根据帧内预测模式，执行以下参考样本处理：

–定向帧内预测模式被分类至以下组中的一个：

–垂直模式或水平模式(HOR_IDX、VER_IDX)，

–对角线模式，表示角度是45度的倍数(2，DIA_IDX，VDIA_IDX)，

–其余定向模式；

–如果定向帧内预测模式被分类为属于A组，则没有滤波器被应用于参考样本以生成预测的样本；

–否则，如果模式属于B组，则[1,2,1]参考样本滤波器可以被应用(取决于MDIS条件)于参考样本，以根据所选方向将这些滤波值进一步复制到帧内预测子中，但没有插值滤波器被应用；

–否则，如果模式被分类为属于C组，则仅有帧内参考样本插值滤波器被应用于参考样本，以生成根据所选方向落在参考样本之间的分数位置或整数位置的预测的样本(不执行参考样本滤波)。

2.1.1.5.位置相关帧内预测组合

在VVC中，通过位置相关帧内预测组合(PDPC)方法进一步修改DC、平面和几个角模式的帧内预测结果。PDPC是一种帧内预测方法，它调用边界参考样本和具有滤波边界参考样本的HEVC式的帧内预测的组合。PDPC应用于以下帧内模式，无需发出信号：平面、DC、水平、垂直、左下角模式及其八个相邻角模式，以及右上角模式及其八个相邻角模式。

根据如下等式3-8，预测样本pred(x’,y’)是使用帧内预测模式(DC，平面，角)和参考样本的线性组合来预测的：

pred(x’,y’)＝(wL×R_-1,y’+wT×R_x’,-1-wTL×R_-1,-1+(64-wL-wT+wTL)×pred(x’,y’)+32)>>6 (2-1)

其R_x,-1,R_-1,y分别表示位于当前样本(x，y)顶部和左侧边界的参考样本，并且R_-1,-1表示位于当前块左上角的参考样本。

如果PDPC应用于DC、平面、水平和垂直帧内模式，则不需要额外的边界滤波，如HEVC DC模式边界滤波或水平/垂直模式边缘滤波的情况所需。DC模式和平面模式的PDPC过程是相同的，并且修剪操作被避免。对于角模式，pdpc缩放因子被调整，使得不需要范围检查，并去除启用pdpc的角度条件(使用缩放>＝0)。此外，PDPC权重在所有角模式情况下是基于32。PDPC权重取决于预测模式，如表2所示。PDPC被应用于宽度和高度都大于或等于4的块。

图7示出了在各种预测模式上应用的PDPC的参考样本(R_x,-1,R_-1,y和R_-1,-1)的定义。图7示出了对角线右上模式710，对角线左下模式720，相邻对角线右上模式730和相邻对角线左下模式740。预测样本pred(x’,y’)位于预测块内的(x’,y’)。例如，参考样本R_x,-1的坐标x由：x＝x’+y’+1给出，参考样本R_-1,y的坐标y类似地由针对对角线模式的：y＝x’+y’+1给出。对于其他角模式，参考样本R_x,-1和R_-1,y可以位于分数样本位置。在这种情况下，最附近整数样本位置的样本值被使用。

表2-根据预测模式的PDPC权重示例

2.1.1.6.多参考行(MRL)帧内预测

多参考行(MRL)帧内预测使用更多的参考行用于帧内预测。在图8中，描绘了4个参考行的示例，其中段A和段F的样本不是从重建的邻近样本中提取的，而是分别用来自段B和段E的最接近的样本填充的。HEVC帧内图片预测使用最附近的参考行(即参考行0)。在MRL中，使用了2条附加行(参考行1和参考行3)。

所选参考行的索引(mrl_idx)通过信号被发送并用于生成帧内预测子。对于大于0的参考行索引，仅在MPM列表中包括附加的参考行模式，并且仅信号MPM索引而不包括其余模式。在帧内预测模式之前参考行索引通过信号被发送，如果非零参考行索引通过信号被发送，则帧内预测模式不包括平面模式。

对CTU内的块的第一行禁用MRL，以防止在当前CTU行外使用扩展的参考样本。此外，当使用附加行时，PDPC将被禁用。对于MRL模式，非零参考行索引的DC帧内预测模式中的DC值的导出与参考行索引0的导出对齐。MRL需要存储具有CTU的3条邻近亮度参考行来生成预测。跨分量线性模型(CCLM)工具的下采样滤波还需要3个邻近的亮度参考行。使用相同3行的MRL的定义与CCLM一致，以减少解码器的存储要求。

2.1.1.7.帧内子划分(ISP)

帧内子划分(ISP)根据块尺寸将亮度帧内预测块垂直或水平划分为2或4个子划分。例如，ISP的最小块尺寸为4×8(或8×4)。如果块尺寸大于4×8(或8×4)，则对应块将被划分为四个子划分。我们注意到，M×128(M≤64)和128×N(N≤64)ISP块可能会对64×64VDPU生成潜在问题。例如，单树情况下的M×128CU有一个M×128亮度TB和两个相应的色度TB。如果CU使用ISP，那么亮度TB将被分成4个M×32TB(只能水平分割)，每个TB都小于64×64块。然而，在目前的ISP设计中，色度块是不可分割的。因此，两个色度分量的尺寸都将大于32×32块。类似地，使用ISP的128×NCU也可以创建类似的情况。因此，这两种情况是64×64解码器流水线的问题。因此，可以使用ISP的CU尺寸被限制为最大值64×64。图9显示了这两种可能性的示例。所有子划分都满足至少有16个样本的条件。图9显示了4x8 CU和8x4CU的子划分的示例910，以及4x8、8x4和4x4以外的CU的子划分的示例920。

在ISP中，不允许1xN/2xN子块预测依赖于编解码块的先前解码的1xN/2xN子块的重建值，从而使得子块的最小预测宽度变为四个样本。例如，使用具有垂直分割的ISP被编解码的8xN(N>4)编解码块被分割成两个尺寸为4xN的预测区域和四个尺寸为2xN的变换。此外，使用具有垂直分割的ISP被编解码的4xN编解码块使用完整的4xN块被预测；四个变换中的每个1xN变换被使用。尽管允许1xN和2xN的变换尺寸，但断言这些块在4xN区域的变换可以并行地被执行。例如，当一个4xN预测区域包含四个1xN变换时，水平方向上没有变换；垂直方向的变换可以作为垂直方向的单个4xN变换被执行。类似地，当4xN预测区域包含两个2xN变换块时，每个方向(水平和垂直)的两个2xN块的变换操作可以并行进行。因此，相比处理4x4正则编解码的帧内块，处理这些较小的块不会增加延迟。

表3-熵编解码系数组尺寸

块尺寸	系数组尺寸
		1×N,N≥16	1×16
N×1,N≥16	16×1
		2×N,N≥8	2×8
N×2,N≥8	8×2
		所有其他可能的M×N情况	4×4

对于每个子划分，通过将残差信号与预测信号相加来获得重建样本。这里，通过诸如熵解码、反量化和反变换的过程来生成残差信号。因此，每个子划分的重建样本值可用于生成下一个子划分的预测，并且每个子划分被重复处理。此外，要处理的第一个子划分是包含CU的左上样本，然后向下(水平分割)或向右(垂直分割)继续的子划分。因此，用于生成子划分预测信号的参考样本仅位于行的左侧和上方。所有子划分共享相同的帧内模式。以下是ISP与其他编解码工具的交互摘要。

–多参考行(MRL)：如果块的MRL索引不是0，则ISP编解码模式将被推断为0，因此ISP模式信息将不会发送到解码器。

–熵编解码系数组尺寸：如表3所示，熵编解码子块的尺寸已被修改，以便在所有可能的情况下都有16个样本。值得注意，新的尺寸仅影响通过ISP产生的其中一个维度小于4个样本的块。在所有其他情况下，系数组保持4×4维度。

–CBF编解码：假设至少有一个子划分具有非零CBF。因此，如果n是子划分的数目，并且第一n-1子划分已经产生零CBF，则第n子划分的CBF被推断为1。

–MPM使用：MPM标志将被推断为通过ISP模式编解码的块中的一个，MPM列表被修改以排除DC模式，并优先考虑针对ISP水平分割的水平帧内模式和针对ISP垂直分割的垂直帧内模式。

–变换尺寸限制：所有长度大于16点的ISP变换都使用DCT-II。

–PDPC：当CU使用ISP编解码模式时，PDPC滤波器不会被应用于结果子划分。

–MTS标志：如果CU使用ISP编解码模式，MTS CU标志将设置为0，并且不会发送到解码器。因此，编码器不会对每个结果子划分的不同可用变换执行RD测试。ISP模式的变换选择将改为固定的，并根据所使用的帧内模式、处理顺序和块尺寸进行选择。因此，不需要用信号发出。例如，设t_H和t_V分别为w×h子划分选择的水平变换和垂直变换，其中w为宽度，h为高度。然后根据以下规则选择变换：

–如果w＝1或h＝1，则分别不存在水平变换或垂直变换。

–如果w＝2且w＞32,t_H＝DCT-II

–如果h＝2且h＞32,t_V＝DCT-II

–否则，变换如表4所示被选择。

表4-变换选择取决于帧内模式

在ISP模式中，允许所有67个帧内预测模式。如果相应的宽度和高度至少为4个样本长，则也应用PDPC。此外，帧内插值滤波选择的条件不再存在，并且在ISP模式下，三次(DCT-IF)滤波总是用于分数位置插值。

2.1.1.8.矩阵加权帧内预测(MIP)

矩阵加权帧内预测(MIP)方法是一种新加入VVC的帧内预测技术。为了预测宽度W和高度H的矩形块的样本，矩阵加权帧内预测(MIP)以块左侧的一行H重建邻近边界样本和块上方的一行W重建邻近边界样本作为输入。如果重建样本不可用，则像传统帧内预测一样生成它们。预测信号的生成基于以下三个步骤，它们是平均、矩阵矢量乘法和线性插值，如图10所示。

3.3.6.1平均邻近样本

在边界样本中，通过基于块大小和形状进行平均来选择四个样本或八个样本。具体地，输入边界bdry^top和bdry^left会根据取决于块的大小的预定义的规则，通过对邻近边界样本进行平均，缩小为更小的和/>边界。然后，将两个缩小的边界和/>连接到缩小的边界矢量bry_red，因此，对于形状4×4的块缩小的边界矢量的大小为四，对于所有其他形状的块缩小的边界矢量的大小为八。如果模式是指MIP模式，则此连接定义如下：

3.3.6.2矩阵乘法

将平均样本作为输入，执行矩阵矢量乘法，然后添加偏移。结果是原始块中的样本的子采样集上缩减的预测信号。从缩减的输入矢量bdry_red中生成缩减的预测信号pred_red,，该缩减的预测信号是宽度W_red和高度H_red的下采样块上的信号。此处，W_red和H_red被定义为：

通过计算矩阵矢量乘积并添加偏移来计算缩减的预测信号pred_red：

pred_red＝A·bdry_red+b.

这里，A是一个矩阵，如果W＝H＝4，则它有W_red·H_red行和4列，在所有其他情况下有8列。b是W_red·H_red大小的矢量。矩阵A和偏移矢量b取自S₀，S₁，S_2.其中一个集合。索引idx＝idx(W,H)定义如下：

这里，矩阵A的每个系数以8位的精度表示。集合S₀由16个矩阵组成，每个矩阵具有16行4列，以及16个偏移矢量每个偏移矢量的大小为16。该集合的矩阵和偏移矢量用于尺寸为4×4的块。集合S₁由8个矩阵/>组成，每个矩阵具有16行和8列，以及8个偏移矢量/>每个偏移矢量大小为16。集合S₂由6个矩阵/>组成，每个矩阵具有64行和8列，以及6个偏移矢量/>每个偏移矢量大小为64。

3.3.6.3插值

其余位置处的预测信号是通过线性插值从子采样集上的预测信号生成的，该线性插值是在每个方向上的单步线性插值。插值首先在水平方向上被执行，然后在垂直方向上被执行，与块的形状或块的尺寸无关。

3.3.6.4 MIP模式的信令和与其他编解码工具的协调

对于帧内模式中的每个编解码单元(CU)，发送指示是否要应用MIP模式的标志。如果要应用MIP模式，则用信号发送MIP模式(predModeIntra)。对于MIP模式，转置标志(isTransposed)用于确定模式是否转置，MIP模式标识(modeId)用于确定给定MIP模式使用的矩阵，其导出过程如下：

isTransposed＝predModelmtra&1modeld＝predModeIntra>>1 (2-6)

通过考虑以下方面，MIP编解码模式与其他编解码工具相协调：

–大块上的MIP启用LFNST。这里使用平面模式的LFNST变换

–MIP的参考样本导出像传统帧内预测模式一样被执行

–对于MIP预测中使用的上采样步骤，使用原始参考样本而不是下采样样本

–在上采样之前执行剪裁，而不是在上采样之后执行剪裁

–无论最大变换大小如何，MIP都允许达到64×64

–MIP模式的数目对于sizeId＝0为32，对于sizeId＝1为16，对于sizeId＝2为12。

2.1.2.帧间预测

对于每个帧间预测的CU，运动参数包括运动矢量、参考图片索引和参考图片列表使用索引、以及将被用于帧间预测样本生成的VVC的新编解码特征所需的附加信息。运动参数可以以显式或隐式方式通过信号被传输。当CU用跳过模式被编解码时，CU与一个PU相关联，并且没有显著的残差系数，没有编解码运动矢量增量或参考图片索引。合并模式被指定，由此当前CU的运动参数从邻近的CU被获得，邻近的CU包括空间候选和时间候选，以及VVC中引入的附加安排。合并模式可以被应用于任何帧间预测CU，而不仅仅是跳过模式。合并模式的替代方案是运动参数的显式传输，其中运动矢量，每个参考图片列表的相应参考图片索引和参考图片列表使用标志以及其他所需信息针对每个CU显式地通过信号被传输。

除了HEVC中的帧间编解码功能外，VVC还包括一些新的和细化的帧间预测编解码工具，如下所示：

–扩展合并预测

–具有MVD的合并模式(MMVD)

–对称MVD(SMVD)信令

–仿射运动补偿预测

–基于子块的时间运动矢量预测(SbTMVP)

–自适应运动矢量分辨率(AMVR)

–运动场存储：1/16亮度样本MV存储和8x8运动场压缩

–具有CU级权重的双预测(BCW)

–双向光流(BDOF)

–解码器侧运动矢量细化(DMVR)

–几何划分模式(GPM)

–组合的帧间和帧内预测(CIIP)

下面的文本提供了VVC中指定的那些帧间预测方法的详细信息。

2.1.2.1.扩展合并预测

在VVC中，合并候选列表是通过按顺序包括以下五种类型的候选来构建的：

1)来自空间邻近CU的空间MVP

2)来自同位CU的时间MVP

3)来自FIFO表的基于历史的MVP

4)成对平均MVP

5)零MV。

合并列表的大小在序列参数集头中通过信号传输，并且合并列表的最大允许大小是6。对于合并模式中的每个CU码，使用截断的一元二进制化(TU)对最佳合并候选的索引进行编解码。合并索引的第一个二进制位(bin)使用上下文进行编解码，而旁路编解码用于其他二进制位。

每个类别的合并候选的导出过程在本节中提供。正如在HEVC中所操作的那样，VVC还支持在一定大小的区域内对所有CU的合并候选列表的并行导出。

2.1.2.2空间候选导出

VVC中空间合并候选的导出与HEVC中的导出相同，只是前两个合并候选的位置被交换。图11是示出了显示空间合并候选的位置的示意图1100。在位于图11所示位置的候选中，最多选择四个合并候选。导出顺序为B₀、A₀、B₁、A₁和B₂。只有当位置B₀、A₀、B₁和A₁的一个或多于一个CU不可用时(例如，因为它属于另一个条带或图块)或是经帧内编解码的时，才考虑位置B₂。在添加了位置A₁处的候选之后，对剩余候选的添加进行冗余检查，该冗余检查确保具有相同运动信息的候选被从列表中排除，从而提高了编解码效率。为了降低计算复杂度，在提到的冗余检查中并没有考虑所有可能的候选对。图12是图示了针对空间合并候选的冗余检查所考虑的候选对的示意图1200。相反，只考虑图12中利用箭头链接的对，并且只有用于冗余检查的对应候选不具有相同的运动信息，才将候选添加到列表中。

2.1.2.3时间候选导出

在这个步骤中，只有一个候选被添加到列表中。特别地，在该时间合并候选的导出中，基于属于同位参考图片的同位CU来导出缩放运动矢量。在条带头中显式地通过信号传输要用于导出同位的CU的参考图片列表。如图13的图示1300中虚线所示，针对时间合并候选的缩放的运动矢量被获得，该矢量是使用POC距离，tb和td，从同位的CU的运动矢量缩放而来的，其中tb被定义为当前图片的参考图片与当前图片之间的POC差，td被定义为同位的图片的参考图片与同位的图片之间的POC差。时间合并候选的参考图片索引被设置为等于零。

图14是示出了针对时间合并候选C0与C1的候选位置的示意图1400。如图14所示，时间候选的位置在候选C₀与C₁之间被选择。如果位置C₀处的CU不可用则被帧内编解码，或位置C₀处的CU在CTU的当前行之外，则使用位置C₁。否则，在时间合并候选的导出中使用位置C₀。

2.1.2.4.基于历史的合并候选导出

基于历史的MVP(HMVP)合并候选被添加到空间MVP和TMVP之后的合并列表中。在该方法中，将先前编解码块的运动信息存储在表中，并用作当前CU的MVP。在编码/解码过程中维护具有多个HMVP候选的表。当遇到新的CTU行时，该表被重置(清空)。每当存在非子块帧间编解码CU时，将相关联的运动信息作为新的HMVP候选添加到表的最后一个条目。

HMVP表大小S被设置为6，这指示可以向该表添加多达6个基于历史的MVP(HMVP)候选。当将新的运动候选***到表中时，使用受约束的先进先出(FIFO)规则，其中首先应用冗余检查来发现表中是否存在相同的HMVP。如果找到，则从表中移除相同的HMVP，然后将所有HMVP候选向前运动。

HMVP候选可以用于合并候选列表构建过程。按顺序检查表中最近的几个HMVP候选，并将其***TMVP候选之后的候选列表中。冗余检查被应用于HMVP候选至空间或时间合并候选。

为了减少冗余检查操作的数目，引入了以下简化：

1.用于合并列表生成的HMPV候选数目设置为(N<＝4)？M:(8-N)，其中N指示合并列表中现有候选的数目，M指示表中可用HMVP候选的数目。

2.一旦可用合并候选的总数达到最大允许合并候选减1，则终止来自HMVP的合并候选列表构建过程。

2.1.2.5.成对平均合并候选导出

成对平均候选是通过对现有合并候选列表中的预定义候选对进行平均来生成的，并且预定义对被定义为{(0，1)、(0，2)、(1，2)，(0，3)、(1，3)，(2，3)}，其中数字表示合并候选列表的合并索引。对于每个参考列表单独计算平均运动矢量。如果两个运动矢量在一个列表中都可用，则即使这两个运动矢量指向不同的参考图片，也会对其进行平均；如果只有一个运动矢量可用，则直接使用该运动矢量；如果没有可用的运动矢量，保持此列表无效。

当添加成对平均合并候选后合并列表未满时，将在最后***零MVP，直到遇到最大合并候选数目。

2.1.2.6.合并估计区域

合并估计区域(MER)允许在同一合并估计区域(MER)中针对CU独立导出合并候选列表。针对生成当前CU的合并候选列表，与当前CU在相同MER内的候选块被不包括。此外，仅当(xCb+cbWidth)>>Log2ParMrgLevel大于xCb>>Log2ParMrgLevel并且(yCb+cbHeight)>>Log2parMrglevel大于(yCb>>Log2ParMrgLevel)，针对基于历史的运动矢量预测子候选列表的更新过程被更新，并且其中(xCb，yCb)是图片中当前CU的左上方亮度样本位置，并且(cbWidth,cbHeight)是CU尺寸。MER大小在编码器端被选择，并在序列参数集中以log2_parallel_merge_level_minus2的形式来通过信号传输。

2.1.3.具有MVD的合并模式(MMVD)

除了将隐式导出的运动信息直接用于当前CU的预测样本生成的合并模式之外，在VVC中引入了具有运动矢量差的合并模式(MMVD)。在发送跳过标志和合并标志之后立即通过信号传输MMVD标志，以指定是否MMVD模式被用于CU。

在MMVD中，合并候选被选择之后，其由通过信号传输的MVD信息进一步细化。进一步的信息包括合并候选标志、指定运动幅度的索引，以及指示运动方向的索引。在MMVD模式中，选择合并列表中前两个候选的一个被使用作为MV基础。合并候选标志通过信号被传输以指定使用哪一个。

距离索引指定运动幅度信息，并指示距起点的预定义偏移。图15是示出了具有运动矢量差的合并模式(MMVD)搜索点的示意图1500。如图15所示，偏移被添加到起始MV的水平分量或垂直分量。距离索引和预定义偏移的关系如表5所示。

表5：距离索引与预定义偏移的关系

方向索引表示MVD相对于起点的方向。方向索引可以表示四个方向，如表6所示。注意，MVD符号的含义可以根据起始MV的信息而变化。当起始MV是单向预测MV或双向预测MV时，其中两个列表都指向当前图片的同一侧(即两个参考的POC都大于当前图片的POC或者都小于当前图片的POC)，表6中的符号指定了加在起始MV上的MV偏移的符号。当起始MV是双向预测MV时，其中两个MV指向当前图片的不同侧(即一个参考的POC大于当前图片的POC，另一个参考的POC小于当前图片的POC)，表6中的符号指定添加到起始MV的list0 MV分量的MV偏移的符号，并且list1 MV的符号具有相反的值。

表6：由方向索引指定的MV偏移的符号

方向索引	00	01	10	11
					x轴	+	–	N/A	N/A
y轴	N/A	N/A	+	–

2.1.3.1.具有CU级权重的双向预测(BCW)

在HEVC中，通过对从两个不同的参考图片获得的两个预测信号进行平均和/或使用两个不同运动矢量来生成双向预测信号。在VVC中，双向预测模式被扩展到简单平均之外，以允许对两个预测信号进行加权平均。

P_bi-pred＝((8-w)*P₀+w*P₁+4)＞＞3 (2-7)

在加权平均双向预测中允许五个权重，w∈{-2,3,4,5,10}。对于每个双向预测CU，以两种方式之一确定权重w：1)对于非合并CU，在运动矢量差之后通过信号传输权重索引；2)对于合并CU，基于合并候选索引从邻近块推断权重索引。BCW仅应用于具有256个或更多亮度样本的CU(即CU宽度乘以CU高度大于或等于256)。对于低延迟图片，将使用所有5个权重。对于非低延迟图片，仅使用3个权重(w∈{3,4,5})。

–在编码器处，在不显著增加编码器复杂度的情况下，应用快速搜索算法来找到权重索引。这些算法总结如下。可以参考VTM软件和文档JVET-L0646以获得进一步的细节。当与AMVR组合时，如果当前图片是低延迟图片，则仅有条件地检查1-像素和4-像素运动矢量精度的不等权重。

–当与仿射组合时，在且仅在仿射模式被选择为当前最佳模式的情况下，将针对不相等的权重执行仿射ME。

–当双向预测中的两个参考图片相同时，仅有条件地检查不相等的权重。

–当满足某些条件时，不搜索不等权重，这取决于当前图片与其参考图片之间的POC距离、编解码QP和时间级。

BCW权重索引是使用一个上下文编解码的二进制位然后是旁路编解码的二进制位来编解码的。第一上下文编解码的二进制位指示是否使用相等的权重；并且如果使用不相等的权重，则使用旁路编解码通过信号传输附加二进制位，以指示使用哪个不相等的权重。

加权预测(WP)是H.264/AVC和HEVC标准支持的一种编解码工具，用于在衰落的情况下对视频内容进行高效编解码。VVC标准中还增加了对WP的支持。WP允许为每个参考图片列表L0和列表L1中的每个参考图片通过信号传输加权参数(权重和偏移)。然后，在运动补偿期间，应用对应参考图片的权重和偏移。WP和BCW是为不同类型的视频内容而设计的。为了避免WP和BCW之间的交互(这将使VVC解码器设计复杂化)，如果CU使用WP，则BCW权重索引不通过信号被传输，并且w被推断为4(即应用相等的权重)。对于合并CU，权重索引是基于合并候选索引从邻近块推断的。这可以应用于正常合并模式和继承的仿射合并模式。对于构建的仿射合并模式，基于多达3个块的运动信息来构建仿射运动信息。使用构建的仿射合并模式的CU的BCW索引被简单地设置为等于第一控制点MV的BCW索引。

在VVC中，CIIP和BCW不能联合应用于CU。当使用CIIP模式对CU进行编解码时，当前CU的BCW索引设置为2，例如相等的权重。

2.1.3.2.双向光流(BDOF)

双向光流(BDOF)工具被包含在VVC中。BDOF，以前称为BIO，被包含在JEM中。与JEM版本相比，VVC中的BDOF是一个更简单的版本，需要的计算要少得多，特别是在乘法次数和乘法器的尺寸方面。

BDOF被用于在4×4子块级细化CU的双向预测信号。如果满足以下所有条件，则BDOF被应用于CU：

–CU使用“真”双向预测模式被编解码，即两个参考图片中的一个在显示顺序上先于当前图片，并且两个参考图片中的另一个在显示顺序上在当前图片之后

–两个参考图片到当前图片的距离(即POC差)相同

–两张参考图片均为短期参考图片。

–CU未使用仿射模式或ATMVP合并模式被编解码

–CU有超过64个亮度样本

–CU高度和CU宽度均大于或等于8个亮度样本

–BCW权重索引指示相等的权重

–当前CU未启用WP

–CIIP模式不被用于当前CU

BDOF仅应用于亮度分量。正如其名称所示，BDOF模式基于光流概念，该概念假设物体的运动是平滑的。对于每个4×4子块，运动细化(v_x,v_y)通过最小化L0预测样本和L1预测样本之间的差异被计算。然后运动细化被使用来调整4x4子块中的双预测样本值。BDOF过程中应用以下步骤。

首先，通过直接计算两个邻近样本之间的差异，两个预测信号的水平梯度和垂直梯度，和/>k＝0,1,被计算，即，/>

其中I^(k)(i,j)是列表k,k＝0,1,中预测信号坐标(i,j)处的样本值，并且shift1基于亮度位深度bitDepth被计算为shift1＝max(6，bitDepth-6)。

然后，梯度S₁,S₂,S₃,S₅和S₆的自相关和互相关被计算如下：

S₁＝∑_(i，j)∈ΩAbs(ψ_x(i，j))，S₃＝∑_(i，j)∈Ωθ(i，j)·Sign(ψ_x(i，j))

S₅＝∑_(i，j)∈ΩAbs(ψ_y(i，j))，S₆＝∑_(i，j)∈Ωθ(i，j)·Sign(ψ_y(i，j))

其中，

θ(i，j)＝(I⁽¹⁾(i，j)＞＞n_b)-(I⁽⁰⁾(i，j)＞＞n_b)

其中Ω是围绕4×4子块的6×6窗口，并且n_a和n_b的值分别设置为min(1，bitDepth-11)和min(4，bitDepth-8)。

然后使用互相关项和自相关项运动细化(v_x，v_y)使用以下方法被导出：

其中th′_BIO＝2^{max(5，BD-7)}。/>是向下舍入(floor)功能，并且/>

基于运动细化和梯度，针对4×4子块中的每个样本计算以下调整：

最后，通过以如下所示的方式调整双向预测样本，CU的BDOF样本被计算：

pred_BDOF(x,y)＝(I⁽⁰⁾(x,y)+I⁽¹⁾(x,y)+b(x,y)+o_offset)＞＞shift (2-13)

选择这些值是为了使BDOF过程中的乘法器不超过15位，并且BDOF过程中中间参数的最大位宽保持在32位以内。

为了导出梯度值，当前CU边界之外的列表k(k＝0,1)中的一些预测样本I^(k)(i,j)需要被生成。图16示出了在BDOF中被使用的扩展的CU区域的示意图。如图16的示意图1600所描绘，VVC中的BDOF在CU的边界周围使用一个扩展行/列。为了控制生成边界外预测样本的计算复杂度，扩展区域中的预测样本(图16中1610所示)通过直接取附近整数位置(在坐标上使用floor()操作)的参考样本被生成，而不利用插值被生成，并且常规的8抽头运动补偿插值滤波器被使用来生成CU内的预测样本(图16中1620所示)。这些扩展样本值仅被用于梯度计算。对于BDOF过程中的其余步骤，如果CU边界之外的任何样本值和梯度值被需要，则这些样本值和梯度值从它们的最近的邻居被填充(即重复)。

当CU的宽度和/或高度大于16个亮度样本时，它将被分割成宽度和/或高度等于16个亮度样本的子块，子块边界被视为BDOF过程中的CU边界。BDOF过程的最大单元尺寸被限制为16x16。对于每个子块，BDOF过程可以跳过。当初始L0预测样本和L1预测样本之间的SAD小于阈值时，BDOF过程不被应用于子块。阈值被设置为等于(8*W*(H>>1)，其中W表示子块宽度，并且H表示子块高度。为了避免SAD计算的附加复杂度，这里DVMR过程中计算的初始L0预测样本和L1预测样本之间的SAD被重新使用。

如果对当前块启用BCW，即BCW权重索引指示不相等的权重，则禁用双向光流。类似地，如果对当前块启用WP，即两个参考图片中的任何一个的luma_weight_lx_flag是1，则也禁用BDOF；当CU使用对称MVD模式或CIIP模式被编解码时，也禁用BDOF。

2.1.4.对称MVD编解码

在VVC中，除了常规的单向预测模式MVD信令和双向预测模式MVD信令外，对称MVD模式针对双向预测MVD信令被应用。在对称MVD模式下，包括列表0和列表1两者的参考图片索引和列表1的MVD在内的运动信息不通过信号被传输，而是被导出。

对称MVD模式的解码过程如下：

1)在条带级，变量BiDirPredFlag，RefIdxSymL0和RefIdxSymL1被导出如下：

–如果mvd_l1_zero_flag为1，则BiDirPredFlag被设置为等于0。

–否则，如果列表0中最近的参考图片和列表1中最近的参考图片形成向前和向后的参考图片对或向后和向前的参考图片对，则BiDirPredFlag被设置为1，列表0参考图片和列表1参考图片两者都是短期参考图片。否则BiDirPredFlag被设置为0。

2)在CU级，如果CU是被双向预测编解码的并且BiDirPredFlag等于1，则指示对称模式是否被使用的对称模式标志被显式地通过信号传输。

当对称模式标志为真时，只有mvp_l0_flag、mvp_l1_flag和MVD0被显式地通过信号传输。列表0和列表1的参考索引分别被设置为等于参考图片对。MVD1被设置为等于(-MVD0)。最终的运动矢量如下公式所示。

图17是对称MVD模式的示意图。在编码器中，对称MVD运动估计从初始MV评估开始。一组初始MV候选包括从单向预测搜索获得的MV、从双向预测搜索获得的MV以及来自AMVP列表的MV。具有最低失真率成本的一个被选择作为针对对称MVD运动搜索的初始MV。

2.1.5.解码器侧运动矢量细化(DMVR)

为了提高合并模式MV的精度，在VVC中应用了基于双边匹配(BM)的解码器侧运动矢量细化。在双向预测操作中，在参考图片列表L0和参考图片列表L1中的初始MV周围搜索细化的MV。BM方法计算参考图片列表L0和列表L1中两个候选块之间的失真。图18是示出了解码侧运动矢量细化的示意图。如图18所示，基于初始MV周围的每个MV候选，计算块1810和块1812之间的SAD，其中针对当前图片1802，块1810在列表L0中的参考图片1801中，块1812在列表L1中的参考图片1803中。具有最低SAD的MV候选成为细化的MV，并用于生成双向预测信号。

在VVC中，DMVR可以被应用于利用以下模式和功能被编解码的CU：

–具有双向预测MV的CU级合并模式

–相对于当前图片，一张参考图片是过去的，另一张参考图片是未来的

–从两个参考图片到当前图片的距离(即POC差)相同

–两张参考图片均为短期参考图片

–CU有超过64个亮度样本

–CU高度和CU宽度均大于或等于8个亮度样本

–BCW权重索引指示相等的权重

–当前块未启用WP

–CIIP模式未用于当前块

通过DMVR过程被导出的细化MV被用于生成帧间预测样本，并且还被用于未来图片编解码的时间运动矢量预测。而原始MV被用于去块过程，并且还被用于未来CU编解码的空间运动矢量预测。

DMVR的附加功能在以下子条款中有所提及。

2.1.5.1.搜索方案

在DVMR中，搜索点围绕初始MV，并且MV偏移服从MV差镜像规则。换句话说，由候选MV对(MV0，MV1)表示的DMVR检查的任何点遵循以下两个等式：

MV0′＝MV0+MV_offset (2-15)

MV1′＝MV1-MV_offset (2-16)

其中，MV_offset表示参考图片之一中的初始MV和细化MV之间的细化偏移。细化搜索范围是从初始MV开始的两个整数亮度样本。搜索包括整数样本偏移搜索阶段和分数样本细化阶段。

整数样本偏移搜索采用25点全搜索。首先计算初始MV对的SAD。如果初始MV对的SAD小于阈值，则DMVR的整数样本阶段终止。否则，剩余24个点的SAD按光栅扫描顺序被计算和被检查。选择SAD最小的点作为整数样本偏移搜索阶段的输出。为了减少DMVR细化不确定性的影响，提出在DMVR过程中支持原始MV。由初始MV候选参考的参考块之间的SAD减少了SAD值的1/4。

整数样本搜索之后是分数样本细化。为了节省计算复杂度，利用参数误差表面方程导出了分数样本细化，而不是使用SAD比较进行额外搜索。分数样本细化是基于整数样本搜索阶段的输出被有条件地调用的。当整数样本搜索阶段在第一次迭代或第二次迭代搜索中以具有最小SAD的中心结束时，分数样本细化被进一步应用。

在基于参数误差表面的亚像素偏移估计中，中心位置成本和距中心四个邻近位置的成本被用于拟合以下形式的二维抛物型误差表面方程

E(x,y)＝A(x-x_min)²+B(y-y_min)²+C (2-17)

其中(x_min,y_min)对应于具有最小成本的分数位置，并且C对应于最小成本值。通过使用五个搜索点的成本值求解上述方程，(x_min,y_min)被计算为：

x_min＝(E(-1,0)-E(1,0))/(2(E(-1,0)+E(1,0)-2E(0,0))) (2-18)

y_min＝(E(0,-1)-E(0,1))/(2((E(0,-1)+E(0,1)-2E(0,0))) (2-19)

x_min和y_min的值自动限制在-8和8之间，因为所有成本值都为正，并且最小值为E(0,0)。这对应于VVC中具有1/16-像素MV精度的半像素偏移。计算的分数(x_min,y_min)被添加到整数距离细化MV以获得亚像素精确的细化delta MV。

2.1.5.2.双线性插值和样本填充

在VVC中，MV的分辨率是1/16亮度样本。使用8抽头插值滤波器对分数位置处的样本进行插值。在DMVR中，搜索点围绕具有整数样本偏移的初始分数像素MV，因此针对DMVR搜索过程这些分数位置的样本需要***值。为了降低计算复杂度，双线性插值滤波器被用于生成DMVR中搜索过程的分数样本。另一个重要的效果是，通过使用双线性滤波器，在2样本搜索范围内，与正常的运动补偿过程相比，DVMR不会访问更多的参考样本。在通过DMVR搜索过程获得细化的MV之后，应用普通的8抽头插值滤波器来生成最终预测。为了不访问正常MC过程的更多参考样本，将从那些可用样本中填充样本，这些样本对于基于原始MV的插值过程是不需要的，但是对于基于细化MV的插值过程是需要的。

2.1.5.3.最大DMVR处理单元

当CU的宽度和/或高度大于16个亮度样本时，它将被进一步分割为宽度和/或者高度等于16个亮度样本的子块。DMVR搜索过程的最大单元尺寸被限制为16x16。

2.1.6.组合的帧间和帧内预测(CIIP)

在VVC中，当以合并模式对CU进行编解码时，如果CU包含至少64个亮度样本(即，CU宽度乘以CU高度等于或大于64)，并且如果CU宽度和CU高度都小于128个亮度样本，则通过信号传输附加标志，以指示组合帧间/帧内预测(CIIP)模式是否被应用于当前CU。如其名称所示，CIIP预测将帧间预测信号与帧内预测信号进行组合。CIIP模式中的帧间预测信号P_inter是使用应用于常规合并模式的相同帧间预测过程来导出的；并且在平面模式的常规帧内预测过程之后导出帧内预测信号P_intra。然后，使用加权平均来组合帧内和帧间预测信号，其中权重值取决于顶部和左侧邻近块的编解码模式而被计算如下(图19中示意图1900所描绘的)：

-如果顶部邻居可用且已进行帧内编解码，则将isIntraTop设置为1，否则将isIntra top设置为0；

-如果左侧邻居可用且已进行帧内编解码，则将isIntraLeft设置为1，否则将isIntralLeft设置成0；

-如果(isIntraLeft+isIntraTop)等于2，则wt设置为3；

-否则，如果(isIntraLeft+isIntraTop)等于1，则wt设置为2；

-否则，将wt设置为1。

CIIP预测被建立如下：

P_CIIP＝((4-wt)*P_inter+wt*P_intra+2)＞＞2 (2-20)

2.1.7.几何划分模式(GPM)

在VVC中，几何划分模式被支持用于帧间预测。使用CU级标志作为一种合并模式来通过信号传输几何划分模式，其他合并模式包括常规合并模式、MMVD模式、CIIP模式和子块合并模式。对于每个可能的CU尺寸w×h＝2^m×2^m，其中m,n∈{3…6}且不包括8x64和64x8，几何划分模式总共支持64个划分。

图20示出了按相同角度分组的GPM分割示例的示意图2000。当使用该模式时，CU通过几何定位的直线被分割为两部分(图20)。分割线的位置在数学上是从特定划分的角度和偏移参数导出的。CU中的几何划分的每个部分使用其自身的运动进行帧间预测；每个划分只允许单向预测，即每个部分都有一个运动矢量和一个参考索引。应用单向预测运动约束以确保与传统的双向预测相同，每个CU只需要两个运动补偿预测。

如果几何划分模式用于当前CU，则指示几何划分的划分模式(角度和偏移)的几何划分索引以及两个合并索引(每个划分一个)被进一步通过信号传输。最大GPM候选大小的数目在SPS中被显式地通过信号传输，并且指定用于GPM合并索引的语法二进制化。在预测了几何划分的每个部分之后，使用具有自适应权重的混合处理来调整沿着几何划分边缘的样本值。这是整个CU的预测信号，并且将像在其他预测模式中一样对整个CU应用变换和量化过程。最后，使用几何划分模式预测的CU的运动场被存储。

2.1.7.1.单向预测候选列表构建

单向预测候选列表直接从根据扩展合并预测过程构建的合并候选列表中导出。图21是示出了用于几何划分模式的单向预测MV选择的示意图。将n表示为几何单向预测候选列表2110中的单向预测运动的索引。第n个扩展合并候选的LX运动矢量被用作几何划分模式的第n个单向预测运动矢量，X等于n的奇偶性。这些运动矢量在图21中用“x”标记。如果第n个扩展合并候选的对应LX运动矢量不存在，则替代地使用相同候选的L(1-X)运动矢量作为几何划分模式的单向预测运动矢量。

2.1.7.2.沿几何划分边缘的混合

在使用其自身的运动来预测几何划分的每个部分之后，将混合应用于两个预测信号以导出几何划分边缘周围的样本。CU的每个位置的混合权重是基于个***置和划分边缘之间的距离被导出的。

位置(x,y)到划分边缘的距离被导出为：

其中i,j是几何划分的角度和偏移的索引，其取决于通过信号传输的几何划分索引。ρ_x,j和ρ_y,j的符号取决于角度索引i。

几何划分的每个部分的权重如下导出：

wIdxL(x,y)＝partIdx？32+d(x,y):32-d(x,y) (2-25)

w₁(x,y)＝1-w₀(x,y) (2-27)

partIdx取决于角度索引i。权重w₀的一个示例在图22的示意图2200中被示出。

2.1.7.3.用于几何划分模式的运动场存储

来自几何划分第一部分的Mv1、来自几何划分第二部分的Mv2以及Mv1和Mv2的组合Mv被存储在几何划分模式编解码的CU的运动场中。

运动场中每个个***置的存储的运动矢量类型被确定为：

sType＝abs(motionIdx)<32？2∶(motionIdx≤0？(1-partIdx):partIdx) (2-43)

其中motionIdx等于d(4x+2,4y+2)，这是根据等式(2-36)重新计算的。partIdx取决于角度索引i。

如果sType等于0或1，则Mv0或Mv1被存储在对应运动场中，否则，如果sTType等于2，则存储来自Mv0和Mv2的组合Mv。组合Mv使用以下过程被生成：

1)如果Mv1和Mv2来自不同的参考图片列表(一个来自L0，另一个来自L1)，则Mv1和Mv2被简单地组合以形成双向预测运动矢量。

2)否则，如果Mv1和Mv2来自同一列表，则仅存储单向预测运动Mv2。

2.1.8.多假设预测(MHP)

本公开采用先前在JVET-M0425中提出的多假设预测。在帧间AMVP模式、常规合并模式以及MMVD模式之上，最多两个附加的预测子通过信号被传输。得到的整体预测信号利用每个附加预测信号被迭代地累积。

p_n+1＝(1-α_n+1)p_n+α_n+1h_n+1

权重因子α根据下表指定：

add_hyp_weight_idx	α
		0	1/4
1	-1/8

针对帧间AMVP模式，只有在双向预测模式中选择BCW中的不相等权重时才应用MHP。

2.1.9.解码器侧帧内模式导出(DIMD)

从当前块的邻近像素计算的梯度直方图(HoG)中选择了三个角度模式。一旦选择了三个模式，它们的预测子将正常计算，然后使用它们的加权平均值作为块的最终预测子。为了确定权重，HoG中的对应幅度用于三个模式中的每一个。DIMD模式用作替代预测模式，并始终在FullRD模式中检查。

当前版本的DIMD在信令、HoG计算和预测融合方面已被修改。此修改的目的是提高编解码性能以及解决上次会议期间提出的复杂性问题(即4x4块的吞吐量)。以下部分描述了每个方面的修改。

2.1.9.1.信号

图23示出了与所提出的DIMD集成的VTM5中解析标志/索引的顺序。

可以看出，首先使用单个CABAC上下文解析块的DIMD标志，该CABAC上下文被初始化为默认值154。

如果标志＝＝0，则解析正常继续。

否则(如果标志＝＝1)，只解析ISP索引，并推断出以下标志/索引为零：BDPCM标志、MIP标志、MRL索引。在这种情况下，整个IPM解析也会被跳过。

在解析阶段期间，当常规非DIMD块查询其DIMD邻居的IPM时，模式PLANAR_IDX被用作DIMD块的虚拟IPM。

2.1.9.2.纹理分析

DIMD的纹理分析包括梯度直方图(HoG)计算(如图24所示)。HoG计算是通过在块周围的宽度为3的模板中的像素上应用水平和垂直Sobel滤波器来进行的。但是，如果上述模板像素落入不同的CTU中，则它们将不会用于纹理分析。

一旦计算完成，就会为块选择对应于两个最高直方图条的IPM。

在以前的版本中，模板中线上的所有像素都涉及在HoG计算中。然而，当前版本通过在4x4块上更稀疏地应用Sobel滤波器来提高此过程的吞吐量。为此目的，仅使用来自左侧的一个像素和来自上方的一个像素。这在图24中被示出。

除了减少梯度计算的操作数量外，此属性还简化了从HoG中选择最佳2种模式的过程，因为所得到的HoG不能具有多于两个非零幅度。

2.1.9.3.预测融合

该方法对每个块使用三个预测器的融合。然而，预测模式的选择不同，并使用组合假设帧内预测方法，其中平面模式被认为是在计算帧内预测候选时与其他模式结合使用。在当前版本中，对应于两个最高HoG条的两个IPM与平面模式相结合。

预测融合作为上述三个预测子的加权平均值应用。为此目的，平面的权重固定为21/64(～1/3)。然后，剩余的43/64(～2/3)权重在两个HoG IPM之间共享，与其HoG条的幅度成比例。图25直观显示了这个过程。

2.1.10.基于模板的帧内模式导出(TIMD)

使用相邻模板从MPM导出TIMD模式。TIMD模式用作CU的附加帧内预测方法。

2.1.10.1.TIMD模式导出

对于MPM中的每个帧内预测模式，计算模板的预测和重建样本之间的SATD。选择具有最小SATD的帧内预测模式作为TIMD模式，并且用于当前CU的帧内预测。TIMD模式的导出中包括位置相关的帧内预测组合(PDPC)。

2.1.10.2.TIMD信令

在序列参数集(SPS)中通过信号传输标志以启用/禁用建议的方法。当标志为真时，通过信号传输CU级别标志以指示是否使用建议的TIMD方法。TIMD标志紧跟在MIP标志之后。如果TIMD标志等于真，则与亮度帧内预测模式相关的其余语法元素，包括亮度帧内预测模式的MRL、ISP和正常解析阶段，都将被跳过。

2.1.10.3.TIMD模式导出中MPM列表构建的修改

在MPM列表的构建期间，相邻块的帧内预测模式在被帧间编解码时，被导出为平面。为了提高MPM列表的准确性，在相邻块被帧间编解码时，传播的帧内预测模式使用运动矢量和参考图片被导出，并用于MPM列表的构建。这种修改仅适用于TIMD模式的导出。

3.问题

在现存视频编解码技术中存在几个问题，需要进一步改进以获得更高的编解码增益。

(1)多重假设预测(例如CIIP、MHP等)与其他编解码工具的组合需要被仔细设计。

(2)为多重假设预测块生成组合的编解码方法需要被仔细设计。

4.本公开的实施例

下面的本公开的实施例应被视为解释一般概念的示例。这些公开不应以狭隘的方式来解释。此外，这些公开可以以任何方式组合。

术语“视频单元”或“编解码单元”或“块”可表示编解码树块(CTB)、编解码树单元(CTU)、编解码块(CB)、CU、PU、TU、PB、TB。

在本公开中，关于“利用模式N被编解码的块”，这里的“模式N”可以是预测模式(例如，MODE_INTRA、MODE_INTER、MODE_PLT、MODE_IBC等)或编解码技术(例如，AMVP、合并、SMVD、BDOF、PROF、DMVR、AMVR、TM、仿射、CIIP、GPM、MMVD、BCW、HMVP、SbTMVP等)。

本公开中的“多重假设预测”可以指将多于一个预测/组合/假设组合/混合为一个以供以后重建过程的任何编解码工具。例如，组合/假设可以是INTER模式编解码的、INTRA模式编解码的或任何其他编解码模式/方法，如CIIP、GPM、MHP等。

在下面的讨论中，多重假设预测块的“基本假设”可以指具有第一组加权值的第一假设/预测。

在下面的讨论中，多重假设预测块的“附加假设”可以指具有第二组加权值的第二假设/预测。

多重假设预测的组成

1.在一个示例中，模式X可以不被允许生成利用多重假设预测模式Y被编解码的多重假设预测块的假设。

1)例如，多重假设预测块的基本假设可以不被允许通过模式X被编解码。

2)例如，多重假设预测块的附加假设可以不被允许通过模式X被编解码。

3)例如，针对X编解码的块，它可以永远不会通过信号传输与模式Y相关的任何块级编解码信息。

4)例如，X是调色板编解码块(例如，PLT模式)。

5)备选地，模式X可以被允许使用来生成利用模式Y被编解码的多重假设预测块的假设。

a)例如，X是对称MVD编解码(例如，SMVD)模式。

b)例如，X是基于基于模板匹配的技术。

c)例如，X是基于基于双边匹配的技术。

d)例如，X是组合的帧内和帧间预测(例如，CIIP)模式。

e)例如，X是几何划分预测(例如，GPM)模式。

6)模式Y可以是CIIP、GPM或MHP。

2.CIIP可以与模式X(诸如GPM、或MMVD、或仿射)一起被用于块。

1)在一个示例中，GPM中的至少一个假设通过CIIP被生成。换言之，GPM中的至少一个假设被生成为至少一个帧间预测和一个帧内预测的加权和。

2)在一个示例中，CIIP中的至少一个假设通过GPM被生成。换言之，CIIP中的至少一个假设被生成为至少两个帧间预测的加权和。

3)在一个示例中，CIIP中的至少一个假设通过MMVD被生成。

4)在一个示例中，CIIP中的至少一个假设通过仿射预测被生成。

5)在一个示例中，模式X是否可以与CIIP一起被使用可以取决于诸如块维度的编解码信息。

6)在一个示例中，模式X是否可以与CIIP一起被使用可以通过信号从编码器被传输至解码器。

a)在一个示例中，信令可以通过诸如块维度的编解码信息被调节。

3.在一个示例中，多重假设预测块的一个或多个假设可以基于位置相关预测组合(例如，PDPC)被生成。

1)例如，假设的预测样本可以首先通过PDPC被处理，然后才被使用来生成多重假设预测块。

2)例如，基于考虑了邻近样本值的PDPC而获得的预测子可以被用于生成假设。

3)例如，基于考虑了邻近样本的梯度的基于梯度的PDPC而获得的预测子可以被用于生成假设。

a)例如，基于梯度的PDPC可以被应用于帧内模式(平面、DC、水平、垂直或对角线模式)的编解码假设。

4)例如，PDPC预测子可以不是基于当前块内部的预测样本。

a)例如，PDPC预测子可以仅是基于邻近当前块的预测(或重建)样本。

b)例如，PDPC预测子可以是基于邻近当前块的预测(或重建)样本和在当前块内部的预测(或重建)样本两者。

4.在一个示例中，多重假设预测块可以基于解码器侧细化技术被生成。

1)例如，解码器侧细化技术可以被应用于多重假设预测块的一个或多个假设。

2)例如，解码器侧细化技术可以被应用于多重假设预测块。

3)例如，解码器侧细化技术可以是基于解码器侧模板匹配(例如，TM)、解码器侧双边匹配(例如，DMVR)、或解码器侧双向光流(例如，BDOF)或利用光流的预测细化(PROF)。

4)例如，多重假设预测块可以利用CIIP、MHP、GPM或任何其它多重假设预测模式被编解码。

5)例如，多重假设块(例如，CIIP)的INTER预测运动数据可以通过解码器侧模板匹配(TM)、和/或解码器侧双边匹配(DMVR)和/或解码器侧双向光流(BDOF)被进一步细化。

6)例如，多重假设块(例如，CIIP)的INTER预测样本可以通过解码器侧模板匹配(TM)、和/或解码器侧双边匹配(DMVR)、和/或解码器侧双向光流(BDOF)或利用光流的预测细化(PROF)被进一步细化。

7)例如，多重假设块(例如，CIIP、MHP等)的INTRA预测部分可以通过解码器侧模式导出(例如，DIMD)、解码器侧帧内模板匹配等被进一步细化。

8)多重假设块的细化帧内预测模式/运动信息可以被禁止以预测在相同条带/图块/图片/子图片中将要被编码/被解码的后续块。

9)备选地，解码器侧细化技术可以不被应用于多重假设预测块。

a)例如，解码器侧细化技术可以不被允许对MHP编解码块使用。

5.对于基于块的经多重假设预测编解码的块(例如，利用CIIP、MHP被编解码)，建议将块导出为多个子块/子划分/划分

1)在一个示例中，可以通过信号传输/导出多组运动信息。

a)在一个示例中，对于每个子块/子划分/划分，可以导出一组运动。

2)在一个示例中，子块/子部分/划分的最终预测可能仅取决于与其相关联的一组运动信息。

a)或者，子块/子部分/划分的最终预测可能仅依赖于与其相关联的多于一组运动信息。

6.在一个示例中，如果多重假设预测单元(例如，编解码单元)包含多于一个子块/子划分/划分，其中每个子块/子划分/划分的尺寸小于整个多重假设预测单元的尺寸，则可以应用以下规则：

1)例如，多重假设预测单元可以以统一的方式划分。

a)例如，多重假设预测单元可以被划分为矩形或正方形子块。

b)例如，多重假设预测单元可以被划分为M×N个子块。

i.例如，M＝N。

ii.例如，M！＝N。

iii.例如，M＝4或8或16。

iv.例如，N＝4或8或16。

v.例如，M等于整个多重假设预测单元的宽度，并且N小于整个多重假设预测单元的高度。

vi.例如，M小于整个多重假设预测单元的宽度，并且N等于整个多重假设预测单元的高度。

c)例如，多重假设预测单元可以被划分为三角形子块。

i.例如，多重假设预测单元可以被划分为两个对角线三角形。

2)例如，可以以非均匀/不规则的方式划分多重假设预测单元。

a)例如，多重假设预测单元可以通过斜线或直线来划分(例如，GPM划分等)。

b)例如，多重假设预测单元可以由曲线划分。

3)例如，多重假设预测单元的子块/子划分/划分/假设是否是经帧内编解码的，可以取决于多重假设预测单元的划分信息。

a)例如，它可能取决于划分线的角度。

i.例如，哪个GPM划分是被帧内模式编解码的可以取决于GPM划分模式(或GPM划分角度、或GPM划分距离)。

ii.例如，一个或多个查找表(或映射表)可以针对GPM划分模式(或GPM划分角度，或GPM划分距离)与哪个子块/子划分/划分/假设是经帧内编解码的之间的对应关系被预定义。

b)例如，它可以取决于与子块/子划分/划分/假设相邻的邻近样本(在整个多重假设预测单元之外)的数量(并且这也取决于多重假设预测单元如何被划分)。

4)例如，在整个多重假设预测单元的子块/子划分/划分/假设是被帧内模式编解码的情况下，什么帧内模式被允许用于子块/子划分/划分/假设可以取决于划分信息。

a)例如，是否使用水平帧内模式、垂直帧内模式、对角帧内模式或其它帧内模式可以取决于多重假设预测单元的划分信息。

b)例如，预定义的帧内模式集可以取决于上方和/或左侧邻居样本是否可用于此子块/子划分/划分/假设来定义。

i.例如，当子块/子划分/划分/假设没有在整个多重假设编解码单元之外但与当前子块/子划分/划分/假设相邻的左侧邻近样本(子块/子划分/划分/假设划分的尺寸小于多重假设编解码单元)时，可能不允许水平或接近水平帧内模式。

ii.例如，当子块/子划分/划分/假设没有在整个多重假设编解码单元之外但与当前子块/子划分/划分/假设相邻的上方邻近样本时，可能不允许垂直或接近垂直帧内模式。

c)例如，什么帧内模式被允许用于GPM划分可能取决于GPM划分模式(或GPM划分角度，或GPM划分距离)。

i.例如，预定义的帧内模式集可以取决于GPM划分形状/角度/距离/模式被定义。

ii.例如，一个或多个查找表(或映射表)可以针对GPM划分模式(或GPM划分角度，或GPM划分距离)和什么帧内模式被允许用于经帧内编解码的子块/子划分/划分/假设之间的对应关系被预定义。

a)例如，至多一个帧内模式可以被允许用于GPM划分。

b)例如，一组预定义的帧内模式可以被允许用于GPM划分。

iii.备选地，什么帧内模式被用于GPM划分可以取决于整个GPM编解码单元之外但与当前GPM划分相邻的可用邻近样本(GPM划分的尺寸小于GPM编解码单元)。

a)例如，如果GPM划分没有左侧邻近样本，但具有与当前GPM划分相邻的上方邻近样本，则从左到右预测的水平或接近水平帧内模式可以被允许用于当前GPM划分。

b)例如，如果一个GPM划分没有上方邻近样本，但具有与当前GPM划分相邻的左侧邻近样本，则从上到下预测的垂直或接近垂直帧内模式可以被允许用于当前GPM划分。

c)例如，如果GPM划分既没有上方邻近样本，也没有与当前GPM划分相邻的邻近样本，则帧内模式不被允许用于当前GPM划分。

i.可选地，在这样的情况下，除了水平/垂直/近水平/近垂直帧内模式之外的特定帧内模式可以被允许用于当前GPM划分。

5)在一个示例中，假设预测单元不可以锐度剪切的方式被划分为子块/子划分/划分。相反，可以使用拆分子块/子划分/划分的方式来确定单元中预测样本的加权值。

a)如果单元被划分为多个子块/子划分/划分，并且每个子块/子划分/划分的预测样本是独立导出的，则该单元以锐度剪切的方式划分为子块/子划分/划分。

b)如果单元在概念上被划分在多个子块/子划分/划分中，但每个子块/子划分/划分的预测样本不是独立导出的，则该单元不被以锐度剪切的方式划分为子块/子划分/划分。

c)在一个示例中，针对第一子块/子划分/划分中的第一位置的第一预测的第一加权值可以大于针对第二子块/子划分/划分中的第二位置上的第一预测的第二加权值。

i.例如，第一预测可以是帧内预测，第一子块/子划分/划分可以被视为经帧内编解码的子块/子划分/划分，并且第二子块/子划分/划分可以被视为经帧内编解码的子块/子划分/划分。

d)替选地，此外，在这种情况下，不再通过信号传输划分信息的指示。

6)在一个示例中，在多重假设预测中使用的加权值的导出可以取决于假设预测单元(例如，编解码单元)是否包含多于一个子块/子划分/划分。

a)在一个示例中，可以在每个子块/子划分/划分中的相对样本位置上导出加权值。

i.在一个示例中，在第一子块/子划分/划分中的第一相对样本位置上的第一加权值可以等于在第二子块/子划分/划分中的相同相对样本位置上的第二加权值。

b)替选地，可以朝着整个假设预测单元中的相对样本位置导出加权值。

c)在一个示例中，不同的权值可以用于子块/子划分/划分的不同维度。

7)在被多重假设预测编解码的块中使用的划分/加权值可以取决于被编解码的信息、颜色分量、颜色格式等。

a)在一个示例中，色度分量遵循应用于亮度分量的划分规则。

i.替选地，色度分量具有应用于亮度分量的不同划分规则。

b)在一个示例中，色度分量遵循应用于亮度分量的加权值导出规则。

i.替选地，此外，应用于色度分量的加权值可以共享/从亮度分量导出。

8)上述方法也可应用于项目符号5中提到的项目符号。

CIIP/MHP帧间分量

7.例如，虚拟/生成的运动数据(例如，包括运动矢量、预测方向、参考索引等)可用于多重假设预测(例如，CIIP、MHP、GPM等)。

1)虚拟/生成的运动数据可以通过基本块方式在基本块中被生成。例如，基本块可以是4×4块。

a)在一个示例中，基本块的运动数据可以取决于如何在该基本块上进行假设预测，诸如该基本块上的加权值、该基本块上的划分方法、该基本块上的多重假设预测的一个预测的运动数据等等。

2)例如，可以根据预定义的规则导出预测方向(L0、L1或bi)。

a)例如，如果在用于基础块的所有假设预测中只能找到用于L0的运动信息，则可以将基础块的预测方向设置为单向预测L0。

b)例如，如果在针对基础块的所有假设预测中只能找到针对L0的运动信息，则可以将基础块的预测方向设置为单向预测L1。

c)例如，如果可以在基础块的所有假设预测中找到两个方向的运动信息，则可以将基础块的预测方向设置为bi。

3)例如，虚拟/生成的运动可以是根据预定义规则创建的双预测运动。

a)例如，虚拟/生成的BI运动可以由来自第一候选列表的候选的L0运动和来自第二候选列表的候选的L1运动构建。

i.例如，第一候选列表和/或第二候选列表可以是预定义的。

ii.例如，第一候选列表可以是AMVP候选列表、MERGE候选列表、基于GPM/AMVP/MERGE候选构建的新候选列表、或任何其它运动候选列表。

iii.例如，第二候选列表可以是MERGE候选列表、AMVP候选列表、基于GPM/AMVP/MERGE候选构建的新候选列表、或任何其它运动候选列表。

iv.备选地，第一候选列表不同于第二候选列表。

v.备选地，第一候选列表可以与第二候选列表相同。

4)例如，虚拟/生成的运动可以是按照预定义规则创建的单向预测运动。

a)例如，虚拟/生成的单向运动可以由来自第三候选列表的候选的L0或L1运动构建。

i.例如，第三候选列表可以是AMVP候选列表、MERGE候选列表、基于GPM/AMVP/MERGE候选构建的新候选列表、或任何其它运动候选列表。

5)例如，如果L0/L1/BI运动来自MERGE候选列表，则可以通过信号传输合并候选索引。

a)替选地，合并候选索引可以从解码器导出方法被隐式导出(例如，基于模板匹配，或基于双边匹配等)

6)例如，如果L0/L1/BI运动来自AMVP候选列表，则运动矢量差(例如，MVD)可以通过信号传输。

a)此外，可以通过信号传输AMVP候选索引。

i.替选地，AMVP候选索引可以从解码器导出方法被隐式导出(例如，基于模板匹配，或基于双边匹配等)

b)替选地，运动矢量差可以从解码器导出方法被隐式导出(例如，基于模板匹配，或基于双边匹配等)。

7)例如，虚拟/生成的运动数据可用于生成预测块，并且所得预测块可用于计算最终预测视频单元(例如，多重假设预测块、新编解码模式)。

a)备选地，运动/样本细化可以进一步应用于所生成的预测块。

i.例如，运动/样本细化可以是模板匹配(TM)、双边匹配、解码器导出的运动矢量细化(例如DMVR)、多遍次解码器导出的运动矢量细化(例如MPDMVR)、BODF、PROF等。

8)例如，虚拟/生成的运动数据可以用于后续程序，例如去块过程。

9)例如，虚拟/生成的运动数据可用于预测后续块中的运动数据。

CIIP/MHP帧内分量

8.例如，多重假设预测块的帧内部分(例如，CIIP、MHP、GPM等)可以基于预定义规则被确定。

1)例如，多重假设预测块的帧内部分(例如，CIIP、MHP、GPM等)可以以基于融合的帧内预测为基础来导出。

a)例如，基于融合的帧内预测可以指从多于一个帧内模式混合的预测块。

b)例如，基于融合的帧内预测可以由来自预定义帧内模式集的前X个帧内模式生成。

i.例如，前X(诸如X>1)个帧内模式可以是具有最低成本的模式。

a)此外，可以基于模板匹配方法或双边匹配方法来计算成本。

i.例如，可以使用基于模板匹配的方法来对一组预定义的帧内模式进行排序，并为多重假设块的帧内部分选择最佳X个模式。

b)此外，可以基于使用邻近采样的信息的质量度量(例如，SAD/SATD/MSE等)来计算成本。

c)此外，成本可以基于来自邻近样本的梯度直方图(HoG)来计算。

ii.例如，预定义的帧内模式集可以包括平面模式、和/或常规帧内模式、和/或来自MPM列表的帧内模式等。

c)例如，用于多个预测样本混合/融合的权重可以取决于帧内预测角度/方向。

i.备选地，用于多个预测样本混合/融合的权重可以取决于GPM划分模式、和/或GPM划分角度、和/或GPM划分距离。

d)例如，用于多个预测样本混合/融合的权重可以是基于块/划分/子块的(例如，不同的块/划分/子块可能具有不同的权重)。

i.替选地，用于多个预测样本混合/融合的权重可以是基于样本的(例如，可以将不同的权重分配给不同的样本)。

9.例如，多重假设预测块的帧内部分(例如，CIIP、MHP、GPM等)可以基于解码器导出的方法来确定。

1)在一个示例中，解码器可以确定帧内预测模式导出(DIMD)。

2)在一个示例中，可以通过基于模板的帧内预测模式导出(TIMD)来确定。

加权因子设计和存储

10.在一个示例中，在帧内预测样本与另一个预测样本(可以是经帧间编解码的，或帧内编解码的，或从其他混合的预测样本)混合的情况下，使用什么混合/融合权重可以取决于编解码信息。

1)例如，导出混合权重的规则可能取决于被混合样品的预测模式。

a)例如，不同的假设组合(诸如“帧内+帧内”、“帧内+帧间”或“帧间+帧间”)可以不同。

2)例如，帧内和帧间/帧内的混合权重可以取决于被用于混合/融合的帧内预测样本之一预测模式。

3)例如，可以基于什么帧内模式被用于视频单元来为特定的融合方法定义多于一组的混合/融合权重。

a)例如，可以根据帧内模式基于分类来定义不同的权重集，该帧内模式诸如水平模式、垂直模式、广角模式、对角线模式、反对角线模式、在其中从顶部和左侧邻近样本预测样本的帧内模式(例如，对应于角度大于水平的帧内模式索引，小于18的帧内模式索引)、在其中从顶部邻近样本预测样本的帧内模式(例如，对应于角度小于垂直的帧内模式索引，索引大于50的帧内模式)、在其中从左侧邻近样本预测样本的帧内模式(例如，大于水平(例如18)但小于垂直(例如50)的帧内模式索引)等等。

b)例如，权重设置可以基于现有编解码工具(诸如PDPC、CIIP等)中的权重定义/分类的规则。

4)例如，可以基于当前样本属于哪个子块/子单元，为特定融合方法定义多于一组混合/融合权重。

a)例如，不同的样本可能具有不同的权重。

b)例如，属于不同子块的样本可能具有不同的权重。

c)例如，子块可以具有非矩形形状。

5)加权值可以取决于颜色分量。

a)在一个示例中，第一(例如色度)分量上的加权值可基于第二(例如亮度)分量上的对应加权值导出

11.例如，多重假设预测块的帧内模式信息(例如，GPM、MHP、CIIP等)可以以M×M单位的基础被存储(诸如M＝4、或8、或16)。

a)例如，对于位于混合区域处的M×M单元，其中MxM单元内的所有子块/子划分/划分/假设都是被INTRA编解码的，子块/子划分/划分/假设的帧内模式被存储可以取决于(i)划分信息(例如，划分角度/距离/模式等)；(ii)子块/子划分/划分/假设的尺寸；iii)帧内模式信息；(iv)预定义规则。

b)例如，对于位于包含经帧内编解码的和经帧间编解码的子块/子划分/划分/假设的混合区域处的M×M单元，是否存储运动数据或帧内模式信息可以取决于(i)预定义的规则；(ii)帧内模式信息；(iii)帧间运动数据；(iv)划分信息(例如，划分角度/距离/模式等)，(v)子块/子划分/划分/假设的尺寸。

c)例如，上述基于M×M单元的帧内模式存储可用于多预测模式，该多预测模式将编解码单元划分为多于一个子块/子划分/划分(例如，GPM等)。

d)例如，上述基于M×M单元的帧内模式存储可用于多预测模式，该多预测模式不将编解码单元划分为子块/子划分/划分(例如，CIIP、MHP等)。

e)例如，上述基于M×M单元的帧内模式存储可用于预测在后续块中的帧内预测模式。

通用权项

12.是否和/或如何应用上面公开的方法可以在序列级/图片组级/图片级/条带级/图块组级通过信号被传输，诸如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头中。

13.是否和/或如何应用上面公开的方法可以在PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/其他种类的包含多于一个样本或像素的区域中通过信号被传输。

是否和/或如何应用上面公开的方法可以取决于经编解码的信息，例如块尺寸、颜色格式、单/双树划分、颜色分量、条带/图片类型。

在本公开中，GPM指定了一种预测方法，该方法将编解码单元分割成至少两个子划分/划分，分割线可以是斜线或直线。此外，GPM视频单元的每个划分可以使用单独的预测方法(例如，帧内、帧间、非帧间、L0预测或L1预测)。或者，利用单独的预测方法生成至少两个中间预测块，并通过中间预测块的加权和生成最终预测块，其中加权值基于分割方法被确定。另一方面，GPM视频单元的变换是基于整个视频单元而不是子划分/划分进行的。在又一个示例中，GPM可以生成多组运动信息并且最终预测是基于来自不同组运动信息的加权预测信号；或者它可以根据混合预测方法(例如，帧内/帧间/调色板/IBC)生成最终预测。

GPM帧内-帧内预测，GPM帧内-帧间预测

14.在一个示例中，GPM帧内-帧内预测(或GPM帧内-帧间预测)的帧内部分的编解码信息存储可以遵循以下规则：

1)例如，编解码信息可以以MxN为基础被存储。

a)例如，M＝2或4或8个亮度样本。

b)例如，M可以等于非并矢(non-dyadic)值。

c)例如，N＝M。

2)例如，经帧内编解码的划分的编解码信息存储可以基于零MV存储。

3)例如，经帧内编解码的划分的编解码信息存储可以基于等于-1的参考索引来存储。

4)例如，经帧内编解码的划分的编解码信息存储可以基于等于当前条带/图片的参考索引的参考索引来存储。

5)例如，经帧内编解码的划分的编解码信息存储可以基于用于导出帧内预测的真实帧内预测模式/角度/方向被存储。

a)例如，GPM划分的真实帧内预测模式/角度/方向可以不属于常规帧内模式索引之一。

i.例如，GPM划分的真实帧内预测模式/角度/方向可以被映射到常规帧内模式索引之一，用于编解码信息存储。

b)或者，用于导出帧内预测的真实帧内预测模式/角度/方向可以不被存储。

i.例如，经帧内编解码的划分的编解码信息存储可以基于默认帧间运动(诸如零MV)。

c)可替换地，经帧内编解码的划分的编解码信息存储可以基于默认帧内模式(不一定是用于划分的帧内模式索引)。

i.例如，默认帧内模式可以是平面模式。

6)例如，在混合区域(例如，沿着GPM划分线的帧内-帧间融合区域)处，是否存储经帧内编解码的信息或经帧间编解码的信息可以是预定义的。

a)在一个示例中，如果样本属于混合区域，则用于该样本的GPM中的多于一个加权值不等于0。

b)例如，经帧内编解码的信息可以总是被存储。

c)例如，经帧间编解码的信息可以总是被存储。

d)或者，是否存储经帧内或帧间编解码的信息可以取决于划分信息(划分线、划分模式索引、划分角度、划分距离等)。

7)例如，在融合区域(例如，沿着GPM划分线的帧内-帧内融合区域)处，哪个划分被存储的经编解码的信息可以是预定义的。

a)在一个实例中，如果样本属于混合区域，则用于该样本的GPM中的多于一个加权值不等于0。

b)或者，是否存储第一划分或第二划分的经编解码的信息可以取决于划分信息(划分线、划分模式索引、划分角度、划分距离等)。

c)在一个示例中，是否存储第一划分或第二划分的经编解码的信息可以取决于两种帧内预测模式。

8)例如，所存储的GPM帧内划分的编解码信息可以通过后续经编码/解码的块被使用，诸如用于当前GPM块后续的编解码单元的MPM列表构建。

9)例如，所存储的GPM帧内划分的编解码信息可以被用于去块过程。

15.在一个示例中，多重假设预测块可以基于多于一个的帧内预测被生成。

1)例如，多重假设预测块的多于一个假设(例如，基于整个块，或基于子块/划分)可以被帧内预测。

a)例如，MHP块可以包括多于一个经帧内编解码的假设。

b)例如，CIIP块可以包括至少两个帧内预测。

c)例如，GPM块的两个划分都可以是经帧内模式编解码的。

d)例如，两个划分的帧内模式可以不允许相同。

e)例如，两个划分之一的帧内模式可以在码流中通过信号被传输。

i.例如，其它划分的帧内模式可以被隐式地导出。

ii.例如，第一划分的帧内模式可以从第二划分的经编解码的表示中排除。

f)例如，两个划分的帧内模式可以在码流中通过信号被传输。

g)例如，两个划分的帧内模式可以被隐式地导出。

h)例如，两个划分的两个帧内预测可以被加权混合。

i.例如，GPM块的两个帧内预测可以被加权混合。

ii.例如，划分内的所有样本可以具有相同的加权因子。

iii.例如，不同的样本可以具有不同的加权因子。

iv.例如，加权值可以取决于GPM块的分割方法。

v.例如，加权值可以取决于至少一个帧内预测模式。

2)例如，多重假设预测块可以由一条或多条倾斜的或直的划分线(例如，GPM划分线)被分割。

a)例如，分割模式(角度、方向、划分模式索引)可以在码流中通过信号被传输。

b)例如，分割模式可以以与GPM划分模式索引相同的方式通过信号被传输。

c)例如，划分模式可以基于编解码信息被隐式地导出。

3)例如，一个或多个语法元素(例如，标志)可以通过信号被传输，以在解码器侧指示某个(GPM)划分的帧内预测是否被导出。

a)例如，基于CU的标志可以针对整个块通过信号被传输。

b)例如，基于划分的标志可以针对块的某个划分通过信号被传输。

c)例如，解码器导出的帧内预测可以是DIMD或TIMD等。

16.在一个示例中，多重假设预测块可以被允许用于其中只有L0参考列表可用的P条带/图片，和/或其中L0参考列表和L1参考列表两者可用的B条带/图片。

1)例如，GPM可以针对P条带/图片被允许。

2)例如，GPM块的两个划分可以是帧内预测和帧间预测(又名GPM帧内-帧间块)。

a)例如，帧间预测可以是L0预测或L1预测。

b)例如，划分的帧内模式可以是预定义的或通过信号被传输的。

3)例如，GPM块的两个划分可以是一个帧内预测和另一个帧内预测。

a)例如，两个划分的帧内模式可以不允许相同。

4)例如，GPM块的两个划分可以是一个帧间预测和另一个帧间预测。

a)例如，GPM块可以包括两个L0预测。

b)例如，GPM块可以包括两个L1预测。

c)例如，两个预测的运动信息(例如，合并索引、运动矢量、参考索引等)可以不允许相同。

d)例如，当两个划分从相同的预测方向(例如，L0或L1)

被预测时，两个划分的运动矢量可以被加在一起或平均以用于混合区域运动存储。

i.例如，如果两个划分的预测方向和参考索引相同，则可以将两个划分的运动矢量直接相加或平均以用于混合区域的运动存储。

ii.例如，如果两个划分的预测方向相同但参考索引不同，则混合区域的运动存储可以基于运动矢量缩放过程。

e)例如，当从同一预测方向(例如L0或L1)预测两个划分时，可以存储具有较小参考索引的划分的运动矢量。

f)例如，当两个划分从相同的预测方向(例如L0或L1)被预测时，具有较小的|MVx|+|MVy|的划分的运动矢量可以被存储。

5)例如，可以基于具有诸如L0的特定预测方向的规则合并候选来构建GPM候选列表

6)例如，用于P条带的GPM候选列表可以以与用于B条带的GPM候选列表不同的方式被构建。

a)例如，用于P条带的GPM候选列表可以是用于B条带的GPM候选列表的子集。

17.例如，基于CU的GPM模板匹配的语法元素(例如，标志)是否通过信号被传输可以取决于/受制于帧内-帧间编解码(例如，一个划分是经帧内编解码的并且另一个划分是经帧间编解码的)是否被用于GPM块。

1)例如，在GPM块通过帧内-帧间预测被编解码的情况下，基于CU的GPM模板匹配(其中GPM划分都通过模板匹配被细化)可以不允许被进一步应用。

a)例如，在基于CU的GPM模板匹配针对GPM帧内-帧间块不被允许的情况下，基于CU级别的TM的标志不通过信号被传输，而是被推断为某个值。

2)可替换地，帧内-帧间编解码是否被允许用于GPM块可以取决于/受制于基于CU的GPM模板匹配是否被用于该块。

a)例如，在使用基于CU的GPM模板匹配的情况下，GPM帧内-帧间预测可以不允许被进一步应用。

b)例如，在GPM帧内-帧间预测不允许用于GPM块的情况下，经帧内编解码的信息不在码流中通过信号传输。

3)或者，GPM帧内-帧间块可以被允许使用基于划分的GPM模板匹配(其中经帧间编解码的GPM划分被允许通过模板匹配来细化)。

a)例如，在基于划分的GPM模板匹配被允许用于GPM帧内-帧间块的情况下(基于划分的GPM模板匹配被允许应用于经帧间编解码的划分)，可以通过信号传输用于经帧间编解码的划分的标志，以指定划分的运动是否通过模板匹配被进一步细化。

18.在一个示例中，多重假设预测块可以针对I条带/图片被允许。

1)例如，GPM针对I条带/图片可以被允许。

a)例如，GPM块可以包括两个非帧间预测。

b)例如，非帧间预测可以是帧内预测、IBC预测或调色板预测。

c)例如，不同的帧内模式可用于GPM块的两个划分。

d)例如，基于样本的加权因子可用于混合/融合GPM块的两个划分。

2)例如，CIIP可以针对I条带/图片被允许。

a)例如，CIIP块可以包括帧内预测和非帧间预测。

b)例如，非帧间预测可以是帧内预测、IBC预测或调色板预测。

c)例如，不同的帧内模式可用于CIIP块的两个预测。

d)例如，基于块的加权因子可用于混合/融合CIIP块的两个预测。

3)例如，MHP可以针对I条带/图片被允许。

a)例如，MHP块可以包括多个非帧间预测。

b)例如，非帧间预测可以是帧内预测、IBC预测或调色板预测。

c)例如，不同的帧内模式可用于MHP块的多个假设。

d)例如，基于块的加权因子可用于混合/融合MHP块的多个假设。

4)如果IBC涉及GPM/CIIP/MHP，则诸如BV等针对IBC的信息可以通过信号被传输。

5)如果调色板涉及GPM/CIIP/MHP，则诸如调色板索引等针对调色板的信息可以通过信号被传输。

杂项

19.在一个示例中，对于特定的编解码方法，用于视频单元的模板的形状可以取决于邻近样本的可用性。

1)当上方样本可用但左侧样本不可用时(例如，模板超过图片左边界，或者当前块位于图片的第一行)，模板仅包括上方样本。

2)当左侧样本可用但上方样本不可用时(例如，模板超过图片上边界，或当前块位于图片的第一列)，模板仅包括左侧样本。

3)当左侧样本和上方样本不可用时(例如，当前块位于图片的第一行和第一列)，不使用模板。

4)或者，虚拟模板可以被使用，其中模板的至少一个样本由特定平均值生成(例如用取决于内部比特深度的默认样本值填入)。

a)在一个示例中，填充可以被使用来填入不可用的样本。

5)该模板可用于基于模板匹配的MV/BV导出。

6)该模板可用于基于模板匹配的帧内预测导出。

20.在一个示例中，滤波器系数、裁剪值可以被允许为不等于2的幂的值。

1)在一个示例中，CCALF的滤波器系数可以基于不等于2的幂的值。

2)在一个示例中，某些编解码工具的裁剪值(例如，ALF中的非线性裁剪等)可以不是2的幂。

21.在一个示例中，色度和亮度可以共享类似的滤光器形状。

1)滤波器形状可以相同，但是过滤器长度可以不同。

2)例如，假设MxN菱形/十字形滤波器被用于环路滤波器(例如，ALF、CCALF等)的亮度分量，其相关的色度分量可以被允许使用具有尺寸为(M>>SubWidthC)x(N>>SubHeightC)的类似菱形/十字形滤波器，其中SubWidthC和SubHeightC取决于色度格式采样结构。

a)例如，针对4:2:0色度格式，SubWidthC＝SubHeightC＝2。

b)例如，针对4:4:4色度格式，SubWidthC＝SubHeightC＝1。

c)例如，针对4:2:2色度格式，SubWidthC＝2并且SubHeightC＝1。

3)在一个示例中，如果色度格式是4:4:4，则色度和亮度可以共享相同的滤光器形状。

通用权项

22.是否和/或如何应用上面公开的方法可以在序列级别/图片组级别/图片级别/条带级别/图块组级别通过信号被传输，诸如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头中。

23.是否和/或如何应用上面公开的方法可以在PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/其它种类的包含多于一个样本或像素的区域通过信号被传输。

24.是否和/或如何应用上面公开的方法可能取决于经编解码的信息，例如块大小、颜色格式、单/双树划分、颜色分量、条带/图片类型。

本公开的实施例涉及从图像/视频编解码的多个组合中混合的预测。

如本文所用，术语“视频单元”或“编解码单元”或“块”可指以下中的一个或多个：颜色分量、子图片、条带、图块、编解码树单元(CTU)、CTU行、CTU组、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)、块、块的子块、块内的子区域、或包括多于一个样本或像素的区域。

在本公开中，关于“具有模式N的经编解码的块”，术语“模式N”可以是预测模式(例如，MODE_INTRA、MODE_INTER、MODE_PLT、MODE_IBC等)或编解码技术(例如，AMVP、Merge、SMVD、BDOF、PROF、DMVR、AMVR、TM、Affine、CIIP、GPM、MMVD、BCW、HMVP、SbTMVP等)。

本公开中的“多重假设预测”可以指将一个以上的预测/组合/假设进行组合/混合成一个以供以后重建过程的任何编解码工具。例如，组合/假设可以是经INTER模式编解码的、经INTRA模式编解码的或任何其他编解码模式/方法，如CIIP、GPM、MHP等。

在以下讨论中，多重假设预测块的“基本假设”可以指具有第一组加权值的第一假设/预测。在以下讨论中，多重假设预测块的“附加假设”可以指具有第二组加权值的第二假设/预测。

图26示出了根据本公开的一些实施例的用于视频处理的方法2600的流程图。该方法2600可以在视频单元和视频单元的码流之间的转换期间实现。

如图26所示，在块2610，在视频的目标块和目标块的码流之间的转换期间，确定与目标块的第一部分的编解码信息相关的存储信息。目标块利用几何划分模式(GPM)被编解码。目标块的第一部分可以包括目标块的经帧内编解码的划分。例如，如果目标块是GPM帧内-帧内预测块，则第一部分可以包括GPM帧内-帧内预测块的帧内部分。或者，如果目标块是GPM帧内-帧间预测块，则第一部分可以包括GPM帧内-帧间预测块的帧内部分。

在框2620，基于存储信息执行转换。在一些实施例中，存储信息可以指示如何存储目标块的第一部分的编解码信息。在一些其他实施例中，存储信息可以指示是否存储目标块的第一部分的编解码信息。在一些实施例中，转换可以包括将目标块编码到码流中。或者，转换可以包括从码流中解码目标块。

根据本公开的实施例，块的帧内部分的编解码信息存储可以适当地被存储。与现有方案相比，本公开的一些实施例可以有利地提高编解码效率、编解码性能和灵活性。

本公开的实现可以根据以下条款来描述，这些条款的特征可以以任何合理的方式组合。

在一些实施例中，编解码信息可以以MxN为基础被存储。在这种情况下，M和N可以分别表示样本数。在一些实施例中，M可以等于以下之一：2个亮度样本、4个亮度样本或8个亮度样本。或者，M可以是非并矢值。在一些实施例中，M和N可以相同。

在一些实施例中，可以基于零运动矢量来存储目标块的第一部分的编解码信息。在一些实施例中，可以基于等于-1的参考索引来存储目标块的第一部分的编解码信息。

在一些实施例中，可以基于等于与目标块相关联的当前条带或当前图片的参考索引的参考索引，存储目标块的第一部分的编解码信息。在一些实施例中，可以基于以下至少之一来存储目标块的第一部分的编解码信息：用于导出目标块的帧内预测的真实帧内预测模式、用于导出目标块的帧内预测的角度或用于导出目标块的帧内预测的方向。在一些实施例中，以下一项或多项可能不属于常规帧内模式索引之一：真实帧内预测模式、角度或方向。在一些实施例中，以下一项或多项可以被映射到用于存储编解码信息的常规帧内模式索引之一：真实帧内预测模式、角度或方向。在一些实施例中，可以不存储以下一项或多项：真实帧内预测模式、角度或方向。

在一些实施例中，可以基于默认帧间运动来存储目标块的第一部分的编解码信息。例如，默认帧间运动可以是零运动矢量。

在其他一些实施例中，可以基于默认帧内模式来存储目标块的第一部分的编解码信息。例如，默认帧内模式可以是平面模式。

在一些其他实施例中，在目标块的混合区域处，是存储目标块的经帧内编解码的信息还是存储目标块的经帧间编解码的信息可以是预定义的。例如，目标的混合区域可以指沿GPM划分线的帧内-帧间融合区域。在一些其他实施例中，如果样本属于混合区域，则用于该样本的GPM的多个加权值可以不等于0。

在其他一些实施例中，目标块的经帧内编解码的信息可以被默认存储。换句话说，经帧内编解码的信息可以一直被存储。在其他一些实施例中，目标块的经帧间编解码的信息可以被默认存储。换句话说，经帧间编解码的信息可以一直被存储。

在其他一些实施例中，是存储目标块的经帧内编解码的信息还是存储目标块的经帧间编解码的信息，可以基于目标块的划分信息来确定。例如，划分信息可以包括：划分线、划分模式索引、划分角度或划分距离中的一个或多个。

在一些其它实施例中，在目标块的混合区域处，哪个划分被存储的经编解码的信息可以是预定义的。例如，如果样本属于混合区域，则用于该样本的GPM的多个加权值可以不等于0。

在一些其他实施例中，是存储第一部分的经编解码的信息还是存储第二部分的经编解码的信息可以基于目标块的划分信息来确定。如上所述，划分信息可以包括以下至少之一：划分线、划分模式索引、划分角度或划分距离。在一些其他实施例中，是存储第一部分的经编解码的信息还是存储第二部分的经编解码的信息可以基于两种帧内预测模式来确定。

在一些其他实施例中，编解码信息可以通过后续经编码的块或后续经解码的块来使用。或者，编解码信息可以用于去块过程。

在一些实施例中，是否和/或如何确定关于编解码信息的存储信息的指示可以在以下之一被指示：序列级别、图片组级别、图片级别、条带级别或图块组级别。在一些实施例中，是否和/或如何应用编解码工具的指示可以在以下之一指示：序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、依赖参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头。

在一些实施例中，是否和/或如何确定关于编解码信息的存储信息的指示可以包括在以下之一中：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块、子图片、或包含多于一个样本或像素的区域。

在一些实施例中，是否和/或如何确定存储关于编解码信息的信息可以基于经编解码的目标块的信息来确定，经编解码的信息可以包括以下至少之一：块大小、颜色格式、单树和/或双树划分、颜色分量、条带类型或图片类型。

在一些实施例中，可以将视频的码流存储在非暂态计算机可读记录介质中。视频的码流可以通过由视频处理装置执行的方法生成。根据该方法，关于利用GPM被编解码的目标块的第一部分的编解码信息的存储信息可以被确定，并且目标块的码流可以基于存储信息被生成。

在一些实施例中，关于目标块的第一部分的编解码信息的存储信息被确定，并且目标块使用GPM被编解码。目标块的码流基于存储信息被生成，并且码流被存储在非暂态计算机可读记录介质中。

图27示出了根据本公开的一些实施例的用于视频处理的方法2700的流程图。该方法2700可以在视频单元和视频单元的码流之间的转换期间实现。

如图27所示，在块2710，在视频的目标块和目标块的码流之间的转换期间，基于多个帧内预测来生成目标块的多重假设预测块。

在框2720，基于多重假设预测块执行转换。在一些实施例中，转换可以包括将目标块编码到码流中，或者，转换可以包括从码流解码目标块。

根据本公开的实施例，提出了改进的多重假设预测块的编解码方法。与常规方案相比，本公开的一些实施例可以有利地提高编解码效率和编解码性能。

本公开的实现可以根据以下条款来描述，这些条款的特征可以以任何合理的方式组合。

在一些实施例中，多重假设预测块的多个假设可以被帧内预测。例如，多重假设预测块(例如，基于整个块，或基于子块/划分)的多于一个假设可以被帧内预测。

在一些实施例中，多重假设预测块可以是多假设预测(MHP)块。在一些实施例中，MHP块可以包括多个经帧内编解码的假设。

在一些实施例中，多重假设预测块可以是组合的帧间和帧内预测(CIIP)块。在一些实施例中，CIIP块可以包括至少两个帧内预测。

在一些实施例中，多重假设预测块可以是几何划分模式(GPM)块。在一些实施例中，GPM块的两个划分可以是经帧内模式编解码的。在一些实施例中，可以不允许GPM块的两个划分的帧内模式相同。在一些实施例中，可以在码流中指示GPM块的第一划分的第一帧内模式。在一些实施例中，可以隐式地导出GPM块的第二划分的第二帧内模式。在一些其他实施例中，可以从第二划分的经编解码的表示中排除第一划分的第一帧内模式。

在一些实施例中，多重假设预测块可以是GPM块。在一些实施例中，可以在码流中指示GPM块的两个划分的帧内模式。在一些其他实施例中，可以隐式地导出GPM块的两个划分的帧内模式。

在一些实施例中，两个划分的两个帧内预测可以被加权混合。例如，在一些实施例中，多重假设预测块可以是GPM块，GPM块的两个帧内预测可以被加权混合。在一些实施例中，两个划分的划分内的所有样本可以具有相同的加权因子。在一些其他实施例中，不同的样本可以具有不同的加权因子。在一些实施例中，加权因子可以取决于GPM块的分割方法。例如，加权因子可以取决于多重假设预测块的至少一个帧内预测模式。

在一些实施例中，多重假设预测块可以被至少一条倾斜的划分线分割。或者，多重假设预测块可以被至少一条直的划分线分割。例如，多重假设预测块可以被GPM划分线分割。在一些实施例中，可以在码流中指示目标块的分割模式。在一些其他实施例中，可以以与GPM分割模式索引相同的方式指示目标块的分割模式。或者，可以基于目标块的编解码信息隐式地导出目标块的分割模式。

在一些其他实施例中，指示GPM划分的帧内预测是否在解码器侧被导出的至少一个语法元素被指示。在一些实施例中，一个或多个语法元素可以包括一个或多个标志。在一些实施例中，某个划分可以是GPM划分。例如，基于CU的标志可以针对目标块被指示。在一些其他实施例中，基于划分的标志可以针对目标块的划分被指示。在一些其他实施例中，解码器导出的帧内预测可以包括解码器侧的帧内模式导出。或者，解码器导出的帧内预测可以包括基于模板的帧内模式导出。

在一些其他实施例中，如果只有L0参考列表可用，则多重假设预测块针对P条带或图片被允许。替代地或附加地，如果L0参考列表和L1参考列表都存在，则多重假设预测块针对B条带或图片被允许。

在一些其他实施例中，多重假设预测块可以是GPM块。在一些实施例中，GPM块可以针对P条带或图片被允许。在一些实施例中，GPM块的两个划分可以包括帧内预测和帧间预测。例如，GPM块可以是GPM帧内-帧间块。

在一些实施例中，帧间预测可以包括L0预测或L1预测。在一些其他实施例中，帧内预测可以是预定义的或被指示的。

在一些实施例中，GPM块的两个划分可以包括第一帧内预测和第二帧内预测。在一些实施例中，两个划分的帧内模式可以不被允许相同。

替代地或附加地，GPM块的两个划分可以包括第一帧间预测和第二帧间预测。例如，在一些实施例中，GPM块可以包括两个L0预测。或者，GPM块可以包括两个L1预测。

在一些实施例中，可以不允许第一帧间预测和第二帧间预测的运动信息相同。例如，运动信息可以包括合并索引、运动矢量或参考索引中的一个或多个。需要注意的是，运动信息还可以包括其他信息。

在一些实施例中，如果从相同的预测方向(例如，L0或L1)预测两个划分，则可以将两个划分的运动矢量相加或平均以用于混合区域运动存储。例如，如果两个划分的预测方向和参考索引相同，则可以将两个划分的运动矢量直接相加或平均用于混合区域的运动存储。或者，如果两个划分的预测方向相同，并且两个划分的参考索引不同，则混合区域的运动存储可以基于运动矢量缩放过程。在一些其他实施例中，如果从相同的预测方向预测多重假设预测块的两个划分，则两个划分索引中具有较小参考的目标划分的运动矢量被存储。在一些实施例中，如果从相同的预测方向预测多重假设预测块的两个划分，则具有较小的|MVx|+|MVy|的目标划分的运动矢量被存储。MVx和MVy可以表示两个方向上的运动矢量。

在一些实施例中，可以基于具有特定预测方向的常规合并候选构建GPM候选列表。或者，可以以与B条带的第二GPM候选列表不同的方式构建P条带的第一GPM候选列表。例如，P条带的第一GPM候选列表可以是B条带的第二GPM候选列表的子集。

在一些实施例中，多重假设预测块可以针对I条带或图片被允许。例如，多重假设预测块可以是GPM块，GPM块可以被允许用于I条带或图片。在一些实施例中，GPM块可以包括两个非帧间预测。例如，两个非帧间预测之一可以包括以下之一：帧内预测、帧内块复制或调色板预测。在一些实施例中，不同的帧内模式可以用于GPM块的两个划分。在一些实施例中，可以使用基于样本的加权因子来混合GPM块的两个划分。

在一些实施例中，多重假设预测块可以是CIIP块。CIIP块可以被允许用于I条带或图片。例如，CIIP块可以包括帧内预测和非帧间预测。在一些实施例中，非帧间预测可以包括以下之一：帧内预测、帧内块复制或调色板预测。在一些其他实施例中，不同的帧内模式可以用于CIIP块的两个预测。替代地或附加地，可以使用基于块的加权因子来混合CIIP块的两个预测。

在一些其他实施例中，多重假设预测块可以是MHP块。MHP块可以被允许用于I条带或图片。在一些实施例中，MHP块可以包括多个非帧间预测。例如，多个非帧间预测可以包括以下之一：帧内预测、帧内块复制或调色板预测。在一些实施例中，不同的帧内模式可以用于MHP块的多重假设。或者，可以使用基于块的加权因子来混合MHP块的多个假设。

在一些其他实施例中，如果IBC涉及以下之一：GPM、CIIP或MHP，则针对IBC的信息可以被指示。或者，如果调色板涉及以下之一：GPM、CIIP或MHP，则针对调色板的信息可以被指示。

在一些实施例中，是否和/或如何生成多重假设预测块的指示可以在以下之一指示：序列级别、图片组级别、图片级别、条带级别或图块组级别。在一些实施例中，是否和/或如何应用编解码工具的指示可以在以下之一指示：序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、依赖参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头。

在一些实施例中，是否和/或如何生成多重假设预测块的指示可以被包括在以下之一中：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块、子图片、或包含多于一个样本或像素的区域。

在一些实施例中，是否和/或如何生成多重假设预测块可以基于目标块的经编解码的信息来确定，经编解码的信息可以包括以下至少之一：块大小、颜色格式、单树和/或双树划分、颜色分量、条带类型或图片类型。

在一些实施例中，视频的码流可以被存储在非暂态计算机可读记录介质中。视频的码流可以通过由视频处理装置执行的方法生成。根据该方法，基于多个帧内预测生成目标块的多重假设预测块，并基于多重假设预测块生成目标块的码流。

在一些实施例中，基于多个帧内预测生成目标块的多重假设预测块，基于多重假设预测块生成目标块的码流，以及将码流存储在非暂态计算机可读记录介质中。

图28示出了根据本公开的一些实施例的用于视频处理的方法2800的流程图。该方法2800可以在视频单元和视频单元的码流之间的转换期间实现。

如图28所示，在块2810，在视频的目标块和目标块的码流之间的转换期间，基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示。目标块是GPM块。

在框2820，基于确定执行转换。在一些实施例中，转换可以包括将目标块编码到码流中，或者，转换可以包括从码流解码目标块。

根据本公开的实施例，是否基于CU的GPM模板匹配语法元素被指示被确定。与传统的解决方案相比，本公开的一些实施例可以有利地提高编解码效率、编解码性能和灵活性。

在一些实施例中，如果目标块是通过帧内-帧间预测被编解码的，则基于CU的GPM模板匹配不允许被进一步应用。例如，对于基于CU的GPM模板匹配，GPM划分都可以通过模板匹配来细化。例如，如果GPM帧内-帧间块不允许基于CU的GPM模板匹配，则基于CU级模板匹配的标志不通过推断到某个值而被指示。

或者，基于CU的GPM模板匹配是否被用于目标块，帧内-帧间编解码是否针对目标块被允许可以被确定。换句话说，对于GPM块是否允许帧内-帧间编解码，可以取决于/受制于是否对该块使用基于CU的GPM模板匹配。例如，在一些实施例中，如果使用基于CU的GPM模板匹配，则可以不允许进一步应用帧内-帧间预测。或者，在一些实施例中，如果对于目标块不允许帧内-帧间预测，则经帧内编解码的信息可以不在码流中指示。

在一些其他实施例中，可以允许GPM帧内-帧间预测块使用基于划分的GPM模板匹配。例如，对于基于划分的GPM模板匹配，可以允许经帧间编解码的GPM划分通过模板匹配进行细化。例如，在一些实施例中，如果针对GPM帧内-帧间块允许基于划分的GPM模板匹配，则针对经帧间编解码的划分的标志可以被指示以指定经帧间编解码的划分的运动是否通过模板匹配被进一步细化。换句话说，如果基于划分的GPM模板匹配被允许应用于经帧间编解码的划分，则针对经帧间编解码的划分的标志可以被指示，以指定经帧间编解码的划分的运动是否通过模板匹配被进一步细化。

在一些实施例中，是否和/或如何确定基于CU的GPM模板匹配语法元素是否被指示的指示可以在以下之一处被指示：序列级别、图片组级别、图片级别、条带级别或图块组级别。在一些实施例中，是否和/或如何应用编解码工具的指示可以在以下之一中指示：序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、依赖参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头。

在一些实施例中，是否和/或如何确定基于CU的GPM模板匹配语法元素是否被指示的指示可以被包括在以下之一中：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块、子图片、或包含多于一个样本或像素的区域。

在一些实施例中，是否和/或如何确定是否指示基于CU的GPM模板匹配语法元素可以基于目标块的经编解码的信息来确定，经编解码的信息可以包括以下中的至少一个：块大小、颜色格式、单树和/或双树划分、颜色分量、条带类型或图片类型。

在一些实施例中，视频的码流可以被存储在非暂态计算机可读记录介质中，视频的码流可以通过由视频处理装置执行的方法来生成。根据该方法，基于帧内-帧间编解码是否被应用于目标块确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示，以及基于该确定来生成目标块的码流。

在一些实施例中，基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示，基于该确定生成目标块的码流，以及将码流存储在非暂态计算机可读记录介质中。

图29示出了根据本公开的一些实施例的用于视频处理的方法2900的流程图。该方法2900可以在视频单元和视频单元的码流之间的转换期间实现。

如图29所示，在框2910，在视频的目标块和目标块的码流之间的转换期间，针对编解码方法，基于与目标块相关联的邻近样本的可用性，确定被用于目标块的模板的形状。在一些实施例中，邻近样本可以包括上方样本。或者，邻近样本可以包括左侧样本。

在框2920，基于确定执行转换。在一些实施例中，转换可以包括将目标块编码到码流中，或者，转换可以包括从码流解码目标块。

根据本公开的实施例，提出了改进的模板形状。与传统的解决方案相比，本公开的一些实施例可以有利地提高编解码效率和编解码性能。

本公开的实现可以根据以下条款来描述，这些条款的特征可以以任何合理的方式组合。

在一些实施例中，上方样本可能可用，但左侧样本可能不可用。例如，模板可能超过图片左边界，或者当前块可能位于图片的第一行。在这种情况下，模板可以仅包括上方样本。

或者，左侧样本可能可用，但上方样本可能不可用。例如，模板可能超出图片上边界，或者当前块可能位于图片的第一列。在这种情况下，模板可以仅包含左侧样本。

在其他一些实施例中，左侧样本和上方样本可能不可用。例如，当前块可能位于图片的第一行和第一列。在这种情况下，可以不使用模板。

在一些实施例中，虚拟模板被使用，虚拟模板中模版的至少一个样本由特定平均值生成。例如，特定平均值可以指利用取决于内部比特深度的默认样本值填入。在一些实施例中，填充可以被使用来填入不可用的样本。

在一些实施例中，模板可用于以下各项之一：基于模板匹配的运动矢量(MV)、基于模板匹配的块矢量(BV)导出、或基于模板匹配的帧内预测导出。

在一些实施例中，是否和/或如何确定基于CU的GPM模板匹配语法元素是否被指示的指示可以被包括在以下之一中：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块、子图片、或包含多于一个样本或像素的区域。

在一些实施例中，是否和/或如何确定基于CU的GPM模板匹配语法元素是否被指示可以基于目标块的经编解码的信息来确定，经编解码的信息可以包括以下中的至少一个：块大小、颜色格式、单树和/或双树划分、颜色分量、条带类型或图片类型。

在一些实施例中，视频的码流可以存储在非暂态计算机可读记录介质中，视频的码流可以通过由视频处理装置执行的方法来生成。根据该方法，基于帧内-帧间编解码是否被应用于目标块确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示，以及基于该确定来生成目标块的码流。

在一些实施例中，基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示。基于该确定生成目标块的码流，以及将码流存储在非暂态计算机可读记录介质中。

在一些实施例中，以下至少之一可以被允许是不等于2的幂的值：滤波器系数或裁剪值。例如，跨分量自适应环路滤波器(CCALF)的滤波器系数可以基于不等于2的幂的值。在一些其他实施例中，某个编解码工具的剪裁值可以不是2的幂。例如，裁剪值可以与自适应环路滤波器(ALF)中的非线性裁剪有关。

在一些实施例中，色度分量和亮度分量可以共享滤波器形状。例如，在一些实施例中，用于色度的第一滤波器形状和用于亮度的第二滤波器形状可以相同，但是用于色度的第一滤波器长度和用于亮度的第二滤波器长度可以不同。

在一些实施例中，如果MxN菱形/十字形滤波器用于环路滤波器的亮度分量，则可以允许与亮度分量相关联的色度分量使用大小为MxN的菱形/十字形滤波器。在一些实施例中，M可以大于SubWidthC，N可以大于SubHeightC，并且SubWidthC和SubHeightC可以取决于色度格式采样结构。在一些实施例中，环路滤波器可以包括ALF或CCALF。

在一些实施例中，对于4:2:0色度格式，SubWidthC和SubHeightC可以等于2。或者，对于4:4:4色度格式，SubWidthC和SubHeightC可以等于1。在一些其他实施例中，对于4:2:2色度格式，SubWidthC可以等于2，SubHeightC可以等于1。在一些实施例中，如果色度格式是4:4:4，则色度分量和亮度分量可以共享滤波器形状。

本公开的实施例可以单独实现，或者，本公开的实施例可以以任何适当的组合来实现，本公开的实现可以鉴于以下条款来描述，这些条款的特征可以以任何合理的方式组合。

条款1.一种用于视频处理的方法，包括：在视频的目标块和所述目标块的码流之间的转换期间，确定与所述目标块的第一部分的编解码信息相关的存储信息，所述目标块利用几何划分模式(GPM)被编解码；以及基于所述存储信息执行所述转换。

条款2.根据条款1所述的方法，其中所述目标块是GPM帧内-帧内预测块，或者所述目标块是GPM帧内-帧间预测块，并且所述目标块的所述第一部分是所述目标块的经帧内编解码的划分。

条款3.根据条款1所述的方法，其中所述编解码信息以MxN为基础被存储，并且其中M和N分别表示样本数目。

条款4.根据条款3所述的方法，其中M等于以下之一：2个亮度样本，4个亮度样本，8个亮度样本，或非并矢值。

条款5.根据条款3所述的方法，其中M和N相同。

条款6.根据条款1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于零运动矢量被存储。

条款7.根据条款1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于等于-1的参考索引被存储。

条款8.根据条款1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于参考索引被存储，所述参考索引等于与所述目标块相关联的当前条带或当前图片的参考索引。

条款9.根据条款1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于以下至少一项被存储：被用于导出所述目标块的帧内预测的真实帧内预测模式，被用于导出所述目标块的所述帧内预测的角度，或被用于导出所述目标块的所述帧内预测的方向。

条款10.根据条款9所述的方法，其中以下至少一项不属于常规帧内模式索引之一：所述真实帧内预测模式，所述角度，或所述方向。

条款11.根据条款9所述的方法，其中以下至少一项被映射到用于存储编解码信息的常规帧内模式索引之一：所述真实帧内预测模式，所述角度，或所述方向。

条款12.根据条款9所述的方法，其中以下至少一项未被存储：所述真实帧内预测模式，所述角度，或所述方向。

条款13.根据条款1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于默认帧间运动被存储。

条款14.根据条款1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于默认帧内模式被存储。

条款15.根据条款14所述的方法，其中所述默认帧内模式是平面模式。

条款16.根据条款1所述的方法，其中在所述目标块的混合区域处，是存储所述目标块的经帧内编解码的信息还是存储所述目标块的经帧间编解码的信息是预定义的。

条款17.根据条款16所述的方法，其中所述混合区域包括沿GPM划分线的帧内-帧间融合区域。

条款18.根据条款16所述的方法，其中如果样本属于所述混合区域，则被用于所述样本的GPM的多个加权值不等于0。

条款19.根据条款16所述的方法，其中所述目标块的所述经帧内编解码的信息被默认存储。

条款20.根据条款16所述的方法，其中所述目标块的所述经帧间编解码的信息被默认存储。

条款21.根据条款1所述的方法，其中是存储所述目标块的经帧内编解码的信息还是存储所述目标块的经帧间编解码的信息基于所述目标块的划分信息被确定。

条款22.根据条款1所述的方法，其中在所述目标块的混合区域处，哪个划分被存储的经编解码的信息是预定义的。

条款23.根据条款22所述的方法，其中如果样本属于所述混合区域，则被用于所述样本的GPM的多个加权值不等于0。

条款24.根据条款22的方法，其中是存储所述第一部分的所述经编解码的信息还是存储第二部分的经编解码的信息基于所述目标块的划分信息被确定的。

条款25.根据条款21或24所述的方法，其中所述划分信息包括以下至少一项：划分线，划分模式索引，划分角，或划分距离。

条款26.根据条款22所述的方法，其中是存储所述第一部分的所述经编解码的信息还是存储第二部分的经编解码的信息基于两个帧内预测模式被确定。

条款27.根据条款1所述的方法，其中所述编解码信息通过后续经编码的块或后续经解码的块被使用，或者其中所述编解码信息被用于去块过程。

条款28.根据条款1所述的方法，其中所述存储信息指示以下至少一项：如何存储所述目标块的所述第一部分的所述编解码信息，或是否存储所述目标块的所述第一部分的所述编解码信息。

条款29.根据条款1-28中任一项所述的方法，其中是否和/或如何确定如何存储所述编解码信息的指示在以下之一处被指示：序列级别，图片组级别，图片级别，条带级别，或图块组级别。

条款30.根据条款1-28中任一项所述的方法，其中是否和/或如何确定如何存储所述编解码信息的指示在以下之一中被指示：序列头，图片头，序列参数集(SPS)，视频参数集(VPS)，依赖参数集(DPS)，解码能力信息(DCI)，图片参数集(PPS)，自适应参数集(APS)，条带头，或者图块组头。

条款31.根据条款1-28中任一项所述的方法，其中是否和/或如何确定如何存储所述编解码信息的指示被包括在以下之一中：预测块(PB)，变换块(TB)，编解码块(CB)，预测单元(PU)，变换单元(TU)，编解码单元(CU)，虚拟流水线数据单元(VPDU)，编解码树单元(CTU)，CTU行，条带，图块，子图片，或包含多于一个样本或像素的区域。

条款32.根据条款1-28中任一项所述的方法，还包括：基于所述目标块的经编解码的信息，确定是否和/或如何确定如何存储所述编解码信息，所述经编解码的信息包括以下至少一项：块大小，颜色格式，单树和/或双树划分，颜色分量，条带类型，或图片类型。

条款33.一种用于视频处理的方法，包括：在视频的目标块和所述目标块的码流之间的转换期间，基于多个帧内预测生成所述目标块的多重假设预测块；以及基于所述多重假设预测块执行所述转换。

条款34.根据条款33所述的方法，其中所述多重假设预测块的多个假设被帧内预测。

条款35.根据条款33所述的方法，其中所述多重假设预测块是多假设预测(MHP)块，并且所述MHP块包括多个经帧内编解码的假设。

条款36.根据条款33所述的方法，其中所述多重假设预测块是组合的帧间和帧内预测(CIIP)块，并且所述CIIP块包括至少两个帧内预测。

条款37.根据条款33所述的方法，其中所述多重假设预测块是几何划分模式(GPM)块，并且所述GPM块的两个划分都是经帧内模式编解码的。

条款38.根据条款33所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块的两个划分的帧内模式不允许相同。

条款39.根据条款33的方法，所述多重假设预测块是GPM块，并且所述GPM块的第一划分的第一帧内模式在所述码流中被指示。

条款40.根据条款39所述的方法，其中所述GPM块的第二划分的第二帧内模式被隐式地导出。

条款41.根据条款39所述的方法，其中所述第一划分的所述第一帧内模式从所述第二划分的经编解码的表示中被排除。

条款42.根据条款33所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块的两个划分的帧内模式在所述码流中被指示。

条款43.根据条款33所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块的两个划分的帧内模式被隐式地导出。

条款44.根据条款33所述的方法，其中两个划分的两个帧内预测被加权混合。

条款45.根据条款44所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块的两个帧内预测被加权混合。

条款46.根据条款44所述的方法，其中在所述两个划分的划分内的所有样本具有相同的加权因子。

条款47.根据条款44所述的方法，其中不同的样本具有不同的加权因子。

条款48.根据条款44所述的方法，其中加权因子取决于所述GPM块的分割方法。

条款49.根据条款44所述的方法，其中加权因子取决于所述多重假设预测块的至少一个帧内预测模式。

条款50.根据条款33所述的方法，其中所述多重假设预测块通过至少一条倾斜的划分线被分割，或者其中所述多重假设预测块通过至少一条直的划分线被分割。

条款51.根据条款50所述的方法，其中所述目标块的分割模式在所述码流中被指示。

条款52.根据条款50所述的方法，其中所述目标块的分割模式以与GPM划分模式索引相同的方式被指示。

条款53.根据条款50所述的方法，其中所述目标块的分割模式基于所述目标块的编解码信息被隐式地导出。

条款54.根据条款33所述的方法，其中指示GPM划分的帧内预测是否在所述解码器侧被导出的至少一个语法元素被指示。

条款55.根据条款54所述的方法，其中基于编解码单元(CU)的标志针对所述目标块被指示。

条款56.根据条款54的方法，其中基于划分的标志针对所述目标块的划分被指示。

条款57.根据条款54所述的方法，其中解码器导出的帧内预测包括解码器侧帧内模式导出或基于模板的帧内模式导出。

条款58.根据条款33所述的方法，其中如果仅L0参考列表可用，则所述多重假设预测块针对P条带或图片被允许，并且其中如果既有L0参考列表又有L1参考列表，则所述多重假设预测块针对B条带或图片被允许。

条款59.根据条款58所述的方法，其中所述多重假设预测块是GPM块，所述GPM块针对P条带或图片被允许。

条款60.根据条款58所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块的两个划分包括帧内预测和帧间预测。

条款61.根据条款60所述的方法，其中所述帧间预测包括L0预测或L1预测。

条款62.根据条款60所述的方法，其中所述帧内预测是预定义的或被指示的。

条款63.根据条款58所述的方法，其中所述多重假设预测块是GPM块，所述GPM块的两个划分包括第一帧内预测和第二帧内预测。

条款64.根据条款63所述的方法，其中所述两个划分的帧内模式不允许相同。

条款65.根据条款58所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块的两个划分包括第一帧间预测和第二帧间预测。

条款66.根据条款65所述的方法，其中所述GPM块包括两个L0预测，或者其中所述GPM块包括两个L1预测。

条款67.根据条款65所述的方法，其中所述第一帧间预测的运动信息和所述第二帧间预测的运动信息不允许相同。

条款68.根据条款65所述的方法，其中所述两个划分从相同的预测方向被预测，并且所述两个划分的运动矢量针对混合区域运动存储被相加或被平均。

条款69.根据条款68所述的方法，其中如果所述两个划分的预测方向和参考索引相同，则将所述两个划分的运动矢量针对所述混合区域的运动存储被相加或被平均。

条款70.根据条款68所述的方法，其中如果所述两个划分的预测方向相同且所述两个划分的参考索引不同，则所述混合区域的运动存储是基于运动矢量缩放过程。

条款71.根据条款58所述的方法，其中如果所述多重假设预测块的两个划分从相同的预测方向被预测，则所述两个划分索引中具有较小参考的目标划分的运动矢量被存储。

条款72.根据条款58所述的方法，其中如果所述多重假设预测块的两个划分从相同的预测方向被预测，则具有较小的|MVx|+|MVy|的目标划分的运动矢量被存储，并且MVx和MVy分别表示两个方向上的运动矢量。

条款73.根据条款33所述的方法，其中GPM候选列表基于具有特定预测方向的常规合并候选被构建。

条款74.根据条款33所述的方法，其中针对P条带的第一GPM候选列表以与针对B条带的第二GPM候选列表不同的方式被构建。

条款75.根据条款74所述的方法，其中针对P条带的所述第一GPM候选列表是针对B条带的所述第二GPM候选列表的子集。

条款76.根据条款33所述的方法，其中所述多重假设预测块针对I条带或图片被允许。

条款77.根据条款76所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块针对I条带或图片被允许。

条款78.根据条款77所述的方法，其中所述GPM块包括两个非帧间预测。

条款79.根据条款78所述的方法，其中所述两个非帧间预测之一包括：帧内预测，帧内块复制，或调色板预测。

条款80.根据条款77所述的方法，其中不同的帧内模式被用于所述GPM块的两个划分。

条款81.根据条款77所述的方法，其中基于样本的加权因子被用于混合所述GPM块的两个划分。

条款82.根据条款76所述的方法，其中所述多重假设预测块是CIIP块，并且所述CIIP块针对I条带或图片被允许。

条款83.根据条款82所述的方法，其中所述CIIP块包括帧内预测和非帧间预测。

条款84.根据条款83所述的方法，其中所述非帧间预测包括以下之一：帧内预测，帧内块复制，或调色板预测。

条款85.根据条款82所述的方法，其中不同的帧内模式被用于所述CIIP块的两个预测。

条款86.根据条款82所述的方法，其中基于块的加权因子被用于混合所述CIIP块的两个预测。

条款87.根据条款76所述的方法，其中所述多重假设预测块是MHP块，并且所述MHP块针对I条带或图片被允许。

条款88.根据条款87所述的方法，其中所述MHP块包括多个非帧间预测。

条款89.根据条款87所述的方法，其中所述多个非帧间预测包括以下之一：帧内预测，帧内块复制，或调色板预测。

条款90.根据条款87所述的方法，其中不同的帧内模式被用于所述MHP块的多重假设。

条款91.根据条款87所述的方法，其中基于块的加权因子被用于混合所述MHP块的多重假设。

条款92.根据条款33所述的方法，其中如果IBC涉及GPM、CIIP或MHP中的一个，则针对所述IBC的信息被指示。

条款93.根据条款33所述的方法，其中如果调色板涉及GPM、CIIP或MHP中的一个，则针对所述调色板的信息被指示。

条款94.根据条款33-93中任一项所述的方法，其中是否和/或如何生成所述多重假设预测块的指示在以下之一处被指示：序列级别，图片组级别，图片级别，条带级别，或图块组级别。

条款95.根据条款33-93中任一项所述的方法，其中是否和/或如何生成所述多重假设预测块的指示在以下之一中被指示：序列头，图片头，序列参数集(SPS)，视频参数集(VPS)，依赖参数集(DPS)，解码能力信息(DCI)，图片参数集(PPS)，自适应参数集(APS)，条带头，或者图块组头。

条款96.根据条款33-93中任一项所述的方法，其中是否和/或如何生成所述多重假设预测块的指示被包括在以下之一中：预测块(PB)，变换块(TB)，编解码块(CB)，预测单元(PU)，变换单元(TU)，编解码单元(CU)，虚拟流水线数据单元(VPDU)，编解码树单元(CTU)，CTU行，条带，图块，子图片，或包含多于一个样本或像素的区域。

条款97.根据条款33-93中任一项所述的方法，还包括：基于所述目标块的经编解码的信息，确定是否和/或如何生成所述多重假设预测块，所述经编解码的信息包括以下至少一项：块大小，颜色格式，单树和/或双树划分，颜色分量，条带类型，或图片类型。

条款98.一种用于视频处理的方法，包括：在视频的目标块和所述目标块的码流之间的转换期间，基于帧内-帧间编解码是否被应用于所述目标块，确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示，所述目标块是GPM块；以及基于所述确定执行所述转换。

条款99.根据条款98所述的方法，其中如果所述目标块通过帧内-帧间预测被编解码，则所述基于CU的GPM模板匹配不允许被进一步应用。

条款100.根据条款99所述的方法，其中如果所述基于CU的GPM模板匹配针对GPM帧内-帧间块不被允许，则基于CU级模板匹配的标志不通过推断到某个值而被指示。

条款101.根据条款98所述的方法，其中基于所述基于CU的GPM模板匹配是否被用于所述目标块，所述帧内-帧间编解码是否针对所述目标块被允许被确定。

条款102.根据条款101所述的方法，其中如果所述基于CU的GPM模板匹配被使用，则所述帧内-帧间预测不允许被进一步应用。

条款103.根据条款101所述的方法，其中所述帧内-帧间预测针对所述目标块不被允许，经帧内编解码的信息不在所述码流中被指示。

条款104.根据条款98所述的方法，其中GPM帧内-帧间预测块被允许使用基于划分的GPM模板匹配。

条款105.根据条款104所述的方法，其中如果所述基于划分的GPM模板匹配针对所述GPM帧内-帧间块被允许，则针对经帧间编解码的划分的标志被指示以指定所述经帧间编解码的划分的运动是否通过模板匹配被进一步细化。

条款106.根据条款98-105中任一项所述的方法，其中是否和/或如何确定所述基于CU的GPM模板匹配语法元素是否被指示的指示在以下之一处被指示：序列级别，图片组级别，图片级别，条带级别，或图块组级别。

条款107.根据条款98-105中任一项所述的方法，其中是否和/或如何确定所述基于CU的GPM模板匹配语法元素是否被指示的指示在以下之一中被指示：序列头，图片头，序列参数集(SPS)，视频参数集(VPS)，依赖参数集(DPS)，解码能力信息(DCI)，图片参数集(PPS)，自适应参数集(APS)，条带头，或者图块组头。

条款108.根据条款98-105中任一项所述的方法，其中是否和/或如何确定所述基于CU的GPM模板匹配语法元素是否被指示的指示被包括在以下之一中：预测块(PB)，变换块(TB)，编解码块(CB)，预测单元(PU)，变换单元(TU)，编解码单元(CU)，虚拟流水线数据单元(VPDU)，编解码树单元(CTU)，CTU行，条带，图块，子图片，或包含多于一个样本或像素的区域。

条款109.根据条款98-105中任一项所述的方法，还包括：基于所述目标块的经编解码的信息，确定是否和/或如何确定所述基于CU的GPM模板匹配语法元素是否被指示，所述经编解码的信息包括以下至少一项：块大小，颜色格式，单树和/或双树划分，颜色分量，条带类型，或图片类型。

条款110.一种用于视频处理的方法，包括：在视频的目标块和所述目标块的码流之间的转换期间，针对编解码方法，基于与所述目标块相关联的邻近样本的可用性，确定被用于所述目标块的模板的形状；以及基于所述确定执行所述转换。

条款111.根据条款110所述的方法，其中如果上方样本可用但左侧样本不可用，则所述模板仅包括所述上方样本，或其中如果所述左侧样本可用但所述上方样本不可用，则所述模板仅包括所述左侧样本，或者其中如果所述左侧样本和所述上方样本不可用，则没有模板被使用。

条款112.根据条款110所述的方法，其中虚拟模板被使用，在所述虚拟模板中所述模板的至少一个样本通过特定平均值被生成。

条款113.根据条款112所述的方法，其中填充被利用以填入不可用的样本。

条款114.根据条款110所述的方法，其中所述模板被用于以下之一：基于模板匹配的运动矢量(MV)，基于模板匹配的块向量(BV)导出，或基于模板匹配的帧内预测导出。

条款115.根据条款110-114中任一项所述的方法，其中是否和/或如何确定被用于所述目标块的模板的所述形状的指示在以下之一处被指示：序列级别，图片组级别，图片级别，条带级别，或图块组级别。

条款116.根据条款110-114中任一项所述的方法，其中是否和/或如何确定被用于所述目标块的模板的所述形状的指示在以下之一中被指示：序列头，图片头，序列参数集(SPS)，视频参数集(VPS)，依赖参数集(DPS)，解码能力信息(DCI)，图片参数集(PPS)，自适应参数集(APS)，条带头，或者图块组头。

条款117.根据条款110-114中任一项所述的方法，其中是否和/或如何确定被用于所述目标块的模板的所述形状的指示被包括在以下之一中：预测块(PB)，变换块(TB)，编解码块(CB)，预测单元(PU)，变换单元(TU)，编解码单元(CU)，虚拟流水线数据单元(VPDU)，编解码树单元(CTU)，CTU行，条带，图块，子图片，或包含多于一个样本或像素的区域。

条款118.根据条款110-114中任一项所述的方法，还包括：基于所述目标块的经编解码的信息，确定是否和/或如何确定被用于所述目标块的模板的所述形状，所述经编解码的信息包括以下至少一项：块大小，颜色格式，单树和/或双树划分，颜色分量，条带类型，或图片类型。

条款119.根据条款1-118中任一项所述的方法，其中滤波器系数或裁剪值中的至少一个被允许是不等于2的幂的值。

条款120.根据条款119所述的方法，其中跨分量自适应环路滤波器(CCALF)的所述滤波器系数是基于不等于2的幂的值。

条款121.根据条款119所述的方法，其中所述裁剪值不是2的幂。

条款122.根据条款1-118中任一项所述的方法，其中色度分量和亮度分量共享滤波器形状。

条款123.根据条款122所述的方法，其中针对色度的第一滤波器形状和针对亮度的第二滤波器形状相同，针对色度的第一滤波器长度和针对亮度的第二滤波器长度不同。

条款124.根据条款122所述的方法，其中MxN菱形/十字形滤波器被用于环路滤波器的所述亮度分量，与所述亮度分量相关联的所述色度分量被允许使用大小为MxN的菱形/十字形滤波器，其中M大于SubWidthC，N大于SubHeightC，并且所述SubWidthC和所述SubHeightC取决于色度格式采样结构。

条款125.根据条款124所述的方法，其中针对4:2:0色度格式，所述SubWidthC和所述SubHeightC等于2。

条款126.根据条款124所述的方法，其中针对4:4:4色度格式，所述SubWidthC和所述SubHeightC等于1。

条款127.根据条款124所述的方法，其中针对4:2:2色度格式，所述SubWidthC等于2并且所述SubHeightC等于1。

条款128.根据条款122所述的方法，其中如果色度格式是4:4:4，则所述色度分量和所述亮度分量共享滤波器形状。

条款129.根据条款1-128中任一项所述的方法，其中所述转换包括将所述目标块编码到所述码流中。

条款130.根据条款1-128中任一项所述的方法，其中所述转换包括从所述码流中解码所述目标块。

条款131.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时，使所述处理器执行根据条款1-32中的任一项、或条款33-97中的任一项、或条款98-109中的任一项、或条款110-118中的任一项、或条款119-130中的任一项所述的方法。

条款132.一种非暂态计算机可读存储介质，存储使处理器执行根据条款1-32中的任一项、或条款33-97中的任一项、或条款98-109中的任一项、或条款110-118中的任一项、或条款119-130中的任一项所述的方法的指令。

条款133.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：确定与目标块的第一部分的编解码信息相关的存储信息，所述目标块利用几何划分模式(GPM)被编解码；以及基于所述存储信息生成所述目标块的码流。

条款134.一种用于存储视频的码流的方法，包括：确定与目标块的第一部分的编解码信息相关的存储信息，所述目标块利用几何划分模式(GPM)被编解码；基于所述存储信息生成所述目标块的码流；以及将所述码流存储在非暂态计算机可读记录介质中。

条款135.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：基于多个帧内预测生成目标块的多重假设预测块；以及基于所述多重假设预测块生成所述目标块的码流。

条款136.一种用于存储视频的码流的方法，包括：基于多个帧内预测生成目标块的多重假设预测块；基于所述多重假设预测块生成所述目标块的码流；以及将所述码流存储在非暂态计算机可读记录介质中。

条款137.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示，所述目标块是GPM块；以及基于所述确定生成所述目标块的码流。

条款138.一种用于存储视频的码流的方法，包括：基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示，所述目标块是GPM块；基于所述确定生成所述目标块的码流；以及将所述码流存储在非暂态计算机可读记录介质中。

条款139.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：针对编解码方法，基于与目标块相关联的邻近样本的可用性，确定被用于所述目标块的模板的形状；以及基于所述确定生成所述目标块的码流。

条款140.一种用于存储视频的码流的方法，包括：针对编解码方法，基于与目标块相关联的邻近样本的可用性，确定被用于所述目标块的模板的形状；基于所述确定生成所述目标块的码流；以及将所述码流存储在非暂态计算机可读记录介质中。

示例设备

图30示出了可以在其中实现本公开的各种实施例的计算设备3000的框图。计算设备3000可以被实现为源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)，或者可以被包括在源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)中。

应当理解的是，图30中示出的计算设备3000仅为了说明的目的，而不是以任何方式暗示对本公开实施例的功能和范围的任何限制

如图30所示，计算设备3000包括通用计算设备3000。计算设备3000可以至少包括一个或多个处理器或处理单元3010、存储器3020、存储单元3030、一个或多个通信单元3040、一个或多个输入设备3050以及一个或多个输出设备3060。

在一些实施例中，计算设备3000可以被实现为具有计算能力的任何用户终端或服务器终端。服务器终端可以是由服务提供商提供的服务器、大型计算设备等。用户终端例如可以是任何类型的移动终端、固定终端或便携式终端，包括移动电话、站、单元、设备、多媒体计算机、多媒体平板计算机、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、个人通信***(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或其任何组合，并且包括这些设备的附件和***设备或其任何组合。可以设想的是，计算设备3000可以支持到用户的任何类型的接口(诸如“可穿戴”电路装置等)。

处理单元3010可以是物理处理器或虚拟处理器，并且可以基于存储在存储器3020中的程序实现各种处理。在多处理器***中，多个处理单元并行地执行计算机可执行指令，以便改善计算设备3000的并行处理能力。处理单元3010也可以被称为中央处理单元(CPU)、微处理器、控制器或微控制器。

计算设备3000通常包括各种计算机存储介质。这样的介质可以是由计算设备3000可访问的任何介质，包括但不限于易失性介质和非易失性介质、或可拆卸介质和不可拆卸介质。存储器3020可以是易失性存储器(例如，寄存器、高速缓存、随机存取存储器(RAM))、非易失性存储器(诸如只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或闪存)或其任何组合。存储单元3030可以是任何可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如存储器、闪存驱动器、磁盘或其他可以被用于存储信息和/或数据并且可以在计算设备3000中被访问的介质。

计算设备3000还可以包括附加的可拆卸/不可拆卸存储介质、易失性/非易失性存储介质。尽管在图30中未示出，但是可以提供用于从可拆卸的非易失性磁盘读取和/或写入可拆卸的非易失性磁盘的磁盘驱动器，以及用于从可拆卸的非易失性光盘读取和/或写入可拆卸的非易失性光盘的光盘驱动器。在这种情况下，每个驱动器可以经由一个或多个数据介质接口连接到总线(未示出)。

通信单元3040经由通信介质与另一计算设备通信。另外，计算设备3000中的组件的功能可以由可以经由通信连接进行通信的单个计算集群或多个计算机器来实现。因此，计算设备3000可以使用与一个或多个其他服务器、联网个人计算机(PC)或其他通用网络节点的逻辑连接来在联网环境中运行。

输入设备3050可以是各种输入设备中的一种或多种输入设备，诸如鼠标、键盘、轨迹球、语音输入设备等。输出设备3060可以是各种输出设备中的一种或多种输出设备，诸如显示器、扬声器、打印机等。借助于通信单元3040，计算设备3000还可以与一个或多个外部设备(未示出)通信，外部设备诸如是存储设备和显示设备，计算设备3000还可以与一个或多个使用户能够与计算设备3000交互的设备通信，或任何使计算设备3000能够与一个或多个其他计算设备通信的设备(例如网卡、调制解调器等)通信，如果需要的话。这种通信可以经由输入/输出(I/O)接口(未示出)进行。

在一些实施例中，计算设备3000的一些或所有组件也可以被布置在云计算架构中，而不是被集成在单个设备中。在云计算架构中，组件可以被远程提供并且共同工作，以实现本公开中描述的功能。在一些实施例中，云计算提供计算、软件、数据访问和存储服务，这将不要求最终用户知晓提供这些服务的***或硬件的物理位置或配置。在各种实施例中，云计算使用合适的协议经由广域网(例如互联网)提供服务。例如，云计算提供商通过广域网提供应用程序，可以通过网络浏览器或任何其他计算组件访问这些应用程序。云计算架构的软件或组件以及对应的数据可以存储在远程服务器上。云计算环境中的计算资源可以被合并或分布在远程数据中心的位置。云计算基础设施可以通过共享数据中心提供服务，尽管它们表现为作为用户的单一接入点。因此，云计算架构可与被用于从远程位置的服务提供商处提供本文所述的组件和功能。备选地，它们可以由常规服务器提供，或者直接或以其他方式安装在客户端设备上。

在本公开的实施例中，计算设备3000可以被用于实现视频编码/解码。存储器3020可以包括具有一个或多个程序指令的一个或多个视频编解码模块3025。这些模块能够由处理单元3010访问和执行，以执行本文描述的各种实施例的功能。

在执行视频编码的示例实施例中，输入设备3050可以接收视频数据作为待编码的输入3070。视频数据可以由例如视频编解码模块3025处理，以生成经编码的码流。经编码的码流可以经由输出设备3060作为输出3080被提供。

在执行视频解码的示例实施例中，输入设备3050可以接收经编码的码流作为输入3070。经编码的码流可以由例如视频编解码模块3025处理，以生成经解码的视频数据。经解码的视频数据可以经由输出设备3060作为输出3080被提供。

虽然已经参考本公开的优选实施例具体示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求限定的本申请的精神和范围的情况下，可以在形式和细节上进行各种改变。这些变化旨在由本申请的范围所涵盖。因此，本申请的实施例的前述描述不旨在是限制性的。

Claims (140)

1.一种用于视频处理的方法，包括：

在视频的目标块和所述目标块的码流之间的转换期间，确定与所述目标块的第一部分的编解码信息相关的存储信息，所述目标块利用几何划分模式(GPM)被编解码；以及

基于所述存储信息执行所述转换。

2.根据权利要求1所述的方法，其中所述目标块是GPM帧内-帧内预测块，或者

所述目标块是GPM帧内-帧间预测块，并且

所述目标块的所述第一部分是所述目标块的经帧内编解码的划分。

3.根据权利要求1所述的方法，其中所述编解码信息以MxN为基础被存储，并且

其中M和N分别表示样本数目。

4.根据权利要求3所述的方法，其中M等于以下之一：

2个亮度样本，

4个亮度样本，

8个亮度样本，或

非并矢值。

5.根据权利要求3所述的方法，其中M和N相同。

6.根据权利要求1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于零运动矢量被存储。

7.根据权利要求1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于等于-1的参考索引被存储。

8.根据权利要求1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于参考索引被存储，所述参考索引等于与所述目标块相关联的当前条带或当前图片的参考索引。

9.根据权利要求1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于以下至少一项被存储：

被用于导出所述目标块的帧内预测的真实帧内预测模式，

被用于导出所述目标块的所述帧内预测的角度，或

被用于导出所述目标块的所述帧内预测的方向。

10.根据权利要求9所述的方法，其中以下至少一项不属于常规帧内模式索引之一：

所述真实帧内预测模式，

所述角度，或

所述方向。

11.根据权利要求9所述的方法，其中以下至少一项被映射到用于存储编解码信息的常规帧内模式索引之一：

所述真实帧内预测模式，

所述角度，或

所述方向。

12.根据权利要求9所述的方法，其中以下至少一项未被存储：

所述真实帧内预测模式，

所述角度，或

所述方向。

13.根据权利要求1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于默认帧间运动被存储。

14.根据权利要求1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于默认帧内模式被存储。

15.根据权利要求14所述的方法，其中所述默认帧内模式是平面模式。

16.根据权利要求1所述的方法，其中在所述目标块的混合区域处，是存储所述目标块的经帧内编解码的信息还是存储所述目标块的经帧间编解码的信息是预定义的。

17.根据权利要求16所述的方法，其中所述混合区域包括沿GPM划分线的帧内-帧间融合区域。

18.根据权利要求16所述的方法，其中如果样本属于所述混合区域，则被用于所述样本的GPM的多个加权值不等于0。

19.根据权利要求16所述的方法，其中所述目标块的所述经帧内编解码的信息被默认存储。

20.根据权利要求16所述的方法，其中所述目标块的所述经帧间编解码的信息被默认存储。

21.根据权利要求1所述的方法，其中是存储所述目标块的经帧内编解码的信息还是存储所述目标块的经帧间编解码的信息基于所述目标块的划分信息被确定。

22.根据权利要求1所述的方法，其中在所述目标块的混合区域处，哪个划分被存储的经编解码的信息是预定义的。

23.根据权利要求22所述的方法，其中如果样本属于所述混合区域，则被用于所述样本的GPM的多个加权值不等于0。

24.根据权利要求22的方法，其中是存储所述第一部分的所述经编解码的信息还是存储第二部分的经编解码的信息基于所述目标块的划分信息被确定的。

25.根据权利要求21或24所述的方法，其中所述划分信息包括以下至少一项：

划分线，

划分模式索引，

划分角，或

划分距离。

26.根据权利要求22所述的方法，其中是存储所述第一部分的所述经编解码的信息还是存储第二部分的经编解码的信息基于两个帧内预测模式被确定。

27.根据权利要求1所述的方法，其中所述编解码信息通过后续经编码的块或后续经解码的块被使用，或者

其中所述编解码信息被用于去块过程。

28.根据权利要求1所述的方法，其中所述存储信息指示以下至少一项：

如何存储所述目标块的所述第一部分的所述编解码信息，或

是否存储所述目标块的所述第一部分的所述编解码信息。

29.根据权利要求1-28中任一项所述的方法，其中是否和/或如何确定如何存储所述编解码信息的指示在以下之一处被指示：

序列级别，

图片组级别，

图片级别，

条带级别，或

图块组级别。

30.根据权利要求1-28中任一项所述的方法，其中是否和/或如何确定如何存储所述编解码信息的指示在以下之一中被指示：

序列头，

图片头，

序列参数集(SPS)，

视频参数集(VPS)，

依赖参数集(DPS)，

解码能力信息(DCI)，

图片参数集(PPS)，

自适应参数集(APS)，

条带头，或者

图块组头。

31.根据权利要求1-28中任一项所述的方法，其中是否和/或如何确定如何存储所述编解码信息的指示被包括在以下之一中：

预测块(PB)，

变换块(TB)，

编解码块(CB)，

预测单元(PU)，

变换单元(TU)，

编解码单元(CU)，

虚拟流水线数据单元(VPDU)，

编解码树单元(CTU)，

CTU行，

条带，

图块，

子图片，或

包含多于一个样本或像素的区域。

32.根据权利要求1-28中任一项所述的方法，还包括：

基于所述目标块的经编解码的信息，确定是否和/或如何确定如何存储所述编解码信息，所述经编解码的信息包括以下至少一项：

块大小，

颜色格式，

单树和/或双树划分，

颜色分量，

条带类型，或

图片类型。

33.一种用于视频处理的方法，包括：

在视频的目标块和所述目标块的码流之间的转换期间，基于多个帧内预测生成所述目标块的多重假设预测块；以及

基于所述多重假设预测块执行所述转换。

34.根据权利要求33所述的方法，其中所述多重假设预测块的多个假设被帧内预测。

35.根据权利要求33所述的方法，其中所述多重假设预测块是多假设预测(MHP)块，并且所述MHP块包括多个经帧内编解码的假设。

36.根据权利要求33所述的方法，其中所述多重假设预测块是组合的帧间和帧内预测(CIIP)块，并且所述CIIP块包括至少两个帧内预测。

37.根据权利要求33所述的方法，其中所述多重假设预测块是几何划分模式(GPM)块，并且所述GPM块的两个划分都是经帧内模式编解码的。

38.根据权利要求33所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块的两个划分的帧内模式不允许相同。

39.根据权利要求33的方法，所述多重假设预测块是GPM块，并且所述GPM块的第一划分的第一帧内模式在所述码流中被指示。

40.根据权利要求39所述的方法，其中所述GPM块的第二划分的第二帧内模式被隐式地导出。

41.根据权利要求39所述的方法，其中所述第一划分的所述第一帧内模式从所述第二划分的经编解码的表示中被排除。

42.根据权利要求33所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块的两个划分的帧内模式在所述码流中被指示。

43.根据权利要求33所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块的两个划分的帧内模式被隐式地导出。

44.根据权利要求33所述的方法，其中两个划分的两个帧内预测被加权混合。

45.根据权利要求44所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块的两个帧内预测被加权混合。

46.根据权利要求44所述的方法，其中在所述两个划分的划分内的所有样本具有相同的加权因子。

47.根据权利要求44所述的方法，其中不同的样本具有不同的加权因子。

48.根据权利要求44所述的方法，其中加权因子取决于所述GPM块的分割方法。

49.根据权利要求44所述的方法，其中加权因子取决于所述多重假设预测块的至少一个帧内预测模式。

50.根据权利要求33所述的方法，其中所述多重假设预测块通过至少一条倾斜的划分线被分割，或者

其中所述多重假设预测块通过至少一条直的划分线被分割。

51.根据权利要求50所述的方法，其中所述目标块的分割模式在所述码流中被指示。

52.根据权利要求50所述的方法，其中所述目标块的分割模式以与GPM划分模式索引相同的方式被指示。

53.根据权利要求50所述的方法，其中所述目标块的分割模式基于所述目标块的编解码信息被隐式地导出。

54.根据权利要求33所述的方法，其中指示GPM划分的帧内预测是否在所述解码器侧被导出的至少一个语法元素被指示。

55.根据权利要求54所述的方法，其中基于编解码单元(CU)的标志针对所述目标块被指示。

56.根据权利要求54的方法，其中基于划分的标志针对所述目标块的划分被指示。

57.根据权利要求54所述的方法，其中解码器导出的帧内预测包括解码器侧帧内模式导出或基于模板的帧内模式导出。

58.根据权利要求33所述的方法，其中如果仅L0参考列表可用，则所述多重假设预测块针对P条带或图片被允许，并且

其中如果既有L0参考列表又有L1参考列表，则所述多重假设预测块针对B条带或图片被允许。

59.根据权利要求58所述的方法，其中所述多重假设预测块是GPM块，所述GPM块针对P条带或图片被允许。

60.根据权利要求58所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块的两个划分包括帧内预测和帧间预测。

61.根据权利要求60所述的方法，其中所述帧间预测包括L0预测或L1预测。

62.根据权利要求60所述的方法，其中所述帧内预测是预定义的或被指示的。

63.根据权利要求58所述的方法，其中所述多重假设预测块是GPM块，所述GPM块的两个划分包括第一帧内预测和第二帧内预测。

64.根据权利要求63所述的方法，其中所述两个划分的帧内模式不允许相同。

65.根据权利要求58所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块的两个划分包括第一帧间预测和第二帧间预测。

66.根据权利要求65所述的方法，其中所述GPM块包括两个L0预测，或者

其中所述GPM块包括两个L1预测。

67.根据权利要求65所述的方法，其中所述第一帧间预测的运动信息和所述第二帧间预测的运动信息不允许相同。

68.根据权利要求65所述的方法，其中所述两个划分从相同的预测方向被预测，并且所述两个划分的运动矢量针对混合区域运动存储被相加或被平均。

69.根据权利要求68所述的方法，其中如果所述两个划分的预测方向和参考索引相同，则将所述两个划分的运动矢量针对所述混合区域的运动存储被相加或被平均。

70.根据权利要求68所述的方法，其中如果所述两个划分的预测方向相同且所述两个划分的参考索引不同，则所述混合区域的运动存储是基于运动矢量缩放过程。

71.根据权利要求58所述的方法，其中如果所述多重假设预测块的两个划分从相同的预测方向被预测，则所述两个划分索引中具有较小参考的目标划分的运动矢量被存储。

72.根据权利要求58所述的方法，其中如果所述多重假设预测块的两个划分从相同的预测方向被预测，则具有较小的|MVx|+|MVy|的目标划分的运动矢量被存储，并且MVx和MVy分别表示两个方向上的运动矢量。

73.根据权利要求33所述的方法，其中GPM候选列表基于具有特定预测方向的常规合并候选被构建。

74.根据权利要求33所述的方法，其中针对P条带的第一GPM候选列表以与针对B条带的第二GPM候选列表不同的方式被构建。

75.根据权利要求74所述的方法，其中针对P条带的所述第一GPM候选列表是针对B条带的所述第二GPM候选列表的子集。

76.根据权利要求33所述的方法，其中所述多重假设预测块针对I条带或图片被允许。

77.根据权利要求76所述的方法，其中所述多重假设预测块是GPM块，并且所述GPM块针对I条带或图片被允许。

78.根据权利要求77所述的方法，其中所述GPM块包括两个非帧间预测。

79.根据权利要求78所述的方法，其中所述两个非帧间预测之一包括：

帧内预测，

帧内块复制，或

调色板预测。

80.根据权利要求77所述的方法，其中不同的帧内模式被用于所述GPM块的两个划分。

81.根据权利要求77所述的方法，其中基于样本的加权因子被用于混合所述GPM块的两个划分。

82.根据权利要求76所述的方法，其中所述多重假设预测块是CIIP块，并且所述CIIP块针对I条带或图片被允许。

83.根据权利要求82所述的方法，其中所述CIIP块包括帧内预测和非帧间预测。

84.根据权利要求83所述的方法，其中所述非帧间预测包括以下之一：

帧内预测，

帧内块复制，或

调色板预测。

85.根据权利要求82所述的方法，其中不同的帧内模式被用于所述CIIP块的两个预测。

86.根据权利要求82所述的方法，其中基于块的加权因子被用于混合所述CIIP块的两个预测。

87.根据权利要求76所述的方法，其中所述多重假设预测块是MHP块，并且所述MHP块针对I条带或图片被允许。

88.根据权利要求87所述的方法，其中所述MHP块包括多个非帧间预测。

89.根据权利要求87所述的方法，其中所述多个非帧间预测包括以下之一：

帧内预测，

帧内块复制，或

调色板预测。

90.根据权利要求87所述的方法，其中不同的帧内模式被用于所述MHP块的多重假设。

91.根据权利要求87所述的方法，其中基于块的加权因子被用于混合所述MHP块的多重假设。

92.根据权利要求33所述的方法，其中如果IBC涉及GPM、CIIP或MHP中的一个，则针对所述IBC的信息被指示。

93.根据权利要求33所述的方法，其中如果调色板涉及GPM、CIIP或MHP中的一个，则针对所述调色板的信息被指示。

94.根据权利要求33-93中任一项所述的方法，其中是否和/或如何生成所述多重假设预测块的指示在以下之一处被指示：

序列级别，

图片组级别，

图片级别，

条带级别，或

图块组级别。

95.根据权利要求33-93中任一项所述的方法，其中是否和/或如何生成所述多重假设预测块的指示在以下之一中被指示：

序列头，

图片头，

序列参数集(SPS)，

视频参数集(VPS)，

依赖参数集(DPS)，

解码能力信息(DCI)，

图片参数集(PPS)，

自适应参数集(APS)，

条带头，或者

图块组头。

96.根据权利要求33-93中任一项所述的方法，其中是否和/或如何生成所述多重假设预测块的指示被包括在以下之一中：

预测块(PB)，

变换块(TB)，

编解码块(CB)，

预测单元(PU)，

变换单元(TU)，

编解码单元(CU)，

虚拟流水线数据单元(VPDU)，

编解码树单元(CTU)，

CTU行，

条带，

图块，

子图片，或

包含多于一个样本或像素的区域。

97.根据权利要求33-93中任一项所述的方法，还包括：

基于所述目标块的经编解码的信息，确定是否和/或如何生成所述多重假设预测块，所述经编解码的信息包括以下至少一项：

块大小，

颜色格式，

单树和/或双树划分，

颜色分量，

条带类型，或

图片类型。

98.一种用于视频处理的方法，包括：

在视频的目标块和所述目标块的码流之间的转换期间，基于帧内-帧间编解码是否被应用于所述目标块，确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示，所述目标块是GPM块；以及

基于所述确定执行所述转换。

99.根据权利要求98所述的方法，其中如果所述目标块通过帧内-帧间预测被编解码，则所述基于CU的GPM模板匹配不允许被进一步应用。

100.根据权利要求99所述的方法，其中如果所述基于CU的GPM模板匹配针对GPM帧内-帧间块不被允许，则基于CU级模板匹配的标志不通过推断到某个值而被指示。

101.根据权利要求98所述的方法，其中基于所述基于CU的GPM模板匹配是否被用于所述目标块，所述帧内-帧间编解码是否针对所述目标块被允许被确定。

102.根据权利要求101所述的方法，其中如果所述基于CU的GPM模板匹配被使用，则所述帧内-帧间预测不允许被进一步应用。

103.根据权利要求101所述的方法，其中所述帧内-帧间预测针对所述目标块不被允许，经帧内编解码的信息不在所述码流中被指示。

104.根据权利要求98所述的方法，其中GPM帧内-帧间预测块被允许使用基于划分的GPM模板匹配。

105.根据权利要求104所述的方法，其中如果所述基于划分的GPM模板匹配针对所述GPM帧内-帧间块被允许，则针对经帧间编解码的划分的标志被指示以指定所述经帧间编解码的划分的运动是否通过模板匹配被进一步细化。

106.根据权利要求98-105中任一项所述的方法，其中是否和/或如何确定所述基于CU的GPM模板匹配语法元素是否被指示的指示在以下之一处被指示：

序列级别，

图片组级别，

图片级别，

条带级别，或

图块组级别。

107.根据权利要求98-105中任一项所述的方法，其中是否和/或如何确定所述基于CU的GPM模板匹配语法元素是否被指示的指示在以下之一中被指示：

序列头，

图片头，

序列参数集(SPS)，

视频参数集(VPS)，

依赖参数集(DPS)，

解码能力信息(DCI)，

图片参数集(PPS)，

自适应参数集(APS)，

条带头，或者

图块组头。

108.根据权利要求98-105中任一项所述的方法，其中是否和/或如何确定所述基于CU的GPM模板匹配语法元素是否被指示的指示被包括在以下之一中：

预测块(PB)，

变换块(TB)，

编解码块(CB)，

预测单元(PU)，

变换单元(TU)，

编解码单元(CU)，

虚拟流水线数据单元(VPDU)，

编解码树单元(CTU)，

CTU行，

条带，

图块，

子图片，或

包含多于一个样本或像素的区域。

109.根据权利要求98-105中任一项所述的方法，还包括：

基于所述目标块的经编解码的信息，确定是否和/或如何确定所述基于CU的GPM模板匹配语法元素是否被指示，所述经编解码的信息包括以下至少一项：

块大小，

颜色格式，

单树和/或双树划分，

颜色分量，

条带类型，或

图片类型。

110.一种用于视频处理的方法，包括：

在视频的目标块和所述目标块的码流之间的转换期间，针对编解码方法，基于与所述目标块相关联的邻近样本的可用性，确定被用于所述目标块的模板的形状；以及

基于所述确定执行所述转换。

111.根据权利要求110所述的方法，其中如果上方样本可用但左侧样本不可用，则所述模板仅包括所述上方样本，或

其中如果所述左侧样本可用但所述上方样本不可用，则所述模板仅包括所述左侧样本，或者

其中如果所述左侧样本和所述上方样本不可用，则没有模板被使用。

112.根据权利要求110所述的方法，其中虚拟模板被使用，在所述虚拟模板中所述模板的至少一个样本通过特定平均值被生成。

113.根据权利要求112所述的方法，其中填充被利用以填入不可用的样本。

114.根据权利要求110所述的方法，其中所述模板被用于以下之一：

基于模板匹配的运动矢量(MV)，

基于模板匹配的块向量(BV)导出，或

基于模板匹配的帧内预测导出。

115.根据权利要求110-114中任一项所述的方法，其中是否和/或如何确定被用于所述目标块的模板的所述形状的指示在以下之一处被指示：

序列级别，

图片组级别，

图片级别，

条带级别，或

图块组级别。

116.根据权利要求110-114中任一项所述的方法，其中是否和/或如何确定被用于所述目标块的模板的所述形状的指示在以下之一中被指示：

序列头，

图片头，

序列参数集(SPS)，

视频参数集(VPS)，

依赖参数集(DPS)，

解码能力信息(DCI)，

图片参数集(PPS)，

自适应参数集(APS)，

条带头，或者

图块组头。

117.根据权利要求110-114中任一项所述的方法，其中是否和/或如何确定被用于所述目标块的模板的所述形状的指示被包括在以下之一中：

预测块(PB)，

变换块(TB)，

编解码块(CB)，

预测单元(PU)，

变换单元(TU)，

编解码单元(CU)，

虚拟流水线数据单元(VPDU)，

编解码树单元(CTU)，

CTU行，

条带，

图块，

子图片，或

包含多于一个样本或像素的区域。

118.根据权利要求110-114中任一项所述的方法，还包括：

基于所述目标块的经编解码的信息，确定是否和/或如何确定被用于所述目标块的模板的所述形状，所述经编解码的信息包括以下至少一项：

块大小，

颜色格式，

单树和/或双树划分，

颜色分量，

条带类型，或

图片类型。

119.根据权利要求1-118中任一项所述的方法，其中滤波器系数或裁剪值中的至少一个被允许是不等于2的幂的值。

120.根据权利要求119所述的方法，其中跨分量自适应环路滤波器(CCALF)的所述滤波器系数是基于不等于2的幂的值。

121.根据权利要求119所述的方法，其中所述裁剪值不是2的幂。

122.根据权利要求1-118中任一项所述的方法，其中色度分量和亮度分量共享滤波器形状。

123.根据权利要求122所述的方法，其中针对色度的第一滤波器形状和针对亮度的第二滤波器形状相同，针对色度的第一滤波器长度和针对亮度的第二滤波器长度不同。

124.根据权利要求122所述的方法，其中MxN菱形/十字形滤波器被用于环路滤波器的所述亮度分量，与所述亮度分量相关联的所述色度分量被允许使用大小为MxN的菱形/十字形滤波器，其中M大于SubWidthC，N大于SubHeightC，并且所述SubWidthC和所述SubHeightC取决于色度格式采样结构。

125.根据权利要求124所述的方法，其中针对4:2:0色度格式，所述SubWidthC和所述SubHeightC等于2。

126.根据权利要求124所述的方法，其中针对4:4:4色度格式，所述SubWidthC和所述SubHeightC等于1。

127.根据权利要求124所述的方法，其中针对4:2:2色度格式，所述SubWidthC等于2并且所述SubHeightC等于1。

128.根据权利要求122所述的方法，其中如果色度格式是4:4:4，则所述色度分量和所述亮度分量共享滤波器形状。

129.根据权利要求1-128中任一项所述的方法，其中所述转换包括将所述目标块编码到所述码流中。

130.根据权利要求1-128中任一项所述的方法，其中所述转换包括从所述码流中解码所述目标块。

131.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时，使所述处理器执行根据权利要求1-32中的任一项、或权利要求33-97中的任一项、或权利要求98-109中的任一项、或权利要求110-118中的任一项、或权利要求119-130中的任一项所述的方法。

132.一种非暂态计算机可读存储介质，存储使处理器执行根据权利要求1-32中的任一项、或权利要求33-97中的任一项、或权利要求98-109中的任一项、或权利要求110-118中的任一项、或权利要求119-130中的任一项所述的方法的指令。

133.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：

确定与目标块的第一部分的编解码信息相关的存储信息，所述目标块利用几何划分模式(GPM)被编解码；以及

基于所述存储信息生成所述目标块的码流。

134.一种用于存储视频的码流的方法，包括：

确定与目标块的第一部分的编解码信息相关的存储信息，所述目标块利用几何划分模式(GPM)被编解码；

基于所述存储信息生成所述目标块的码流；以及

将所述码流存储在非暂态计算机可读记录介质中。

135.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：

基于多个帧内预测生成目标块的多重假设预测块；以及

基于所述多重假设预测块生成所述目标块的码流。

136.一种用于存储视频的码流的方法，包括：

基于多个帧内预测生成目标块的多重假设预测块；

基于所述多重假设预测块生成所述目标块的码流；以及

将所述码流存储在非暂态计算机可读记录介质中。

137.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：

基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示，所述目标块是GPM块；以及

基于所述确定生成所述目标块的码流。

138.一种用于存储视频的码流的方法，包括：

基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(CU)的几何划分模式(GPM)模板匹配语法元素是否被指示，所述目标块是GPM块；

基于所述确定生成所述目标块的码流；以及

将所述码流存储在非暂态计算机可读记录介质中。

139.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：

针对编解码方法，基于与目标块相关联的邻近样本的可用性，确定被用于所述目标块的模板的形状；以及

基于所述确定生成所述目标块的码流。

140.一种用于存储视频的码流的方法，包括：

针对编解码方法，基于与目标块相关联的邻近样本的可用性，确定被用于所述目标块的模板的形状；

基于所述确定生成所述目标块的码流；以及

将所述码流存储在非暂态计算机可读记录介质中。