CN118285102A - 用于视频处理的方法、装置和介质 - Google Patents

用于视频处理的方法、装置和介质 Download PDF

Info

Publication number
CN118285102A
CN118285102A CN202280057522.8A CN202280057522A CN118285102A CN 118285102 A CN118285102 A CN 118285102A CN 202280057522 A CN202280057522 A CN 202280057522A CN 118285102 A CN118285102 A CN 118285102A
Authority
CN
China
Prior art keywords
prediction
ciip
block
merge
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280057522.8A
Other languages
English (en)
Inventor
邓智玭
张凯
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN118285102A publication Critical patent/CN118285102A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开的实施例提供了一种用于视频处理的解决方案。提出了一种用于视频处理的方法。方法包括：在视频的目标块和目标块的比特流之间的转换期间，确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式；构建与CIIP模式相关联的合并候选列表；对与CIIP模式相关联的合并候选列表执行自适应合并列表重新排序；以及基于被重新排序的合并候选列表来执行转换。

Description

用于视频处理的方法、装置和介质
技术领域
本公开的实施例一般涉及视频编解码技术，更具体地，涉及图像/视频处理技术。
背景技术
如今，数字视频功能正被应用于人们生活的各个方面。针对视频编码/解码，已经提出了多种类型的视频压缩技术，诸如MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分高级视频编解码(AVC)、ITU-TH.265高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准。然而，视频编解码技术的编解码效率通常预期被进一步提高。
发明内容
本公开的实施例提供用于视频处理的解决方案。
在第一方面中，提出了一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的比特流之间的转换期间，确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式；构建与CIIP模式相关联的合并候选列表；对与CIIP模式相关联的合并候选列表执行自适应合并列表重新排序；以及基于被重新排序的合并候选列表来执行转换。与常规技术相比，可以提高编解码性能和编解码效率。
在第二方面中，提出了另一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的比特流之间的转换期间，使用预定操作基于多个运动矢量来确定目标运动候选；构建针对目标块的运动候选列表；将目标运动候选添加到运动候选列表中；以及基于运动候选列表来执行转换。与常规技术相比，可以提高编解码性能和编解码效率。
在第三方面中，提出了另一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的比特流之间的转换期间，确定针对目标块的合并候选列表，该目标块利用使用运动矢量差异模式的合并模式(MMVD)被编解码；确定被允许用于MMVD模式的多个合并候选；以及基于多个合并候选来执行转换。与传统技术相比，可以提高编解码性能和编解码效率。
在第四方面中，提出了一种用于处理视频数据的装置。该用于处理视频数据的装置包括处理器和其上具有指令的非暂态存储器，其中指令在被处理器执行时，使处理器执行：在视频的目标块和目标块的比特流之间的转换期间，确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式；构建与CIIP模式相关联的合并候选列表；对与CIIP模式相关联的合并候选列表执行自适应合并列表重新排序；以及基于被重新排序的合并候选列表来执行转换。与常规技术相比，可以提高编解码性能和编解码效率。
第五方面，提出了一种用于处理视频数据的装置。该用于处理视频数据的装置包括处理器和其上具有指令的非暂态存储器，其中指令在被处理器执行时，使处理器执行：在视频的目标块和目标块的比特流之间的转换期间，使用预定操作基于多个运动矢量来确定目标运动候选；构建针对目标块的运动候选列表；将目标运动候选添加到运动候选列表中；以及基于运动候选列表来执行转换。与常规技术相比，可以提高编解码性能和编解码效率。
第六方面，提出了一种用于处理视频数据的装置。该用于处理视频数据的装置包括处理器和其上具有指令的非暂态存储器，其中指令在被处理器执行时使处理器执行：在在视频的目标块和目标块的比特流之间的转换期间，确定针对目标块的合并候选列表，该目标块利用使用运动矢量差异模式的合并模式(MMVD)被编解码；确定被允许用于MMVD模式的多个合并候选；以及基于多个合并候选来执行转换。与常规技术相比，可以提高编解码性能和编解码效率。
在第七方面，提出了一种用于处理视频数据的装置。非暂态计算机可读存储介质存储指令，该指令使处理器在视频的目标块和目标块的比特流之间的转换期间，确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式；构建与CIIP模式相关联的合并候选列表；对与CIIP模式相关联的合并候选列表执行自适应合并列表重新排序；以及基于被重新排序的合并候选列表来执行转换。与常规技术相比，可以提高编解码性能和编解码效率。
在第八方面，提出了一种用于处理视频数据的装置。非暂态计算机可读存储介质存储指令，该指令使得处理器在视频的目标块和目标块的比特流之间的转换期间，使用预定操作基于多个运动矢量来确定目标运动候选；构建针对目标块的运动候选列表；将目标运动候选添加到运动候选列表中；以及基于运动候选列表来执行转换。与常规技术相比，可以提高编解码性能和编解码效率。
第九方面，提出了一种用于处理视频数据的装置。非暂态计算机可读存储介质存储指令，该指令使处理器在视频的目标块和目标块的比特流之间的转换期间，确定针对目标块的合并候选列表，该目标块利用使用运动矢量差异模式的合并模式(MMVD)被编解码；确定被允许用于MMVD模式的多个合并候选；以及基于多个合并候选来执行转换。与常规技术相比，可以提高编解码性能和编解码效率。
在第十方面，提出了一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的比特流，该比特流由视频处理装置执行的方法生成，其中该方法包括：确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式；向CIIP模式应用自适应合并候选列表；以及基于CIIP模式来生成目标块的比特流。
第十一方面，提出了另一种用于视频处理的方法。用于存储视频的比特流的方法包括：确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式；对CIIP模式应用自适应合并列表重排序；基于CIIP模式来生成目标块的比特流；以及将比特流存储在非暂态计算机可读记录介质中。
在第十二方面中，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储由视频处理装置执行的方法生成的视频的比特流，其中，该方法包括：使用预定操作基于多个运动矢量确定目标运动候选；构建目标块的运动候选列表；将目标运动候选添加到运动候选列表中；以及基于运动候选列表来生成目标块的比特流。
第十三方面，提出了用于视频处理的另一种方法。用于存储视频的比特流的方法包括：使用预定操作基于多个运动矢量确定目标运动候选；构建目标块的运动候选列表；将目标运动候选添加到运动候选列表中；以及基于运动候选列表生成目标块的比特流；以及将比特流存储在非暂态计算机可读记录介质中。
在第十四方面中，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储由视频处理装置执行的方法生成的视频的比特流，其中，该方法包括：在视频的目标块和目标块的比特流之间的转换期间，确定目标块的合并候选列表，该目标块该目标块利用使用运动矢量差异模式的合并模式(MMVD)被编解码；确定允许用于MMVD模式的多个合并候选；以及基于多个合并候选生成目标块的比特流。
在第十五方面中，提出了用于存视频处理的另一种方法。该方法包括：在视频的目标块和目标块的比特流之间的转换期间，确定目标块的合并候选列表，该目标块利用使用运动矢量差异模式的合并模式(MMVD)被编解码；确定允许用于MMVD模式的多个合并候选；基于多个合并候选生成目标块的比特流；以及将比特流存储在非暂态计算机可读记录介质中。
本发明内容被提供以简化的形式介绍下面在详细描述中进一步描述的概念选择。本发明内容不旨在识别所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围。
附图说明
通过参考附图的以下详细描述，本公开的示例实施例的上述和其它目标、特征和优点将变得更加清楚。在本公开的示例实施例中，相同的附图标记通常指相同的部件。
图1示出了根据本公开的一些实施例的示例视频编解码***的框图；
图2示出了根据本公开的一些实施例的示出第一示例视频编码器的框图；
图3示了根据本公开的一些实施例的示出示例视频解码器的框图；
图4示出帧内预测模式的示意图；
图5示出了用于广角帧内预测的参考样本的示意图；
图6示出了在方向超过45°的情况下的不连续性问题的示意图；
图7A是示出应用于对角线右上模式的PDPC所使用的样本的定义的示意图；
图7B是示出应用于对角线左下模式的PDPC所使用的样本的定义的示意图；
图7C是示出应用于相邻对角线右上模式的PDPC所使用的样本的定义的示意图；
图7D是示出应用于相邻对角线左下模式的PDPC所使用的样本的定义的示意图；
图8示出邻近预测块的四个参考线的示例的示意图；
图9A是示出用于4×8和8×4CU的子划分的示例的示意图；
图9B是示出4×8、8×4和4×4以外的CU的子划分的示例的示意图；
图10示出帧内矩阵加权预测过程；
图11示出了空间合并候选的位置；
图12示出了考虑用于空间合并候选的冗余校验的候选对；
图13示出了用于时间合并候选的运动矢量缩放的图示；
图14示出了时间合并候选C0和C1的候选位置；
图15示出了MMVD搜索点的示意图；
图16示出了BDOF中使用的扩展CU区域；
图17示出了对称MVD模式的图示；
图18示出了解码侧运动矢量细化；
图19示出了在CIIP权重导出中使用的顶部和左侧邻近块；
图20示出了使用PDPC的扩展CIIP模式的CIIP_PDPC流程图；
图21示出了按相同角度分组的GPM***的示例；
图22示出了几何划分模式的单向预测MV选择；
图23示出了使用几何划分模式的弯曲权重w0的生成示例；
图24示出了建议的帧内块解码过程；
图25示出了来自宽度为3像素的模板的HoG计算；
图26示出了通过两个HoG模式和平面的加权平均进行的预测融合。
图27示出了根据本公开的实施例的方法的流程图；
图28示出了根据本公开的实施例的方法的流程图；
图29示出了根据本公开的实施例的方法的流程图
图30示出了其中可以实现本公开的各种实施例的计算设备的框图。
在整个附图中，相同或相似的附图标记通常称为相同或相似的元件。
具体实施方式
现在将参考一些实施例来描述本公开的原理。应当理解的是，描述这些实施例仅出于说明并且帮助本领域技术人员理解和实施本公开的目的，而不暗示对本公开的范围的任何限制。除了下文所述的方式之外，本文所描述的公开内容还可以以各种方式实施。
在以下描述和权利要求中，除非另有定义，否则在本文中使用的所有科学术语和技术术语具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。
本公开中提及的“一个实施例”、“实施例”、“示例实施例”等指示所描述的实施例可以包括特定的特征、结构或特性，但是并非每个实施例都必须包括该特定的特征、结构或特性。此外，这些短语不一定指同一实施例。此外，当结合示例实施例描述特定的特征、结构或特性时，无论是否明确描述，认为影响与其他实施例相关的这种特征、结构或特性在本领域技术人员的知识范围内。
应当理解的是，尽管术语“第一”和“第二”等可以用于描述各种元素，但这些元素不应受限于这些术语。这些术语仅用于区分一个元素与另一个元素。例如，第一元素可以被称为第二元素，类似地，第二元素可以被称为第一元素，而不脱离示例实施例的范围。如本文中所使用的，术语“和/或”包括一个或多个所列术语的任何和所有组合。
本文中所使用的术语仅用于描述特定实施例的目的，并不旨在限制示例实施例。如本文中所用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确指示。还应理解，术语“包括”、“包含”和/或“具有”在本文中使用时表示存在所述特征、元素和/或组件等，但不排除一个或多个其他特征、元素、组件和/或其组合的存在或添加。
示例环境
图1是图示可以利用本公开的技术的示例视频编解码***100的框图。如所示出的，视频编解码***100可以包括源设备110和目的设备120。源设备110也可以称为视频编码设备，并且目的设备120也可以称为视频解码设备。在操作中，源设备110可以被配置为生成经编码的视频数据，并且目的设备120可以被配置为对由源设备110生成的经编码的视频数据进行解码。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备之类的源。视频捕获设备的示例包括但不限于从视频内容提供商接收视频数据的接口、用于生成视频数据的计算机图形***和/或其组合。
视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成码流。码流可以包括形成视频数据的编码表示的位序列。码流可以包括编码图片和相关联的数据。编码图片是图片的编码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器和/或发送器。经编码的视频数据可以通过网络130A经由I/O接口116直接传输至目的设备120。经编码的视频数据也可以存储在存储介质/服务器130B上，以供目的设备120访问。
目的设备120可以包括I/O接口126、视频解码器124和显示设备122。I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130B获取经编码的视频数据。视频解码器124可以对经编码的视频数据进行解码。显示设备122可以向用户显示经解码的视频数据。显示设备122可以与目的设备120集成，或者可以在目的设备120的外部，该目的设备120被配置为与外部显示设备接口连接。
视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他现有和/或将来的标准。
图2是示出根据本公开的一些实施例的视频编码器200的示例的方框图，视频编码器200可以是图1所示的***100中的视频编码器114的示例。
视频编码器200可以被配置为实现本公开的任何或所有技术。在图2的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在一些实施例中，视频编码器200可以包括划分单元201、预测单元202、残差生成单元207、变换单元208、量化单元209、反量化单元210、反变换单元211、重建单元212、缓冲213和熵编码单元214，该预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206。
在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括块内复制(IBC)单元。IBC单元可以在IBC模式中执行预测，其中至少一个参考图片是当前视频块所位于的图片。
此外，尽管一些组件(诸如运动估计单元204和运动补偿单元205)可以被集成，但是为了解释的目的，这些组件在图2的示例中被分离地示出。
划分单元201可以将图片划分成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。
模式选择单元203可以例如基于误差结果来选择多种编码模式(帧内编码或帧间编码)中的一种编码模式，并且将所产生的帧内编码块或帧间编码块提供给残差生成单元207以生成残差块数据，并且提供给重建单元212以重建编码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择针对运动矢量的分辨率(例如，亚像素精度或整数像素精度)。
为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲213的一个或多个参考帧与当前视频块进行比较来生成针对当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲213的除了与当前视频块相关联的图片之外的图片的经解码样本，来确定针对当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。如本文中使用的，“I条带”可以是指由宏块构成的图片的一部分，所有宏块均基于同一图片内的宏块。此外，如本文中使用的，在一些方面中，“P条带”和“B条带”可以是指由独立于同一图片中的宏块的宏块构成的图片的部分。
在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以搜索列表0或列表1的参考图片，以寻找针对当前视频块的参考视频块。运动估计单元204然后可以生成参考索引和运动矢量，该参考索引指示列表0或列表1中的包含参考视频块的参考图片，并且该运动矢量指示当前视频块与参考视频块之间的空间位移。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
备选地，在其他示例中，运动估计单元204可以对当前视频块执行双向预测。运动估计单元204可以搜索列表0中的参考图片以寻找针对当前视频块的参考视频块，并且还可以搜索列表1中的参考图片以寻找针对当前视频块的另一参考视频块。运动估计单元204然后可以生成多个参考索引和多个运动矢量，该多个参考索引指示列表0和列表1中的包含多个参考视频块的多个参考图片，并且该多个运动矢量指示在多个参考视频块与当前视频块之间的多个空间位移。运动估计单元204可以输出当前视频块的多个参考索引和多个运动矢量以作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的多个参考视频块来生成针对当前视频块的预测视频块。
在一些示例中，运动估计单元204可以输出完整的运动信息集，以用于解码器的解码处理。备选地，在一些实施例中，运动估计单元204可以参考另一视频块的运动信息来通过信号传输当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中向视频解码器300指示一值，该值指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差异(MVD)。运动矢量差异指示在当前视频块的运动矢量与所指示的视频块的运动矢量之间的差异。视频解码器300可以使用所指示的视频块的运动矢量以及运动矢量差异来确定当前视频块的运动矢量。
如上所讨论的，视频编码器200可以以预测性的方式通过信号传输运动矢量。可以由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中其他视频块的经解码样本来生成针对当前视频块的预测数据。针对当前视频块的预测数据可以包括预测视频块和各个语法元素。
残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成针对当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样本的不同样本部分的残差视频块。
在其他示例中，例如在跳过模式中，针对当前视频块可以不存在针对当前视频块的残差数据，并且残差生成单元207可以不执行减去操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块，来生成针对当前视频块的一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
反量化单元210和反变换单元211可以分别对变换系数视频块应用反量化和反变换，以从变换系数视频块重建残差视频块。重建单元212可以将经重建的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样本，以产生与当前视频块相关联的重建视频块，以供存储在缓冲213中。
在重建单元212重建视频块之后，可以执行环路滤波操作以减少视频块中的视频块效应伪像。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以执行一个或多个熵编码操作，以生成熵编码数据并且输出包括该熵编码数据的码流。
图3是示出根据本公开的一些实施例的视频解码器300的示例的方框图，视频解码器300可以是图1所示的***100中的视频解码器124的示例。
视频解码器300可以被配置为执行本公开的任何或所有技术。在图3的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在图3的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、反量化单元304、反变换单元305、以及重建单元306和缓冲307。在一些示例中，视频解码器300可以执行通常与关于视频编码器200所描述的编码过程相对的解码过程。
熵解码单元301可以取回经编码的码流。经编码的码流可以包括经熵编码的视频数据(例如，经编码的视频数据块)。熵解码单元301可以对经熵编码的视频数据进行解码，并且运动补偿单元302可以从经熵解码的视频数据中确定运动信息，该运动信息包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息。运动补偿单元302可以例如通过执行AMVP和合并模式来确定该信息。AMVP被使用，包括基于邻近PB的数据和参考图片得出数个最可能的候选项。运动信息通常包括水平和竖直运动矢量位移值、一个或两个参考图片索引，并且在B条带中的预测区域的情况下，还包括哪个参考图片列表与每个索引相关联的标识。如本文所使用的，在一些方面中，“合并模式”可以是指从空间或时间上邻近的块中导出运动信息。
运动补偿单元302可以产生运动补偿块，可能地基于插值滤波器来执行内插。针对以亚像素精度被使用的插值滤波器的标识符可以被包括在语法元素中。
运动补偿单元302可以使用由视频编码器200在视频块的编码期间使用的插值滤波器来计算用于参考块的亚整数像素的内插值。运动补偿单元302可以根据接收到的语法信息来确定由视频编码器200使用的插值滤波器，并且运动补偿单元302可以使用插值滤波器来产生预测块。
运动补偿单元302可以使用至少部分语法信息来确定用于编码经编码视频序列的(多个)帧和/或(多个)条带的块的大小、描述经编码视频序列的图片的每个宏块如何被划分的划分信息、指示每个划分如何被编码的模式、针对每个帧间编码块的一个或多个参考帧(和参考帧列表)、以及对经编码视频序列进行解码的其他信息。如本文中所使用的，在一些方面，“条带”可以是指在熵编码、信号预测和残差信号重建方面可以独立于同一图片的其他条带而被解码的数据结构。条带可以是整个图片，或者也可以是图片的区域。
帧内预测单元303可以使用例如在码流中接收的帧内预测模式，以从空间邻近块形成预测块。反量化单元304反量化(即，去量化)在码流中提供的、并且由熵解码单元301解码的量化视频块系数。反变换单元305应用反变换。
重建单元306可以例如通过将残差块与由运动补偿单元302或帧内预测单元303生成的相应预测块相加来获得经解码的块。如果需要的话，还可以应用去块效应滤波器以对经解码的块进行滤波，以便去除块效应伪像。经解码的视频块随后被存储在缓冲307中，缓冲307为后续运动补偿/帧内预测提供参考块，并且缓冲307还产生经解码的视频以供在显示设备上呈现。
下文将详细描述本公开的一些示例性实施例。应当注意，在本文件中使用章节标题是为了便于理解，而不是将章节中公开的实施例仅限于该章节。此外，尽管参考通用视频编解码或其他特定视频编解码器描述了一些实施例，但是所公开的技术也适用于其他视频编解码技术。此外，尽管一些实施例详细描述了视频编码步骤，但是应当理解的是取消编码的相应解码步骤将由解码器实现。此外，术语视频处理包括视频编码或压缩、视频解码或解压缩以及视频转码，在该视频转码中视频像素被从一种压缩格式表示为另一种压缩格式或以不同的压缩码率表示。
1.概述
本公开的实施例涉及视频编解码技术。具体而言，它是关于扩展组合的帧间帧内预测技术以具有注入运动增强、预测增强等的高级特征。它可以应用于现有的视频编解码标准，如HEVC、VVC等。它也可能适用于未来的视频编解码标准或视频编解码。
2.背景
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展而演进。ITU-T产生了H.261和H.263，ISO/IEC产生了MPEG-1和MPEG-4视觉，这两个组织联合产生了H.264/MPEG-2视频和H.264/MMPEG-4高级视频编解码(AVC)以及H.264/HEVC标准(ITU-T和ISO/IEC，“高效视频编解码”，Rec.ITU-T H.265|ISO/IEC 23008-2(有效版本))标准。自从H.262，视频编解码标准是基于混合视频编码结构，其中利用了时间预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。在2018年4月的JVET会议上，JVET会议每季度同期召开一次，并且新的视频编解码标准正式命名为多功能视频编码(VVC)，并且当时发布了VVC测试模型(VTM)的第一版本。VVC工作草案和测试模型VTM随后在每次会议后更新。VVC项目在2020年7月的会议上实现了技术完成(FDIS)。
2.1现有编解码工具
2.1.1帧内预测
2.1.1.1具有67个帧内预测模式的帧内编解码
为了捕捉自然视频中呈现的任意边缘方向，VVC中的定向帧内模式数量从HEVC中使用的33个扩展到65个。HEVC中没有的新定向模式在图4中以红色虚线箭头表示，平面和DC模式保持不变。图4是示意图400，说明了67种帧内预测模式。这些更密集的定向帧内预测模式适用于所有块大小以及亮度和色度帧内预测。
在VVC中，对于非正方形块，几种传统的角帧内预测模式自适应地被广角帧内预测模式取代。
在HEVC中，每个帧内编码块都具有正方形形状，并且其每条边的长度是2的幂。因此，不需要除法运算来使用DC模式生成帧内预测子。在VVC中，块可以具有矩形形状，这在一般情况下需要使用每个块的除法运算。为了避免针对DC预测的除法运算，仅使用较长边来计算非正方形块的平均值。
2.1.1.2帧内模式编解码
为了保持最可能模式(MPM)列表生成的复杂度较低，考虑两种可用的邻近帧内模式，采用具有6个MPM的帧内模式编解码方法。
考虑以下三个方面来构建MPM列表：
–默认帧内模式
–邻近帧内模式
–导出帧内模式
无论是否应用MRL和ISP编解码工具，帧内块都使用统一的6-MPM列表。MPM列表是基于左侧和上方邻近块的帧内模式来构建的。假设左侧的模式表示为左侧，上方块的模式表示为上方，统一的MPM列表构建如下：
–当邻近块不可用时，其帧内模式默认设置为平面。
–如果两个模式左侧和上方都是非角度模式：
–MPM列表→{平面、DC、V、H、V-4、V+4}
–如果模式左侧和上方之一为角度模式，并且另一个为非角度模式：
–将模式Max设置为左侧和上方的较大模式
–MPM列表→{平面，Max，DC，Max-1，Max+1，Max-2}
–如果左侧和上方都是角度的并且它们不同：
–将模式Max设置为左侧和上方的较大模式
–如果左侧和上方模式的差异在2到62(包含)的范围内
–MPM列表→{平面，左侧，上方，DC，Max-1，Max+1}
–否则
–MPM列表→{平面，左侧，上方，DC，Max-2，Max+2}
–如果左侧和上方都是角度的并且它们是相同的：
–MPM列表→{平面，左侧，左侧-1，左侧+1，DC，左侧-2}
此外，mpm索引码字的第一二进制是经编解码的CABAC上下文。总共使用了三种上下文，对应当前帧内块是启用MRL、启用ISP还是正常帧内块。
在6MPM列表生成过程中，剪枝用于删除重复的模式，以便只有唯一的模式可以包含在MPM列表中。对于61种非MPM模式的熵编解码，使用截断二进制码(TBC)。
2.1.13非正方形块的广角帧内预测
传统的角度帧内预测方向定义为沿顺时针方向从45度到-135度。在VVC中，几种传统的角度帧内预测模式被自适应地替换为非正方形块的广角帧内预测模式。使用原始模式索引来用信号通知被替换的模式，原始模式索引在解析后被重新映射到广角模式的索引。帧内预测模式的总数不变，即67，并且帧内模式编解码方法不变。
为了支持这些预测方向，定义了长度为2W+1的顶部参考和长度为2H+1的左侧参考，如图5所示。图5是示出用于广角帧内预测的参考样本的示意图500。
宽角度方向模式中被替换的模式的数目取决于块的纵横比。被替换的帧内预测模式如表2-1所示。
表2-1被广角模式替换的帧内预测模式
纵横比 被替换的帧内预测模式
W/H＝＝16 模式12,13,14,15
W/H＝＝8 模式12,13
W/H＝＝4 模式2,3,4,5,6,7,8,9,10,11
W/H＝＝2 模式2,3,4,5,6,7
W/H＝＝1 无
W/H＝＝1/2 模式61,62,63,64,65,66
W/H＝＝1/4 模式57,58,59,60,61,62,63,64,65,66
W/H＝＝1/8 模式55,56
W/H＝＝1/16 模式53,54,55,56
图6是示意图600，示出了方向超过45°时的不连续性问题。如图6所示，在广角帧内预测的情况下，两个垂直的邻近预测样本可以使用两个不相邻的参考样本。因此，将低通参考样本滤波器和侧平滑应用于广角预测，以减少所增加的间隙Δpα带来的负面影响。如果广角模式代表非分数偏移。广角模式中有8种模式满足这一条件，它们是[-14，-12，-10，-6，72，76，78，80]。当通过这些模式预测块时，直接复制参考缓冲区中的样本，而不应用任何插值。通过这种修改，需要进行平滑处理的样本数量减少了。此外，它将对齐传统预测模式和广角模式中的非分数模式的设计。
在VVC中，支持4:2:2和4:4:4色度格式以及4:2:0色度格式。4:2:2色度格式的色度导出模式(DM)导出表最初从HEVC移植，将条目的数量从35扩展到67，以与帧内预测模式的扩展对齐。由于HEVC规范不支持低于-135度和超过45度的预测角度，因此范围从2到5的亮度帧内预测模式被映射到2。因此，通过替换映射表的条目的一些值来更新4:2:2:色度格式的色度DM导出表，以更精确地转换色度块的预测角度。
2.1.1.4取决于模式的帧内平滑(MDIS)
四抽头帧插值值滤波器用于提高帧内预测精度。在HEVC，使用两抽头线性插值滤波器生成定向预测模式下的帧内预测块(即不包括平面和DC预测子)。在VVC，简化的6位4抽头高斯插值滤波器仅用于定向帧内模式。非定向帧内预测过程是不变的。4抽头滤波器的选择是根据提供非分数位移的定向帧内预测模式的MDIS条件进行的，即排除以下的所有方向模式：2、HOR_IDX、DIA_IDX、VER_IDX、66。
根据帧内预测模式，执行以下参考样本处理：
–定向帧内预测模式分类为以下组中的一个：
–垂直或水平模式(HOR_IDX、VER_IDX)，
–对角线模式表示45度(2、DIA_IDX、VDIA_IDX)倍数的角度，
–剩余方向模式；
–如果定向帧内预测模式被分类为属于组A，则不向参考样本应用滤波器来生成预测样本；
–否则，如果模式属于组B，则可以应用[1,2,1]参考样本滤波器(取决于MDIS条件)来参考样本，以根据所选方向将这些滤波值进一步复制到帧内预测子中，但不应用插值滤波器；
–否则，如果模式被分类为属于组C，则仅帧内参考样本插值滤波器应用于参考样本，以生成根据所选方向落入参考样本之间的分数或整数位置的预测样本(不执行参考样本滤波)。
2.1.15取决于位置的帧内预测组合
在VVC中，通过位置相关帧内预测组合(PDPC)方法进一步修改DC、平面和几个角模式的帧内预测结果。PDPC是一种帧内预测方法，它调用未滤波边界参考样本和具有滤波边界参考样本的HEVC式的帧内预测的组合。PDPC应用于以下帧内模式，无需发出信号：平面、DC、水平、垂直、左下角模式及其八个相邻角模式，以及右上角模式及其八个相邻角模式。
根据如下等式3-8，预测样本pred(x’,y’)是使用帧内预测模式(DC，平面，角)和参考样本的线性组合来预测的：pred(x’,y’)＝(wL×R-1,y’+wT×Rx’,-1-wTL×R-1,-1+(64-wL-wT+wTL)×pred(x’,y’)+32)>>6 (2-1)
其中Rx,-1,R-1,y分别表示位于当前样本(x，y)顶部和左侧边界的参考样本，并且R-1，-1表示位于当前块左上角的参考样本。
如果PDPC应用于DC、平面、水平和垂直帧内模式，则不需要额外的边界滤波器，这是HEVC DC模式边界滤波器或水平/垂直模式边缘滤波器的要求。DC和平面模式的PDPC过程是相同的，避免了裁剪操作。对于角度模式，调整pdpc缩放因子，以便不需要范围检查，并删除启用pdpc的角度条件(使用缩放>＝0)。此外，PDPC权重在所有角度模式情况下都基于32。PDPC权重取决于预测模式，如表2-2所示。PDPC应用于宽度和高度均大于或等于4的块。
图7A-7D示出了在各种预测模式上应用的PDPC的参考样本(Rx,-1,R-1,y和R-1,-1)的定义。预测样本pred(x’,y’)位于预测块内的(x’,y’)。例如，参考样本Rx,-1的坐标x由x＝x’+y’+1给出，参考样本R-1,y的坐标y类似地由针对对角线模式的y＝x’+y’+1给出。对于另一种环形模式，参考样本Rx,-1和R-1,y可以位于分数样本位置。在这种情况下，使用最近整数样本位置的样本值。
表2-2-根据预测模式的PDPC权重示例
2.1.1.6多参考行(MRL)帧内预测
多参考行(MRL)帧内预测使用更多的参考行用于帧内预测。在图8中，示意图800示出了与预测块相邻的四条参考线的示例。在图8中，描绘了4条参考行的示例，其中段A和段F的样本不是从重建的邻近样本中提取的，而是分别用来自段B和段E的最接近的样本填充的。HEVC帧内图像预测使用最附近的参考行(即参考行0)。在MRL中，使用了2条附加行(参考行1和参考行3)。
所选参考行的索引(mrl_idx)被用信号发送并用于生成帧内预测。对于大于0的参考行idx，仅在MPM列表中包括额外的参考行模式，并且仅信号mpm索引而不包括剩余模式。在帧内预测模式之前用信号发送参考行索引，如果参考行索引非零，则帧内预测模式不包括平面模式。
对CTU内的块的第一行禁用MRL，以防止在当前CTU行外使用扩展的参考样本。此外，当使用附加行时，PDPC将被禁用。对于MRL模式，非零参考行索引的DC帧内预测模式中的DC值的导出与参考行索引0的导出对齐。MRL需要存储具有CTU的3条邻近亮度参考行来生成预测。跨分量线性模型(CCLM)工具的下采样滤波还需要3个邻近的亮度参考行。使用相同3行的MRL的定义与CCLM一致，以减少解码器的存储要求。
2.1.17内部子划分(ISP)
帧内子划分(ISP)根据块大小将亮度帧内预测块垂直或水平划分为2或4个子划分。例如，ISP的最小块大小为4×8(或8×4)。如果块大小大于4×8，则对应块将被划分为四个子划分。我们注意到，M×128(M≤64)和128×N(N≤64)ISP块可能会对64×64VDPU生成潜在问题。例如，单树情况下的M×128CU有一个M×128亮度TB和两个相应的色度TB。如果CU使用ISP，那么亮度TB将被分成4个M×32TB(只能水平分割)，每个TB都小于一个64×64块。然而，在目前的ISP设计中，色度块是不可分割的。因此，两个色度分量的大小都将大于一个32×32块。类似地，使用ISP的128×NCU也可以创建类似的情况。因此，这两种情况是64×64解码器流水线的问题。因此，可以使用ISP的CU大小被限制为最大值64×64。图9a-9b显示了两种可能性的示例。图9A是示意图902，示出了4×8和8×4CU的子划分示例。图9B是示意图904，示出了4×8、8×4和4×4以外的CU的子划分示例。所有子划分都满足至少有16个样本的条件。
在ISP中，1xN/2xN子块预测允许依赖于编码块的先前解码的1xN/2xN子块的重建值，使得子块的最小预测宽度变为四个样本。例如，一个8xN(N>4)的编码块，在使用ISP垂直分割编解码时，会被分割成两个预测区域，每个预测区域的大小为4xN，四个变换的大小为2xN。同样，使用垂直分割ISP编解码的4xN编码块，使用完整的4xN块进行预测；使用四个变换，每个变换的大小为1xN。尽管允许1xN和2xN的变换大小，但可以断言，这些块在4xN区域内的变换可以并行执行。例如，当4xN预测区域包含四个1xN变换时，在水平方向上没有变换；垂直方向上的变换可以作为垂直方向上单个4xN变换来执行。类似地，当4xN预测区域包含两个2xN变换块时，可以并行地进行两个2xN块在每个方向(水平和垂直)上的变换操作。因此，与处理4x4常规编解码的帧内块相比，在处理这些较小的块时不增加延迟。
表2-3熵编解码系数组大小
块大小 系数组大小
1×N,N≥M 1×16
N×1,N≥16 16×1
2×N,N≥8 2×8
N×2,N≥8 8×2
所有其他可能的M×N情况 4×4
对于每个子划分，通过将残差信号与预测信号相加来获得重建样本。这里，通过诸如熵解码、逆量化和逆变换的处来生成残差信号。因此，每个子划分的重建样本值可用于生成下一个子划分的预测，并且每个子划分被重复处理。此外，要处理的第一个子划分是包含CU的左上样本，然后向下(水平分割)或向右(垂直分割)继续的子划分。因此，用于生成子划分预测信号的参考样本仅位于线的左侧和上方。所有子划分共享相同的帧内模式。以下是ISP与其他编解码工具的交互摘要。
–多参考行(MRL)：如果块的MRL索引不是0，则ISP编解码模式将被推断为0，因此ISP模式信息将不会发送到解码器。
–熵编解码系数组大小：如表2-4所示，熵编解码子块的大小已被修改，以便在所有可能的情况下都有16个样本。值得注意，新的大小仅影响ISP的其中一个尺寸小于4个样本的块。在所有其他情况下，系数组保持维度。
–CBF编解码：假设至少有一个子划分具有非零CBF。因此，如果n是子划分的数目，并且第一n-1子划分已经产生零CBF，则第n子划分的CBF被推断为1。
–MPM使用：MPM标志将被推断为ISP模式经编解码的块中的一个，并且MPM列表被修改为排除DC模式，并优先考虑用于ISP水平分割的水平帧内模式和用于垂直模式的垂直帧内模式。
–变换大小限制：所有长度大于16点的ISP变换都使用DCT-II。
–PDPC：当CU使用ISP编解码模式时，PDPC滤波器不会应用于生成的子划分。
–MTS标志：如果CU使用ISP编解码模式，MTS CU标志将设置为0，并且不会发送到解码器。因此，编码器不会对每个结果子划分的不同可用变换执行RD测试。ISP模式的变换选择将改为固定的，并根据所使用的帧内模式、处理顺序和块大小进行选择。因此，不需要用信号发出。例如，设tH和tV和为分别为w×h子划分选择的水平变换和垂直变换，其中w为宽度，h为高度。然后根据以下规则选择变换：
–如果w＝1或h＝1，则分别不存在水平变换或垂直变换。
–如果w＝2或w>32，tH＝DCT-II
–如果h＝2或h>32，tV＝DCT-II
–否则，如表2-4所示选择变换。
表2-4-变换选择取决于帧内模式
在ISP模式中，允许所有67个帧内模式。如果对应的宽度和高度至少为4个样本长，则也应用PDPC。此外，帧内插值滤波选择的条件不再存在，并且在ISP模式下，三次(DCT-IF)滤波器总是用于分数位置插值。
2.1.1.8矩阵加权帧内预测(MIP)
矩阵加权帧内预测(MIP)方法是VVC中新加入的一种帧内预测技术。为了预测宽度W和高度H的矩形块的样本，矩阵加权帧内预测(MIP)取块左侧的一行H个重建的相邻边界样本和块上方的一行W个重建的相邻边缘样本作为输入。如果重建的样本不可用，则像在传统帧内预测中那样生成它们。预测信号的生成基于以下三个步骤，即平均、矩阵矢量乘法和线性插值，如图10所示。图10是图示矩阵加权帧内预测过程的示意图1000。
平均邻近样本
在边界样本中，通过基于块大小和形状进行平均来选择四个样本或八个样本。具体地，输入边界bdrytop和bdryleft会根据取决于块的大小的预定义的规则，通过对邻近边界样本进行平均，缩小为更小的和边界。然后，将两个缩小的边界和连接到缩小的边界矢量bdryred，因此，对于形状的块，缩小的边界矢量的大小为4×4，而对于所有其他形状的块来说，缩小的边缘矢量的大小是8。如果是指MIP模式，则此级联定义如下：
矩阵乘法
将平均样本作为输入，执行矩阵矢量乘法，然后添加偏移。结果是原始块中的样本的子采样集上生成缩减预测信号。从缩减的输入矢量bdryred中生成缩减的预测信号predred,，该缩减的预测是宽度Wred和高度Hred的下采样块上的信号。此处，Wred和Hred定义为：
通过计算矩阵矢量乘积并添加偏移来计算缩减的预测信号predred：
predred＝A·bdryred+b
这里，A是一个矩阵，如果W＝H＝4z则它有Wred·Hred行和4列，在所有其他情况下有8列。b是Wred·Hred大小的矢量。矩阵A和偏移矢量b取自S0，S1，S2.其中一个集合。索引idx＝idx(W,H)定义如下：
这里，矩阵A的每个系数以8比特的精度表示。集合S0由16个矩阵组成，每个矩阵具有16行4列，以及16个偏移矢量每个偏移矢量的大小为16。该集合的矩阵和偏移矢量用于大小为4×4的块。集合S1由8个矩阵 组成，每个矩阵具有行和8列，以及8个偏移矢量 每个偏移矢量大小为16。集合S2由6个矩阵 组成，每个矩阵具有64行和8列，以及6个偏移矢量 每个偏移矢量大小为64。
插值
其余位置处的预测信号是通过线性插值从子采样集上的预测信号生成的，该线性插值是在每个方向上的单步线性插值。插值首先在水平方向上执行，然后在垂直方向上执行，与块的形状或块的大小无关。
MIP模式的信令和与其他编解码工具的协调
对于帧内模式中的每个编码单元(CU)，发送标志是否要应用MIP模式的标志。如果要应用MIP模式，则用信号发送MIP模式(predModeIntra)。对于MIP模式，转置标志(isTransposed)用于确定模式是否转置，MIP模式标识(modeId)用于确定给定MIP模式使用的矩阵，其导出过程如下：
isTransposed＝predModeIntra&1
modeId＝predModeIntra>>1 (2-6)
通过考虑以下方面，MIP编解码模式与其他编解码工具相协调：
–大块上的MIP启用LFNST。这里使用平面模式的LFNST变换
–MIP的参考样本导出与传统帧内预测模式完全相同
–对于MIP预测中使用的上采样步骤，使用原始参考样本而不是下采样样本
–在上采样之前执行剪裁，而不是在上采样之后执行剪裁
–无论最大变换大小如何，MIP都允许达到64×64
–MIP模式的数目对于sizeId＝0为32，对于sizeId＝1为16，对于sizeId＝2为12。
2.1.2帧间预测
对于每个帧间预测的CU，由运动矢量、参考图片索引和参考图片列表使用索引组成的运动参数，以及用于帧间预测样本生成的VVC的新编解码特征所需的附加信息。运动参数可以以显式或隐式方式发出信号。当CU经编解码的跳过模式时，CU与一个PU相关联，没有显着的残差系数，没有经编解码的运动矢量增量或参考图片索引。指定合并模式，由此从相邻的CU获得当前CU的运动参数，包括空间和时间候选，以及VVC中引入的附加调度。合并模式可以应用于任何帧间预测的CU，而不仅仅是跳过模式。合并模式的替代方案是运动参数的显式传输，其中运动矢量，每个参考图片列表的相应参考图片索引和参考图片列表使用标志和其他需要的信息根据每个CU被显式地用信号通知。
除了HEVC中的帧间编解码功能之外，VVC还包括一些新的和改进的帧间预测编解码工具，如下所示：
–扩展合并预测
–利用MVD的合并模式(MMVD)
–对称MVD(SMVD)信令
–仿射运动补偿预测
–基于子块的运动矢量预测(SbTMVP)
–自适应运动矢量分辨率(AMVR)
–运动场存储：1/16亮度样本MV存储和8x8运动场压缩
–利用CU权重的双向预测(BCW)
–双向光流(BDOF)
–解码器侧运动矢量细化(DWVR)
–几何分区模式(GPM)
–组合的帧间和帧内预测(CIIP)
以下文本提供了VVC中指定的帧间预测方法的详细信息。
2.1.2.1扩展合并预测
在VVC，合并候选列表通过按顺序包括以下五类候选来构建：
1)来自空间邻居CU的空间MVP
2)来自同位CU的时间MVP
3)来自FIFO表的基于历史的MVP
4)成对平均MVP
5)零MV。
合并列表的大小在序列参数集头中用信号通知，合并列表的最大允许大小为6。对于合并模式下的每个CU编解码，使用截断一元二进制化(TU)编码最佳合并候选索引。合并索引的第一二级制是经编解码的上下文，其他二级制使用旁路编解码。
本次会议提供了每一类合并候选的导出过程。如HEVC所做，VVC还支持并行导出一定大小区域内所有CU的合并候选列表。
空间候选导出
VVC中空间合并候选的导出与HEVC中相同，除了交换前两个合并候选的位置。图11是示出空间合并候选的位置的示意图1100。在位于图11所示位置的候选中选择最多四个合并候选。导出的顺序是B0、A0、B1、A1和B2。只有当位置B0、A0、B1、A1的一个或多个CU不可用(例如，因为它属于另一个条带或图块)或被帧内经编解码的时候，才考虑位置B2。在添加位置A1的候选后，剩余候选的添加受到冗余校验，冗余校验确保从列表中排除具有相同运动信息的候选，从而提高编解码效率。为了降低计算复杂度，并非所有可能的候选对都被考虑在所提到的冗余检查中。图12是示意图1200，示出了考虑用于空间合并候选的冗余检查的候选对。相反，仅考虑与图12中箭头链接的对，并且仅当用于冗余检查的相应候选具有不相同的运动信息时，才将候选添加到列表中。
时间候选导出
在该步骤中，仅向列表中添加一个候选。特别地，在该时间合并候选的导出中，基于属于同位引用图片的同位CU导出出缩放的运动矢量。用于导出同位CU的参考图片列表在条带头中明确用信号通知。时间合并候选的缩放运动矢量如图13的图1300中的虚线所示获得，其是从同位CU的运动矢量使用POC距离tb和td进行缩放的，其中tb定义为当前图片的参考图片与当前图片的POC差异，td定义为同位图片的参考图片与同位图片的POC差异。时间合并候选的参考图片索引设置为零。
图14是示出时间合并候选C0和C1的候选位置的示意图1400。时间候选的位置在候选C0和C1之间选择，如图14所示。如果位置C0处的CU不可用，是帧内经编解码的，或者是在当前CTU行之外，则使用位置C1。否则，位置C0用于时间合并候选的导出。
基于历史的合并候选导出
基于历史的MVP(HMVP)合并候选被添加到空间MVP和TMVP之后的合并列表中。在该方法中，先前经编解码的块的运动信息被存储在表中，并用作当前CU的MVP。具有多个HMVP候选的表在编码/解码过程中被维护。当遇到新的CTU行时，该表被重置(清空)。每当存在非子块帧间-经编解码的CU时，相关的运动信息被添加到表的最后一个条目中，作为新的HMVP候选。
HMVP表大小S设置为6，这表示最多可以将6个基于历史的MVP(HMVP)候选添加到表中。当向表中***新的运动候选时，使用约束先进先出(FIFO)规则，其中首先应用冗余检查来查找表中是否存在相同的HMVP。如果找到，则从表中删除相同的HMVP，然后将所有HMVP候选向前移动。
HMVP候选可以用于合并候选列表的构建过程。表格中最新的几个HMVP候选按顺序进行检查，并***到TMVP候选之后的候选列表中。冗余检查应用于空间或时间合并候选的HMVP候选。
为了减少冗余检查操作的数量，引入了以下简化：
1.用于合并列表生成的HMPV候选的数目设置为(N<＝4)？M：(8-N)，其中N指示合并列表中现有候选的数目，M指示表中可用的HMVP候选的数目。
2.一旦可用合并候选的总数达到最大允许合并候选减1，则终止来自HMVP的合并候选列表构建过程。
成对平均合并候选导出
通过对现有合并候选列表中预定义的候选对进行平均生成成对平均候选，预定义的候选对定义为{(0,1)，(0,2)，(1,2)，(0,3)，(1,3)，(2,3)}，其中数字表示合并候选列表的合并索引。每个参考列表分别计算平均运动矢量。如果两个运动矢量都在一个列表中可用，则即使它们指向不同的参考图片，这两个运动矢量也会被平均；如果只有一个运动矢量可用，则直接使用该运动矢量；如果没有运动矢量可用，则保持此列表无效。
当添加成对平均合并候选后合并列表未满时，将零MVP***到最后，直到遇到最大合并候选数。
合并估计区域
合并估计区域(MER)允许为同一合并估计区域(MER)中的CU独立导出合并候选列表。在生成当前CU的合并候选列表时，不包括与当前CU在同一MER内的候选块。此外，仅当(xCb+cbWidth)>>Log2ParMrgLevel大于xCb>>Log2ParMrgLevel并且(yCb+cbHeight)>>Log2ParMrgLevel大于(yCb>>Log2ParMrgLevel)并且(xCb，yCb)是图片中当前CU的左上角亮度样本位置并且(cbWidth，cbHeight)是CU大小时，才更新基于历史的运动矢量预测子候选列表的更新过程。MER大小在编码器侧选择并在序列参数集中用信号通知为log2_parallel_merge_level_minus2。
2.1.2.2合并模式与MVD(MMVD)
除了合并模式，其中隐式导出的运动信息直接用于当前CU的预测样本生成，VVC引入了运动矢量差异合并模式(MMVD)。MMVD标志在发送跳过标志和合并标志后立即发出信号，以指定MMVD模式是否用于CU。
在MMVD中，选择合并候选后，通过信号指示的MVD信息进一步细化。进一步的信息包括合并候选标志、指定运动幅度的索引和指示运动方向的索引。在MMVD模式中，为合并列表中的前两个候选选择一个作为MV基础。合并候选标志被发信号以指定使用哪一个。
距离索引指定运动幅度信息，并指示与起点的预定义偏移。图15是示意图1500，示出了具有运动矢量差异(MMVD)搜索点的合并模式。如图15所示，偏移被添加到起始MV的水平分量或垂直分量。距离索引和预定义偏移的关系在表2-5中指定。
表2-5-距离索引与预定义偏移的关系
方向索引表示MVD相对于起点的方向。方向索引可以表示表2-6所示的四个方向。注意，MVD符号的含义可能会根据起始MV的信息而变化。当起始MV是不可预测的MV或双向预测MV，两个列表都指向当前图片的同一侧时(即两个参考的POC都大于当前图片的POC，或者都小于当前图片的POC)，表2-6中的符号指定了添加到起始MV的MV偏移量的符号。当起始MV是双向预测MV时，两个MV指向当前图片的不同侧(即一个参考的POC大于当前图片的POC，另一个参考的POC小于当前图片的POC)，表2-6中的符号指定MV偏移的符号添加到起始MV的list0MV分量，list1MV的符号具有相反的值。
表2-6-按方向索引指定的MV偏移标志
方向IDX 00 01 10 11
x-轴 + - N/A N/A
y-轴 N/A N/A + -
2.1.2.3利用CU级别权重的双向预测
在HEVC，通过对从两个不同参考图片获得的两个预测信号和/或使用两个不同的运动矢量进行平均来生成双向预测信号。在VVC，双向预测模式扩展到简单平均之外，以允许对两个预测信号进行加权平均。
Pbi-pred＝((8-w)*P0+w*P1+4)＞＞3 (2-7)
加权平均双向预测允许五个权重，w∈{-2,3,4,5,10}.。对于每个双向预测CU，权重w以两种方式之一确定：1)对于非合并CU，权重索引在运动矢量差异之后发出信号；2)对于合并CU，权重索引基于合并候选索引从相邻块推断。BCW仅适用于具有256或更高亮度样本的CU(即CU宽度乘以CU高度大于或等于256)。对于低延迟图片，使用所有5个权重。对于非低延迟图片，仅使用3个权重(w≤{3,4,5})。
–在编码器处，应用快速搜索算法在不显著增加编码器复杂度的情况下找到权重索引，这些算法总结如下，进一步的细节读者可参考VTM软件和文档JVET-L0646。当与AMVR结合时，如果当前图片是低延迟图片，则仅有条件地检查不相等的权重是否为1-pel和4-pel运动矢量精度。
–当与仿射结合时，当且仅当选择仿射模式作为当前最佳模式时，才会对不相等的权重进行仿射ME。
–当双向预测中的两张参考图片相同时，不相等的权重只是有条件地检查。
–当满足某些条件时，不搜索不等权重，这取决于当前图片与其参考图片之间的POC距离、编解码QP和时间级别。
BCW权重索引是使用一个上下文经编解码的二进制然后是旁路经编解码的二进制，经编解码的。第一上下文经编解码的二进制指示是否使用了相等的权重；如果使用了不相等的权重，则使用旁路编解码来用信号通知附加二进制，以指示使用了哪个不相等的权重。
加权预测(WP)是一种编解码工具，由H.264/AVC和HEVC标准支持，以有效地编解码视频内容与衰落。对WP的支持也被添加到VVC标准中。WP允许为每个参考图片列表L0和L1中的每个参考图片发送加权参数(权重和偏移量)。然后，在运动补偿期间，应用相应参考图片的权重和偏移量。WP和BCW是为不同类型的视频内容设计的。为了避免WP和BCW之间的交互，这将使VVC解码器设计复杂化，如果CU使用WP，则不用信号通知BCW权重索引，并推断w为4(即应用相等的权重)。对于合并CU，基于合并候选索引从相邻块推断权重索引这可以应用于正常合并模式和继承仿射合并模式。对于构建的仿射合并模式，仿射运动信息是基于最多3个块的运动信息构建的。使用构建的仿射合并模式的CU的BCW索引简单地设置为等于第一控制点MV的BCW索引。
在VVC，CIIP和BCW不能联合应用于CU。当CU用CIIP模式经编解码的时候，当前CU的BCW索引设置为2，例如相等权重。
2.1.2.4双向光流(BDOF)
双向光流(BDOF)工具包含在VVC中。BDOF，以前称为BIO，包含在JEM中。与JEM版本相比，VVC中的BDOF是一个更简单的版本，需要更少的计算，特别是在乘法次数和乘数大小方面。
BDOF用于在4×4子块级别细化CU的双向预测信号。BDOF应用于满足以下所有条件的CU：
–CU是经编解码的，使用“真”双向预测模式，即，两个参考图片中的一个在当前图片的显示顺序之前，另一个在当前图片的显示顺序之后
–两个参考图片到当前图片的距离(即POC差异)相同
–两张参考图片均为短期参考图片。
–CU不是经编解码的仿射模式或ATMVP合并模式
–CU有超过64个亮度样本
–CU高度和CU宽度均大于等于8个亮度样本
–BCW权重索引表示等权重
–当前CU未启用WP
–CIIP模式不用于当前CU
BDOF仅应用于亮度分量，顾名思义，BDOF模式基于光流概念，该概念假定物体的运动是平滑的。对于每个4×4子块，通过最小化L0和L1预测样本之间的差异来计算运动细化(vx,vy)。然后使用运动细化来调整4x4子块中的双向预测样本值。BDOF过程中应用以下步骤。
首先，通过直接计算两个邻近样本之间的差异来计算两个预测信号的水平和垂直梯度，和即，
其中I(k)(i,j)是列表k中预测信号的坐标(i,j)处的样本值，k＝0,1，并且shift1是基于亮度位深度bitDepth计算的，因为shift1＝max(6,bitDepth-6)。
然后，梯度S1,S2,S3,S5和S6的自相关和互相关计算如为
其中
θ(i,j)＝(I(1)(i,j)＞＞nb)-(I(0)(i,j)＞＞nb)
其中Ω是4×4子块周围的6×6窗口，并且na和nb的值分别设置为min(1,bitDepth-11)和min(4,bitDepth-8)。
然后使用交叉和自相关术语使用以下导出运动细化(vx,vy)：
其中th′BIO＝2max(5,BD-7)。是取整函数，并且
基于运动细化和梯度，为4×4子块中的每个样本计算以下调整：
最后，通过调整双向预测样本计算CU的BDOF样本，如下所示：
predBDOF(x,y)＝(I(0)(x,y)+I(1)(x,y)+b(x,y)+ooffset)＞＞shift
(2-13)
选择这些值使得BDOF过程中的乘法器不超过15位，并且BDOF过程中中间参数的最大位宽保持在32位以内。
为了导出梯度值，需要生成当前CU边界之外的列表k(k＝0,1)中的一些预测样本I(k)(i,j)。图16示出了BDOF中使用的扩展CU区域的示意图。如图16的图1600所示，VVC中的BDOF在CU的边界周围使用一个扩展行/列。为了控制生成边界外预测样本的计算复杂度，扩展区域(在图16中表示为1610)中的预测样本是通过直接取附近整数位置的参考样本(在坐标上使用floor()操作)而不进行插值来生成的，并使用正常的8抽头运动补偿插值滤波器来生成CU内的预测样本(在图16中表示为1620)。这些扩展样本值仅用于梯度计算。对于BDOF过程中的其余步骤，如果需要CU边界之外的任何样本和梯度值，则将它们从最近的邻居处填充(即重复)。
当一个CU的宽度和/或高度大于16个亮度样本时，它将被分成宽度和/或高度等于16个亮度样本的子块，子块边界被视为BDOF过程中的CU边界。BDOF过程的最大单位大小限制为16x16。对于每个子块，BDOF过程可以跳过。当初始L0和L1预测样本之间的SAD小于阈值时，BDOF过程不应用于子块。阈值设置为(8*W*(H>>1)，其中W表示子块宽度，H表示子块高度。为了避免SAD计算的额外复杂性，这里重新使用DVMR过程中计算的初始L0和L1预测样本之间的SAD。
如果为当前块启用了BCW，即BCW权重索引指示不相等的权重，则禁用双向光流。类似地，如果为当前块启用了WP，即两个参考图像中的任何一个的luma_weight_lx_flag为1，则BDOF也被禁用。当CU使用对称MVD模式或CIIP模式经编解码时，BDOF也被禁用。
2.1.2.5对称MVD编解码
在VVC中，除了常规的单向预测和双向预测模式MVD信令之外，还应用了对称MVD模式进行双向预测MVD信令。在对称MVD模式下，包括list-0和list-1的参考图片索引以及list-1的MVD在内的运动信息不是信令的，而是导出的。
对称MVD模式的解码过程如下：
1)在条带级别，变量BiDirPredFlag，RefIdxSymL0和RefIdxSymL1导出如下：
–如果mvd_l1_zero_flag为1，则BiDirPredFlag设置为等于0。
–否则，如果list-0中最近的参考图片和list-1中最近的参考图片形成向前和向后的参考图片对或向后和向前的参考图片对，BiDirPredFlag设置为1，list-0和list-1参考图片都是短期参考图片。否则BiDirPredFlag设置为0。
2)在CU级别，如果CU是双向预测经编解码的并且BiDirPredFlag等于1，则显式地用信号通知指示是否使用对称模式的对称模式标志。
图14是对称MVD模式的说明。当对称模式标志为真时，只有mvp_l0_flag、mvp_l1_flag和MVD0被显式地用信号通知。list-0和list-1的参考索引分别设置为等于一对参考图片。MVD1设置为等于(-MVD0)。最终的运动矢量如下式所示。
在编码器中，对称MVD运动估计从初始MV评估开始。一组初始MV候选由从单向预测搜索获得的MV、双向预测搜索获得的MV和来自AMVP列表的MV组成。选择率失真成本最低的一个作为对称MVD运动搜索的初始MV。
2.1.2.6解码器侧运动矢量细化(DWVR)
为了提高合并模式MV的精度，在VVC中应用了基于双边匹配的解码器侧运动矢量细化。在双向预测操作中，在参考图片列表L0和参考图片列表L1中的初始MV周围搜索细化MV。BM方法计算参考图片列表L0和列表L1中两个候选块之间的失真。图18是说明解码侧运动矢量细化的示意图。如图18所示，计算基于初始MV周围的每个MV候选的块1810和1812之间的SAD，其中块1810在列表L0中的参考图片1801中，块1812针对当前图片1802在列表L1中的参考图片1803中。SAD最低的MV候选成为细化MV并用于生成双向预测信号。
在VVC，DMVR可应用于利用以下模式和特征经编解码的CU：
–具有双向预测MV的CU级合并模式
–一个参考图片是过去的，另一个参考图片是关于当前图片的未来的
–两个参考图片到当前图片的距离(即POC差异)相同
–两张参考图片均为短期参考图片
–CU有超过64个亮度样本
–CU高度和CU宽度均大于等于8个亮度样本
–BCW权重索引指示相等权重
–当前块未启用WP
–当前块不使用CIIP模式
通过DMVR过程导出的细化MV用于生成帧间预测样本，并用于未来图像的时间运动矢量预测编解码。原始MV用于去块过程，也用于空间运动矢量预测以供未来CU编解码。
DMVR的附加功能在以下子条款中提到。
搜索方案
在DVMR中，搜索点围绕初始MVMV偏移服从MV差分镜像规则。换句话说，任何被DMVR检查的点，用候选MV对(MV0，MV1)表示，服从以下两个方程：
MV0′＝MV0+MV_offset (2-15)
V1′＝MV1-MV_offset (2-16)
其中MV_offset表示其中一张参考图片中初始MV和细化MV之间的细化偏移，细化搜索范围为初始MV的两个整数亮度样本，搜索包括整数样本偏移搜索阶段和分数样本细化阶段。
25点全搜索应用于整数样本偏移搜索。首先计算初始MV对的SAD。如果初始MV对的SAD小于阈值，则终止DMVR的整数样本阶段。否则，计算剩余24个点的SAD并按光栅扫描顺序检查。选择SAD最小的点作为整数样本偏移搜索阶段的输出。为了减少DMVR细化不确定性的惩罚，提出在DMVR过程中偏向原始MV。初始MV候选引用的参考块之间的SAD降低SAD值的1/4。
整数样本搜索之后是分数样本细化。为了节省计算复杂度，使用参数误差面方程导出分数样本细化，而不是SAD比较的附加搜索。分数样本细化基于整数样本搜索阶段的输出有条件地调用。当整数样本搜索阶段在第一次迭代或第二次迭代搜索中以中心具有最小SAD终止时，进一步应用分数样本细化。
在基于亚像素偏移的参数误差面估计中，利用中心位置成本和距中心四个邻近位置的成本来拟合以下形式的二维抛物线误差面方程
E(x,y)＝A(x-xmin)2+B(y-ymin)2+C (2-17)
其中(xmin,ymin)对应于成本最小的分数位置，C对应于最小成本值。通过使用五个搜索点的成本值求解上述方程，(xmin,ymin)被计算为：
xmin＝(E(-1,0)-E(1,0))/(2(E(-1,0)+E(1,0)-2E(0,0))) (2-18)
xmin＝(E(-1,0)-E(1,0))/(2(E(-1,0)+E(1,0)-2E(0,0))) (2-19)
xmin和ymin的值被自动约束为-8和8之间，因为所有成本值都是正的，最小值是E(0,0)。这对应于1/16像素MV精度在VVC的半像素偏移。计算出的分数xmin,ymin)被添加到整数距离细化MV以获得亚像素精确的细化增量MV。
Bilinear-interpolation和样本填充
在VVC中，MV的分辨率为1/16亮度样本。使用8抽头插值滤波器对分数位置的样本进行插值。在DMVR中，搜索点围绕着具有整数样本偏移的初始分数MV，因此需要对这些分数位置的样本进行插值以进行DMVR搜索过程。为了降低计算复杂度，使用双线性插值滤波器生成DMVR搜索过程的分数样本。另一个重要的影响是，通过使用双线性滤波器，与正常运动补偿过程相比，DVMR在2个样本的搜索范围内不会访问更多的参考样本。在DMVR搜索过程获得细化MV后，应用正常的8抽头插值滤波器生成最终预测。为了不对正常MC过程访问更多的参考样本，将从这些可用样本中填充基于原始MV的插值过程不需要但基于细化MV的插值过程需要的样本。
最大DMVR处理单元
当CU的宽度和/或高度大于16个亮度样本时，它将被进一步拆分为宽度和/或高度等于16个亮度样本的子块。DMVR搜索过程的最大单位大小限制为16x16。
2.1.2.7组合的帧间和帧内预测(CIIP)
在VVC，在合并模式下经编解码的CU时，如果CU包含至少64个亮度样本(即CU宽度乘以CU高度等于或大于64)，并且如果CU宽度和CU高度均小于128个亮度样本，则用信号通知附加标志，以指示是否将组合帧间/帧内预测(CIIP)模式应用于当前CU。正如其名称所示，CIIP预测将帧间预测信号与帧内预测信号组合在一起。CIIP模式下的帧间预测信号Pinter是使用应用于常规合并模式的相同帧间预测过程导出的；并且帧内预测信号Pintra是跟随平面模式的常规帧内预测过程导出的。然后，使用加权平均合并帧内和帧间预测信号，其中根据顶部和左侧相邻块的编解码模式计算权重值(在图19的示意图1900中描绘)如下：
如果顶部邻居可用并且是帧内经编解码的，则将isIntraTop设为1，否则将isIntraTop设为0；
–如果左侧邻居是可用的并且帧内经编解码的，则将isIntraLeft设置为1，否则将isIntraLeft设置为0；
–如果(isIntraLeft+isIntraTop)等于2，则wt设置为3；
–否则，如果(isIntraLeft+isIntraTop)等于1，则wt设置为2；
–否则，将wt设置为1。
CIIP预测形成如下：
PCIIP＝((4-wt)*Pinter+wt*Pintra+2)＞＞2 (2-20)
2.1.2.8 CIIP与PDPC混合
CIIP模式扩展为合并预测与PDPC预测子(CIIP_PDPC)混合，常规合并模式的预测使用上述(Rx，-1)和左侧(R-1，y)重构样本进行细化。这种细化继承了位置相关预测组合(PDPC)方案。CIIP_PDPC模式预测的流程图可以如图20所示，其中WT和WL是依赖于PDPC定义的块中样本位置的加权值。
CIIP_PDPC模式与CIIP模式一起用信号通知。当CIIP标志为真时，进一步用信号通知另一个标志，即CIIP_PDPC标志，以进一步用信号通知以指示是否使用CIIP_PDPC。
2.1.2.9几何分区模式(GPM)
在VVC中，针对帧间预测，支持几何划分模式。几何划分模式使用CU级别标志作为一种合并模式，其他合并模式包括常规合并模式、MMVD模式、CIIP模式和子块合并模式。总共64个分区由几何划分模式支持，每个可能的CU大小w×h＝2m×2n，其中m,n∈{3…6}不包括8x64和64x8。
图21显示了按相同角度分组的GPM分割示例的示意图2100。当使用这种模式时，CU被几何定位的直线分成两部分(图21)。分割线的位置从特定分区的角度和偏移参数数学上导出。CU中几何分区的每个部分都使用其自身的运动进行帧间预测；每个分区只允许单向预测，即每个部分都有一个运动矢量和一个参考索引。应用单向预测运动约束以确保与传统双向预测相同，每个CU只需要两个运动补偿预测。
如果几何划分模式用于当前CU，则指示几何划分的划分模式(角度和偏移)的几何划分索引，以及两个合并索引(每个分区一个)进一步用信号通知。最大GPM候选大小的数目以SPS显式用信号通知，并指定GPM合并索引的语法二进制化。在预测几何划分的每个部分之后，使用具有自适应权重的混合处理调整沿几何划分边缘的样本值。这是整个CU的预测信号，并且将像在其他预测模式中一样将变换和量化过程应用于整个CU。最后，存储使用几何划分模式预测的CU的运动场。
单预测候选列表构建
单向预测候选列表直接来源于根据扩展合并预测过程构建的合并候选列表。图22是说明几何划分模式的单向预测MV选择的示意图。表示n为几何单向预测候选列表2210中单向预测运动的索引。第n个扩展合并候选的LX运动矢量，其中X等于n的奇偶校验，用作几何划分模式的第n个单向预测运动矢量。这些运动矢量在图22中用“x”标记。在不存在第n个扩展合并候选的相应LX运动矢量的情况下，使用同一候选的L(1-X)运动矢量代替作为几何划分模式的单向预测运动矢量。
沿几何分区边缘混合
利用自身运动预测几何分区的每个部分后，对两个预测信号应用混合，导出几何分区边缘周围的样本。基于单个位置与分区边缘之间的距离，导出CU每个位置的混合权重。
位置(x,y)t到分区边缘的距离导出为：
其中i，j是几何分区的角度和偏移的索引，它们取决于用信号通知的几何分区索引。ρx,j和ρy,j的符号取决于角度索引i。
几何分区的每个部分的权重如下导出：
wIdxL(x,y)＝partIdx？32+d(x,y):32-d(x,y) (2-25)
w1(x,y)＝1-w0(x,y) (2-27)
partIdx取决于角度索引i。图23中的图2300显示了权重w0的一个示例。
用于几何划分模式的运动场存储
来自几何分区的第一部分的Mv1、来自几何分区的第二部分的Mv2以及Mv1和Mv2的组合Mv被存储在几何划分模式经编解码的CU的运动场中。
运动场中每个单独位置的存储运动矢量类型被确定为：
sType＝abs(motionIdx)<32？2∶(motionIdx≤0？(1-partIdx):partIdx)
(2-43)
其中motionIdx等于d(4x+2,4y+2)，这是从方程(2-36)重新计算的。partIdx取决于角度索引i。
如果sType等于0或1，则将Mv0或Mv1存储在相应的运动场中，否则如果sType等于2，则存储来自Mv0和Mv2的组合Mv。
组合Mv使用以下过程生成：
1)如果Mv1和Mv2来自不同的参考图片列表(一个来自L0，另一个来自L1)，则简单地组合Mv1和Mv2以形成双向预测运动矢量。
2)否则，如果Mv1和Mv2来自同一列表，则仅存储单向预测运动Mv2。
2.1.2.10多假设预测(MHP)
在多假设预测中，在帧间AMVP模式、常规合并模式和MMVD模式之上发出最多两个额外的预测信号。所得到的整体预测信号随着每个额外的预测信号迭代累积。
pn+1＝(1-αn+1)pn+αn+1hn+1
权重因子α根据下表指定：
add_hyp_weight_idx α
0 1/4
1 -1/8
对于帧间AMVP模式，只有在双向预测模式中选择BCW中的非相等权重时才应用MHP。
2.1.2.11合并候选的自适应重新排序(ARMC)
重新排序方法应用于常规合并模式、模板匹配(TM)合并模式和仿射合并模式(不包括SbTMVP候选)。对于TM合并模式，合并候选在细化过程之前重新排序。
在构建合并候选列表后，合并候选被分成几个子组。对于常规合并模式和TM合并模式，子组大小设置为5。仿射合并模式，子组大小设置为3。每个子组中的合并候选根据基于模板匹配的成本值升序重新排序。为了简化，最后但不是第一个子组中的合并候选不重新排序。
合并候选的模板匹配成本通过当前块的模板的样本与其对应的参考样本之间的绝对差异(SAD)之和来衡量。模板包括一组邻近当前块的重构样本。模板的参考样本由合并候选的运动信息定位。
2.1.3解码器侧帧内模式导出(DIMD)
从当前块的邻近像素计算的梯度直方图(HoG)中选择三个角模式。一旦选择了这三种模式，就正常地计算它们的预测，然后将它们的加权平均值用作块的最终预测。为了确定权重，三种模式都使用了HoG中的相应振幅。DIMD模式用作替代预测模式，始终在FullRD模式中进行检查。
当前版本的DIMD在信令、HoG计算和预测融合方面进行了一些修改。此修改的目的是提高编解码性能，并解决上次会议期间提出的复杂性问题(即4×4块的吞吐量)。以下各节介绍了每个方面的修改。
信令
图24显示了VTM5中与所提出的DIMD集成的解析标志/索引的顺序。
可以看出，首先使用单个CABAC上下文来解析块的DIMD标志，该上下文被初始化为默认值154。
如果flag＝＝0，则解析将正常继续。
否则(如果标志＝＝1)，则仅解析ISP索引，并且推断出以下标志/索引为零：BDPCM标志、MIP标志、MRL索引。在这种情况下，也会跳过整个IPM解析。
在解析阶段，当常规非DIMD块查询其DIMD邻近的IPM时，模式PLANAR_IDX被用作DIMD块的虚拟IPM。
纹理分析
DIMD的纹理分析包括梯度直方图(HoG)计算(图21)。梯度直方图计算是通过对块周围宽度为3的模板中的像素应用水平和垂直Sobel滤波。但是，如果以上模板像素属于不同的CTU，那么它们将不会用于纹理分析。
一旦计算出，就为块选择对应于两个最高直方图条的IPM。
在先前的版本中，模板中线中的所有像素都参与了HoG计算(JVET-N0342-v5,JVETof ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11)。然而，当前版本通过在4x4块上更稀疏地应用Sobel滤波来提高该过程的吞吐量。为此，仅使用从左侧起的一个像素和从上起的一个亚像素。如图25所示。图25是2500的示意图，说明了从宽度为3像素的模板进行HoG计算。
除了减少梯度计算的操作次数外，该特性还简化了从HoG中选择最佳2个模式，因为得到的HoG不能具有两个以上的非零振幅。
预测融合
该方法对每个块使用三个预测子的融合。然而，建议预测模式的选择不同，并利用组合假设帧内预测方法，其中当计算帧内预测候选时，平面模式被认为与其他模式组合使用。在当前版本中，对应于两个最高HoG条的两个IPM与平面模式相结合。
预测融合被应用为上述三个预测的加权平均值。为此，平面的权重固定为21/64(～1/3)。剩余的43/64(～2/3)权重在两个HoG IPM之间共享按其HoG条的振幅成比例共享。图22表现了这一过程。图26是示意图2600，说明了通过两个HoG模式和平面的加权平均进行预测融合。
2.1.4基于模板的帧内模式导出(TIMD)
使用相邻模板从MPM导出TIMD模式。TIMD模式用作CU的附加帧内预测方法。
TIMD模式导出
对于MPM中的每种帧内预测模式，计算模板的预测和重建样本之间的SATD，选择SATD最小的帧内预测模式作为TIMD模式，用于当前CU的帧内预测，TIMD模式的导出中包括位置相关的帧内预测组合(PDPC)。
TIMD信令
在序列参数集(SPS)中发出标志以启用/禁用建议的方法。当标志为真时，发出CU级别标志以指示是否使用建议的TIMD方法。TIMD标志紧跟在MIP标志之后。如果TIMD标志等于真，则与亮度帧内预测模式相关的其余语法元素，包括MRL、ISP和亮度帧内预测模式的正常解析阶段，都将被跳过。
TIMD模式导出中MPM列表构建的修改
在MPM列表的构建过程中，当相邻块被帧间-经编解码的时候，帧内预测模式被导出为平面。为了提高MPM列表的准确性，当相邻块被帧间-经编解码的时候，利用运动矢量和参考图片导出出传播的帧内预测模式，并用于MPM列表的构建。这种修改仅适用于TIMD模式的导出。
3.其它实施例
3.1关于预测列表剪枝，连结MMVD和模板匹配
下面的详细实施例应被视为解释一般概念的示例，不应以狭义的方式解释这些实施例，此外，这些实施例可以以任何方式组合。
术语'GPM'可以表示将一个块分割成两个或多个分区/子区域的编解码方法，其中至少一个分区/子区域是非矩形或非正方形的，或者它不能由将一个块分割成多个矩形子区域的任何现有分区结构(例如，QT/BT/TT)生成。在一个示例中，对于GPM经编解码的块，基于子区域的分割方式为编解码块导出一个或多个加权掩码，并且编解码块的最终预测信号由与子区域相关联的两个或多个辅助预测信号的加权和生成。
术语'GPM'可指示几何合并模式(GEO)、和/或几何分区模式(GPM)、和/或楔形预测模式、和/或三角形预测模式(TPM)、和/或具有运动差异矢量的GPM块(GMVD)、和/或具有运动细化的GPM块、和/或基于GPM的任何变体。
术语‘块’可表示编解码块(CB)、CU、PU、TU、PB、TB。
还应当注意，GPM/GMVD应用于其它模式(例如，AMVP模式)也可以使用以下方法，其中合并候选列表可以由AMVP候选列表替换。
短语“正常/常规合并候选”可以表示由扩展合并预测过程生成的合并候选(如2.1.1节所示)。它还可以表示除GPM合并候选和基于子块的合并候选之外的任何其他高级合并候选。
术语"TM"可以指模板匹配，其预测
本公开实施例中的术语“剪枝/剪枝”可以指两个候选的冗余检查，例如在运动候选列表(例如，合并列表、AMVP列表、GPM列表、TM列表等)构建过程中，例如，在向运动候选列表***新候选之前，将新候选与运动候选列表中的现有候选中的至少一个进行比较，并且仅当满足某些条件(例如，运动/参考索引以某种方式不同于现有候选等)时，才将新候选最终***到运动候选列表中。
在本公开的实施例中的术语"预测列表"可以指包含多于一个用于视频编解码过程的运动候选的某个或任何预测列表，例如GPM候选列表、用于附加假设的MHP预测列表、MHP基础假设候选列表、TM预测列表、DMVR预测列表、BDMVR预测列表、仿射AMVP列表、仿射合并列表、常规合并列表、常规AMVP列表、sbTMVP预测列表等。
在下面的讨论中，“新候选”可以指在候选列表构建过程中被认为入候选列表中的候选。“现有候选”可以指在候选列表构建过程中已经在候选列表中的候选。
1.在一个示例中，在预测列表生成/构建的过程期间，是否向列表***新的运动候选可以取决于其自身与预测列表中的至少一个现有候选之间的比较。
a.例如，关于是否将新运动候选***到预测列表的确定，可以将新运动候选与预测列表中的所有现有候选进行比较。
b.例如，关于是否将新运动候选***到预测列表的确定，可以首先将新运动候选与预测列表中某些预定义位置处的至多
Y(Y是预定义值，诸如X＝1或2)个现有候选进行比较。
a.例如，某些预定义位置最多可以是来自预测列表末尾的Y个候选位置。
b.例如，某些预定义位置可以是来自预测列表末尾的第一和第三候选。
c.例如，某个预定义位置可以是预测列表末尾的第二候选。
d.例如，某个预定义位置可以是来自预测列表末尾的第一候选。
c.例如，当将新候选与预测列表中的现有候选进行比较时，可以应用相同检查。
a.例如，当将新候选与预测列表中的现有候选进行比较时，可以应用相同运动矢量校验。
i.例如，如果预测列表中的新候选和现有候选的运动矢量相同(运动矢量的水平和垂直分量都相同，L0运动和L1运动都相同)，则可以不将新候选***到预测列表中。
b.例如，当将新候选与预测列表中的现有候选进行比较时，可以应用参考索引相同检查。
i.例如，如果预测列表中的新候选和现有候选的参考索引相同(L0运动和L1运动都相同)，则可以不将新候选***到预测列表中。
c.例如，当将新候选与预测列表中的现有候选进行比较时，可以应用BCW索引检查。
d.例如，当将新候选与预测列表中的现有候选进行比较时，可以应用LIC标志检查。
e.例如，当将新候选与预测列表中的现有候选进行比较时，可以应用OBMC标志检查。
f.例如，当将新候选与预测列表中的现有候选进行比较时，可以应用运动矢量精度(例如，1/16-pel、1/8-pel、1/4-pel、1/2-pel、1-pel、4-pel精度等)检查。
g.例如，当将新候选与预测列表中的现有候选进行比较时，可以应用插值滤波器(例如，半像素插值滤波器等)检查。
h.例如，当上述两个条件都满足时，可能不会将新的候选***到预测列表中。
i.例如，可以考虑或不考虑第一条边信息来确定两个候选是否相同。
i.在一个示例中，第一条边信息可以是BCW索引。
ii.在一个示例中，第一条边信息可以是LIC标志。
d.例如，当将新候选与预测列表中的现有候选进行比较时，可以使用一个或多个阈值来确定它们有多不同。
a.例如，第一阈值可用于确定候选的允许运动矢量差异。
i.在一个示例中，如果两个候选的绝对MV差异小于或不大于阈值，则将这两个候选视为相同。
b.例如，可以使用第二阈值来确定候选的参考索引差异。
c.例如，可以从编码器向解码器用信号通知阈值信号。
d.例如，阈值可能取决于解码信息。
e.在一个示例中，解码信息可以包括运动候选的运动矢量精度。
i.在一个示例中，解码信息可以包括BCW信息。
ii.在一个示例中，解码信息可以包括LIC信息。
iii.在一个示例中，解码信息可以包括运动补偿插值滤波器信息。
iv.在一个示例中，解码信息可以包括OBMC信息。
v.例如，解码信息可以包括编解码单元的宽度和/或高度。
vi.例如，解码信息可以包括预测列表代的类型。
·在一个示例中，用于预测列表A生成的差异检查阈值可以不同于用于预测列表B生成的差异检查阈值，其中A和B是两种预测列表类型。
vii.例如，预测列表A生成的差分校验阈值可以与预测列表B生成的差分校验阈值相同，其中A和B是两种预测列表类型。
·另外，用于预测列表A生成的整个差异检查过程(超过阈值)可以与用于预测列表B生成的差异检查阈值相同。
·例如，A或B可以GPM候选列表生成。
·例如，A或B可以是用于附加假设的MHP预测列表生成。
·例如，A或B可以是MHP基本假设候选列表生成。
·例如，A或B可以TM候选列表生成。
·例如，A或B可以是DMVR候选列表生成。
·例如，A或B可以是BDMVR候选列表生成。
·例如，A或B可以是仿射AMVP候选列表生成。
·例如，A或B可以是仿射合并候选列表生成。
·例如，A或B可以常规合并候选列表生成。
·例如，A或B可以是常规的AMVP候选列表生成。
·例如，A或B可以是SbTMVP候选列表生成。
2.在一个示例中，在确定将新候选***到预测列表期间如何执行剪枝处理，可以取决于经编解码的/解码的信息。
a.例如，是否使用剪枝处理可以依赖于参考图片列表信息。
a.例如，如果list0和list1中的参考图片信息(例如，POC距离、参考索引等)都参考相同的参考图片，则剪枝过程可以不应用于后者候选。
i.另外，后一个候选可能不入到预测列表中。
b.例如，预测列表指的是单向预测列表(例如，GPM列表、用于生成附加假设的MHP预测列表)。
c.例如，预测列表是指双向预测列表。
d.例如，预测列表可以包括单向和双向候选。
b.例如，是否使用相同的运动矢量检查(例如，项目符号1.d)或基于阈值的运动矢量检查(例如，项目符号1.e)，可以依赖于参考图片列表信息。
a.在一个示例中，如果列表0和列表1中的所有参考图片相同，则可以应用相同的运动矢量检查。
b.在一个示例中，如果列表0和列表1中的所有参考图片相同，则可以应用相同的基于阈值的运动矢量检查。
c.在一个示例中，如果列表0和列表1中的至少一个参考图片不同，则可以应用相同的运动矢量检查。
d.在一个示例中，如果列表0和列表1中的至少一个参考图片不同，则可以应用相同的基于阈值的运动矢量检查。
3.在一个示例中，可以将一个或多个生成的候选附加在预测列表的末尾，直到预测列表已满。
a.例如，预测列表是GPM预测列表。
b.例如，预测列表是用于附加假设生成的MHP预测列表。
c.例如，要附加到预测列表的候选数可以取决于预测列表的最大允许长度。
a.例如，可以预先定义预测列表的最大允许长度。
b.例如，预测列表的最大允许长度可以用信号通知比特流。
d.例如，如果候选的数量(例如，在剪枝之后)小于预测列表的最大允许长度，则可以向预测列表***附加候选，直到候选的数量达到预测列表的最大长度。
e.例如，可以通过平均列表中的某些可用候选来生成附加候选。
a.另外，剪枝过程可以应用于平均候选。
b.备选地，剪枝过程可以不应用于平均候选。
c.对候选进行“平均”的过程可以包括对候选的MV进行平均的过程。
f.例如，附加候选可以是零运动候选。
a.例如，可以在预测列表的末尾附加零运动候选。
b.另外，剪枝过程可以不应用于列表末尾的零运动候选。
g.或者，可以在预测列表的末尾附加一个或多个生成的候选，并且填充后的预测列表可能不满。
a.例如，可以将固定数量的平均候选***到预测列表中。
b.例如，可以将固定数量的零运动候选***到预测列表中。
4.在一个示例中，在将基于模板匹配的运动细化应用于GPM(或，CIIP、MHP等的附加假设)运动候选的情况下，上述剪枝过程(项目符号1至4)可相应地应用于基于模板匹配的预测列表生成。
5.在一个示例中，在将基于模板匹配的运动细化应用于GPM(或，CIIP、MHP等的附加假设)运动候选的情况下，候选重新排序过程可在基于模板匹配的GPM列表生成期间应用。
a.例如，候选重新排序过程可以基于一个准则，其中每个候选的成本值可以根据当前图片邻近样本信息和/或参考图片参考样本信息来评估。
b.例如，可以在剪枝过程之前应用候选重新排序过程。
c.例如，可以在剪枝过程之后应用候选重新排序过程。
6.在一个示例中，解码器侧运动细化方法，例如基于模板匹配(基于TM)运动细化和基于运动矢量差异(基于MMVD)方法可以应用于视频单元。在下面的讨论中，基于TM的方法可以被任何其他解码器侧运动细化方法所取代。
a.例如，基于TM的方法可以指通过基于TM的方法细化(例如，在解码器侧隐式细化)视频单元的运动预测子/候选。
b.例如，基于MMVD的方法可以指运动矢量差异被显式地用信号通知并且加起来成为运动预测子/候选的视频单元。
c.例如，基于TM的方法和基于MMVD的方法两者都可以被允许用于GPM经编解码的视频单元。
d.例如，基于TM的方法和基于MMVD的方法两者都可以允许用于经CIIP编解码的视频单元。
e.例如，基于TM的方法和基于MMVD的方法两者都可以被允许用于MHP经编解码的视频单元(例如，基本假设和/或附加假设)。
f.例如，基于TM的方法和基于MMVD的方法两者都可以被允许用于常规合并经编解码的视频单元。
g.例如，基于TM的方法相关语法元素可以在基于MMVD的方法相关语法元素之后被用信号通知。
a.例如，是否以及如何用信号通知TM相关语法元素，可能取决于MMVD信息。
i.例如，MMVD信息可以指MMVD偏移值。
ii.例如，TM相关语法元素可以在零MMVD偏移被施加到视频单元的条件下被发信号通知用于编解码单元。
iii.例如，可以针对编解码单元(例如，GPM经编解码的块)的分区/子划分/子块用信号通知TM相关语法元素，条件是零MMVD偏移被应用于编解码单元的特定分区/子划分/子块。
iv.例如，TM相关语法元素可以用信号通知编解码单元，条件是编解码单元的所有分区/子划分/子块(例如，GPM经编解码的块)都是经编解码的，具有零MMVD偏移。
b.在一个示例中，TM相关语法元素可以被发信号通知用于视频单元，即使MMVD相关语法元素被发信号通知。
i.在一个示例中，通过MMVD方法用信号通知的MVD可以首先被添加到视频单元的MV，然后通过基于模板匹配的方法进一步细化所得到的MV。
c.例如，如果TM相关语法元素没有被信号通知，它们可能被推断为某些值(指示基于TM的方法没有应用于视频单元)。
h.例如，基于TM的方法相关语法元素可以在基于MMVD的方法相关语法元素之前发出信号。
a.例如，是否以及如何用信号通知MMVD相关语法元素，可以取决于是否将TM应用于视频单元。
i.例如，MMVD相关语法元素可以被发信号通知用于编解码单元，条件是不使用基于视频单元TM方法。
ii.例如，MMVD相关语法元素可以被发信号通知用于编解码单元的分区/子划分/子块(例如，GPM经编解码的块)，条件是TM不应用于编解码单元的特定分区/子划分/子块。
iii.例如，MMVD相关语法元素可以被发信号通知用于编解码单元，条件是编解码单元的所有分区/子划分/子块(例如，GPM经编解码的块)不具有经编解码的TM。
b.在一个示例中，MMVD相关语法元素可被发信号通知用于视频单元，即使TM相关语法元素被发信号通知。
i.在一个示例中，分区的MV可以首先通过基于模板匹配方法来细化，然后由MMVD方法用信号通知的MVD可以进一步添加到细化MV。
c.例如，如果没有通知MMVD相关语法元素，则可以将它们推断为某些值(表明基于MMVD的方法未应用于视频单元)。
i.例如，上述基于TM的方法的相关语法元素可以指用于整个视频单元的TM标志，和/或用于视频单元的单独分区/子划分/子块的单独TM标志，和/或基于TM的合并/AMVP候选索引，等等。
j.例如，上述基于MMVD的方法相关语法元素可以指整个视频单元的MMVD标志，和/或视频单元的单独分区/子划分/子块的单独MMVD标志，和/或基于MMVD的合并候选索引，和/或MMVD偏移方向，和/或MMVD偏移距离/步长等。
k.在一个例子中，可以在MMVD过程之前应用基于TM的方法。运动矢量可以首先由基于TM的方法细化，然后由信号MVD添加。
l.在一个例子中，可以在MMVD过程之后应用基于TM的方法。运动矢量可以首先由信号MVD添加，然后由基于TM的方法细化。
7.在一个示例中，在允许对视频单元使用显式运动细化和/或隐式运动细化的情况下(其中视频单元包含多于一个子块/子划分/分区)，可以不允许视频单元的第一子块/子划分/分区的运动候选(例如，合并索引)和第二子块/子划分/分区的运动候选相同(例如，对于视频单元的至少两个分区应使用不同的运动候选)。
a.可替换地，在这种情况下，可以允许视频单元的第一子块/子划分/分区的运动候选和第二子块/子划分/分区的运动候选相同(例如，对于视频单元的所有分区允许相同的运动候选)。
b.例如，不允许视频单元的第一子块/子划分/分区的隐式运动细化的运动候选和第二子块/子划分/分区的隐式运动细化的运动候选相同。
a.或者，可以允许视频单元的第一子块/子划分/分区的隐式运动细化的运动候选和第二子块/子划分/分区的隐式运动细化的运动候选相同。
c.例如，可以允许视频单元的第一子块/子划分/分区的显式运动细化的运动候选和第二子块/子划分/分区的显式运动细化的运动候选相同。
a.或者，不允许视频单元的第一子块/子划分/分区的显式运动细化的运动候选和第二子块/子划分/分区的显式运动细化的运动候选相同。
d.例如，当允许视频单元的两个子块/子划分/分区的运动候选相同时，
a.相同的运动候选可以用于视频单元的所有子块/子划分/分区。
b.相同的运动候选可以用于视频单元的至少两个子块/子划分/分区。
c.可以不发信号而是推断视频块的至少一个子块/子划分/分区的运动候选索引。
d.信号通知的运动候选索引的数量可以小于视频单元的子块/子划分/分区的数量。
i.例如，可以针对整个视频单元仅发信号通知特定预测方法的一个运动候选索引。
e.是否发出信号或推断运动候选索引可能取决于语法元素
i.例如，指示视频单元的所有子块/子划分/分区是否使用相同候选的语法标志)。
ii.例如，指示视频单元的指定子块/子划分/分区是否使用相同候选的语法参数。
f.每个子块/子划分/分区的运动候选索引可以独立地用信号通知(例如，不相互依赖)。
e.例如，当要求视频单元的两个子块/子划分/分区的运动候选不同时，
a.视频单元的不同子块/子划分/分区不允许使用相同的运动候选。
b.每个子块/子划分/分区的运动候选索引可以独立地发出信号(例如，不相互依赖)。
c.经编解码的第二子块/子划分/分区的运动候选索引的信号值可以小于解码过程中使用的运动候选索引。
i.如何将运动候选索引(在解码过程中)转换为信号通知的运动候选索引(在比特流中经编解码的)可以取决于第一子块/子划分/分区的运动候选索引和第二子块/子划分/分区的运动候选索引之间的关系。
f.例如，上面提到的“隐式运动细化”可以指基于TM的方法，或任何其他解码器侧运动细化方法。
g.例如，上面提到的显式运动细化可以指基于运动矢量差异(基于MMVD)的方法，或者显式地将运动差异信息从编码器发信号到解码器的任何其它运动细化方法。
总体权利要求
1.是否和/或如何应用上面公开的方法可以在序列级别/图片组级别/图片级别/条带级别/图块组级别被用信号通知，诸如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头中。
1)例如，所公开的方法可以指基于模板匹配(基于TM)运动细化GPM(或CIIP、或MHP等)。
2)例如，所公开的方法可以指基于运动矢量差异(基于MMVD)的GPM方法(或CIIP、或MHP等)。
3)例如，用信号通知的语法元素的存在可以依赖于图片/条带的宽度和/或高度。
2.是否和/或如何应用上面公开的方法可以再PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/其它种类的包含多于一个样本或像素的区域用信号通知。
3.是否和/或如何应用上面公开的方法可能取决于经编解码的信息，例如块大小、颜色格式、单/双树划分、颜色分量、条带/图片类型。
4问题
现有的视频编解码技术存在几个问题，需要进一步改进以获得更高的编解码增益。
(1)现有的CIIP仅将平面/PDPC与常规合并预测相结合，这可能会扩展到更多的变体。
(2)对于CIIP块及其变体，如何应用BCW、LIC、半像素插值滤波器可能会被重新设计。
(3)CIIP及其变体的运动信息和预测可以进一步完善。
(4)现有的CIIP不允许作为SKIP模式经编解码的，可以改进。
(5)现有的MMVD只允许SKIP模式和非SKIP模式的两个基本合并候选，这可能会得到改进。
5本公开的实施例
下面的详细实施例应被视为解释一般概念的示例，不应以狭义的方式解释这些实施例，此外，这些实施例可以以任何方式组合。
术语视频单元或编解码单元或块可表示编解码树块(CTB)、编解码树单元(CTU)、编解码块(CB)、CU、PU、TU、PB、TB。
在本公开的实施例中，关于“具有模式N的块经编解码”，这里“模式N”可以是预测模式(例如，MODE_INTRA、MODE_INTER、MODE_PLT、MODE_IBC等)或编解码技术(例如，AMVP、Merge、SMVD、BDOF、PROF、DMVR、AMVR、TM、Affine、CIIP、GPM、MMVD、BCW、HMVP、SbTMVP、TIMD、DIMD等)。
本公开实施例中的"CIIP"可以指任何编解码工具，其将多于一个预测/组合/假设组合/混合为一个预测结果，以供以后的重建过程使用。例如，本公开实施例中的"CIIP"可以指任何多个假设预测编解码工具/技术，例如常规CIIP、CIIPPDPC、扩展CIIP、MHP、GPM等。此外，CIIP/MHP/GPM的组合/假设可以是经编解码的INTER模式，或经编解码的INTRA模式，或INTER和INTRA模式以外的任何其他预测模式。此外，本公开实施例中的"CIIP"可能不一定必须是MERGE模式，例如，它可以是AMVP模式，或AMVP和MERGE之外的特殊预测模式。
1.提出了CIIP模式的变体，其中CIIP模式可以基于从AMVP预测、或增强合并预测或其他非常规合并预测生成的预测块。
1)此外，可以将CIIP模式经编解码为非合并模式类型。
a)例如，与CIIP模式相关的语法元素可能会在合并数据相关语法结构的范围之外被用信号通知。
2)例如，诸如规则AMVP、仿射AMVP、SMVP、TM/DMVR/BDOF细化AMVP或AMVP预测的变体的AMVP预测，可用于构建CIIP预测。
3)例如，增强合并预测，诸如GEO、MMVD、仿射、SbTMVP、TM/DMVR/BDOF细化合并，或合并预测的变体，可用于构建CIIP预测。
4)例如，其他预测，诸如MHP、amvp-合并以及任何其他不完全基于AMVP或合并的预测方法，可用于构建CIIP预测。
5)例如，CIIP模式可以将仿射预测和其他类型的预测混合在一起。
a)例如，仿射预测可以从帧间仿射合并模式产生。
b)例如，仿射预测可以从MMVD模式产生帧间仿射。
c)例如，仿射预测可以从AMVP模式产生帧间仿射。
6)在一个示例中，IBC预测可用于构建CIIP预测。
2.例如，自适应合并列表重新排序(例如，ARMC、AML)可应用于CIIP变体(例如，利用MMVD的CIIP、利用TM的CIIP、利用仿射的CIIP、利用sbTMVP的CIIP、MHP等)。
1)或者，对于某个CIIP变体，可能不允许自适应合并列表重新排序。
2)例如，自适应合并列表重新排序可以应用于CIIP的某些变体，但不允许其他变体。
a)例如，允许但不允许将其应用于利用仿射预测的CIIP。
3.例如，CIIP预测可以基于经编解码的信息(例如，BCW索引、半像素插值滤波器、LIC标志)来生成。
1)例如，CIIP预测可以是构建某个CIIP变体的最终预测的中间预测块，例如利用MMVD的CIIP、利用TM的CIIP、利用仿射的CIIP、利用sbTMVP的CIIP等。
2)例如，与通常从相邻块继承BCW索引的基于常规合并的预测块不同，对于CIIP预测块可能不会继承BCW索引(在这种情况下，BCW索引被设置为指定不将BCW应用于指定预测块的默认值)。
a)此外，具有指示L0预测和L1预测之间不相等权重的BCW索引的基于合并的预测可能不会用于CIIP预测块。
b)或者，基于合并的CIIP预测块的BCW索引可以从相邻块(例如基于常规合并的预测块)继承。
3)例如，与通常从相邻块继承半像素插值滤波器索引的基于常规合并的预测块不同，对于CIIP预测块可以不继承半像素插值滤波器索引(在这种情况下，半像素插值滤波器索引被设置为指定不将半像素插值滤波器应用于指定预测块的默认值)。
a)此外，使用半像素插值滤波器的基于合并的预测不能用于CIIP预测块。
b)或者，基于合并的CIIP预测块的半像素插值滤波器可以从相邻块(例如基于常规合并的预测块)继承。
4)例如，与通常从相邻块继承LIC标志的基于常规合并的预测块不同，对于CIIP预测块可能不会继承LIC标志(在这种情况下，LIC标志被设置为指定没有LIC应用于指定预测块的默认值)。
a)此外，使用LIC的基于合并的预测不能用于CIIP预测块。
b)或者，基于合并的CIIP预测块的LIC标志可以从相邻块(例如基于常规合并的预测块)继承。
5)例如，与基于AMVP的预测块不同，其中BCW索引在比特流中被发信号通知，CIIP块可以不发信号通知BCW索引。
a)此外，具有指示L0预测和L1预测之间不相等权重的BCW索引的AMVP预测块可能不被允许用作CIIP预测块。
b)可选地，BCW索引可以用信号通知用于经CIIP编解码的块。
6)例如，与基于AMVP的预测块不同，其中在比特流中用信号通知半像素插值索引，CIIP块可能不会用信号通知半像素插值索引。
a)此外，由半像素插值滤波器生成的AMVP预测块可能不被允许用作CIIP预测块。
b)或者，可以用信号通知半像素插值滤波器索引用于经CIIP编解码的块。
7)例如，与基于AMVP的预测块不同，其中LIC标志在比特流中用信号通知，CIIP块可以不用信号通知LIC标志。
a)此外，由LIC生成的AMVP预测块可能不被允许用作CIIP预测块。
b)或者，可以用信号通知LIC标志用于经CIIP编解码的块。
4.在一个示例中，生成CIIP的最终预测的加权值可能取决于如何生成两个预测。
1)例如，加权值可能取决于CIIP中帧间预测是如何生成的，例如通过合并、AMVP、MMVD、sbTMVP、MHP或GEO等，或者帧间预测是否通过BDOF或DMVR进行细化。
2)例如，加权值可能取决于CIIP中的帧内预测是如何生成的，例如DC、平面预测、PDPC预测子、TIMD、DIMD、CCLM、MM-CCLM等。
5.在一个示例中，可以进一步细化CIIP的预测信息(例如模板匹配、DMVR、BDOF、MMVD、DIMD、TIMD等)。
1)例如，可以通过模板匹配、DMVR、BDOF、MMVD等进一步细化CIIP预测单元的运动矢量。
2)例如，CIIP预测的亮度样本可以通过BDOF进一步细化。
3)例如，CIIP预测是否被进一步细化可以取决于预测的经编解码的信息是否满足某些条件。
a)例如，是否将DMVR应用于CIIP，可能遵循将DMVR应用于常规合并模式的条件的相同规则。
b)例如，是否将BDOF应用于CIIP，可能遵循将BDOF应用于常规合并模式的条件的相同规则。
c)例如，仅当CIIP预测是通过双向预测生成的，则可以通过DMVR/BDOF进一步细化预测。
d)例如，仅当CIIP预测由双向预测产生，并且L0参考图片的POC距离等于L1参考图片的POC距离时，该预测可以通过DMVR/BDOF进一步细化。
e)例如，仅当CIIP预测是由具有相等权重的双向预测生成的(不使用BCW)，则可以通过DMVR/BDOF进一步细化预测。
f)例如，仅当CIIP预测不是通过条带/图片级别加权预测生成时，该预测可以通过DMVR/BDOF进一步细化。
4)或者，模板匹配/DMVR/BDOF可能不允许应用于CIIP预测单元和某个CIIP变体(例如，利用MMVD的CIIP、利用TM的CIIP、利用仿射的CIIP、利用sbTMVP的CIIP、MHP等)。
6.在一个示例中，CIIP模式的最终预测结果可以从多于N个(例如N＝2个)预测块中混合/融合。
1)例如，除了第一预测块和第二预测块之外，第三预测块可以进一步混合/融合以生成CIIP模式的最终预测块。
2)例如，第一预测块可以从帧内预测、DC、平面预测、PDPC预测子、TIMD、DIMD、CCLM、MM-CCLM等生成。
3)例如，可以从规则间合并预测或合并预测的变体生成第二预测块。
4)例如，可以从AMVP预测、增强合并预测或其他预测(如项目符号1.1、1.2和1.3中所述)生成第三预测块。
5)第二预测或第三预测可以通过IBC产生。
6)此外，可以预先定义混合/融合多个预测的权重。
a)或者，可以通过zz直接邻居项和/或直接当前项的经编解码的信息(诸如预测模式/方法、基于预测/重构样本的梯度信息)自适应地确定权重。
b)可替换地，可以基于(一个或多个)发信号通知的语法元素来确定权重。
i.例如，可以预定义多于一个的权重集，并且可以在视频单元级别(例如，块/条带/条带头/图片/图片头/序列级别)用信号通知语法元素(例如，索引)，指示哪个权重集用于该视频单元。
c)此外，权重可以是基于样本的，或基于块的，或基于条带/图片/序列的。
i.例如，每个样本都可能有自己的权重。
ii.例如，块内的样本可能共享相同的权重。
iii.例如，属于条带/图片/序列的样本可以共享相同的权重。
7.在一个示例中，SKIP模式可以是允许用于利用CIIP变型模式经编解码的块。
1)例如，CIIP变型模式可以是利用MMVD的CIIP、利用TM的CIIP、利用仿射的CIIP、利用sbTMVP的CIIP等。
2)例如，CIIP相关语法元素的存在/信令可以不依赖于跳过标志(例如，在不使编解码单元的跳过标志等于假的条件下)。
8.例如，对于扩展MMVD模式，可以允许超过N个(例如N＝2)个合并候选。
1)例如，扩展的MMVD模式可以是带有MMVD的CIIP。
2)例如，用于MMVD视频单元经编解码的最大允许合并候选的数目可以等于最大允许通用合并候选的数目。
3)例如，用信号通知经MMVD编解码的视频单元的合并索引可以等于大于K的值(诸如K＝1)。
4)例如，只有当一个视频单元是用SKIP模式经编解码的(这个视频单元的跳过标志等于真)，MMVD合并候选的数量才被允许大于N。
a)例如，只有当一个视频单元是以SKIP模式经编解码的时候，才允许信号合并索引大于K(例如K＝1)。
b)例如，在经MMVD编解码的视频单元作为SKIP模式经编解码的情况下，可以用信号通知视频单元的合并索引。否则，可以用信号通知视频单元的合并标志。
5)或者，只有当一个视频单元是用非SKIP模式经编解码的(这个视频单元的跳过标志等于假)，MMVD合并候选的数量才被允许大于N。
a)例如，只有当一个视频单元是用非SKIP模式经编解码的，信号通知的合并索引才允许大于K(如K＝1)。
b)例如，在经MMVD编解码的视频单元经编解码为非SKIP模式的情况下，可以用信号通知视频单元的合并索引。否则，可以用信号通知视频单元的合并标志。
6)或者，仅N(诸如N＝2)个合并候选可以被允许用于CIIP MMVD模式，或常规TM模式，或CIIP TM模式，或GEO TM模式，或GEO MMVD模式。
7)在一个示例中，可以允许不同数量的基合并候选用于不同的MMVD模式(不同的MMVD模式可以指常规MMVD模式、CIIP MMVD模式、GEO MMVD模式等)
9.例如，从多于一个运动矢量生成的虚拟运动候选通过某种操作(除了平均操作)可以***到运动候选列表(例如，AMVP或合并候选列表)。
1)例如，可以将N个(例如N＝2)运动候选相加并右移预定义值K(K>1，例如K＝2)。
a)例如，N个运动候选可以基于合并列表中的合并候选。
b)例如，两个运动候选可以是合并列表中的N个两个合并候选。
c)例如，N个运动候选可以基于AMVP列表中的AMVP候选。
2)例如，如何应用要求保护的操作可能取决于预测列表(L0、L1)和/或参考索引。
a)例如，可以分别为L0和L1执行要求保护的操作。
i.或者，可以仅针对L0执行所要求的操作。
ii.或者，可以仅针对L1执行所要求的操作。
b)例如，可以在参考索引大于X(例如X＝0)的情况下执行要求的操作。
3)例如，上述生成的运动候选可以被用作针对某个帧间模式的新的运动候选。
a)例如，某些帧间模式可以是常规AMVP模式、常规MERGE模式、GEO模式、GEO MMVD模式、GEO TM模式、CIIP模式、CIIP MMVD模式、CIIP TM模式、常规MMVD模式、MMVD-TM模式、MHP模式、仿射模式、AMVP-Merge模式等。
4)例如，上述生成的运动候选可以用于替换针对某个帧间模式的现有运动候选。
a)例如，现有运动候选可以是现有运动候选列表中的运动候选之一。
总体权利要求
4.是否和/或如何应用上面公开的方法可以在序列级别/图片组级别/图片级别/条带级别/图块组级别发出信号，诸如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头中。
1)例如，用信号通知的语法元素的存在可以依赖于图片/条带的宽度和/或高度。
5.是否和/或如何应用上面公开的方法可以在PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/其它种类的包含多于一个样本或像素的区域处用信号通知。
6.是否和/或如何应用上面公开的方法可能取决于经编解码的信息，诸如块大小、颜色格式、单/双树分区、颜色分量、条带/图片类型。
本公开的实施例与CIIP变体有关。如本文所用，术语“视频单元”或“编解码单元”或“块”可以指以下中的一个或多个：颜色分量、子图片、条带、图块、编解码树单元(CTU)、CTU行、一组CTU、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)、块、块的子块、块内的子区域或包括多于一个样本或像素的区域。块可以是矩形或非矩形。
关于“具有模式N的块经编解码”，术语“模式N”可以是预测模式(例如，MODE_INTRA、MODE_INTER、MODE_PLT、MODE_IBC等)或编解码技术(例如，AMVP、合并、SMVD、BDOF、PROF、DMVR、AMVR、TM、Affine、CIIP、GPM、MMVD、BCW、HMVP、SbTMVP、TIMD、DIMD等)。
这里使用的术语“CIIP”可以指任何编解码工具，其将多于一个的预测/组合/假设组合/混合成一个预测结果，用于以后的重建过程。例如，本公开实施例中的“CIIP”可以指任何多个假设预测编解码工具/技术，例如常规CIIP、CIIP PDPC、扩展CIIP、MHP、GPM等。此外，CIIP/MHP/GPM的组合/假设可以是经INTER模式编解码的，或INTRA模式经编解码的，或INTER和INTRA模式以外的任何其他预测模式。此外，本公开实施例中的“CIIP”可能不一定必须是MERGE模式，例如，它可以是AMVP模式，或AMVP和MERGE之外的特殊预测模式。
图27示出了根据本公开的一些实施例的用于视频处理的方法2700的流程图。该方法2700可以在视频单元和视频单元的比特流之间的转换期间实现。
在块2710，在视频的目标块和目标块的双流之间的转换期间，确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式。在一些实施例中，CIIP模式可以包括以下一种或多种：利用运动矢量差异的合并模式(MMVD)的CIIP、利用模板匹配(TM)的CIIP、利用仿射预测的CIIP、利用基于子块的时间运动矢量预测(SbTMVP)的CIIP或多假设预测(MHP)。
在框2720，构建与CIIP模式相关联的合并候选列表。在框2730，对与CIIP模式相关联的合并候选列表执行自适应合并列表重新排序。在一些实施例中，自适应合并列表重新排序可以指合并候选的自适应重新排序(ARMC)。替选，或者另外，自适应合并列表重新排序可以指自适应合并列表(AML)。在一些实施例中，可能不允许将自适应合并列表重新排序应用于CIIP变体。在一些其他实施例中，可能不允许将自适应合并列表重新排序应用于第一CIIP变体，并且可能不允许将自适应合并列表重新排序应用于第二CIIP变体。例如，如果第二CIIP变体可以是具有仿射预测的CIIP，可能不允许将自适应合并列表重新排序应用于具有仿射预测的CIIP。
在框2740，基于重新排序的合并候选列表执行转换。在一些实施例中，转换可以包括将视频单元编码到比特流中，在一些实施例中，转换可以包括从比特流解码视频单元。
根据本公开的实施例，提出了更多的CIIP变体。对于CIIP块及其变体，设计了一种关于如何应用BCW、LIC、半像素插值滤波器的更有效的方法。与传统方案相比，本公开的一些实施例可以有利地提高编解码效率。
本公开的实现可以根据以下条款来描述，这些条款的特征可以以任何合理的方式组合。
在一些实施例中，CIIP可以基于与目标块相关联的预测块。例如，预测块可以从以下之一生成：高级运动矢量预测(AMVP)、增强合并预测或非常规合并预测。
在一些实施例中，CIIP模式可以经编解码为一个类型的非合并模式。例如，可以将与CIIP模式相关的语法元素指示在合并数据相关语法结构的范围之外。
在一些实施例中，AMVP可用于构建与目标块相关联的CIIP预测。例如，AMVP可包括以下至少之一：常规AMVP、仿射AMVP、经空间运动矢量预测(SMVP)细化的AMVP、经模板匹配(TM)细化的AMVP、经解码器侧运动矢量细化(DMVR)细化的AMVP、经双向光流(BDOF)细化的AMVP、或AMVP预测的变体。例如，AMVP预测如常规AMVP、仿射AMVP、SMVP、TM/DMVR/BDOF细化AMVP、或AMVP预测的变体，可用于构建CIIP预测。
在一些实施例中，增强合并预测可用于构建与目标块相关联的CIIP预测。例如，增强合并预测可包括以下至少之一：几何合并模式、利用运动矢量差异的合并模式(MMVD)、仿射合并预测、基于子块的时间运动矢量预测(SbTMVP)、经TM细化的合并、经DMVR细化的合并、经BDOF细化的合并或合并预测的变体。例如，增强合并预测如GEO、MMVD、仿射、SbTMVP、经TM/DMVR/BDOF细化的合并或合并预测的变体可用于构建CIIP预测。
在一些实施例中，非常规合并预测可用于构建与目标块相关联的CIIP预测。例如，非常规合并预测可包括：MHP，或AMVP-merge。例如，MHP、amvp-合并等其他预测，以及不完全基于AMVP或合并的任何其他预测方法，可用于构建CIIP预测。
在一些实施例中，CIIP模式可以将仿射预测和不同类型的预测混合在一起。例如，仿射预测可以从帧间仿射合并模式生成。在一些实施例中，仿射预测可以从帧间仿射MMVD模式生成。在一些其他实施例中，仿射预测可以从帧间仿射AMVP模式生成。例如，帧内块复制(IBC)预测可以用于构建CIIP预测。
在一些实施例中，可以基于编解码信息生成CIIP预测。例如，编解码信息可以包括以下中的一个或多个：BCW索引、半像素插值滤波器或局部照明补偿(LIC)标志。
在一些实施例中，CIIP预测可以是构建CIIP变体的最终预测的中间预测。例如，CIIP变体可以包括以下之一：利用MMVD的CIIP、利用TM的CIIP、利用仿射的CIIP或利用sbTMVP的CIIP。
在一些实施例中，对于与目标块关联的CIIP预测块，可能不继承利用编解码单元(CU)级别权重(BCW)索引的双向预测。例如，BCW索引可以设置为默认值，该默认值指定不将BCW应用于指定的预测块。例如，与通常从相邻块继承BCW索引的基于常规合并的预测块不同，BCW索引可能不会针对CIIP预测块被继承。
在一些实施例中，具有指示L0预测和L1预测之间不相等权重的BCW索引的基于合并的预测可能不用于CIIP预测块。或者，基于合并的CIIP预测块的BCW索引可以从一组相邻块继承。
在一些实施例中，对于与目标块关联的CIIP预测块，可以不继承半像素插值滤波器索引。例如，可以将半像素插值滤波器索引设置为默认值，该默认值指定不将半像素插值滤波器应用于指定的预测块。例如，与通常从相邻块继承半像素插值滤波器索引的基于常规合并的预测块不同，半像素插值滤波器索引可能不会针对CIIP预测块被继承。
在一些实施例中，使用半像素插值滤波器的基于合并的预测可以不用于CIIP预测块。或者，针对与目标块相关联的CIIP预测块，基于合并的CIIP预测块的半像素插值滤波器索引可以被继承。
在一些实施例中，针对与目标块关联的CIIP预测块可能不会继承局部照明补偿(LIC)标志。例如，LIC标志可以设置为默认值，该默认值指定没有LIC应用于指定的预测块。例如，与其中LIC标志通常继承自相邻块的基于常规合并的预测块不同，LIC标志可能不会针对CIIP预测块被继承。
在一些实施例中，使用LIC的基于合并的预测可以不用于CIIP预测块。或者，可以从一组相邻块继承基于合并的CIIP预测块的LIC标志。
在一些实施例中，针对作为经CIIP编解码的块的目标块，BCW索引可能不被指示。例如，与在其中BCW索引在比特流中被用信号通知的基于AMVP的预测块不同，CIIP块可能不用信号通知BCW索引。在这种情况下，在一些实施例中，具有指示L0预测和L1预测之间不相等权重的BCW的AMVP预测块可能不被允许用作CIIP预测块。或者，针对作为经CIIP编解码的块的目标块，BCW索引可以被指示。
在一些实施例中，针对作为经CIIP编解码的块的目标块，半像素插值索引可以不被指示。例如，与其中半像素插值索引在比特流中被用信号通知的基于AMVP的预测块不同，CIIP块可以不用信号通知半像素插值索引。在这种情况下，在一些实施例中，由半像素插值滤波器生成的AMVP预测块可能不被允许用作CIIP预测块。或者，针对作为经CIIP编解码的块的目标块，指示半像素插值索引。
在一些实施例中，对于作为经CIIP编解码的块的目标块，可能不指示LIC标志。例如，与其中LIC标志在比特流中被用信号通知的基于AMVP的预测块不同，CIIP块可能不会用信号通知LIC标志。在这种情况下，在一些实施例中，由LIC生成的AMVP预测块可能不被允许用作CIIP预测块。或者，针对作为经CIIP编解码的块的目标块，可以指示LIC标志。
在一些实施例中，生成CIIP的最终预测的加权值取决于如何生成帧内预测和帧间预测。例如，加权值可以取决于以下至少之一：如何生成帧间预测，或者如何细化帧内预测。在一些实施例中，加权值可以取决于如何生成帧内预测。
在一些实施例中，可以进一步细化CIIP预测块的预测信息。在这种情况下，预测信息可以包括以下至少之一：模板匹配、DMVR、BDOF、MMVD、DIMD或TIMD。
在一些实施例中，CIIP预测块的一组运动矢量可以通过以下至少之一进一步细化：模板匹配、DMVRM、BDOF或MMVD。在一些其他实施例中，CIIP预测块的一组亮度样本可以通过BDOF进一步细化。在一些其他实施例中，CIIP预测块是否进一步细化可能取决于CIIP预测块的编解码信息是否满足条件。
在一些实施例中，是否将DMVR应用于CIIP预测块可能取决于将DMVR应用于常规合并模式的条件。在一些其他实施例中，是否将BDOF应用于CIIP预测块可能取决于将BDOF应用于常规合并模式的条件。在一些实施例中，如果CIIP预测块是由双向预测生成的，则CIIP预测块可以进一步由以下之一细化：DMVR或BDOF。
在一些实施例中，如果CIIP预测块由双向预测生成，并且L0参考图片的第一图片顺序编解码(POC)距离等于L1参考图片的第二POC距离，则CIIP预测块可以进一步由以下之一细化：DMVR或BDOF。在其他实施例中，如果CIIP预测块由具有相等权重的双向预测生成，则CIIP预测块可以由以下之一进一步细化：DMVR或BDOF。或者，如果CIIP预测块不是由条带级别加权预测或图片级别加权预测生成的，则CIIP预测块可以由以下之一进一步细化：DMVR或BDOF。
在一些实施例中，可能不允许以下至少一种应用于CIIP预测块和CIIP变体：模板匹配、DMVR或BDOF。在这种情况下，在一些实施例中，CIIP变体可以包括以下至少一种：利用MMVD的CIIP、利用TM的CIIP、利用仿射预测的CIIP、利用sbTMVP或MHP的CIIP。
在一些实施例中，CIIP模式的最终预测可以从多个预测块中融合。例如，多个预测块可以包括第一预测块、第二预测块或第三预测块。在一些实施例中，第一预测块可以从以下至少之一生成：帧内预测、直流(DC)、平面预测、取决于帧内预测组合的位置(PDPC)预测子、TIMD、DIMD、交叉分量线性模型(CCLM)或多模型CCLM(MM-CCLM)。在一些实施例中，第二预测块可以从以下至少之一生成：帧常规合并预测或合并预测的变体。在一些实施例中，第三预测块可以从以下至少之一生成：AMVP预测、增强合并预测、或非常规合并预测。
在一些实施例中，第二预测块或第三预测块中的至少一个可以由IBC生成，在一些实施例中，可以预先定义用于融合多个预测块的一组权重。
在一些实施例中，用于融合多个预测块的一组权重可以基于以下至少之一的编解码信息来确定：直接邻居项(neighbor immediate)或直接当前项(current immediate)。例如，编解码信息可以包括以下至少之一：预测模式，或基于目标块的预测的梯度信息。
在一些实施例中，可以基于一组语法元素来确定用于融合多个预测块的一组权重。例如，可以预定义多组权重并且可以在视频单元级别指示指示使用哪个权重集的语法元素。在一些实施例中，视频单元级别可以包括以下之一：块级别、条带级别、条带头级别、图片级别、图片头级别或序列级别。
在一些实施例中，用于融合多个预测块的一组权重可以是以下之一：基于样本、基于块、基于条带、基于图片或基于序列。例如，每个样本可以具有权重。在一些实施例中，块内的样本可以具有相同的权重。在一些其他实施例中，属于以下之一的样本：条带、图片或序列可以具有相同的权重。
在一些实施例中，可以允许使用CIIP变体经编解码的目标块的跳过模式。例如，CIIP变体可以包括以下之一：利用MMVD的CIIP、利用TM的CIIP、利用仿射预测的CIIP或利用sbTMVP的CIIP。在一些实施例中，CIIP相关语法元素不依赖于跳过标志。
在一些实施例中，是否和/或如何应用自适应合并列表重排序的指示可以在以下之一指示：序列级别、图片组级、图片级别、条带级别或图块组级别。在一些实施例中，是否和/或如何应用编解码工具的指示可以在以下之一指示：序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、依赖参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头。
在一些实施例中，是否和/或如何应用自适应合并列表重排序的指示可以包括在以下之一中：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块、子图片、或包含多于一个样本或像素的区域。
在一些实施例中，是否和/或如何应用自适应合并列表重排序可以基于目标块的经编解码的信息来确定。经编解码的信息可以包括以下中的至少一个：块大小、颜色格式、单个和/或双树分区、颜色分量、条带类型或图片类型。
在一些实施例中，视频的比特流可以存储在非暂态计算机可读记录介质中，视频的比特流可以由视频处理装置执行的方法生成。根据该方法，可以确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式。构建与CIIP模式相关联的合并候选列表。可以对与CIIP模式相关联的合并候选列表执行自适应合并列表重排序。可以基于视频单元的最终预测信号生成目标块的比特流。
在一些实施例中，可以确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式。可以构建与CIIP模式相关联的合并候选列表。目标块的比特流可以基于重新排序的合并候选列表生成，并存储在非暂态计算机可读记录介质中。
图28示出了根据本公开的一些实施例的用于视频处理的方法2800的流程图，该方法2800可以在视频单元和视频单元的比特流之间的转换期间实现。
在块2810，在视频的目标块和目标块的比特流之间的转换期间，目标运动候选使用预定操作基于多个运动矢量被确定。
在块2820，目标块的运动候选列表诶构建。在块2830，目标运动候选被添加到运动候选列表中。
在框2840，转换基于运动候选列表被执行，在一些实施例中，转换可以包括将视频单元编码成比特流。在一些实施例中，转换可以包括从比特流解码视频单元。
与传统解决方案相比，本公开的一些实施例可以有利地提高编解码效率。
本公开的实现可以根据以下条款来描述，这些条款的特征可以以任何合理的方式组合。
在一些实施例中，可以将多个运动候选相加并右移大于预定数目的预定义值。例如，所述多个运动候选可以基于合并候选列表中的合并候选。在一些实施例中，所述多个运动候选可以是合并候选列表中的多个合并候选。或者，所述多个运动候选可以基于AMVP候选列表中的AMVP候选。
在一些实施例中，如何应用预定操作可以取决于以下至少之一：包括L0和L1的预测列表、或参考索引。例如，在一些实施例中，预定操作可以分别应用于L0和L1。或者，预定操作可以应用于L0。在一些其他实施例中，预定操作可以应用于L1。
在一些实施例中，如果参考索引大于预定数目，则可以应用预定操作。在一些实施例中，可以将目标运动候选用作帧间模式的新运动候选。例如，帧间模式可以包括以下至少之一：常规AMVP模式、常规合并模式、几何合并模式、几何MMVD模式、几何模板匹配(TM)模式、CIIP模式、CIIP MMVD模式、CIIP TM模式、常规MMVD模式、MMVD-TM模式、MHP模式、仿射模式或AMVP-合并模式。
在一些实施例中，目标运动候选可以用于替换帧间模式的现有运动候选。在一些实施例中，现有运动候选可以是现有运动候选列表中的运动候选之一。
在一些实施例中，是否要和/或如何添加目标运动候选的指示可以在以下之一被指示：序列级别、图片组级别、图片级别、条带级别、或图块组级别。
在一些实施例中，是否和/或如何添加目标运动候选的指示可以在以下之一中指示：序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、依赖参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、适配参数集(APS)、条带头或图块组头。
在一些实施例中，是否要和/或如何添加目标运动候选的指示可以包括在以下之一中：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块、子图片、或包含多于一个样本或像素的区域。
在一些实施例中，是否和/或如何添加目标运动候选可以基于目标块的经编解码的信息来确定，经编解码的信息可以包括以下各项中的至少一项：块大小、颜色格式、单树和/或双树分区、颜色分量、条带类型或图片类型。
在一些实施例中，可以将视频的比特流存储在非暂态计算机可读记录介质中，可以通过视频处理装置执行的方法来生成视频的比特流。根据该方法，可以使用预定操作基于多个运动矢量来确定目标运动候选。可以为目标块构建运动候选列表。可以将目标运动候选添加到运动候选列表中。可以基于运动候选列表来生成目标块的比特流。
在一些实施例中，可以使用预定操作基于多个运动矢量来确定目标运动候选。可以为目标块构建运动候选列表。可以将目标运动候选添加到运动候选列表中。目标块的比特流可以基于运动候选列表生成，并存储在非暂态计算机可读记录介质中。
图29示出了根据本公开的一些实施例的用于视频处理的方法2900的流程图。该方法2900可以在视频单元和视频单元的比特流之间的转换期间实现。
在块2910，在视频的目标块和目标块的比特流之间的转换期间，针对目标块的合并候选列表。目标块使用利用运动矢量差异的合并模式(MMVD)模式经编解码。例如，MMVD模式可以包括利用MMVD的组合的帧内和帧间预测(CIIP)。
在框2920，确定允许用于MMVD模式的多个合并候选。在框2930，基于多个合并候选执行转换。在一些实施例中，转换可以包括将视频单元编码到比特流中。在一些实施例中，转换可以包括从比特流解码视频单元。
根据本公开的实施例，对于SKIP模式和非SKIP模式两者，MMVD可以允许多于两个基本合并候选。与常规解决方案相比，本公开的一些实施例可以有利地提高编解码效率。
本公开的实现可以根据以下条款来描述，这些条款的特征可以以任何合理的方式组合。
在一些实施例中，目标块的最大允许合并候选的数目可以等于最大允许的一般合并候选的数目。在一些实施例中，目标块的合并索引可以等于大于第一预定数目的值。
在一些实施例中，如果目标块是利用跳过模式经编解码的，则可以允许MMVD合并候选的数目大于第二预定数目。在一些实施例中，如果目标块是利用跳过模式经编解码的，则可以允许指示的合并索引大于第三预定数目。
在一些实施例中，如果目标块是利用跳过模式经编解码的，则可以为目标块指示合并索引。或者，如果目标块不是利用跳过模式经编解码的，则可以为目标块指示合并标志。
在一些实施例中，如果目标块是利用非跳过模式经编解码的，则可以允许MMVD合并候选的数目大于第四预定数目。在一些实施例中，如果目标块是利用非跳过模式经编解码的，则可以允许指示的合并索引大于第五预定数目。
在一些实施例中，如果目标块是利用非跳过模式经编解码的，则可以为目标块指示合并索引。或者，如果目标块不是利用非跳过模式经编解码的，则可以为目标块指示合并标志。
在一些实施例中，仅第六预定数目的合并候选可以被允许用于以下中的至少一个：CIIP MMVD模式、常规TM模式、CIIP TM模式、几何TM模式或几何MMVD模式。
在一些实施例中，对于不同的MMVD模式，可以允许不同数目的基合并候选。例如，不同的MMVD模式可以包括以下至少一种：常规MMVD模式、CIIP MMVD模式或几何MMVD模式。
在一些实施例中，关于是否和/或如何确定允许用于MMVD模式的多个合并候选的指示可以在以下之一处指示：序列级别、图片组级别、图片级别、条带级别或图块组级别。
在一些实施例中，关于是否和/或如何确定允许用于MMVD模式的多个合并候选的指示可以在以下之一中指示：序列报头、图片头、序列参数集(SPS)、视频参数集(VPS)、依赖参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、适配参数集(APS)、条带报头或图块组报头。
在一些实施例中，指示是否和/或如何确定允许用于MMVD模式的多个合并候选可以包括在以下之一中：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块、子图片或包含多于一个样本或像素的区域。
在一些实施例中，是否和/或如何确定允许用于MMVD模式的多个合并候选可以基于目标块的经编解码的信息来确定。经编解码的信息可以包括以下至少之一：编解码模式、块大小、颜色格式、单树和/或双树分区、颜色分量、条带类型或图片类型。
在一些实施例中，可以将视频的比特流存储在非暂态计算机可读记录介质中，可以通过视频处理装置执行的方法来生成视频的比特流。根据该方法，针对目标块，合并候选列表可以被确定，该目标块使用利用运动矢量差异模式的合并模式(MMVD)经编解码。可以确定允许用于MMVD模式的多个合并候选。可以基于多个合并候选来生成目标块的比特流。
在一些实施例中，针对目标块可以确定合并候选列表，该目标块使用利用运动矢量差异模式的合并模式(MMVD)经编解码。可以确定允许用于MMVD模式的多个合并候选。目标块的比特流可以基于多个合并候选生成，并存储在非暂态计算机可读记录介质中。
本公开的实施例可以单独实现。或者，本公开的实施例可以以任何适当的组合来实现。本公开的实施方式可以鉴于以下条款来描述，这些条款的特征可以以任何合理的方式组合。
条款1.一种视频处理的方法，包括：在视频的目标块和所述目标块的比特流之间的转换期间，确定与所述目标块相关联的组合的帧间和帧内预测(CIIP)模式；构建与所述CIIP模式相关联的合并候选列表；对与所述CIIP模式相关联的所述合并候选列表执行自适应合并列表重新排序；以及基于被重新排序的所述合并候选列表来执行所述转换。
条款2.根据条款1所述的方法，其中所述CIIP模式包括以下至少一项：利用使用运动矢量差异的合并模式(MMVD)的CIIP，利用模板匹配(TM)的CIIP，利用仿射预测的CIIP，利用基于子块的时间运动矢量预测(SbTMVP)的CIIP，或多假设预测(MHP)。
条款3.根据条款1所述的方法，其中所述自适应合并列表重新排序不被允许被应用于CIIP变体。
条款4.根据条款1所述的方法，其中所述自适应合并列表重新排序被应用于第一CIIP变体，并且其中所述自适应合并列表重新排序不被允许被应用于第二CIIP变体。
条款5.根据条款4所述的方法，其中所述第二CIIP变体是利用仿射预测的CIIP，并且所述自适应合并列表重新排序不被允许被应用于利用仿射预测的所述CIIP。
条款6.根据条款1所述的方法，其中所述CIIP是基于与所述目标块相关联的预测块。
条款7.根据条款6所述的方法，其中所述预测块从以下一项被生成：高级运动矢量预测(AMVP)，增强的合并预测，或非常规合并预测。
条款8.根据条款1所述的方法，其中所述CIIP模式被编解码为一个类型的非合并模式。
条款9.根据条款8所述的方法，其中与所述CIIP模式相关的语法元素被指示在合并数据相关语法结构的范围之外。
条款10.根据条款7所述的方法，其中所述AMVP被用于构建与所述目标块相关联的CIIP预测。
条款11.根据条款10所述的方法，其中所述AMVP包括以下至少一项：常规AMVP，仿射AMVP，经空间运动矢量预测(SMVP)细化的AMVP，经模板匹配(TM)细化的AMVP，经解码器侧运动矢量细化(DMVR)细化的AMVP，经双向光流(BDOF)细化的AMVP，或AMVP预测的变体。
条款12.根据条款7所述的方法，其中所述增强的合并预测被用于构建与所述目标块相关联的CIIP预测。
条款13.根据条款12所述的方法，其中所述增强合并预测包括以下至少一项：几何合并模式，利用运动矢量差异的合并模式(MMVD)，仿射合并预测，基于子块的时间运动矢量预测(SbTMVP)经TM细化的合并，经DMVR细化的合并，经BDOF细化的合并，或合并预测的变体。
条款14.根据条款7所述的方法，其中所述非常规合并预测用于构建与所述目标块相关联的CIIP预测。
条款15.根据条款14所述的方法，其中所述非常规合并预测包括：MHP，或AMVP合并。
条款16.根据条款1所述的方法，其中所述CIIP模式将仿射预测和不同类型的预测混合在一起。
条款17.根据条款16所述的方法，其中所述仿射预测从帧间仿射合并模式生成。
条款18.根据条款16所述的方法，其中所述仿射预测从帧间仿射MMVD模式生成。
条款19.根据条款16所述的方法，其中所述仿射预测从帧间仿射AMVP模式生成。
条款20.根据条款1所述的方法，其中帧内块复制(IBC)预测被用于构建CIIP预测。
条款21.根据条款1所述的方法，其中CIIP预测基于编解码信息被生成。
条款22.根据条款21所述的方法，其中所述CIIP预测是构建CIIP变体的最终预测的中间预测。
条款23.根据条款22所述的方法，其中所述CIIP变体包括以下一项：利用MMVD的CIIP，利用TM的CIIP，利用仿射的CIIP，或利用sbTMVP的CIIP。
条款24.根据条款1所述的方法，其中针对与所述目标块相关联的CIIP预测块，利用编解码单元(CU)级别权重(BCW)索引的双向预测不被继承。
条款25.根据条款24所述的方法，其中所述BCW索引被设置为默认值，所述默认值指定没有BCW被应用于指定的预测块。
条款26.根据条款24所述的方法，其中具有指示L0预测和L1预测之间的不相等权重的BCW索引的基于合并的预测不被用于所述CIIP预测块。
条款27.根据条款1所述的方法，其中基于合并的CIIP预测块的BCW索引从一组相邻块被继承。
条款28.根据条款1所述的方法，其中针对与所述目标块相关联的CIIP预测块，半像素插值滤波器索引不被继承。
条款29.根据条款28所述的方法，其中所述半像素插值滤波器索引被设置为默认值，所述默认值指定没有半像素插值滤波器被应用于指定的预测块。
条款30.根据条款28所述的方法，其中使用所述半像素插值滤波器的基于合并的预测不被用于所述CIIP预测块。
条款31.根据条款1所述的方法，其中针对与所述目标块相关联的CIIP预测块，基于合并的CIIP预测块的半像素插值滤波器索引不被继承。
条款32.根据条款1所述的方法，其中针对与所述目标块相关联的CIIP预测块，局部照明补偿(LIC)标志不被继承。
条款33.根据条款32所述的方法，其中所述LIC标志被设置为默认值，所述默认值指定没有LIC被应用于指定的预测块。
条款34.根据条款33所述的方法，其中使用LIC的基于合并的预测不被用于所述CIIP预测块。
条款35.根据条款1所述的方法，其中基于合并的CIIP预测块的LIC标志是从一组相邻块被继承。
条款36.根据条款1所述的方法，其中针对作为CIIP经编解码的块的所述目标块，BCW索引不被指示。
条款37.根据条款36所述的方法，其中具有指示L0预测和L1预测之间的不相等权重的BCW的AMVP预测块不被允许作为CIIP预测块被使用。
条款38.根据条款1所述的方法，其中针对作为CIIP经编解码的块的所述目标块，BCW索引被指示。
条款39.根据条款1所述的方法，其中针对作为CIIP经编解码的块的所述目标块，半像素插值索引不被指示。
条款40.根据条款39所述的方法，其中由半像素插值滤波器生成的AMVP预测块不被允许作为CIIP预测块被使用。
条款41.根据条款1所述的方法，其中针对作为CIIP经编解码的块的所述目标块，半像素插值索引被指示。
条款42.根据条款1所述的方法，其中针对作为CIIP经编解码的块的所述目标块，LIC标志不被指示。
条款43.根据条款42所述的方法，其中由LIC生成的AMVP预测块不被允许作为CIIP预测块被使用。
条款44.根据条款1所述的方法，其中针对作为CIIP经编解码的块的所述目标块，LIC标志被指示。
条款45.根据条款1所述的方法，其中用以生成针对CIIP的最终预测的加权值取决于帧内预测和帧间预测如何被生成。
条款46.根据条款45所述的方法，其中所述加权值取决于以下至少一项：帧间预测如何被生成，或帧内预测如何被细化。
条款47.根据条款45所述的方法，其中所述加权值取决于所述帧内预测如何被生成。
条款48.根据条款1所述的方法，其中CIIP预测块的预测信息进一步被细化，并且其中所述预测信息包括以下至少一项：模板匹配，DMVR，BDOF，MMVD，DIMD，或TIMD。
条款49.根据条款48所述的方法，其中所述CIIP预测块的一组运动矢量进一步被以下至少一项细化：模板匹配，DMVRM，BDOF，或MMVD。
条款50.根据条款48所述的方法，其中所述CIIP预测块的一组亮度样本进一步被BDOF细化。
条款51.根据条款48所述的方法，其中所述CIIP预测块是否进一步被细化取决于所述CIIP预测块的编解码信息是否满足条件。
条款52.根据条款51所述的方法，其中DMVR是否被应用于所述CIIP预测块取决于针对将DMVR应用于常规合并模式的条件。
条款53.根据条款51所述的方法，其中BDOF是否被应用于所述CIIP预测块取决于针对将BDOF应用于常规合并模式的条件。
条款54.根据条款51所述的方法，其中如果所述CIIP预测块通过双向预测生成，则所述CIIP预测块进一步被以下一项细化：DMVR或BDOF。
条款55.根据条款51所述的方法，其中如果所述CIIP预测块通过双向预测生成，并且L0参考图片的第一图片顺序编解码(POC)距离等于L1参考图片的第二POC距离，则所述CIIP预测块进一步被以下一项细化：DMVR或BDOF。
条款56.根据条款51所述的方法，其中如果所述CIIP预测块被利用相等权重的双向预测生成，则所述CIIP预测块通过进一步被以下一项细化：DMVR或BDOF。
条款57.根据条款51所述的方法，其中如果所述CIIP预测块不通过条带级别加权预测或图片级别加权预测生成，则所述CIIP预测块进一步被以下一项细化：DMVR或BDOF。
条款58.根据条款1所述的方法，其中以下至少一项不被允许应用于CIIP预测块和CIIP变体：模板匹配，DMVR，或BDOF。
条款59.根据条款58所述的方法，其中所述CIIP变体包括以下至少一项：利用MMVD的CIIP，利用TM的CIIP，利用仿射预测的CIIP，利用sbTMVP的CIIP，或MHP。
条款60.根据条款1所述的方法，其中CIIP模式的最终预测从多个预测块被融合。
条款61.根据条款60所述的方法，其中所述多个预测块包括第一预测块、第二预测块或第三预测块。
条款62.根据条款61所述的方法，其中所述第一预测块从以下至少一项被生成：帧内预测，直流(DC)，平面预测，取决于位置的帧内预测组合(PDPC)预测子，TIMD，DIMD，跨分量线性模型(CCLM)，或多模型CCLM(MM-CCLM)。
条款63.根据条款61所述的方法，其中所述第二预测块从以下至少一项被生成：帧间常规合并预测，或合并预测的变体。
条款64.根据条款61所述的方法，其中所述第三预测块从以下至少一项被生成：AMVP预测，增强合并预测，或非常规合并预测。
条款65.根据条款61所述的方法，其中所述第二预测块或所述第三预测块中的至少一个被IBC生成。
条款66.根据条款60所述的方法，其中用于融合所述多个预测块的一组权重被预定义。
条款67.根据条款60所述的方法，其中用于融合所述多个预测块的一组权重基于以下至少一项的编解码信息被确定：直接邻居项或直接当前项。
条款68.根据条款67所述的方法，其中所述编解码信息包括以下至少一项：预测模式，或基于所述目标块的预测的梯度信息。
条款69.根据条款60所述的方法，其中用于融合所述多个预测块的一组权重基于一组语法元素被确定。
条款70.根据条款69所述的方法，其中多组权重被预定义，并且指示使用哪组权重的语法元素在视频单元级别被指示。
条款71.根据条款70所述的方法，其中所述视频单元级别包括以下一项：块级别，条带级别，条带头级别，图片级别，图片头级别，或序列级别。
条款72.根据条款60所述的方法，其中用于融合所述多个预测块的一组权重是以下一项：基于样本的，基于块的，基于条带的，基于图片的，或基于序列的。
条款73.根据条款72所述的方法，其中每个样本具有权重。
条款74.根据条款72所述的方法，其中块内的样本具有相同的权重。
条款75.根据条款72所述的方法，其中属于以下一项的样本具有相同的权重：条带、图片或序列。
条款76.根据条款1所述的方法，其中针对利用CIIP变体被编解码的所述目标块，跳过模式被允许。
条款77.根据条款76所述的方法，其中所述CIIP变体包括以下一项：利用MMVD的CIIP，利用TM的CIIP，利用仿射预测的CIIP，或利用sbTMVP的CIIP。
条款78.根据条款1所述的方法，其中CIIP相关的语法元素不依赖于跳过标志。
条款79.根据条款1-78中任一项所述的方法，其中是否和/或如何应用所述自适应合并列表重新排序的指示在以下一项处被指示：序列级别，图片组级别，图片级别，条带级别，或图块组级别。
条款80.根据条款1-78中任一项所述的方法，其中是否和/或如何应用所述自适应合并列表重新排序的指示在以下一项中被指示：序列头，图片头，序列参数集(SPS)，视频参数集(VPS)，依赖参数集(DPS)，解码能力信息(DCI)，图片参数集(PPS)，自适应参数集(APS)，条带头，或者图块组头。
条款81.根据条款1-78中任一项所述的方法，其中是否和/或如何应用所述自适应合并列表重新排序的指示被包括在以下一项中：预测块(PB)，变换块(TB)，编解码块(CB)，预测单元(PU)，变换单元(TU)，编解码单元(CU)，虚拟流水线数据单元(VPDU)，编解码树单元(CTU)，CTU行，条带，图块，子图片，或包含多于一个样本或像素的区域。
条款82.根据条款1-78中任一项的方法，进一步包括：基于所述目标块的经编解码的信息来确定是否和/或如何应用所述自适应合并列表重排序，所述经编解码的信息包括以下至少一项：所述编解码模式，块大小，颜色格式，单树分区和/或双树分区，颜色分量，条带类型，或图片类型。
条款83.一种视频处理的方法，包括：在视频的目标块和所述目标块的比特流之间的转换期间，使用预定操作基于多个运动矢量来确定目标运动候选；构建针对所述目标块的运动候选列表；将所述目标运动候选添加到所述运动候选列表中；以及基于所述运动候选列表来执行所述转换。
条款84.根据条款83所述的方法，其中多个运动候选被相加并被右移大于预定数目的预定义值。
条款85.根据条款84所述的方法，其中所述多个运动候选是基于合并候选列表中的合并候选。
条款86.根据条款84所述的方法，其中所述多个运动候选是合并候选列表中的多个合并候选。
条款87.根据条款84所述的方法，其中所述多个运动候选是基于AMVP候选列表中的AMVP候选。
条款88.根据条款83所述的方法，其中所述预定操作如何被应用取决于以下至少一项：包括L0和L1的预测列表、或参考索引。
条款89.根据条款88所述的方法，其中所述预定操作分别被应用于L0和L1。
条款90.根据条款88所述的方法，其中所述预定操作被应用于L0，或其中所述预定操作被应用于L1。
条款91.根据条款88所述的方法，其中如果所述参考索引大于预定数目，则所述预定操作被应用。
条款92.根据条款83所述的方法，其中所述目标运动候选被用作针对帧间模式的新运动候选。
条款93.根据条款92所述的方法，其中所述帧间模式包括以下至少一项：常规AMVP模式，常规合并模式，几何合并模式，几何MMVD模式，几何模板匹配(TM)模式，CIIP模式，CIIP MMVD模式，CIIP TM模式，常规MMVD模式，MMVD-TM模式，MHP模式，仿射模式，或AMVP合并模式。
条款94.根据条款83所述的方法，其中所述目标运动候选被用于替换针对帧间模式的现有运动候选。
条款95.根据条款94所述的方法，其中所述现有运动候选是现有运动候选列表中的运动候选中的一个运动候选。
条款96.根据条款83-95中任一项所述的方法，其中是否和/或如何添加所述目标运动候选的指示在以下一项处被指示：序列级别，图片组级别，图片级别，条带级别，或图块组级别。
条款97.根据条款83-95中任一项所述的方法，其中是否和/或如何添加所述目标运动候选的指示在以下一项处被指示：序列头，图片头，序列参数集(SPS)，视频参数集(VPS)，依赖参数集(DPS)，解码能力信息(DCI)，图片参数集(PPS)，自适应参数集(APS)，条带头，或图块组头。
条款98.根据条款83-95中任一项所述的方法，其中是否和/或如何添加所述目标运动候选的指示被包括在以下一项处：预测块(PB)，变换块(TB)，编解码块(CB)，预测单元(PU)，变换单元(TU)，编解码单元(CU)，虚拟流水线数据单元(VPDU)，编解码树单元(CTU)，CTU行，条带，图块，子图片，或包含多于一个样本或像素的区域。
条款99.根据条款83-95中任一项所述的方法，进一步包括：基于所述目标块的经编解码的信息，确定是否和/或如何添加所述目标运动候选，所述经编解码的信息包括以下至少一项：所述编解码模式，块大小，颜色格式，单树分区和/或双树分区，颜色分量，条带类型，或图片类型。
条款100.一种视频处理的方法，包括：在视频的目标块和所述目标块的比特流之间的转换期间，确定针对所述目标块的合并候选列表，所述目标块利用使用运动矢量差异模式的合并模式(MMVD)被编解码；确定被允许用于所述MMVD模式的多个合并候选；以及基于所述多个合并候选来执行所述转换。
条款101.根据条款100所述的方法，其中所述MMVD模式包括利用MMVD的组合的帧内和帧间预测(CIIP)。
条款102.根据条款100所述的方法，其中针对所述目标块的最大允许的合并候选的数目等于最大允许的一般合并候选的数目。
条款103.根据条款100所述的方法，其中所述目标块的合并索引等于大于第一预定数目的值。
条款104.根据条款100所述的方法，其中如果所述目标块利用跳过模式被编解码，则MMVD合并候选的所述数目被允许大于第二预定数目。
条款105.根据条款100所述的方法，其中如果所述目标块利用跳过模式被编解码，则所指示的合并索引被允许大于第三预定数目。
条款106.根据条款100所述的方法，其中如果所述目标块利用跳过模式被编解码，则合并索引针对所述目标块被指示，并且其中如果所述目标块不利用跳过模式被编解码，则合并标志针对所述目标块被指示。
条款107.根据条款100所述的方法，其中如果所述目标块利用非跳过模式被编解码，则MMVD合并候选的数目被允许大于第四预定数目。
条款108.根据条款107所述的方法，其中如果所述目标块利用非跳过模式被编解码，则所指示的合并索引被允许大于第五预定数目。
条款109.根据条款100所述的方法，其中如果所述目标块利用非跳过模式被编解码，则合并索引针对所述目标块被指示，并且其中如果所述目标块不利用所述非跳过模式被编解码，则合并标志针对所述目标块被指示。
条款110.根据条款100所述的方法，其中针对以下至少一项，仅第六预定数目的合并候选被允许：CIIP MMVD模式，常规TM模式，CIIP TM模式，几何TM模式，或几何MMVD模式。
条款111.根据条款100所述的方法，其中不同数目的基合并候选针对不同的MMVD模式被允许。
条款112.根据条款111所述的方法，其中所述不同的MMVD模式包括以下至少一项：常规MMVD模式，CIIP MMVD模式，或几何MMVD模式。
条款113.根据条款100-112中任一项所述的方法，其中是否和/或如何确定被允许用于所述MMVD模式的所述多个合并候选的指示在以下一项处被指示：序列级别，图片组级别，图片级别，条带级别，或图块组级别。
条款114.根据条款100-112中任一项所述的方法，其中是否和/或如何确定被允许用于所述MMVD模式的所述多个合并候选的指示在以下一项处被指示：序列头，图片头，序列参数集(SPS)，视频参数集(VPS)，依赖参数集(DPS)，解码能力信息(DCI)，图片参数集(PPS)，自适应参数集(APS)，条带头，或图块组头。
条款115.根据条款100-112中任一项所述的方法，其中是否和/或如何确定被允许用于所述MMVD模式的所述多个合并候选的指示被包括在以下一项中：预测块(PB)，变换块(TB)，编解码块(CB)，预测单元(PU)，变换单元(TU)，编解码单元(CU)，虚拟流水线数据单元(VPDU)，编解码树单元(CTU)，CTU行，条带，图块，子图片，或包含多于一个样本或像素的区域。
条款116.根据条款100-112中任一项所述的方法，进一步包括：基于所述目标块的经编解码的信息来确定是否和/或如何确定被允许用于所述MMVD模式的所述多个合并候选，所述经编解码的信息包括以下至少一项：所述编解码模式，块大小，颜色格式，单树分区和/或双树分区，颜色分量，条带类型，或图片类型。
条款117.根据条款1-116中任一项所述的方法，其中所述转换包括将所述目标块编码成所述比特流。
条款118.根据条款1-116中任一项所述的方法，其中所述转换包括从所述比特流解码所述目标块。
条款119.一种用于处理视频数据的装置，所述装置包括处理器和在其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时，使所述处理器执行根据条款1-82中的任一项或条款83-99中的任一项或条款100-116中的任一项所述的方法。
条款120.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储指令，所述指令使处理器执行根据条款1-82中的任一项或条款83-99中的任一项或条款100-116中的任一项所述的方法。
条款121.一种非暂态计算机可读记录介质，所述非暂态计算机可读记录介质存储视频的比特流，所述比特流由被视频处理装置执行的方法生成，其中所述方法包括：确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式；构建与所述CIIP模式相关联的合并候选列表；对与所述CIIP模式相关联的所述合并候选列表执行自适应合并列表重新排序；以及基于被重新排序的所述合并候选列表来生成所述目标块的比特流。
条款122.一种用于存储视频的比特流的方法，包括：确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式；构建与所述CIIP模式相关联的合并候选列表；对与所述CIIP模式相关联的所述合并候选列表执行自适应合并列表重新排序；基于被重新排序的所述合并候选列表来生成所述目标块的比特流；以及将所述比特流存储在非暂态计算机可读记录介质中。
条款123.一种非暂态计算机可读记录介质，所述非暂态计算机可读记录介质存储视频的比特流，所述比特流由被视频处理装置执行的方法生成，其中所述方法包括：使用预定操作基于多个运动矢量来确定目标运动候选；构建针对目标块的运动候选列表；将所述目标运动候选添加到所述运动候选列表中；以及基于所述运动候选列表来生成所述目标块的比特流。
条款124.一种用于存储视频的比特流的方法，包括：使用预定操作基于多个运动矢量来确定目标运动候选；构建针对目标块的运动候选列表；将所述目标运动候选添加到所述运动候选列表中；以及基于所述运动候选列表生成所述目标块的比特流；以及将所述比特流存储在非暂态计算机可读记录介质中。
条款125.一种非暂态计算机可读记录介质，所述非暂态计算机可读记录介质存储视频的比特流，所述比特流由被视频处理装置执行的方法生成，其中所述方法包括：在视频的目标块和所述目标块的比特流之间的转换期间，确定所述目标块的合并候选列表，所述目标块利用使用运动矢量差异模式的合并模式(MMVD)被编解码；确定被允许用于所述MMVD模式的多个合并候选；以及基于所述多个合并候选来生成所述目标块的比特流。
条款126.一种用于存储视频的比特流的方法，包括：在视频的目标块和所述目标块的比特流之间的转换期间，确定所述目标块的合并候选列表，所述目标块利用使用运动矢量差异模式的合并模式(MMVD)被编解码；确定被允许用于所述MMVD模式的多个合并候选；基于所述多个合并候选来生成所述目标块的比特流；以及将所述比特流存储在非暂态计算机可读记录介质中。
示例设备
图30示出了可以在其中实现本公开的各种实施例的计算设备3000的框图。计算设备3000可以被实现为源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)，或者可以被包括在源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)中。
应当理解的是，图30中示出的计算设备3000仅为了说明的目的，而不是以任何方式暗示对本公开实施例的功能和范围的任何限制
如图30所示，计算设备3000包括通用计算设备3000。计算设备3000可以至少包括一个或多个处理器或处理单元3010、存储器3020、存储单元3030、一个或多个通信单元3040、一个或多个输入设备3050以及一个或多个输出设备3060。
在一些实施例中，计算设备3000可以被实现为具有计算能力的任何用户终端或服务器终端。服务器终端可以是由服务提供商提供的服务器、大型计算设备等。用户终端例如可以是任何类型的移动终端、固定终端或便携式终端，包括移动电话、站、单元、设备、多媒体计算机、多媒体平板计算机、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、个人通信***(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或其任何组合，并且包括这些设备的附件和***设备或其任何组合。可以设想的是，计算设备3000可以支持到用户的任何类型的接口(诸如“可穿戴”电路装置等)。
处理单元3010可以是物理处理器或虚拟处理器，并且可以基于存储在存储器3020中的程序实现各种处理。在多处理器***中，多个处理单元并行地执行计算机可执行指令，以便改善计算设备3000的并行处理能力。处理单元3010也可以被称为中央处理单元(CPU)、微处理器、控制器或微控制器。
计算设备3000通常包括各种计算机存储介质。这样的介质可以是由计算设备3000可访问的任何介质，包括但不限于易失性介质和非易失性介质、或可拆卸介质和不可拆卸介质。存储器3020可以是易失性存储器(例如，寄存器、高速缓存、随机存取存储器(RAM))、非易失性存储器(诸如只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或闪存)或其任何组合。存储单元3030可以是任何可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如存储器、闪存驱动器、磁盘或其他可以被用于存储信息和/或数据并且可以在计算设备3000中被访问的介质。
计算设备3000还可以包括附加的可拆卸/不可拆卸存储介质、易失性/非易失性存储介质。尽管在图30中未示出，但是可以提供用于从可拆卸的非易失性磁盘读取和/或写入可拆卸的非易失性磁盘的磁盘驱动器，以及用于从可拆卸的非易失性光盘读取和/或写入可拆卸的非易失性光盘的光盘驱动器。在这种情况下，每个驱动器可以经由一个或多个数据介质接口连接到总线(未示出)。
通信单元3040经由通信介质与另一计算设备通信。另外，计算设备3000中的组件的功能可以由可以经由通信连接进行通信的单个计算集群或多个计算机器来实现。因此，计算设备3000可以使用与一个或多个其他服务器、联网个人计算机(PC)或其他通用网络节点的逻辑连接来在联网环境中运行。
输入设备3050可以是各种输入设备中的一种或多种输入设备，诸如鼠标、键盘、轨迹球、语音输入设备等。输出设备3060可以是各种输出设备中的一种或多种输出设备，诸如显示器、扬声器、打印机等。借助于通信单元3040，计算设备3000还可以与一个或多个外部设备(未示出)通信，外部设备诸如是存储设备和显示设备，计算设备3000还可以与一个或多个使用户能够与计算设备3000交互的设备通信，或任何使计算设备3000能够与一个或多个其他计算设备通信的设备(例如网卡、调制解调器等)通信，如果需要的话。这种通信可以经由输入/输出(I/O)接口(未示出)进行。
在一些实施例中，计算设备3000的一些或所有组件也可以被布置在云计算架构中，而不是被集成在单个设备中。在云计算架构中，组件可以被远程提供并且共同工作，以实现本公开中描述的功能。在一些实施例中，云计算提供计算、软件、数据访问和存储服务，这将不要求最终用户知晓提供这些服务的***或硬件的物理位置或配置。在各种实施例中，云计算使用合适的协议经由广域网(例如互联网)提供服务。例如，云计算提供商通过广域网提供应用程序，可以通过网络浏览器或任何其他计算组件访问这些应用程序。云计算架构的软件或组件以及对应的数据可以存储在远程服务器上。云计算环境中的计算资源可以被合并或分布在远程数据中心的位置。云计算基础设施可以通过共享数据中心提供服务，尽管它们表现为作为用户的单一接入点。因此，云计算架构可与被用于从远程位置的服务提供商处提供本文所述的组件和功能。备选地，它们可以由常规服务器提供，或者直接或以其他方式安装在客户端设备上。
在本公开的实施例中，计算设备3000可以被用于实现视频编码/解码。存储器3020可以包括具有一个或多个程序指令的一个或多个视频编解码模块3025。这些模块能够由处理单元3010访问和执行，以执行本文描述的各种实施例的功能。
在执行视频编码的示例实施例中，输入设备3050可以接收视频数据作为待编码的输入3070。视频数据可以由例如视频编解码模块3025处理，以生成经编码的码流。经编码的码流可以经由输出设备3060作为输出3080被提供。
在执行视频解码的示例实施例中，输入设备3050可以接收经编码的码流作为输入3070。经编码的码流可以由例如视频编解码模块3025处理，以生成经解码的视频数据。经解码的视频数据可以经由输出设备3060作为输出3080被提供。
虽然已经参考本公开的优选实施例具体示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求限定的本申请的精神和范围的情况下，可以在形式和细节上进行各种改变。这些变化旨在由本申请的范围所涵盖。因此，本申请的实施例的前述描述不旨在是限制性的。

Claims (126)

1.一种视频处理的方法，包括：
在视频的目标块和所述目标块的比特流之间的转换期间，确定与所述目标块相关联的组合的帧间和帧内预测(CIIP)模式；
构建与所述CIIP模式相关联的合并候选列表；
对与所述CIIP模式相关联的所述合并候选列表执行自适应合并列表重新排序；以及
基于被重新排序的所述合并候选列表来执行所述转换。
2.根据权利要求1所述的方法，其中所述CIIP模式包括以下至少一项：
利用使用运动矢量差异的合并模式(MMVD)的CIIP，
利用模板匹配(TM)的CIIP，
利用仿射预测的CIIP，
利用基于子块的时间运动矢量预测(SbTMVP)的CIIP，或
多假设预测(MHP)。
3.根据权利要求1所述的方法，其中所述自适应合并列表重新排序不被允许被应用于CIIP变体。
4.根据权利要求1所述的方法，其中所述自适应合并列表重新排序被应用于第一CIIP变体，并且
其中所述自适应合并列表重新排序不被允许被应用于第二CIIP变体。
5.根据权利要求4所述的方法，其中所述第二CIIP变体是利用仿射预测的CIIP，并且所述自适应合并列表重新排序不被允许被应用于利用仿射预测的所述CIIP。
6.根据权利要求1所述的方法，其中CIIP预测基于编解码信息被生成。
7.根据权利要求21所述的方法，其中所述CIIP预测是构建CIIP变体的最终预测的中间预测。
8.根据权利要求22所述的方法，其中所述CIIP变体包括以下一项：
利用MMVD的CIIP，
利用TM的CIIP，
利用仿射的CIIP，或
利用sbTMVP的CIIP。
9.根据权利要求1所述的方法，其中针对与所述目标块相关联的CIIP预测块，利用编解码单元(CU)级别权重(BCW)索引的双向预测不被继承。
10.根据权利要求24所述的方法，其中所述BCW索引被设置为默认值，所述默认值指定没有BCW被应用于指定的预测块。
11.根据权利要求24所述的方法，其中具有指示L0预测和L1预测之间的不相等权重的BCW索引的基于合并的预测不被用于所述CIIP预测块。
12.根据权利要求1所述的方法，其中基于合并的CIIP预测块的BCW索引从一组相邻块被继承。
13.根据权利要求1所述的方法，其中针对与所述目标块相关联的CIIP预测块，半像素插值滤波器索引不被继承。
14.根据权利要求28所述的方法，其中所述半像素插值滤波器索引被设置为默认值，所述默认值指定没有半像素插值滤波器被应用于指定的预测块。
15.根据权利要求28所述的方法，其中使用所述半像素插值滤波器的基于合并的预测不被用于所述CIIP预测块。
16.根据权利要求1所述的方法，其中针对与所述目标块相关联的CIIP预测块，基于合并的CIIP预测块的半像素插值滤波器索引不被继承。
17.根据权利要求1所述的方法，其中针对与所述目标块相关联的CIIP预测块，局部照明补偿(LIC)标志不被继承。
18.根据权利要求32所述的方法，其中所述LIC标志被设置为默认值，所述默认值指定没有LIC被应用于指定的预测块。
19.根据权利要求33所述的方法，其中使用LIC的基于合并的预测不被用于所述CIIP预测块。
20.根据权利要求1所述的方法，其中基于合并的CIIP预测块的LIC标志是从一组相邻块被继承。
21.根据权利要求1所述的方法，其中针对作为CIIP经编解码的块的所述目标块，BCW索引不被指示。
22.根据权利要求36所述的方法，其中具有指示L0预测和L1预测之间的不相等权重的BCW的AMVP预测块不被允许作为CIIP预测块被使用。
23.根据权利要求1所述的方法，其中针对作为CIIP经编解码的块的所述目标块，BCW索引被指示。
24.根据权利要求1所述的方法，其中针对作为CIIP经编解码的块的所述目标块，半像素插值索引不被指示。
25.根据权利要求39所述的方法，其中由半像素插值滤波器生成的AMVP预测块不被允许作为CIIP预测块被使用。
26.根据权利要求1所述的方法，其中针对作为CIIP经编解码的块的所述目标块，半像素插值索引被指示。
27.根据权利要求1所述的方法，其中针对作为CIIP经编解码的块的所述目标块，LIC标志不被指示。
28.根据权利要求42所述的方法，其中由LIC生成的AMVP预测块不被允许作为CIIP预测块被使用。
29.根据权利要求1所述的方法，其中针对作为CIIP经编解码的块的所述目标块，LIC标志被指示。
30.根据权利要求1所述的方法，其中所述CIIP是基于与所述目标块相关联的预测块。
31.根据权利要求30所述的方法，其中所述预测块从以下一项被生成：
高级运动矢量预测(AMVP)，
增强的合并预测，或
非常规合并预测。
32.根据权利要求1所述的方法，其中所述CIIP模式被编解码为一个类型的非合并模式。
33.根据权利要求32所述的方法，其中与所述CIIP模式相关的语法元素被指示在合并数据相关语法结构的范围之外。
34.根据权利要求31所述的方法，其中所述AMVP被用于构建与所述目标块相关联的CIIP预测。
35.根据权利要求34所述的方法，其中所述AMVP包括以下至少一项：
常规AMVP，
仿射AMVP，
经空间运动矢量预测(SMVP)细化的AMVP，
经模板匹配(TM)细化的AMVP，
经解码器侧运动矢量细化(DMVR)细化的AMVP，
经双向光流(BDOF)细化的AMVP，或
AMVP预测的变体。
36.根据权利要求31所述的方法，其中所述增强的合并预测被用于构建与所述目标块相关联的CIIP预测。
37.根据权利要求36所述的方法，其中所述增强合并预测包括以下至少一项：
几何合并模式，
利用运动矢量差异的合并模式(MMVD)，
仿射合并预测，
基于子块的时间运动矢量预测(SbTMVP)
经TM细化的合并，
经DMVR细化的合并，
经BDOF细化的合并，或
合并预测的变体。
38.根据权利要求31所述的方法，其中所述非常规合并预测用于构建与所述目标块相关联的CIIP预测。
39.根据权利要求38所述的方法，其中所述非常规合并预测包括：
MHP，或
AMVP合并。
40.根据权利要求1所述的方法，其中所述CIIP模式将仿射预测和不同类型的预测混合在一起。
41.根据权利要求40所述的方法，其中所述仿射预测从帧间仿射合并模式生成。
42.根据权利要求40所述的方法，其中所述仿射预测从帧间仿射MMVD模式生成。
43.根据权利要求40所述的方法，其中所述仿射预测从帧间仿射AMVP模式生成。
44.根据权利要求1所述的方法，其中帧内块复制(IBC)预测被用于构建CIIP预测。
45.根据权利要求1所述的方法，其中用以生成针对CIIP的最终预测的加权值取决于帧内预测和帧间预测如何被生成。
46.根据权利要求45所述的方法，其中所述加权值取决于以下至少一项：
帧间预测如何被生成，或
帧内预测如何被细化。
47.根据权利要求45所述的方法，其中所述加权值取决于所述帧内预测如何被生成。
48.根据权利要求1所述的方法，其中CIIP预测块的预测信息进一步被细化，并且
其中所述预测信息包括以下至少一项：
模板匹配，
DMVR，
BDOF，
MMVD，
DIMD，或
TIMD。
49.根据权利要求48所述的方法，其中所述CIIP预测块的一组运动矢量进一步被以下至少一项细化：
模板匹配，
DMVRM，
BDOF，或
MMVD。
50.根据权利要求48所述的方法，其中所述CIIP预测块的一组亮度样本进一步被BDOF细化。
51.根据权利要求48所述的方法，其中所述CIIP预测块是否进一步被细化取决于所述CIIP预测块的编解码信息是否满足条件。
52.根据权利要求51所述的方法，其中DMVR是否被应用于所述CIIP预测块取决于针对将DMVR应用于常规合并模式的条件。
53.根据权利要求51所述的方法，其中BDOF是否被应用于所述CIIP预测块取决于针对将BDOF应用于常规合并模式的条件。
54.根据权利要求51所述的方法，其中如果所述CIIP预测块通过双向预测生成，则所述CIIP预测块进一步被以下一项细化：DMVR或BDOF。
55.根据权利要求51所述的方法，其中如果所述CIIP预测块通过双向预测生成，并且L0参考图片的第一图片顺序编解码(POC)距离等于L1参考图片的第二POC距离，则所述CIIP预测块进一步被以下一项细化：DMVR或BDOF。
56.根据权利要求51所述的方法，其中如果所述CIIP预测块被利用相等权重的双向预测生成，则所述CIIP预测块通过进一步被以下一项细化：DMVR或BDOF。
57.根据权利要求51所述的方法，其中如果所述CIIP预测块不通过条带级别加权预测或图片级别加权预测生成，则所述CIIP预测块进一步被以下一项细化：DMVR或BDOF。
58.根据权利要求1所述的方法，其中以下至少一项不被允许应用于CIIP预测块和CIIP变体：
模板匹配，
DMVR，或
BDOF。
59.根据权利要求58所述的方法，其中所述CIIP变体包括以下至少一项：
利用MMVD的CIIP，
利用TM的CIIP，
利用仿射预测的CIIP，
利用sbTMVP的CIIP，或
MHP。
60.根据权利要求1所述的方法，其中CIIP模式的最终预测从多个预测块被融合。
61.根据权利要求60所述的方法，其中所述多个预测块包括第一预测块、第二预测块或第三预测块。
62.根据权利要求61所述的方法，其中所述第一预测块从以下至少一项被生成：
帧内预测，
直流(DC)，
平面预测，
取决于位置的帧内预测组合(PDPC)预测子，
TIMD，
DIMD，
跨分量线性模型(CCLM)，或
多模型CCLM(MM-CCLM)。
63.根据权利要求61所述的方法，其中所述第二预测块从以下至少一项被生成：
帧间常规合并预测，或
合并预测的变体。
64.根据权利要求61所述的方法，其中所述第三预测块从以下至少一项被生成：
AMVP预测，
增强合并预测，或
非常规合并预测。
65.根据权利要求61所述的方法，其中所述第二预测块或所述第三预测块中的至少一个被IBC生成。
66.根据权利要求60所述的方法，其中用于融合所述多个预测块的一组权重被预定义。
67.根据权利要求60所述的方法，其中用于融合所述多个预测块的一组权重基于以下至少一项的编解码信息被确定：直接邻居项或直接当前项。
68.根据权利要求67所述的方法，其中所述编解码信息包括以下至少一项：
预测模式，或
基于所述目标块的预测的梯度信息。
69.根据权利要求60所述的方法，其中用于融合所述多个预测块的一组权重基于一组语法元素被确定。
70.根据权利要求69所述的方法，其中多组权重被预定义，并且指示使用哪组权重的语法元素在视频单元级别被指示。
71.根据权利要求70所述的方法，其中所述视频单元级别包括以下一项：
块级别，
条带级别，
条带头级别，
图片级别，
图片头级别，或
序列级别。
72.根据权利要求60所述的方法，其中用于融合所述多个预测块的一组权重是以下一项：
基于样本的，
基于块的，
基于条带的，
基于图片的，或
基于序列的。
73.根据权利要求72所述的方法，其中每个样本具有权重。
74.根据权利要求72所述的方法，其中块内的样本具有相同的权重。
75.根据权利要求72所述的方法，其中属于以下一项的样本具有相同的权重：条带、图片或序列。
76.根据权利要求1所述的方法，其中针对利用CIIP变体被编解码的所述目标块，跳过模式被允许。
77.根据权利要求76所述的方法，其中所述CIIP变体包括以下一项：
利用MMVD的CIIP，
利用TM的CIIP，
利用仿射预测的CIIP，或
利用sbTMVP的CIIP。
78.根据权利要求1所述的方法，其中CIIP相关的语法元素不依赖于跳过标志。
79.根据权利要求1-78中任一项所述的方法，其中是否和/或如何应用所述自适应合并列表重新排序的指示在以下一项处被指示：
序列级别，
图片组级别，
图片级别，
条带级别，或
图块组级别。
80.根据权利要求1-78中任一项所述的方法，其中是否和/或如何应用所述自适应合并列表重新排序的指示在以下一项中被指示：
序列头，
图片头，
序列参数集(SPS)，
视频参数集(VPS)，
依赖参数集(DPS)，
解码能力信息(DCI)，
图片参数集(PPS)，
自适应参数集(APS)，
条带头，或者
图块组头。
81.根据权利要求1-78中任一项所述的方法，其中是否和/或如何应用所述自适应合并列表重新排序的指示被包括在以下一项中：
预测块(PB)，
变换块(TB)，
编解码块(CB)，
预测单元(PU)，
变换单元(TU)，
编解码单元(CU)，
虚拟流水线数据单元(VPDU)，
编解码树单元(CTU)，
CTU行，
条带，
图块，
子图片，或
包含多于一个样本或像素的区域。
82.根据权利要求1-78中任一项的方法，进一步包括：
基于所述目标块的经编解码的信息来确定是否和/或如何应用所述自适应合并列表重排序，所述经编解码的信息包括以下至少一项：
所述编解码模式，
块大小，
颜色格式，
单树分区和/或双树分区，
颜色分量，
条带类型，或
图片类型。
83.一种视频处理的方法，包括：
在视频的目标块和所述目标块的比特流之间的转换期间，确定针对所述目标块的合并候选列表，所述目标块利用使用运动矢量差异模式的合并模式(MMVD)被编解码；
确定被允许用于所述MMVD模式的多个合并候选；以及
基于所述多个合并候选来执行所述转换。
84.根据权利要求83所述的方法，其中所述MMVD模式包括利用MMVD的组合的帧内和帧间预测(CIIP)。
85.根据权利要求83所述的方法，其中针对所述目标块的最大允许的合并候选的数目等于最大允许的一般合并候选的数目。
86.根据权利要求83所述的方法，其中所述目标块的合并索引等于大于第一预定数目的值。
87.根据权利要求83所述的方法，其中如果所述目标块利用跳过模式被编解码，则MMVD合并候选的所述数目被允许大于第二预定数目。
88.根据权利要求83所述的方法，其中如果所述目标块利用跳过模式被编解码，则所指示的合并索引被允许大于第三预定数目。
89.根据权利要求83所述的方法，其中如果所述目标块利用跳过模式被编解码，则合并索引针对所述目标块被指示，并且
其中如果所述目标块不利用跳过模式被编解码，则合并标志针对所述目标块被指示。
90.根据权利要求83所述的方法，其中如果所述目标块利用非跳过模式被编解码，则MMVD合并候选的数目被允许大于第四预定数目。
91.根据权利要求90所述的方法，其中如果所述目标块利用非跳过模式被编解码，则所指示的合并索引被允许大于第五预定数目。
92.根据权利要求83所述的方法，其中如果所述目标块利用非跳过模式被编解码，则合并索引针对所述目标块被指示，并且
其中如果所述目标块不利用所述非跳过模式被编解码，则合并标志针对所述目标块被指示。
93.根据权利要求83所述的方法，其中针对以下至少一项，仅第六预定数目的合并候选被允许：
CIIP MMVD模式，
常规TM模式，
CIIP TM模式，
几何TM模式，或
几何MMVD模式。
94.根据权利要求83所述的方法，其中不同数目的基合并候选针对不同的MMVD模式被允许。
95.根据权利要求94所述的方法，其中所述不同的MMVD模式包括以下至少一项：
常规MMVD模式，
CIIP MMVD模式，或
几何MMVD模式。
96.根据权利要求83-95中任一项所述的方法，其中是否和/或如何确定被允许用于所述MMVD模式的所述多个合并候选的指示在以下一项处被指示：
序列级别，
图片组级别，
图片级别，
条带级别，或
图块组级别。
97.根据权利要求83-95中任一项所述的方法，其中是否和/或如何确定被允许用于所述MMVD模式的所述多个合并候选的指示在以下一项处被指示：
序列头，
图片头，
序列参数集(SPS)，
视频参数集(VPS)，
依赖参数集(DPS)，
解码能力信息(DCI)，
图片参数集(PPS)，
自适应参数集(APS)，
条带头，或
图块组头。
98.根据权利要求83-95中任一项所述的方法，其中是否和/或如何确定被允许用于所述MMVD模式的所述多个合并候选的指示被包括在以下一项中：
预测块(PB)，
变换块(TB)，
编解码块(CB)，
预测单元(PU)，
变换单元(TU)，
编解码单元(CU)，
虚拟流水线数据单元(VPDU)，
编解码树单元(CTU)，
CTU行，
条带，
图块，
子图片，或
包含多于一个样本或像素的区域。
99.根据权利要求83-95中任一项所述的方法，进一步包括：
基于所述目标块的经编解码的信息来确定是否和/或如何确定被允许用于所述MMVD模式的所述多个合并候选，所述经编解码的信息包括以下至少一项：
所述编解码模式，
块大小，
颜色格式，
单树分区和/或双树分区，
颜色分量，
条带类型，或
图片类型。
100.一种视频处理的方法，包括：
在视频的目标块和所述目标块的比特流之间的转换期间，使用预定操作基于多个运动矢量来确定目标运动候选；
构建针对所述目标块的运动候选列表；
将所述目标运动候选添加到所述运动候选列表中；以及
基于所述运动候选列表来执行所述转换。
101.根据权利要求100所述的方法，其中多个运动候选被相加并被右移大于预定数目的预定义值。
102.根据权利要求101所述的方法，其中所述多个运动候选是基于合并候选列表中的合并候选。
103.根据权利要求101所述的方法，其中所述多个运动候选是合并候选列表中的多个合并候选。
104.根据权利要求101所述的方法，其中所述多个运动候选是基于AMVP候选列表中的AMVP候选。
105.根据权利要求100所述的方法，其中所述预定操作如何被应用取决于以下至少一项：包括L0和L1的预测列表、或参考索引。
106.根据权利要求105所述的方法，其中所述预定操作分别被应用于L0和L1。
107.根据权利要求105所述的方法，其中所述预定操作被应用于L0，或
其中所述预定操作被应用于L1。
108.根据权利要求105所述的方法，其中如果所述参考索引大于预定数目，则所述预定操作被应用。
109.根据权利要求100所述的方法，其中所述目标运动候选被用作针对帧间模式的新运动候选。
110.根据权利要求109所述的方法，其中所述帧间模式包括以下至少一项：
常规AMVP模式，
常规合并模式，
几何合并模式，
几何MMVD模式，
几何模板匹配(TM)模式，
CIIP模式，
CIIP MMVD模式，
CIIP TM模式，
常规MMVD模式，
MMVD-TM模式，
MHP模式，
仿射模式，或
AMVP合并模式。
111.根据权利要求100所述的方法，其中所述目标运动候选被用于替换针对帧间模式的现有运动候选。
112.根据权利要求111所述的方法，其中所述现有运动候选是现有运动候选列表中的运动候选中的一个运动候选。
113.根据权利要求100-112中任一项所述的方法，其中是否和/或如何添加所述目标运动候选的指示在以下一项处被指示：
序列级别，
图片组级别，
图片级别，
条带级别，或
图块组级别。
114.根据权利要求100-112中任一项所述的方法，其中是否和/或如何添加所述目标运动候选的指示在以下一项处被指示：
序列头，
图片头，
序列参数集(SPS)，
视频参数集(VPS)，
依赖参数集(DPS)，
解码能力信息(DCI)，
图片参数集(PPS)，
自适应参数集(APS)，
条带头，或
图块组头。
115.根据权利要求100-112中任一项所述的方法，其中是否和/或如何添加所述目标运动候选的指示被包括在以下一项处：
预测块(PB)，
变换块(TB)，
编解码块(CB)，
预测单元(PU)，
变换单元(TU)，
编解码单元(CU)，
虚拟流水线数据单元(VPDU)，
编解码树单元(CTU)，
CTU行，
条带，
图块，
子图片，或
包含多于一个样本或像素的区域。
116.根据权利要求100-112中任一项所述的方法，进一步包括：
基于所述目标块的经编解码的信息，确定是否和/或如何添加所述目标运动候选，所述经编解码的信息包括以下至少一项：
所述编解码模式，
块大小，
颜色格式，
单树分区和/或双树分区，
颜色分量，
条带类型，或
图片类型。
117.根据权利要求1-116中任一项所述的方法，其中所述转换包括将所述目标块编码成所述比特流。
118.根据权利要求1-116中任一项所述的方法，其中所述转换包括从所述比特流解码所述目标块。
119.一种用于处理视频数据的装置，所述装置包括处理器和在其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时，使所述处理器执行根据权利要求1-82中的任一项或权利要求83-99中的任一项或权利要求100-116中的任一项所述的方法。
120.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储指令，所述指令使处理器执行根据权利要求1-82中的任一项或权利要求83-99中的任一项或权利要求100-116中的任一项所述的方法。
121.一种非暂态计算机可读记录介质，所述非暂态计算机可读记录介质存储视频的比特流，所述比特流由被视频处理装置执行的方法生成，其中所述方法包括：
确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式；
构建与所述CIIP模式相关联的合并候选列表；
对与所述CIIP模式相关联的所述合并候选列表执行自适应合并列表重新排序；以及
基于被重新排序的所述合并候选列表来生成所述目标块的比特流。
122.一种用于存储视频的比特流的方法，包括：
确定与目标块相关联的组合的帧间和帧内预测(CIIP)模式；
构建与所述CIIP模式相关联的合并候选列表；
对与所述CIIP模式相关联的所述合并候选列表执行自适应合并列表重新排序；
基于被重新排序的所述合并候选列表来生成所述目标块的比特流；以及
将所述比特流存储在非暂态计算机可读记录介质中。
123.一种非暂态计算机可读记录介质，所述非暂态计算机可读记录介质存储视频的比特流，所述比特流由被视频处理装置执行的方法生成，其中所述方法包括：
使用预定操作基于多个运动矢量来确定目标运动候选；
构建针对目标块的运动候选列表；
将所述目标运动候选添加到所述运动候选列表中；以及
基于所述运动候选列表来生成所述目标块的比特流。
124.一种用于存储视频的比特流的方法，包括：
使用预定操作基于多个运动矢量来确定目标运动候选；
构建针对目标块的运动候选列表；
将所述目标运动候选添加到所述运动候选列表中；以及
基于所述运动候选列表生成所述目标块的比特流；以及
将所述比特流存储在非暂态计算机可读记录介质中。
125.一种非暂态计算机可读记录介质，所述非暂态计算机可读记录介质存储视频的比特流，所述比特流由被视频处理装置执行的方法生成，其中所述方法包括：
在视频的目标块和所述目标块的比特流之间的转换期间，确定所述目标块的合并候选列表，所述目标块利用使用运动矢量差异模式的合并模式(MMVD)被编解码；
确定被允许用于所述MMVD模式的多个合并候选；以及
基于所述多个合并候选来生成所述目标块的比特流。
126.一种用于存储视频的比特流的方法，包括：
在视频的目标块和所述目标块的比特流之间的转换期间，确定所述目标块的合并候选列表，所述目标块利用使用运动矢量差异模式的合并模式(MMVD)被编解码；
确定被允许用于所述MMVD模式的多个合并候选；
基于所述多个合并候选来生成所述目标块的比特流；以及
将所述比特流存储在非暂态计算机可读记录介质中。
CN202280057522.8A 2021-08-23 2022-08-22 用于视频处理的方法、装置和介质 Pending CN118285102A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2021114163 2021-08-23
CNPCT/CN2021/114163 2021-08-23
PCT/CN2022/113986 WO2023025098A1 (en) 2021-08-23 2022-08-22 Method, apparatus, and medium for video processing

Publications (1)

Publication Number Publication Date
CN118285102A true CN118285102A (zh) 2024-07-02

Family

ID=85321519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280057522.8A Pending CN118285102A (zh) 2021-08-23 2022-08-22 用于视频处理的方法、装置和介质

Country Status (3)

Country Link
US (1) US20240195952A1 (zh)
CN (1) CN118285102A (zh)
WO (1) WO2023025098A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11166037B2 (en) * 2019-02-27 2021-11-02 Mediatek Inc. Mutual excluding settings for multiple tools
US20200288175A1 (en) * 2019-03-06 2020-09-10 Qualcomm Incorporated Signaling of triangle merge mode indexes in video coding
CN113557721A (zh) * 2019-03-12 2021-10-26 北京达佳互联信息技术有限公司 组合帧间和帧内预测模式的受约束和调节的应用
CN117440173A (zh) * 2019-03-21 2024-01-23 北京字节跳动网络技术有限公司 组合帧间帧内预测的改进的加权处理

Also Published As

Publication number Publication date
US20240195952A1 (en) 2024-06-13
WO2023025098A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
WO2022262695A1 (en) Method, device, and medium for video processing
CN118285100A (zh) 用于视频处理的方法、装置和介质
CN117957837A (zh) 用于视频处理的方法、装置和介质
CN117529919A (zh) 用于视频处理的方法、设备和介质
CN118285102A (zh) 用于视频处理的方法、装置和介质
US20240223778A1 (en) Method, device, and medium for video processing
WO2023280282A1 (en) Method, apparatus, and medium for video processing
WO2022262694A1 (en) Method, device, and medium for video processing
WO2024099334A1 (en) Method, apparatus, and medium for video processing
US20240205390A1 (en) Method, device, and medium for video processing
WO2022262693A1 (en) Method, device, and medium for video processing
WO2023051624A1 (en) Method, apparatus, and medium for video processing
WO2022262689A1 (en) Method, device, and medium for video processing
WO2024002185A1 (en) Method, apparatus, and medium for video processing
WO2024146432A1 (en) Method, apparatus, and medium for video processing
WO2024046479A1 (en) Method, apparatus, and medium for video processing
US20240163459A1 (en) Method, apparatus, and medium for video processing
US20240244204A1 (en) Method, apparatus, and medium for video processing
US20240121383A1 (en) Method, device, and medium for video processing
CN118339834A (zh) 视频处理方法、设备和介质
CN118077194A (zh) 用于视频处理的方法、装置和介质
CN118140475A (zh) 视频处理方法、设备和介质
CN117426096A (zh) 用于视频处理的方法、设备和介质
CN118285098A (zh) 用于视频处理的方法、装置和介质
CN117178551A (zh) 用于视频处理的方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication