CN118251885A - 用于视频处理的方法、设备和介质 - Google Patents

用于视频处理的方法、设备和介质 Download PDF

Info

Publication number
CN118251885A
CN118251885A CN202280059730.1A CN202280059730A CN118251885A CN 118251885 A CN118251885 A CN 118251885A CN 202280059730 A CN202280059730 A CN 202280059730A CN 118251885 A CN118251885 A CN 118251885A
Authority
CN
China
Prior art keywords
video unit
prediction
codec
video
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280059730.1A
Other languages
English (en)
Inventor
邓智玭
张凯
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN118251885A publication Critical patent/CN118251885A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开的实施方案提供了一种用于视频处理的解决方案。提出了一种用于视频处理的方法。该方法包括：在视频的视频单元与所述视频单元的比特流之间的转换期间，确定所述视频单元的多重假设信息，所述视频单元是经多重假设编解码的视频单元；将所述多重假设信息***基于历史的运动候选表中；以及根据所述基于历史的运动候选表执行所述转换。

Description

用于视频处理的方法、设备和介质
技术领域
本公开的实施例总体上涉及视频编解码技术，更具体地说，涉及图像/视频编解码中的多重假设预测的信令。
背景技术
如今，数字视频功能正被应用于人们生活的各个方面。针对视频编码/解码，已经提出了多种类型的视频压缩技术，如MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4Part10高级视频编码(AVC)、ITU-TH.265高效视频编码(HEVC)标准、通用视频编码(VVC)标准。然而，传统视频编码技术的编码效率普遍较低，这是不期望的。
发明内容
本公开的实施方案提供了一种用于视频处理的解决方案。
在第一方面中，提出了一种视频处理方法。该方法包括：在视频的视频单元与所述视频单元的比特流之间的转换期间，确定所述视频单元的多重假设信息，所述视频单元是经多重假设编解码的视频单元；将所述多重假设信息***基于历史的运动候选表中；以及根据所述基于历史的运动候选表执行所述转换。与传统解决方案相比，所提出的方法能有效提高编解码效率和性能。
在第二方面中，提出了一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据第一方面所述的方法。
在第三方面中，提出了一种用于处理视频数据的装置。非暂态计算机可读存储介质存储有指令，这些指令处理器执行根据第一方面所述的方法。
在第四方面中，提出了一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储有视频的由视频处理装置执行的方法所生成的比特流，其中该方法包括：确定所述视频的视频单元的多重假设信息，所述视频单元是经多重假设编解码的视频单元；将所述多重假设信息***基于历史的运动候选表中；以及根据所述基于历史的运动候选表生成所述视频单元的比特流。
在第五方面中，提出了另一种视频处理方法。该方法用于存储视频的比特流，其包括：确定所述视频的视频单元的多重假设信息，所述视频单元是经多重假设编解码的视频单元；将所述多重假设信息***基于历史的运动候选表；根据所述基于历史的运动候选表生成所述视频单元的比特流；以及将所述比特流存储在非暂态计算机可读记录介质中。
提供本发明内容是为了以简化的形式介绍以下在具体实施例中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。
附图说明
通过参考附图的以下详细描述，本公开的示例实施例的上述和其它目标、特征和优点将变得更加清楚，在本公开的示例实施例中，相同的附图标记通常指相同的部件。
图1例示了示出根据本公开的某些实施例的示例视频编解码***的框图；
图2例示了示出根据本公开的某些实施例的第一示例视频编码器的框图；
图3例示了示出根据本公开的某些实施例的示例视频解码器的框图；
图4是帧内预测模式的示意图；
图5例示了用于宽角度帧内预测的参考样本的框图；
图6例示了在方向超过45°的情况下不连续性问题的示意图；
图7例示了由应用于对角线和相邻角度帧内模式的PDPC所使用的样本定义的示意图；
图8例示了与预测块邻近的四条参考线的示例的示意图；
图9例示了根据区块大小进行子划分的示意图；
图10例示了矩阵加权内部预测过程；
图11例示了空间合并候选的位置；
图12例示了针对空间合并候选的冗余检查而考虑的候选对；
图13例示了时间合并候选的运动矢量缩放的示意图；
图14例示了时间合并候选的候选位置C0和C1；
图15例示了MMVD搜索点的示意图；
图16例示了BDOF中使用的扩展CU区域；
图17例示了对称MVD模式的示意图；
图18例示了解码侧运动矢量细化；
图19例示了CIIP权重推导中使用的顶部和左侧邻近块；
图20例示了按相同角度分组的GPM分割的示例；
图21例示了几何划分模式的单向预测MV选择；
图22例示了使用几何划分模式的弯曲权重w0的示例；
图23例示了根据本公开实施例的方法的流程图；以及
图24例示了可以在其中实现本公开的各种实施例的计算设备的框图。
在所有附图中，相同或相似的附图标记通常指代相同或相似的元件。
具体实施方式
现在将参照一些实施例来描述本公开的原理。应当理解的是，描述这些实施例仅出于说明并且帮助本领域技术人员理解和实施本公开的目的，而不暗示对本公开的范围的任何限制。除了下文所述的方式之外，本文所描述的公开内容还可以以各种方式实施。
在以下描述和权利要求中，除非另有定义，否则在本文中使用的所有科学术语和技术术语具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。
本公开中提及的“一个实施例”、“实施例”、“示例实施例”等指示所描述的实施例可以包括特定的特征、结构或特性，但是并非每个实施例都必须包括该特定的特征、结构或特性。此外，这些短语不一定指同一实施例。此外，当结合示例实施例描述特定的特征、结构或特性时，无论是否明确描述，认为影响与其他实施例相关的这种特征、结构或特性在本领域技术人员的知识范围内。
应当理解的是，尽管术语“第一”和“第二”等可以用于描述各种元素，但这些元素不应受限于这些术语。这些术语仅用于区分一个元素与另一个元素。例如，第一元素可以被称为第二元素，类似地，第二元素可以被称为第一元素，而不脱离示例实施例的范围。如本文中所使用的，术语“和/或”包括一个或多个所列术语的任何和所有组合。
本文中所使用的术语仅用于描述特定实施例的目的，并不旨在限制示例实施例。如本文中所用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确指示。还应理解，术语“包括”、“包含”和/或“具有”在本文中使用时表示存在所述特征、元素和/或组件等，但不排除一个或多个其他特征、元素、组件和/或其组合的存在或添加。
示例环境
图1是图示可以利用本公开的技术的示例视频编解码***100的框图。如所示出的，视频编解码***100可以包括源设备110和目的设备120。源设备110也可以称为视频编码设备，并且目的设备120也可以称为视频解码设备。在操作中，源设备110可以被配置为生成经编码的视频数据，并且目的设备120可以被配置为对由源设备110生成的经编码的视频数据进行解码。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备之类的源。视频捕获设备的示例包括但不限于从视频内容提供商接收视频数据的接口、用于生成视频数据的计算机图形***和/或其组合。
视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编码表示的位序列。比特流可以包括编码图片和相关联的数据。编码图片是图片的编码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器和/或发送器。经编码的视频数据可以通过网络130A经由I/O接口116直接传输至目的设备120。经编码的视频数据也可以存储在存储介质/服务器130B上，以供目的设备120访问。
目的设备120可以包括I/O接口126、视频解码器124和显示设备122。I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130B获取经编码的视频数据。视频解码器124可以对经编码的视频数据进行解码。显示设备122可以向用户显示经解码的视频数据。显示设备122可以与目的设备120集成，或者可以在目的设备120的外部，该目的设备120被配置为与外部显示设备接口连接。
视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他现有和/或进一步的标准。
图2是示出根据本公开的一些实施例的视频编码器200的示例的方框图，视频编码器200可以是图1所示的***100中的视频编码器114的示例。
视频编码器200可以被配置为实现本公开的任何或所有技术。在图2的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在一些实施例中，视频编码器200可以包括划分单元201、预测单元202、残差生成单元207、变换单元208、量化单元209、反量化单元210、反变换单元211、重建单元212、缓冲213和熵编解码单元214，该预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206。
在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括块内复制(IBC)单元。IBC单元可以在IBC模式中执行预测，其中至少一个参考图片是当前视频块所位于的图片。
此外，尽管一些组件(诸如运动估计单元204和运动补偿单元205)可以被集成，但是为了解释的目的，这些组件在图2的示例中被分离地示出。
划分单元201可以将图片划分成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。
模式选择单元203可以例如基于误差结果来选择多种编解码模式(帧内编码或帧间编码)中的一种编解码模式，并且将所产生的帧内编解码块或帧间编解码块提供给残差生成单元207以生成残差块数据，并且提供给重建单元212以重建编解码块以用作参考图片。在一些示例中，模式选择单元203可以选择组合的帧间帧内预测(CIIP)模式，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择针对运动矢量的分辨率(例如，亚像素精度或整数像素精度)。
为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲213的一个或多个参考帧与当前视频块进行比较来生成针对当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲213的除了与当前视频块相关联的图片之外的图片的经解码样本，来确定针对当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。如本文中使用的，“I条带”可以是指由宏块构成的图片的一部分，所有宏块均基于同一图片内的宏块。此外，如本文中使用的，在一些方面中，“P条带”和“B条带”可以是指由独立于同一图片中的宏块的宏块构成的图片的部分。
在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以搜索列表0或列表1的参考图片，以寻找针对当前视频块的参考视频块。运动估计单元204然后可以生成参考索引和运动矢量，该参考索引指示列表0或列表1中的包含参考视频块的参考图片，并且该运动矢量指示当前视频块与参考视频块之间的空间位移。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
备选地，在其他示例中，运动估计单元204可以对当前视频块执行双向预测。运动估计单元204可以搜索列表0中的参考图片以寻找针对当前视频块的参考视频块，并且还可以搜索列表1中的参考图片以寻找针对当前视频块的另一参考视频块。运动估计单元204然后可以生成多个参考索引和多个运动矢量，该多个参考索引指示列表0和列表1中的包含多个参考视频块的多个参考图片，并且该多个运动矢量指示在多个参考视频块与当前视频块之间的多个空间位移。运动估计单元204可以输出当前视频块的多个参考索引和多个运动矢量以作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的多个参考视频块来生成针对当前视频块的预测视频块。
在一些示例中，运动估计单元204可以输出完整的运动信息集，以用于解码器的解码处理。备选地，在一些实施例中，运动估计单元204可以参考另一视频块的运动信息来通过信号传输当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中向视频解码器300指示一值，该值指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示在当前视频块的运动矢量与所指示的视频块的运动矢量之间的差异。视频解码器300可以使用所指示的视频块的运动矢量以及运动矢量差来确定当前视频块的运动矢量。
如上所讨论的，视频编码器200可以以预测性的方式通过信号传输运动矢量。可以由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中其他视频块的经解码样本来生成针对当前视频块的预测数据。针对当前视频块的预测数据可以包括预测视频块和各个语法元素。
残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成针对当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样本的不同样本部分的残差视频块。
在其他示例中，例如在跳过模式中，针对当前视频块可以不存在针对当前视频块的残差数据，并且残差生成单元207可以不执行减去操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块，来生成针对当前视频块的一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
反量化单元210和反变换单元211可以分别对变换系数视频块应用反量化和反变换，以从变换系数视频块重建残差视频块。重建单元212可以将经重建的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样本，以产生与当前视频块相关联的重建视频块，以供存储在缓冲213中。
在重建单元212重建视频块之后，可以执行环路滤波操作以减少视频块中的视频块效应伪像。
熵编解码单元214可以从视频编码器200的其他功能组件接收数据。当熵编解码单元214接收数据时，熵编解码单元214可以执行一个或多个熵编码操作，以生成熵编解码数据并且输出包括该熵编解码数据的比特流。
图3是示出根据本公开的一些实施例的视频解码器300的示例的方框图，视频解码器300可以是图1所示的***100中的视频解码器124的示例。
视频解码器300可以被配置为执行本公开的任何或所有技术。在图3的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在图3的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、反量化单元304、反变换单元305、以及重建单元306和缓冲307。在一些示例中，视频解码器300可以执行通常与关于视频编码器200所描述的编码过程相对的解码过程。
熵解码单元301可以取回经编码的比特流。经编码的比特流可以包括经熵编码的视频数据(例如，经编码的视频数据块)。熵解码单元301可以对经熵编码的视频数据进行解码，并且运动补偿单元302可以从经熵解码的视频数据中确定运动信息，该运动信息包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息。运动补偿单元302可以例如通过执行AMVP和合并模式来确定该信息。AMVP被使用，包括基于相邻PB的数据和参考图片得出数个最可能的候选项。运动信息通常包括水平和竖直运动矢量位移值、一个或两个参考图片索引，并且在B条带中的预测区域的情况下，还包括哪个参考图片列表与每个索引相关联的标识。如本文所使用的，在一些方面中，“合并模式”可以是指从空间或时间上邻近的块中导出运动信息。
运动补偿单元302可以产生运动补偿块，可能地基于插值滤波器来执行内插。针对以亚像素精度被使用的插值滤波器的标识符可以被包括在语法元素中。
运动补偿单元302可以使用由视频编码器200在视频块的编码期间使用的插值滤波器来计算用于参考块的亚整数像素的内插值。运动补偿单元302可以根据接收到的语法信息来确定由视频编码器200使用的插值滤波器，并且运动补偿单元302可以使用插值滤波器来产生预测块。
运动补偿单元302可以使用至少部分语法信息来确定用于编码经编码视频序列的(多个)帧和/或(多个)条带的块的大小、描述经编码视频序列的图片的每个宏块如何被划分的划分信息、指示每个划分如何被编码的模式、针对每个帧间编解码块的一个或多个参考帧(和参考帧列表)、以及对经编码视频序列进行解码的其他信息。如本文中所使用的，在一些方面，“条带”可以是指在熵编码、信号预测和残差信号重建方面可以独立于同一图片的其他条带而被解码的数据结构。条带可以是整个图片，或者也可以是图片的区域。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式，以从空间相邻块形成预测块。反量化单元304反量化(即，去量化)在比特流中提供的、并且由熵解码单元301解码的量化视频块系数。反变换单元305应用反变换。
重建单元306可以例如通过将残差块与由运动补偿单元302或帧内预测单元303生成的相应预测块相加来获得经解码的块。如果需要的话，还可以应用去块效应滤波器以对经解码的块进行过滤，以便去除块效应伪像。经解码的视频块随后被存储在缓冲307中，缓冲307为后续运动补偿/帧内预测提供参考块，并且缓冲307还产生经解码的视频以供在显示设备上呈现。
下文将详细描述本公开的一些示例实施例。应当注意，在本文件中使用章节标题是为了便于理解，而不是将章节中公开的实施例仅限于该章节。此外，尽管参考通用视频编解码或其他特定视频编解码器描述了一些实施例，但是所公开的技术也适用于其他视频编解码技术。此外，尽管一些实施例详细描述了视频编码步骤，但是应当理解的是取消编码的相应解码步骤将由解码器实现。此外，术语视频处理包括视频编解码或压缩、视频解码或解压缩以及视频转码，在该视频转码中视频像素被从一种压缩格式表示为另一种压缩格式或以不同的压缩码率表示。
1.概要
本公开涉及视频编码技术。具体地说，它涉及一种预测模式，其中预测样本由一种以上的预测方法生成。它可应用于现有的视频编码标准，如HEVC、VVC等。它也可能适用于未来的视频编解码标准或视频编解码器。
2.背景
视频编解码标准主要通过众所周知的ITU-T和ISO/IEC标准的发展而演进。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4Visual，两个组织联合制定了H.262/MPEG-2Video和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中使用了时间预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合创立了联合视频探索团队(JVET)。JVET会议每季度同时举行一次，新的视频编解码标准在2018年4月的JVET会议上被正式命名为多功能视频编解码(VVC)，当时发布了VVC测试模型(VTM)的第一个版本。VVC工作草案和测试模型VTM在每次会议后都被更新。VVC项目在2020年7月的会议上实现了技术完成(FDIS)。
2.1编解码工具
2.1.1帧内预测
2.1.1.1具有67个帧内预测模式的帧内模式编解码
为了捕捉自然视频中呈现的任意边缘方向，VVC中的定向帧内模式的数目从HEVC中使用的33种扩展到65种。HEVC中没有的新方向模式在图4中以红色虚线箭头表示，而平面模式和DC模式保持不变。这些更密集的定向帧内预测模式适用于所有块大小以及色度和亮度帧内预测。
在VVC中，对于非方形块，几种传统的角度帧内预测模式被自适应地替换为广角帧内预测模式。
在HEVC中，每个帧内编解码块都具有正方形形状，并且其每条边的长度是2的幂。因此，不需要除法运算来使用DC模式生成帧内预测器。在VVC中，块可以具有矩形形状，这在一般情况下需要使用每个块的除法运算。为了避免针对DC预测的除法运算，仅使用较长边来计算非正方形块的平均值。
2.1.1.2帧内模式编解码
为了保持最可能模式(MPM)列表生成的低复杂度，通过考虑两个可用的邻近帧内模式采用一种具有6个MPM的帧内模式编解码方法。考虑以下三个方面来构建MPM列表：
-默认帧内模式
-邻近帧内模式
-导出的帧内模式
无论是否使用MRL和ISP编解码工具，都会针对区块内使用统一的6-MPM列表。MPM列表是根据左侧和上方邻近块的帧内模式构建的。假设左侧的模式记为Left，上方块的模式记为Above，则统一的MPM列表构造如下：
-当邻近块不可用时，其帧内模式默认设置为平面。
-如果"左侧"和"上方"模式都是非矩形模式：
-MPM列表→{平面、DC、V、H、V-4、V+4}
-如果"左侧"和"上方"模式之一是角度模式，则另一个是非角度模式：
-在"左侧"和"上方"模式中将"最大"模式设置为较大模式
-MPM列表→{平面、Max、DC、Max–1、Max+1、Max-2}
-如果"左侧"和"上方"都是角度模式，则它们是不同的：
-在"左侧"和"上方"模式中将"最大"模式设置为较大模式
-如果"左侧"和"上方"模式的差在2至62(包括2和62)的范围内
-MPM列表→{平面、左、上、DC、Max–1、Max+1}
-否则
-MPM列表→{平面、左、上、DC、Max–2、Max+2}
-如果"左"和"上"都是角度模式且它们相同：
-MPM列表→{平面、左、左-1,左+1,DC、左-2}
此外，mpm索引码字的第一个二进制是CABAC上下文编码。总共使用了三种上下文，分别对应于当前帧内块是启用了MRL、启用了ISP还是正常的帧内块。
在生成6个MPM列表的过程中，会使用修剪以去除重复的模式，这样只有独特的模式才能被纳入MPM列表。在对61个非MPM模式进行熵编解码时，使用截断二进制编码(TBC)。
2.1.1.3针对非方形块的广角帧内预测
传统的角度帧内预测方向定义为沿顺时针方向从45度到-135度。在VVC中，几种传统的角度帧内预测模式被自适应地替换为非正方形块的广角帧内预测模式。使用原始模式索引来通知被替换的模式，原始模式索引在解析后被重新映射到广角模式的索引。帧内预测模式的总数不变，即67，并且帧内模式编解码方法不变。
为了支持这些预测方向，定义了长度为2W+1的顶部参考和长度为2H+1的左侧参考，如图5所示。
宽角度方向模式中被替换的模式的数目取决于块的纵横比。被替代的帧内预测模式如表1所示。
表1被广角模式取代的帧内预测模式
图6示出了在方向超过45度的情况下不连续性的框图。如图6的框图600所示，在广角帧内预测的情况下，两个竖直的相对预测样本可以使用两个不相邻的参考样本。因此，将低通参考样本滤波器和侧平滑应用于广角预测，以减少所增加的间隙Δpα带来的负面影响。如果广角模式代表非分数偏移。广角模式中有8种模式满足这一条件，它们是[-14，-12，-10，-6，72，76，78，80]。当通过这些模式预测块时，直接复制参考缓冲区中的样本，而不应用任何插值。通过这种修改，需要进行平滑处理的样本数目减少了。此外，它将对齐传统预测模式和广角模式中的非分数模式的设计。
在VVC中，支持4:2:2和4:4:4色度格式以及4:2:0色度格式。4:2:2色度格式的色度导出模式(DM)导出表最初从HEVC移植，将条目的数目从35扩展到67，以与帧内预测模式的扩展对齐。由于HEVC规范不支持低于-135度和超过45度的预测角度，因此范围从2到5的亮度帧内预测模式被映射到2。因此，通过替换映射表的条目的一些值来更新4:2:2:色度格式的色度DM导出表，以更精确地转换色度块的预测角度。
2.1.1.4取决于模式的帧内平滑(MDIS)
四抽头帧内插值滤波器用于提高定向帧内预测精度。在HEVC中，双抽头线性内插滤波器已经用于生成定向预测模式(即不包括平面预测器和DC预测器)中的帧内预测块。在VVC中，简化的6位4抽头高斯插值滤波器仅用于定向帧内模式。非定向这内预测过程未作修改。4抽头滤波器的选择是根据提供非分数位移的定向帧内预测模式的MDIS条件进行的，即所有定向模式(不包括以下模式)：2、HOR_IDX、DIA_IDX、VER_IDX、66。
根据帧内预测模式，将执行以下参考采样处理：
-定向帧内预测模式分为以下几组：
-竖直或水平模式(HOR_IDX、VER_IDX)、
-对角线模式，表示45度的倍数角(2、DIA_IDX、
VDIA_IDX)
-其余定向模式；
-如果定向帧内预测模式被归类为属于A组，那么不会对参考样本应用滤波器以生成预测样本；
-否则，如果模式落入B组，则可对参考样本应用[1,2,1]
参考样本滤波器(取决于MDIS条件)，以根据所选方向进一步将这些滤波值复制到帧内预测器中，但不会应用插值滤波器；
-否则，如果模式被归类为属于C组，则对参考样本仅应用帧内参考样本帧内滤波器以生成落本应用参考样本帧间插值滤波器，以生成根据所选方向落入参考样本之间的小数或整数位置(不执行参考样本滤波)。
2.1.1.5位置相关帧内预测组合
在VVC中，通过位置相关帧内预测组合(PDPC)方法进一步修改DC、平面和几个角模式的帧内预测结果。PDPC是一种帧内预测方法，它调用未滤波边界参考样本和具有滤波边界参考样本的HEVC式的帧内预测的组合。PDPC应用于以下帧内模式，无需发出信号：平面、DC、水平、竖直、左下角度模式及其八个相邻角度模式、以及右上角度模式及其八个相邻角度模式。
预测样本pred(x',y')是采用帧内预测模式(DC、平面、角度)和参考样本的线性组合进行预测的，根据如下等式3-8：
pred(x',y')＝(wL×R-1,y’+wT×Rx’,-1-wTL×R-1,-1+(64-wL-wT+wTL)×pred(x',y')+32)>>6 (2-1)
其中Rx,-1、R-1,y分别表示位于当前样本(x,y)顶部和左侧边界的参考样本，R-1,-1表示位于当前块左上角的参考样本。
如果PDPC应用于DC、平面、水平和竖直帧内模式，则不需要额外的边界滤波，如HEVC DC模式边界滤波或水平/竖直模式边缘滤波的情况所需。DC模式和平面模式的PDPC流程完全相同，避免了剪切操作。对于角度模式，pdpc比例因子经过调整，从而不需要进行范围检查，并且去除了启用pdpc的角度条件(使用比例>＝0)。此外，在所有角度模式下，PDPC权重均以32为基础。PDPC权重取决于预测模式且在表2中示出。PDPC适用于宽度和高度均大于或等于4的块。
图7示出了应用于各种预测模式的PDPC的参考样本(Rx,-1、R-1,y和R-1,-1)的定义。图7显示了对角线右上模式710、对角线左下模式720、相邻对角线右上模式730和相邻对角线左下模式740。预测样本pred(x’,y’)位于预测块内的(x’,y’)处。例如，参考样本Rx,-1的坐标x由：x＝x’+y’+1给出，参考样本R-1,y的坐标y类似地由针对对角线模式的y＝x’+y’+1给出。对于其他角模式，参考样本Rx,-1和R-1,y可以位于分数样本位置。在这种情况下，将使用最近整数采样位置的采样值。
表2-根据预测模式的PDPC权重的示例
2.1.1.6多参考行(MRL)帧内预测
多参考行(MRL)帧内预测使用更多的参考行用于帧内预测。在图8中，描绘了4条参考行的示例，其中段A和段F的样本不是从重建的邻近样本中提取的，而是分别用来自段B和段E的最接近的样本填充的。HEVC帧内图片预测使用最附近的参考行(即参考行0)。在MRL中，使用了2条附加行(参考行1和参考行3)。
所选参考行的索引(mrl_idx)被用信号发送并用于生成帧内预测。对于大于0的参考行idx，仅在MPM列表中包括额外的参考行模式，并且仅信号mpm索引而不包括剩余模式。在帧内预测模式之前用信号发送参考行索引，如果参考行索引非零，则帧内预测模式不包括平面模式。
对CTU内的块的第一行禁用MRL，以防止在当前CTU行外使用扩展的参考样本。此外，当使用附加行时，PDPC将被禁用。对于MLR模式，非零参考行索引的DC帧内预测模式中的DC值的导出与参考行索引0的导出对齐。MRL需要存储具有CTU的3条邻近亮度参考行来生成预测。跨分量线性模型(CCLM)工具的下采样滤波还需要3个邻近的亮度参考行。使用相同3行的MRL的定义与CCLM一致，以减少解码器的存储要求。
2.1.1.7帧内子划分(ISP)
帧内子划分(ISP)根据块大小将亮度帧内预测块竖直或水平划分为2或4个子划分。例如，ISP的最小块大小为4×8(或8×4)。如果块大小大于4×8(或8×4)，则对应块将被划分为四个子划分。我们注意到，M×128(M≤64)和128×N(N≤64)ISP块可能会对64×64VDPU生成潜在问题。例如，单树情况下的M×128CU有一个M×128亮度TB和两个相应的色度TB。如果CU使用ISP，那么亮度TB将被分成4个M×32TB(只能水平分割)，每个TB都小于一个64×64块。然而，在目前的ISP设计中，色度块是不可分割的。因此，两个色度分量的大小都将大于一个32×32块。类似地，使用ISP的128×NCU也可以创建类似的情况。因此，这两种情况是64×64解码器流水线的问题。因此，可以使用ISP的CU大小被限制为最大值64×64。图9示出了两种可能性。所有子划分实现具有至少16个样本的条件。图9显示了4×8和8×4CU的子划分的示例910以及除了4×8、8×4和4×4以外的CU的子划分的示例920。
在ISP中，1×N/2×N子块预测允许依赖于编解码块的先前解码的1×N/2×N子块的重建值，使得子块的最小预测宽度变为四个样本。例如，一个8×N(N>4)的编解码块，在使用ISP竖直分割编解码时，会被分割成两个预测区域，每个预测区域的大小为4×N，四个变换的大小为2×N。同样，使用竖直分割ISP编解码的4×N编解码块，使用完整的4×N块进行预测；使用四个变换，每个变换的大小为1×N。尽管允许1×N和2×N的变换大小，但可以断言，这些块在4×N区域内的变换可以并行执行。例如，当4×N预测区域包含四个1×N变换时，在水平方向上没有变换；竖直方向上的变换可以作为竖直方向上单个4×N变换来执行。类似地，当4×N预测区域包含两个2×N变换块时，可以并行地进行两个2×N块在每个方向(水平和竖直)上的变换操作。因此，与处理4×4常规编解码的帧内块相比，在处理这些较小的块时不增加延迟。
表3熵编解码系数组大小
块大小 系数组大小
1×N，N≥16 1×16
N×1，N≥16 16×1
2×N，N≥8 2×8
N×2，N≥8 8×2
所有其他可能的M×N情况 4×4
对于每个子分区，通过将残差信号添加到预测信号中来获得重建样本。这里，通过熵解码、逆量化和逆变换等过程生成残差信号。因此，每个子分区的重建样本值可用于生成下一个子分区的预测，并且每个子分区都被重复处理。此外，第一个要处理的子分区是包含CU顶部左侧样本的子分区，然后继续向下(水平分割)或向右(竖直分割)。因此，用于生成子分区预测信号的参考样本仅位于线的左侧和上方。所有子分区共享相同的帧内模式。以下是ISP与其他编解码工具交互的总结。
-多参考行(MRL)：如果块的MRL索引不是0，则ISP编解码模式将被推断为0，因此ISP模式信息将不会发送到解码器。
-熵编解码系数组大小：如表3所示，熵编解码子块的大小已被修改，以便在所有可能的情况下都有16个样本。值得注意，新的大小仅影响ISP的其中一个尺寸小于4个样本的块。在所有其他情况下，系数组保持维度。
-CBF编解码：假设至少有一个子划分具有非零CBF。因此，如果n是子划分的数目，并且第一n-1子划分已经产生零CBF，则第n子划分的CBF被推断为1。
-MPM使用情况：MPM标志将被推断为由ISP模式编解码的块中的1，并修改MPM列表以排除DC模式，并优先考虑ISP水平分割的水平帧内模式和竖直帧内模式。
-变换大小限制：所有长度大于16点的ISP变换都使用DCT-II。
-PDPC：当CU使用ISP编解码模式时，不对所得到的子划分使用PDPC滤波器
-MTS标志：如果CU使用ISP编解码模式，MTS CU标志将设置为0，并且不会发送到解码器。因此，编码器不会对每个结果子划分的不同可用变换执行RD测试。ISP模式的变换选择将改为固定的，并根据所使用的帧内模式、处理顺序和块大小进行选择。因此，不需要用信号发出。例如，设tH和tV和为分别为w×h子划分选择的水平变换和竖直变换，其中w为宽度，h为高度。然后根据以下规则选择变换：
-如果w＝1或h＝1，则分别不存在水平变换或竖直变换。
-如果w＝2或w>32，tH＝DCT-II
-如果h＝2或h>32，tV＝DCT-II
否则，如表4中一样选择变换
表4–变换选择取决于帧内模式
在ISP模式下，允许所有67个帧内模式。如果相应的宽度和高度至少有4个样本长，也会应用PDPC。此外，帧内插值滤波器选择的条件不再存在，在ISP模式下，分数位置插值始终应用立方(DCT-IF)滤波器。
2.1.1.8矩阵加权帧内预测(MIP)
矩阵加权帧内预测(MIP)方法是VVC中新加入的一种帧内预测技术。为了预测宽度W和高度H的矩形块的样本，矩阵加权帧内预测(MIP)取块左侧的一行H个重建的相邻边界样本和块上方的一行W个重建的相邻边缘样本作为输入。如果重建的样本不可用，则像在传统帧内预测中那样生成它们。预测信号的生成基于以下三个步骤，即平均、矩阵矢量乘法和线性插值，如图10所示。
2.1.1.9平均邻近样本
在边界样本中，通过基于块大小和形状进行平均来选择四个样本或八个样本。具体地，输入边界bdrytop和bdryleft会根据取决于块的大小的预定义的规则，通过对邻近边界样本进行平均，缩小为更小的和/>边界。然后，将两个缩小的边界/>和/>连接到缩小的边界矢量bdryred，因此，对于形状的块，缩小的边界矢量的大小为4×4，而对于所有其他形状的块来说，缩小的边缘矢量的大小是8。如果是指MIP模式，则此级联定义如下：
2.1.1.10矩阵乘法
将平均样本作为输入，执行矩阵矢量乘法，然后添加偏移。结果是原始块中的样本的子采样集上生成缩减预测信号。从缩减的输入矢量bdryred中生成缩减的预测信号predred，，该缩减的预测是宽度Wred和高度Hred的下采样块上的信号。此处，Wred和Hred定义为：
通过计算矩阵矢量乘积并添加偏移来计算缩减的预测信号predred：
predrea＝A·bdryred+b
这里，A是一个矩阵，如果W＝H＝4z则它有Wred·Hred行和4列，在所有其他情况下有8列。b是Wred·Hred大小的矢量。矩阵A和偏移矢量b取自S0，S1，S2.其中一个集合。索引idx＝idx(W，H)定义如下：
这里，矩阵A的每个系数以8比特的精度表示。集合S0由16个矩阵组成，每个矩阵具有16行4列，以及16个偏移矢量每个偏移矢量的大小为16。该集合的矩阵和偏移矢量用于大小为4×4的块。集合S1由8个矩阵/>组成，每个矩阵具有行和8列，以及8个偏移矢量/>每个偏移矢量大小为16。集合S2由6个矩阵/>组成，每个矩阵具有64行和8列，以及6个偏移矢量/>每个偏移矢量大小为64。
2.1.1.11插值
其余位置处的预测信号是通过线性插值从子采样集上的预测信号生成的，该线性插值是在每个方向上的单步线性插值。插值首先在水平方向上执行，然后在竖直方向上执行，与块的形状或块的大小无关。
2.1.1.12MIP模式的信令和与其他编解码工具的协调
对于帧内模式中的每个编解码单元(CU)，发送标志是否要应用MIP模式的标志。如果要应用MIP模式，则用信号发送MIP模式(predModeIntra)。对于MIP模式，转置标志(isTransposed)用于确定模式是否转置，MIP模式标识(modeId)用于确定给定MIP模式使用的矩阵，其导出过程如下：
isTransposed＝predModeIntra&1
modeId＝predModeIntra>>1 (2-6)
通过考虑以下方面，MIP编解码模式与其他编解码工具相协调：
-大块上的MIP启用LFNST。这里使用平面模式的LFNST变换
-MIP的参考样本导出与传统帧内预测模式完全相同
-对于MIP预测中使用的上采样步骤，使用原始参考样本而不是下采样样本
-在上采样之前执行剪裁，而不是在上采样之后执行剪裁
-无论最大变换大小如何，MIP都允许达到64×64
-MIP模式的数目对于sizeId＝0为32，对于sizeId＝1为16，
对于sizeId＝2为12。
2.1.2帧间预测
对于每个帧间预测CU，运动参数包括运动矢量、参考图片索引和参考图片列表使用索引、以及将被用于帧间预测样本生成的VVC的新编码特征所需的附加信息。可以以显式或隐式的方式用信号通知运动参数。在以跳跃模式对CU进行编码时，该CU与一个PU相关联，并且不具有显著的残差系数，不具有编码的运动矢量差异(delta)或参考图片索引。指定一种合并(merge)模式，其中从邻近CU获得当前CU的运动参数，包括空间候选和时间候选，以及VVC中引入的附加调度。合并模式可以被应用于任何帧间预测CU，而不仅仅适用于跳过模式。合并模式的替代方案是运动参数的显式传输，其中运动矢量、每个参考图片列表的对应参考图片索引和参考图片列表使用标志以及其他所需信息按每个CU显式地以信号通知。
除了HEVC中的帧间编解码特征外，VVC还包括以下一些新的和改进的交互预测编解码工具：
–扩展合并预测
–带有MVD的合并模式(MMVD)
–对称MVD(SMVD)信令
–仿运动补偿预测
–基于子块的时间运动矢量预测(SbTMVP)
–自适应运动矢量分辨率(AMVR)
–运动场存储：1/16th亮度样本MV存储和8x8运动场压缩
–具有CU级权重的双预测(BCW)
–双向光流(BDOF)
–解码器侧运动矢量细化(DMVR)
–几何划分模式(GPM)
–组合的帧间帧内预测(CIIP)
下文详细介绍了VVC中规定的这些帧间预测方法。
2.1.2.1扩展合并预测
在VVC中，合并候选列表是通过按顺序包括以下五种类型的候选来构建的：
1)来自空间邻近CU的空间MVP
2)来自同位CU的时间MVP
3)来自FIFO表的基于历史的MVP
4)成对平均MVP
5)零MV。
合并列表的大小在序列参数集头中通过信号传输，并且合并列表的最大允许大小是6。对于合并模式中的每个CU码，使用截断的一元二进制化(TU)对最佳合并候选的索引进行编解码。合并索引的第一个二进制位(bin)使用上下文进行编解码，而旁路编解码用于其他二进制位。
每个类别的合并候选的导出过程在本节中提供。正如在HEVC中所操作的那样，VVC还支持在一定大小的区域内对所有CU的合并候选列表的并行导出。
2.1.2.2空间候选导出
VVC中空间合并候选的导出与HEVC中的导出相同，只是前两个合并候选的位置被交换。图11是图示空间合并候选的位置的示意图1100。在位于图11所示位置的候选中，最多选择四个合并候选。导出顺序为B0、A0、B1、A1和B2。只有当位置B0、A0、B1和A1的一个或多于一个CU不可用时(例如，因为它属于另一个条带或图块)或被帧内编解码时，才考虑位置B2。在添加了位置A1处的候选之后，对剩余候选的添加进行冗余检查，该冗余检查确保具有相同运动信息的候选被从列表中排除，从而提高了编解码效率。为了降低计算复杂度，在提到的冗余检查中并没有考虑所有可能的候选对。图12是图示了针对空间合并候选的冗余检查所考虑的候选对的示意图1200。相反，只考虑图12中与箭头链接的对，并且只有用于冗余检查的对应候选不具有相同的运动信息，才将候选添加到列表中。
2.1.2.3时间候选导出
在这个步骤中，只有一个候选被添加到列表中。特别地，在该时间合并候选的导出中，基于属于同位参考图片的同位CU来导出缩放运动矢量。在条带头中显式地通过信号传输要用于导出同位的CU的参考图片列表。图13的示意图1300中的虚线所示，获得了时间合并候选的缩放运动矢量，该矢量是使用POC距离tb和td从同位的CU的运动矢量缩放而来的，其中tb被定义为当前图片的参考图片与当前图片之间的POC差，td被定义为同位的图片的参考图片与同位的图片之间的POC差。时间合并候选的参考图片索引被设置为等于零。
图14是示出用于时间合并候选C0和C1的候选位置的示意图1400。时间候选的位置在候选C0与C1之间选择，如图14中所示。如果位置C0处的CU不可用、被帧内编解码或在CTU的当前行之外，则使用位置C1。否则，在时间合并候选的导出中使用位置C0。
2.1.2.4基于历史的合并候选导出
基于历史的MVP(HMVP)合并候选被添加到空间MVP和TMVP之后的合并列表中。在该方法中，将先前编解码块的运动信息存储在表中，并用作当前CU的MVP。在编码/解码过程中维护具有多个HMVP候选的表。当遇到新的CTU行时，该表被重置(清空)。每当存在非子块帧间编解码CU时，将相关联的运动信息作为新的HMVP候选添加到表的最后一个条目。
HMVP列表大小S被设置为6，这指示可以向该表添加多达6个基于历史的MVP(HMVP)候选。当将新的运动候选***到表中时，使用受约束的先进先出(FIFO)规则，其中首先应用冗余检查来发现表中是否存在相同的HMVP。如果找到，则从表中移除相同的HMVP，然后将所有HMVP候选向前运动。
HMVP候选可以用于合并候选列表构建过程。按顺序检查表中最近的几个HMVP候选，并将其***TMVP候选之后的候选列表中。对HMVP候选应用冗余检查以进行空间或时间合并候选。
为了减少冗余检查操作的数目，引入了以下简化：
1.用于合并列表生成的HMPV候选数目设置为(N<＝4)？M:(8-N)，其中N指示合并列表中现有候选的数目，M指示表中可用HMVP候选的数目。
2.一旦可用合并候选的总数达到最大允许合并候选减1，则终止来自HMVP的合并候选列表构建过程。
2.1.2.5成对平均合并候选导出
成对平均候选是通过对现有合并候选列表中的预定义候选对进行平均来生成的，并且预定义对被定义为{(0，1)、(0，2)、(1，2)、(0，3)、(3，1)、(2，3)}，其中数字表示合并候选列表的合并索引。对于每个参考列表单独计算平均运动矢量。如果两个运动矢量在一个列表中都可用，则即使这两个运动矢量指向不同的参考图片，也会对其进行平均；如果只有一个运动矢量可用，则直接使用该运动矢量；如果没有可用的运动矢量，保持此列表无效。
当添加成对平均合并候选后合并列表未满时，将在最后***零MVP，直到遇到最大合并候选数目。
2.1.2.6合并估计区域
合并估计区域(MER)允许针对同一合并估算区域(MER)内的CU独立导出合并候选列表。在生成当前CU的合并候选列表时，不包括与当前CU处于同一MER内的候选区。此外，只有当(xCb+cbWidth)>>Log2ParMrgLevel大于xCb>>Log2ParMrgLevel且(yCb+cbHeight)>>Log2ParMrgLevel大于(yCb>>Log2ParMrgLevel)时，才会更新针对基于历史的运动矢量预测候选列表的更新过程，其中(xCb,yCb)是图片中当前CU的左上亮度样本位置，(cbWidth,cbHeight)是CU大小。MER大小在编码器侧选择，并在序列参数集中以log2_parallel_merge_level_minus2表示。
2.1.3具有MVD的合并模式(MMVD)
除了将隐式导出的运动信息直接用于当前CU的预测样本生成的合并模式之外，在VVC中引入了具有运动矢量差的合并模式(MMVD)。在发送跳过标志和合并标志后，会立即发送MMVD标志，以指定是否对CU使用MMVD模式。在发送跳过标志和合并标志之后立即通过信号传输MMVD标志，以指定哪种MMVD模式用于CU。
在MMVD中，在合并候选被选择之后，其由通过信号传输的MVD信息进一步细化。进一步的信息包括合并候选标志、于指定运动幅度的索引和用于指示运动方向的索引。在MMVD模式中，对于合并列表中的前两个候选，选择一个作为MV基础。通过信号传输合并候选标志以指定使用哪一个。
距离索引指定运动幅度信息，并指示距起点的预定义偏移。图15示出了带有运动矢量差的合并模式(MMVD)搜索点的示意图1500。如图15所示，偏移被添加到起始MV的水平分量或竖直分量。距离索引和预定义偏移的关系如表5所示。
表5：距离索引与预定义偏移的关系
方向索引表示MVD相对于起点的方向。方向索引可以表示四个方向，如表6所示。注意，MVD符号的含义可以根据起始MV的信息而变化。当起始MV是单向预测MV或双向预测MV时，其中两个列表都指向当前图片的同一侧(即两个参考的POC都大于当前图片的POC或者都小于当前图片的POC)，表6中的符号指定了MV偏移加在起始MV上的符号。当起始MV是双向预测MV时，其中两个MV指向当前图片的不同侧(即一个参考的POC大于当前图片的POC，另一个参考的POC小于当前图片的POC)，表6中的符号指定添加到起始MV的list0 MV分量的MV偏移的符号，并且list1 MV的符号具有相反的值。
表6：由方向索引指定的MV偏移的符号
方向索引 00 01 10 11
x轴 + – N/A N/A
y轴 N/A N/A + –
2.1.3.1具有CU级别权重(BCW)的双向预测
在HEVC中，通过对从两个不同的参考图片获得的两个预测信号进行平均和/或使用两个不同运动矢量来生成双向预测信号。在VVC中，双向预测模式被扩展到简单平均之外，以允许对两个预测信号进行加权平均。
Pbi-pred＝((8-w)*P0+w*P1+4)＞＞3 (2-7)
在加权平均双向预测中允许五个权重，w∈{-2,3,4,5,10}。对于每个双向预测CU，以两种方式之一确定权重w：1)对于非合并CU，在运动矢量差之后通过信号传输权重索引；2)对于合并CU，基于合并候选索引从邻近块推断权重索引。BCW仅应用于具有256个或更多亮度样本的CU(即CU宽度乘以CU高度大于或等于256)。对于低延迟图片，将使用所有5个权重。对于非低延迟图片，仅使用3个权重(w∈{3,4,5})。
-在编码器处，在不显著增加编码器复杂度的情况下，应用快速搜索算法来找到权重索引。这些算法总结如下。可以参考VTM软件和文档JVET-L0646以获得进一步的细节。当与AMVR组合时，如果当前图片是低延迟图片，则仅有条件地检查1-像素和4-像素运动矢量精度的不等权重。
-当与仿射组合时，在且仅在仿射模式被选择为当前最佳模式的情况下，将针对不相等的权重执行仿射ME。
-当双向预测中的两个参考图片相同时，仅有条件地检查不相等的权重。
-当满足某些条件时，不搜索不等权重，这取决于当前图片与其参考图片之间的POC距离、编码QP和时间级别。
BCW权重索引是使用一个上下文编码的二进制位然后是旁路编码的二进制位来编码的。第一上下文编码的二进制位指示是否使用相等的权重；并且如果使用不相等的权重，则使用旁路编码通过信号传输附加二进制位，以指示使用哪个不相等的权重。
加权预测(WP)是H.264/AVC和HEVC标准支持的一种编解码工具，用于在衰落的情况下对视频内容进行高效编码。VVC标准中还增加了对WP的支持。WP允许为每个参考图片列表L0和L1中的每个参考图片通过信号传输加权参数(权重和偏移)。然后，在运动补偿期间，应用对应参考图片的权重和偏移。WP和BCW是为不同类型的视频内容而设计的。为了避免WP和BCW之间的交互(这将使VVC解码器设计复杂化)，如果CU使用WP，则BCW权重索引不通过信号被传输，并且w被推断为4(即应用相等的权重)。对于合并CU，权重索引是基于合并候选索引从邻近块推断的。这可以应用于正常合并模式和继承仿射合并模式。对于构建的仿射合并模式，基于多达3个块的运动信息来构建仿射运动信息。使用构建的仿射合并模式的CU的BCW索引被简单地设置为等于第一控制点MV的BCW索引。
在VVC中，CIIP和BCW不能联合应用于CU。当使用CIIP模式对CU进行编码时，当前CU的BCW索引设置为2，例如相等的权重。
2.1.3.2双向光流(BDOF)
双向光流(BDOF)工具包含在VVC中。BDOF以前称为BIO，其包含在JEM中。与JEM版本相比，VVC中的BDOF是更加简单的版本，其所需的计算量更少，特别是在乘法次数和乘法器大小方面。
BDOF用于在4×4子块级别上改进CU的双预测信号。如果CU满足以下所有条件，就可以对其应用BDOF：
-CU是采用"真正的"双预测模式编解码的，即两个参考图片之一按显示顺序排列在当前图片之前，另一个参考图片按显示顺序排列在当前图片之后
-从两个参考图片到当前图片的距离(即POC差值)相同
-两个参考图片都是短期参考图片。
-未使用仿射模式或ATMVP合并模式对CU进行编码
-CU有超过64个亮度样本
-CU高度和CU宽度均大于或等于8个亮度样本
-BCW权重指数指示相等的权重
-针对当前CU未启用WP
-针对当前CU未使用CIIP模式
BDOF仅适用于亮度分量。顾名思义，BDOF模式基于光流概念，假定物体的运动是平滑的。对于每个4×4的子块，运动细化(vx，vy)是通过最小化L0和L1预测样本之间的差异来计算。然后利用运动细化调整4×4子块中的双预测样本值。在BDOF过程中应用了以下步骤。
首先是水平和竖直梯度、和/>通过直接计算两个相邻样本之间的差值来计算两个预测信号的水平和竖直梯度，即/>
其中I(k)(i，j)是列表中预测信号坐标(i，j)处的样本值k，k＝0、1而shiftl是根据亮度比特深度(bitDepth)计算得出的，即shift1＝max(6，bitDepth-6)。
然后，梯度的自相关和交叉相关S1，S2，S3，S5和S6通过如下公式计算为
其中
θ(i，j)＝(I(1)(i，j)＞＞nb)-(I(0)(i，j)＞＞nb)
其中Ω是围绕4×4子块的6×6窗口，而na和nb的值分别等于min(1，bitDepth-11)和min(4，bitDepth-8)。
运动细化(vx，vy)然后使用以下公式、利用交叉相关项和自相关项得出：
其中th′BIO＝2max(5，BD-7)./>是下限函数，而/>
根据运动细化和梯度，对4×4子块中的每个样本进行以下调整计算：
最后，通过调整双预测样本进行，计算出CU的BDOF样本，如下所示：
选择这些值以使BDOF过程中的乘法器不超过15比特，并将BDOF过程中中间参数的最大位宽控制在32位比特以内。
为了导出梯度值，列表k(k＝0，1)中超出当前CU边界的一些预测样本I(k)(i，j)需要生成。图16展示了BDOF中使用的扩展CU区域示意图。如图16中的图1600所示，VVC中的BDOF在CU边界周围使用一个扩展行/列。为了控制生成超出边界的预测样本的计算复杂度，扩展区域内的预测样本(图16中表示为1610)是通过直接获取附近整数位置上的参考样本(使用坐标上的floor()运算)生成的，而不使用插值，并且使用普通的8抽头运动补偿插值滤波器生成CU内的预测样本(图16中表示为1620)。这些扩展样本值仅用于梯度计算。在BDOF过程的其余步骤中，如果需要CU边界之外的任何样本值和梯度值，则会从其最近的邻域进行填充(即重复)。
当CU的宽度和/或高度大于16个亮度样本时，它将被分割成宽度和/或高度等于16个亮度样本的子块，在BDOF流程中，子块边界被视为CU边界。BDOF处理的最大单元尺寸限制为16×16。对于每个子块，BDOF处理可以跳过。当初始L0和L1预测样本之间的SAD小于阈值时，BDOF处理将不应用于该子块。阈值设置为(8*W*(H＞＞1)，其中W表示子块宽度，H表示子块高度。为了避免SAD计算的额外复杂性，这里重新使用DVMR处理中计算的初始L0和L1预测样本之间的SAD。
-如果针对当前块启用了BCW，即BCW权重指数表示不等权重，则双向光流将被禁用。同样，如果针对当前块启用了WP，即两个参考图片中任何一个的luma_weight_lx_flag为1，那么BDOF也会被禁用。当使用对称MVD模式或CIIP模式对CU进行编解码时，BDOF也会被禁用。
2.1.4对称MVD编码
在VVC中，除了正常的单向预测和双向预测模式MVD信号外，还应用了针对双预测MVD信号的对称MVD模式。在对称MVD模式中，包括列表-0和列表-1的参考图像指数以及列表-1的MVD在内的运动信息不是用信号发出的，而是导出的。
对称MVD模式的解码过程如下：
1)在切片级，变量BiDirPredFlag、RefIdxSymL0和RefI-dxSymL1被导出如下：
-如果mvd_l1_zero_flag为1，则BiDirPredFlag被设置为0。
-否则，如果列表-0中最近的参考图片和列表-1中最近的参考图片构成一对前向和后向参考图片或一对后向和前向参考图片，则BiDirPredFlag被设置为1，列表-0和列表-1参考图片均为短期参考图片。否则BiDirPredFlag被设置为0。
2)在CU层，如果CU采用双预测编码，且BiDirPredFlag等于1，则会明确发出对称模式标志，指示是否使用对称模式。
当对称模式标志为真时，只有mvp_l0_flag、mvp_l1_flag和MVD0会被明确发出信号。列表-0和列表-1的引用索引分别等于一对参考图片。MVD1被设置为(-MVD0)。最终的运动矢量如下式所示。
图17是对称MVD模式的示意图。在编码器中，对称MVD运动估计从初始MV评估开始。初始MV候选集包括从单预测搜索获得的MV、从双预测搜索获得的MV以及AMVP列表中的MV。选择速率失真成本最低的一个作为对称MVD运动搜索的初始MV。
2.1.5解码器侧运动矢量细化(DMVR)
为了提高合并模式MV的精度，在VVC中应用了基于双边匹配(BM)的解码器侧运动矢量细化。在双向预测操作中，在参考图片列表L0和参考图片列表L1中的初始MV周围搜索细化的MV。BM方法计算参考图片列表L0和列表L1中两个候选块之间的失真。图18是示出了解码侧运动矢量细化的示意图。如图18所示，基于初始MV周围的每个MV候选，计算块1810和1812之间的SAD。其中块1810位于当前图片1802的列表L0中的参考图片1801中，块1812位于当前图片1802的列表L1中的参考图片1803中。具有最低SAD的MV候选成为细化MV，并用于生成双向预测信号。
在VVC中，DMVR可以适用于具有以下模式和功能的CU：
-具有双向预测MV的CU级合并模式
-相对于当前图片，一张参考图片是过去的，另一张参考图片是未来的-从两个参考图片到当前图片的距离(即POC差)相同
-两个参考图片均为短期参考图片
-CU有超过64个亮度样本
-CU高度和CU宽度均大于或等于8个亮度样本
-BCW权重索引指示相等的权重
-当前块未启用WP
-CIIP模式未用于当前块
DMVR过程导出的细化MV用于生成帧间预测样本，并且还用于未来图片编码的时间运动矢量预测。而原始MV被用于解块过程，并且还被用于未来CU编码的空间运动矢量预测。
DMVR的附加功能在以下子条款中有所提及。
2.1.5.1搜索方案
在DVMR中，搜索点围绕初始MV，并且MV偏移服从MV差镜像规则。换句话说，由候选MV对(MV0，MV1)表示的DMVR检查的任何点遵循以下两个等式：
MV0′＝MV0+MV_offset (2-15)
MV1′＝MV1-MV_offset (2-16)
其中，MV_offset表示参考图片之一中的初始MV和细化MV之间的细化偏移。细化搜索范围是从初始MV开始的两个整数亮度样本。搜索包括整数样本偏移搜索阶段和分数样本细化阶段。
整数样本偏移搜索采用25点全搜索。首先计算初始MV对的SAD。如果初始MV对的SAD小于阈值，则DMVR的整数采样级终止。否则，剩余24个点的SAD按光栅扫描顺序进行计算和检查。选择SAD最小的点作为整数样本偏移搜索阶段的输出。为了减少DMVR细化不确定性的影响，提出在DMVR过程中支持原始MV。由初始MV候选参考的参考块之间的SAD减少了SAD值的1/4。
整数样本搜索之后是分数样本细化。为了节省计算复杂度，利用参数误差曲面方程导出了分数样本精化，而不是使用SAD比较进行额外搜索。分数样本细化是基于整数样本搜索阶段的输出有条件地调用的。当整数样本搜索阶段在第一次迭代或第二次迭代搜索中以具有最小SAD的中心结束时，进一步应用分数样本细化。
在基于参数误差表面的亚像素偏移估计中，中心位置成本和距中心四个邻近位置的成本用于拟合以下形式的二维抛物型误差曲面方程
E(x，y)＝A(x-xmin)2+B(y-ymin)2+C (2-17)
其中(xmin，ymin)对应于具有最小成本的分数位置，C对应于最小成本值。通过使用五个搜索点的成本值求解上述方程，(xmin，ymin)计算为：
xmin＝(E(-1,0)-E(1,0))/(2(E(-1，0)+E(1,0)-2E(0，0))) (2-18)
ymin＝(E(0，-1)-E(0，1))/(2((E(0，-1)+E(0，1)-2E(0，0))) (2-19)
xmin和ymin的值自动限制在-8和8之间，因为所有成本值都为正，最小值为E(0，0)。这对应于VVC中具有1/16像素MV精度的半像素偏移。计算的分数(xmin，ymin)被添加到整数距离细化MV以获得亚像素精确的细化delta MV。
2.1.5.2双线性插值和样本填充
在VVC中，MV的分辨率是1/16亮度样本。使用8抽头插值滤波器对分数位置处的样本进行插值。在DMVR中，搜索点围绕具有整数样本偏移的初始分数像素MV，因此需要对这些分数位置的样本进行插值以进行DMVR搜索过程。为了降低计算复杂度，双线性插值滤波器用于生成DMVR中搜索过程的分数样本。另一个重要的效果是，通过使用双线性滤波器，在2样本搜索范围内，与正常的运动补偿过程相比，DVMR不会访问更多的参考样本。在通过DMVR搜索过程获得细化的MV之后，应用普通的8抽头插值滤波器来生成最终预测。为了不访问正常MC过程的更多参考样本，将从那些可用样本中填充样本，这些样本对于基于原始MV的插值过程是不需要的，但是对于基于精细MV的插值处理是需要的。
2.1.5.3最大DMVR处理单元
当CU的宽度和/或高度大于16个亮度样本时，它将被进一步分割为宽度和/或者高度等于16个亮度样本的子块。DMVR搜索过程的最大单元大小限制为16×16。
2.1.6组合的帧间帧内预测(CIIP)
在VVC中，当以合并模式对CU进行编码时，如果CU包含至少64个亮度样本(即，CU宽度乘以CU高度等于或大于64)，并且如果CU宽度和CU高度都小于128个亮度样本，则通过信号传输附加标志，以指示组合的帧间/帧内预测(CIIP)模式是否应用于当前CU。如其名称所示，CIIP预测将帧间预测信号与帧内预测信号进行组合。CIIP模式中的帧间预测信号Pinter是使用应用于常规合并模式的相同帧间预测过程来导出的；并且在平面模式的常规帧内预测过程之后导出帧内预测信号Pintra。然后，使用加权平均来组合帧内和帧间预测信号，其中取决于顶部和左侧邻近块的编解码模式来如下计算权重值(如图19中的图1900所描述地)：
-如果顶部邻居可用且已进行帧内编解码，则将isIntraTop设置为1，否则将isIntra top设置为0；
-如果左侧邻居可用且已进行帧内编解码，则将isIntraLeft设置为1，否则将isIntralLeft设置成0；
-如果(isIntraLeft+isIntraTop)等于2，则wt设置为3；
-否则，如果(isIntraLeft+isIntraTop)等于1，则wt设置为2；
-否则，将wt设置为1。
CIIP预测的形式如下所示：
PCIIP＝((4-wt)*Pinter+wt*Pintra+2)＞＞2 (2-20)
2.1.7几何划分模式(GPM)
在VVC中，几何划分模式被支持用于帧间预测。使用CU级标志作为一种合并模式来通过信号传输几何划分模式，其他合并模式包括常规合并模式、MMVD模式、CIIP模式和子块合并模式。对于每种可能的CU大小w×h＝2m×2n，几何分区模式总共支持64个分区，w×h＝2m×2n，其中m,n∈{3…6}，不包括8×64和64×8。
图20是示出按相同角度分组的GPM分割的示例的示意图2000。当使用该模式时，CU通过几何定位的直线分为两部分(图20)。分割线的位置在数学上是从特定划分的角度和偏移参数导出的。CU中的几何划分的每个部分使用其自身的运动进行帧间预测；每个划分只允许单向预测，即每个部分都有一个运动矢量和一个参考索引。应用单向预测运动约束以确保与传统的双向预测相同，每个CU只需要两个运动补偿预测。
如果几何划分模式用于当前CU，则指示几何划分的划分模式(角度和偏移)的几何划分索引和两个合并索引(每个划分一个)被进一步通过信号传输。最大GPM候选大小的数目在SPS中被显式地通过信号传输，并且指定用于GPM合并索引的语法二进制化。在预测了几何划分的每个部分之后，使用具有自适应权重的混合处理来调整沿着几何划分边缘的样本值。这是整个CU的预测信号，并且将像在其他预测模式中一样对整个CU应用变换和量化过程。最后，使用几何划分模式预测的CU的运动场被存储。
2.1.7.1单向预测候选列表构建
单向预测候选列表直接从根据扩展合并预测过程构建的合并候选列表中导出。图21是几何划分模式的单向预测MV选择的示意图。将n表示为几何单向预测候选列表2110中的单向预测运动的索引。第n个扩展合并候选的LX运动矢量，X等于n的奇偶性，被用作几何划分模式的第n个单向预测运动矢量。这些运动矢量在图21中用“x”标记。如果第n个扩展合并候选的对应LX运动矢量不存在，则使用相同候选的L(1-X)运动矢量作为几何划分模式的单向预测运动矢量。
2.1.7.2沿几何划分边缘的混合
在使用其自身的运动来预测几何划分的每个部分之后，将混合应用于两个预测信号以导出几何划分边缘周围的样本。CU的每个位置的混合权重是基于个***置和划分边缘之间的距离导出的。
一个位置到划分边缘的距离导出为：
/>
其中i，j是几何划分的角度和偏移的索引，其取决于通过信号传输的几何划分索引。ρx，j和ρy，j的符号取决于角度索引i。
几何划分的每个部分的权重如下导出：
wIdxL(x，y)＝partIdx？32+d(x，y)：32-d(x，y) (2-25)
w1(x，y)＝1-w0(x，y) (2-27)
partIdx取决于角度索引i。权重w0的一个示例在图22的示意图2200中示出。
2.1.7.3用于几何划分模式的运动场存储
来自几何划分第一部分的Mv1、来自几何划分第二部分的Mv2以及Mv1和Mv2的组合Mv存储在几何划分模式编码CU的运动场中。
运动场中每个个***置的存储的运动矢量类型被确定为：
sType＝abs(motionIdx)＜32？2：(motionIdx≤0？(1-partIdx)：partIdx) (2-43)
其中motionIdx等于d(4x+2，4y+2)，这是根据等式(2-36)重新计算的。partIdx取决于角度索引i。
如果sType等于0或1，则Mv0或Mv1被存储在对应运动场中，否则，如果sTType等于2，则存储来自Mv0和Mv2的组合Mv。组合Mv使用以下过程生成：
1)如果Mv1和Mv2来自不同的参考图片列表(一个来自L0，另一个来自L1)，则Mv1和Mv2被简单地组合以形成双向预测运动矢量。
2)否则，如果Mv1和Mv2来自同一列表，则仅存储单向预测运动Mv2。
2.1.8多假设预测(MHP)
本文采用了多假设预测。在帧间AMVP模式、常规合并模式和MMVD模式之上通过信号传输最多两个附加预测子。所得到的总体预测信号与每个附加预测信号迭代地累积。
pn+1＝(1-αn+1)pn+αn+1hn+1
加权因子α根据下表指定：
add_hyp_weight_idx α
0 1/4
1 -1/8
对于帧间AMVP模式，只有在双向预测模式中选择BCW中的非相等权重，才应用MHP。
3.问题
现有的视频编码技术存在一些问题需要进一步改进，以获得更高的编码增益。
1)是否以及如何处理MHP编解码邻近块来生成预测候选列表是必须定义的。
(2)现有的MHP不允许将帧内预测作为假设之一，这一点有待改进。
4.本公开的实施例
以下本公开的实施例应被视为解释一般概念的示例。不应以狭义的方式解释这些实施例，此外，这些实施例可以以任何方式组合。
术语"视频单元"或"编解码单元"或"块"可以表示编解码树块(CTB)、编解码树单元(CTU)、编解码块(CB)、CU、PU、TU、PB、TB。
在实施例中，关于"以模式N编码的数据块"，此处的"模式N"可以是预测模式(例如MODE_INTRA、MODE_INTER、MODE_PLT、MODE_IBC等)或编解码技术(例如AMVP、Merge、SMVD、BDOF、PROF、DMVR、AMVR、TM、Affine、CIIP、GPM、MMVD、BCW、HMVP、SbTMVP等)。
在实施例中，"多重假设预测"可指任何将多个预测/组合物/假设进行组合/混合而得到一个用于后期重建处理的编码工具。例如，组合组/假设可以是经INTER模式编解码的、经INTRA模式编解码的或经任何其他编解码模式/方法编解码的，如CIIP、GPM、MHP等。
在下面的讨论中，多重假设预测块的"基本假设"可以指具有第一组权重值的第一假设/预测，一般来说，"基本假设"可以是由某种预测模式(如MODE INTER或MODE_INTRA等)生成的预测单元。
在下面的讨论中，多重假设预测块的"附加假设"可指具有第二组权重值的第二假设/预测，一般来说，"附加假设"的语法元素被附加地与"基本假设"的语法元素相关联地通过信号发出。与"基本假设"相关联的附加假设可能不止一个。多重假设预测视频单元一般是混合预测单元，其中最终预测样本由"基本假设"和一个或多个"附加假设"混合而成。
1.在一个示例中，视频单元(如PU/CU)的多重假设数据(如附加假设的编码信息而非基本假设的编码信息)可被***到HMVP(如基于历史的MVP)表中。
a.例如，假设HMVP候选码是由多假设编码视频单元生成的，则HMVP候选可同时包含基本假设的编码信息和视频单元附加假设的多重假设数据。
i可替换地，在HMVP表中只***视频单元的基本假设的编解码信息。
ii.可替换地，在HMVP表中只***视频单元地附加假设的多重假设数据。
iii.此外，如果在HMVP表中只***视频单元的基本假设(而没有附加假设)的编解码信息，则该候选HMVP的多重假设数据的数目为零。
b.例如，视频单元的编解码信息(基本假设的编解码信息和/或附加假设的多重假设数据)的哪一部分包含在HMVP候选中可能取决于视频单元的预测信息。
i.例如，视频单元的预测信息可以是预测模式(帧内、帧间、IBC、PLT等)、预测方法(GEO、CIIP、
MMVD、常规合并、TM、DMVR、MPDMVR、BDOF、
AMVP、仿射、sbTMVP等)、经编解码的块大小等。
ii.例如，如果视频单元是被常规合并编解码的，则该视频单元的基本假设的编解码信息和附加假设的多重假设数据都可包括在HMVP候选中并被***到HMVP表中。iii.例如，如果视频单元是被CIIP/GEO/TM编解码的，则只有该视频单元的基本假设的编解码信息被包括在HMVP候选中并被***到HMVP表中。
c.例如，视频单元的多重假设数据是否包括在候选HMVP中可以取决于HMVP候选的使用情况。
i.例如，如果HMVP候选被添加到AMVP列表中，则该HMVP候选可以不包括多重假设数据。
ii.例如，如果HMVP候选被添加到合并列表中，则该HMVP候选可以包括多重假设数据。
2.在一个例子中，是否将多重假设数据从邻居视频单元(如PU/CU)中继承到合并候选(在合并列表生成期间)可能取决于该合并候选或合并候选列表的使用情况。
a.在一个例子中，如果合并候选被用于TM(基于模板匹配的合并)编解码，则多重假设数据可能不会从邻居继承到该合并候选。
i.可替换地，在这种情况下，多重假设数据也可以从邻居继承到该合并候选。
b.在一个例子中，如果合并候选被用于GEO(和/或其变体，如GEO源、具有MMVD的GEO、具有TM的GEO)编解码，则多重假设数据可能不会从邻居继承到该合并候选。
i.可替换地，在这种情况下，多重假设数据也可以从邻居继承到该合并候选。
c.在一个例子中，如果合并候选被用于CIIP(和/或其变体)编解码，则多重假设数据可能不会从邻居继承到该合并候选。i.可替换地，在这种情况下，多重假设数据也可以从邻居继承到该合并候选。
d.在一个例子中，如果合并候选被用于MMVD编解码，则多重假设数据可能不会从邻居继承到该合并候选。
i.可替换地，在这种情况下，多重假设数据也可以从邻居继承到该合并候选。
e.在一个例子中，如果合并候选被用于仿射编解码，则多重假设数据可能不会从邻居继承到该合并候选。
i.可替换地，在这种情况下，多重假设数据也可以从邻居继承到该合并候选。
f.在一个例子中，如果合并候选被用于SbTMVP合并编解码，则多重假设数据可能不会从邻居继承到该合并候选。
i.可替换地，在这种情况下，多重假设数据也可以从邻居继承到该合并候选。
g.在一个例子中，如果合并候选被用于常规合并编解码，则多重假设数据可能不会从邻居继承到该合并候选。
i.可替换地，在这种情况下，多重假设数据也可以从邻居继承到该合并候选。
3.在一个示例中，是否将多重假设数据从邻居视频单元(如PU/CU)中继承到合并候选(在合并列表生成期间)可能取决于反映多重假设数据来源的条件。
a.在一个例子中，条件可指多重假设数据是否来自空间邻居(或时间邻居、或HMVP表、或成对候选、或零候选)。
i.例如，条件可能是指多重假设数据是否来自非相邻的空间邻居。
ii.条件可能是指多重假设数据是否来自与当前区块相邻的空间邻居。
b.在一个例子中，条件可指多重假设数据是否来自经TM(或GEO、或CIIP、或MMVD、或放射、或SbTMVP、或常规合并、或AMVP)编解码的块。
c.在一个例子中，多重假设数据只能从空间邻居编解码块中继承。
d.在一个例子中，多重假设数据只能从时间邻居编解码块中继承。
e.在一个例子中，如果多重假设数据来自经TM(基于模板匹配的合并)编解码的邻居块，则多重假设数据可能不会被继承到该合并候选区。
i.可替换地，在这种情况下，多重假设数据也可以被继承到该合并候选。
f.在一个例子中，如果多重假设数据来自经GEO(和/或其变体，如GEO起源、具有MMVD的GEO、具有TM的GEO)编解码的邻居块，则多重假设数据可能不会被继承到该合并候选区。
i.可替换地，在这种情况下，多重假设数据也可以被继承到该合并候选。
g.在一个例子中，如果多重假设数据来自经CIIP(和/或其变体)编解码的邻居块，则多重假设数据可能不会被继承到该合并候选区。
i.可替换地，在这种情况下，多重假设数据也可以被继承到该合并候选。
h.在一个例子中，如果多重假设数据来自经MMVD编解码的邻居块，则多重假设数据可能不会被继承到该合并候选区。
i.可替换地，在这种情况下，多重假设数据也可以被继承到该合并候选。
i.在一个例子中，如果多重假设数据来自经仿射编解码的邻居块，则多重假设数据可能不会被继承到该合并候选区。
i.可替换地，在这种情况下，多重假设数据也可以被继承到该合并候选。
j.在一个例子中，如果多重假设数据来自经SbTMVP编解码的邻居块，则多重假设数据可能不会被继承到该合并候选区。
i.可替换地，在这种情况下，多重假设数据也可以被继承到该合并候选。
k.在一个例子中，如果多重假设数据来自经常规合并编解码的邻居块，则多重假设数据可能不会被继承到该合并候选区。
i.可替换地，在这种情况下，多重假设数据也可以被继承到该合并候选。
4.在一个例子中，(在AMVP列表生成期间)是否将多个假设数据包括在AMVP候选中可能取决于该AMVP候选(列表)的使用情况。
a.例如，该AMVP候选方案(列表)的使用情况可以指常规AMVP、仿射AMVP、具有SMVD的AMVP等。
5.此外，(在AMVP列表生成期间)是否将多重假设数据包括在AMVP候选中可能取决于反映多重假设数据来源的条件。
a.例如，根据条件可以指多重假设数据是否来自空间邻居(或时间邻居、或HMVP表)。
b.在一个例子中，根据条件可以指多重假设数据是否来自经TM(或GEO、或CIIP、或MMVD、或仿射、或SbTMVP、或常规合并、或AMVP)编解码的块。
6.在一个例子中，哪种附加假设被允许用于视频单元可能取决于与该视频单元相关联的附加假设的数目。
a.例如，如果多于一个附加假设与基本假设相关联，那么可能不允许这些多个附加假设的预测方法是相同的。
b.例如，给定基本假设，可能不允许其有多于一个的经帧内(或平面)编解码的附加假设。
c.例如，对于给定的基本假设(或PU/CU)，最多允许X个(如X＝1)经平面编解码的附加假设。
7.在一个例子中，可能不允许将预测方法K用作MHP视频单元的基本假设。
a.可替换地，也可以不允许将预测方法L用作MHP视频单元的附加假设。
b.例如，如果不允许将某种预测方法用于MHP视频单元，那么与这种预测方法相关的语法元素就不会针对该MHP视频单元用信号发出。
c.例如，预测方法K和L可以是常规合并、CIIP、CIIPPDPC、GEO、GEO MMVD、GEO TM、MMVD、TM、仿射、仿射MMVD、SbTMVP、AMVP、帧内、平面、TIMD、DIMD、AMVP的变体、合并的变体、帧内的变体等。
8.在一个示例中，多重假设数据可包括语法元素，该语法元素指定至少一个基于帧内预测的附加假设的编解码信息的。
a.例如，可以在多重假设数据结构用信号发出指定某个附加假设是否是通过预测方法A进行编码的指示符。
i.例如，预测方法A可以是帧间(或特定的帧间预测方法，如合并或AMVP)编解码的，也可以是帧内(或特定的帧内预测方法，如平面、TIMD、DIMD、DC、竖直或竖直等)编解码的。
ii.例如，可以通过多重假设数据结构中用信号发出第一指示符，其指定附加假设是否是被预测方法A(如AMVP)编解码的。
iii.例如，可以通过多重假设数据结构中用信号发出第二个指示符，其指定附加假设是被预测方法B(如合并)编解码的还是被预测方法C(如平面)编解码的。
iv.例如，第二指示符的存在/用信号发出可以以第一指示符的值为条件。
v.可替换地，第一指示符和第二指示符可以独立地用信号发出。
b.例如，指示符是否用信号发出可取决于与该视频单元相关的被指定预测方法编解码的假设的数目。
i.例如，被指定的预测方法可以是帧内(或平面、TIMD、DIMD等)预测方法。
ii.例如，如果被编码的经帧内编码的假设的数目大于X(如X＝0)，则不允许再有经帧内编解码的假设用于所述视频单元。
1.在这种情况下，不针对下一假设发出更多的指明所述下一假设是被帧内编解码的还是非帧内编解码的指示。
2.在这种情况下，下一个假设将被继承为被非帧内编解码。
c.可替换地，指示符是否用信号发出可能取决于基本假设的预测方法/模式。
i.例如，如果基本假设是通过某种预测方法进行编解码的，则该指示符可能不会用信号发出或被推断为某个值。
ii.例如，如果基本假设是通过某种预测方法进行编解码的，则该指示符可能不被允许提供给此单元。
iii.例如，某些预测方法可以是常规合并、CIIP、CIIPPDPC、GEO、GEO MMVD、GEOTM、MMVD、TM、仿射、仿射MMVD、SbTMVP、AMVP等。
d.例如，是否和/或如何将帧内编解码假设应用于MHP块可能取决于块大小。
i.例如，只有当MHP块大小不大于VPDU大小时，才允许经帧内编解码的假设。
ii.例如，只有当MHP块宽度/高度小于阈值时，才允许经帧内编解码的假设。
iii.例如，假设的帧内预测可以用子块方式进行。
1.例如，如果MHP块大小大于阈值(或VPDU大小)，则可将其分割为多个子块，并且可以对每个子块应用帧内预测。
2.例如，可以对如何将其分割成子块进行预定义。
a.例如，它可以被隐式地分割成多个子块。
b.例如，它可以被四叉树分割成四个大小平均的子块。
c.例如，它可以被水平(或竖直)分割成几个子块。
9.例如，多重假设数据可以包括指定权重以对多重假设进行加权求和的语法元素。
a.例如，至少有一个假设可以是帧内预测。
b.可替换地，权重可以从编解码信息(如邻居视频单元的预测模式)中隐含导出。
c.例如，与基于帧内预测的假设相关的权重可以从编解码信息中隐含导出并且遵循与CIIP权重导出相同的规则。
通用权项
1.关于是否和/或如何应用上面公开的方法可以在序列级别/图片组级别/图片级别/条带级别/图块组级别发出信号通知，例如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头中。
2.是否和/或如何应用上面所公开的方法可以在PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/其它类的包含多于一个样本或像素的区域中发出信号通知。
3.是否和/或如何应用上面公开的方法可以取决于编解码的信息，例如块大小、颜色格式、单/双树划分、颜色分量、条带/图片类型。
本公开的实施例涉及图像/视频编解码中由多种分量混合而成的预测。
本文中使用的术语"视频单元"或"编码单元"或"块"可指以下一个或多个：颜色分量、子图片、条带、图块、编解码树单元(CTU)、CTU行、CTU组、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)、块、块中的子块、块内的子区域或包含多于一个样本或像素的区域。
在本公开内容中，关于"以模式N编解码的块"，术语"模式N"可以是一种预测模式(例如MODE_INTRA、MODE_INTER、MODE_PLT、MODE_IBC等)，也可以是一种编解码技术(例如AMVP、合并、SMVD、BDOF、PROF、DMVR、AMVR、TM、仿射、CIIP、GPM、MMVD、BCW、HMVP、SbTMVP等)。
在本公开中"多重假设预测"可指任何将多个预测/组合/假设组合/混合成一个用于后期重构过程的编解码工具。例如，组合/假设可以是被INTER模式编解码的、INTRA模式编解码的或任何其他编解码的模式/方法，如CIIP、GPM、MHP等。
在下面的讨论中，多重假设预测区块的"基本假设"可指具有第一组加权值的第一假设/预测。在下面的讨论中，多重假设预测模块的"附加假设"可指具有第二组加权值的第二假设/预测。
图23例示了根据本公开某些实施例的用于视频处理的方法2300的流程图。该方法2300可在视频单元和视频单元的比特流之间的转换期间实施。
如图23所示，在框2310，在视频的视频单元与所述视频单元的比特流之间的转换期间，确定所述视频单元的多重假设信息。该视频单元是经多重假设编解码的视频单元。换言之，MHP被应用于视频单元。在某些实施例中，视频单元可以是预测单元(PU)。可替换地，视频单元可以是编解码单元(CU)。
在框2320，将多重假设信息***基于历史的运动候选表。例如，可以将多重假设信息***到基于历史的运动矢量预测(HMVP)表中。在某些实施例中，多重假设信息可包括视频单元附加假设的多重假设数据。在某些实施例中，多重假设数据可包括视频单元的附加假设的编解码信息。或者，多重假设信息可包括视频单元的基本假设的编解码信息。
在框2330，根据基于历史的运动候选表执行转换。在某些实施例中，转换可包括将视频单元编码到比特流中。或者，转换可包括从比特流中解码视频单元。
根据本公开的实施例，提出了是否以及如何处理经MHP编解码的邻近块用于生成预测候选列表。此外，还允许将帧内预测作为假设之一。与传统的解决方案相比，本公开的一些实施例可以有效地提高编解码效率、编解码性能和灵活性。
本公开的实施方案可根据以下条款进行描述，其特征可以任何合理的方式进行组合。
在某些实施例中，可从视频单元生成基于历史的运动候选。在这种情况下，在某些实施例中，基于历史的运动候选可以包括视频单元的基本假设的编解码信息以及附加假设的多重假设数据。在某些实施例中，可以只将视频单元的基本假设的编码信息***到HMVP表中。在某些实施例中，可以只将视频单元的附加假设的多重假设数据***到HMVP表中。
在某些实施例中，如果视频单元的基本假设的编解码信息被***到所述基于历史的运动候选表中，则所述基于历史的运动候选的多重假设的数目被可以被视为零。例如，如果只有视频单元的基本假设(无附加假设)的编解码信息被***到HMVP表中，则该HMVP候选的多重假设数据的数目可被视为零。
在某些实施例中，所述视频单元的哪部分编解码信息被包括在基于历史的运动候选中取决于所述视频单元的预测信息。例如，视频单元的哪一部分编解码信息(基本假设的编解码信息和/或附加假设的多重假设数据)被包含在HMVP候选中可以取决于视频单元的预测信息。
在某些实施例中，视频单元的编码信息可包括以下至少一项：视频单元的基本假设的编解码信息，或视频单元的附加假设的多重假设数据。
在一些实施例中，视频单元的预测信息可包括以下至少一项：视频单元的预测模式、视频单元的预测方法或视频单元的经编解码的块大小。例如，视频单元的预测信息可以是预测模式(帧内、帧间、IBC、PLT等)、预测方法(GEO、CIIP、MMVD、常规合并、TM、DMVR、MPDMVR、BDOF、AMVP、仿射、sbTMVP等)、经编解码的块大小等。
在某些实施例中，如果所述视频单元是被常规合并编解码，则所述视频单元的基本假设的编解码信息和所述视频单元的附加假设的多重假设数据可以被包括在基于历史的运动候选中并且被***到所述基于历史的运动候选表中。例如，如果视频单元是经常规合并编码的，则该视频单元的基本假设的编解码信息和附加假设的多重假设数据都可包以被包括在HMVP候选中并被***到HMVP表中。
在某些实施例中，如果所述视频单元是以下一项：经组合的帧间帧内预测(CIIP)编解码的、经几何划分模式(GPM)编解码的或经模板匹配(TM)编解码的，则所述视频单元的基本假设的编解码信息被包含在基于历史的运动候选中并且被***到所述基于历史的运动候选表中。例如，如果视频单元是经CIIP/GEO/TM编解码，则只有该视频单元基本假设的编解码信息才会被包括在HMVP候选码中并被***到HMVP表中。
在一些实施例中，视所述视频单元的多重假设数据是否可能被包括在基于历史的运动候选中可以取决于所述基于历史的运动候选的使用情况。例如，如果所述基于历史的运动候选被添加到高级运动矢量预测(AMVP)列表中，则所述基于历史的运动候选可能不包括所述视频单元的多重假设数据。例如，如果所述基于历史的运动候选被添加到合并列表中，则所述基于历史的运动候选可以包括所述视频单元的多重假设数据。
在一些实施例中，是否将多重假设数据从所述视频单元的邻居视频单元继承到合并候选中可以取决于所述合并候选或包括所述合并候选的合并候选列表的使用情况。例如，是否将多重假设数据从邻居视频单元(如PU/CU)继承到合并候选(在合并列表生成过程中)，可能取决于该合并候选或合并候选列表的使用情况。
在一些实施例中，如果所述合并候选被用于TM(基于模板匹配的合并)编解码，则所述多重假设数据可以不从所述邻居视频单元继承到所述合并候选。可替换地，如果所述合并候选被用于TM编解码，则所述多重假设数据可以从所述邻居视频单元继承到所述合并候选。
在某些实施例中，如果所述合并候选被用于GPM编解码或与所述GPM编解码相关联的变体，则所述多重假设数据可以不从所述邻居视频单元继承到所述合并候选。可替换地，如果所述合并候选被用于GPM编解码或与所述GPM编解码相关联的变体，则所述多重假设数据可以从所述邻居视频单元继承到所述合并候选。与GPM编解码相关的变体可包括以下一种或多种：GPM源、带有MMVD的GPM或带有TM的GPM。
在一些实施例中，如果所述合并候选用于CIIP编解码或与所述CIIP编解码相关联的变体，则所述多重假设数可以不从所述邻居视频单元继承到所述合并候选。可替换地，如果所述合并候选被用于CIIP编解码或与所述CIIP编解码相关联的变体，则所述多重假设数据可以从所述邻居视频单元继承到所述合并候选。
在某些实施例中，如果所述合并候选被用于带有运动矢量差的合并模式(MMVD)编解码，则所述多重假设数据可以不从所述邻居视频单元继承到所述合并候选。可替换地，如果所述合并候选被用于MMVD编解码，则所述多重假设数据可以从所述邻居视频单元继承到所述合并候选。
在某些实施例中，如果所述合并候选被用于仿射合并模式，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。可替换地，如果所述合并候选被用于仿射合并编解码，则所述多重假设数据可从所述邻居视频单元继承到所述合并候选。
在某些实施例中，如果所述合并候选被用于基于子块的时间运动矢量预测(SbTMVP)的、带有运动矢量差的合并模式(MMVD)编解码，则所述多重假设数据可以不从所述邻居视频单元继承到所述合并候选。可替换地，如果所述合并候选被用于SbTMVP合并编解码，则所述多重假设数据可从所述邻居视频单元继承到所述合并候选。
在一些实施例中，如果所述合并候选被用于常规合并模式编解码，则所述多重假设数据可以不从所述邻居视频单元继承到所述合并候选。可替换地，如果所述合并候选被用于常规合并编解码，则所述多重假设数据可以从所述邻居视频单元继承到所述合并候选。
在一些实施例中，是是否将多重假设数据从所述视频单元的邻居视频单元继承到合并候选可以取决于反映所述多重假设数据来源的条件。在一个示例中，是否将多重假设数据从邻居视频单元(如PU/CU)继承到合并候选(在合并列表生成过程中)可以取决于反映多个假设数据来源的条件。
在某些实施例中，条件指示所述多重假设数据是否来自以下一项：经编解码的空间邻居块；经编解码的时间邻居块；基于历史的运动候选表；一对候选，或零候选。例如，条件可指示所述多重假设数据是否来自与所述视频单元相关联的当前块的非相邻邻居。在某些实施例中，条件可指示条件指示所述多重假设数据是否来自与关联于所述视频单元的当前块相邻的空间邻居。
在一些实施例中，条件可指示多重假设数据是否来自以下数据一项：经TM编解码的块、经GPM编解码的块、经CIIP编解码的块、经MMVD编解码的块、经仿射编解码的块、经SbTMVP编解码的块、经常规合并编解码的块、或经AMVP编解码的块。在一个示例中，条件可指多重假设数据是否来自经TM(或GPM、或CIIP、或MMVD、或仿射、或SbTMVP、或常规合并、或AMVP)编码的块。
在一些实施例中，多重假设数据可从与视频单元相关联的经编解码的空间邻居块继承。在一个示例中，多重假设数据只能经编解码的空间邻居块继承。
在某些实施例中，多重假设数据可从与所述视频单元相关联的经编解码的时间块继承。在某些实施例中，如果所述多重假设数据来自经TM编解码的邻居块，则所述多重假设数据可以不被继承到所述合并候选。可替换地，如果所述多重假设数据来自经TM编解码的邻居块，则所述多重假设数据可以被继承到所述合并候选。
在某些实施例中，如果所述多重假设数据来自经GPM编解码的邻居块或所述经GPM编解码的邻居块的变体，则所述多重假设数据可以不被继承到所述合并候选。可替换地，如果所述多重假设数据来自经GPM编解码的邻居块或所述经GPM编解码的邻居块的变体，则所述多重假设数据可以被继承到所述合并候选。GPM的变体可包括以下一种或多种：GPM起源、带有MMVD的GPM或带有TM的GPM。
在某些实施例中，如果所述多重假设数据来自经CIIP编解码的邻居块或所述经CIIP编解码的邻居块的变体，则所述多重假设数据可以不被继承到所述合并候选。可替换地，如果所述多重假设数据来自经CIIP编解码的邻居块或所述经GIIP编解码的邻居块的变体，则所述多重假设数据可以被继承到所述合并候选。
在某些实施例中，如果所述多重假设数据来自经MMVD编解码的邻居块，则所述多重假设数据可以不被继承到所述合并候选。可替换地，如果所述多重假设数据来自经MMVD编解码的邻居块，则所述多重假设数据可以被继承到所述合并候选。
在某些实施例中，如果所述多重假设数据来自经仿射编解码的邻居块，则所述多重假设数据可以不被继承到所述合并候选。可替换地，如果所述多重假设数据来自经仿射编解码的邻居块，则所述多重假设数据可以被继承到所述合并候选。。
在某些实施例中，如果所述多重假设数据来自经SbTMVP编解码的邻居块，则所述多重假设数据可以不被继承到所述合并候选。可替换地，如果所述多重假设数据来自经SbTMVP编解码的邻居块，则所述多重假设数据可被继承到所述合并候选块。
在某些实施例中，如果所述多重假设数据来自经常规合并编解码的邻居块，则所述多重假设数据可以不被继承到所述合并候选块。可替换地，如果所述多重假设数据来自经常规合并编解码的邻居块，则所述多重假设数据可被继承到所述合并候选块。
在一些实施例中，否将所述多重假设数据包括到AMVP候选中可以取决于所述AMVP候选或包括所述AMVP候选的AMVP列表的使用情况。在一个示例中，是否将所述多重假设数据包括到AMVP候选(在AMVP列表生成过程中)可取决于该AMVP候选(列表)的使用情况。在一些实施例中，所述AMVP候选或所述AMVP列表的使用情况是指以下一项：常规AMVP、仿射AMVP、或具有对称运动矢量差(SMVD)的AMVP。
在一些实施例中，是否将所述多重假设数据包括到AMVP候选中可以取决于反映所述多重假设数据来源的条件。在一些实施例中，条件指示所述多重假设数据是否来自以下一项：经编解码的空间邻居块；经编解码的时间邻居块；或所述基于历史的运动候选表。在一些实施例中，条件表明多个假设数据是否可以来自以下数据之一：经TM编解码的块、经GPM编解码的块、经CIIP编解码的块、经MMVD编解码的块、经仿射编解码的块、经SbTMVP编解码的块、经常规合并编解码的块、或经AMVP编解码的块。在一个示例中，条件可指多重假设数据是否来自经TM(或GEO、或CIIP、或MMVD、或仿射、或SbTMVP、或常规合并、或AMVP)编解码的块。
在一些实施例中，其中哪种附加假设被允许用于所述视频单元可取决于与所述视频单元相关联的附加假设的数目。在一些实施例中，如果多个附加假设与基本假设相关联，则不允许所述多个附加假设的预测方法相同。例如，如果基本假设关联了多个附加假设，则不允许所述多个附加假设的预测方法相同。
在一些实施例中，针对所述视频单元的基本假设，可以不允许所述基本假设有多于一个的经帧内编解码的附加假设或多于一个的经平面编解码的附加假设。例如，给定基本假设，可能不允许该基本假设有多于一个的经帧内(或平面)编解码的附加假设。
在一些实施例中，针对所述视频单元的基本假设，可以允许预定数目的平面编解码附加假设。例如，针对给定基本假设(或PU/CU)最多允许X个(如X＝1)经平面编解码的附加假设。
在一些实施例中，可以不允许将第一种预测方法用作视频单元的基本假设，且视频单元可以是多假设预测(MHP)视频单元。例如，可以不允许将预测方法K用作MHP视频单元的基本假设。
在一些实施例中，可以不允许将第二种预测方法用作视频单元的附加假设，且视频单元可以是多假设预测(MHP)视频单元。例如，可以不允许将预测方法L用作MHP视频单元的附加假设。
在某些实施例中，如果预测方法不被允许用于作为MHP视频单元的所述视频单元，则可以不针对所述MHP视频单元指示与所述预测方法有关的语法元素。例如，如果某种预测方法不被允许用于MHP视频单元，则与该预测方法相关的语法元素不会被指示针对该MHP视频单元用信号发送。
在一些实施例中，第一预测方法可以是以下一项：常规合并预测方法；CIIP预测方法；CIIP位置相关帧内预测组合(PDPC)方法；GPM预测方法；GPM MMVD预测方法；GPM TM预测方法；MMVD预测方法；TM预测方法；仿射预测方法；仿射MMVD预测方法；SbTMVP预测方法；AMVP预测方法；帧内预测方法；平面预测方法；基于模板的帧内模式导出(TIMD)预测方法；解码器侧帧内模式导出(DIMD)预测方法；AMVP预测方法的变体；合并预测方法的变体；或帧内预测方法的变体。
在一些实施例中，第二预测方法可以是以下一项：常规合并预测方法；CIIP预测方法；CIIP位置相关帧内预测组合(PDPC)方法；GPM预测方法；GPM MMVD预测方法；GPM TM预测方法；MMVD预测方法；TM预测方法；仿射预测方法；仿射MMVD预测方法；SbTMVP预测方法；AMVP预测方法；帧内预测方法；平面预测方法；TIMD预测方法；DIMD预测方法；AMVP预测方法的变体；合并预测方法的变体；或帧内预测方法的变体。例如，预测方法K和L可以是常规合并、CIIP、CIIP PDPC、GEO、GEO MMVD、GEO TM、MMVD、TM、仿射、仿射MMVD、SbTMVP、AMVP、帧内、平面、TIMD、DIMD、AMVP的变体、合并的变体、帧内的变体等。
在一些实施例中，所述视频单元的多重假设数据可包括至少一个语法元素，所述至少一个语法元素指定基于至少一个帧内预测的附加假设的编解码信息。在一些实施例中，可指定附加假设是否是通过第一预测方法编解码的指示在多重假设数据结构中被指示。例如，可以在多重假设数据结构中发出指定某个附加假设是否是通过预测方法A编解码的指示符(一个或多个)。在某些实施例中，预测方法可包括以下方法之一：帧间预测方法，或帧内预测方法。例如，预测方法A可以是经帧间(或特定的帧间预测方法，如合并或AMVP)编解码的或帧内(或特定的帧内预测方法，如平面、TIMD、DIMD、DC、水平或竖直等)编解码的。
在一些实施例中，第一指示在多重假设数据结构中被指示，用于指定附加假设是否是通过第一预测方法编解码。例如，可在多假设数据结构中指示指定附加假设是否是经预测方法A(如AMVP)编解码的第一指示符。
在一些实施例中，第二指示在多重假设数据结构中被指示，用于指定附加假设是通过第二预测方法编解码的还是通过第三预测第二预测方法编解码的。例如，可在多假设数据结构中指示第二指示符，用于指定附加假设是通过预测方法B(如合并)编解码还是预测方法C(如平面)编解码的。
在某些实施例中，所述第二指示的存在可以是以所述第一指示的值为条件的。例如，第二指示符存在/通过信号发出第二指示可以以第一指示符的值为条件。
在某些实施例中，第一指示和第二指示可以被独立指示。可替换地，第一指示和第二指示可以独立地用信号发出。
在一些实施例中，指示是否被指示可取决于与所述视频单元相关联的经指定预测方法编解码的假设的数目。在一些实施例中，所指定的预测方法可以是以下一项：帧内预测方法；TIMD预测方法；或DIMD预测方法
在一些实施例中，如果被编解码的经帧内编解码的假设的数目大于阈值，则可以不允许经帧内编解码的假设用于所述视频单元。在一些实施例中，可以不针对下一假设指示更多的指明所述下一假设是被帧内编解码的还是非帧内编解码的指示。可替换地，下一假设被继承为是非帧内编解码的。例如，如果已编码的经帧内编解码的假设的数目大于X(如X＝0)，则不允许再有经帧内编解码的假设用于该视频单元。在这种情况下，在一些实施例中，可以不再针对下一假设发出指明下一假设是被帧内编解码的还是非内编解码的指示符。在这种情况下，在一些实施例中，下一假设可以被继承为是被非帧内编解码的。
在某些实施例中，指示是否被指示可取决于所述视频单元的基本假设的预测方法/模式。例如，如果所述基本假设是通过预定的预测方法编解码的，则所述指示不被指示或被推断为某个值。例如，如果所述基本假设是通过预定的预测方法编解码的，则不允许向该视频单元提供所述指示。在某些实施例中，预定的预测方法可包括以下一项：常规合并预测方法；CIIP预测方法；CIIP位置相关帧内预测组合(PDPC)方法；GPM预测方法；GPM MMVD预测方法；GPM TM预测方法；MMVD预测方法；TM预测方法；仿射预测方法；仿射MMVD预测方法；SbTMVP预测方法；AMVP预测方法；帧内预测方法；平面预测方法；TIMD预测方法；DIMD预测方法；AMVP预测方法的变体；合并预测方法的变体；或帧内预测方法的变体。
在一些实施例中，是否和/或如何针对所述视频单元应用经帧内编解码的假设可取决于与所述视频单元相关联的块大小。在一些实施例中，如果块大小不大于虚拟流水线数据单元(VPDU)大小，则允许经帧内编解码的假设。例如，只有当MHP块大小不大于VPDU大小时，才允许经帧内编解码的假设。
在一些实施例中，如果块尺寸的宽度或高度小于阈值，则允许经帧内编解码的假设。例如，只有当MHP块的宽度/高度小于阈值时，才允许经帧内编解码的假设。
在一些实施例中，经帧内编解码的预测可以以子块方式被应用。在一些实施例中，如果所述视频单元的块大小大于阈值或VPDU大小，则可以将所述视频单元分割成多个子块，并可以对每个子块应用所述经帧内编解码的预测。例如，如果MHP块大小大于阈值(或VPDU大小)，则可将其分割为多个子块，并可以对每个子块应用内部预测。
在某些实施例中，如何将所述视频单元分割成子块是预定义的。例如，视频单元可以被隐性分割成多个子块。在某些实施例中，视频单元可以被四叉树分割成四个大小平均的子块。在某些实施例中，视频单元可被水平分割成多个子块。可替换地，视频单元可以被竖直分割成多个子块。
在某些实施例中，视频单元的多重假设数据可包括至少一个语法元素，所述至少一个语法元素指定对所述视频单元的多重假设进行加权求和的权重。例如，视频单元的至少一个假设可以是帧内预测。可替换地，权重可以从编解码信息中隐含得出。在某些实施例中，编解码信息可包括视频单元的邻居视频单元的预测模式。在某些实施例中，与基于帧内预测的假设相关的权重从编解码信息中隐含导出并且遵循与CIIP权重导出相同的规则。
在一些实施例中，是否和/或如何将所述多重假设信息***所述基于历史的运动候选表中的指示可在以下一项中被指示：序列级别、图片组级别、图片级别、条带级别，或图块组级别。
在一些实施例中，是否和/或如何将所述多重假设信息***所述基于历史的运动候选表中的指示可在以下一项中被指示：序列头；图片头；序列参数集(SPS)；视频参数集(VPS)；依赖性参数集(DPS)；解码能力信息(DCI)；图片参数集(PPS)；自适应参数集(APS)；条带头；或图块组头。
在一些实施例中，是否和/或如何将所述多重假设信息***所述基于历史的运动候选表中的指示被包括在以下一项中：预测块(PB)；变换块(TB)；编解码块(CB)；预测单元(PU)；变换单元(TU)；编解码单元(CU)；虚拟流水线数据单元(VPDU)；编解码树单元(CTU)；CTU行；条带；图块；子图片；或包含多于一个样本或像素的区域。
在一些实施例中，基于所述视频单元的经编解码的信息，确定是否和/或如何将所述多重假设信息***所述基于历史的运动候选表中，所述经编解码的信息包括以下至少一项：块大小，颜色格式，单/双树划分，颜色分量，条带类型，或者图片类型。
在一些实施例中，确定所述视频的视频单元的多重假设信息。所述视频单元是经多重假设编解码的视频单元。多重假设信息被***基于历史的运动候选表中。根据基于历史的运动候选表生成视频单元的比特流。
在某些实施例中，确定所述视频的视频单元的多重假设信息。所述视频单元是经多重假设编解码的视频单元。多重假设信息被***基于历史的运动候选表中。根据基于历史的运动候选表生成视频单元的比特流。将比特流存储在非暂态计算机可读记录介质中。
本公开的实施方例可以单独实施。可替换地，本公开的实施例可以以任何适当的组合方式实施。本公开的实施例可以根据以下条款进行描述，其特征可以以任何合理的方式组合。
条款1.一种视频处理方法，包括：在视频的视频单元与所述视频单元的比特流之间的转换期间，确定所述视频单元的多重假设信息，所述视频单元是经多重假设编解码的视频单元；将所述多重假设信息***基于历史的运动候选表中；以及根据所述基于历史的运动候选表执行所述转换。
条款2.根据条款1所述的方法，其中所述多重假设信息包括所述视频单元的附加假设的多重假设数据。
条款3.根据条款1所述的方法，其中多重假设信息包括视频单元的基本假设的编码信息。
条款4.根据条款1所述的方法，其中基于历史的运动候选从所述视频单元生成，并且其中，所述基于历史的运动候选包括所述视频单元的基本假设的编解码信息以及附加假设的多重假设数据。
条款5.根据条款4所述的方法，如果所述视频单元的基本假设的编解码信息被***到所述基于历史的运动候选表中，则所述基于历史的运动候选的多重假设的数目被视为零。
条款6.根据条款1所述的方法，其中所述视频单元的哪部分编解码信息被包括在基于历史的运动候选中取决于所述视频单元的预测信息。
条款7.根据条款6所述的方法，其中所述视频单元的所述编解码信息包括以下至少一项：所述视频单元的基本假设的编解码信息，或所述视频单元的附加假设的多重假设数据。
条款8.根据条款6所述的方法，其中所述视频单元的所述预测信息包括以下至少一项：所述视频单元的预测模式、所述视频单元的预测方法，或所述视频单元的经编解码的块大小。
条款9.根据条款6所述的方法，其中，如果所述视频单元是被常规合并编解码的，则所述视频单元的基本假设的编解码信息和所述视频单元的附加假设的多重假设数据被包括在基于历史的运动候选中并且被***到所述基于历史的运动候选表中。
条款10.根据条款6所述的方法，其中，如果所述视频单元是以下一项：被组合的帧间帧内预测(CIIP)编解码的、被几何划分模式(GPM)编解码的或被模板匹配(TM)编解码的，则所述视频单元的基本假设的编解码信息被包含在基于历史的运动候选中并且被***到所述基于历史的运动候选表中。
条款11.根据条款1所述的方法，其中所述视频单元的多重假设数据是否被包括在基于历史的运动候选中取决于所述基于历史的运动候选的使用情况。
条款12.根据条款11所述的方法，其中如果所述基于历史的运动候选被添加到高级运动矢量预测(AMVP)列表中，则所述基于历史的运动候选不包括所述视频单元的多重假设数据。
条款13.根据条款11所述的方法，其中如果所述基于历史的运动候选被添加到合并列表中，则所述基于历史的运动候选包括所述视频单元的多重假设数据。
条款14.根据条款1所述的方法，其中是否将多重假设数据从所述视频单元的邻居视频单元继承到合并候选中取决于所述合并候选或包括所述合并候选的合并候选列表的使用情况。
条款15.根据条款14所述的方法，其中如果所述合并候选被用于TM编解码，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
条款16.根据条款14所述的方法，其中如果所述合并候选被用于TM编解码，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
条款17.根据条款14所述的方法，其中如果所述合并候选被用于GPM编解码或与所述GPM编解码相关联的变体，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
条款18.根据条款14所述的方法，其中如果所述合并候选被用于GPM编解码或与所述GPM编解码相关联的变体，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
条款19.根据条款14所述的方法，其中如果所述合并候选被用于CIIP编解码或与所述CIIP编解码相关联的变体，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
条款20.根据条款14所述的方法，其中如果所述合并候选被用于CIIP编解码或与所述CIIP编解码相关联的变体，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
条款21.根据条款14所述的方法，其中如果所述合并候选被用于带有运动矢量差的合并模式(MMVD)编解码，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
条款22.根据条款14所述的方法，其中如果所述合并候选被用于MMVD编解码，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
条款23.根据条款14所述的方法，其中如果所述合并候选被用于仿射合并模式编解码，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
条款24.根据条款14所述的方法，其中如果所述合并候选被用于仿射合并编解码，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
条款25.根据条款14所述的方法，其中如果所述合并候选被用于基于子块的时间运动矢量预测(SbTMVP)的、带有运动矢量差的合并模式(MMVD)编解码，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
条款26.根据条款14所述的方法，其中如果所述合并候选被用于SbTMVP合并编解码，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
条款27.根据条款14所述的方法，其中如果所述合并候选被用于常规合并模式编解码，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
条款28.根据条款14所述的方法，其中如果所述合并候选被用于常规合并编解码，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
条款29.根据条款1所述的方法，其中是否将多重假设数据从所述视频单元的邻居视频单元继承到合并候选取决于反映所述多重假设数据来源的条件。
条款30.根据条款29所述的方法，其中所述条件指示所述多重假设数据是否来自以下一项：经编解码的空间邻居块；经编解码的时间邻居块；基于历史的运动候选表；一对候选，或零候选。
条款31.根据条款29所述的方法，其中所述条件指示所述多重假设数据是否来自与所述视频单元相关联的当前块的非相邻邻居。
条款32.根据条款29所述的方法，其中所述条件指示所述多重假设数据是否来自与关联于所述视频单元的当前块相邻的空间邻居。
条款33.根据条款29所述的方法，其中所述条件指示所述多重假设数据是否来自以下一项：经TM编解码的块、经GPM编解码的块、经CIIP编解码的块、经MMVD编解码的块、经仿射编解码的块、经SbTMVP编解码的块、经常规合并编解码的块、或经AMVP编解码的块。
条款34.根据条款29所述的方法，其中所述多重假设数据继承自与所述视频单元相关联的经编解码的空间邻居块。
条款35.根据条款29所述的方法，其中所述多重假设数据继承自与所述视频单元相关联的经编解码的时间块。
条款36.根据条款29所述的方法，其中如果所述多重假设数据来自经TM编解码的邻居块，则所述多重假设数据不被继承到所述合并候选。
条款37.根据条款29所述的方法，其中如果所述多重假设数据来自经TM编解码的邻居块，则所述多重假设数据被继承到所述合并候选。
条款38.根据条款29所述的方法，其中如果所述多重假设数据来自经GPM编解码的邻居块或所述经GPM编解码的邻居块的变体，则所述多重假设数据不被继承到所述合并候选。
条款39.根据条款29所述的方法，其中如果所述多重假设数据来自经GPM编解码的邻居块或所述经GPM编解码的邻居块的变体，则所述多重假设数据被继承到所述合并候选。
条款40.根据条款29所述的方法，其中如果所述多重假设数据来自经CIIP编解码的邻居块或所述经CIIP编解码的邻居块的变体，则所述多重假设数据不被继承到所述合并候选。
条款41.根据条款29所述的方法，其中如果所述多重假设数据来自经CIIP编解码的邻居块或所述经CIIP编解码的邻居块的变体，则所述多重假设数据被继承到所述合并候选。
条款42.根据条款29所述的方法，其中如果所述多重假设数据来自经MMVD编解码的邻居块，则所述多重假设数据不被继承到所述合并候选。
条款43.根据条款29所述的方法，其中如果所述多重假设数据来自经MMVD编解码的邻居块，则所述多重假设数据被继承到所述合并候选。
条款44.根据条款29所述的方法，其中如果所述多重假设数据来自经仿射编解码的邻居块，则所述多重假设数据不被继承到所述合并候选。
条款45.根据条款29所述的方法，其中如果所述多重假设数据来自经仿射编解码的邻居块，则所述多重假设数据被继承到所述合并候选块。
条款46.根据条款29所述的方法，其中如果所述多重假设数据来自经SbTMVP编解码的邻居块，则所述多重假设数据不被继承到所述合并候选。
条款47.根据条款29所述的方法，其中如果所述多重假设数据来自经SbTMVP编解码的邻居块，则所述多重假设数据被继承到所述合并候选块。
条款48.根据条款29所述的方法，其中如果所述多重假设数据来自经常规合并编解码的邻居块，则所述多重假设数据不被继承到所述合并候选块。
条款49.根据条款29所述的方法，其中如果所述多重假设数据来自经常规合并编解码的邻居块，则所述多重假设数据被继承到所述合并候选块。
条款50.根据条款1所述的方法，其中是否将所述多重假设数据包括到AMVP候选中取决于所述AMVP候选或包括所述AMVP候选的AMVP列表的使用情况。
条款51.根据条款50所述的方法，其中所述AMVP候选或所述AMVP列表的使用情况是指以下一项：常规AMVP、仿射AMVP、或具有对称运动矢量差(SMVD)的AMVP。
条款52.根据条款1所述的方法，其中是否将所述多重假设数据包括到AMVP候选中取决于反映所述多重假设数据来源的条件。
条款53.根据条款52所述的方法，其中所述条件指示所述多重假设数据是否来自以下一项：经编解码的空间邻居块；经编解码的时间邻居块；或所述基于历史的运动候选表。
条款54.根据条款52所述的方法，其中所述条件指示所述多重假设数据是否来自以下一项：经TM编解码的块、经GPM编解码的块、经CIIP编解码的块、经MMVD编解码的块、经仿射编解码的块、经SbTMVP编解码的块、经常规合并编解码的块、或经AMVP编解码的块。
条款55.根据条款1所述的方法，其中哪种附加假设被允许用于所述视频单元取决于与所述视频单元相关联的附加假设的数目。
条款56.根据条款55所述的方法，其中如果多个附加假设与基本假设相关联，则不允许所述多个附加假设的预测方法相同。
条款57.根据条款55所述的方法，其中针对所述视频单元的基本假设，不允许所述基本假设有多于一个的经帧内编解码的附加假设或多于一个的经平面编解码的附加假设。
条款58.根据条款55所述的方法，其中针对所述视频单元的基本假设，允许预定数目的平面编解码附加假设。
条款59.根据条款1所述的方法，其中第一预测方法不被允许用作所述视频单元的基本假设，且所述视频单元是多假设预测(MHP)视频单元。
条款60.根据条款1所述的方法，其中第二预测方法不被允许用作所述视频单元的附加假设，且所述视频单元是多假设预测(MHP)视频单元。
条款61.根据条款1所述的方法，其中，如果预测方法不被允许用于作为MHP视频单元的所述视频单元，则不针对所述MHP视频单元指示与所述预测方法有关的语法元素。
条款62.根据条款59所述的方法，其中所述第一预测方法是以下一项：常规合并预测方法；CIIP预测方法；CIIP位置相关帧内预测组合(PDPC)方法；GPM预测方法；GPM MMVD预测方法；GPM TM预测方法；MMVD预测方法；TM预测方法；仿射预测方法；仿射MMVD预测方法；SbTMVP预测方法；AMVP预测方法；帧内预测方法；平面预测方法；基于模板的帧内模式导出(TIMD)预测方法；解码器侧帧内模式导出(DIMD)预测方法；AMVP预测方法的变体；合并预测方法的变体；或帧内预测方法的变体。
条款63.根据条款60所述的方法，其中所述第二预测方法是以下一项：常规合并预测方法；CIIP预测方法；CIIP位置相关帧内预测组合(PDPC)方法；GPM预测方法；GPM MMVD预测方法；GPM TM预测方法；MMVD预测方法；TM预测方法；仿射预测方法；仿射MMVD预测方法；SbTMVP预测方法；AMVP预测方法；帧内预测方法；平面预测方法；TIMD预测方法；DIMD预测方法；AMVP预测方法的变体；合并预测方法的变体；或帧内预测方法的变体。
条款64.根据条款1所述的方法，其中所述视频单元的多重假设数据包括至少一个语法元素，所述至少一个语法元素指定基于至少一个帧内预测的附加假设的编解码信息。
条款65.根据条款64所述的方法，其中指定附加假设是否是通过第一预测方法编解码的指示在多重假设数据结构中被指示。
条款66.根据条款65所述的方法，其中所述预测方法包括以下方法之一：帧间预测方法，或帧内预测方法。
条款67.根据条款64所述的方法，其中第一指示在多重假设数据结构中被指示，用于指定附加假设是否是通过第一预测方法编解码。
条款68.根据条款64所述的方法，其中第二指示在多重假设数据结构中被指示，用于指定附加假设是通过第二预测方法编解码的还是通过第三预测第二预测方法编解码的。
条款69.根据条款67或68所述的方法，其中所述第二指示的存在是以所述第一指示的值为条件的。
条款70.根据条款67或68所述的方法，其中所述第一指示和所述第二指示是被独立指示的。
条款71.根据条款1所述的方法，其中指示是否被指示取决于与所述视频单元相关联的经指定预测方法编解码的假设的数目。
条款72.根据条款71所述的方法，其中所指定的预测方法是以下一项：帧内预测方法；TIMD预测方法；或DIMD预测方法。
条款73.根据条款71所述的方法，其中，如果被编解码的经帧内编解码的假设的数目大于阈值，则不允许再有经帧内编解码的假设用于所述视频单元。
条款74.根据条款73所述的方法，其中不针对下一假设指示更多的指定所述下一假设是被帧内编解码的还是非帧内编解码的指示。
条款75.根据条款73所述的方法，其中下一假设被继承为被非帧内编解码的。
条款76.根据条款1所述的方法，其中指示是否被指示取决于所述视频单元的基本假设的预测方法/模式。
条款77.根据条款76所述的方法，其中，如果所述基本假设是通过预定的预测方法编解码的，则所述指示不被指示或被推断为某个值。
条款78.根据条款76所述的方法，其中如果所述基本假设是通过预定的预测方法编解码的，则不允许向该视频单元提供所述指示。
条款79.根据条款77或78的方法，其中所述预定的预测方法包括以下一项：常规合并预测方法；CIIP预测方法；CIIP位置相关帧内预测组合(PDPC)方法；GPM预测方法；GPMMMVD预测方法；GPM TM预测方法；MMVD预测方法；TM预测方法；仿射预测方法；仿射MMVD预测方法；SbTMVP预测方法；AMVP预测方法；帧内预测方法；平面预测方法；TIMD预测方法；DIMD预测方法；AMVP预测方法的变体；合并预测方法的变体；或帧内预测方法的变体。
条款80.根据条款1所述的方法，其中是否和/或如何针对所述视频单元应用经帧内编解码的假设取决于与所述视频单元相关联的块大小。
条款81.根据条款80所述的方法，其中如果所述块大小不大于虚拟流水线数据单元(VPDU)大小，则允许经帧内编解码的假设。
条款82.根据条款80所述的方法，其中如果所述块大小的宽度或高度小于阈值，则允许经帧内编解码的假设。
条款83.根据条款80所述的方法，其中所述经帧内编解码的预测以子块方式被应用。
条款84.根据条款83所述的方法，其中如果所述视频单元的块大小大于阈值或VPDU大小，则将所述视频单元分割成多个子块，并对每个子块应用所述经帧内编解码的预测。
条款85.根据条款83所述的方法，其中如何将所述视频单元分割成子块是预定义的。
条款86.根据条款85所述的方法，其中所述视频单元被隐性分割成多个子块。
条款87.根据条款85所述的方法，其中所述视频单元被四叉树分割成四个大小平均的子块。
条款88.根据条款85所述的方法，其中所述视频单元被水平分割成多个子块，或其中，所述视频单元可以被竖直分割成多个子块。
条款89.根据条款1所述的方法，其中所述视频单元的多重假设数据包括至少一个语法元素，所述至少一个语法元素指定对所述视频单元的多重假设进行加权求和的权重。
条款90.根据条款89所述的方法，其中所述视频单元的至少一个假设是帧内预测。
条款91.根据条款89所述的方法，其中所述权重是从编解码信息隐含导出的。
条款92.根据条款91所述的方法，其中所述编解码信息包括所述视频单元的邻居视频单元的预测模式。
条款93.根据条款91所述的方法，其中与基于帧内预测的假设相关的权重从编解码信息中隐含导出并且遵循与CIIP权重导出相同的规则。
条款94.根据条款1-93中任一项所述的方法，其中是否和/或如何将所述多重假设信息***所述基于历史的运动候选表中的指示在以下一项中被指示：序列级别、图片组级别、图片级别、条带级别，或图块组级别。
条款95.根据条款1-93中任一项所述的方法，其中是否和/或如何将所述多重假设信息***所述基于历史的运动候选表中的指示在以下一项中被指示：序列头；图片头；序列参数集(SPS)；视频参数集(VPS)；依赖性参数集(DPS)；解码能力信息(DCI)；图片参数集(PPS)；自适应参数集(APS)；条带头；或图块组头。
条款96.根据条款1-93中任一项所述的方法，其中是否和/或如何将所述多重假设信息***所述基于历史的运动候选表中的指示被包括在以下一项中：预测块(PB)；变换块(TB)；编解码块(CB)；预测单元(PU)；变换单元(TU)；编解码单元(CU)；虚拟流水线数据单元(VPDU)；编解码树单元(CTU)；CTU行；条带；图块；子图片；或包含多于一个样本或像素的区域。
条款97.条款1-93中任一项所述的方法，还包括：基于所述视频单元的经编解码的信息，确定是否和/或如何将所述多重假设信息***所述基于历史的运动候选表中，所述经编解码的信息包括以下至少一项：块大小，颜色格式，单/双树划分，颜色分量，条带类型，或者图片类型。
条款98.根据条款1-97中任一项所述的方法，其中所述转换包括将所述视频单元编码到所述比特流中。
条款99.根据条款1-97中任一项所述的方法，其中所述转换包括从所述比特流中解码所述视频单元。
条款100.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据条款1-99中任一项所述的方法。
条款101.一种非暂态计算机可读存储介质，存储有使处理器执行根据条款1-99中任一项所述的方法的指令。
条款102.一种非暂态计算机可读记录介质，存储有视频的由视频处理装置执行的方法所生成的比特流，其中所述方法包括：确定所述视频的视频单元的多重假设信息，所述视频单元是经多重假设编解码的视频单元；将所述多重假设信息***基于历史的运动候选表中；以及根据所述基于历史的运动候选表生成所述视频单元的比特流。
条款103.一种用于存储视频的比特流的方法，包括：确定所述视频的视频单元的多重假设信息，所述视频单元是经多重假设编解码的视频单元；将所述多重假设信息***基于历史的运动候选表；根据所述基于历史的运动候选表生成所述视频单元的比特流；以及将所述比特流存储在非暂态计算机可读记录介质中。
示例设备
图24示出了可以在其中实现本公开的各种实施例的计算设备2400的框图。计算设备2400可以被实现为源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)，或者可以被包括在源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)中。
应当理解的是，图24中示出的计算设备2400仅为了说明的目的，而不是以任何方式暗示对本公开实施例的功能和范围的任何限制。
如图24所示，计算设备2400包括通用计算设备2400。计算设备2400可以至少包括一个或多个处理器或处理单元2410、存储器2420、存储单元2430、一个或多个通信单元2440、一个或多个输入设备2450以及一个或多个输出设备2460。
在一些实施例中，计算设备2400可以被实现为具有计算能力的任何用户终端或服务器终端。服务器终端可以是由服务提供商提供的服务器、大型计算设备等。用户终端例如可以是任何类型的移动终端、固定终端或便携式终端，包括移动电话、站、单元、设备、多媒体计算机、多媒体平板计算机、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、个人通信***(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或其任何组合，并且包括这些设备的附件和***设备或其任何组合。可以设想的是，计算设备2400可以支持到用户的任何类型的接口(诸如"可穿戴"电路装置等)。
处理单元2410可以是物理处理器或虚拟处理器，并且可以基于存储在存储器2420中的程序实现各种处理。在多处理器***中，多个处理单元并行地执行计算机可执行指令，以便改善计算设备2400的并行处理能力。处理单元2410也可以被称为中央处理单元(CPU)、微处理器、控制器或微控制器。
计算设备2400通常包括各种计算机存储介质。这样的介质可以是由计算设备2400可访问的任何介质，包括但不限于易失性介质和非易失性介质、或可拆卸介质和不可拆卸介质。存储器2420可以是易失性存储器(例如，寄存器、高速缓存、随机存取存储器(RAM))、非易失性存储器(诸如只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或闪存)或其任何组合。存储单元2430可以是任何可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如存储器、闪存驱动器、磁盘或其他可以被用于存储信息和/或数据并且可以在计算设备2400中被访问的介质。
计算设备2400还可以包括附加的可拆卸/不可拆卸存储介质、易失性/非易失性存储介质。尽管在图24中未示出，但是可以提供用于从可拆卸的非易失性磁盘读取和/或写入可拆卸的非易失性磁盘的磁盘驱动器，以及用于从可拆卸的非易失性光盘读取和/或写入可拆卸的非易失性光盘的光盘驱动器。在这种情况下，每个驱动器可以经由一个或多个数据介质接口连接到总线(未示出)。
通信单元2440经由通信介质与另一计算设备通信。另外，计算设备2400中的组件的功能可以由可以经由通信连接进行通信的单个计算集群或多个计算机器来实现。因此，计算设备2400可以使用与一个或多个其他服务器、联网个人计算机(PC)或其他通用网络节点的逻辑连接来在联网环境中运行。
输入设备2450可以是各种输入设备中的一种或多种输入设备，诸如鼠标、键盘、轨迹球、语音输入设备等。输出设备2460可以是各种输出设备中的一种或多种输出设备，诸如显示器、扬声器、打印机等。借助于通信单元2440，计算设备2400还可以与一个或多个外部设备(未示出)通信，外部设备诸如是存储设备和显示设备，计算设备2400还可以与一个或多个使用户能够与计算设备2400交互的设备通信，或任何使计算设备2400能够与一个或多个其他计算设备通信的设备(例如网卡、调制解调器等)通信，如果需要的话。这种通信可以经由输入/输出(I/O)接口(未示出)进行。
在一些实施例中，计算设备2400的一些或所有组件也可以被布置在云计算架构中，而不是被集成在单个设备中。在云计算架构中，组件可以被远程提供并且共同工作，以实现本公开中描述的功能。在一些实施例中，云计算提供计算、软件、数据访问和存储服务，这将不要求最终用户知晓提供这些服务的***或硬件的物理位置或配置。在各种实施例中，云计算使用合适的协议经由广域网(例如互联网)提供服务。例如，云计算提供商通过广域网提供应用程序，可以通过网络浏览器或任何其他计算组件访问这些应用程序。云计算架构的软件或组件以及对应的数据可以存储在远程服务器上。云计算环境中的计算资源可以被合并或分布在远程数据中心的位置。云计算基础设施可以通过共享数据中心提供服务，尽管它们表现为作为用户的单一接入点。因此，云计算架构可与被用于从远程位置的服务提供商处提供本文所述的组件和功能。备选地，它们可以由常规服务器提供，或者直接或以其他方式安装在客户端设备上。
在本公开的实施例中，计算设备2400可以被用于实现视频编码/解码。存储器2420可以包括具有一个或多个程序指令的一个或多个视频编解码模块2425。这些模块能够由处理单元2410访问和执行，以执行本文描述的各种实施例的功能。
在执行视频编码的示例实施例中，输入设备2450可以接收视频数据作为待编码的输入2470。视频数据可以由例如视频编解码模块2425处理，以生成经编码的比特流。经编码的比特流可以经由输出设备2460作为输出2480被提供。
在执行视频解码的示例实施例中，输入设备2450可以接收经编码的比特流作为输入2470。经编码的比特流可以由例如视频编解码模块2425处理，以生成经解码的视频数据。经解码的视频数据可以经由输出设备2460作为输出2480被提供。
虽然已经参考本公开的优选实施例具体示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求限定的本申请的精神和范围的情况下，可以在形式和细节上进行各种改变。这些变化旨在由本申请的范围所涵盖。因此，本申请的实施例的前述描述不旨在是限制性的。

Claims (103)

1.一种视频处理方法，包括：
在视频的视频单元与所述视频单元的比特流之间的转换期间，确定所述视频单元的多重假设信息，所述视频单元是经多重假设编解码的视频单元；
将所述多重假设信息***基于历史的运动候选表中；以及
根据所述基于历史的运动候选表执行所述转换。
2.根据权利要求1所述的方法，其中所述多重假设信息包括所述视频单元的附加假设的多重假设数据。
3.根据权利要求1所述的方法，其中所述多重假设信息包括所述视频单元的基本假设的编解码信息。
4.根据权利要求1所述的方法，其中基于历史的运动候选从所述视频单元生成，并且
其中，所述基于历史的运动候选包括所述视频单元的基本假设的编解码信息以及附加假设的多重假设数据。
5.根据权利要求4所述的方法，如果所述视频单元的基本假设的编解码信息被***到所述基于历史的运动候选表中，则所述基于历史的运动候选的多重假设的数目被视为零。
6.根据权利要求1所述的方法，其中所述视频单元的哪部分编解码信息被包括在基于历史的运动候选中取决于所述视频单元的预测信息。
7.根据权利要求6所述的方法，其中所述视频单元的所述编解码信息包括以下至少一项：
所述视频单元的基本假设的编解码信息，或
所述视频单元的附加假设的多重假设数据。
8.根据权利要求6所述的方法，其中所述视频单元的所述预测信息包括以下至少一项：
所述视频单元的预测模式、
所述视频单元的预测方法，或
所述视频单元的经编解码的块大小。
9.根据权利要求6所述的方法，其中，如果所述视频单元是被常规合并编解码的，则所述视频单元的基本假设的编解码信息和所述视频单元的附加假设的多重假设数据被包括在基于历史的运动候选中并且被***到所述基于历史的运动候选表中。
10.根据权利要求6所述的方法，其中，如果所述视频单元是以下一项：被组合的帧间帧内预测(CIIP)编解码的、被几何划分模式(GPM)编解码的或被模板匹配(TM)编解码的，则所述视频单元的基本假设的编解码信息被包含在基于历史的运动候选中并且被***到所述基于历史的运动候选表中。
11.根据权利要求1所述的方法，其中所述视频单元的多重假设数据是否被包括在基于历史的运动候选中取决于所述基于历史的运动候选的使用情况。
12.根据权利要求11所述的方法，其中如果所述基于历史的运动候选被添加到高级运动矢量预测(AMVP)列表中，则所述基于历史的运动候选不包括所述视频单元的多重假设数据。
13.根据权利要求11所述的方法，其中如果所述基于历史的运动候选被添加到合并列表中，则所述基于历史的运动候选包括所述视频单元的多重假设数据。
14.根据权利要求1所述的方法，其中是否将多重假设数据从所述视频单元的邻居视频单元继承到合并候选中取决于所述合并候选或包括所述合并候选的合并候选列表的使用情况。
15.根据权利要求14所述的方法，其中如果所述合并候选被用于TM编解码，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
16.根据权利要求14所述的方法，其中如果所述合并候选被用于TM编解码，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
17.根据权利要求14所述的方法，其中如果所述合并候选被用于GPM编解码或与所述GPM编解码相关联的变体，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
18.根据权利要求14所述的方法，其中如果所述合并候选被用于GPM编解码或与所述GPM编解码相关联的变体，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
19.根据权利要求14所述的方法，其中如果所述合并候选被用于CIIP编解码或与所述CIIP编解码相关联的变体，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
20.根据权利要求14所述的方法，其中如果所述合并候选被用于CIIP编解码或与所述CIIP编解码相关联的变体，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
21.根据权利要求14所述的方法，其中如果所述合并候选被用于带有运动矢量差的合并模式(MMVD)编解码，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
22.根据权利要求14所述的方法，其中如果所述合并候选被用于MMVD编解码，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
23.根据权利要求14所述的方法，其中如果所述合并候选被用于仿射合并模式编解码，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
24.根据权利要求14所述的方法，其中如果所述合并候选被用于仿射合并编解码，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
25.根据权利要求14所述的方法，其中如果所述合并候选被用于基于子块的时间运动矢量预测(SbTMVP)的、带有运动矢量差的合并模式(MMVD)编解码，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
26.根据权利要求14所述的方法，其中如果所述合并候选被用于SbTMVP合并编解码，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
27.根据权利要求14所述的方法，其中如果所述合并候选被用于常规合并模式编解码，则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
28.根据权利要求14所述的方法，其中如果所述合并候选被用于常规合并编解码，则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
29.根据权利要求1所述的方法，其中是否将多重假设数据从所述视频单元的邻居视频单元继承到合并候选取决于反映所述多重假设数据来源的条件。
30.根据权利要求29所述的方法，其中所述条件指示所述多重假设数据是否来自以下一项：
经编解码的空间邻居块；
经编解码的时间邻居块；
基于历史的运动候选表；
一对候选，或
零候选。
31.根据权利要求29所述的方法，其中所述条件指示所述多重假设数据是否来自与所述视频单元相关联的当前块的非相邻邻居。
32.根据权利要求29所述的方法，其中所述条件指示所述多重假设数据是否来自与关联于所述视频单元的当前块相邻的空间邻居。
33.根据权利要求29所述的方法，其中所述条件指示所述多重假设数据是否来自以下一项：
经TM编解码的块、
经GPM编解码的块、
经CIIP编解码的块、
经MMVD编解码的块、
经仿射编解码的块、
经SbTMVP编解码的块、
经常规合并编解码的块、或
经AMVP编解码的块。
34.根据权利要求29所述的方法，其中所述多重假设数据继承自与所述视频单元相关联的经编解码的空间邻居块。
35.根据权利要求29所述的方法，其中所述多重假设数据继承自与所述视频单元相关联的经编解码的时间块。
36.根据权利要求29所述的方法，其中如果所述多重假设数据来自经TM编解码的邻居块，则所述多重假设数据不被继承到所述合并候选。
37.根据权利要求29所述的方法，其中如果所述多重假设数据来自经TM编解码的邻居块，则所述多重假设数据被继承到所述合并候选。
38.根据权利要求29所述的方法，其中如果所述多重假设数据来自经GPM编解码的邻居块或所述经GPM编解码的邻居块的变体，则所述多重假设数据不被继承到所述合并候选。
39.根据权利要求29所述的方法，其中如果所述多重假设数据来自经GPM编解码的邻居块或所述经GPM编解码的邻居块的变体，则所述多重假设数据被继承到所述合并候选。
40.根据权利要求29所述的方法，其中如果所述多重假设数据来自经CIIP编解码的邻居块或所述经CIIP编解码的邻居块的变体，则所述多重假设数据不被继承到所述合并候选。
41.根据权利要求29所述的方法，其中如果所述多重假设数据来自经CIIP编解码的邻居块或所述经CIIP编解码的邻居块的变体，则所述多重假设数据被继承到所述合并候选。
42.根据权利要求29所述的方法，其中如果所述多重假设数据来自经MMVD编解码的邻居块，则所述多重假设数据不被继承到所述合并候选。
43.根据权利要求29所述的方法，其中如果所述多重假设数据来自经MMVD编解码的邻居块，则所述多重假设数据被继承到所述合并候选。
44.根据权利要求29所述的方法，其中如果所述多重假设数据来自经仿射编解码的邻居块，则所述多重假设数据不被继承到所述合并候选。
45.根据权利要求29所述的方法，其中如果所述多重假设数据来自经仿射编解码的邻居块，则所述多重假设数据被继承到所述合并候选块。
46.根据权利要求29所述的方法，其中如果所述多重假设数据来自经SbTMVP编解码的邻居块，则所述多重假设数据不被继承到所述合并候选。
47.根据权利要求29所述的方法，其中如果所述多重假设数据来自经SbTMVP编解码的邻居块，则所述多重假设数据被继承到所述合并候选块。
48.根据权利要求29所述的方法，其中如果所述多重假设数据来自经常规合并编解码的邻居块，则所述多重假设数据不被继承到所述合并候选块。
49.根据权利要求29所述的方法，其中如果所述多重假设数据来自经常规合并编解码的邻居块，则所述多重假设数据被继承到所述合并候选块。
50.根据权利要求1所述的方法，其中是否将所述多重假设数据包括到AMVP候选中取决于所述AMVP候选或包括所述AMVP候选的AMVP列表的使用情况。
51.根据权利要求50所述的方法，其中所述AMVP候选或所述AMVP列表的使用情况是指以下一项：常规AMVP、仿射AMVP、或具有对称运动矢量差(SMVD)的AMVP。
52.根据权利要求1所述的方法，其中是否将所述多重假设数据包括到AMVP候选中取决于反映所述多重假设数据来源的条件。
53.根据权利要求52所述的方法，其中所述条件指示所述多重假设数据是否来自以下一项：
经编解码的空间邻居块；
经编解码的时间邻居块；或
所述基于历史的运动候选表。
54.根据权利要求52所述的方法，其中所述条件指示所述多重假设数据是否来自以下一项：
经TM编解码的块、
经GPM编解码的块、
经CIIP编解码的块、
经MMVD编解码的块、
经仿射编解码的块、
经SbTMVP编解码的块、
经常规合并编解码的块、或
经AMVP编解码的块。
55.根据权利要求1所述的方法，其中哪种附加假设被允许用于所述视频单元取决于与所述视频单元相关联的附加假设的数目。
56.根据权利要求55所述的方法，其中如果多个附加假设与基本假设相关联，则不允许所述多个附加假设的预测方法相同。
57.根据权利要求55所述的方法，其中针对所述视频单元的基本假设，不允许所述基本假设有多于一个的经帧内编解码的附加假设或多于一个的经平面编解码的附加假设。
58.根据权利要求55所述的方法，其中针对所述视频单元的基本假设，允许预定数目的平面编解码附加假设。
59.根据权利要求1所述的方法，其中第一预测方法不被允许用作所述视频单元的基本假设，且所述视频单元是多假设预测(MHP)视频单元。
60.根据权利要求1所述的方法，其中第二预测方法不被允许用作所述视频单元的附加假设，且所述视频单元是多假设预测(MHP)视频单元。
61.根据权利要求1所述的方法，其中，如果预测方法不被允许用于作为MHP视频单元的所述视频单元，则不针对所述MHP视频单元指示与所述预测方法有关的语法元素。
62.根据权利要求59所述的方法，其中所述第一预测方法是以下一项：
常规合并预测方法；
CIIP预测方法；
CIIP位置相关帧内预测组合(PDPC)方法；
GPM预测方法；
GPM MMVD预测方法；
GPM TM预测方法；
MMVD预测方法；
TM预测方法；
仿射预测方法；
仿射MMVD预测方法；
SbTMVP预测方法；
AMVP预测方法；
帧内预测方法；
平面预测方法；
基于模板的帧内模式导出(TIMD)预测方法；
解码器侧帧内模式导出(DIMD)预测方法；
AMVP预测方法的变体；
合并预测方法的变体；或
帧内预测方法的变体。
63.根据权利要求60所述的方法，其中所述第二预测方法是以下一项：
常规合并预测方法；
CIIP预测方法；
CIIP位置相关帧内预测组合(PDPC)方法；
GPM预测方法；
GPM MMVD预测方法；
GPM TM预测方法；
MMVD预测方法；
TM预测方法；
仿射预测方法；
仿射MMVD预测方法；
SbTMVP预测方法；
AMVP预测方法；
帧内预测方法；
平面预测方法；
TIMD预测方法；
DIMD预测方法；
AMVP预测方法的变体；
合并预测方法的变体；或
帧内预测方法的变体。
64.根据权利要求1所述的方法，其中所述视频单元的多重假设数据包括至少一个语法元素，所述至少一个语法元素指定基于至少一个帧内预测的附加假设的编解码信息。
65.根据权利要求64所述的方法，其中指定附加假设是否是通过第一预测方法编解码的指示在多重假设数据结构中被指示。
66.根据权利要求65所述的方法，其中所述预测方法包括以下方法之一：
帧间预测方法，或
帧内预测方法。
67.根据权利要求64所述的方法，其中第一指示在多重假设数据结构中被指示，用于指定附加假设是否是通过第一预测方法编解码的。
68.根据权利要求64所述的方法，其中第二指示在多重假设数据结构中被指示，用于指定附加假设是通过第二预测方法编解码的还是通过第三预测第二预测方法编解码的。
69.根据权利要求67或68所述的方法，其中所述第二指示的存在是以所述第一指示的值为条件的。
70.根据权利要求67或68所述的方法，其中所述第一指示和所述第二指示是被独立指示的。
71.根据权利要求1所述的方法，其中指示是否被指示取决于与所述视频单元相关联的经指定预测方法编解码的假设的数目。
72.根据权利要求71所述的方法，其中所指定的预测方法是以下一项：
帧内预测方法；
TIMD预测方法；或
DIMD预测方法。
73.根据权利要求71所述的方法，其中，如果被编解码的经帧内编解码的假设的数目大于阈值，则不允许经帧内编解码的假设用于所述视频单元。
74.根据权利要求73所述的方法，其中不针对下一假设指示更多的指定所述下一假设是被帧内编解码的还是非帧内编解码的指示。
75.根据权利要求73所述的方法，其中下一假设被继承为被非帧内编解码。
76.根据权利要求1所述的方法，其中指示是否被指示取决于所述视频单元的基本假设的预测方法/模式。
77.根据权利要求76所述的方法，其中，如果所述基本假设是通过预定的预测方法编解码的，则所述指示不被指示或被推断为某个值。
78.根据权利要求76所述的方法，其中如果所述基本假设是通过预定的预测方法编解码的，则不允许向该视频单元提供所述指示。
79.根据权利要求77或78的方法，其中所述预定的预测方法包括以下一项：
常规合并预测方法；
CIIP预测方法；
CIIP位置相关帧内预测组合(PDPC)方法；
GPM预测方法；
GPM MMVD预测方法；
GPM TM预测方法；
MMVD预测方法；
TM预测方法；
仿射预测方法；
仿射MMVD预测方法；
SbTMVP预测方法；
AMVP预测方法；
帧内预测方法；
平面预测方法；
TIMD预测方法；
DIMD预测方法；
AMVP预测方法的变体；
合并预测方法的变体；或
帧内预测方法的变体。
80.根据权利要求1所述的方法，其中是否和/或如何针对所述视频单元应用经帧内编解码的假设取决于与所述视频单元相关联的块大小。
81.根据权利要求80所述的方法，其中如果所述块大小不大于虚拟流水线数据单元(VPDU)大小，则允许经帧内编解码的假设。
82.根据权利要求80所述的方法，其中如果所述块大小的宽度或高度小于阈值，则允许经帧内编解码的假设。
83.根据权利要求80所述的方法，其中所述经帧内编解码的预测以子块方式被应用。
84.根据权利要求83所述的方法，其中如果所述视频单元的块大小大于阈值或VPDU大小，则将所述视频单元分割成多个子块，并对每个子块应用所述经帧内编解码的预测。
85.根据权利要求83所述的方法，其中如何将所述视频单元分割成子块是预定义的。
86.根据权利要求85所述的方法，其中所述视频单元被隐性分割成多个子块。
87.根据权利要求85所述的方法，其中所述视频单元被四叉树分割成四个大小平均的子块。
88.根据权利要求85所述的方法，其中所述视频单元被水平分割成多个子块，或
其中，所述视频单元被竖直分割成多个子块。
89.根据权利要求1所述的方法，其中所述视频单元的多重假设数据包括至少一个语法元素，所述至少一个语法元素指定对所述视频单元的多重假设进行加权求和的权重。
90.根据权利要求89所述的方法，其中所述视频单元的至少一个假设是帧内预测。
91.根据权利要求89所述的方法，其中所述权重是从编解码信息隐含导出的。
92.根据权利要求91所述的方法，其中所述编解码信息包括所述视频单元的邻居视频单元的预测模式。
93.根据权利要求91所述的方法，其中与基于帧内预测的假设相关的权重从编解码信息中隐含导出并且遵循与CIIP权重导出相同的规则。
94.根据权利要求1-93中任一项所述的方法，其中是否和/或如何将所述多重假设信息***所述基于历史的运动候选表中的指示在以下一项中被指示：
序列级别、
图片组级别、
图片级别、
条带级别，或
图块组级别。
95.根据权利要求1-93中任一项所述的方法，其中是否和/或如何将所述多重假设信息***所述基于历史的运动候选表中的指示在以下一项中被指示：
序列头；
图片头；
序列参数集(SPS)；
视频参数集(VPS)；
依赖性参数集(DPS)；
解码能力信息(DCI)；
图片参数集(PPS)；
自适应参数集(APS)；
条带头；或
图块组头。
96.根据权利要求1-93中任一项所述的方法，其中是否和/或如何将所述多重假设信息***所述基于历史的运动候选表中的指示被包括在以下一项中：
预测块(PB)；
变换块(TB)；
编解码块(CB)；
预测单元(PU)；
变换单元(TU)；
编解码单元(CU)，
虚拟流水线数据单元(VPDU)；
编解码树单元(CTU)；
CTU行；
条带；
图块；
子图片；或
包含多于一个样本或像素的区域。
97.根据权利要求1-93中任一项所述的方法，还包括：
基于所述视频单元的经编解码的信息，确定是否和/或如何将所述多重假设信息***所述基于历史的运动候选表中，所述经编解码的信息包括以下至少一项：
块大小，
颜色格式，
单/双树划分，
颜色分量，
条带类型，或者
图片类型。
98.根据权利要求1-97中任一项所述的方法，其中所述转换包括将所述视频单元编码到所述比特流中。
99.根据权利要求1-97中任一项所述的方法，其中所述转换包括从所述比特流中解码所述视频单元。
100.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-99中任一项所述的方法。
101.一种非暂态计算机可读存储介质，存储有使处理器执行根据权利要求1-99中任一项所述的方法的指令。
102.一种非暂态计算机可读记录介质，存储有视频的由视频处理装置执行的方法所生成的比特流，其中所述方法包括：
确定所述视频的视频单元的多重假设信息，所述视频单元是经多重假设编解码的视频单元；
将所述多重假设信息***基于历史的运动候选表中；以及
根据所述基于历史的运动候选表生成所述视频单元的比特流。
103.一种用于存储视频的比特流的方法，包括：
确定所述视频的视频单元的多重假设信息，所述视频单元是经多重假设编解码的视频单元；
将所述多重假设信息***基于历史的运动候选表中；
根据所述基于历史的运动候选表生成所述视频单元的比特流；以及
将所述比特流存储在非暂态计算机可读记录介质中。
CN202280059730.1A 2021-09-03 2022-09-02 用于视频处理的方法、设备和介质 Pending CN118251885A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2021/116471 2021-09-03
CN2021116471 2021-09-03
PCT/CN2022/116861 WO2023030504A1 (en) 2021-09-03 2022-09-02 Method, device, and medium for video processing

Publications (1)

Publication Number Publication Date
CN118251885A true CN118251885A (zh) 2024-06-25

Family

ID=85411963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280059730.1A Pending CN118251885A (zh) 2021-09-03 2022-09-02 用于视频处理的方法、设备和介质

Country Status (3)

Country Link
US (1) US20240205390A1 (zh)
CN (1) CN118251885A (zh)
WO (1) WO2023030504A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090094595A (ko) * 2008-03-03 2009-09-08 삼성전자주식회사 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치
WO2020065520A2 (en) * 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Extended merge prediction
CN117336483A (zh) * 2018-08-28 2024-01-02 华为技术有限公司 编码方法、解码方法以及编码装置、解码装置
WO2020073920A1 (en) * 2018-10-10 2020-04-16 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
CN112970253B (zh) * 2018-11-13 2024-05-07 北京字节跳动网络技术有限公司 用于预测的运动候选列表构建
US11184633B2 (en) * 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction

Also Published As

Publication number Publication date
US20240205390A1 (en) 2024-06-20
WO2023030504A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
US20240129518A1 (en) Method, device, and medium for video processing
CN117957837A (zh) 用于视频处理的方法、装置和介质
CN117529919A (zh) 用于视频处理的方法、设备和介质
CN117356097A (zh) 用于视频处理的方法、设备和介质
US20240223778A1 (en) Method, device, and medium for video processing
CN118251885A (zh) 用于视频处理的方法、设备和介质
WO2022262694A1 (en) Method, device, and medium for video processing
WO2023280282A1 (en) Method, apparatus, and medium for video processing
US20240121383A1 (en) Method, device, and medium for video processing
WO2022262693A1 (en) Method, device, and medium for video processing
US20240163459A1 (en) Method, apparatus, and medium for video processing
WO2024146432A1 (en) Method, apparatus, and medium for video processing
WO2022262689A1 (en) Method, device, and medium for video processing
WO2024099334A1 (en) Method, apparatus, and medium for video processing
WO2023072216A1 (en) Method, apparatus, and medium for video processing
WO2024002185A1 (en) Method, apparatus, and medium for video processing
WO2023051624A1 (en) Method, apparatus, and medium for video processing
US20240195952A1 (en) Method, apparatus, and medium for video processing
CN118339834A (zh) 视频处理方法、设备和介质
CN118077194A (zh) 用于视频处理的方法、装置和介质
CN117769836A (zh) 用于视频处理的方法、设备和介质
WO2024030926A9 (en) Method, apparatus, and medium for video processing
CN118140475A (zh) 视频处理方法、设备和介质
CN118285098A (zh) 用于视频处理的方法、装置和介质
CN117581539A (zh) Gpm运动细化

Legal Events

Date Code Title Description
PB01 Publication