CN117769836A - 用于视频处理的方法、设备和介质 - Google Patents

用于视频处理的方法、设备和介质 Download PDF

Info

Publication number
CN117769836A
CN117769836A CN202280046059.7A CN202280046059A CN117769836A CN 117769836 A CN117769836 A CN 117769836A CN 202280046059 A CN202280046059 A CN 202280046059A CN 117769836 A CN117769836 A CN 117769836A
Authority
CN
China
Prior art keywords
prediction
intra
current video
codec
video block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280046059.7A
Other languages
English (en)
Inventor
王洋
张莉
张凯
邓智玭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN117769836A publication Critical patent/CN117769836A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开的实施例提供了一种用于视频处理的方法。该方法包括：在视频的当前视频块与视频的码流之间的转换期间，基于当前视频块的邻近重建样本，确定针对当前视频块的至少一个目标帧内预测模式；基于帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合，确定当前视频块的预测或重建，候选编解码工具被用于利用与当前视频块相关联的当前图片中的样本来确定针对当前视频块的参考块；以及基于当前视频的预测或重建执行转换。与常规解决方案相比，提出的该方法可以有利地提高编解码效率和编解码质量。

Description

用于视频处理的方法、设备和介质
技术领域
本公开的实施例总体上涉及视频编解码技术，并且更具体地，涉及帧间编解码工具或其它编解码工具与导出的帧内模式的组合。
背景技术
如今，数字视频功能正被应用于人们生活的各个方面。已经针对视频编码/解码，已经提出了多种类型的视频压缩技术，诸如MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频编解码(AVC)、ITU-T H.265高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准。然而，传统视频编解码技术的编解码效率通常有望进一步提高。
发明内容
在第一方面，提出了一种用于视频处理的方法。该方法包括：在视频的当前视频块与视频的码流之间的转换期间，基于当前视频块的邻近重建样本，确定针对当前视频块的至少一个目标帧内预测模式；基于帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合，确定当前视频块的预测或重建，候选编解码工具被用于利用与当前视频块相关联的当前图片中的样本来确定针对当前视频块的参考块；以及基于当前视频的预测或重建，执行转换。
根据本公开的第一方面的方法，将使用先前经编解码的块或样本导出的帧内预测模式与其他编解码工具相结合。由此，所提出的方法可以有利地提高编解码效率和编解码质量。
在第二方面，提出了一种用于处理视频数据的装置。该用于处理视频数据的装置包括处理器和在其上具有指令的非暂态存储器，其中指令在由处理器执行时使处理器执行根据本公开的第一方面的方法。
在第三方面，提出了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储使处理器执行根据本公开第一方面的方法的指令。
在第四方面，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由视频处理装置执行的方法生成的码流，其中方法包括：基于针对视频的当前视频块的邻近重建样本，确定当前视频块的至少一个目标帧内预测模式；基于帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合，确定当前视频块的预测或重建，候选编解码工具被用于利用与当前视频块相关联的当前图片中的样本来确定针对当前视频块的参考块；基于当前视频的预测或重建生成码流。
在第五方面，提出了一种用于存储视频的码流的方法。该方法包括：基于针对视频的当前视频块的邻近重建样本，确定当前视频块的至少一个目标帧内预测模式；基于帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合，确定当前视频块的预测或重建，候选编解码工具被用于利用与当前视频块相关联的当前图片中的样本来确定针对当前视频块的参考块；基于当前视频的预测或重建生成码流；以及将码流存储在非暂态计算机可读记录介质中。
提供本发明内容是为了以简化的形式介绍以下在具体实施例中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。
附图说明
通过参考附图的以下详细描述，本公开的示例实施例的上述和其他目的、特征和优点将变得更加明显。在本公开的示例实施例中，相同的附图标记通常指代相同的组件。
图1示出了根据本公开的一些实施例的示例视频编解码***的框图；
图2示出了根据本公开的一些实施例的示例视频编码器的框图；
图3示出了根据本公开的一些实施例的示例视频解码器的框图；
图4示出了示例编码器框图；
图5示出了帧内预测模式的示意图；
图6示出了用于广角帧内预测的参考样本的示意图；
图7示出了在方向超过45°的情况下的不连续性问题的示意图；
图8示出了被用于导出α和β的样本的位置的示意图；
图9A示出了应用于对角和相邻角帧内模式的对角右上模式的PDPC所使用的样本的定义的示意图；
图9B示出了应用于对角和相邻角帧内模式的对角左下模式的PDPC所使用的样本的定义的示意图；
图9C示出了应用于对角和相邻角帧内模式的相邻对角右上模式的PDPC所使用的样本的定义的示意图；
图9D示出了应用于对角和相邻角帧内模式的相邻对角左下模式的PDPC所使用的样本的定义的示意图；
图10示出了用于非垂直/非水平模式的梯度方法的示意图；
图11示出了与nTbH和模式数目相关的nScale值的示意图；
图12示出了传统PDPC和所提出的PDPC的流程图；
图13示出了用于导出通用MPM列表的邻近块的示意图；
图14示出了关于所提出的帧内参考映射的示例的示意图；
图15示出了邻近预测块的四个参考行的示例的示意图；
图16A示出了取决于块大小的子划分过程的示意图；
图16B示出了取决于块大小的子划分过程的示意图；
图17示出了矩阵加权帧内预测过程的示意图；
图18示出了DIMD中使用的模板的目标样本、模板样本和参考样本；
图19示出了对其执行梯度分析的一组选定像素的示意图；
图20出了3×3Sobel梯度滤波器与模板的卷积的示意图；
图21示出了所提出的帧内块解码过程的示意图；
图22示出了从宽度为3个像素的模板进行HoG计算的示意图；
图23示出了通过两个HoG模式和平面的加权平均的预测融合的示意图；
图24示出了在CIIP权重导出中被使用的顶部和左侧邻近块的示意图；
图25示出了按相同角度分组的GPM分割的示例的示意图；
图26示出了用于几何划分模式的单向预测MV选择的示意图；
图27示出了使用几何划分模式的弯曲权重w_0的示例性生成的示意图；
图28示出了传统角度IPM和扩展角度IPM的示意图；
图29示出了根据本公开的一些实施例的用于视频处理的方法的流程图；以及
图30示出了其中可以实现本公开的各种实施例的计算设备的框图。
在附图中，相同或相似的附图标记通常指代相同或相似元素。
具体实施方式
现在将参考一些实施例来描述本公开的原理。应当理解的是，描述这些实施例仅出于说明并且帮助本领域技术人员理解和实施本公开的目的，而不暗示对本公开的范围的任何限制。除了下文所述的方式之外，本文所描述的公开内容还可以以各种方式实施。
在以下描述和权利要求中，除非另有定义，否则在本文中使用的所有科学术语和技术术语具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。
本公开中提及的“一个实施例”、“实施例”、“示例实施例”等指示所描述的实施例可以包括特定的特征、结构或特性，但是并非每个实施例都必须包括该特定的特征、结构或特性。此外，这些短语不一定指同一实施例。此外，当结合示例实施例描述特定的特征、结构或特性时，无论是否明确描述，认为影响与其他实施例相关的这种特征、结构或特性在本领域技术人员的知识范围内。
应当理解的是，尽管术语“第一”和“第二”等可以用于描述各种元素，但这些元素不应受限于这些术语。这些术语仅用于区分一个元素与另一个元素。例如，第一元素可以被称为第二元素，类似地，第二元素可以被称为第一元素，而不脱离示例实施例的范围。如本文中所使用的，术语“和/或”包括一个或多个所列术语的任何和所有组合。
本文中所使用的术语仅用于描述特定实施例的目的，并不旨在限制示例实施例。如本文中所用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确指示。还应理解，术语“包括”、“包含”和/或“具有”在本文中使用时表示存在所述特征、元素和/或组件等，但不排除一个或多个其他特征、元素、组件和/或其组合的存在或添加。
示例环境
图1是图示可以利用本公开的技术的示例视频编解码***100的框图。如所示出的，视频编解码***100可以包括源设备110和目的设备120。源设备110也可以称为视频编码设备，并且目的设备120也可以称为视频解码设备。在操作中，源设备110可以被配置为生成经编码的视频数据，并且目的设备120可以被配置为对由源设备110生成的经编码的视频数据进行解码。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备之类的源。视频捕获设备的示例包括但不限于从视频内容提供商接收视频数据的接口、用于生成视频数据的计算机图形***和/或其组合。
视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成码流。码流可以包括形成视频数据的编码表示的位序列。码流可以包括编码图片和相关联的数据。编码图片是图片的编码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器和/或发送器。经编码的视频数据可以通过网络130A经由I/O接口116直接传输至目的设备120。经编码的视频数据也可以存储在存储介质/服务器130B上，以供目的设备120访问。
目的设备120可以包括I/O接口126、视频解码器124和显示设备122。I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130B获取经编码的视频数据。视频解码器124可以对经编码的视频数据进行解码。显示设备122可以向用户显示经解码的视频数据。显示设备122可以与目的设备120集成，或者可以在目的设备120的外部，该目的设备120被配置为与外部显示设备接口连接。
视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他现有和/或将来的标准。
图2是示出根据本公开的一些实施例的视频编码器200的示例的方框图，视频编码器200可以是图1所示的***100中的视频编码器114的示例。
视频编码器200可以被配置为实现本公开的任何或所有技术。在图2的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在一些实施例中，视频编码器200可以包括划分单元201、预测单元202、残差生成单元207、变换单元208、量化单元209、反量化单元210、反变换单元211、重建单元212、缓冲213和熵编码单元214，该预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206。
在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式中执行预测，其中至少一个参考图片是当前视频块所位于的图片。
此外，尽管一些组件(诸如运动估计单元204和运动补偿单元205)可以被集成，但是为了解释的目的，这些组件在图2的示例中被分离地示出。
划分单元201可以将图片划分成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。
模式选择单元203可以例如基于误差结果来选择多种编码模式(帧内编码或帧间编码)中的一种编码模式，并且将所产生的帧内编解码块或帧间编解码块提供给残差生成单元207以生成残差块数据，并且提供给重建单元212以重建编解码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择针对运动矢量的分辨率(例如，亚像素精度或整数像素精度)。
为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲213的一个或多个参考帧与当前视频块进行比较来生成针对当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲213的除了与当前视频块相关联的图片之外的图片的经解码样本，来确定针对当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。如本文中使用的，“I条带”可以是指由宏块构成的图片的一部分，所有宏块均基于同一图片内的宏块。此外，如本文中使用的，在一些方面中，“P条带”和“B条带”可以是指由独立于同一图片中的宏块的宏块构成的图片的部分。
在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以搜索列表0或列表1的参考图片，以寻找针对当前视频块的参考视频块。运动估计单元204然后可以生成参考索引和运动矢量，该参考索引指示列表0或列表1中的包含参考视频块的参考图片，并且该运动矢量指示当前视频块与参考视频块之间的空间位移。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
备选地，在其他示例中，运动估计单元204可以对当前视频块执行双向预测。运动估计单元204可以搜索列表0中的参考图片以寻找针对当前视频块的参考视频块，并且还可以搜索列表1中的参考图片以寻找针对当前视频块的另一参考视频块。运动估计单元204然后可以生成多个参考索引和多个运动矢量，该多个参考索引指示列表0和列表1中的包含多个参考视频块的多个参考图片，并且该多个运动矢量指示在多个参考视频块与当前视频块之间的多个空间位移。运动估计单元204可以输出当前视频块的多个参考索引和多个运动矢量以作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的多个参考视频块来生成针对当前视频块的预测视频块。
在一些示例中，运动估计单元204可以输出完整的运动信息集，以用于解码器的解码处理。备选地，在一些实施例中，运动估计单元204可以参考另一视频块的运动信息来通过信号传输当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中向视频解码器300指示一值，该值指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示在当前视频块的运动矢量与所指示的视频块的运动矢量之间的差异。视频解码器300可以使用所指示的视频块的运动矢量以及运动矢量差来确定当前视频块的运动矢量。
如上所讨论的，视频编码器200可以以预测性的方式通过信号传输运动矢量。可以由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中其他视频块的经解码样本来生成针对当前视频块的预测数据。针对当前视频块的预测数据可以包括预测视频块和各个语法元素。
残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成针对当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样本的不同样本部分的残差视频块。
在其他示例中，例如在跳过模式中，针对当前视频块可以不存在针对当前视频块的残差数据，并且残差生成单元207可以不执行减去操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块，来生成针对当前视频块的一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
反量化单元210和反变换单元211可以分别对变换系数视频块应用反量化和反变换，以从变换系数视频块重建残差视频块。重建单元212可以将经重建的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样本，以产生与当前视频块相关联的重建视频块，以供存储在缓冲213中。
在重建单元212重建视频块之后，可以执行环路滤波操作以减少视频块中的视频块效应伪像。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以执行一个或多个熵编码操作，以生成熵编码数据并且输出包括该熵编码数据的码流。
图3是示出根据本公开的一些实施例的视频解码器300的示例的方框图，视频解码器300可以是图1所示的***100中的视频解码器124的示例。
视频解码器300可以被配置为执行本公开的任何或所有技术。在图3的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在图3的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、反量化单元304、反变换单元305、以及重建单元306和缓冲307。在一些示例中，视频解码器300可以执行通常与关于视频编码器200所描述的编码过程相对的解码过程。
熵解码单元301可以取回经编码的码流。经编码的码流可以包括经熵编码的视频数据(例如，经编码的视频数据块)。熵解码单元301可以对经熵编码的视频数据进行解码，并且运动补偿单元302可以从经熵解码的视频数据中确定运动信息，该运动信息包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息。运动补偿单元302可以例如通过执行AMVP和合并模式来确定该信息。AMVP被使用，包括基于邻近PB的数据和参考图片得出数个最可能的候选项。运动信息通常包括水平和竖直运动矢量位移值、一个或两个参考图片索引，并且在B条带中的预测区域的情况下，还包括哪个参考图片列表与每个索引相关联的标识。如本文所使用的，在一些方面中，“合并模式”可以是指从空间或时间上邻近的块中导出运动信息。
运动补偿单元302可以产生运动补偿块，可能地基于插值滤波器来执行内插。针对以亚像素精度被使用的插值滤波器的标识符可以被包括在语法元素中。
运动补偿单元302可以使用由视频编码器200在视频块的编码期间使用的插值滤波器来计算用于参考块的亚整数像素的内插值。运动补偿单元302可以根据接收到的语法信息来确定由视频编码器200使用的插值滤波器，并且运动补偿单元302可以使用插值滤波器来产生预测块。
运动补偿单元302可以使用至少部分语法信息来确定用于编码经编码视频序列的(多个)帧和/或(多个)条带的块的大小、描述经编码视频序列的图片的每个宏块如何被划分的划分信息、指示每个划分如何被编码的模式、针对每个帧间编解码块的一个或多个参考帧(和参考帧列表)、以及对经编码视频序列进行解码的其他信息。如本文中所使用的，在一些方面，“条带”可以是指在熵编码、信号预测和残差信号重建方面可以独立于同一图片的其他条带而被解码的数据结构。条带可以是整个图片，或者也可以是图片的区域。
帧内预测单元303可以使用例如在码流中接收的帧内预测模式，以从空间邻近块形成预测块。反量化单元304反量化(即，去量化)在码流中提供的、并且由熵解码单元301解码的量化视频块系数。反变换单元305应用反变换。
重建单元306可以例如通过将残差块与由运动补偿单元302或帧内预测单元303生成的相应预测块相加来获得经解码的块。如果需要的话，还可以应用去块效应滤波器以对经解码的块进行滤波，以便去除块效应伪像。经解码的视频块随后被存储在缓冲307中，缓冲307为后续运动补偿/帧内预测提供参考块，并且缓冲307还产生经解码的视频以供在显示设备上呈现。
下文将详细描述本公开的一些示例性实施例。应当注意，在本文件中使用章节标题是为了便于理解，而不是将章节中公开的实施例仅限于该章节。此外，尽管参考通用视频编解码或其他特定视频编解码器描述了一些实施例，但是所公开的技术也适用于其他视频编解码技术。此外，尽管一些实施例详细描述了视频编码步骤，但是应当理解的是取消编码的相应解码步骤将由解码器实现。此外，术语视频处理包括视频编码或压缩、视频解码或解压缩以及视频转码，在该视频转码中视频像素被从一种压缩格式表示为另一种压缩格式或以不同的压缩码率表示。
1.概述
本公开涉及视频编解码技术。具体地，本公开涉及使用先前解码的块来导出帧内预测模式的编解码工具，以及图片/视频编解码中的最可能模式(MPM)列表构造，导出的帧内预测模式和帧间编解码工具之间的交互，以及其他编解码工具。它可以应用于现有的视频编解码标准，如HEVC或通用视频编解码(VVC)。它也可以适用于未来的视频编解码标准或视频编解码器。
2.背景
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展而发展起来。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视觉(Visual)，这两个组织联合制作了H.264/MPEG-2视频和H.264/MMPEG-4高级视频编解码(AVC)以及H.264/HEVC标准。自从H.262，视频编解码标准基于混合视频编解码结构，其中利用了时间预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。此后，JVET采用了许多新方法，并将其放入名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)被创建，以致力于VVC标准，其目标是与HEVC相比降低50％比特率。
最新版本的VVC草案，即通用视频编解码(草案10)可在以下网址找到：
http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/20_Teleconference/wg11/JV ET-T2001-v1.zip。
VVC最新的参考软件名为VTM，可在以下网址找到：
https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/-/tags/VTM-11.0。
2.1.典型视频编解码器的编解码流程
图4显示VVC编码器框图的一个例子，该例子包含三个环内(in-loop)滤波块：去块滤波器(DF)、样本自适应偏移(SAO)和ALF。与使用预定义滤波器的DF不同，SAO和ALF利用当前图片的原始样本，分别通过添加偏移量和通过应用有限冲激响应(FIR)滤波器来减少原始样本和重构样本之间的均方误差，其中编码侧信息通过信号通知偏移和滤波器系数。ALF位于每个图片的最后处理阶段，并且可以被视为一种尝试获取和修复先前阶段所产生的伪影的工具。
2.2.具有67个帧内预测模式的帧内模式编解码
为了捕捉自然视频中呈现的任意边缘方向，定向帧内模式的数量从HEVC中使用的33个扩展到65个，如图5所示，平面模式和DC模式保持不变。图5示出了帧内预测模式的示意图。这些密集的定向帧内预测模式适用于所有块大小并且适用于亮度帧内预测和色度帧内预测二者。
在HEVC中，每个帧内编解码块都具有正方形形状，并且其每条边的长度是2的幂。因此，不需要除法运算来使用DC模式生成帧内预测器。在VVC中，块可以具有矩形形状，这在一般情况下需要使用每个块的除法运算。为了避免针对DC预测的除法运算，仅使用较长边来计算非正方形块的平均值。
·广角帧内预测
尽管在VVC中定义了67个模式，但是用于给定帧内预测模式索引的精确预测方向进一步取决于块形状。传统的角度帧内预测方向定义为沿顺时针方向从45度到-135度。在VVC中，几种传统的角度帧内预测模式被自适应地替换为非正方形块的广角帧内预测模式。使用原始模式索引来通知被替换的模式，原始模式索引在解析后被重新映射到广角模式的索引。帧内预测模式的总数不变，即67，并且帧内模式编解码方法不变。
为了支持这些预测方向，定义了长度为2W+1的顶部参考和长度为2H+1的左侧参考，如图6所示。图6示出了用于广角帧内预测的参考样本的示意图。
广角方向模式中被替换的模式的数目取决于块的纵横比。被替代的帧内预测模式如表2-1所示。
表2-1被广角模式替代的帧内预测模式
图7示出了在方向超过45°的情况下的不连续性问题的示意图。如图7所示，在广角帧内预测的情况下，两个垂直的邻近预测样本可以使用两个不邻近的参考样本。因此，将低通参考样本滤波器和侧平滑应用于广角预测，以减少所增加的间隙Δpα带来的负面影响。如果广角模式代表非分数偏移。广角模式中有8种模式满足这一条件，它们是[-14，-12，-10，-6，72，76，78，80]。当通过这些模式预测块时，直接复制参考缓冲区中的样本，而不应用任何插值。通过这种修改，需要进行平滑处理的样本数量减少了。此外，它将对齐传统预测模式和广角模式中的非分数模式的设计。
在VVC中，支持4:2:2和4:4:4色度格式以及4:2:0色度格式。4:2:2色度格式的色度导出模式(DM)导出表最初从HEVC移植，将条目的数量从35扩展到67，以与帧内预测模式的扩展对齐。由于HEVC规范不支持低于-135度和超过45度的预测角度，因此范围从2到5的亮度帧内预测模式被映射到2。因此，通过替换映射表的条目的一些值来更新4:2:2:色度格式的色度DM导出表，以更精确地转换色度块的预测角度。
2.3.帧间预测
对于每个帧间预测CU，运动参数包括运动矢量、参考图片索引和参考图片列表使用索引、以及将被用于帧间预测样本生成的VVC的新编码特征所需的附加信息。可以以显式或隐式的方式用信号通知运动参数。在以跳跃模式对CU进行编码时，该CU与一个PU相关联，并且不具有显著的残差系数，不具有编码的运动矢量差异(delta)或参考图片索引。指定一种合并(merge)模式，其中从邻近CU获得当前CU的运动参数，包括空间候选和时间候选，以及VVC中引入的附加调度。合并模式可以被应用于任何帧间预测CU，而不仅仅适用于跳过模式。合并模式的替代方案是运动参数的显式传输，其中运动矢量、每个参考图片列表的对应参考图片索引和参考图片列表使用标志以及其他所需信息按每个CU显式地以信号通知。
2.4.帧内块复制(IBC)
帧内块复制(IBC)是SCC上HEVC扩展中采用的一种工具。众所周知，它显著提高了屏幕内容材料的编码效率。由于IBC模式被实现为块级编码模式，因此在编码器处执行块匹配(BM)，以找到每个CU的最佳块矢量(或运动矢量)。这里，块矢量用于指示从当前块到参考块的位移，该参考块已经在当前图片内重建。IBC编码的CU的亮度块矢量具有整数精度。色度块矢量也舍入到整数精度。当与AMVR结合使用时，IBC模式可以在1像素和4像素运动矢量精度之间切换。IBC编码的CU被视为除了帧内或帧间预测模式之外的第三预测模式。IBC模式适用于宽度和高度均小于或等于64个亮度样本的CU。
在编码器侧，对IBC执行基于哈希的运动估计。编码器对宽度或高度不大于16个亮度样本的块执行RD检查。对于非合并模式，首先使用基于哈希的搜索来执行块矢量搜索。如果哈希搜索没有返回有效的候选，则将执行基于块匹配的本地搜索。
在基于哈希的搜索中，当前块和参考块之间的哈希键匹配(32位CRC)被扩展到所有允许的块大小。当前图片中每个位置的哈希键计算基于4×4个子块。对于大小较大的当前块，在所有4×4个子块的所有哈希键与对应参考位置中的哈希键匹配时，确定哈希键与参考块的哈希键相匹配。如果发现多个参考块的哈希键与当前块的哈希密钥匹配，则计算每个匹配的参考的块向量成本，并选择具有最小成本的一个。
在块匹配搜索中，搜索范围被设置为覆盖先前CTU和当前CTU。
在CU级别，IBC模式通过一个标志发信号，它可以被以信号通知为IBC AMVP模式或IBC跳过/合并模式，如下所示：
–IBC跳过/合并模式：合并候选索引用于指示来自邻近候选IBC编解码块的列表中的哪个块矢量被用于预测当前块。合并列表包括空间候选、HMVP候选和成对候选。
–IBC AMVP模式：块矢量差以与运动矢量差相同的方式进行编解码。块矢量预测方法使用两个候选作为预测器，一个来自左邻近，一个从上邻近(如果是IBC编解码)。当任一邻近不可用时，将使用默认块向量作为预测器。以信号通知一个标志，以指示块向量预测器索引。
2.5.跨分量线性模型预测
为了降低跨分量冗余性，在VVC中使用跨分量线性模型(CCLM)预测模式，对于该CCLM预测模式，通过使用如下线性模型来基于相同CU的重构亮度样本来预测色度样本：
predC(i,j)＝α·recL′(i,j)+ β (2-1)
其中predC(i,j)表示CU中的预测色度样本，并且recL′(i,j)表示相同CU的下采样重构亮度样本。
CCLM参数(α和β)是用最多四个邻近色度样本及其对应的下采样亮度样本导出的。假设当前色度块尺寸为W×H，则W’和H’被设置为
-当应用LM模式时，W'＝W，H'＝H；
-当采用LM-T模式时，W’＝W+H；
-当应用LM-L模式时，H’＝H+W。
上方邻近位置被表示为S[0，-1]…S[W'-1，-1]，并且左侧邻近位置被表示为S[-1，0]…S[-1，H'-1]。然后，四个样本被选择为：
-在应用LM模式并且上方邻近样本和左侧邻近样本都可用时，S[W’/4,-1],S[3*W’/4,-1],S[-1,H’/4],S[-1,3*H’/4]；
-在应用LM-T模式或者只有上方邻近样本可用时，S[W’/8,-1],S[3*W’/8,-1],S[5*W’/8,-1],S[7*W’/8,-1]；
-在应用LM-L模式或者只有左侧邻近样本可用时，S[-1,H’/8],S[-1,3*H’/8],S[-1,5*H’/8],S[-1,7*H’/8]。
对所选位置处的四个邻近亮度样本进行下采样并比较四次，以找到两个较大的值：x0 A和x1 A，以及两个较小的值：x0 B和x1 B。它们对应的色度样本值表示为y0A、y1A、y0B和y1B。则xA、xB、yA和yB导出为：
Xa＝(x0 A+x1 A+1)>>1；Xb＝(x0 B+x1 B+1)>>1；Ya＝(y0 A+y1 A+1)>>1；Yb＝(y0 B+y1 B+1)>>1(2-2)
最后，根据下式获得线性模型的参数α和β。
β＝Yb-α·Xb (2-4)
图8示出了左侧样本和上方样本的位置示例以及CCLM模式中涉及的当前块的样本。图8示出了用于导出α和β的样本的位置的示意图。
利用查找表来实现除法运算以计算参数α。为了减少用于存储表所需的存储器，diff值(最大值和最小值之间的差)和参数α以指数表示。例如，diff是以4位有效部分和指数来近似的。因此，用于1/diff的表被缩减为针对有效位的16个值的16个元素，如下所示：
DivTable[]＝{0，7，6，5，5，4，4，3，3，2，2，1，1，1，1，0}
(2-5)
这将有利于降低计算的复杂度以及用于存储所需表所需的存储器大小。
除了上方模板和左侧模板可以一起用于计算线性模型系数之外，它们也可以交替地用于其他两种LM模式，称为LM_T和LM_L模式。
在LM_T模式中，仅使用上方模板来计算线性模型系数。为了获得更多的样本，上方模板被扩展到(W+H)个样本。在LM_L模式下，只使用左侧模板来计算线性模型系数。为了获得更多样本，将左侧模板扩展到(H+W)个样本。
在LM模式中，左侧模板和上方模板用于计算线性模型系数。
为了匹配用于4:2:0视频序列的色度采样位置，将两种类型的下采样滤波器应用于亮度样本，以在水平和垂直方向上实现2比1的下采样率。下采样滤波器的选择由SPS级别标志指定。两个下采样滤波器如下，分别对应“类型0(type-0)”和“类型2(type-2)”内容。
注意，当上部的参考线处于CTU边界时，仅使用一个亮度行线(帧内预测中的通用行缓冲)来进行下采样的亮度采样。
此参数计算是作为解码过程的一部分执行的，而不仅仅是作为编码器搜索操作。因此，不使用语法来将α和β值传递给解码器。
对于色度帧内模式编码，总共允许8个帧内模式用于色度帧内方式编码。这些模式包括五种传统的帧内模式和三种跨分量线性模型模式(LM、LM_T和LM_L)。色度模式信令和导出过程如表2-2所示。色度模式编码直接取决于对应亮度块的帧内预测模式。由于在I条带中启用了用于亮度和色度分量的单独块划分结构，因此一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承覆盖当前色度块的中心位置的对应亮度块的帧内预测模式。
表2-2在CCLM启用时从亮度模式导出色度预测模式
不管sps_cclm_enabled_flag的值如何，都使用单个二值化表，如表2-3所示。
表2-3用于色度预测模式的统一二值化表
intra_chroma_pred_mode的值 二进制值字符串
4 00
0 0100
1 0101
2 0110
3 0111
5 10
6 110
7 111
在表2-3中，第一个二进制值指示它是常规模式(0)还是LM模式(1)。如果是LM模式，则下一个二进制值指示它是否是LM_CHROMA(0)。如果它不是LM_CHROMA，则下一个1二进制值指示它是LM_L(0)还是LM_T(1)。对于这种情况，当sps_cclm_enabled_flag为0时，可以在熵编解码之前丢弃对应的intra_chroma_pred_mode的二值化表的第一个二进制值。或者，换言之，第一二进制值被推断为0，因此不被编解码。该单个二值化表用于sps_cclm_enabled_flag等于0和1的两种情况。表2-3中的前两个二进制值用自己的上下文模型进行上下文编解码，其余二进制值进行旁路编解码。
此外，为了减少双树中的亮度-色度延迟，当64×64亮度编码树节点用Not Split(并且ISP不用于64×64CU)或QT进行划分时，32×32/32×16色度编码树节点中的色度CU被允许以以下方式使用CCLM：
–如果32×32色度节点未拆分或分割QT拆分，则32×32节点中的所有色度CU都可以使用CCLM
–如果32×32色度节点是用水平BT分割的，而32×16子节点不分割或使用垂直BT分割，则32×16色度节点中的所有色度CU都可以使用CCLM。
在所有其他亮度和色度编码树分割条件下，对于色度CU不允许CCLM。
2.6.位置相关帧内预测组合
在VVC中，通过位置相关帧内预测组合(PDPC)方法进一步修改DC、平面和几个角模式的帧内预测结果。PDPC是一种帧内预测方法，它调用边界参考样本和具有滤波边界参考样本的HEVC式的帧内预测的组合。PDPC应用于以下帧内模式，无需发出信号：平面、DC、小于或等于水平的帧内角，以及大于或等于垂直且小于或等于80的帧内角。如果当前块是BDPCM模式或MRL索引大于0，则不应用PDPC。
根据如下等式2-8，预测样本pred(x’，y’)是使用帧内预测模式(DC，平面，角)和参考样本的线性组合来预测的：
pred(x’，y’)＝Clip(0，(1＜＜BitDepth)-1，(wL×R-1，y’+wT×Rx’，-1+(64-wL-wT)×pred(x’，y’)+32)＞＞6)
(2-8)
其Rx，-1，R-1，y分别表示位于当前样本(x，y)顶部和左侧边界的参考样本。
如果PDPC应用于DC、平面、水平和垂直帧内模式，则不需要额外的边界滤波，如HEVC DC模式边界滤波或水平/垂直模式边缘滤波的情况所需。DC模式和平面模式的PDPC过程是相同的。对于角模式，如果当前角模式为HOR_IDX或VER_IDX，则分别不使用左侧或顶部参考采样。PDPC权重和比例因子取决于预测模式和块大小。PDPC应用于宽度和高度均大于或等于4的块。
图9A至图9D示出了在各种预测模式下应用的PDPC的参考样本(Rx，-1和R-1，y)的定义。图9A示出了应用于对角和相邻角帧内模式的对角右上模式的PDPC所使用的样本的定义的示意图。图9B示出了应用于对角和相邻角帧内模式的对角左下模式的PDPC所使用的样本的定义的示意图。图9C示出了应用于对角和相邻角帧内模式的相邻对角右上模式的PDPC所使用的样本的定义的示意图。图9D示出了应用于对角和相邻角帧内模式的相邻对角左下模式的PDPC所使用的样本的定义的示意图。预测样本pred(x’,y’)位于预测块内的(x’,y’)处。例如，参考样本Rx,-1的坐标x由：x＝x’+y’+1给出，参考样本R-1,y，y的坐标y类似地由：y＝x’+y’+1给出。对于其他角模式，参考样本Rx,-1和R-1,y可以位于分数样本位置。在这种情况下，将使用最近整数采样位置的采样值。
2.7.梯度PDPC
如图10所示，基于梯度的方法扩展到非垂直/非水平模式。图10示出了用于非垂直/非水平模式的梯度方法的示意图。这里，梯度计算为r(-1,y)–r(-1+d,-1)，其中d是取决于角方向的水平位移。这里需要注意的几点：
梯度项r(-1,y)–r(-1+d,-1)需要每行计算一次，因为它不取决于x位置。
d的计算已经是可以重用的原始帧内预测过程的一部分，因此不需要单独计算d。因此，d的精度为1/32像素。
当d处于分数位置时，双抽头(线性)滤波被使用，即，如果dPos是1/32像素精度的位移，dInt是(向下取整)整数部分(dPos>>5)，dFract是1/32像素精度的分数部分(dPos&31)，则r(-1+d)计算为：
r(-1+d)＝(32–dFrac)*r(-1+dInt)+dFrac*r(-1+dInt+1)
如在a中所述，这个2抽头滤波每行被执行一次(如果需要)。
最后，计算预测信号：
p(x,y)＝Clip(((64–wL(x))*p(x,y)+wL(x)*(r(-1,y)-r(-1+d,-1))+32)>>6)
其中wL(x)＝32>>((x<<1)>>nScale2)，并且nScale2＝(log2(nTbH)+log2(nTbW)–2)>>2，它们与垂直/水平模式相同。简而言之，与垂直/水平模式相比，应用了相同的过程(事实上，d＝0表示垂直/水平模式)。
其次，在非垂直/非水平模式下，当(nScale＜0)或由于辅参考样本不可用而无法应用PDPC时，基于梯度的方法被激活。在图11中显示了与TB大小和角模式有关的nScale的值，以更好地可视化使用梯度方法的情况。图11示出了与nTbH和模式数目有关的nScale值的示意图；对于梯度方法被使用的所有nScale＜0的情况。此外，图12示出了传统PDPC(左)和提出的PDPC(右)的流程图。
2.8.辅MPM
辅MPM列表被引入。现有的主MPM(PMPM)列表包括6个条目，而辅MPM(SMPM)列表包括16个条目。首先构建具有22个条目的通用MPM列表，然后将该通用MPM表中的前6个条目包括在PMPM列表中，其余条目形成SMPM列表。通用MPM列表中的第一个条目是平面模式。如图13所示，其余条目由左(L)、上(A)、左下(BL)、右上(AR)和左上(AL)邻近块的帧内模式组成，与邻近块的前两个可用方向模式有附加偏移的方向模式以及默认模式。图13示出了用于导出通用MPM列表的邻近块(L,A,BL,AR,AL)的示意图。
如果CU块是垂直定向的，则邻近块的顺序是A、L、BL、AR、AL；否则，它是L、A、BL、AR、AL。
首先解析PMPM标志，如果等于1，则解析PMPM索引以确定PMPM列表的哪个条目被选择，否则解析SPMPM标志以确定是解析SMPM索引还是解析其余模式。
2.9.6抽头帧内插值滤波器
为了提高预测精度，提出用6抽头插值滤波器代替4抽头三次插值滤波器，滤波器系数是基于相同的多项式回归模型导出的，但多项式阶数为6。
滤波器系数如下所示，
{0,0,256,0,0,0},//0/32位置
{0,-4,253,9,-2,0},//1/32位置
{1,-7,249,17,-4,0},//2/32位置
{1,-10,245,25,-6,1},//3/32位置
{1,-13,241,34,-8,1},//4/32位置
{2,-16,235,44,-10,1},//5/32位置
{2,-18,229,53,-12,2},//6/32位置
{2,-20,223,63,-14,2},//7/32位置
{2,-22,217,72,-15,2},//8/32位置
{3,-23,209,82,-17,2},//9/32位置
{3,-24,202,92,-19,2},//10/32位置
{3,-25,194,101,-20,3},//11/32位置
{3,-25,185,111,-21,3},//12/32位置
{3,-26,178,121,-23,3},//13/32位置
{3,-25,168,131,-24,3},//14/32位置
{3,-25,159,141,-25,3},//15/32位置
{3,-25,150,150,-25,3},//半像素位置
用于插值的参考样本来自重建样本或HEVC中的填充样本，因此不需要对参考样本可用性进行条件检查。
建议使用4抽头三次插值滤波器，而不是使用最近舍入操作来导出扩展的帧内参考样本。图14示出了关于所提出的帧内参考映射的示例的示意图。如图14中的示例所示，为了导出参考样本P的值，使用了四抽头插值滤波器，而在JEM-3.0或HM中，直接将P设置为X1。
2.10.多参考行(MRL)帧内预测
多参考行(MRL)帧内预测使用更多的参考行用于帧内预测。图15示出了邻近预测块的四个参考行的示例的示意图。在图15中，描绘了4条参考行的示例，其中段A和段F的样本不是从重建的邻近样本中提取的，而是分别用来自段B和段E的最接近的样本填充的。HEVC帧内图片预测使用最附近的参考行(即参考行0)。在MRL中，使用了2条附加行(参考行1和参考行3)。
所选参考行的索引(mrl_idx)被用信号发送并用于生成帧内预测。对于大于0的参考行索引，仅在MPM列表中包括额外的参考行模式，并且仅信号MPM索引而不包括剩余模式。在帧内预测模式之前用信号发送参考行索引，如果参考行索引非零，则帧内预测模式不包括平面模式。
对CTU内的块的第一行禁用MRL，以防止在当前CTU行外使用扩展的参考样本。此外，当使用附加行时，PDPC将被禁用。对于MRL模式，非零参考行索引的DC帧内预测模式中的DC值的导出与参考行索引0的导出对齐。MRL需要存储具有CTU的3条邻近亮度参考行来生成预测。跨分量线性模型(CCLM)工具的下采样滤波还需要3个邻近的亮度参考行。使用相同3行的MRL的定义与CCLM一致，以减少解码器的存储要求。
2.11.帧内子划分(ISP)
帧内子划分(ISP)根据块大小将亮度帧内预测块垂直或水平划分为2或4个子划分。例如，ISP的最小块大小为4×8(或8×4)。如果块大小大于4×8，则对应块将被划分为四个子划分。我们注意到，M×128(M≤64)和128×M(M≤64)ISP块可能会对64×64VDPU生成潜在问题。例如，单树情况下的M×128CU有一个M×128亮度TB和两个相应的色度TB。如果CU使用ISP，那么亮度TB将被分成4个M×32TB(只能水平分割)，每个TB都小于一个64×64块。然而，在目前的ISP设计中，色度块是不可分割的。因此，两个色度分量的大小都将大于一个32×32块。类似地，使用ISP的128×NCU也可以创建类似的情况。因此，这两种情况是64×64解码器流水线的问题。因此，可以使用ISP的CU大小被限制为最大值64×64。图16A和16B显示了两种可能性的示例。图16A示出了针对4×8和8×4CU的子划分过程的示意图1602。图16B示出了针对4×8，8×4和4×4以外的CU子划分的过程的示意图1604。所有子划分都满足具有至少16个样本的条件。
在ISP中，1×N/2×N子块预测允许依赖于编解码块的先前解码的1×N/2×N子块的重建值，使得子块的最小预测宽度变为四个样本。例如，一个8×N(N>4)的编解码块，在使用ISP垂直分割编解码时，会被分割成两个预测区域，每个预测区域的大小为4×N，四个变换的大小为2×N。同样，使用垂直分割ISP编解码的4×N编解码块，使用完整的4×N块进行预测；使用四个变换，每个变换的大小为1×N。尽管允许1×N和2×N的变换大小，但可以断言，这些块在4×N区域内的变换可以并行执行。例如，当4×N预测区域包含四个1×N变换时，在水平方向上没有变换；垂直方向上的变换可以作为垂直方向上单个4×N变换来执行。类似地，当4×N预测区域包含两个2×N变换块时，可以并行地进行两个2×N块在每个方向(水平和垂直)上的变换操作。因此，与处理4×4常规编解码的帧内块相比，在处理这些较小的块时不增加延迟。
表2-4熵编解码系数组大小
对于每个子划分，通过将残差信号与预测信号相加来获得重建样本。这里，通过诸如熵解码、逆量化和逆变换的处来生成残差信号。因此，每个子划分的重建样本值可用于生成下一个子划分的预测，并且每个子划分被重复处理。此外，要处理的第一个子划分是包含CU的左上样本，然后向下(水平分割)或向右(垂直分割)继续的子划分。因此，用于生成子划分预测信号的参考样本仅位于线的左侧和上方。所有子划分共享相同的帧内模式。以下是ISP与其他编解码工具的交互摘要。
–多参考行(MRL)：如果块的MRL索引不是0，则ISP编解码模式将被推断为0，因此ISP模式信息将不会发送到解码器。
–熵编解码系数组大小：如表2-4所示，熵编解码子块的大小已被修改，以便在所有可能的情况下都有16个样本。值得注意，新的大小仅影响ISP的其中一个尺寸小于4个样本的块。在所有其他情况下，系数组保持维度。
–CBF编解码：假设至少有一个子划分具有非零CBF。因此，如果n是子划分的数目，并且第一n-1子划分已经产生零CBF，则第n子划分的CBF被推断为1。
–变换大小限制：所有长度大于16点的ISP变换都使用DCT-II。
–MTS标志：如果CU使用ISP编解码模式，MTS CU标志将设置为0，并且不会发送到解码器。因此，编码器不会对每个结果子划分的不同可用变换执行RD测试。ISP模式的变换选择将改为固定的，并根据所使用的帧内模式、处理顺序和块大小进行选择。因此，不需要用信号发出。例如，设tH和tV和为分别为w×h子划分选择的水平变换和垂直变换，其中w为宽度，h为高度。然后根据以下规则选择变换：
–如果w＝1或h＝1，则分别不存在水平变换或垂直变换。
–如果w≥4且w≤16,tH＝DST-VII，否则tH＝DCT-II
–如果h≥4且h≤16,tV＝DST-VII，否则tV＝DCT-II
在ISP模式中，允许所有67个帧内预测模式。如果相应的宽度和高度至少为4个样本长，则也应用PDPC。此外，参考样本滤波过程(参考平滑)和帧内插值滤波选择的条件不再存在，并且在ISP模式下，三次(DCT-IF)滤波总是用于分数位置插值。
2.12.矩阵加权帧内预测(MIP)
矩阵加权帧内预测(MIP)方法是VVC中新加入的一种帧内预测技术。为了预测宽度W和高度H的矩形块的样本，矩阵加权帧内预测(MIP)取块左侧的一行H个重建的相邻边界样本和块上方的一行W个重建的相邻边缘样本作为输入。如果重建的样本不可用，则像在传统帧内预测中那样生成它们。如图17所示预测信号的生成基于以下三个步骤，即平均、矩阵矢量乘法和线性插值。图17示出了矩阵加权帧内预测过程的示意图。
·平均邻近样本
在边界样本中，通过基于块大小和形状进行平均来选择四个样本或八个样本。具体地，输入边界bdrytop和bdryleft会根据取决于块的大小的预定义的规则，通过对邻近边界样本进行平均，缩小为更小的和/>边界。然后，将两个缩小的边界和/>连接到缩小的边界矢量bdryred，因此，对于形状的块，缩小的边界矢量的大小为4×4，而对于所有其他形状的块来说，缩小的边缘矢量的大小是8。如果是指MIP模式，则此级联定义如下：
·矩阵乘法
将平均样本作为输入，执行矩阵矢量乘法，然后添加偏移。结果是原始块中的样本的子采样集上生成缩减预测信号。从缩减的输入矢量bdryred中生成缩减的预测信号predred,，该缩减的预测是宽度Wred和高度Hred的下采样块上的信号。此处，Wred和Hred定义为：
通过计算矩阵矢量乘积并添加偏移来计算缩减的预测信号predred：
predred＝A·bdryred+b (2-12)
这里，A是一个矩阵，如果W＝H＝4z则它有Wred·Hred行和4列，在所有其他情况下有8列。b是Wred·Hred大小的矢量。矩阵A和偏移矢量b取自S0，S1，S2.其中一个集合。索引idx＝idx(W,H)定义如下：
这里，矩阵A的每个系数以8比特的精度表示。集合S0由16个矩阵组成，每个矩阵具有16行4列，以及16个偏移矢量/>每个偏移矢量的大小为16。该集合的矩阵和偏移矢量用于大小为4×4的块。集合S1由8个矩阵/> 组成，每个矩阵具有行和8列，以及8个偏移矢量/> 每个偏移矢量大小为16。集合S2由6个矩阵/> 组成，每个矩阵具有64行和8列，以及6个偏移矢量/> 每个偏移矢量大小为64。
·插值
其余位置处的预测信号是通过线性插值从子采样集上的预测信号生成的，该线性插值是在每个方向上的单步线性插值。插值首先在水平方向上执行，然后在垂直方向上执行，与块的形状或块的大小无关。
·MIP模式的信令和与其他编解码工具的协调
对于帧内模式中的每个编解码单元(CU)，发送标志是否要应用MIP模式的标志。如果要应用MIP模式，则用信号发送MIP模式(predModeIntra)。对于MIP模式，转置标志(isTransposed)用于确定模式是否转置，MIP模式标识(modeId)用于确定给定MIP模式使用的矩阵，其导出过程如下：
isTransposed＝predModeIntra&1
modeId＝predModeIntra>>1 (2-14)
通过考虑以下方面，MIP编解码模式与其他编解码工具相协调：
–大块上的MIP启用LFNST。这里使用平面模式的LFNST变换
–MIP的参考样本导出与传统帧内预测模式完全相同
–对于MIP预测中使用的上采样步骤，使用原始参考样本而不是下采样样本
–在上采样之前执行剪裁，而不是在上采样之后执行剪裁
–无论最大变换大小如何，MIP都允许达到64×64
MIP模式的数目对于sizeId＝0为32，对于sizeId＝1为16，对于sizeId＝2为12。
2.13.解码器侧帧内模式导出
在JEM-2.0中，帧内模式从HEVC中的35种模式扩展到67种，并且它们在编码器处导出并明确地用信号发送到解码器。在JEM-2.0中，在帧内模式编解码上花费了大量开销。例如，在所有帧内编解码配置中，帧内模式信令开销可以高达总码率的5～10％。该贡献提出了解码器侧的帧内模式导出方法，以在保持预测精度的同时减少帧内模式编解码开销。
为了减少帧内模式信令的开销，本文提出了解码器侧帧内模式导出(DIMD)方法。在所提出的方法中，编码器和解码器不是显式地用信号发送帧内模式，而是从当前块的邻近重建样本导出信息。DIMD导出的帧内模式有两种使用方式：
1)对于2N×2N CU，当对应的CU级别DIMD标志开启时，DIMD模式被用作帧内预测的帧内模式；
2)对于N×N CU，DIMD模式用于替换现有MPM列表的一个候选模式，以提高帧内模式编解码的效率。
·基于模板的帧内模式导出
图18示出了DIMD中使用的模板的目标样本、模板样本和参考样本。如图18所示，目标表示要估计其帧内预测模式的当前块(块大小为N)。模板(由图18中的图案区域表示)指定了一组已经重建的样本，这些样本用于导出帧内模式。模板大小表示为模板内延伸到目标块的上方和左侧的样本数目，即L。在当前实现中，4×4和8×8块的模板大小为2(即L＝2)，16×16及更大的块的模板大小为4(即L＝4))。根据JEM-2.0的定义，模板参考(由图18中的虚线区域表示)指的是模板上方和左侧的一组邻近样本。与总是来自重建区域的模板样本不同，在对目标块进行编码/解码时，模板的参考样本可能尚未重建。在这种情况下，利用JEM-2.0的现有参考样本替换算法来用可用参考样本替换不可用的参考样本。
对于每个帧内预测模式，DIMD计算重建的模板样本与其从模板的参考样本获得的预测样本之间的绝对差(SAD)。选择生产最小SAD的帧内预测模式作为目标块的最终帧内预测模型。
·帧内2N×2N CU的DIMD
对于帧内2N×2N个CU，DIMD被用作一个附加帧内模式，通过将DIMD帧内模式与最佳正常帧内模式进行比较(即，被明确地发信号通知)而自适应地选择。每个帧内2N×2N CU都有一个标志来指示DIMD的使用情况。如果标志为1，则使用由DIMD导出的帧内模式来预测CU；否则，不应用DIMD，并且使用在码流中明确发信号通知的帧内模式来预测CU。当启用DIMD时，色度分量总是重复使用与为亮度分量导出的相同的帧内模式，即DM模式。
此外，对于每个DIMD编解码的CU，CU中的块可以自适应地选择以在PU级别或TU级别导出它们的帧内模式。具体而言，当DIMD标志为1时，另一个CU级别DIMD控制标志用信号表示执行DIMD的级别。如果该标志为0，则意味着在PU级别执行DIMD，并且PU中的所有TU使用相同的导出帧内模式进行帧内预测；否则(即，DIMD控制标志为1)，则表示在TU级别执行DIMD，并且PU中的每个TU导出其自己的帧内模式。
此外，当启用DIMD时，角方向的数目增加到129，并且DC模式和平面模式仍然保持不变。为了适应角帧内模式的粒度增加，DIMD编解码CU的帧插值值滤波的精度从1/32像素增加到1/64像素。此外，为了使用DIMD编解码CU的导出帧内模式作为邻近帧内块的MPM候选模式，在将DIMD编解码的CU的129个方向用作MPM之前，将其转换为“正常”帧内模式(即，65个角帧内方向)。
·帧内N×N CU的DIMD
在所提出的方法中，总是用信号发送N×N内CU的帧内模式。然而，为了提高帧内模式编解码的效率，从DIMD导出的帧内模式被用作预测CU中四个PU的帧内模式的MPM候选。为了不增加MPM索引信令的开销，DIMD候选总是被放在MPM列表的第一位，并删除最后一个现有的MPM候选模式。此外，执行修剪操作，使得如果DIMD候选是冗余的，则不会将其添加到MPM列表中。
·DIMD的帧内模式搜索算法
为了降低编码/解码的复杂度，DIMD使用一种简单的快速帧内模式搜索算法被用于DIMD。首先，执行一个初始估计过程来为帧内模式搜索提供良好的起点。具体地，通过从允许的帧内模式中选择N个固定模式来创建初始候选列表。然后，针对所有候选帧内模式计算SAD，并且选择使SAD最小化的帧内模式作为开始帧内模式。为了实现良好的复杂性/性能权衡，初始候选列表由11个帧内模式组成，包括DC、平面和HEVC中定义的33个角帧内方向中的每4个模式，即帧内模式0、1、2、6、10…30、34。
如果起始帧内模式是DC模式或平面模式，则将其用作DIMD模式。否则，基于起始帧内模式，然后应用一个细化过程，其中通过一次迭代搜索来识别最佳帧内模式。它通过在每次迭代时比较由给定搜索间隔分隔的三个帧内模式的SAD值来工作，并保持最小化SAD的帧内模式。然后将搜索间隔减少到一半，并且从上一次迭代中选择的帧内模式将用作当前迭代的中心帧内模式。对于具有129个角帧内方向的当前DIMD实现，在细化过程中最多使用4次迭代来找到最佳DIMD帧内模式。
2.14.解码器侧帧内模式导出
本文提出了一种避免在码流中传输亮度帧内预测模式的方法。这是通过在编码器和解码器处以相同的方式使用先前编码/解码的像素来导出亮度帧内模式来实现的。该过程定义了一种称为DIMD的新编解码模式，其选择在使用简单标志的帧内编解码块的码流中用信号发送。DIMD在编码器上与其他编解码模式竞争，包括经典的Intra编解码模式(对帧内预测模式进行编解码)。请注意，在本文中DIMD仅适用于亮度。对于色度，适用经典的帧内编解码模式。正如对其他编解码模式(经典的帧内、帧间、合并等)所做的那样，为DIMD模式计算率失真成本，然后将其与其他模式的编解码成本进行比较，以决定是否将其选择为当前块的最终编解码模式。
在解码器侧，首先解析DIMD标志。如果DIMD标志为真，则在重建过程中使用相同的先前编码的邻近像素来导出帧内预测模式。否则，帧内预测模式将与经典帧内编解码模式一样从码流中解析出来。
·帧内预测模式导出
2.14..1梯度分析
为了导出块的帧内预测模式，首先选择对其执行梯度分析的一组邻近像素。出于规范性的目的，这些像素应该在解码/重建的像素池中。图19示出了对其执行梯度分析的一组选定像素的示意图。如图19所示，当前块周围的模板由左边的T个像素和上面的T个像素选择。在建议书中设定了T＝2。
接下来，对模板的像素执行梯度分析。这可以确定模板的主要角方向，假设模板的主要角方向(这是我们方法的核心前提)很有可能与当前块的角方向相同。因此，使用一个简单的3×3Sobel梯度滤波，该滤波由将与模板卷积的以下矩阵定义：
对于模板的每个像素，这两个矩阵中的每一个都是以当前像素为中心的3×3个窗口，逐点相乘，并由其8个直接邻近组成，结果相加。因此，在水平方向和垂直方向上分别获得与当前像素处的梯度相对应的两个值Gx(来自与Mx的乘积)和Gy(来自与My的乘积)。
图20显示了卷积过程。更具体地，图20示出了3×3Sobel梯度滤波器与模板的卷积的示意图。蓝色像素是当前像素。红色像素(包括蓝色)是可以进行梯度分析的像素。灰色像素是由于缺乏一些邻近而无法进行梯度分析的像素。紫色像素是所考虑的模板之外的可用(重建)像素，用于红色像素的梯度分析。如果紫色像素不可用(例如，由于块离图片边界太近)，则不执行使用该紫色像素的所有红色像素的梯度分析。
2.14..2梯度直方图和模式导出
对于每个红色像素，使用Gx和Gy的梯度的强度(G)和方向(O)如下核算：
G＝|Gx|+|Gy|和
值得注意，提出了atan功能的快速实现。然后将梯度的方向转换为帧内角预测模式，用于对直方图进行索引(首先初始化为零)。该帧内角模式下的直方图值增加G。一旦处理了模板中的所有红色像素，直方图将包含每个帧内角方式的梯度强度的累积值。显示直方图中最高峰值的模式被选择为当前块的帧内预测模式。如果直方图中的最大值是0(意味着不能进行梯度分析，或者组成模板的区域是平的)，则DC模式被选择为当前块的帧内预测模式。
对于位于CTU顶部的块，不对位于模板顶部的像素的梯度执行分析。DIMD标志使用三种可能的上下文进行编解码，具体取决于左侧和上方邻近块，类似于Skip标志编解码。上下文0对应于左邻近块和上邻近块中均未用DIMD模式编解码的情况，上下文1对应于只有一个邻近块用DIMD编解码的情况，以及上下文2对应于两个邻近块都用DIMD进行编解码的情况。每个上下文的初始符号概率被设置为0.5。
·130种帧内模式的预测
与经典帧内模式编解码相比，DIMD提供的一个优点是，导出的帧内模式可以具有更高的精度，允许更精确的预测，而不需要额外的成本，因为它不在码流中传输。导出的帧内模式交叉涵盖129个角模式，因此包括DC在内共有总共有130个模式(在我们的贡献中，导出的帧内模式永远不可能是平面的)。经典的帧内编解码模式是不变的，即预测和模式编解码仍然使用67种模式。
对广角帧内预测和简化的PDPC进行了所需的改变，以适应使用129种模式的预测。注意，只有预测过程使用扩展的帧内模式，这意味着对于任何其他目的(例如，决定是否对参考样本进行滤波)，模式被转换回67模式精度。
·其他规范性变更
在DIMD模式中，亮度帧内模式是在块重建之前的重建过程中导出的。这样做是为了避免在解析期间对重建像素的依赖性。然而，通过这样做，对于块的色度分量和邻近块的亮度分量，块的亮度帧内模式将是未定义的。这会导致一个问题，因为：
·对于色度，定义了固定模式候选列表。通常，如果亮度模式等于色度候选之一，则候选模式将被垂直对角线(VDIA_IDX)帧内模式取代。由于在DIMD中，亮度模式不可用，因此不会修改初始色度模式候选列表。
在要从码流解析亮度帧内预测模式的经典帧内模式中，使用邻近块的亮度帧内模式来构建MPM列表，如果使用DIMD对这些块进行编解码，则MPM列表可能不可用。在这种情况下，在我们的贡献中，DIMD编解码块在MPM列表构建过程中被视为帧间块，这意味着它们实际上被认为是不可用的。
2.15.DIMD
从当前块的邻近像素计算的梯度直方图(HoG)中选择三个角模式。一旦选择了这三种模式，就正常地计算它们的预测，然后将它们的加权平均值用作块的最终预测。为了确定权重，三种模式都使用了HoG中的相应振幅。DIMD模式用作替代预测模式，始终在FullRD模式中进行检查。
当前版本的DIMD在信令、HoG计算和预测融合方面进行了一些修改。此修改的目的是提高编解码性能，并解决上次会议期间提出的复杂性问题(即4×4块的吞吐量)。以下各节介绍了每个方面的修改。
·信令
图21示出了所提出的帧内块解码过程的示意图。图21显示了VTM5中与所提出的DIMD集成的解析标志/索引的顺序。
可以看出，首先使用单个CABAC上下文来解析块的DIMD标志，该上下文被初始化为默认值154。
如果flag＝＝0，则解析将正常继续。
否则(如果标志＝＝1)，则仅解析ISP索引，并且推断出以下标志/索引为零：BDPCM标志、MIP标志、MRL索引。在这种情况下，也会跳过整个IPM解析。
在解析阶段，当常规非DIMD块查询其DIMD邻近的IPM时，模式PLANAR_IDX被用作DIMD块的虚拟IPM。
·纹理分析
DIMD的纹理分析包括梯度直方图(HoG)计算(图22)。梯度直方图计算是通过对块周围宽度为3的模板中的像素应用水平和垂直Sobel滤波。但是，如果以上模板像素属于不同的CTU，那么它们将不会用于纹理分析。
一旦计算出，就为块选择对应于两个最高直方图条的IPM。
在先前的版本中，模板中线中的所有像素都参与了HoG计算。然而，当前版本通过在4x4块上更稀疏地应用Sobel滤波来提高该过程的吞吐量。为此，仅使用从左起的一个像素和从上起的一个亚像素。如图22所示。图22示出了从宽度为3个像素的模板进行HoG计算的示意图。
除了减少梯度计算的操作次数外，该特性还简化了从HoG中选择最佳2个模式，因为得到的HoG不能具有两个以上的非零振幅。
·预测融合
与先前版本一样，该方法的当前版本也为每个块使用三个预测的融合。然而，预测模式的选择是不同的，并且使用了组合假设帧内预测方法被提出，其中当计算帧内预测候选时，平面模式被认为与其他模式组合使用。在当前版本中，对应于两个最高HoG条的两个IPM与平面模式相结合。
预测融合被应用为上述三个预测的加权平均值。为此，平面的权重固定为21/64(～1/3)。剩余的43/64(～2/3)权重在两个HoG IPM之间共享按其HoG条的振幅成比例共享。图23表现了这一过程。图23示出了通过两个HoG模式和平面的加权平均的预测融合的示意图。
2.16.组合的帧间和帧内预测(CIIP)
在VVC中，当以合并模式对CU进行编码时，如果CU包含至少64个亮度样本(即，CU宽度乘以CU高度等于或大于64)，并且如果CU宽度和CU高度都小于128个亮度样本，则通过信号传输附加标志，以指示组合帧间/帧内预测(CIIP)模式是否应用于当前CU。如其名称所示，CIIP预测将帧间预测信号与帧内预测信号进行组合。CIIP模式中的帧间预测信号Pinter是使用应用于常规合并模式的相同帧间预测过程来导出的；并且在平面模式的常规帧内预测过程之后导出帧内预测信号Pintra。然后，使用加权平均来组合帧内和帧间预测信号，其中取决于顶部和左侧邻近块的编解码模式来如下计算权重值(如图24所示)：
-如果顶部邻居可用且已进行帧内编解码，则将isIntraTop设置为1，否则将isIntra top设置为0；
-如果左侧邻居可用且已进行帧内编解码，则将isIntraLeft设置为1，否则将isIntralLeft设置成0；
-如果(isIntraLeft+isIntraTop)等于2，则wt设置为3；
-否则，如果(isIntraLeft+isIntraTop)等于1，则wt设置为2；-否则，将wt设置为1。
图24示出了在CIIP权重导出中被使用的顶部和左侧邻近块的示意图。CIIP预测被建立如下：
PCIIP＝((4-wt)*Pinter+wt*Pintra+2)＞＞2 (2-17)
2.17.几何划分模式(GPM)
在VVC中，几何划分模式被支持用于帧间预测。使用CU级标志作为一种合并模式来通过信号传输几何划分模式，其他合并模式包括常规合并模式、MMVD模式、CIIP模式和子块合并模式。对于每个可能的CU大小w×h＝2m×2n其中m,n∈{3…6}并除去8x64和64x8，几何划分模式总共支持64个划分。
当使用该模式时，CU通过几何定位的直线分为两部分(如图25所示)。图25示出了按相同角度分组的GPM分割的示意图。分割线的位置在数学上是从特定划分的角度和偏移参数导出的。CU中的几何划分的每个部分使用其自身的运动进行帧间预测；每个划分只允许单向预测，即每个部分都有一个运动矢量和一个参考索引。应用单向预测运动约束以确保与传统的双向预测相同，每个CU只需要两个运动补偿预测。使用2.17.1中描述的过程导出每个划分的单向预测运动。
如果几何划分模式用于当前CU，则指示几何划分的划分模式(角度和偏移)的几何划分索引和两个合并索引(每个划分一个)被进一步通过信号传输。最大GPM候选大小的数目在SPS中被显式地通过信号传输，并且指定用于GPM合并索引的语法二进制化。在预测了几何划分的每个部分之后，使用2.17.2中的具有自适应权重的混合处理来调整沿着几何划分边缘的样本值。这是整个CU的预测信号，并且将像在其他预测模式中一样对整个CU应用变换和量化过程。最后，使用几何划分模式预测的CU的运动场如2.17.3所示被存储。
·单向预测候选列表构建
单向预测候选列表直接从根据3.4.1.中的扩展合并预测过程构建的合并候选列表中导出。将n表示为几何单向预测候选列表中的单向预测运动的索引。第n个扩展合并候选的LX运动矢量，X等于n的奇偶性，被用作几何划分模式的第n个单向预测运动矢量。这些运动矢量在图26中用“x”标记。图26示出了用于几何划分模式的单向预测MV选择的示意图。如果第n个扩展合并候选的对应LX运动矢量不存在，则使用相同候选的L(1-X)运动矢量作为几何划分模式的单向预测运动矢量。
·沿几何划分边缘的混合
在使用其自身的运动来预测几何划分的每个部分之后，将混合应用于两个预测信号以导出几何划分边缘周围的样本。CU的每个位置的混合权重是基于个***置和划分边缘之间的距离导出的。
位置(x,y)到划分边缘的距离导出为：
其中i,j是几何划分的角度和偏移的索引，其取决于通过信号传输的几何划分索引。ρx,j和ρy,j的符号取决于角度索引i。
几何划分的每个部分的权重如下导出：
wIdxL(x,y)＝partIdx？32+d(x,y):32-d(x,y) (2-22)
w1(x,y)＝1-w0(x,y) (2-24)
partIdx取决于角度索引i。权重w0的一个示例如图27所示。图27示出了使用几何划分模式的弯曲权重w0的示例性生成的示意图。
·用于几何划分模式的运动场存储
来自几何划分第一部分的Mv1、来自几何划分第二部分的Mv2以及Mv1和Mv2的组合Mv存储在经几何划分模式编解码的CU的运动场中。
运动场中每个个***置的存储的运动矢量类型被确定为：
sType＝abs(motionIdx)<32？2∶(motionIdx≤0？(1-partIdx):partIdx) (2-25)
其中motionIdx等于d(4x+2,4y+2)，这是根据等式(2-18)重新计算的。partIdx取决于角度索引i。
如果sType等于0或1，则Mv0或Mv1被存储在对应运动场中，否则，如果sTType等于2，则存储来自Mv0和Mv2的组合Mv。组合Mv使用以下过程生成：
1)如果Mv1和Mv2来自不同的参考图片列表(一个来自L0，另一个来自L1)，则Mv1和Mv2被简单地组合以形成双向预测运动矢量。
否则，如果Mv1和Mv2来自同一列表，则仅存储单向预测运动Mv2。
2.18.多假设预测(MHP)
在多假设预测中(MHP)，在帧间AMVP模式、常规合并模式、仿射模式和MMVD模式之上通过信号传输最多两个附加预测子。所得到的总体预测信号与每个附加预测信号迭代地累积。
pn+1＝(1-αn+1)pn+αn+1hn+1
加权因子α根据下表指定：
add_hyp_weight_idx α
0 1/4
1 -1/8
对于帧间AMVP模式，只有在双向预测模式中选择BCW中的非相等权重，才应用MHP。
附加假设可以是合并模式或AMVP模式。在合并模式的情况下，运动信息由合并索引指示，合并候选列表与几何划分模式中相同。在AMVP模式的情况下，参考索引、MVP索引和MVD通过信号被传输。
3.问题
解码器侧帧内预测模式导出(DIMD)的当前设计存在以下问题：
1.在DIMD设计中，存在许多候选帧内预测模式(IPM)来导出当前块的最佳IPM，这导致在使用模板搜索最佳IPM时具有很高的复杂性。
2.使用先前解码的块/样本导出的帧内预测模式没有与其他编解码工具组合(例如，组合的帧间和帧内预测、几何划分模式、多假设预测、帧内块复制)，这可能限制编解码效率。
4.实施例
下面的详细实施例应当被认为是解释一般概念的示例。不应当以狭隘的方式来解读这些实施例。此外，这些实施例可以以任何方式进行组合。
在本公开中，术语解码器侧帧内模式导出(DIMD)或基于模板的帧内模式导出(TIMD)表示使用先前解码的块来导出帧内预测模式的编解码工具。
在本公开中，“传统帧内预测模式(IPM)候选集合”用于指示帧内编解码块的允许IPM(例如，HEVC中的35种模式、VVC中的67种模式)，以及“传统帧间预测模式”可以指代传统IPM候选集合中的IPM。
在本公开中，“扩展帧内预测模式(IPM)候选集”包括所有传统IPM和扩展IPM(如图28所示)。图28示出了传统角度IPM和扩展角度IPM的示意图。
DIMD的MPM列表构建
1.对于经DIMD编解码块，建议根据DIMD候选列表来导出最佳IPM(例如，将用于对块进行编解码的IPM)，其中DIMD候选列表中的候选总数小于传统IPM候选集或扩展IPM候选集中的候选总数。
a.在一个示例中，DIMD候选列表被设置为DIMD编解码块构建的MPM列表(即，DIMDMPM列表)。
i.在一个示例中，可以使用与传统帧内预测相同的过程来构建用于DIMD编解码块的MPM列表。
1)在一个示例中，在HEVC、JEM或VVC中使用相同的方式来构建MPM列表。
2)在一个示例中，无论是否使用DIMD，都可以为视频单元定义单个MPM列表构建过程。
ii.或者，可以使用与传统帧内预测不同的过程来构建用于DIMD编解码块的MPM列表。
1)在一个示例中，可以为视频单元定义一个以上的MPM列表构建过程，其中至少一个附加规则是专门为DIMD编解码块MPM列表构建而设计的(例如，DIMD MPM列表)。
2)在一个示例中，当传统的MPM列表包含不是基于邻近块的经编解码的信息(例如，IPM)导出的一个或多个IPM时，这种类型的IPM可以不被添加到DIMD MPM列表。
a)在一个示例中，当使用邻近样本的梯度导出一个或多个IPM并将其添加到传统MPM列表时，这些IPM可以不添加到DIMD MPM列表。
3)在一个示例中，当前块的传统MPM列表的子集可以用作DIMD MPM列表。
a)在一个示例中，当为当前块构建辅传统MPM列表时，可以仅使用主常规MPM表来构建DIMD MPM列表。
i.或者，主常规MPM列表和辅常规MPM表中的IPM都可以用于构建DIMD MPM列表。
b)在一个示例中，传统MPM列表中的前M个(例如，M＝6)IPM可以用于构建DIMD MPM列表。
4)在一个示例中，用于构建DIMD MPM列表的邻近块的数目可以不同于(例如，大于或小于)用于构建用于当前块的传统MPM列表中的邻近块数目。
a)在一个示例中，当使用左邻近块和上邻近块来构建用于当前块的传统MPM列表时，可以使用左邻近块，和/或上邻近块，和/或左下邻近块，右上邻近块和/或，和/或左上方邻近块来构建DIMD MPM列表。
5)在一个示例中，可以使用MPM候选的不同顺序来执行传统MPM列表和DIMD MPM列表。
a)例如，平面模式可以按不同的顺序放置，而不是像传统MPM列表中那样放在第一位。
b.在一个示例中，DIMD候选列表大小(例如，DIMD候选列表中的候选数目)被设置为预定义值或动态导出。
i.在一个示例中，列表大小被设置为K(例如，K＝6或K＝22)。
ii.或者，列表大小可以取决于当前块和/或其邻近块(相邻或非相邻)的解码信息。
2.在DIMD候选(例如，MPM)列表构建过程中，当邻近块没有用帧内模式(例如，帧间编解码/IBC/PLT模式)编解码时，预定义的IPM可以用作邻近块的IPM。
a.此外，同样的，应用非DIMD编解码块的MPM构建过程，其中预定义IPM被视为正常帧内预测模式。
3.在DIMD候选(例如，MPM)列表构建过程中，可以使用针对非帧内编解码的邻近块(例如，帧间编解码/IBC/PLT模式)的传播的IPM来构建DIMD候选列表。
a.在一个示例中，邻近块(相邻的或非相邻的)可以指左邻近块、和/或上邻近块、和/或左下邻近块、和/或在右上邻近块、和/或左上邻近块。
b.在一个示例中，可以使用邻近块的左上位置或邻近块的中心位置来导出传播的IPM。
c.在一个示例中，当利用帧间模式对邻近块进行编解码时，可以使用邻近块的运动信息来导出传播的IPM。
i.在一个示例中，运动信息可以是在运动细化之前或之后(例如，使用运动矢量细化方法(例如，DMVR))与邻近块相关联的信息。
ii.在一个示例中，当在邻近块中存在一个以上的运动信息(例如，双向预测，或者在TPM/GEO/GPM模式中用于两个部分的两个运动信息)时，可以使用第一运动信息(例如L0)或/第二运动信息(例如L1)来导出传播的IPM。
iii.在一个示例中，当邻近块的每个子块具有其自己的运动信息(例如，仿射/FURC/SbTMVP/GPM)时，可以使用子块的运动信息来导出IPM。
d.在一个示例中，当用IBC模式对邻近块进行编解码时，可以使用邻近块的块矢量来导出传播的IPM。
i.或者，可以使用预定义的模式作为传播的IPM。
ii.在一个示例中，可以使用默认块矢量来导出传播的IPM。
e.在一个示例中，当构建DIMD候选(例如，MPM)列表时，可以使用修剪，其中当传播的IPM已经在DIMD候选列表中时，不再添加传播的IPM。
f.在一个示例中，添加到MPM列表中的传播IPM的顺序可以取决于经编解码的信息。
i.在一个示例中，可以按照与具有帧内模式的邻近块相同的顺序来添加具有非帧内模式的邻近块的传播的IPM。
ii.在一个示例中，可以在从具有帧内编解码模式的邻近块导出的所有IPM之后添加所有传播的IPM。
iii.在一个示例中，可以在来自具有帧内编解码模式的邻近块的IPM之前添加一个或多个传播的IPM。
1)在一个示例中，可以在左下/右上/左上邻近块的IPM之前添加传播的左邻近块和上块邻近块的IPM。
g.此外，同样的，应用非DIMD编解码块的DIMD MPM列表构建过程，其中传播的IPM被视为正常帧内预测模式。
h.在一个示例中，DIMD MPM列表可以用于导出DIMD编解码块的最佳IPM。
4.当生成DIMD编解码块的预测块时，在非DIMD块的帧内预测中使用的一个或多个编解码工具可以不用于DIMD编解码块。
a.在一个示例中，帧内预测中使用的X抽头插值滤波可以不在DIMD中使用。
i.在一个示例中，X等于6、或8、或12。
ii.或者，当X小于或等于T1，例如T1＝4或2时，可以在DIMD中使用在当前块的帧内预测中使用的X抽头插值滤波。
b.在一个示例中，在DIMD中可以不使用在当前块的帧内预测中使用的PDPC或梯度PDPC。
c.在一个示例中，参考样本滤波/平滑(例如，MDIS)可以不用于DIMD编解码块。
i.或者，参考样本滤波/平滑(例如，MDIS)可以有条件地应用于DIMD编解码块。
d.在一个示例中，是否对参考样本进行滤波以用于DIMD中的帧内预测可以对当前块使用相同的条件。
i.或者，用于DIMD中的帧内预测的参考样本可以总是被滤波。
ii.或者，可以不对用于DIMD中的帧内预测的参考样本进行滤波。
5.在DIMD编解码块的最佳IPM选择期间，可以不使用在非DIMD块的帧内预测中使用的一个或多个编解码工具。
a.在一个示例中，项目符号4中提到的方法可以在DIMD编解码块的最佳IPM选择期间应用。
关于通过信号传输DIMD(TIMD)
6.是否使用/启用DIMD(TIMD)和/或如何使用DIMD(TIMD)可以作为语法元素而通过信号被传输。
a.在一个示例中，语法元素(例如，gci_no_dimd_constraint_flag或gci_no_md_constraint_flag)可以在通用约束信息语法中通过信号被传输。
i.在一个示例中，当指示对DIMD(TIMD)的通用约束的语法元素等于X(例如，X＝0或X＝1)时，不应使用DIMD(TIMD)。
b.在一个示例中，指示是否启用DIMD(TIMD)的语法元素可以在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头处通过信号被传输。
i.在一个示例中，可以在SPS中通过信号传输语法元素(例如，sps_dimd_enabled_flag或sps_timd_enabled_flag)，其中当语法元素等于X(例如，X＝0或X＝1)时启用DIMD/TIMD。
c.在一个示例中，语法元素(例如，dimd_flag或timd_flag)可以通过信号被传输以指示DIMD(TIMD)是否用于视频单元(例如，CU或TU)。
i.在一个示例中，当编解码工具用于视频单元时，语法元素可以不通过信号传输并且被推断为X(例如，X＝0)。
1)在一个示例中，编解码工具可以是指DIMD、和/或BDPCM、和/或PLT、和/或IBC、和/或MIP。
ii.在一个示例中，当DIMD(TIMD)用于视频单元时，一个或多个语法元素可以不通过信号传输。
1)在一个示例中，当DIMD(TIMD)用于视频单元时，指示编解码工具是否的一个或多个语法元素可以不通过信号传输。
a)在一个示例中，编解码工具可以指除DIMD(TIMD)之外的所有帧内编解码工具。
b)在一个示例中，编解码工具可以是指DIMD、和/或BDPCM、和/或PLT、和/或IBC、和/或MIP、和/或ISP、和/或MRL。
2)在一个示例中，当DIMD(TIMD)用于视频单元时，可以不通过信号传输针对亮度帧内预测模式的剩余语法元素(例如，MPM标志、平面标志、MPM索引、MPM余数索引)。
导出的帧内预测模式与帧间编解码工具的交互
7.建议使用导出的帧内预测模式结合帧间编解码工具来获得视频单元的预测和/或重建。
a.在一个示例中，帧内预测模式可使用邻近相邻和/或非相邻重建样本被导出。
i.在一个示例中，帧内预测模式可使用DIMD和/或TIMD导出，如上所述。
ii.在一个示例中，帧内预测模式可以从多于一种的帧内预测模式导出方法(例如，DIMD和TIMD)中导出和/或自适应地选择。
b.在一个示例中，帧间编解码工具可以指的是编解码方法，其使用多于一个的预测信号得到最终预测和/或重建。
i.在一个示例中，帧间编解码工具可以指组合帧间和帧内预测(例如，CIIP)，和/或将视频单元分割成用于预测的多个子划分的编解码方法(例如，GPM/GEO/TPM)，和/或组合不同的预测信号以得到用于视频单元的最终预测的编解码方法(例如，多假设预测(MHP))，和/或其它帧间编解码工具。
ii.在一个示例中，当导出的帧内预测模式与组合的帧间和帧内预测(例如，CIIP)组合时，可以使用导出的帧内预测模式和/或一个或多个预定义模式(例如，平面)来获得帧内预测信号。
1)在一个示例中，该组合可以与CIIP一起使用附加模式。
iii.在一个示例中，当导出的帧内预测模式与将视频单元分割成用于预测的多个子划分(例如，)的编解码方法GPM/GEO/TPM组合时，可以使用导出的帧内预测模式获得对一个或多个子划分的预测。
1)在一个示例中，使用导出的帧内预测模式获得哪个子划分的预测可以是预先定义的，和/或用信号传输的，使用编解码信息来确定。
2)在一个示例中，对哪个子划分的预测是使用导出的帧内预测模式获得的，可以用信号传输。
3)在一个示例中，使用导出的帧内预测模式获得哪个子划分的预测可以使用编解码信息来确定。
a)在一个示例中，编解码信息可以指尺寸和/或当前视频单元和/或邻近视频单元的大小。
b)在一个示例中，编解码信息可以指子划分和邻近视频单元之间的距离。
i.在一个示例中，对与一个或多个视频单元相邻的子划分的预测可以使用导出的帧内预测模式来获得。
iv.在一个示例中，当导出的帧内预测模式与编解码方法组合以组合不同的预测信号以得到最终预测(例如，MHP)时，可以使用导出的帧内预测模式获得一个或多个预测信号。
1)在一个示例中，使用导出的帧内预测模式得出的预测信号可以按预定义顺序迭代地得到最终预测。
a)在一个示例中，使用导出的帧内预测模式得出的预测信号可以放在第一位置。
b)或者，使用导出的帧内预测模式得出的预测信号可以放在最后位置。
2)在一个示例中，当使用导出的帧内预测模式得到预测信号之一时，最终预测可以通过同时加权所有假设来混合，而不是迭代地进行。
3)在一个示例中，使用导出的帧内预测模式得到的预测信号可以首先与假设混合，然后用于获得最终预测。
v.在一个示例中，条款中的项目符号ii、iii、iv可应用于与CIIP和/或GEO/GPM/TPM和/或MHP的组合。
c.在一个示例中，一个或多个帧内预测模式可被导出并在与帧间编解码工具的组合中使用。
i.在一个示例中，可以使用导出的帧内预测模式之一来获得预测信号。
ii.在一个示例中，可以通过使用多于一个的导出的帧内预测模式来混合多个预测信号，来获得预测信号。
iii.在一个示例中，可以通过使用一个或多个导出的帧内预测模式和预定义的模式(例如，平面)来混合多个预测信号，来获得预测信号。
d.在一个示例中，当导出的帧内预测模式与帧间编解码工具组合时，帧内部分的权重和/或帧间部分的权重可以依赖于编解码信息。
i.在一个示例中，帧内部分的权重可以大于、和/或等于、和/或小于帧间部分的权重。
ii.在一个示例中，权重可以依赖于邻近视频单元的编解码模式。
iii.在一个示例中，权重可以依赖于变量M，其在导出帧内预测模式期间被获得。
iv.在一个示例中，帧内部分的权重可以与使用传统帧内预测模式获得的帧内部分相同或不同。
v.或者，权重可以是预定义的。
vi.或者，可以通过信号传输权重。
8.与帧间编解码工具相结合用于导出帧内预测模式的第一DIMD/TIMD候选集可以相同/或者不同于用于帧内编解码视频单元的帧内预测的第二DIMD/TIMD候选集。
a.在一个示例中，第一候选集的模式数目可以小于第二候选集的模式数目。
b.在一个示例中，第一候选集可以自适应地导出并且依赖于编解码信息。
i.在一个示例中，编解码信息可以指当前视频单元、图片、相邻和/或非相邻邻近视频单元的尺寸和/或大小。
ii.在一个示例中，编解码信息可以指当前视频单元和/或相邻和/或非相邻邻近视频单元的编解码模式。
9.是否和/或如何启用导出的帧内预测模式和帧间编解码工具的组合可以在码流中通过信号传输。
a.在一个示例中，一个或多个语法元素可以通过信号被传输并用于指示导出的帧内预测模式和帧间编解码工具的组合是否被启用。
i.组合的指示可以被有条件地通过信号传输，其中条件可以包括：
1)帧内预测模式是否可以被导出和/或帧间编解码工具是否被允许。
2)块尺寸和/或块大小。
3)块深度。
4)条带/图片类型和/或划分树类型(单，或双树，或局部双树)。
5)块位置。
6)颜色分量。
ii.在一个示例中，一个或多个语法元素可以在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头处通过信号被传输。
b.在一个示例中，是否允许针对视频单元的组合可以取决于一个或多个语法元素。
c.或者，是否和/或启用导出的帧内预测模式和帧间编解码工具的组合可以不使用信号传输并使用编解码信息来确定。
10.在帧间编解码工具中使用的帧内预测模式的第一导出过程可以与在经帧内编解码的块中使用的帧内预测模式的第二导出过程相同或不同。
11.在一个示例中，用于使用导出的帧内预测模式得到预测信号的第一过程可以与使用传统帧内预测模式得到预测信号的第二过程相同或不同。
a.在一个示例中，第一过程中的参考样本可以始终被滤波和/或未被滤波。
b.在一个示例中，用于参考样本滤波的过滤器可以不同。
c.在一个示例中，位置相关的预测组合(PDPC)和/或梯度PDPC可以不被用于第一过程。
d.在一个示例中，帧内插滤波器可以不同。
12.在一个示例中，建议将导出的帧内预测模式与编解码方法相结合，其中参考(或预测)块是用当前图片中的样本获得的(例如，帧内块复制(IBC))。
13.在一个示例中，导出的帧内预测模式和帧间编解码工具之间的组合可以依赖于颜色分量。
a.在一个示例中，不同的帧内预测模式可以针对不同的颜色分量被导出并且与帧间编解码工具结合使用。
b.在一个示例中，帧内预测模式可被导出用于第一颜色分量，预定义的帧内预测模式可被用于第二颜色分量。
i.在一个示例中，预定义模式可以指平面和/或DC和/或直接模式。
ii.在一个示例中，第一分量可以指Y，并且第二分量可以指YCbCr颜色格式中的Cb和/或Cr。
iii.在一个示例中，第一分量可以指Y、和/或Cb、和/或Cr，并且第二分量可以指YCbCr颜色格式中的Y、和/或Cb、和/或Cr。
iv.在一个示例中，第一分量可以指RGB颜色格式中的G，并且第二分量可以指RGB颜色格式中的B和/或R。
v.在一个示例中，第一分量可以指RGB颜色格式中的G、和/或B、和/或R，并且第二分量可以指RGB颜色格式中的G、和/或B、和/或R。
c.在一个示例中，针对颜色分量组合可以被不允许，并且颜色分量的预测可以使用导出的帧内预测模式或帧间编解码工具来获得。
14.是否和/或如何应用所公开的方法(例如，导出帧内预测模式和帧间编解码工具之间的交互，从7到13的项目符号)可以在序列级别/图片组级别/图片级别/条带级别/图块组级别通过信号被传输，例如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头中。
15.是否和/或如何应用所公开的方法(例如，导出帧内预测模式和帧间编解码工具之间的交互，从7到13的项目符号)可以在PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/包含多于一个样本或像素的其它种类的区域中通过信号被传输。
16.是否和/或如何应用所公开的方法(例如，导出帧内预测模式和帧间编解码工具之间的交互，从7到13的项目符号)可以取决于经编解码的信息，例如块大小、颜色格式、单/双树划分、颜色分量、条带/图片类型。
通用权项
17.是否应用和/或如何应用上述公开的方法可以在序列级别/图片组级别/图片级别/条带级别/图块组级别用信号发送，例如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头。
18.是否应用和/或如何应用上述公开的方法可以在包含多于一个样本或像素的PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/其他类型的区域处用信号发送。
19.是否应用和/或如何应用上述公开的方法可以取决于经编解码的信息，例如块大小、色彩格式、单/双树划分、颜色分量、条带/图片类型。
5.示例性实施例
以下是上面在第4节中总结的一些方面的一些示例实施例。
5.1实施例1
·TIMD模式导出
对于MPM中的每个帧内预测模式，计算预测和模板的重建样本之间的SATD。选择SATD最小的帧内预测模式作为TIMD模式，并用于当前CU的帧内预测。TIMD模式的导出中包括位置相关帧内预测组合(PDPC)。
·TIMD信令
在序列参数集(SPS)中通过信号传输标志以启用/禁用所提出的方法。当该标志为真时，通过信号传输CU级标志以指示是否使用所提出的TIMD方法。TIMD标志紧接在MIP标志之后通过信号被传输。如果TIMD标志为真，则与亮度帧内预测模式(包括MRL、ISP)相关的剩余语法元素和针对亮度帧内预测模式的正常解析阶段都被跳过。
·与新编解码工具的交互
集成了一种使用平面进行预测融合的DIMD方法。当DIMD标志为真时，所提出的TIMD标志不通过信号传输并设置为假。
与PDPC类似，梯度PDPC也包含在TIMD模式的导出中。
启用辅MPM时，主MPM和辅MPM都用于导出TIMD模式。
在TIMD模式的导出中不使用6抽头插值滤波器。
·TIMD模式导出中MPM列表构建的修改
在MPM列表的构建过程中，相邻块的帧内预测模式在其被帧间编码时被导出为平面。为了提高MPM列表的准确性，当相邻块被帧间编码时，使用运动矢量和参考图片来导出传播的帧内预测模式，并用于MPM列表的构建。此修改仅适用于TIMD模式的导出。
本公开的实施例涉及导出的帧内模式和帧间编解码工具或其他编解码工具的组合。如本文所用，术语“块”可以表示编解码树块(CTB)、编解码树单元(CTU)、编解码块(CB)、编解码单元(CU)、预测单元(PU)、变换单元(TU)、预测块(PB)、变换块(TB)、包含多个样本/像素的视频处理单元，和/或类似的单元。块可以是矩形或非矩形。
图29示出了根据本公开的一些实施例的用于视频处理的方法2900的流程图。该方法2900可以在视频的当前视频块和视频的码流之间的转换期间实现。如图29所示，该方法2900开始于2902，其中基于当前视频块的邻近重建样本，确定针对当前视频块的至少一个目标帧内预测模式。作为示例，参考图18，邻近当前视频块1810的重建样本1820和1822可以被用于基于解码器侧帧内模式导出(DIMD)确定当前视频块1810的至少一个目标帧内预测模式。
在2904，基于帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合，确定当前视频块的预测或重建。候选编解码工具被用于利用与当前视频块相关联的当前图片中的样本来确定针对当前视频块的参考块。在一些实施例中，候选编解码工具可以包括帧内块复制(IBC)。参考图18，在一个示例中，可以通过使用至少一个目标帧内预测模式和帧间编解码工具(例如CIIP)来确定当前视频块1810的预测。在另一个示例中，可以通过使用至少一个目标帧内预测模式和IBC来确定当前视频块1810的重建。应当理解，上述插图和/或示例仅用于描述目的。本公开的范围在此方面不受限制。
在2906，基于当前视频的预测或重建来执行转换，在一些实施例中，转换可以包括将当前视频块编码到码流中。可替换地或附加地，转换可以包括从码流解码当前视频块。
方法2900将使用先前经编解码的块或样本导出的帧内预测模式与其他编解码工具相结合。因此，所提出的方法可以有利地提高编解码效率和编解码质量。
在一些实施例中，邻近重建样本可以包括与当前视频块相邻的重建样本和/或与当前视频块非相邻的重建样本。作为示例，在图18中，与当前视频块1810相邻的重建样本1820和1822被用于确定至少一个目标帧内预测模式的邻近重建样本。应当理解，上述说明和/或示例仅用于描述目的。本公开的范围不限于这方面。
在一些实施例中，在框2902，可以通过使用解码器侧帧内模式导出(DIMD)来确定至少一个目标帧内预测模式。可替换地或附加地，可以通过使用基于模板的帧内模式导出(TIMD)来确定至少一个目标帧内预测模式。作为示例，参考图18，通过使用重建的样本1820和1822，基于DIMD来确定当前视频块1810的至少一个目标帧内预测模式。应该理解，上述说明和/或示例仅用于描述目的。本公开的范围在这方面不受限制。
在一些实施例中，所述至少一个目标帧内预测模式可以从用于确定帧内预测模式的多个编解码工具中确定。在一个示例中，至少一个目标帧内预测模式可以自适应地从DIMD和TIMD中导出。可替换地或附加地，至少一个目标帧内预测模式可以自适应地从DIMD和TIMD中选择。
在一些实施例中，帧间编解码工具可以包括目标编解码工具，目标编解码工具用于基于多个预测信号确定当前视频的预测或重建。在一个实施例中，目标编解码工具可以包括以下至少之一：组合帧间和帧内预测(CIIP)，第一编解码工具，用于将当前视频单元拆分为用于预测的多个子划分，或者第二编解码工具，用于组合不同的预测信号以获得当前视频单元的预测。例如，第一编解码工具可以包括几何划分模式(GPM)或三角形划分模式(TPM)。第二编解码工具可以包括多假设预测(MHP)。应当理解，这里描述的第一编解码工具和第二编解码工具的可能实现仅仅是说明性的，因此不应当解释为以任何方式限制本公开。
在一些实施例中，目标编解码工具可以包括CIIP，并且帧内预测信号可以基于至少一个目标帧内预测模式被获得。另外或备选地，帧内预测信号可以基于至少一个预定义的帧内预测模式被获得。从而，所提出的方法可以有利地提高编解码效率和编解码质量。在一个实施例中，至少一个预定义的帧内预测模式可以包括平面模式。应该理解，至少一个预定义的帧内预测模式可以包括任何其他合适的帧内预测模式。本公开的范围不限于这方面。
在一些实施例中，除了CIIP之外，帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合被使用。在一些实施例中，除了CIIP之外，目标编解码工具还可以包括第一编解码工具。另外或备选地，目标编解码工具还可以包括第二编解码工具。
在一些实施例中，目标编解码工具可以包括第一编解码工具，并且可以基于至少一个目标帧内预测模式来确定多个子划分中的至少一个目标子划分的预测。由此，所提出的方法可以有利地提高编解码效率和编解码质量。在一个示例中，可以预先定义至少一个目标子划分。或者，可以在码流中指示至少一个目标子划分。在又一个示例中，可以基于视频的编解码信息来确定至少一个目标子划分。
在一些实施例中，编解码信息可以包括以下至少之一：当前视频单元的尺寸、当前视频单元的大小、当前视频单元的至少一个邻近视频单元的尺寸或至少一个邻近视频单元的大小。在另一个实施例中，编解码信息可以包括目标子划分和当前视频单元的至少一个邻近视频单元之间的距离。在这种情况下，与当前视频单元的至少一个邻近视频单元相邻的子划分可以被确定为至少一个目标子划分。也就是说，至少一个目标子划分可以与当前视频单元的至少一个邻近视频单元相邻。应该理解，编解码信息可以包括任何其他合适的信息。本公开的范围不限于这方面。
在一些实施例中，除了第一编解码工具之外，目标编解码工具还可以包括CIIP。另外或备选地，目标编解码工具还可以包括第二编解码工具。
在一些实施例中，目标编解码工具可以包括第二编解码工具，并且可以基于至少一个目标帧内预测模式来确定至少一个预测信号。从而，所提出的方法可以有利地提高编解码效率和编解码质量。在一个示例中，可以为至少一个预测信号分配预定义的迭代顺序，该迭代顺序用于确定当前视频块的预测。也就是说，至少一个预测信号中的每一个可以用于确定当前视频块在某些预定义迭代中的预测。例如，至少一个预测信号中的一个预测信号可以被用于第一次迭代。替代地或附加地，至少一个预测信号中的一个预测信号可以被用于最后一次迭代。
在一些实施例中，在2904，可以通过对当前视频块的所有候选预测信号进行加权来确定当前视频块的预测。候选预测信号包括至少一个预测信号之一。例如，在采用MHP的情况下，可以通过同时对所有假设进行加权而不是迭代，来确定当前视频块的最终预测。
在一些实施例中，在2904，通过对至少一个预测信号中的一个预测信号和当前视频块的多个候选预测信号中的一个候选预测信号加权来获得经加权的预测信号。当前视频块的预测基于经加权的预测信号和多个候选预测信号中的剩余信号来确定。例如，预测信号可以首先与假设相加，然后用于确定最终预测。
在一些实施例中，除了第二编解码工具之外，目标编解码工具还可以包括CIIP。另外或备选地，目标编解码工具还可以包括第一编解码工具。
在一些实施例中，至少一个目标帧内预测模式可以包括多个目标帧内预测模式。从而可以使用几种不同的帧内预测模式来确定当前视频块的预测或重建，从而可以有利地提高编解码质量。
在一些实施例中，在2904，可以基于多个目标帧内预测模式之一来确定预测信号，可以基于预测信号来确定当前视频块的预测或重建。
在一些实施例中，在2904，可以基于多个目标帧内预测模式中的至少两个来确定多个预测信号，可以通过对多个预测信号进行加权来获得经加权的信号，并且可以基于经加权的信号来确定当前视频块的预测或重建。从而可以使用几种不同的帧内预测模式来确定当前视频块的预测或重建，从而可以有利地提高编解码质量。
在一些实施例中，在2904，可以基于一组帧内预测模式来确定预测信号，该组帧内预测模式可以包括预定义的帧内预测模式和多个目标帧内预测模式中的至少一个。可以通过对预测信号进行加权来获得经加权的信号，并且可以基于经加权的信号来确定当前视频块的预测或重建。从而，可以使用几种不同的帧内预测模式来确定当前视频块的预测或重建，这可以有利地提高编解码质量。
在一些实施例中，在2904，可以基于至少一个目标帧内预测模式来确定用于当前视频块的预测的帧内部分。可以基于帧间编解码工具来确定用于当前视频块的预测的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定预测。或者，可以基于候选编解码工具来确定用于当前视频块的预测的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定预测。第一权重可以取决于视频的编解码信息。另外或备选地，第二权重可以取决于视频的编解码信息。
在一些实施例中，在2904，可以基于至少一个目标帧内预测模式来确定用于当前视频块的重建的帧内部分。可以基于帧间编解码工具来确定用于当前视频块的重建的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定重建。或者，可以基于候选编解码工具来确定用于当前视频块的重建的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定重建。第一权重可以取决于视频的编解码信息。另外或备选地，第二权重可以取决于视频的编解码信息。
在一些实施例中，第一权重可以大于第二权重。或者，第一权重可以等于第二权重。在另一个实施例中，第一权重可以小于第二权重。
在一些实施例中，在2904，可以基于至少一个目标帧内预测模式来确定用于当前视频块的预测的帧内部分。可以基于帧间编解码工具来确定用于当前视频块的预测的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定预测。或者，可以基于候选编解码工具来确定用于当前视频块的预测的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定预测。第一权重可以取决于当前视频单元的邻近视频单元的编解码模式。第二权重可以取决于当前视频单元的邻近视频单元的编解码模式。
在一些实施例中，在2904，可以基于至少一个目标帧内预测模式来确定用于当前视频块的重建的帧内部分。可以基于帧间编解码工具来确定用于当前视频块的重建的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定重建。或者，可以基于候选编解码工具来确定用于当前视频块的重建的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定重建。第一权重可以取决于当前视频单元的邻近视频单元的编解码模式。第二权重可以取决于当前视频单元的邻近视频单元的编解码模式。
在一些实施例中，在2904，用于当前视频块的预测的帧内部分可以基于至少一个目标帧内预测模式来确定。用于当前视频块的预测的帧间部分可以基于帧间编解码工具来确定，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定预测。或者，可以基于候选编解码工具来确定用于当前视频块的预测的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定预测。第一权重可以取决于在确定至少一个目标帧内预测模式期间获得的变量。第二权重可以取决于在确定至少一个目标帧内预测模式期间获得的变量。举例来说，该变量可以是与帧内预测模式相关联的方向。应当理解，这里描述的变量的可能实现仅仅是说明性的，因此不应被解释为以任何方式限制本公开。
在一些实施例中，在2904，可以基于至少一个目标帧内预测模式来确定用于当前视频块的重建的帧内部分。可以基于帧间编解码工具来确定用于当前视频块的重建的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定重建。或者，可以基于候选编解码工具来确定用于当前视频块的重建的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定重建。第一权重可以取决于在确定至少一个目标帧内预测模式期间获得的变量。附加地或备选地，第二权重可以取决于在确定至少一个目标帧内预测模式期间获得的变量。作为示例，该变量可以是与帧内预测模式相关联的方向。应当理解，这里描述的变量的可能实现仅仅是说明性的，因此不应被解释为以任何方式限制本公开。
在一些实施例中，第一权重可以与基于码流中指示的帧内预测模式获得的帧内部分的权重相同。或者，第一权重可以不同于基于码流中指示的帧内预测模式获得的帧内部分的权重。
在一些实施例中，在2904，可以基于至少一个目标帧内预测模式来确定用于当前视频块的预测的帧内部分。可以基于帧间编解码工具来确定用于当前视频块的预测的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定预测。或者，可以基于候选编解码工具来确定用于当前视频块的预测的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定预测。第一权重或第二权重中的至少一个可以预先定义。或者，第一权重或第二权重中的至少一个可以在码流中被指示。
在一些实施例中，在2904，可以基于至少一个目标帧内预测模式来确定用于当前视频块的重建的帧内部分。可以基于帧间编解码工具来确定用于当前视频块的重建的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定重建。或者，可以基于候选编解码工具来确定用于当前视频块的重建的帧间部分，并且可以通过利用针对帧内部分的第一权重和针对帧内部分的第二权重对帧内部分和帧间部分加权来确定重建。第一权重或第二权重中的至少一个可以预先定义。或者，第一权重或第二权重中的至少一个可以在码流中被指示。
在一些实施例中，至少一个目标帧内预测模式可以从第一组候选帧内预测模式中确定。在一个示例中，第一组候选帧内预测模式可以与用于经帧内编解码的视频单元的帧内预测的第二组候选帧内预测模式相同。作为示例，第一组候选帧内预测模式和第二组候选帧内预测模式都可以包括67个帧内预测模式。或者，第一组候选帧内预测模式可以不同于用于经帧内编解码的视频单元的帧内预测的第二组候选帧内预测模式。举例来说，第一组候选帧内预测模式可包括67个帧内预测模式，而第二组候选帧内预测模式可包括30个帧内预测模式。应该理解，上述插图和/或示例仅用于描述目的。本公开的范围在此方面不受限制。
在一些实施例中，第一组候选帧内预测模式中的候选帧内预测模式的数目可以小于第二组候选帧内预测模式中的候选帧内预测模式的数目。作为示例，第二组候选帧内预测模式可以包括67个帧内预测模式，而第一组候选帧内预测模式可以仅包括20个帧内预测模式。由此，可以减少用于确定至少一个帧内预测模式所需的时间。因此，可以提高编解码效率。应该理解，上述说明和/或示例仅用于描述的目的。本公开的范围在这方面不受限制。
在一些实施例中，可以基于视频的编解码信息来确定第一组候选帧内预测模式。例如，编解码信息可以包括以下至少之一：当前视频单元的尺寸、当前视频单元的大小、与当前视频单元相关联的当前图片的尺寸、当前图片的大小、当前视频单元的至少一个相邻视频单元的尺寸、至少一个相邻视频单元的大小、当前视频单元的至少一个非相邻视频单元的尺寸、至少一个非相邻视频单元的大小。当前视频单元的编解码模式、相邻视频单元的编解码模式或非相邻视频单元的编解码模式。应该理解，编解码信息可以包括任何其它合适的信息。本公开的范围不限于这方面。
在一些实施例中，可以在码流中指示是否启用帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合。另外或备选地，可以在码流中指示如何启用帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合。
在一些实施例中，至少一个语法元素可用于指示帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合是否被启用。
在一些实施例中，帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合是否被启用可以基于帧内预测模式中的至少一个目标帧内预测模式是否被确定在码流中被指示。。另外或备选地，帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合是否被启用可以基于帧间编解码工具或候选编解码工具是否被允许在码流中被指示。在又一实施例中，帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合是否被启用可以基于当前视频块的尺寸在码流中被指示。另外或备选地，帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合是否被启用可以基于当前视频块的大小在码流中被指示。另外或备选地，帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合是否被启用可以基于当前视频块的深度在码流中被指示。在另一实施例中，帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合是否被启用可以基于与当前视频块相关联的当前条带的类型和/或与当前视频块相关联的当前图片的类型在码流中被指示。附加地或备选地，帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合是否被启用可以基于与当前视频块相关联的划分树类型和/或当前视频块的位置在码流中被指示。在又一个实施例中，帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合是否被启用可以基于当前视频块的颜色分量在码流中被指示。
在一些实施例中，至少一个语法元素可以包括在序列头中。或者，至少一个语法元素可以包括在图片头中。在另一个实施例中，至少一个语法元素可以包括在序列参数集(SPS)中。或者，至少一个语法元素可以包括在视频参数集(VPS)中。在又一个实施例中，至少一个语法元素可以包括在依赖参数集(DPS)中。或者，至少一个语法元素可以包括在解码能力信息(DCI)中。在进一步的实施例中，至少一个语法元素可以包括在图片参数集(PPS)或自适应参数集(APS)中。或者，至少一个语法元素可以包括在条带头或图块组头中。
在一些实施例中，帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合是否被允许可以取决于至少一个语法元素。
在一些实施例中，可以基于视频的编解码信息来确定是否启用帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合。另外或备选地，可以基于视频的编解码信息来确定如何启用帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合。
在一些实施例中，可以基于第一确定过程来确定至少一个目标帧内预测模式。在一个示例中，第一确定过程可以与用于确定经帧内编解码的视频单元的帧内预测模式的第二确定过程相同。或者，第一确定过程可以不同于用于确定经帧内编解码的视频单元的帧内预测模式的第二确定过程。
在一些实施例中，在2904，可以基于至少一个目标帧内预测模式的至少一个和第一过程来确定预测信号，并且可以基于预测信号来确定当前视频块的预测或重建。在一个示例中，第一过程可以与用于基于在码流中被指示的帧内预测模式确定预测信号的第二过程相同。或者，第一过程可以与用于基于在码流中被指示的帧内预测模式确定预测信号的第二过程不同。
在一些实施例中，第一过程中的至少一个参考样本是经过滤波的。或者，第一过程中的至少一个参考样本是未经过滤波的。在一些实施例中，第一过程中用于对参考样本滤波的滤波器不同于在第二过程中用于对参考样本滤波的滤波器。在一些实施例中，第一过程可以在不使用位置相关预测组合(PDPC)的情况下被执行。另外或备选地，第一过程可以在不使用梯度PDPC的情况下被执行。在一些实施例中，第一过程中使用的帧内插值滤波器可以不同于第二过程中使用的帧内插值滤波器。
在一些实施例中，帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合可以取决于当前视频块的颜色分量。例如，针对第一颜色分量确定的目标帧内预测模式可以不同于针对不同于第一颜色分量的第二颜色分量确定的目标帧内预测模式。在另一示例中，目标帧内预测模式可以针对第一颜色分量被确定，而针对不同于第一颜色分量的第二颜色分量，预定义的帧内预测模式可以被使用。作为示例，预定义的帧内预测模式可以包括平面模式。另外或备选地，预定义的帧内预测模式可以包括DC模式。此外，预定义的帧内预测模式可以包括直接模式。应当理解，以上图示和/或示例的描述仅仅是为了描述的目的，本公开的范围不限于这方面。
在一些实施例中，当前视频块可以以YCbCr颜色格式被编解码，YCbCr颜色格式可以包括亮度分量、第一色度分量和不同于第一色度分量的第二色度分量，第一颜色分量可以是亮度分量，第二颜色分量可以是第一色度分量或第二色度分量。例如，第一颜色分量可以是亮度分量Y，而第二颜色分量可以是色度分量Cb。或者，第一颜色分量可以是亮度分量Y，而第二颜色分量可以是色度分量Cr。
在一些实施例中，当前视频块可以以YCbCr颜色格式被编解码，YCbCr颜色格式可以包括亮度分量、第一色度分量和不同于第一色度分量的第二色度分量。第一颜色分量可以是第一色度分量，第二颜色分量可以是亮度分量或第二色度分量。例如，第一颜色分量可以是色度分量Cb，而第二颜色分量可以是亮度分量Y。或者，第一颜色分量可以是色度分量Cr，而第二颜色分量可以是色度分量Cb。应当理解，上述说明和/或示例仅用于描述的目的。本公开的范围不限于这方面。
在一些实施例中，当前视频块可以以RGB颜色格式被编解码，RGB颜色格式可以包括红色分量、绿色分量和蓝色分量。在一个示例中，第一颜色分量可以是绿色分量，第二颜色分量可以是红色分量。或者，第一颜色分量可以是绿色分量，第二颜色分量可以是蓝色分量。
在一些实施例中，当前视频块可以以RGB颜色格式被编解码，RGB颜色格式可以包括红色分量、绿色分量和蓝色分量。在一个示例中，第一颜色分量可以是红色分量，第二颜色分量可以是绿色分量。或者，第一颜色分量可以是红色分量，第二颜色分量可以是蓝色分量。
在一些实施例中，当前视频块可以以RGB颜色格式被编解码，RGB颜色格式可以包括蓝色分量、绿色分量和蓝色分量。在一个示例中，第一颜色分量可以是红色分量，第二颜色分量可以是绿色分量。或者，第一颜色分量可以是红色分量，第二颜色分量可以是红色分量。
应当理解，当前视频块也可以以任何其它合适的颜色格式经编解码的，并且上述图示和/或示例的描述仅仅是为了描述的目的，本公开的范围不限于这方面。
在一些实施例中，针对当前视频块的第一颜色分量，可以禁用帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合。在2904，可以例如基于至少一个目标帧内预测模式来确定对第一颜色分量的预测。或者，可以基于帧间编解码工具来确定对第一颜色分量的预测。在又一示例中，可以基于候选编解码工具来确定对第一颜色分量的预测。
在一些实施例中，在2904，可以基于至少一个目标帧内预测模式来确定当前视频块的第一候选重建，并且可以基于帧间编解码工具来确定当前视频块的第二候选重建。可以基于第一候选重建和第二候选重建来确定当前视频块的重建。
可选地，在2904，可以基于至少一个目标帧内预测模式来确定当前视频块的第一候选重建，并且可以基于候选编解码工具来确定当前视频块的第二候选重建。可以基于第一候选重建和第二候选重建来确定当前视频块的重建。
在一些实施例中，是否应用根据本公开的一些实施例的方法可以在以下之一指示：序列级别、图片组级别、图片级别、条带级别或图块组级别。另外或备选地，如何应用根据本公开的一些实施例的方法可以在以下之一指示：序列级别、图片组级别、图片级别、条带级别或图块组级别。
在一些实施例中，是否应用根据本公开的一些实施例的方法可以在以下之一中指示：序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、依赖参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头。另外或备选地，如何应用根据本公开的一些实施例的方法可以在以下之一中指示：序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、依赖参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头。
在一些实施例中，是否应用根据本公开的一些实施例的方法可以在以下之一被指示：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块、子图片、或包含多于一个样本或像素的区域。附加地或备选地，如何应用根据本公开的一些实施例的方法可以在以下之一被指示：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块、子图片或包含多于一个样本或像素的区域
在一些实施例中，方法2900还可以包括：基于当前视频单元的经编解码的信息，确定是否和/或如何应用根据本公开的一些实施例的方法。经编解码的信息可以包括以下各项中的至少一项：块大小、颜色格式、单双树划分、双树划分、颜色分量、条带类型、图片类型等。应当理解，上述说明和/或示例的描述仅仅是为了描述的目的。本公开的范围在这方面不受限制。
在一些实施例中，视频的码流可以存储在非暂态计算机可读记录介质中，视频的码流可以通过由视频处理装置执行的方法被生成。根据该方法，可以基于针对当前视频块的邻近重建样本，确定当前视频块的至少一个目标帧内预测模式。可以基于帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合，确定当前视频块的预测或重建。可以基于当前视频的预测或重建生成码流。
在一些实施例中，可以基于当前视频块的邻近重建样本来确定当前视频块的至少一个目标帧内预测模式。可以基于帧间编解码工具或候选编解码工具中的一项与至少一个目标帧内预测模式的组合来确定当前视频块的预测或重建。可以基于当前视频的预测或重建来生成当前视频块的码流。码流可以被存储在非暂态计算机可读记录介质中。
可以根据以下条款来描述本公开的实施方式，这些条款的特征可以以任何合理的方式进行组合。
条款1.一种用于视频处理的方法，包括：在视频的当前视频块与所述视频的码流之间的转换期间，基于所述当前视频块的邻近重建样本，确定针对所述当前视频块的至少一个目标帧内预测模式；基于帧间编解码工具或候选编解码工具中的一项与所述至少一个目标帧内预测模式的组合，确定所述当前视频块的预测或重建，所述候选编解码工具被用于利用与所述当前视频块相关联的当前图片中的样本来确定针对所述当前视频块的参考块；以及基于所述当前视频的所述预测或所述重建，执行所述转换。
条款2.根据条款1所述的方法，其中所述邻近重建样本包括以下至少一项：与所述当前视频块相邻的重建样本，或与所述当前视频块非相邻的重建样本。
条款3.根据条款1-2中任一项所述的方法，其中确定所述至少一个目标帧内预测模式包括：通过使用以下至少一项来确定所述至少一个目标帧内预测模式：解码器侧帧内模式导出(DIMD)，或基于模板的帧内模式导出(TIMD)。
条款4.根据条款1-2中任一项所述的方法，其中所述至少一个目标帧内预测模式是从用于确定帧内预测模式的多个编解码工具中被确定的。
条款5.根据条款1-4中任一项所述的方法，其中所述帧间编解码工具包括目标编解码工具，所述目标编解码工具用于基于多个预测信号确定所述当前视频的所述预测或所述重建。
条款6.根据条款5所述的方法，其中所述目标编解码工具包括以下至少一项：组合的帧间和帧内预测(CIIP)，第一编解码工具，用于将所述当前视频单元分割成用于预测的多个子划分，或者第二编解码工具，用于组合不同的预测信号以得到所述当前视频单元的所述预测。
条款7.根据条款6所述的方法，其中所述第一编解码工具包括几何划分模式(GPM)或三角形划分模式(TPM)，或者所述第二编解码工具包括多假设预测(MHP)。
条款8.根据条款6-7中任一项所述的方法，其中所述目标编解码工具包括所述CIIP，并且帧内预测信号基于所述至少一个目标帧内预测模式和/或至少一个预定义的帧内预测模式被获得。
条款9.根据条款8所述的方法，其中所述至少一个预定义的帧内预测模式包括平面模式。
条款10.根据条款1-9中任一项所述的方法，其中除了CIIP之外，所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合被使用。
条款11.根据条款6-7中任一项所述的方法，其中所述目标编解码工具包括所述第一编解码工具，并且所述多个子划分中的至少一个目标子划分的预测基于所述至少一个目标帧内预测模式被确定。
条款12.根据条款11所述的方法，其中所述至少一个目标子划分是预定义的，或者所述至少一个目标子划分在所述码流中被指示，或者所述至少一个目标子划分基于所述视频的编解码信息被确定。
条款13.根据条款12所述的方法，其中所述编解码信息包括以下至少一项：所述当前视频单元的尺寸，所述当前视频单元的大小，所述当前视频单元的至少一个邻近视频单元的尺寸，或所述至少一个邻近视频单元的大小。
条款14.根据条款12所述的方法，其中所述编解码信息包括所述目标子划分与所述当前视频单元的至少一个邻近视频单元之间的距离。
条款15.根据条款14所述的方法，其中所述至少一个目标子划分与所述当前视频单元的所述至少一个邻近视频单元相邻。
条款16.根据条款6-7中任一项所述的方法，其中所述目标编解码工具包括所述第二编解码工具，并且至少一个预测信号基于所述至少一个目标帧内预测模式被确定。
条款17.根据条款16所述的方法，其中所述至少一个预测信号被分配有预定义的迭代顺序，所述迭代顺序用于确定所述当前视频块的所述预测。
条款18.根据条款17所述的方法，其中所述至少一个预测信号中的一个预测信号被用于第一次迭代或最后一次迭代。
条款19.根据条款16所述的方法，其中确定所述当前视频块的所述预测包括：通过对针对所述当前视频块的所有候选预测信号加权来确定所述当前视频块的所述预测，所述候选预测信号包括所述至少一个预测信号中的一个预测信号。
条款20.根据条款16所述的方法，其中确定所述当前视频块的所述预测包括：通过对所述至少一个预测信号中的一个预测信号和针对所述当前视频块的多个候选预测信号中的一个候选预测信号加权，获得经加权的预测信号；以及基于所述经加权的预测信号和所述多个候选预测信号中的其余信号来确定所述当前视频块的所述预测。
条款21.根据条款8-10中任一项所述的方法，其中所述目标编解码工具还包括所述第一编解码工具或所述第二编解码工具中的至少一个。
条款22.根据条款11-15中任一项所述的方法，其中所述目标编解码工具还包括所述CIIP或所述第二编解码工具中的至少一个。
条款23.根据条款16-20中任一项所述的方法，其中所述目标编解码工具还包括所述CIIP或所述第一编解码工具中的至少一个。
条款24.根据条款1-23中任一项所述的方法，其中所述至少一个目标帧内预测模式包括多个目标帧内预测模式。
条款25.根据条款24所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：基于所述多个目标帧内预测模式中的一个目标帧内预测模式来确定预测信号；以及基于所述预测信号，确定所述当前视频块的所述预测或所述重建。
条款26.根据条款25所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：基于所述多个目标帧内预测模式中的至少两个目标帧内预测模式来确定多个预测信号；通过对所述多个预测信号加权来获得经加权的信号；以及基于所述经加权的信号，确定所述当前视频块的所述预测或所述重建。
条款27.根据条款25所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：基于一组帧内预测模式确定预测信号，所述一组帧内预测模式包括预定义的帧内预测模式和所述多个目标帧内预测模式中的至少一个目标帧内预测模式；通过对所述预测信号加权来获得经加权的信号；以及基于所述经加权的信号，确定所述当前视频块的所述预测或所述重建。
条款28.根据条款1-24中任一项所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：基于所述至少一个目标帧内预测模式，确定用于所述当前视频块的所述预测或所述重建的帧内部分；基于所述帧间编解码工具或所述候选编解码工具，确定用于所述当前视频块的所述预测或所述重建的帧间部分；以及通过利用针对所述帧内部分的第一权重和针对所述帧内部分的第二权重对所述帧内部分和所述帧间部分加权来确定所述预测或所述重建，所述第一权重或第二权重中的至少一个取决于所述视频的编解码信息。
条款29.根据条款28所述的方法，其中所述第一权重大于、或等于、或小于所述第二权重。
条款30.根据条款1-24中任一项所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：基于所述至少一个目标帧内预测模式，确定用于所述当前视频块的所述预测或所述重建的帧内部分；基于所述帧间编解码工具或所述候选编解码工具，确定用于所述当前视频块的所述预测或所述重建的帧间部分；以及通过利用针对所述帧内部分的第一权重和针对所述帧内部分的第二权重对所述帧内部分和所述帧间部分加权来确定所述预测或所述重建，所述第一权重或所述第二权重中的至少一个取决于所述当前视频单元的邻近视频单元的编解码模式。
条款31.根据条款1-24中任一项所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：基于所述至少一个目标帧内预测模式，确定用于所述当前视频块的所述预测或所述重建的帧内部分；基于所述帧间编解码工具或所述候选编解码工具，确定用于所述当前视频块的所述预测或所述重建的帧间部分；以及通过利用针对所述帧内部分的第一权重和针对所述帧内部分的第二权重对所述帧内部分和所述帧间部分加权来确定所述预测或所述重建，所述第一权重或所述第二权重中的至少一个取决于在所述至少一个目标帧内预测模式的确定期间被获得的变量。
条款32.根据条款28-31中任一项所述的方法，其中所述第一权重与针对帧内部分的权重相同或不同，所述帧内部分基于在所述码流中被指示的帧内预测模式被获得。
条款33.根据条款1-24中任一项所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：基于所述至少一个目标帧内预测模式，确定用于所述当前视频块的所述预测或所述重建的帧内部分；基于所述帧间编解码工具或所述候选编解码工具，确定用于所述当前视频块的所述预测或所述重建的帧间部分；以及通过利用针对所述帧内部分的第一权重和针对所述帧内部分的第二权重对所述帧内部分和所述帧间部分加权来确定所述预测或所述重建，所述第一权重或所述第二权重中的至少一个是预先定义的或在所述码流中被指示。
条款34.根据条款1-33中任一项所述的方法，其中所述至少一个目标帧内预测模式是从第一组候选帧内预测模式中被确定的，并且所述第一组候选帧内预测模式与用于经帧内编解码的视频单元的帧内预测的第二组候选帧内预测模式相同或不同。
条款35.根据条款34所述的方法，其中所述第一组候选帧内预测模式中的候选帧内预测模式的数目小于所述第二组候选帧内预测模式中的候选帧内预测模式的数目。
条款36.根据条款34-35中任一项所述的方法，其中所述第一组候选帧内预测模式基于所述视频的编解码信息被确定。
条款37.根据条款36所述的方法，其中所述编解码信息包括以下至少一项：所述当前视频单元的尺寸，所述当前视频单元的大小，与所述当前视频单元相关联的当前图片的尺寸，所述当前图片的大小，所述当前视频单元的至少一个相邻视频单元的尺寸，所述至少一个相邻视频单元的大小，所述当前视频单元的至少一个非相邻视频单元的尺寸，所述至少一个非相邻视频单元的大小，所述当前视频单元的编解码模式，所述相邻视频单元的编解码模式，或所述非相邻视频单元的编解码模式。
条款38.根据条款1-37中任一项所述的方法，其中以下至少一项在所述码流中被指示：是否启用所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合，或者如何启用所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合。
条款39.根据条款28所述的方法，其中至少一个语法元素被用于指示所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合是否被启用。
条款40.根据条款39所述的方法，其中所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合是否被启用基于以下至少一项在所述码流中被指示：帧内预测模式中的所述至少一个目标帧内预测模式是否可以被确定，所述帧间编解码工具或所述候选编解码工具是否被允许，所述当前视频块的尺寸，所述当前视频块的大小，所述当前视频块的深度，与所述当前视频块相关联的当前条带的类型，与所述当前视频块相关联的当前图片的类型，与所述当前视频块相关联的划分树类型，所述当前视频块的位置，或所述当前视频块的颜色分量。
条款41.根据条款39-40中任一项所述的方法，其中所述至少一个语法元素被包括在以下一项中：序列头，图片头，序列参数集(SPS)，视频参数集(VPS)，依赖参数集(DPS)，解码能力信息(DCI)，图片参数集(PPS)，自适应参数集(APS)，条带头，或者图块组头。
条款42.根据条款1-31中任一项所述的方法，其中所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合是否被允许取决于至少一个语法元素。
条款43.根据条款1-37中任一项所述的方法，其中以下至少一项基于所述视频的编解码信息被确定：是否启用所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合，或者如何启用所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合。
条款44.根据条款1-43中任一项所述的方法，其中所述至少一个目标帧内预测模式基于第一确定过程被确定，并且所述第一确定过程与用于确定针对经帧内编解码的视频单元的帧内预测模式的第二确定过程相同或不同。
条款45.根据条款1-44中任一项所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：基于所述至少一个目标帧内预测模式中的至少一个和第一过程来确定预测信号，所述第一过程与用于基于在所述码流中被指示的帧内预测模式确定预测信号的第二过程相同或不同；以及基于所述预测信号确定所述当前视频块的所述预测或所述重建。
条款46.根据条款45所述的方法，其中所述第一过程中的至少一个参考样本是经过滤波的或未经过滤波的。
条款47.根据条款45-46中任一项所述的方法，其中在所述第一过程中用于对参考样本滤波的滤波器不同于在所述第二过程中用于对参考样本滤波的滤波器。
条款48.根据条款45-47中任一项所述的方法，其中所述第一过程在不使用以下至少一项的情况下被执行：位置相关预测组合(PDPC)，或梯度PDPC。
条款49.根据条款45-48中任一项所述的方法，其中在所述第一过程中被使用的帧内插值滤波器不同于在所述第二过程中被使用的帧内插值滤波器。
条款50.根据条款1-49中任一项所述的方法，其中所述候选编解码工具包括帧内块复制(IBC)。
条款51.根据条款1-50中任一项所述的方法，其中所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合取决于所述当前视频块的颜色分量。
条款52.根据条款51所述的方法，其中针对第一颜色分量被确定的目标帧内预测模式不同于针对不同于所述第一颜色分量的第二颜色分量被确定的目标帧内预测模式。
条款53.根据条款51所述的方法，其中目标帧内预测模式针对第一颜色分量被确定，并且预定义的帧内预测模式针对不同于所述第一颜色分量的第二颜色分量被使用。
条款54.根据条款53所述的方法，其中所述预定义的帧内预测模式包括以下至少一项：平面模式，DC模式，或者直接模式。
条款55.根据条款53-54中任一项所述的方法，其中所述当前视频块以YCbCr颜色格式被编解码，所述YCbCr颜色格式包括亮度分量、第一色度分量和不同于所述第一色度分量的第二色度分量，所述第一颜色分量是所述亮度分量，并且所述第二颜色分量是所述第一色度分量或所述第二色度分量。
条款56.根据条款53-54中任一项所述的方法，其中所述当前视频块以YCbCr颜色格式被编解码，所述YCbCr颜色格式包括亮度分量、第一色度分量和不同于所述第一色度分量的第二色度分量，所述第一颜色分量是所述第一色度分量，并且所述第二颜色分量是所述亮度分量或所述第二色度分量。
条款57.根据条款53-54中任一项所述的方法，其中所述当前视频块以RGB颜色格式被编解码，所述RGB颜色格式包括红色分量、绿色分量和蓝色分量，所述第一颜色分量是所述绿色分量，并且所述第二颜色分量是所述红色分量或所述蓝色分量。
条款58.根据条款53-54中任一项所述的方法，其中所述当前视频块以RGB颜色格式被编解码，所述RGB颜色格式包括红色分量、绿色分量和蓝色分量，所述第一颜色分量是所述红色分量，并且所述第二颜色分量是所述绿色分量或所述蓝色分量。
条款59.根据条款53-54中任一项所述的方法，其中所述当前视频块以RGB颜色格式被编解码，所述RGB颜色格式包括蓝色分量、绿色分量和蓝色分量，所述第一颜色分量是所述红色分量，并且所述第二颜色分量是所述绿色分量或所述红色分量。
条款60.根据条款51所述的方法，其中针对所述当前视频块的第一颜色分量，所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合被禁用，并且确定所述当前视频块的所述预测包括：基于以下一项确定针对所述第一颜色分量的预测：所述至少一个目标帧内预测模式，所述帧间编解码工具，或者所述候选编解码工具。
条款61.根据条款1-6中任一项所述的方法，其中确定所述当前视频块的所述重建包括：基于所述至少一个目标帧内预测模式，确定所述当前视频块的第一候选重建；基于所述帧间编解码工具或所述候选编解码工具中的一项，确定所述当前视频块的第二候选重建；以及基于所述第一候选重建和所述第二候选重建，确定所述当前视频块的所述重建。
条款62.根据条款1-61中任一项所述的方法，其中是否和/或如何应用所述方法在以下一项中被指示：序列级别，图片组级别，图片级别，条带级别，或图块组级别。
条款63.根据条款1-61中任一项所述的方法，其中是否和/或如何应用所述方法在以下一项中被指示：序列头，图片头，序列参数集(SPS)，视频参数集(VPS)，依赖参数集(DPS)，解码能力信息(DCI)，图片参数集(PPS)，自适应参数集(APS)，条带头，或者图块组头。
条款64.根据条款1-61中任一项所述的方法，其中是否和/或如何应用所述方法在以下一项中被指示：预测块(PB)，变换块(TB)，编解码块(CB)，预测单元(PU)，变换单元(TU)，编解码单元(CU)，虚拟流水线数据单元(VPDU)，编解码树单元(CTU)，CTU行，条带，图块，子图片，或包含多于一个样本或像素的区域。
条款65.根据条款1-61中任一项所述的方法，还包括：基于所述当前视频单元的经编解码的信息，确定是否和/或如何应用所述方法，所述经编解码的信息包括以下至少一项：块大小，颜色格式，单树划分，双树划分，颜色分量，条带类型，或图片类型。
条款66.根据条款1-65中任一项所述的方法，其中所述转换包括将所述当前视频块编码到所述码流中。
条款67.根据条款1-65中任一项所述的方法，其中所述转换包括从所述码流解码所述当前视频块。
条款68.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据条款1-67中任一项的方法。
条款69.一种非暂态计算机可读存储介质，存储使处理器执行根据条款1-67中任一项的方法的指令。
条款70.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：基于针对所述视频的当前视频块的邻近重建样本，确定所述当前视频块的至少一个目标帧内预测模式；基于帧间编解码工具或候选编解码工具中的一项与所述至少一个目标帧内预测模式的组合，确定所述当前视频块的预测或重建，所述候选编解码工具被用于利用与所述当前视频块相关联的当前图片中的样本来确定针对所述当前视频块的参考块；以及基于所述当前视频的所述预测或所述重建生成所述码流。
条款71.一种用于存储视频的码流的方法，包括：基于针对所述视频的当前视频块的邻近重建样本，确定所述当前视频块的至少一个目标帧内预测模式；基于帧间编解码工具或候选编解码工具中的一项与所述至少一个目标帧内预测模式的组合，确定所述当前视频块的预测或重建，所述候选编解码工具被用于利用与所述当前视频块相关联的当前图片中的样本来确定针对所述当前视频块的参考块；基于所述当前视频的所述预测或所述重建生成所述码流；以及将所述码流存储在非暂态计算机可读记录介质中。
示例设备
图30示出了可以在其中实现本公开的各种实施例的计算设备3000的框图。计算设备3000可以被实现为源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)，或者可以被包括在源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)中。
应当理解的是，图30中示出的计算设备3000仅为了说明的目的，而不是以任何方式暗示对本公开实施例的功能和范围的任何限制
如图30所示，计算设备3000包括通用计算设备3000。计算设备3000可以至少包括一个或多个处理器或处理单元3010、存储器3020、存储单元3030、一个或多个通信单元3040、一个或多个输入设备3050以及一个或多个输出设备3060。
在一些实施例中，计算设备3000可以被实现为具有计算能力的任何用户终端或服务器终端。服务器终端可以是由服务提供商提供的服务器、大型计算设备等。用户终端例如可以是任何类型的移动终端、固定终端或便携式终端，包括移动电话、站、单元、设备、多媒体计算机、多媒体平板计算机、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、个人通信***(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或其任何组合，并且包括这些设备的附件和***设备或其任何组合。可以设想的是，计算设备3000可以支持到用户的任何类型的接口(诸如“可穿戴”电路装置等)。
处理单元3010可以是物理处理器或虚拟处理器，并且可以基于存储在存储器3020中的程序实现各种处理。在多处理器***中，多个处理单元并行地执行计算机可执行指令，以便改善计算设备3000的并行处理能力。处理单元3010也可以被称为中央处理单元(CPU)、微处理器、控制器或微控制器。
计算设备3000通常包括各种计算机存储介质。这样的介质可以是由计算设备3000可访问的任何介质，包括但不限于易失性介质和非易失性介质、或可拆卸介质和不可拆卸介质。存储器3020可以是易失性存储器(例如，寄存器、高速缓存、随机存取存储器(RAM))、非易失性存储器(诸如只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或闪存)或其任何组合。存储单元3030可以是任何可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如存储器、闪存驱动器、磁盘或其他可以被用于存储信息和/或数据并且可以在计算设备3000中被访问的介质。
计算设备3000还可以包括附加的可拆卸/不可拆卸存储介质、易失性/非易失性存储介质。尽管在图30中未示出，但是可以提供用于从可拆卸的非易失性磁盘读取和/或写入可拆卸的非易失性磁盘的磁盘驱动器，以及用于从可拆卸的非易失性光盘读取和/或写入可拆卸的非易失性光盘的光盘驱动器。在这种情况下，每个驱动器可以经由一个或多个数据介质接口连接到总线(未示出)。
通信单元3040经由通信介质与另一计算设备通信。另外，计算设备3000中的组件的功能可以由可以经由通信连接进行通信的单个计算集群或多个计算机器来实现。因此，计算设备3000可以使用与一个或多个其他服务器、联网个人计算机(PC)或其他通用网络节点的逻辑连接来在联网环境中运行。
输入设备3050可以是各种输入设备中的一种或多种输入设备，诸如鼠标、键盘、轨迹球、语音输入设备等。输出设备3060可以是各种输出设备中的一种或多种输出设备，诸如显示器、扬声器、打印机等。借助于通信单元3040，计算设备3000还可以与一个或多个外部设备(未示出)通信，外部设备诸如是存储设备和显示设备，计算设备3000还可以与一个或多个使用户能够与计算设备3000交互的设备通信，或任何使计算设备3000能够与一个或多个其他计算设备通信的设备(例如网卡、调制解调器等)通信，如果需要的话。这种通信可以经由输入/输出(I/O)接口(未示出)进行。
在一些实施例中，计算设备3000的一些或所有组件也可以被布置在云计算架构中，而不是被集成在单个设备中。在云计算架构中，组件可以被远程提供并且共同工作，以实现本公开中描述的功能。在一些实施例中，云计算提供计算、软件、数据访问和存储服务，这将不要求最终用户知晓提供这些服务的***或硬件的物理位置或配置。在各种实施例中，云计算使用合适的协议经由广域网(例如互联网)提供服务。例如，云计算提供商通过广域网提供应用程序，可以通过网络浏览器或任何其他计算组件访问这些应用程序。云计算架构的软件或组件以及对应的数据可以存储在远程服务器上。云计算环境中的计算资源可以被合并或分布在远程数据中心的位置。云计算基础设施可以通过共享数据中心提供服务，尽管它们表现为作为用户的单一接入点。因此，云计算架构可与被用于从远程位置的服务提供商处提供本文所述的组件和功能。备选地，它们可以由常规服务器提供，或者直接或以其他方式安装在客户端设备上。
在本公开的实施例中，计算设备3000可以被用于实现视频编码/解码。存储器3020可以包括具有一个或多个程序指令的一个或多个视频编解码模块3025。这些模块能够由处理单元3010访问和执行，以执行本文描述的各种实施例的功能。
在执行视频编码的示例实施例中，输入设备3050可以接收视频数据作为待编码的输入3070。视频数据可以由例如视频编解码模块3025处理，以生成经编码的码流。经编码的码流可以经由输出设备3060作为输出3080被提供。
在执行视频解码的示例实施例中，输入设备3050可以接收经编码的码流作为输入3070。经编码的码流可以由例如视频编解码模块3025处理，以生成经解码的视频数据。经解码的视频数据可以经由输出设备3060作为输出3080被提供。
虽然已经参考本公开的优选实施例具体示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求限定的本申请的精神和范围的情况下，可以在形式和细节上进行各种改变。这些变化旨在由本申请的范围所涵盖。因此，本申请的实施例的前述描述不旨在是限制性的。

Claims (71)

1.一种用于视频处理的方法，包括：
在视频的当前视频块与所述视频的码流之间的转换期间，基于所述当前视频块的邻近重建样本，确定针对所述当前视频块的至少一个目标帧内预测模式；
基于帧间编解码工具或候选编解码工具中的一项与所述至少一个目标帧内预测模式的组合，确定所述当前视频块的预测或重建，所述候选编解码工具被用于利用与所述当前视频块相关联的当前图片中的样本来确定针对所述当前视频块的参考块；以及
基于所述当前视频的所述预测或所述重建，执行所述转换。
2.根据权利要求1所述的方法，其中所述邻近重建样本包括以下至少一项：
与所述当前视频块相邻的重建样本，或
与所述当前视频块非相邻的重建样本。
3.根据权利要求1-2中任一项所述的方法，其中确定所述至少一个目标帧内预测模式包括：
通过使用以下至少一项来确定所述至少一个目标帧内预测模式：
解码器侧帧内模式导出(DIMD)，或
基于模板的帧内模式导出(TIMD)。
4.根据权利要求1-2中任一项所述的方法，其中所述至少一个目标帧内预测模式是从用于确定帧内预测模式的多个编解码工具中被确定的。
5.根据权利要求1-4中任一项所述的方法，其中所述帧间编解码工具包括目标编解码工具，所述目标编解码工具用于基于多个预测信号确定所述当前视频的所述预测或所述重建。
6.根据权利要求5所述的方法，其中所述目标编解码工具包括以下至少一项：
组合的帧间和帧内预测(CIIP)，
第一编解码工具，用于将所述当前视频单元分割成用于预测的多个子划分，或者
第二编解码工具，用于组合不同的预测信号以得到所述当前视频单元的所述预测。
7.根据权利要求6所述的方法，其中所述第一编解码工具包括几何划分模式(GPM)或三角形划分模式(TPM)，或者
所述第二编解码工具包括多假设预测(MHP)。
8.根据权利要求6-7中任一项所述的方法，其中所述目标编解码工具包括所述CIIP，并且帧内预测信号基于所述至少一个目标帧内预测模式和/或至少一个预定义的帧内预测模式被获得。
9.根据权利要求8所述的方法，其中所述至少一个预定义的帧内预测模式包括平面模式。
10.根据权利要求1-9中任一项所述的方法，其中除了CIIP之外，所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合被使用。
11.根据权利要求6-7中任一项所述的方法，其中所述目标编解码工具包括所述第一编解码工具，并且所述多个子划分中的至少一个目标子划分的预测基于所述至少一个目标帧内预测模式被确定。
12.根据权利要求11所述的方法，其中所述至少一个目标子划分是预定义的，或者
所述至少一个目标子划分在所述码流中被指示，或者
所述至少一个目标子划分基于所述视频的编解码信息被确定。
13.根据权利要求12所述的方法，其中所述编解码信息包括以下至少一项：
所述当前视频单元的尺寸，
所述当前视频单元的大小，
所述当前视频单元的至少一个邻近视频单元的尺寸，或
所述至少一个邻近视频单元的大小。
14.根据权利要求12所述的方法，其中所述编解码信息包括所述目标子划分与所述当前视频单元的至少一个邻近视频单元之间的距离。
15.根据权利要求14所述的方法，其中所述至少一个目标子划分与所述当前视频单元的所述至少一个邻近视频单元相邻。
16.根据权利要求6-7中任一项所述的方法，其中所述目标编解码工具包括所述第二编解码工具，并且至少一个预测信号基于所述至少一个目标帧内预测模式被确定。
17.根据权利要求16所述的方法，其中所述至少一个预测信号被分配有预定义的迭代顺序，所述迭代顺序用于确定所述当前视频块的所述预测。
18.根据权利要求17所述的方法，其中所述至少一个预测信号中的一个预测信号被用于第一次迭代或最后一次迭代。
19.根据权利要求16所述的方法，其中确定所述当前视频块的所述预测包括：
通过对针对所述当前视频块的所有候选预测信号加权来确定所述当前视频块的所述预测，所述候选预测信号包括所述至少一个预测信号中的一个预测信号。
20.根据权利要求16所述的方法，其中确定所述当前视频块的所述预测包括：
通过对所述至少一个预测信号中的一个预测信号和针对所述当前视频块的多个候选预测信号中的一个候选预测信号加权，获得经加权的预测信号；以及
基于所述经加权的预测信号和所述多个候选预测信号中的其余信号来确定所述当前视频块的所述预测。
21.根据权利要求8-10中任一项所述的方法，其中所述目标编解码工具还包括所述第一编解码工具或所述第二编解码工具中的至少一个。
22.根据权利要求11-15中任一项所述的方法，其中所述目标编解码工具还包括所述CIIP或所述第二编解码工具中的至少一个。
23.根据权利要求16-20中任一项所述的方法，其中所述目标编解码工具还包括所述CIIP或所述第一编解码工具中的至少一个。
24.根据权利要求1-23中任一项所述的方法，其中所述至少一个目标帧内预测模式包括多个目标帧内预测模式。
25.根据权利要求24所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：
基于所述多个目标帧内预测模式中的一个目标帧内预测模式来确定预测信号；以及
基于所述预测信号，确定所述当前视频块的所述预测或所述重建。
26.根据权利要求25所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：
基于所述多个目标帧内预测模式中的至少两个目标帧内预测模式来确定多个预测信号；
通过对所述多个预测信号加权来获得经加权的信号；以及
基于所述经加权的信号，确定所述当前视频块的所述预测或所述重建。
27.根据权利要求25所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：
基于一组帧内预测模式确定预测信号，所述一组帧内预测模式包括预定义的帧内预测模式和所述多个目标帧内预测模式中的至少一个目标帧内预测模式；
通过对所述预测信号加权来获得经加权的信号；以及
基于所述经加权的信号，确定所述当前视频块的所述预测或所述重建。
28.根据权利要求1-24中任一项所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：
基于所述至少一个目标帧内预测模式，确定用于所述当前视频块的所述预测或所述重建的帧内部分；
基于所述帧间编解码工具或所述候选编解码工具，确定用于所述当前视频块的所述预测或所述重建的帧间部分；以及
通过利用针对所述帧内部分的第一权重和针对所述帧内部分的第二权重对所述帧内部分和所述帧间部分加权来确定所述预测或所述重建，所述第一权重或第二权重中的至少一个取决于所述视频的编解码信息。
29.根据权利要求28所述的方法，其中所述第一权重大于、或等于、或小于所述第二权重。
30.根据权利要求1-24中任一项所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：
基于所述至少一个目标帧内预测模式，确定用于所述当前视频块的所述预测或所述重建的帧内部分；
基于所述帧间编解码工具或所述候选编解码工具，确定用于所述当前视频块的所述预测或所述重建的帧间部分；以及
通过利用针对所述帧内部分的第一权重和针对所述帧内部分的第二权重对所述帧内部分和所述帧间部分加权来确定所述预测或所述重建，所述第一权重或所述第二权重中的至少一个取决于所述当前视频单元的邻近视频单元的编解码模式。
31.根据权利要求1-24中任一项所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：
基于所述至少一个目标帧内预测模式，确定用于所述当前视频块的所述预测或所述重建的帧内部分；
基于所述帧间编解码工具或所述候选编解码工具，确定用于所述当前视频块的所述预测或所述重建的帧间部分；以及
通过利用针对所述帧内部分的第一权重和针对所述帧内部分的第二权重对所述帧内部分和所述帧间部分加权来确定所述预测或所述重建，所述第一权重或所述第二权重中的至少一个取决于在所述至少一个目标帧内预测模式的确定期间被获得的变量。
32.根据权利要求28-31中任一项所述的方法，其中所述第一权重与针对帧内部分的权重相同或不同，所述帧内部分基于在所述码流中被指示的帧内预测模式被获得。
33.根据权利要求1-24中任一项所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：
基于所述至少一个目标帧内预测模式，确定用于所述当前视频块的所述预测或所述重建的帧内部分；
基于所述帧间编解码工具或所述候选编解码工具，确定用于所述当前视频块的所述预测或所述重建的帧间部分；以及
通过利用针对所述帧内部分的第一权重和针对所述帧内部分的第二权重对所述帧内部分和所述帧间部分加权来确定所述预测或所述重建，所述第一权重或所述第二权重中的至少一个是预先定义的或在所述码流中被指示。
34.根据权利要求1-33中任一项所述的方法，其中所述至少一个目标帧内预测模式是从第一组候选帧内预测模式中被确定的，并且所述第一组候选帧内预测模式与用于经帧内编解码的视频单元的帧内预测的第二组候选帧内预测模式相同或不同。
35.根据权利要求34所述的方法，其中所述第一组候选帧内预测模式中的候选帧内预测模式的数目小于所述第二组候选帧内预测模式中的候选帧内预测模式的数目。
36.根据权利要求34-35中任一项所述的方法，其中所述第一组候选帧内预测模式基于所述视频的编解码信息被确定。
37.根据权利要求36所述的方法，其中所述编解码信息包括以下至少一项：
所述当前视频单元的尺寸，
所述当前视频单元的大小，
与所述当前视频单元相关联的当前图片的尺寸，
所述当前图片的大小，
所述当前视频单元的至少一个相邻视频单元的尺寸，
所述至少一个相邻视频单元的大小，
所述当前视频单元的至少一个非相邻视频单元的尺寸，
所述至少一个非相邻视频单元的大小，
所述当前视频单元的编解码模式，
所述相邻视频单元的编解码模式，或
所述非相邻视频单元的编解码模式。
38.根据权利要求1-37中任一项所述的方法，其中以下至少一项在所述码流中被指示：
是否启用所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合，或者
如何启用所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合。
39.根据权利要求28所述的方法，其中至少一个语法元素被用于指示所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合是否被启用。
40.根据权利要求39所述的方法，其中所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合是否被启用基于以下至少一项在所述码流中被指示：
帧内预测模式中的所述至少一个目标帧内预测模式是否可以被确定，
所述帧间编解码工具或所述候选编解码工具是否被允许，
所述当前视频块的尺寸，
所述当前视频块的大小，
所述当前视频块的深度，
与所述当前视频块相关联的当前条带的类型，
与所述当前视频块相关联的当前图片的类型，
与所述当前视频块相关联的划分树类型，
所述当前视频块的位置，或
所述当前视频块的颜色分量。
41.根据权利要求39-40中任一项所述的方法，其中所述至少一个语法元素被包括在以下一项中：
序列头，
图片头，
序列参数集(SPS)，
视频参数集(VPS)，
依赖参数集(DPS)，
解码能力信息(DCI)，
图片参数集(PPS)，
自适应参数集(APS)，
条带头，或者
图块组头。
42.根据权利要求1-31中任一项所述的方法，其中所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合是否被允许取决于至少一个语法元素。
43.根据权利要求1-37中任一项所述的方法，其中以下至少一项基于所述视频的编解码信息被确定：
是否启用所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合，或者
如何启用所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合。
44.根据权利要求1-43中任一项所述的方法，其中所述至少一个目标帧内预测模式基于第一确定过程被确定，并且所述第一确定过程与用于确定针对经帧内编解码的视频单元的帧内预测模式的第二确定过程相同或不同。
45.根据权利要求1-44中任一项所述的方法，其中确定所述当前视频块的所述预测或所述重建包括：
基于所述至少一个目标帧内预测模式中的至少一个和第一过程来确定预测信号，所述第一过程与用于基于在所述码流中被指示的帧内预测模式确定预测信号的第二过程相同或不同；以及
基于所述预测信号确定所述当前视频块的所述预测或所述重建。
46.根据权利要求45所述的方法，其中所述第一过程中的至少一个参考样本是经过滤波的或未经过滤波的。
47.根据权利要求45-46中任一项所述的方法，其中在所述第一过程中用于对参考样本滤波的滤波器不同于在所述第二过程中用于对参考样本滤波的滤波器。
48.根据权利要求45-47中任一项所述的方法，其中所述第一过程在不使用以下至少一项的情况下被执行：
位置相关预测组合(PDPC)，或
梯度PDPC。
49.根据权利要求45-48中任一项所述的方法，其中在所述第一过程中被使用的帧内插值滤波器不同于在所述第二过程中被使用的帧内插值滤波器。
50.根据权利要求1-49中任一项所述的方法，其中所述候选编解码工具包括帧内块复制(IBC)。
51.根据权利要求1-50中任一项所述的方法，其中所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合取决于所述当前视频块的颜色分量。
52.根据权利要求51所述的方法，其中针对第一颜色分量被确定的目标帧内预测模式不同于针对不同于所述第一颜色分量的第二颜色分量被确定的目标帧内预测模式。
53.根据权利要求51所述的方法，其中目标帧内预测模式针对第一颜色分量被确定，并且预定义的帧内预测模式针对不同于所述第一颜色分量的第二颜色分量被使用。
54.根据权利要求53所述的方法，其中所述预定义的帧内预测模式包括以下至少一项：
平面模式，
DC模式，或者
直接模式。
55.根据权利要求53-54中任一项所述的方法，其中所述当前视频块以YCbCr颜色格式被编解码，所述YCbCr颜色格式包括亮度分量、第一色度分量和不同于所述第一色度分量的第二色度分量，所述第一颜色分量是所述亮度分量，并且所述第二颜色分量是所述第一色度分量或所述第二色度分量。
56.根据权利要求53-54中任一项所述的方法，其中所述当前视频块以YCbCr颜色格式被编解码，所述YCbCr颜色格式包括亮度分量、第一色度分量和不同于所述第一色度分量的第二色度分量，所述第一颜色分量是所述第一色度分量，并且所述第二颜色分量是所述亮度分量或所述第二色度分量。
57.根据权利要求53-54中任一项所述的方法，其中所述当前视频块以RGB颜色格式被编解码，所述RGB颜色格式包括红色分量、绿色分量和蓝色分量，所述第一颜色分量是所述绿色分量，并且所述第二颜色分量是所述红色分量或所述蓝色分量。
58.根据权利要求53-54中任一项所述的方法，其中所述当前视频块以RGB颜色格式被编解码，所述RGB颜色格式包括红色分量、绿色分量和蓝色分量，所述第一颜色分量是所述红色分量，并且所述第二颜色分量是所述绿色分量或所述蓝色分量。
59.根据权利要求53-54中任一项所述的方法，其中所述当前视频块以RGB颜色格式被编解码，所述RGB颜色格式包括蓝色分量、绿色分量和蓝色分量，所述第一颜色分量是所述红色分量，并且所述第二颜色分量是所述绿色分量或所述红色分量。
60.根据权利要求51所述的方法，其中针对所述当前视频块的第一颜色分量，所述帧间编解码工具或所述候选编解码工具中的一项与所述至少一个目标帧内预测模式的所述组合被禁用，并且确定所述当前视频块的所述预测包括：
基于以下一项确定针对所述第一颜色分量的预测：
所述至少一个目标帧内预测模式，
所述帧间编解码工具，或者
所述候选编解码工具。
61.根据权利要求1-6中任一项所述的方法，其中确定所述当前视频块的所述重建包括：
基于所述至少一个目标帧内预测模式，确定所述当前视频块的第一候选重建；
基于所述帧间编解码工具或所述候选编解码工具中的一项，确定所述当前视频块的第二候选重建；以及
基于所述第一候选重建和所述第二候选重建，确定所述当前视频块的所述重建。
62.根据权利要求1-61中任一项所述的方法，其中是否和/或如何应用所述方法在以下一项中被指示：
序列级别，
图片组级别，
图片级别，
条带级别，或
图块组级别。
63.根据权利要求1-61中任一项所述的方法，其中是否和/或如何应用所述方法在以下一项中被指示：
序列头，
图片头，
序列参数集(SPS)，
视频参数集(VPS)，
依赖参数集(DPS)，
解码能力信息(DCI)，
图片参数集(PPS)，
自适应参数集(APS)，
条带头，或者
图块组头。
64.根据权利要求1-61中任一项所述的方法，其中是否和/或如何应用所述方法在以下一项中被指示：
预测块(PB)，
变换块(TB)，
编解码块(CB)，
预测单元(PU)，
变换单元(TU)，
编解码单元(CU)，
虚拟流水线数据单元(VPDU)，
编解码树单元(CTU)，
CTU行，
条带，
图块，
子图片，或
包含多于一个样本或像素的区域。
65.根据权利要求1-61中任一项所述的方法，还包括：
基于所述当前视频单元的经编解码的信息，确定是否和/或如何应用所述方法，所述经编解码的信息包括以下至少一项：
块大小，
颜色格式，
单树划分，
双树划分，
颜色分量，
条带类型，或
图片类型。
66.根据权利要求1-65中任一项所述的方法，其中所述转换包括将所述当前视频块编码到所述码流中。
67.根据权利要求1-65中任一项所述的方法，其中所述转换包括从所述码流解码所述当前视频块。
68.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-67中任一项的方法。
69.一种非暂态计算机可读存储介质，存储使处理器执行根据权利要求1-67中任一项的方法的指令。
70.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：
基于针对所述视频的当前视频块的邻近重建样本，确定所述当前视频块的至少一个目标帧内预测模式；
基于帧间编解码工具或候选编解码工具中的一项与所述至少一个目标帧内预测模式的组合，确定所述当前视频块的预测或重建，所述候选编解码工具被用于利用与所述当前视频块相关联的当前图片中的样本来确定针对所述当前视频块的参考块；以及
基于所述当前视频的所述预测或所述重建生成所述码流。
71.一种用于存储视频的码流的方法，包括：
基于针对所述视频的当前视频块的邻近重建样本，确定所述当前视频块的至少一个目标帧内预测模式；
基于帧间编解码工具或候选编解码工具中的一项与所述至少一个目标帧内预测模式的组合，确定所述当前视频块的预测或重建，所述候选编解码工具被用于利用与所述当前视频块相关联的当前图片中的样本来确定针对所述当前视频块的参考块；
基于所述当前视频的所述预测或所述重建生成所述码流；以及将所述码流存储在非暂态计算机可读记录介质中。
CN202280046059.7A 2021-07-01 2022-06-30 用于视频处理的方法、设备和介质 Pending CN117769836A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2021104117 2021-07-01
CNPCT/CN2021/104117 2021-07-01
PCT/CN2022/102956 WO2023274372A1 (en) 2021-07-01 2022-06-30 Method, device, and medium for video processing

Publications (1)

Publication Number Publication Date
CN117769836A true CN117769836A (zh) 2024-03-26

Family

ID=84692551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280046059.7A Pending CN117769836A (zh) 2021-07-01 2022-06-30 用于视频处理的方法、设备和介质

Country Status (3)

Country Link
US (1) US20240236334A9 (zh)
CN (1) CN117769836A (zh)
WO (1) WO2023274372A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024149267A1 (en) * 2023-01-10 2024-07-18 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2024149344A1 (en) * 2023-01-13 2024-07-18 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677480B1 (ko) * 2010-09-07 2016-11-21 에스케이 텔레콤주식회사 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
CN112868240B (zh) * 2018-10-23 2023-06-30 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间预测编解码
WO2020156464A1 (en) * 2019-01-31 2020-08-06 Mediatek Inc. Method and apparatus of combined inter and intraprediction for video coding
WO2020243295A1 (en) * 2019-05-31 2020-12-03 Bytedance Inc. Palette mode with intra block copy prediction
US11336900B2 (en) * 2019-06-26 2022-05-17 Qualcomm Incorporated Combined inter and intra prediction mode for video coding
CN114641999A (zh) * 2019-09-10 2022-06-17 三星电子株式会社 使用工具集的图像解码装置及其图像解码方法、和图像编码装置及其图像编码方法

Also Published As

Publication number Publication date
US20240236334A9 (en) 2024-07-11
WO2023274372A1 (en) 2023-01-05
US20240137529A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
US20240205392A1 (en) Method, device, and medium for video processing
CN117769836A (zh) 用于视频处理的方法、设备和介质
US20240195982A1 (en) Method, device, and medium for video processing
WO2023016408A1 (en) Method, apparatus, and medium for video processing
WO2022247884A1 (en) Method, device, and medium for video processing
CN118020300A (zh) 用于视频处理的方法、装置和介质
CN117616754A (zh) 用于视频处理的方法、设备和介质
CN117561714A (zh) 用于视频处理的方法、设备和介质
CN117957837A (zh) 用于视频处理的方法、装置和介质
US20240259560A1 (en) Method, device, and medium for video processing
CN117581544A (zh) 用于视频处理所述的方法、设备和介质
WO2024114701A1 (en) Method, apparatus, and medium for video processing
WO2024153151A1 (en) Method, apparatus, and medium for video processing
CN117581536A (zh) 用于视频处理的方法、设备和介质
US20240187575A1 (en) Method, apparatus, and medium for video processing
WO2024146432A1 (en) Method, apparatus, and medium for video processing
WO2023016424A1 (en) Method, apparatus, and medium for video processing
CN118044182A (zh) 用于视频处理的方法、设备和介质
WO2024030926A9 (en) Method, apparatus, and medium for video processing
CN117501690A (zh) 用于视频处理的方法、设备和介质
WO2024138169A2 (en) Method, apparatus, and medium for video processing
WO2024081734A1 (en) Method, apparatus, and medium for video processing
CN117678223A (zh) 视频处理的方法、装置和介质
CN117581538A (zh) 视频处理的方法、设备和介质
CN118251885A (zh) 用于视频处理的方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination