CN113519157B

CN113519157B - 视频处理中滤波信息的两级信令

Info

Publication number: CN113519157B
Application number: CN202080016215.6A
Authority: CN
Inventors: 张莉; 张凯; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-03-04
Filing date: 2020-03-04
Publication date: 2023-12-26
Anticipated expiration: 2040-03-04
Also published as: US11206406B1; US20210400310A1; WO2020177702A1; CN113475074A; CN117560509A; CN113475072B; CN113519157A; WO2020177703A1; US20220038705A1; US11172216B1; US11695945B2; WO2020177704A1; CN113475072A

Abstract

提供了一种视频处理方法，包括：执行包括一个或多个视频区域的视频的编码表示与所述视频之间的转换，其中，所述编码表示包括在第一级处的第一侧信息，其中从所述第一侧信息导出在第二级处的第二侧信息，使得所述第二边信息提供用于以环路整形(ILR)编码的视频单元的参数和/或用于缩放色度视频单元的色度残差的参数，在所述环路整形中视频区域的所述视频单元的重构基于第一域和第二域中的视频单元的表示。

Description

视频处理中滤波信息的两级信令

相关申请的交叉引用

根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求2019年3月4日提交的国际专利申请No.PCT/CN2019/076852、2019年3月11日交的国际专利申请No.PCT/CN2019/077643、以及2019年3月17日提交的国际专利申请No.PCT/CN2019/078410的优先权和权益。根据法律下的所有目的，将上述申请的全部公开以参考方式并入本文，作为本申请公开的一部分。

技术领域

本专利文件涉及视频处理技术、设备和***。

背景技术

目前，正在努力提高当前视频编解码器技术的性能，以提供更好的压缩比，或提供允许较低复杂度或并行实现的视频编解码和解码方案。业内专家最近提出了几种新的视频处理工具，目前正在进行测试，以确定它们的有效性。

发明内容

与数字视频处理相关的设备、***和方法，例如，在视频处理中使用其他工具的基于块的环路整形。它可以应用于如HEVC的现有的视频编解码标准，或待定的标准(多功能视频编解码)。它也可适用于未来的视频编解码标准或视频编解码器。

在一个代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该方法包括：执行包括一个或多个视频区域的视频的编解码表示与视频之间的转换，其中，编解码表示包括适用于一个或多个视频区域中的一些的环路整形(ILR)的边信息，其中，边信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的视频单元的参数、和/或用于缩放色度视频单元的色度残差的参数，并且其中，在没有直接从其他视频区域继承的情况下编解码适用于一个或多个视频区域中的一些的边信息。

在另一代表性方面，所公开的技术可用于提供另一种用于视频处理的方法。该方法包括：执行包括一个或多个视频区域的视频的编解码表示与视频之间的转换，其中，编解码表示包括适用于一个或多个视频区域中的一些的环路整形(ILR)的边信息，其中，边信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的视频单元的参数、和/或用于缩放色度视频单元的色度残差的参数，并且其中，编解码表示包括包含当前视频块的视频区域级处的边信息。

在另一代表性方面，所公开的技术可用于提供另一种用于视频处理的方法。该方法包括：使用来自视频区域的样点，为视频的视频区域的当前视频块与视频的编解码表示之间的转换确定当前视频块的预测块，其中，基于指定使用与当前视频块相关联的环路整形(ILR)信息的推导规则，来确定来自视频区域的样点的不可用样点；以及基于预测块执行转换，其中，环路整形信息包括用于基于第一域和第二域中的视频单元的表示重构视频区域的视频单元的信息、和/或用于缩放色度视频单元的色度残差的信息。

在另一代表性方面，所公开的技术可用于提供另一种用于视频处理的方法。该方法包括：使用环路整形过程执行视频的当前视频块和视频的编解码表示之间的转换，其中，环路整形过程包括：从运动补偿预测或帧内预测获得预测块；将前向整形应用于预测块，以在第一域中生成前向整形预测块；基于前向整形预测块重构视频的编解码表示，以在第二域中生成第一重构块；将反向整形应用于第一重构块以获得反向重构块；将环路滤波器应用于反向重构块以获得最终重构块，并且其中，在环路整形过程期间使用单个剪切过程。

在另一代表性方面，所公开的技术可用于提供另一种用于视频处理的方法。该方法包括：执行包括一个或多个视频区域的视频的编解码表示和视频之间的转换，其中，编解码表示包括环路整形(ILR)信息，环路整形(ILR)信息适用于基于第一域和第二域中的视频单元的表示重构视频区域的视频单元、和/或缩放色度视频单元的色度残差，并且其中，根据ILR信息，基于第一域和/或第二域中的剪切参数将剪切过程用于转换。

在另一代表性方面，所公开的技术可用于提供另一种用于视频处理的方法。该方法包括：执行包括一个或多个视频区域的视频的编解码表示和视频之间的转换，其中，编解码表示包括适用于一个或多个区域中的一些的环路整形(ILR)的信息，其中，信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的视频单元的ILR参数、和/或用于缩放色度视频单元的色度残差的ILR参数，并且其中，ILR参数包括在规则期间根据剪切过程的规则使用的剪切参数。

在另一代表性方面，所公开的技术可用于提供另一种用于视频处理的方法。方法包括：确定是否为包括一个或多个视频区域的视频的编解码表示与视频之间的转换启用环路整形(ILR)；以及基于确定执行转换，其中，基于根据与ILR相关联的信息所导出的ILR剪切参数和/或与ILR相关联的信息无关的固定剪切参数将剪切过程用于转换，并且其中，与ILR相关联的信息适用于基于第一域和第二域中的视频单元的表示的视频区域的视频单元的重构、和/或缩放色度视频单元的色度残差。

在另一代表性方面，所公开的技术可用于提供另一种用于视频处理的方法。该方法包括：执行视频的作为色度块的当前视频块和视频的编解码表示之间的转换，其中，编解码表示包括适用于一个或多个视频区域中的一些的环路整形(ILR)的边信息，其中边信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的视频单元的参数、和/或缩放色度视频单元的色度残差的参数，并且其中，转换还包括：基于边信息将整形过程应用于当前视频块的一个或多个色度分量。

在另一代表性方面，所公开的技术可用于提供另一种用于视频处理的方法。该方法包括：执行包括一个或多个视频区域的视频的编解码表示与视频之间的转换，其中，编解码表示包括适用于一个或多个视频区域中的一些的环路整形(ILR)的边信息，其中，边信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的视频单元的参数、和/或用于缩放色度视频单元的色度残差的参数，并且其中，根据规则确定当前视频区域的边信息，规则不允许基于当前视频区域的时域层索引继承或预测边信息。

在另一代表性方面，所公开的技术可用于提供另一种用于视频处理的方法。该方法包括：执行包括一个或多个视频区域的视频的编解码表示与视频之间的转换，其中，编解码表示包括适用于一个或多个视频区域中的一些的环路整形(ILR)的边信息，其中，边信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的视频单元的参数、和/或用于缩放色度视频单元的色度残差的参数，并且其中，根据规则确定当前视频区域的边信息，规则不允许从第一类型的另一图片继承或预测边信息。

在另一代表性方面，所公开的技术可用于提供另一种用于视频处理的方法。该方法包括：执行包括一个或多个视频区域的视频的编解码表示与视频之间的转换，其中，编解码表示包括在第一级处的第一边信息，其中从第一边信息导出在第二级处的第二边信息，使得第二边信息提供用于以环路整形(ILR)编解码的视频单元的参数和/或用于缩放色度视频单元的色度残差的参数，该环路整形中视频区域的视频单元的重构基于第一域和第二域中的视频单元的表示。

上述公开方法中的一个或多个可以是编码器侧实现方式或解码器侧实现方式。

此外，在代表性方面，公开了一种视频***中的装置，其包括处理器和其上具有指令的非暂时性存储器。在处理器执行指令时，指令使处理器实现所公开的方法的任一项或多项。

此外，公开了一种存储在非暂时性计算机可读介质上的计算机程序产品，计算机程序产品包括用于实现所公开的方法的任一项或多项的程序代码。

在附图、说明书和权利要求书中更详细地描述了所公开技术的上述和其他方面及特征。

附图说明

图1示出了构造Merge候选列表的示例。

图2示出了空域候选的位置的示例。

图3示出了受空域Merge候选的冗余检查的候选对的示例。

图4A和4B示出了基于当前块的尺寸和形状的第二预测单元(PU)的位置的示例。

图5示出了时域Merge候选的运动矢量缩放的示例。

图6示出了时域Merge候选的候选位置的示例。

图7示出了生成组合双向预测Merge候选的示例。

图8示出了构造运动矢量预测候选的示例。

图9示出了空域运动矢量候选的运动矢量缩放的示例。

图10示出了可选时域运动矢量预测(ATMVP)的示例。

图11示出了空域时域运动矢量预测的示例。

图12示出了用于导出局部照明补偿参数的邻域样点的示例。

图13A和13B分别示出了与4参数仿射模型和6参数仿射模型相关的图示。

图14示出了每个子块的仿射运动矢量场的示例。

图15A和15B分别示出了4参数仿射模型和6参数仿射模型的示例。

图16示出了继承仿射候选的仿射帧间模式的运动矢量预测的示例。

图17示出了构造仿射候选的仿射帧间模式的运动矢量预测的示例。

图18A和18B示出了与仿射Merge模式结合的图示。

图19示出了仿射Merge模式的候选位置的示例

图20示出了最终矢量表达(UMVE)搜索过程的示例。

图21示出了UMVE搜索点的示例。

图22示出了解码器侧运动矢量细化(DMVR)的示例。

图23示出了用整形步骤的解码的框图流程图。

图24示出了双边滤波器中的样点的示例。

图25示出了用于权重计算的窗口样点的示例。

图26示出了示例扫描模式。

图27A和27B是用于实现本文档所述的视觉媒体处理的硬件平台的示例的框图。

图28A至28C示出了基于所公开技术的一些实现方法的视频处理的示例方法的流程图。

具体实施方式

1.HEVC/H.265中的视频编解码

视频编解码标准主要是通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视频，并且这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262开始，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立，以致力于目标是与HEVC相比降低50％比特率的VVC标准。可以在以下位置找到VVC草案的最新版本(即，多功能视频编解码(草案2))：

http://phenix.it-

sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K1001-v7.zip

可以在以下位置找到VVC的最新参考软件(名为VTM):

https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-2.1

2.1HEVC/H.265中的帧间预测

每个帧间预测的PU都有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。两个参考图片列表之一的使用也可以使用inter_pred_idc信令通知。运动矢量可显式地编解码为相对于预测符的增量。

当CU采用跳过模式编解码时，一个PU与CU相关联，并且没有显著的残差系数，没有编解码运动矢量增量或参考图片索引。指定了一种Merge模式，通过该模式，从邻域PU(包括空域和时域候选)中获取当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU，而不仅用于跳过模式。Merge模式的替代例是运动参数的显式传输，其中运动矢量(更精确地，与运动矢量预测符相比的运动矢量差(MVD))、每个参考图片列表的对应的参考图片索引、以及参考图片列表使用都会根据每个PU显式地信令通知。在本公开中，这样的模式被命名为高级运动矢量预测(AMVP)。

当信令指示要使用两个参考图片列表中的一个时，从一个样点的块中生成PU。这被称为“单向预测”。单向预测对P条带(slice)和B条带都可用。

当信令指示要使用两个参考图片列表时，从两个样点块中生成PU。这被称为“双向预测”。双向预测仅对B条带可用。

下文提供了在HEVC中规定的关于帧间预测模式的细节。描述将从Merge模式开始。

2.1.1参考图片列表

在HEVC中，术语帧间预测用于表示从除了当前解码图片之外的参考图片的数据元素(例如，样点值或运动矢量)导出的预测。如在H.264/AVC中一样，可以从多个参考图片预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引标识列表中的哪些参考图片应该用于创建预测信号。

单个参考图片列表(列表0)用于P条带，并且两个参考图片列表(列表0和列表1)用于B条带。需要注意的是，列表0/1中包括的参考图片就捕获/显示顺序而言可以来自过去和将来的图片。

2.1.2 Merge模式

2.1.2.1 Merge模式的候选的推导

当使用Merge模式预测PU时，从比特流中解析指向Merge候选列表中条目的索引，并且使用该索引来撷取运动信息。在HEVC标准中规定了此列表的构造，并且可根据以下步骤顺序进行概括：

步骤1：初始候选推导

步骤1.1：空域候选推导

步骤1.2：空域候选的冗余检查

步骤1.3：时域候选推导

步骤2：附加候选***

步骤2.1：创建双向预测候选

步骤2.2：***零运动候选

在图1中也示意性地示出了这些步骤。对于空域Merge候选推导，在位于五个不同位置的候选中最多选择四个Merge候选。对于时域Merge候选推导，在两个候选中最多选择一个Merge候选。由于在解码器处假定每个PU的候选数恒定，因此当从步骤1获得的候选数未达到条带标头中信令通知的最大Merge候选数(maxNumMergeCand)时，生成附加的候选。由于候选数是恒定的，所以最佳Merge候选的索引使用截断的一元二值化(TU)进行编码。如果CU的尺寸等于8，则当前CU的所有PU都共享一个Merge候选列表，这与2N×2N预测单元的Merge候选列表相同。

在下文中，详细描述与前述步骤相关联的操作。

2.1.2.2空域候选推导

在空域Merge候选的推导中，在位于图2所示位置的候选中最多选择四个Merge候选。推导的顺序为A₁、B₁、B₀、A₀和B₂。只有当位置A₁、B₁、B₀、A₀的任何PU不可用(例如，因为它属于另一个条带或片)或是帧内编解码时，才考虑位置B₂。在增加位置A₁的候选后，对剩余候选的增加进行冗余检查，其确保具有相同运动信息的候选被排除在列表之外，从而提高编解码效率。为了降低计算的复杂度，在所提到的冗余检查中并不考虑所有可能的候选对。代替地，只有用图3的箭头连接的对才会被考虑，并且只有当用于冗余检查的对应候选没有相同的运动信息时，才将候选添加到列表中。复制运动信息的另一个来源是与2N×2N不同的分割相关的“第二PU”。例如，图4A和4B分别描述了N×2N和2N×N情况下的第二PU。当当前的PU被分割为N×2N时，对于列表构造不考虑A₁位置的候选。实际上，通过添加此候选将导致两个具有相同运动信息的预测单元，这对于在编解码单元中仅具有一个PU是冗余的。同样地，当当前PU被分割为2N×N时，不考虑位置B₁。

2.1.2.3时域候选推导

在此步骤中，只有一个候选添加到列表中。特别地，在这个时域Merge候选的推导中，基于属于与给定参考图片列表中当前图片具有最小POC差的图片的并置PU导出了缩放运动矢量。要用于推导并置PU的参考图片列表在条带标头中显式地信令通知。获取时域Merge候选的缩放运动矢量(如图5中虚线所示)，其使用POC距离tb和td从并置PU的运动矢量进行缩放，其中tb定义为当前图片的参考图片和当前图片之间的POC差，并且td定义为并置图片的参考图片与并置图片之间的POC差。时域Merge候选的参考图片索引设置为等于零。HEVC规范中描述了缩放过程的实际实现。对于B条带，得到两个运动矢量(一个是对于参考图片列表0，另一个是对于参考图片列表1)并将其组合使其成为双向预测Merge候选。

在属于参考帧的并置PU(Y)中，在候选C₀和C₁之间选择时域候选的位置，如图6所示。如果位置C₀处的PU不可用、是帧内编解码的或在当前编解码树单元(CTU又称为LCU，最大编解码单元)行之外，则使用位置C₁。否则，位置C₀用于时域Merge候选的推导。

2.1.2.4附加候选***

除了空域和时域Merge候选，还有两种附加类型的Merge候选：组合双向预测Merge候选和零Merge候选。组合双向预测Merge候选是利用空域和时域Merge候选生成的。组合双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一候选的第二参考图片列表运动参数相结合，生成组合双向预测候选。如果这两个元组提供不同的运动假设，它们将形成新的双向预测候选。作为示例，图7示出了该情形，其中原始列表(在左方)中具有mvL0和refIdxL0或mvL1和refIdxL1的两个候选被用于创建添加到最终列表(在右侧)中的组合双向预测Merge候选。存在关于被认为生成这些附加Merge候选的组合的许多规则。

***零运动候选以填充Merge候选列表中的剩余条目，从而达到MaxNumMergeCand的容量。这些候选具有零空域位移和参考图片索引，该参考图片索引从零开始并且每当将新的零运动候选添加到列表时都会增加。最终，对这些候选不执行冗余检查。

2.1.3AMVP

AMVP利用运动矢量与邻域PU的空域时域相关性，该空域时域相关性用于运动参数的显式传输。对于每个参考图片列表，通过首先检查左方、上方的时域邻域PU位置的可用性、移除冗余候选并且加上零矢量以使候选列表长度恒定，来构造运动矢量候选列表。然后，编码器可以从候选列表中选择最佳预测符，并发送指示所选候选的对应索引。与Merge索引信令类似，最佳运动矢量候选的索引使用截断的一元进行编码。在这种情况下，要编码的最大值是2(参见图8)。在以下各章节中，提供了关于运动矢量预测候选的推导过程的细节。

2.1.3.1 AMVP候选的推导

图8概括了运动矢量预测候选的推导过程。

在运动矢量预测中，考虑了两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选的推导，基于位于图2所示的五个不同位置的每个PU的运动矢量最终导出两个运动矢量候选。

对于时域运动矢量候选的推导，从基于两个不同的并置位置推导出的两个候选中选择一个运动矢量候选。在制作第一个空域时域候选列表后，移除列表中重复的运动矢量候选。如果潜在候选的数量大于二，则从列表中移除其在相关联的参考图片列表中的参考图片索引大于1的运动矢量候选。如果空域时域运动矢量候选数小于二，则向列表添加附加的零运动矢量候选。

2.1.3.2空域运动矢量候选

在推导空域运动矢量候选时，在五个潜在候选中最多考虑两个候选，这五个候选来自图2所示位置上的PU，这些位置与运动Merge的位置相同。当前PU左方的推导的顺序定义为A₀、A₁、以及缩放的A₀、缩放的A₁。当前PU上侧的推导的顺序定义为B₀、B₁、B₂、缩放的B₀、缩放的B₁、缩放的B₂。因此，每侧有四种可以用作运动矢量候选的情况，其中两种情况不使用空域缩放，并且两种情况使用空域缩放。四种不同的情况概括如下：

--无空域缩放

(1)相同的参考图片列表，以及相同的参考图片索引(相同的POC)

(2)不同的参考图片列表，但是相同的参考图片(相同的POC)

--空域缩放

(3)相同的参考图片列表，但是不同的参考图片(不同的POC)

(4)不同的参考图片列表，以及不同的参考图片(不同的POC)

首先检查无空域缩放的情况，然后检查空域缩放。当POC在邻域PU的参考图片与当前PU的参考图片之间不同时，都会考虑空域缩放，而不管参考图片列表如何。如果左方候选的所有PU都不可用或是帧内编解码，则允许对上方运动矢量进行缩放，以帮助左方和上方MV候选的并行推导。否则，不允许对上方运动矢量进行空域缩放。

在空域缩放处理中，以与时域缩放类似的方式缩放邻域PU的运动矢量，如图9所示。主要区别是，给定当前PU的参考图片列表和索引作为输入；实际的缩放过程与时域缩放过程相同。

2.1.3.3时域运动矢量候选

除了参考图片索引的推导外，时域Merge候选的所有推导过程与空域运动矢量候选的推导过程相同(参见图6)。将参考图片索引信令通知给解码器。

2.2JEM中基于子CU的运动矢量预测方法

在具有QTBT的JEM中，每个CU对于每个预测方向最多可以具有运动参数的集合。通过将大的CU划分成子CU并导出大的CU的所有子CU的运动信息，在编码器中考虑了两种子CU级的运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU从并置参考图片中小于当前CU的多个块中提取运动信息的多个集合。在空域时域运动矢量预测(STMVP)方法中，通过使用时域运动矢量预测符和空域邻接运动矢量递归地推导子CU的运动矢量。

2.2.1可选时域运动矢量预测

图10示出了可选时域运动矢量预测(ATMVP)的示例。

在可选时域运动矢量预测(ATMVP)方法中，运动矢量时域运动矢量预测(TMVP)是通过从小于当前CU的块中提取多组运动信息(包括运动矢量和参考索引)来修改的。子CU为方形N×N块(默认N设置为4)。

ATMVP分两步预测CU内的子CU的运动矢量。第一步是用所谓的时域矢量识别参考图片中的对应块。参考图片称为运动源图片。第二步是将当前CU划分成子CU，并从每个子CU对应的块中获取运动矢量以及每个子CU的参考索引。

在第一步中，参考图片和对应的块由当前CU的空域邻域块的运动信息确定。为了避免邻域块的重复扫描过程，使用当前CU的Merge候选列表中的第一Merge候选。第一可用的运动矢量及其相关联的参考索引被设置为时域矢量和运动源图片的索引。这样，在ATMVP中，与TMVP相比，可以更准确地识别对应的块，其中对应的块(有时称为并置块)始终位于相对于当前CU的右下方或中心位置。

在第二步中，通过将时域矢量添加到当前CU的坐标中，由运动源图片中的时域矢量识别子CU的对应块。对于每个子CU，使用其对应块的运动信息(覆盖中心样点的最小运动网格)来推导子CU的运动信息。在识别出对应N×N块的运动信息后，以与HEVC的TMVP相同的方法将其转换为当前子CU的运动矢量和参考索引，其中应用运动缩放和其它进程。例如，解码器检查是否满足低延迟条件(即，当前图片的所有参考图片的POC都小于当前图片的POC)，并可能使用运动矢量MV_x(与参考图片列表X对应的运动矢量)来为每个子CU预测运动矢量MV_y(X等于0或1且Y等于1-X)。

2.2.2空域时域运动矢量预测(STMVP)

在这种方法中，子CU的运动矢量是按照光栅扫描顺序递归推导的。图11说明了该概念。考虑一个8×8的CU，它包含四个4×4的子CU A、B、C和D。当前帧中邻域4×4的块标记为a、b、c和d。

子CU A的运动推导通过识别其两个空域领域(neighbor)开始。第一个领域是子CUA上方的N×N块(块c)。如果该块c不可用或是帧内编解码，则检查子CU A上方的其它N×N块(从左到右，从块c处开始)。第二个领域是子CU A左方的一个块(块b)。如果块b不可用或是帧内编解码，则检查子CU A左方的其它块(从上到下，从块b处开始)。每个列表从邻域块获得的运动信息被缩放到给定列表的第一个参考帧。接下来，按照HEVC中规定的与TMVP推导相同的进程，推导子块A的时域运动矢量预测(TMVP)。提取位置D处的并置块的运动信息并进行相应的缩放。最后，在撷取和缩放运动信息后，对每个参考列表分别平均所有可用的运动矢量(最多3个)。将平均运动矢量分配作为当前子CU的运动矢量。

2.2.3子CU运动预测模式信令通知

子CU模式作为附加的Merge候选启用，并且没有附加的语法元素来信令通知该模式。将两个附加的Merge候选添加到每个CU的Merge候选列表中，以表示ATMVP模式和STMVP模式。如果序列参数集指示启用ATMVP和STMVP，则最多使用七个Merge候选。附加Merge候选的编解码逻辑与HM中的Merge候选的编码逻辑相同，这意味着对于P条带或B条带中的每个CU，需要对两个附加的Merge候选再进行两次RD检查。

在JEM中，Merge索引的所有bin都由CABAC进行上下文编解码。然而在HEVC中，只有第一bin是上下文编解码的，并且剩余bin是上下文旁路编解码的。

2.3 JEM中的局部照明补偿

局部照明补偿(LIC)基于使用比例因子a和偏移b的照明变化的线性模型。并且对每个帧间模式编解码的编解码单元(CU)自适应地启用或禁用局部照明补偿。

当LIC应用于CU时，通过使用当前CU的邻域样点及其对应的参考样点，使用最小二乘法来推导参数a和b。更具体地，如图12所示，使用参考图片中CU的子采样(2:1子采样)邻域样点和对应的样点(由当前CU或子CU的运动信息识别)。

2.2.4.预测块的推导

分别为每个预测方向推导和应用IC参数。对于每个预测方向，使用解码的运动信息生成第一预测块，然后通过应用LIC模型获得临时预测块。然后，利用这两个临时预测块导出最终预测块。

当CU是以Merge模式编解码时，以类似于Merge模式中的运动信息复制的方式从邻域块复制LIC标志；否则，为CU信令通知LIC标志以指示是否应用LIC。

当对图片启用LIC时，需要附加的CU级RD检查来确定是否为CU应用LIC。当为CU启用LIC时，分别为整数像素运动搜索和分数像素运动搜索使用去除平均的绝对差值求和(MR-SAD)和去除平均的绝对Hadamard变换差值求和(MR-SATD)，而不是SAD和SATD。

为了降低编码复杂度，在JEM中采用了以下编码方案。

·当当前图片与其参考图片之间没有明显的照明变化时，对整个图片禁用LIC。为了识别这种情况，在编码器处计算当前图片的直方图和当前图片的每个参考图片。如果当前图片和当前图片的每个参考图片之间的直方图差小于给定的阈值，则对当前图片禁用LIC；否则，对当前图片启用LIC。

2.3 VVC中的帧间预测方法

存在几种新的用于帧间预测改进的编解码工具，诸如用于信令通知MVD的自适应运动矢量差分辨率(AMVR)、仿射预测模式、三角预测模式(TPM)、ATMVP、广义双向预测(GBI)、双向光流(BIO)。

2.3.1的VVC中的编解码块结构

在VVC中，采用四叉树/二叉树/多叉树(QT/BT/TT)结构，以将图像分成正方形或矩形块。

除QT/BT/TT外，对于I帧，VVC中还采用了分离树(又称为双编解码树)。使用分离树，为亮度和色度分量分别信令通知编解码块结构。

2.3.2自适应运动矢量差分辨率

在HEVC中，当在条带标头中use_integer_mv_flag等于0时，运动矢量差(MVD)(在PU的运动矢量和预测运动矢量之间)以四分之一亮度样点为单位信令通知。在VVC中，引入了局部自适应运动矢量分辨率(AMVR)。在VVC中，MVD可以用四分之一亮度样点、整数亮度样点或四亮度样点(即1/4像素、1像素、4像素)的单位进行编解码。MVD分辨率控制在编解码单元(CU)级处，并且为具有至少一个非零MVD分量的每个CU有条件地信令通知MVD分辨率标志。

对于具有至少一个非零MVD分量的CU，信令通知第一个标志以指示CU中是否使用四分之一亮度样点MV精度。当第一个标志(等于1)指示不使用四分之一亮度样点MV精度时，信令通知另一个标志以指示是使用整数亮度样点MV精度还是使用四亮度样点MV精度。

当CU的第一个MVD分辨率标志为零或没有为CU编解码(意味着CU中的所有MVD都为零)时，CU使用四分之一亮度样点MV分辨率。当CU使用整数亮度样点MV精度或四亮度样点MV精度时，该CU的AMVP候选列表中的MVP将取整到对应的精度。

2.3.3仿射运动补偿预测

在HEVC中，仅将平移运动模型应用于运动补偿预测(MCP)。然而，在真实世界中存在多种运动，例如放大/缩小、旋转、透视运动和其他不规则运动。在VVC中，采用4参数仿射模型和6参数仿射模型的简化仿射变换运动补偿预测。如图13A和13B所示，对于4参数仿射模型，块的仿射运动场由两个控制点运动矢量(CPMV)描述，对于6参数仿射模型，块的仿射运动场由三个CPMV描述。

分别用以下等式来描述块的运动矢量场(MVF)，其中等式(1)中是4参数仿射模型(其中4参数被定义为变量a、b、e和f)且等式(2)中是6参数仿射模型(其中6参数被定义为变量a、b、c、d、e和f)：

其中(mv^h ₀,mv^h ₀)为左上角控制点(CP)的运动矢量，并且(mv^h ₁,mv^h ₁)为右上角控制点的运动矢量，并且(mv^h ₂,mv^h ₂)为左下角控制点的运动矢量，所有这三个运动矢量被称为控制点运动矢量(CPMV)，(x，y)表示代表点相对于当前块内的左上样点的代表点的坐标，并且(mv^h(x,y),mv^v(x,y))是为位于(x，y)处的样点导出的运动矢量。CP运动矢量可以被信令通知(如在仿射AMVP模式中)或者是即时(on-the-fly)导出(如在仿射Merge模式中)。w和h是当前块的宽度和高度。实际上，除法是通过带取整操作的右移来实现的。在VTM中，代表点被定义为子块的中心位置，例如，当子块的左上相对于当前块内的左上样点的坐标为(xs，ys)时，代表点的坐标被定义为(xs+2，ys+2)。对于每个子块(即VTM中的4×4)，利用代表点以导出整个子块的运动矢量。

为了进一步简化运动补偿预测，应用基于子块的仿射变换预测。为了导出每个M×N(在当前VVC中M和N二者都被设置为4)子块的运动矢量，如图14所示的每个子块的中心样点的运动矢量根据等式(1)和(2)计算出，并被取整到1/16分数准确度。然后应用1/16像素的运动补偿插值滤波器，以利用导出的运动矢量生成每个子块的预测。通过仿射模式引入1/16像素的插值滤波器。

在MCP之后，取整每个子块的高准确度运动矢量，并将其保存为与常规运动矢量相同的准确度。

2.3.3.1仿射预测的信令

与平移运动模型类似，仿射预测也有用于信令通知边信息的两种模式。它们是AFFINE_INTER模式和AFFINE_MERGE模式。

2.3.3.2 AF_INTER模式

对于宽度和高度都大于8的CU，可以应用AF_INTER模式。在比特流中信令通知CU级中的仿射标志被，以指示是否使用AF_INTER模式。

在该模式中，对于每个参考图片列表(列表0或列表1)，按照以下顺序用三种类型的仿射运动预测符构造仿射AMVP候选列表，其中每个候选包括当前块的估计的CPMV。信令通知在编码器侧发现的最佳CPMV(例如图17中的mv₀mv₁mv₂)与估计的CPMV的差异。此外，进一步信令通知从中导出估计的CPMV的仿射AMVP候选的索引。

1)继承的仿射运动预测符

检查顺序与在HEVC AMVP列表构造中空域MVP的检查顺序相似。首先，从{A1，A0}中的第一块导出左方继承的仿射运动预测符，该第一块是仿射编解码的且具有与当前块相同的参考图片。其次，从{B1，B0，B2}中的第一块导出上方继承的仿射运动预测符，该第一块是仿射编解码的且具有与当前块相同的参考图片。图16描绘了五个块A1、A0、B1、B0、B2。

一旦发现邻域块用仿射模式编解码，则使用覆盖邻域块的编解码单元的CPMV来导出当前块的CPMV的预测符。例如，如果A1用非仿射模式编解码，并且A0用4参数仿射模式编解码，则将从A0导出左方继承的仿射MV预测符。在这种情况下，利用覆盖A0的CU的CPMV(如图18B中左上CPMV表示为的和右上CPMV表示为/>)来导出当前块的估计的CPMV，对于该当前块的左上(坐标为(x0，y0))、右上(坐标为(x1，y1))和右下(坐标为(x2，y2))位置表示为/>

2)构造的仿射运动预测符

如图17所示，构造的仿射运动预测符由从具有相同参考图片的邻域帧间编解码块导出的控制点运动矢量(CPMV)构成。如果当前仿射运动模型为4参数仿射，则CPMV的数量为2；否则，如果当前仿射运动模型为6参数仿射，则CPMV的数量为3。左上CPMV由组{A，B，C}中的第一块处的MV导出，该第一块是帧间编解码的且具有与当前块相同的参考图片。右上CPMV/>由组{D，E}中的第一块处的MV导出，该第一块是帧间编解码的且具有与当前块相同的参考图片。左下CPMV/>由组{F，G}中的第一块处的MV导出，该第一块是帧间编解码的且具有与当前块相同的参考图片。

–如果当前仿射运动模型是4参数仿射，则只有和/>两者都被找到(也就是说，/>和/>被用作当前块的左上(坐标为(x0，y0))和右上(坐标为(x1，y1))位置的估计的CPMV)，才将构造的仿射运动预测符***候选列表。

–如果当前仿射运动模型是6参数仿射，则只有和/>都被找到(也就是说，/>和/>被用作当前块的左上(坐标为(x0，y0))、右上(坐标为(x1，y1))和右下(坐标为(x2，y2))位置的估计的CPMV)，才将构造的仿射运动预测符***候选列表。

在将构造的仿射运动预测符***候选列表中时，不应用修剪过程。

3)常规AMVP运动预测符

以下适用，直到仿射运动预测符的数量达到最大值。

1)如果可用，通过将所有CPMV设置为等于来导出仿射运动预测符。

2)如果可用，通过将所有CPMV设置为等于来导出仿射运动预测符。

3)如果可用，通过将所有CPMV设置为等于来导出仿射运动预测符。

4)如果可用，通过将所有CPMV设置为等于HEVC TMVP来导出仿射运动预测符。

5)通过将所有CPMV设置为等于零MV来导出仿射运动预测符。

注意，已在构造的仿射运动预测符中导出

在AF_INTER模式中，当使用4/6参数仿射模式时，可以使用2/3个控制点，并且因而需要对这些控制点编解码2/3个MVD，如图15A和15B所示。在JVET-K0337中，提出如下导出MV，即从mvd₀预测mvd₁和mvd₂。

其中，mvd_i和mv₁分别是左上像素(i＝0)、右上像素(i＝1)或左下像素(i＝2)的预测运动矢量、运动矢量差和运动矢量，如图15B所示。注意的是，两个运动矢量的相加(例如，mvA(xA，yA)和mvB(xB，yB))分别等于两个分量的总和。也就是说，newMV＝mvA+mvB，并且newMV的两个分量分别设置为(xA+xB)和(yA+yB)。

2.3.3.3 AF_MERGE模式

当在AF_MERGE模式中应用CU时，它从有效的邻域重构块中获得以仿射模式编解码的第一块。并且候选块的选择顺序是从左、上、右上、左下到左上，如图18A所示(依次表示为A、B、C、D、E)。例如，如果邻域左下块用仿射模式编解码(如图18B中A0表示的)，则提取包含块A的邻域CU/PU的左上角、右上角和左下角的控制点(CP)运动矢量mv₀ ^N、mv₁ ^N和mv₂ ^N。并且基于mv₀ ^N、mv₁ ^N和mv₂ ^N计算出当前CU/PU上的左上角/右上/左下的运动矢量mv₀ ^C、mv₁ ^C和mv₂ ^C(仅用于6参数仿射模型)，应注意的是，在VTM-2.0中，如果当前块是仿射编解码的，则位于左上角的子块(例如，VTM中的4×4块)存储mv0，位于右上角的子块存储mv1。如果当前块用6参数仿射模型编解码，则位于左下角的子块存储mv2；否则(用4参数仿射模型)，LB存储mv2′。其他子块存储用于MC的MV。

在导出当前CU的CPMV mv₀ ^C、mv₁ ^C和mv₂ ^C之后，根据等式(1)和(2)中的简化的仿射运动模型，生成当前CU的MVF。为了识别当前CU是否以AF_MERGE模式编解码，当至少一个邻域块以仿射模式编解码时，在比特流中信令通知仿射标志。

在JVET-L0142和JVET-L0632中，用以下步骤来构造仿射Merge候选：

1)***继承的仿射候选

继承的仿射候选是指该候选是从其有效邻域仿射编解码块的仿射运动模型导出的。从邻域块的仿射运动模型中最多导出两个继承的仿射候选并***候选列表中。对于左方预测符，扫描顺序是{A0，A1}；对于上方预测符，扫描顺序是{B0，B1，B2}。

2)***构造仿射候选

如果仿射Merge候选列表中的候选数小于MaxNumAffineCand(例如，5)，则将构造仿射候选***候选列表中。构造仿射候选是指该候选是通过组合每个控制点的邻域运动信息构造的。

a)首先从图19所示的规定的空域领域和时域领域导出控制点的运动信息。CPk(k＝1,2,3,4)表示第k个控制点。A0、A1、A2、B0、B1、B2和B3是用于预测CPk(k＝1,2,3)的空域位置；T是用于预测CP4的时域位置。

CP1、CP2、CP3和CP4的坐标分别为(0，0)，(W，0)，(H，0)和(W，H)，其中W和H是当前块的宽度和高度。

按照以下优先级顺序获得每个控制点的运动信息：

对于CP1，检查优先级为B2->B3->A2。如果B2可用，则使用B2。否则，如果B2不可用，则使用B3。如果B2和B3都不可用，则使用A2。如果三个候选都不可用，则无法获得CP1的运动信息。

对于CP2，检查优先级为B1->B0；

对于CP3，检查优先级为A1->A0；

对于CP4，使用T。

b)其次，使用控制点的组合来构造仿射Merge候选。

I.需要三个控制点的运动信息来构造6参数仿射候选。可以从以下四个组合({CP1，CP2，CP4}、{CP1，CP2，CP3}、{CP2，CP3，CP4}、{CP1，CP3，CP4})中的一个来选择这三个控制点。组合{CP1,CP2,CP3}、{CP2,CP3,CP4}、{CP1,CP3,CP4}将被转换到由左上、右上和左下控制点表示的6参数运动模型。

II.需要两个控制点的运动信息来构造4参数仿射候选。可以从两个组合({CP1,CP2}、{CP1,CP3})中的一个来选择这两个控制点。这两个组合将被转换到由左上和右上控制点表示的4参数运动模型。

III.按以下顺序将构造仿射候选的组合***到候选列表中：

{CP1,CP2,CP3}、{CP1,CP2,CP4}、{CP1,CP3,CP4}、{CP2,CP3,CP4}、{CP1,CP2}、{CP1,CP3}。

i.对于每个组合，检查每个CP的列表X的参考索引，如果它们都相同，则该组合具有列表X有效的CPMV。如果该组合不具有列表0和列表1二者有效的CPMV，则该组合被标记为无效。否则，它是有效的，并且CPMV被放入子块Merge列表中。

3)填充零运动矢量

如果仿射Merge候选列表中的候选数小于5，则在候选列表中***具有零参考索引的零运动矢量，直到列表被填满。

更具体地，对于子块Merge候选列表，4参数Merge候选的MV设置为(0，0)且预测方向设置为来自列表0的单向预测(对于P条带)和双向预测(对于B条带)。

2.3.4具有运动矢量差的Merge(MMVD)

在JVET-L0054中，提出了最终运动矢量表达(UMVE，也称为MMVD)。UMVE与提出的运动矢量表达方法用于跳过或Merge模式。

UMVE重用与VVC中常规Merge候选列表中包含的Merge候选相同的Merge候选。在Merge候选中，可以选择基础候选，并通过所提出的运动矢量表达方法进一步扩展。

UMVE提供了一种新的运动矢量差(MVD)表示方法，其中使用起点、运动幅度和运动方向来表示MVD。

这个提出的技术按原样使用Merge候选列表。但是只有默认Merge类型(MRG_TYPE_DEFAULT_N)的候选才被考虑用于UMVE的扩展。

基础候选索引定义了起点。基础候选索引指示列表中候选的最佳候选，如下所示。

表1基础候选IDX

如果基础候选的数量等于1，则不信令通知基础候选IDX。

距离索引是运动幅度信息。距离索引指示距离起点信息的预定义的距离。预定义的距离如下所示：

表2距离IDX

方向索引表示MVD相对于起点的方向。方向索引可以表示如下所示的四个方向。

表3方向IDX

方向IDX	00	01	10	11
					x轴	+	–	N/A	N/A
y轴	N/A	N/A	+	–

在发送跳过标志或Merge标志之后立即信令通知UMVE标志。如果跳过或Merge标志为真，则解析UMVE标志。如果UMVE标志等于1，则解析UMVE语法。但是，如果不是1，则解析仿射标志。如果仿射标志等于1，则是仿射模式，但是，如果不是1，则跳过/Merge索引解析为VTM的跳过/Merge模式。

由于UMVE候选而导致的附加的线缓冲器是不需要的。因为软件的跳过/Merge候选被直接用作基础候选。使用输入UMVE索引，在运动补偿前判定MV的补充。不需要为此保留长线缓冲器。

在当前普通测试条件下，可以选择Merge候选列表中的第一或第二Merge候选作为基础候选。

UMVE也被称为具有MV差的Merge(MMVD)。图20示出了最终运动矢量表达(UMVE)搜索过程的示例。图21示出了UMVE搜索点的示例。

2.3.5解码器侧运动矢量细化(DMVR)

在双向预测操作中，对于一个块区域的预测，将分别使用列表0的运动矢量(MV)和列表1的MV而形成的两个预测块进行组合以形成单个预测信号。在解码器侧运动矢量细化(DMVR)方法中，进一步细化双向预测的两个运动矢量。

在JEM设计中，通过双边模板匹配过程对运动矢量进行细化。将双边模板匹配应用在解码器中，以在双边模板和参考图片中的重构样点之间执行基于失真的搜索，以便在不传输附加运动信息的情况下获得细化的MV。图22示出了一个示例。如图22所示，相应地从列表0的初始MV0和列表1的MV1生成双边模板作为两个预测块的加权组合(即平均值)。模板匹配操作包括计算生成的模板与参考图片中的样点区域(围绕初始预测块)之间的成本度量。对于两个参考图片中的每一个，产生最小模板成本的MV被视为该列表的更新的MV以替换原始MV。在JEM中，为每个列表搜索九个MV候选。九个MV候选包括原始MV和8个周围MV，其中一个亮度样点在水平或垂直方向上、或者在水平和垂直方向二者上偏移到原始MV。最后，将图22所示的两个新MV(即MV0’和MV1’)用于生成最终的双向预测结果。使用绝对差值求和(SAD)作为成本度量。请注意，当计算由一个周围MV生成的预测块的成本时，实际使用取整的MV(到整数像素)而不是真实MV来获得预测块。

为了进一步简化DMVR的过程，JVET-M0147提出了对JEM中设计的几种修改。更具体地，VTM-4.0采用的DMVR设计(即将发布)具有以下主要特点：

·列表0和列表1之间的(0,0)位置SAD的早期终止；

·DMVR的块尺寸W*H>＝64&&H>＝8；

·对于CU尺寸>16*16的DMVR，将CU划分为多个16x16子块；

·参考块尺寸(W+7)*(H+7)(对于亮度)；

·基于25点SAD的整数像素搜索(即(+-)2细化搜索范围，单阶段)；

·基于双线性插值的DMVR；

·列表0和列表1之间的MVD镜像。以允许双边匹配；

·基于“参数误差表面方程”的子像素细化；

·具有参考块填充(如果需要)的亮度/色度MC；

·细化的MV仅用于MC和TMVP。

2.3.6组合帧内和帧间预测

在JVET-L0100中，提出了多假设预测，其中组合帧内和帧间预测是生成多假设的一种方法。

当应用多假设预测来改进帧内模式时，多假设预测将一个帧内预测和一个Merge索引预测组合。在Merge CU中，当标志为真时，为Merge模式信令通知一个标志，以从帧内候选列表中选择帧内模式。对于亮度分量，从包括DC、平面、水平和垂直4种帧内预测模式中导出帧内候选列表，并且帧内候选列表的尺寸可以是3或4，取决于块的形状。当CU宽度大于CU高度的两倍时，帧内模式列表不包括水平模式，并且当CU高度大于CU宽度的两倍时，从帧内模式列表中移除垂直模式。使用加权平均将由帧内模式索引选择的一个帧内预测模式和由Merge索引选择的一个Merge索引预测组合起来。对于色度分量，总是在没有额外信令的情况下应用DM。组合预测的权重描述如下。当选择DC或平面模式、或CB宽度或高度小于4时，应用相等的权重。对于CB宽度和高度大于或等于4的CB，当选择水平/垂直模式时，首先将一个CB垂直/水平地划分为四个相等面积的区域。表示为(w_intra_i，w_inter_i)的每个权重集将被应用于对应区域，其中i是从1到4，并且(w_intra₁，w_inter₁)＝(6,2),(w_intra₂,w_inter₂)＝(5,3),(w_intra₃,w_inter₃)＝(3,5),并且(w_intra₄,w_inter₄)＝(2,6)。将(w_intra₁,w_inter₁)用于最接近参考样点的区域，并且(w_intra₄,w_inter₄)用于最远离参考样点的区域。然后，通过将两个加权预测相加并右移3位，可以计算出组合预测。此外，可以保存预测符的帧内假设的帧内预测模式，以供后续邻域CU参考。

2.4JVET-M0427中的环路整形(ILR)

环路整形(ILR)也称为具有色度缩放的亮度映射(LMCS)。

环路整形(ILR)的基本思想是将原始(在第一域)信号(预测/重构信号)转换到第二域(整形域)。

环路亮度整形器被实现为一对查找表(LUT)，但是两个LUT中只有一个需要被信令通知，因为另一个LUT可以从信令通知的LUT中计算出来。每个LUT是一维的、10比特的、1024个条目的映射表(1D-LUT)。一个LUT是前向LUT FwdLUT，其将输入的亮度代码值Y_i映射到更改的值Y_r：Y_r＝FwdLUT[Y_i]。另一个LUT是反向LUT InvLUT，它将更改的代码值Y_r映射到(/>表示Y_i的重构值)。

2.4.1 PWL模型

概念上，分段线性(PWL)以如下方式来实现。设x1、x2为两个输入枢转点，并且y1、y2整体上为它们的对应输出枢转点。在x1和x2之间的任何输入值x的输出值y可以通过以下等式进行插值：

y＝((y2-y1)/(x2-x1))*(x-x1)+y1

在定点实现方式中，该等式可以重写为：

y＝((m*x+2^FP_PREC-1)>>FP_PREC)+c

其中m是标量，c是偏移量，并且FP_PREC是指定精度的恒定值。

在CE-12软件中，PWL模型用于预计算1024个条目的FwdLUT和InvLUT映射表；但是PWL模型还允许实现在不预先计算LUT的情况下即时计算等同的映射值。

2.4.2测试CE12-2

2.4.2.1亮度整形

环路亮度整形(即，提议中的CE12-2)的测试2提供了一种较低复杂度的管道，该管道还消除了帧间条带重构中分块帧内预测的解码延迟。对于帧间和帧内条带，帧内预测都在整形域中执行。

不管条带类型如何，帧内预测总是在整形域中执行。通过这样的布置，帧内预测可以在先前的TU重构完成后立即开始。这种布置还可以为帧内模式提供统一的而不是取决于条带的过程。图23示出了基于模式的CE12-2解码过程的框图。

CE12-2也测试亮度和色度残差缩放的16段的分段线性(PWL)模型，而不是CE12-1的32段的PWL模型。

用CE12-2中的环路亮度整形器进行帧间条带重构(浅绿色阴影块指示整形域中的信号：亮度残差；帧内亮度预测的；以及帧内亮度重构的)。

2.4.2.2取决于亮度的色度残差缩放

取决于亮度的色度残差缩放是用定点整数运算实现的乘法过程。色度残差缩放补偿了亮度信号与色度信号的相互作用。色度残差缩放在TU级应用。更具体地，以下适用：

–对于帧内，重构亮度求平均。

–对于帧间，预测亮度求平均。

平均值用于识别PWL模型中的索引。该索引标识缩放因子cScaleInv。色度残差乘以该数字。

应注意的是，色度缩放因子是从前向映射的预测亮度值而不是重构亮度值计算出的。

2.4.2.3 ILR边信息的信令

在片组标头(类似于ALF)中发送参数(当前)。这些需要40-100比特。

下表基于JVET-L1001的版本9。下面以带下划线的斜体字体突出显示要添加的语法。

在7.3.2.1序列参数集RBSP语法中：

在7.3.3.1一般片组标头语法中：

/>

可以添加新的语法表片组整形器模型，如下所示：

在一般序列参数集RBSP语义中，可以添加以下语义：

sps_reshaper_enabled_flag等于1指定在编解码视频序列(CVS)中使用整形器。sps_reformer_enabled_flag等于0指定在CVS中不使用整形器。

在片组标头语法中，可以添加以下语义：

tile_group_reshaper_model_present_flag等于1指定片组标头中存在tile_group_reshaper_model()。tile_group_reshaper_model_present_flag等于0指定片组标头中不存在tile_group_reshaper_model()。当tile_group_reshaper_model_present_flag不存在时，推断它等于0。

tile_group_reshaper_enabled_flag等于1指定为当前片组启用整形器。tile_group_reshaper_enabled_flag等于0指定不为当前片组启用整形器。当tile_group_reshaper_enable_flag不存在时，推断它等于0。

tile_group_reshaper_chroma_residual_scale_flag等于1指定为当前片组启用色度残差缩放。tile_group_reshaper_chroma_residual_scale_flag等于0指定不为当前片组启用色度残差缩放。当tile_group_reshaper_chroma_residual_scale_flag不存在时，推断它等于0。

tile_group_reshaper_model()语法可以添加如下：

reshape_model_min_bin_idx指定要在整形器重构过程中使用的bin(或段)。reshape_model_min_bin_idx的值应在0至MaxBinIdx的范围内(含端值)。MaxBinIdx的值应当等于15。

reshape_model_delta_max_bin_idx指定最大允许的bin(或段)索引MaxBinIdx减去要在整形器重构过程中使用的bin(或段)。将reshape_model_max_bin_idx的值设置为等于MaxBinIdx–reshape_model_delta_max_bin_idx。

reshaper_model_bin_delta_abs_cw_prec_minus1加1指定用于语法reshape_model_bin_delta_abs_CW[i]的表示的比特数。

reshape_model_bin_delta_abs_CW[i]指定第i个bin的绝对增量码字值。

reshaper_model_bin_delta_sign_CW_flag[i]指定reshape_model_bin_delta_abs_CW[i]的符号，如下所示：

–如果reshape_model_bin_delta_sign_CW_flag[i]等于0，则对应的变量RspDeltaCW[i]为正值。

–否则(reshape_model_bin_delta_sign_CW_flag[i]不等于0)，则对应的变量RspDeltaCW[i]为负值。

当reshape_model_bin_delta_sign_CW_flag[i]不存在时,推断它等于0。变量RspDeltaCW[i]＝(1-2*reshape_model_bin_delta_sign_CW[i])*reshape_model_bin_delta_abs_CW[i]。

按以下步骤导出变量RspCW[i]：

–变量OrgCW设置为等于(1<<BitDepth_Y)/(MaxBinIdx+1)。

–如果reshaper_model_min_bin_idx<＝i<＝reshaper_model_max_bin_idx则RspCW[i]＝OrgCW+RspDeltaCW[i]。

–否则，RspCW[i]＝0。

如果BitDepth_Y的值等于10，则RspCW[i]的值应当在32至2*OrgCW-1的范围内。

变量InputPivot[i](其中i在0到MaxBinIdx+1的范围内，含端值)导出为InputPivot[i]＝i*OrgCW。

变量ReshapePivot[i](其中i在0到MaxBinIdx+1的范围内，含端值)、变量ScaleCoef[i]和InvScaleCoeff[i](其中i在0到MaxBinIdx的范围内，含端值)可以导出如下：

变量ChromaScaleCoef[i](其中i在0到MaxBinIdx的范围内，含端值)可以导出如下：

ChromaResidualScaleLut[64]＝{16384,16384,16384,16384,16384,16384,16384,8192,8192,8192,8192,5461,5461,5461,5461,4096,4096,4096,4096,3277,3277,3277,3277,2731,2731,2731,2731,2341,2341,2341,2048,2048,2048,1820,1820,1820,1638,1638,1638,1638,1489,1489,1489,1489,1365,1365,1365,1365,1260,1260,1260,1260,1170,1170,1170,1170,1092,1092,1092,1092,1024,1024,1024,1024}；

shiftC＝11

–if(RspCW[i]＝＝0)

ChromaScaleCoef[i]＝(1<<shiftC)

–Otherwise(RspCW[i]！＝0),ChromaScaleCoef[i]＝ChromaResidualScaleLut[RspCW[i]>>1]

2.4.2.4 ILR的使用

在编码器侧，首先将每个图片(或片组)都转换到整形域。并且在整形域中执行所有编解码过程。对于帧内预测，邻域块位于整形域中；对于帧间预测，首先将参考块(从解码图片缓冲器的原始域生成的)转换到整形域。然后生成残差并将其编解码到比特流。

在整个图片(或片组)完成编码/解码后，将整形域中的样点转换到原始域，然后应用去块滤波器和其他滤波器。

在以下情况下，对预测信号的前向整形被禁用。例如，预测信号包括与当前块尺寸相同的预测块。

–当前块是帧内编解码的；

–当前块被编解码为CPR(当前图片参考，也称为帧内块复制，IBC)；

–当前块被编解码为组合帧间帧内模式(CIIP)，并且为帧内预测块禁用前向整形。

2.5虚拟管道数据单元(VPDU)

虚拟管道数据单元(VPDU)被定义为图片中不重叠的MxM亮度(L)/NxN色度(C)单元。在硬件解码器中，由多个管道阶段同时处理连续的VPDU；不同的阶段同时处理不同的VPDU。在大多数管道阶段中，VPDU尺寸大致与缓冲器尺寸成比例，因此保持VPDU小尺寸是很重要的。在HEVC硬件解码器中，将VPDU尺寸设置为最大变换块(TB)尺寸。将最大TB尺寸从32x32-L/16x16-C(如在HEVC中)扩大到64x64-L/32x32-C(如在当前VVC中)可以带来编解码增益，这与HEVC相比，预期地得到4倍的VPDU尺寸(64x64-L/32x32-C)。然而，除了四叉树(QT)编解码单元(CU)分割外，VVC还采用了三叉树(TT)和二叉树(BT)来实现附加的编解码增益，可以将TT和BT划分递归地应用于128x128-L/64x64-C编解码树块(CTU)，这与HEVC相比，得到16倍的VPDU尺寸(128x128-L/64x64-C)。

在VVC的当前设计中，VPDU的尺寸被定义为64x64-L/32x32-C。

2.6 APS

VVC采用自适应参数集(APS)来携带ALF参数。片组标头包含当启用ALF时有条件地存在的aps_id。APS包含aps_id和ALF参数。为APS(来自JVET-M0132)分配新的NUT(NAL单元类型，如在AVC和HEVC中)值。对于VTM-4.0中的常规测试条件(即将出现)，建议仅使用aps_id＝0并将APS与每个图片一起发送。目前，APS ID值的范围将是0…31，并且可以跨图片共享APS(并且在图片内的不同片组中APS可以不同)。当存在时，ID值应为固定长度编解码的。在相同图片内，不能将ID值与不同的内容重复使用。

2.7重构后滤波器

2.7.1扩散滤波器(DF)

在JVET-L0157中，提出了扩散滤波器，其中可以用扩散滤波器进一步修改CU的帧内/帧间预测信号。

2.7.1.1均匀扩散滤波器

均匀扩散滤波器是通过将预测信号与固定掩码(给定为h^I或h^IV)卷积来实现的，定义如下。

除了预测信号本身之外，块的左方和上方的一行重构样点被用作滤波信号的输入，其中在帧间块上可以避免使用这些重构样点。

让pred作为通过帧内或运动补偿预测获得的给定块上的预测信号。为了处理滤波器的边界点，需要将预测信号扩展为预测信号pred_ext。这种扩展预测可以通过两种方式形成：作为中间步骤，向预测信号添加块左方或上方的一行重构样点，然后在所有方向上镜像所得的信号；可选地，在所有方向上只镜像预测信号本身。后一种扩展用于帧间块。在这种情况下，只有预测信号本身包括扩展预测信号pred_ext的输入。

如果将要使用滤波器h^I，则建议使用上述边界扩展，用h^I*pred来替换预测信号pred。这里，滤波器掩码h^I给定为：

如果要使用滤波器h^IV，则建议用h^IV*pred来替换预测信号pred。

这里，滤波器h^IV为h^IV＝h^I*h^I*h^I*h^I。

2.7.1.2定向扩散滤波器

不是使用信号自适应扩散滤波器，而是使用仍然有固定掩码的定向滤波器(水平滤波器h^hor和垂直滤波器h^ver)。更准确地说，对应于先前章节的掩码h^I的均匀扩散滤波仅限于沿垂直或沿水平方向应用。通过将固定滤波器掩码

应用于预测信号来实现垂直滤波器，并且通过使用转置的掩码来实现垂直滤波器。

2.7.2双边滤波器(BF)

在JVET-L0406中提出了双边滤波器，并且通常将它应用于具有非零变换系数、并且条带量化参数大于17的亮度块。因此，无需信令通知双边滤波器的使用。如果应用双边滤波器，则在逆变换后立即对解码样点执行该双边滤波器。此外，从编解码信息中显式地导出滤波器参数，即权重。

将滤波过程定义为：

其中，P_0,0是当前样点的强度，并且P₀′_,0是当前样点的修改强度，P_k,0和W_k分别是第k个邻域样点的强度和权重参数。图24描绘了一个当前样点及其四个邻域样点(即K＝4)的示例。

更具体地，与第k个邻域样点相关联的权重W_k(x)定义如下：

W_k(x)＝Distance_k×Range_k(x) (2)

其中

并且σ_d取决于编解码模式和编解码块尺寸。当TU被进一步划分时，所描述的滤波过程被应用于帧内编解码块和帧间编解码块，以启用并行处理。

为了更好地捕获视频信号的统计特性，并提高滤波器的性能，用σ_d参数调整由等式(2)得到的权重函数，如表4所示，其取决于编解码模式和块分割的参数(最小尺寸)。

表4不同块尺寸和编解码模式的σ_d的值

最小(块宽度、块高度)	帧内模式	帧间模式
			4	82	62
8	72	52
			其它	52	32

为了进一步提高编解码性能，对于帧间编解码的块，当TU未划分时，用覆盖当前样点和邻域样点的两个窗口之间的代表性强度差来代替当前样点与其邻域样点中的一个之间的强度差。因此，将滤波过程的等式修正为：

其中P_k,m和P_0,m分别表示以P_k,0和P_0,0为中心的窗口内的第m个样点。在本提案中，将窗口尺寸设置为3×3。覆盖P_2,0和P_0,0的两个窗口的示例如图25所示。

2.7.3 Hadamard变换域滤波器(HF)

在JVET-K0068中，在重构后应用于CU级的一维Hadamard变换域中的环路滤波器实现了无乘法运算。将所提出的滤波器应用于满足预定义的条件的所有CU块，并且滤波器参数是从编解码信息中导出的。

通常将所提出的滤波应用于具有非零变换系数的亮度重构块，排除4x4块和条带量化参数大于17的情况。滤波器参数是从编解码信息中显式地导出的。如果应用所提出的滤波器，则在逆变换后立即对解码样点执行该滤波器。

对于来自重构块的每个像素，像素处理包括以下步骤：

·根据扫描模式扫描包括当前像素的处理像素周围的4个邻域像素；

·读取像素的4点Hadamard变换；

·基于以下公式的频谱滤波：

/>

其中(i)是Hadamard频谱中频谱分量的索引，R(i)是与索引相对应的重构像素的频谱分量，σ是使用以下等式从编解码器量化参数QP中导出的滤波参数：

σ＝2^{(1+0.126*(QP-27))}

扫描模式的示例如图26所示。对于位于CU边界上的像素，调整扫描模式以确保所需像素在当前CU内。

2.8剪切功能

在预测阶段(帧内或帧间或是组合帧内帧间)、环路滤波之前的重构阶段、以及环路滤波期间，需要将预测/重构/滤波样点剪切到一个范围。

标准中定义了一些剪切函数，诸如：

Clip1_Y(x)＝Clip3(0,(1<<BitDepth_Y)-1,x) (1)

Clip1_C(x)＝Clip3(0,(1<<BitDepth_C)-1,x) (2)

在等式(3)中，y指示剪切参数的最小值，并且x指示剪切参数的最大值。

为了给出剪切函数的使用的一些示例，本文列出了VVC规范(JVET-M1001版本5)中的一些子条款。

2.8.1帧内预测阶段中的剪切

8.4.4.2.7 INTRA_ANGULAR2..INTRA_ANGULAR66帧内预测模式的规范

该过程的输入是：

–帧内预测模式predModeIntra，

–指定帧内预测参考行索引的变量refIdx，

–指定变换块宽度的变量nTbW，

–指定变换块高度的变量nTbH，

–指定参考样点宽度的变量refW，

–指定参考样点高度的变量refH，

–指定编解码块宽度的变量nCbW，

–指定编解码块高度的变量nCbH，

–指定当前块的颜色分量的变量cIdx，

–邻域样点p[x][y]，其中x＝-1-refIdx，y＝-1-refIdx..refH-1和x＝-refIdx..refW-1，y＝-1-refIdx。

该过程的输出是修改的帧内预测模式predModeIntra和预测的样点predSamples[x][y]，其中x＝0..nTbW-1，y＝0..nTbH-1。

…

预测样点predSamples[x][y](其中x＝0..nTbW-1，y＝0..nTbH-1)的值导出如下：

–如果predModeIntra大于或等于34，则应用以下顺序步骤：

1.参考样点阵列ref[x]规定如下：

–以下适用：

–…

2.预测样点predSamples[x][y](其中x＝0..nTbW-1，y＝0..nTbH-1)的值导出如下：

–索引变量iIdx和乘法因子iFact导出如下：

iIdx＝((y+1+refIdx)*intraPredAngle)>>5+refIdx (8-137)

iFact＝((y+1+refIdx)*intraPredAngle)&31 (8-138)

–如果cIdx等于0，则以下适用：

–插值滤波器系数fT[j](j＝0..3)导出如下：

fT[j]＝filterFlag？fG[iFact][j]:fC[iFact][j] (8-139)

–预测样点predSamples[x][y]的值导出如下：

–否则(cIdx不等于0)，取决于iFact的值，以下适用：

–如果iFact不等于0，则预测样点predSamples[x][y]的值导出如下：

predSamples[x][y]＝

((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5 (8-141)

–否则，预测样点predSamples[x][y]的值导出如下：

predSamples[x][y]＝ref[x+iIdx+1] (8-142)

–否则(predModeIntra小于34)，以下顺序步骤适用：

1.参考样点阵列ref[x]规定如下：

–以下适用：

ref[x]＝p[-1-refIdx][-1-refIdx+x],with x＝0..nTbH+refIdx (8-143)

–如果intraPredAngle小于0，则主参考样点阵列扩展如下：

–当(nTbW*intraPredAngle)>>5小于-1时，

ref[x]＝p[-1-refIdx+((x*invAngle+128)>>8)][-1-refIdx],

with x＝-1..(nTbW*intraPredAngle)>>5 (8-144)

ref[((nTbW*intraPredAngle)>>5)-1]＝ref[(nTbW*intraPredAngle)>>5]

(8-145)

ref[nTbG+1+refIdx]＝ref[nTbH+refIdx] (8-146)

–否则，

ref[x]＝p[-1-refIdx][-1-refIdx+x],with x＝nTbH+1+refIdx..refH+refIdx

(8-147)

ref[-1]＝ref[0] (8-148)

–ref[refH+refIdx+x](x＝1..(Max(1,nTbW/nTbH)*refIdx+1))推导如下：

ref[refH+refIdx+x]＝p[-1+refH][-1-refIdx] (8-149)

2.预测样点predSamples[x][y](x＝0..nTbW-1，y＝0..nTbH-1)的值导出如下：

–索引变量iIdx和乘法因子iFact推导如下：

iIdx＝((x+1+refIdx)*intraPredAngle)>>5 (8-150)

iFact＝((x+1+refIdx)*intraPredAngle)&31 (8-151)

–如果cIdx等于0，则以下适用：

–插值滤波器系数fT[j](j＝0..3)导出如下：

fT[j]＝filterFlag？fG[iFact][j]:fC[iFact][j] (8-152)

–预测样点predSamples[x][y]的值导出如下：

–否则(cIdx不等于0)，取决于iFact的值，以下适用：

predSamples[x][y]＝

((32-iFact)*ref[y+iIdx+1]+iFact*ref[y+iIdx+2]+16)>>5 (8-154)

–否则，预测样点predSamples[x][y]的值导出如下：

predSamples[x][y]＝ref[y+iIdx+1] (8-155)

3.现有实现方式的缺点

ILR的当前设计可能存在以下问题：

1.按解码顺序从边信息中复制边信息。BP条带中ILR的边信息可以从I条带中继承、从非参考图片中预测。

2.当没有残差(诸如亮度分量的编解码块标志等于0，或者根编解码块标志等于0，其指示三个颜色分量的所有残差均为零)时，在运动补偿阶段对预测信号进行剪切，并再次在重构阶段进行剪切；然后可以应用前向LUT来转换到第二域(整形域)。两次剪切增加了复杂性。

3.在帧内预测(或IBC模式或利用同一图片/条带/片组/片内的重构信息的其他模式)期间要填充的任何值应该在第二域中，然而在ILR中，其在原始域中。

4.在预测阶段(帧内或帧间或是组合帧内帧间)、环路滤波之前的重构阶段、以及环路滤波期间，需要将预测/重构/滤波样点剪切到一个范围。利用固定的剪切参数(即最小值等于0，并且最大值等于(1<<BD)-1)，而不考虑ILR的使用。这里，BD表示比特深度。

4.示例实施例和技术

下面描述的详细实施例应被视为解释一般概念的示例。不应狭义地解释这些实施例。此外，这些实施例可以以任何方式组合。

ILR边信息的信令

1.可以应用边信息的预测编解码，而不是直接从先前解码的具有ILR的片组(或图片、或条带或其它视频数据单元)继承ILR的边信息(例如，PWL模型的查找表或参数)。

a.在一个示例中，代替地，可以对与当前视频数据单元(诸如片组、或图片、或条带或其他视频数据单元)相关联的PWL模型的参数和与另一视频数据单元相关联的PWL模型的参数之间的差异进行编解码。

b.在一个示例中，分段线性函数的某些部分可以是继承的，并且其他部分可以是信令通知的。

2.可以将PWL模型的边信息(例如，查找表或参数)的多个集合用于对当前视频数据单元的边信息进行编解码，而不是直接从先前解码的具有ILR的片组(或图片、或条带或其它视频数据单元)继承ILR的边信息(例如，PWL模型的查找表或参数)。

a.此外，可选地，可以信令通知多个集合的一个或多个索引。

i.可将信令通知的ILR的边信息的一个或多个子集用于导出当前片组、或图片、或条带的ILR的边信息。

ii.可以在片组标头/条带标头/图片标头中信令通知一个或多个索引。

b.可以在APS中信令通知ILR的边信息的一个或多个集合。

c.此外，可选地，可以根据解码顺序将多个集合按先进先出存储在缓冲器中。

d.此外，可选地，可将比特流中编解码的参数用于更新缓冲器，而不允许用从其它处继承的参数来更新缓冲器(例如，当tile_group_reshaper_model_present_flag为假时)

e.在一个示例中，当前片组(或图片、或条带)的ILR的边信息可以是从存储在缓冲器中的ILR的边信息的多个集合中的一个集合继承的。

i.可以信令通知要继承的ILR的边信息的集合的索引。

f.在一个示例中，当前片组(或图片、或条带)的ILR的边信息可以是从存储在缓冲器中的ILR的边信息的多个集合中的一个或多个集合预测的。

i.可以信令通知要用作预测的ILR的边信息的(一个或多个)集合的(一个或多个)索引。

3.提出禁用从与不是当前图片/条带/片组/片/视频单元的参考图片的图片相关联的边信息预测和/或继承ILR的边信息(例如，PWL模型的查找表或参数)。

a.此外，可选地，仅允许从与是当前图片/条带/片组/片/视频单元的参考图片的图片相关联的边信息预测和/或继承边信息(例如，PWL模型的查找表或参数)。

b.此外，可选地，仅允许从与是当前图片/条带/片组/片/视频单元的参考图片的图片相关联的的边信息预测和/或继承边信息(例如，PWL模型的查找表或参数)，并且该参考图片的时域层索引不大于当前图片/条带/片组/片/视频单元的时域层索引。

c.此外，可选地，仅允许从与时域层索引小于或等于当前图片/条带/片组/片/视频单元的时域层索引的图片相关联的边信息预测和/或继承边信息(例如，PWL模型的查找表或参数)。

d.此外，可选地，仅允许从与存储在解码图片缓冲器中的图片相关联的边信息(例如，PWL模型的查找表或参数)中预测和/或继承边信息。

e.在一个示例中，可以信令通知与参考图片相关联的一个或多个参考列表和/或参考索引，从该参考图片中可以继承和/或预测当前片组(或图片、或条带)的ILR的边信息(例如，PWL模型的查找表或参数)。

i.在一个示例中，信令可以是在片组标头/条带标头/图片标头中。

ii.在一个示例中，提出了如下在片组标头/条带标头/图片标头中信令通知的示例语法表：

如果从参考列表1中的参考图片继承整形信息，则reshaper_model_from_l1_flag为1。在其他方式中，从参考列表0中的参考图片继承整形信息。如果不存在，则可以将其推断为0。

reshaper_mode_from_refidx指示从中继承整形信息的参考图片的参考索引。

iii.在一个示例中，如果tile_group_reshaper_model_present_flag等于0，并且当前tile_group_type是I-tile_group(或I-条带)，则初始化当前片组或条带或图片的整形信息。

1.在一个示例中，在PCT/CN2019/077429中详细地公开了初始化方法，以参考的方式将其并入本文中。

iv.在一个示例中，如果从参考图片继承整形信息，则整形信息是从参考图片的一个片组或条带的整形信息继承的。例如，整形信息是从参考图片的第一个片组或条带的整形信息继承的。

v.在一个示例中，当从一个片组、或条带、或图片的整形信息(表示为A)继承整形信息(表示为B)时，执行以下操作的一个、或一些、或全部：

1.将A中的reshaper_model_min_bin_idx复制到B；

2.将A中的reshaper_model_max_bin_idx复制到B；

3.将A中的RspCW[i]复制到B；

a.在一个示例中，reshaper_model_min_bin_idx<＝i<＝reshaper_model_max_bin_idx。

b.可选地，0<＝i<＝MaxBinIdx。

4.将A中的RspDeltaCW[i]复制到B；

b.可选地，0<＝i<＝MaxBinIdx。

5.将A中的ReshapePivot[i]复制到B；

b.可选地，0<＝i<＝MaxBinIdx。

6.将A中的ScaleCoef[i]复制到B；

b.可选地，0<＝i<＝MaxBinIdx。

7.将A中的InvScaleCoeff[i]复制到B；

b.可选地，0<＝i<＝MaxBinIdx。

8.将A中的ChromaScaleCoef[i]复制到B；

b.可选地，0<＝i<＝MaxBinIdx。

9.将A中的tile_group_reshaper_enable_flag复制到B；

10.将A中的tile_group_reshaper_chroma_residual_scale_flag复制到B。

vi.在一个示例中，编码器或解码器可以按照如下规则选择从中继承整形信息的参考图片：

1.如果一个参考图片的对应条带或片组是I条带或I片组，则选择该参考图片。

2.如果多个参考图片的对应条带或片组是I条带或I片组，则选择最接近当前图片的参考图片(例如，参考图片与当前图片的POC的绝对差最小)；

3.如果没有任何参考图片的对应条带或片组是I条带或I片组，则

a.如果参考列表1中没有参考图片(诸如对于P条带)，则选择参考索引等于0且参考列表等于0的参考图片；

b.如果没有比当前图片更大POC的、已经发送的I条带，则选择参考索引等于0且参考列表等于0的参考图片。

c.假设具有大于当前图片的POC的最后发送的I条带的POC表示为POC_I1，具有小于当前图片的POC的最后发送的I条带的POC表示为POC_I0，并且当前图片的POC是POC_curr，那么如果|POC_I0-POC_curr|<＝|POC_I1-POC_curr|，则选择参考索引等于0且参考列表等于0的参考图片；否则，选择参考索引等于0且参考列表等于1的参考图片。

f.在一个示例中，可以预定义参考图片，从该参考图片中可以继承和/或预测当前片组(或图片、或条带)的ILR的边信息(例如，PWL模型的查找表或参数)。

i.在一个示例中，从并置图片继承和/或预测当前片组(或图片、或条带)的ILR的边信息(例如，PWL模型的查找表或参数)。

ii.在一个示例中，从参考索引等于IDX、并且参考列表等于LX(例如，IDX＝0且LX＝0)的参考图片继承和/或预测当前片组(或图片、或条带)的ILR的边信息(例如，PWL模型的查找表或参数)。

iii.在一个示例中，从显示顺序中最接近当前图片的参考图片继承和/或预测当前片组(或图片、或条带)的ILR的边信息(例如，PWL模型的查找表或参数)。

iv.在一个示例中，从解码顺序中最接近当前图片的参考图片继承和/或预测当前片组(或图片、或条带)的ILR的边信息(例如，PWL模型的查找表或参数)。

4.提出在可包含多个编解码块的片级/CTU级/区域级(而不是在片组级)处信令通知ILR的边信息(例如，PWL模型的查找表或参数，ILR是启用还是禁用)。

a.在一个示例中，当一个图片/片组包含多个片时，可以允许从另一个片预测和/或继承一个片的边信息(例如，PWL模型的查找表或参数)。

b.可选地，当一个图片/片组包含多个片时，可以不允许从另一个片预测和/或继承一个片的边信息(例如，PWL模型的查找表或参数)。

c.可选地，可以在片组标头中信令通知ILR的边信息，并且该片组内的所有片共享相同的边信息。

5.在一个示例中，可以应用ILR的两级信令通知，其中对于第一级，信令通知边信息，并且对于第二级，可以利用从第一级信令通知的结果的预测/继承。

a.在一个示例中，第一级是片组级，并且第二级是片级。

b.在一个示例中，第一级是图片级，并且第二级是片组级。

c.在一个示例中，第一级是自适应参数集(APS)级，并且第二级是图片级、或片组级、或片级。

处理不可用的样点

6.当从相同片/片组/图片中的样点(预测样点和/或重构样点)预测一个块时，可从ILR中使用的查找表或PWL模型中导出不可用的样点。

a.在一个示例中，对于帧内编解码块，当邻域的重构样点不可用时，可以将其设置为默认值，诸如forwardLUT(x)，其中x是禁用ILR时使用的默认值。函数forwardLUT(x)返回整形域中x的对应值。

i.在一个示例中，对于帧内DC模式，当邻域的重构样点不可用时，可以将其设置为forwardLUT(1<<(Bitdepth-1))而不是(1<<(Bitdepth-1))。

ii.在一个示例中，对于交叉分量线性模型(CCLM)模式(例如LM/LM-A/LM-L模式)，当无法导出有效的线性参数时，将默认预测值设置为forwardLUT(1<<(Bitdepth-1))。

7.可以从反向查找表(或PWL模型)中导出原始域中定义的剪切参数。

a.在一个示例中，剪切函数中的最小值被定义为InverseLUT(x)，例如，x＝0。

b.在一个示例中，剪切函数中的最大值被定义为InverseLUT(y)，其中y不等于0。例如，y是最大条目索引，诸如((1<<BD)-1)，其中BD是输入或输出重构样点的比特深度。

8.可从反向查找表(或PWL模型)中导出在整形域中定义的剪切参数。

a.在一个示例中，剪切函数中的最小值被定义为默认值(诸如0)。

b.在一个示例中，剪切函数中的最小值被定义为InverseLUT(y)。例如，y是导致InverseLUT(y)不等于InverseLUT(y+1)的最大值。

i.在一个示例中，y在[0，最大条目索引]的范围内。

ii.在一个示例中，y在[0，(1<<(BD-1))]的范围内，其中BD是输入或输出重构样点的比特深度。

9.可以将根据ILR信息(诸如第7和第8项中提到的方法)为整形域和/或原始域导出的剪切参数用在编码/解码过程中。

a.在一个示例中，可以在帧内和/或帧内块复制预测块生成过程期间的剪切过程中使用剪切参数。

b.在一个示例中，可以在调色板模式期间的剪切过程中使用剪切参数。

c.可选地，可以在运动补偿过程期间的剪切过程中使用剪切参数。

d.可选地，可以在帧间预测块生成过程(诸如加权预测、照明补偿预测块生成过程、帧间帧内预测、广义双向预测、BIO(又称为BDOF))期间的剪切过程中使用剪切参数。

e.可选地，可以在最终重构块导出过程期间的剪切过程中使用剪切参数。

f.可选地，可以在滤波过程(例如，重构后处理、诸如去块/SAO/ALF的环路滤波过程)期间的剪切过程中使用剪切参数。

g.上述不同阶段(诸如帧内/帧间预测块生成过程)可以选择使用原始域/整形域中的剪切参数。

10.可以在环路滤波过程(诸如去块滤波器、采样自适应偏移、自适应环路滤波器)之前或期间以不同的方式定义剪切参数(例如，最大值和最小值)。

a.在一个示例中，可以在环路滤波过程之前在整形域中定义剪切参数。

b.在一个示例中，可在整形域中定义在预测和/或重构块推导过程中所使用的剪切参数。

i.此外，可选地，这样的预测/重构块是根据依赖于当前片/片组/条带/图片中的块的重构/预测样点的一种编解码模式(诸如帧内模式、帧内块复制模式、调色板模式)。

ii.可选地，当预测块是根据依赖于不同片/片组/条带/图片中的块的重构/预测样点的一种编解码模式(诸如帧间模式)时，可以在原始域中定义所利用的剪切参数。

iii.可选地，当从依赖于相同的和不同的片/片组/条带/图片中的块的重构/预测样点的多个预测块导出重构块时，例如组合帧内帧间模式，可以在原始域中为从帧间模式导出的预测块定义所使用的的剪切参数，并且可以在整形域中为从帧内模式导出的预测块定义所使用的的剪切参数，并且可以在整形域中为重构块定义所使用的的剪切参数。

c.在一个示例中，可以在环路滤波过程期间在原始域中定义剪切参数。

11.在编码/解码过程中，可以使用根据ILR信息(诸如第7和第8项中提到的方法)为整形域和/或原始域导出的剪切参数、以及当前设计中的固定剪切参数。

a.在一个示例中，当为当前视频数据单元(诸如条带/片组/片/图片)禁用ILR时，可以使用固定剪切参数。

b.在一个示例中，当为当前视频数据单元(诸如条带/片组/片/图片)启用ILR时，可以使用为整形域和/或原始域导出的剪切参数。

c.可选地，在编码/解码过程中，可以使用根据ILR信息(诸如第7和第8项中提到的方法)为整形域和/或原始域导出的剪切参数、自适应剪切参数(诸如从解码比特流导出的)和/或固定剪切参数。

i.在一个示例中，当为当前视频数据单元(诸如条带/片组/片/图片)禁用ILR并且启用自适应剪切时，可以使用自适应剪切参数。

ii.在一个示例中，当为当前视频数据单元(诸如条带/片组/片/图片)启用ILR时，可以使用为整形域和/或原始域导出的剪切参数。

iii.在一个示例中，当为前视频数据单元(诸如条带/片组/片/图片)禁用ILR和自适应剪切时，可以使用固定剪切参数。

iv.可选地，可以有条件地信令通知自适应剪切参数。

1.在一个示例中，根据ILR的使用。当启用ILR时，可跳过自适应剪切参数的信令，并推断自适应剪切为假。

d.在编码/解码过程期间，所有项目都可适用于某一阶段。

12.上述方法可在特定条件下应用。

a.在一个示例中，可将该条件定义为对当前片/片组/图片/序列启用ILR。

b.在一个示例中，可将该条件定义为颜色分量是亮度颜色分量或主颜色分量(诸如GBR输入序列的G颜色分量)。

13.提出用与亮度分量相似的方式来处理色度分量，即根据查找表/PWL模型来整形，而不是使用基于亮度的残差缩放。

a.在一个示例中，是否应用基于亮度的残差缩放可取决于颜色格式是否为4:4:4。

b.在一个示例中，当颜色格式为4:4:4时，用信令通知或导出的查找表/PWL模型替换基于亮度的残差缩放。

c.在一个示例中，两个色度分量可以共享相同的整形边信息(即，查找表/PWL模型和/或启用/禁用标志)。

d.在一个示例中，当颜色格式为4:4:4时，可以从亮度分量的查找表/PWL模型导出色度分量的查找表/PWL模型。

e.在一个示例中，当颜色格式为4:4:4时，可在APS/PPS/图片标头/条带标头/片组标头/片/其它视频单元中信令通知色度分量的查找表/PWL模型。

f.在一个示例中，当颜色格式为4:4:4时，可在APS/PPS/图片标头/条带标头/片组标头/片/其它视频单元中预测地编解码色度分量的查找表/PWL模型。

i.在一个示例中，可以从另一颜色分量的查找表/PWL模型预测一个颜色分量的查找表/PWL模型。

g.在一个示例中，当颜色格式为4:4:4时，可以从另一个颜色分量使用的查找表/PWL模型导出一个颜色分量的查找表/PWL模型。

i.在一个示例中，可以从亮度分量和/或另一色度分量的查找表/PWL模型预测一个色度分量的查找表/PWL模型。

h.当不允许对亮度分量进行整形时，直接禁用对色度分量的整形。

i.此外，可选地，不需要为色度分量信令通知边信息。

14.本文中公开的方法可以与PCT/CN2019/077429中公开的方法相结合，其通过引用并入本文中。

5.一些示例实施例

在本章节中，参考比特流语法来描述一些示例实施例，该比特流语法显示如何基于本文档中描述的一些技术来修改当前版本VVC的比特流语法。以下描述中的各种语法元素的含义与VVC文档中描述的含义类似。此外，在适用的情况下，将使用粗体斜体文本突出显示新的语法元素及其描述。

一个实施例中的语法设计如下所示。

一般片组标头语法

/>

在“一般序列参数集RBSP语义”中，添加以下语义：

在片组标头语法中，添加以下语义：

如果从参考列表1中的参考图片继承整形信息，则reshaper_model_from_l1_flag为1。否则，从参考列表0中的参考图片继承整形信息。如果不存在，则应当将其推断为0。如果reshaper_model_from_l1_flag不存在，则将其推断为0。

reshaper_mode_from_refidx指示从其中继承整形信息的参考图片的参考索引。如果reshaper_mode_from_refidx不存在，则将其推断为0。

tile_group_reshaper_chroma_residual_scale_flag等于1指定为当前片组启用色度残差缩放。tile_group_reshaper_chroma_residual_scale_flag等于0指定不为当前片组启用色度残差缩放。当tile_group_reshaper_chroma_residual_scale_flag不存在时,推断它等于0。

添加tile_group_reshaper_model()语法

reshape_model_min_bin_idx指定将在整形器重构过程中使用的最大bin(或段)。reshape_model_min_bin_idx的值应在0至MaxBinIdx的范围内(含端值)。MaxBinIdx的值应当等于15。

reshape_model_delta_max_bin_idx指定最大允许的bin(或段)索引MaxBinIdx减去要在整形器重构过程中使用的最大bin(或段)。将reshape_model_max_bin_idx的值设置为等于MaxBinIdx–reshape_model_delta_max_bin_idx。

在一致性比特流中，reshape_model_delta_max_bin_idx应当在0到MaxBinIdx-reshape_model_min_bin_idx的范围内。

在一致性比特流中，reshaper_model_bin_delta_abs_cw_prec_minus1必须不大于6。

reshape_model_bin_delta_abs_CW[i]指定第i个bin的绝对增量码字值。

当reshape_model_bin_delta_sign_CW_flag[i]不存在时,推断它等于0。

变量RspDeltaCW[i]＝(1 2*reshape_model_bin_delta_sign_CW[i])*reshape_model_bin_delta_abs_CW[i]。

按以下步骤导出变量RspCW[i]：

–将变量OrgCW设置为等于(1<<BitDepth_Y)/(MaxBinIdx+1)。

–否则，RspCW[i]＝0。

变量InputPivot[i](其中i在0到MaxBinIdx+1的范围内，含端值)导出如下：

InputPivot[i]＝i*OrgCW

如果tile_group_reshaper_model_present_flag等于0并且当前tile_group_type是I-tile_group,则初始化当前片组的整形信息如下：

RspCW[i]＝0,其中i＝0,1,…,MaxBinIdx。

如果reshapter_mode_from_refidx存在，让refTileGroup作为参考列表(reshaper_model_from_l1_flag？1:0)中具有参考索引reshapter_mode_from_refidx的参考图片的第一片组，则以下适用：

RspCW[i]设置为等于refTileGroup的RspCW[i]，其中i＝0,1,…,MaxBinIdx,

reshape_model_min_bin_idx设置为等于refTileGroup的reshape_model_min_bin_idx。

reshape_model_max_bin_idx设置为等于refTileGroup的reshape_model_max_bin_idx。

变量ReshapePivot[i](其中i在0到MaxBinIdx+1的范围内，含端值)、变量ScaleCoef[i]和InvScaleCoeff[i](其中i在0到MaxBinIdx的范围内，含端值)导出如下：

变量ChromaScaleCoef[i](其中i在0到MaxBinIdx的范围内，含端值)导出如下：

ChromaResidualScaleLut[64]＝{16384,16384,16384,16384,16384,16384,16384,8192,8192,8192,8192,5461,5461,5461,5461,4096,4096,4096,4096,3277,3277,3277,3277,2731,2731,2731,2731,2341,2341,2341,2048,2048,2048,1820,1820，1820,1638,1638，1638，1638，1489，1489，1489,1489，1365，1365,1365,1365，1260，1260,1260，1260，1170，1170，1170，1170，1092,1092，1092,1092,1024,1024,1024，1024}；

shiftC＝11

–if(RspCW[i]＝＝0)

ChromaScaleCoef[i]＝(1<<shiftC)

6.公开技术的示例实现方式

图27A是视频处理装置2700的框图。装置2700可用于实现本文所述的一种或多种方法。该装置2700可实施于智能手机、平板计算机、计算机、物联网(IoT)接收器等中。装置2700可以包括一个或多个处理器2702、一个或多个存储器2704和视频处理硬件2706。(一个或多个)处理器2702可以被配置成实现本文档所述的一种或多种方法。(一个或多个)存储器2704可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件2706可以用于在硬件电路中实现本文所述的一些技术，并且可以部分或完全是处理器2702的一部分(例如，图形处理器核心GPU或其他信号处理电路)。

图27B是可以实现所公开的技术的视频处理***的框图的另一示例。图27B是示出其中可以实现本文公开的各种技术的示例视频处理***4100的框图。各种实现方式可以包括***4100的部分或全部组件。***4100可以包括用于接收视频内容的输入4102。视频内容可以用原始或未压缩格式(例如，8或10比特多分量像素值)接收，或者可以用压缩或编码格式接收。输入4102可以表示网络接口、***总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

***4100可以包括可实现本文所述的各种编解码或编码方法的编解码组件4104。编解码组件4104可以降低从输入4102到编解码组件4104的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件4104的输出可以存储，或者通过由组件4106表示的连接的通信来发送。组件4108可以使用在输入4102处接收的视频的存储或通信的比特流(或编解码)表示，用于生成发送到显示接口4110的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解的是，在编码器处使用编解码工具或操作，并且将由解码器执行反转编解码结果的对应的解码工具或操作。

***总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档所述的技术可以实施在各种电子设备中，诸如移动电话、膝上型计算机、智能手机、或能够执行数字数据处理和/或视频显示的其他设备。

在本文中，术语“视频处理”可指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换中应用视频压缩算法，反之亦然。例如，当前视频块的比特流表示可以对应于由语法定义的比特流内的并置或在不同位置扩展的比特。例如，可以在转换和编解码的误差残差值方面、并且也可以使用比特流中的标头和其他字段中的比特对宏块进行编码。

应当理解的是，通过允许使用本文档中公开的技术，所公开的方法和技术将有利于并入诸如智能手机、膝上型计算机、桌上型计算机、以及类似设备的视频处理设备中的视频编码器和/或解码器实施例。

图28A是视频处理的示例方法2810的流程图。方法2800包括：在2810处，执行包括一个或多个视频区域的视频的编解码表示与该视频之间的转换。在一些实现方式中，编解码表示包括适用于一个或多个视频区域的一些的环路整形(ILR)的边信息或环路整形信息。在一些实现方式中，边信息或环路整形信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的视频单元的参数、和/或用于缩放色度视频单元的色度残差的参数。

在一些实现方式中，在不直接从其他视频区域继承的情况下对适用于一个或多个视频区域中的一些的边信息进行编解码。在一些实现方式中，编解码表示包括在包括当前视频块的视频区域级处的边信息。在一些实现方式中，根据ILR信息，基于第一域和/或第二域中的剪切参数，使用剪切过程来进行转换。在一些实现方式中，编解码表示包括适用于提供ILR参数的环路整形的信息，该ILR参数包括在ILR期间根据剪切过程的规则使用的剪切参数。在一些实现方式中，在视频的作为色度块的当前视频块和视频的编解码表示之间执行转换。在一些实现方式中，转换还包括基于边信息将整形过程应用于当前视频块的一个或多个色度分量。在一些实现方式中，根据不允许基于当前视频区域的时域层索引继承或预测边信息的规则来确定当前视频区域的边信息。在一些实现方式中，根据不允许从第一类型的另一图片的继承或预测边信息的规则来确定当前视频区域的边信息。

在一些实现方式中，使用环路整形过程执行视频的当前视频块和视频的编解码表示之间的转换。在一些实现方式中，环路整形包括从运动补偿预测或帧内预测获得预测块；对预测块应用前向整形以在第一域中生成前向整形预测块；基于前向整形预测块重构视频的编解码表示，以在第二域中生成第一重构块；对第一重构块应用反向整形以获得反向重构块；对反向重构块应用环路滤波器以获得最终重构块。在一些实现方式中，在环路整形过程中使用单个剪切过程。

在一些实现方式中，编解码表示包括第一级处的第一边信息，其中，从第一边信息导出第二级处的第二边信息，使得第二边信息提供用于以环路整形(ILR)编解码的视频单元的参数和/或用于缩放色度视频单元的色度残差的参数，该环路整形中基于第一域和第二域中的视频单元的表示重构视频区域的视频单元。

图28B是视频处理的示例方法2820的流程图。方法2820包括：在2822处，为视频的视频区域的当前视频块与视频的编解码表示之间的转换，确定当前视频块的预测块。在一些实现方式中，基于指定使用与当前视频块相关联的环路整形(ILR)信息的推导规则来确定来自视频区域的样点的不可用样点。方法2820还包括：在2824处，基于预测块执行转换。

图28C是视频处理的示例方法2840的流程图。方法2830包括：在2832处，确定是否为包括一个或多个视频区域的视频的编解码表示与视频之间的转换启用环路整形(ILR)。方法2830还包括：在2834处，基于确定执行转换。在一些实现方式中，基于根据与ILR相关联的信息导出的ILR剪切参数和/或与和ILR相关联的信息无关的固定剪切参数将剪切过程用于转换，并且与ILR相关联的信息适用于基于第一域和第二域中的视频单元的表示的视频区域的视频单元的重构、和/或缩放色度视频单元的色度残差。

可以使用以下基于条款的格式来描述各种技术和实施例。

第一组条款描述了先前章节中列出的公开技术的某些特征和方面。

1.一种视觉媒体处理方法，包括：

执行当前视频块和所述当前视频块的比特流表示之间的转换，其中，在转换期间，根据与环路整形步骤相关联的边信息，使用所述环路整形步骤将所述当前视频块的表示从第一域变换到第二域。

2.根据条款1所述的方法，其中，所述与所述环路整形步骤相关联的边信息包括用于与色度样点或亮度样点相关的一个或多个查找表或者分段线性模型的参数。

3.根据条款2所述的方法，其中，所述当前视频块和另一视频块之间的差异被预测地编解码在所述边信息中，其中所述差异与所述分段线性模型的参数中的至少一个参数相关。

4.根据条款2所述的方法，其中，在所述比特流信息中信令通知所述边信息的索引。

5.根据条款2所述的方法，其中，所述边信息是所述环路整形步骤的子集。

6.根据条款2所述的方法，其中，所述边信息的所述索引包括在片组标头、条带标头、或图片标头中。

7.根据条款1至6中任一项或多项所述的方法，其中，从存储在先进先出缓冲器中的信息预测所述边信息。

8.根据条款7所述的方法，其中，基于与所述当前视频块连接的所述分段线性模型的参数来更新所述缓冲器。

9.根据条款7所述的方法，其中，所述缓冲器存储第一视频块的边信息，还包括：

基于所述第一视频块的边信息预测第二视频块的边信息。

10.根据条款7所述的方法，其中所述缓冲器存储第一视频块的边信息，还包括：

基于所述第一视频块的边信息继承第二视频块的边信息。

11.一种视觉媒体处理方法，包括：

执行当前视频块和所述当前视频块的比特流表示之间的转换，其中，在转换期间，根据与环路整形步骤相关联的边信息，使用所述环路整形步骤将所述当前视频块的表示从第一域变换到第二域，并且其中，以如下方式选择性地执行从另一视频块的边信息继承或预测所述当前视频块的边信息：

(i)如果所述另一视频块是参考图片，则启用所述继承或所述预测，以及

(ii)如果所述另一视频块是非参考图片，则禁用所述继承或所述预测。

12.根据条款11所述的方法，其中，当所述参考图片的时域层索引不大于所述当前视频块的时域层索引时，启用所述继承或所述预测。

13.根据条款14所述的方法，其中，所述参考图片存储在解码图片缓冲器中。

14.根据条款11所述的方法，其中，所述继承或所述预测基于列表或索引。

15.根据条款11至14所述的方法，其中，所述参考图片是预定义的。

16.根据条款15所述的方法，其中，所述参考图片是并置图片。

17.根据条款14所述的方法，其中，所述列表表示为LX，并且所述索引表示为IDX，并且其中，LX＝0且IDX＝0。

18.根据条款15至16中任一项或多项所述的方法，其中，所述参考图片在解码顺序中最接近所述当前视频块。

19.根据条款11所述的方法，其中，所述另一视频块在解码图片缓冲器中。

20.一种视觉媒体处理方法，包括：

执行当前视频块和所述当前视频块的比特流表示之间的转换，其中，在转换期间，根据与环路整形步骤相关联的边信息，使用所述环路整形步骤将所述当前视频块的表示从第一域变换到第二域，并且其中，选择性地执行从第一片中的另一视频块的边信息继承或预测第二片中的所述当前视频块的边信息。

21.根据条款20所述的方法，其中，所述边信息包含在与片组相关联的标头中，并且其中，所述标头可由所述第一片和所述第二片访问。

22.根据条款20所述的方法，其中，所述第一片是片组，并且所述第二片是单个片。

23.根据条款20所述的方法，其中，所述第一片是图片，并且所述第二片是片组。

24.根据条款20所述的方法，其中，所述第一片是自适应参数集(APS)，并且所述第二片是片组。

25.根据条款20所述的方法，其中，所述第一片是自适应参数集(APS)，并且所述第二片是图片。

26.根据条款20所述的方法，其中所述第一片是自适应参数集(APS)，并且所述第二片是单个片。

27.一种视觉媒体处理方法，包括：

执行当前视频块和所述当前视频块的比特流表示之间的转换，其中，在转换期间，根据环路整形步骤相关联的边信息，使用所述环路整形步骤将所述当前视频块的表示从第一域变换到第二域；以及

在检测到样点信息对于所述当前视频块的预测不可用时，基于与所述环路整形步骤相关联的所述边信息来构造所述当前视频块。

28.根据条款27所述的方法，其中，将所述边信息设置为默认值。

29.根据条款27所述的方法，其中，将所述默认值设置为forwardLUT(x)，其中，forwardLUT(.)是查找表，并且x是在所述环路整形步骤被禁用时使用的值。

30.根据条款29所述的方法，其中，将所述值x设置为(1<<(Bitdepth-1))，其中Bitdepth是所述当前视频块或从所述当前视频块重构的视频块的输入比特深度值。

31.一种视觉媒体处理方法，包括：

执行当前视频块和所述当前视频块的比特流表示之间的转换，其中，在转换期间，根据与环路整形步骤相关联的边信息，使用所述环路整形步骤将所述当前视频块的表示从第一域变换到第二域；以及

响应于检测到为所述当前视频块启用所述环路整形步骤，基于在所述第一域或所述第二域中表达的剪切参数解码所述当前视频块，其中，根据与所述边信息相关联的反向查找表inverseLUT(x)计算所述剪切参数。

32.根据条款31所述的方法，其中，当x＝0时，定义所述剪切参数的最小值。

33.根据条款31所述的方法，其中，当x＝(1<<(Bitdepth-1))时，定义所述剪切参数的最大值，其中，Bitdepth是所述当前视频块或从所述当前视频块重构的视频块的输入比特深度值。

34.根据条款31所述的方法，其中，所述参数的最小值为0。

35.根据条款31所述的方法，其中，所述参数的最小值被定义为inverseLUT(x)，其中，x是通过求解InverseLUT(x)不等于InverseLUT(x-1)而获得的最大值。

36.根据条款35所述的方法，其中，x处于范围[0，最大条目索引]内。

37.根据条款35所述的方法，其中，x处于范围[0,(1<<(Bitdepth-1))]内，其中，Bitdepth是所述当前视频块或从所述当前视频块重构的视频块的输入比特深度值。

38.根据条款31所述的方法，其中，将所述参数用于以下一个或多个步骤中的至少一部分：帧内和/或帧内块复制预测块生成、调色板模式、运动补偿、帧间预测块生成、最终重构块推导、滤波。

39.根据条款31至38中任一项或多项所述的方法，还包括：

响应于检测到禁用所述环路整形步骤并且禁用自适应剪切，基于预定的剪切参数解码所述当前视频块。

40.根据条款31至38中任一项或多项所述的方法，还包括：

响应于检测到禁用所述环路整形步骤并且启用自适应剪切，基于在所述比特流表示中信令通知的剪切参数解码所述当前视频块。

41.根据条款1至40中任一项或多项所述的方法，还包括：

检测与所述当前视频块相关联的条件。

42.根据条款41所述的方法，其中，所述条件与以下中的任一项或多项相关：亮度颜色分量、主颜色分量、颜色格式、或色度分量。

43.根据条款31所述的方法，还包括：

在检测到邻域样点信息对于所述当前视频块的预测不可用时，基于与所述环路整形步骤相关联的所述边信息来构造所述当前视频块。

44.根据条款1至43中任一项或多项所述的方法，其中，所述边信息包括在片组标头、条带标头、或图片标头中。

45.一种视觉媒体处理方法，包括：

(ii)如果所述另一视频块是非参考图片，则禁用所述继承或所述预测，

其中，所述边信息包括在片组标头、条带标头、或图片标头中，并且其中，所述参考图片与一个或多个参考列表相关联。

46.根据条款45所述的方法，其中，所述参考图片与所述一个或多个参考列表中的第一参考列表相关联，并且其中，所述边信息包括值为一的标志。

47.根据条款46所述的方法，其中，将所述第一参考列表表示为参考列表0。

48.根据条款46所述的方法，其中，将所述第一参考列表表示为参考列表1。

49.根据条款45所述的方法，其中，如果所述另一视频块是所述非参考图片，则禁用所述继承或所述预测，则所述边信息包括值为零的标志。

50.根据条款45所述的方法，其中，如果(a)表示为tile_group_reshaper_model_present_flag且出现在所述片组标头、所述条带标头、或所述图片标头中的标志等于0，并且(b)所述片组标头、所述条带标头、或所述图片标头是I类型，则根据初始化步骤初始化所述边信息。

51.根据条款45所述的方法，其中，如果所述另一视频块是参考图片，则启用从所述参考图片的第一片组或第一条带的边信息的所述继承或所述预测。

52.根据条款51所述的方法，其中，所述另一视频块的边信息是第一边信息，所述当前视频块的边信息是第二边信息，并且其中，所述第二边信息是从所述第一边信息继承的。

53.根据条款52所述的方法，其中，从所述第一边信息继承所述第二边信息包括：从所述第一边信息将以下量中的一个或多个量复制到所述第二边信息中的相关联的一个或多个量中：reshaper_model_min_bin_idx、reshaper_model_max_bin_idx、RspCW[i],、RspDeltaCW[i]、ReshapePivot[i]、ScaleCoef[i]、InvScaleCoeff[i]、ChromaScaleCoef[i]、tile_group_reshaper_enable_flag、或tile_group_reshaper_chroma_residual_scale_flag，其中i取值在下限和上限之间。

54.根据条款53条所述的方法，其中，所述下限和所述上限分别为reshaper_model_min_bin_idx和reshaper_model_max_bin_idx。

55.根据条款53所述的方法，其中，所述下限和所述上限分别为零和MaxBinIdx。

56.根据条款45所述的方法，其中，响应于确定所述参考图片的片组标头、条带标头、或图片标头是I类型而选择所述参考图片。

57.根据条款45所述的方法，其中，响应于确定参考图片组的片组标头、条带标头、或图片标头是I类型而从所述参考图片组中选择所述参考图片。

58.根据条款57所述的方法，其中，所述参考图片最接近所述当前视频块。

59.根据条款58所述的方法，其中，所述参考图片与所述当前视频块的图片顺序计数(POC)的绝对差在所述参考图片组中最小。

60.根据条款45所述的方法，其中，响应于确定所述参考图片的片组标头、条带标头、或图片标头缺少I类型，还包括：

在确定参考列表1中不存在参考图片时，用参考索引0和参考列表0选择所述参考图片；

在确定不存在具有与所述当前视频块比更大图片顺序计数(POC)的I类型条带时，用参考索引0和参考列表0选择所述参考图片；

否则，默认情况下，用参考索引0和参考列表1选择所述参考图片，其中，参考列表0和参考列表1包含在所述一个或多个参考列表中。

61.根据条款1至60中任一项或多项所述的方法，其中，所述视觉媒体处理是编码器侧实现方式。

62.根据条款1至60中任一项或多项所述的方法，其中所述视觉媒体处理是解码器侧实现方式。

63.一种视频***中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现条款1至60中任一项或多项所述的方法。

64.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现条款1至60中任一项或多项所述的方法的程序代码。

第二组条款描述了先前章节(例如，包括示例实现方式1、2、4、6至13)中列出的公开技术的某些特征和方面。

1.一种视频编解码方法，包括：执行包括一个或多个视频区域的视频的编解码表示与所述视频之间的转换，其中，所述编解码表示包括适用于所述一个或多个视频区域的一些的环路整形(ILR)的边信息，其中，所述边信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的所述视频单元的参数、和/或用于缩放色度视频单元的色度残差的参数，并且其中，在没有直接从其他视频区域继承的情况下编解码适用于所述一个或多个视频区域的所述一些的所述边信息。

2.根据条款1所述的方法，其中，所述边信息包括与色度样点或亮度样点相关的一个或多个查找表或者一个或多个分段线性模型的参数。

3.根据条款1所述的方法，其中所述视频区域是图片、条带、片组、或其他视频数据单元。

4.根据条款1所述的方法，其中，所述边信息被预测地编解码在所述编解码表示中。

5.根据条款1所述的方法，其中，所述视频单元的所述边信息和另一视频单元的所述边信息之间的差异被预测地编解码，其中，所述差异与分段线性模型的参数中的至少一个参数相关。

6.根据条款1所述的方法，其中，分段线性模型的仅一些参数是继承的，并且剩余参数是信令通知的。

7.根据条款2所述的方法，其中，通过使用对应于一个或多个分段线性模型的边信息的一个或多个集合来编解码所述边信息。

8.根据条款2所述的方法，其中，在所述视频的所述编解码表示中信令通知分段线性模型的多个集合的一个或多个索引。

9.根据条款8所述的方法，其中，使用已信令通知的所述边信息来导出所述视频单元的所述边信息。

10.根据条款8所述的方法，其中，所述边信息的所述一个或多个索引包含在片组标头、条带标头、或图片标头中。

11.根据条款1所述的方法，其中，在自适应参数集(APS)中信令通知所述边信息的一个或多个集合。

12.根据条款1所述的方法，其中，将所述边信息的一个或多个集合存储在缓冲器中。

13.根据条款1所述的方法，其中，利用编解码在所述编解码表示中的参数来更新所述缓冲器。

14.根据条款1所述的方法，其中，所述视频区域的所述边信息是从存储在所述缓冲器中的所述边信息的多个集合中的一个集合继承的。

15.根据条款14所述的方法，其中，所述边信息的多个集合中的一个集合的索引是信令通知的。

16.根据条款1所述的方法，其中，从存储在所述缓冲器中的边信息的一个或多个集合预测所述视频区域的所述边信息。

17.根据条款16所述的方法，其中，所述边信息的所述一个或多个集合的索引是信令通知的。

18.一种视频处理方法，包括：执行包括一个或多个视频区域的视频的编解码表示与所述视频之间的转换，其中，所述编解码表示包括适用于所述一个或多个视频区域的一些的环路整形(ILR)的边信息，其中，所述边信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的所述视频单元的参数、和/或用于缩放色度视频单元的色度残差的参数，并且其中，所述编解码表示包括包含当前视频块的视频区域级处的所述边信息。

19.根据条款18所述的方法，其中，所述视频区域级包括片级或编解码树单元(CTU)级。

20.根据条款18所述的方法，其中，对于图片或包括多个片的片组，允许在片之间继承或预测所述当前视频块的所述边信息。

21.根据条款18所述的方法，其中，对于图片或包括多个片的片组，不允许继承或预测所述当前视频块的所述边信息。

22.根据条款18所述的方法，其中，所述视频区域级是片组标头，并且对应片组内的所有片共享所述边信息。

23.一种视频处理方法，包括：使用来自视频区域的样点，为视频的所述视频区域的当前视频块与所述视频的编解码表示之间的转换确定所述当前视频块的预测块，其中，基于指定使用与所述当前视频块相关联的环路整形(ILR)信息的推导规则，来确定来自所述视频区域的所述样点的不可用样点；以及基于所述预测块执行所述转换，其中，所述环路整形信息包括用于基于第一域和第二域中的视频单元的表示重构所述视频区域的所述视频单元的信息、和/或用于缩放色度视频单元的色度残差的信息。

24.根据条款23所述的方法，其中，对于以帧内编解码或以交叉分量线性模型(CCLM)模式编解码的所述当前视频块，为所述环路整形信息设置默认值。

25.根据条款24所述的方法，其中将所述默认值设置为forwardLUT(x)，其中forwardLUT(.)是查找表，并且x是在禁用所述编解码模式时使用的值。

26.根据条款25所述的方法，其中，将所述值x设置为(1<<(Bitdepth-1))，其中Bitdepth是所述当前视频块或从所述当前视频块重构的视频块的输入比特深度值。

27.一种视频处理方法，包括：使用环路整形过程执行视频的当前视频块和所述视频的编解码表示之间的转换，其中，所述环路整形过程包括：从运动补偿预测或帧内预测获得预测块；将前向整形应用于所述预测块，以在第一域中生成前向整形预测块；基于所述前向整形预测块重构所述视频的所述编解码表示，以在第二域中生成第一重构块；将反向整形应用于所述第一重构块以获得反向重构块；以及将环路滤波器应用于所述反向重构块以获得最终重构块，并且其中，在所述环路整形过程期间使用单个剪切过程。

28.根据条款27所述的方法，其中，以在所述第一域中定义的、且从所述环路整形过程中使用的查找表或分段线性(PWL)模型中导出的剪切参数使用所述单个剪切过程。

29.根据条款28所述的方法，其中，将所述剪切参数的最小值定义为inverseLUT(x)，其中inverseLUT(.)是反向查找表，并且x是0。

30.根据条款28所述的方法，其中，将所述剪切参数定义为inverseLUT(y)，其中inverseLUT(.)是反向查找表，并且y不等于0。

31.根据条款27条所述的方法，其中，以在所述第二域中定义的、且从所述环路整形过程中使用的查找表或分段线性(PWL)模型中导出的剪切参数使用所述单个剪切过程。

32.根据条款31所述的方法，其中，将所述剪切参数的最小值被定义为默认值0。

33.根据条款27所述的方法，其中，将所述剪切参数的最小值定义为inverseLUT(y)，其中inverseLUT(.)是反向查找表，并且y是通过求解InverseLUT(y)不等于InverseLUT(y-1)或InverseLUT(y+1)而获得的最大值。

34.根据条款33所述的方法，其中，y处于范围[0，最大条目索引]内、或范围[0,(1<<(Bitdepth-1))]内，其中，Bitdepth是所述当前视频块或从所述当前视频块重构的视频块的输入比特深度值。

35.一种视频处理方法，包括：执行包括一个或多个视频区域的视频的编解码表示和所述视频之间的转换，其中，所述编解码表示包括环路整形(ILR)信息，所述环路整形(ILR)信息适用于基于第一域和第二域中的视频单元的表示重构视频区域的所述视频单元、和/或缩放色度视频单元的色度残差，并且其中，根据所述环路整形信息，基于所述第一域和/或所述第二域中的剪切参数，将剪切过程用于所述转换。

36.根据条款35所述的方法，其中，在预测块生成过程期间使用所述剪切参数，所述预测块生成过程包括帧内和/或帧内块复制生成、或帧间预测块生成中的至少一个。

37.根据条款35所述的方法，其中，以调色板模式执行所述转换期间使用所述剪切参数，其中将代表性样点值的至少一个调色板用于所述视频单元。

38.根据条款35所述的方法，其中在运动补偿过程期间使用所述剪切参数。

39.根据条款35所述的方法，其中，在最终重构块推导过程期间使用所述剪切参数。

40.根据条款35所述的方法，其中，在滤波过程期间使用所述剪切参数。

41.一种视频处理方法，包括：执行包括一个或多个视频区域的视频的编解码表示和所述视频之间的转换，其中，所述编解码表示包括适用于所述一个或多个区域的一些的环路整形(ILR)的信息，其中，所述信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的所述视频单元的ILR参数、和/或用于缩放色度视频单元的色度残差的ILR参数，并且其中，所述ILR参数包括在所述ILR期间根据剪切过程的规则使用的剪切参数。

42.根据条款41所述的方法，其中，所述规则为ILR的不同阶段的所述剪切参数定义不同的值。

43.根据条款42所述的方法，其中，在所述第二域中定义所述剪切参数，并且在ILR滤波操作之前将其用于所述转换。

44.根据条款42所述的方法，其中，在所述第二域中定义所述剪切参数，并且将所述剪切参数用于预测块处理和/或所述视频单元的重构。

45.根据条款42所述的方法，其中，在所述第一域中定义所述剪切参数，并且在应用于所述视频单元的环路滤波操作期间使用所述剪切参数。

46.根据条款43或45所述的方法，其中使用去块滤波器、采样自适应偏移滤波器、或自适应环路滤波器来执行所述环路滤波操作。

47.一种视频处理方法，包括：确定是否为包括一个或多个视频区域的视频的编解码表示与所述视频之间的转换启用环路整形(ILR)；以及基于所述确定执行所述转换，其中，基于根据与所述ILR相关联的信息导出的ILR剪切参数和/或所述与所述ILR相关联的信息无关的固定剪切参数将剪切过程用于所述转换，并且其中，所述与所述ILR相关联的信息适用于基于第一域和第二域中的视频单元的表示的视频区域的所述视频单元的重构、和/或缩放色度视频单元的色度残差。

48.根据条款47所述的方法，其中，所述确定确定所述ILR被禁用，并且其中，将所述固定剪切参数用于所述转换。

49.根据条款47所述的方法，其中，所述确定确定所述ILR被启用，并且其中，将所述第一域和/或所述第二域中表示的所述ILR剪切参数用于所述转换。

50.根据条款47所述的方法，其中，所述确定还确定是否为所述转换启用自适应剪切过程，并且基于ILR剪切参数、固定剪切参数、或自适应剪切参数中的至少一个将所述剪切过程用于所述转换。

51.根据条款50所述的方法，其中，所述确定确定所述ILR被禁用，并且所述自适应剪切过程被启用，并且将所述自适应剪切参数用于所述转换。

52.根据条款50所述的方法，其中，所述确定确定所述ILR被启用，并且将所述第一域和/或所述第二域中表示的所述ILR剪切参数用于所述转换。

53.根据条款50所述的方法，其中，所述确定确定所述ILR被禁用，并且所述自适应剪切被禁用，并且将所述固定剪切参数用于所述转换。

54.根据条款1至53中任一项所述的方法，还包括：检测与所述视频单元相关联的特定条件。

55.根据条款54所述的方法，其中，所述特定条件是：为包括所述视频单元的视频区域启用或禁用所述编解码模式。

56.根据条款54所述的方法，其中，所述条件与以下中的任一项或多项相关：亮度颜色分量、主颜色分量、颜色格式、或色度分量。

57.一种视频处理方法，包括：执行视频的作为色度块的当前视频块和所述视频的编解码表示之间的转换，其中，所述编解码表示包括适用于一个或多个视频区域的一些的环路整形(ILR)的边信息，其中，所述边信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的所述视频单元的参数、和/或用于缩放色度视频单元的色度残差的参数，并且其中，所述转换还包括基于所述边信息将整形过程应用于所述当前视频块的一个或多个色度分量。

58.根据条款57所述的方法，其中，与所述编解码模式相关联的所述边信息包括查找表和/或分段线性(PWL)模型。

59.根据条款57所述的方法，其中，所述方法还包括：确定所述当前视频块的颜色格式是否为4:4:4；并且基于所述确定，避免对所述当前视频块的一个或多个色度分量应用基于亮度的残差缩放。

60.根据条款59所述的方法，其中，所述当前视频块的所述颜色格式为4:4:4，并且其中，用信令通知或导出的所述查找表和/或分段线性模型来替换所述基于亮度的残差缩放。

61.根据条款57所述的方法，其中，所述当前视频块的两个色度分量共享与所述编解码模式相关联的所述边信息。

62.根据条款57所述的方法，其中，所述方法还包括：确定所述当前视频块的颜色格式是否为4:4:4；以及从所述亮度分量的查找表和/或分段线性模型中导出色度分量的所述查找表和/或分段线性模型。

63.根据条款57所述的方法，其中，所述方法还包括：确定所述当前视频块的颜色格式是否为4:4:4，并且其中，在自适应参数集(APS)、图片参数集(PPS)、图片标头、条带标头、片组标头、片、或其他视频单元中信令通知色度分量的查找表和/或分段线性模型。

64.根据条款57所述的方法，其中，所述方法还包括：确定所述当前视频块的颜色格式是否为4:4:4，并且其中，在自适应参数集(APS)、图片参数集(PPS)、图片标头、条带标头、片组标头、片、或其他视频单元中预测地编解码色度分量的查找表和/或分段线性模型。

65.根据条款64所述的方法，其中，颜色分量的查找表和/或分段线性模型是从另一颜色分量的查找表和/或分段线性模型中预测的。

66.根据条款58所述的方法，其中，所述方法还包括：确定所述当前视频块的颜色格式是否为4:4:4，并且其中，颜色分量的查找表和/或分段线性模型是从另一颜色分量的查找表和/或分段线性模型中导出的。

67.根据条款66所述的方法，其中，色度分量的查找表和/或分段线性模型从所述亮度分量和/或另一色度分量的查找表和/或分段线性模型中预测的。

68.根据条款57所述的方法，其中，所述整形过程被禁止，并且其中，直接禁止所述当前视频块的色度分量的整形。

69.根据条款57所述的方法，其中，不信令通知所述边信息。

70.根据条款1至69中任一项所述的方法，其中，所述执行所述转换包括从所述视频生成所述编解码表示。

71.根据条款1至69中任一项所述的方法，其中，所述执行所述转换包括从所述编解码表示生成所述视频。

72.一种视频***中的装置，其包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现条款1至71中任一项或多项所述的方法。

73.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现条款1至71中任一项或多项所述的方法的程序代码。

第三组条款描述了先前章节(例如，示例性实现3)中列出的公开技术的某些特征和方面。

1.一种视频处理方法，包括：执行包括一个或多个视频区域的视频的编解码表示与所述视频之间的转换，其中，所述编解码表示包括适用于所述一个或多个视频区域中的一些的环路整形(ILR)的边信息，其中，所述边信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的所述视频单元的参数、和/或用于缩放色度视频单元的色度残差的参数，并且其中，根据规则确定当前视频区域的所述边信息，所述规则不允许基于所述当前视频区域的时域层索引继承或预测所述边信息。

2.根据条款1所述的方法，其中，在与另一图片相关联的时域层索引大于包括所述当前视频区域的所述图片的时域层索引的情况下，禁用所述继承或所述预测。

3.根据条款1所述的方法，其中，只有在所述另一图片存储在解码图片缓冲器中的情况下启用所述继承或所述预测。

4.根据条款1至3中任一项所述的方法，其中，将另一视频区域的整形信息中的一个或多个字段复制到所述当前视频区域的整形信息中。

5.根据条款4所述的方法，其中，所述一个或多个字段包括以下中的至少一个：i)reshaper_model_min_bin_idx，ii)reshaper_model_max_bin_idx，iii)RspCW[i]，iv)RspDeltaCW[i]，v)ReshapePivot[i]，vi)ScaleCoef[i]，vii)InvScaleCoeff[i]，viii)ChromaScaleCoef[i]，viiii)ix)tile_group_reshaper_enable_flag，或x)tile_group_reshaper_chroma_residual_scale_flag。

6.一种视频处理方法，包括：执行包括一个或多个视频区域的视频的编解码表示与所述视频之间的转换，其中，所述编解码表示包括适用于所述一个或多个视频区域中的一些的环路整形(ILR)的边信息，其中，所述边信息提供用于基于第一域和第二域中的视频单元的表示重构视频区域的所述视频单元的参数、和/或用于缩放色度视频单元的色度残差的参数，并且其中，根据规则确定当前视频区域的所述边信息，所述规则不允许从第一类型的另一图片继承或预测所述边信息。

7.根据条款6所述的方法，其中，所述边信息包括与色度样点、亮度样点相关的一个或多个查找表或者一个或多个分段线性模型的参数、或启用/禁用ILR的信息、或启用/禁用色度残差缩放的信息。

8.根据条款6所述的方法，其中，所述当前视频区域是当前图片、条带、片组、或其他视频数据单元。

9.根据条款6所述的方法，其中，所述第一类型包括不是所述当前视频区域的参考图片的图片，所述当前视频区域包括当前图片、条带、片组、片、或其他视频数据单元。

10.根据条款6所述的方法，其中，当所述参考图片的时域层索引不大于所述当前视频区域的时域层索引时，启用所述继承或所述预测，所述当前视频区域包括当前图片、条带、片组、片、或其他视频数据单元。

11.根据条款6所述的方法，其中，所述第一类型包括所有图片。

12.根据条款6所述的方法，其中，所述第一类型不包括时域层索引小于或等于所述当前视频区域的时域层索引的图片，所述当前视频区域包括当前图片、条带、片组、片、或其他视频数据单元。

13.根据条款6所述的方法，其中，所述第一类型包括时域层索引大于所述当前视频区域的时域层索引的图片，所述当前视频区域包括当前图片、条带、片组、片、或其他视频数据单元。

14.根据条款13所述的方法，其中，所述图片是所述当前视频区域的参考图片，所述当前视频区域包括当前图片、条带、片组、片、或其他视频数据单元。

15.根据条款6所述的方法，其中，信令通知与另一图片相关联的一个或多个参考列表和/或参考索引。

16.根据条款15所述的方法，其中，所述一个或多个参考列表和/或参考索引包括在片组标头、条带标头、或图片标头中。

17.根据条款16所述的方法，其中，语法元素包括：第一字段，以指示所述边信息是否是从给定的参考图片列表中的另一参考图片继承的；和/或第二字段，以指示从中继承所述边信息的另一参考图片的参考索引。

18.根据条款16所述的方法，其中，在与所述编解码模式相关联的整形器模型不存在于所述片组标头中、并且所述当前视频区域是I片组或I条带的情况下，初始化所述边信息。

19.根据条款6所述的方法，其中，所述边信息是从所述参考图片的片组或条带的所述边信息继承的。

20.根据条款6所述的方法，其中，所述参考图片是预定义的。

21.根据条款20所述的方法，其中，所述参考图片是并置图片。

22.根据条款20所述的方法，其中，所述参考图片具有参考索引IDX和参考列表LX，并且其中，LX＝0且IDX＝0。

23.根据条款20所述的方法，其中，所述参考图片在显示顺序上最接近所述当前视频区域。

24.根据条款20所述的方法，其中，所述参考图片在解码顺序上最接近所述当前视频区域。

25.根据条款1至24中任一项所述的方法，其中，所述执行所述转换包括从所述视频生成所述编解码表示。

26.根据条款1至24中任一项所述的方法，其中，所述执行所述转换包括从所述编解码表示生成所述视频。

27.一种视频***中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现条款1至24中任一项所述的方法。

28.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现条款1至24中任一项所述的方法的程序代码。

第四组条款描述了先前章节(例如，示例性实现5)中列出的公开技术的某些特征和方面。

1.一种视频处理方法，包括：执行包括一个或多个视频区域的视频的编解码表示与所述视频之间的转换，其中，所述编解码表示包括在第一级处的第一边信息，其中，从所述第一边信息导出在第二级处的第二边信息，使得所述第二边信息提供用于以环路整形(ILR)编解码的视频单元的参数和/或用于缩放色度视频单元的色度残差的参数，在所述环路整形中视频区域的所述视频单元的重构基于第一域和第二域中的视频单元的表示。

2.根据条款1所述的方法，其中，所述第二边信息基于存在于所述第二级中的一个或多个语法元素。

3.根据条款1所述的方法，其中，所述第一级是片组级，并且所述第二级是片级。

4.根据条款1所述的方法，其中，所述第一级是图片级，并且所述第二级是片组级。

5.根据条款1所述的方法，其中，所述第一级是图片级，并且第二级是片组级。

6.根据条款1所述的方法，其中，所述第一级是自适应参数集(APS)级，并且所述第二级是图片级、片组级、或片级。

7.根据条款1所述的方法，其中，所述第一边信息存在于所述ILR自适应参数集(APS)中，并且所述第二边信息存在于图片标头中。

8.根据条款1至7中任一项所述的方法，其中，所述第二边信息是从所述第一边信息继承的。

9.根据条款1至7中任一项所述的方法，其中，所述第二边信息是从所述第一边信息预测的。

10.根据条款1至7中任一项所述的方法，其中，所述第一边信息或所述第二边信息中的至少一个包括以下中的至少一个：启用或禁用所述ILR的信息、分段线性模型的参数、启用或禁用所述第一域和第二域之间的整形的信息、或者启用或禁用色度残差缩放的信息。

11.根据条款1至10中任一项所述的方法，其中，所述执行所述转换包括从所述视频生成所述编解码表示。

12.根据条款1至10中任一项所述的方法，其中，所述执行所述转换包括从所述编解码表示生成所述视频。

13.一种视频***中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现条款1至12中任一项或多项所述的方法。

14.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现条款1至12中任一项或多项所述的方法的程序代码。

在本文档中，术语“视频处理”或“视觉媒体处理”可指图片或视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换处理期间应用视频压缩算法，反之亦然。例如，当前视频块的比特流表示可以对应于由语法定义的比特流中的并置位置或在不同位置扩展的比特。例如，可以在转换的和编解码的误差残差值方面、而且可以使用比特流中的标头和其他字段中的比特对宏块进行编码。此外，如上述解决方案中所描述的，在转换期间，解码器可以在知道某些字段可能存在或不存在的情况下，基于确定来解析比特流。类似地，编码器可以确定是否包括某些语法字段、并且通过在编解码表示中包括或不包括语法字段来相应地生成编解码表示。边信息可以例如是与编解码表示或比特流包括在一起的自适应参数集。

本文档中描述的所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现，包括本文档中公开的结构及其结构等同物，或者一个或多个的组合实现。所公开的实施例和其他实施例可以实现为一个或多个计算机程序产品，例如在计算机可读介质上编码以供数据处理装置执行或控制数据处理装置操作的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质的组合，或者它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除硬件外，设备还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理***、操作***或其中一个或多个的组合的代码。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器设备。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署计算机程序，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定与文件***中的文件对应。程序可以存储在文件的保存其他程序或数据的部分中(例如，存储在标志语言文档中的一个或多个脚本)、存储在专用于所讨论的程序的单个文件中、或存储在多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，位于一个站点上或分布在多个站点上，并通过通信网络互连。

本文中描述的过程和逻辑流程可以通过执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流也可以通过专用逻辑电路来执行，并且装置也可以实现为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备(例如，磁盘、磁光盘或光盘)，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪速存储器设备；磁盘，例如，内部硬盘或可移动硬盘；磁光盘；以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

虽然本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求范围的限制，而应解释为对特定技术的特定实施例的特征的描述。本专利文档在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从所要求保护的组合中移除该组合中的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变体。

同样，尽管附图中以特定顺序描述了操作，但这不应理解必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作，以实现期望的结果。此外，本专利文档描述的实施例中各种***组件的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现方式和示例，其他实现方式、增强和变体可以基于本专利文档中描述和说明的内容来做出。

Claims

1.一种处理视频数据的方法，包括：

在包括一个或多个视频区域的视频的比特流与所述视频之间执行转换，

其中，所述比特流包括在第一级处的第一边信息，以及

其中，基于所述第一边信息导出在第二级处的第二边信息，使得所述第二边信息为用一定的编解码工具编解码的第一视频区域的视频单元提供参数，其中所述视频单元的重构基于以下中的至少一项：

1)所述视频单元的亮度分量的前向映射过程，其中所述视频单元的亮度分量的预测样点从原始域转换为整形域，

2)反向映射过程，其是所述前向映射过程的反向操作，将在所述整形域中所述视频单元的亮度分量的重构样点转换为所述原始域，或

3)缩放过程，其中所述视频单元的色度分量的残差样点在被用于重构所述色度分量之前被缩放，

其中，所述第一级是自适应参数集级，并且所述第二级是图片级、片组级或片级。

2.根据权利要求1所述的方法，其中，所述第二边信息基于在所述第二级中出现的一个或多个语法元素导出。

3.根据权利要求1所述的方法，其中，所述第二边信息基于在所述第二级中出现的第一语法元素导出，所述第一语法元素指示第一边信息的自适应参数集的标识符。

4.根据权利要求1或2所述的方法，其中，所述第一边信息出现在与所述一定的编解码工具相关联的自适应参数集中，并且所述第二边信息与图片标头相关联。

5.根据权利要求1或2所述的方法，其中，从所述第一边信息继承所述第二边信息。

6.根据权利要求1或2所述的方法，其中，从所述第一边信息预测所述第二边信息。

7.根据权利要求1或2所述的方法，其中，所述第一边信息或所述第二边信息中的至少一个包括以下中的至少一个：启用或禁用所述一定的编解码工具的信息，在所述前向映射过程中使用的分段线性模型的参数，在所述缩放过程中使用的参数，或启用或禁用所述缩放过程的信息。

8.根据权利要求1或2所述的方法，其中，在所述前向映射过程中使用分段线性模型以将所述视频单元的亮度分量的预测样点映射到特定值中。

9.根据权利要求8所述的方法，其中，所述分段线性模型的比例系数是根据基于所述第二边信息中的参数所确定的第一变量和基于比特深度所确定的第二变量来确定。

10.根据权利要求1或2所述的方法，其中，所述转换包括将所述视频编码为所述比特流。

11.根据权利要求1或2所述的方法，其中，所述转换包括从所述比特流解码所述视频。

12.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器：

其中，所述比特流包括在第一级处的第一边信息，以及

13.根据权利要求12所述的装置，其中，所述第二边信息基于在所述第二级中出现的一个或多个语法元素导出。

14.根据权利要求12所述的装置，其中，所述第二边信息基于在所述第二级中出现的第一语法元素导出，所述第一语法元素指示第一边信息的自适应参数集的标识符。

15.一种存储指令的非暂时性计算机可读存储介质，该指令使处理器：

其中，所述比特流包括在第一级处的第一边信息，以及

16.根据权利要求15所述的非暂时性计算机可读存储介质，其中，所述第二边信息基于在所述第二级中出现的一个或多个语法元素导出。

17.一种存储视频的比特流的方法，包括：

生成包括一个或多个视频区域的视频的比特流，

其中，所述比特流包括在第一级处的第一边信息，以及

3)缩放过程，其中所述视频单元的色度分量的残差样点在被用于重构所述色度分量之前被缩放，以及

在非暂时性计算机可读记录介质中存储所述比特流，

18.一种视频处理方法，包括：

执行包括一个或多个视频区域的视频的比特流与所述视频之间的转换，

其中，所述比特流包括在第一级处的第一边信息，

其中，从所述第一边信息导出在第二级处的第二边信息，使得所述第二边信息提供用于以环路整形(ILR)编解码的视频单元的参数和/或用于缩放色度视频单元的色度残差的参数，在所述环路整形中视频区域的所述视频单元的重构基于第一域和第二域中的视频单元的表示，

其中，所述第一级是自适应参数集(APS)级，并且所述第二级是图片级、片组级、或片级。

19.根据权利要求18所述的方法，其中，所述第二边信息基于存在于所述第二级中的一个或多个语法元素。

20.根据权利要求18所述的方法，其中，所述第一边信息存在于环路整形自适应参数集(APS)中，并且所述第二边信息存在于图片标头中。

21.根据权利要求18至20中任一项所述的方法，其中，所述第二边信息是从所述第一边信息继承的。

22.根据权利要求18至20中任一项所述的方法，其中，所述第二边信息是从所述第一边信息预测的。

23.根据权利要求18至20中任一项所述的方法，其中，所述第一边信息或所述第二边信息中的至少一个包括以下中的至少一个：启用或禁用所述环路整形的信息、分段线性模型的参数、启用或禁用所述第一域和第二域之间的整形的信息、或者启用或禁用色度残差缩放的信息。

24.根据权利要求18至20中任一项所述的方法，其中，执行所述转换包括从所述视频生成所述比特流。

25.根据权利要求18至20中任一项所述的方法，其中，执行所述转换包括从所述比特流生成所述视频。

26.一种视频***中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现权利要求18至25中任一项所述的方法。

27.一种非暂时性计算机可读介质，存储有计算机程序，所述计算机程序使处理器实现权利要求18至25中任一项所述的方法。