CN115836524A

CN115836524A - 自适应环路滤波

Info

Publication number: CN115836524A
Application number: CN202180029337.3A
Authority: CN
Inventors: 王业奎; 张莉; 张凯; 邓智玭
Original assignee: Douyin Vision Co Ltd; ByteDance Inc
Current assignee: Douyin Vision Co Ltd; ByteDance Inc
Priority date: 2020-04-18
Filing date: 2021-04-18
Publication date: 2023-03-21
Also published as: WO2021209062A1

Abstract

描述了几种用于视频编码和视频解码的技术。一种示例性方法包括根据规则在视频与视频的比特流之间执行转换。该规则规定在自适应参数集的标识符之前指示自适应参数集的类型。

Description

自适应环路滤波

相关申请的交叉引用

根据适用的专利法和/或根据《巴黎公约》的规则，本申请旨在及时要求2020年4月18日提交的国际专利申请号PCT/CN2020/085483的优先权益。就法律规定的所有目的而言，上述申请的全部公开内容通过引用被结合作为本申请的公开内容的一部分。

技术领域

本专利文档涉及图像以及视频编码和解码。

背景技术

数字视频占互联网和其它数字通信网络上最大的带宽使用量。随着能够接收和显示视频的连接用户设备的数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

本文档公开了可由视频编码器和解码器使用以使用对视频的编解码表示的解码有用的控制信息处理编解码表示的技术。

在一个示例性方面中，公开了一种视频处理方法。该方法包括根据规则在视频与该视频的比特流之间执行转换。该规则规定在自适应参数集的标识符之前指示该自适应参数集的类型。

在另一个示例性方面中，公开了一种视频处理方法。该方法包括根据规则在视频与该视频的比特流之间执行转换。该规则规定根据该比特流中的编解码信息确定在自适应参数集中指示的允许滤波器的总数。

在另一个示例性方面中，公开了一种视频处理方法。该方法包括在包括一个或多个视频图片的视频之间执行转换，其中该编解码表示符合格式规则；其中该格式规则规定序列参数集中的两个或多个语法字段控制视频中的参考图片分辨率(RPR)更改。

在另一个示例性方面中，公开了另一种视频处理方法。该方法包括在包括一个或多个视频图片的视频之间执行转换，其中该编解码表示符合格式规则；其中该格式规则规定序列参数集中的单个语法字段控制视频中的参考图片分辨率(RPR)更改；并且其中该格式规则规定无论单个语法字段的值如何，都允许为了转换而对层间参考图片进行再采样。

在另一个示例性方面中，公开了另一种视频处理方法。该方法包括在包括一个或多个层的视频之间执行转换，该一个或多个层包括一个或多个视频图片，该一个或多个视频图片包括一个或多个子图片，其中该编解码表示符合格式规则；其中该格式规则规定对跨层对齐的第一约束或对子图片和层间图片的可扩展性的组合规定第二约束。

在另一个示例性方面中，公开了另一种视频处理方法。该方法包括在包括一个或多个层的视频之间执行转换，该一个或多个层包括一个或多个视频图片，该一个或多个视频图片包括一个或多个子图片，其中该转换符合格式规则，该规则规定不允许层间参考图片或长期参考图片作为用于转换的当前图片的并置图片。

在另一个示例性方面中，公开了另一种视频处理方法。该方法包括在包括多个图片的视频与视频的编解码表示形式之间执行转换，其中该转换符合规则，该规则规定scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset中的每一者的值对于同一编解码层视频序列或编解码视频序列中具有pic_width_in_luma_samples和pic_height_in_luma_samples的相同值的任何两个图像都是相同的。

在另一个示例性方面中，公开了另一种视频处理方法。该方法包括在包括多个图片的视频与视频的编解码表示之间执行转换，其中该转换符合规则，该规则规定如果图片分辨率或扩展窗口对于当前图片和同一接入单元中的其它图片是不同的，则仅在当前图片是帧内随机接入点图片时才允许层间预测。

在又另一个示例性方面中，公开了一种视频编码器装置。该视频编码器包括处理器，该处理器被配置为实施上述方法。

在又另一个示例性方面中，公开了一种视频解码器装置。该视频解码器包括处理器，该处理器被配置为实施上述方法。

在又另一个示例方面中，公开了一种其上存储有代码的计算机可读介质。该代码以处理器可执行代码的形式体现本文中描述的方法中的一者。

本文档通篇叙述了这些和其它特点。

附图说明

图1示出了图片的光栅扫描条带(slice)分区的示例，其中图片被划分为12个片(tile)和3个光栅扫描条带。

图2示出了图片的矩形条带分区的示例，其中图片被划分为24个片(6个片列和4个片行)和9个矩形条带。

图3示出了被分区为片和矩形条带的图片的示例，其中图片被划分为4个片(2个片列和2个片行)和4个矩形条带。

图4示出了被分区成15个片、24个条带和24个子图片的图片。

图5是示例性视频处理***的框图。

图6是视频处理装置的框图。

图7是用于视频处理的示例性方法的流程图。

图8是示出根据本公开的一些实施例的视频编解码***的框图。

图9是示出根据本公开的一些实施例的编码器的框图。

图10是示出根据本公开的一些实施例的解码器的框图。

图11示出了典型的基于子图片的视口相关360°视频编解码方案的示例。

图12示出了基于子图片和空间可扩展性的视口相关360°视频编解码方案。

图13是用于根据本技术进行视频处理的方法的流程图表示。

图14是用于根据本技术进行视频处理的另一种方法的流程图表示。

具体实施方式

本文档中使用的章节标题是为了便于理解，并且不限制在每个章节中公开的技术和实施例仅对该章节的适用性。此外，在一些描述中使用H.266术语只是为了便于理解，而不是为了限制所公开技术的范围。因而，本文中描述的技术也适用于其它视频编解码器协议和设计。在本文档中，关于VVC规范的当前草案，通过指示已取消的文本的删除线和指示已添加的文本(包括粗体斜体)的高亮显示向文本示出编辑更改。

1.概述

本文档涉及视频编解码技术。具体地，它是关于1)视频编解码中的参考图片再采样(RPR)、子图片和可扩展性中的两者或更多者的组合，2)在具有相同空间分辨率的当前图片与参考图片之间使用RPR，以及3)长期参考图片和并置图片的组合。这些想法可以单独地或以各种组合应用于支持多层视频编解码的任何视频编解码标准或非标准视频编解码器，例如，正在开发的多功能视频编解码(VVC)。

2.缩写

APS 自适应参数集

AU 接入单元

AUD 接入单元分隔符

AVC 高级视频编解码

CLVS 编解码层视频序列

CCALF 跨分量自适应环路滤波器

CPB 编码图像缓冲区

CRA 清理随机接入

CTU 编解码树单元

CVS 编解码视频序列

DCI 解码能力信息

DPB 解码图像缓冲区

EOB 比特流末尾

EOS 序列末尾

GDR 逐渐解码刷新

HEVC 高效视频编解码

HRD 假想参考解码器

GDR 即时解码刷新

ILP 层间预测

ILRP 层间参考图片

IRAP 帧内随机接入图片

JEM 联合探索模型

LTRP 长期参考图片

MCTS 运动约束片集

NAL 网络抽象层

OLS 输出层集

PH 图片标头

PPS 图片参数集

PTL 档次、层和级别

PU 图片单元

RAP 随机接入点

RBSP 原始字节序列有效载荷

SEI 补充增强信息

SPS 序列参数集

STRP 短期参考图片

SVC 可扩展视频编解码

VCL 视频编解码层

VPS 视频参数集

VTM VVC测试模型

VUI 视频可用性信息

VVC 多功能视频编解码

3.初步讨论

视频编解码标准主要通过开发公知的ITU-T和ISO/IEC标准而发展。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视觉，并且这两个组织联合制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262起，视频编解码标准是基于混合视频编解码结构，其中利用了时间预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新方法，并将其置于名为联合探索模型(JEM)的参考软件中。JVET会议每季度同时举行一次，并且新的编解码标准的目标是与HEVC相比比特率降低50％。新的视频编解码标准在2018年4月的JVET会议上正式命名为多功能视频编解码(VVC)，并且当时发布了VVC测试模型(VTM)的第一版本。由于不断努力促进VVC标准化，因此在每次JVET会议中都会在VVC标准中采用新的编解码技术。然后，VVC工作草案和测试模型VTM在每次会议后进行更新。VVC项目现在的目标是在2020年7月的会议上的技术完成(FDIS)。

3.1.HEVC中的图片分区方案

HEVC包括四种不同的图片分区方案，即，常规条带、非独立条带、片和波前并行处理(WPP)，这些方案可应用于最大传输单元(MTU)大小匹配、并行处理和减少端对端延迟。

常规条带与H.264/AVC中的条带类似。每个常规条带都封装在其自己的NAL单元中，并且禁用帧内图片预测(帧内样本预测、运动信息预测、编解码模式预测)和跨条带边界的熵编解码依赖关系。因此，可以独立于同一图片中的其它常规条带重构常规条带(尽管由于环路滤波操作，可能仍然存在相互依赖关系)。

常规条带是可用于并行化的唯一工具，其在H.264/AVC中也以几乎相同的形式提供。基于常规条带的并行化不需要太多的处理器间或内核间通信(除了在解码预测编解码图像时用于运动补偿的处理器间或内核间数据共享之外，由于帧内图片预测，这比处理器间或内核间数据共享繁琐得多)。然而，出于相同原因，由于条带标头的比特成本以及由于缺少跨条带边界的预测，因此使用常规条带可能会产生大量的编解码开销。此外，常规条带(与下文提及的其它工具相比)也用作比特流分区的关键机制，以与MTU大小要求匹配，这是由于常规条带的帧内图片独立性，并且每个常规条带都封装在其自己的NAL单元中。在许多情况下，并行化的目标和MTU大小匹配的目标对图片中的条带布局提出了相互矛盾的要求。这种情况的实现导致了下文提及的并行化工具的开发。

非独立条带具有短条带标头，并允许在树块边界处对比特流进行分区，而不会破坏任何帧内图片预测。基本上，非独立条带将常规条带分段为多个NAL单元，以通过允许在整个常规条带的编码完成之前发出常规条带的一部分来减少端对端延迟。

在WPP中，图片被分区为单行编解码树块(CTB)。允许熵解码和预测使用来自其它分区中的CTB的数据。通过CTB行的并行解码可以进行并行处理，其中CTB行的解码开始延迟了两个CTB，以便确保在对主CTB解码之前，与主CTB上方和右侧的CTB相关的数据可用。使用这种交错开始(以图形方式表示时看起来像波前)，可以使用多达多个处理器/内核进行并行化，因为图片包含CTB行。因为允许在图片中的相邻树块行之间进行帧内图片预测，所以启用帧内图片预测所需的处理器间/内核间通信可能非常显著。与未应用时相比，WPP分区不会导致产生附加的NAL单元，因此WPP不是MTU大小匹配的工具。然而，如果需要MTU大小匹配，则可以将常规条带与WPP一起使用，但会产生一定的编解码开销。

片定义水平和竖直边界，其用于将图片分区为片列和行。片列从图片的顶部一直延伸到图片的底部。同样，片行从图片的左侧一直延伸到图片的右侧。图片中的片数可以简单地导出为片列数乘以片行数。

CTB的扫描顺序将更改为片中的本地(按片的CTB光栅扫描的顺序)，然后按图片的片光栅扫描顺序对下一个片的左上角CTB进行解码。与常规条带类似，片会破坏帧内图片预测依赖关系以及熵解码依赖关系。然而，它们不需要被包括在各个NAL单元中(在这方面与WPP相同)；因此，片不能用于MTU大小匹配。每个片可以由一个处理器/核心处理，并且对相邻片进行解码的处理单元之间的帧内图片预测所需的处理器间/核心间通信仅限于在条带跨越一个以上片的情况下传递共享条带标头以及对重构样本和元数据的相关共享进行环路滤波。当条带中包含一个以上片或WPP片段时，条带标头中会发信号通知除了条带中第一片或WPP片段之外的每个片或WPP片段的入口点字节偏移量。

为了简单起见，HEVC中已经规定了对四种不同图片分区方案应用的限制。对于在HEVC中指定的大多数档次，给定的编解码视频序列不能同时包括片和波前。对于每个条带和片，必须满足以下任一或两个条件：1)条带中的所有编解码树块都属于同一片；2)片中的所有编解码树块都属于同一条带。最后，波前片段只包含一个CTB行，并且当WPP正在使用时，如果条带在CTB行内开始，则它必须在同一CTB行中结束。

随着最近对HEVC的修订，HEVC指定了三个与MCTS相关SEI消息，即，时间MCTS SEI消息、MCTS提取信息集SEI消息和MCTS提取信息嵌套SEI消息。

时间MCTS SEI消息指示比特流中存在MCTS，并发信号通知MCTS。对于每个MCTS，运动向量被限制为指向MCTS内的全样本位置，并指向仅需要MCTS内的全样本位置进行插值的分数样本位置，并且不允许使用运动向量候选项进行从MCTS外部的块导出的时间运动向量预测。这样，每个MCTS都可以独立解码，而不存在MCTS中未包括的片。

MCTS提取信息集SEI消息提供补充信息，该补充信息可用于MCTS子比特流提取(被指定为SEI消息的语义的一部分)，以便为MCTS集生成依从比特流。该信息由许多提取信息集组成，每个提取信息集定义许多MCTS集并包含要在MCTS子比特流提取过程期间使用的替换VPS、SPS和PPS的RBSP字节。根据MCTS子比特流提取过程提取子比特流时，需要重写或替换参数集(VPS、SPS和PPS)，条带标头需要稍作更新，因为一个或所有条带地址相关语法元素(包括first_slice_segment_in_pic_flag和slice_segment_address)通常需要具有不同的值。

3.2.VVC中的图片的分区

在VVC中，图片被划分为一个或多个片行和一个或多个片列。片是覆盖图片的矩形区域的CTU序列。片中的CTU在该片中按光栅扫描顺序进行扫描。

条带由图片的片中的整数个完整片或整数个连续完整CTU行组成。

支持两种条带模式，即，光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式下，条带在图片的片光栅扫描中包含一系列完整片。在矩形条带模式下，条带包含共同形成图片的矩形区域的许多完整片，或者包含一个片的多个连续完整CTU行(这些行共同形成图片的矩形区域)。矩形条带内的片将按片栅格扫描顺序在与该条带相对应的矩形区域内进行扫描。

子图片包含一个或多个条带，这些条带共同覆盖图片的矩形区域。

图1示出了图片的光栅扫描条带分区的示例，其中图片被划分为12个片和3个光栅扫描条带。

图4示出了图片的子图片分区的示例，其中图片被分区成18个片：左侧12个片，其各自覆盖具有4×4个CTU的一个条带；右侧6个片，其各自覆盖具有2×2个CTU的2个竖直堆叠条带，这些片总共产生24个条带和24个不同尺寸的子图片(每个条带都是子图片)。

3.3.序列内的图片分辨率更改

在AVC和HEVC中，除非使用新SPS的新序列以IRAP图像开始，否则图片的空间分辨率无法更改。VVC使得能够在某个位置处的序列内更改图片分辨率，而无需对IRAP图片进行编码，该IRAP图片始终是帧内编解码的。该特征有时被称为参考图片再采样(RPR)，因为当参考图片的分辨率与正在解码的当前图片不同时，该特征需要对用于帧间预测的参考图片进行再采样。

扩展比例被限制为大于或等于1/2(从参考图片到当前图片的2倍下采样)，以及小于或等于8(8倍上采样)。指定了具有不同截止频率的三组再采样滤波器，以处理参考图片与当前图片之间的各种扩展比例。三组再采样滤波器分别应用于范围从1/2至1/1.75、从1/1.75至1/1.25以及从1/1.25至8的扩展比。每组再采样滤波器具有16相用于亮度和32相用于色度，这与运动补偿插值滤波器的情况相同。实际上，正常的MC插值过程是扩展比范围为1/1.25至8的重构过程的特例。水平和竖直扩展比是基于图片宽度和高度以及为参考图片和当前图片指定的左、右、上、下扩展偏移量导出的。

支持该特征的VVC设计中与HEVC不同的其它方面包括：i)在PPS中而不是在SPS中发信号通知图片分辨率和对应的依从性窗口，而在SPS中，发信号通知最大图片分辨率。ii)对于单层比特流，每个图片存储区(DPB中用于存储一个解码图片的时隙)占用存储具有最大图片分辨率的解码图片所需的缓冲区大小。

3.4.一般情况下和VVC中的可扩展视频编解码(SVC)

可扩展视频编解码(SVC，有时也被称为视频编解码中的可扩展性)是指使用基础层(BL)(有时被称为参考层(RL))和一个或多个可扩展增强层(EL)的视频编解码。在SVC中，基础层可以携带具有基本质量级别的视频数据。一个或多个增强层可以携带附加的视频数据来支持例如更高的空间、时间和/或信噪比(SNR)级别。增强层可以相对于先前编码层进行定义。例如，底层可以用作BL，而顶层可以用作EL。中间层可以用作EL或RL，或两者兼而有之。例如，中间层(例如，既不是最低层也不是最高层的层)可以是中间层下方的层(诸如基础层或任何介入的增强层)的EL，同时充当中间层上方的一个或多个增强层的RL。类似地，在HEVC标准的Multiview或3D扩展中，可以有多个视图，并且一个视图的信息可以用于另一个视图的信息(例如，运动估计、运动向量预测和/或其它冗余)进行编解码(例如，编码或解码)。

在SVC中，由编码器或解码器使用的参数基于编解码级别(例如，视频级、序列级别、图片级别、条带级别等)分组为它们可以在其中利用的参数集。例如，可以由比特流中的不同层的一个或多个编解码视频序列利用的参数可以包括在视频参数集(VPS)中，并且编解码视频序列中的一个或多个图片利用的参数可以包括在序列参数集(SPS)中。类似地，图片中的一个或多个条带利用的参数可以包括在图片参数集(PPS)中，而特定于单个条带的其它参数可以包括在条带标头中。类似地，可以不同的编解码级别提供对特定层在给定时间正在使用哪个参数集的指示。

由于VVC中支持参考图片再采样(RPR)，因此可以设计包含多个层(例如，在VVC中具有SD和HD分辨率的两层)的比特流，而无需任何附加的信号处理级别编解码工具，因为空间可扩展性支持所需的上采样只需使用RPR上采样滤波器。然而，对于可扩展性支持，需要进行高级语法更改(与不支持可扩展性相比)。可扩展性支持在VVC版本1中指定。与任何早期视频编解码标准(包括AVC和HEVC的扩展)中的可扩展性支持不同，VVC可扩展性的设计已尽可能地对单层解码器设计友好。多层比特流的解码能力以一种如同比特流中只有单层的方式指定。例如，解码能力(诸如DPB大小)以与要解码的比特流中的层数无关的方式来指定。基本上，为单层比特流设计的解码器不需要太多更改即可对多层比特流进行解码。与AVC和HEVC的多层扩展设计相比，HLS方面已经大大简化，但牺牲了一些灵活性。例如，需要IRAP AU来包含CVS中存在的每个层的图片。

3.5.基于子图片的视口相关360°视频流媒体

在360°视频(又名全向视频)的流媒体中，在任何特定时刻，只有整个全向视频球体的子集(例如，当前视口)将被渲染给用户，而用户可以随时转动他/她的头部来更改观看方向，因此更改当前视口。尽管期望至少有一些较低质量的区域表示未被在客户端可用的并准备渲染给用户的当前视口覆盖以防用户突然将其观看取向更改为球体上的任何位置，但是只有当前正在渲染使用的当前视口才需要全向视频的高质量表示。将整个全向视频的高质量表示以适当的粒度分割为子图片实现此类优化。使用VVC，可以将这两个表示形式编码为彼此独立的两个层。

图11示出了典型的基于子图片的视口相关360°视频交付方案，其中完整视频的高分辨率表示由子图片组成，而完整视频的低分辨率表示不使用子图片，并且可以用比高分辨率表示频率更低的随机接入点来编解码。客户端以较低的分辨率接收完整视频，而对于高分辨率视频，它仅接收覆盖当前视口的子图片并对其进行解码。

3.6.参数集

AVC、HEVC和VVC指定参数集。参数集的类型包括SPS、PPS、APS和VPS。所有AVC、HEVC和VVC都支持SPS和PPS。VPS自HEVC以来就被引入了并包括在HEVC和VVC两者中。APS未包括在AVC或HEVC中，而是包括在最新的VVC草案文本中。

SPS被设计为携带序列级别标头信息，而PPS被设计为携带不经常更改的图片级别标头信息。对于SPS和PPS，不需要为每个序列或图片重复不频繁更改的信息，因此可以避免这种信息的冗余信令。此外，使用SPS和PPS实现重要标头信息的带外发送，因此不仅避免了冗余发送的需要，而且还提高了错误恢复能力。

VPS的引入是为了携带序列级别标头信息，该序列级别标头信息对于多层比特流中的所有层都是通用的。

APS的引入是为了携带这样的图片级别或条带级别信息，这些信息需要对相当多比特进行编解码，可以由多个图片共享，并且在序列中可以有许多不同的变化。

以下是一些实施例中的SPS/PPS/APS的语义：

sps_seq_parameter_set_id为SPS提供标识符以供其它语法元素参考。

无论nuh_layer_id值如何，SPS NAL单元都共享sps_seq_parameter_set_id的相同值空间。

假设spsLayerId是特定SPS NAL单元的nuh_layer_id的值，并假设vclLayerId是特定VCL NAL单元的nuh_layer_id的值。特定的VCL NAL单元不应指代特定的SPS NAL单元，除非spsLayerId小于或等于vclLayerId，并且正在被解码的OLS包含nuh_layer_id等于spsLayerId的层和nuh_layer_id等于vclLayerId的层。

pps_pic_parameter_set_id标识PPS以供其它语法元素参考。pps_pic_parameter_set_id的值应当在0至63的范围中(包括端点)。

无论nuh_layer_id值如何，PPS NAL单元都共享pps_pic_parameter_set_id的相同值空间。

假设ppsLayerId是特定PPS NAL单元的nuh_layer_id的值，并假设vclLayerId是特定VCL NAL单元的nuh_layer_id的值。特定的VCL NAL单元不应指代特定的PPS NAL单元，除非ppsLayerId小于或等于vclLayerId，并且正在被解码的OLS包含nuh_layer_id等于ppsLayerId的层和nuh_layer_id等于vclLayerId的层。

adaptation_parameter_set_id为APS提供标识符以供其它语法元素参考。

当aps_params_type等于ALF_APS或SCALING_APS时，adaptation_parameter_set_id的值应在0至7的范围中(包括端点)。

当aps_params_type等于LMCS_APS时，adaptation_parameter_set_id的值应在0至3的范围中(包括端点)。

假设apsLayerId是特定APS NAL单元的nuh_layer_id的值，并假设vclLayerId是特定VCL NAL单元的nuh_layer_id的值。特定的VCL NAL单元不应指代特定的APS NAL单元，除非apsLayerId小于或等于vclLayerId，并且正在被解码的OLS包含nuh_layer_id等于apsLayerId的层和nuh_layer_id等于vclLayerId的层。

3.7.子比特流提取过程

该过程的输入是比特流inBitstream、目标OLS索引targetOlsIdx和目标最高TemporalId值tIdTarget。

该过程的输出是子比特流outBitstream。

输入比特流的比特流依从性要求是，满足以下所有条件的任何输出子比特流应为依从比特流：

–输出子比特流是该子句中指定的进程的输出，其中等于由VPS指定的OLS列表的索引的比特流targetOlsIdx和等于0至6范围中(包括端点)的任何值的tIdTarget作为输入。

–输出子比特流包含至少一个VCL NAL单元，其中nuh_layer_id等于LayerIdInOls[targetOlsIdx]中的nuh_layer_id中的每一者。

–输出子比特流包含至少一个VCL NAL单元，其中TemporalId等于tIdTarget。

注意–依从比特流包含TemporalId等于0的一个或多个编解码条带NAL单元，但不必包含nuh_layer_id等于0的编解码条带NAL单元。

输出子比特流OutBitstream导出如下：

–比特流outBitstream被设置为与比特流inBitstream相同。

–从outBitstream中删除TemporalId大于tIdTarget的所有NAL单元。

–从outBitstream中删除nal_unit_type不等于VPS_NUT、DCI_NUT和EOB_NUT中的任一者并且nuh_layer_id未包括在列表中LayerIdOls[targetOlsIdx]的所有NAL单元。

–从outBitstream中删除满足以下所有条件的所有NAL单元：

–nal_unit_type不等于IDR_W_RADL、IDR_N_LP或CRA_NUT。

–对于在0至NumLayersInOls[targetOlsIdx]-1的范围(包括端点)中的j值，nuh_layer_id等于LayerIdInOls[targetOlsIdx][j]。

–TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][j]。

–从outBitstream中删除包含可扩展嵌套SEI消息的所有SEI NAL单元，该可扩展嵌套SEI消息的nesting_ols_flag等于1，并且在0至nesting_num_olss_minus1的范围中(包括端点)没有i值，使得NestingOlsIdx[i]等于targetOlsIdx。

–当LayerIdInOls[targetOlsIdx]不包括比特流中的所有NAL单元中nuh_layer_id的所有值时，适用以下情况：

–从outBitstream中删除包含payloadType等于0(缓冲周期)或130(解码单元信息)的不可扩展嵌套SEI消息的所有SEI NAL单元。

–当general_same_pic_timing_in_all_ols_flag等于0时，从outBitstream中删除包含payloadType等于1(图片计时)的不可扩展嵌套SEI消息的所有SEI NAL单元。

–当outBitstream包含含有nesting_ols_flag等于1的可扩展嵌套SEI消息并且适用于outBitstream(NestingOlsIdx[i]等于targetOlsIdx)的SEI NAL单元时，适用以下情况：

–如果same_pic_timing_within_ols_flag等于0，则从可扩展嵌套SEI消息中提取payloadType等于0(缓冲周期)、1(图片计时)或130(解码单元信息)的适当不可扩展嵌套SEI消息，并将这些SEI消息包括在outBitstream中。

–否则(same_pic_timing_within_ols_flag等于1)，从可扩展嵌套SEI消息中提取payloadType等于0(缓冲周期)或130(解码单元信息)的适当不可扩展嵌套SEI消息，并将这些SEI消息包括在outBitstream中。

4.通过所公开的技术解决方案解决的技术问题

最新VVC文本中的现有设计存在以下问题：

1)当前VVC设计支持360°视频的典型编解码方案，如图11所示。然而，尽管在当前VVC设计中支持可扩展性，但是不支持如图12所示的改进的360°视频编解码方案。与图11中所示的方法相比的唯一区别是，层间预测(ILP)应用于图12中所示的方法。

VVC草案中的以下两个位置不允许结合使用子图片和空间可扩展性：

a.VVC中的空间可扩展性设计依赖于RPR特征。然而，以下语义约束目前不允许RPR和子图片的组合：

当res_change_in_clvs_allowed_flag等于1时，subpic_info_present_flag的值应等于0。

因此，不允许使用改进的编解码方案，因为对于上层引用的SPS，上述约束不允许将subpic_info_present_flag设置为1(以每个图片使用多个子图片)，同时将res_change_in_clvs_allowed_flag设置为1(以启用RPR，这是ILP的空间可扩展性所必需的)。

b.当前VVC草案对子图片和可扩展性的组合具有以下约束：

当subpic_treated_as_pic_flag[i]等于1时，比特流依从性要求OLS(包括包含第i个子图作为输出层的层)中的每个输出层及其参考层满足以下所有条件：

–输出层及其参考层中的所有图片应具有相同的pic_width_in_luma_samples值和相同的pic_height_in_luma_samples值。

–由输出层及其参考层引用的所有SPS应具有相同的sps_num_subpics_minus1值，并且对于0至sps_num_subpics_minus1范围中(包括端点)的每个j值应分别具有subpic_ctu_top_left_x[j]、subpic_ctu_top_left_y[j]、subpic_width_minus1[j]、subpic_height_minus1[j]和loop_filter_across_subpic_enabled_flag[j]的相同值。

–输出层及其参考层中的每个接入单元中的所有图片对于0至sps_num_subpics_minus1范围中(包括端点)的每个j值应具有相同的SubpicIdVal[j]值。

上述约束基本上不允许使用除具有SNR可扩展性的受限组合之外的ILP的子图片和可扩展性的任何其它组合，其中每个依赖关系树中的层必须具有相同的空间分辨率以及相同的子图片布局。

2)当subpic_treated_as_pic_flag[i]等于1时，第i个子画片的子画片边界将被视为运动补偿中的图片边界。这种处理在VVC草案文本中通过在与运动补偿相关的解码过程中应用某些裁剪操作来实现。然而，对于图12中所示的改进编解码方案，由于下层完全可供解码器使用，而不仅仅可供与第i个子图片相对应的区域使用，因此在这种情况下不需要应用这种裁剪，以免引起不必要的编解码效率损失。

3)在不考虑支持图12中所示的改进编解码方案的情况下，对子图片和可扩展性与ILP(描述包括在问题1b的描述中)的组合的上述约束具有以下问题：

a.当包含第i个子图片的层不是OLS的输出层时，该约束也应适用。应以不考虑层是否为OLS的输出层的方式指定整个约束。

b.应包括跨层对齐subpic_treated_as_pic_flag[i]的值的要求，否则将无法跨层提取具有相同索引的子图片序列。

c.应排除跨层对齐loop_filter_across_subpic_enabled_flag[i]的值的要求，因为无论该标志的值如何，只要subpic_treated_as_pic_flag[i]等于1，子图片序列就是可提取的。loop_filter_across_subpic_enabled_flag[i]的值的设置应留给编码器来决定单个可提取子图片序列的质量与可提取子图片序列集的质量之间的权衡，就如同为什么两个标志彼此独立地发信号通知一样。

d.整个约束应仅在sps_num_subpics_minus1大于0时才适用，以避免每个子图片一个子图片被约束无意中覆盖的所有情况。

e.需要明确指定应用约束的时间范围，例如AU的集合。

f.应包括对跨层对齐的扩展窗口参数scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset中的每一者的值的要求，以确保当每个图片有多个子图片时不需要ITRP的RPR。

4)目前，用于当前图片的并置图片可以是与当前图片位于同一层中的长期参考图片(LTRP)，并且也可以是层间参考图片(ILRP)，例如，与当前图片位于不同层中的参考图片。然而，在任何一种情况下，都不会应用基于POC的运动向量扩展，因此由于允许这样做而导致的编解码性能预计会非常低。因此，最好不允许当前图片的并置图片是LTRP或ILRP。

5)目前，允许CLVS中具有相同空间分辨率的图片具有不同的扩展窗口。然而，应禁止这样做，因为否则，RPR的SPS标志和RPR的常规约束标志将无法用于完全禁用RPR工具。

6)目前，在进行子比特流提取时，当前/目标OLS中未包括的层的参数集(SPS/PPS/VPS)也可以包括在提取的比特流中。然而，即使layerA和layerB不包括在当前正在被解码的OLS中，只要在VPS中定义了包含layerA和layerB两者的OLS，设计意图就并非layerA中的条带指代layerB中的参数集。

7)允许的接入点数量取决于APS类型。然而，无论允许的APS如何，APS ID的信令都被固定为u(5)，这可能会浪费不必要的比特。

5.技术解决方案和实施例的列表

为了解决上述问题和其它问题，公开了下文总结的方法。这些项目应被视为解释一般概念的范例，而不应狭隘地加以解释。此外，这些项目可以单独地应用或以任何方式组合。

1)为了解决问题1a，可以为此目的指定和/或发信号通知多个(诸如两个)SPS标志，而不是只有一个SPS标志(例如，像当前VVC草案中那样的res_change_in_clvs_allowed_flag)来控制RPR。

a.例如，第一标志(例如，ref_pic_resampling_enabled_flag)规定是否需要使用RPR来对一个或多个图片进行解码，而第二标志(例如，res_change_in_clvs_allowed_flag)规定是否允许在CLVS内更改图片分辨率。

b.替代地，此外，仅当第一标志规定可能需要使用RPR来对一个或多个图片进行解码时，才会发信号通知第二标志。此外，当未发信号通知时，推断出第二标志的值是规定不允许在CLVS内更改图片分辨率的值。

i.替代地，这两个标志彼此独立地发信号通知。

c.替代地，此外，添加了一个更通用的约束标志，使得第一标志和第二标志中的每一者都有一个通用约束标志。

d.此外，不允许将每个图片的多个子图片与res_change_in_clvs_allowed_flag等于1的组合，但是允许每个图片的多个子图片与ref_pic_resampling_enabled_flag等于1的组合。

e.此外，基于res_change_in_clvs_allowed_flag值的scaling_window_explicit_signalling_flag值的约束将如下更改为基于ref_pic_resampling_enabled_flag的值：当ref_pic_resampling_enabled_flag

等于0时，scaling_window_explicit_signalling_flag的值应等于0。

f.替代地，可以在VPS中而不是在SPS中发信号通知一个或所有多个(诸如两个)标志。

i.在一个示例中，VPS中的一个或所有多个(诸如两个)标志应用于由VPS指定的所有层。

ii.在另一个示例中，VPS中的一个或所有多个(诸如两个)标志可以各自在VPS中发信号通知多个实例，并且每个实例都应用于一个依赖关系树中的所有层。

g.在一个示例中，多个标志中的每一者都使用l比特u(1)编解码为无符号整数。

h.替代地，可以使用非二进制值例如在SPS/VPS中发信号通知语法元素，以指定在解码过程中RPR的使用以及在CLVS中允许进行图片分辨率更改。i.在一个示例中，当语法元素的值等于0时，它规定对一个或多个图片的解码不需要使用RPR。

ii.在一个示例中，当语法元素的值等于1时，它规定在不允许在CLVS中更改图片分辨率时，可能需要使用RPR来对一个或多个图片进行解码。

iii.在一个示例中，当语法元素的值等于2时，它规定在允许在CLVS中更改图片分辨率时，可能需要使用RPR来对一个或多个图片进行解码。iv.替代地，此外，如何发信号通知语法元素可能取决于是否允许层间预测。

v.在一个示例中，语法元素使用ue(v)进行编解码，指示经无符号整数0阶Exp-Golomb编解码的语法元素，其中左比特在前。

vi.在另一个示例中，语法元素使用N比特u(N)编解码为无符号整数，例如，N等于2。

2)替代地，或者除了用于解决问题1a的项目1之外，仍然只有一个标志，例如，res_change_in_clvs_allowed_flag，但是语义可以被更改，使得无论标志的值如何，都允许对层间参考图片进行再采样。

a.在一个示例中，语义可以如下被更改：res_change_in_clvs_allowed_flag等于1规定在指代SPS的CLVS内可以更改图片空间分辨率，并且当在CLVS中对当前图片进行解码时，可能需要对与当前图片位于相同层中的参考图片进行再采样。res_change_in_clvs_allowed_flag等于0规定在指代SPS的任何CLVS内不能更改图片空间分辨率，并且当在CLVS中对任何当前图片进行解码时，不需要对与当前图片位于相同层中的参考图片进行再采样。

b.通过这种更改，即使res_change_in_clvs_allowed_flag等于0，子图片/图片的解码仍可对层间参考图片(ILRP)使用RPR。

3)为了解决问题1b，更新了对子图片和可扩展性与ILP的组合的约束，使得该约束仅对当前层和依赖于当前层的所有较高层施加跨层对齐限制，而不对不依赖于当前层或不依赖于较低层的较高层施加约束。

a.替代地，将约束更新为仅对当前层和高于当前层的所有层施加跨层对齐限制。

b.替代地，更新约束以仅对当前层以及包含当前层的每个OLS中的所有较高层施加跨层对齐限制。

c.替代地，将约束更新为仅对当前层和作为当前层的参考层的所有较低层施加跨层对齐限制。

d.替代地，将约束更新为仅对当前层和低于当前层的所有层施加跨层对齐限制。

e.替代地，更新约束以仅对当前层以及包含当前层的每个OLS中的所有较低层施加跨层对齐限制。

f.替代地，将约束更新为仅对低于最高层的所有层施加跨层对齐限制。

g.替代地，将约束更新为仅对高于最低层的所有层施加跨层对齐限制。

4)为了解决问题2，在涉及帧内预测相关过程中用于处理运动补偿/运动预测中的子图片边界作为图片边界的裁剪操作的一个或多个解码过程中(例如，在条款8.5.2.11用于时间亮度运动向量预测的推导过程、8.5.3.2.2亮度样本双线性插值过程、8.5.5.3用于基于子块的时间合并候选者的推导过程、8.5.5.4用于基于子块的时间合并基础运动数据的推导过程、8.5.5.6用于构造仿射控制点运动向量合并候选者的推导过程、8.5.6.3.2亮度样本插值滤波过程、8.5.6.3.3样本整数样本获取过程以及8.5.6.3.4色度样本插值过程中)，应用以下更改：

a.在一个示例中，这些过程被更改，使得如果subpic_treated_as_pic_标志[CurrSubpicIdx]等于1并且参考图片refPicLX的sps_num_subpics_minus1大于0，则应用裁剪操作，否则不应用裁剪操作。

i.替代地，当不允许将图片的并置图片作为ILRP时，仅如上文描述更改其中参考图片refpicLX不是并置图片的过程，并且不更改其中参考图片refPicLX是并置图片的过程。

b.在一个示例中，这些过程被更改使得如果subpic_treated_as_pic_flag[CurrSubpicIdx]等于1并且当前条带的nal_unit_type值不等于IDR_W_RADL、IDR_N_LP或CRA_NUT，则应用裁剪操作，否则不应用裁剪操作。同时，仅允许ILP对IRAP图片进行编解码。

c.在一个示例中，与当前VCC文本相同，不会对这些解码过程进行任何更改，例如，如果subpic_treated_as_pic_flag[CurrSubpicIdx]等于1，则应用裁剪操作，否则不应用裁剪操作。

5)为了解决问题3a，更新了对子图片和可扩展性与ILP的组合的约束，使得该约束对每个依赖关系树中的所有层施加跨层对齐限制。依赖关系树包含特定层、将特定层作为参考层的所有层以及特定层的所有参考层，而与任何层是否为OLS的输出层无关。

6)为了解决问题3b，更新了对子图片和可扩展性与ILP的组合的约束，使得该约束对subpic_treated_as_pic_flag[i]的值施加跨层对齐限制。

7)为了解决问题3c，更新了对子图片和可扩展性与ILP的组合的约束，使得该约束不对loop_filter_across_subpic_enabled_flag[i]的值施加跨层对齐限制。

8)为了解决问题3d，更新了对子图片和可扩展性与ILP的组合的约束，使得当sps_num_subpics_minus1等于0时不应用该约束。

a.替代地，更新约束，使得当subpic_info_present_flag等于0时不应用约束。

9)为了解决问题3e，更新了对子图片和可扩展性与ILP的组合的约束，使得该约束对AU的某个目标集中的图片施加跨层对齐限制。

a.在一个示例中，对于指代SPS的当前层的每个CLVS，假设AU的目标集targetAuSet成为从包含解码顺序中的CLVS的第一图片的AU开始到包含解码顺序中的CLVS的最后一个图片的AU(包括端点)的所有AU。

10)为了解决问题3f，更新了对子图片和可扩展性与ILP的组合的约束，使得该约束对scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset中的每一者的值施加跨层对齐限制。

11)为了解决问题4，约束了当前图片的并置图片不应是长期参考图片(LTRP)。

a.替代地，约束了当前图片的并置图片不应是层间参考图片(ILRP)。

b.替代地，约束了当前图片的并置图片不应是LTRP或ILRP。

c.替代地，如果当前图片的并置图片反而是LTRP或ILRP，则不会应用扩展来获取指向并置图片的运动向量。

12)为了解决问题5，约束了对于同一CLVS中分别具有pic_width_in_luma_samples和pic_height_in_luma_samples的相同值的任何两个图片，scaling_win_left_offset、scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset中的每一者的值应相同。

a.替代地，将上文的“在同一CLVS内”替换为“在同一CVS内”。

b.替代地，如下指定约束：

假设ppsA和ppsB是指代同一SPS的任意两个PPS。比特流依从性的一项要求是，当ppsA和ppsB分别具有pic_width_in_luma_samples和pic_height_in_luma_samples的相同值时，ppsA和ppsB应分别具有scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset的相同值。

c.替代地，如下指定约束：

对于同一CVS中的并满足以下所有条件的任何两个图片，scaling_win_left_offset、scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset中的每一者的值应相同：

i.这两个图片分别具有pic_width_in_luma_samples和pic_height_in_luma_samples相同值。

ii.这两个图片属于同一层或两个层，即，一个层是另一层的参考层。

13)提出了在当前图片与同一接入单元中的其它图片的图片分辨率/扩展窗口不同时，仅在当前图片是IRAP图片时才允许使用ILP。

14)在本文档中，图片分辨率可以指代图片的宽度和/或高度，或者它可以指代图片的扩展窗口/或依从性窗口的宽度和/或高度和/或左上角位置。

15)在本文档中，未使用RPR可能意味着当前图片的任何参考图片的分辨率与当前图片的分辨率相同。

16)关于比特流提取来解决问题6，提出如下一个或多个解决方案：

a.在一个示例中，为了导出输出子比特流，删除nuh_layer_id未包括在列表LayerIdInOls[targetOlsIdx]中的参数集(例如，SPS/PPS/APS NAL单元)。

b.例如，输出子比特流OutBitstream的导出可能取决于以下一项或多项：

i.从outBitstream中删除nal_unit_type等于SPS_NUT并且nuh_layer_id未包括在列表LayerIdInOls[targetOlsIdx]中的所有NAL单元。

ii.从outBitstream中删除nal_unit_type等于PPS_NUT并且nuh_layer_id未包括在列表LayerIdInOls[targetOlsIdx]中的所有NAL单元。

iii.从outBitstream中删除nal_unit_type等于APS_NUT并且nuh_layer_id未包括在列表LayerIdInOls[targetOlsIdx]中的所有NAL单元。

iv.从outBitstream中删除nal_unit_type等于SPS_NUT、PPS_NUT和APS_NUT并且满足以下任何条件的所有NAL单元：

1.–对于在0至NumLayersInOls[targetOlsIdx]-1的范围(包括端点)中的至少j值，nuh_layer_id大于LayerIdInOls[targetOlsIdx][j]。

2.nuh_layer_id不包括在列表LayerIdInOls[targetOlsIdx]中。

v.当在提取期间删除nal_unit_type等于SPS_NUT、PPS_NUT和APS_NUT中的任一者的第一NAL单元时，还应删除指代第一NAL单元的第二NAL单元。

c.例如，输出子比特流OutBitstream的导出可能取决于以下一项或多项：

i.–从outBitstream中删除nal_unit_type等于VPS_NUT、DCI_NUT和EOB_NUT中的任一者并且nuh_layer_id未包括在列表中LayerIdOls[targetOlsIdx]的所有NAL单元。

17)发信号通知APS ID所需的比特(例如，adaptation_parameter_set_id)取决于APS类型。

a.发信号通知APS ID所需的比特(例如，adaptation_parameter_set_id)从u(3)修改为U(v)。

i.在一个示例中，对于自适应环路滤波器(ALF)APS，可以使用u(a)对APS ID进行编解码。

ii.在一个示例中，对于亮度映射与色度扩展(LMCS)，可以使用u(b)对APS ID进行编解码。

iii.在一个示例中，对于扩展列表APS，可以使用u(c)对APS ID进行编解码。

iv.在一个示例中，a/b/c取决于对应类型允许的最大APS数。

1.在一个示例中，a>b且a>c。

2.在一个示例中，a>＝b且a>c。

3.在一个示例中，c>b。

4.在一个示例中，b＝2。

5.在一个示例中，c＝3。

6.在一个示例中，a＝3或大于3(例如，4、5、6、7、8、9)。

b.APS ID(例如，adaptation_parameter_set_id)和APS类型(例如，VVC文本中的aps_params_type)的编解码顺序被切换为APS类型在比特流中存在于APS ID之前。

c.APS中允许的滤波器总数可能会根据编解码信息(诸如图片/条带类型、编解码结构(双树或单树)、层信息)进行限制。

i.APS中允许的滤波器总数可能包括具有PU的所有APS NAL单元中的ALF APS中的亮度/色度ALF和CC-ALF的总数。

ii.APS中允许的滤波器总数可能包括亮度分量(或亮度ALF滤波器)的自适应环路滤波器类的总数、色度分量的替代滤波器(色度ALF滤波器)的总数和/或具有PU的所有APSNAL单元中的跨分量滤波器的总数。

6.实施例示例

以下是上文在第5章节中总结的一些发明方面的一些示例性实施例，它们可以应用于VVC说明书。已添加或修改的大多数相关部分都以

标出，而一些已删除的部分使用[[]]指示。

6.1.第一实施例

本实施例适用于第1、1.a、1.b、1.c、1.d、3、4.a.i、5、6、7、8、9、9.a、10、11和12b项。

7.3.2.3序列参数集语法

7.4.3.3序列参数集RBSP语义

...

res_change_in_clvs_allowed_flag等于1规定在参考SPS的CLVS中，图片空间分辨率可能会更改。res_change_in_clvs_allowed_flag等于0规定在指代SPS的任何CLVS中，图片空间分辨率不会更改。

...

subpic_treated_as_pic_flag[i]等于1规定CLVS中的每个编解码图片的第i个子图片在不包括环路中滤波操作的解码过程中被视个图片。subpic_treated_as_pic_flag[i]等于0指定CLVS中每个编解码图片的第i个子图片在不包括环路滤波操作的解码过程中未被视为图片。如果不存在，则将subpic_treated_as_pic_flag[i]的值推断为等于sps_independent_subpics_flag。

当

subpic_treated_as_pic_flag[i]等于1时，

比特流依从性要求，

满足以下所有条件：

–targetAuSet中的AU和targetLayerSet中的层的所有图片应具有相同的pic_width_in_luma_samples值和相同的pic_height_in_luma_samples值。

–由

引用的所有SPS应具有相同的sps_num_subpics_minus1值，并且对于0至sps_num_subpics_minus1范围中(包括端点)的每个j值应分别具有subpic_ctu_top_left_x[j]、subpic_ctu_top_left_y[j]、subpic_width_minus1[j]、subpic_height_minus1[j]和

[[loop_filter_across_subpic_enabled_flag[j],]]的相同值。

所有图片对于0至sps_num_subpics_minus1范围中(包括端点)的每个j值应具有相同的SubpicIdVal[j]值。

...

7.4.3.4图片参数集RBSP语义

...

scaling_window_explicit_signalling_flag等于1规定PPS中存在扩展窗口偏移参数。scaling_window_explicit_signalling_flag等于0规定PPS中不存在扩展窗口偏移参数。当

[[res_change_in_clvs_allowed_flag]]等于0时，scaling_window_explicit_signalling_flag的值应等于0。

scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset指定应用于图片大小以进行扩展比计算的偏移量。如果不存在，则推断scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset的值分别等于pps_conf_win_left_offset、pps_conf_win_right_offset、pps_conf_win_top_offset和pps_conf_win_bottom_offset。

SubWidthC*(scaling_win_left_offset+scaling_win_right_offset)的值应小于pic_width_in_luma_samples，而SubHeightC*(scaling_win_top_offset+scaling_win_bottom_offset)的值应小于pic_height_in_luma_samples。

变量PicOutputWidthL和PicOutputHeightL的推导如下：

PicOutputWidthL＝pic_width_in_luma_samples-(78)

SubWidthC*(scaling_win_right_offset+scaling_win_left_offset)

PicOutputHeightL＝pic_height_in_luma_samples-(79)

SubWidthC*(scaling_win_bottom_offset+scaling_win_top_offset)

假设refPicOutputWidthL和refPicOutputHeightL分别是指代该PPS的当前图片的参考图片的PicOutputWidthL和PicOutputHeightL。比特流依从性要求满足以下所有条件：

–PicOutputWidthL*2应大于或等于refPicWidthInLumaSamples。

–PicOutputHeightL*2应大于或等于refPicHeightInLumaSamples。

–PicOutputWidthL应小于或等于refPicWidthInLumaSamples*8。

–PicOutputHeightL应小于或等于refPicHeightInLumaSamples*8。

–PicOutputWidthL*pic_width_max_in_luma_samples应大于或等于refPicOutputWidthL*(pic_width_in_luma_samples-Max(8,MinCbSizeY))。

–PicOutputHeightL*pic_height_max_in_luma_samples应大于或等于refPicOutputHeightL*(pic_height_in_luma_samples-Max(8,MinCbSizeY))。

...

7.3.3.2通用约束信息语法

7.4.4.2通用约束信息语义

...

no_res_change_in_clvs_constraint_flag等于1规定res_change_in_clvs_allowed_flag应等于0。no_res_change_in_clvs_constraint_flag等于0不会施加这样的约束。

...

7.4.8.1通用条带标头语义

...

slice_collocated_from_l0_flag等于1规定用于时间运动向量预测的并置图片从参考图片列表0导出。slice_collocated_from_l0_flag等于0规定用于时间运动向量预测的并置图片从参考图片列表1导出。

当slice_type等于B或P，ph_temporal_mvp_enabled_flag等于1，并且不存在slice_collocated_from_l0_flag时，适用以下情况：

–如果rpl_info_in_ph_flag等于1，则推断slice_collocated_from_l0_flag等于ph_collocated_from_l0_flag。

–否则(rpl_info_in_ph_flag等于0并且slice_type等于P)，推断slice_collocated_from_l0_flag的值等于1。

slice_collocated_ref_idx指定用于时间运动向量预测的并置图片的参考索引。

当slice_type等于P时或者当slice_type等于B且slice_collocated_from_l0_flag等于1时，slice_collocated_ref_idx指代参考图片列表0中的条目，并且slice_collocated_ref_idx的值应在0至NumRefIdxActive[0]-1的范围内(包括端点)。

当slice_type等于B且slice_collocated_from_l0_flag等于0时，slice_collocated_ref_idx指代参考图片列表1中的条目，并且slice_collocated_ref_idx的值应在0至NumRefIdxActive[1]-1的范围内(包括端点)。

当不存在slice_collocated_ref_idx时，适用以下情况：

–如果rpl_info_in_ph_flag等于1，则推断slice_collocated_ref_idx的值等于ph_collocated_ref_idx。

–否则(rpl_info_in_ph_flag等于0)，推断slice_collocated_ref_idx的值等于0。

比特流依从性要求，slice_collocated_ref_idx所引用的图片对于编解码图片的所有条带应是相同的，

比特流依从性要求，slice_collocated_ref_idx所引用的参考图片的pic_width_in_luma_samples和pic_height_in_luma_samples的值应分别等于当前图片的pic_width_in_luma_samples和pic_height_in_luma_samples的值，并且

RprConstraintsActive[slice_collocated_from_l0_flag？0:1][slice_collocated_ref_idx]应等于0。

...

8.5.3.2.2亮度样本双线性插值过程

...

全样本单位中的亮度位置(xInt_i,yInt_i)的推导如下，对于i＝0..1：

–如果subpic_treated_as_pic_flag[CurrSubpicIdx]等于1，

则适用以下情况：

xInt_i＝Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xInt_L+i)(640)

yInt_i＝Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yInt_L+i)(641)

–否则(subpic_treated_as_pic_flag[CurrSubpicIdx]等于0，

适用以下情况：

xInt_i＝Clip3(0,picW-1,refWraparoundEnabledFlag？

ClipH((PpsRefWraparoundOffset)*MinCbSizeY,picW,(xInt_L+i)):xInt_L+i)(642)

yInt_i＝Clip3(0,picH-1,yInt_L+i)(643)

...

8.5.6.3.2亮度样本插值滤波过程

...

–如果subpic_treated_as_pic_flag[CurrSubpicIdx]等于1，

则适用以下情况：

xInt_i＝Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xInt_i)(959)

yInt_i＝Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yInt_i)(960)

–否则(subpic_treated_as_pic_flag[CurrSubpicIdx]等于0，

)，适用以下情况：

xInt_i＝Clip3(0,picW-1,refWraparoundEnabledFlag？

ClipH((PpsRefWraparoundOffset)*MinCbSizeY,picW,xInt_i):xInt_i)(961)

yInt_i＝Clip3(0,picH-1,yInt_i)(962)

...

8.5.6.3.3亮度整数样本获取过程

...

全样本单位中的亮度位置(xInt,yInt)的推导如下：

–如果subpic_treated_as_pic_flag[CurrSubpicIdx]等于1，

则适用以下情况：

xInt＝Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xInt_L)(968)

yInt＝Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yInt_L)(969)

–否则(

)，适用以下情况：

xInt＝Clip3(0,picW-1,refWraparoundEnabledFlag？(970)

ClipH((PpsRefWraparoundOffset)*MinCbSizeY,picW,xInt_L):xInt_L)

yInt＝Clip3(0,picH-1,yInt_L)(971)

...

8.5.6.3.4色度样本插值过程

...

–如果subpic_treated_as_pic_flag[CurrSubpicIdx]等于1，

则适用以下情况：

xInt_i＝Clip3(SubpicLeftBoundaryPos/SubWidthC,SubpicRightBoundaryPos/SubWidthC,xInt_i)(977)

yInt_i＝Clip3(SubpicTopBoundaryPos/SubHeightC,SubpicBotBoundaryPos/SubHeightC,yInt_i)(978)

–否则(subpic_treated_as_pic_flag[CurrSubpicIdx]等于0，

)，适用以下情况：

xInt_i＝Clip3(0,picWC-1,refWraparoundEnabledFlag？ClipH(xOffset,picW_C,xInt_i):(979)

xInt_C+i-1)

yInt_i＝Clip3(0,picH_C-1,yInt_i)(980)

...

替代地，高亮显示部分“并且参考图片refPicLX的sps_num_subpics_minus1大于0”可以被替换为“并且如果参考图片refPicLX是与当前图片具有相同空间分辨率的ILRP”。

替代地，高亮显示部分“或者参考图片refPicLX的sps_num_subpics_minus1等于0”可以被替换为“或者如果参考图片refPicLX是与当前图片具有不同空间分辨率的ILRP”。

替代地，对并置图片要求，例如，“比特流依从性要求，slice_collocated_ref_idx所引用的图片对于编解码图片的所有条带应是相同的，

”可以被替换为“比特流依从性要求，slice_collocated_ref_idx所引用的图片对于编解码图片的所有条带应是相同的，

”。

”。

6.2.第二实施例

在一些替代性实施例中，第一实施例中的如下约束：

当

subpic_treated_as_pic_flag[i]等于1时，

比特流依从性要求，

满足以下所有条件：

所有图片应具有相同的pic_width_in_luma_samples值和相同的pic_height_in_luma_samples值。

–由

[[loop_filter_across_subpic_enabled_flag[j],]]的相同值。

–targetAuSet中的AU和targetLayerSet中的层的所有图片对于0至sps_num_subpics_minus1范围中(包括端点)的每个j值应具有相同的SubpicIdVal[j]值。

被替换为以下一项：

1)当

subpic_treated_as_pic_flag[i]等于1时，

比特流依从性要求，

满足以下所有条件：

–由

引用的所有SPS应具有相同的sps_num_subpics_minus1值，并且对于0至sps_num_subpics_minus1范围中(包括端点)的每个j值应分别具有subpic_ctu_top_left_x[j]、subpic_ctu_top_left_y[j]、subpic_width_minus1[j]和subpic_height_minus1[j]、[[以及loop_filter_across_subpic_enabled_flag[j],]]的相同值。

2)当

subpic_treated_as_pic_flag[i]等于1时，

比特流依从性要求，

满足以下所有条件：

–由

引用的所有SPS应具有相同的sps_num_subpics_minus1值，并且对于0至sps_num_subpics_minus1范围中(包括端点)的每个j值应分别具有subpic_ctu_top_left_x[j]、subpic_ctu_top_left_y[j]、subpic_width_minus1[j]、subpic_height_minus1[j]以及loop_filter_across_subpic_enabled_flag[j]的相同值。

3)当subpic_treated_as_pic_flag[i]等于1时，

比特流依从性要求，

满足以下所有条件：

–由

[[loop_filter_across_subpic_enabled_flag[j],]]的相同值。

4)当

subpic_treated_as_pic_flag[i]等于1时，

比特流依从性要求，

满足以下所有条件：

–由

引用的所有SPS应具有相同的sps_num_subpics_minus1值，并且对于0至sps_num_subpics_minus1范围中(包括端点)的每个j值应分别具有subpic_ctu_top_left_x[j]、subpic_ctu_top_left_y[j]、subpic_width_minus1[j]、subpic_height_minus1[j]、

以及loop_filter_across_subpic_enabled_flag[j]的相同值。

6.3.第三实施例

本示例就ALF和CC-ALF滤波器的最大数量的限制提出了以下方面：

1)将对ALF APS数量的约束替换为对滤波器数量的约束，更具体地，提出了增加以下约束：

亮度分量的自适应环路滤波器类的总数、色度分量的替代滤波器的总数以及PU的所有APS NAL单元中的跨分量滤波器的总数应分别小于或等于200、64和64。

2)在项目1)的基础上，进一步将APS语法中的APS ID的编解码从u(5)更改为u(v)，对于ALF、LMCS和扩展列表APS，长度分别为9、2和3。

3)在项目1的基础上，进一步将ALF APS索引的编解码以及PH和SH中的ALF APS的数量从u(v)更改为ue(v)。

7.3.2.5自适应参数集RBSP语法

7.3.2.7图片标头结构语法

7.3.7.1通用条带标头语法

7.4.3.5自适应参数集语义

每个APS RBSP在它被引用之前应可用于解码过程，包括在至少一个AU中，TemporalId小于或等于引用该APS RBSP或通过外部方式提供的编解码条带NAL单元的TemporalId。

PU内具有特定值adaptation_parameter_set_id和特定值aps_params_type的所有APS NAL单元无论它们是前缀还是后缀APS NAL单元，都应具有相同的内容。

adaptation_parameter_set_id为PPS提供标识符以供其它语法元素参考。语法元素adaptation_parameter_set_id的长度(以比特为单位)是aps_params_type＝ALF_APS？9:(aps_params_type＝＝LMCS_APS？2:3)。

当aps_params_type等于ALF_APS[[or SCALING_APS]]时，adaptation_parameter_set_id的值应在0至[[7]]

的范围中(包括端点)。

[[当aps_params_type等于LMCS_APS时，adaptation_parameter_set_id的值应在0至3的范围中(包括端点)。]]

假设apsLayerId是特定APS NAL单元的nuh_layer_id的值，并假设vclLayerId是特定VCL NAL单元的nuh_layer_id的值。特定的VCL NAL单元不应指代特定的APS NAL单元，除非apsLayerId小于或等于vclLayerId，并且nuh_layer_id等于apsLayerId的层包括在至少一个OLS中，该OLS包括nuh_layer_id等于vclLayerId的层。

aps_params_type指定了表6中指定的APS中携带的APS参数的类型。

…

具有特定值aps_params_type的所有APS NAL单元(无论nuh_layer_id值如何)对于adaptation_parameter_set_id共享相同的值空间。具有不同值aps_params_type的APSNAL单元对于adaptation_parameter_set_id使用单独的值空间。

7.4.3.7图片标头结构语义

ph_num_alf_aps_ids_luma指定与PH相关联的条带所指代的ALF APS的数量。

ph_alf_aps_id_luma[i]指定与PH相关联的条带的亮度分量所指代的第i个ALFAPS的adaptation_parameter_set_id。

ph_alf_aps_id_chroma[i]指定与PH相关联的条带的色度分量所指代的ALF APS的adaptation_parameter_set_id。

ph_cc_alf_cb_aps_id指定与PH相关联的条带的Cb颜色分量所指代的ALF APS的adaptation_parameter_set_id。

ph_cc_alf_cr_aps_id指定与PH相关联的条带的Cr颜色分量所指代的ALF APS的adaptation_parameter_set_id。

7.4.8.1通用条带标头语义

slice_num_alf_aps_ids_luma指定条带所指代的ALF APS的数量。当slice_alf_enabled_flag等于1且不存在slice_num_alf_aps_ids_luma时，将推断slice_num_alf_aps_ids_luma的值等于ph_num_alf_aps_ids_luma的值。

slice_alf_aps_id_luma[i]指定条带的亮度分量所指代的第i个ALF APS的adaptation_parameter_set_id。aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_alf_aps_id_luma[i]的APS NAL单元的TemporalId应小于或等于编解码条带NAL单元的TemporalId。当slice_alf_enabled_flag等于1且不存在slice_alf_aps_id_luma[i]时，将推断slice_alf_aps_id_luma[i]的值等于ph_alf_aps_id_luma[i]的值。

slice_alf_aps_id_chroma指定条带的色度分量所指代的ALF APS的adaptation_parameter_set_id。aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_alf_aps_id_chroma的APS NAL单元的TemporalId应小于或等于编解码条带NAL单元的TemporalId。当slice_alf_enabled_flag等于1且不存在slice_alf_aps_id_chroma时，将推断slice_alf_aps_id_chroma的值等于ph_alf_aps_id_chroma的值。

slice_cc_alf_cb_aps_id指定条带的Cb颜色分量所指代的adaptation_parameter_set_id。

aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_cc_alf_cb_aps_id的APS NAL单元的TemporalId应小于或等于编解码条带NAL单元的TemporalId。当slice_cc_alf_cb_enabled_flag等于1且不存在slice_cc_alf_cb_aps_id时，将推断slice_cc_alf_cb_aps_id的值等于ph_cc_alf_cb_aps_id的值。

aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_cc_alf_cb_aps_id的APS NAL单元的alf_cc_cb_filter_signal_flag值应等于1。

slice_cc_alf_cr_aps_id指定条带的Cr颜色分量所指代的adaptation_parameter_set_id。aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_cc_alf_cr_aps_id的APS NAL单元的TemporalId应小于或等于编解码条带NAL单元的TemporalId。当slice_cc_alf_cr_enabled_flag等于1且不存在slice_cc_alf_cr_aps_id时，将推断slice_cc_alf_cr_aps_id的值等于ph_cc_alf_cr_aps_id的值。

aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_cc_alf_cr_aps_id的APS NAL单元的alf_cc_cr_filter_signal_flag值应等于1。

在以上示例中，反而可以使用以下内容：

adaptation_parameter_set_id为PPS提供标识符以供其它语法元素参考。语法元素adaptation_parameter_set_id的长度(以比特为单位)是aps_params_type＝ALF_APS？M:(aps_params_type＝＝LMCS_APS？2:3)，其中M等于不小于3的值(例如，4、5、6、7、8、9)。

‘200、64、64′的值可以被替换为其它非零整数值。

‘327′的值可以被替换为其它非零整数值。

图5是示出可以在其中实施本文公开的各种技术的示例性视频处理***1900的框图。各种实施方案可以包括***1900的部分或全部组件。***1900可以包括用于接收视频内容的输入1902。视频内容可以原始或未压缩的格式(例如，8比特或10比特多分量像素值)接收，或者可以压缩或编码格式接收。输入1902可以表示网络接口、***总线接口或存储接口。网络接口的示例包括有线接口，诸如以太网、无源光网络(PON)等，以及无线接口，诸如Wi-Fi或蜂窝接口。

***1900可以包括编解码组件1904，其可以实施本文档中描述的各种编解码或编码方法。编解码组件1904可以降低从到编解码组件1904的输入1902输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储或者经由所连接的通信发送，如组件1906所表示。在输入1902处接收的视频的存储的或传送的比特流(或编解码的)表示可以由组件1908使用以生成像素值或可显示视频，其被发出到显示接口1910。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，尽管某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作用在编码器中，并且解码器将执行反转编解码结果的对应解码工具或操作。

***总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备(诸如移动电话、膝上型计算机、智能手机或能够执行数字数据处理和/或视频显示的其它设备)中。

图6是视频处理装置3600的框图。装置3600可以用于实施本文中描述的一种或多种方法。装置3600可以体现为智能手机、平板计算机、计算机、物联网(IoT)接收器等。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。处理器3602可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)3604可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件3606可以用于在硬件电路中实施本文档中描述的一些技术。

图8是示出可以利用本公开的技术的示例性视频编解码***100的框图。

如图8所示，视频编解码***100可以包括源设备110和目标设备120。源设备110生成编码的视频数据，该源设备110可以被称为视频编码设备。目标设备120可以对由源设备110生成的编码的视频数据进行解码，该目标设备可以被称为视频解码设备。

源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备、用于从视频内容提供者接收视频数据的接口和/或用于生成视频数据的计算机图形***的源，或诸此类源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括一系列比特，这些比特形成视频数据的编解码表示。比特流可以包括编解码图片和相关联的数据。编解码图片是图片的编解码表示形式。相关联的数据可以包括序列参数集、图片参数集和其它语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码的视频数据可以通过网络130a经由I/O接口116直接发送到目标设备120。编码的视频数据还可以被存储到存储介质/服务器130b上以供目标设备120访问。

目标设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以对编码的视频数据进行解码。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目标设备120集成，或者可以在目标设备120的外部，该目标设备被配置为与外部显示设备对接。

视频编码器114和视频解码器124可以根据视频压缩标准操作，该视频压缩标准诸如高效视频编解码(HEVC)标准、多功能视频编解码(VVM)标准和其它当前和/或另外的标准。

图9是示出视频编码器200的示例的框图，该视频编码器可以是图8所示的***100中的视频编码器114。

视频编码器200可以被配置为执行本公开的任何或全部技术。在图9的示例中，视频编码器200包括多个功能组件。可以在视频编码器200的各个组件之间共享本公开中描述的技术。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可以包括分区单元201、预测单元202(其可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲区213和熵编码单元214。

在其它示例中，视频编码器200可以包括更多、更少或不同的功能组件。在示例中，预测单元202可以包括块内复制(IBC)单元。IBC单元可以在IBC模式下执行预测，其中至少一个参考图片是当前视频块所处的图片。

此外，一些组件(诸如运动估计单元204和运动补偿单元205)可以是高度集成的，但是在图9的示例中出于解释目的而单独地表示。

分区单元201可以将图片分区成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。

模式选择单元203可以例如基于误差结果选择编解码模式中的一者，即，帧内预测或帧间预测，并将所得的编解码内或编解码间块提供给残差生成单元207以生成残差块数据并向重构单元212提供以重构编码块以用作参考图像。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式组合，其中该预测是基于帧间预测信号和帧内预测信号。模式选择单元203还可以在帧间预测的情况下为块选择运动向量的分辨率(例如，亚像素或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲区213的一个或多个参考帧与当前视频块进行比较来为当前视频块生成运动信息。运动补偿单元205可以基于运动信息和来自缓冲区213的图片(而不是与当前视频块相关联的图片)的解码样本来确定用于当前视频块的预测视频块。

运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，这取决于当前视频块是在I条带、P条带还是B条带中。

在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以在列表0或列表1的参考图片中搜索用于当前视频块的参考视频块。运动估计单元204然后可以生成参考索引，该索引指示列表0或列表1中的参考图片，该参考图片包含参考视频块和运动向量，该运动向量指示当前视频块与参考视频块之间的空间位移。运动估计单元204可以输出参考索引、预测方向指示器和运动向量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。

在其它示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块，并且还可以在列表1中的参考图片中搜索当前视频块的另一个参考视频块。运动估计单元204然后可以生成参考索引，该参考索引指示列表0和列表1中的参考图片，该参考图片包含参考视频块和运动向量，该运动向量指示参考视频块与当前视频块之间的空间位移。运动估计单元204可以输出当前视频块的参考索引和运动向量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。

在一些示例中，运动估计单元204可以输出一组完整的运动信息以用于解码器的解码处理。

在一些示例中，运动估计单元204可以不输出用于当前视频的一组完整的运动信息。更确切地，运动估计单元204可以参考另一个视频块的运动信息来发信号通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示某个值，该值向视频解码器300指示当前视频块与另一个视频块具有相同的运动信息。

在另一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中识别另一个视频块和运动向量差(MVD)。运动向量差指示当前视频块的运动向量与指示的视频块的运动向量之间的差。视频解码器300可以使用指示的视频块的运动向量和运动向量差来确定当前视频块的运动向量。

如上文所讨论，视频编码器200可以预测地发信号通知运动向量。可以由视频编码器200实施的预测信令技术的两个示例包括高级运动向量预测(AMVP)和合并模式信令。

帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图像中的其它视频块的解码样本为当前视频块生成预测数据。当前视频块的预测数据可以包括预测的视频块和各种语法元素。

残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块的预测视频块来为当前视频块生成残差数据。当前视频块的残差数据可以包括与当前视频块中的样本的不同样本分量相对应的残差视频块。

在其它示例中，例如在跳过模式下，对于当前视频块的当前视频块可以没有残差数据，并且残差生成单元207可以不执行减法操作。

变换处理单元208可以通过对与当前视频块相关联的残差视频块应用一个或多个变换来生成用于当前视频块的变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可以将重构的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样本，以产生与当前块相关联的重构视频块，以便存储在缓冲区213中。

在重构单元212重构视频块之后，可以执行环路滤波操作，以减少视频块中的视频块效应。

熵编码单元214可以从视频编码器200的其它功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。

图10是示出视频解码器300的示例的框图，该视频解码器可以是图8所示的***100中的视频解码器114。

视频解码器300可以被配置为执行本公开的任何或全部技术。在图10的示例中，视频解码器300包括多个功能组件。可以在视频解码器300的各个组件之间共享本公开中描述的技术。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在图10的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305，以及重构单元306和缓冲区307。在一些示例中，视频解码器300可以执行解码通道，其通常与关于视频编码器200描述的编码通道相互对应(图9)。

熵解码单元301可以检索编码的比特流。编码的比特流可以包括熵编解码的视频数据(例如，编码的视频数据块)。熵解码单元301可以对熵编解码的视频数据进行解码，并且运动补偿单元302可以根据熵解码的视频数据确定运动信息，该运动信息包括运动向量、运动向量精度、参考图像列表索引以及其它运动信息。运动补偿单元302可以例如通过执行AMVP和合并模式来确定此类信息。

运动补偿单元302可以产生运动补偿块，从而可能基于插值滤波器执行插值。以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。

运动补偿单元302可以使用由视频编码器200在视频块的编码期间使用的插值滤波器来计算参考块的亚整数像素的插值。运动补偿单元302可以根据接收到的语法信息确定由视频编码器200使用的插值滤波器，并使用插值滤波器来产生预测块。

运动补偿单元302可以使用一些语法信息来确定用于对编码的视频序列的帧和/或条带进行编码的块的大小、描述编码的视频序列的图片的每个宏块如何分区的分区信息、指示如何对每个分区进行编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)，以及用于对编码的视频序列进行解码的其它信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来由空间上相邻的块形成预测块。逆量化单元303对提供在比特流中并由熵解码单元301解码量化的视频块系数进行逆量化，例如，去量化。逆变换单元303应用逆变换。

重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加，以形成解码块。如果需要，还可以应用去块滤波器来对解码块进行滤波以消除块效应。然后，解码的视频块被存储在缓冲区307中，该缓冲区为后续运动补偿/帧内预测提供参考块，并且还产生解码视频以呈现在显示设备上。

接下来提供由一些实施例优选的解决方案的列表。

以下解决方案示出了上一章节中讨论的技术的示例性实施例(例如，项目1)。

1.一种视频处理方法(例如，图7中所示的方法700)包括：在包括一个或多个视频图片的视频之间执行(702)转换，其中编解码表示符合格式规则；其中格式规则规定序列参数集中的两个或多个语法字段控制视频中的参考图片分辨率(RPR)更改。

2.根据解决方案1的方法，其中两个或更多个语法字段中的第一语法字段指示RPR是否用于一个或多个图片，并且两个或更多个语法字段中的第二语法字段指示是否允许图片分辨率在编解码表示中以序列级别更改。

以下解决方案示出了上一节中讨论的技术的示例性实施例(例如，项目2)。

3.一种视频处理方法，包括：在包括一个或多个视频图片的视频之间执行转换，其中编解码表示符合格式规则；其中格式规则规定序列参数集中的单个语法字段控制视频中的参考图片分辨率(RPR)更改；并且其中格式规则规定无论单个语法字段的值如何，都允许为了转换而对层间参考图片进行再采样。

以下解决方案示出了上一节中讨论的技术的示例性实施例(例如，项目3、5、6、7、9、10)。

4.一种视频处理方法，包括：在包括一个或多个层的视频之间执行转换，一个或多个层包括一个或多个视频图片，一个或多个视频图片包括一个或多个子图片，其中编解码表示符合格式规则；其中格式规则指定对跨层对齐的第一约束或对层间图片的子图片和可扩展性的组合指定第二约束。

5.根据解决方案4的方法，其中第一约束定义对当前层和依赖于当前层的所有较高层的跨层对齐限制，而不对当前层中的较低层和不依赖于当前层的所有较高层施加对齐限制。

6.根据解决方案4的方法，其中第二约束在特定层的每个依赖树中对所有层施加跨层对齐限制。

7.根据解决方案4的方法，其中第二约束值根据跨层对齐限制来限制subpic_treated_as_pic_flag[i]。

8.根据解决方案4的方法，其中第二约束值根据跨层对齐限制来限制loop_filter_across_subpic_enabled_flag[i]。

9.根据解决方案4至8中任一项的方法，其中第一约束和/或第二约束被指定用于一组目标接入单元。

10.根据解决方案4的方法，其中第二约束根据跨层对齐限制来限制scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset中的每一者的值。

以下解决方案示出了上一节中讨论的技术的示例性实施例(例如，项目11)。

11.一种视频处理方法，包括：在包括一个或多个层的视频之间执行转换，一个或多个层包括一个或多个视频图片，一个或多个视频图片包括一个或多个子图片，其中转换符合格式规则，规则规定不允许层间参考图片或长期参考图片作为用于转换的当前图片的并置图片。

以下解决方案示出了上一节中讨论的技术的示例性实施例(例如，项目12)。

12.一种视频处理方法，包括：在包括多个图片的视频与视频的编解码表示形式之间执行转换，其中转换符合如下规则：规定scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset中的每一者的值对于同一编解码层视频序列或编解码视频序列中具有pic_width_in_luma_samples和pic_height_in_luma_samples的相同值的任何两个图像都是相同的。

以下解决方案示出了上一章节中讨论的技术的示例性实施例(例如，项目13)。

13.一种视频处理方法，包括：在包括多个图片的视频与视频的编解码表示之间执行转换，其中转换符合如下规则：规定如果图片分辨率或扩展窗口对于当前图片和同一接入单元中的其它图片是不同的，则仅在当前图片是帧内随机接入点图片时才允许层间预测。

14.根据解决方案1至13任一项的方法，其中转换包括将视频编码为编解码表示。

15.根据解决方案1至13任一项的方法，其中转换包括对编解码表示进行解码以生成视频的像素值。

16.一种视频解码装置，包括处理器，处理器被配置为实施根据解决方案1至15中一项或多项的方法。

17.一种视频编码装置，包括处理器，处理器被配置为实施根据解决方案1至15中一项或多项的方法。

18.一种计算机程序产品，其上存储有计算机代码，代码在由处理器执行时使处理器实施根据解决方案1至15中任一项的方法。

19.一种在本专利文档中描述的方法、装置或***。

图13是用于根据本技术进行视频处理的方法1300的流程图表示。方法1300包括在操作1310处根据规则在视频与视频的比特流之间执行转换。规则规定在自适应参数集的标识符之前指示自适应参数集的类型。

在一些实施例中，存在指示自适应参数集的类型的第一语法元素，然后在自适应参数集中存在指示自适应参数集的标识符的第二语法元素。在一些实施例中，表示自适应参数集的标识符的值所需的比特数基于自适应参数集的类型而改变。在一些实施例中，需要A个比特来表示使用A个比特表示的自适应环路滤波器(ALF)类型的自适应参数集的标识符，需要B个比特来表示亮度映射与色度扩展(LMCS)类型的自适应参数集的标识符，并且需要C个比特来表示扩展列表类型的自适应参数集的标识符。在一些实施方案中，A＝B>C。在一些实施方案中，A＝3。

图14是用于根据本技术进行视频处理的方法1400的流程图表示。方法1400包括在操作1410处根据规则在视频与视频的比特流之间执行转换。规则规定根据比特流中的编解码信息确定在自适应参数集中指示的允许滤波器的总数。

在一些实施例中，编解码信息包括图片类型、条带类型、编解码树结构或层信息。在一些实施例中，允许滤波器的总数在图片单元内的自适应环路滤波器类型的自适应参数集中包括自适应环路滤波器的总数和/或跨分量自适应环路滤波器的总数。在一些实施例中，允许滤波器总数在图片单元内的自适应参数集单元中包括用于亮度分量的自适应环路滤波器类别的总数、用于色度分量的替代滤波器的总数，和或跨分量自适应环路滤波器的总数。

在一些实施例中，该转换包括将视频编码为比特流。在一些实施例中，转换包括从比特流中对视频进行解码。

在本文中描述的解决方案中，编码器可以通过根据格式规则产生编解码表示来符合格式规则。在本文中描述的解决方案中，解码器可以使用格式规则来解析编解码表示中的语法元素，并根据格式规则已知语法元素的存在和不存在，以产生解码的视频。

在本文档中，术语“视频处理”可以指代视频编码、视频解码、视频压缩或视频解压缩。例如，视频压缩算法可以在从视频的像素表示转换为对应的比特流表示(反之亦然)期间应用。例如，当前视频块的比特流表示可以对应于共置或分布在比特流中的不同位置处的比特，如语法所定义的那样。例如，宏块可以根据变换和编解码的错误残差值进行编码，并且还使用标头中的比特和比特流中的其它字段进行编码。此外，在转换期间，解码器可基于确定来解析比特流，并已知某些字段可能存在或不存在，如上述解决方案中所描述。类似地，编码器可以确定是否包括某些语法字段，并通过在编解码表示中包括或排除语法字段来相应地生成编解码表示。

本文档中描述的所公开的和其它解决方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件或其中一者或多者的组合中实施，计算机软件、固件或硬件包括本文档中公开的结构及其等同结构。所公开的和其它实施例可以被实施为被编码在计算机可读介质上以由数据处理装置执行或控制数据处理装置的操作的一个或多个计算机程序产品，例如，计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储装置、机器可读存储基板、存储器装置、影响机器可读传播信号的物质组合物或其中一者或多者的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理***、操作***、或其一个或多个的组合的代码。传播信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其经生成以对信息进行编码以便发送到合适的接收器装置。

计算机程序(也被称为程序、软件、软件应用程序、脚本或代码)可以任何形式的编程语言(包括编译语言或解释语言)编写，并且它可以任何形式(包括作为独立程序或作为模块、组件、子程序或适于用于计算环境中的任何其他单元)进行部署。计算机程序不一定与文件***中的文件相对应。程序可以存储在保存其它程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于所讨论程序的单个文件中、或多个协调的文件中(例如，存储一个或多个模块、子程序或代码的部分的文件)。计算机程序可以被部署为在一个计算机或多个计算机上执行，多个计算机位于一个站点处或跨多个站点分布并由通信网络互连。

本文档中描述的过程或逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行以便通过操作输入数据并生成输出来执行功能。过程和逻辑流程还可以由专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)执行，并且设备还可以被实施为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

适用于执行计算机程序的处理器包含，例如，通用及专用微处理器两者及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令及数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或者可操作地耦合以从一个或多个大容量存储设备接收数据或将数据传递到一个或多个大容量存储设备或这两者。然而，计算机不必具有此类设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如包括半导体存储器设备，例如，EPROM、EEPROM及快闪存储器设备；磁盘，例如，内置硬盘或可抽换式磁盘；磁光盘；以及CD ROM及DVD-ROM光盘。处理器和存储器可以由专用逻辑电路补充或结合在其中。

尽管本专利文档包含许多细节，但是这些细节不应被解释为对任何主题范围或可能要求保护的内容的限制，而应被解释为对可能特定于特定技术的特定实施例的特征的描述。在本专利文档中在单独的实施例的背景下描述的某些特征还可以在单个实施例中组合地实施。相反地，在单个实施例的背景下描述的各个特征还可以在多个实施例中单独地或者以任何适当的子组合来实施。此外，尽管上文可能将特征描述为以某些组合来起作用以及甚至最初如此要求保护，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中去除，以及所要求保护的组合可以涉及子组合或者子组合的变形。

类似地，尽管在图中以特定的次序示出了操作，但是这并不应当被理解为要求这样的操作以所示出的特定次序或者以顺序次序来执行或者执行所有示出的操作来实现期望的结果。此外，本专利文档中描述的各种***组件的分离不应被理解为要求在所有实施例中进行这种分离。

仅描述了几个实施方案和示例，并且可以基于本专利文档中描述和示出的内容做出其它实施、增强和更改。

Claims

1.一种视频处理方法，包括：

根据规则在视频与所述视频的比特流之间执行转换，

其中所述规则规定在自适应参数集的标识符之前指示所述自适应参数集的类型。

2.根据权利要求1所述的方法，其中指示所述自适应参数集的所述类型的第一语法元素在所述自适应参数集中存在于指示所述自适应参数集的所述标识符的第二语法元素之前。

3.根据权利要求1或2所述的方法，其中表示所述自适应参数集的所述标识符的值所需的比特数基于所述自适应参数集的所述类型而改变。

4.根据权利要求3所述的方法，其中需要A个比特来表示使用A个比特表示的自适应环路滤波器(ALF)类型的所述自适应参数集的所述标识符，需要B个比特来表示亮度映射与色度扩展(LMCS)类型的所述自适应参数集的所述标识符，并且需要C个比特来表示扩展列表类型的所述自适应参数集的所述标识符。

5.根据权利要求4所述的方法，其中A＝B>C。

6.根据权利要求4所述的方法，其中A＝3。

7.一种视频处理方法，其包括：

根据规则在视频与所述视频的比特流之间执行转换，

其中所述规则规定根据所述比特流中的编解码信息确定在自适应参数集中指示的允许滤波器的总数。

8.根据权利要求7所述的方法，其中所述编解码信息包括图片类型、条带类型、编解码树结构或层信息。

9.根据权利要求7或8所述的方法，其中所述允许滤波器的总数在图片单元内的自适应环路滤波器类型的自适应参数集中包括自适应环路滤波器的总数和/或跨分量自适应环路滤波器的总数。

10.根据权利要求7或8所述的方法，其中所述允许滤波器的总数在图片单元内的自适应参数集单元中包括用于亮度分量的自适应环路滤波器类别的总数、用于色度分量的替代滤波器的总数和或跨分量自适应环路滤波器的总数。

11.根据权利要求1至10中任一项所述的方法，其中所述转换包括将所述视频编码为所述比特流。

12.根据权利要求1至10中任一项所述的方法，其中所述转换包括从所述比特流中解码所述视频。

13.一种用于存储视频的比特流的方法，包括：

根据规则从所述视频生成所述视频的比特流，

将所述比特流存储在非暂时性计算机可读记录介质中，

14.一种用于存储视频的比特流的方法，包括：

根据规则从所述视频生成所述视频的比特流，

将所述比特流存储在非暂时性计算机可读记录介质中，

其中所述规则规定根据所述比特流中的编解码信息确定自适应参数集中的允许滤波器的总数。

15.一种视频解码装置，包括处理器，所述处理器被配置为实施根据权利要求1至14中任一项所述的方法。

16.一种视频编码装置，包括处理器，所述处理器被配置为实施根据权利要求1至14中任一项所述的方法。

17.一种计算机程序产品，其上存储有计算机代码，所述代码在由处理器执行时使所述处理器实施根据权利要求1至14中任一项所述的方法。

18.一种非暂时性计算机可读记录介质，存储由通过视频处理装置执行的方法生成的视频的比特流，其中所述方法包括：

根据规则从所述视频生成所述视频的比特流，

19.一种非暂时性计算机可读记录介质，存储由通过视频处理装置执行的方法生成的视频的比特流，其中所述方法包括：

根据规则从所述视频生成所述视频的比特流，

20.一种在本专利文档中描述的方法、装置或***。