CN115486082A

CN115486082A - 视频编解码中的虚拟边界

Info

Publication number: CN115486082A
Application number: CN202180031476.XA
Authority: CN
Inventors: 王业奎; 张莉
Original assignee: ByteDance Inc
Current assignee: ByteDance Inc
Priority date: 2020-04-27
Filing date: 2021-04-23
Publication date: 2022-12-16
Also published as: US11818338B2; WO2021222038A1; CN115552885A; US20240048689A1; US20230057986A1; WO2021222038A9; WO2021222040A1

Abstract

描述了一种用于处理视频的方法和装置。该处理可以包括视频编码、解码或转码。在一个示例中，视频处理方法包括根据格式规则来执行包括视频图片的视频与比特流之间的转换，其中，该格式规则指定使用指示垂直虚拟边界的位置的第一语法结构和指示水平虚拟边界的位置的第二语法结构中的一个或多个来指示视频图片的视频区域的虚拟边界，其中，该格式规则指定由第一语法结构中的第一语法元素和第二语法结构中的第二语法元素指示的数值比从视频图片的左上位置开始计数的垂直虚拟边界和水平虚拟边界的位置小1。

Description

视频编解码中的虚拟边界

相关申请的交叉引用

根据巴黎公约的适用专利法和/或规则，本申请及时要求2020年4月27日提交的美国临时专利申请No.63/016,122的优先权和利益。出于法律规定的所有目的，上述申请的全部公开内容通过引用并入作为本申请公开内容的一部分。

技术领域

该专利文件涉及图片和视频编码和解码。

背景技术

在互联网和其他数字通信网络中，数字视频占用了最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

本文档公开了可以由视频编码器和解码器使用的技术，用于使用对编解码表示的解码有用的控制信息来处理视频的编解码表示。

在一个示例方面，公开了一种视频处理方法。该方法包括：执行包括包含一个或多个子图片的一个或多个图片的视频与视频的编解码表示之间的转换。该编解码表示符合格式规则，该格式规则指定包括一个或多个子图片的一个或多个图片被包括在根据网络抽象层(NAL)单元的编解码表示中，其中在编解码表示中指示的类型NAL单元包括特定类型的图片的编解码条带或特定类型的子图片的编解码条带。

在另一示例方面，公开了另一种视频处理方法。该方法包括：执行包括包含一个或多个子图片的一个或多个图片的视频与视频的编解码表示之间的转换，其中该编解码表示符合格式规则，该格式规则指定具有不同网络抽象层单元类型的两个相邻子图片将具有被视为图片标志的子图片的相同指示。

在另一示例方面，公开了另一种视频处理方法。该方法包括：执行包括包含一个或多个子图片的一个或多个图片的视频与视频的编解码表示之间的转换，其中该编解码表示符合格式规则，该格式规则定义第一类型的子图片和第二类型的子图片的顺序，其中第一子图片是尾部子图片或前导子图片或随机访问跳过前导(RASL)子图片类型，并且第二子图片是RASL类型或随机访问可解码前导(RADL)类型或瞬时解码刷新(IDR)类型或逐渐解码刷新(GDR)类型子图片。

在另一示例方面，公开了另一种视频处理方法。该方法包括：执行包括包含一个或多个子图片的一个或多个图片的视频与视频的编解码表示之间的转换，其中该编解码表示符合格式规则，该格式规则定义允许或不允许第一类型的子图片与第二类型的子图片一起出现的条件。

在另一示例方面，公开了另一种视频处理方法。该方法包括：根据格式规则来执行包括一个或多个图片的多个层的视频与视频的比特流之间的转换，并且其中，该格式规则指定当前层的当前图片的条带的参考图片列表中的每个层间参考图片条目所指代的参考图片满足约束，其中，该约束是以下中的至少一个：(a)参考图片是帧内随机访问(IRAP)图片，或者(b)参考图片具有小于或等于特定值的时域标识符，该特定值依据来自当前层的条带可以参考的视频层的最大允许值，其中最大允许值在语法元素中指示。

在另一示例方面，公开了另一种视频处理方法。该方法包括：根据格式规则来执行包括视频图片的视频与比特流之间的转换，其中，该格式规则指定使用指示垂直虚拟边界的位置的第一语法结构和指示水平虚拟边界的位置的第二语法结构中的一个或多个来指示视频图片的视频区域的虚拟边界，其中，该格式规则指定由第一语法结构中的第一语法元素和第二语法结构中的第二语法元素指示的数值比从视频图片的左上位置开始计数的垂直虚拟边界和水平虚拟边界的位置小1。

在又一示例方面，公开了一种视频编码器装置。视频编码器包括被配置为实施上述方法的处理器。

在又一示例方面，公开了一种视频解码器装置。视频解码器包括被配置为实施上述方法的处理器。

在又一示例方面，公开了一种其上存储有代码的计算机可读介质。该代码以处理器可执行代码的形式实现了本文描述的方法之一。

这些以及其他特征将在本文件中描述。

附图说明

图1示出了图片的光栅扫描条带分割的示例，其中图片被分成12个片(tile)和3个光栅扫描条带。

图2示出了图片的矩形条带分割的示例，其中图片被分成24个片(6个片列和4个片行)以及9个矩形条带。

图3示出了被分割成片和矩形条带的图片的示例，其中图片被分成4个片(2个片列和2个片行)和4个矩形条带。

图4示出了被分割成15个片、24个条带和24个子图片的图片。

图5是示例视频处理***的框图。

图6是视频处理装置的框图。

图7是视频处理的示例方法的流程图。

图8是示出了根据本公开的一些实施例的视频编解码***的框图。

图9是示出了根据本公开的一些实施例的编码器的框图。

图10是示出了根据本公开的一些实施例的解码器的框图。

图11是基于所公开技术的一些实施方式的视频处理的示例方法的流程图。

图12是基于所公开技术的一些实施方式的视频处理的示例方法的流程图。

具体实施方式

在本文件中使用章节标题是为了易于理解，而不是将每个章节中公开的技术和实施例的适用性仅限制于该章节。此外，在一些描述中使用H.266术语仅仅是为了易于理解，而不是为了限制所公开技术的范围。因此，本文描述的技术也适用于其他视频编解码器协议和设计。在本文件中，相对于VVC规范的当前草案，通过删除线指示删除的文本，高亮指示添加的文本(包括粗体斜体)，将编辑修改显示在文本中。

1.介绍

本文档涉及视频编解码技术。具体地，它是关于在单层和多层上下文中，子图片类型的定义以及在解码顺序、输出顺序和不同类型的子图片之间的预测关系方面的关系。关键是通过对解码顺序、输出顺序和预测关系的约束集合来清楚地指定图片内混合子图片类型的含义。这些构思可以单独或以各种组合应用于支持多层视频编解码的任何视频编解码标准或非标准视频编解码器，例如，正在开发的多功能视频编解码(VVC)。

2.缩写

APS 自适应参数集

AU 访问单元

AUD 访问单元分界符

AVC 高级视频编解码

CLVS 编解码层视频序列

CPB 编码图片缓冲器

CRA 完全随机访问(Clean Random Access)

CTU 编解码树单元

CVS 编解码视频序列

DCI 解码能力信息

DPB 解码图片缓冲器

EOB 比特流结尾

EOS 序列结尾

GDR 逐渐解码刷新

HEVC 高效视频编解码

HRD 假想参考解码器

IDR 即时解码刷新

JEM 联合探索模式

MCTS 运动约束的片集

NAL 网络抽象层

OLS 输出层集

PH 图片标头

PPS 图片参数集

PTL 档次(profile)、层级(tier)和级(level)

PU 图片单元

RADL 随机访问可解码前导(图片)

RAP 随机访问点

RASL 随机访问跳过前导(图片)

RBSP 原始字节序列载荷

RPL 参考图片列表

SEI 补充增强信息

SPS 序列参数集

STSA 逐步时域子层访问

SVC 可缩放视频编解码

VCL 视频编解码层

VPS 视频参数集

VTM VVC测试模型

VUI 视频可用性信息

VVC 多功能视频编解码

3.初步讨论

视频编码标准主要通过众所周知的ITU-T和ISO/IEC标准的发展而演进。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4Visual，并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时间预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后，JVET采用了许多新的方法，并将其输入到名为联合勘探模型(JEM)的参考软件中。JVET会议同时每季度举行一次，并且与HEVC相比，新编解码标准的目标是降低50％的比特率。新的视频编码标准在2018年4月的JVET会议上被正式命名为通用视频编解码(VVC)，第一版VVC测试模型(VTM)也在当时发布。由于对VVC标准化的持续努力，新的编解码技术在每次JVET会议上都被采用到VVC标准中。VVC的工作草案和测试模型VTM在每次会议后都会更新。VVC项目现在的目标是在2020年7月的会议上技术上完成(FDIS)。

3.1.HEVC中的图片分割方案

HEVC包括四种不同的图片分割方案，即，规则条带、从属条带、片和波前(wavefront)并行处理(WPP)，其可以应用于最大传输单元(MTU)大小匹配、并行处理和减少的端到端延迟。

规则条带与H.264/AVC中的相似。每个规则条带被封装在其自己的NAL单元中，并且跨条带边界的图片内预测(样点内预测、运动信息预测、编码模式预测)和熵编码依赖性被禁用。因此，可以独立于同一图片内的其他规则条带来重构规则条带(尽管由于环路滤波操作可能仍然存在相互依赖性)。

规则条带是唯一可以用于并行化的工具，其在H.264/AVC中也以几乎相同的形式可用。基于规则条带的并行化不需要太多的处理器间或内核间通信(除了在解码预测性编解码图片时用于运动补偿的处理器间或内核间数据共享，由于图片内预测，这通常比处理器间或内核间数据共享重得多)。然而，出于同样的原因，由于条带标头的比特成本以及缺少跨条带边界的预测，使用规则条带会导致大量编解码开销。此外，由于规则条带的图片内独立性以及每个规则条带被封装在它自己的NAL单元中，规则条带(与下面提到的其他工具相比)还用作比特流分割以匹配MTU大小要求的关键机制。在许多情况下，并行化的目标和MTU大小匹配的目标对图片中的条带布局提出了矛盾的要求。对这种情况的认识导致了下面提到的并行化工具的开发。

从属条带具有短的条带标头，并且允许在树块边界分割比特流，而不破坏任何图片内预测。基本上，从属条带提供将规则条带分段(fragmentation)成多个NAL单元，以通过允许规则条带的一部分在整个规则条带的编码完成之前被发送出去来提供减少的端到端延迟。

在WPP中，图片被分割成单行编解码树块(CTB)。熵解码和预测被允许使用来自其他分区中CTB的数据。通过对CTB行的并行解码，并行处理是可能的，其中对CTB行的解码的开始被延迟了两个CTB，从而确保在主体(subject)CTB被解码之前，与CTB上方和主体CTB的右侧相关的数据是可用的。使用这种交错的开始(当以图形表示时，它看起来像波前)，并行化可以使用与图片包含的CTB行一样多的处理器/内核。因为图片内相邻树块行之间的图片内预测是允许的，所以实现图片内预测所需的处理器间/内核间通信可能是大量的。与未应用时相比，WPP分区不会产生额外的NAL单元，因此WPP不是MTU大小匹配的工具。但是，如果需要MTU大小匹配，则规则条带可以与WPP一起使用，但会有一定的编解码开销。

片定义了将图片划分为片列和行的水平和垂直边界。片列从图片的顶部延伸到图片的底部。同样，片行从图片的左边延伸到图片的右边。图片中的片的数量可以简单地通过片列的数量乘以片行的数量来推导出。

在以图片的片光栅扫描的顺序解码下一个片的左上CTB之前，CTB的扫描顺序被改变为在片内是局部的(以片的CTB光栅扫描的顺序)。与规则条带类似，片打破了图片内预测依赖性以及熵解码依赖性。然而，它们不需要被包括在单个NAL单元中(在这方面与WPP相同)；因此，片不能用于MTU大小匹配。每个片可以由一个处理器/内核来处理，并且解码相邻片的处理单元之间的图片内预测所需的处理器间/内核间通信限于在条带跨越多于一个片的情况下传送共享的条带标头，以及与重构样点和元数据的共享相关的环路滤波。当条带中包括多于一个的片或WPP段时，条带中除第一个片或WPP段之外的每个片或WPP段的入口点字节偏移在条带标头中发信号通知。

为简单起见，在HEVC指定了对四种不同图片分割方案应用的限制。给定的编解码视频序列不能同时包括HEVC标准中指定的大部分档次的片和波前两者。对于每个条带和片，必须满足以下条件中的一个或两个：1)条带中的所有编码树块属于同一片；2)片中的所有编码树块属于同一条带。最后，一个波前段恰好包含一个CTB行，并且当使用WPP时，如果条带在CTB行开始，它必须在同一个CTB行结束。

在J.Boyce、A.Ramasubramonian、R.Skupin、G.J.Sullivan、A.Tourapis、Y.-K.Wang(编者)于2017年10月24日发表的JCT-VC输出文件JCTVC-AC1005“HEVC AdditionalSupplemental Enhancement Information(Draft 4)”中规定了对HEVC的最新修改，在此处公开可得：http：//phenix.int-evry.fr/jct/doc_end_user/documents/29_Macau/wg11/JCTVC-AC1005-v2.zip。包括该修改，HEVC指定了三个MCTS相关的SEI消息，即，时间MCTSSEI消息、MCTS提取信息集SEI消息和MCTS提取信息嵌套SEI消息。

时域MCTS SEI消息指示比特流中的MCTS的存在，并且发信号通知MCTS。对于每个MCTS，运动矢量被限制为指向MCTS内的全采样位置和仅需要MCTS内的全采样位置进行内插的分数采样位置，并且不允许使用从MCTS外的块推导出的用于时间运动矢量预测的运动矢量候选。这样，每个MCTS可以被独立解码，而不存在不包括在MCTS中的片。

MCTS提取信息集SEI消息提供了可以在MCTS子比特流提取中使用的补充信息(被指定为SEI消息语义的一部分),以生成符合MCTS集的比特流。该信息由多个提取信息集组成，每个提取信息集定义多个MCTS集，并包含将在MCTS子比特流提取过程中使用的替换VPS、SPS和PPS的RBSP字节。当根据MCTS子比特流提取过程提取子比特流时，参数集(VPS、SPS和PPS)需要被重写或替换，条带标头需要稍微更新，因为一个或所有条带地址相关的语法元素(包括first_slice_segment_in_pic_flag和slice_segment_address)通常需要具有不同的值。

3.2.VVC中的图片的分割

在VVC中，图片被分成一个或多个片行和一个或多个片列。片是覆盖图片的矩形区域的CTU序列。片中的CTU在该片中以光栅扫描顺序被扫描。

条带由整数个完整的片或图片的片中的整数个连续的完整CTU行组成。

支持两种条带模式，即，光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式中，条带包含图片的条带光栅扫描中的完整条带序列。在矩形条带模式中，条带包含共同形成图片的矩形区域的多个完整的片，或者共同形成图片的矩形区域的一个片的多个连续的完整的CTU行。矩形条带内的片在对应于该条带的矩形区域内以片光栅扫描顺序被扫描。

子图片包含共同覆盖图片的矩形区域的一个或多个条带。

图1示出了图片的光栅扫描条带分割的示例，其中图片被分成12个片和3个光栅扫描条带。

图2示出了图片的矩形条带分割的示例，其中图片被分成24个条带(6个条带列和4个条带行)和9个矩形条带。

图3示出了被分割成片和矩形条带的图片的示例，其中图片被划分成4个片(2个片列和2个片行)和4个矩形条带。

图4示出了图片的子图片分割的示例，其中图片被分割成18个片，左手侧的12个每个覆盖4×4CTU的一个条带，并且右手侧的6个片每个覆盖2×2CTU的2个垂直堆叠条带，总共产生24个条带和24个不同尺寸(dimension)的子图片(每个条带是子图片)。

3.3.序列内图片精度的改变

在AVC和HEVC中，图片的空间精度不能改变，除非使用新SPS的新序列以IRAP图片开始。VVC允许在不编码IRAP图片的位置改变序列内的图片精度，IRAP图片总是被帧内编解码。该特征有时被称为参考图片重采样(RPR),因为当参考图片具有与正被解码的当前图片不同的精度时，该特征需要对用于帧间预测的参考图片进行重采样。

缩放比率被限制为大于或等于1/2(从参考图片到当前图片的2倍下采样)，并且小于或等于8(8倍上采样)。指定具有不同频率截止(cutoff)的三个重采样滤波器集来处理参考图片和当前图片之间的各种缩放比率。三个重采样滤波器集分别应用于范围从1/2到1/1.75、从1/1.75到1/1.25和从1/1.25到8的缩放比率。重采样滤波器中的每一个集对于亮度具有16个相位，并且对于色度具有32个相位，这与运动补偿插值滤波器的情况相同。实际上，正常的MC插值过程是重采样过程的特殊情况，其中缩放比率范围从1/1.25到8。水平和垂直缩放比率是基于图片宽度和高度以及为参考图片和当前图片指定的左、右、上和下缩放偏移而推导出的。

支持这一特征的VVC设计与HEVC不同的其它方面包括：i)图片精度和对应的一致性窗口在PPS中而不是在SPS中被发信号通知，而在SPS中最大图片精度被发信号通知。ii)对于单层比特流，每个图片存储(DPB中用于存储一个解码图片的时隙(slot))占用存储具有最大图片精度的解码图片所需的缓存器大小。

3.4.一般和VVC中的可伸缩视频编解码(SVC)

可伸缩视频编解码(SVC，有时也称为视频编解码中的可伸缩性)是指使用基本层(BL)(有时称为参考层(RL))，以及一个或多个可伸缩增强层(EL)的视频编解码。在SVC中，基本层可以携载具有基本质量水平的视频数据。一个或多个增强层可以携载附加的视频数据，以支持例如更高的空域、时域和/或信噪比(SNR)水平。可以相对于先前编码的层来定义增强层。例如，底层可以用作BL，而顶层可以用作EL。中间层可以用作EL或RL，或者两者。例如，中间层(例如，既不是最低层也不是最高层的层)可为中间层下方的层(诸如基本层或任何居间增强层)的EL，并且同时用作中间层上方的一个或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可以有多个视图，并且一个视图的信息可以用于编解码(例如，编码或解码)另一视图的信息(例如，运动估计、运动矢量预测和/或其他冗余)。

在SVC中，编码器或解码器使用的参数基于编解码级别(例如，视频级别、序列级别、图片级别、条带级别等)分组为参数集，它们可能在该编解码级别中被利用。例如，比特流中不同层的一个或多个编解码视频序列可以利用的参数可以包括在视频参数集(VPS)中，并且编解码视频序列中的一个或多个图片可以使用的参数可以包括在序列参数集(SPS)中。类似地，图片中的一个或多个条带使用的参数可以被包括在图片参数集(PPS)中，并且特定于单个条带的其他参数可以被包括在条带标头中。类似地，可以在各种编解码级别提供特定层在给定时间使用哪个(哪些)参数集的指示。

由于VVC对参考图片重采样(RPR)的支持，可以在不需要任何附加的信号处理级编解码工具的情况下设计对包含多层(例如，VVC中具有SD和HD精度的两层)的比特流的支持，因为空间可伸缩性支持所需的上采样可以仅使用RPR上采样滤波器。然而，为了可伸缩性支持，需要高级别的语法变化(与不支持可伸缩性相比)。VVC版本1中规定了可伸缩性支持。与任何早期视频编解码标准(包括AVC和HEVC的扩展)中的可伸缩性支持不同，VVC可伸缩性的设计尽可能对单层解码器设计友好。多层比特流的解码能力是以好像比特流中只有一层的方式来指定的。例如，以独立于要解码的比特流中的层数的方式指定诸如DPB大小的解码能力。基本上，为单层比特流设计的解码器不需要太多改变就能够解码多层比特流。与AVC和HEVC的多层扩展设计相比，HLS在牺牲一些灵活性的情况下得到显著简化。例如，IRAP AU需要包含CVS中存在的每个层的图片。

3.5.随机访问及其在HEVC和VVC的支持

随机访问是指按解码顺序不是比特流的第一个图片的图片开始访问和解码比特流。为了支持广播/多播和多方视频会议中的调谐和频道切换、本地回放和流式传输中的搜索以及流式传输中的流适配，比特流需要包括频繁的随机访问点，这些访问点通常是帧内编解码图片，但也可以是帧间编解码图片(例如，在逐渐解码刷新(gradual decodingrefresh)的情况下)。

HEVC通过NAL单元类型在NAL单元标头中包括帧内随机访问点(IRAP)图片的信令。支持三种类型的IRAP图片，即，瞬时解码器刷新(IDR)、完全随机访问(CRA)和断链访问(BLA)图片。IDR图片将帧间图片预测结构约束为不参考当前图片组(GOP)之前的任何图片，通常被称为封闭GOP随机访问点。通过允许某些图片参考当前GOP之前的图片，CRA图片限制较少，在随机访问的情况下，所有图片都被丢弃。CRA图片通常被称为开放GOP随机访问点。BLA图片通常源于CRA图片中两个比特流或其一部分的拼接，例如，在流切换期间。为了使***能够更好地使用IRAP图片，总共定义了六个不同的NAL单元来用信号通知IRAP图片的属性，这可以用于更好地匹配在ISO基本媒体文件格式(ISOBMFF)中定义的流访问点类型，这些流访问点类型被用于HTTP上的动态自适应流传输(DASH)中的随机访问支持。

VVC支持三种类型的IRAP图片、两种类型的IDR图片(一种类型具有或另一种类型不具有关联的RADL图片)和一种类型的CRA图片。这些与HEVC的基本相同。HEVC中的BLA图片类型不包括在VVC中，主要由于两个原因：i)BLA图片的基本功能可以通过CRA图片加上序列NAL单元结束来实现，其存在指示后续图片在单层比特流中开始新的CVS。ii)在开发VVC期间，希望指定比HEVC更少的NAL单元类型，如在NAL单元标头中为NAL单元类型字段使用5比特而不是6比特所示。

VVC和HEVC之间的随机访问支持的另一关键区别是在VVC中以更规范的方式支持GDR。在GDR中，比特流的解码可以从帧间编解码的图片开始，尽管在开始时不是整个图片区域都可以被正确解码，但是在多个图片之后，整个图片区域将是正确的。AVC和HEVC也支持GDR，使用恢复点SEI消息来用信令通知GDR随机访问点和恢复点。在VVC中，新的NAL单元类型被指定用于指示GDR图片，并且恢复点在图片标头语法结构中被用信令通知。允许CVS和比特流以GDR图片开始。这意味着允许整个比特流仅包含帧间编解码图片，而没有单个帧内编解码图片。以这种方式指定GDR支持的主要好处是提供对于GDR的一致行为。GDR使编码器能够通过在多个图片中分布帧内编解码的条带或块来平滑比特流的比特率，而不是对整个图片进行帧内编解码，从而显著降低端到端延迟，随着无线显示、在线游戏、基于无人机的应用等超低延迟应用变得越来越流行，这在当今被认为比以前更加重要。

VVC中另一GDR相关的特征是虚拟边界信令。GDR图片与其恢复点之间的图片处的刷新区域(即，正确解码的区域)和未刷新区域之间的边界可以被用信令通知为虚拟边界，并且当被用信令通知时，将不会应用跨越边界的环路滤波，因此不会出现边界处或边界附近的一些样点的解码失配。当应用决定在GDR过程期间显示正确解码的区域时，这是很有用的。

IRAP图片和GDR图片可以统称为随机访问点(RAP)图片。

3.6.参考图片管理和参考图片列表(RPL)

参考图片管理是使用帧间预测的任何视频编解码方案所需的核心功能。它管理将参考图片存储在解码图片缓冲器(DPB)中以及将参考图片从解码图片缓冲器(DPB)中移除，并将参考图片以正确的顺序放入RPL中。

包括参考图片标记和从解码图片缓冲器中移除(DPB)以及参考图片列表构建(RPLC)的HEVC的参考图片管理与AVC的不同。代替AVC中基于滑动窗口加自适应存储器管理控制操作(MMCO)的参考图片标记机制，HEVC指定基于所谓的参考图片集(RPS)的参考图片管理和标记机制，并且因此RPLC基于RPS机制。RPS由与图片相关联的参考图片集(由以解码顺序在相关联的图片之前的所有参考图片构成)构成，其可以用于相关联的图片或以解码顺序在相关联的图片之后的任何图片的帧间预测。参考图片集由五个参考图片列表构成。前三个列表包含可以用于当前图片的帧间预测以及可以用于以解码顺序在当前图片之后的一个或多个图片的帧间预测的所有参考图片。其他两个列表由所有参考图片构成，这些参考图片不用于当前图片的帧间预测，但是可以用于以解码顺序在当前图片之后的一个或多个图片的帧间预测。RPS提供了DPB状态的“帧内编解码”信令，而不是像AVC中那样的“帧间编解码”信令，主要是为了提高抗误码能力。HEVC的RPLC过程是基于RPS的，通过为每个参考索引向RPS子集发信号通知索引；这个过程比AVC中的RPLC过程简单。

VVC的参考图片管理比AVC更类似于HEVC，但是更简单和更健壮。如在那些标准中，推导出两个RPL，列表0和列表1，但是它们不是基于在HEVC使用的参考图片集构思或者在AVC中使用的自动滑动窗口过程；相反，它们被更直接地发信号通知。用于RPL的参考图片被列为有效(active)和非有效(inactive)条目，并且只有有效条目可以被用作当前图片的CTU的帧间预测的参考索引。无效条目指示要保存在DPB中的其他图片，以用于被比特流中稍后到达的其他图片参考。

3.7.参数集

AVC、HEVC和VVC指定参数集。参数集的类型包括SPS、PPS、APS和VPS。AVC、HEVC和VVC的所有都支持SPS和PPS。VPS从HEVC开始引入，并且被包括在HEVC和VVC两者中。APS没有被包括在AVC或HEVC中，但是被包括在最新的VVC草案文本中。

SPS被设计成携带序列级标头信息，并且PPS被设计成携带不经常改变的图片级标头信息。利用SPS和PPS，不经常改变的信息不需要为每个序列或图片重复，因此可以避免该信息的冗余信令。此外，SPS和PPS的使用实现了重要标头信息的带外传输，从而不仅避免了对冗余传输的需要，还提高了抗误码能力。

引入VPS是为了携带对多层比特流中的所有层共用的序列级标头信息。

引入APS是为了携带这样的图片级或条带级信息，这些信息需要相当多的比特来编解码，可以由多个图片共享，并且在序列中可以有相当多的不同变化。

3.8.VVC中的相关定义

最新VVC文本(JVET-Q2001-vE/v15)中的相关定义如下。

(特定图片的)关联的IRAP图片：具有与特定图片相同的nuh_layer_id值的按解码顺序的先前IRAP图片(当存在时)。

完全随机访问(CRA)PU：在其中编解码图片是CRA图片的PU。

完全随机访问(CRA)图片：在其中每个VCL NAL单元的nal_unit_type等于CRA_NUT的IRAP图片。

编解码视频序列(CVS)：AU序列，其中按解码顺序包括CVSS AU，后跟零个或多个不是CVSS AU的AU，包括所有后续AU，但不包括是CVSS AU的任何后续的AU。

编解码视频序列开始(CVSS)AU：在其中CVS中的每一层都有PU，并且每个PU中的编解码图片是CLVSS图片的AU。

逐渐解码刷新(GDR)AU：在其中每个当前PU中的编解码图片是GDR图片的AU。

逐渐解码刷新(GDR)PU：在其中编解码图片是GDR图片的PU。

逐渐解码刷新(GDR)图片：每个VCL NAL单元的nal_unit_type等于GDR_NUT的图片。

瞬时解码刷新(IDR)PU：在其中编解码图片是IDR图片的PU。

瞬时解码刷新(IDR)图片：每个VCL NAL单元的nal_unit_type等于IDR_W_RADL或IDR_N_LP的IRAP图片。

帧内随机访问点(IRAP)AU：在其中CVS中的每一层都有PU并且每个PU中的编解码图片是IRAP图片的AU。

帧内随机访问点(IRAP)PU：在其中编解码图片是IRAP图片的PU。

帧内随机访问点(IRAP)图片：所有VCL NAL单元具有在IDR_W_RADL至CRA_NUT的范围内(含端点)的nal_unit_type的相同值的编解码图片。

前导图片(leading picture)：与关联的IRAP图片在同一层中并且按输出顺序在关联的IRAP图片之前的图片。

输出顺序：解码图片从DPB输出的顺序(对于要从DPB输出的解码图片)。

随机访问可解码前导(RADL)PU：在其中编解码图片是RADL图片的PU。

随机访问可解码前导(RADL)图片：每个VCL NAL单元的nal_unit_type等于RADL_NUT的图片。

随机访问跳过前导(RASL)PU：在其中编解码图片是RASL图片的PU。

随机访问跳过前导(RASL)图片：每个VCL NAL单元的nal_unit_type等于RASL_NUT的图片。

逐步时域子层访问(STSA)PU：在其中编解码图片是STSA图片的PU。

逐步时域子层访问(STSA)图片：每个VCL NAL单元的nal_unit_type等于STSA_NUT的图片。

注释STSA图片不使用与STSA图片具有相同时域Id(TemporalId)的图片进行帧间预测参考。按解码顺序在STSA图片之后的具有与STSA图片相同的TemporalId的图片不使用按解码顺序在STSA图片之前的具有与STSA图片相同的TemporalId的图片来进行帧间预测参考。STSA图片使得能够在STSA图片处从紧邻的较低的子层向上切换到包含STSA图片的子层。STSA图片的TemporalId必须大于0。

子图片：图片内一个或多个条带的矩形区域。

尾部图片(trailing picture)：按输出顺序在关联的IRAP图片之后的非IRAP图片，并且它不是STSA图片。

注释与IRAP图片相关联的尾部图片按解码顺序也在IRAP图片之后。不允许按输出顺序在关联的IRAP图片之后并且按解码顺序在关联的IRAP图片之前的图片。

3.9.VVC中的NAL单元标头语法和语义

在最新的VVC文本中(在JVET-Q2001-vE/v15中)，NAL单元标头语法和语义如下。

7.3.1.2NAL单元标头语法

7.4.2.2NAL单元标头语义

forbidden_zero_bit应等于0。

nuh_reserved_zero_bit应等于0。nuh_reserved_zero_bit的值1将来可能由ITUT|ISO/IEC指定。解码器将忽略(即，从比特流中移除并丢弃)nuh_reserved_zero_bit等于1的NAL单元。

nuh_layer_id指定VCL NAL单元所属的层的标识符或者非VCL NAL单元所应用的层的标识符。nuh_layer_id的值应在0至55的范围内(含端点)。nuh_layer_id的其他值被保留供ITU-T|ISO/IEC将来使用。

nuh_layer_id的值对于编解码图片的所有VCL NAL单元应该是相同的。编解码图片或PU的nuh_layer_id的值是编解码图片或PU的VCL NAL单元的nuh_layer_id的值。

AUD、PH、EOS和FD NAL单元的nuh_layer_id值被约束如下：

如果nal_unit_type等于AUD_NUT，则nuh_layer_id应等于vps_layer_id[0]。

否则，当nal_unit_type等于PH_NUT、EOS_NUT或FD_NUT时，nuh_layer_id应等于关联VCL NAL单元的nuh_layer_id。

注释1DCI、VPS和EOB NAL单元的nuh_layer_id的值不受约束。

nal_unit_type的值对于CVSS AU的所有图片应该是相同的。

nal_unit_type指定NAL单元类型，即，如表5中指定的包含在NAL单元中的RBSP数据结构的类型。

NAL单元具有在UNSPEC_28..UNSPEC_31范围内(含端点)的nal_unit_type，未指定其语义，不应影响本规范中指定的解码过程。

注释2可以使用UNSPEC_28..UNSPEC_31范围内的NAL单元类型，由应用确定。在本规范中没有指定nal_unit_type的这些值的解码过程。由于不同的应用可能出于不同的目的使用这些NAL单元类型，所以在设计生成具有这些nal_unit_type值的NAL单元的编码器时，以及在设计解释具有这些nal_unit_type值的NAL单元的内容的解码器时，必须特别小心。本规范没有定义这些值的任何管理。这些nal_unit_type值可能仅适用于使用“冲突”(即，相同nal_unit_type值的NAL单元内容的含义的不同定义)不重要、或不可能、或被管理(例如，在控制应用或传输规范中定义或管理、或通过控制比特流分布的环境)的背景下。

出于除了确定比特流的DU中的数据量之外的目的(如附录C指定的)，解码器将忽略(从比特流中移除并丢弃)使用nal_unit_type的保留值的所有NAL单元的内容。

注释3该要求允许将来定义本规范的兼容扩展。

表5 NAL单元类型代码和NAL单元类型类别

注释4完全随机访问(CRA)图片可以具有存在于比特流中的关联的RASL或RADL图片。

注释5nal_unit_type等于IDR_N_LP的瞬时解码刷新(IDR)图片不具有存在于比特流中的关联的前导图片。nal_unit_type等于IDR_W_RADL的IDR图片不具有存在于比特流中的关联的RASL图片，但是可以具有比特流中的关联的RADL图片。

nal_unit_type的值对于子图片中所有VCL NAL单元应该是相同的。子图片被视为具有与子图片的VCL NAL单元相同的NAL单元类型。

对于任何特定图片的VCL NAL单元，以下适用：

如果mixed_nalu_types_in_pic_flag等于0，则nal_unit_type的值对于图片的所有VCL NAL单元应该是相同的，并且图片或PU被视为具有与图片或PU的VCL NAL单元相同的NAL单元类型。

否则(mixed_nalu_types_in_pic_flag等于1)，图片应该具有至少两个子图片，并且图片的VCL NAL单元应恰好具有两个不同的nal_unit_type值，如下：图片的至少一个子图片的VCL NAL单元应都具有nal_unit_type的特定值，等于STSA_NUT、RADL_NUT、RASL_NUT、IDR_W_RADL、IDR_N_LP或CRA_NUT，而图片中其他子图片的VCL NAL单元应都具有nal_unit_type的不同特定值，等于TRAIL_NUT、RADL_NUT或RASL_NUT。

对于单层比特流，以下约束适用：

除了按解码顺序的比特流中的第一个图片之外，每个图片都被视为与按解码顺序的先前IRAP图片相关联。

当图片是IRAP图片的前导图片时，其应是RADL或RASL图片。

当图片是IRAP图片的尾部图片时，其不应是RADL或RASL图片。

比特流中不应存在与IDR图片相关联的RASL图片。

比特流中不应存在与nal_unit_type等于IDR_N_LP的IDR图片相关联的RADL图片。

注释6通过丢弃IRAP PU之前的所有PU，有可能在IRAP PU的位置处执行随机访问(并按解码顺序正确解码IRAP图片和所有后续非RASL图片)，前提是在被参考时每个参数集(在比特流中或通过本规范中未指定的外部方式)可用。

按解码顺序在IRAP图片之前的任何图片应按输出顺序在IRAP图片之前，并且应按输出顺序在与IRAP图片相关联的任何RADL图片之前。

与CRA图片相关联的任何RASL图片应按输出顺序在与CRA图片相关联的任何RADL图片之前。

与CRA图片相关联的任何RASL图片应按输出顺序在按解码顺序在CRA图片之前的任何IRAP图片之后。

如果field_seq_flag等于0，并且当前图片是与IRAP图片相关联的前导图片，则其应按解码顺序在与相同IRAP图片相关联的所有非前导图片之前。否则，设picA和picB分别是按解码顺序的、与IRAP图片相关联的第一个和最后一个前导图片，应最多存在一个按解码顺序在picA之前的非前导图片，并且没有按解码顺序在picA和picB之间的非前导图片。

nuh_temporal_id_plus1减1指定NAL单元的时域标识符。

nuh_temporal_id_plus1的值不应等于0。

变量TemporalId被推导如下：

TemporalId＝nuh_temporal_id_plus1-1 (36)

当nal_unit_type在IDR_W_RADL至RSV_IRAP_12的范围内(含端点)时，TemporalId应等于0。

当nal_unit_type等于STSA_NUT，并且vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]等于1时，TemporalId不应等于0。

TemporalId的值对于AU的所有VCL NAL单元应该是相同的。编解码图片、PU或AU的TemporalId的值是编解码图片、PU或AU的VCL NAL单元的TemporalId的值。子层表示的TemporalId的值是子层表示中所有VCL NAL单元的TemporalId的最大值。

非VCL NAL单元的TemporalId值被约束如下：

如果nal_unit_type等于DCI_NUT、VPS_NUT或SPS_NUT，则TemporalId应等于0，并且包含NAL单元的AU的TemporalId应等于0。

否则，如果nal_unit_type等于PH_NUT，则TemporalId应等于包含NAL单元的PU的TemporalId。

否则，如果nal_unit_type等于EOS_NUT或EOB_NUT，则TemporalId应等于0。

否则，如果nal_unit_type等于AUD_NUT、FD_NUT、PREFIX_SEI_NUT或SUFFIX_SEI_NUT，则TemporalId应等于包含NAL单元的AU的TemporalId。

否则，当nal_unit_type等于PPS_NUT、PREFIX_APS_NUT或SUFFIX_APS_NUT时，TemporalId应大于或等于包含NAL单元的PU的TemporalId。

注释7当NAL单元是非VCL NAL单元时，TemporalId的值等于非VCL NAL单元所应用的所有AU的TemporalId值的最小值。当nal_unit_type等于PPS_NUT、PREFIX_APS_NUT或SUFFIX_APS_NUT时，TemporalId可以大于或等于包含AU的TemporalId，因为所有PPS和APS都可以被包括在比特流的开头(例如，当它们被带外传输时，并且接收器将它们放置在比特流的开头)，其中第一编解码图片具有等于0的TemporalId。

3.10.图片内的混合的NAL单元类型

7.4.3.4图片参数集语义

...

mixed_nalu_types_in_pic_flag等于1指定参考PPS的每个图片具有多于一个的VCL NAL单元，VCL NAL单元不具有nal_unit_type的相同值，并且该图片不是IRAP图片。mixed_nalu_types_in_pic_flag等于0指定参考PPS的每个图片具有一个或多个VCL NAL单元，并且参考PPS的每个图片的VCL NAL单元具有nal_unit_type的相同值。

当no_mixed_nalu_types_in_pic_constraint_flag等于1时，mixed_nalu_types_in_pic_flag的值应等于0。

对于图片picA中的具有在IDR_W_RADL至CRA_NUT范围内(含端点)的nal_unit_type值nalUnitTypeA的每个条带，该图片picA还包含具有另一nal_unit_type值的一个或多个条带，即，图片picA的mixed_nalu_types_in_pic_flag的值等于1，以下适用：

条带应属于对应的subpic_treated_as_pic_flag[i]的值等于1的子图片subpicA。

条带不应属于包含nal_unit_type不等于nalUnitTypeA的VCL NAL单元的picA的子图片。

如果nalUnitTypeA等于CRA，则对于按解码顺序和输出顺序在CLVS中的当前图片之后的所有在后PU，这些PU中的subpicA中的条带的RefPicList[0]和RefPicList[1]都不应包括有效条目中按解码顺序在picA之前的任何图片。

否则(即，nalUnitTypeA等于IDR_W_RADL或IDR_N_LP)，对于按解码顺序在当前图片之后的CLVS中的所有PU，这些PU中的subpicA中的条带的RefPicList[0]或RefPicList[1]都不应包括有效条目中按解码顺序在picA之前的任何图片。

注释1mixed_nalu_types_in_pic_flag等于1指示参考PPS的图片包含具有不同NAL单元类型的条带，例如，源自子图片比特流合并操作的编解码图片，编码器必须为其确保比特流结构匹配以及原始比特流的参数的进一步对齐。这种对齐的一个示例如下：当sps_idr_rpl_present_flag的值等于0并且mixed_nalu_types_in_pic_flag等于1时，参考PPS的图片不能具有nal_unit_type等于IDR_W_RADL或IDR_N_LP的条带。

...

3.11.VVC图片标头结构语法和语义

在最新的VVC文本(在JVET-Q2001-vE/v15中)中，与本发明最相关的图片标头结构语法和语义如下。

7.3.2.7图片标头结构语法

7.4.3.7图片标头结构语义

PH语法结构包含对于与PH语法结构相关联的编解码图片的所有条带共用的信息。

gdr_or_irap_pic_flag等于1指定当前图片是GDR或IRAP图片。gdr_or_irap_pic_flag等于0指定当前图片可能是也可能不是GDR或IRAP图片。

gdr_pic_flag等于1指定与PH相关联的图片是GDR图片。gdr_pic_flag等于0指定与PH相关联的图片不是GDR图片。当不存在时，gdr_pic_flag的值被推断为等于0。当gdr_enabled_flag等于0时，gdr_pic_flag的值应等于0。

注释1当gdr_or_irap_pic_flag等于1并且gdr_pic_flag等于0时，与PH相关的图片是IRAP图片。

...

ph_pic_order_cnt_lsb指定当前图片的图片顺序计数模MaxPicOrderCntLsb。ph_pic_order_cnt_lsb语法元素的长度为log2_max_pic_order_cnt_lsb_minus4+4比特。ph_pic_order_cnt_lsb的值应在0至MaxPicOrderCntLsb-1的范围内(含端点)。

no_output_of_prior_pics_flag影响在解码CLVSS图片之后DPB中的先前解码的图片的输出，该CLVSS图片不是附录C中规定的比特流中的第一个图片。

recovery_poc_cnt指定按输出顺序的解码图片的恢复点。如果当前图片是与PH相关联的GDR图片，并且存在在CLVS中按解码顺序在当前GDR图片之后的、PicOrderCntVal等于当前GDR图片的PicOrderCntVal加上recovery_poc_cnt的值的图片picA，则图片picA被称为恢复点图片。否则，PicOrderCntVal大于当前图片的PicOrderCntVal加上recovery_poc_cnt的值的按输出顺序的第一个图片被称为恢复点图片。恢复点图片不应按解码顺序在当前GDR图片之前。recovery_poc_cnt的值应在0至MaxPicOrderCntLsb-1的范围内(含端点)。

当当前图片是GDR图片时，变量RpPicOrderCntVal被推导出如下：

RpPicOrderCntVal＝PicOrderCntVal+recovery_poc_cnt (81)

注释2当gdr_enabled_flag等于1并且当前图片的PicOrderCntVal大于或等于关联的GDR图片的RpPicOrderCntVal时，按输出顺序的当前和后续解码图片与通过从按解码顺序在关联的GDR图片之前的先前IRAP图片(当存在时)开始解码过程而产生的对应图片完全匹配。

...

3.12.VVC中对RPL的限制

在最新的VVC文本(在JVET-Q2001-vE/v15中)中，VVC中的对RPL的约束如下(作为VVC的第8.3.2条参考图片列表构造的解码过程的一部分)。8.3.2参考图片列表构造的解码过程

...

对于每个i等于0或1，RefPicList[i]中的前NumRefIdxActive[i]个条目被认为是RefPicList[i]中的有效条目，并且RefPicList[i]中的其他条目被认为是RefPicList[i]中的非有效条目。

注释2特定图片可能被RefPicList[0]中的条目和RefPicList[1]中的条目两者所指代。特定图片也有可能被RefPicList[0]中的多于一个条目或RefPicList[1]中的多于一个条目所指代。

注释3RefPicList[0]中的有效条目和RefPicList[1]中的有效条目共同指代可以用于当前图片和按解码顺序在当前图片之后的一个或多个图片的帧间预测的所有参考图片。RefPicList[0]中的非有效条目和RefPicList[1]中的非有效条目共同指代不用于当前图片的帧间预测但可以用于按解码顺序在当前图片之后的一个或多个图片的帧间预测的所有参考图片。

注释4RefPicList[0]或RefPicList[1]中可能有一个或多个条目等于“无参考图片”，因为对应的图片不存在于DPB中。应忽略RefPicList[0]或RefPicList[0]中等于“无参考图片”的每个非有效条目。应为RefPicList[0]或RefPicList[1]中等于“无参考图片”的每个有效条目推断出意外的图片丢失。

比特流一致性的要求是以下约束适用：

对于每个i等于0或1，num_ref_entries[i][RplsIdx[i]]不应小于NumRefIdxActive[i]。

RefPicList[0]或RefPicList[1]中的每个有效条目所指代的图片应存在于DPB中，并且应该具有小于或等于当前图片的TemporalId。

RefPicList[0]或RefPicList[1]中的每个条目所指代的图片不应是当前图片，并且应该具有等于0的non_reference_picture_flag。

图片的条带的RefPicList[0]或RefPicList[1]中的STRP条目和同一图片的同一条带或不同条带的RefPicList[0]或RefPicList[1]中的LTRP条目不应指代同一图片。

在RefPicList[0]或RefPicList[1]中不应存在LTRP条目，对于该LTRP条目，当前图片的PicOrderCntVal与被该条目所指代的图片的PicOrderCntVal之间的差大于或等于2²⁴。

设setOfRefPics是RefPicList[0]中具有与当前图片相同的nuh_layer_id的所有条目和RefPicList[1]中具有与当前图片相同的nuh_layer_id的所有条目所指代的独特(unique)图片的集合。setOfRefPics中的图片数量应小于或等于MaxDpbSize-1(包括本身)，其中MaxDpbSize在条款A.4.2中指定，并且setOfRefPics对于图片的所有条带应该是相同的。

当当前条带的nal_unit_type等于STSA _NUT时，在RefPicList[0]或RefPicList[1]中不应存在具有等于当前图片的TemporalId的TemporalId和等于当前图片的nuh_layer_id的nuh_layer_id的有效条目。

当当前图片是按解码顺序在STSA图片之后的、具有等于当前图片的TemporalId的TemporalId和等于当前图片的nuh_layer_id的nuh_layer_id的图片时，不应存在按解码顺序在STSA图片之前的、具有等于当前图片的TemporalId的TemporalId并且具有等于当前图片的nuh_layer_id的nuh_layer_id的图片，作为有效条目包括在RefPicList[0]或RefPicList[1]中。

当当前图片是CRA图片时，不应存在按输出顺序或解码顺序在任何前面的IRAP图片(当存在时)之前的、由RefPicList[0]或RefPicList[1]中的条目所指代的图片。

当当前图片是尾部图片时，不应存在由RefPicList[0]或RefPicList[1]

中的有效条目所指代的、由用于生成与当前图片相关联的IRAP图片的不可用参考图片的解码过程生成的图片。

当当前图片是按解码顺序和输出顺序都在与相同IRAP图片相关联的一个或多个前导图片(如果有的话)之后的尾部图片时，不应存在RefPicList[0]或RefPicList[1]中的条目所指代的、由用于生成与当前图片相关联的IRAP图片的不可用参考图片的解码过程生成的图片。

当当前图片是恢复点图片或按输出顺序在恢复点图片之后的图片时，不应存在包含由用于生成恢复点图片的GDR图片的不可用参考图片的解码过程生成的图片的RefPicList[0]或RefPicList[1]中的条目。

当当前图片是尾部图片时，不应存在按输出顺序或解码顺序在关联的IRAP图片之前的由RefPicList[0]或RefPicList[1]中的有效条目所指代的图片。

当当前图片是按解码顺序和输出顺序在与相同IRAP图片相关联的一个或多个前导图片(如果有的话)的尾部图片时，不应存在按输出顺序或解码顺序在关联的IRAP图片之前的、由RefPicList[0]或RefPicList[1]中的条目所指代的图片。

当当前图片是RADL图片时，在RefPicList[0]或RefPicList[1]中不应有以下任何的有效条目：

οRASL图片

ο由用于生成不可用参考图片的解码过程生成的图片

ο按解码顺序在关联的IRAP图片之前的图片

当前图片的条带的RefPicList[0]或RefPicList[1]中的每个ILRP条目所指代的图片应与当前图片在相同的AU中。

当前图片的条带的RefPicList[0]或RefPicList[1]中的每个ILRP条目所指代的图片应存在于DPB中，并且应该具有小于当前图片的nuh_layer_id的nuh_layer_id。

条带的RefPicList[0]或RefPicList[1]中的每个ILRP条目应是有效条目。

...

3.13.PictureOutputFlag的设置

在最新的VVC文本中(在JVET-Q2001-vE/v15中)，设置变量PictureOutputFlag的值的规范如下(作为用于编解码图片的条款8.1.2解码过程的一部分)。

8.1.2编解码图片的解码处理

本条款中规定的解码过程适用于BitstreamToDecode中的每个编解码图片，称为当前图片并由变量CurrPic表示。

取决于chroma_format_idc的值，当前图片的样点数组的数量如下：

如果chroma_format_idc等于0，则当前图片由1个样点数组S_L组成。

否则(chroma_format_idc不等于0)，当前图片由3个样点数组S_L、S_Cb、S_Cr组成。

当前图片的解码过程将来自条款7的语法元素和大写变量作为输入。当解释每个NAL单元和条款8的剩余部分中的每个语法元素的语义时，术语“比特流”(或其一部分，例如，比特流的CVS)指的是BitstreamToDecode(或其一部分)。

取决于separate_colour_plane_flag的值，解码过程被构造如下：

如果separate_colour_plane_flag等于0，则解码过程调用一次，输出当前图片。

否则(separate_colour_plane_flag等于1)，解码过程被调用三次。解码过程的输入是具有相同的colour_plane_id值的编解码图片的所有NAL单元。具有特定colour_plane_id值的NAL单元的解码过程被指定为比特流中只存在具有该特定colour_plane_id值的单色颜色格式的CVS。三个解码过程中的每一个的输出被分配给当前图片的3个样点数组之一，具有等于0、1和2的colour_plane_id的NAL单元被分别分配给S_L、S_Cb和S_Cr。

注释当separate_colour_plane_flag等于1并且chroma_format_idc等于3时，变量ChromaArrayType等于0。在解码过程中，该变量的值被评估，导致与单色图片相同的操作(当chroma_format_idc等于0时)。

对于当前图片CurrPic，解码过程操作如下：

1.NAL单元的解码在条款8.2中指定。

2.条款8.3中的过程使用条带标头层及以上中的语法元素来指定以下解码过程：

与图片顺序计数相关的变量和函数如在条款8.3.1中指定的而推导。这只需要为图片的第一条带而调用。

在非IDR图片的每个条带的解码过程开始时，条款8.3.2中指定的参考图片列表构造的解码过程被调用以用于推导参考图片列表0(RefPicList[0])和参考图片列表1(RefPicList[1])。

条款8.3.2中的参考图片标记的解码过程被调用，其中参考图片可以被标记为“未用于参考”或“用于长期参考”。这只需要为图片的第一条带而调用。

当当前图片是NoOutputBeforeRecoveryFlag等于1的CRA图片或NoOutputBeforeRecoveryFlag等于1的GDR图片时，用于生成子条款8.3.4中指定的不可用参考图片的解码过程被调用，其只需要为图片的第一条带而调用。

PictureOutputFlag被设置如下：

如果以下条件之一为真，则PictureOutputFlag被设置为等于0：

当前图片是RASL图片，并且关联的IRAP图片的NoOutputBeforeRecoveryFlag等于1。

gdr_enabled_flag等于1，并且当前图片是NoOutputBeforeRecoveryFlag等于1的GDR图片。

gdr_enabled_flag等于1，当前图片与NoOutputBeforeRecoveryFlag等于1的GDR图片相关联，并且当前图片的PicOrderCntVal小于关联的GDR图片的RpPicOrderCntVal。

sps_video_parameter_set_id大于0，ols_mode_idc等于0，并且当前AU包含满足以下所有条件的图片picA：

PicA的PictureOutputFlag等于1。

PicA的nuh_layer_id nuhLid大于当前图片的nuh_layer_id。

PicA属于OLS的输出层(即，OutputLayerIdInOls[TargetOlsIdx][0]等于nuhLid)。

sps_video_parameter_set_id大于0，ols_mode_idc等于2，并且ols_output_layer_flag[target ols idx][general layeridx[nuh_layer_id]]等于0。

否则，PictureOutputFlag被设置为等于pic_output_flag。

3.条款8.4、8.5、8.6、8.7和8.8中的过程使用所有语法结构层中的语法元素来指定解码过程。比特流一致性的要求是，图片的编解码条带应包含图片的每个CTU的条带数据，使得将图片划分为条带，并且将条带划分为CTU各自形成图片的分区。

4.在当前图片的所有条带都被解码之后，当前解码的图片被标记为“用于短期参考”，并且RefPicList[0]或RefPicList[1]中的每个ILRP条目被标记为“用于短期参考”。

4.公开的技术方案解决的技术问题

最新的VVC文本中(在JVET-Q2001-vE/v15中)的现有设计存在以下问题：

1)由于允许混合一个图片内的不同类型的子图片，因此将具有VCL NAL单元类型的NAL单元的内容称为特定类型的图片的编解码条带是令人困惑的。例如，仅当图片的所有条带的nal_unit_type等于CRA_NUT时，nal_unit_type等于CRA_NUT的NAL单元是CRA图片的编解码条带；当该图片的一个条带的nal_unit_type不等于CRA_NUT时，则该图片不是CRA图片。

2)目前，如果子图片包含nal_unit_type在IDR_W_RADL至CRA _NUT的范围内(含端点)的VCL NAL单元，并且对于图片，mixed_nalu_types_in_pic_flag等于1,则对于子图片，subpic_treated_as_pic_flag[]的值需要等于1。换句话说，对于图片中与另一类型子图片混合的IRAP子图片，subpic_treated_as_pic_flag[]的值需要等于1。然而，有了VCLNAL单元类型的更多混合的支持，这个要求是不够的。

3)目前，图片内最多只允许两种不同类型的VCL NAL单元(和两种不同类型的子图片)。

4)在单层和多层上下文中，相对于关联的IRAP或GDR子图片，缺少对尾部子图片的输出顺序的约束。

5)目前，指定当图片是IRAP图片的前导图片时，其应该是RADL或RASL图片。这种约束，连同前导/RADL/RASL图片的定义一起，不允许在由两个CRA图片和它们的非AU对齐的关联的RADL和RASL图片的混合而产生的图片内RADL和RASL NAL单元类型的混合。

6)在单层和多层上下文中，对于前导子图片，缺少对子图片类型的约束(即，子图片中VCL NAL单元的NAL单元类型)。

7)在单层和多层上下文中，缺少对RASL子图片是否可以存在并与IDR子图片相关联的约束。

8)在单层和多层上下文中，缺少对RADL子图片是否可以存在并与nal_unit_type等于IDR_N_LP的IDR子图片相关联的约束。

9)在单层和多层上下文中，缺少对按解码顺序在IRAP子图片之前的子图片和与IRAP子图片相关联的RADL子图片之间的相对输出顺序的约束。

10)在单层和多层上下文中，缺少对按解码顺序在GDR子图片之前的子图片和与GDR子图片相关联的子图片之间的相对输出顺序的约束。

11)在单层和多层上下文中，缺少对与CRA子图片相关的RASL子图片和与CRA子图片相关的RADL子图片之间的相对输出顺序的约束。

12)在单层和多层上下文中，缺少对与CRA子图片相关联的RASL子图片和按解码顺序在CRA子图片之前的IRAP子图片之间的相对输出顺序的约束。

13)在单层和多层上下文中，缺少对IRAP图片的相关联的非前导图片和前导图片之间的相对解码顺序的约束。

14)在单层和多层上下文中，缺少对按解码顺序在STSA子图片之后的子图片的RPL有效条目的约束。

15)在单层和多层上下文中，缺少对CRA子图的RPL条目的约束。

16)在单层和多层上下文中，缺少对指代由用于生成不可用参考图片的解码过程生成的图片的子图片的RPL有效条目的约束。

17)在单层和多层上下文中，缺少对指代由用于生成不可用参考图片的解码过程生成的图片的子图片的RPL条目的约束。

18)在单层和多层上下文中，缺少对与IRAP图片相关联并且按输出顺序在IRAP图片之后的子图片的RPL有效条目的约束。

19)在单层和多层上下文中，缺少对与IRAP图片相关联并且按输出顺序在IRAP图片之后的子图片的RPL条目的约束。

20)在单层和多层上下文中，缺少对RADL子图片的RPL有效条目的约束。

5.解决方案和实施例的示例

为了解决上述问题和其他问题，公开了如下概述的方法。这些项目应该被认为是解释一般概念的示例，而不应该以狭隘的方式解释。此外，这些项目可以单独使用或以任何方式组合使用。

1)为了解决问题1，不是将具有VCL NAL单元类型的NAL单元的内容指定为“特定类型的图片的编解码条带”，而是指定为“特定类型的图片或子图片的编解码条带”。例如，nal_unit_type等于CRA_NUT的NAL单元的内容被指定为“CRA图片或子图片的编解码条带”。

a.此外，定义一个或多个以下术语：关联的GDR子图片、关联的IRAP子图片、CRA子图片、GDR子图片、IDR子图片、IRAP子图片、前导子图片、RADL子图片、RASL子图片、STSA子图片、尾部子图片。

2)为了解决问题2，添加约束以要求具有不同NAL单元类型的任何两个相邻子图片都应该具有subpic_treated_as_pic_flag[]等于1。

a.在一个示例中，约束被指定如下：对于图片中具有子图片索引i和j的任何两个相邻子图片，当subpic_treated_as_pic_flag[i]或subpic_treated_as_pic_flag[j]等于0时，这两个子图片应该具有相同的NAL单元类型。

a.可替代地，要求当具有子图片索引i的任何子图片具有subpic_treated_as_pic_flag[i]等于0时，图片中的所有子图片应该具有相同的NAL单元类型(即，图片中的所有VCL NAL单元应该具有相同的NAL单元类型，即，mixed_nalu_types_in_pic_flag的值应该等于0)。这意味着，当所有子图片具有它们的对应subpic_treated_as_pic_flag[]等于1时，mixed_nalu_types_in_pic_flag只能等于1。

3)为了解决问题3，当mixed_nalu_types_in_pic_flag等于1时，可以允许图片包含多于两种不同类型的VCL NAL单元。

4)为了解决问题4，指定尾部子图片应按输出顺序在关联的IRAP或GDR子图片之后。

5)为了解决问题5，为了允许在由两个CRA图片和它们的非AU对齐的关联的RADL和RASL图片的混合而产生的图片内混合RADL和RASL NAL单元类型，规定IRAP图片的前导图片应该是RADL或RASL图片的现有约束被改变如下：当图片是IRAP图片的前导图片时，图片中的所有VCL NAL单元的nal_unit_type值应等于RADL_NUT或RASL_NUT。此外，在对具有RADL_NUT和RASL_NUT的mixed nal_unit_type值的图片的解码处理中，当包含图片的层是输出层时，图片的PictureOutputFlag被设置为等于pic_output_flag。

这样，通过所有被输出的图片都需要被校正以符合解码器的约束，可以保证这样的图片中的RADL子图片，尽管当关联的CRA图片具有NoOutputBeforeRecoveryFlag等于1时，这样的图片中的“中间值(mid-valued)”RASL子图片的“正确性(correctness)”的保证也是适当的，但是实际上并不需要。保证中不必要的部分无关紧要，并且不会增加实施符合编码器或解码器的复杂性。在这种情况下，添加注释来阐明虽然与NoOutputBeforeRecoveryFlag等于1的CRA图片相关联的这种RASL子图片可以由解码过程输出，但是它们不打算用于显示，因此不应该用于显示。

6)为了解决问题6，规定当子图片是IRAP子图片的前导子图片时，其应是RADL或RASL子图片。

7)为了解决问题7，规定在比特流中不应存在与IDR子图片相关联的RASL子图片。

8)为了解决问题8，规定在比特流中不应存在与nal_unit_type等于IDR_N_LP的IDR子图片相关联的RADL子图片。

9)为了解决问题9，规定按解码顺序，在nuh_layer_id等于layerId并且子图片索引等于subpicIdx的IRAP子图片之前的nuh_layer_id等于特定值layerId并且子图片索引等于特定值subpicIdx的任何子图片应按输出顺序在IRAP子图片及其所有关联的RADL子图片之前。

10)为了解决问题10，规定按解码顺序，在nuh_layer_id等于layerId并且子图片索引等于subpicIdx的GDR子图片之前的nuh_layer_id等于特定值layerId并且子图片索引等于特定值subpicIdx的任何子图片应按输出顺序在GDR子图片及其所有关联的子图片之前。

11)为了解决问题11，规定与CRA子图片相关联的任何RASL子图片应按输出顺序在与CRA子图片相关联的任何RADL子图片之前。

12)为了解决问题12，规定与CRA子图片相关联的任何RASL子图片应按输出顺序在任何IRAP子图片之后，该任何IRAP子图片按解码顺序在CRA子图片之前。

13)为了解决问题13，规定如果field_seq_flag等于0，并且(其中nuh_layer_id等于特定值layerId并且子图片索引等于特定值subpicIdx的)当前子图片是与IRAP子图片相关联的前导子图片，则它应按解码顺序在与相同的IRAP子图片相关联的所有非前导子图片之前；否则，设subpicA和subpicB分别是按解码顺序的、与IRAP子图片相关联的第一个和最后一个前导子图片，应有最多一个按解码顺序在subpicA之前的nuh_layer_id等于layerId并且子图片索引等于subpicIdx的非前导子图片，并且不应存在按解码顺序在picA和picB之间的nuh_layer_id等于layerId并且子图片索引等于subpicIdx的非前导图片。

14)为了解决问题14，规定当TemporalId等于特定值tId、nuh_layer_id等于特定值layerId并且子图片索引等于特定值subpicIdx的当前子图片是按解码顺序在TemporalId等于tId、nuh_layer_id等于layerId并且子图片索引等于subpicIdx的STSA子图片之后的子图片时，不应存在按解码顺序在包含STSA子图片的图片之前的TemporalId等于tId并且nuh_layer_id等于layerId的图片，作为有效条目包括在RefPicList[0]或RefPicList[1]中。

15)为了解决问题15，规定当nuh_layer_id等于特定值layerId并且子图片索引等于特定值subpicIdx的当前子图片是CRA子图片时，不应存在按输出顺序或解码顺序在包含按解码顺序的nuh_layer_id等于layerId并且子图片索引等于subpicIdx的在前的IRAP子图片(当存在时)的任何图片之前的、由RefPicList[0]或RefPicList[1]中的条目所指代的图片。

16)为了解决问题16，规定当nuh_layer_id等于特定值layerId并且子图片索引等于特定值subpicIdx的当前子图片不是与NoOutputBeforeRecoveryFlag等于1的CRA图片的CRA子图片相关联的RASL子图片、NoOutputBeforeRecoveryFlag等于1的GDR图片的GDR子图片、或者NoOutputBeforeRecoveryFlag等于1并且nuh_layer_id等于layerId的GDR图片的恢复图片的子图片时，不应存在RefPicList[0]或RefPicList[1]中的有效条目所指代的、由为生成不可用参考图片的解码过程生成的图片。

17)为了解决问题17，规定当nuh_layer_id等于特定值layerId并且子图片索引等于特定值subpicIdx的当前子图片不是NoOutputBeforeRecoveryFlag等于1的CRA图片的CRA子图片、按解码顺序在与NoOutputBeforeRecoveryFlag等于1的CRA图片的相同CRA子图片相关联的前导子图片之前的子图片、与NoOutputBeforeRecoveryFlag等于1的CRA图片的CRA子图片相关联的前导子图片、NoOutputBeforeRecoveryFlag等于1的GDR图片的GDR子图片、或者NoOutputBeforeRecoveryFlag等于1并且nuh_layer_id等于layerId的GDR图片的恢复图片的子图片时，不应存在RefPicList[0]或RefPicList[1]中的条目所指代的、由为生成不可用参考图片的解码过程生成的图片。

18)为了解决问题18，规定当当前子图片与IRAP子图片相关联并且按输出顺序在IRAP子图片之后时，不应存在按输出顺序或解码顺序在包含关联的IRAP子图片的图片之前的、由RefPicList[0]或RefPicList[1]中的有效条目所指代的图片。

19)为了解决问题19，规定当当前子图片与IRAP子图片相关联时，按输出顺序在IRAP子图片之后，并且按解码顺序和输出顺序都在与相同的IRAP子图片相关联的前导子图片(如果有的话)之后，则不应存在按输出顺序或解码顺序在包含关联的IRAP子图片的图片之前的、由RefPicList[0]或RefPicList[1]中的条目所指代的图片。

20)为了解决问题20，规定当当前子图片是RADL子图片时，不应存在RefPicList[0]或RefPicList[1]中以下任何一个的任何有效条目：

a.包含RASL子图片的图片

b.按解码顺序在包含关联的IRAP子图片的图片之前的图片

6.实施例

以下是上文第5节中概述的本发明的一些方面的一些示例实施例，其可应用于VVC规范。变更后的文本基于JVET-Q2001-vE/v15中的最新VVC文本。增加或修改的大部分相关部分用

突出显示，并且一些删除的部分用双括号标出(例如，[[a]]表示删除字符“a”)。有一些其他的变化本质上是编辑性的或者不是本发明的一部分，因此没有突出显示。

6.1.第一实施例

该实施例用于项目1、1a、2、2a、4和6至20。

3定义

...

(具有nuh_layer_id layerId的特定值的特定图片的)关联的GDR图片：按解码顺序在按解码顺序的nuh_layer_id等于layerId的先前GDR图片(当存在时)与在特定图片之间，没有nuh_layer_id等于layerId的IRAP图片。

(具有nuh_layer_id的特定值layerId的特定图片的)关联的IRAP图片：按解码顺序在按解码顺序的nuh_layer_id等于layerId的先前IRAP图片(当存在时)与特定图片之间，没有nuh_layer_id等于layerId的GDR图片。

完全随机访问(CRA)图片：每个VCL NAL单元的nal_unit_type等于CRA_NUT的IRAP图片。

完全随机访问(CRA)子图片：

逐渐解码刷新(GDR)AU：在其中CVS中的每一层都有PU并且每个当前PU中的编解码图片都是GDR图片的AU。

逐渐解码刷新(GDR)子图片：

帧内随机访问点(IRAP)图片：所有VCL NAL单元具有在IDR_W_RADL到CRA_NUT的范围内(含端点)相同的nal_unit_type值的图片。

前导图片：按输出顺序在关联的IRAP图片之前的图片。

输出顺序：

尾部图片：每个VCL NAL单元的nal_unit_type等于TRAIL_NUT的图片。

注释与IRAP或GDR图片相关联的尾部图片按解码顺序也在IRAP或GDR图片之后。不允许按输出顺序在关联的IRAP或GDR图片之后并且按解码顺序在关联的IRAP或GDR图片之前的图片。

注释与IRAP或GDR子图片相关联的尾部图片按解码顺序也在IRAP或GDR子图之后。不允许按输出顺序在关联的IRAP或GDR子图片之后并且按解码顺序在关联的IRAP或GDR子图片之前的子图片。

...

7.4.2.2NAL单元标头语义

...

注释2可以使用UNSPEC_28..UNSPEC_31范围内的NAL单元类型，由应用确定。在本规范中没有指定nal_unit_type的这些值的解码过程。由于不同的应用可能出于不同的目的使用这些NAL单元类型，所以在设计生成具有这些nal_unit_type值的NAL单元的编码器时，以及在设计解释具有这些nal_unit_type值的NAL单元的内容的解码器时，必须特别小心。本规范没有定义这些值的任何管理。这些nal_unit_type值可能仅适用于使用“冲突”(即，相同nal_unit_type值的NAL单元内容的含义的不同定义)不重要、或不可能、或被管理(例如，在控制应用或传输规范中定义或管理、或通过控制比特流分布的环境而被管理)的背景下。

为了确定比特流的DU中的数据量之外的目的(如附录C指定)，解码器将忽略(从比特流中移除并丢弃)使用nal_unit_type的保留值的所有NAL单元的内容。

注释3该要求允许将来定义本规范的兼容扩展。

表5 NAL单元类型代码和NAL单元类型类别

对于任何特定图片的VCL NAL单元，以下适用：

否则(mixed_nalu_types_in_pic_flag等于1)，图片应该具有至少两个子图片，并且图片的VCL NAL单元应恰好具有两个不同的nal_unit_type值，如下所示：图片的至少一个子图片的VCL NAL单元应都具有nal_unit_type的特定值，等于STSA_NUT、RADL_NUT、RASL_NUT、IDR_W_RADL、IDR_N_LP或CRA_NUT，而图片中其他子图片的VCL NAL单元应都具有不同的nal_unit_type的特定值，等于TRAIL_NUT、RADL_NUT或RASL_NUT。

比特流一致性的要求是以下约束适用：

尾部图片应按输出顺序在关联的IRAP或GDR图片之后。

当图片是IRAP图片的前导图片时，其应为RADL或RASL图片。

比特流中不应存在与IDR图片相关联的RASL图片。

比特流中不应存在与IDR子图片相关联的RASL子图片。

注释6通过丢弃IRAP PU之前的所有PU，可以在IRAP PU的位置执行随机访问(并按解码顺序正确解码IRAP图片和所有后续非RASL图片)，前提是在被参考时每个参数集(在比特流中或通过本规范中未指定的外部方式)可用。

按解码顺序在nuh_layer_id等于layerId的IRAP图片之前的其nuh_layer_id等于特定值layerId的任何图片应按输出顺序在IRAP图片及其所有关联的RADL图片之前。

按解码顺序在nuh_layer_id等于layerId的GDP图片之前的nuh_layer_id等于特定值layerId的任何图片应按输出顺序在GDP图片及其所有关联的图片之前。

如果field_seq_flag等于0，并且nuh_layer_id等于特定值layerId的当前图片是与IRAP图片相关联的前导图片，则应按解码顺序在与相同IRAP图片相关联的所有非前导图片之前。否则，设picA和picB分别是按解码顺序的与IRAP图片相关联的第一个和最后一个前导图片，应最多存在一个按解码顺序在picA之前的nuh_layer_id等于layerId的非前导图片，并且不应存在按解码顺序在picA和picB之间的nuh_layer_id等于layerId的非前导图片。

7.4.3.4图片参数集语义

...

mixed_nalu_types_in_pic_flag等于1指定参考PPS的每个图片具有多于一个的VCL NAL单元，

VCL NAL单元不具有相同的nal_unit_type值[[，并且该图片不是IRAP图片]]。mixed_nalu_types_in_pic_flag等于0指定参考PPS的每个图片具有一个或多个VCL NAL单元，并且参考PPS的每个图片的VCL NAL单元具有相同的nal_unit_type值。

[[对于在图片picA中的具有在IDR_W_RADL至CRA_NUT范围内(含端点)的nal_unit_type值nalUnitTypeA的每个条带(即，图片picA的mixed_nalu_types_in_pic_flag的值等于1)，该图片picA还包含具有另一nal_unit_type值的一个或多个条带，以下适用：

如果nalUnitTypeA等于CRA，则对于按解码顺序和输出顺序在CLVS中当前图片之后的所有在后PU，这些PU中的subpicA中的条带的RefPicList[0]和RefPicList[1]都不应包括有效条目中按解码顺序在picA之前的任何图片。

否则(即，nalUnitTypeA等于IDR_W_RADL或IDR_N_LP)，对于按解码顺序在当前图片之后的CLVS中的所有PU，这些PU中的subpicA中的条带的RefPicList[0]或RefPicList[1]都不应包括有效条目中按解码顺序在picA之前的任何图片。]]

....

7.4.3.7图片头结构语义

...

recovery_poc_cnt指定按输出顺序的解码图片的恢复点。

如果当前图片是[[与PH相关联的]]GDR图片，并且存在在CLVS中按解码顺序在当前GDR图片之后的、PicOrderCntVal等于

[[当前GDR图片的PicOrderCntVal加上recovery_poc_cnt的值]]的图片picA，则图片picA被称为恢复点图片。否则，PicOrderCntVal大于

[[当前图片的PicOrderCntVal加上recovery_poc_cnt的值]]的按输出顺序的第一个图片被称为恢复点图片。恢复点图片不应按解码顺序在当前GDR图片之前。

recovery_poc_cnt的值应在0至MaxPicOrderCntLsb-1的范围内(含端点)。

[[当当前图片是GDR图片时，变量RpPicOrderCntVal被推导出如下：

RpPicOrderCntVal＝PicOrderCntVal+recovery_poc_cnt(81)]]

注释2当gdr_enabled_flag等于1并且当前图片的PicOrderCntVal大于或等于关联的GDR图片的

[[RpPicOrderCntVal]]时，按输出顺序的当前和后续解码图片与通过从按解码顺序在关联的GDR图片之前的先前IRAP图片(当存在时)开始解码过程而产生的对应图片完全匹配。

...

8.3.2参考图片列表构造的解码过程

...

比特流一致性的要求是以下约束适用：

RefPicList[0]或RefPicList[1]中的每个有效条目所指代的图片应存在于DPB中，并且应该具有小于或等于当前图片的TemporalId的TemporalId。

RefPicList[0]或RefPicList[1]中的每个条目所指代的图片不应是当前图片，并且non_reference_picture_flag应等于0。图片的条带的RefPicList[0]或RefPicList[1]中的STRP条目和同一条带或同一图片的不同条带的RefPicList[0]或RefPicList[1]中的LTRP条目不应指代同一图片。

设setOfRefPics是RefPicList[0]中具有与当前图片相同的nuh_layer_id的所有条目和RefPicList[1]中具有与当前图片相同的nuh_layer_id的所有条目所指代的独特图片的集合。setOfRefPics中的图片数量应小于或等于MaxDpbSize-1(包括本身)，其中MaxDpbSize在条款A.4.2中指定，并且setOfRefPics对于图片的所有条带应该是相同的。

当当前条带的nal_unit_type等于STSA_NUT时，在RefPicList[0]或RefPicList[1]中不应存在具有等于当前图片的TemporalId的TemporalId和等于当前图片的nuh_layer_id的nuh_layer_id的有效条目。

当numh_layer_id等于特定值layerId的当前图片是CRA图片时，不应存在按输出顺序或解码顺序在numh_layer_id等于特定值layerId的任何前面的IRAP图片(当存在时)之前的、由RefPicList[0]或RefPicList[1]中的条目所指代的图片。

当nuh_layer_id等于特定值layerId的当前图片不是NoOutputBeforeRecoveryFlag等于1的CRA图片相关联的RASL图片、NoOutputBeforeRecoveryFlag等于1的GDR图片或者NoOutputBeforeRecoveryFlag等于1并且nuh_layer_id等于layerId的GDR图片的恢复图片时，不应存在RefPicList[0]或RefPicList[1]中的有效条目所指代的、由用于生成不可用参考图片的解码过程生成的图片。

当nuh_layer_id等于特定值layerId的当前子图片不是NoOutputBeforeRecoveryFlag等于1的CRA图片、按解码顺序在与NoOutputBeforeRecoveryFlag等于1的相同CRA图片相关联的前导图片、与NoOutputBeforeRecoveryFlag等于1的CRA图片相关联的前导图片、NoOutputBeforeRecoveryFlag等于1的GDR图片、或者NoOutputBeforeRecoveryFlag等于1并且nuh_layer_id等于layerId的GDR图片的恢复图片之前的图片时，不应存在RefPicList[0]或RefPicList[1]中的条目所指代的、由用于生成不可用参考图片的解码过程生成的图片。

当当前图片与IRAP图片相关联并且按输出顺序在IRAP图片之后时，不应存在按输出顺序或解码顺序在关联的IRAP图片之前的、由RefPicList[0]或RefPicList[1]中的有效条目所指代的图片。

当当前图片与IRAP图片相关联，按输出顺序在IRAP图片之后，并且按解码顺序和输出顺序都在与相同的IRAP图片相关联的前导图片(如果有的话)之后时，不应存在按输出顺序或解码顺序在关联的IRAP图片之前的、由RefPicList[0]或RefPicList[1]中的条目所指代的图片。

οRASL图片

ο按解码顺序在关联的IRAP图片之前的图片

ο

ο

图5是示出示例视频处理***1900的框图，其中可以实施本文公开的各种技术。各种实施方式可以包括***1900的一些或所有组件。***1900可以包括用于接收视频内容的输入1902。视频内容可以以原始或未压缩的格式接收，例如，8或10比特多分量像素值，或者可以是压缩或编码格式。输入1902可以表示网络接口、***总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)，以及无线接口(诸如Wi-Fi或蜂窝接口)。

***1900可以包括编解码组件1904，其可以实施在本文档中描述的各种编解码或编码方法。编解码组件1904可以降低从输入1902到编解码组件1904的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。如组件1906所表示的，编解码组件1904的输出可以被存储，或者经由连接的通信被发送。组件1908可以使用在输入1902处接收的视频的存储或通信传送的比特流(或编解码的)表示来生成发送到显示接口1910的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应该理解，编解码工具或操作在编码器处使用，并且与编码结果相反的相应解码工具或操作将由解码器执行。

***总线接口或显示器接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以在各种电子设备中实现，诸如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。

图6是视频处理装置3600的框图。装置3600可以用于实施本文描述的一种或多种方法。装置3600可以实现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。处理器3602可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)3604可用于存储用于实现本文所述方法和技术的数据和代码。视频处理硬件3606可以用于在硬件电路中实施本文档中描述的一些技术。

图8是示出可以利用本公开的技术的示例视频编解码***100的框图。

如图8所示，视频编解码***100可以包括源设备110和目的设备120。源设备110生成编码视频数据，其可以被称为视频编码设备。目的设备120可以解码由源设备110产生经编码的视频数据，其可以被称为视频解码设备。

源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形***的源，或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关联的数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码视频数据可以经由I/O接口116通过网络130a直接发送到目的设备120。编码视频数据还可存储在存储介质/服务器130b上以供目的设备120访问。

目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取经编码的视频数据。视频解码器124可以解码经编码的视频数据。显示设备122可以向用户显示经解码的视频数据。显示设备122可以与目的设备120集成，或者可以在目的设备120的外部，目的设备120被配置为与外部显示设备接口。

视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编码(HEVC)标准、多功能视频编码(VVM)标准和其他当前和/或进一步的标准。

图9是示出视频编码器200的示例的框图，该视频编码器200可以是图8所示***100中的视频编码器114。

视频编码器200可以被配置为执行本公开的任何或所有技术。在图9的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可包括分割单元201、可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206的预测单元202、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在示例中，预测单元202可包括帧内块复制(IBC)单元。IBC单元可以以IBC模式执行预测，其中至少一个参考图片是当前视频块所在的图片。

此外，诸如运动估计单元204和运动补偿单元205的一些组件可以被高度集成，但是为了解释的目的，在图9的示例中被分开表示。

分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。

模式选择单元203可例如基于错误结果选择编码模式(帧内或帧间)中的一个，并且将所得帧内或帧间编码块提供到残差生成单元207以产生残差块数据，并且提供到重构单元212以重构编码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择运动矢量的精度(例如，子像素或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的除了与当前视频块相关联的图片之外的图片的运动信息和解码样点来确定当前视频块的预测视频块。

运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。

在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元204然后可以生成参考索引和运动矢量，该参考索引指示包含参考视频块的列表0或列表1中的参考图片，该运动矢量指示当前视频块与参考视频块之间的空间位移。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。

在其它示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块，并且还可以在列表1中的参考图片中搜索当前视频块的另一参考视频块。运动估计单元204然后可以生成参考索引和运动矢量，该参考索引指示包含参考视频块的列表0或列表1中的参考图片，该运动矢量指示参考视频块与当前视频块之间的空间位移。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。

在一些示例中，运动估计单元204可以输出用于解码器的解码处理的全部运动信息集。

在一些示例中，运动估计单元204可能不输出当前视频的全部运动信息集。相反，运动估计单元204可以参考另一视频块的运动信息来发信号通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示一值，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。

在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量和所指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。

如上所述，视频编码器200可以预测性地发信号通知运动矢量。可以由视频编码器200实施的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。

帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中的其它视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。

残差生成单元207可以通过从当前视频块减去(例如，由负号指示)当前视频块的预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可包括对应于当前视频块中样点的不同样点分量的残差视频块。

在其它示例中，对于当前视频块可能没有当前视频块的残差数据，例如，在跳过模式中，并且残差生成单元207可以不执行减法操作。

变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可以将重构残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重构视频块，以存储在缓冲器213中。

在重构单元212重构视频块之后，可以执行环路滤波操作以减少视频块中的视频块效应。

熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。

图10是示出视频解码器300的示例的框图，该视频解码器300可以是图8所示的***100中的视频解码器114。

视频解码器300可以被配置为执行本公开的任何或所有技术。在图10的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在图10的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重构单元306和缓冲器307。在一些示例中，视频解码器300可以执行通常与针对视频编码器200(图9)描述的编码过程互逆的解码过程。

熵解码单元301可以检索经编码的比特流。经编码的比特流可以包括熵编码视频数据(例如，视频数据的编码块)。熵解码单元301可以解码熵编码视频数据，并且运动补偿单元302可以从经熵解码的视频数据确定运动信息，包含运动矢量、运动矢量精度、参考图片列表索引和其它运动信息。运动补偿单元302可以(例如)通过执行AMVP和合并模式来确定此信息。

运动补偿单元302可以产生运动补偿块，可能基于内插滤波器执行内插。语法元素中可以包括要以子像素精度使用的内插滤波器的标识符。

运动补偿单元302可以使用如视频编码器200在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元302可以根据所接收的语法信息来确定视频编码器200所使用的内插滤波器，并使用内插滤波器来产生预测块。

运动补偿单元302可以使用一些语法信息来确定用于编码经编码的视频序列的(多个)帧和/或(多个)条带的块的大小、描述编码视频序列的图片的每一宏块如何被分割的分割信息、指示每一分割如何被编码的模式、每一帧间编码块的一个或多个参考帧(和参考帧列表)以及解码经编码的视频序列的其它信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空间相邻的块形成预测块。逆量化单元303逆量化(即，去量化)比特流中提供的并且由熵解码单元301解码的量化视频块系数。逆变换单元303应用逆变换。

重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加，以形成解码块。如果需要，还可以应用去块滤波器来对解码块进行滤波，以便去除块效应伪像。解码视频块然后被存储在缓冲器307中，缓冲器307为后续的运动补偿/帧内预测提供参考块，并且还产生解码视频以在显示设备上呈现。

接下来提供一些实施例优选的示例列表。

第一组条款示出了在前一部分(例如，项目1)中讨论的技术的示例实施例。

1.一种视频处理方法(例如，图7中描绘的方法700)，包括：执行(702)包括包含一个或多个子图片的一个或多个图片的视频与视频的编解码表示之间的转换，其中该编解码表示符合格式规则，该格式规则指定包括一个或多个子图片的一个或多个图片被包括在根据网络抽象层(NAL)单元的编解码表示中，其中在编解码表示中指示的类型NAL单元包括特定类型的图片的编解码条带或特定类型的子图片的编解码条带。

以下条款示出了在前一部分(例如，第2项)中讨论的技术的示例实施例。

2.一种视频处理方法，包括：执行包括包含一个或多个子图片的一个或多个图片的视频与视频的编解码表示之间的转换，其中该编解码表示符合格式规则，该格式规则指定具有不同网络抽象层单元类型的两个相邻子图片将具有被视为图片标志的子图片的相同指示。

以下条款示出了在前一部分(例如，项目4、5、6、7、9、1、11、12)中讨论的技术的示例实施例。

3.一种视频处理方法，包括：执行包括包含一个或多个子图片的一个或多个图片的视频与视频的编解码表示之间的转换，其中该编解码表示符合格式规则，该格式规则定义第一类型的子图片和第二类型的子图片的顺序，其中第一子图片是尾部子图片或前导子图片或随机访问跳过前导(RASL)子图片类型，并且第二子图片是RASL类型或随机访问可解码前导(RADL)类型或瞬时解码刷新(IDR)类型或逐渐解码刷新(GDR)类型子图片。

4.根据条款3所述的方法，其中，该规则指定尾部子图片按输出顺序在关联的帧内随机访问点或GDR子图片之后。

5.根据条款3所述的方法，其中，该规则指定当图片是帧内随机访问点图片的前导图片时，图片中的所有网络抽象层单元的nal_unit_type值等于RADL_NUT或RASL_NUT。

6.根据条款3所述的方法，其中，该规则指定作为IRAP子图片的前导子图片的给定子图片也必须是RADL或RASL子图片。

7.根据条款3所述的方法，其中，该规则指定作为RASL子图片的给定子图片不允许与IDR子图片相关联。

8.根据条款3所述的方法，其中，该规则指定具有与IRAP子图片相同的层id和子图片索引的给定子图片按输出顺序必须在IRAP子图片及其所有关联的RADL子图片之前。

9.根据条款3所述的方法，其中，该规则指定具有与GDR子图片相同的层id和子图片索引的给定子图片按输出顺序必须在GDR子图片及其所有关联的RADL子图片之前。

10.根据条款3所述的方法，其中，该规则指定作为与CRA子图片相关联的RASL子图片的给定子图片按输出顺序在与CRA子图片相关联的所有RADL子图片之前。

11.根据条款3所述的方法，其中，该规则指定作为与CRA子图片相关联的RASL子图片的给定子图片按输出顺序在与CRA子图片相关联的所有IRAP子图片之前。

12.根据条款3所述的方法，其中，该规则指定给定子图片是与IRAP子图片相关的前导子图片，则给定子图片按解码顺序在与IRAP图片相关联的所有非前导子图片之前。

以下条款示出了在前一部分(例如，项目8、14、15)中讨论的技术的示例实施例。

13.一种视频处理方法，包括：执行包括包含一个或多个子图片的一个或多个图片的视频与视频的编解码表示之间的转换，其中该编解码表示符合格式规则，该格式规则定义允许或不允许第一类型的子图片与第二类型的子图片一起出现的条件。

14.根据条款13所述的方法，其中，该规则规定在存在网络抽象层类型IDR_N_LP的IDR子图片的情况下，则不允许编解码表示具有RADP子图片。

15.根据条款13所述的方法，其中，该规则不允许将图片包括在包含逐步时域子层访问(STSA)子图片的图片的参考列表中，使得该图片在包含STSA子图片的图片之前。

16.根据条款13所述的方法，其中，该规则不允许将图片包括在包含帧内随机访问点(IRAP)子图片的图片的参考列表中，使得该图片在包含IRAP子图片的图片之前。

17.根据条款1至16中任一项所述的方法，其中，该转换包括将视频编码成编解码表示。

18.根据条款1至16中任一项所述的方法，其中，该转换包括解码编解码表示以生成视频的像素值。

19.一种视频解码装置，包括处理器，该处理器被配置为实施条款1至18中的一项或多项所述的方法。

20.一种视频编码装置，包括处理器，该处理器被配置为实施条款1至18中的一项或多项所述的方法。

21.一种其上存储有计算机代码的计算机程序产品，当由处理器执行时，该代码使处理器实施条款1至18中任一项所述的方法。

22.本文件中描述的方法、设备或***。

第二组条款示出了在前一部分中讨论的技术的示例实施例(例如，项目8-11)。

1.一种视频处理的方法(例如，如图11所示的方法1100)，包括：根据格式规则来执行1102包括一个或多个图片的多个层的视频与视频的比特流之间的转换，并且其中，该格式规则指定当前层的当前图片的条带的参考图片列表中的每个层间参考图片条目所指代的参考图片满足约束，其中，该约束是以下中的至少一个：(a)参考图片是帧内随机访问(IRAP)图片，或者(b)参考图片具有小于或等于特定值的时域标识符，该特定值是依据当前层的条带可以参考的视频层的最大允许值，其中最大允许值在语法元素中指示。

2.根据条款1所述的方法，其中，该语法元素的一个或多个索引是层索引。

3.根据条款1或2所述的方法，其中，该语法元素是二维语法元素。

4.根据条款1至3中任一项所述的方法，其中，该时域标识符是TemporalId，并且该语法元素是max_tid_il_ref_pics_plus1[i][j]，其中i和j是整数。

5.根据条款1至3中任一项所述的方法，其中，该特定值对应于Max(0,max_tid_il_ref_pics_plus1[currLayerIdx][refLayerIdx]-1)的值，其中currLayerIdx和refLayerIdx分别等于GeneralLayerIdx[nuh_layer_id]和GeneralLayerIdx[refpicLayerId]，GeneralLayerIdx[]指定具有对应于nuh_layer_id的特定层标识符的层的层索引，并且refpicLayerId是图片的层标识符。

6.根据条款5所述的方法，其中，该格式规则还指定每个层间参考图片条目所指代的图片存在于解码图片缓冲器中，并且具有比当前图片的层标识符更少的层标识符。

7.根据条款1至3中任一项所述的方法，其中，该特定值对应于max_tid_il_ref_pics_plus1[currLayerIdx][refLayerIdx]的值，其中currLayerIdx和refLayerIdx分别等于GeneralLayerIdx[nuh_layer_id]和GeneralLayerIdx[refpicLayerId]，GeneralLayerIdx[]指定具有对应于nuh_layer_id的特定层标识符的层的层索引，并且refpicLayerId是图片的层标识符。

8.根据条款7所述的方法，其中，该规则还指定每个层间参考图片条目所指代的图片存在于解码图片缓冲器中，并且具有比当前图片的层标识符少的层标识符。

9.根据条款1至8中任一项所述的方法，其中，该转换包括将视频编码成比特流。

10.根据条款1至8中任一项所述的方法，其中，该转换包括从比特流中解码视频。

11.根据条款1至8中任一项所述的方法，其中，该转换包括从视频生成比特流，并且该方法还包括：将比特流存储在非暂时性计算机可读记录介质中。

12.一种视频处理装置，包括处理器，该处理器被配置为实施条款1至11中的任一项或多项所述的方法。

13.一种存储视频比特流的方法，包括条款1至11中任一项所述的方法，并且还包括将比特流存储到非暂时性计算机可读记录介质。

14.一种存储程序代码的计算机可读介质，当该程序代码被执行时，使处理器实施条款1至11中的任一项或多项所述的方法。

15.一种存储根据任何上述方法生成的比特流的计算机可读介质。

16.一种用于存储比特流的视频处理装置，其中，该视频处理装置被配置为实施条款1至11中的任一项或多项所述的方法。

第三组条款示出了前一部分(例如，项目12)中讨论的技术的示例实施例。

1.一种视频处理的方法(例如，如图12所示的方法1200)，包括：根据格式规则来执行1202包括视频图片的视频与比特流之间的转换，其中，该格式规则指定使用指示垂直虚拟边界的位置的第一语法结构和指示水平虚拟边界的位置的第二语法结构中的一个或多个来指示视频图片的视频区域的虚拟边界，其中，该格式规则指定由第一语法结构中的第一语法元素和第二语法结构中的第二语法元素指示的数值比从视频图片的左上位置开始计数的垂直虚拟边界和水平虚拟边界的位置小1。

2.根据条款1所述的方法，其中，第一语法元素包括sps_virtual_boundary_pos_x_minus1[i]，并且第二语法元素包括sps_virtual_boundary_pos_y_minus1[i]，其中i是整数。

3.根据条款1所述的方法，其中，第一语法元素包括ph_virtual_boundary_pos_x_minus1[i]，并且第二语法元素包括ph_virtual_boundary_pos_y_minus1[i]，其中i是整数。

4.根据条款1至3中任一项所述的方法，其中，使用描述符对第一语法元素和第二语法元素中的至少一个进行编解码，所述描述符是ue(v)或u(v)。

5.根据条款1-3中任一项所述的方法，其中，第一语法元素包括sps_virtual_boundary_pos_x_minus1[i]加1，sps_virtual_boundary_pos_x_minus1[i]加1指定以亮度样点为单位的第i个垂直虚拟边界除以8的位置，并且具有在0至Ceil(pic_width_max_in_luma_samples÷8)-2的范围内的值，其中pic_width_max_in_luma_samples指示以亮度样点为单位的图片的最大宽度。

6.根据条款1-3中任一项所述的方法，其中，第二语法元素包括sps_virtual_boundary_pos_y_minus1[i]加1，sps_virtual_boundary_pos_y_minus1[i]加1指定以亮度样点为单位的第i个水平虚拟边界除以8的位置，并且具有在0至Ceil(pic_height_max_in_luma_samples÷8)-2的范围内的值，其中pic_height_max_in_luma_samples指示以亮度样点为单位的图片的最大高度。

7.根据条款1-3中任一项所述的方法，其中，第一语法元素包括ph_virtual_boundary_pos_x_minus1[i]加1，ph_virtual_boundary_pos_x_minus1[i]加1指定以亮度样点为单位的第i个垂直虚拟边界除以8的位置，并且具有在0至Ceil(pic_width_in_luma_samples÷8)-2的范围内的值，其中pic_width_in_luma_samples指示以亮度样点为单位的图片的宽度。

8.根据条款7所述的方法，其中，对于i的范围从0至NumVerVirtualBoundaries-1，以亮度样点为单位的列表VirtualBoundariesPosX[i]指定垂直虚拟边界的位置是使用以下条件推导出的：VirtualBoundariesPosX[i]＝(sps_virtual_boundaries_present_flag？(sps_virtual_boundary_pos_x_minus1[i]+1):(ph_virtual_boundary_pos_x_minus1[i]+1))*8。

9.根据条款8所述的方法，其中，任何两个垂直虚拟边界之间的距离大于或等于CtbSizeY个亮度样点，其中CtbSizeY指示编解码树单元的大小。

10.根据条款1-3中任一项所述的方法，其中，第二语法元素包括ph_virtual_boundary_pos_y_minus1[i]加1指定以亮度样点为单位的第i个水平虚拟边界除以8的位置，并且具有在0至Ceil(pic_height_in_luma_samples÷8)-2的范围内的值，其中pic_height_in_luma_samples指示以亮度样点为单位的图片的高度。

11.根据条款10所述的方法，其中，对于i的范围从0至NumVerVirtualBoundaries-1，以亮度样点为单位的列表VirtualBoundariesPosX[i]指定垂直虚拟边界的位置是使用以下条件推导出的：VirtualBoundariesPosY[i]＝(sps_virtual_boundaries_present_flag？(sps_virtual_boundary_pos_y_minus1[i]+1):(ph_virtual_boundary_pos_y_minus1[i]+1))*8。

12.根据条款11所述的方法，其中，任何两个水平虚拟边界之间的距离大于或等于CtbSizeY个亮度样点，其中CtbSizeY指示编解码树单元的大小。

13.根据条款1至12中任一项所述的方法，其中，垂直虚拟边界和水平虚拟边界对应于视频图片内的刷新区域和未刷新区域之间的边界。

14.根据条款1至13中任一项所述的方法，其中，垂直虚拟边界和水平虚拟边界对应于在转换期间不应用环路滤波的边界。

15.根据条款1至14中任一项所述的方法，其中，该转换包括将视频编码成比特流。

16.根据条款1至14中任一项所述的方法，其中，该转换包括从比特流中解码视频。

17.根据条款1至14所述的方法，其中，该转换包括从视频生成比特流，并且该方法还包括：将比特流存储在非暂时性计算机可读记录介质中。

18.一种视频处理装置，包括处理器，该处理器被配置为实施条款1至17中的任一项或多项所述的方法。

19.一种存储视频比特流的方法，包括条款1至17中任一项所述的方法，并且还包括将比特流存储到非暂时性计算机可读记录介质。

20.一种存储程序代码的计算机可读介质，当该程序代码被执行时，使处理器实施条款1至17中的任一项或多项所述的方法。

21.一种存储根据任何上述方法生成的比特流的计算机可读介质。

22.一种用于存储比特流表示的视频处理装置，其中，该视频处理装置被配置为实施条款1至17中的任一项或多项所述的方法。

在本文描述的条款中，编码器可以通过根据格式规则产生编解码表示而符合格式规则。在本文描述的条款中，解码器可以使用格式规则来利用根据格式规则而知晓语法元素的存在和不存在解析以编解码表示的语法元素以产生经解码的视频。

在本文档中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，在从视频的像素表示到相应的比特流表示的转换期间，可以应用视频压缩算法，反之亦然。如语法所定义，当前视频块的比特流表示可(例如)对应于共同定位或散布在比特流内不同位置的比特。例如，可以根据变换和编码的误差残差值，并且还使用比特流中的标头和其他字段中的比特，对宏块进行编码。此外，在转换期间，解码器可以基于该确定，在知道一些字段可能存在或不存在的情况下解析比特流，如以上解决方案中所述。类似地，编码器可确定包括或不包括某些语法字段，并通过从编解码表示中包括或排除语法字段来相应地生成编解码表示。

本文档中描述的所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中实施，或者在计算机软件、固件或硬件中实施，包括本档文中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中实施。所公开的和其他实施例可以实施为一个或多个计算机程序产品，即编码在计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的物质的组合，或者它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理***、操作***或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电、光或电磁信号，其被生成来编码信息以传输到合适的接收器装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适用于计算环境的其他单元。计算机程序不一定对应于文件***中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标志语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协作文件中(例如，存储一个或多个模块、子程序或代码的部分的文件)。计算机程序可以被部署为在一台计算机或位于一个地点或分布在多个地点并通过通信网络互连的多台计算机上执行。

本文档中描述的过程和逻辑流程可以由一个或多个可编程处理器来执行，这些处理器执行一个或多个计算机程序，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以被实施为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适于执行计算机程序的处理器包括通用和专用微处理器两者，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机访问存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从该大容量存储设备接收数据或向其传送数据，或两者。然而，计算机不需要有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或并入其中。

虽然本专利文档包含许多细节，但这些细节不应被解释为对任何主题或所要求保护的内容的范围的限制，而是对特定技术的特定实施例所特有的特征的描述。在本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反地，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实施。此外，尽管特征可能在上面被描述为在某些组合中起作用，并且甚至最初被如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。

类似地，虽然在附图中以特定的顺序描述了操作，但是这不应该被理解为要求这些操作以所示的特定顺序或顺序执行，或者要求所有示出的操作都被执行，以获得期望的结果。此外，在本专利文档中描述的实施例中的各种***组件的分离不应被理解为在所有实施例中都需要这种分离。

仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容进行其他实施方式、增强和变化。

Claims

1.一种视频处理的方法，包括：

根据格式规则来执行包括视频图片的视频与比特流之间的转换，

其中，所述格式规则规定使用指示垂直虚拟边界的位置的第一语法结构和指示水平虚拟边界的位置的第二语法结构中的一个或多个来指示视频图片的视频区域的虚拟边界，

其中，所述格式规则规定由第一语法结构中的第一语法元素和第二语法结构中的第二语法元素指示的数值比从所述视频图片的左上位置开始计数的垂直虚拟边界和水平虚拟边界的位置小1。

2.根据权利要求1所述的方法，其中，所述第一语法元素包括sps_virtual_boundary_pos_x_minus1[i]，并且所述第二语法元素包括sps_virtual_boundary_pos_y_minus1[i]，其中i是整数。

3.根据权利要求1所述的方法，其中，所述第一语法元素包括ph_virtual_boundary_pos_x_minus1[i]，并且所述第二语法元素包括ph_virtual_boundary_pos_y_minus1[i]，其中i是整数。

4.根据权利要求1至3中任一项所述的方法，其中，使用描述符对所述第一语法元素和所述第二语法元素中的至少一个进行编解码，所述描述符是ue(v)或u(v)。

5.根据权利要求1-3中任一项所述的方法，其中，所述第一语法元素包括sps_virtual_boundary_pos_x_minus1[i]加1，sps_virtual_boundary_pos_x_minus1[i]加1指定以亮度样点为单位的第i个垂直虚拟边界的位置除以8，并且具有在0至Ceil(pic_width_max_in_luma_samples÷8)-2的范围内的值，其中pic_width_max_in_luma_samples指示以亮度样点为单位的图片的最大宽度。

6.根据权利要求1-3中任一项所述的方法，其中，所述第二语法元素包括sps_virtual_boundary_pos_y_minus1[i]加1，sps_virtual_boundary_pos_y_minus1[i]加1指定以亮度样点为单位的第i个水平虚拟边界的位置除以8，并且具有在0至Ceil(pic_height_max_in_luma_samples÷8)-2的范围内的值，其中pic_height_max_in_luma_samples指示以亮度样点为单位的图片的最大高度。

7.根据权利要求1-3中任一项所述的方法，其中，所述第一语法元素包括ph_virtual_boundary_pos_x_minus1[i]加1，ph_virtual_boundary_pos_x_minus1[i]加1指定以亮度样点为单位的第i个垂直虚拟边界的位置除以8，并且具有在0至Ceil(pic_width_in_luma_samples÷8)-2的范围内的值，其中pic_width_in_luma_samples指示以亮度样点为单位的图片的宽度。

8.根据权利要求7所述的方法，其中，对于i的范围从0至NumVerVirtualBoundaries-1，以亮度样点为单位的、指定垂直虚拟边界的位置的列表VirtualBoundariesPosX[i]是使用以下条件推导出的：VirtualBoundariesPosX[i]＝(sps_virtual_boundaries_present_flag？(sps_virtual_boundary_pos_x_minus1[i]+1):(ph_virtual_boundary_pos_x_minus1[i]+1))*8。

9.根据权利要求8所述的方法，其中，任何两个垂直虚拟边界之间的距离大于或等于CtbSizeY个亮度样点，其中CtbSizeY指示编解码树单元的尺寸。

10.根据权利要求1-3中任一项所述的方法，其中，所述第二语法元素包括ph_virtual_boundary_pos_y_minus1[i]加1指定以亮度样点为单位的第i个水平虚拟边界的位置除以8，并且具有在0至Ceil(pic_height_in_luma_samples÷8)-2的范围内的值，其中pic_height_in_luma_samples指示以亮度样点为单位的图片的高度。

11.根据权利要求10所述的方法，其中，对于i的范围从0至NumVerVirtualBoundaries-1，以亮度样点为单位的、指定水平虚拟边界的位置的列表VirtualBoundariesPosY[i]是使用以下条件推导出的：VirtualBoundariesPosY[i]＝(sps_virtual_boundaries_present_flag？(sps_virtual_boundary_pos_y_minus1[i]+1):(ph_virtual_boundary_pos_y_minus1[i]+1))*8。

12.根据权利要求11所述的方法，其中，任何两个水平虚拟边界之间的距离大于或等于CtbSizeY个亮度样点，其中CtbSizeY指示编解码树单元的尺寸。

13.根据权利要求1至12中任一项所述的方法，其中，所述垂直虚拟边界和所述水平虚拟边界对应于所述视频图片内的刷新区域和未刷新区域之间的边界。

14.根据权利要求1至13中任一项所述的方法，其中，所述垂直虚拟边界和所述水平虚拟边界对应于在所述转换期间不应用环路滤波的边界。

15.根据权利要求1至14中任一项所述的方法，其中，所述转换包括将所述视频编码成所述比特流。

16.根据权利要求1至14中任一项所述的方法，其中，所述转换包括从所述比特流中解码所述视频。

17.根据权利要求1至14所述的方法，其中，所述转换包括从所述视频生成所述比特流，并且所述方法还包括：将所述比特流存储在非暂时性计算机可读记录介质中。

18.一种视频处理装置，包括处理器，所述处理器被配置为实施权利要求1至17中的任一项或多项所述的方法。

19.一种存储视频比特流的方法，包括权利要求1至17中任一项所述的方法，并且还包括将所述比特流存储到非暂时性计算机可读记录介质。

20.一种存储程序代码的计算机可读介质，当所述程序代码被执行时，使所述处理器实施权利要求1至17中的任一项或多项所述的方法。

22.一种用于存储比特流表示的视频处理装置，其中，所述视频处理装置被配置为实施权利要求1至17中的任一项或多项所述的方法。