CN113678447A - 网络抽象层单元头 - Google Patents

Abstract

一种使用至少一个处理器重建网络抽象层(NAL)单元以进行视频解码的方法，包括：对NAL单元头中所包括的第一语法元素进行解码；基于该第一语法元素，确定NAL单元类，该NAL单元类包括多个NAL单元类型；对NAL单元头中所包括的第二语法元素进行解码；并且基于NAL单元类为第一NAL单元类，使用NAL单元类和第二语法元素的组合，从多个NAL单元类型中确定一个NAL单元类型，并且基于所确定的NAL单元类型，重建NAL单元；以及基于NAL单元类为第二NAL单元类，基于第二语法元素，确定时间标识符(TID)，并且基于所确定的TID，重建NAL单元。

Description

网络抽象层单元头

相关申请的交叉引用

本申请根据美国专利法第119条，要求于2019年3月6日在美国专利商标局提交的申请号为62/814,661的美国临时申请和2019年7月2日在美国专利商标局提交的申请号为16/459,883的美国申请的优先权，这两个申请的公开内容通过引用整体并入本申请中。

技术领域

本申请所公开的主题涉及视频编码和解码，更具体地，涉及网络抽象(NAL)单元头的编解码，其中，NAL单元头中的某些比特，用于那些具有时间层特性的NAL单元的时间ID，以及用于那些不具有时间层特性的NAL单元的其它目的。

背景技术

使用具有运动补偿的图片间预测的视频编码和解码的例子已经有几十年了。未压缩的数字视频可以由一系列图片组成，每个图片具有一定的空间维度，例如，1920×1080个亮度样本和相关联的色度样本。所述一系列图片可以具有固定的或可变的图片速率(通俗也称为帧速率)，例如，每秒60张图片或60Hz。未压缩的视频具有非常高的比特率要求。例如，每个样本8比特的1080p60 4:2:0视频(60Hz帧速率下的1920×1080亮度样本分辨率)需要接近1.5Gbit/s的带宽。这样的视频一个小时需要超过600GByte的存储空间。

视频编码和解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。压缩可有助于降低上述带宽或存储空间的要求，在一些情况下，可降低两个或更多的数量级。无损压缩和有损压缩以及其组合均可以用于视频编码和解码。无损压缩是指可以由压缩的原始信号重建原始信号的精确副本的技术。当使用有损压缩时，重建的信号可能与原始信号不完全一致，但是原始信号与重建的信号之间的失真小得足以使重建的信号可以用于预期应用。有损压缩广泛应用于视频中。有损压缩容许的失真量取决于应用；例如，与电视分发应用的用户相比，某些消费者流式传输应用的用户可以容忍较高的失真。可实现的压缩比可以反映的是：可允许的/可容许的失真越高，可产生的压缩比越高。

视频编码器和解码器可利用来自若干广泛类别的技术，包括例如运动补偿、变换、量化及熵编解码。

在ITU-T H.264建议书中引入了网络抽象层的示例。已编码视频码流可以划分为各个单元，称为网络抽象层(Network Abstraction Layer，NAL)单元。每个NAL单元可以具有头部，该头部可以在不遵循起始码竞争防止的情况下进行解释(除此之外，在NAL单元的其它部分可能需要以相当大的实现和计算成本来遵循起始码竞争防止)。如图1所示，H.264中的NAL单元头(101)设计为使得其仅包括固定长度码字。对于nal_unit_type(102)的某些值，通过添加第二个八位字节，并且有时候是添加第三个八位字节，可以对NAL单元头(103)进行某些扩展，其中每个八位字节还包含固定长度码字。媒体感知网络元件(Media AwareNetwork Element，MANE)、多点控制单元(Multipoint Control Unit，MCU)、文件重写器等可以利用这些固定长度码字来有效地裁剪码流，而不需要进行完全的代码转换，并且也不需要受到起始码竞争防止的约束。

在H.265中，选择了稍微简化的设计。H.265中的NAL单元头(104)是固定长度的两个八位字节，并且包括NAL单元类型(105)、空间/SNR层ID(106)和时间层ID(107)。不存在扩展机制。与H.264设计相比，该设计具有一定的编解码效率损失，因为与可变长度相比，该设计的头部的长度总是2个八位字节，而H.264设计通常是1个八位字节长度。另一方面，大大简化了可伸缩和多视图扩展的支持，从而允许可伸缩/多视图与不可伸缩/多视图传统编码之间的某种后向兼容性。

发明内容

在一实施例中，提供了一种使用至少一个处理器重建网络抽象层(NAL)单元以进行视频解码的方法，所述方法包括：对NAL单元头中所包括的第一语法元素进行解码；基于第一语法元素，确定NAL单元类，该NAL单元类包括多个NAL单元类型；对NAL单元头中所包括的第二语法元素进行解码；基于NAL单元类为第一NAL单元类，使用NAL单元类和第二语法元素的组合，从多个NAL单元类型中确定一个NAL单元类型，并且基于所确定的NAL单元类型，重建所述NAL单元；以及基于NAL单元类为第二NAL单元类，基于所述第二语法元素，确定时间标识符(TID)，并且基于所确定的TID，重建所述NAL单元。

在一实施例中，提供了一种用于重建网络抽象层(NAL)单元以进行视频解码的设备，所述设备包括：至少一个存储器，被配置为存储程序代码；以及至少一个处理器，被配置为读取所述程序代码并且按照所述程序代码的指示进行操作，所述程序代码包括：第一解码代码，被配置为使所述至少一个处理器对NAL单元头中所包括的第一语法元素进行解码；第一确定代码，被配置为使所述至少一个处理器基于所述第一语法元素，确定NAL单元类，该NAL单元类包括多个NAL单元类型；第二解码代码，被配置为使所述至少一个处理器对NAL单元头中所包括的第二语法元素进行解码；第二确定代码，被配置为使所述至少一个处理器基于所述NAL单元类为第一NAL单元类，使用所述NAL单元类与所述第二语法元素的组合，从所述多个NAL单元类型中确定一个NAL单元类型，并且基于所确定的NAL单元类型，重建所述NAL单元；以及第三确定代码，被配置为使所述至少一个处理器基于所述NAL单元类为第二NAL单元类，基于所述第二语法元素，确定时间标识符(TID)，并且基于所确定的TID，重建所述NAL单元。

在一实施例中，提供了一种存储指令的非易失性计算机可读介质，所述指令包括：至少一个指令，当由用于重建网络抽象层(NAL)单元以进行视频解码的设备的至少一个处理器执行时，所述至少一个指令使所述至少一个处理器：对NAL单元头中所包括的第一语法元素进行解码；基于第一语法元素，确定NAL单元类，该NAL单元类包括多个NAL单元类型；对NAL单元头中所包括的第二语法元素进行解码；基于NAL单元类为第一NAL单元类，使用NAL单元类和第二语法元素的组合，从多个NAL单元类型中确定一个NAL单元类型，并且基于所确定的NAL单元类型，重建所述NAL单元；基于NAL单元类为第二NAL单元类，基于第二语法元素，确定时间标识符(TID)，并且基于所确定的TID，重建所述NAL单元。

附图说明

通过下文的详细描述和附图，本申请所公开主题的进一步特征、本质和各种优点将更加清楚，其中：

图1是根据H.264和H.265的NAL单元头的示意图。

图2是根据一实施例的通信***的简化框图的示意图。

图3是根据一实施例的通信***的简化框图的示意图。

图4是根据一实施例的解码器的简化框图的示意图。

图5是根据一实施例的编码器的简化框图的示意图。

图6是根据一实施例的使用NAL单元类型类的NAL单元头的示意图。

图7是根据一实施例的重建网络抽象层(NAL)单元以用于视频解码的示例方法的流程图。

图8是根据一实施例的计算机***的示意图。

具体实施方式

本申请涉及视频编码和解码，更具体地，涉及网络抽象(NAL)单元头的编解码，其中，NAL单元头中的某些比特，用于那些具有时间层特性的NAL单元的时间ID，以及用于那些不具有时间层特性的NAL单元的其它目的。

H.264NAL单元头在许多情况下是紧凑的，但对于包括时间可伸缩性的某些应用来说还不够用，而时间可伸缩性在某些应用中可能会实际用到。H.265NAL单元头有效地支持了时间可伸缩性，但至少需要16比特，并且具有非常少的未分配码点(如果有的话)可用于未来扩展。另一方面，在H.265NAL单元头语法元素中，存在某些隐含禁止的值的组合，从而导致不必要的低熵。例如，根据定义，某些参数集(诸如序列参数集)适用于由属于所有时间层的NAL单元组成的整个已编码视频序列；然而，用于序列参数集的H.265NAL单元头，浪费了三个比特用于时间ID字段，而时间ID字段在任何兼容码流中必须为零。对这些比特进行再利用，可以提高编解码效率。

图2图示了根据本申请实施例的通信***(200)的简化框图。通信***(200)可以包括经由网络(250)互连的至少两个终端(210-220)。对于单向数据传输，第一终端(210)可在本地位置对视频数据进行编码，以经由网络(250)传输到另一个终端(220)。第二终端(220)可以从网络(250)接收另一个终端的已编码视频数据，对已编码数据进行解码并且显示恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。

图2图示了用于支持已编码视频的双向传输的第二对终端(230，240)，所述已编码视频的双向传输可例如在视频会议期间发生。对于双向数据传输，终端(230，240)中的每个终端可对本地位置采集的视频数据进行编码，以通过网络(250)传输到另一终端。终端(230，240)中的每个终端还可接收由另一终端传输的已编码视频数据，且可对所述已编码数据进行解码，并可在本地显示装置上显示恢复的视频数据。

在图2中，终端(210-240)可能图示为服务器、个人计算机和智能电话，但本申请公开的原理可不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(250)表示在终端(210-240)之间传送已编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络(250)可在电路交换和/或分组交换信道中交换数据。代表性的网络包括电信网络、局域网、广域网和/或互联网。出于本申请论述的目的，除非在下文中有所解释，否则网络(250)的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。

作为本申请所公开主题应用的示例，图3示出了视频编码器和视频解码器在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。

流式传输***可包括采集子***(313)，所述采集子***(313)可包括数码相机等视频源(301)，所述视频源(301)用于创建例如未压缩的视频样本流(302)。样本流(302)被描绘为粗线，以强调与已编码的视频码流相比，其具有高数据量，样本流(302)可由耦接在相机(301)上的编码器(303)处理。编码器(303)可包括硬件、软件或软硬件组合，以实现或实施如下文更详细地描述的所公开主题的各方面。已编码的视频码流(304)被描绘为细线，以强调与样本流相比，其具有较低的数据量，已编码的视频码流(304)可存储在流式传输服务器(305)上以供将来使用。至少一个流式传输客户端(306，308)可访问流式传输服务器(305)，以检索已编码的视频码流(304)的副本(307，309)。客户端(306)可包括视频解码器(310)。视频解码器(310)对已编码的视频码流的传入副本(307)进行解码，且产生可在显示器(312)或其它呈现装置(未描绘)上呈现的输出视频样本流(311)。在一些流式传输***中，可根据某些视频编码/压缩标准，对视频码流(304，307，309)进行编码。该些标准的示例包括ITU-T H.265建议书。正在开发的视频编码标准非正式地称为通用视频编码(Versatile Video Coding，VVC)，本申请所公开主题可用于VVC标准的上下文中。

图4可以是根据本申请实施例的视频解码器(310)的框图。

接收器(410)可接收将由解码器(310)解码的至少一个编解码视频序列；在同一实施例或另一实施例中，一次接收一个已编码视频序列，其中每个已编码视频序列的解码独立于其它已编码视频序列。可从信道(412)接收已编码视频序列，所述信道可以是通向存储已编码的视频数据的存储装置的硬件/软件链路。接收器(410)可接收已编码的视频数据以及其它数据，例如，可转发到它们各自的使用实体(未绘出)的已编码音频数据和/或辅助数据流。接收器(410)可将已编码视频序列与其它数据分开。为了防止网络抖动，缓冲存储器(415)可耦接在接收器(410)与熵解码器/解析器(420)(此后称为“解析器”)之间。当接收器(410)从具有足够带宽和可控性的存储/转发装置，或从等时同步网络接收数据时，也可能不需要配置缓冲器(415)，或者所述缓冲器可以很小。为了在互联网等尽力而为业务分组网络上使用，也可能需要缓冲器(415)，所述缓冲器可相对较大且可具有自适应性大小。

视频解码器(310)可包括解析器(420)，以根据已熵编码视频序列重建符号(421)。这些符号的类别包括用于管理解码器(410)的操作的信息，以及潜在包括用以控制显示器(312)等显示装置的信息，所述显示装置不是解码器的组成部分，但可耦接到解码器，如图3中所示。用于显示装置的控制信息可以是辅助增强信息(Supplemental EnhancementInformation，SEI消息)或视频可用性信息(Video Usability Information，VUI)的参数集片段(未绘出)。解析器(420)可对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可根据视频编码技术或标准进行，且可遵循本领域技术人员所知的各种原理，包括可变长度编码、霍夫曼编码(Huffman coding)、具有或不具有上下文灵敏度的算术编码等等。解析器(420)可基于对应于群组的至少一个参数，从已编码视频序列提取用于视频解码器中的像素的子群中的至少一个子群的子群参数集。子群可包括图片群组(Group ofPictures，GOP)、图片、图块(tile)、条带(slice)、宏块、编码单元(Coding Unit，CU)、块、变换单元(Transform Unit，TU)、预测单元(Prediction Unit，PU)等等。熵解码器/解析器还可从已编码视频序列提取信息，例如变换系数、量化器参数(QP)值、运动矢量等等。

解析器(420)可对从缓冲器(415)接收的视频序列执行熵解码/解析操作，从而创建符号(421)。

符号(421)的重建可涉及多个不同单元，取决于已编码视频图片或其部分(诸如：帧间图片和帧内图片、帧间块和帧内块)的类型以及其它因素。涉及哪些单元以及涉及方式可由解析器(420)从已编码视频序列解析的子群控制信息控制。为了清楚起见，未描述解析器(420)与下文的多个单元之间的此类子群控制信息流。

除已经提及的功能块以外，解码器310可在概念上细分成如下文所描述的数个功能单元。在商业约束下运行的实际实施中，这些单元中的许多单元彼此紧密交互并且可以彼此集成。然而，出于描述本申请所公开主题的目的，概念上细分成下文的功能单元是适当的。

第一单元是缩放器/逆变换单元(451)。缩放器/逆变换单元(451)从解析器(420)接收作为符号(421)的量化变换系数以及控制信息，包括使用哪种变换方式、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元(451)可输出包括样本值的块，所述样本值可输入到聚合器(455)中。

在一些情况下，缩放器/逆变换单元(451)的输出样本可属于帧内编码块；即：不使用来自先前重建的图片的预测性信息，但可使用来自当前图片的先前重建部分的预测性信息的块。此类预测性信息可由帧内图片预测单元(452)提供。在一些情况下，帧内图片预测单元(452)采用从当前(已部分重建的)图片(458)提取的周围已重建信息，生成大小和形状与正在重建的块相同的块。在一些情况下，聚合器(455)基于每个样本，将帧内预测单元(452)生成的预测信息添加到由缩放器/逆变换单元(451)提供的输出样本信息中。

在其它情况下，缩放器/逆变换单元(451)的输出样本可属于帧间编码和潜在运动补偿块。在此情况下，运动补偿预测单元(453)可访问参考图片存储器(457)以提取用于预测的样本。在根据与所述块相关的符号(421)对提取的样本进行运动补偿之后，这些样本可由聚合器(455)添加到缩放器/逆变换单元的输出(在这种情况下被称作残差样本或残差信号)，从而生成输出样本信息。运动补偿预测单元从参考图片存储器内的地址获取预测样本可受到运动矢量控制，且所述运动矢量以所述符号(421)的形式而供运动补偿预测单元使用，所述符号(421)例如是包括X、Y和参考图片分量。运动补偿还可包括在使用子样本精确运动矢量时，从参考图片存储器提取的样本值的内插、运动矢量预测机制等等。

聚合器(455)的输出样本可在环路滤波器单元(456)中经过各种环路滤波技术处理。视频压缩技术可包括环路内滤波器技术，所述环路内滤波器技术受控于包括在已编码视频码流中的参数，且所述参数作为来自解析器(420)的符号(421)可用于环路滤波器单元(456)。然而，在其它实施例中，视频压缩技术还可响应于在解码已编码图片或已编码视频序列的先前(按解码次序)部分期间获得的元信息，以及响应于先前重建且经过环路滤波的样本值。

环路滤波器单元(456)的输出可以是样本流，所述样本流可输出到显示装置(312)以及存储在参考图片存储器，以用于后续的帧间图片预测。

一旦完全重建，某些已编码图片就可用作参考图片以用于将来预测。一旦已编码图片被完全重建，且已编码图片(通过例如解析器(420))被识别为参考图片，则当前参考图片(456)可变为参考图片存储器(457)的一部分，且可在开始重建后续已编码图片之前重新分配新的当前图片存储器。

视频解码器(420)可根据例如ITU-T H.265建议书中记载的预定视频压缩技术执行解码操作。在已编码视频序列遵循视频压缩技术或标准的语法的意义上，如视频压缩技术文档或标准以及特别是其中的配置文件中所规定，已编码视频序列可符合所使用的视频压缩技术或标准指定的语法。对于合规性而言，已编码视频序列的复杂度必须处于视频压缩技术或标准的层级所限定的范围内。在一些情况下，层级限制最大图片尺寸、最大帧率、最大重建取样率(以例如每秒兆(mega)个样本为单位进行测量)、最大参考图片尺寸等。在一些情况下，由层级设定的限制可通过假想参考解码器(Hypothetical ReferenceDecoder，HRD)规范和在已编码视频序列中用信号表示的HRD缓冲器管理的元数据来进一步限定。

在实施例中，接收器(410)可连同已编码视频一起接收附加(冗余)数据。所述附加数据可以是已编码视频序列的一部分。所述附加数据可由视频解码器(420)使用，用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可呈例如时间、空间或信噪比(signal noise ratio，SNR)增强层、冗余切片、冗余图片、前向纠错码等形式。

图5是根据本申请公开的实施例的视频编码器(803)的框图。

编码器(303)可从视频源(301)(并非编码器的一部分)接收视频样本，所述视频源可采集将由编码器(303)编码的视频图像。

视频源(301)可提供将由编码器(303)编码的呈数字视频样本流形式的源视频序列，所述数字视频样本流可具有任何合适位深度(例如：8位、10位、12位……)、任何色彩空间(例如BT.601Y CrCB、RGB……)和任何合适取样结构(例如Y CrCb 4:2:0、Y CrCb 4:4:4)。在媒体服务***中，视频源(301)可以是存储先前已准备好的视频的存储装置。在视频会议***中，视频源(303)可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图片，当按顺序观看时，这些图片被赋予运动。图片自身可构建为空间像素阵列，其中取决于所用的取样结构、色彩空间等，每个像素可包括至少一个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。

根据实施例，编码器(303)可实时或在由应用所要求的任何其它时间约束下，将源视频序列的图片编码且压缩成已编码视频序列(543)。施行适当的编码速度是控制器(550)的一个功能。控制器控制如下文所描述的其它功能单元且在功能上耦接到这些单元。为了清楚起见，图中未标示耦接。由控制器设置的参数可包括速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值等)、图片尺寸、图片群组(group of pictures，GOP)布局，最大运动矢量搜索范围等。本领域技术人员可识别控制器(550)的其他功能，因为这些功能可能涉及针对某一***设计优化的视频编码器(303)。

一些视频编码器在本领域技术人员容易识别出的“编码环路”中进行操作。作为简单的描述，编码环路可包括编码器(530)(下文称为“源编码器”)的编码部分(负责基于待编码的输入图片和参考图片创建符号)和嵌入于编码器(303)中的(本地)解码器(533)。解码器(533)重建符号，以创建(远程)解码器同样会创建的样本数据(因为在本申请所公开主题所考虑的视频压缩技术中，符号与已编码视频码流之间的任何压缩都是无损的)。将重建的样本流输入到参考图片存储器(534)。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果，因此参考图片缓冲器中的内容在本地编码器与远程编码器之间也是按位精确对应的。换句话说，编码器的预测部分“看到”的参考图片样本与解码器将在解码期间使用预测时所“看到”的样本值完全相同。这种参考图片同步性基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)对于本领域技术人员而言，也是熟知的。

“本地”解码器(533)的操作可与已在上文结合图4详细描述的“远程”解码器(310)相同。然而，另外简要参考图4，当符号可用且熵编码器(545)和解析器(420)能够无损地将符号编码/解码为已编码视频序列时，解码器(310)的熵解码部分，包括信道(412)、接收器(410)、缓冲器(415)和解析器(420)，可以不是全部在本地解码器(533)中实现。

此时可以观察到，除存在于解码器中的解析/熵解码之外的任何解码器技术，也必定以基本上相同的功能形式，存在于对应的编码器中。处于这个原因，本申请主题着重于解码器的操作。可简化编码器技术的描述，因为编码器技术与全面地描述的解码器技术互逆。仅在某些区域中需要更详细的描述，在下文提供。

作为其操作的一部分，源编码器(530)可执行运动补偿预测编码，参考来自视频序列中被指定为“参考帧”的至少一个先前已编码帧，对输入帧进行预测性编码。以此方式，编码引擎(532)对输入帧的像素块与参考帧的像素块之间的差异进行编码，所述参考帧可被选作所述输入帧的预测参考。

本地视频解码器(533)可基于源编码器(530)创建的符号，对可指定为参考帧的帧的已编码视频数据进行解码。编码引擎(532)的操作可为有损过程。当已编码视频数据可在视频解码器(图5中未示)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(533)复制解码过程，所述解码过程可由视频解码器对参考帧执行，且可使重建的参考帧存储在参考图片高速缓存(534)中。以此方式，编码器(303)可在本地存储重建的参考帧的副本，所述副本与将由远端视频解码器获得的重建参考帧具有共同内容(不存在传输误差)。

预测器(535)可针对编码引擎(532)执行预测搜索。即，对于将要编码的新帧，预测器(535)可在参考图片存储器(534)中搜索可作为所述新图片的适当预测参考的样本数据(作为候选参考像素块)或某些元数据，例如参考图片运动矢量、块形状等。预测器(535)可基于样本块逐像素块操作，以找到合适的预测参考。在一些情况下，根据预测器(535)获得的搜索结果，可确定输入图片可具有从参考图片存储器(534)中存储的多个参考图片取得的预测参考。

控制器(550)可管理视频编码器(530)的编码操作，包括例如设置用于对视频数据进行编码的参数和子群参数。

可在熵编码器(545)中对所有上述功能单元的输出进行熵编码。熵编码器根据例如霍夫曼编码、可变长度编码、算术编码等技术对各种功能单元生成的符号进行无损压缩，从而将所述符号转换成已编码视频序列。

传输器(540)可缓冲由熵编码器(545)创建的已编码视频序列，从而为通过通信信道(560)进行传输做准备，所述通信信道可以是通向将存储已编码的视频数据的存储装置的硬件/软件链路。传输器(540)可将来自视频编码器(530)的已编码视频数据与要传输的其它数据合并，所述其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。

控制器(550)可管理编码器(303)的操作。在编码期间，控制器(550)可以为每个已编码图片分配某一已编码图片类型，但这可能影响可应用于相应的图片的编码技术。例如，通常可将图片分配为以下任一种帧类型：

帧内图片(I图片)，其可以是不将序列中的任何其它帧用作预测源就可被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片，包括例如独立解码器刷新(Independent Decoder Refresh，“IDR”)图片。所属领域的技术人员了解I图片的变体及其相应的应用和特征。

预测性图片(P图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。

双向预测性图片(B图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地，多个预测性图片可使用多于两个参考图片和相关联元数据以用于重建单个块。

源图片通常可在空间上细分成多个样本块(例如，4×4、8×8、4×8或16×16个样本的块)，且逐块进行编码。这些块可参考其它(已编码)块进行预测编码，根据应用于块的相应图片的编码分配来确定所述其它块。举例来说，I图片的块可进行非预测编码，或所述块可参考同一图片的已经编码的块来进行预测编码(空间预测或帧内预测)。P图片的像素块可参考一个先前编码的参考图片通过空间预测或通过时域预测进行非预测编码。B图片的块可参考一个或两个先前编码的参考图片通过空间预测或通过时域预测进行非预测编码。

视频编码器(303)可根据例如ITU-T H.265建议书的预定视频编码技术或标准执行编码操作。在操作中，视频编码器(303)可执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此，已编码视频数据可符合所用视频编码技术或标准指定的语法。

在实施例中，传输器(540)可在传输已编码的视频时传输附加数据。视频编码器(530)可将此类数据作为已编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、冗余图片和切片等其它形式的冗余数据、SEI消息、VUI参数集片段等。

在下文中，描述的焦点将集中在视频编解码器的高级语法上，更具体地，将集中在NAL单元头(NAL unit header，NUH)的设计上。

由于NUH不仅可能由可预期处理复杂语法的解码器解译，而且还可能由MANE、文件重写器等(下文称为MANE)解译，因此其设计可能必须要避免用复杂的熵编解码方案，诸如可变长度码(VLC)或算术编解码。另一方面，一定量的复杂度(包括语法元素的有条件存在或有条件解释)是可以接受的，尤其是在这些语法元素中所传达的信息需要移出NUH、并移入NAL单元有效载荷中的情况下，或者在NUH需要不必要地大的情况下。

出于各种原因，包括易于由MANE处理，对NUH进行了八位字节对齐(octetaligned)，这意味着它们的比特长度可以被8整除，否则可能需要使用不必要的、且成本高的(就率失真性能以及计算复杂性而言)填充。当视频在MPEG-2传输流信道上传输时，出于防止起始码竞争的原因，可能需要至少一个比特(该至少一个比特在H.264和H.265NUH中称为forbidden_zero_bit)。在此假设下，NAL单元头的理论最小长度是8比特。对于一些最常见的NAL单元类型(NUT)，其设计应当保持在这8个比特内，但是对于较奇特的、不那么频繁使用的NUT，或者对于头开销(占已编码图像类型的百分比)可以忽略的NUT，例如，I图片及其派生图片，或者以基本上未压缩的形式编码的图片，可能需要更多的比特。因此，使NAL单元头的字段中所需的比特数最小化，可能是重要的。如果可以缩短各个字段的长度，则将会是有利的。然而，字段的长度缩短，意味着字段可表示的可用码点(codepoint)的数量变少。

在H.265的开发期间，相对于H.264中的那些NUT，标识了大量的其它NUT。此外，在H.265中，将NAL单元头中的时间可伸缩性信令引入到基线配置文件(profile)中，在H.265中称为主配置文件，并且可能在今天普遍使用。对于诸如VVC之类的未来视频编解码标准，可以预期的是，NUT的数量和对时间可伸缩性的需求都不会消失。当对NUT使用六个比特、对forbidden_zero_bit使用一个比特、并且对时间分层信息使用三个比特时，一个NAL单元头达到10比特，由于八位字节对齐，其在H.265中产生16比特的NUH。类似的算法适用于本申请撰写时的VVC工作草案。

然而，从编解码效率的观点来看，至少对于最常见的NUT，诸如可包括P图片/条带/图块组、B图片/条带/图片组等的拖尾图片，希望使用仅单个八位字节的NUH，同时保留时间可伸缩性信令的选项。假设时间ID需要三个比特，而forbidden_zero_bit需要一个比特，这将导致NUT字段仅有四个比特可用，从而导致总共16个可能的NUT。H.265和未来的视频编解码标准(例如，VVC)都不可能使用16个或更少的NUT。

对于那些通过设计可以应用于所有时间层的NAL单元类型，或在概念上独立于时间层的NAL单元类型，本申请所公开主题的实施例，通过有条件地使用为时间ID所保留的比特，作为NUT的附加解复用点，实现前述需求。

某些NAL单元类型可以独立于时间分层。在许多情况下，对于这些NAL单元，诸如H.265的相关技术使得对于码流一致性的要求是将时间ID设置为零。在其它情况下，诸如H.265的相关技术指示解码器忽略时间ID的值，或者对该字段中允许的值未谈及，可能具有同样的效果。

这些时间ID不可知(temporal-ID agnostic)的NAL单元类型的示例包括：

(1)作为可能过于宽泛的特征，许多NAL NUT可能不具有时间层特性(property)。相反，许多VCL NUT可能具有时间层特性。

(2)某些参数集，包括例如，解码器参数集、视频参数集和序列参数集，可以具有至少一个已编码视频序列(CVS)，作为它们的范围。根据定义，CVS可以包括属于多个时间层的NAL单元。因此，此类参数集可能是时间ID不可知的。

(3)“低级”参数集(诸如，图片参数集、条带参数集、适配参数集、头参数集等)可以具有单个已编码图片或其部分的范围。给定的已编码图片可以具有定义的时间层。因此，在一些情况下，使用这些参数集的参数集NAL单元中的时间ID，来区分具有相同类型和参数集ID但具有不同的时间层的参数集，是明智的。例如，使用覆盖多个时间层的、图片参数集ID为0的多个图片参数集，可能是明智的。选择此类设计可能是明智的，原因在于，在一些情况下，参数集ID的编解码是条带/图块/图块组头中的可变长度编码字段(当根据H.265建立的惯例记录时，具有ue(v)的描述符)。当值变大时，ue(v)语法元素的大小会快速增长，而NAL单元头中的时间ID字段固定为三个比特。而且，在给定码流中，与在相同码流中存在的参数集NAL单元相比，可以存在许多更多的NAL单元，这些NAL单元包括条带/图块/图块组头(其包括ue(v)编码的参数集ID)。

另一方面，如果不将时间ID字段用于此类“低级”参数集，作为解复用点，则可能需要将NAL单元头从8比特扩展到16比特，并且这可能比稍长的ue(v)编码的参数集ID语法元素成本更高。因此，即使对于“低级”参数集，使用时间ID作为解复用点也是有意义的，并且依赖于参数集ID的较大编号空间来表示与时间层相关联的“低级”类型的多个参数集。在本申请撰写时的VVC草案认识到这点，并且不将时间ID字段用于图片参数集或适配参数集。结果，这些参数集类型也可以由用于时间ID字段的比特解复用。

(4)可以保留某些NAL单元类型，用于某些类的SEI消息和其它非规范数据，例如，填充符数据、图片定界符等等，以及用于某些标记，诸如流结束标记。就那些NAL单元不遵守时间ID而言，所有这些NAL单元可以共享单个NAL单元类型，并且通过时间ID的值来区分。

图6图示了根据实施例的NUH(601)的示例，其大小类似于H.264中的一个NUH，即，8比特。该示例的NUH(601)包括禁止零位forbidden_zero_bit(602)、四比特的NALU类语法元素(603)和三比特的TID类型语法元素(604)。根据实施例，某些NALU类，可以对TID类型语法元素进行再利用，作为附加解复用点，以区分该类中的NAL单元类型。例如，如下文更详细描述的，当在示例性NUH(605)中将NAL类设置为IRAP类(606)时，其可以触发使用TID类型比特的值(此处为“1”，标识IDR-N-LP NAL单元)(607)，以标识NAL单元类型为IDR_N_LP。

通用视频编码(VVC)也将作为ITU-T H.266建议书发布。参考工作草案，即，VVC草案4版本5，如JVET-M1001-v5，可以观察到VVC NAL单元头占用16比特；参见JVET-M1001-v5第27页。具体地，VVC NUH使用一个比特作为禁止零位，使用五个比特用于nal_unit_type，使用三个比特用于时间ID，并且保留7个比特。

下表1和表2可对应于JVET-M1001-v5的表7-1：

表1

表2

然而，在同一或另一实施例中，可根据本申请主题使用8比特的NUH来实现该16比特头的全部功能，其中忽略未指定的/保留的比特/码点及其隐含可扩展性，如下所示：

如图所示，使用8比特的NUH，仅需8个类就可以实现VVC中当前定义的NAL单元类型的全部功能——尽管对于未来扩展不一定完全具有灵活性。

在同一或另一实施例中，其它分配同样也有可能。例如，可以将上面列出的“MARKER_Class”和“SEI_Class”合理地组合成单类，例如，如下表3所示：

表3

在表3的示例中，仅使用通过4比特的NAL单元类字段启用的可用的16个码点中的7个码点。

在某些情况下，在同一或另一实施例中，“forbidden_zero_bit”可用作附加解复用点。“forbidden_zero_bit”过去是包括在NAL单元头中，以防止在某些受限环境中(主要是当码流在MPEG-2***上传输时)的起始码竞争。可以想象，可能存在VVC技术和码流，对于这些技术和码流，标准制定组织并不设想它们需要在MPEG-2***上传输。与这些技术相关的NAL单元可以使用设置为1的forbidden_zero_bit作为解复用点。

当为了防止起始码竞争而将forbidden_zero_bit设置为一时，可以理解，NAL单元头中的八比特的256个可能值中的128个可能值，可以用于指示诸如NAL单元类型、时间ID等等之类信息。在某些环境中，可以保留这些128种比特组合(forbidden_zero_bit等于1)中的一些组合，而非其所有组合，以防止某些起始码竞争。例如，为了防止所谓的“Annex B”(附录B)起始码竞争，仅需避免NAL单元头的第一个八位字节的值为0即可。为了防止MPEG-2打包基本流(“PES-”)信道的起始码竞争，仅需避免188与255之间的值即可。其它***标准可以具有不同的、但概念上可比较的约束。在填充NAL单元类和TID-Type的允许值时要牢记这些约束，即使需要起始码竞争时，禁止零位也可以用作解复用点。

在同一或另一实施例中，给定的NAL单元类的值可以用作指示，指示NAL单元头中存在至少一个附加的八位字节。这样的附加的八位字节可以用于进一步扩展不那么常用的NAL单元的编解码选项。

图7是使用中间候选生成合并候选列表的示例方法700的流程图。在一些实施方案中，图7的至少一个方法框可以由解码器310执行。在一些实施方案中，图7的至少一个方法框可以由与解码器310分离或包括解码器310的另一设备或一组设备(诸如编码器303)执行。

如图7所示，方法700可以包括对NAL单元头中所包括的第一语法元素和第二语法元素进行解码(框710)。

如图7进一步所示，方法700可以包括基于第一语法元素，确定NAL单元类，该NAL单元类包括多个NAL单元类型(框720)。

如图7进一步所示，方法700可以包括确定NAL单元类是否为第一NAL单元类(框730)。如果NAL单元类是第一NAL单元类，则方法700可以进行到框740。如果NAL单元类不是第一NAL单元类，则方法700可以进行到框750。

如图7进一步所示，方法700可以包括：基于NAL单元类是第一NAL单元类，使用NAL单元类和第二语法元素的组合，从多个NAL单元类型中确定一个NAL单元类型，并且基于所确定的NAL单元类型，重建NAL单元(框750)。

如图7进一步所示，方法700可以包括确定NAL单元类是否为第二NAL单元类(框750)。如果NAL单元类为第一NAL单元类，则方法700可以进行到框760。

如图7进一步所示，方法700可以包括：基于NAL单元类为第二NAL单元类，基于第二语法元素，确定时间标识符(TID)，并且基于所确定的TID，重建NAL单元(框760)。

在实施例中，基于NAL单元类是第一NAL单元类，确定TID为零。

在实施例中，第一NAL单元类可以指示NAL单元对应的参数集与多个时间层相关。

在实施例中，参数集可以包括解码器参数集、视频参数集和序列参数集中的至少一个。

在实施例中，第一NAL单元类可以指示NAL单元对应的参数集与单个已编码图片相关。

在实施例中，参数集可以包括图片参数集、条带参数集、适配参数集和头参数集中的至少一个。

在实施例中，第一NAL单元类可以指示NAL单元与非规范数据相关。

在实施例中，非规范数据可以包括辅助增强信息、填充符数据和图片定界符数据。

在实施例中，第一语法元素可以包括第一固定长度的、二进制编码的NAL单元语法元素，并且第二语法元素可以包括第二固定长度的、二进制编码的NAL单元语法元素。

在实施例中，第一语法元素可以包括禁止零位。

尽管图7示出了方法700的示例框，但是在一些实现方式中，方法700可以包括图7中描绘的那些框之外的另外的框、比其更少的框、与其不同的框或与其布置不同的框。附加地或可选地，方法700的框中的两个或更多个框可以并行执行。

此外，本申请所提出的方法可由处理电路(例如，至少一个处理器或至少一个集成电路)来实现。在一个示例中，至少一个处理器执行存储在非易失性计算机可读介质中的程序，以执行本申请所提出的方法中的至少一种方法。

上文所描述的网络抽象单元头的技术可使用计算机可读指令实施为计算机软件且以物理方式存储在至少一个计算机可读存储介质中，或者可以由至少一个特别配置的硬件处理器实施。例如，图～8示出适于实施本申请主题的某些实施例的计算机***～800。

所述计算机软件可使用任何合适的机器代码或计算机语言来编码，所述机器代码或计算机语言可经受汇编、编译、链接或类似机制以创建包括指令的代码，所述指令可直接或通过解译、微码执行等而由计算机中央处理单元(central processing unit，CPU)、图形处理单元(Graphics Processing Unit，GPU)等执行。

所述指令可在各种类型的计算机或计算机组件上执行，所述计算机或计算机组件包括例如个人计算机、平板电脑、服务器、智能电话、游戏装置、物联网装置等。

图～8中所示的用于计算机***～800的组件在本质上是示范性的，并非旨在暗示关于实施本申请的实施例的计算机软件的使用或功能的范围的任何限制。也不应将组件的配置解释为对计算机***～800的示范性实施例中所示的组件中的任一个组件或组件组合有任何依赖或需求。

计算机***～800可包括某些人机接口输入装置。此类人机接口输入装置可响应于至少一个人类用户通过例如触觉输入(例如：按键、滑动、数据手套移动)、音频输入(例如：语音、拍击)、视觉输入(例如：手势)、嗅觉输入(未描绘)进行的输入。人机接口装置还可用于捕获未必与人的有意识输入直接相关的某些媒体，例如音频(例如：话语、音乐、环境声)、图像(例如：扫描图像、从静态图像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。

输入人机接口装置可包括以下至少一个(每种仅描绘一个)：键盘～801、鼠标～802、轨迹垫～803、触摸屏～810、数据手套1204、操纵杆～805、麦克风～806、扫描仪～807、相机～808。

计算机***～800还可包括某些人机接口输出装置。此类人机接口输出装置可通过例如触觉输出、声音、光和气味/味道刺激至少一个人类用户的感觉。此类人机接口输出装置可包括触觉输出装置(例如触摸屏～810、数据手套1204或操纵杆～805的触觉反馈，但还可存在不充当输入装置的触觉反馈装置)、音频输出装置(例如：扬声器～809、头戴式耳机(未描绘))、视觉输出装置(例如，屏幕～810，包括阴极射线管(CRT)屏幕、液晶显示屏(LCD)屏幕、等离子体屏幕、有机发光二极管(OLED)屏幕，各自具有或不具有触摸屏输入能力，各自具有或不具有触觉反馈能力--其中的一些能够通过例如立体平画输出的方式输出二维视觉输出或大于三维的输出；虚拟现实眼镜(未描绘)、全息显示器和烟雾箱(未描绘)，以及打印机(未描绘)。

计算机***～800还可包括人类可访问的存储装置和存储装置的相关联介质，例如光学介质，包括具有CD/DVD等介质～821的CD/DVD ROM/RW～820、拇指驱动器～822、可移动硬盘驱动器或固态驱动器～823、磁带和软盘(未描绘)等旧版磁性媒体、基于ROM/ASIC/PLD的专用装置，例如安全保护装置(未描绘)，等等。

所属领域的技术人员还应理解，结合当前公开的主题使用的术语“计算机可读介质”并未涵盖传输介质、载波或其他瞬时信号。

计算机***～800还可包括到至少一个通信网络的接口。网络可例如是无线的、有线的、光学的。网络还可以是本地的、广域的、城域的、车载和工业的、实时的、容忍延迟的等等。网络的示例包括例如以太网、无线LAN的局域网、包括全球移动通讯***(GSM)、第三代(3G)、***(4G)、第五代(5G)、长期演进(LTE)等的蜂窝网络、包括有线TV、卫星TV和地面广播TV的TV有线或无线广域数字网络、包括CAN总线的车载网络和工业网络等。某些网络通常需要附接到某些通用数据端口或***总线(～849)(例如，计算机***～800的USB端口)的外部网络接口适配器；其他网络通常通过附接到如下文所描述的***总线而集成到计算机***～800的核心中(例如通过以太网接口集成到PC计算机***中，或通过蜂窝网络接口集成到智能电话计算机***中)。作为示例，网络～855可使用网络接口～854连接到***总线～849上。通过使用这些网络中的任一网络，计算机***～800可与其他实体通信。此类通信可以是仅单向接收(例如广播TV)、仅单向发送(例如连到某些CAN总线装置的CAN总线)或是双向的，例如使用局域数字网络或广域数字网络连接到其他计算机***。可在如上文所描述的那些网络和网络接口中的每一个上使用某些协议和协议栈。

上述人机接口装置、人类可访问存储装置和网络接口可附接到计算机***～800的核心～840。

核心～840可包括至少一个中央处理单元(Central Processing Unit，CPU)～841、图形处理单元(Graphics Processing Unit，GPU)～842、现场可编程门区域(FieldProgrammable Gate Areas，FPGA)形式的专用可编程处理单元～843、用于某些任务的硬件加速器～844等等。这些装置连同只读存储器(Read-only memory，ROM)～845、随机存取存储器(Random-access memory)～846、例如内部非用户可访问的硬盘驱动器、固态驱动器(solid-state drive，SSD)等内部大容量存储装置～847可通过***总线1248连接。在一些计算机***中，***总线1248可通过至少一个物理插头形式访问以实现通过额外CPU、GPU等来扩展。***装置可直接或通过***总线～849附接到核心的***总线～848。用于***总线的架构包括***部件互连(Peripheral component interconnect，PCI)、USB等等。

CPU～841、GPU～842、FPGA～843和加速器～844可执行某些指令，所述指令组合起来可构成上述计算机代码。计算机代码可存储在ROM～845或RAM～846中。过渡数据也可存储在RAM～846中，而永久性数据可例如存储在内部大容量存储装置～847中。可通过使用高速缓冲存储器来实现对任一存储器装置的快速存储和检索，所述高速缓冲存储器可与至少一个CPU～841、GPU～842、大容量存储装置～847、ROM～845、RAM～846等紧密关联。

计算机可读介质上可具有用于执行各种计算机实施的操作的计算机代码。所述介质和计算机代码可以是专为本申请的目的设计和构建的介质和计算机代码，或可属于计算机软件领域中的技术人员众所周知且可用的种类。

举例来说但不作为限制，具有架构～800且尤其是核心～840的计算机***可提供因处理器(包括CPU、GPU、FPGA、加速器等)执行以至少一个有形计算机可读介质体现的软件而产生的功能。此类计算机可读介质可以是与上文所介绍的用户可访问大容量存储装置以及核心～840的非易失性质的某些存储装置(例如核心内部大容量存储装置～847或ROM～845)相关联的介质。实施本申请的各种实施例的软件可存储在此类装置中且由核心～840执行。根据特定需求，计算机可读介质可包括至少一个存储器装置或芯片。软件可使核心～840且具体地说使其中的处理器(包括CPU、GPU、FPGA等等)执行本文中所描述的特定过程或特定过程的特定部分，包括限定存储在RAM～846中的数据结构以及根据由软件限定的过程修改此类数据结构。另外或作为替代方案，计算机***可提供由硬连线的或以其他方式体现于电路(例如：加速器～844)中的逻辑所产生的功能，所述逻辑可代替或连同软件一起操作以执行本文描述的特定过程或特定过程的特定部分。适当时，对软件的引用可涵盖逻辑，且反之亦然。适当时，对计算机可读介质的引用可涵盖存储用于执行的软件的电路(例如集成电路(IC))、体现用于执行的逻辑的电路或这两种电路。本申请涵盖硬件与软件的任何合适的组合。

尽管本申请描述了若干示范性实施例，但在本申请的范围内，可以有各种改动、排列组合方式以及各种替代等同物。因此，应该理解，在申请的精神和范围内，本领域技术人员可以设计出各种虽未在本文明确示出或描述、但可以体现本申请的原理的***和方法。

Claims (20)

1.一种使用至少一个处理器重建网络抽象层NAL单元以进行视频解码的方法，其特征在于，所述方法包括：

对NAL单元头中所包括的第一语法元素进行解码，该第一语法元素包括第一固定长度的、二进制编码的NAL单元语法元素；

基于所述第一语法元素，确定NAL单元类，该NAL单元类包括多个NAL单元类型；

对所述NAL单元头中所包括的第二语法元素进行解码，该第二语法元素包括第二固定长度的、二进制编码的NAL单元语法元素；

基于所述NAL单元类为第一NAL单元类，使用所述NAL单元类和所述第二语法元素的组合，从所述多个NAL单元类型中确定一个NAL单元类型，并且基于所确定的NAL单元类型，重建所述NAL单元。

2.根据权利要求1所述的方法，其特征在于，基于所述NAL单元类是所述第一NAL单元类，确定时间标识符TID为零。

3.根据权利要求1所述的方法，其特征在于，所述第一NAL单元类指示所述NAL单元对应的参数集与多个时间层相关。

4.根据权利要求3所述的方法，其特征在于，所述参数集包括解码器参数集、视频参数集和序列参数集中的至少一个。

5.根据权利要求1所述的方法，其特征在于，所述第一NAL单元类指示所述NAL单元对应的参数集与单个已编码图片相关。

6.根据权利要求5所述的方法，其特征在于，所述参数集包括图片参数集、条带参数集、适配参数集和头参数集中的至少一个。

7.根据权利要求1所述的方法，其特征在于，所述第一NAL单元类指示所述NAL单元与非规范数据相关。

8.根据权利要求7所述的方法，其特征在于，所述非规范数据包括辅助增强信息、填充符数据和图片定界符数据。

9.根据权利要求1所述的方法，其特征在于，基于所述NAL单元类为第二NAL单元类，所述方法还包括，基于所述第二语法元素，确定时间标识符TID，并且基于所确定的TID，重建所述NAL单元。

10.根据权利要求1所述的方法，其特征在于，所述第一语法元素包括一禁止零位。

11.一种重建网络抽象层NAL单元以进行视频解码的设备，其特征在于，所述设备包括：

至少一个存储器，被配置为存储程序代码；以及

至少一个处理器，被配置为读取所述程序代码并且按照所述程序代码的指示进行操作，所述程序代码包括：

第一解码代码，被配置为使所述至少一个处理器对NAL单元头中所包括的第一语法元素进行解码，该第一语法元素包括第一固定长度的、二进制编码的NAL单元语法元素；

第一确定代码，被配置为使所述至少一个处理器基于所述第一语法元素，确定NAL单元类，该NAL单元类包括多个NAL单元类型；

第二解码代码，被配置为使所述至少一个处理器对NAL单元头中所包括的第二语法元素进行解码，该第二语法元素包括第二固定长度的、二进制编码的NAL单元语法元素；

第二确定代码，被配置为使所述至少一个处理器基于所述NAL单元类为第一NAL单元类，使用所述NAL单元类与所述第二语法元素的组合，从所述多个NAL单元类型中确定一个NAL单元类型，并且基于所确定的NAL单元类型，重建所述NAL单元；以及

第三确定代码，被配置为使所述至少一个处理器基于所述NAL单元类为第二NAL单元类，基于所述第二语法元素，确定时间标识符TID，并且基于所确定的TID，重建所述NAL单元。

12.根据权利要求11所述的设备，其特征在于，基于所述NAL单元类是所述第一NAL单元类，确定TID为零。

13.根据权利要求11所述的设备，其特征在于，所述第一NAL单元类指示所述NAL单元对应的参数集与多个时间层相关。

14.根据权利要求13所述的设备，其特征在于，所述参数集包括解码器参数集、视频参数集和序列参数集中的至少一个。

15.根据权利要求11所述的设备，其特征在于，所述第一NAL单元类指示所述NAL单元对应的参数集与单个已编码图片相关。

16.根据权利要求15所述的设备，其特征在于，所述参数集包括图片参数集、条带参数集、适配参数集和头参数集中的至少一个。

17.根据权利要求11所述的设备，其特征在于，所述第一NAL单元类指示所述NAL单元与非规范数据相关。

18.根据权利要求11所述的设备，其特征在于，基于所述NAL单元类为第二NAL单元类，所述程序代码进一步包括第三确定代码，所述第三确定代码被配置为使所述至少一个处理器基于所述第二语法元素，确定TID，并且基于所确定的TID，重建所述NAL单元。

19.根据权利要求11所述的设备，其特征在于，所述第一语法元素包括禁止零位。

20.一种存储指令的非易失性计算机可读介质，其特征在于，所述指令包括：至少一个指令，当由用于重建网络抽象层NAL单元以进行视频解码的设备的至少一个处理器执行时，所述至少一个指令使所述至少一个处理器：

对NAL单元头中所包括的第一语法元素进行解码；

基于所述第一语法元素，确定NAL单元类，该NAL单元类包括多个NAL单元类型；

对所述NAL单元头中包括的第二语法元素进行解码；

基于所述NAL单元类为第一NAL单元类，使用所述NAL单元类和所述第二语法元素的组合，从所述多个NAL单元类型中确定一个NAL单元类型，并且基于所确定的NAL单元类型，重建所述NAL单元。

Images