CN105379271A - 帧内随机接入点图片的改进的跨层对齐 - Google Patents

Abstract

一种视频处理装置包含存储视频数据的存储器和一或多个处理器，所述处理器经配置以：接收包括接入单元的第一图片的第一网络抽象层NAL单元；响应于确定所述第一NAL单元包括帧内随机接入点IRAP图片且响应于所述第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的瞬时解码刷新IDR图片的存在，对于所述接入单元的包括另一IRAP图片的第二NAL单元，将所述第二NAL单元的NAL单元类型确定为指示所述没有任何相关联的前导图片的IDR图片的存在的NAL单元类型；以及，基于所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

Description

帧内随机接入点图片的改进的跨层对齐

本申请案主张2013年7月15日提交的第61/846,583号美国临时申请案的权益，所述临时申请案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及视频处理。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流装置及类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置通过实施此类视频压缩技术可以更有效地发射、接收、编码、解码和/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，所述视频块也可被称作树块、译码单元(CU)和/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可以被称为帧，且参考图片可以被称为参考帧。

空间或时间预测产生用于待译码块的预测块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残余数据编码。经帧内译码块根据帧内译码模式和残余数据编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以将所述残余变换系数量化。可以扫描初始地用二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，并且可以应用熵译码以实现更多的压缩。

发明内容

本发明描述在针对多层视频译码中的帧内随机接入点(IRAP)图片的跨层对齐的要求上的各种可能改进。本发明的技术可以通过各种类型的视频处理装置实施，例如视频编码器、视频解码器、媒体感知网络元件(MANE)、转码装置以及其它类型的视频处理装置。

根据一个实例，一种处理视频数据的方法包含：接收包括接入单元的第一图片的第一网络抽象层(NAL)单元；响应于确定所述第一NAL单元包括帧内随机接入点(IRAP)图片且响应于所述第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的瞬时解码刷新(IDR)图片的存在，将第二NAL单元的NAL单元类型确定为指示没有任何相关联的前导图片的IDR图片的存在的NAL单元类型，其中所述接入单元的所述第二NAL单元包括另一IRAP图片；以及，基于所述第二NAL单元的NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

根据另一实例，一种处理视频数据的方法包含：处理包括接入单元的第一图片的第一网络抽象层(NAL)单元；响应于确定所述第一NAL单元包括帧内随机接入点(IRAP)图片且响应于所述第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的瞬时解码刷新(IDR)图片的存在，对于所述接入单元的包括另一IRAP图片的第二NAL单元，将所述第二NAL单元的NAL单元类型设定为指示没有任何相关联的前导图片的IDR图片的存在的NAL单元类型；以及，基于所述第一NAL单元的NAL单元类型和所述第二NAL单元的NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

根据另一实例，一种视频处理装置包含存储视频数据的存储器和一或多个处理器，所述处理器经配置以：接收包括接入单元的第一图片的第一网络抽象层(NAL)单元；响应于确定所述第一NAL单元包括帧内随机接入点(IRAP)图片且响应于所述第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的瞬时解码刷新(IDR)图片的存在，将第二NAL单元的NAL单元类型确定为指示没有任何相关联的前导图片的IDR图片的存在的NAL单元类型，其中所述接入单元的所述第二NAL单元包括另一IRAP图片；以及，基于所述第二NAL单元的NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

根据另一实例，一种视频处理装置包含存储视频数据的存储器；以及一或多个处理器，其经配置以：处理包括接入单元的第一图片的第一网络抽象层(NAL)单元；响应于确定所述第一NAL单元包括帧内随机接入点(IRAP)图片且响应于所述第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的瞬时解码刷新(IDR)图片的存在，对于所述接入单元的包括另一IRAP图片的第二NAL单元，将所述第二NAL单元的NAL单元类型设定为指示没有任何相关联的前导图片的IDR图片的存在的NAL单元类型；以及基于所述第一NAL单元的NAL单元类型和所述第二NAL单元的NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

根据另一实例，一种计算机可读存储媒体存储指令，所述指令在由一或多个处理器执行时使得所述一或多个处理器：接收包括接入单元的第一图片的第一网络抽象层(NAL)单元；响应于确定所述第一NAL单元包括帧内随机接入点(IRAP)图片且响应于所述第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的瞬时解码刷新(IDR)图片的存在，对于所述接入单元的包括另一IRAP图片的第二NAL单元，将所述第二NAL单元的NAL单元类型确定为指示没有任何相关联的前导图片的IDR图片的存在的NAL单元类型；以及，基于所述第二NAL单元的NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

根据另一实例，一种用于处理视频数据的设备包含：用于接收包括接入单元的第一图片的第一网络抽象层(NAL)单元的装置；用于响应于确定所述第一NAL单元包括帧内随机接入点(IRAP)图片且响应于所述第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的瞬时解码刷新(IDR)图片的存在，将第二NAL单元的NAL单元类型确定为指示没有任何相关联的前导图片的IDR图片的存在的NAL单元类型的装置，其中所述接入单元的第二NAL单元包括另一IRAP图片；以及，用于基于所述第二NAL单元的NAL单元类型处理所述第一NAL单元和所述第二NAL单元的装置。

一或多个实例的细节在附图和以下描述中阐述。其它特征、目标及优点将从所述描述和图式以及从权利要求书而显而易见。

附图说明

图1是图示可以利用本发明中描述的技术的实例视频编码和解码***的实例的框图。

图2是图示可以实施本发明中描述的技术的实例视频编码器的框图。

图3是图示可以实施本发明中描述的技术的实例视频解码器的框图。

图4是图示形成网络的部分的一组实例装置的框图。

图5是示出根据本发明的技术处理视频数据的方法的实例的流程图。

图6是示出根据本发明的技术处理视频数据的方法的实例的流程图。

具体实施方式

本发明描述在针对多层视频译码中的帧内随机接入点(IRAP)图片的跨层对齐的要求上的各种改进。多层视频译码包含例如，多视点视频译码、可分级视频译码以及三维(3D)视频译码。如下文将更详细地解释，本发明的技术可以改进观看者在从一个位流移动到另一位流(例如，切换频道)或从位流中的一个点跳跃到所述位流中的另一点时的观看体验。

本发明将提到处理视频数据。处理视频数据可以指对视频数据编码和解码，但处理还可以指对视频数据执行的未必包含整个编码或解码过程的其它操作。在一些实例中，处理可以包括解析视频数据以从位流形成子位流，或可以包含出于将视频数据路由到目的地装置的目的而解析视频数据。所述处理可以通过视频编码器、视频解码器、转码装置、媒体感知网络元件(MANE)或用于视频处理的另一装置来执行。

用于跨层IRAP图片对齐的现有方法具有若干可能的缺点。作为一个实例，现有方法通常在其中有可能具有包含随机接入跳过前导(RASL)图片和随机接入可解码前导(RADL)图片两者的一个接入单元的情况中不能起到较好的作用。然而，存在其中一些断链接入(BLA)图片(一些具有相关联的RASL图片且一些不具有相关联的RASL图片而具有相关联的RADL图片)的混合可为所希望的情况。

作为另一个实例，可能不希望的允许接入单元包含前导图片和非前导图片两者。因此，应不允许两种不同类型的瞬时解码刷新(IDR)图片的混合。作为另一个实例，在一些情况下，实现清洁随机接入(CRA)图片和BLA图片的混合可能是有益的。

在一或多个实例中，本发明使用在HEVCWD10中定义的许多术语和术语集。根据HEVCWD10，网络抽象层(NAL)单元被如下定义：

网络抽象层(NAL)单元：包含所遵循的数据类型的指示的语法结构和包含呈视需要穿插有竞争防止字节的RBSP[原始字节序列有效负载]的形式的所述数据的字节。

根据HEVCWD10，接入单元被如下定义：

接入单元：NAL单元的集合，其根据指定分类规则而彼此相关联、按解码次序是连续的且包含正好一个经译码图片。

注意1-除了包含经译码图片的VCLNAL单元之外，接入单元还可包含非VCLNAL单元。接入单元的解码始终得到经解码图片。

在多层视频译码中，接入单元的定义可以扩展到包含所有视频图片，以及可能地3D视频译码的深度图，所述深度图与相同的时间实例相对应。

根据HEVCWD10，IRAP图片被如下定义：

帧内随机接入点(IRAP)图片：其中每个VCLNAL单元具有在16到23范围内(包含首尾)的nal_unit_type的经译码图片。

注意7-IRAP图片仅包含I切片，且可为BLA图片、CRA图片或IDR图片。按解码次序在位流中的第一图片必定是IRAP图片。假设必要参数集在其需要激活时可用，那么IRAP图片和按解码次序所有随后非RASL图片可正确地解码，而不执行按解码次序在IRAP图片前的任何图片的解码过程。在位流中可能存在仅包含不是IRAP图片的I切片的图片。

根据HEVCWD10，RASL图片被如下定义：

随机接入跳过前导(RASL)图片：其中每个VCLNAL单元具有等于RASL_R或RASL_N的nal_unit_type的经译码图片。

注意15-所有RASL图片都是相关联的BLA或CRA图片的前导图片。当相关联的IRAP图片具有等于1的NoRaslOutputFlag时，RASL图片不被输出且可能不可正确地解码，因为RASL图片可能包含对不存在于所述位流中的图片的参考。RASL图片不被用作非RASL图片的解码过程的参考图片。当存在时，所有RASL图片都按解码次序先于相同相关联的IRAP图片的所有尾随图片。

根据HEVCWD10，RADL图片被如下定义：

随机接入可解码前导(RADL)图片：其中每个VCLNAL单元具有等于RADL_R或RADL_N的nal_unit_type的经译码图片。

注意14-所有RADL图片都是前导图片。RADL图片不被用作相同相关联IRAP图片的尾随图片的解码过程的参考图片。当存在时，所有RADL图片都按解码次序先于相同相关联的IRAP图片的所有尾随图片。

根据HEVCWD10，IDR图片被如下定义：

瞬时解码刷新(IDR)图片：其中每个VCLNAL单元具有等于IDR_W_RADL或IDR_N_LP的nal_unit_type的IRAP图片。

注意6-IDR图片仅包含I切片，且按解码次序可以是所述位流中的第一图片，或可以稍后出现在所述位流中。每个IDR图片按解码次序是CVS的第一图片。当IDR图片的每个VCLNAL单元具有等于IDR_W_RADL的nal_unit_type时，所述IDR图片可以具有相关联的RADL图片。当IDR图片的每个VCLNAL单元具有等于IDR_N_LP的nal_unit_type时，所述IDR图片不具有任何相关联的前导图片。IDR图片不具有相关联的RASL图片。

根据HEVCWD10，CRA图片被如下定义：

清洁随机接入(CRA)图片：其中每个VCLNAL单元具有等于CRA_NUT的nal_unit_type的IRAP图片。

注意4-CRA图片仅包含I切片，且按解码次序可以是所述位流中的第一图片，或可以稍后出现在所述位流中。CRA图片可以具有相关联的RADL或RASL图片。当CRA图片具有等于1的NoRaslOutputFlag时，解码器不输出相关联的RASL图片，因为所述RASL图片可能不可解码，因为所述RASL图片可能包含对不存在于所述位流中的图片的参考。

根据HEVCWD10，BLA图片被如下定义：

断链接入(BLA)图片：其中每个VCLNAL单元具有等于BLA_W_LP、BLA_W_RADL或BLA_N_LP的nal_unit_type的IRAP图片。

注意2-BLA图片仅包含I切片，且按解码次序可以是所述位流中的第一图片，或可以稍后出现在所述位流中。每个BLA图片开始新的CVS，且对解码过程具有与IDR图片相同的作用。然而，BLA图片包含指定非空参考图片集的语法元素。当BLA图片的每个VCLNAL单元具有等于BLA_W_LP的nal_unit_type时，所述BLA图片可以具有相关联的RASL图片，所述RASL图片未由解码器输出且可能不可解码，因为所述RASL图片可能包含对不存在于所述位流中的图片的参考。当BLA图片的每个VCLNAL单元具有等于BLA_W_LP的nal_unit_type时，所述BLA图片还可以具有相关联的RADL图片，所述RADL图片被指定解码。当BLA图片的每个VCLNAL单元具有等于BLA_W_RADL的nal_unit_type时，所述BLA图片不具有相关联的RASL图片但可以具有相关联的RADL图片，所述RADL图片被指定解码。当BLA图片的每个VCLNAL单元具有等于BLA_N_LP的nal_unit_type时，所述BLA图片不具有任何相关联的前导图片。

根据HEVCWD10，语法元素nal_unit_type的值指定NAL单元中包含的原始字节序列有效负载(RBSP)数据结构的类型，如下方再现的表7-1中指定。

表7-1-NAL单元类型代码及NAL单元类型类别

注意3-CRA图片可具有存在于位流中的相关联的RASL或RADL图片。

注意4-具有等于BLA_W_LP的nal_unit_type的BLA图片可具有存在于位流中的相关联的RASL或RADL图片。具有等于BLA_W_RADL的nal_unit_type的BLA图片不具有存在于位流中的相关联的RASL图片，但可具有在位流中的相关联的RADL图片。具有等于BLA_N_LP的nal_unit_type的BLA图片不具有存在于位流中的相关联的前导图片。

注意5-具有等于IDR_N_LP的nal_unit_type的IDR图片不具有存在于位流中的相关联的前导图片。具有等于IDR_W_RADL的nal_unit_type的IDR图片不具有存在于位流中的相关联的RASL图片，但可具有在位流中的相关联的RADL图片。

参考上方的表7-1，具有NAL单元类型IDR_W_RADL的NAL单元包含用于具有相关联的RADL图片的IDR图片的一或多个切片段。具有NAL单元类型IDR_N_LP的NAL单元包含用于没有任何相关联的前导图片的IDR图片的一或多个切片段。具有NAL单元类型BLA_N_LP的NAL单元包含用于没有相关联的前导图片的BLA图片的一或多个切片段。具有NAL单元类型BLA_W_LP的NAL单元包含用于具有相关联的前导图片的BLA图片的一或多个切片段。具有NAL单元类型IDR_W_RADL的NAL单元包含用于没有相关联的RADL图片的IDR图片的一或多个切片段。具有NAL单元类型CRA_NUT的NAL单元包含用于CRA图片的一或多个切片段，其中所述CRA图片的每个VCLNAL单元包括CRA图片的经译码切片段。

本发明有可能解决上文所论述的缺点中的一或多者。具体来说，在一或多个实例中，本发明的技术可以对跨层IRAP图片对齐施加以下限制中的一或多者：

1)当接入单元中的一个IRAP图片具有等于IDR_N_LP的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于IDR_N_LP的nal_unit_type。

2)当接入单元中的一个IRAP图片具有等于IDR_W_RADL的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于IDR_W_RADL的nal_unit_type。

3)当接入单元中的一个IRAP图片具有等于BLA_N_LP的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于BLA_N_LP或CRA_NUT的nal_unit_type。

4)当接入单元中的一个IRAP图片具有等于BLA_W_LP或BLA_W_RADL的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于BLA_W_LP、BLA_W_RADL或CRA_NUT的nal_unit_type。

注意：当接入单元中的一个IRAP图片具有等于CRA_NUT的nal_unit_type时，相同接入单元中的任何其它IRAP图片都必须具有等于CRA_NUT、BLA_W_LP、BLA_W_RADL或BLA_N_LP的nal_unit_type。

替代地，在其它实例中，在前一段中的上述项3和4可以如下改变，使得不允许在较低层中具有BLA_N_LP且在较高层中具有CRA_NUT：

3)当接入单元中的一个IRAP图片具有等于BLA_N_LP的nal_unit_type且具有等于layerId的nuh_layer_id时，相同接入单元中的具有小于layerId的nuh_layer_id的任何其它IRAP图片都将具有等于BLA_N_LP或CRA_NUT的nal_unit_type。

4)当接入单元中的一个IRAP图片具有等于BLA_W_LP或BLA_W_RADL的nal_unit_type且具有等于layerId的nuh_layer_id时，相同接入单元中的具有小于layerId的nuh_layer_id的任何其它IRAP图片都将具有等于BLA_W_LP、BLA_W_RADL或CRA_NUT的nal_unit_type。

替代地，在又其它实例中，在前一段中的上述项3和4可以如下改变，使得不允许在较低层中具有BLA_N_LP且在较高层中具有CRA_NUT：

3)当接入单元中的一个IRAP图片具有等于BLA_N_LP的nal_unit_type且具有等于layerIdA的nuh_layer_id时，相同接入单元中的具有等于layerIdB的nuh_layer_id的任何其它IRAP图片(其中layerIdB小于layerIdA且direct_dependency_flag[LayerIdxInVps[layerIdA]][LayerIdxInVps[layerIdB]]等于1)都将具有等于BLA_N_LP或CRA_NUT的nal_unit_type。

4)当接入单元中的一个IRAP图片具有等于BLA_W_LP或BLA_W_RADL的nal_unit_type且具有等于layerIdA的nuh_layer_id时，相同接入单元中的具有等于layerIdB的nuh_layer_id的任何其它IRAP图片(其中layerIdB小于layerIdA且direct_dependency_flag[LayerIdxInVps[layerIdA]][LayerIdxInVps[layerIdB]]等于1)都将具有等于BLA_W_LP、BLA_W_RADL或CRA_NUT的nal_unit_type。

根据MV-HEVC草案文本3，direct_dependency_flag被如下定义：

等于0的direct_dependency_flag[i][j]指定具有索引j的层不是具有索引i的层的直接参考层。等于1的direct_dependency_flag[i][j]指定具有索引j的层可以是具有索引i的层的直接参考层。当对于在0到vps_max_layers_minus1的范围内的i和j，direct_dependency_flag[i][j]不存在时，推断所述direct_dependency_flag[i][j]等于0。

替代地，可以实施对跨层IRAP图片对齐的以下限制：

1)当接入单元中的一个IRAP图片具有等于BLA_W_LP、BLA_W_RADL或BLA_N_LP的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于BLA_W_LP、BLA_W_RADL或BLA_N_LP的nal_unit_type。

2)当接入单元中的一个IRAP图片具有等于IDR_W_RADL或IDR_N_LP的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于IDR_W_RADL或IDR_N_LP的nal_unit_type。

3)当接入单元中的一个IRAP图片具有等于CRA_NUT的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于CRA_NUT的nal_unit_type。

根据HEVCWD10，CRA图片可以具有存在于位流中的相关联的RASL或RADL图片。具有等于BLA_W_LP的nal_unit_type的BLA图片可具有存在于位流中的相关联的RASL或RADL图片。具有等于BLA_W_RADL的nal_unit_type的BLA图片不具有存在于位流中的相关联的RASL图片，但可具有在位流中的相关联的RADL图片。具有等于BLA_N_LP的nal_unit_type的BLA图片不具有存在于位流中的相关联的前导图片。具有等于IDR_N_LP的nal_unit_type的IDR图片不具有存在于位流中的相关联的前导图片。具有等于IDR_W_RADL的nal_unit_type的IDR图片不具有存在于位流中的相关联的RASL图片，但可具有在位流中的相关联的RADL图片。

根据HEVCWD10，层、层识别符列表以及层集合被如下定义：

层：都具有特定的nuh_layer_id值的VCLNAL单元和相关联的非VCLNAL单元的集合，或具有层次关系的语法结构的集合中的一者。

注意8-取决于上下文，第一层概念或第二层概念适用。第一层概念也称为可扩展层，其中层可以是空间可扩展层、质量可扩展层、视图等。可扩展层的时间真子集或子层并不被称作层。第二层概念也称为译码层，其中较高层包含较低层，且所述译码层是CVS、图片、切片、切片段以及译码树单元层。

层识别符列表：与层集合或操作点相关联的nuh_layer_id值的列表，且可以用作子位流提取过程的输入。

层集合：在通过对另一位流操作子位流提取过程而从另一位流产生的位流内表示的层的集合，目标最高TemporalId等于6，且目标层识别符列表等于与作为输入的层集合相关联的层识别符列表。

预期在HEVC标准的未来可分级或3D视频译码扩展中，语法元素nuh_layer_id可以用于识别可能存在于经译码视频序列(CVS)中的另外的层。层可以(例如)是空间可扩展层、质量可扩展层、纹理视图、深度视图或一些其它类型的层。

如下文将更详细地解释，上文引入的对跨层IRAP图片对齐的限制可以通过视频编码器在对视频数据编码时实施。如果视频解码器或其它视频处理装置(例如MANE)已知的话，那么这些限制可以由视频解码器或MANE用来推断关于随后的NAL单元的某些信息且基于所推断的信息做出处理决定。例如，基于所推断的信息，视频解码器或MANE可能能够在NAL单元到达之前做出关于特定NAL单元的处理决定，这可以改进解码和路由性能。另外，能够推断某些信息可有可能减少或消除用于发信号通知此类信息所需的位。

图1是图示可以利用本发明中描述的技术的实例视频编码和解码***10的框图。如图1中所示，***10包含源装置12，其产生稍后由目的地装置14解码的经编码视频数据。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示器装置、数字媒体播放器、视频游戏控制台、视频流装置或类似者。在一些情况下，源装置12和目的地装置14可以经装备以用于无线通信。

目的地装置14可以经由链路16接收待解码的经编码视频数据。链路16可以包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，并发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如，因特网)的部分。通信媒体可以包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任何其它装备。

替代地，可以将经编码数据从输出接口22输出到存储装置17。类似地，可以通过输入接口从存储装置17存取经编码数据。存储装置17可以包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置17可以与文件服务器或可固持由源装置12产生的经编码视频的另一中间存储装置相对应。目的地装置14可经由串流或下载从存储装置17存取所存储的视频数据。文件服务器可以为能够存储经编码视频数据并将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可以包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置17的传输可为流式传输、下载传输或两者的组合。

本发明的技术未必限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、有线电视发射、***发射、流式视频传输(例如，经由因特网)、对数字视频编码以存储于数据存储媒体上、对存储于数据存储媒体上的数字视频解码，或其它应用。在一些实例中，***10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频回放、视频广播和/或视频电话的应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可以包含例如视频捕获装置(例如，摄像机)、包含先前所捕获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据以作为源视频的计算机图形***，或此类源的组合等源。作为一个实例，如果视频源18为摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术一般来说可适用于视频译码，并且可应用于无线和/或有线应用。

所捕获的、所预捕获的或计算机产生的视频可以由视频编码器20编码。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。还可以(或替代地)将经编码视频数据存储到存储装置17上以用于稍后由目的地装置14或其它装置存取以用于解码和/或回放。

目的地装置14包含输入接口28、视频解码器30和显示器装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传送或在存储装置17上提供的经编码视频数据可以包含由视频编码器20产生的多种语法元素以用于由例如视频解码器30等视频解码器用于对视频数据解码。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储文件服务器的经编码视频数据包含在一起。

显示器装置32可与目的地装置14集成或在所述目的地装置外部。在一些实例中，目的地装置14可包含集成式显示器装置，且还经配置以与外部显示器装置介接。在其它实例中，目的地装置14可为显示器装置。一般来说，显示器装置32将经解码视频数据显示给用户，且可包括多种显示器装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示器装置。

视频编码器20和视频解码器30可以根据视频压缩标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可遵守HEVC测试模型(HM)。替代地，视频编码器20和视频解码器30可根据其它专属或业界标准来操作，所述标准例如ITU-TH.264标准，替代地被称为MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-TH.263。

可以由视频编码器20和视频解码器30使用的视频译码标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual以及包含其可分级视频译码(SVC)和多视点视频译码(MVC)扩展的ITU-TH.264(也被称作ISO/IECMPEG-4AVC)。

近来，新的视频译码标准(即高效率视频译码(HEVC))的设计已由ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)定案。被称作“HEVC工作草案10”或“WD10”的HEVC标准的最近草案在布洛斯(Bross)等人的文件JCTVC-L1003v34“高效率视频译码(HEVC)文本规范草案10(Highefficiencyvideocoding(HEVC)textspecificationdraft10)(用于FDIS和最后呼叫)”(ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，瑞士日内瓦第12次会议，2013年1月14日到23日)中描述，其从2014年7月11日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip下载。

HEVC标准的又另一个草案在本文中被称作“WD10修订本”，其在布洛斯(Bross)等人的“编辑对HEVC版本1提出的校正(Editors'proposedcorrectionstoHEVCversion1)”(ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，韩国仁川第13次会议，2013年4月)中描述，其从2014年7月11日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M0432-v3.zip获得。这两个草案的全部内容以引用的方式并入本文中。

HEVC的多视点扩展，即MV-HEVC(其全部内容以引用的方式并入本文中)，也通过JCT-3V开发。下文中的MV-HEVCWD4的最近工作草案(WD)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wg11/JCT3V-D1004-v4.zip获得。被称为SHVC的HEVC的可分级扩展(其全部内容以引用的方式并入本文中)也通过JCT-VC开发。下文中被称作SHVCWD2的最近SHVC工作草案(WD)可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M1008-v3.zip获得。JCT3V-M0266(http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M0266-v2.zip)(其全部内容以引用的方式并入本文中)包含关于IRAP图片的跨层对齐的论述和一些提出的约束。

尽管图1中未示出，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件和软件，以处理对共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那么MUX-DEMUX单元可以遵守ITUH.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分用软件实施时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中并使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为对应的装置中的组合编码器/解码器(编解码器)的部分。

JCT-VC正在努力开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进的模型。HM假设视频译码装置相对于根据例如ITU-TH.264/AVC的现有装置的若干另外的能力。例如，尽管H.264提供了九个帧内预测编码模式，但HM可提供多达三十三个帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可以被划分为包含亮度和色度样本两者的一系列树块或最大译码单元(LCU)。树块具有与H.264标准的宏块类似的目的。切片包含按译码次序的多个连续树块。视频帧或图片可以被分割成一或多个切片。每个树块可以根据四叉树而***成多个译码单元(CU)。例如，作为四叉树的根节点的树块可***成四个子节点，且每一子节点转而可为父节点且可***成另外四个子节点。作为四叉树的叶节点的最后的未经***的子节点包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可定义树块可***的最大次数，且还可定义译码节点的最小大小。

CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小且形状必须是正方形。CU的大小可从8×8像素到具有64×64像素或更大像素的最大值的树块的大小变化。每一CU可以包含一或多个PU和一或多个TU。与CU相关联的语法数据可描述例如将CU分割成一或多个PU。分割模式可以在CU被跳过还是经直接模式编码、经帧内预测模式编码或帧间预测模式编码之间不同。PU可分割成非正方形形状。与CU相关联的语法数据还可描述例如根据四叉树将CU分割成一或多个TU。TU可为正方形或非正方形形状。

HEVC标准允许根据TU的变换，所述变换可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，可使用被称为“残余四叉树”(RQT)的四叉树结构将与CU相对应的残余样本细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生可经量化的变换系数。

一般来说，PU包含与预测过程有关的数据。例如，当PU经帧内模式编码时，PU可以包含描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可以包含界定PU的运动向量的数据。定义PU的运动向量的数据可以描述例如运动向量的水平分量、运动向量的竖直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

一般来说，TU用于变换及量化过程。具有一或多个PU的给定CU还可以包含一或多个变换单元(TU)。在预测之后，视频编码器20可计算与PU相对应的残余值。残余值包括像素差值，所述像素差值可变换成变换系数、经量化并且使用TU进行扫描以产生串行化变换系数以用于熵译码。本发明通常使用术语“视频块”来指代CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指代树块(即，LCU)或包含译码节点和PU以及TU的CU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)大体上包括一系列的一或多个所述视频图片。GOP可以包含在GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于对应的切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据编码。视频块可与CU内的译码节点相对应。视频块可以具有固定或变化的大小，并且根据指定译码标准可在大小上有所不同。

作为实例，HM支持各种PU大小的预测。假设特定CU的大小为2N×2N，那么HM支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，但另一方向分割成25％和75％。CU的与25％分割相对应的部分通过跟随有“上”、“下”、“左”或“右”的指示的“n”来指示。因此，例如，“2N×nU”是指经水平地分割的2N×2NCU，其中顶部是2N×0.5NPU，而底部是2N×1.5NPU。

在本发明中，“N×N”与“N乘N”可互换地使用以指就竖直和水平尺寸来说的视频块的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块将在竖直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，N×N块大体上在竖直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按行和列布置。此外，块未必需要在水平方向上与在竖直方向上具有相同数目个像素。例如，块可包括N×M个像素，其中M未必等于N。

在使用CU的PU的帧内预测或帧间预测译码之后，视频编码器20可以计算CU的TU的残余数据。PU可包括空间域(也被称作像素域)中的像素数据，且在将变换(例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)应用到残余视频数据之后，TU可包括变换域中的系数。残余数据可以与在未经编码图片的像素和与PU相对应的预测值之间的像素差相对应。视频编码器20可以形成包含用于CU的残余数据的TU，并且随后变换TU以产生用于CU的变换系数。

在用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化大体上是指其中变换系数经量化以可能地减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减小与系数中的一些或全部相关联的位深度。例如，n位值可在量化期间被下舍入到m位值，其中n大于m。

在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可以经熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可以例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器还20还可以对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据解码时使用。

为了执行CABAC，视频编码器20可将上下文模型内的上下文分配给待发射的符号。所述上下文可(例如)与符号的相邻值是否为非零有关。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经构造使得相对较短的代码与更有可能的符号相对应，而较长的代码与不太可能的符号相对应。以此方式，使用VLC可以实现优于例如将相同长度的码字用于待发射的每个符号的位节省。概率确定可以是基于分配到符号的上下文。

根据本发明的一种技术，装置(例如，视频编码器20、视频解码器30或网络装置)可以处理视频数据，使得响应于NAL单元包括在接入单元中的具有指示没有任何相关联的前导图片的IDR图片(例如，IDR_N_LP)的存在的NAL单元类型的IRAP图片，所述装置处理另外的NAL单元，其包括在相同接入单元中具有指示没有任何相关联的前导图片的IDR图片(例如，IDR_N_LP)的存在的NAL单元类型的其它IRAP图片。

根据本发明的另一技术，装置(例如，视频编码器20、视频解码器30或网络装置)可以处理视频数据，使得响应于NAL单元包括在接入单元中的指示具有相关联的RADL图片的IDR图片(例如，IDR_W_RADL)的存在的NAL单元类型的IRAP图片，所述装置处理另外的NAL单元，其包括在相同接入单元中的具有指示具有相关联的RADL图片的IDR图片(例如，IDR_W_RADL)的存在的NAL单元类型的其它IRAP图片。

根据本发明的另一技术，装置(例如，视频编码器20、视频解码器30或网络装置)可以处理视频数据，使得响应于NAL单元包括在接入单元中的具有指示没有相关联的前导图片的BLA图片(例如，BLA_N_LP)的存在的NAL单元类型的IRAP图片，所述装置可以处理另外的NAL单元，其包括在相同接入单元中的具有指示没有相关联的前导图片的BLA图片(例如，BLA_N_LP)和其中CRA图片的每个VCLNAL单元包括CRA图片的经译码切片段(例如，CRA_NUT)的CRA图片中的一者的存在的NAL单元类型的IRAP图片。所述装置还可经配置以实施以下限制：在相同接入单元中的另外的NAL单元具有小于所述NAL单元的层ID值的层ID值。所述装置还可经配置以实施以下限制：所述NAL单元具有层识别(ID)值且在相同接入单元中的另外NAL单元具有小于所述NAL单元的所述层ID值的层ID值，且将直接依赖标志设定成等于指示所述NAL单元的层能够充当所述另外的NAL单元的层的直接参考层的值。

根据本发明的另一技术，装置(例如，视频编码器20、视频解码器30或网络装置)可以处理视频数据，使得响应于NAL单元包括在接入单元中的具有指示具有可解码前导图片的BLA图片(例如，BLA_W_LP)和具有相关联的RADL图片的BLA图片(例如，BLA_W_RADL)中的一者的存在的NAL单元类型的IRAP图片，所述装置处理另外的NAL单元，其包括在所述接入单元中的具有指示具有可解码前导图片的BLA图片(例如，BLA_W_LP)、具有相关联的RADL图片的BLA图片、其中CRA图片的每个视频译码层(VCL)NAL单元包括CRA图片的经译码切片段(例如，CRA_NUT)的CRA图片中的一者的存在的NAL单元类型的IRAP图片。所述装置还可经配置以实施以下限制：所述NAL单元具有层识别(ID)值，并且其中在相同接入单元中的所述另外的NAL单元具有小于所述NAL单元的层ID值的层ID值。所述装置还可经配置以实施以下限制：所述NAL单元具有层识别(ID)值，并且其中在相同接入单元中的另外NAL单元具有小于所述NAL单元的所述层ID值的层ID值，且将直接依赖标志设定成等于指示所述NAL单元的层能够充当所述另外的NAL单元的层的直接参考层的值。

根据本发明的另一技术，装置(例如，视频编码器20、视频解码器30或网络装置)可以处理视频数据，使得响应于NAL单元包括在接入单元中的具有等于具有可解码前导图片的BLA图片(例如，BLA_W_LP)、具有相关联的RADL图片的BLA图片(例如，BLA_W_RADL)以及没有相关联的前导图片的BLA图片(例如，BLA_N_LP)中的一者的NAL单元类型的IRAP图片，所述装置处理另外的NAL单元，其包括在所述接入单元中的具有指示等于具有可解码前导图片的BLA图片(例如，BLA_W_LP)、具有相关联的RADL图片的BLA图片(例如，BLA_W_RADL)以及没有相关联的前导图片的BLA图片(例如，BLA_N_LP)中的一者的NAL单元类型的存在的NAL单元类型。

根据本发明的另一技术，装置(例如，视频编码器20、视频解码器30或网络装置)可以处理视频数据，使得响应于NAL单元包括在接入单元中的具有指示具有相关联的RADL图片的IDR图片(例如，IDR_W_RADL)和没有相关联的可解码前导图片的IDR图片(例如，IDR_N_LP)中的一者的存在的NAL单元类型的IRAP图片，所述装置处理另外的NAL单元，其包括在所述接入单元中的具有指示具有相关联的RADL图片的IDR图片(例如，IDR_W_RADL)和没有相关联的可解码前导图片的IDR图片(例如，IDR_N_LP)中的一者的存在的NAL单元类型的IRAP图片。

根据本发明的另一技术，装置(例如，视频编码器20、视频解码器30或网络装置)可以处理视频数据，使得响应于NAL单元包括在接入单元中的具有指示其中CRA图片的每个视频译码层(VCL)NAL单元包括CRA图片的经译码切片段(例如，CRA_NUT)的CRA图片的存在的NAL单元类型的IRAP图片，所述装置处理另外的NAL单元，其包括在所述接入单元中的具有指示以下NAL单元类型的存在的NAL单元类型的IRAP图片：所述NAL单元类型指示其中CRA图片的每个视频译码层(VCL)NAL单元包括CRA图片的经译码切片段(例如，CRA_NUT)的CRA图片的存在。

在上述实例中，对另外的NAL单元所进行的处理的类型可以取决于进行所述处理的装置的类型。例如，视频编码器20可以通过实施在本发明中描述的各种限制中的一或多者处理另外的NAL单元。作为实例，基于第一NAL单元的NAL单元类型，视频编码器20可以如上文所描述设定随后的NAL单元的NAL单元类型。视频解码器30可以利用上述限制来推断关于特定NAL单元的特定信息。作为一个实例，如果视频解码器30知道第一NAL单元是某一类型，那么它可能能够推断出随后的NAL单元是某一类型或限于某一分组，且基于所述信息可能能够更好地分配存储器、更好地管理经解码图片缓冲器、更有效地处理随后的NAL单元、获得计算效率等。作为另一个实例，如果MANE接收某一类型(例如，IDR_N_LP)的NAL单元，那么MANE可以推断出(在接收接入单元中的所有NAL单元之前)所有按解码次序的未来接入单元也是未来按输出次序的。基于此信息，MANE可能能够通过发送开始于接入单元的流更加快速地对接入请求作出响应。

根据本发明的另一技术，视频编码器20可以处理包括接入单元的第一图片的第一NAL单元，且响应于确定第一NAL单元包括IRAP图片且响应于第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的IDR图片(例如，IDR_N_LP)的存在，对于所述接入单元的包含另一IRAP图片的第二NAL单元，将第二NAL单元的NAL单元类型设定为指示没有任何相关联的前导图片的IDR图片(例如，IDR_N_LP)的存在的NAL单元类型。视频编码器20随后可以发射第一NAL单元和第二NAL单元。另外，响应于确定第一NAL单元包含IRAP图片且响应于第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的IDR图片(例如，IDR_N_LP)的存在，对于所述接入单元的包括IRAP图片的所有视频译码层(VCL)NAL单元，视频编码器20可以将所述NAL单元的NAL单元类型设定为指示没有任何相关联的前导图片的IDR图片(例如，IDR_N_LP)的存在的NAL单元类型。

根据本发明的另一技术，视频解码器30可以接收包括接入单元的第一图片的第一NAL单元；且响应于确定第一NAL单元包括IRAP图片且响应于第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的IDR图片(例如，IDR_N_LP)的存在，对于所述接入单元的包括另一IRAP图片的第二NAL单元，视频解码器30可以将第二NAL单元的NAL单元类型确定为指示没有任何相关联的前导图片的IDR图片(例如，IDR_N_LP)的存在的NAL单元类型。视频解码器30可以基于所确定的NAL单元类型对第一NAL单元和第二NAL单元解码。

图2是图示可以实施本发明中描述的技术的实例视频编码器20的框图。视频编码器20可经配置以将视频输出到后处理实体27。后处理实体27既定表示可处理来自视频编码器20的经编码视频数据的视频实体的实例，例如MANE或拼接/编辑装置。在一些情况下，后处理实体可为网络实体的实例。在一些视频编码***中，后处理实体27和视频编码器20可为单独装置的部分，而在其它情况下，关于后处理实体27所描述的功能性可由包括视频编码器20的相同装置执行。

视频编码器20可以执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的相邻帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指若干基于时间的压缩模式中的任一者。

在图2的实例中，视频编码器20包含视频数据存储器33、分割单元35、预测处理单元41、滤波器单元63、经解码图片缓冲器64、求和器50、变换处理单元52、量化处理单元54和熵编码单元56。预测单元41包含运动估计单元42、运动补偿单元44和帧内预测处理单元46。为了视频块重构，视频编码器20还包含反量化单元58、反变换处理单元60，及求和器62。滤波器单元63既定表示一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管在图2中将滤波器单元63示出为环路内滤波器，但在其它配置中，可将滤波器单元63实施为环路后滤波器。

视频数据存储器33可以存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器33中的视频数据。经解码图片缓冲器64可以为参考图片存储器，其存储用于由视频编码器20(例如)在帧内或帧间译码模式中对视频数据编码的参考视频数据。视频数据存储器33和经解码图片缓冲器64可通过多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器33和经解码图片缓冲器64可由相同存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器33可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。

如图2中示出，视频编码器20在视频数据存储器33处接收视频数据，且分割单元35将所述数据分割为视频块。此分割还可包含分割成切片、图像块或其它较大单元，以及例如根据LCU和CU的四叉树结构的视频块分割。视频编码器20大体上说明对待编码的视频切片内的视频块编码的组件。所述切片可划分成多个视频块(且可能划分成被称作图像块的视频块集合)。预测处理单元41可基于误差结果(例如，译码速率及失真的水平)针对当前视频块选择多种可能译码模式中的一者，例如多种帧内译码模式中的一者或多种帧间译码模式中的一者。预测处理单元41可将所得的经帧内译码或经帧间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重构经编码块以用作参考图片。

预测处理单元41内的帧内预测处理单元46可相对于与待译码的当前块在相同帧或切片中的一或多个相邻块执行当前视频块的帧内预测译码，以提供空间压缩。预测处理单元41内的运动估计单元42和运动补偿单元44相对于在一或多个参考图片中的一或多个预测块执行当前视频块的帧间预测译码以提供时间压缩。

运动估计单元42可经配置以根据用于视频序列的预定模式来确定用于视频切片的帧间预测模式。预定模式可将序列中的视频切片指定为P切片、B切片或GPB切片。运动估计单元42和运动补偿单元44可以高度集成，但出于概念目的单独地进行说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述运动向量估计视频块的运动。例如，运动向量可以指示在当前视频帧或图片内的视频块的PU相对于在参考图片内的预测块的移位。

预测块是被发现在像素差方面与待译码视频块的PU密切匹配的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可计算存储于经解码图片缓冲器64中的参考图片的子整数像素位置的值。例如，视频编码器20可内插四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此，运动估计单元42可相对于完整像素位置和分数像素位置执行运动搜索且输出具有分数像素精度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算用于在经帧间译码切片中的视频块的PU的运动向量。参考图片可以选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表中的每一者识别存储在经解码图片缓冲器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56和运动补偿单元44。

通过运动补偿单元44执行的运动补偿可以涉及基于通过运动估计(可能执行对子像素精度的内插)确定的运动向量获取或产生预测性块。在接收到当前视频块的PU的运动向量后，运动补偿单元44可以在参考图片列表中的一者中定位所述运动向量指向的预测块。视频编码器20通过从正被译码的当前视频块的像素值减去预测块的像素值从而形成像素差值来形成残余视频块。像素差值形成用于所述块的残余数据，并且可包含亮度和色度差分量两者。求和器50表示执行此减法运算的组件。运动补偿单元44还可产生与视频块和视频切片相关联的语法元素以供视频解码器30在对视频切片的视频块解码时使用。

作为如上文所描述的由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测处理单元46可以对当前块进行帧内预测。具体来说，帧内预测处理单元46可确定用于对当前块编码的帧内预测模式。在一些实例中，帧内预测处理单元46可以例如在单独的编码编次期间使用各种帧内预测模式对当前块编码，并且帧内预测处理单元46(或在一些实例中为模式选择单元40)可以从经测试模式中选择适当帧内预测模式来使用。例如，帧内预测处理单元46可使用速率失真分析计算各种经测试帧内预测模式的速率失真值，并在所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析大体上确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测处理单元46可根据用于各种经编码块的失真和速率来计算比率，以确定哪个帧内预测模式对于所述块显示最佳速率失真值。

在任何情况下，在选择用于块的帧内预测模式之后，帧内预测处理单元46可将指示用于所述块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可根据本发明的技术对指示选定帧内预测模式的信息编码。视频编码器20在所发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表和多个经修改帧内预测模式索引表(也称为码字映射表)、对各种块的上下文编码的定义，以及对最可能帧内预测模式、帧内预测模式索引表和经修改帧内预测模式索引表的指示以用于所述上下文中的每一者。

在预测处理单元41经由帧间预测或帧内预测产生当前视频块的预测块之后，视频编码器20通过从当前视频块减去预测块而形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中且应用到变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换等变换将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域，例如频域。

变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可随后执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行所述扫描。

在量化之后，熵编码单元56对经量化的变换系数进行熵编码。例如，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码方法或技术。在由熵编码单元56进行熵编码后，可将经编码位流发射到视频解码器30，或将经编码位流存档以用于稍后由视频解码器30发射或检索。熵编码单元56还可对正被译码的当前视频切片的运动向量及其它语法元素进行熵编码。

反量化单元58和反变换处理单元60分别应用反量化和反变换以在像素域中重构残余块，以用于稍后用作参考图片的参考块。运动补偿单元44可通过将残余块添加到在参考图片列表中的一者内的参考图片中的一者的预测块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构的残余块以计算子整数像素值以用于运动估计。求和器62将经重构的残余块添加到由运动补偿单元44产生的运动补偿预测块以产生参考块以用于存储在经解码图片缓冲器64中。参考块可由运动估计单元42和运动补偿单元44用作参考块以对在后一视频帧或图片中的块进行帧间预测。

以此方式，图2的视频编码器20表示经配置以产生遵守以下对跨层IRAP图片对齐的限制中的一些或全部的视频数据的经编码位流的视频编码器的实例。

1)当接入单元中的一个IRAP图片具有等于IDR_N_LP的nal_unit_type时，同一接入单元中的任何其它IRAP图片都将具有等于IDR_N_LP的nal_unit_type。

2)当接入单元中的一个IRAP图片具有等于IDR_W_RADL的nal_unit_type时，同一接入单元中的任何其它IRAP图片都将具有等于IDR_W_RADL的nal_unit_type。

3)当接入单元中的一个IRAP图片具有等于BLA_N_LP的nal_unit_type时，同一接入单元中的任何其它IRAP图片都将具有等于BLA_N_LP或CRA_NUT的nal_unit_type。

4)当接入单元中的一个IRAP图片具有等于BLA_W_LP或BLA_W_RADL的nal_unit_type时，同一接入单元中的任何其它IRAP图片都将具有等于BLA_W_LP、BLA_W_RADL或CRA_NUT的nal_unit_type。

注意：当接入单元中的一个IRAP图片具有等于CRA_NUT的nal_unit_type时，同一接入单元中的任何其它IRAP图片都必须具有等于CRA_NUT、BLA_W_LP、BLA_W_RADL或BLA_N_LP的nal_unit_type。

替代地，视频编码器20可以经配置以产生经编码位流，使得不允许在较低层中具有BLA_N_LP且在较高层中具有CRA_NUT。因此，上述项3和4可以改变成：

3)当接入单元中的一个IRAP图片具有等于BLA_N_LP的nal_unit_type且具有等于layerId的nuh_layer_id时，相同接入单元中的具有小于layerId的nuh_layer_id的任何其它IRAP图片都将具有等于BLA_N_LP或CRA_NUT的nal_unit_type。

4)当接入单元中的一个IRAP图片具有等于BLA_W_LP或BLA_W_RADL的nal_unit_type且具有等于layerId的nuh_layer_id时，相同接入单元中的具有小于layerId的nuh_layer_id的任何其它IRAP图片都将具有等于BLA_W_LP、BLA_W_RADL或CRA_NUT的nal_unit_type。

替代地，视频编码器20可以经配置以产生经编码位流，使得不允许在较低层中具有BLA_N_LP且在较高层中具有CRA_NUT。因此，上述项3和4可以改变成：

3)当接入单元中的一个IRAP图片具有等于BLA_N_LP的nal_unit_type且具有等于layerIdA的nuh_layer_id时，相同接入单元中的具有等于layerIdB的nuh_layer_id的任何其它IRAP图片(其中layerIdB小于layerIdA且direct_dependency_flag[LayerIdxInVps[layerIdA]][LayerIdxInVps[layerIdB]]等于1)都将具有等于BLA_N_LP或CRA_NUT的nal_unit_type。

4)当接入单元中的一个IRAP图片具有等于BLA_W_LP或BLA_W_RADL的nal_unit_type且具有等于layerIdA的nuh_layer_id时，相同接入单元中的具有等于layerIdB的nuh_layer_id的任何其它IRAP图片(其中layerIdB小于layerIdA且direct_dependency_flag[LayerIdxInVps[layerIdA]][LayerIdxInVps[layerIdB]]等于1)都将具有等于BLA_W_LP、BLA_W_RADL或CRA_NUT的nal_unit_type。

替代地，视频编码器20可以经配置以产生对跨层IRAP图片对齐实施以下限制的经编码的视频数据的位流：

1)当接入单元中的一个IRAP图片具有等于BLA_W_LP、BLA_W_RADL或BLA_N_LP的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于BLA_W_LP、BLA_W_RADL或BLA_N_LP的nal_unit_type。

2)当接入单元中的一个IRAP图片具有等于IDR_W_RADL或IDR_N_LP的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于IDR_W_RADL或IDR_N_LP的nal_unit_type。

3)当接入单元中的一个IRAP图片具有等于CRA_NUT的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于CRA_NUT的nal_unit_type。

图3是图示可以实施本发明中描述的技术的实例视频解码器30的框图。在图3的实例中，视频解码器30包含视频数据存储器78、熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90、滤波器单元91以及经解码图片缓冲器92。预测处理单元81包含运动补偿单元82及帧内预测处理单元84。在一些实例中，视频解码器30可执行大体上与关于来自图2的视频编码器20描述的编码遍次互逆的解码遍次。

视频数据存储器78可以存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储器78中的视频数据可以经由视频数据的有线或无线网络通信或通过访问物理数据存储媒体(例如)从计算机可读媒体16(例如，从本地视频源，例如相机)获得。视频数据存储器78可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器92可为参考图片存储器，其存储用于由视频解码器30例如在帧内或帧间译码模式中对视频数据解码的参考视频数据。视频数据存储器78和经解码图片缓冲器92可通过多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器78和经解码图片缓冲器92可由相同存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器78可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。

在解码过程期间，视频解码器30将表示经编码视频切片和相关联的语法元素的视频块的经编码视频位流从视频编码器20接收到视频数据存储器78中。视频解码器30可从网络实体29接收经编码视频位流。网络实体29可例如为服务器、MANE、视频编辑器/拼接器，或经配置以实施上文所描述的技术中的一或多者的其它此类装置。网络实体29可包含或可不包含视频编码器，例如视频编码器20。在网络29将经编码视频位流发射到视频解码器30之前，可由网络实体29实施本发明中描述的技术中的一些。在一些视频解码***中，网络实体29和视频解码器30可为单独装置的部分，而在其它情况下，关于网络实体29描述的功能性可由包括视频解码器30的相同装置执行。

视频解码器30的熵解码单元80对位流进行熵解码以产生经量化的系数、运动向量及其它语法元素。熵解码单元80将运动向量和其它语法元素转发到预测处理单元81。视频解码器30可以接收在视频切片水平和/或视频块水平处的语法元素。

当将视频切片译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于用信号发出的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当将视频帧译码为经帧间译码(即，B、P或GPB)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量和其它语法元素而产生当前视频切片的视频块的预测块。预测块可以从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可以基于存储在经解码图片缓冲器92中的参考图片使用默认构造技术构造参考帧列表：列表0和列表1。

运动补偿单元82通过解析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于经解码的当前视频块的预测块。例如，运动补偿单元82使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块解码的其它信息。

运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元82可从所接收语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测块。

反量化单元86对提供于位流中且由熵解码单元80解码的经量化的变换系数进行反量化(即，去量化)。反量化过程可包含使用通过视频编码器20针对视频切片中的每一视频块计算的量化参数以确定应该应用的量化程度和同样的反量化程度。反变换处理单元88将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数，以便产生像素域中的残余块。

在运动补偿单元82基于运动向量和其它语法元素产生用于当前视频块的预测块之后，视频解码器30通过将来自反变换处理单元88的残余块与由运动补偿单元82产生的相对应的预测块求和而形成经解码视频块。求和器90表示执行此求和操作的组件。如果需要，还可使用环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者以其它方式改进视频质量。滤波器单元91既定表示一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管在图3中将滤波器单元91示出为环路内滤波器，但在其它配置中，可将滤波器单元91实施为环路后滤波器。随后将给定帧或图片中的经解码视频块存储在经解码图片缓冲器92中，所述经解码图片缓冲器存储用于随后的运动补偿的参考图片。经解码图片缓冲器92还存储经解码视频以用于稍后呈现在显示器装置(例如，图1的显示器装置32)上。

以此方式，图3的视频解码器30表示经配置以对遵守以下对跨层IRAP图片对齐的限制中的一些或全部的视频数据的经编码位流解码的视频解码器的实例。

1)当接入单元中的一个IRAP图片具有等于IDR_N_LP的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于IDR_N_LP的nal_unit_type。

2)当接入单元中的一个IRAP图片具有等于IDR_W_RADL的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于IDR_W_RADL的nal_unit_type。

3)当接入单元中的一个IRAP图片具有等于BLA_N_LP的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于BLA_N_LP或CRA_NUT的nal_unit_type。

4)当接入单元中的一个IRAP图片具有等于BLA_W_LP或BLA_W_RADL的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于BLA_W_LP、BLA_W_RADL或CRA_NUT的nal_unit_type。

注意：当接入单元中的一个IRAP图片具有等于CRA_NUT的nal_unit_type时，相同接入单元中的任何其它IRAP图片都必须具有等于CRA_NUT、BLA_W_LP、BLA_W_RADL或BLA_N_LP的nal_unit_type。

替代地，视频解码器30可以经配置以对视频位流解码，使得在位流中不允许在较低层中具有BLA_N_LP且在较高层中具有CRA_NUT。因此，上述项3和4可以如下改变：

3)当接入单元中的一个IRAP图片具有等于BLA_N_LP的nal_unit_type且具有等于layerId的nuh_layer_id时，相同接入单元中的具有小于layerId的nuh_layer_id的任何其它IRAP图片都将具有等于BLA_N_LP或CRA_NUT的nal_unit_type。

4)当接入单元中的一个IRAP图片具有等于BLA_W_LP或BLA_W_RADL的nal_unit_type且具有等于layerId的nuh_layer_id时，相同接入单元中的具有小于layerId的nuh_layer_id的任何其它IRAP图片都将具有等于BLA_W_LP、BLA_W_RADL或CRA_NUT的nal_unit_type。

替代地，视频解码器可以经配置以对视频位流解码，使得不允许在较低层中具有BLA_N_LP且在较高层中具有CRA_NUT。因此，项3和4可以如下改变。

3)当接入单元中的一个IRAP图片具有等于BLA_N_LP的nal_unit_type且具有等于layerIdA的nuh_layer_id时，相同接入单元中的具有等于layerIdB的nuh_layer_id的任何其它IRAP图片(其中layerIdB小于layerIdA且direct_dependency_flag[LayerIdxInVps[layerIdA]][LayerIdxInVps[layerIdB]]等于1)都将具有等于BLA_N_LP或CRA_NUT的nal_unit_type。

4)当接入单元中的一个IRAP图片具有等于BLA_W_LP或BLA_W_RADL的nal_unit_type且具有等于layerIdA的nuh_layer_id时，相同接入单元中的具有等于layerIdB的nuh_layer_id的任何其它IRAP图片(其中layerIdB小于layerIdA且direct_dependency_flag[LayerIdxInVps[layerIdA]][LayerIdxInVps[layerIdB]]等于1)都将具有等于BLA_W_LP、BLA_W_RADL或CRA_NUT的nal_unit_type。

替代地，视频解码器30可以经配置以对视频位流解码，所述视频位流并入有以下对跨层IRAP图片对齐的限制。

1)当接入单元中的一个IRAP图片具有等于BLA_W_LP、BLA_W_RADL或BLA_N_LP的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于BLA_W_LP、BLA_W_RADL或BLA_N_LP的nal_unit_type。

2)当接入单元中的一个IRAP图片具有等于IDR_W_RADL或IDR_N_LP的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于IDR_W_RADL或IDR_N_LP的nal_unit_type。

3)当接入单元中的一个IRAP图片具有等于CRA_NUT的nal_unit_type时，相同接入单元中的任何其它IRAP图片都将具有等于CRA_NUT的nal_unit_type。

图4是图示形成网络100的部分的一组实例装置的框图。在此实例中，网络100包含路由装置104A、104B(路由装置104)和转码装置106。路由装置104和转码装置106既定表示可形成网络100的部分的少数装置。例如交换机、集线器、网关、防火墙、桥接器及其它此类装置的其它网络装置也可包含在网络100内。另外，可沿着服务器装置102与客户端装置108之间的网络路径提供另外的网络装置。在一些实例中，服务器装置102可与源装置12(图1)相对应，而客户端装置108可与目的地装置14(图1)相对应。图4的装置表示在本发明中描述的经配置以处理视频数据(例如由视频编码器20产生的视频数据)的装置的实例。

一般来说，路由装置104实施一或多个路由协议以通过网络100交换网络数据。在一些实例中，路由装置104可经配置以执行代理或高速缓存操作。因此，在一些实例中，路由装置104可被称为代理装置。一般来说，路由装置104执行路由协议以通过网络100发现路线。通过执行此类路由协议，路由装置104B可发现从自身经由路由装置104A到服务器装置102的网络路线。

可通过例如路由装置104和转码装置106等网络装置实施本发明的技术，并且可通过客户端装置108实施本发明的技术。以此方式，路由装置104、转码装置106和客户端装置108表示经配置以执行本发明的技术的装置的实例。此外，图1的装置以及图2中所说明的编码器20和图3中所说明的视频解码器30也为可经配置以执行本发明的技术的示例性装置。

例如，服务器装置102可包含用以对在随机存取点或流调适点(例如时间层切换点或其它流调适点)之后的图片编码。例如，此点可为用于调适位速率、帧速率(即，时间层切换点)或空间分辨率的切换点。类似地，客户端装置108可对在随机存取点或流调适点(例如，时间层切换点)之后的一或多个图片解码。

图5是示出根据本发明的技术的处理(例如，解码或路由)视频数据的方法的实例的流程图。图5的技术将参考通用视频处理装置来描述。视频处理装置可以例如与视频解码器30、网络实体29、路由装置104A和104B或转码装置106中的任一者相对应。

视频处理装置接收包含接入单元的第一图片的第一NAL单元(150)。响应于确定第一NAL单元包含IRAP图片且响应于第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的IDR图片的存在，对于所述接入单元的包括另一IRAP图片的第二NAL单元，所述视频处理装置将第二NAL单元的NAL单元类型确定为指示没有任何相关联的前导图片的IDR图片的存在的NAL单元类型(152)。所述视频处理装置基于第二NAL单元的NAL单元类型处理第一NAL单元和第二NAL单元(154)。第二NAL单元可以例如是VCLNAL单元。根据图5的技术的另一方面，响应于确定第一NAL单元包括IRAP图片且响应于第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的IDR图片的存在，对于所述接入单元的包括IRAP图片的所有VCLNAL单元，所述视频处理装置可以将所述NAL单元的NAL单元类型确定为指示没有任何相关联的前导图片的IDR图片的存在的NAL单元类型。

在图5的实例中，所述视频处理装置可以通过在解析第二NAL单元之前，推断第二NAL单元的NAL单元类型是指示没有任何相关联的前导图片的IDR图片的存在的NAL单元类型，将第二NAL单元的NAL单元类型确定为指示没有任何相关联的前导图片的IDR图片的存在的NAL单元类型。

在图5的实例中，所述视频处理装置可以通过基于第二NAL单元类型做出关于经解码图片缓冲器的决定而基于第二NAL单元的NAL单元类型处理第一NAL单元和第二NAL单元。例如，所述视频处理装置可以确定某些图片可以丢弃或某些图片需要保持。所述视频处理装置还可以基于第二NAL单元的NAL单元类型分配存储器。

在其中视频处理装置包含视频解码器的实例中，所述视频处理装置可以通过基于第二NAL单元的NAL单元类型对第一NAL单元和第二NAL单元解码，而基于第二NAL单元的NAL单元类型处理第一NAL单元和第二NAL单元。

图6是示出根据本发明的技术的处理(例如，编码或路由)视频数据的方法的实例的流程图。图6的技术将参考通用视频处理装置来描述。视频处理装置可以例如与视频编码器20、网络实体29、路由装置104A和104B或转码装置106中的任一者相对应。

视频处理装置处理包括接入单元的第一图片的第一NAL单元(160)。响应于确定第一NAL单元包括IRAP图片且响应于第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的IDR图片的存在，对于所述接入单元的包括另一IRAP图片的第二NAL单元，所述视频处理装置将第二NAL单元的NAL单元类型设定为指示没有任何相关联的前导图片的IDR图片的存在的NAL单元类型(162)。所述视频处理装置基于第一NAL单元的NAL单元类型和第二NAL单元的NAL单元类型处理第一NAL单元和第二NAL单元(164)。第二NAL单元可以例如是视频译码层VCLNAL单元。在一些实施方案中，响应于确定第一NAL单元包括IRAP图片且响应于第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的IDR图片的存在，对于所述接入单元的包括IRAP图片的所有视频译码层(VCL)NAL单元，所述视频处理装置可以将所述NAL单元的NAL单元类型设定为指示没有任何相关联的前导图片的IDR图片的存在的NAL单元类型。

在其中视频处理装置是视频编码器的实例中，所述视频处理装置可以通过对第一NAL单元和第二NAL单元编码而基于第一NAL单元的NAL单元类型和第二NAL单元的NAL单元类型处理第一NAL单元和第二NAL单元。在其中视频处理装置是MANE的实例中，所述视频处理装置可以通过发射第一NAL单元和第二NAL单元而基于第一NAL单元的NAL单元类型和第二NAL单元的NAL单元类型处理第一NAL单元和第二NAL单元。

在一或多个实例中，所描述的功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可以作为一或多个指令或代码存储在计算机可读媒体上或在计算机可读媒体上发射，并且由基于硬件的处理单元执行。计算机可读媒体可以包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含(例如，根据一种通信协议)促进将计算机程序从一处传送到另一处的任何媒体的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)有形计算机可读存储媒体，其为非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用的媒体。计算机程序产品可包含计算机可读媒体。

借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称为计算机可读媒体。例如，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上涉及非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各者的组合也应包含在计算机可读媒体的范围内。

指令可由一或多个处理器执行，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所描述的功能性可以提供于经配置用于编码和解码的专用硬件和/或软件模块内，或者并入于组合编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或者通过可互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已经描述各种实例。这些和其它实例在以下权利要求书的范围内。

Claims (30)

1.一种处理所接收的视频数据的方法，所述方法包括：

接收包括接入单元的第一图片的第一网络抽象层NAL单元；

响应于确定所述第一NAL单元包括帧内随机接入点IRAP图片且响应于确定所述第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的瞬时解码刷新IDR图片的存在，将第二NAL单元的NAL单元类型确定为指示所述没有任何相关联的前导图片的IDR图片的存在的NAL单元类型，其中所述接入单元的所述第二NAL单元包括另一IRAP图片；以及，

基于所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

2.根据权利要求1所述的方法，其中将所述第二NAL单元的NAL单元类型确定为指示所述没有任何相关联的前导图片的IDR图片的存在的NAL单元类型包括：在解析所述第二NAL单元之前，推断所述第二NAL单元的所述NAL单元类型是指示所述没有任何相关联的前导图片的IDR图片的存在的所述NAL单元类型。

3.根据权利要求1所述的方法，其中基于所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元包括基于所述第二NAL单元类型做出关于经解码图片缓冲器的决定。

4.根据权利要求1所述的方法，其中基于所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元包括基于所述第二NAL单元类型分配视频解码器的存储器。

5.根据权利要求1所述的方法，其中所述第二NAL单元包括视频译码层VCLNAL单元。

6.根据权利要求1所述的方法，其进一步包括：

响应于确定所述第一NAL单元包括所述IRAP图片且响应于所述第一NAL单元的所述NAL单元类型指示所述没有任何相关联的前导图片的IDR图片的所述存在，对于所述接入单元的包括IRAP图片的所有视频译码层VCLNAL单元，将所述NAL单元的NAL单元类型确定为指示所述没有任何相关联的前导图片的IDR图片的存在的NAL单元类型。

7.根据权利要求1所述的方法，其中基于所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元包括基于所述第二NAL单元的所述NAL单元类型对所述第一NAL单元和所述第二NAL单元解码。

8.根据权利要求1所述的方法，其中处理视频数据包括以下各者中的一者：

对所述视频数据编码；

对所述视频数据解码；

解析所述视频数据；或

对所述视频数据转码。

9.一种处理视频数据的方法，所述方法包括：

处理包括接入单元的第一图片的第一网络抽象层NAL单元；

响应于确定所述第一NAL单元包括帧内随机接入点IRAP图片且响应于所述第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的瞬时解码刷新IDR图片的存在，对于所述接入单元的包括另一IRAP图片的第二NAL单元，将所述第二NAL单元的NAL单元类型设定为指示所述没有任何相关联的前导图片的IDR图片的存在的NAL单元类型；以及，

基于所述第一NAL单元的所述NAL单元类型和所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

10.根据权利要求9所述的方法，其中基于所述第一NAL单元的所述NAL单元类型和所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元包括对所述第一NAL单元和所述第二NAL单元编码。

11.根据权利要求9所述的方法，其中基于所述第一NAL单元的所述NAL单元类型和所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元包括发射所述第一NAL单元和所述第二NAL单元。

12.根据权利要求9所述的方法，其中所述第二NAL单元包括视频译码层VCLNAL单元。

13.根据权利要求9所述的方法，其进一步包括：

响应于确定所述第一NAL单元包括所述IRAP图片且响应于所述第一NAL单元的所述NAL单元类型指示所述没有任何相关联的前导图片的IDR图片的所述存在，对于所述接入单元的包括IRAP图片的所有视频译码层VCLNAL单元，将所述NAL单元的NAL单元类型设定为指示所述没有任何相关联的前导图片的IDR图片的存在的NAL单元类型。

14.一种用于处理所接收的视频数据的视频处理装置，所述视频处理装置包括：

存储器，其存储视频数据；以及

一或多个处理器，其经配置以：

接收包括接入单元的第一图片的第一网络抽象层NAL单元；

响应于确定所述第一NAL单元包括帧内随机接入点IRAP图片且响应于确定所述第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的瞬时解码刷新IDR图片的存在，将第二NAL单元的NAL单元类型确定为指示所述没有任何相关联的前导图片的IDR图片的存在的NAL单元类型，其中所述接入单元的所述第二NAL单元包括另一IRAP图片；以及，

基于所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

15.根据权利要求14所述的视频处理装置，其中所述一或多个处理器进一步经配置以：通过在解析所述第二NAL单元之前推断所述第二NAL单元的所述NAL单元类型是指示所述没有任何相关联的前导图片的IDR图片的存在的NAL单元类型，将所述第二NAL单元的NAL单元类型确定为指示所述没有任何相关联的前导图片的IDR图片的存在的所述NAL单元类型。

16.根据权利要求14所述的视频处理装置，其中所述一或多个处理器通过基于所述第二NAL单元类型做出关于经解码图片缓冲器的决定而基于所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

17.根据权利要求14所述的视频处理装置，其中所述一或多个处理器通过基于所述第二NAL单元类型分配视频解码器的存储器而基于所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

18.根据权利要求14所述的视频处理装置，其中所述第二NAL单元包括视频译码层VCLNAL单元。

19.根据权利要求14所述的视频处理装置，其中所述一或多个处理器进一步经配置以，响应于确定所述第一NAL单元包括所述IRAP图片且响应于所述第一NAL单元的所述NAL单元类型指示所述没有任何相关联的前导图片的IDR图片的所述存在，对于所述接入单元的包括IRAP图片的所有视频译码层VCLNAL单元，将所述NAL单元的NAL单元类型确定为指示所述没有任何相关联的前导图片的IDR图片的存在的NAL单元类型。

20.根据权利要求14所述的视频处理装置，其中所述一或多个处理器通过基于所述第二NAL单元的所述NAL单元类型对所述第一NAL单元和所述第二NAL单元解码而基于所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

21.根据权利要求14所述的视频处理装置，其中所述视频处理装置包括视频编码器。

22.根据权利要求14所述的视频处理装置，其中所述视频处理装置包括视频解码器。

23.根据权利要求14所述的视频处理装置，其中所述视频处理装置包括媒体感知网络元件MANE。

24.一种用于处理视频数据的视频处理装置，所述视频处理装置包括：

存储器，其存储视频数据；以及

一或多个处理器，其经配置以：

处理包括接入单元的第一图片的第一网络抽象层NAL单元；

响应于确定所述第一NAL单元包括帧内随机接入点IRAP图片且响应于所述第一NAL单元的NAL单元类型指示没有任何相关联的前导图片的瞬时解码刷新IDR图片的存在，对于所述接入单元的包括另一IRAP图片的第二NAL单元，将所述第二NAL单元的NAL单元类型设定为指示所述没有任何相关联的前导图片的IDR图片的存在的NAL单元类型；以及，

基于所述第一NAL单元的所述NAL单元类型和所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

25.根据权利要求24所述的视频处理装置，其中所述一或多个处理器通过对所述第一NAL单元和所述第二NAL单元编码而基于所述第一NAL单元的所述NAL单元类型和所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

26.根据权利要求24所述的视频处理装置，其中所述一或多个处理器通过发射所述第一NAL单元和所述第二NAL单元而基于所述第一NAL单元的所述NAL单元类型和所述第二NAL单元的所述NAL单元类型处理所述第一NAL单元和所述第二NAL单元。

27.根据权利要求24所述的视频处理装置，其中所述第二NAL单元包括视频译码层VCLNAL单元。

28.根据权利要求24所述的视频处理装置，所述一或多个处理器过程进一步经配置以，响应于确定所述第一NAL单元包括所述IRAP图片且响应于所述第一NAL单元的所述NAL单元类型指示所述没有任何相关联的前导图片的IDR图片的所述存在，对于所述接入单元的包括IRAP图片的所有视频译码层VCLNAL单元，将所述NAL单元的NAL单元类型确定为指示所述没有任何相关联的前导图片的IDR图片的存在的NAL单元类型。

29.根据权利要求24所述的视频处理装置，其中所述视频处理装置包括视频编码器。

30.根据权利要求24所述的视频处理装置，其中所述视频处理装置包括媒体感知网络元件MANE。