CN101548548B - 用于在视频编码中提供画面输出指示的***和方法 - Google Patents

Abstract

当不期望画面输出时，用于控制经解码的画面输出和应用的显式的信令元素。使用诸如在经编码的视频比特流中语法元素的信号元素，来指示(1)是否输出特定经解码的画面；(2)是否输出画面的特定组，其中可显式地用信号传送画面组，或者隐式地导出画面组；(3)是否输出画面的特定部分。信号元素可以是其所关联的访问单元或经编码的画面的部分，或信号元素可以驻留于来自经编码的画面或访问单元的单独语法结构之内，诸如序列参数组。可由视频编码***中的编码器和解码器二者，以及产生比特流的子集作为输出的处理单元，来使用该信号元素。

Description

用于在视频编码中提供画面输出指示的***和方法

技术领域

本发明涉及视频编码。更特别地，本发明涉及使用经解码的画面用于除输出之外的目的。

背景技术

本节意在提供在权利要求中叙述的本发明的背景或上下文。此处的说明书可包括将被遵循的概念，但是，这些概念并非必然是先前已经被构想或遵循的概念。因而，除非在此处另外地指出，在此节中所描述的内容并非是此申请的说明书和权利要求的现有技术，以及并非通过包括在此节中而承认其为现有技术。

视频编码标准包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或者ISO/IEC MPEG-2 Visual、ITU-H H.263、ISO/IECMPEG-4 Visual以及ITU-T H.264(也作为ISO/IEC MPEG-4AVC而为人所知)。此外，当前也有关于新的视频编码标准的开发的正在进行的努力。一种此类正在开发的标准是可伸缩视频编码(SVC)标准，其将成为对H.264/AVC的可伸缩扩展。另一个正在开发的标准是多路视频标准(multivideo coding standard，MVC)，其也是H.264/AVC的一种扩展。依然另一种努力，涉及中国开发的视频编码标准。

在从http://ftp3.itu.ch/av-arch/jvt-site/2006_07_Klagenfurt/JVT-T201.zip可获得的“JVT-T201，’Joint Draft 7 of SVC Amendment’，20th JVT Meeting，Klagenfurt，Austria，July 2006”中描述了SVC的草案。在从http://ftp3.itu.ch/av-arch/jvt-site/2006_07_Klagenfurt/JVT-T208.zip可获得的“JVT-T208，‘Joint Multiview Video Model(JMVM)1.0’，20th JVT meeting，Klagenfurt，Austria，July 2006”中描述了MVC的草案。通过引用其整体而将这两种文档合并于此。

在可伸缩视频编码(SVC)中，可将视频信号编码到基本层和以锥形方式构建的一个或多个增强层。增强层增强了时间解析度(即，帧率)、空间解析度、或者由另一层或另一层的部分展现的视频内容的质量。连同其从属层的每个层是对视频信号的以特定空间解析度、时间解析度和质量等级的一种展现。将连同其从属层的可伸缩层称作“可伸缩层展现(scalable layer representation)”。可提取对应于可伸缩层展现的可伸缩比特流的部分，并将其解码，以在特定逼真度产生对原始信号的展现。

在一些情况下，可将在增强层中的数据在特定位置之后或者在任意位置截断，其中每个截断位置可包括展现愈加增强的视觉质量的附加的数据。将此类可伸缩性称为精细颗粒(粒度)的伸缩性(fine-grained(granularity)scalability，FGS)。与FGS相反，将由那些不能被截断的增强层提供的伸缩性成为粗颗粒(粒度)伸缩性(coarse-grained(granularity)scalability，CGS)。CGS全体地包括传统质量(SNR)的伸缩性和空间伸缩性。

联合视频小组(Joint Video Team，JVT)已经处于对作为H.264/Advanced Video Coding(AVC)标准的扩展的SVC标准的开发过程中。SVC使用与H.264/AVC相同的机制，来提供时间伸缩性。在AVC中，通过使用后继相关的补充增强信息(SEI)消息来实现时间伸缩性信息的信令。

SVC使用层间预测机制，其中可从不同于当前被重建的层或接下来的更低层的层中预测特定信息。可被预测的中间层的信息包括纹理间数据、运动数据和残余数据。层间运动预测包括对块编码模式、头部信息等的预测，其中可使用来自较低层的运动信息来预测较高层。在内编码(intra coding)的情况下，从较低层的周围宏块或同在宏块中进行预测是可能的。这些预测技术不利用运动信息，以及因而，将其称作内预测技术。进一步地，也可利用来自较低层的残余数据来预测当前层。

用于SVC编码器的输出和SVC解码器的输入的初等的(elementary)单元是网络抽象层(NAL)单元。可将由编码器生成的一系列NAL单元称作NAL单元流。为在面向分组的网络上传输或者在结构化文件中存储，典型地将NAL单元封装在分组或类似的结构体中。在不提供帧结构的传输或存储环境中，已经在H.264/AVC标准的附件B中描述了类似于基于开始码的比特流结构的比特流格式。比特流格式通过在每个NAL单元之前附上开始码而对NAL单元彼此作出区分。

补充增强信息(SEL)NAL单元包括一个或多个SEI消息，对于输出画面的解码其不是必须的，有助于相关的过程，诸如画面输出时序、渲染、错误检测、错误隐藏和资源预约。在H.264/AVC标准中描述了约20个SEI消息，以及在SVC中描述了其他SEI消息。用户数据SEI消息允许组织和公司为其自己的使用而描述SEI消息。H.264/AVC和SVC包含所指定的SEI消息的语法和语义，但是，没有定义在接收端中的用于处理消息的过程。因而，当编码器创建SEI消息时，需要编码器来遵循H.264/AVC或SVC标准，以及遵从H.264/AVC或SVC标准的解码器无需为输出次序一致性而处理SEI消息。在H.264/AVC和SVC中包括SEI消息的语法和语义的原因之一在于允许诸如数字视频广播规范的***规范来等同地解释补充信息以及因而来互操作。意图在于，***规范会需要在编码端和解码端二者中使用特定的SEI消息，以及在***规范中可为了应用而描述在接收端中处理SEI消息的过程。

在H.264/AVC和SVC中，将贯穿编码视频序列而保持不变的编码参数包括在序列参数集(sequence parameter set)中。除了解码过程的重要参数，序列参数集可选地可包括视频可用性信息(VUI)，其包括对于缓冲、画面输出时序、渲染和资源预约重要的参数。有两种专用于承载序列参数集的结构——包含用于在序列中的H.264/AVC画面的所有数据的序列参数集NAL单元，以及用于SVC的序列参数集扩展。画面参数集包含此类参数，这些参数在若干经编码的画面中可能是不变的。在每个片断的头部重复频繁改变的画面级别的数据，以及画面参数集承载余下的画面级别的参数。H.264/AVC语法支持序列和画面参数集的许多实例，以及用唯一的标识符标识每个实例。每个片断的头部包括画面参数集的标识符，该画面参数集对解码包含该片断的该画面有效，以及每个画面参数集包含有效序列参数集的标识符。因而，对画面和序列参数集的传输不必精确地与对片段的传输同步。而是，在要参考活动序列和画面参数集的任何时刻之前，接收该有效序列和画面参数集是足够的，其允许使用与用于片段数据的协议相比更可靠的传输机制来传输参数集。例如，可将参数集作为MIME参数而包括在用于H.264/AVC实时协议(RTP)会话的会话描述中。每当在使用中的应用中可用的时候，推荐使用带外可靠的传输机制。如果在带内传输参数集，可以重复它们来提高错误鲁棒性。

在多视角(multi-view)视频编码中，将每个对应于不同视角的来自不同摄像机的输出的视频序列编码到一个比特流。在解码之后，为显示特定视角，而重建和显示属于该视角的经解码的画面。重建和显示多于一个视角也是可能的。多视角视频编码具有广泛多种应用，包括自由视角视频/电视、3D TV和监视。

在H.264/AVC、SVC或MVC中，包含经编码的片段或片段数据部分的NAL单元称为视频编码层(VCL)NAL单元。其他NAL单元是非VCL NAL单元。所有属于特定时间的NAL单元都形成访问单元。

覆盖编码(overlay coding)基于对渐变的场景变化和运行时合成的源序列的独立编码。在覆盖编码中，将此处被称为成分图形(component image)的从两个场景中重建的画面存储在多画面缓冲中，以支持在变化期间的有效的运动补偿。仅为显示的目的而从成分画面中组成叠像渐变的(cross-faded)场景变化。将覆盖成分图像覆盖，使得上部画面是部分透明的。将下部画面称作源画面。用在源画面和上部画面之间的滤波操作定义为叠像渐变。

有大量应用或用例，其需要解码经编码的参考画面，以及对所得的经解码的参考画面的存储，但是，同时，希望防止输出或显示经解码的画面。一种此类场景涉及对可伸缩比特流的编码，其中基本层用于对质量精度增强层和空间精度增强层的预测。在此情况下，基本层不将原始未压缩的画面展现为要显示的充分的质量。不从空间精度增强层预测质量精度增强层，或者反之亦然。依赖于解码器的能力，仅提供基本层和质量精度增强层、或基本层和空间精度增强层用于解码。在此情况下，提供质量精度增强层和空间精度增强层二者用于解码是没有益处的。为要被显示的基本层没有充分编码的指示而发信号，将防止解码器仅解码基本层，以及防止媒介感知网元(MANE)剪除所转发的比特流以便仅包含基本层。

在另一种情况下，希望解码和存储经编码的画面作为参考画面，同时防止经解码的画面被输出或显示涉及多个增强层的情况。在此情况下，有益的是，预想两个增强层A和B，其中A依赖于基本层而B依赖于A。层A或B可以是质量增强层或空间增强层。基本层的质量对于显示并不足够高，以及层A和B二者能提供可接受的显示质量。因此，理想的是，当需要的时候(例如，遭遇到网络连接带宽改变)在层A和B之间切换。与上面相类似的，为基本层没有为显示而充分编码的指示而发信号，将防止解码器仅解码基本层，以及防止媒介感知网元(MANE)剪除所转发的比特流使得仅包含基本层。

第三种此类情况涉及在解码器中基于没有输出的画面而同步输出画面。一个例子涉及交叠编码，其为用于编码逐步的场景变换而提出。另一个例子涉及对广播标志的***。在此情况下，独立于该标志而编码电视节目或类似的内容。将该标志编码为独立的具有相关联的透明信息(例如，阿尔法平面)的画面。广播方希望掌管对该标志的显示。因此，该标志在“主”内容的画面上的混合是视频解码标准中的规范的部分。当希望将“主”内容的画面和该标志画面自身标记为不输出时，仅输出经混合的画面。

当前，已经将指示应当解码而不输出画面的概念限制于特定使用情况。在此情况下，在一种此类情况下，使用作为H.263和H.264/AVC的SEI消息而描述的冻结画面命令。这些SEI消息指引解码设备的显示过程。这些SEI消息没有影响解码器自身的输出。完整画面冻结请求功能，指示了在除其他方面之外的由完整画面冻结释放请求或发生超时而通知之前，应当将整体的在前显示的视频画面的内容保持为不变。空间画面冻结请求类似于完整画面请求，但仅涉及所指示的画面的矩形区域。

在另一个此类情况中，维持并更新背景画面。可将背景画面用作预测参考，但其从不被输出。当第一INTRA帧或场景改变帧出现时，用该帧闪现(flash)整个背景画面。如果一块具有为零的运动矢量以及经比在背景画面中的对应块更精细的量化编码，那么逐块地更新背景画面。

另一种提供了此类指示的情况，涉及对在H.264/AVC标准中的no_output_of_prior_pics_flag的使用。此标记展现在即时解码刷新(Instantaneous Decoding Refresh，IDR)画面中。当设置为1时，在解码IDR时，不输出按解码顺序在IDR画面之前并驻留在经解码的画面缓冲器中的画面。

提供此类指示的依然另一种情况涉及使用SVC标准的layer_base_flag。使用此标记来指示画面被解码并作为FGS画面的基本展现而存储，以及使用画面作为对晚些的FGS画面的内部预测参考。除非没有接收到FGS增强画面，否则不输出经解码的基本展现。在SVC的较早版本中，使用等于1的key_pic_flag和大于0的quality_level来指示画面已被解码，并作为基本展现而存储，以及使用先前的基本展现作为对此画面的预测参考。

近来，有特殊的使用情况，其中如果没有接收到对应的覆盖画面，则不输出画面。覆盖编码基于对渐变的场景变化和运行时合成的源序列的独立编码。如果接收到相同时刻的覆盖的画面，则解码第一场景的画面，但不输出。覆盖画面包含对在第二场景中的画面的经编码的展现，以及用于在经解码的第一场景和第二场景的画面之间的经指示的操作的组合的参数。解码器执行该操作，并仅输出操作的结果画面，同时第一场景的画面和第二场景的画面保持在经解码的画面缓冲器中作为内部预测参考。在公开号为2003/0142751，2003年1月22日提交的美国专利申请中详细描述了此***，以及通过引用其整体而将其合并于此。

发明内容

本发明提供了在可伸缩编码的视频比特流中对诸如语法元素的一个或多个信令元素的使用。在本发明的多种实施方式中，使用诸如在经编码的视频比特流中的语法元素的一个或多个信号元素，来指示(1)当在产生另一个经解码的画面中意在将对应的经编码的画面与另一个经编码的画面相关联地使用时，特定经解码的画面是否有效和/或在其他方面期望输出；(2)当在产生另一组经解码的画面中意在将对应的经编码的画面与诸如增强可伸缩层的另一组经编码的画面相关联地使用时，诸如可伸缩层的画面的特定组是否有效和/或在其他方面期望输出，其中可显式地发信号传送画面组或者隐式地导出画面组，或者(3)当在产生另一经解码的画面中意在将经编码的画面的对应部分与另一经编码的画面相关联地使用时，画面的特定部分是否有效和/或在其他方面期望输出。例如，基本层和其质量增强层二者可包括两个片段组，一个包含感兴趣的区域而另一个用于“背景”。根据多种发明，当感兴趣的区域需要为了充分的质量而展现增强层的对应片段组时，可以发信号传送基本层画面的背景是好的和/或在其他方面足够期望来输出。信号元素可以是其所关联的经编码的画面或访问单元的部分，或者信号元素可位于来自经编码的画面或访问单元的单独的语法结构之内，该语法结构诸如序列参数组。也可在向经压缩的比特流***标志中，使用本发明的多种实施方式，而无需重编码整个序列。

此外，本发明的多种实施方式涉及使用一个编码器，其将上面讨论的信号元素编码到比特流。可布置编码器来根据前面讨论的任何用例场景来操作。而且，多种实施方式涉及使用解码器，其使用信号元素来断定是否输出画面、画面组、或者画面的部分。

依然进一步地，本发明的多种实施方式涉及对处理单元的使用，该处理单元将包括此处讨论的信号元素的比特流考虑为输入，以及产生比特流的子集作为输出。该子集包括至少一个画面，指出要根据信号元素而输出该画面。可调整处理单元的操作来在特定最小输出画面比特率产生输出，在该情况下，子集包含画面，指出要根据所提出的信号元素至少在最小输出比特率来输出该画面。

注意到，本发明的多种实施方式在比特流的创建者希望需要显示至少特定数量的视角的情况下，可应用于多视角视频编码。例如，可单独为立体显示而创建比特流，以及仅显示视图之一将无法满足创建者的美感目标。在诸如此的环境中，使用本发明的实施方式可禁止对来自解码器的单一视图的输出。

本发明的这些以及其他优点和特征，连同其组织和操作方式，当连同附图而考虑时，将从下面的详细描述中变得显然，其中贯穿下面描述的若干附图，相同的元件具有相同的数字。

附图说明

图1是其中可实现本发明的***的整体图示；

图2是能在本发明的实现中使用的移动设备的透视图；

图3是图2移动设备的电路的示意图；以及

图4是对包括标志的增强层和基本层的图示。

具体实施方式

图1展示了普通的多媒体通信***。如图1所示，数据源100提供以模拟、未压缩数字、或经压缩数字格式、或者这些格式的任何组合的源信号。编码器110将源信号编码到经编码的媒体比特流。编码器110能够编码多于一种媒体类型，诸如音频和视频，或者可需要多于一种编码器110来编码源信号的不同媒体类型。编码器110也可以综合地得到所产生的输出，诸如图形和文本，或者能够产生综合媒体的经编码的比特流。下面，仅考虑对一种媒体类型的一种经编码的媒体比特流的处理，以简化说明。然而，应当指出，典型地实时广播服务包括若干流(典型地至少一个音频、视频和文本字幕流)。也应当指出，***可包括多个编码器，但是在下文中，仅考虑一个编码器110来简化描述而又不失一般性。

将经编码的媒体比特流传输到存储设备120。存储设备120可包括用来存储经编码的媒体比特流的任何类型的大容量存储设备。在存储设备120中的经编码的媒体比特流的格式可以是初等的自包含比特流格式，可将一个或多个经编码的媒体比特流封装到容器文件内。一些***是“直播”操作，即，忽略存储，而从编码器110直接向发送器130传输经编码的比特流。继而，基于需要，将经编码的媒体比特流向也被称作服务器的发送器130加以传输。在传输中使用的格式可以是初等的自包含比特流格式、分组流格式、或者可将一个或多个经编码的媒体比特流封装到容器文件。编码器110、存储设备120和发送器130可驻留在相同的物理设备，或者可将它们包括在单独的设备中。编码器110和发送器130可用直播实时内容而操作，在此情况下，典型地并不永久地存储经编码的媒体比特流，而是在内容编码器110和/或发送器130中作短时间缓冲，以便平滑在处理延迟、传输延迟和经编码的媒体比特率中的变化。

发送器130使用通信协议栈来发送经编码的媒体比特流。栈可包括但不限于实时传输协议(RTP)、用户数据报协议(UDP)和网际协议(IP)。当通信协议栈是面向分组时，发送器130将经编码的媒体比特流封装到分组。例如，当使用RTP时，发送器130根据RTP载荷格式将经编码的媒体比特流封装到RTP分组。典型地，每种媒体类型具有专用的RTP载荷格式。应当再次指出，***可包含多于一个发送器130，但是为了简单化的缘故，下面的描述仅考虑一个发送器130。

发送器130可通过通信网络连接到网关140或不通过通信网络连接到网关140。网关140可执行不同类型的功能，诸如将根据一种通信协议栈的分组流变换到另一种通信协议栈，合并和分开数据流，以及根据下行链路和/或接收器的能力而操作数据流，诸如根据主要的下行链路网络条件而控制所转发的流的比特率。网关140的例子包括多点会议控制单元(MCU)、在电路交换和分组交换视频电话之间的网关、蜂窝按键通话(push-to-talk over Celluar，PoC)服务器、在手持式数字视频广播(DVB-H)***中的IP封装器、或者将广播传输本地转发到家庭无线网络的机顶盒。当使用RTP时，将网关140称作RTP混合器，并充当RTP连接的端点。

***包括一个或多个接收器150，典型地能够将经传输的信号接收、解调和解封装为经编码的媒体比特流。典型地，进一步由解码器160处理经编码的媒体比特流，解码器160的输出是一个或多个未压缩的媒体流。应当指出，能从位于实质上任何类型的网络内的远程设备接收要被解码的比特流。此外，可从本地硬件或软件接收比特流。最后，渲染器170可用例如扬声器或显示器重现未压缩的媒体流。接收器150、解码器160和渲染器170可驻留在相同的物理设备，或者可将它们包括在单独的设备中。

在比特流、解码复杂度和画面尺寸方面的可伸缩性是对于异构和易出错环境的所期望的属性。期望此类属性，以便对抗诸如关于比特率、显示分辨率、网络吞吐量和接收设备中的计算能力的约束的局限性。

应当理解，尽管包含于此的文本和例子可能特别地描述了编码过程，所属领域技术人员可容易地理解到相同的概念和原理也可应用于对应的解码过程，以及反之亦然。应当指出，能从位于实质上任何类型的网络内的远程设备接收要被解码的比特流。此外，可从本地硬件或软件接收比特流。

本发明的通信设备可使用多种传输技术而通信，通信技术包括但不限于码分多址(CDMA)、全球移动通信***(GSM)、通用移动通信***(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/网际协议(TCP/IP)、短消息服务(SMS)、多媒体消息服务(MMS)、电子邮件、即时消息服务(IMS)、蓝牙、IEEE802.11等。通信设备可使用多种媒体而通信，多种媒体包括但不限于无线电、红外、激光、电缆连接等。

图2和图3示出了其中可实现本发明的一个示出性的移动设备12。然而，应当理解，本发明不限于移动设备12的特定类型或者其他电子设备。可将在图5和6中描述的一些或所有特征合并入可在图1中示出的***中利用的任何设备或所有设备。

图2和图3的移动设备12包括外壳30、以液晶显示器形态的显示器32、键区34、麦克风36、耳机38、电池40、红外接口42、天线44、根据本发明的以UICC型式的智能卡46、读卡器48、无线电接口电路52、编解码器电路54、控制器56和存储器58。各个电路和元素都是在例如Nokia系列的移动设备的现有技术中的已知类型。

本发明提供了在可伸缩编解码的视频比特流中对诸如语法元素的信令元素的使用。在本发明的多种实施方式中，使用诸如在经编码的视频比特流中的语法元素的信号元素，来指示(1)当在产生另一个经解码的画面中意在将对应的经编码的画面与另一个经编码的画面相关联地使用时，特定经解码的画面是否有效和/或在其他方面期望输出；(2)当在产生另一组经解码的画面中意在将对应的经编码的画面与诸如增强可伸缩层的另一组经编码的画面相关联地使用时，诸如可伸缩层的画面的特定组是否有效和/或在其他方面期望输出，其中可显式地发信号传送画面组或者隐式地导出画面组；或者(3)当在产生另一经解码的画面中意在将经编码的画面的对应部分与另一经编码的画面相关联地使用时，画面的特定部分是否有效和/或在其他方面期望输出。例如，基本层和其质量增强层二者可包括两个片段组，一个包含感兴趣的区域而另一个用于“背景”。根据多种发明，当感兴趣的区域为了充分的质量的展现而需要增强层的对应片段组时，可以发信号传送基本层画面的背景是好的，和/或足够期望来输出。信号元素可以是其所关联的经编码的画面或访问单元的部分，或者信号元素可驻留于来自经编码的画面或访问单元的单独的语法结构之内，该语法结构诸如序列参数组。

根据本发明的实施方式，在图1中示出类型的编码器110，能将上面讨论的信号元素编码到比特流。可配置编码器110来根据前面讨论的任何用例场景来操作。类似地，解码器160可使用信号元素来确定是否要输出画面、特定画面组、或画面的特定部分。

依然进一步地，以及在本发明的其他实施方式中，配置处理单元来将包括信号元素的比特流考虑为输入，以及产生比特流的子集作为输出。例如，处理单元可以是诸如流服务器的发送器130、或诸如RTP混和器的网关140。比特流的该子集包括至少一个画面，根据信号元素而指出要输出该画面。在多种实施方式中，可调整处理单元的操作来在特定最大输出比特率产生输出，在该情况下，子集包含画面，根据不超过最大输出比特率的信号元素指出要输出该画面。

可将用于指示是否输出特定画面的信号元素包括在例如NAL单元头部、片段头部、或者与画面或访问单元相关联的补充增强层信息(SEI)消息中。SEI消息包含附加信息，可将其***比特流，以便增强对用于广泛多种目的的视频的使用。

下面的语法表展现了根据在SVC标准JVT-T201标准的草案版本中描述的，对NAL单元头部的SVC扩展的调整，其具有反映了根据本发明的多种实施方式的实现的调整。可以根据删除线的指示而删除特定语法。

没有为非VCL NAL单元指定output_flag语义。当VCL NAL单元中output_flag等于0时，其指示将不输出对应于VCL NAL单元的经解码画面。当在VCL NAL单元中output_flag等于1时，其指示输出对应于VCL NAL单元的经解码画面。

指示是否输出诸如特定可伸缩层的画面的特定画面组的信号元素，可以被包括在例如序列参数组中，或者在由SVC描述的可伸缩性信息SEI消息中。下面的语法表展现了根据在JVT-T201中的描述对序列参数组的SVC扩展的调整，其指示了哪个可伸缩层没有被输出。

num_not_output_layers语法指示将不输出的可伸缩层的数量。dependency_id  等于dependency_id[i]以及quality_level等于quality_level[i]的画面不被输出。

指示是否输出特定画面的特定部分的信号元素，可被包括在例如SEI消息、NAL单元头部或者片段头部中。下面的SEI消息指示不输出或不显示画面的哪个片段组。可将SEI消息包括在可伸缩嵌套SEI消息中(JVT-T073)，其指示在SEI消息所涉及的访问单元内的经编码的可伸缩画面。

not_output_slice_group_set(payloadSize){	C	Descriptor
			num_slice_groups_in_set	5	ue(v)
for(i＝0；i＜num_slice_groups_in_set；i++)
			slice_group_id[i]	5	u(v)
}

num_slice_groups_in_set指示不应输出的片段组的数量，但是作为替代，以共同位于先前画面中的经解码的数据作为替代，其中共同位于先前画面中的经解码的数据不限于此消息。slice_group_id[i]指示不应输出的片段组的数量。

在标志***的情况下，可以实现本发明的多种实施方式，用于将标志***经压缩的比特流而不重新编码整个视频序列。期望此类活动的一个例子涉及一种情况，其中诸如电影工作室的内容拥有者向服务提供商提供内容的经压缩版本。编码经压缩版本，用于适合于服务的特定比特率以及画面尺寸。例如，可根据在特定数字视频广播(DVB)规范中描述的集成接收器解码器(IRD)类而选择比特率和画面尺寸。因而，内容拥有者具有对所提供视频质量的完全控制，而服务提供商不必为服务重新编码内容。然而，服务提供商可能期望将其标志添加到流。

在图4中描述了用于尝试解决上述问题的***和方法，其一般地如下所示。如图4所示，没有改变比特流的基本层400(即，第一经编码的画面)。编码增强层410(即，第二经编码画面)，使得将由标志420所遮挡(cover)的区域编码为一个或多个片段。增强层的空间解析度可以不同于基本层的空间解析度。如果在使用的简档(profile)中允许多于一个片段组，那么可以在一个片段组中遮挡标志420，以及因而也在一个片段中遮挡标志420。继而，在经解码或未压缩的区域上混和标志420，以及对遮挡了标志的片段重新编码用于增强层410。将在增强层中的余下的片段的片段头部中的“skipslice”标记设置为1。此等于1的用于片段的“skip slice”标记指示除片断头部外，没有发送进一步的信息用于该片断，在该情况下，使用共同位于用于中间层预测的基本层中的宏块的信息来重建宏块。为了使对内容的无标志版本的撷取(rip)非法化，即使增强层410不存在，解码器也不能输出基础层经解码的画面。可通过将基本层400的所有NAL单元中的output_flag设置为0来实现此特定使用。对于基本层400，将可伸缩信息SEI消息中的layer_output_flag[i]设置为0。

以方法步骤的通用上下文描述了本发明，可通过包括诸如程序代码的由在网络环境中的计算机执行的计算机可执行指令的程序产品将其实现于一种实施方式。一般地，程序模块包括例程、程序、对象、组件、数据结构等，其执行特定任务或实现特定抽象数据类型。计算机可执行指令、相关联的数据结构和程序模块，展现了用于执行公开于此的方法步骤的程序代码的例子。此类可执行指令或相关联的数据结构的特定序列，展现了用于实现在这些步骤中描述的功能的对应活动的例子。

本发明的软件和Web实现可由具有基于规则的逻辑和其他逻辑的用于实现多种数据库搜索步骤、关联步骤、比较步骤和确定步骤的标准编程技术实现。也应当指出，此处和权利要求中所使用的词语“组件”和“模块”意在包括使用一行或多行软件代码、和/或硬件实现、和/或用于接收手工输入的装备的实现。

已经为了示出和描述的目的而展现了对本发明的实施方式的前述描述。并非意在将本发明穷尽或限制于所公开的精确形式，以及根据上面的教义的，调整和变化是可能的，或者从对本发明的实践中可获取调整和变化。选择和描述这些实施方式，以便解释本发明的原则以及其实际的应用，以允许所属领域技术人员以多种实施方式并用适合于所设想的特定用途的多种调整而利用本发明。

Claims (24)

1.一种用于编码视频内容的方法，包括：

将多个画面编码到经编码的比特流；以及

在所述经编码的比特流中提供信息，所述信息与所述经编码的多个画面的至少一部分相关联，以及所述信息指示了所期望的输出属性，所述输出属性指示在产生经解码的画面时，所述多个画面的所述至少一部分要与另一经编码的画面相关联地使用，其中所述信息包括指示器，所述指示器指示了是否要输出所述经编码的多个画面的整个画面和对应画面的一部分之一以用于显示。

2.根据权利要求1所述的方法，其中所述信息进一步包括至少一个标识符元素，所述至少一个标识符元素指示将不输出的所述经编码的多个画面的一组画面和一组画面部分之一。

3.根据权利要求1所述的方法，其中所述经编码的多个画面之一是背景画面，以及其中所述信息进一步指示将不输出所述背景画面。

4.根据权利要求1所述的方法，其中所述信息进一步指示将不输出所述经编码的多个画面的虚拟参考画面。

5.根据权利要求1所述的方法，其中所述经编码的多个画面之一包括经编码的标志。

6.根据权利要求1所述的方法，其中所述经编码的多个画面之一属于经可伸缩编码的视频比特流的基本层和增强层之一。

7.一种用于编码视频内容的装置，包括：

用于将多个画面编码到经编码的比特流的装置；以及

用于在所述经编码的比特流中提供信息的装置，所述信息与所述经编码的多个画面的至少一部分相关联，以及所述信息指示了所期望的输出属性，所述输出属性指示在产生经解码的画面时，所述多个画面的所述至少一部分要与另一经编码的画面相关联地使用，其中所述信息包括指示器，所述指示器指示了是否要输出所述经编码的多个画面的整个画面和对应画面的一部分之一以用于显示。

8.根据权利要求7所述的装置，其中所述信息进一步包括至少一个标识符元素，所述至少一个标识符元素指示将不输出的所述经编码的多个画面的一组画面和一组画面部分之一。

9.根据权利要求7所述装置，其中所述经编码的多个画面之一是背景画面，以及其中所述信息进一步指示将不输出所述背景画面。

10.根据权利要求7所述的装置，其中所述信息进一步指示将不输出所述经编码的多个画面的虚拟参考画面。

11.根据权利要求7所述的装置，其中所述经编码的多个画面之一包括经编码的标志。

12.根据权利要求7所述的装置，其中所述经编码的多个画面之一属于经可伸缩编码的视频比特流的基本层和增强层之一。

13.一种选择性输出多个画面的方法，包括：

从经编码的比特流中解码所述多个画面；

从所述比特流中解码信息，所述信息与所述经解码的多个画面的至少一部分相关联，以及指示了所期望的输出属性，所述输出属性指示在产生经解码的画面时，所述多个画面的所述至少一部分要与另一经编码的画面相关联地使用，其中所述信息包括指示器，所述指示器指示了是否要输出所述经编码的多个画面的整个画面和对应画面的一部分之一以用于显示；以及

基于所述信息而选择性输出所述多个画面。

14.根据权利要求13所述的方法，其中所述信息进一步包括至少一个标识符元素，所述至少一个标识符元素指示将不输出的所述经编码的多个画面的一组画面和一组画面部分之一。

15.根据权利要求13所述的方法，其中所述经编码的多个画面之一是背景画面，以及其中所述信息进一步指示将不输出所述背景画面。

16.根据权利要求13所述的方法，其中所述信息进一步指示将不输出所述经编码的多个画面的虚拟参考画面。

17.根据权利要求13所述的方法，其中所述经编码的多个画面之一包括经编码的标志。

18.根据权利要求13所述的方法，其中所述经编码的多个画面之一属于经可伸缩编码的视频比特流的基本层和增强层之一。

19.一种选择性输出多个画面的装置，包括：

用于从经编码的比特流中解码所述多个画面的装置；

用于从所述比特流中解码信息的装置，所述信息与所述经解码的多个画面的至少一部分相关联，以及指示了所期望的输出属性，所述输出属性指示在产生经解码的画面时，所述多个画面的所述至少一部分要与另一经编码的画面相关联地使用，其中所述信息包括指示器，所述指示器指示了是否要输出所述经编码的多个画面的整个画面和对应画面的一部分之一以用于显示；以及

用于基于所述信息而选择性输出所述多个画面的装置。

20.根据权利要求19所述的装置，其中所述信息进一步包括至少一个标识符元素，所述至少一个标识符元素指示将不输出的所述经编码的多个画面的一组画面和一组画面部分之一。

21.根据权利要求19所述的装置，其中所述经编码的多个画面之一是背景画面，以及其中所述信息进一步指示将不输出所述背景画面。

22.根据权利要求19所述的装置，其中所述信息进一步指示将不输出所述经编码的多个画面的虚拟参考画面。

23.根据权利要求19所述的装置，其中所述经编码的多个画面之一包括经编码的标志。

24.根据权利要求19所述的装置，其中所述经编码的多个画面之一属于经可伸缩编码的视频比特流的基本层和增强层之一。

Images