CN101507278A - 用于数字视频的可变分辨率编码和解码的技术 - Google Patents

Abstract

描述了用于数字视频的可变分辨率编码/解码的技术。装置可包括将视频信息编码成具有基本层和增强层的视频流的视频编码器。基本层可具有第一空间分辨率水平和第一时间分辨率水平。增强层可增加第一空间分辨率水平或第一时间分辨率水平。对其它实施例也予以描述并主张权利。

Description

用于数字视频的可变分辨率编码和解码的技术

背景

数字视频消耗大量的存储和传输容量。典型的原始数字视频序列包括每秒15、30或甚至60帧(帧/秒)。每一帧可包括数十万像素。每一像素即pel表示画面中一微小元素。按原始形式，计算机通常用例如24个比特来表示一像素。因此，典型原始数字视频序列的比特率即每秒比特数可能在每秒5百万比特(比特/秒)或更高的数量级上。

绝大多数媒体处理设备和通信网络缺乏处理原始数字视频的资源。为此，工程师使用压缩(也称为编码或译码)来降低数字视频的比特率。解压缩(或解码)是压缩的逆过程。

一般，在对给定处理设备和/或通信网络选择特定类型的视频压缩时存在设计折衷。例如，压缩可以是无损的，在这种情况下以较高比特率的代价维持高视频质量，或者压缩可以是有损的，在这种情况下视频质量受损但比特率的降低更为显著。绝大多数***设计基于给定的一组设计约束和性能要求在质量和比特率之间作出某些妥协。因此，给定视频压缩技术一般不适于不同类型的媒体处理设备和/或通信网络。

概述

提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的概念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

各种实施例一般针对对于诸如视频、图像、画面等数字媒体内容的数字编码、解码和处理。在某些实施例中，数字媒体内容的数字编码、解码和处理可基于电影与电视工程师协会(SMPTE)标准421M(“VC-1”)视频编解码器标准系列及其变体。更具体地，某些实施例针对多重分辨率视频编码和解码技术以及如何在不打破后向兼容性的情况下在VC-1比特流中启用这样的技术。在一个实施例中，例如，装置可包括被安排成将数字视频信息压缩或编码成扩充的SMPTE VC-1视频流或比特流的视频编码器。该视频编码器可用多层形式编码数字视频信息，诸如基本层和一个或更多个空间和/或时间增强层。基本层可提供所定义的最小程度的空间分辨率和基本水平的时间分辨率。一个或更多个增强层可包括可用于增加编码到基本层中的视频信息的空间分辨率的基本水平和/或时间分辨率的基本水平的编码视频信息。视频解码器可选择性地从基本层和一个或更多个增强层解码出视频信息以便以所需的质量水平回放或再现该视频信息。同样地，音频视频多点控制单元(AVMCU)可基于诸如当前可用的网络带宽和接收器的解码能力等信息选择将来自基本层和一个或更多个增强层的视频信息转发到与会方。对其它实施例也予以描述并主张权利。

附图简述

图1示出了视频捕捉和回放***的实施例。

图2示出了一般视频编码器***的实施例。

图3示出了一般视频解码器***的实施例。

图4示出了视频层分级结构的实施例。

图5示出了第一视频流的实施例。

图6示出了第二视频流的实施例。

图7示出了第三视频流的实施例。

图8示出了第四视频流的实施例。

图9示出了逻辑流程的实施例。

图10示出了第一修改后的视频***的实施例。

图11示出了第二修改后的视频***的实施例。

图12示出了计算环境的实施例。

详细描述

各种媒体处理设备可实现视频编码器和/或解码器(合称为“编解码器”)来执行对诸如数字视频等数字媒体内容的某一水平的压缩。所选压缩水平可根据多种因素而变化，诸如视频源的类型、视频压缩技术的类型、通信链路可用的带宽或协议、给定接收设备可用的处理或存储器资源、用于再现数字视频的显示设备的类型等。一旦实现，对于编码和解码操作两者，媒体处理设备一般被限于由视频编解码器设定的压缩水平。这种解决方案一般提供很少的灵活性。如果需要不同水平的压缩，媒体处理设备通常为每一压缩水平实现不同的视频编解码器。这种解决方案可能需要为每个媒体处理设备使用多个视频编解码器，从而增加了媒体处理设备的复杂性和成本。

为了解决这些和其他问题，各种实施例可针对多重分辨率编码和解码技术。可伸缩视频编码器可将数字视频信息编码成共同视频流内的多个视频层，其中每一视频层提供一个或更多个水平的空间分辨率和/或时间分辨率。该视频编码器可将诸如基本层和增强层的多个视频层的数字视频信息多路复用成单个共同的视频流。视频解码器可从该共同视频流多路分解或选择性地解码视频信息以从基本层和一个或更多个增强层取回视频信息以便以通常以信噪比(SNR)或其他度量的形式定义的所需质量水平来回放或再现该视频信息。该视频解码器可使用如为每一视频层定义的各种起始码来选择性地解码视频信息。同样地，AVMCU可基于如当前可用带宽和解码器能力等信息来选择将基本层和仅诸增强层的子集转发到一个或更多个参与方。AVMCU使用视频比特流中的起始码来选择这些层。

空间分辨率一般可指关于正在测量的空间的细节而言的准确性的衡量。在数字视频的上下文中，空间分辨率可被测量或表达为帧、画面或图像中的像素数。例如，大小为640x480像素的数字图像等于326,688个个体的像素。一般而言，具有较高空间分辨率的图像由较之具有较低空间分辨率的图像更多数目的像素组成。空间分辨率尤其可影响视频帧、画面或图像的质量等。

时间分辨率一般可指关于时间而言的特定测量的准确性。在数字视频的上下文中，时间分辨率可被测量或表达为帧率，即每秒捕捉的视频信息的帧数，诸如15帧/秒、30帧/秒、60帧/秒等。一般而言，较高时间分辨率是指较之具有较低时间分辨率的那些较大的帧数/秒。时间分辨率尤其可影响视频图像或帧序列的运动重现等。视频流或比特流可指表示音频和/或视频信息的连续的片段(例如，比特或字节)序列。

在一个实施例中，例如可伸缩视频编码器可将数字视频信息编码成基本层和一个或更多个时间和/或空间增强层。基本层可为数字视频信息提供基本或最小空间分辨率和/或时间分辨率水平。时间和/或空间增强层可为数字视频信息提供伸缩的增强视频空间分辨率和/或时间分辨率水平。可定义各种类型的入口点和起始码来界定视频流内的不同视频层。以此方式，单个可伸缩视频编码器就可在单个视频流中提供和多路复用多重空间分辨率和/或时间分辨率水平。

在各个实施例中，多个不同的视频解码器可选择性地从编码视频流的给定视频层解码出数字视频信息以便为给定媒体处理设备提供所需的空间分辨率和/或时间分辨率水平。例如，一种类型的视频解码器可能能够从视频流解码基本层，而另一类型的视频解码器可能能够从视频流解码基本层和一个或更多个增强层。媒体处理设备可用各种方式组合从每一视频层解码出的数字视频信息以提供空间分辨率和/或时间分辨率意义上的不同的视频质量水平。该媒体处理设备然后可在一个或更多个显示器上以所选的空间分辨率和时间安分辨率水平再现所解码的数字视频信息。

可伸缩或多重分辨率视频编码器和解码器与常规视频编码器和解码器相比可提供若干优势。例如，可使用单个可伸缩视频编码器和一种或更多种类型的视频解码器来提供各种伸缩的或分化的数字视频服务。传统的视频解码器将可能够从视频流的基本层解码数字视频信息而不必能访问增强层，而增强视频解码器将可能够访问同一视频流内的基本层和一个或更多个增强层两者。在另一示例中，可对每一层使用不同的加密技术，从而控制对每一层的访问。类似地，可对每一层分派不同的数字权限以就对每一层的访问授权。在又一示例中，空间和/或时间分辨率水平可基于视频源的类型、视频压缩技术的类型、通信链路可用的带宽或协议、给定接收设备可用的处理或存储器资源、用于再现数字视频的显示设备的类型等而增加或减少。

具体地，该改进的可变视频编码分辨率实现具有在视频流内携带载明显示分辨率诸维的参数的优势。在入口点级别信令表明视频一部分的编码分辨率。入口点毗邻或邻接视频序列的一个或更多个画面子序列或画面群，这些子序列或群是以帧内编码帧(也被称为“I帧”)开始且还可包含一个或更多个关于该帧内编码帧来预测编码的预测编码帧(也被称为“P帧”或“B帧”)。在给定入口点处信令表明的编码分辨率因此适用于包括基本层的I帧和参考该I帧的P帧或B帧的画面群。

以下描述针对允许视频序列的各部分以不同分辨率可变编码的改进的可变编码分辨率技术的实现。该技术的示例性应用是在视频编解码器***中。从而，在利用编码比特流句法的示例性视频编码器/解码器的上下文中描述该可变编码分辨率技术。具体地，此改进的可变编码分辨率技术的一个所描述的实现是在遵循SMPTE标准421M(VC-1)视频编解码器标准系列及其变体的先进型的视频编解码器中。或者，该技术可被纳入与以下描述的示例性视频编解码器和句法在细节上有所不同的各种视频编解码器实现和标准中。

图1示出了视频捕捉和回放***100的实现。图1示出了采用其中在典型的应用或使用场景中实现此可变编码分辨率技术的视频编解码器的视频捕捉和回放***100。视频捕捉和回放***100一般包括从输入数字视频源110捕捉视频内容并将其编码成通信信道140上的压缩视频比特流的视频源/编码器120，以及从信道接收和解码视频并在视频显示器170上显示视频的视频播放器/解码器150。其中可实现以下所描述的具有可变编码分辨率的视频编解码器的这样的***的某些示例涵盖了其中视频捕捉、编码、解码和回放均在单个机器中执行的***以及其中这些操作是在分开的、地理上远离的机器上执行的***。例如，数字视频记录器或具有TV调谐器卡的个人计算机可捕捉视频信号并将视频编码到硬盘驱动器，以及从硬盘驱动器读回、解码视频以及在监视器上显示视频。作为另一示例，商业性的视频发布者或广播者可使用视频掌控***，它纳入产生视频传输(例如，数字卫星频道、或Web视频流)的视频编码器或承载编码视频的存储设备(例如，带或盘)，该存储设备然后用于将视频分发到用户的解码器和回放机器(例如，个人计算机、视频播放器、视频接收器等)。

在所示***100中，视频源/编码器120包括源预处理器122、源压缩编码器124、多路复用器126和信道编码器128。预处理器122从诸如摄像机、模拟电视捕捉或其他源等数字视频源110接收未经压缩的数字视频，并处理视频以便输入到压缩编码器124。压缩编码器124的示例有如参考图2描述的视频编码器200，其执行视频的压缩和编码。多路复用器126将得到的压缩视频比特流分组并将其传递到信道编码器128以便编码到通信信道140上。通信信道140可以是视频传输，诸如数字电视广播、卫星或其他空中传输；或电缆、电话或其他有线传输等。通信信道140也可以是记录视频介质，诸如计算机硬盘驱动器或其他存储盘；带、光盘(DVD)或其他可移动记录介质。信道编码器128将压缩视频比特流编码成文件容器、传输载波信号等。

在视频播放器/解码器150处，信道解码器152解码通信信道140上的压缩视频比特流。多路分解器154多路分解来自信道解码器的压缩视频比特流并将其传递到压缩解码器156，压缩解码器的示例有如参考图3所描述的视频解码器300。压缩解码器然后从压缩视频比特流解码并重构视频。最后，后处理器158处理视频使其可在视频显示器170上显示。后处理操作的示例包括去块、去环或其他伪像移除、范围重新映射、颜色转换和其他类似操作。

图2是一般化的视频编码器200的框图，而图3是一般化的视频解码器300的框图，其中可纳入此可变编码分辨率技术。示于编码器和解码器内的模块之间的关系指示了编码器和解码器中的主要信息流向，为简明起见，省略了其它关系。具体地，图2和3一般不示出指示如用于视频序列、帧、宏块、块等的编码器设置、模式、表等辅助信息。这样的辅助信息通常是在对该辅助信息进行熵编码之后在输出比特流中发送的。输出比特流的格式例如可以是SMPTE VC-1格式、为实时通信适应性修改的SMPTE VC-1格式、H.263格式、H.264格式或其他视频格式。

在一个实施例中，例如编码器200和解码器300是基于块的，且使用4∶2∶0宏块格式，每一宏块包括4个亮度8x8亮度块(有时作为一个16x16的宏块来处理)和两个8x8色度块。或者，编码器200和解码器300是基于对象的，使用不同的宏块或块格式，或对大小或配置不同于8×8的块和16×16的宏块的像素集执行操作。宏块可用于表示逐行或隔行的视频内容。

在各种实施例中，此可伸缩视频编码和解码技术及工具可在视频编码器和/或解码器中实现。视频编码器和解码器可在其内包含不同的模块，且这些不同的模块可用许多不同的方式彼此相关和通信。以下作为示例而非限定描述模块和关系。取决于实现以及所需的压缩类型，视频编码器或视频解码器的模块可被添加、省略、分成多个模块、与其它模块组合、和/或用相似的模块来替代。在替换实施例中，具有不同模块和/或其它模块配置的视频编码器或视频解码器可执行一种或更多种所描述的技术。

一般而言，视频压缩技术包括帧内压缩和帧间压缩。帧内压缩技术压缩个体的帧，通常称为I帧、关键帧或基准帧。帧间压缩技术参考之前和/或之后的帧来压缩帧，且通常被称为预测帧。预测帧的示例包括预测(P)帧、超预测(SP)帧以及双向预测或双向(B)帧。预测帧是以从一个或更多个其他帧作出的经运动补偿的预测(或差分)的形式来表示的。预测残差是预测的帧和原始帧之差。相反，I帧或关键帧是不参考其它帧来压缩的。

视频编码器一般接收包括当前帧的视频帧序列，并产生压缩视频信息作为输出。该编码器压缩预测帧和关键帧。该编码器的许多组件既用于压缩关键帧也用于压缩预测帧。由这些组件执行的确切操作可以取决于所压缩的信息类型而变化。

图2是一般视频编码器***200的框图。编码器***200接收包括当前帧205的视频帧序列，并产生压缩视频信息295作为输出。视频编码器的具体实施例通常使用此一般化的编码器200的变体或补充版本。

编码器***200压缩预测帧和关键帧。为演示起见，图2示出了关键帧通过编码器***200的路径以及前向预测帧通过***的路径。编码器***200的许多组件既用于压缩关键帧也用于压缩预测帧。由这些组件执行的确切操作可以取决于所压缩的信息类型而变化。

预测帧(例如，P帧、SP帧和B帧)是以从一个或更多个其他帧作出的预测(或差分)的形式来表示的。预测残差是预测的帧和原始帧之差。相反，关键帧(例如，I帧)是不参考其它帧来压缩的。

如果当前帧205是前向预测帧，则运动估计器210估算当前帧205的宏块或其他像素集(例如，16x8、8x16或8x8的块)相对于基准帧的运动，其中基准帧是缓冲在帧存储220中的重构的前帧225。在替换实施例中，基准帧是后帧，或者当前帧是双向预测的。运动估计器210输出诸如运动矢量等的运动信息215作为辅助信息。运动补偿器230将运动信息215应用于重构的前帧225以形成经运动补偿的当前帧235。然而，预测很少是完美的，经运动补偿的当前帧235和原始的当前帧205之差就是预测残差245。或者，运动估计器和运动补偿器应用另一类型的运动估计/补偿。

频率变换器260将空域视频信息转换成频域(即，频谱)数据。对基于块的视频帧，频率变换器260应用以下章节中所描述的具有类似于离散余弦变换(DCT)的性质的变换。在某些实施例中，频率变换器260对关键帧的空间预测残差块应用频率变换。频率变换器260可应用8 x 8、8 x 4、4 x 8或其他大小的频率变换。

量化器270然后量化频谱数据系数块。量化器向频谱数据应用均匀的标量量化，其步长在逐帧基础或其它基础上变化。或者，量化器向频谱数据系数应用另一类型的量化，例如非均匀的、矢量的、或非自适应的量化，或在不使用频率变换的编码器***中直接量化空域数据。除自适应量化之外，编码器200还可使用帧丢弃、自适应滤波或其它用于码率控制的技术。

当需要重构的当前帧用于后续的运动估计/补偿时，反量化器276对量化的频谱数据系数执行反量化。频率反变换器266然后执行频率变换器260的逆操作，从而产生重构的预测残差(对于预测帧)或重构的关键帧。如果当前图像205是关键帧，则取重构的关键帧作为重构的当前帧。如果当前图像205是预测帧，则将重构的预测残差加到经运动补偿的当前帧235上以形成重构的当前帧。帧存储220缓冲重构的当前帧，供在预测下一帧时使用。在某些实施例中，编码器向重构的帧应用去块滤波以自适应地平滑帧中诸块中的不连续性。

熵编码器280压缩量化器270的输出以及某些辅助信息(例如，运动信息215、量化步长)。典型的熵编码技术包括算术编码、差分编码、哈夫曼编码、行程长度编码、LZ编码、字典式编码以及上述的组合。熵编码器280通常对不同种类的信息(例如，DC系数、AC系数、不同种类的辅助信息)使用不同的编码技术，并可从特定编码技术内的多个码表中进行选取。

熵编码器280将压缩的视频信息295置于缓冲器290中。缓冲器水位指示符被反馈到比特率自适应模块。以恒定或相对恒定的比特率从缓冲器290中耗尽压缩视频信息295，该信息被存储用于以该比特率进行的后续流传送。或者，编码器200在压缩之后立即流传送压缩的视频信息。

在缓冲器290之前或之后，压缩的视频信息295可被信道编码用于在网络上传输。信道编码可向压缩视频信息295应用检错和纠错数据。

图3是一般视频解码器***300的框图。解码器***300接收压缩视频帧序列的信息395，并产生包括重构帧305的输出。视频解码器的具体实施例通常使用此一般化解码器300的变体或补充版本。

解码器***300解压预测帧和关键帧。为演示起见，图3示出了关键帧通过解码器***300的路径以及前向预测帧通过***的路径。解码器***300的许多组件既用于压缩关键帧也用于压缩预测帧。由这些组件执行的确切操作可以取决于所压缩的信息类型而变化。

缓冲器390接收压缩视频序列的信息395，并使得所接收到的信息对熵解码器380可用。缓冲器390一般以随时间推移相当恒定的速率接收信息，并包括抖动缓冲器以平滑带宽或传输中的短期变动。缓冲器390也可包括回放缓冲器以及其它缓冲器。或者，缓冲器390以变化的速率接收信息。在缓冲器390之前或之后，压缩的视频信息可以被信道解码，并被处理用于进行检错和纠错。

熵解码器380对熵编码的量化数据以及熵编码的辅助信息(例如，运动信息、量化步长)进行熵解码，通常是应用编码器中执行的熵编码的逆处理。熵解码技术包括算术解码、差分解码、哈夫曼解码、行程长度解码、LZ解码、字典式解码以及上述的组合。熵解码器380通常对不同种类的信息(例如，DC系数、AC系数、不同种类的辅助信息)使用不同的解码技术，并可从特定解码技术内的多个码表中进行选取。

如果要重构的帧305是前向预测帧，运动补偿器330对基准帧325应用运动信息315以形成正在重构的帧305的预测335。例如，运动补偿器330使用宏块运动矢量来找出基准帧325中相应的宏块。预测335从而是从之前解码出的视频帧而来的经运动补偿的视频块集。帧缓冲器320存储之前重构的帧用作基准帧。或者，运动补偿器应用另一类型的运动补偿。运动补偿器的预测很少是完美的，因此解码器300还重构预测残差。

当解码器需要重构的帧用于后续的运动补偿时，帧存储320缓冲重构的帧供预测下一帧使用。在某些实施例中，编码器向重构的帧应用去块滤波器，以自适应地平滑帧中的不连续性。

反量化器370对熵解码的数据进行反量化。一般而言，反量化器向熵解码的数据应用均匀的、标量的反量化，其中步长在逐帧基础或其它基础上变化。或者，反量化器向数据应用另一类型的反量化，例如非均匀的、矢量的、或非自适应的反量化，或在不使用频率反变换的解码器***中对空域数据直接进行反量化。

频率反变换器360将量化的频域数据转换成空域视频信息。对基于块的视频帧，频率反变换器360应用在以下章节中所描述的反变换。在某些实施例中，频率反变换器360对关键帧的空间预测残差块应用频率反变换。频率反变换器360可应用8 x 8、8 x 4、4 x 8或其他大小的频率反变换。

可变编码分辨率技术允许解码器维持所需的视频显示分辨率，同时给予编码器选择以可能不同于该显示分辨率的多重编码分辨率水平来编码视频的某个或某些部分的灵活性。编码器可以用较低编码分辨率来编码视频序列的某些画面以实现较低的编码比特率、显示大小或显示质量。当想要使用较低的编码分辨率时，编码器将画面滤波并将其降采样到较低分辨率。在解码时，解码器选择性地解码视频流的这些具有较低编码分辨率的部分以便以该显示分辨率显示。解码器也可在具有大像素可寻址性的屏幕上显示视频之前对该视频的较低分辨率进行升采样。类似地，编码器可以用较高编码分辨率来编码视频序列的某些画面以实现较高的编码比特率、显示大小或显示质量。当想要使用较高编码分辨率时，编码器滤波器保留原始视频分辨率的较大部分。这一般是通过编码表示具有较大分辨率的视频与较低分辨率层经内插以匹配此较大分辨率视频的大小的版本之差的附加层来完成的。例如，原始视频可能具有分别为640和480像素的水平和垂直像素分辨率。编码的基本层可具有160 x 120像素。第一空间增强层可提供320x240像素的分辨率。该空间增强层可通过沿水平和垂直分辨率以因子2对原始视频降采样来获取。它是通过计算320 x 240视频和经以因子2水平和垂直内插以匹配第一增强层的320x240分辨率的160x120基本层之差来编码的。在解码时，解码器选择性地解码视频流的这些具有以基本和较高空间编码分辨率的部分，用于以显示器分辨率显示或不拘于显示器分辨率地在视频中提供较大的细节程度。

在各种实施例中，视频编码器200可在逐帧或其他基础上提供可变编码分辨率。各个编码分辨率水平可按照多重视频层的形式组织，每一视频层为给定的视频信息集提供不同空间分辨率和/或时间分辨率水平。例如，视频编码器200可被安排成将视频信息编码成具有基本层和增强层的视频流。视频信息可例如包括一个或更多个帧序列、帧、图像、画面、静物、块、宏块、像素集或其他定义的视频数据集(合称为“帧”)。基本层可具有第一空间分辨率水平和第一时间分辨率水平。增强层可增加第一空间分辨率水平、第一时间分辨率水平或两者。可以有多重增强层以便在对给定水平信息集提高空间分辨率或时间分辨率时提供所需粒度水平。可参考图4更详细描述视频层。

图4示出了视频层分级结构的示例性实施例。图4示出了视频流内编码数字视频的多重独立视频层400的分级表示。如图4中所示，视频层400可包括基本层(BL)。BL可表示基本空间分辨率水平和基本时间分辨率水平(例如，帧率)的视频流。在一个实施例中，例如基本时间分辨率水平可以包括T帧/秒，其中T＝15帧。视频的编码使得后续BL视频帧的解码仅依赖于来自同一层的之前的视频帧(例如，基本层中的一个或更多个P、SP或B帧)。

视频层400还可包括一个或更多个增强层。例如，增强层可包括一个或更多个空间增强层，诸如第一空间增强层(SL0)、第二空间增强层(SL1)和第三空间增强层(SL2)。SL0表示可被添加到BL以便以与BL序列相同的帧率(例如，15帧/秒)提供更高分辨率视频的空间增强层。SL1表示可被添加到BL以便以高于BL序列的中等帧率提供更高分辨率视频的空间增强层。在一个实施例中，例如中等帧率可以包括T/2帧/秒，其中T＝30帧。SL2是可被添加到BL以便以更高于BL序列的较高帧率提供更高分辨率视频的空间增强层。在一个实施例中，例如较高帧率可以包括T帧/秒，其中T＝60帧。可以理解，对T给出的值是仅作为示例而非限定的。

增强层还可包括一个或更多个时间增强层，诸如第一时间增强层(TL1)和第二时间增强层(TL2)。TL1表示可被添加到BL以便产生与BL相同的较低分辨率视频但帧率是BL帧的帧率的两倍的时间增强层。结果，在该序列中改善了运动重现。TL2表示翻倍了BL加TL1的帧率的时间增强层。这个级别上的运动重现比BL或TL1更好。

存在可供使用基本层和增强层使用的众多组合，如图4中的虚线箭头所示。作为示例而非限定，某些组合可包括以下组合：

·BL

·BL+SL0

·BL+TL1

·BL+TL1+TL2

·BL+SL0+TL1+SL1

·BL+SL0+TL1+SL1+TL2+SL2

这些和其他视频层组合可确保视频质量在时间上保持一致。在某些情况中，有可能期望为所有时间层选择相同数目的空间增强层，以使得视频质量在时间上保持一致。

如以下更详细描述地，编码器200在压缩视频比特流295(图2)的序列首部内载明最大分辨率。与诸如用容器文件格式或传输载波格式的首部信息之类的在比特流外携带的首部信息相比，将编码分辨率的水平编码在视频比特流的序列首部中具有使得最大分辨率可由视频解码器直接解码的优势。最大分辨率不必由容器文件或传输载波解码器(例如，信道解码器152)另行传送给视频解码器。

编码器200还使用入口点首部中的定义的标志或起始码来信令表明跟随在视频比特流中的入口点之后的有一个或更多个画面的群是以较低分辨率编码的。在某些实施例中，如果该标志指示较低或较高编码分辨率，则编码大小也可被编码在入口点首部中。

压缩视频比特流295(图2)包括压缩逐行视频帧或其他画面(例如，隔行帧或隔行半帧格式画面)序列的信息。比特流295被组织成由诸如图3的解码器300等解码器解码的若干分级结构层。最高层是序列层，其具有关于整个帧序列的信息。另外，每一压缩视频帧由结构化成三个分级结构层的数据构成：画面、宏块、和块(自上向下)。采用可变编码分辨率技术的替换视频实现可利用具有各种不同的句法元素组成的其他句法结构。

此外，压缩视频比特流可包含一个或更多个入口点。比特流中的有效入口点是元比特流中媒体处理***可自此解码或处理该比特流而无需该比特流中的任何之前信息(比特)的位置。入口点首部(也被称为画面群首部)一般包含关键解码器初始化信息，诸如视频帧的水平和垂直大小、所需的元流缓冲器状态和量化器参数。无需参考之前帧就能解码的帧被称为独立或关键帧。

入口点在比特流中由入口点指示符信令表明。入口点指示符的目的在于信令表明比特流中存在开始或恢复解码的特殊位置，例如解码紧接在入口点指示符之后的视频帧对以往解码的视频半帧或帧没有依赖性的位置。入口点指示符和相关联的入口点结构可按规律或不规律的间隔***到比特流中。从而，编码器可采用不同的策略来管控入口点指示符在比特流中的***。典型的行为是在视频比特流中有规律的帧位置处***入口点指示符和结构，但是某些情形(例如，出错复原或快速频道改变)可能更改入口点***的周期性性质。作为示例，见以下表1中VC-1视频元流中的入口点的结构，如下：

表1

先进型的入口点层比特流

 

ENTRYPOINT LAYER(入口点层)(){	比特数	描述符
			BROKEN_LINK	1	uimsbf
CLOSED_ENTRY	1	uimsbf
			PANSCAN_FLAG	1	uimsbf
REFDIST_FLAG	1	uimsbf
			LOOPFILTER	1	uimsbf
FASTUVMC	1	uimsbf
			EXTENDED_MV	1	uimsbf
DQUANT	2	uimsbf
			VSTRANSFORM	1	uimsbf
OVERLAP	1	uimsbf
			QUANTIZER	2	uimsbf
if(HRD_PARAM_FLAG＝＝1){
			HRD_FULLNESS()
}
			CODED_SIZE_FLAG	1	uimsbf
if(CODED_SIZE_FLAG＝＝1){
			CODED_WIDTH	12	uimsbf
CODED_HEIGHT	12	uimsbf
			}
if(EXTENDED_MV＝＝1){
			EXTENDED_DMV	1	uimsbf
}
			RANGE_MAPY_FLAG	1	uimsbf
if(RANGE_MAPY_FLAG＝＝1){
			RANGE_MAPY	3	uimsbf
}
			RANGE_MAPUV_FLAG	1	uimsbf
if(RANGE_MAPUV_FLAG＝＝1){
			RANGE_MAPUV	3	uimsbf

 

}
			}

在各种实施例中，入口点指示符可根据给定标准、协议或体系结构定义。在某些情况中，入口点指示符可被定义成扩展给定标准、协议或体系结构。在以下表1和2中，各种入口点指示符被定义成适用于嵌入到SMPTE 421M(VC-1)比特流中的比特流段的起始码后缀及其相应的含义。起始码应是可唯一性标识的，不同的起始码用于不同的视频层，诸如基本层和一个或更多个增强层。然而，起始码在视频层间可使用类似的结构标识符以使得解析和标识较容易。结构标识符的示例可包括但不限于：序列首部、入口点首部、帧首部、半帧首部、片首部等。而且，可利用起始码仿效技术来减少用于给定视频层的起始码在视频流中随机出现的可能性。

取决于具体的起始码，可调用或运行用于每一视频层的特定结构解析器和解码器以解码来自视频流的视频信息。特定结构解析器和解码器可实现特定的解码器工具集，诸如适用于给定视频层的所需的参考帧、量化器、速率控制、运动补偿模式等。各实施例在该上下文中不受限制。

在各种实施例中，起始码后缀可与当前VC-1比特流后向兼容，如此使得传统VC-1解码器即使在VC-1比特流包括这样的新段的情况下仍应能够继续工作。起始码后缀可用于在SMPTE 421M视频比特流的当前格式上扩展和建立以支持可伸缩视频表示。

表2

 

起始码后缀	含义
		0x00	SMPTE保留
0x01-0x09	SMPTE保留
		0x0A	序列结束
0x0B	片
		0x0C	半帧
0x0D	帧

 

0x0E	入口点首部
		0x0F	序列首部
0x10-0x1A	SMPTE保留
		0x1B	片级别用户数据
0x1C	半帧级别用户数据
		0x1D	帧级别用户数据
0x1E	入口点级别用户数据
		0x1F	序列级别用户数据
0x20-0x7F	SMPTE保留
		0x80-0xFF	禁用

表2中所示的起始码后缀可追加到0x000001 3字节序列的末尾以构成各种起始码。这样的起始码被整合在VC-1比特流中以允许视频解码器能确定它们正在解析比特流的什么部分。例如，序列起始码宣告VC-1比特流中序列首部的出现。可通过起始码仿效防止来消除看起来像是起始码的比特序列的出现，仿效防止将这样的序列分成若干片比特流以使其不再仿效起始码。

在各个实施例中，添加表示附加视频层的比特流片段是通过添加新起始码以标识并信令表明比特流中存在增强层片段来实现的。例如，采用图4所示的2个空间层和3个时间层，便可分派以下后缀来关于其携带的内容信令表明各种层的比特流片段，如以下表3中所示：

表3

 

起始码后缀	含义
		0x00	SMPTE保留
0x01-0x09	SMPTE保留
		0x0A	序列结束
0x0B	片
		0x0C	半帧
0x0D	帧

 

0x0E	入口点首部
		0x0F	序列首部
0x10-0x1A	SMPTE保留
		0x1B	片级别用户数据
0x1C	半帧级别用户数据
		0x1D	帧级别用户数据
0x1E	入口点级别用户数据
		0x1F	序列级别用户数据
0x20	片级别-SL0
		0x21	片级别-TL1
0x22	片级别-SL1
		0x23	片级别-TL2
0x24	片级别-SL2
		0x30	半帧级别-SL0
0x31	半帧级别-TL1
		0x32	半帧级别-SL1
0x33	半帧级别-TL2
		0x34	半帧级别-SL2
0x40	帧级别-SL0
		0x41	帧级别-TL1
0x42	帧级别-SL1
		0x43	帧级别-TL2
0x44	帧级别-SL2
		0x50	入口点级别-SL0
0x51	入口点级别-TL1
		0x52	入口点级别-SL1
0x53	入口点级别-TL2
		0x54	入口点级别-SL2
0x60	序列级别-SL0
		0x61	序列级别-TL1
0x62	序列级别-SL1
		0x63	序列级别-TL2
0x64	序列级别-SL2

 

0x80-0xFF

禁用

片段的***应遵循定义的范围规则集。例如，序列级别SL0信息应跟在序列级别BL信息之后等。这可参考图5-8更详细描述，其中例如原始VC-1比特流仅是视频的BL层。

图5是视频流500的句法示意图。图5示出了表示仅具有视频帧的VC-1比特流的视频流500，意味着内容是逐行视频而非隔行视频。这是其中视频源仅产生逐行视频的各种实时通信场景中典型的，诸如网络摄像头等。

如图5中所示，视频流500可包括含有视频帧序列的序列起始码和序列首部的第一块。第二块可包含入口点起始码和入口点首部。第三块可包含第一视频帧的帧起始码和帧首部。第四块可包含实际的帧有效载荷。第五块可包含第二视频帧的帧起始码和帧首部。这可对给定数字视频内容集的帧序列内的每一帧继续。

为了使用不同视频层来实现多重分辨率编码，可将来自表2和/或表3的一个或更多个起始码***到视频流500中以指示或界定BL视频段和增强层(例如，SL0、SL1、SL2、TL1、TL2等)视频段。底部的箭头示出附加的序列首部、入口点首部、帧首部和有效载荷相对于其他视频层被***到VC-1BL比特流中的位置。

图6是视频流600的句法示意图。图6示出了表示除其中每一帧被编码为独立片集以外其他皆类似于视频流500的VC-1比特流的视频流600。片编码用于在有可能有分组丢失的通信网络中提供更多的错误回弹性。采用片编码，视频帧仅部分受到分组丢失的影响而不是整个帧。如图6中所示，视频流600内片起始码和片首部的各种位置由顶部的箭头指示。底部的箭头指示附加视频层可相对于片首部和片有效载荷***的位置。

图7是视频流700的句法示意图。图7示出了表示具有隔行视频的VC-1比特流的视频流700。在这种情况中，视频帧由两个视频半帧构成。尺度相对于BL的第一半帧的起始码、首部和视频有效载荷被***到VC-1比特流中在BL的第二半帧的起始码和首部之前的地方。尺度相对于BL的第二半帧的起始码、首部和视频有效载荷被***到VC-1比特流中在下一视频帧的开始之前的地方。

图8是视频流800的句法示意图。图8示出了表示除其中每一隔行帧被编码为独立片集以外其他皆类似于视频流700的VC-1比特流的视频流800。属于附加视频层的起始码、首部和视频有效载荷由图8底部的箭头示出。BL第二半帧的半帧首部将BL第一半帧的BL和任何附加视频层数据与BL第二半帧的BL和任何附加视频层数据区分界。

以上各实施例的操作可以参考以下附图和所附示例来进一步描述。一些附图可以包括逻辑流程。虽然此处给出的这些附图可能包括特定的逻辑流程，但可以理解，逻辑流程仅仅提供如何实现此处描述的普适功能的示例。此外，除非另外指明，否则，给出的逻辑流程不必要非得以所呈现的次序执行。另外，给出的逻辑流程可由硬件元素、由处理器执行的软件元素、或其任意组合来实现。各实施例在该上下文中不受限制。

图9示出逻辑解码器流程900的一个实施例。逻辑流900可表示由诸如视频捕捉和回放***100、视频编码器200或视频解码器300等此处所述的一个或更多个实施例执行的操作。如图9中所示，在菱形902视频解码器300的解析器监视视频流中以寻找BL起始码。如果解析器没有识别出BL起始码，则它继续循环通过菱形902，直到识别出一个起始码。一旦解析器识别出BL起始码，在框904它即获得与此起始码相关联的首部或首部+有效载荷。一旦这完成了之后，在菱形906解析器即检查是否存在任何附加视频层起始码。如果解析器没有在给定视频流或时间段内识别出任何附加视频层起始码，则控制被转递给菱形902。如果在菱形906解析器的确识别出附加视频层的起始码，则在框908它获取与此附加视频层相关联的首部或首部+有效载荷，且控制被传回菱形906。菱形906与框908之间的控制循环对在给定VC-1比特流中所使用的数目的视频层继续。当在菱形906识别出起始码不再是附加视频尺度的起始码时，解析器返回并在菱形902开始寻找属于VC-1基本层的起始码。

图10示出了第一修改后的视频捕捉和回放***100的框图，修改之处在于视频源/编码器120包括加密模块1002，且多重视频播放器/解码器150-1-p各自包括解密模块1004。加密模块1002可用于以不同的加密密钥对每一视频层独立加密。加密模块1002可为每一视频层提供加密信息1012(例如，解密密钥和密码)。该信息的传递或者是在带内完成的，或者由其他外部通信信道完成。而且，加密信息1012可以是动态的并随时间变化以增强安全性。如图10中所示，箭头1006-1-q可表示基本层，箭头1008-1-r可表示空间增强层，而箭头1010-1-s可表示时间增强层。基于从加密模块1002接收的解密信息1012，每一接收机的解密模块1004就能够(或不能够)对每一视频层解密。解密密钥的可用性通常与安全策略或由订阅/购买服务授予的权限绑定。例如，视频播放器/解码器150-2仅能够接收和解密视频流的基本层和空间增强层，而视频播放器/解码器150-1仅可解码基本层。如由虚箭头所表示的视频播放器/解码器150-1-p接收和解密它未被授权的视频层的任何尝试将失败。以此方式，视频源/编码器120就可发送附连于不同服务支付或访问权限的较低分辨率视频流和较高分辨率视频流。例如，较高分辨率视频流(例如，用于视频会议呼叫)的可用性可与服务额外费用支付绑定。

图11示出了第二修改后的视频捕捉和回放***100的框图，修改之处在于视频源/编码器120包括数字权限管理(DRM)服务器1102，且多重视频播放器/解码器150-1-p各自包括DRM模块1104。DRM服务器1102可用于向每一视频层分派不同的数字权限集。对包括多媒体会议路由器1114的实现，每一视频层可与特定的DRM指南或策略集相关联。在DRM服务器1102的控制下，多媒体会议路由器1114根据已被授予每一视频播放器/解码器150-1-p的权限转发视频层。DRM服务器1102可将关于每一视频层的DRM信息1112提供给视频播放器/解码器150-1-p。如图11中所示，箭头1106-1-q可表示基本层，箭头1108-1-r可表示空间增强层，而箭头1110-1-s可表示时间增强层。基于从DRM服务器1102接收的DRM信息1112，每一接收机的DRM模块1104就被授权(或不被授权)接收或访问每一视频层。DRM信息1112的可用性通常与DRM策略绑定。例如，视频播放器/解码器150-2仅能够接收和访问视频流的基本层和空间增强层，而视频播放器/解码器150-1仅可接收和访问基本层。如由虚箭头所表示的视频播放器/解码器150-1-p接收和访问它没被授权的视频层的任何尝试将失败。媒体路由器1114根据为每一视频播放器/解码器150-1-p设置的DRM策略发送视频流。由视频源/编码器120提供的多重编码分辨率允许控制和管理参与方在实时会议中可能具有的访问权限上的多样性。

图12示出了计算环境1200的框图。计算环境1200可以表示适用于实现各种实施例的通用***体系结构。计算环境1200可包括多个元素。元素可以包括被安排来执行特定操作的任何物理或逻辑结构。视给定的设计参数或性能约束集的需要，每一元素可被实现为硬件、软件、或其任意组合。硬件元素的示例可以包括设备、组件、处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可以包括任何软件组件、程序、应用软件、计算机程序、应用程序、***程序、机器程序、操作***软件、中间件、固件、软件模块、例程、子例程、函数、方法、接口、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、软件对象、或其任意组合。虽然如图1中示出的计算设备1200具有呈特定拓扑的有限数目的元素，但可以理解，计算环境1200视给定实现所需可包括呈另选拓扑的更多或更少元素。各实施例在该上下文中不受限制。

在各种实施例中，计算环境1200可被实现为适于处理媒体信息的目标设备的一部分。目标设备的示例可包括但不限于：计算机、计算机***、计算机子***、工作站、终端、服务器、web服务器、虚拟服务器、个人计算机(PC)、台式计算机、膝上型计算机、超薄膝上型计算机、便携式计算机、手持式计算机、个人数字助理(PDA)、移动计算设备、蜂窝电话、媒体设备(例如，音频设备、视频设备、文本设备等)、媒体播放器、媒体处理设备、媒体服务器、家庭娱乐***、消费者电子产品、数字通用盘(DVD)设备、家庭录像***(VHS)设备、数字VHS设备、个人录像机、游戏控制台、压缩盘(CD)播放器、数码相机、数码摄录一体机、视频监视***、视频会议***、视频电话***以及任何其他电子、电机或电气设备。各实施例在该上下文中不受限制。

当被实现为媒体处理设备时，计算环境1200也可被安排成根据各种媒体处理标准和/或协议操作。媒体处理标准的示例包括但不限于：SMPTE标准421M(VC-1)、为实时通信实现的VC-1、被实现为WMV-9及其变体的VC-1、地面数字视频广播(DVB-T)广播标准、ITU/IEC H.263标准、低比特率通信用视频编码、ITU-T建议案H.263v3(2000年11月发布)和/或ITU/IEC H.264标准、甚低比特率通信用视频编码、ITU-T建议案H.264(2003年5月发布)、运动图象专家组(MPEG)标准(例如，MPEG-1、MPEG-2、MPEG-4)和/或高性能无线电局域网(HiperLAN)标准。媒体处理协议的示例包括但不限于：会话描述协议(SDP)、实时流传送协议(RTSP)、实时传输协议(RTP)、同步多媒体综合语言(SMIL)协议、MPEG-2传输和MPEG-2程序流和/或因特网流传送媒体联盟(ISMA)协议。如本文所描述的多重分辨率视频编码和解码技术的一个实现例如可被纳入在由美国华盛顿州雷德蒙市的Microsoft

公司所分发和许可的WINDOWS

媒体视频第9版(WMV-9)视频编解码器的先进型中，包括后续修订版和变体。各实施例在该上下文中不受限制。

参考图12，计算环境1200包括至少一个处理单元1210和存储器1220。在图12中，这一最基本配置1230包括在虚线内。处理单元1210可以是能够执行软件的任何类型的处理器，如通用处理器、专用处理器、媒体处理器、控制器、微控制器、嵌入式处理器、数字信号处理器(DSP)等。处理单元1210执行计算机可执行指令，且可以是真实或虚拟处理器。在多处理***中，多重处理单元执行计算机可执行指令以提高处理能力。存储器1220可以使用能够存储数据的任何机器可读的或计算机可读介质来实现，包括易失性和非易失性存储器两者。例如，存储器1220可以包括只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双倍数据率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦式可编程ROM(EPROM)、电可擦式可编程ROM(EEPROM)、闪存、诸如铁电聚合物存储器等聚合物存储器、奥氏存储器、相变或铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、磁卡或光卡、或适于存储信息的任何其它类型的介质。在各种实施例中，存储器1220存储实现可伸缩视频编码和/或解码技术的软件1280。

计算环境可具有额外的特征。例如，计算环境1200包括存储1240、一个或更多个输入设备1250、一个或更多个输出设备1260以及一个或更多个通信连接1270。诸如总线、控制器或网络等互连机制将计算环境1200的各组件互连。通常，操作***软件为在计算环境1200中执行的其它软件提供了操作环境，并协调计算环境1200各组件的活动。

存储1240可以是可移动或不可移动的，且包括磁盘、磁带或磁盒带、只读压缩盘存储器(CD-ROM)、可记录压缩盘(CD-R)、可重写压缩盘(CD-RW)、光盘、磁介质、磁光介质、可移动存储器卡或盘、各种类型的数字通用盘(DVD)、或可被用于存储信息且可在计算环境1200内访问的任何其他介质。存储1240存储用于实现多空间分辨率编码和/或解码技术的软件1280的指令。

输入设备1250可以是诸如键盘、鼠标、笔或跟踪球等触摸输入设备、语音输入设备、扫描设备、网络适配器或可向计算环境1200提供输入的另一设备。对于视频，输入设备1250可以是TV调谐器卡、网络摄像头或相机视频接口、或接受模拟或数字形式的视频输入的类似设备，或向计算环境提供视频输入的CD-ROM/DVD读取器。输出设备1260可以是显示器、投影仪、打印机、扬声器、CD/DVD刻录机、网络适配器、或从计算环境1200提供输出的另一设备。

在各种实施例中，计算环境1200还可包括允许计算环境1200能经由通信介质1290与其他设备通信的一个或更多个通信连接1270。通信连接1270可以包括各种类型的标准通信元件，如一个或更多个通信接口、网络接口、网络接口卡(NIC)、无线电、无线发射机/接收机(收发机)、有线和/或无线通信介质、物理连接器等。通信介质1290通常以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并包括任何信息传送介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被设定或更改的信号。作为示例而非限定，通信介质1290包括有线通信介质和无线通信介质。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、底板、交换结构、半导体材料、双绞线、同轴电缆、光纤、传播的信号等。无线通信介质的示例可以包括声学、射频(RF)频谱、红外和其它无线介质。如本文所使用的术语机器可读介质和计算机可读介质旨在作为示例而非限定包括存储器1220、存储1240、通信介质1290级以上的任何组合。

某些实施例可在诸如程序模块中所包括的在真实或虚拟目标处理器上的计算环境中执行的计算机可执行指令的一般上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。程序模块的功能可以如各种实施例所需被组合或在程序模块之间分离。用于程序模块的计算机可执行指令可以在本地或分布式计算环境中执行。

此处阐明了许多具体细节以提供对这些实施例的全面理解。然而，本领域技术人员将理解，没有这些具体细节也可实践这些实施例。在其它实例中，没有详细地描述公知的操作、组件和电路以免得湮没这些实施例。可以理解，此处公开的具体的结构和功能细节可以是代表性的且不必要限定这些实施例的范围。

还值得注意的是，任何对“一个实施例”或“一实施例”的引述意味着结合该实施例描述的特定的特征、结构、或特性被包括在至少一个实施例中。出现在说明书中各个地方的短语“在一实施例中”不必全都指的是同一实施例。

某些实施例可能是使用表述“耦合的”和“连接的”及其派生词来描述。应当理解，这些术语不旨在互为同义词。例如，某些实施例可使用术语“连接的”来描述以指示两个或更多个元素互相有直接的物理或电接触。在另一示例中，某些实施例可使用术语“耦合的”来描述以指示两个或更多个元素有直接的物理或电接触。然而，术语“耦合的”还可以意味着两个或更多个元素互相不直接接触，而仍互相合作或交互。各实施例在该上下文中不受限制。

某些实施例可以例如使用可以存储指令或指令集的机器可读介质或物品来实现，这些指令如果被机器执行则使得该机器执行根据各实施例的方法和/或操作。例如，这种机器可以包括任何合适的处理平台、计算平台、计算设备、计算***、处理***、计算机、处理器等，且可以使用硬件和/或软件的任意合适的组合来实现。例如，机器可读介质或物品可以包括任何合适类型的存储器单元、存储器设备、存储器物品、存储器介质、存储设备、存储物品、存储介质和/或存储单元，例如，存储器、可移动或不可移动介质、可擦式或不可擦式介质、可写或可重写介质、数字或模拟介质、硬盘、软盘、CD-ROM、CD-R、CD-RW、光盘、磁介质、磁光介质、可移动存储器卡或盘、各种类型的DVD、磁带、磁盒带等。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限定于上述具体特征或动作。确切而言，上面描述的具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (29)

1.一种方法，包括：

接收视频信息；以及

将所述视频信息编码成具有包括基本层和增强层的不同视频层的视频流，所述基本层具有第一空间分辨率水平和第一时间分辨率水平，所述增强层增加所述第一空间分辨率水平或所述第一时间分辨率水平。

2.如权利要求1所述的方法，其特征在于，包括将视频信息编码到所述视频流中作为第二时间分辨率水平的第一时间增强层。

3.如权利要求1或2所述的方法，其特征在于，包括将视频信息编码到所述视频流中作为第二空间分辨率水平的第一空间增强层。

4.如权利要求1到3中任一项所述的方法，其特征在于，包括***可唯一性标识的起始码以指示所述增强层在所述视频流中的起点。

5.如权利要求1到4中任一项所述的方法，其特征在于，包括将所述增强层的各种结构标识符和有效载荷与所述基本层的各种结构标识符和有效载荷多路复用。

6.如权利要求1到5中任一项所述的方法，其特征在于，包括用不同的加密密钥对每一视频层加密。

7.如权利要求1到6中任一项所述的方法，其特征在于，包括向每一视频层分派不同的数字权限集。

8.一种方法，包括：

接收编码的视频流；以及

从所述编码视频流的包括基本层和增强层的不同视频层中解码视频信息，所述基本层具有第一空间分辨率水平和第一时间分辨率水平，所述增强层增加所述第一空间分辨率水平或所述第一时间分辨率水平。

9.如权利要求8所述的方法，其特征在于，包括从第二时间分辨率水平的第一时间增强层中解码视频信息。

10.如权利要求8或9所述的方法，其特征在于，包括从第二空间分辨率水平的第一空间增强层中解码视频信息。

11.如权利要求8到10中任一项所述的方法，其特征在于，包括：

解析所述视频流；以及

检索指示所述增强层在所述视频流中的起点的起始码。

12.如权利要求8到11中任一项所述的方法，其特征在于，包括基于增强层起始码的值为所述增强层调用专门的结构解析器和解码器。

13.如权利要求8到12中任一项所述的方法，其特征在于，包括识别与所述增强层相关联的起始码以便为所述增强层调用解码工具集。

14.如权利要求8到13中任一项所述的方法，其特征在于，包括用不同的加密密钥对每一视频层解密。

15.如权利要求8到14中任一项所述的方法，其特征在于，包括：

为每一视频层取回不同的数字权限集；以及

根据每集数字权限控制对来自每一视频层的视频信息的访问。

16.如权利要求8到15中任一项所述的方法，其特征在于，包括再现来自所述基本层的视频信息和来自所述增强层的视频信息以在显示器上增加所述第一空间分辨率水平或所述第一时间分辨率水平。

17.一种装置，包括将视频信息编码成具有基本层和增强层的视频流的视频编码器(200)，所述基本层具有第一空间分辨率水平和第一时间分辨率水平，所述增强层增加所述第一空间分辨率水平或所述第一时间分辨率水平。

18.如权利要求17所述的装置，其特征在于，所述视频编码器将视频信息编码到所述视频流中作为第二时间分辨率水平或第三时间分辨率水平的时间增强层。

19.如权利要求17或18所述的装置，其特征在于，所述视频编码器将视频信息编码到所述视频流中作为第二空间分辨率水平和所述第一时间分辨率水平、第二时间分辨率水平或第三时间分辨率水平的空间增强层。

20.如权利要求17到19中任一项所述的装置，其特征在于，包括耦合至到所述视频编码器的加密模块(1002)，所述加密模块用不同的加密密钥对每一层加密。

21.如权利要求17到20中任一项所述的装置，其特征在于，包括耦合至所述视频编码器的数字权限管理模块(1102)，所述数字权限管理模块向每一层分派不同的数字权限集。

22.一种装置，包括从编码视频流的基本层和增强层中解码视频信息的视频解码器(300)，所述基本层具有第一空间分辨率水平和第一时间分辨率水平，所述增强层增加所述第一空间分辨率水平或所述第一时间分辨率水平。

23.如权利要求22所述的装置，其特征在于，所述视频解码器从第二时间分辨率水平或第三时间分辨率水平的时间增强层解码视频信息。

24.如权利要求22或23所述的装置，其特征在于，所述视频解码器从第二空间分辨率水平和所述第一时间分辨率水平、第二时间分辨率水平或第三时间分辨率水平的空间增强层解码视频信息。

25.如权利要求22到24中任一项所述的装置，其特征在于，包括耦合至所述视频解码器的解密模块(1004)，所述解密模块用不同的解密密钥对每一层解密。

26.如权利要求22到25中任一项所述的装置，其特征在于，包括耦合至所述视频解码器的数字权限管理模块(1104)，所述数字权限管理模块使用分派给每一层的不同的数字权限集来控制对来自每一层的视频信息的访问。

27.如权利要求22到26中任一项所述的装置，其特征在于，包括耦合至所述视频解码器的显示设备(1260)，所述显示设备显示来自所述基本层的视频信息和来自所述增强层的视频信息以在所述显示器上增加所述第一空间分辨率水平或所述第一时间分辨率水平。

28.一种计算机程序，包括当在数据处理装置上执行时实现如权利要求1到16中任一项所述的方法和/或实现如权利要求17到21中任一项所述的视频编码器和/或实现如权利要求22到27中任一项所述的视频解码器的计算机程序元素。

29.一种计算机程序载体介质，承载如权利要求28所述的计算机程序。

Images