CN1656816A - 使用较高质量的参考帧改进效率的fgst结构 - Google Patents

Abstract

一种用于编码视频的方法(200、300)和设备，包括从至少部分的时间剩余图像帧构成运动补偿的扩展的参考帧。运动补偿的扩展的参考帧用于双向预测和/或单向预测FGS运动补偿的剩余图像帧或时间帧的附加电平。

Description

使用较高质量的参考帧改进效率的FGST结构

技术领域

本发明涉及精细颗粒可分级性(fine granular scalability)(FGS)视频编码，更加具体地说，涉及FGS编码方案，其中从较高质量的参考帧预测出双向和/或单向预测的FGS时间(FGST)帧的多个层，所说的参考帧包括基本层信息和至少一部分增强层信息。

背景技术

在因特网协议(IP)网络上的视频流已使多媒体应用范围变得很宽。因特网视频流提供连续的媒体内容的实时传送和显示，同时还对在因特网上缺乏“服务质量(QoS)”保证进行补偿。由于在IP网络上带宽和其它性能参数(如包丢失率)的变化和不可预见性，在一般情况下，大多数所建议的流解决方案都是基于某种类型的分层的(可分级(scalable))视频编码方案。

图1A和1B表示一种类型的可分级视频编码方案的典型可分级性结构10A、10B，称之为混合的时间-SNR精细颗粒可分级性(FGS HS)，在共同转让的、共同待审查的美国专利申请序列号No.09/590825中详细描述了这个编码方案。每个FGS HS结构10A、10B都包括一个基本层11A、11B(BL)和一个增强层12A、12B(EL)。可分级的视频流的基本层部分在一般情况下代表解码这个流所需的最小数据量。可分级的视频流的增强层部分代表附加信息，即，FGS SNR帧或图像和FGS时间帧或图像(记为FGST)，当通过接收器解码时，用于加强视频信号的表示。具体来说，引入附加的时间帧是为了获得更高的帧速率。MPEG-4 FGS标准支持图1A的双向预测的FGST图像类型和图1B的前向预测的FGST图像类型。

图2表示在美国专利申请序列号为No.09/590825中描述的一个典型的FGS HS视频编码器100的功能结构。编码操作基于DCT变换，当然还可以使用其它的变换(如小波变换)。这个视频编码器100能够产生图1A和1B的FGS HS结构。视频编码器100包括基本层编码器110和增强层编码器130。视频编码器100接收原始的视频信号，所说的视频信号通过基本层编码器110被处理成I和P帧的基本层比特流，并且通过增强层编码器130处理成FGS SNR I和P帧和/或P和B FGST帧的增强层比特流。

在图1A和1B的FGS HS结构中，从存储在帧存储器模块中的低质量基本层参考帧中预测FGST帧。因此，产生的运动补偿的残余误差很大，于是需要大量的比特来补偿这些帧。因而，向较高的帧速率的过渡或者在低的比特率下进行，或者在极高的比特率下进行。

因此需要一种技术来降低在FGS HS视频编码方案中引入FGST帧所需的带宽。

发明内容

本发明的第一个方面涉及视频编码。这一方面涉及从至少部分的第一电平的运动补偿的残余图像帧构造运动补偿的可扩展的参考帧。从运动补偿的可扩展的参考帧和视频预测第二电平的运动补偿的残余图像帧。将第二电平的运动补偿的残余图像帧按照精细颗粒可分级的方式编码成时间帧的数据流。

本发明的第二方面涉及视频解码。这一方面涉及从至少部分的第一电平的运动补偿的残余图像帧来构造运动补偿的可扩展的参考帧。将增强层数据流的第二电平的时间帧部分按照精细颗粒可扩展的方式进行解码，以构成第二电平的运动补偿的残余帧。运动补偿的可扩展的参考帧与第二电平的运动补偿的残余帧进行组合，以构成第二电平的时间帧。

附图说明

在结合附图考虑从现在开始详细描述的实施例，本发明的优点、本质、和各种附加的特征都将变得更加清楚，这里，所有附图中相同的附图标记表示相同的元件。

图1A和1B是示意图，表示一个可分级性视频编码方案的典型可扩展结构，称之为混合时间-SNR精细颗粒可扩展性；

图2是示意图，表示典型的FGS混合时间-SNR视频编码器的功能结构，它能够产生图1A和1B的可分级性结构；

图3是示意图，表示按照本发明的第一实施例的基于FGS的混合时间-SNR可分级性结构；

图3B是示意图，表示按照本发明的第二实施例的基于FGS的混合时间-SNR可分级性结构；

图4是示意图，表示按照本发明的典型实施例的FGS混合时间-SNR视频编码器的功能结构；

图5是示意图，表示按照本发明的典型实施例的FGS混合时间-SNR视频解码器的功能结构；

图6表示可用于实施本发明的原理的一个***的典型实施例。

具体实施方式

图3A表示按照本发明的第一实施例的基于FGS的混合时间-SNR可分级性结构(FGS HS结构30A)。FGS HS结构30A包括利用I和P帧编码的基本层31A、以及利用剩余的SNR I及P帧33A和至少第一和第二电平的运动补偿的残余的或时间的(FGST)双向预测的(B)帧34、35A及35B进行FGS编码的单个增强层32A。

第一电平的FGST帧34是从高质量“扩展的”基本层参考帧双向预测的，每个参考帧都是从一个完整的基本层帧和至少部分的增强层帧构成的，至少部分的增强层帧即增强层帧的一个或多个位面或者部分位面。第二电平的FGST帧35A可以从高质量扩展的基本层参考帧和高质量的“扩展的”FGST参考帧、即FGST帧34的一个或多个位面或者部分位面双向预测出。第二电平的FGST帧35B可以从至少部分的两个不同的高质量扩展的FGST参考帧双向预测出。

图3B表示按照本发明的第二实施例的FGS混合时间-SNR可分级性结构(FGS HS结构30B)。FGS HS结构30B包括利用I和P帧编码的基本层31B、以及利用剩余的SNR I及P帧33B和至少第一和第二电平的运动补偿的残余的或时间的(FGST)单向预测的(B)帧36、37及38进行FGS编码的单个增强层32B。

第一电平的FGST帧36是从高质量扩展的基本层参考帧单向预测的，所说的参考帧是从至少部分的SNR帧33B导出的。第二电平的FGST帧37也是从至少部分的这个高质量扩展的基本层参考帧单向预测的。第二电平的FGST帧38是从高质量扩展的FGST参考帧、即第一电平的FGST帧36的至少一部分单向预测的。

由于这些扩展的参考帧具有很高的质量，所以在FGST帧内编码的剩余运动补偿误差要比图1A和1B的FGS HS结构的FGST帧中小得多。因此，本发明的FGST帧能够用较少的比特更加有效地发送。本发明的高编码效率对于无线应用尤其有用，因为无线应用必须有高的编码效率增益。

图4表示按照本发明的典型实施例的一个FGS HS视频编码器200的功能结构。这个视频编码器200能够按照图3A、3B的FGS HS结构30A、30B编码视频信号。视频编码器200包括基本层编码器210和增强层编码器230。视频编码器200接收原始视频信号，原始视频信号通过基本层编码器210处理成I和P帧的基本层比特流，并且通过增强层编码器230处理成FGS SNR I和P帧和/或P和B FGST帧的增强层比特流。虽然图4的编码器200是基于离散余弦变换，但也可以使用其它的变换，如小波变换。

基本层编码器210包括第一视频信号处理分支，第一视频信号处理分支包括：运动估算器211、运动补偿器212、离散余弦变换(DCT)213、量化器214、和熵编码器215，用于产生基本层比特流。基本层编码器210还包括第二视频信号处理分支，第二视频信号处理分支包括：反向量化器216、逆向离散余弦变换(IDCT)217、和帧存储器218。

帧存储器218用于存储：标准基本层参考帧、扩展的基本层参考帧、和FGS参考帧。运动估算器211接收原始视频信号并且估算在帧存储器218中存储的参考帧和在原始视频信号中的视频帧之间的运动量，这个运动量由像素特性的变化表示，而且产生运动信息信号，这个运动信息信号包含基本层运动矢量和预测模式(基本层参考帧)、或增强层运动矢量、和预测模式(扩展的基本层参考帧和FGST参考帧)。将运动信息信号加到运动补偿器212和第一数据流控制器219。

运动补偿器212使用标准基本层参考帧信号、基本层运动矢量、和预测模式信号来产生运动补偿参考帧信号，运动补偿参考帧信号用于预测标准基本层P帧。运动补偿器212利用扩展的基本层参考帧信号、FGST参考帧信号、和FGST帧的增强层运动信息信号来产生运动补偿的扩展的基本层参考帧信号和运动补偿的FGST参考帧信号，这两个信号用于预测第一和第二电平的FGST帧。

在第一减法器220中，通过从原始视频信号中扣除标准的运动补偿的基本层参考帧信号，产生运动补偿的剩余基本层P帧信号。在第一减法器220中，通过从原始视频信号中扣除运动补偿的扩展的基本层参考帧信号，产生运动补偿的剩余FGST帧信号，以用于产生第一电平的FGST帧。在第一减法器220中，通过从原始视频信号中扣除运动补偿的扩展的基本层参考帧和运动补偿的扩展的FGST参考帧信号的组合信号，产生运动补偿的剩余FGST帧信号，以用于产生图3A的第二电平的FGST帧35A。在第一减法器220中，通过从原始视频信号中扣除组合的运动补偿的扩展的FGST参考帧信号，产生运动补偿的剩余FGST帧信号，以用于产生图3A的第二电平的FGST帧35B，所说的组合的运动补偿的扩展的FGST参考帧信号由两个不同的运动补偿的扩展的FGST参考帧组成。

在第一减法器220中，通过从原始视频信号中扣除运动补偿的扩展的基本层参考帧信号，产生运动补偿的剩余FGST帧信号，以用于产生图3B的第二电平的FGST帧37。在第一减法器220，通过从原始视频信号中扣除运动补偿的FGST参考帧信号，产生运动补偿的剩余FGST帧信号，以用于产生图3B的第二电平的FGST帧38。

离散余弦变换213通过按常规方式将运动补偿的剩余FGST和基本层P帧信号中的空间信息变换到频率域内来实现压缩。在原始视频信号中的基本层I帧也由离散余弦变换213按照这种方式进行压缩。在适当的时间，第二数据流控制器221向量化器214传递在离散余弦变换213的输出端产生的基本层I和P帧的离散余弦变换的位面信号以便进一步压缩。

熵编码器215使用常规的可变长度编码等技术进一步压缩在量化器214的输出端上的量化的经过离散余弦变换的位面信号。第一复用器222利用从运动估算器经过第一数据流控制器219路由到第一复用器222的基本层运动信息信号多路复用在熵编码器215的输出端上的信号，以产生I和P帧的基本层比特流。

反向量化器216使量化器214的输出去量化，以产生代表输入到量化器214的变换的信号。这个信号表示的是重构的基本层离散余弦变换系数。逆向离散余弦变换(IDCT)217解码重构的基本层离散余弦变换系数以产生一个信号，这个信号提供经过变换和量化过程修改的原始视频信号的基本层I和P帧表示。第一加法器223从逆向离散余弦变换217的输出端上的信号以及运动补偿器212的输出端的适当的参考帧信号重构基本层I和P帧。这些重构的基本层I和P帧被存储在帧存储器218中并被用作标准的基本层参考帧，用于预测另外的基本层P参考帧和第一电平的FGST帧。

增强层编码器230包括第一视频信号处理分支，第一视频信号处理分支包括：离散余弦变换剩余图像存储器231、自适应量化器232、和FGS编码器235。增强层编码器230还包括第二视频信号处理分支，第二视频信号处理分支包括：第一位面选择器236、第二逆向离散余弦变换(IDCT)217、第二位面选择器244、和第三逆向离散余弦变换246。

在增强层编码器230中的第二减法器238从量化器214的输出端上的量化的基本层离散余弦变换位面信号中扣除在离散余弦变换213的输出端上的基本层离散余弦变换位面信号，以产生SNR离散余弦变换位面剩余图像。在适当的时候，第三数据流控制器239将在第二减法器238的输出端上的SNR离散余弦变换位面剩余图像信号(SNR剩余信号)或者通过第二数据流控制器221路由的运动补偿的第一和第二电平的FGST离散余弦变换位面剩余信号(FGST剩余信号)施加到离散余弦变换剩余图像存储器231以进行存储。

自适应量化器232是公知的编码工具，它对变换编码的视频的视觉质量有所改进。自适应量化器232包括：一个已知的选择性的加强工具233，用于通过在剩余图像帧中经过移位选择的宏模块对SNR和FGST剩余信号进行选择性的加强；和一个任选的已知的频率加权工具，用于加权经过比特移动选择的系数。

FGS编码器235使用位面离散余弦变换扫描和熵编码压缩在自适应量化器232的输出端上的SNR剩余信号，由此产生FGS SNR比特流。第四数据流控制器240在适当的时间向第三复用器243发送FGS SNR比特流。FGS编码器235还要使用位面离散余弦变换扫描和熵编码压缩在自适应量化器232的输出端上的FGST剩余信号。在FGS编码器235的输出端上的经过压缩的FGST剩余信号在适当的时间由第四数据流控制器240发送到第二复用器241，第二复用器241多路复用经过压缩的FGST剩余信号经过第一数据流控制器219路由的增强层运动信息信号，由此产生FGST比特流。SNR FGS增强层比特流和时间FGS比特流可以经过第三复用器243多路复用以产生单个增强层比特流(它由SNR帧和第一及第二电平的时间FGS帧组成)，或者以两个分开的流存储/发送。

第一位面选择器或者掩码设备236选择SNR剩余图像信号的至少一部分位面，即，一部分位面、一个或多个完整的位面、或者完整的和部分的位面的任意组合。这个数据信号与在第二加法器242的基本层编码器210的逆向离散余弦变换216的输出端上的它的对应的基本层帧信号进行组合，以构成扩展的基本层参考帧。第二逆向离散余弦变换237解码扩展的基本层参考帧的离散余弦变换系数。第三加法器224组合在第二逆向离散余弦变换237的输出端上的扩展的基本层帧信号和在运动补偿器212的输出端上的适当的参考帧信号。在帧存储器218中存储在第三加法器224构成的扩展的基本层帧，并且将其用作扩展的基本层参考帧，用于预测FGST帧。

第二位面选择器244、第四和第五加法器245、247、以及第三逆向离散余弦变换246产生用于预测第二电平的FGST帧的FGST参考帧。在图3A的第二电平的FGST帧35A的情况下，第二位面选择器244选择至少一部分参考FGST离散余弦变换位面剩余图像34和至少一部分参考SNR离散余弦变换位面剩余图像33A。这个数据信号与第四加法器245的基本层编码器210的逆向离散余弦变换216的输出端上的一个对应的基本层离散余弦变换剩余帧信号组合，构成一个FGST参考帧信号，用于双向预测图3A的FGST帧35A。然后，将这个数据信号加到第三逆向离散余弦变换246。

在图3A的第二电平的FGST帧35B的情况下，第二位面选择器244选择每个参考FGST离散余弦变换位面剩余图像34的至少一部分。这个数据信号包括用于双向预测图3A的FGST帧35B的FGST参考帧信号。这个数据信号不由第四加法器245处理，因此被加到第三逆向离散余弦变换246上。

在图3B的第二电平的FGST帧37的情况下，第二位面选择器244选择参考SNR离散余弦变换位面剩余图像33B的至少一部分。这个数据信号与第四加法器245的基本层编码器210的逆向离散余弦变换216的输出端上的一个对应的基本层离散余弦变换剩余帧信号组合，以构成FGST参考帧信号，用于单向预测图3B的第二电平的FGST帧37。然后这个数据被加到第三逆向离散余弦变换246上。

在图3B的另外的第二电平的FGST帧38的情况下，第二位面选择器244选择参考FGST离散余弦变换位面剩余图像36的至少一部分。这个数据信号包括用于单向预测图3B的FGST帧38的FGST参考帧信号。这个数据信号不由第四加法器245处理，因此被加到第三逆向离散余弦变换246上。

第三逆向离散余弦变换246解码以上的参考帧信号的离散余弦变换系数。第五加法器247组合在第三逆向离散余弦变换246的输出端上的信号和在运动补偿器218的输出端上的适当的参考帧信号。在帧存储器218中存储在第五加法器247构成的扩展的FGST帧(即，从图3A的第一电平的FGST参考帧34和SNR参考帧33A以及图3B的第一电平的FGST参考帧36导出的帧)和扩展的基本层参考帧(即，从图3B的第一电平的SNR参考帧33B导出的帧)，并将其用作预测第二电平的FGST帧的参考帧。

图5表示按照本发明的典型实施例的一个FGS HS视频解码器300的功能结构。这个视频解码器300能够解码由图4的视频编码器200产生的基本层和增强层的比特流。

视频解码器300包括基本层解码器310和增强层解码器330。基本层解码器包括基本层可变长度解码器(VLD)311、反向量化器311、和第一逆向离散余弦变换313、基本层帧存储器314、和运动补偿器315。

增强层解码器330包括：FGS位面解码器331、第一位面选择器332、第二逆向离散余弦变换333、增强层帧存储器334、第二位面选择器343、和第三逆向离散余弦变换344。增强层解码器330与基本层解码器310共享运动补偿器315。

基本层比特流由基本层解码器310接收并且经过第一去复用器316去复用，从而将编码的基本层信息信号从基本层运动信息信号中分离出来。基本层可变长度解码器311接收基本层信息信号，并且逆转(reverse)来自基本层编码器210的熵编码过程，从而产生量化的基本层离散余弦变换系数信号。通过反向量化器312反向量化所说的量化的基本层信息信号，以便重构基本层离散余弦变换系数信号。第一逆向离散余弦变换313对基本层离散余弦变换系数进行逆向余弦变换。在第一逆向离散余弦变换313的输出端上的信号的基本层I帧部分不需要任何进一步的处理。因此，在基本层帧存储器314中存储在第一加法器319中的基本层I帧。

运动补偿器315在适当时候接收由第一数据流控制器317控制的基本层运动信息信号。然后，运动补偿器315使用存储在基本层帧存储器314中的基本层运动信息和基本层I和P参考帧来重构运动补偿的基本层参考帧，其被用于预测基本层P帧。

在适当的时间通过第二数据流控制器318将在运动补偿器315的输出端上的运动补偿的基本层参考帧信号加到第一加法器319上。第一加法器组合这个信号与在第一逆向离散余弦变换313的输出端上的这个信号的其余部分，以重构基本层P帧，基本层P帧然后被存储在基本层帧存储器314中。在第一加法器319的输出端产生的基本层帧信号可以任选地作为基本层视频进行输出。

增强层比特流由增强层解码器330接收，并且通过第二去复用器335去复用，从而将编码的FGS SNR信号从编码的FGST信号分离出来。在适当时间，经过第三数据流控制器337向FGS位面解码器331输入编码的FGS SNR信号，所说解码器331通过执行可变长度解码、去移位、和逆向离散余弦变换操作解码已经编码的FGS SNR信号的位面。第二加法器340在适当时间经过第四数据流控制器338组合在FGS位面解码器331的输出端上的已经解码的FGS I和P SNR帧信号与在第一加法器319的输出端上的已经解码的基本层I和P帧信号。第五数据流控制器341选择一个适当的时间，以用于在第一加法器319的输出端上输出组合的基本层和SNR帧信号，以此作为加强的视频。

第一位面选择器332输入在逆向离散余弦变换之前正由FGS位面解码器331处理的FGS SNR剩余图像或帧信号，并且选择先前已经选择过的参考位面、部分位面等的数目，这些位面曾被用于在编码期间预测第一电平的FGST帧。第二逆向离散余弦变换333对所选的部分解码的参考FGS SNR位面进行逆向余弦变换。第三加法器342组合在第二逆向离散余弦变换333的输出端上的所有已经解码的参考FGSSNR剩余图像或帧部分与存储在基本层帧存储器314中的对应的基本层帧，以重构扩展的基本层参考帧。在增强层帧存储器334中存储扩展的基本层参考帧，用于后来的第一电平的FGST帧的重构的过程中。

第三去复用器336使FGST信息信号去复用，以使已经编码的FGST剩余图像或帧信号从增强层运动信息信号中分离出来。在适当的时刻由FGS位面解码器331经过第三数据流控制器337接收已经编码的FGST剩余图像或帧信号并且对其进行处理，下面马上对此进行说明。

对于图3A的双向预测的FGST帧35A，第二位面选择器332输入在逆向离散余弦变换之前正由FGS位面解码器331处理的FGS SNR和FGST剩余图像或帧信号，并且选择先前选择过的、曾在编码期间用于预测第二电平的FGST帧35A的参考位面、部分位面等的数目。第三逆向离散余弦变换344对所选的部分解码的参考FGS SNR和FGST位面进行逆向余弦变换。在FGS SNR位面的情况下，第四加法器345组合在第三逆向离散余弦变换344的输出端上的全部解码的参考FGSSNR剩余图像或帧部分与存储在基本层帧存储器314中的对应的基本层帧，以重构扩展的基本层参考帧，用于第二电平的FGST帧35A。将这些扩展的基本层参考帧存储在增强层帧存储器334中。在FGST位面的情况下，第四加法器不起任何作用，因此，在第三逆向离散余弦变换344的输出端上的完全解码的扩展的FGST参考帧和它们的对应的扩展的基本层参考帧一起存储在增强层帧存储器334中，以便后面重构第二电平的FGST帧35A时使用。

对于图3A的双向预测的FGST帧35B，第二位面选择器332只输入在逆向离散余弦变换之前正由FGS位面解码器331处理的FGST剩余图像或帧信号，并且选择先前选择过的、曾在编码期间用于预测第二电平的FGST帧35B的参考位面、部分位面等的数目。第三逆向离散余弦变换344对所选的部分解码的参考FGST位面进行逆向余弦变换。在FGST位面的情况下，第四加法器不起任何作用，因此，在第三逆向离散余弦变换344的输出端上的完全解码的扩展的FGST参考帧被存储在增强层帧存储器334中，以便后面用于重构第二电平的FGST帧35B。

对于图3B的单向预测的FGST帧37，第二位面选择器332输入在逆向离散余弦变换之前正由FGS位面解码器331处理的FGS SNR剩余图像或帧信号，并且选择先前选择过的、曾在编码期间用于预测第二电平FGST帧37的参考位面、部分位面等的数目。第三逆向离散余弦变换344对所选的部分解码的参考FGS SNR位面进行逆向余弦变换。第四加法器345组合在第三逆向离散余弦变换344的输出端上的完全解码的参考FGS SNR剩余图像或帧部分和基本层帧存储器314中存储的对应的基本层帧，以重构扩展的基本层参考帧，用于第二电平的FGST帧37。在增强层帧存储器334中存储这些扩展的基本层参考帧，以便后面用于重构第二电平FGST帧37。

对于图3B的单向预测的FGST帧38，第二位面选择器332只输入在逆向离散余弦变换之前正由FGS位面解码器331处理的FGS剩余图像或帧信号，并且选择先前选择过的、曾在编码期间用于预测第二电平FGST帧38的参考位面、部分位面等的数目。第三逆向离散余弦变换344对所选的部分解码的参考FGS位面进行逆向余弦变换。第四加法器345在FGST位面的情况下不起任何作用，因此，在第三逆向离散余弦变换344的输出端上的完全解码的扩展的FGST参考图像或帧部分被存储在增强层帧存储器334中，以便后面用于重构第二电平的FGST帧38。

在适当的时刻，运动补偿器315经过第一数据流控制器317接收增强层运动信息信号。运动补偿器使用在增强层帧存储器中存储的增强层运动信息和扩展的基本层和FGST参考帧来重构运动补偿的扩展的基本层和FGST参考帧。

第五加法器339组合在运动补偿器315的输出端上的运动补偿的扩展的基本层和FGST参考帧信号与在FGS解码器331的输出端上的已经解码的FGST剩余帧信号。这个功能的定时关系由第四数据流控制器338控制。第五数据流控制器341在适当时间输出在第五加法器339的输出端上的重构的FGST帧信号，以此作为加强的视频。

图6表示可用于实施本发明的原理的一个***400的典型实施例。***400可代表电视、机顶盒、台式、膝上、和掌上计算机、个人数字助理(PDA)、视频/图像存储设备，例如盒式录像机(VCR)、数字视频记录器(DVR)、TiVO设备等，以及这些设备和其它设备的部分或组合。***400包括一个或多个视频/图像源401、一个或多个输入/输出设备402、一个处理器403、和一个存储器404。视频/图像源(一个或多个)401例如可代表电视接收机、VCR、或其它的视频/图像存储设备。视频/图像源(一个或多个)401按另一种方式还可代表一个或多个网络连接，用于例如通过一个全球计算机通信网络从一个或多个服务器接收视频，所说的网络例如有：因特网、宽域网、都市区域网、局域网、地面广播***、有线网络、卫星网络、无线网络、或电话网络、以及这些和其它类型网络的一些部分或组合。

输入/输出设备402、处理器403、和存储器404可以通过通信媒介405进行通信。通信媒介405例如可以代表总线、通信网络、电路的一个或多个内部连接、电路卡、或其它设备、以及这些和其它的通信媒介的一些部分和组合。按照存储在存储器404中的并由处理器403执行的一个或多个软件程序处理来自源(一个或多个)401的输入视频数据，以产生提供给显示设备406的输出视频/图像。

在优选实施例中，可通过由***执行的计算机可读代码来实现使用本发明的原理的编码和解码。所说的代码可存储在存储器404中，或从诸如CD-ROM或软盘之类的存储介质读出/下载。在另外的实施例中，可使用硬件电路来代替软件指令来实施本发明，或者硬件电路与软件指令组合起来实施本发明。例如，在图4或图5中所示的功能部件还可以实施为分立的硬件元件。

虽然以上结合特定的实施例描述了本发明，但应该理解，本发明不限于这里公开的实施例。例如，可以使用除离散余弦变换以外的其它变换，其中包括但不限于小波变换或匹配追踪。这些和所有其它的这种改进和变化都被认为是落在所附的权利要求书的范围内。

Claims (14)

1.一种编码视频的方法，包括如下步骤：

-从第一电平的运动补偿的剩余图像帧的至少一部分构成运动补偿的扩展的参考帧；

-从运动补偿的扩展的参考帧和视频来预测第二电平的运动补偿的剩余图像帧；和

-将第二电平的运动补偿的剩余图像帧按照精细颗粒可分级编码成时间帧的数据流。

2.根据权利要求1所述的编码视频的方法，进一步还包括如下步骤：

-将视频编码成基本层帧的数据流；

-从基本层帧计算剩余图像帧；以及

-将剩余图像帧按照精细颗粒可分级编码成SNR质量帧的数据流。

3.根据权利要求2所述的编码视频的方法，进一步还包括如下步骤：

-从基本层帧和至少部分剩余图像帧构成运动补偿的扩展的基本层参考帧；

-从运动补偿的扩展的基本层参考帧和视频来预测第一电平的运动补偿的剩余图像帧；

-将第一电平的运动补偿的剩余图像帧按照精细颗粒可分级编码成时间帧的数据流。

4.根据权利要求3所述的编码视频的方法，进一步还包括如下步骤：组合时间帧的数据流与SNR质量帧的数据流以构成时间帧和SNR质量帧的单个数据流。

5.根据权利要求2所述的编码视频的方法，进一步还包括如下步骤：组合时间帧的数据流与SNR质量帧的数据流以构成时间帧和SNR质量帧的单个数据流。

6.一种编码视频信号的方法，包括如下步骤：

-从至少部分的第一电平的运动补偿的剩余图像帧构成运动补偿的扩展的参考帧；

-从运动补偿的扩展的参考帧和视频预测第二电平的运动补偿的剩余图像帧；和

-将第二电平的运动补偿的剩余图像帧按照精细颗粒可分级编码成时间帧的数据流。

7.一种用于编码视频的设备，包括：

-用于从至少部分的第一电平的运动补偿的剩余图像帧构成运动补偿的扩展的参考帧的装置(244)；

-用于从运动补偿的扩展的参考帧和视频预测第二电平的运动补偿的剩余图像帧的装置(247)；和

-用于将第二电平的运动补偿的剩余图像帧按照精细颗粒可分级编码成时间帧的数据流的装置(235)。

8.一种用于编码视频的存储介质，包括：

-用于从至少部分的第一电平的运动补偿的剩余图像帧构成运动补偿的扩展的参考帧的代码(244)；

-用于从运动补偿的扩展的参考帧和视频预测第二电平的运动补偿的剩余图像帧的代码(247)；和

-用于将第二电平的运动补偿的剩余图像帧按照精细颗粒可分级编码成时间帧的数据流的代码(235)。

9.一种用于解码合起来表示视频的基本层数据流和增强层数据流的方法，包括如下步骤：

-从至少部分的第一电平的运动补偿的剩余图像帧构成运动补偿的扩展的参考帧；

-按照精细颗粒可分级解码增强层数据流的第二电平时间帧部分，以构成第二电平的运动补偿的剩余帧；

-组合运动补偿的扩展的参考帧与第二电平的运动补偿的剩余帧，以构成第二电平的时间帧。

10.根据权利要求9所述的解码方法，进一步还包括如下步骤：

-解码基本层数据流以构成基本层帧；

-按照精细颗粒可分级解码增强层数据流的SNR质量帧部分以构成SNR质量帧；

-从基本层帧和至少部分SNR质量帧构成运动补偿的扩展的基本层参考帧；

-按照精细颗粒可分级性解码增强层数据流的时间帧部分以构成第一电平的运动补偿的剩余帧；

-组合运动补偿的扩展的基本层参考帧与第一电平的运动补偿的剩余帧以构成第一电平的时间帧。

11.根据权利要求10所述的解码方法，进一步还包括如下步骤：将基本层帧和SNR质量帧组合成加强的视频。

12.根据权利要求10所述的解码方法，进一步还包括如下步骤：将基本层帧、SNR质量帧、和第一及第二电平的时间帧组合成加强的视频。

13.一种用于解码合起来表示视频的基本层数据流和增强层数据流的设备，包括：

-从至少部分的第一电平的运动补偿的剩余图像帧构成运动补偿的扩展的参考帧的装置(343)；

-按照精细颗粒可分级解码增强层数据流的第二电平时间帧部分以构成第二电平的运动补偿的剩余帧的装置(331)；

-组合运动补偿的扩展的参考帧与第二电平的运动补偿的剩余帧以构成第二电平的时间帧的装置(339)。

14.一种用于解码合起来表示视频的基本层数据流和增强层数据流的存储介质，包括：

-从至少部分的第一电平的运动补偿的剩余图像帧构成运动补偿的扩展的参考帧的代码(343)；

-按照精细颗粒可分级解码增强层数据流的第二电平时间帧部分以构成第二电平的运动补偿的剩余帧的代码(331)；

-组合运动补偿的扩展的参考帧与第二电平的运动补偿的剩余帧以构成第二电平的时间帧的代码(339)。

Images