CN1656816A - 使用较高质量的参考帧改进效率的fgst结构 - Google Patents
使用较高质量的参考帧改进效率的fgst结构 Download PDFInfo
- Publication number
- CN1656816A CN1656816A CNA038122987A CN03812298A CN1656816A CN 1656816 A CN1656816 A CN 1656816A CN A038122987 A CNA038122987 A CN A038122987A CN 03812298 A CN03812298 A CN 03812298A CN 1656816 A CN1656816 A CN 1656816A
- Authority
- CN
- China
- Prior art keywords
- frame
- level
- motion compensation
- motion
- residual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一种用于编码视频的方法(200、300)和设备,包括从至少部分的时间剩余图像帧构成运动补偿的扩展的参考帧。运动补偿的扩展的参考帧用于双向预测和/或单向预测FGS运动补偿的剩余图像帧或时间帧的附加电平。
Description
技术领域
本发明涉及精细颗粒可分级性(fine granular scalability)(FGS)视频编码,更加具体地说,涉及FGS编码方案,其中从较高质量的参考帧预测出双向和/或单向预测的FGS时间(FGST)帧的多个层,所说的参考帧包括基本层信息和至少一部分增强层信息。
背景技术
在因特网协议(IP)网络上的视频流已使多媒体应用范围变得很宽。因特网视频流提供连续的媒体内容的实时传送和显示,同时还对在因特网上缺乏“服务质量(QoS)”保证进行补偿。由于在IP网络上带宽和其它性能参数(如包丢失率)的变化和不可预见性,在一般情况下,大多数所建议的流解决方案都是基于某种类型的分层的(可分级(scalable))视频编码方案。
图1A和1B表示一种类型的可分级视频编码方案的典型可分级性结构10A、10B,称之为混合的时间-SNR精细颗粒可分级性(FGS HS),在共同转让的、共同待审查的美国专利申请序列号No.09/590825中详细描述了这个编码方案。每个FGS HS结构10A、10B都包括一个基本层11A、11B(BL)和一个增强层12A、12B(EL)。可分级的视频流的基本层部分在一般情况下代表解码这个流所需的最小数据量。可分级的视频流的增强层部分代表附加信息,即,FGS SNR帧或图像和FGS时间帧或图像(记为FGST),当通过接收器解码时,用于加强视频信号的表示。具体来说,引入附加的时间帧是为了获得更高的帧速率。MPEG-4 FGS标准支持图1A的双向预测的FGST图像类型和图1B的前向预测的FGST图像类型。
图2表示在美国专利申请序列号为No.09/590825中描述的一个典型的FGS HS视频编码器100的功能结构。编码操作基于DCT变换,当然还可以使用其它的变换(如小波变换)。这个视频编码器100能够产生图1A和1B的FGS HS结构。视频编码器100包括基本层编码器110和增强层编码器130。视频编码器100接收原始的视频信号,所说的视频信号通过基本层编码器110被处理成I和P帧的基本层比特流,并且通过增强层编码器130处理成FGS SNR I和P帧和/或P和B FGST帧的增强层比特流。
在图1A和1B的FGS HS结构中,从存储在帧存储器模块中的低质量基本层参考帧中预测FGST帧。因此,产生的运动补偿的残余误差很大,于是需要大量的比特来补偿这些帧。因而,向较高的帧速率的过渡或者在低的比特率下进行,或者在极高的比特率下进行。
因此需要一种技术来降低在FGS HS视频编码方案中引入FGST帧所需的带宽。
发明内容
本发明的第一个方面涉及视频编码。这一方面涉及从至少部分的第一电平的运动补偿的残余图像帧构造运动补偿的可扩展的参考帧。从运动补偿的可扩展的参考帧和视频预测第二电平的运动补偿的残余图像帧。将第二电平的运动补偿的残余图像帧按照精细颗粒可分级的方式编码成时间帧的数据流。
本发明的第二方面涉及视频解码。这一方面涉及从至少部分的第一电平的运动补偿的残余图像帧来构造运动补偿的可扩展的参考帧。将增强层数据流的第二电平的时间帧部分按照精细颗粒可扩展的方式进行解码,以构成第二电平的运动补偿的残余帧。运动补偿的可扩展的参考帧与第二电平的运动补偿的残余帧进行组合,以构成第二电平的时间帧。
附图说明
在结合附图考虑从现在开始详细描述的实施例,本发明的优点、本质、和各种附加的特征都将变得更加清楚,这里,所有附图中相同的附图标记表示相同的元件。
图1A和1B是示意图,表示一个可分级性视频编码方案的典型可扩展结构,称之为混合时间-SNR精细颗粒可扩展性;
图2是示意图,表示典型的FGS混合时间-SNR视频编码器的功能结构,它能够产生图1A和1B的可分级性结构;
图3是示意图,表示按照本发明的第一实施例的基于FGS的混合时间-SNR可分级性结构;
图3B是示意图,表示按照本发明的第二实施例的基于FGS的混合时间-SNR可分级性结构;
图4是示意图,表示按照本发明的典型实施例的FGS混合时间-SNR视频编码器的功能结构;
图5是示意图,表示按照本发明的典型实施例的FGS混合时间-SNR视频解码器的功能结构;
图6表示可用于实施本发明的原理的一个***的典型实施例。
具体实施方式
图3A表示按照本发明的第一实施例的基于FGS的混合时间-SNR可分级性结构(FGS HS结构30A)。FGS HS结构30A包括利用I和P帧编码的基本层31A、以及利用剩余的SNR I及P帧33A和至少第一和第二电平的运动补偿的残余的或时间的(FGST)双向预测的(B)帧34、35A及35B进行FGS编码的单个增强层32A。
第一电平的FGST帧34是从高质量“扩展的”基本层参考帧双向预测的,每个参考帧都是从一个完整的基本层帧和至少部分的增强层帧构成的,至少部分的增强层帧即增强层帧的一个或多个位面或者部分位面。第二电平的FGST帧35A可以从高质量扩展的基本层参考帧和高质量的“扩展的”FGST参考帧、即FGST帧34的一个或多个位面或者部分位面双向预测出。第二电平的FGST帧35B可以从至少部分的两个不同的高质量扩展的FGST参考帧双向预测出。
图3B表示按照本发明的第二实施例的FGS混合时间-SNR可分级性结构(FGS HS结构30B)。FGS HS结构30B包括利用I和P帧编码的基本层31B、以及利用剩余的SNR I及P帧33B和至少第一和第二电平的运动补偿的残余的或时间的(FGST)单向预测的(B)帧36、37及38进行FGS编码的单个增强层32B。
第一电平的FGST帧36是从高质量扩展的基本层参考帧单向预测的,所说的参考帧是从至少部分的SNR帧33B导出的。第二电平的FGST帧37也是从至少部分的这个高质量扩展的基本层参考帧单向预测的。第二电平的FGST帧38是从高质量扩展的FGST参考帧、即第一电平的FGST帧36的至少一部分单向预测的。
由于这些扩展的参考帧具有很高的质量,所以在FGST帧内编码的剩余运动补偿误差要比图1A和1B的FGS HS结构的FGST帧中小得多。因此,本发明的FGST帧能够用较少的比特更加有效地发送。本发明的高编码效率对于无线应用尤其有用,因为无线应用必须有高的编码效率增益。
图4表示按照本发明的典型实施例的一个FGS HS视频编码器200的功能结构。这个视频编码器200能够按照图3A、3B的FGS HS结构30A、30B编码视频信号。视频编码器200包括基本层编码器210和增强层编码器230。视频编码器200接收原始视频信号,原始视频信号通过基本层编码器210处理成I和P帧的基本层比特流,并且通过增强层编码器230处理成FGS SNR I和P帧和/或P和B FGST帧的增强层比特流。虽然图4的编码器200是基于离散余弦变换,但也可以使用其它的变换,如小波变换。
基本层编码器210包括第一视频信号处理分支,第一视频信号处理分支包括:运动估算器211、运动补偿器212、离散余弦变换(DCT)213、量化器214、和熵编码器215,用于产生基本层比特流。基本层编码器210还包括第二视频信号处理分支,第二视频信号处理分支包括:反向量化器216、逆向离散余弦变换(IDCT)217、和帧存储器218。
帧存储器218用于存储:标准基本层参考帧、扩展的基本层参考帧、和FGS参考帧。运动估算器211接收原始视频信号并且估算在帧存储器218中存储的参考帧和在原始视频信号中的视频帧之间的运动量,这个运动量由像素特性的变化表示,而且产生运动信息信号,这个运动信息信号包含基本层运动矢量和预测模式(基本层参考帧)、或增强层运动矢量、和预测模式(扩展的基本层参考帧和FGST参考帧)。将运动信息信号加到运动补偿器212和第一数据流控制器219。
运动补偿器212使用标准基本层参考帧信号、基本层运动矢量、和预测模式信号来产生运动补偿参考帧信号,运动补偿参考帧信号用于预测标准基本层P帧。运动补偿器212利用扩展的基本层参考帧信号、FGST参考帧信号、和FGST帧的增强层运动信息信号来产生运动补偿的扩展的基本层参考帧信号和运动补偿的FGST参考帧信号,这两个信号用于预测第一和第二电平的FGST帧。
在第一减法器220中,通过从原始视频信号中扣除标准的运动补偿的基本层参考帧信号,产生运动补偿的剩余基本层P帧信号。在第一减法器220中,通过从原始视频信号中扣除运动补偿的扩展的基本层参考帧信号,产生运动补偿的剩余FGST帧信号,以用于产生第一电平的FGST帧。在第一减法器220中,通过从原始视频信号中扣除运动补偿的扩展的基本层参考帧和运动补偿的扩展的FGST参考帧信号的组合信号,产生运动补偿的剩余FGST帧信号,以用于产生图3A的第二电平的FGST帧35A。在第一减法器220中,通过从原始视频信号中扣除组合的运动补偿的扩展的FGST参考帧信号,产生运动补偿的剩余FGST帧信号,以用于产生图3A的第二电平的FGST帧35B,所说的组合的运动补偿的扩展的FGST参考帧信号由两个不同的运动补偿的扩展的FGST参考帧组成。
在第一减法器220中,通过从原始视频信号中扣除运动补偿的扩展的基本层参考帧信号,产生运动补偿的剩余FGST帧信号,以用于产生图3B的第二电平的FGST帧37。在第一减法器220,通过从原始视频信号中扣除运动补偿的FGST参考帧信号,产生运动补偿的剩余FGST帧信号,以用于产生图3B的第二电平的FGST帧38。
离散余弦变换213通过按常规方式将运动补偿的剩余FGST和基本层P帧信号中的空间信息变换到频率域内来实现压缩。在原始视频信号中的基本层I帧也由离散余弦变换213按照这种方式进行压缩。在适当的时间,第二数据流控制器221向量化器214传递在离散余弦变换213的输出端产生的基本层I和P帧的离散余弦变换的位面信号以便进一步压缩。
熵编码器215使用常规的可变长度编码等技术进一步压缩在量化器214的输出端上的量化的经过离散余弦变换的位面信号。第一复用器222利用从运动估算器经过第一数据流控制器219路由到第一复用器222的基本层运动信息信号多路复用在熵编码器215的输出端上的信号,以产生I和P帧的基本层比特流。
反向量化器216使量化器214的输出去量化,以产生代表输入到量化器214的变换的信号。这个信号表示的是重构的基本层离散余弦变换系数。逆向离散余弦变换(IDCT)217解码重构的基本层离散余弦变换系数以产生一个信号,这个信号提供经过变换和量化过程修改的原始视频信号的基本层I和P帧表示。第一加法器223从逆向离散余弦变换217的输出端上的信号以及运动补偿器212的输出端的适当的参考帧信号重构基本层I和P帧。这些重构的基本层I和P帧被存储在帧存储器218中并被用作标准的基本层参考帧,用于预测另外的基本层P参考帧和第一电平的FGST帧。
增强层编码器230包括第一视频信号处理分支,第一视频信号处理分支包括:离散余弦变换剩余图像存储器231、自适应量化器232、和FGS编码器235。增强层编码器230还包括第二视频信号处理分支,第二视频信号处理分支包括:第一位面选择器236、第二逆向离散余弦变换(IDCT)217、第二位面选择器244、和第三逆向离散余弦变换246。
在增强层编码器230中的第二减法器238从量化器214的输出端上的量化的基本层离散余弦变换位面信号中扣除在离散余弦变换213的输出端上的基本层离散余弦变换位面信号,以产生SNR离散余弦变换位面剩余图像。在适当的时候,第三数据流控制器239将在第二减法器238的输出端上的SNR离散余弦变换位面剩余图像信号(SNR剩余信号)或者通过第二数据流控制器221路由的运动补偿的第一和第二电平的FGST离散余弦变换位面剩余信号(FGST剩余信号)施加到离散余弦变换剩余图像存储器231以进行存储。
自适应量化器232是公知的编码工具,它对变换编码的视频的视觉质量有所改进。自适应量化器232包括:一个已知的选择性的加强工具233,用于通过在剩余图像帧中经过移位选择的宏模块对SNR和FGST剩余信号进行选择性的加强;和一个任选的已知的频率加权工具,用于加权经过比特移动选择的系数。
FGS编码器235使用位面离散余弦变换扫描和熵编码压缩在自适应量化器232的输出端上的SNR剩余信号,由此产生FGS SNR比特流。第四数据流控制器240在适当的时间向第三复用器243发送FGS SNR比特流。FGS编码器235还要使用位面离散余弦变换扫描和熵编码压缩在自适应量化器232的输出端上的FGST剩余信号。在FGS编码器235的输出端上的经过压缩的FGST剩余信号在适当的时间由第四数据流控制器240发送到第二复用器241,第二复用器241多路复用经过压缩的FGST剩余信号经过第一数据流控制器219路由的增强层运动信息信号,由此产生FGST比特流。SNR FGS增强层比特流和时间FGS比特流可以经过第三复用器243多路复用以产生单个增强层比特流(它由SNR帧和第一及第二电平的时间FGS帧组成),或者以两个分开的流存储/发送。
第一位面选择器或者掩码设备236选择SNR剩余图像信号的至少一部分位面,即,一部分位面、一个或多个完整的位面、或者完整的和部分的位面的任意组合。这个数据信号与在第二加法器242的基本层编码器210的逆向离散余弦变换216的输出端上的它的对应的基本层帧信号进行组合,以构成扩展的基本层参考帧。第二逆向离散余弦变换237解码扩展的基本层参考帧的离散余弦变换系数。第三加法器224组合在第二逆向离散余弦变换237的输出端上的扩展的基本层帧信号和在运动补偿器212的输出端上的适当的参考帧信号。在帧存储器218中存储在第三加法器224构成的扩展的基本层帧,并且将其用作扩展的基本层参考帧,用于预测FGST帧。
第二位面选择器244、第四和第五加法器245、247、以及第三逆向离散余弦变换246产生用于预测第二电平的FGST帧的FGST参考帧。在图3A的第二电平的FGST帧35A的情况下,第二位面选择器244选择至少一部分参考FGST离散余弦变换位面剩余图像34和至少一部分参考SNR离散余弦变换位面剩余图像33A。这个数据信号与第四加法器245的基本层编码器210的逆向离散余弦变换216的输出端上的一个对应的基本层离散余弦变换剩余帧信号组合,构成一个FGST参考帧信号,用于双向预测图3A的FGST帧35A。然后,将这个数据信号加到第三逆向离散余弦变换246。
在图3A的第二电平的FGST帧35B的情况下,第二位面选择器244选择每个参考FGST离散余弦变换位面剩余图像34的至少一部分。这个数据信号包括用于双向预测图3A的FGST帧35B的FGST参考帧信号。这个数据信号不由第四加法器245处理,因此被加到第三逆向离散余弦变换246上。
在图3B的第二电平的FGST帧37的情况下,第二位面选择器244选择参考SNR离散余弦变换位面剩余图像33B的至少一部分。这个数据信号与第四加法器245的基本层编码器210的逆向离散余弦变换216的输出端上的一个对应的基本层离散余弦变换剩余帧信号组合,以构成FGST参考帧信号,用于单向预测图3B的第二电平的FGST帧37。然后这个数据被加到第三逆向离散余弦变换246上。
在图3B的另外的第二电平的FGST帧38的情况下,第二位面选择器244选择参考FGST离散余弦变换位面剩余图像36的至少一部分。这个数据信号包括用于单向预测图3B的FGST帧38的FGST参考帧信号。这个数据信号不由第四加法器245处理,因此被加到第三逆向离散余弦变换246上。
第三逆向离散余弦变换246解码以上的参考帧信号的离散余弦变换系数。第五加法器247组合在第三逆向离散余弦变换246的输出端上的信号和在运动补偿器218的输出端上的适当的参考帧信号。在帧存储器218中存储在第五加法器247构成的扩展的FGST帧(即,从图3A的第一电平的FGST参考帧34和SNR参考帧33A以及图3B的第一电平的FGST参考帧36导出的帧)和扩展的基本层参考帧(即,从图3B的第一电平的SNR参考帧33B导出的帧),并将其用作预测第二电平的FGST帧的参考帧。
图5表示按照本发明的典型实施例的一个FGS HS视频解码器300的功能结构。这个视频解码器300能够解码由图4的视频编码器200产生的基本层和增强层的比特流。
视频解码器300包括基本层解码器310和增强层解码器330。基本层解码器包括基本层可变长度解码器(VLD)311、反向量化器311、和第一逆向离散余弦变换313、基本层帧存储器314、和运动补偿器315。
增强层解码器330包括:FGS位面解码器331、第一位面选择器332、第二逆向离散余弦变换333、增强层帧存储器334、第二位面选择器343、和第三逆向离散余弦变换344。增强层解码器330与基本层解码器310共享运动补偿器315。
基本层比特流由基本层解码器310接收并且经过第一去复用器316去复用,从而将编码的基本层信息信号从基本层运动信息信号中分离出来。基本层可变长度解码器311接收基本层信息信号,并且逆转(reverse)来自基本层编码器210的熵编码过程,从而产生量化的基本层离散余弦变换系数信号。通过反向量化器312反向量化所说的量化的基本层信息信号,以便重构基本层离散余弦变换系数信号。第一逆向离散余弦变换313对基本层离散余弦变换系数进行逆向余弦变换。在第一逆向离散余弦变换313的输出端上的信号的基本层I帧部分不需要任何进一步的处理。因此,在基本层帧存储器314中存储在第一加法器319中的基本层I帧。
运动补偿器315在适当时候接收由第一数据流控制器317控制的基本层运动信息信号。然后,运动补偿器315使用存储在基本层帧存储器314中的基本层运动信息和基本层I和P参考帧来重构运动补偿的基本层参考帧,其被用于预测基本层P帧。
在适当的时间通过第二数据流控制器318将在运动补偿器315的输出端上的运动补偿的基本层参考帧信号加到第一加法器319上。第一加法器组合这个信号与在第一逆向离散余弦变换313的输出端上的这个信号的其余部分,以重构基本层P帧,基本层P帧然后被存储在基本层帧存储器314中。在第一加法器319的输出端产生的基本层帧信号可以任选地作为基本层视频进行输出。
增强层比特流由增强层解码器330接收,并且通过第二去复用器335去复用,从而将编码的FGS SNR信号从编码的FGST信号分离出来。在适当时间,经过第三数据流控制器337向FGS位面解码器331输入编码的FGS SNR信号,所说解码器331通过执行可变长度解码、去移位、和逆向离散余弦变换操作解码已经编码的FGS SNR信号的位面。第二加法器340在适当时间经过第四数据流控制器338组合在FGS位面解码器331的输出端上的已经解码的FGS I和P SNR帧信号与在第一加法器319的输出端上的已经解码的基本层I和P帧信号。第五数据流控制器341选择一个适当的时间,以用于在第一加法器319的输出端上输出组合的基本层和SNR帧信号,以此作为加强的视频。
第一位面选择器332输入在逆向离散余弦变换之前正由FGS位面解码器331处理的FGS SNR剩余图像或帧信号,并且选择先前已经选择过的参考位面、部分位面等的数目,这些位面曾被用于在编码期间预测第一电平的FGST帧。第二逆向离散余弦变换333对所选的部分解码的参考FGS SNR位面进行逆向余弦变换。第三加法器342组合在第二逆向离散余弦变换333的输出端上的所有已经解码的参考FGSSNR剩余图像或帧部分与存储在基本层帧存储器314中的对应的基本层帧,以重构扩展的基本层参考帧。在增强层帧存储器334中存储扩展的基本层参考帧,用于后来的第一电平的FGST帧的重构的过程中。
第三去复用器336使FGST信息信号去复用,以使已经编码的FGST剩余图像或帧信号从增强层运动信息信号中分离出来。在适当的时刻由FGS位面解码器331经过第三数据流控制器337接收已经编码的FGST剩余图像或帧信号并且对其进行处理,下面马上对此进行说明。
对于图3A的双向预测的FGST帧35A,第二位面选择器332输入在逆向离散余弦变换之前正由FGS位面解码器331处理的FGS SNR和FGST剩余图像或帧信号,并且选择先前选择过的、曾在编码期间用于预测第二电平的FGST帧35A的参考位面、部分位面等的数目。第三逆向离散余弦变换344对所选的部分解码的参考FGS SNR和FGST位面进行逆向余弦变换。在FGS SNR位面的情况下,第四加法器345组合在第三逆向离散余弦变换344的输出端上的全部解码的参考FGSSNR剩余图像或帧部分与存储在基本层帧存储器314中的对应的基本层帧,以重构扩展的基本层参考帧,用于第二电平的FGST帧35A。将这些扩展的基本层参考帧存储在增强层帧存储器334中。在FGST位面的情况下,第四加法器不起任何作用,因此,在第三逆向离散余弦变换344的输出端上的完全解码的扩展的FGST参考帧和它们的对应的扩展的基本层参考帧一起存储在增强层帧存储器334中,以便后面重构第二电平的FGST帧35A时使用。
对于图3A的双向预测的FGST帧35B,第二位面选择器332只输入在逆向离散余弦变换之前正由FGS位面解码器331处理的FGST剩余图像或帧信号,并且选择先前选择过的、曾在编码期间用于预测第二电平的FGST帧35B的参考位面、部分位面等的数目。第三逆向离散余弦变换344对所选的部分解码的参考FGST位面进行逆向余弦变换。在FGST位面的情况下,第四加法器不起任何作用,因此,在第三逆向离散余弦变换344的输出端上的完全解码的扩展的FGST参考帧被存储在增强层帧存储器334中,以便后面用于重构第二电平的FGST帧35B。
对于图3B的单向预测的FGST帧37,第二位面选择器332输入在逆向离散余弦变换之前正由FGS位面解码器331处理的FGS SNR剩余图像或帧信号,并且选择先前选择过的、曾在编码期间用于预测第二电平FGST帧37的参考位面、部分位面等的数目。第三逆向离散余弦变换344对所选的部分解码的参考FGS SNR位面进行逆向余弦变换。第四加法器345组合在第三逆向离散余弦变换344的输出端上的完全解码的参考FGS SNR剩余图像或帧部分和基本层帧存储器314中存储的对应的基本层帧,以重构扩展的基本层参考帧,用于第二电平的FGST帧37。在增强层帧存储器334中存储这些扩展的基本层参考帧,以便后面用于重构第二电平FGST帧37。
对于图3B的单向预测的FGST帧38,第二位面选择器332只输入在逆向离散余弦变换之前正由FGS位面解码器331处理的FGS剩余图像或帧信号,并且选择先前选择过的、曾在编码期间用于预测第二电平FGST帧38的参考位面、部分位面等的数目。第三逆向离散余弦变换344对所选的部分解码的参考FGS位面进行逆向余弦变换。第四加法器345在FGST位面的情况下不起任何作用,因此,在第三逆向离散余弦变换344的输出端上的完全解码的扩展的FGST参考图像或帧部分被存储在增强层帧存储器334中,以便后面用于重构第二电平的FGST帧38。
在适当的时刻,运动补偿器315经过第一数据流控制器317接收增强层运动信息信号。运动补偿器使用在增强层帧存储器中存储的增强层运动信息和扩展的基本层和FGST参考帧来重构运动补偿的扩展的基本层和FGST参考帧。
第五加法器339组合在运动补偿器315的输出端上的运动补偿的扩展的基本层和FGST参考帧信号与在FGS解码器331的输出端上的已经解码的FGST剩余帧信号。这个功能的定时关系由第四数据流控制器338控制。第五数据流控制器341在适当时间输出在第五加法器339的输出端上的重构的FGST帧信号,以此作为加强的视频。
图6表示可用于实施本发明的原理的一个***400的典型实施例。***400可代表电视、机顶盒、台式、膝上、和掌上计算机、个人数字助理(PDA)、视频/图像存储设备,例如盒式录像机(VCR)、数字视频记录器(DVR)、TiVO设备等,以及这些设备和其它设备的部分或组合。***400包括一个或多个视频/图像源401、一个或多个输入/输出设备402、一个处理器403、和一个存储器404。视频/图像源(一个或多个)401例如可代表电视接收机、VCR、或其它的视频/图像存储设备。视频/图像源(一个或多个)401按另一种方式还可代表一个或多个网络连接,用于例如通过一个全球计算机通信网络从一个或多个服务器接收视频,所说的网络例如有:因特网、宽域网、都市区域网、局域网、地面广播***、有线网络、卫星网络、无线网络、或电话网络、以及这些和其它类型网络的一些部分或组合。
输入/输出设备402、处理器403、和存储器404可以通过通信媒介405进行通信。通信媒介405例如可以代表总线、通信网络、电路的一个或多个内部连接、电路卡、或其它设备、以及这些和其它的通信媒介的一些部分和组合。按照存储在存储器404中的并由处理器403执行的一个或多个软件程序处理来自源(一个或多个)401的输入视频数据,以产生提供给显示设备406的输出视频/图像。
在优选实施例中,可通过由***执行的计算机可读代码来实现使用本发明的原理的编码和解码。所说的代码可存储在存储器404中,或从诸如CD-ROM或软盘之类的存储介质读出/下载。在另外的实施例中,可使用硬件电路来代替软件指令来实施本发明,或者硬件电路与软件指令组合起来实施本发明。例如,在图4或图5中所示的功能部件还可以实施为分立的硬件元件。
虽然以上结合特定的实施例描述了本发明,但应该理解,本发明不限于这里公开的实施例。例如,可以使用除离散余弦变换以外的其它变换,其中包括但不限于小波变换或匹配追踪。这些和所有其它的这种改进和变化都被认为是落在所附的权利要求书的范围内。
Claims (14)
1.一种编码视频的方法,包括如下步骤:
-从第一电平的运动补偿的剩余图像帧的至少一部分构成运动补偿的扩展的参考帧;
-从运动补偿的扩展的参考帧和视频来预测第二电平的运动补偿的剩余图像帧;和
-将第二电平的运动补偿的剩余图像帧按照精细颗粒可分级编码成时间帧的数据流。
2.根据权利要求1所述的编码视频的方法,进一步还包括如下步骤:
-将视频编码成基本层帧的数据流;
-从基本层帧计算剩余图像帧;以及
-将剩余图像帧按照精细颗粒可分级编码成SNR质量帧的数据流。
3.根据权利要求2所述的编码视频的方法,进一步还包括如下步骤:
-从基本层帧和至少部分剩余图像帧构成运动补偿的扩展的基本层参考帧;
-从运动补偿的扩展的基本层参考帧和视频来预测第一电平的运动补偿的剩余图像帧;
-将第一电平的运动补偿的剩余图像帧按照精细颗粒可分级编码成时间帧的数据流。
4.根据权利要求3所述的编码视频的方法,进一步还包括如下步骤:组合时间帧的数据流与SNR质量帧的数据流以构成时间帧和SNR质量帧的单个数据流。
5.根据权利要求2所述的编码视频的方法,进一步还包括如下步骤:组合时间帧的数据流与SNR质量帧的数据流以构成时间帧和SNR质量帧的单个数据流。
6.一种编码视频信号的方法,包括如下步骤:
-从至少部分的第一电平的运动补偿的剩余图像帧构成运动补偿的扩展的参考帧;
-从运动补偿的扩展的参考帧和视频预测第二电平的运动补偿的剩余图像帧;和
-将第二电平的运动补偿的剩余图像帧按照精细颗粒可分级编码成时间帧的数据流。
7.一种用于编码视频的设备,包括:
-用于从至少部分的第一电平的运动补偿的剩余图像帧构成运动补偿的扩展的参考帧的装置(244);
-用于从运动补偿的扩展的参考帧和视频预测第二电平的运动补偿的剩余图像帧的装置(247);和
-用于将第二电平的运动补偿的剩余图像帧按照精细颗粒可分级编码成时间帧的数据流的装置(235)。
8.一种用于编码视频的存储介质,包括:
-用于从至少部分的第一电平的运动补偿的剩余图像帧构成运动补偿的扩展的参考帧的代码(244);
-用于从运动补偿的扩展的参考帧和视频预测第二电平的运动补偿的剩余图像帧的代码(247);和
-用于将第二电平的运动补偿的剩余图像帧按照精细颗粒可分级编码成时间帧的数据流的代码(235)。
9.一种用于解码合起来表示视频的基本层数据流和增强层数据流的方法,包括如下步骤:
-从至少部分的第一电平的运动补偿的剩余图像帧构成运动补偿的扩展的参考帧;
-按照精细颗粒可分级解码增强层数据流的第二电平时间帧部分,以构成第二电平的运动补偿的剩余帧;
-组合运动补偿的扩展的参考帧与第二电平的运动补偿的剩余帧,以构成第二电平的时间帧。
10.根据权利要求9所述的解码方法,进一步还包括如下步骤:
-解码基本层数据流以构成基本层帧;
-按照精细颗粒可分级解码增强层数据流的SNR质量帧部分以构成SNR质量帧;
-从基本层帧和至少部分SNR质量帧构成运动补偿的扩展的基本层参考帧;
-按照精细颗粒可分级性解码增强层数据流的时间帧部分以构成第一电平的运动补偿的剩余帧;
-组合运动补偿的扩展的基本层参考帧与第一电平的运动补偿的剩余帧以构成第一电平的时间帧。
11.根据权利要求10所述的解码方法,进一步还包括如下步骤:将基本层帧和SNR质量帧组合成加强的视频。
12.根据权利要求10所述的解码方法,进一步还包括如下步骤:将基本层帧、SNR质量帧、和第一及第二电平的时间帧组合成加强的视频。
13.一种用于解码合起来表示视频的基本层数据流和增强层数据流的设备,包括:
-从至少部分的第一电平的运动补偿的剩余图像帧构成运动补偿的扩展的参考帧的装置(343);
-按照精细颗粒可分级解码增强层数据流的第二电平时间帧部分以构成第二电平的运动补偿的剩余帧的装置(331);
-组合运动补偿的扩展的参考帧与第二电平的运动补偿的剩余帧以构成第二电平的时间帧的装置(339)。
14.一种用于解码合起来表示视频的基本层数据流和增强层数据流的存储介质,包括:
-从至少部分的第一电平的运动补偿的剩余图像帧构成运动补偿的扩展的参考帧的代码(343);
-按照精细颗粒可分级解码增强层数据流的第二电平时间帧部分以构成第二电平的运动补偿的剩余帧的代码(331);
-组合运动补偿的扩展的参考帧与第二电平的运动补偿的剩余帧以构成第二电平的时间帧的代码(339)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/156,410 | 2002-05-28 | ||
US10/156,410 US6944346B2 (en) | 2002-05-28 | 2002-05-28 | Efficiency FGST framework employing higher quality reference frames |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1656816A true CN1656816A (zh) | 2005-08-17 |
Family
ID=29582253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA038122987A Pending CN1656816A (zh) | 2002-05-28 | 2003-05-27 | 使用较高质量的参考帧改进效率的fgst结构 |
Country Status (7)
Country | Link |
---|---|
US (1) | US6944346B2 (zh) |
EP (1) | EP1512293A1 (zh) |
JP (1) | JP2005528046A (zh) |
KR (1) | KR20050012755A (zh) |
CN (1) | CN1656816A (zh) |
AU (1) | AU2003241071A1 (zh) |
WO (1) | WO2003101116A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105049894B (zh) * | 2005-12-08 | 2018-03-16 | 维德约股份有限公司 | 用于视频通信***中的差错弹性和随机接入的***和方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100556838B1 (ko) * | 2002-09-17 | 2006-03-10 | 엘지전자 주식회사 | 미세단위 신축형 부호화 및 복호화 장치와 방법 |
KR100539923B1 (ko) * | 2003-02-10 | 2005-12-28 | 삼성전자주식회사 | 화상통화시 화자의 영상을 구분하여 차등적 부호화할 수있는 비디오 엔코더 및 이를 이용한 비디오신호의 압축방법 |
KR100679018B1 (ko) * | 2004-09-07 | 2007-02-05 | 삼성전자주식회사 | 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더 |
KR100831692B1 (ko) * | 2004-10-06 | 2008-05-22 | 니폰덴신뎅와 가부시키가이샤 | 스케일러블 부호화 방법 및 장치, 스케일러블 복호 방법 및 장치, 그 프로그램을 기록한 기록 매체 |
KR100891663B1 (ko) * | 2005-10-05 | 2009-04-02 | 엘지전자 주식회사 | 비디오 신호 디코딩 및 인코딩 방법 |
KR20070096751A (ko) * | 2006-03-24 | 2007-10-02 | 엘지전자 주식회사 | 영상 데이터를 코딩/디코딩하는 방법 및 장치 |
KR20070038396A (ko) * | 2005-10-05 | 2007-04-10 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
KR100891662B1 (ko) | 2005-10-05 | 2009-04-02 | 엘지전자 주식회사 | 비디오 신호 디코딩 및 인코딩 방법 |
KR100959541B1 (ko) * | 2005-10-05 | 2010-05-27 | 엘지전자 주식회사 | 영상 신호의 인코딩/디코딩 방법 및 장치 |
KR101105340B1 (ko) | 2009-08-21 | 2012-01-16 | 주식회사 캐프 | 차량용 와이퍼 블레이드의 금속재 클램프와 바디 스프링의 조립방법 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5508823A (en) * | 1991-08-28 | 1996-04-16 | Canon Kabushiki Kaisha | Image processing method and apparatus |
US6181822B1 (en) * | 1993-05-12 | 2001-01-30 | The Duck Corporation | Data compression apparatus and method |
JPH0787327A (ja) * | 1993-09-17 | 1995-03-31 | Fuji Xerox Co Ltd | 画像符号化装置 |
KR970003799B1 (ko) * | 1993-12-29 | 1997-03-21 | 양승택 | 영상 프레임차를 이용한 영상신호 전송장치 |
US6263022B1 (en) * | 1999-07-06 | 2001-07-17 | Philips Electronics North America Corp. | System and method for fine granular scalable video with selective quality enhancement |
GB2364842A (en) | 2000-07-11 | 2002-02-06 | Motorola Inc | Method and system for improving video quality |
US6940905B2 (en) * | 2000-09-22 | 2005-09-06 | Koninklijke Philips Electronics N.V. | Double-loop motion-compensation fine granular scalability |
US20020037046A1 (en) | 2000-09-22 | 2002-03-28 | Philips Electronics North America Corporation | Totally embedded FGS video coding with motion compensation |
-
2002
- 2002-05-28 US US10/156,410 patent/US6944346B2/en not_active Expired - Fee Related
-
2003
- 2003-05-27 AU AU2003241071A patent/AU2003241071A1/en not_active Abandoned
- 2003-05-27 JP JP2004507259A patent/JP2005528046A/ja active Pending
- 2003-05-27 CN CNA038122987A patent/CN1656816A/zh active Pending
- 2003-05-27 WO PCT/IB2003/002030 patent/WO2003101116A1/en active Application Filing
- 2003-05-27 EP EP03730391A patent/EP1512293A1/en not_active Withdrawn
- 2003-05-27 KR KR10-2004-7019144A patent/KR20050012755A/ko not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105049894B (zh) * | 2005-12-08 | 2018-03-16 | 维德约股份有限公司 | 用于视频通信***中的差错弹性和随机接入的***和方法 |
Also Published As
Publication number | Publication date |
---|---|
EP1512293A1 (en) | 2005-03-09 |
JP2005528046A (ja) | 2005-09-15 |
WO2003101116A1 (en) | 2003-12-04 |
KR20050012755A (ko) | 2005-02-02 |
AU2003241071A1 (en) | 2003-12-12 |
US6944346B2 (en) | 2005-09-13 |
US20030223643A1 (en) | 2003-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1192629C (zh) | 应用基层编码信息改进精确颗粒可定标图像的***和方法 | |
CN1196341C (zh) | 使用基层量化数据对增强层数据进行编码和解码的***和方法 | |
KR100954816B1 (ko) | 비디오 및 비디오 신호를 코딩하는 방법, 비디오를 코딩하기 위한 장치 및 컴퓨터 판독 가능한 기록 매체, 및 베이스 층 데이터-스트림과 강화층 데이터-스트림을 디코딩하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 | |
CN1166200C (zh) | 混合式时间-信杂比精细颗粒可分级视频编码 | |
CN1303817C (zh) | 细粒可调节视频残差信号的编码解码***和方法 | |
KR100703760B1 (ko) | 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치 | |
CN1196340C (zh) | 用于数字视频运动补偿的搜索方法和处理器 | |
CN1636407A (zh) | 具有运动补偿的完全嵌入式fgs视频编码 | |
US20050169379A1 (en) | Apparatus and method for scalable video coding providing scalability in encoder part | |
US20050195897A1 (en) | Scalable video coding method supporting variable GOP size and scalable video encoder | |
CN1756359A (zh) | 速率自适应视频编码 | |
CN1457605A (zh) | 精细颗粒可伸缩性视频编码技术中增强层的改进预测结构 | |
WO2004015998A1 (en) | System and method for rate-distortion optimized data partitioning for video coding using backward adaptation | |
KR20060006328A (ko) | 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치 | |
CN101336549A (zh) | 基于多层的可缩放视频编码方法及装置 | |
CN1910932A (zh) | 空间和snr细粒度可缩放视频编码和传输方法 | |
CN1620818A (zh) | 单环运动补偿精细颗粒可伸缩性 | |
CN101077011A (zh) | 运用精细粒度可伸缩性技术进行数字视频实时代码转换的***和方法 | |
KR100952185B1 (ko) | 순방향 에러 정정 코드를 이용하여 비디오의 드리프트 없는 단편적인 다중 설명 채널 코딩을 위한 시스템 및 방법 | |
US20060250520A1 (en) | Video coding method and apparatus for reducing mismatch between encoder and decoder | |
CN1860791A (zh) | 结合高级数据分割和精确粒度可分级以用于有效时空信噪比的可分级视频编码和流式传输的***和方法 | |
CN1813479A (zh) | 过完备小波域中的视频编码 | |
CN1656816A (zh) | 使用较高质量的参考帧改进效率的fgst结构 | |
Wu et al. | DCT-prediction based progressive fine granularity scalable coding | |
JPH11122617A (ja) | 画像圧縮 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20050817 |
|
C20 | Patent right or utility model deemed to be abandoned or is abandoned |