CN1813479A - 过完备小波域中的视频编码 - Google Patents

过完备小波域中的视频编码 Download PDF

Info

Publication number
CN1813479A
CN1813479A CNA2004800184885A CN200480018488A CN1813479A CN 1813479 A CN1813479 A CN 1813479A CN A2004800184885 A CNA2004800184885 A CN A2004800184885A CN 200480018488 A CN200480018488 A CN 200480018488A CN 1813479 A CN1813479 A CN 1813479A
Authority
CN
China
Prior art keywords
video
enhancement layer
operated
motion vector
overcomplete
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800184885A
Other languages
English (en)
Inventor
J·C·叶
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1813479A publication Critical patent/CN1813479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于编码和解码视频帧的编码和解码方法以及装置。该编码方法(600)和装置(110)对基础层采用运动补偿离散余弦变换编码以及对增强层采用过完备小波域中的带内运动补偿时间滤波。解码方法(700)和装置(118)对基础层采用运动补偿离散余弦变换解码以及对增强层采用过完备小波域中的反运动补偿时间滤波。

Description

过完备小波域中的视频编码
本发明通常涉及视频编码***，更具体地说涉及过完备(overcomplete)小波域中的视频编码。
近年来，数据网络上的多媒体内容的实时流动已经变成了日益常见的应用。例如，比如新闻点播、实时网络电视收视以及视频会议之类的多媒体应用经常依赖于视频信息的端对端流动。流视频应用***一般包括视频发射机，其编码视频信号并通过网络将视频信号发送给实时解码并显示该视频信号的视频接收机。
可量测的视频编码一般是许多多媒体应用和业务的所希望的特征。可量测性允许具有较低计算能力的处理器仅解码视频流的子集，而具有较高计算能力的处理器可解码整个视频流。可量测性的另一个应用是在具有可变传输带宽的环境中。在那些环境中，具有较低访问带宽的接收机仅接收并解码视频流的子集，而具有较高访问带宽的接收机接收并解码整个视频流。
例如MPEG-2和MPEG-4的领先的视频压缩标准已经采用了几种视频可量测性方法。在这些标准中已经定义了时间、空间以及质量(如信噪比或“SNR”)可量测性类型。这些方法一般包括基础层(BL)和增强层(EL)。通常，视频流的基础层代表为解码该流所需的最小数据量。流的增强层代表附加信息，其在由接收机来解码时增强视频信号显示。
许多当前的视频编码***对基础层采用运动补偿预测编码以及对增强层采用离散余弦变换(DCT)残差编码。这一般称为“运动补偿”DCT编码(MC-DCT)。在这些***中，利用运动补偿降低了时间冗余，并且通过变换编码运动补偿的残差降低了空间分辨率。然而，这些***一般易于具有诸如误差传播(或漂移)以及缺乏真正的可量测性的问题。
本发明提供一种在过完备小波域中采用运动预测的改进的编码***。在一个方面，混合三维(3D)小波视频编码器对基础层采用运动补偿DCT(MC-DCT)编码以及对增强层采用过完备小波域中的3D带内运动补偿时间滤波(MCTF)或无约束MCTF(UMCTF)。
现在参考以下结合附图的描述来更完全地理解本发明，其中：
图1示出了根据本发明的一个实施例的实例视频传输***；
图2示出了根据本发明的一个实施例的实例视频编码器；
图3示出了根据本发明的一个实施例的由过完备小波展开所产生的实例参考帧；
图4示出了根据本发明的一个实施例的实例视频解码器；
图5A和5B示出了根据本发明的一个实施例的实例视频信息编码；
图6示出了根据本发明的一个实施例的在过完备小波域中编码视频信息的实例方法；以及
图7示出了根据本发明的一个实施例的在过完备小波域中解码视频信息的实例方法。
以下所讨论的图1～7以及在本专利文献中所描述的各种实施例仅仅作为说明，并且无论如何不应构成对本发明的范围的限制。本领域的技术人员应当理解，本发明的原理可用任何适当配置的视频编码器、视频解码器或其他装置、设备或构造来实现。
图1示出了根据本发明的一个实施例的实例视频传输***100。在所示的实施例中，***100包括流视频发射机102、流视频接收机104以及数据网络106。在不脱离本发明的范围的情况下可以采用视频传输***的其他实施例。
流视频发射机102通过网络106使视频信息流到流视频接收机104。流视频发射机102也可以使音频或其他信息流到流视频接收机104。流视频发射机102包括多种视频帧源中的任何一种，其包括数据网络服务器、电视台发射机、电缆网、或台式个人计算机。
在所示的例子中，流视频发射机102包括视频帧源108、视频编码器110、编码器缓冲器112以及存储器114。视频帧源108代表能够产生或相反提供一序列未压缩的视频帧的任何设备或构造，诸如电视天线及接收单元、盒式放像机、摄像机、或能够存储“未加工的”视频片段的磁盘存储设备。
未压缩的视频帧以给定的画面速度(或“流速度”)进入视频编码器110，并被视频编码器110压缩。然后视频编码器110将该压缩的视频帧发送给编码器缓冲器112。视频编码器110代表用于编码视频帧的任何适当的编码器。在一些实施例中，视频编码器110代表对基础层采用MC-DCT编码并对增强层采用过完备小波域中的3D带内MCTF或UMCTF的混合3D小波视频编码器。视频编码器110的一个例子在图2中示出，其在下面被描述。
编码器缓冲器112接收来自视频编码器110的压缩的视频帧并缓冲该视频帧以准备穿过数据网络106来传输。编码器缓冲器112代表用于存储压缩的视频帧的任何适当的缓冲器。
流视频接收机104接收由流视频发射机102经由数据网络106所流出的压缩的视频帧。在所示的例子中，流视频接收机104包括解码器缓冲器116、视频解码器118、视频显示器120、以及存储器122。取决于应用，流视频接收机104可代表多种视频帧接收机中的任何一种，包括电视接收机、台式个人计算机、或盒式录像机。解码器缓冲器116存储经由数据网络106接收的压缩的视频帧。解码器缓冲器116接着按要求将该压缩的视频帧发送给视频解码器118。解码器缓冲器116代表用于存储压缩的视频帧的任何适当的缓冲器。
视频解码器118解压缩由视频编码器110压缩的视频帧。压缩的视频帧是可量测的，允许视频解码器118解码部分或所有的压缩的视频帧。视频解码器118接着将解压缩的帧发送给视频显示器120以便显示。视频解码器118代表用于解码视频帧的任何适当的解码器。在一些实施例中，视频解码器118代表对基础层采用MC-DCT解码并对增强层采用过完备小波域中的反3D带内MCTF或UMCTF的混合3D小波视频解码器。视频解码器118的一个例子在图4中示出，其在下面被描述。视频显示器120代表用于向用户呈现视频帧的任何适当的设备或构造，诸如电视机、PC屏幕、或放映机。
在一些实施例中，视频编码器110实现为由诸如标准MPEG编码器之类的普通数据处理器所执行的软件程序。在这些实施例中，视频编码器110包括多个计算机可执行指令，诸如存储在存储器114中的指令。类似地，在一些实施例中，视频解码器118实现为由诸如标准MPEG解码器之类的普通数据处理器所执行的软件程序。在这些实施例中，视频解码器118包括多个计算机可执行指令，诸如存储在存储器122中的指令。每个存储器114、122代表任何一个或一些易失性或非易失性存储及恢复设备，诸如固定磁盘、可移动磁盘、CD、DVD、磁带、或视盘。在其他实施例中，视频编码器110及视频解码器118每一个都用硬件、软件、固件、或其任意组合来实现。
数据网络106便于***100的部件之间的通信。例如，网络106可在网络地址或部件之间传送网间协议(IP)包、帧中继帧、异步传输模式(ATM)单元、或其他适当的信息。网络106可包括一个或多个局域网(LANs)、城域网(MANs)、广域网(WANs)、所有或一部分诸如国际互联网的全局网络、或在一个或多个位置处的任何一个或一些其他的通信***。网络106还可根据诸如以太网、IP、X.25、帧中继、或任何其他的分组数据协议的任何一个或一些适当类型的协议来运行。
虽然图1示出了视频传输***100的一个例子，但是仍然可对图1做出各种改变。例如，***100可包括任意数目的流视频发射机102、流视频接收机104以及网络106。
图2示出了根据本发明的一个实施例的实例视频编码器110。图2所示的视频编码器110可用于图1所示的视频传输***100中。视频编码器110的其他实施例可用于视频传输***100中，并且在不脱离本发明的范围的情况下，图2所示的视频编码器110可用于任何其他适当的设备、构造或***中。
在所示的例子中，视频编码器110包括小波变换器202。小波变换器202接收未压缩的视频帧214并将该视频帧214从空间域变换到小波域。该变换利用小波滤波空间地将视频帧214分解成多个频带216a-216n，并且该视频帧214的每个频带216用一组小波系数来表示。小波变换器202采用任何适当的变换来将视频帧214分解成多个视频或小波频带216。在一些实施例中，将帧214分解成第一分解级，该第一分解级包括低-低(LL)频带、低-高(LH)频带、高-低(HL)频带、以及高-高(HH)频带。可将这些频带中的一个或多个进一步分解成附加分解级，比如这时将LL频带进一步分解成LLLL、LLLH、LLHL、以及LLHH子频带。
将小波频带216提供给运动补偿DCT(MC-DCT)编码器203和多个运动补偿时间滤波器(MCTFs)204a-204m。MC-DCT编码器203对最低分辨率小波频带216a进行编码。MCTF 204对剩余的视频频带216b-216n进行时间滤波并消除帧214之间的时间相关性。例如，MCTF 204可滤波视频频带216并产生用于每个视频频带216的高通帧和低通帧。在该实施例中，被压缩的视频流的基础层代表由MC-DCT编码器203所处理的最低分辨率小波频带216a，以及视频流的增强层代表由MCTF 204所处理的剩余的小波频带216b-216n。处理基础层的视频编码器110的部件可称为“基础层电路”，而处理增强层的部件可称为“增强层电路”。一些部件可以对两个层都进行处理，并且可形成每个层的电路的一部分。
在一些实施例中，由MC-DCT编码器203和MCTF 204来处理帧组。在具体实施例中，每个MCTF 204包括一个运动估计器和一个时间滤波器。MC-DCT编码器203和MCTF 204中的运动估计器产生一个或多个运动矢量，其估计当前视频帧和参考帧之间的运动量并产生一个或多个运动矢量。MCTF 204中的时间滤波器利用该信息来沿运动方向对一组视频帧进行时间滤波。在其他实施例中，可用无约束运动补偿时间滤波器(UMCTFs)来代替MCTF 204。
在一些实施例中，运动估计器中的内插滤波器可具有不同的系数值。因为不同频带216可具有不同的时间相关性，因此这可有助于改进MCTF 204的编码性能。并且，不同的时间滤波器可用于MCTF 204中。在一些实施例中，双向时间滤波器用于较低的频带216，并且只向前(forward-only)时间滤波器用于较高的频带216。可根据对最小化失真测量或复杂性测量的期望来选择时间滤波器。时间滤波器可代表任何适当的滤波器，诸如采用预测并对为每个频带216不同设计的步骤进行更新以提高或优化效率/复杂性约束的提升滤波器(liftingfilters)。
此外，可为每个频带216适当地确定分组在一起并由MC-DCT编码器203和MCTF 204来处理的帧的数目。在一些实施例中，较低的频带216具有较大数目的分组在一起的帧，并且较高的频带具有较小数目的分组在一起的帧。这允许，例如，根据帧序列214的特性或复杂性或弹性需要来改变每频带216分组在一起的帧数。并且，较高的空间频带216可从较长期的时间滤波中省略。作为具体的例子，LL、LH和HL以及HH频带216中的帧可分别放在八个帧、四个帧、以及两个帧的组中。这分别允许三、二和一的最大分解级。每个频带216的时间分解级的数目可利用任何适当的标准来确定，诸如帧内容、目标失真度量、或每个频带216的时间可量测性的期望级。作为另一个具体的例子，LL、LH和HL以及HH频带216的每一个中的帧可放在八个帧的组中。
如图2所示，MCTF 204在小波域中运行。在普通编码器中，由于小波系数不是移位恒定的，因此小波域中的运动估计和补偿一般效率低。利用低频带移位技术可以克服这种低效率。在所示的实施例中，低频带移位器206处理输入视频帧214并产生一个或多个过完备小波展开218。MCTF 204采用过完备小波展开218作为运动估计期间的参考帧。过完备小波展开218用作参考帧允许MCTF 204来估计运动以改变精确度等级。作为具体的例子，MCTF 204可在LL频带216中采用1/16象素精确度进行运动估计并且在其他频带216中采用1/8象素精确度进行运动估计。
在一些实施例中，低频带移位器206通过对输入视频帧214的较低频带进行移位而产生过完备小波展开218。图3A-3C示出了通过低频带移位器206来产生过完备小波展开218。在这个例子中，相应于特定空间位置处的相同的分解级的不同移位的小波系数称为“交叉相位小波系数”。如图3A所示，通过移位下一个细微等级LL频带的小波系数来产生过完备小波展开218。例如，小波系数302代表在没有移位的情况下的LL频带的系数。小波系数304代表(1，0)移位后或向右移一位后的LL频带的系数。小波系数306代表(0，1)移位后或向下移一位后的LL频带的系数。小波系数308代表(1，1)移位后或向右移一位并向下移一位后的LL频带的系数。
将图3A中的四组小波系数302-308扩充或合并以产生过完备小波展开218。图3B示出了可如何扩充或合并小波系数302-308以产生过完备小波展开218的一个例子。如图3B所示，使两组小波系数330、332交插以产生一组过完备小波系数334。该过完备小波系数334代表图3A所示的过完备小波展开218。执行交插以便过完备小波展开218中的新坐标相应于原始空间域中的相关移位。这种交插技术还可以在每个分解级处循环使用并且可直接扩展为二维信号。利用交插来产生过完备小波系数334可以在视频编码器110和视频解码器118中实现更最佳的或最佳的于象素精确度运动估计和补偿，这是因为它允许考虑相邻小波系数之间的交叉相位相关性。虽然图3B示出了两组正在交插的小波系数330、332，但是可以将任意数目的系数组交插在一起以形成过完备小波系数334，诸如四组小波系数。
低频带移位技术的一部分包括小波块的产生，如图3C所示。在一些实施例中，在小波分解期间，给定比例的系数(除最高频带中的系数之外)可与一组细微比例的同向系数有关。在普通编码器中，通过将这些系数表示成称作“小波树”的数据结构来使用该关系。在低频带移位技术中，对根位于最低频带中的每个小波树的系数进行重排以形成小波块350，如图3C所示。类似地将其他系数分组以形成另外的小波块352、354。图3C所示的小波块提供了该小波块中的小波系数与那些系数在图像中空间地代表的内容之间的直接关联。在具体实施例中，所有比例和方向的相关系数包括在每个小波块中。
在一些实施例中，在运动估计期间由MCTF 204来使用图3C所示的小波块。例如，在运动估计期间，每个MCTF 204找出产生当前小波块和参考帧中的参考小波块之间的最小平均绝对差(MAD)的运动矢量(dx，dy)。例如，可按下述来计算图3C中的第k个小波块的平均绝对差：
回到图2，MC-DCT编码器203和MCTF 204为嵌入式零块编码(EZBC)编码器208提供滤过的视频频带。该EZBC编码器208分析该滤过的视频频带并识别该滤过的频带216内以及该滤过的频带216之间的相关性。EZBC编码器208利用该信息来编码和压缩该滤过的频带216。作为具体的例子，EZBC编码器208可压缩由MCTF 204所产生的高通帧和低通帧。
MC-DCT编码器203和MCTF 204也为两个运动矢量编码器210a-210b提供运动矢量。这些运动矢量代表在提供给视频编码器110的视频帧序列214中所检测到的运动。运动矢量编码器210a编码由MC-DCT编码器203所产生的运动矢量，并且运动矢量编码器210b编码由MCTF 204所产生的运动矢量。运动矢量编码器210代表采用任何适当的编码技术例如类似MC-DCT编码之类的结构或熵基编码技术的任何适当的编码器。
总之，由EZBC编码器208所产生的压缩并滤过的频带216和由运动矢量编码器210所产生的压缩的运动矢量代表输入视频帧214。多路复用器212接收该压缩并滤过的频带216以及该压缩的运动矢量并将它们多路传输到单个输出比特流220上。然后由流视频发射机102经由数据网络106而将该比特流220发送给流视频接收机104。
图4示出了根据本发明的一个实施例的视频解码器118的一个例子。图4所示的视频解码器118可用于图1所示的视频传输***100中。视频解码器118的其他实施例可用于视频传输***100中，并且在不脱离本发明的范围的情况下，图4所示的视频解码器118可用于任何其他适当的设备、构造或***中。
通常，视频解码器118执行与由图2的视频编码器110所执行的功能相反的功能，从而解码由编码器110所编码的视频帧214。在所示的例子中，视频解码器118包括解多路复用器402。解多路复用器402接收由视频编码器110所产生的比特流220。解多路复用器402多路分解比特流220并分离编码的视频频带、由MC-DCT编码产生的编码的运动矢量、以及由MCTF产生的编码的运动矢量。
将该编码的视频频带提供给EZBC解码器404。EZBC解码器404对由EZBC编码器208所编码的视频频带进行解码。例如，EZBC解码器404执行与由EZBC编码器208所采用的编码技术相反的编码技术以还原该视频频带。作为具体的例子，编码的视频频带可代表压缩的高通帧和低通帧，并且EZBC解码器404可以解压缩该高通及低通帧。类似地，将运动矢量提供给两个运动矢量解码器406a-406b。运动矢量解码器406通过执行与由运动矢量编码器210所采用的编码技术相反的编码技术来解码并还原该运动矢量。运动矢量解码器406可代表采用任何适当的解码技术例如结构或熵基解码技术的任何适当的解码器。
将还原的视频频带416a-416n和运动矢量提供给DCT解码器407和多个反运动补偿时间滤波器(反MCTFs)408a-408m。DCT解码器407通过执行反DCT编码来处理并还原最低分辨率的视频频带416a。反MCTF408处理并还原剩余的视频频带416b-416n。例如，反MCTF 408可执行时间合成以使由MCTF 204所完成的时间滤波效应变得相反。反MCTF408也可以执行运动补偿以在视频频带416中再引入运动。特别地，反MCTF 408可处理由MCTF 204所产生的高通和低通帧以还原视频频带416。在其他实施例中，反MCTF 408可用反UMCTF来代替。
然后，将还原的视频频带416提供给反小波变换器410。反小波变换器410执行变换功能以将视频频带416从小波域变换回空间域。取决于例如比特流220中接收的信息量和视频解码器118的处理能力，反小波变换器410可产生一个或多个不同组的还原的视频信号414a-414c。在一些实施例中，还原的视频信号414a-414c具有不同的分辨率。例如，第一还原的视频信号414a可具有低分辨率，第二还原的视频信号414b可具有中等分辨率，以及第三还原的视频信号414c可具有高分辨率。这样，具有不同处理能力或不同带宽入口的不同类型的流视频接收机104可用于***100中。
将还原的视频信号414提供给低频带移位器412。如上所述，视频编码器110利用一个或多个过完备小波展开218来处理输入视频帧214。视频解码器118采用还原视频信号414中的前面还原的视频帧来产生相同的或近似相同的过完备小波展开418。然后，将过完备小波展开418提供给反MCTF 408以用于解码视频频带416。
虽然图2-4示出了视频编码器、过完备小波展开、以及视频解码器的例子，但是可对图2-4做出各种改变。例如，视频编码器110可包括任意数目的MCTF 204，以及视频解码器118可包括任意数目的反MCTF 408。并且，视频编码器110和视频解码器118可采用任何其他的过完备小波展开。此外，视频解码器118中的反小波变换器410可产生具有任意数目的分辨率的还原的视频信号414。作为具体的例子，视频解码器118可产生n组还原的视频信号414，其中n表示视频频带416的数目。
图5A和5B示出了根据本发明的一个实施例的实例视频信息编码。特别地，图5A示出了当视频编码器110既支持空间可量测性又支持质量可量测性时的实例编码，以及图5B示出了当视频编码器110支持空间、时间和质量可量测性时的实例编码。
在图5A中，一组视频帧500正在被视频编码器110编码。该帧组500已经分解成为两个分解级。视频编码器110识别具有最低分辨率的频带，其在所示的实施例中是标注为A2 0的频带。该频带代表这组视频帧500的基础层。视频编码器110中的MC-DCT编码器203接着利用例如MPEG-2、MPEG-4或ITU-T H.26L的MC-DCT基编码来编码该A2 0频带。
组500中的剩余频带(Aj i，i＝1，2，3，j＝1，2)代表这组视频帧500的增强层。视频编码器110中的MCTF 204利用过完备小波域中的带内MCTF或UMCTF来编码这些频带。
利用MC-DCT编码的基础层不能为时间滤波提供足够的运动矢量，并且MCTF 204中的时间滤波器会需要这些运动矢量。因为MC-DCT编码器203仅能为第一分解级提供运动矢量，所以如果增强层包括多个分解级(其在图5A中是成立的)则会需要另外的运动矢量。为了产生另外的运动矢量，将3D带内MCTF或UMCTF既应用到基础层又应用到其他频带。换句话说，可由MCTF 204处理基础层以产生用于另外的分解级的运动矢量。虽然图2示出了仅提供给MC-DCT编码器203的视频频带216a，但是相同的视频频带216a还可以提供给MCTF 204。类似地，虽然图4示出了仅提供给MC-DCT解码器407的视频频带416a，但是相同的视频频带416a还可以提供给反MCTF 408。
在图5B中，另一组视频帧550正在被视频编码器110编码。视频编码器110识别具有最低分辨率的频带，其在所示的实施例中是标注为A2 0的频带。该频带代表这组视频帧550的基础层。视频编码器110中的MC-DCT编码器203接着利用MC-DCT基编码来编码在每隔一个帧中的该A2 0频带。
组550中的剩余频带(Aj i，i＝1，2，3，j＝1，2)和跳过的A2 0频带代表这组视频帧500的增强层。视频编码器110中的MCTF 204利用过完备小波域中的3D带内MCTF或UMCTF来编码这些频带。在该实施例中，增强层包括多个分解级，并且因为该A2 0频带被编码为增强层的一部分，所以在3D带内MCTF或UMCTF期间产生用于该增强层的运动矢量。
虽然图5A和5B示出了视频信息的实例编码，但是可对图5A和5B做出各种改变。例如，任意数目的帧可包括在组500、550中。并且，这些帧也可被分解成任意数目的分解级。
图6示出了根据本发明的一个实施例的用于在过完备小波域中编码视频信息的实例方法600。相对于在图1的***100中运行的图2的视频编码器110来描述该方法600。方法600可由任何其他适当的编码器来使用并且可用于任何其他适当的***中。
在步骤602，视频编码器110接收视频输入信号。这可包括，例如视频编码器110接收来自视频帧源108的多帧视频数据。
在步骤604，视频编码器110将每个视频帧分成频带。这可包括，例如小波变换器202处理该视频帧并将该帧分成n个不同的频带216。小波变换器202可将该帧分解成一个或多个分解级。
在步骤606，视频编码器110产生一个或多个视频帧的过完备小波展开。这可包括，例如低频带移位器206接收视频帧、识别视频帧的较低频带、以不同的量移位该较低频带、并同时扩充该较低频带以产生过完备小波展开。
在步骤608，视频编码器110利用MC-DCT压缩视频帧的基础层。这可包括，例如MC-DCT编码器203编码每个帧中的具有最低分辨率的频带216。这也可包括MC-DCT编码器203编码在帧的一个子集中例如在每隔一帧中的具有最低分辨率的频带216。
在步骤610，视频编码器110利用3D带内MCTF或UMCTF压缩视频帧的增强层。这可包括，例如MCTF 204接收视频频带216、估计频带中的运动、以及产生运动矢量。这也可包括MCTF 204利用在步骤604处所产生的过完备小波展开来编码增强层。
在步骤612，视频编码器110编码滤过的视频频带。这可包括EZBC编码器208接收来自MCTF 204的滤过的视频频带216并压缩该滤过的频带216。在步骤614，视频编码器110编码运动矢量。这可包括，例如运动矢量编码器210接收由MCTF 204所产生的运动矢量并压缩该运动矢量。在步骤616，视频编码器110产生输出比特流。这可包括，例如多路复用器212接收压缩的视频频带216和压缩的运动矢量并将它们多路传输到比特流220中。这里，视频编码器110可采取任何适当的行动，例如将比特流传送给缓冲器以便经由数据网络106来传输。
虽然图6示出了用于在过完备小波域中编码视频信息的方法600的一个例子，但是可对图6做出各种改变。例如，图6所示的各个步骤可在视频编码器110中并行执行，例如步骤604和606。并且，视频编码器110可多次在编码处理期间产生过完备小波展开，例如一次为由编码器110处理每组帧。
图7示出了根据本发明的一个实施例的用于在过完备小波域中解码视频信息的实例方法700。相对于在图1的***100中运行的图4的视频解码器118来描述该方法700。方法700可由任何其他适当的解码器来使用并且可用于任何其他适当的***中。
在步骤702，视频解码器118接收视频比特流。这可包括，例如视频解码器110经由数据网络106接收比特流。
在步骤704，视频解码器118分离比特流中的编码的视频频带和编码的运动矢量。这可包括，例如多路复用器402分离视频频带和运动矢量并且将它们发送给视频解码器118中的不同部件。
在步骤706，视频解码器118解码视频频带。这可包括，例如EZBC解码器404对视频频带执行反操作以使由EZBC编码器208执行的编码变得相反。在步骤708，视频解码器118解码运动矢量。这可包括，例如运动矢量解码器406对运动矢量执行反操作以使由运动矢量编码器210执行的编码变得相反。
在步骤710，视频解码器118利用MC-DCT来解压缩视频帧的基础层。这可包括，例如MC-DCT解码器407解码每个帧中的具有最低分辨率的频带416。这也可包括MC-DCT解码器407解码在帧的一个子集中例如在每隔一帧中的具有最低分辨率的频带416。
在步骤712，视频解码器118利用反3D带内MCTF或UMCTF来解压缩视频帧的增强层(如果可能的话)。这可包括，例如反MCTF 408接收频带416并且利用运动矢量来补偿原始视频帧214中的运动。
在步骤714，视频解码器118变换所还原的视频频带416。这可包括，例如反小波变换器410将视频频带416从小波域变换到空间域。这也可包括反小波变换器410产生一组或多组还原的信号414，其中不同组的还原的信号414具有不同的分辨率。
在步骤716，视频解码器118产生一个或多个所还原的信号414中的还原的视频帧的过完备小波展开。这可包括，例如低频带移位器412接收视频帧、识别视频帧的较低频带、以不同的量移位该较低频带、并同时扩充该较低频带。然后将过完备小波展开提供给反MCTF 408以用于解码另外的视频信息。
虽然图7示出了用于在过完备小波域中解码视频信息的方法700的一个例子，但是可对图7做出各种改变。例如，图7所示的各个步骤可在视频解码器118中并行执行，例如步骤706和708。并且，视频解码器118可多次在解码处理期间产生过完备小波展开，例如，一次为由解码器118解码每组帧。
阐明本专利文献中所采用的一些词和短语的限定是有益的。术语“包含”和“包括”以及其派生词表示包括而不是限制。术语“或”是范围广泛的，表示和/或。短语“相关”和“与此相关”以及其派生词可表示包括、被包括在内、与之互连、包含、被包含在内、连接到或与之连接、耦合到或与之耦合、与之通信、与之合作、交叉、并列、邻近、束缚于或与之束缚、具有、具有一种特性等等。在整个本专利文献中提供了对一些词和短语的限定。本领域的普通技术人员应当理解，如果不是在大多数情况下，那么在许多情况下，这种限定适用于先前和将来使用这种限定的词和短语。
虽然本说明书已经描述了一些实施例和通常相关的方法，但是这些实施例和方法的变型和置换对本领域的技术人员来说将是显而易见的。因此，实例上面描述的实例实施例并不会限定或限制本发明。在不脱离由以下权利要求所限定的本发明的精神和范围的情况下，其他改变、替换和变型也是可以的。

Claims (19)

1.一种用于压缩视频帧的输入流(214)的视频编码器(110)，包括：
基础层电路，包括运动补偿离散余弦变换(MC-DCT)编码器(203)，可操作的压缩与输入流(214)相关的基础层视频数据以产生适用于经由网络(106)而传输的压缩的基础层视频数据；以及
增强层电路，可操作的压缩与输入流(214)相关的增强层视频数据以产生适用于经由网络(106)而传输的压缩的增强层视频数据，该增强层电路包括多个运动补偿时间滤波器(204)，可操作用于在过完备小波域中处理增强层视频数据。
2.如权利要求1的视频编码器(110)，进一步包括：
小波变换器(202)，可操作用于将每一个视频帧变换成多个视频频带；
低频带移位器(206)，可操作用于产生一个或多个过完备小波展开，运动补偿时间滤波器(204)可操作用于当滤波视频帧时使用该一个或多个过完备小波展开，MC-DCT编码器(203)以及至少其中一个运动补偿时间滤波器(204)产生一个或多个运动矢量；
第一编码器(208)，可操作用于在由运动补偿时间滤波器(204)滤波之后编码视频频带；
多个第二编码器(210)，可操作用于编码运动矢量；以及
多路复用器(212)，可操作用于将编码的视频频带和编码的运动矢量多路传输到输出比特流(220)上。
3.如权利要求2的视频编码器(110)，其中：
MC-DCT编码器(203)包括MPEG-2编码器、MPEG-4编码器、以及H.26L编码器的其中一个；
运动补偿时间滤波器(204)包括无约束运动补偿时间滤波器；以及
第二编码器(210)包含熵编码器。
4.一种用于解压缩视频比特流(220)的视频解码器(118)，包括：
基础层电路，包括运动补偿离散余弦变换(MC-DCT)解码器(407)，可操作用于解压缩包含于比特流(220)中的基础层视频数据以产生解压缩的基础层视频数据；以及
增强层电路，可操作用于解压缩包含于比特流(220)中的增强层视频数据以产生解压缩的增强层视频数据，该增强层电路包括多个反运动补偿时间滤波器(408)，可操作用于在过完备小波域中处理增强层视频数据。
5.如权利要求4的视频解码器(118)，进一步包括：
解多路复用器(402)，可操作用于从比特流(220)中多路分解编码的视频频带和编码的运动矢量；
第一解码器(406a)，可操作用于解码第一组运动矢量，MC-DCT解码器(407)可操作用于利用该第一组解码的运动矢量来处理形成基础层的视频频带；
第二解码器(406b)，可操作用于解码第二组运动矢量，反运动补偿时间滤波器(408)可操作用于利用该第二组解码的运动矢量来处理形成增强层的视频频带；
反小波变换器(410)，可操作用于将所处理的视频频带变换成多个视频帧；以及
低频带移位器(412)，可操作用于产生一个或多个过完备小波展开，反运动补偿时间滤波器(408)可操作用于当处理视频帧时使用该一个或多个过完备小波展开。
6.如权利要求5的视频解码器(118)，其中：
MC-DCT解码器(407)包括MPEG-2解码器、MPEG-4解码器、以及H.26L解码器的其中一个；
反运动补偿时间滤波器(408)包括反无约束运动补偿时间滤波器；以及
第一和第二解码器(406)包括熵解码器。
7.一种用于压缩视频帧的输入流(214)的方法(600)，包括：
利用运动补偿离散余弦变换(MC-DCT)编码来压缩与输入流(214)相关的基础层视频数据以产生适用于经由网络(106)传输的压缩的基础层视频数据；以及
利用过完备小波域中的运动补偿时间滤波来压缩与输入流(214)相关的增强层视频数据以产生适用于经由网络(106)的压缩的增强层视频数据。
8.如权利要求7的方法(600)，其中压缩基础层视频数据和增强层视频数据包括产生一个或多个运动矢量，并且进一步包括：
将每一个视频帧变换成多个视频频带；
产生一个或多个过完备小波展开，其中压缩增强层视频数据包括利用该一个或多个过完备小波展开来压缩增强层视频数据；
在运动补偿时间滤波之后编码视频频带；
编码运动矢量；以及
将编码的视频频带和编码的运动矢量多路传输到输出比特流上。
9.一种用于解压缩视频比特流(220)的方法(700)，包括：
利用运动补偿离散余弦变换(MC-DCT)解码来解压缩包含于比特流(220)中的基础层视频数据以产生解压缩的基础层视频数据；以及
利用过完备小波域中的反运动补偿时间滤波来解压缩包含于比特流(220)中的增强层视频数据以产生解压缩的增强层视频数据。
10.如权利要求9的方法(700)，进一步包括：
从比特流(220)中多路分解编码的视频频带和编码的运动矢量；
解码第一组运动矢量和第二组运动矢量，其中解压缩基础层视频数据包括利用该第一组解码的运动矢量来解压缩基础层视频数据以及利用该第二组解码的运动矢量来解压缩增强层视频数据；
将还原的视频频带变换成多个视频帧；以及
产生一个或多个过完备小波展开，其中解压缩增强层视频数据包括利用该一个或多个过完备小波展开来解压缩增强层视频数据。
11.一种视频发射机(102)，包括：
图像帧源(108)，可操作用于提供视频帧流；
视频编码器(110)，可操作用于压缩视频帧，该视频编码器(110)包括：
基础层电路，包括运动补偿离散余弦变换(MC-DCT)编码器(203)，可操作用于压缩与该流相关的基础层视频数据以产生适用于经由网络(106)传输的压缩的基础层视频数据；以及
增强层电路，可操作用于压缩与该流相关的增强层视频数据以产生适用于经由网络(106)传输的压缩的增强层视频数据，该增强层电路包括多个运动补偿时间滤波器(204)，可操作用于在过完备小波域中处理增强层视频数据；以及
缓冲器(112)，可操作用于接收并存储经由网络(106)传输的压缩的视频帧。
12.如权利要求11的视频发射机(102)，进一步包括：
小波变换器(202)，可操作用于将每一个视频帧变换成多个视频频带；
低频带移位器(206)，可操作用于产生一个或多个过完备小波展开，运动补偿时间滤波器(204)可操作用于当滤波视频帧时使用该一个或多个过完备小波展开，MC-DCT编码器(203)以及至少其中一个运动补偿时间滤波器(204)产生一个或多个运动矢量；
第一编码器(208)，可操作用于在由运动补偿时间滤波器(204)滤波之后编码视频频带；
多个第二编码器(210)，可操作用于编码运动矢量；以及
多路复用器(212)，可操作用于将编码的视频频带和编码的运动矢量多路传输到输出比特流(220)上。
13.一种视频接收机(104)，包括：
缓冲器(116)，可操作用于接收并存储视频比特流；
视频解码器(118)，可操作用于解压缩该视频比特流并产生视频帧，该视频解码器(118)包括：
基础层电路，包括运动补偿离散余弦变换(MC-DCT)解码器(407)，可操作用于解压缩包含于比特流中的基础层视频数据以产生解压缩的基础层视频数据；以及
增强层电路，可操作用于解压缩包含于比特流中的增强层视频数据以产生解压缩的增强层视频数据，该增强层电路包括多个反运动补偿时间滤波器(408)，可操作用于在过完备小波域中处理增强层视频数据；以及
视频显示器(120)，可操作用于呈现视频帧。
14.如权利要求13的视频接收机，进一步包括：
解多路复用器(402)，可操作用于从比特流中多路分解编码的视频频带和编码的运动矢量；
第一解码器(406a)，可操作用于解码第一组运动矢量，MC-DCT解码器(407)可操作用于利用该第一组解码的运动矢量来处理形成基础层的视频频带；
第二解码器(406b)，可操作用于解码第二组运动矢量，反运动补偿时间滤波器(408)可操作用于利用该第二组解码的运动矢量来处理形成增强层的视频频带；
反小波变换器(410)，可操作用于将所处理的视频频带变换成多个视频帧；以及
低频带移位器(412)，可操作用于产生一个或多个过完备小波展开，反运动补偿时间滤波器(408)可操作用于当处理视频帧时使用该一个或多个过完备小波展开。
15.一种包含在计算机可读介质上并可操作用于被处理器执行的计算机程序，该计算机程序包括计算机可读程序代码，用于：
利用运动补偿离散余弦变换(MC-DCT)编码来压缩与视频帧的输入流(214)相关的基础层视频数据以产生适用于经由网络(106)传输的压缩的基础层视频数据；以及
利用过完备小波域中的运动补偿时间滤波来压缩与输入流(214)相关的增强层视频数据以产生适用于经由网络(106)传输的压缩的增强层视频数据。
16.如权利要求15的计算机程序，其中该计算机程序进一步包括计算机可读程序代码，用于：
将每一个视频帧变换成多个视频频带；
产生一个或多个过完备小波展开，其中压缩增强层视频数据包括利用该一个或多个过完备小波展开来压缩增强层视频数据；
编码运动矢量；以及
将编码的视频频带和编码的运动矢量多路传输到输出比特流上。
17.一种包含在计算机可读介质上并可操作用于被处理器执行的计算机程序，该计算机程序包括计算机可读程序代码，用于：
利用运动补偿离散余弦变换(MC-DCT)解码来解压缩包含于比特流(220)中的基础层视频数据以产生解压缩的基础层视频数据；以及
利用过完备小波域中的反运动补偿时间滤波来解压缩包含于比特流(220)中的增强层视频数据以产生解压缩的增强层视频数据。
18.如权利要求17的计算机程序，其中该计算机程序进一步包括计算机可读程序代码，用于：
从比特流(220)中多路分解编码的视频频带和编码的运动矢量；
解码第一组运动矢量和第二组运动矢量，其中解压缩基础层视频数据包括利用该第一组解码的运动矢量来解压缩基础层视频数据以及利用该第二组解码的运动矢量来解压缩增强层视频数据；
将还原的视频频带变换成多个视频帧；以及
产生一个或多个过完备小波展开，其中解压缩增强层视频数据包括利用该一个或多个过完备小波展开来解压缩增强层视频数据。
19.一种通过以下步骤产生的可传输的视频信号：
利用运动补偿离散余弦变换(MC-DCT)编码来压缩与视频帧的输入流(214)相关的基础层视频数据以产生适用于经由网络(106)传输的压缩的基础层视频数据；以及
利用过完备小波域中的运动补偿时间滤波来压缩与输入流(214)相关的增强层视频数据以产生适用于经由网络(106)传输的压缩的增强层视频数据。
CNA2004800184885A 2003-06-30 2004-06-28 过完备小波域中的视频编码 Pending CN1813479A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US48379303P 2003-06-30 2003-06-30
US60/483,793 2003-06-30

Publications (1)

Publication Number Publication Date
CN1813479A true CN1813479A (zh) 2006-08-02

Family

ID=33552087

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800184885A Pending CN1813479A (zh) 2003-06-30 2004-06-28 过完备小波域中的视频编码

Country Status (6)

Country Link
US (1) US20060159173A1 (zh)
EP (1) EP1642463A1 (zh)
JP (1) JP2007519274A (zh)
KR (1) KR20060024449A (zh)
CN (1) CN1813479A (zh)
WO (1) WO2005002234A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200380A (zh) * 2012-01-10 2013-07-10 北京世纪高蓝科技有限公司 多媒体数据格式转换方法
CN104935956A (zh) * 2007-09-24 2015-09-23 皇家飞利浦电子股份有限公司 用于编码和解码3d视频信号的方法与***

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7330218B2 (en) * 2004-09-02 2008-02-12 Samsung Electronics Co., Ltd. Adaptive bidirectional filtering for video noise reduction
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
FR2886787A1 (fr) * 2005-06-06 2006-12-08 Thomson Licensing Sa Procede et dispositif de codage et de decodage d'une sequence d'images
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
BRPI0716540A2 (pt) * 2006-09-22 2012-12-25 Thomson Licensing mÉtodo e aparelho para codificaÇço e decodificaÇço de vÍdeo de passos méltiplos
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8573405B2 (en) * 2009-08-31 2013-11-05 Ncr Corporation Media depository
US20130195180A1 (en) * 2012-02-01 2013-08-01 Motorola Mobility, Inc. Encoding an image using embedded zero block coding along with a discrete cosine transformation
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US10142647B2 (en) 2014-11-13 2018-11-27 Google Llc Alternating block constrained decision mode coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US6788740B1 (en) * 1999-10-01 2004-09-07 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using base layer quantization data
US6480547B1 (en) * 1999-10-15 2002-11-12 Koninklijke Philips Electronics N.V. System and method for encoding and decoding the residual signal for fine granular scalable video
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US6944225B2 (en) * 2001-07-24 2005-09-13 Sharp Laboratories Of America, Inc. Resolution-scalable video compression
KR20040068963A (ko) * 2001-12-20 2004-08-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 인코딩 및 디코딩 방법 및 장치
US20030202599A1 (en) * 2002-04-29 2003-10-30 Koninklijke Philips Electronics N.V. Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US7023923B2 (en) * 2002-04-29 2006-04-04 Koninklijke Philips Electronics N.V. Motion compensated temporal filtering based on multiple reference frames for wavelet based coding
US7042946B2 (en) * 2002-04-29 2006-05-09 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
EP1554887A1 (en) * 2002-10-16 2005-07-20 Koninklijke Philips Electronics N.V. Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering
GB0228281D0 (en) * 2002-12-04 2003-01-08 Imec Inter Uni Micro Electr Coding of motion vectors produced by wavelet-domain motion estimation
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
JP2006521039A (ja) * 2003-02-25 2006-09-14 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ オーバコンプリートウェーブレット展開での動き補償時間フィルタリングを使用した３次元ウェーブレットビデオ符号化
WO2005001772A1 (en) * 2003-06-30 2005-01-06 Koninklijke Philips Electronics, N.V. System and method for video processing using overcomplete wavelet coding and circular prediction mapping
WO2005029846A1 (en) * 2003-09-23 2005-03-31 Koninklijke Philips Electronics, N.V. Video de -noising algorithm using inband motion-compensated temporal filtering

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935956A (zh) * 2007-09-24 2015-09-23 皇家飞利浦电子股份有限公司 用于编码和解码3d视频信号的方法与***
CN104935956B (zh) * 2007-09-24 2019-01-22 皇家飞利浦电子股份有限公司 用于编码和解码3d视频信号的方法与***
CN103200380A (zh) * 2012-01-10 2013-07-10 北京世纪高蓝科技有限公司 多媒体数据格式转换方法

Also Published As

Publication number Publication date
EP1642463A1 (en) 2006-04-05
WO2005002234A1 (en) 2005-01-06
KR20060024449A (ko) 2006-03-16
US20060159173A1 (en) 2006-07-20
JP2007519274A (ja) 2007-07-12

Similar Documents

Publication Publication Date Title
US6898324B2 (en) Color encoding and decoding method
US20050169379A1 (en) Apparatus and method for scalable video coding providing scalability in encoder part
KR100679011B1 (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100621581B1 (ko) 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
CN1813479A (zh) 过完备小波域中的视频编码
US20050226334A1 (en) Method and apparatus for implementing motion scalability
WO2004015998A1 (en) System and method for rate-distortion optimized data partitioning for video coding using backward adaptation
US20050152611A1 (en) Video/image coding method and system enabling region-of-interest
JP2006521039A (ja) オーバコンプリートウェーブレット展開での動き補償時間フィルタリングを使用した３次元ウェーブレットビデオ符号化
CN1650634A (zh) 利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码
KR20050028019A (ko) 하나 및 다수의 기준 프레임을 기반으로 한 움직임 보상필터링을 사용한 웨이블릿 기반 코딩
CN1726644A (zh) 用于多种描述编码的设备和方法
CN1685731A (zh) 可分级视频编码
CN1656816A (zh) 使用较高质量的参考帧改进效率的fgst结构
CN1633814A (zh) 存储器带宽效率高的精细可分级(fgs)编码器
US20060088100A1 (en) Video coding method and apparatus supporting temporal scalability
CN1650633A (zh) 用于小波编码的基于多参考帧的运动补偿时间过滤
US20070110162A1 (en) 3-D morphological operations with adaptive structuring elements for clustering of significant coefficients within an overcomplete wavelet video coding framework
KR101146138B1 (ko) 시간적 스케일러블 비디오 인코더
KR20050074151A (ko) 스케일러블 비디오 코딩에서 모션 벡터를 선정하는 방법및 그 방법을 이용한 비디오 압축 장치
CN1754390A (zh) 采用对过完全小波展开进行运动补偿时域滤波的三维小波视频编码
KR20090059707A (ko) 폐루프 필터링을 이용한 스케일러블 비디오 인코딩 장치 및그 방법
WO2006098586A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication