CN1856990A - 使用频带内运动补偿时间滤波的视频去噪声算法 - Google Patents

使用频带内运动补偿时间滤波的视频去噪声算法 Download PDF

Info

Publication number
CN1856990A
CN1856990A CNA2004800273802A CN200480027380A CN1856990A CN 1856990 A CN1856990 A CN 1856990A CN A2004800273802 A CNA2004800273802 A CN A2004800273802A CN 200480027380 A CN200480027380 A CN 200480027380A CN 1856990 A CN1856990 A CN 1856990A
Authority
CN
China
Prior art keywords
low
wavelet
frequency band
band
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800273802A
Other languages
English (en)
Inventor
J·C·叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1856990A publication Critical patent/CN1856990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

对视频信号进行去噪声的方法，按照该方法，小波变换器(12)在空间上将视频序列的各个帧变换成二维频带，随后在时间方向上对这些二维频带进行分解，以形成空间－时间子频带。空间变换可以包括应用低频带平移方法来产生平移不变运动参考帧。二维频带的分解可以包括对各个二维频带使用一个运动补偿时间滤波器(16)。然后例如使用诸如软阈值处理、硬阈值处理和小波维纳滤波器之类的小波去噪声技术从各个空间－时间子频带中消除添加性噪声。

Description

使用频带内运动补偿时间滤波的视频去噪声算法
本发明总体上涉及从视频流中消除噪声(去噪声)的技术，并且更加具体地讲，涉及使用频带内运动补偿时间滤波(IBMCTF)对视频流进行去噪声的技术。
视频流总是包含少许噪声，噪声降低了视频信号的质量。从视频信号和其它信号中消除噪声的一种方法是使用波形变换。小波变换包括将包含在信号中的信息分解成不同等级的特征。当在小波域中看该信号时，由较大的系数将其明显地表示出来，而不希望有的信号(噪声)将会由小得多的系数表示，并且通常会同样地分布在所有小波分解等级上。
为了将噪声与想得到的信号分离并且消除噪声，我们知道可以在小波域中使用小波阈值处理(thresholding)。小波阈值处理的基本原理是识别很可能主要包含噪声的信号的小波系数并且将其清零，从而保存了最有意义的系数。通过保存最有意义的系数，小波阈值处理保存了信号的高通特征，比如不连续性。这个特性在例如用来保持图像中的边缘的锐度的图像去噪声处理中是很有用的。
已经对用于去噪声的小波阈值处理的方法进行了广泛的研究，因为它具有很高的可行性并且它很简单。已经得到证明，小波阈值处理估计器对诸如静止图像之类的分段平滑信号实现接近极小极大最佳风险。
虽然已经对静止图像的情况广泛研究了小波去噪声技术，但是仅对它对视频去噪声的应用进行了有限的探索。用于数字视频信号的噪声降低要比传统模拟显示中的噪声降低重要得多，因为今天的消费者已经开始转向要求通过完全数字的手段获得高质量。
用于视频去噪声的传统技术建立在下述三步法的基础上：(1)获得空间去噪声估计结果；(2)获得时间去噪声估计结果；和(3)将这两个估计结果组合起来获得最终的去噪声估计结果。为了进行空间去噪声估计，使用了小波阈值处理和/或小波域维纳(wiener)滤波器技术。为了进行时间去噪声估计，可以采用使用卡尔曼(Kalman)滤波器的线性滤波法。在产生了这两个独立获得的去噪声估计结果之后，数种组合方案进行了研究。
传统视频去噪声技术的缺点是，将噪声方差假设为是已知的，限制了它在实践中的可应用性。
本发明的目的是提供新的并且经过改进的视频去噪声方法和设备。
本发明的另一个目的是提供新的并且经过改进的使用频带内运动补偿时间滤波(IBMCTF)对视频信号进行去噪声的技术和设备。
为了实现这些目的和其它的目的，按照本发明的对视频信号进行去噪声的方法包括步骤：在空间上将视频序列的各个帧变换成二维频带；在时间方向上对二维频带进行分解，以形成空间-时间子频带，分解二维子频带的步骤包括应用低频带平移方法来产生平移不变运动参考帧的步骤；和从各个空间-时间子频带中消除添加性噪声。二维频带的分解可以包括使用一个或多个运动补偿时间滤波技术。从各个空间-时间子频带中消除添加性噪声需要使用小波去噪声技术，比如软阈值处理、硬阈值处理和小波维纳滤波器。
按照某些实施例，应用低频带平移方法来产生平移不变运动参考帧包括对低-低子频带的所有可能平移产生完整的小波系数组，并且根据需要通过对这些小波系数进行交织来存储这些小波系数，以致过完全域中新的坐标相当于原始空间域中的相关平移。这些小波系数可以在各个分解层次上加以交织。
作为应用去噪声算法的设备的例子，按照本发明的视频编码器应该包括：小波变换器，用于从未压缩视频帧的源接收未压缩视频帧并且将这些帧从空间域变换到小波域，在小波域中，由一组小波系数代表二维频带；将这些频带划分成帧组的软件或硬件；运动补偿时间滤波器，这些滤波器各自接收这些频带中相应频带的帧组并且对该频带进行时间滤波，以消除这些帧之间的时间相关性；和用于对经过时间滤波的频带进行纹理编码的软件或硬件，该软件或硬件将这些经过纹理编码的、经过时间滤波的频带组合成位流。
更加具体地讲，所述小波变换器将各个帧分解成多个分解层次。例如，分解层次中的第一个分解层次包括低-低(LL)频带、低-高(LH)频带、高-低(HL)频带和高-高(HH)频带，而分解层次中的第二个分解层次包括将LL频带分解成LLLL(低-低，低-低)、LLLH(低-低，低-高)、LLHL(低-低，高-低)和LLHH(低-低，高-高)子频带。
所述分解可以按照低频带平移方法进行，按照该方法，对输入频带中的一个或多个频带的所有可能的平移产生完整的小波系数组，从而精确地传达空间域中的任何平移。在这种情况下，小波变换器可以通过平移下一更为精细层次LL频带的小波系数并且应用一个层次的小波分解、然后将分解期间产生的小波系数组合起来产生完整的小波系数组，来产生完整的小波系数组。为了提高消除噪声的能力，可以将小波变换器设计成对分解期间产生的小波系数进行交织，以产生完整的小波系数组。
将运动补偿时间滤波器设置成对频带进行滤波并且对于各个频带产生高通帧和低通帧。各个运动补偿时间滤波器包括用于产生至少一个运动向量的运动估计器和用于接收该(多个)运动向量并且基于该运动向量在运动方向上对帧组进行时间滤波的时间滤波器。
通过结合附图参考下面的说明，本发明及其其它目的和优点可以得到最佳理解，其中相同的附图标记标示相同的单元，其中：
附图1是应用按照本发明的频带内运动补偿时间滤波的编码器的框图。
附图2表示按照本发明的对两个层次的分解使用低频带平移法算法的过完全小波展开。
附图3表示对一维分解进行过完全小波系数交织的一个例子。
附图4A表示用于可拆分三维小波的三维分解结构。
附图4B表示用于本发明的三维分解结构。
附图5A和5B表示相连和不相连像素的例子。
下面介绍的去噪声技术可以与任何类型的视频传输、接收和处理***和设备结合起来使用。仅仅为了举例，将参照包括流式视频发射机、流式视频接收机和数据网络的视频传输***对本发明进行介绍。流式视频发射机通过所述网络将视频信息流送到流式视频接收机并且包括多种多样的视频帧源中的任何一种，包括数据网络服务器、电视台发射机、有线网络或台式个人计算机。
一般来说，流式视频发射机包括视频帧源、视频编码器、编码器缓冲器和存储器。视频帧源代表能够产生或换句话说提供未压缩视频帧序列的装置或结构，比如电视天线和接收机单元、磁带放像机、摄像机或能够存储“素材”视频短片的盘存储装置。未压缩视频帧以给定的画面速率(或“流式速率”)进入视频编码器并且由视频编码器进行压缩。然后视频编码器将经过压缩的视频帧传送到编码器缓冲器。视频编码器最好采用下面介绍的去噪声算法。
编码器缓冲器从视频编码器接收经过压缩的视频帧并且对视频帧进行缓存，以准备通过数据网络进行传输。编码器缓冲器代表用于存储压缩视频帧的任何适当的缓冲器。流式视频接收机接收由流式视频发射机通过数据网络流送的压缩视频帧，并且一般来说该流式视频接收机包括解码器缓冲器、视频解码器、视频显示器和存储器。取决于应用，流式视频接收机可以是多种多样的视频帧接收机中的任何一种，包括电视接收机、台式个人计算机或磁带录像机。解码器缓冲器存储通过数据网络接收的压缩视频帧，并且然后按照需要将这些压缩视频帧发送到视频解码器。
视频解码器对由视频编码器进行了压缩的视频帧进行解压缩，然后将经过解压缩的帧发送给视频显示器，以进行显示。视频解码器最好采用下面介绍的去噪声算法。
可以将视频编码器和解码器实现为由传统数据处理器运行的软件程序，比如标准MPEG编码器或解码器。如果是这样，视频编码器和解码器应该包括计算机可执行的指令，比如存储在(多个)易失性或非易失性存储和取回装置(比如固定磁盘、可移动磁盘、CD、DVD、磁带或视盘)中的指令。也可以用硬件、软件、固件或它们的任意组合来实现视频编码器和解码器。
在本发明的发明人和Mihaela Banderschar于2003年2月25日提交的美国临时专利申请序列号第60/449696号和2003年6月27日提交的美国临时专利申请序列号第60/482954号(名称分别为《3-DLifting Structure For Sub-Pixel Accuracy…》和《Video CodingUsing Three Dimensional lifting》)中给出了关于可应用本发明的视频编码器和解码器的其它详细内容，这些申请以引用的方式整体并入本文。
下面将参照附图1介绍按照本发明的去噪声算法，附图1表示按照本发明的一种实施例的视频编码器10。视频编码器10包括小波变换器12，该小波变换器12从视频帧的源(未示出)接收未压缩视频帧，并且将视频帧从空间域变换到小波域。这一变换使用小波滤波在空间上将视频帧分解为多个二维频带(频带1到频带N)，并且对应于该视频帧的各个频带1，2，…，N是由一组小波系数代表的。下面针对编码器10介绍的技术同样也可用来与解码器结合起来使用。
小波变换器12使用任何适当的变换来将视频帧分解成多个视频或小波频带。按照某些实施例，将帧分解为第一分解层次，该第一分解层次包括低-低(LL)频带、低-高(LH)频带、高-低(HL)频带和高-高(HH)频带。这些频带中的一个或多个可以进一步分解为LLLL、LLLH、LLHL和LLHH子频带。
通过适当的软件和/或硬件14将小波频带和/或子频带划分成帧组(GOF)，然后将它们提供给多个运动补偿时间滤波器(MCTF)161，…，16N。MCTF 16对视频频带进行时间滤波，并且除掉帧之间的时间相关性，以形成空间-时间子频带。例如，MCTF 16可以对视频频带进行滤波并且对各个视频频带产生高通帧和低通帧。各个MCTF 16包括运动估计器18和时间滤波器20。MCTF 16中的运动估计器18产生一个或多个运动向量，运动估计器18估计当前视频帧与参考帧之间的运动量并且产生一个或多个运动向量(简称MV)。MCTF 16中的时间滤波器20使用这一信息在运动方向上对一组视频帧进行时间滤波。给出经过时间滤波的帧加以纹理编码22，然后合成为位流。
此外，分组在一起并且由MCTF 16进行处理的帧的数量可以对各个频带适应性地加以确定。按照某些实施例，较低的频带具有较多数量的分组在一起的帧，并且较高频带具有较少数量的分组在一起的帧。这使得例如每频带分组在一起的帧的数量能够根据帧序列的特点或者复杂性或弹性要求而得到改变。而且，较高的空间频带可以从长时间时间滤波中忽略。作为特定的例子，可以将LL、LH及HL和HH频带中的帧分别放到八帧组、四帧组和两帧组中。这分别允许三、二和一的最大分解层次。时间分解层次对于各个频带的数量可以使用任何适当的标准来确定，比如帧内容、目标失真规格或时间可调整性对各个频带的期望程度。作为另一个特定的例子，可以将LL、LH及HL和HH频带中的每一个频带内的帧放在八帧组中。
从附图1可以看出，视频编码器处理视频信号的顺序是，首先，由小波变换器12进行空间域小波变换，随后，由时间滤波器16对各个小波频带应用MCTF。这不同于传统的帧间小波视频技术，传统的帧件小波视频技术对空间域视频数据应用MCTF，然后使用临界小波采样小波变换对结果得到的经过时间滤波的帧进行编码。
不过它的缺点是，由于临界采样小波分解仅仅是周期性平移不变的，因此小波域内的运动估计和补偿是不够的并且观察到了编码损失。
为了避免小波域中的运动估计和补偿无效和编码效率的随之降低，按照本发明，使用了低频带平移方法(LBS)，最好在任何情况下都应用(在视频编码器和解码器上都应用)去噪声算法，以产生平移不变运动参考帧。此外，与低频带平移算法相结合地使用了交织算法，将在下面进行完整地讨论。
更加具体地讲，在低频带平移(LBS)方法中，小波变换器12包括或具体实现为低频带移位器，该低频带移位器处理输入视频帧并且对输入频带中的一个或多个的所有可能的平移产生完整的小波系数组，即，过完全小波展开或表达。这种过完全表达精确地传达了空间域中的任何平移。
在附图2中给出了通过用于低-低(LL)频带的低频带移位器产生标注为30的原始图像的过完全小波展开的过程。最初，如附图2所示，将帧30分解为第一分解层次，该层次包括LL、LH及HL和HH频带，可以将各个频带提供给专用的MCTF 16。在这个例子中，与特定空间位置上的同一分解层次相对应的不同的经过平移的小波系数称为“跨相小波系数”。
过完全小波展开24的各相是通过平移下一更细层次LL频带的小波系数并且应用一个层次的小波分解来产生的。例如，小波系数32代表LL频带没有平移的系数。小波系数34代表LL频带经过(1，0)平移之后的系数，或者右移一个位置之后的系数。小波系数36代表LL频带在经过(0，1)平移之后的系数，或者下移一个位置之后的系数。小波系数38代表LL频带在经过(1，1)平移之后的系数，或者右移一个位置并且下移一个位置之后的系数。
小波系数40代表HL频带没有平移的系数。小波系数42代表LH频带没有平移的系数，而小波系数44代表HH频带没有平移的系数。
可以将这些频带中的一个或多个进一步分解成附加分解层次，比如当将LL频带进一步分解成如附图2所示的包括LLLL、LLLH、LLHL和LLHH子频带的第二分解层次时。在这种情况下，小波系数46代表没有平移的LLLL频带的系数，小波系数48代表没有平移的LLHL频带的系数，小波系数50代表没有平移的LLLH频带的系数，小波系数52代表没有平移的LLHH频带的系数。
在单层次分解中，应该对附图2中的四组小波系数进行扩充或组合，以产生过完全小波展开24。不过，鉴于低-低频带的附加分解，应该对附图2中的七组小波系数40、42、44、46、48、50和52进行扩充或组合，以产生过完全小波展开24的未平移小波系数。
附图3表示如何对小波系数进行扩充或组合以产生过完全小波展开24的一个实例(对于小波系数的一维组)。将两个示范性小波系数组54、56交织起来，以产生一组过完全小波系数58。过完全小波系数58代表附图2中所示的过完全小波展开24。这一交织是这样进行的：使得过完全小波展开24中的新系数相当于在原始空间域中的相关平移。这种交织技术也可以递归地在各个分解层次上使用，并且可以针对2-D信号对其进行直接扩展。使用交织来产生过完全小波系数58能够在视频编码器和解码器中实现较佳或最佳子像素精确运动估计和补偿，因为它提供了考虑相邻小波系数之间的跨相相关性的可能性。而且，交织技术允许使用对其它类型的时间滤波公知的自适应运动估计技术，比如分级可变大小块匹配、后向运动补偿和帧内块的自适应***。
虽然附图3表示对两组小波系数54、56进行交织，但是可以将任何数量的系数组交织在一起，以形成过完全小波系数58，比如七组小波系数。
就存储要求而言，对于输入视频帧的n层次分解，过完全小波表达需要比原始图像的存储空间大3n+1倍的存储空间。
附图4A表示传统MCTF的3-D分解结构，而附图4B表示按照本发明的IBMCTF的3-D分解结构。本领域的技术人员能够理解这些分解结构的含义。通过附图4A和4B的比较可以看出，与传统MCTF(附图4A)的3-D分解结构相比，按照本发明的分解结构(附图4B)看起来是不可拆分的，因此，它能够更加容易地捕获视频序列的结构。这部分地因为可以取决于跨越帧的时间相关性对各个空间子频带应用不同层次的时间分解。这种不可拆分结构是按照本发明的去噪声技术的一个非常重要的方面，因为要实现较好的去噪声性能，应当考虑小波系数取决于频率响应的自适应处理。
现在对附图5A和5B进行参照，其中A和B分别指的是之前和当前帧，a1-a12和b1-b12分别是这些帧的像素。作为运动估计过程的结果，总是存在没有在时间方向上得到滤波的不相连像素，例如，如附图5A所示的像素a7、a8。由于不相连像素相当于不包含新信息的未覆盖区域，因此应当仅对相连小波系数(a1-a6和a9-a12)应用基于小波系数处理的去噪声算法。类似地，噪声方差应当也是从排除了不相连像素的时间H频带子频带的空间HH频带中估计出来的。
可以使用基于IBMCTF的去噪声算法以类似的方式实现更加先进的基于平移不变小波处理的去噪声技术。
一种简单的基于IBMCTF的去噪声算法可以是硬阈值处理，该处理可以表达为下述公式
Figure A20048002738000111
其中，
Figure A20048002738000112
代表第i个分解层次的第j个子频带上的t帧的(m，n)位置上的去噪声小波系数，而Ai j(m，n，t)是原始的小波系数，而T代表可由噪声方差和子频带大小计算出来的阈值。例如，SURE阈值或Donobo’s阈值可以用作接近极小极大最佳阈值处理值。对于小波域维纳滤波器方法，可以获得如下的小波系数去噪声估计结果：
Figure A20048002738000113
其中σ2表示噪声方差。也可以使用其它小波去噪声算法(比如Bayesian法、MDL或HMT模型)来处理由IBMCTF分解产生的小波系数。
虽然本文参照附图介绍了本发明的示例性实施例，但是应当理解，本发明并不局限于这些明确的实施例，并且本领域技术人员可以实现各种不同的其它改变和修改，而不会超出本发明的范围或精神。

Claims (15)

1.一种对视频信号进行去噪声的方法，包括步骤：
在空间上将视频序列的各个帧变换成二维频带；
在时间方向上对二维频带进行分解，以形成空间-时间子频带，分解二维子频带的步骤包括应用低频带平移方法来产生平移不变运动参考帧的步骤；和
从各个空间-时间子频带中消除添加性噪声。
2.按照权利要求1所述的方法，其中分解二维频带的步骤包括对各个二维频带使用运动补偿时间滤波技术分解二维频带的步骤。
3.按照权利要求1所述的方法，其中从各个空间-时间子频带中消除添加性噪声的步骤包括使用从由软阈值处理、硬阈值处理和小波维纳滤波器构成的组中选取的小波去噪声技术的步骤。
4.按照权利要求1所述的方法，其中对各个帧进行空间变换的步骤包括应用小波滤波的步骤。
5.按照权利要求1所述的方法，其中应用低频带平移方法来产生平移不变运动参考帧的步骤包括对低-低子频带的所有可能平移产生完整的小波系数组的步骤。
6.按照权利要求5所述的方法，此外还包括通过对小波系数进行交织来存储小波系数以致过完全域中的新坐标相当于原始空间域中的相关平移的步骤。
7.按照权利要求6所述的方法，其中小波系数是在各个分解层次上加以交织的。
8.一种视频编码器(10)，包括：
小波变换器(12)，用于从未压缩视频帧的源接收未压缩视频帧并且将这些帧从空间域变换到小波域，在小波域中，由一组小波系数代表二维频带；
用于将这些频带划分成帧组的装置(14)；
运动补偿时间滤波器(16)，这些滤波器各自接收这些频带中相应频带的帧组并且对该频带进行时间滤波，以消除这些帧之间的时间相关性；和
用于对经过时间滤波的频带进行纹理编码的装置(18)，这些经过纹理编码的、经过时间滤波的频带被组合成位流。
9.按照权利要求8所述的视频编码器(10)，其中将所述小波变换器(12)设置成将这些帧中的每一个分解成多个分解层次。
10.按照权利要求9所述的视频编码器(10)，其中所述分解层次中的第一个分解层次包括低-低(LL)频带、低-高(LH)频带、高-低(HL)频带和高-高(HH)频带，并且所述分解层次中的第二个分解层次包括将LL频带分解成LLLL(低-低，低-低)、LLLH(低-低，低-高)、LLHL(低-低，高-低)和LLHH(低-低，高-高)子频带。
11.按照权利要求8所述的视频编码器(10)，其中将所述运动补偿时间滤波器(16)设置成对所述频带进行滤波并且对于各个频带产生高通帧和低通帧。
12.按照权利要求8所述的视频编码器(10)，其中所述运动补偿时间滤波器(16)中的每一个包括用于产生至少一个运动向量的运动估计器(18)和用于接收该至少一个运动向量并且基于该运动向量在运动方向上对帧组进行时间滤波的时间滤波器(20)。
13.按照权利要求8所述的视频编码器(10)，其中将所述小波变换器(12)设置成应用低频带平移方法，按照该方法，对输入频带中的一个或多个频带的所有可能的平移产生完整的小波系数组，从而精确地传达空间域中的任何平移。
14.按照权利要求13所述的视频编码器(10)，其中将所述小波变换器(12)设置成，通过平移下一更为精细层次LL频带的小波系数并且应用一个层次的小波分解、然后将分解期间产生的小波系数组合起来产生完整的小波系数组，来产生完整的小波系数组。
15.按照权利要求14所述的视频编码器(10)，其中将所述小波变换器(12)设置成对分解期间产生的小波系数进行交织，以产生完整的小波系数组。
CNA2004800273802A 2003-09-23 2004-09-21 使用频带内运动补偿时间滤波的视频去噪声算法 Pending CN1856990A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US50523203P 2003-09-23 2003-09-23
US60/505,232 2003-09-23

Publications (1)

Publication Number Publication Date
CN1856990A true CN1856990A (zh) 2006-11-01

Family

ID=34375565

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800273802A Pending CN1856990A (zh) 2003-09-23 2004-09-21 使用频带内运动补偿时间滤波的视频去噪声算法

Country Status (6)

Country Link
US (1) US20080123740A1 (zh)
EP (1) EP1668889A1 (zh)
JP (1) JP2007506348A (zh)
KR (1) KR20060076309A (zh)
CN (1) CN1856990A (zh)
WO (1) WO2005029846A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662678B (zh) * 2008-08-29 2011-08-24 华为技术有限公司 一种运动补偿时域滤波的方法和装置
US8184705B2 (en) 2008-06-25 2012-05-22 Aptina Imaging Corporation Method and apparatus for motion compensated filtering of video signals
CN101868966B (zh) * 2007-11-21 2013-04-10 奥林巴斯株式会社 图像处理装置和图像处理方法
CN113709324A (zh) * 2020-05-21 2021-11-26 武汉Tcl集团工业研究院有限公司 一种视频降噪方法、视频降噪装置及视频降噪终端

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1810033A (zh) * 2003-06-04 2006-07-26 皇家飞利浦电子股份有限公司 子带视频解码方法和装置
US20060159173A1 (en) * 2003-06-30 2006-07-20 Koninklijke Philips Electronics N.V. Video coding in an overcomplete wavelet domain
US20070110162A1 (en) * 2003-09-29 2007-05-17 Turaga Deepak S 3-D morphological operations with adaptive structuring elements for clustering of significant coefficients within an overcomplete wavelet video coding framework
FR2886787A1 (fr) * 2005-06-06 2006-12-08 Thomson Licensing Sa Procede et dispositif de codage et de decodage d'une sequence d'images
US20080204598A1 (en) * 2006-12-11 2008-08-28 Lance Maurer Real-time film effects processing for digital video
US8108211B2 (en) * 2007-03-29 2012-01-31 Sony Corporation Method of and apparatus for analyzing noise in a signal processing system
US8711249B2 (en) * 2007-03-29 2014-04-29 Sony Corporation Method of and apparatus for image denoising
US8031967B2 (en) * 2007-06-19 2011-10-04 Microsoft Corporation Video noise reduction
CN101453559B (zh) * 2007-12-04 2010-12-08 瑞昱半导体股份有限公司 视频信号的噪声检测方法及装置
US8285068B2 (en) * 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
US8705627B2 (en) * 2008-07-25 2014-04-22 Sony Corporation Image processing apparatus and method
US20100026897A1 (en) * 2008-07-30 2010-02-04 Cinnafilm, Inc. Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution
JP5027757B2 (ja) * 2008-08-18 2012-09-19 日本放送協会 動画像雑音除去装置、その方法およびそのプログラム
JP5022400B2 (ja) * 2009-03-30 2012-09-12 日本放送協会 動画像雑音除去装置、動領域画像雑音除去装置、動画像雑音除去プログラム、及び動領域画像雑音除去プログラム
US8619881B2 (en) * 2009-06-05 2013-12-31 Cisco Technology, Inc. Estimation of temporal depth of 3D overlapped transforms in video denoising
US8358380B2 (en) * 2009-06-05 2013-01-22 Cisco Technology, Inc. Efficient spatial and temporal transform-based video preprocessing
US8571117B2 (en) * 2009-06-05 2013-10-29 Cisco Technology, Inc. Out of loop frame matching in 3D-based video denoising
US8615044B2 (en) 2009-06-05 2013-12-24 Cisco Technology, Inc. Adaptive thresholding of 3D transform coefficients for video denoising
US8520731B2 (en) * 2009-06-05 2013-08-27 Cisco Technology, Inc. Motion estimation for noisy frames based on block matching of filtered blocks
US8638395B2 (en) 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
US9628674B2 (en) 2010-06-02 2017-04-18 Cisco Technology, Inc. Staggered motion compensation for preprocessing video with overlapped 3D transforms
US9635308B2 (en) 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
US8472725B2 (en) 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
US9036695B2 (en) 2010-11-02 2015-05-19 Sharp Laboratories Of America, Inc. Motion-compensated temporal filtering based on variable filter parameters
US20120128076A1 (en) * 2010-11-23 2012-05-24 Sony Corporation Apparatus and method for reducing blocking artifacts
US8976298B2 (en) * 2013-04-05 2015-03-10 Altera Corporation Efficient 2D adaptive noise thresholding for video processing
CN104346516B (zh) * 2013-08-09 2017-06-23 中国科学院沈阳自动化研究所 激光诱导击穿光谱的小波降噪的最佳分解层数选择方法
TWI632525B (zh) 2016-03-01 2018-08-11 瑞昱半導體股份有限公司 影像去雜訊方法及其裝置
US9832351B1 (en) 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms
EP3503016B1 (en) * 2017-12-19 2021-12-22 Nokia Technologies Oy Apparatus, method and computer program for processing a piecewise-smooth signal
US10672098B1 (en) * 2018-04-05 2020-06-02 Xilinx, Inc. Synchronizing access to buffered data in a shared buffer
US11989637B2 (en) * 2019-04-30 2024-05-21 Samsung Electronics Co., Ltd. System and method for invertible wavelet layer for neural networks

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600731A (en) * 1991-05-09 1997-02-04 Eastman Kodak Company Method for temporally adaptive filtering of frames of a noisy image sequence using motion estimation
WO1997016027A2 (en) * 1995-10-24 1997-05-01 Line Imaging Systems L.L.C. Ultrasound video subband coding system and method
JP3674158B2 (ja) * 1996-07-01 2005-07-20 ソニー株式会社 画像符号化方法及び画像復号装置
KR20020026177A (ko) * 2000-04-11 2002-04-06 요트.게.아. 롤페즈 비디오 엔코딩 및 디코딩 방법
JP2004523994A (ja) * 2001-04-10 2004-08-05 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 一連のフレームを符号化する方法
US7127117B2 (en) * 2001-06-11 2006-10-24 Ricoh Company, Ltd. Image compression method and apparatus for suppressing quantization rate in particular region, image expansion method and apparatus therefor, and computer-readable storage medium storing program for the compression or expansion
US7206459B2 (en) * 2001-07-31 2007-04-17 Ricoh Co., Ltd. Enhancement of compressed images
EP1554887A1 (en) * 2002-10-16 2005-07-20 Koninklijke Philips Electronics N.V. Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101868966B (zh) * 2007-11-21 2013-04-10 奥林巴斯株式会社 图像处理装置和图像处理方法
US8184705B2 (en) 2008-06-25 2012-05-22 Aptina Imaging Corporation Method and apparatus for motion compensated filtering of video signals
CN101662678B (zh) * 2008-08-29 2011-08-24 华为技术有限公司 一种运动补偿时域滤波的方法和装置
CN113709324A (zh) * 2020-05-21 2021-11-26 武汉Tcl集团工业研究院有限公司 一种视频降噪方法、视频降噪装置及视频降噪终端

Also Published As

Publication number Publication date
US20080123740A1 (en) 2008-05-29
WO2005029846A1 (en) 2005-03-31
KR20060076309A (ko) 2006-07-04
EP1668889A1 (en) 2006-06-14
JP2007506348A (ja) 2007-03-15

Similar Documents

Publication Publication Date Title
CN1856990A (zh) 使用频带内运动补偿时间滤波的视频去噪声算法
US7680190B2 (en) Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
CN1205818C (zh) 视频编码和解码方法
JP5060947B2 (ja) ピクチャのシーケンスからなるビデオデータを符号化する方法
CN1650634A (zh) 利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码
KR20060035541A (ko) 비디오 코딩 방법 및 장치
JP2008289132A (ja) データセットを変換係数に変換する方法
WO2004036919A1 (en) Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering
KR20050028019A (ko) 하나 및 다수의 기준 프레임을 기반으로 한 움직임 보상필터링을 사용한 웨이블릿 기반 코딩
CN1133527A (zh) 用移动自适应空间滤波器对视频信号进行时间滤波的方法
KR20050105246A (ko) 오버컴플릿 웨이블렛 확장에 대해 모션 보상된 시간필터링을 사용하는 3차원 웨이블렛 비디오 코딩
WO2010014271A1 (en) Method, apparatus, and computer software for modifying moving images via motion compensation vectors, degrain/denoise, and superresolution
CN1813479A (zh) 过完备小波域中的视频编码
CN1578403A (zh) 用于视频噪声抑制的方法和装置
CN1640147A (zh) 小波域半像素运动补偿
CN1878304A (zh) 编码和解码图像序列的方法和设备
US20090034624A1 (en) Method and Apparatus For a Multidimensional Discrete Multiwavelet Transform
Wang et al. Video coding using 3D dual-tree discrete wavelet transforms
Song et al. Contourlet image coding based on adjusted SPIHT
CN1689045A (zh) 用于基于小波的编码中的运动补偿的时间滤波的既有被滤波区域又有未滤波区域的l帧
CN1860793A (zh) 具有用于过完备小波视频编码架构内的重要系数群集的自适应结构化元素的3－d形态操作
Boettcher et al. Hyperspectral image compression with the 3D dual-tree wavelet transform
CN1568011A (zh) 一种基于运动联合图像专家组的图像帧间增强方法
KR100577364B1 (ko) 적응형 프레임간 비디오 코딩방법, 상기 방법을 위한 컴퓨터로 읽을 수 있는 기록매체, 및 장치
Cheng et al. A new image compression via adaptive wavelet transform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication