CN1608378A - 在视频清晰度增强中改善时间一致性 - Google Patents
在视频清晰度增强中改善时间一致性 Download PDFInfo
- Publication number
- CN1608378A CN1608378A CNA028262115A CN02826211A CN1608378A CN 1608378 A CN1608378 A CN 1608378A CN A028262115 A CNA028262115 A CN A028262115A CN 02826211 A CN02826211 A CN 02826211A CN 1608378 A CN1608378 A CN 1608378A
- Authority
- CN
- China
- Prior art keywords
- gain
- frame
- enhancing
- sharpness enhancement
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
提供了一种使用清晰度增强算法通过增强增益来改善表示至少一帧的增强信号(210)的时间一致性的方法和***。所述方法包括如下步骤:接收包括至少一帧的增强信号(210);为帧中每个像素获得一个增强增益;使用运动矢量从增益存储器获得参考帧中的每个像素的增强增益值,确定帧是否是I、P或B帧类型,并通过计算在清晰度增强算法中使用的增益映射为I帧类型确定更新增强增益(235)。每个像素的更新增强增益等于先前确定的在清晰度增强算法中使用的增强增益。另外,该方法包括将更新增强增益存储到增益存储器;和将更新增强增益应用到所述清晰度增强算法,以改善所述增强信号(210)的时间一致性。
Description
技术领域
本发明涉及一种提高数字视频信号质量的***和方法。具体而言,本发明的***和方法改善了清晰度提高算法中的时间一致性。
背景技术
高质量多媒体设备(比如机顶盒,高端电视,数字电视,个人电视,存储产品,PDA,无线网络设备等等)正在向多种结构体系的方向发展并且正在向对用于这些设备的新的功能部件更加开放的方向发展。而且,这些新产品及其显示任意格式视频数据的能力的发展,已经导致了对视频处理和视频增强算法的新的需求和机会。
MPEG(运动图像专家组)视频压缩正被用在许多当前的和新兴的产品中。MPEG是数字电视机顶盒、DSS、HDTV解码器、DVD播放器、视频会议、网络视频和其它应用***的核心。由于仅需要较小的存储空间来保存视频信息、较窄的带宽来实现从一个点到另一个点的视频信息传送、或者二者的结合,视频压缩使这些应用***获益菲浅。这些设备的大部分接收和/或存储MPEG-2格式的视频数据。将来它们可以接收和/或存储MPEG-4格式的视频数据。这些MPEG源的图像质量可能大大不同。
通过对人的视觉***进行研究,我们发现,眼睛对亮度的变化比对色度的变化更敏感。MPEG对彩色空间进行操作,有效地利用了眼睛对亮度和色度信息的不同敏感度。这样,MPEG使用YCbCr彩色空间代替RGB来表示数据值,其中Y表示亮度分量,通过实验方法确定为Y=0.299R+0.587G+0.144B,Cb是蓝色差分量,此处Cb=B-Y,Cr是红色差分量,此处Cr=R-Y。
将MPEG设置成多层层次,以助于误差处理、随机搜索和编辑以及同步,例如与音频比特流同步。第一层或者顶层,称为视频序列层,它是任意的完备的比特流,例如经编码的电影、广告或者卡通片。
第二层,在第一层之下,是图像组(GOP)层,由一组或多组内帧(I)和/或非帧内(P和/或B)图像组成。I帧被严格帧内压缩。它们的目的是为视频提供随机访问点。P帧是运动补偿前向预测编码帧。P帧是帧间压缩的,通常比I帧压缩程度更大。B帧是运动补偿双向预测编码帧。B帧是帧间压缩的,通常压缩程度最大。
第三层,在第二层之下,是图像层本身。第三层之下的第四层称为像条层。每个像条是按光栅顺序排列的宏块的邻接序列,在典型的视频应用***中,最常以行为基础。该像条结构用来在出现错误时实现解码。每个像条由宏块(亮度像素的16*16阵列)或者图像数据元素组成,并且具有2个8*8阵列(依赖于格式)色度像素。宏块可以进一步分成不同的8*8块,用于进行进一步处理,比如转换编码。当涉及YCbCr彩色空间时,宏块可用几个不同方式表示。通常使用的三种格式为4:4:4,4:2:2,4:2:0视频。4:2:2包含的色度信息是4:4:4的一半,4:4:4是全带宽YcbCr视频,4:2:0包含4:4:4色度信息的四分之一。由于亮度和色度表示法的有效方式,4:2:0表示法使得数据能够直接从12块/宏块减少到6块/宏块。
与P帧和B帧相比,I帧只提供中等程度的压缩,而在P帧和B帧中MPEG获得了其最大压缩效率。该效率通过一种称为基于运动补偿的预测技术获得,该技术使用了时间冗余。由于帧是非常相关的,所以假设当前图像可被模拟为前一时刻的图像的变换。于是能够根据前一帧的数据精确预测当前帧的数据。在P帧中,每个16*16大小的宏块是由预先编码的I或P图像的宏块预测得到的。由于帧是运动对象的瞬态图,两帧之间的宏块可能不会对应于相同的空间位置。编码器将会以半个像素为增量搜索前面的帧(对P帧而言,或者对B帧而言是之前和之后的帧)来寻找与包含在当前宏块中的信息是最接近匹配的其它宏块的位置。最匹配宏块与相同位置宏块(cositedmacroblock)在水平和垂直方向上的位移称为运动矢量。当前块和匹配块之间的差值以及运动矢量被编码。运动矢量也可以被用于出现损坏数据时的运动预测,精密完善的解码器算法可使用这些矢量进行误差消除。对B帧而言,基于运动补偿的预测和内插使用每一帧之前或之后的参考帧执行。
下一代存储设备,比如基于蓝色激光的数字录像机(DVR)具有一定程度的HD(高清晰)(ATSC)能力,并且该录像机是一个具有图像增强的新方法的设备的实例。HD节目通常以20Mb/s速率进行广播,并且按照MPEG-2视频标准编码。考虑DVR的大约25Gb存储容量,这表示每张盘有大约两小时的HD视频数据记录时间。为了增加记录时间,可以定义几个长播放模式,比如长播放(LP)和扩展长播放(ELP)模式。
对于LP模式,平均存储比特率假设为接近10Mb/s,实现了HD的两倍记录时间。因此,代码转换是视频处理链路的必备部分,它将20Mb/s的广播比特率减少到10Mb/s的存储比特率。在MPEG-2代码转换中,非常有可能降低视频的图像质量(比如清晰度)。但是,对于LP模式,图像质量不会损害太多。因此,对于LP模式,后处理在改善感知的图像质量重起到重要作用。
当前,用于模拟视频传输标准比如NTSC(全国电视***委员会)、PAL(逐行倒相)和SECAM(顺序与存储彩色电视)的大部分已有的清晰度增强算法已经得到了发展和优化。通常,图像增强算法减少图像中某些不想要的方面(比如噪声减少)或者改善图像的某些想要的特性(比如清晰度增强)。对这些新出现的存储设备,由于这些源的不同特性,传统的清晰度增强算法可以会对MPEG编码的或代码转换的视频数据次优地执行。
由于图像质量将为高端视频产品保持区别因素,执行图像增强的新的方法,尤其适用于由这些源使用的方法,将是有用的。在C-JTsai、P.Karunaratne、N.P.Galatsanos和A.K.Katsagge1os所著的《A Compressed Video Enhancement Algorithm》(一种压缩视频增强算法)(IEEE会报,ICIP’99,1999年10月25-28日,日本神户)中,作者建议了一种用于增强被低比特率编码的视频序列的迭代算法。对于MPEG源,图像质量的降低大部分源自量化函数。因此,作者使用的迭代梯度投影算法使用编码信息,比如量化级大小、宏块类型和价值函数中的前向运动矢量。该算法为低比特率视频信号给出了希望结果,但是,该方法具有很高的计算复杂性。
在B.Martins和S.Forchammer所著的《Improved Decoding ofMPEG-2 Coded Video》(MPEG-2编码视频的改善解码)(IBC’2000会报,2000年9月7-12日,荷兰阿姆斯特丹,第109-115页)中,作者描述了一种改善MPEG-2编码视频信号的解码的新思想。具体来讲,建议了一种结合在解码处理中的解交织和格式转换的一体方法。该技术获得了明显高于常规解码的图像质量。但是当前它的计算复杂性妨碍了其在消费产品中的应用。
上述文章都介绍了使用MPEG编码信息和价值函数的视频增强算法。但是,上述情况除了不实用外,还组合了增强和价值函数。价值函数确定增强可被应用的程度和图像中的位置。价值函数和增强函数的组合带来的问题是价值函数只能使用一种算法。
发明内容
本发明的目的和优点将在下面的说明中得以阐明,并且通过下面的说明,这些目的和优点将是显而易见的,同时将会通过本发明的实践得以认知。借助本文所写出的说明书和权利要求书中所明确指出的***和方法,并且从附图中,将会认识并获得本发明的其它优点。
因此本发明的一个目的是提供一种在清晰度增强算法中改善视频信号时间一致性的***和方法。本发明用独立权利要求加以定义。从属权利要求定义了有利实施例。
为了获得这些和其它优点,并且根据本发明的目的,如实施例所述,本发明包括一种使用清晰度增强算法通过增强增益来改善表示至少一帧的增强信号的时间一致性的方法,所述方法包括如下步骤:接收包括至少一帧的增强信号,为帧中每个像素获得与清晰度增强算法相关的增强增益,为所述帧中每个像素的增强增益确定一个更新增强增益。该方法进一步包括步骤:将所述更新增强增益存储到增益存储器,将更新增强增益应用到清晰度增强算法,改善增强信号的时间一致性。
所述***包括滤波器,用于滤波视频信号和产生高通信号;乘法器,用于将高通信号与通过本发明的方法产生的更新增强增益相乘,产生一个增益控制信号;加法器,将视频信号与增益控制信号相加,该加法器产生一个增强的时间一致视频信号。
应该理解,前面的概要描述和下文中的详细描述是示范性的,并且是为了对本发明的权利要求作进一步的解释。
并入说明书并作为说明书的一部分的附图被用于举例说明,并对本发明的方法和***作了进一步的说明。与说明书相结合,附图用于解释本发明的原理。
附图说明
附图1是包含本发明的***和方法的数字电视机的实施例的框图;
附图2是描述在本发明中使用的清晰度增强算法的框图;
附图3是描述本发明操作的方法的一个实施例的流程图。
具体实施方式
现在将详细给出本发明的优选实施方式,这些优选实施方式的一个例子在附图中进行了图解说明。本发明的方法和相应的步骤将结合***的详细说明进行描述。
下面所讨论的附图1到3和用于描述本发明的***和方法的原理的各个实施例,只是为了说明之用,而在任何情况下都不应解释为对本发明的范围进行限制。本发明的***和方法将被描述为一种在数字电视机中提高编码数字视频信号的图像质量的***和方法。重要的是,应该认识到本发明的***和方法并不限于数字电视机。本领域普通技术人员很容易理解本发明的原理可被成功地用于任何类型的数字视频***,包括但不限于电视接收器、机顶盒、存储设备、计算机视频显示***以及使用或处理数字视频信号的任何类型的电子设备。术语“数字视频***”指现在和今后可用的这些和其它相同类型的设备。在下面的描述中,采用了一个数字电视机作为数字视频***的一个代表性的例子。
附图1是使用本发明的装置和方法的数字电视机100的框图。数字电视机100包括电视接收器110和显示单元115。显示单元115可以是阴极射线管或者平板显示器或者用于显示视频图像的任何设备。电视接收器110包括天线105,用于接收电视信号。天线105耦合到调谐器120。调谐器120耦合到中频(“IF”)处理器125。如这里所具体实施的,IF处理器125耦合到解码器130。尽管本发明描述了一个MPEG解码器,但本发明并不限于MPEG类型的编码/解码。按照本发明的其它实施例,可以利用任何基于块的压缩方案,比方说,例如JPEG(静止图像压缩标准)、MPEG-1,2,4(数字视频标准)、H.261,H.263(视频会议标准)等等。按照这些标准,对所压缩的图像中的8×8像素块应用二维(2D)DCT(离散余弦变换)。
另外,按照本发明的其它实施例,从IF处理器接收的视频信号不一定必须进行编码,因此不需要MPEG解码器。
MPEG解码器130的输出耦合到后处理电路135。后处理电路135可以包括一个自适应峰值单元(adaptive peaking unit)140。自适应峰值单元140可位于后处理电路135中的适当位置。后处理电路135的输出被输入到显示单元115。
如这里所具体实施的,自适应峰值单元140对从MPEG解码器130接收到的视频信号进行处理。自适应峰值单元140产生一个用在诸如清晰度增强算法这样的自适应峰值处理中的增益值。应该理解,本发明的***和方法并不限于自适应峰值的处理。本发明可由不止一种的视频增强算法采用。
自适应峰值单元140的输出是用于自适应峰值单元140从MPEG解码器130接收的视频信号的增强亮度信号。与现有技术中的自适应峰值单元相比,自适应峰值单元140确定的亮度信号提供更精确、视觉更清晰和时间更一致的视频图像。自适应峰值单元140传送增强亮度信号到后处理电路135中的其它电路。后处理电路135能够使用增强亮度信号来增强视频信号的质量。
后处理电路135可以执行几种不同类型的视频信号处理。例如,一些视频信号处理应用包括:(a)噪声电平自适应噪声减少算法、(b)噪声电平自适应清晰度增强、(c)噪声电平自适应亮度色度分离、(d)噪声电平自适应运动检测、(e)噪声电平自适应运动估计和补偿、(f)噪声电平自适应上变换、(g)噪声电平自适应特征增强以及(h)基于噪声电平自适应对象的算法。
附图2描述了依照本发明一个有益实施例的自适应峰值单元140的***和方法的框图。附图2描述了按照本发明的方法计算得到的增益如何被应用到自适应峰值算法进行清晰度增强。自适应峰值算法使输入亮度信号210的瞬时幅度增加。
上述***使用自适应峰值算法进行清晰度增强。另外,本发明所采用的清晰度增强算法可以是(例如)空间域算法或者其它已知的算法。
本发明考虑视频信号的运动信息来计算在清晰度增强算法中使用的增强增益。使用运动矢量获得有关将被增强的视频信号的时间特性的信息。也可以使用存在于MPEG比特流中的运动矢量或从其它运动估算方法得到的运动矢量。
附图2中的自适应峰值清晰度增强算法中,表明输入亮度信号210首先通过峰值滤波器220,该滤波器通常是高通滤波器(HPF)。高通滤波信号随后与表示可允许的峰值量的增强增益相乘。
附图2也表示按照本发明改善视频信号一致性的***。该***包括:一个高通滤波器220,用于对输入视频信号210进行滤波;一个乘法器230,用于将高通滤波信号225与更新增强增益235相乘,上述更新增强增益是用本发明的任何方法确定的。这一相乘产生一个增益控制信号245。该***进一步包括一个加法器240,用于将输入视频信号210同增益控制信号245相加,并产生输出视频信号250,与输入信号相比,该输出视频信号250改善了清晰度。另外,与现有技术的清晰度增强算法所产生的输出信号相比,增强输出信号的时间一致性得到了改善。
按照本发明的优选实施例,提供了一种使用清晰度增强算法通过增强增益来改善表示至少一帧的增强信号的时间一致性的方法。该方法包括如下步骤:接收包括至少一帧的增强信号,为帧中每个像素获得与清晰度增强算法相关的增强增益,为帧中每个像素的增强增益确定一个经更新的增强增益。
按照本发明的优选实施例,帧中像素的更新增强增益根据下述等式计算:
gain_update=α*gainSEA+(1-α)*gainREF 等式(1)
其中,gain_update是在清晰度增强算法中使用的更新增强增益,gainSEA是在所述清晰度增强算法中先前定义的增强增益,gainREF是参考帧中运动矢量所指的参考像素的增益值,α是范围在0到1之间(0≤α≤1)的系数。
等式1考虑两个值:为清晰度增强算法所考虑的特定帧中的同一像素所预先计算出来的或其它与该像素相关的原始增益(gainSEA)、计算出运动矢量的参考帧中的像素的增益值(gainREF)。如果阿尔法(α)是0,则gain_update等于gainREF,而如果阿尔法(α)是1,则gain_update等于gainSEA。gainSEA是在现有的清晰度增强算法中惯常使用的像素增强增益,也就是,它是将按照本发明的优选实施例进行改善的增益。
按照本发明的优选实施例,该方法进一步包括以下步骤:存储更新增强增益到增益存储器并将该更新增强增益应用到清晰度增强算法中,以改善增强信号的时间一致性。
任何给定像素增益的突然的帧到帧变化,可以导致不需要的时间不一致清晰度增强。上述变化也可以增大瞬时可见和恼人的人工产物比如蚊式噪声(mosquito)。
为了补偿该效果,根据根发明的另一方面,清晰度增强算法中视频信号的时间一致性可使用对增益映射进行的运动自适应时间无限脉冲响应(IIR)滤波来改善。在优选实施例中,一个可能的IIR滤波器可根据以下等式定义:
gain_final=K*gainSEA+(1-K)*gain_prev 等式(2)
其中,gain_final是在清晰度增强算法中使用的经改善的增强增益,gainSEA是先前为清晰度增强算法所定义的增强增益,gain_prev是在前一帧相同位置的像素的增益值,K是基于整体运动估算而计算得到的因数。
整体运动通过如下方法估算。首先,逐个像素地计算当前帧和前一帧之间的差值的绝对值。接着比较绝对值与固定预定阈值。接着,计数大于阈值的绝对值的数目。结果,根据下述等式定义整体运动:
motion_global=count_over/count_hum 等式(3)
其中,count_num是所计算的差值的总数,count_over是大于预定阈值的绝对值的数目,motion_global是等式2中使用的K因数。根据本发明的优选实施例,为了减少计算复杂性,当前帧和前一帧之间的逐个像素的差值可以在帧中每四行或其它希望的行数计算。
按照本发明的另一方面,IIR滤波器可与依照等式1的增强增益算法结合应用,与单独应用到视频信号不同。
按照本发明的其它方面,可以通过区分MPEG编码序列的不同图像类型比如I,P,B帧来计算增强增益。I(帧内编码)帧使用DCT编码仅压缩单独帧,而不参考序列中的任何其它帧。P(或者预测)帧编码为与上一个I或P帧的差值。新的P帧首先通过采集最近的I或P帧并且预测每个新像素的值而得以预测出来。结果P帧通常提供比I帧更大的压缩率。B(或双向)帧被编码为与上一个或者下一个I或P帧的差值。B帧使用与P帧类似的预测方法,但是对每一块,使用先前的I或/和P帧或者以后的I或/和P帧或者两者都使用。P和B帧均使用运动预测和DCT编码,但是,通常B帧比P帧具有更好的压缩,因为它可以为每一宏块选择是前一帧还是后一帧用于比较。
为了举例但不是限定,附图3描述了本发明的这些附加组合方面。
例如,并且作为本文的实施例,本方法可以包括步骤确定(315)帧是否为I帧和计算(320)在清晰度增强算法中使用的增益映射,其中如果该帧是I帧类型,每个像素的更新增强增益等于先前确定在清晰度增强算法中使用的增强增益。
同样的,作为本文的另一个实施例,本方法进一步包括步骤(340)确定帧是否是P帧或B帧类型,使用运动矢量从增益存储器(325)获得(335)参考帧中的每个像素的增强增益值,并根据等式1计算更新增强增益。
解码后,接收到代表一组I,P,B帧的视频信号,基于当前输入视频帧(305)和前一视频帧(300),根据等式3来估算(310)整体运动。整体运动估算的结果被输入到运动自适应IIR滤波器(330)。与整体运动估算同时,基于该帧类型来计算输入视频帧的更新增强增益。如果输入视频帧是I帧,根据已有技术计算帧的增益映射(帧中每个像素的增益),并存储到增益存储器(325)。帧中每个像素的增益计算对本领与普通技术人员来说是已知的。如果输入视频帧是P帧或B帧,使用等式1计算该帧的更新增强增益值并将其存储到存储器。由于等式1使用参考帧和前一帧的增益值,从增益存储器获得必要的增益值。另外,代替使用等式1,如果输入视频帧是B帧,更新增强增益值可通过简单复制(345)前一参考帧的增益映射得到(从增益存储器获得增益值),并将值存储到增益存储器。对于帧内块(I帧),所使用的运动矢量值是零(0),但是对B帧,如上所述,可使用前一参考帧的增益映射。按照本发明的一个方面,相同的计算更新增强增益的方法可被用于P帧和B帧。
在为每一帧计算更新增强增益之后,如上所述,视频信号可通过前面所述的时间自适应IIR滤波器(330)被进一步改善,因此进一步调整更新增强增益。最终经改善的增益值随后被存储回增益存储器。
原始增强增益(gainSEA)的确定在现有技术中是公知的,本领域普通技术人员可以设计他们自己的等式来计算增益。本发明可被用于修改原始增强增益来获得时间一致清晰度增强。
本发明也可被应用到高清晰度(HD)和标准清晰度(SD)序列,比如存在于具有高清晰度(HD)性能并且能够实现长播放(LP)模式的视频存储应用***中的高清晰度(HD)和标准清晰度(SD)序列。大部分上述视频序列从广播MPEG-2比特流代码转换为较低的存储比特率。对于这种应用***的长播放(LP)模式,在代码转换期间也可以进行格式改变。标准清晰度(SD)或者高清晰度(HD)视频序列被编码、解码并且随后用按照本发明的清晰度增强算法进行处理,以提供更好的视频质量。
图2所示的清晰度增强算法的结果如下:
out_pixel=input_pixel+mpeg_gain*convolution_result, 等式(4)
其中,output_pixel是像素所用的最终亮度值,input-pixel是输入像素的亮度值,mpeg_gain是通过以上任何一种方法(更新增强增益或者改善增强增益中的任何一种)计算得到的增强增益,convolution_result是高通滤波输出。
如上所述并如图所示,本发明的***和方法提供了一种通过使用清晰度增强算法来提高数字视频信号质量的改善方法。特别是,获得了清晰度增强算法的时间一致性。
对于本领域的普通技术人员而言,显而易见,可以在不脱离本发明的情况下对本发明的方法和***进行各种修改和变化。因此,我们期望,本发明包括了在所附的权利要求书及其等价内容的范围之内所包含的修改和变化方案。
Claims (13)
1.一种使用清晰度增强算法通过增强增益来改善表示至少一帧的增强信号的时间一致性的方法,所述方法包括如下步骤:
接收包括至少一帧的增强信号(210);
为帧中每个像素获得与清晰度增强算法相关的增强增益;
为所述帧中每个像素的增强增益确定一个更新增强增益(235);
将所述更新增强增益(235)存储到增益存储器(325);和
将更新增强增益(235)应用到所述清晰度增强算法,以改善所述增强信号(210)的时间一致性。
2.根据权利要求1的方法,进一步包括确定帧是否是I帧(315)的步骤;和
所述确定步骤包括计算在清晰度增强算法中使用的增益映射的步骤,其中如果帧是I帧类型,每个像素的更新增强增益(235)等于先前获得的在清晰度增强算法中使用的增强增益。
3.根据权利要求1的方法,进一步包括确定帧是否是P帧类型(340)或B帧类型(355)的步骤;并且,如果帧是P帧类型或B帧类型,则
基于运动矢量从增益存储器(325)中的参考帧获得(375)每个像素的增强增益值;
其中所述确定步骤包括根据以下等式来计算更新增强增益(235):
gain_update=α*gainSEA+(1-α)*gainREF,
其中gain_update是要在所述清晰度增强算法中使用的更新增强增益,gainSEA是在所述清晰度增强算法中先前定义的增强增益,gainREF是在所述参考帧中由运动矢量所指的参考像素的增强增益值,而α是范围在0到1之间的系数。
4.根据权利要求1的方法,进一步包括确定帧是否是B帧类型(355)的步骤;和
所述确定步骤包括计算在清晰度增强算法中使用的增益映射的步骤,其中如果帧是B帧类型,则每个像素的更新增强增益等于来自先前参考帧的增强增益。
5.根据权利要求1的方法,进一步包括步骤:
通过对存储在所述增益存储器(325)中的更新增强增益应用运动自适应时间IIR滤波(330),计算帧中像素经改善的增强增益,所述经改善的增强增益由下述等式确定:
gain_final=K*gain_update+(1-K)*gain_prev,其中,gain_final是在清晰度增强算法中使用的经改善的增强增益,gain_update是先前存储在所述增益存储器(325)中的更新增强增益,gain_prev是前一帧中相同位置的像素的增强增益,K是基于整体运动估算(310)而计算得到的因数,和
将所述经改善的增强增益存储到增益存储器(325)。
6.根据权利要求5的方法,其中所述用于确定K因数的帧的整体运动估算(310)包括步骤:
逐个像素地计算当前帧和前一帧之间的差值的绝对值;
比较所述绝对值与预定阈值;
计数大于所述阈值的绝对值的数目;和
根据等式motion_global=count_over/count_num来估算整体运动,
其中motion_global用作K因数,count_over是大于所述阈值的绝对值的数目,count_num是所计算的差值的总数。
7.一种使用清晰度增强算法通过增强增益来改善表示至少一帧的增强信号(210)的时间一致性的方法,所述方法包括如下步骤:
接收包括至少一帧的增强信号;
为帧中每个像素获得与清晰度增强算法相关的增强增益;
通过对所述增强增益应用运动自适应时间IIR滤波(330),计算帧中像素的经改善的增强增益(235),所述经改善的增强增益(235)由以下等式确定:
gain_final=K*gain_SEA+(1-K)*gain_prev,其中,gain_final是要在清晰度增强算法中使用的经改善的增强增益,gain_SEA是先前在所述清晰度增强算法中定义的增强增益,gain_prev是在前一帧(300)中相同位置的像素的增强增益,而K是基于整体运动估算(310)而计算得到的因数;
将所述经改善的增强增益(235)存储到增益存储器(325);和
将经改善的增强增益(235)应用到所述清晰度增强算法中,以改善所述增强信号(210)的时间一致性。
8.根据权利要求7的方法,其中所述用于确定K因数的帧的整体运动估算(310)包括步骤:
逐个像素地计算当前帧(305)和前一帧(300)之间的差值的绝对值;
比较所述绝对值与预定阈值;
计数大于所述阈值的绝对值的数目;和
根据等式motion_global=count_over/count_num来估算整体运动,
其中motion_global用作K因数,count_over是大于阈值的绝对值的数目,count_num是所计算的差值的总数。
9.一种使用清晰度增强算法通过增强增益来改善表示至少一帧的增强信号的时间一致性的***,所述***包括:
用于接收包括至少一帧的增强信号的装置;
用于为帧中每个像素获得与清晰度增强算法相关的增强增益的装置;
用于通过对所述增强增益应用运动自适应时间IIR滤波器(330)来计算帧中像素经改善的增强增益(235)的装置(135),所述经改善的增强增益由以下等式确定:
gain_final=K*gain_SEA+(1-K)*gain_prev,
其中,gain_final是要在清晰度增强算法中使用的经改善的增强增益,gain_SEA是先前在清晰度增强算法中定义的增强增益,gain_prev是在前一帧(300)相同位置的像素的增强增益,而K是使用整体运动估算装置计算得到的因数;
用于将所述经改善的增强增益存储到增益存储器(325)的装置;和
用于将经改善的增强增益(235)应用到所述清晰度增强算法以改善所述增强信号(210)的时间一致性的装置。
10.根据权利要求9的***,其中所述用于确定K因数的整体运动估算装置包括:
用于逐个像素地计算当前帧(305)和前一帧(300)之间的差值的绝对值的装置;
用于比较所述绝对值与预定阈值的装置;
用于计数大于所述阈值的绝对值的数目的装置;和
用于根据等式motion_global=count_over/count_num来估算整体运动的装置,
其中motion_global被用作K因数,count_over是大于阈值的绝对值的数目,count_num是所计算的差值的总数。
11.一种使用清晰度增强算法通过增强增益来改善表示至少一帧的增强信号(210)的时间一致性的***,所述***包括:
用于接收包括至少一帧的增强信号的装置;
用于为帧中每个像素获得与清晰度增强算法相关的增强增益的装置;
用于基于运动矢量从增益存储器(325)中的参考帧得到每个像素的增强增益值的装置;
用于确定帧是否是I、P或B帧类型的装置;
用于通过计算在清晰度增强算法中使用的增益映射(320)为I帧类型确定更新增强增益(235)的装置,其中每个像素的更新增强增益等于先前确定的在清晰度增强算法中使用的增强增益;
用于根据以下等式为P帧或B帧类型确定更新增强增益(335)的装置:
gain_update=α*gainSEA+(1-α)*gainREF,
其中gain_update是要在所述清晰度增强算法中使用的更新增强增益(235),gainSEA是在所述清晰度增强算法中先前定义的增强增益,gainREF是参考帧中运动矢量所指出的参考像素的增益值,而α是范围在0到1之间的系数;
用于将所述更新增强增益存储到增益存储器(325)的装置。
12.根据权利要求11的***,进一步包括:
用于通过对所述更新增强增益应用运动自适应时间IIR滤波(330)来计算帧中像素经改善的增强增益的装置,所述经改善的增强增益由以下等式确定:
gain_final=K*gain_update+(1-K)*gain_prev,
其中,gain_final是要在清晰度增强算法中使用的经改善的增强增益,gain_update是先前为所述清晰度增强算法而计算的更新增强增益,gain_prev是前一帧相同位置的像素的增强增益,而K是使用整体运动估算装置计算得到的因数;和
用于将所述经改善的增强增益存储到增益存储器(325)的装置;和
用于将经改善的增强增益应用到所述清晰度增强算法中以改善所述增强信号(210)的时间一致性的装置。
13.根据权利要求12的***,其中所述用于确定K因数的整体运动估算装置包括:
用于逐个像素地计算当前帧(305)和前一帧(300)之间的差值的绝对值的装置;
用于比较所述绝对值与预定阈值的装置;
用于计数大于所述阈值的绝对值的数目的装置;和
用于根据以下等式估算整体运动的装置:
motion_global=count_over/count_num,
其中motion_global被用作K因数,count_over是大于阈值的绝对值的数目,count_num是所计算的差值的总数。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/029,823 | 2001-12-27 | ||
US10/029,823 US6873657B2 (en) | 2001-12-27 | 2001-12-27 | Method of and system for improving temporal consistency in sharpness enhancement for a video signal |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1608378A true CN1608378A (zh) | 2005-04-20 |
Family
ID=21851075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA028262115A Pending CN1608378A (zh) | 2001-12-27 | 2002-12-09 | 在视频清晰度增强中改善时间一致性 |
Country Status (7)
Country | Link |
---|---|
US (1) | US6873657B2 (zh) |
EP (1) | EP1461957A1 (zh) |
JP (1) | JP2005513968A (zh) |
KR (1) | KR20040069208A (zh) |
CN (1) | CN1608378A (zh) |
AU (1) | AU2002367218A1 (zh) |
WO (1) | WO2003056835A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103299609A (zh) * | 2011-01-07 | 2013-09-11 | Tp视觉控股有限公司 | 用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像数据的图像转换单元、图像处理装置、显示设备 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7003035B2 (en) | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
US7031388B2 (en) * | 2002-05-06 | 2006-04-18 | Koninklijke Philips Electronics N.V. | System for and method of sharpness enhancement for coded digital video |
US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
US7280700B2 (en) * | 2002-07-05 | 2007-10-09 | Microsoft Corporation | Optimization techniques for data compression |
US7154952B2 (en) | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
US7609763B2 (en) * | 2003-07-18 | 2009-10-27 | Microsoft Corporation | Advanced bi-directional predictive coding of video frames |
US8064520B2 (en) * | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7558428B2 (en) * | 2004-09-13 | 2009-07-07 | Microsoft Corporation | Accelerated video encoding using a graphics processing unit |
KR100772215B1 (ko) * | 2005-12-30 | 2007-11-01 | 엘지전자 주식회사 | 영상표시기기의 영상 제어장치 및 방법 |
TWI343212B (en) * | 2007-03-23 | 2011-06-01 | Via Tech Inc | Deinterlacing method and apparatus for digital motion picture |
JP4922839B2 (ja) * | 2007-06-04 | 2012-04-25 | 三洋電機株式会社 | 信号処理装置、映像表示装置及び信号処理方法 |
US8254455B2 (en) * | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
EP2051524A1 (en) * | 2007-10-15 | 2009-04-22 | Panasonic Corporation | Image enhancement considering the prediction error |
US8699818B2 (en) * | 2008-04-30 | 2014-04-15 | Nec Corporation | Method, system, and program for determining image quality based on pixel changes between image frames |
US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
US8559745B2 (en) * | 2011-09-22 | 2013-10-15 | Himax Imaging Limited | Image signal processor and method for image enhancement |
US20150146981A1 (en) * | 2013-09-05 | 2015-05-28 | Tp Vision Holding B.V. | Apparatus and method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device |
EP3016383B1 (en) * | 2014-11-03 | 2017-06-21 | Axis AB | Method, device, and system for pre-processing a video stream for subsequent motion detection processing |
US10404996B1 (en) * | 2015-10-13 | 2019-09-03 | Marvell International Ltd. | Systems and methods for using multiple frames to adjust local and global motion in an image |
KR20210133800A (ko) * | 2020-04-29 | 2021-11-08 | 삼성전자주식회사 | 이미지 압축 방법, 인코더, 및 인코더를 포함하는 카메라 모듈 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5465119A (en) * | 1991-02-22 | 1995-11-07 | Demografx | Pixel interlacing apparatus and method |
US5835375A (en) | 1996-01-02 | 1998-11-10 | Ati Technologies Inc. | Integrated MPEG audio decoder and signal processor |
EP0840982B1 (en) | 1996-05-24 | 2002-02-13 | Koninklijke Philips Electronics N.V. | Motion estimation |
KR100189922B1 (ko) * | 1996-06-20 | 1999-06-01 | 윤종용 | 히스토그램 등화를 이용한 동영상의 콘트라스트개선회로 및 그 방법 |
IT1289206B1 (it) | 1996-09-12 | 1998-09-29 | Sgs Thomson Microelectronics | Metodo di ricompressione e decompressione adpcm di un flusso di dati digitali costituente un segnale video digitale e stimatore |
KR100200628B1 (ko) * | 1996-09-30 | 1999-06-15 | 윤종용 | 화질 개선 회로 및 그 방법 |
US6034742A (en) | 1997-10-27 | 2000-03-07 | Sony Corporation | Adaptive sharpness enhancement for a multi-frequency scanning monitor |
WO2000042778A1 (en) | 1999-01-15 | 2000-07-20 | Koninklijke Philips Electronics N.V. | Sharpness enhancement |
US6239561B1 (en) | 1999-11-05 | 2001-05-29 | Thomson Licensing S.A. | Signal processing for scanning beam velocity modulation |
JP2003517785A (ja) | 1999-12-17 | 2003-05-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 信号ピーキング |
-
2001
- 2001-12-27 US US10/029,823 patent/US6873657B2/en not_active Expired - Lifetime
-
2002
- 2002-12-09 WO PCT/IB2002/005308 patent/WO2003056835A1/en not_active Application Discontinuation
- 2002-12-09 AU AU2002367218A patent/AU2002367218A1/en not_active Abandoned
- 2002-12-09 JP JP2003557218A patent/JP2005513968A/ja active Pending
- 2002-12-09 EP EP02805854A patent/EP1461957A1/en not_active Withdrawn
- 2002-12-09 KR KR10-2004-7010236A patent/KR20040069208A/ko not_active Application Discontinuation
- 2002-12-09 CN CNA028262115A patent/CN1608378A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103299609A (zh) * | 2011-01-07 | 2013-09-11 | Tp视觉控股有限公司 | 用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像数据的图像转换单元、图像处理装置、显示设备 |
Also Published As
Publication number | Publication date |
---|---|
EP1461957A1 (en) | 2004-09-29 |
WO2003056835A1 (en) | 2003-07-10 |
AU2002367218A1 (en) | 2003-07-15 |
US20030123549A1 (en) | 2003-07-03 |
US6873657B2 (en) | 2005-03-29 |
JP2005513968A (ja) | 2005-05-12 |
KR20040069208A (ko) | 2004-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10013746B2 (en) | High dynamic range video tone mapping | |
CN1608378A (zh) | 在视频清晰度增强中改善时间一致性 | |
US6862372B2 (en) | System for and method of sharpness enhancement using coding information and local spatial features | |
WO2012153578A1 (ja) | 画像処理装置及び画像処理方法 | |
WO2008066601A1 (en) | Memory reduced h264/mpeg-4 avc codec | |
EP1506525B1 (en) | System for and method of sharpness enhancement for coded digital video | |
US8704932B2 (en) | Method and system for noise reduction for 3D video content | |
WO2013001939A1 (ja) | 画像処理装置及び画像処理方法 | |
US20070140336A1 (en) | Video coding device and image recording/reproducing device | |
EP1352515B1 (en) | Apparatus and method for providing a usefulness metric based on coding information for video enhancement | |
US6205286B1 (en) | Image pickup apparatus having image information compressing function | |
CN101188765A (zh) | 用于对rgb图像编码和解码的方法和设备 | |
JP2005518728A (ja) | 画像処理方法及び装置 | |
US20060098739A1 (en) | Video frame encoder driven by repeat decisions | |
JP2006311078A (ja) | 高能率符号化記録装置 | |
JP3410037B2 (ja) | 復号化方法、復号化装置、および、コンピュータ読み取り可能な記録媒体 | |
Thornbrue | Adaptive format conversion information as enhancement data for the high-definition television migration path | |
JPH0746598A (ja) | 画像情報圧縮方法 | |
JPH10271504A (ja) | 画像信号の符号化方法 | |
JPH1155549A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |