CN1886980A - 用于运动模糊降低的带通滤波器的运动补偿逆滤波 - Google Patents

Abstract

本发明涉及用于减少在保持型显示器(101)上显示的视频信号的图像的运动模糊的方法、计算机程序、计算机程序产品和设备，包括：估计(1102)在所述视频信号的所述图像内运动分量的运动矢量；针对空间频域，带通滤波(1100，1101)所述视频信号，其中所述带通滤波至少部分地取决于所述估计的运动矢量，和其中随着所述估计的运动矢量的长度增加，所述带通滤波的通带自适应地从高的空间频率移位到中间的空间频率；和组合(1104)所述视频信号与所述通带滤波的视频信号，以产生用于所述保持型显示器的输入视频信号。

Description

用于运动模糊降低的带通滤波器的运动补偿逆滤波

技术领域

本发明涉及用于降低在保持型(hold-type)显示器上显示的视频信号图像的运动模糊的方法。

背景技术

最近几年来，传统的阴极射线管(CRT)显示器不得不面对来自主要基于有源矩阵技术的替代显示原理的日益增加的竞争。具体而言，有源矩阵液晶显示器(AM-LCD)的性能已经增加，并且价格也如此显著地降低，以致于CRT的市场份额在急速地降低。这些新的显示原理的主要区别特征在于其尺寸：LCD薄、平(坦)和重量轻。这为这些显示器获得了第一市场：膝上型计算机。迄今，LCD也已经几乎占领了台式监视器市场，其中不仅其尺寸有差别，而且其均匀、清晰和无闪烁的图像再生也有差别。当前，CRT也不得不在其最后一个堡垒(即，电视)面对来自LCD的竞争。

为了制造优良的电视显示器，LCD必须克服前面的缺点，例如，有限的观看角度和彩色性能。然而，CRT在一个主要方面即运动描绘(motion portrayal)中依然是不可战胜的。在该领域中，LCD性能很差，因为提供基本显示效果的LC分子对图像改变缓慢地起反应。这引起运动目标的令人讨厌的拖尾(模糊)，这使得LCD不适于视频应用。因此，已经投入了大量努力来加速LC材料的响应。这可以通过应用更好的材料或者通过改善LC单元设计来实现。还存在用于基于视频处理的响应时间改善的公知方法，称作“过激励(overdrive)”。过激励通过根据所应用的灰度电平转移改变驱动值来改善LC像素的响应速度。这允许将响应时间降低到帧周期内。当前，可用的最佳显示器列表响应时间低于帧周期(在60Hz上，17ms)。这是至关重要的值，因为对于可以在帧周期内响应于图像改变的LCD而言，防止最坏的模糊假象。

然而，加速LC材料的响应到较低值对于完全避免运动模糊是不足够的。这是由于有源矩阵原理本身而导致的，其呈现抽样与保持特征，在整个帧时间期间引起光发射(保持型显示器)。这是与CRT(脉冲型显示器)的荧光物质生成的非常短(微秒)闪光的主要差别。众所周知，这种延长的光发射并不很好地匹配人类感觉(perceive)运动图像的方式。如在随后的段落中将进一步解释的，人眼将跟踪屏幕上的运动目标，从而将属于一帧内每个固定点的光成像在视网膜内的一系列点上。这种‘点扩散’导致运动目标的锐度损失。

显示***的基本功能是根据所接收的空间-时间离散视频信号在屏幕上的正确位置和时间上重构与原始图像相对应的物理光发射。这种重构处理的特征(尤其在与人类视觉***的特征相组合时)能够解释在实际的显示***内出现的许多图像质量假象。

在图1中图示从原始图像到显示图像的信号链1的非常基本的表示。表示为随时间改变的图像的原始场景是空间-时间-连续强度函数

其中 具有两维： $\stackrel{\→}{x}={(x,y)}^T.$ 利用照相机100在时间和空间上抽样该原始图像。因为空间抽样在这个说明书的范围之外，所以从现在开始我们将仅偶尔提及。然而，时间行为将是本说明书的其余部分的主要问题。利用下式来描述抽样处理：

$I_x(\stackrel{\→}{x},t)=I_c(\stackrel{\→}{x},t)\·\mathrm{\Λ}(\stackrel{\→}{x},t),---\left(1\right)$

其中 是δ脉冲的三维网格(lattice)。我们可以假设矩形抽样网格，这利用抽样间隔 $\mathrm{\Δ}\stackrel{\→}{x}=(\mathrm{\Δx},\mathrm{\Δy})$ 和Δt来描述：

$\mathrm{\Λ}(\stackrel{\→}{x},t)=\underset{k,l,m}{\mathrm{\Σ}}\·\mathrm{\δ}(x-k\·\mathrm{\Δx})\·\mathrm{\δ}(y-l\·\mathrm{\Δy})\·\mathrm{\δ}(t-m\·\mathrm{\Δt}).---\left(2\right)$

利用显示器101重构物理光发射可以利用与显示孔径的卷积来描述(也称作重构函数或点扩展函数)。这个孔径还是空间和时间的函数： 利用显示器101生成的图像变成：

$I_d(\stackrel{\→}{x},t)=I_s(\stackrel{\→}{x},t)*A(\stackrel{\→}{x},t)$

$=(I_c(\stackrel{\→}{x},t)\·\mathrm{\Λ}(\stackrel{\→}{x},t))*A(\stackrel{\→}{x},t)---\left(3\right)$

抽样和重构的这两个操作导致在所显示的图像和原始图像之间的多个特征差值。这些最好通过频域描述来描述，因此我们对等式(3)应用如下的傅立叶变换：

得到

$I_d^f({\stackrel{\→}{f}}_x,f_t)=(I_c^f({\stackrel{\→}{f}}_x,f_t)*{\mathrm{\Λ}}^f({\stackrel{\→}{f}}_x,f_t))\·A^f({\stackrel{\→}{f}}_x,f_t),---\left(4\right)$

其中网格 的傅立叶变换 是倒数网格(点阵)，具有间隔(Δx)^-1，(Δy)^-1和(Δt)^-1(帧速率)。

针对脉冲型(CRT)显示器的情况，在图2的四个曲线中分别图示作为标准化时间频率f_tΔt和标准化空间频率f_xΔx的函数的原始图像、抽样图像、显示图像和最终感觉到的图像的空间-时间谱。为了简化图示，我们省略空间重复，如同信号在空间维数内是连续的一样。对于显示的图像，这等效于假设已经完美地重构了空间维，即根据纳奎斯特标准，在空间频带限制了原始连续信号，并且该重构有效地消除了重复频谱。

在时间维数中，光发射的脉冲特性提供了平坦的重构频谱。作为该平坦频谱的结果，在基带f_t＜(2Δt)^-1内的时间频率未被衰减，而且至少通过最低量级(order)重复。

也由人类视觉***(HVS)的特征确定观看者最终感觉到的图像。在时间域内，HVS主要用作低通滤波器，因为它对较高的频率是不敏感的。图2的第四条曲线图示所感觉到的图像与原始图像相同(对照图2的第一条曲线)，如果我们假定眼睛的低通消除了所有的重复谱。该假设并非始终是正确的，这导致在显示***内非常公知的假象之一：大面积闪烁。这是由于对于大约小于75Hz的帧速率并未完全抑制的第一重复谱(在低的空间频率上)而引起的。

诸如LCD等有源矩阵显示器并不具有脉冲型光发射。当前可用的最快显示器具有的响应时间短于帧周期。然而，甚至这些由于有源矩阵的抽样与保持行为和利用背光的连续照明而仍然在整个帧周期期间将具有光发射。这一行为导致时间“逻辑框(box)”重构函数，其具有的宽度等于保持时间T_h。在频域内，这变成正弦特性：

$A^f({\stackrel{\→}{f}}_x,f_t)=\sin c\left(\mathrm{\π}{f}_t{T}_h\right)---\left(5\right)$

分别在图3的四个曲线中图示对于这样的保持型显示器的显示图像和最终感觉图像的孔径 的抽样图像的谱。这立即表现出保持型显示器相对于脉冲型显示器的不同优点：正弦特征抑制在所显示图像内的重复谱(对照图3的第三曲线)，并且甚至在抽样频率上具有零透射(传输)。这消除了在所有帧速率上的大面积闪烁。

可以看出，保持型显示器的抽样与保持行为导致比脉冲型光发射更好的显示。对于静态图像来说，实际上是这样的情况。然而，对于运动图像来说，结果改变为：

$I_m(\stackrel{\→}{x},t)=I_c(\stackrel{\→}{x}+\stackrel{\→}{v}t,t),---\left(6\right)$

其中 是运动图像在屏幕上的速度，在此以用于

和t的相同单位来测量。当已知抽样间隔 $\mathrm{\Δ}\stackrel{\→}{x}=(\mathrm{\Δx},\mathrm{\Δy})$ 时，还能够以“每帧的像素”来表示

这对应于“运动矢量”或“帧位移矢量”。

等式(6)还可以转换到频域，其中它变成：

$I_m^f({\stackrel{\→}{f}}_x,f_t)=I_c^f({\stackrel{\→}{f}}_x,f_t-\stackrel{\→}{v}\·{\stackrel{\→}{f}}_x).---\left(7\right)$

与在图4的第一曲线内的静止原始图像的频谱相比，该运动导致如图4的第二曲线内图示的谱的剪切。频谱的剪切反映出在运动目标内的空间变化将生成时间变化。

随后，这个运动图像在其抵达眼睛之后在显示链中被抽样(对照图4的第三曲线)和被重构。运动图像的知觉(感知)的特征在于HVS的另一个重要特性：眼睛跟踪。观看者试图在屏幕上跟随运动目标，以便在视网膜上生成静态图像。这一机制被很好地研究，并允许HVS利用高级的细节来感觉运动图像。利用等式(6)和(7)内关系的逆关系来描述在眼睛跟踪观察者的视网膜上的图像：

$I_e(\stackrel{\→}{x},t)=I_d(\stackrel{\→}{x}-\stackrel{\→}{v}t,t)$

$I_e^f({\stackrel{\→}{f}}_x,f_t)=I_d^f({\stackrel{\→}{f}}_x,f_t+\stackrel{\→}{v}\·{\stackrel{\→}{f}}_x)---\left(8\right)$

在图5中图示从原始图像到所感觉图像的整个链5，包括运动实例500(由于运动目标引起)、抽样实例501(例如，照相机)、重构实例502(例如，显示器)、跟踪实例503(跟踪运动的观察者)和低通滤波器504(眼睛)。将等式(3)代入等式(8)和使用等式(7)，提供被投影在眼睛跟踪观察者的视网膜上的图像：

$I_e^f({\stackrel{\→}{f}}_x,f_t)=(I_m^f({\stackrel{\→}{f}}_x,f_t+\stackrel{\→}{v}\·{\stackrel{\→}{f}}_x)*{\mathrm{\Λ}}^f({\stackrel{\→}{f}}_x,f_t+\stackrel{\→}{v}{\·\stackrel{\→}{f}}_x)){\·A}^f({\stackrel{\→}{f}}_x,f_t+\stackrel{\→}{v}{\·\stackrel{\→}{f}}_x)$

$=(I_c^f({\stackrel{\→}{f}}_x,f_t)*{\mathrm{\Λ}}^f({\stackrel{\→}{f}}_x,f_t+\stackrel{\→}{v}{\·\stackrel{\→}{f}}_x))\·A^f({\stackrel{\→}{f}}_x,f_t+\stackrel{\→}{v}{\stackrel{\→}{\·f}}_x)---\left(9\right)$

对于脉冲型显示器，在图6的第三曲线内，并且对于保持型显示器，在图7的第四曲线内，图示在眼睛的低通滤波之后所感觉到的图像 其中图6和图7的曲线分别补充图4的曲线。再次假设在空间域内的完美重构，通过仅在频率f_t≈0上察看，获得在眼睛低通滤波之后的图像。我们可以看出，与眼睛跟踪组合的显示器的时间孔径函数的效果可以描述为运动图像的空间滤波：

$I_p^f\left({\stackrel{\→}{f}}_x\right)=I_c^f\left({\stackrel{\→}{f}}_x\right)\·A^f({\stackrel{\→}{f}}_x,\stackrel{\→}{v}\·{\stackrel{\→}{f}}_x)---\left(10\right)$

$=I_c^f\left({\stackrel{\→}{f}}_x\right)\·H^f\left({\stackrel{\→}{f}}_x\right)$

利用空间低通滤波器：

$H^f\left({\stackrel{\→}{f}}_x\right)=\sin c(\mathrm{\π}\stackrel{\→}{v}\·{\stackrel{\→}{f}}_x{T}_h).---\left(11\right)$

等式(11)的滤波器 取决于运动速度

和保持时间(帧周期)T_h。

图8示意地将这个滤波器的幅度响应图示为沿着运动方向

的运动(速度) (以每帧的像素为单位)和标准化空间频率f_xΔx的函数，其中白色区域表示在1和0.5之间的幅度(低衰减)，和其中阴影区域表示在0.4和0之间的幅度(高衰减)。

尽管时间“保持”孔径相对于大面积闪烁是有益的，但是它将导致在观察者的视网膜上运动目标的空间模糊。通过正弦特性将衰减较高的空间频率，并且随着速度的增加，衰减开始的空间频率将变小，因而影响扩展的空间频率区域。此外，该模糊将仅沿着运动方向出现。不影响与每个目标的运动垂直的锐度。

等式(11)建议：为了降低此影响，必需降低保持时间T_h。这可以通过两种方式实现。首先，可以提高帧速率。为了具有所要求的效果，这必须利用运动补偿帧速率转换来实现，因为简单的帧重复将导致相同的有效保持时间。其次，不改变帧速率，我们可以降低光发射的周期(或更好地：占空度)。对于LCD，这可以通过使用所谓的“扫描背光”，仅在部分帧时间期间接通背光来实现。

根据等式(11)，降低由于抽样与保持效应导致的运动模糊的第三个选择是仅使用视频处理，并不需要修改显示或背光。显示器+眼睛组合903的低通滤波(包括显示器的重构901和观察者/眼睛的跟踪/低通滤波902)在视频域内被预补偿，如图9的显示链9中所示的。这可以通过使用等式(11)的滤波器 的逆滤波器900来实现：

$H_{\mathrm{mv}}^f\left({\stackrel{\→}{f}}_x\right)=\frac{1}{\sin c\left(\mathrm{\π}\stackrel{\→}{v}{\stackrel{\→}{f}}_x{T}_h\right)}---\left(12\right)$

逆滤波器 是纯空间滤波器，反映与眼睛跟踪组合的显示器的时间孔径导致空间低通滤波器 的观察。进一步沿着该链的逆滤波器900和显示器+眼睛组合903的级联9应导致尽可能接近原始图像的感觉图像。

EP 0 657 860 A2公开了在速度相关的高空间频率增强滤波器(或高空间频率提升滤波器)的形状内这样的预补偿滤波器 900的近似值 的使用，这增强了根据运动分量的速度在高空间频率上视频信号的频谱，其中在高空间频率上的所述频谱与在视频信号的图像内的运动分量是相关的。其中，根据由运动矢量估计器估计的运动矢量，调整空间频率增强滤波器(从其开始增强)的截止频率。在EP 0 657860内配置的空间频率增强滤波器 并非如等式(12)定义的确切逆滤波器 因为不能实际地实现这些频率的恢复，其中这些频率已被衰减到非常低的电平(例如，在等式(11)的空间低通滤波器

的零内)，例如，低于噪声阈值。

图10图示作为空间频率函数的等式(11)的空间低通滤波器等式(12)的逆滤波器 和等式(12)的逆滤波器

的近似1002的传递函数，其中所述近似1002类似于EP0657860 A2的高空间频率增强滤波器。

在EP 0 657 860 A2内公开的空间频率增强滤波器还增强了在视频信号的抽样图像内出现的噪声的高空间频率分量。然而，在平坦(非细节)图像部分内，运动估计器具有估计确定空间频率增强滤波器的截止频率的错误运动矢量的高概率，导致在高空间频率增强滤波器增益上不希望的噪声放大，这大大降低了视频信号的图像质量。

发明内容

鉴于上述问题，特别地，本发明的目的是提供用于降低在保持型显示器上显示的视频信号图像的运动模糊的改善的方法、计算机程序、计算机程序产品和设备。

建议用于降低在保持型显示器上显示的视频信号图像的运动模糊的方法，包括：估计在所述视频信号的所述图像内运动分量的运动矢量；相对于空间频域，带通滤波所述视频信号，其中所述带通滤波至少部分地取决于所述估计的运动矢量，和其中随着所述估计的运动矢量的长度增加，所述带通滤波器的通带自适应地从高的空间频率移位到中间的空间频率；和组合所述视频信号与所述带通滤波视频信号，以产生用于所述保持型显示器的输入视频信号。

可以将所述保持型显示器理解为非频闪显示器，即，在相对于图像的图像周期是不可忽略的时间周期期间在显示器上显示图像。用于保持型或非频闪显示器的例子例如是非发射型显示器，诸如液晶显示器(LCD)、等离子平板显示器(PDP)和薄膜晶体管(TFT)显示器，这些例如可以包括：具有用于调制光的图像元素(像素)的行和列阵列的显示板；用于从前侧或后侧照明显示平板的装置；和用于根据所施加的输入视频信号驱动像素的驱动装置。保持型显示器的其它例子是发射型显示器，例如，有机发光二极管(O-LED)显示器或聚合物发光二极管(Poly-LED)显示器，这例如可以包括：具有像素(LED)的列和行阵列的显示板以及用于根据所施加的输入视频信号驱动像素(LED)的驱动装置。其中，像素(LED)自身发射和调制光，而不需要来自前侧或后侧的照明。

在所述保持型显示器上，显示视频信号的图像，其中所述视频信号包括图像序列，和其中所述图像用图像抽样例如图像元素(像素)来代表。当被观察者观看时，包含从一幅图像移到下一幅图像的分量或目标的所述视频信号的图像经受运动模糊，其中可以利用所述图像的空间频域低通滤波来描述所述运动模糊。

例如，通过确定分量从一幅图像到下一幅图像的位移的块匹配算法，估计在所述视频信号的所述图像内的所述运动分量的运动矢量。随后，可以使运动矢量与所述运动分量或者与所述运动分量的抽样或像素相关联。

在空间频率域内带通滤波所述视频信号，并随后组合所述带通滤波视频信号和所述视频信号，例如进行相加，以生成用于所述保持型显示器的输入视频信号。可以将不同的带通滤波应用于所述视频信号的所述图像的不同分量或像素。

所述带通滤波用带通滤波器表示，其具有在空间频率域内的传递函数，具有其中传递函数是非零的带通部分以及其中传递函数基本上为零的在所述通带的左侧和右侧上的阻带部分。

所述带通滤波至少部分地取决于所述估计的运动矢量，例如，所述带通滤波可以仅在所述估计的运动矢量的方向上执行。随着估计的运动矢量的长度增加(即，在所述视频信号的所述图像内运动分量的速度增加)，所述带通滤波器的通带从较高的空间频率朝向中间空间频率移动，其中这一移动相对于所估计运动矢量的长度是自适应的。

可以将带通滤波的视频信号和原始视频信号的组合视为速度相关的中间频率增强(或提升)滤波器结构，其将视频信号的分量的增强限制到中间空间频率范围，并且当在视频信号图像内的运动量增加时，其自适应地将这个频率范围从较高的空间频率朝向较低的空间频率移动。

本发明从第一观察开始，即，对于高速，导致模糊的空间频率低通滤波器在已经非常低的空间频率上具有显著的衰减。第二观察在于，人类视觉***对于较低的空间频率更加敏感，并且较高的频率通常具有较低的信号-噪声比。最后，根据第三观察，本发明注意到，在公共的视频材料中，由于照相机的限制(照相机模糊)，运动目标将不包含最高频率。因此，观察者习惯于丢失高速上的某些细节，尽管未到达由LCD面板导致的程度(直至较低的空间频率)。

与现有技术相对照，其中始终执行高频提升，和其中随着增加运动仅降低提升开始的空间频率，根据本发明，因而，将优先权给予受模糊影响的最低频率的补偿，即中间空间频率，并且基本上不改变最高空间频率。与现有技术相比，这导致在视频信号内运动模糊降低的明显改善。

根据本发明的优选实施例，所述带通滤波包括级联形式的低通滤波和抗模糊滤波。所述抗模糊滤波例如可以用至少部分地适应于所述显示器的显示特征的高通滤波器来表示，并且所述低通滤波和后续的高通滤波因而可能导致带通滤波。所述带通滤波的所述通带的所述移位例如可以通过随着不断增加速度将高通滤波器的通带的较低边沿朝向较低频率移位来实现。

根据本发明的优选实施例，使用近似于逆低通滤波器的抗模糊滤波器来执行所述抗模糊滤波。所述低通滤波器例如可以导致模糊，并可以取决于运动矢量的长度(即，在所述图像内的运动分量的速度)，因此为了补偿模糊，必须将所述低通滤波器的逆操作施加给所述视频信号，以及其中所述逆操作还取决于所述运动矢量的长度。

根据本发明的优选实施例，使用抗模糊滤波器执行所述抗模糊滤波，和其中所述抗模糊滤波器是一维滤波器，具有固定的滤波器系数和取决于所述估计运动矢量的所述长度的可变抽头间隔。例如，可以沿着所述估计的运动矢量的方向应用所述抗模糊滤波器。通过改变所述抽头间隔，可以改变所述抗模糊滤波器的空间频率传递函数，例如，利用增加的抽头间隔，所述抗模糊滤波器的通带可以朝向较低频率移位。

根据本发明的优选实施例，在所述估计的运动矢量方向内执行所述抗模糊滤波。这在运动模糊仅在运动矢量的方向内出现时是特别有利的，因此在还仅朝向运动矢量的方向滤波以降低运动模糊时，仅出现最小的噪声增强。

根据本发明的优选实施例，在所述估计运动矢量的方向内执行所述低通滤波。为了降低在滤波处理中涉及的像素的数量，并因而降低计算复杂性，仅在估计运动矢量的方向内执行低通滤波可能是有利的。

根据本发明的优选实施例，在与所述估计运动矢量的方向垂直的和平行的方向内，执行所述低通滤波。还在与估计的运动矢量方向垂直的方向内执行低通滤波可以有助于平衡在所述视频信号的所述图像的所述抽样内包含的噪声。

根据本发明的优选实施例，所述低通滤波至少部分地通过所述视频信号的所述图像的抽样的内插来实现。所述内插例如可以包含在若干像素上的平均，其中可以将所述平均视为低通滤波。

根据本发明的优选实施例，所述视频信号的所述带通滤波包括：内插所述视频信号的所述图像的抽样，以获得内插抽样；相乘所述内插抽样与相应的抗模糊滤波器系数；和求和这些乘积，以获得所述带通滤波视频信号的图像抽样。所述内插例如可以是到特定位置例如到1D或2D抗模糊滤波器的抽头位置的抽样的2D内插。所述内插例如可以基于多项式、有理数或三角学内插或者基于任何其它的内插技术。

根据本发明的优选实施例，所述抗模糊滤波器是根据所述估计运动矢量的方向旋转的1D抗模糊滤波器，和其中将所述视频信号的所述图像的所述抽样被内插到所述旋转的1D抗模糊滤波器的抽头的位置。

根据本发明的优选实施例，所述抗模糊滤波器系数独立于所述估计的运动矢量。所述滤波器系数例如可以是针对所述保持型显示器的显示特征被最优化的预定义滤波器系数。

根据本发明的优选实施例，所述抗模糊滤波器系数的间隔取决于所述估计运动矢量的长度。所述间隔即在所述抗模糊滤波器的抽头之间的空间距离可以随着所述估计运动矢量的长度增加而增加。

根据本发明的优选实施例，内插的所述视频信号的所述图像的所述抽样靠近互连所述旋转的抗模糊滤波器的滤波器抽头的线路(line)进行定位。

根据本发明的优选实施例，内插的所述视频信号的所述图像的所述抽样位于从互连所述旋转的抗模糊滤波器的滤波器抽头的所述线路垂直地延伸到两侧的区域内。因而，所述内插包含与其中应用抗模糊滤波的方向垂直并因而与所估计的运动矢量方向垂直的抽样的相加平均。这可以有助于平衡在所述抽样内包含的噪声。

根据本发明的优选实施例，所述内插包含所述视频信号的所述图像的所述抽样的至少部分平均。所述平均可以有助于平衡噪声和/或执行所述视频信号的附加低通滤波。

根据本发明的优选实施例，所述视频信号的所述带通滤波包括根据所述估计的运动矢量确定预定义组的2D带通滤波器中的2D带通滤波器，并使用所述选定的2D带通滤波器来滤波所述视频信号。所述预定义组的2D带通滤波器例如可以包括表格结构内运动矢量的多个可能长度和方向的预计算的2D带通滤波器，以便通过选择与最靠近所述估计运动矢量的长度和方向的运动矢量的长度和方向相关联的预计算2D带通滤波器，可以从所述预定义组中选择2D带通滤波器。

根据本发明的优选实施例，所述2D带通滤波器的所述确定包括内插所述预定组的2D带通滤波器的2D带通滤波器中的2D带通滤波器。根据在所估计运动矢量的长度和方向与为其计算在所述预定组的带通滤波器内的2D带通滤波器的运动矢量的长度和方向之间的关系，通过内插在所述组内包含的两个或多个2D带通滤波器，还可以从所述预定义组的2D带通滤波器中确定所述2D带通滤波器。

根据本发明的优选实施例，所述带通滤波的视频信号还在与所述视频信号进行组合之前经历噪声抑制处理。所述噪声抑制处理例如可以通过使用非线性量级统计滤波器核化(coring)和/或滤波所述带通滤波信号丢弃低幅度高空间频率来抑制噪声。随后，仅在其中具有足够信号的区域内执行频率增强，因为这些也是其中运动模糊是最不适合的区域。

还推荐具有可操作以使处理器执行上述方法步骤的指令的计算机程序。所述计算机程序例如可以由与所述视频信号的所述图像的显示相关的例如显示器、电视机或监视器的设备内集成的中央处理单元(CPU)或任何其它处理器来处理。

还推荐一种计算机程序产品，包括带有可操作以使处理器执行上述方法步骤中的任一方法步骤的指令的计算机程序。所述计算机程序产品例如可以是可拆卸存储媒体，例如盘、存储棒、存储卡、CD-ROM、DVD或任何其它存储媒体。

还推荐一种用于降低在保持型显示器上显示的视频信号图像的运动模糊的设备，所述设备包括：用于估计在所述视频信号的所述图像内运动分量的运动矢量的装置；用于与空间频域相关地带通滤波所述视频信号的装置，其中所述带通滤波至少部分地取决于所述估计的运动矢量，和其中随着所述估计运动矢量的长度增加，所述带通滤波的通带自适应地从高的空间频率移位到中间的空间频率；和用于组合所述视频信号和所述带通滤波视频信号的装置，以产生用于所述保持型显示器的输入视频信号。

所述设备例如可以实现为在将视频信号发送给显示器之前对其执行处理的独立单元。所述设备例如还可以被集成在显示器内，或者被集成在安装显示器的设备内，例如电视机、监视器、操作头部安装显示器的***或者诸如移动电话或PDA的移动多媒体设备。

本发明的这些和其它方面从下文中描述的实施例中将是显而易见的，并将参考在下文中描述的实施例进行阐述。

附图说明

在附图中：

图1表示根据现有技术的包括静止原始图像、抽样图像和显示图像的显示链的示意图；

图2表示根据现有技术的与在脉冲型显示器上图像的抽样和显示相对应的原始图像I_c、抽样图像I_s、显示图像I_d和感觉图像(在眼睛低通之后)I_p的空间-时间频谱(作为标准化时间频率f_tΔt和标准化空间频率f_xΔx的函数)；

图3表示根据现有技术的与在保持型显示器上图像的抽样和显示相对应的抽样图像I_s、孔径函数A(包括表示低幅度的彩色码白色和表示高幅度的彩色码黑色)、显示图像I_d和感觉图像(在眼睛低通之后)I_p的空间-时间频谱；

图4表示根据现有技术的静止原始图像I_c、运动原始图像I_m和抽样原始图像I_s的空间-时间频谱；

图5表示根据现有技术从运动原始图像到最后感觉图像的显示链的示意图；

图6补充图4，表示根据现有技术的用于脉冲型显示器的显示图像I_d、在眼睛跟踪之后的图像I_e和在眼睛低通之后的图像I_p的空间-时间频谱；

图7补充图4，表示根据现有技术的用于保持型显示器的孔径函数A、显示图像I_d、在眼睛跟踪之后的图像I_e和在眼睛低通之后的图像I_p的空间-时间频谱；

图8表示由于时间显示孔径和眼睛跟踪而引起的空间滤波器 的示意幅度响应，作为空间频率和速度的函数，以每帧的像素为单位测量速度，以每像素的周期来表示f_x，和T_h＝1帧；

图9表示根据现有技术使用预补偿滤波器的从视频信号到所观察图像的显示链的示意图；

图10表示对于每帧三个像素的速度，根据现有技术作为空间频率的函数的显示+眼睛滤波器 相应逆滤波器

及其近似值的传递函数；

图11表示根据本发明的用于降低运动模糊的示例性速度相关的中间频率提升滤波器结构；

图12表示根据本发明的在图11的滤波器结构中包含的1D抗模糊滤波器的旋转和速度相关的抽头间隔的示意图；

图13表示根据本发明的对于不同速度的作为标准化空间频率的函数的根据图11(实线)的滤波器结构和理想的逆滤波器(虚线)的示例性传递函数；

图14表示根据本发明的在将抽样内插到1D抗模糊滤波器抽头位置中涉及的视频抽样网格的抽样的示意图；

图15a表示根据本发明的带有增加的求平均值的将抽样内插到1D抗模糊滤波器抽头位置中涉及的视频抽样网格的抽样的示意图；

图15b表示根据本发明的带有增加的滤波器抽头数量的将抽样内插到1D抗模糊滤波器抽头位置中涉及的视频抽样网格的抽样的示意图；

图16表示根据本发明的作为不同速度的标准化空间频率的函数的根据图11(实线)的中间频率提升滤波器结构和理想逆滤波器(虚线)的示例性传递函数；

图17表示作为运动(单位为每帧的像素数)和标准化空间频率的函数的根据图16的滤波器结构的组合和显示器+眼睛组合的示意幅度响应；和

图18表示根据本发明在增加使用位于远离由滤波器抽头定义的线路的抽样的情况下在将抽样内插到1D抗模糊滤波器抽头位置中涉及的视频抽样网格的抽样的示意图。

具体实施方式

本发明根据观察表示：在高速度上如图8所示的等式(11)的显示器+眼睛滤波器

在已经非常低的空间频率上具有显著的衰减。此外，认识到，人类视觉***对较低的空间频率更加敏感，并且更高的频率通常具有较低的信噪比。此外，本发明认识到，在公用视频资料中，运动目标将不包含由于照相机的限制(照相机模糊)导致的最高频率。因此，观察者习惯于丢失某些高速上的细节，尽管未达到LCD板导致的程度(直至较低的空间频率)。

根据本发明，在高速的情况下，因而推荐对于最低受影响频率的补偿给予优先权，并使最高频率基本上不改变。这将用作等式(12)的逆滤波器的近似值的现有技术的高频提升滤波器(对照图9)转换成中频提升滤波器，这限制高速上更高频率的放大，并且仅补偿最低频率。

图11图示本发明的滤波器结构11的相应实施例。将视频信号图像的像素馈送到运动估计器实例1102中，其中估计与所述视频信号的所述图像内的运动目标相关的运动矢量的长度和方向，例如通过3D递归块匹配算法或类似技术。还将视频信号的所述图像像素馈送给2D内插实例1100。这个内插实例1100使用围绕从所述视频信号的图像中提取的当前像素的2D相邻像素，并根据与所述当前像素相关的运动矢量的估计方向，将1D系列(行)抽样返回给1D抗模糊滤波器101。所述1D抗模糊滤波器的系数可以是固定的，它们例如可以是预先确定的，并适应于显示器的特征。

内插获得的抽样对应于1D抗模糊滤波器1101的抽头。这些抽样随后与1D抗模糊滤波器抽头系数相乘并进行累积，产生用于当前像素的单个“校正”值。该操作不是常规的卷积滤波，因为所应用的抽样的行能够完全从一个像素改变到下一个像素，如果运动矢量改变的话。可以将带有滤波器抽头系数的内插像素的所述2D内插和所述后续相乘视为通过旋转1D滤波器核(kernel)，沿着运动矢量的1D抗模糊滤波器核的定向，这使滤波实际上是2D滤波。该内插导致旋转的1D抗模糊滤波器抽头通常与图像内的抽样(像素)位置不一致的事实。这个内插例如可以是双线性内插或任何其它类型的内插。

这些内插像素(或相应1D抗模糊滤波器抽头)的位置不仅随着运动矢量的方向改变，而且还为了更高的速度而位于远离中央抽头的位置上。这将1D抗模糊滤波器的响应移位到较低的频率，以增加运动矢量的长度。通过将由运动估计实例1102估计的运动矢量的长度(或在视频信号图像内的分量的速度)输入1D抗模糊滤波器1101内，这在图11内象征性地图示。可以容易地看出，具体地，当1D抗模糊滤波器1101的滤波器抽头系数是固定的时，还可以在内插实例1102内的2D内插期间调整1D抗模糊滤波器抽头的间隔。随后，将运动矢量的估计长度和方向从所述运动估计实例1102馈送给所述2D内插实例1100。

随后，可以将1D抗模糊滤波器1101输出的滤波像素馈送到可选的噪声降低实例1103。这个噪声降低实例例如可以对所述像素执行“核化”，即通过丢弃低幅度高频率和/或使用非线性量级统计滤波器滤波所述像素，抑制噪声。这些技术将有助于将频率增强仅应用于其中具有足够信号的区域内，因为这些区域也是其中运动模糊最令人讨厌的区域。

随后，利用加法器1104，将滤波的和可能的噪声降低的像素添加到原始视频信号的像素上，并随后将其馈送给保持型显示器。

根据滤波器11的结构，容易看出，显示器被馈送有原始视频信号和所述原始视频信号的滤波版本之和，其中所述滤波专用于在所述视频信号图像内的像素或像素组，并且仅沿着所估计的运动矢量进行。此外，如在下文中将要解释的，所述2D内插和1D滤波实施仅在带限频率范围内执行的带通滤波，所述带限频率范围取决于所估计的运动矢量的长度，其中随着在所述视频信号内增加的运动，所述频率范围从高频移到中间频率。可选择地，可以利用所述噪声降低实例1103抑制在带限频率范围内频率分量的增强。因而，整个***11代表中间频率提升滤波器，其中提升的频率范围从较高频率移到较低频率，以增加视频信号内的运动。

图12将一部分视频抽样网格12图示为黑框，并将示例性三抽头1D抗模糊滤波器的不同旋转和抽头间隔图示为灰框，其中使用表示滤波方向的虚线互连这三个抽头。如从图12容易看出的，视频抽样网格的像素位置并不必需与根据所估计运动矢量的方向旋转的1D抗模糊滤波器的位置一致。还可以清楚地看出，当抽头间隔由于运动矢量的长度(或者图像内分量的速度)增加而导致抽头间隔增加时，这三抽头1D抗模糊滤波器的中央抽头的位置保持恒定。

图13以实线(1201a、......、1204a)图示作为标准化空间频率的函数的滤波器结构11(包括2D内插、旋转1D抗模糊滤波器和加法器)的传递函数，并以虚线(1201b、......、1204b)图示理想的逆滤波器的传递函数，其中为不同的速度提供滤波器结构11和理想逆滤波器的传递函数，其分别地从滤波器1201a至1204a和1201b至1204b降低。从理想逆滤波器容易看出，随着速度提高，理想逆滤波器的增强开始的空间频率朝向较小的空间频率移动。对于固定的速度，滤波器结构11的传递函数表示对于较小空间频率的相应理想逆滤波器的优良近似。然而，当滤波器结构11的1D抗模糊滤波器的抽头简单地以增加的速度远离中央抽头移位时，如图12所示，传递函数变成周期性的，并且高频依然可以通过该滤波器。当在滤波期间“跳过”输入抽样时，这种情况发生。

图14图示使用在视频抽样网格14(白框)上的哪些抽样(黑框)来计算每个内插抽样(对于双线性内插)。在滤波器抽头之间抽样的跳跃，尤其在中央滤波器抽头和相应的左与右内插的外部滤波器抽头之间，在这个例子中是显而易见的。

为了解决这个问题，本发明建议改变滤波器结构11的响应，以便对于高速实际上抑制非常最高的频率。这通过使用内插方法来实现，所述方法在抽头相乘之间抑制这些频率，即使用(平均)更多的原始抽样来计算内插抽样。

图15a图示这一原理。与图14相对照，现在将四个以上的抽样用于与最左和最右滤波器抽头相关的抽样的内插。

对于更高的速度，抑制1D抗模糊滤波器的周期性的替代方法是首先内插更多的抽样，并且随后使用抑制高频的带有更多抽头的滤波器。这种方法在图15b内图示，其中抽头数量已经从3增加到5。

在高速上高频的抑制还可以通过级联1D抗模糊滤波器与速度相关的低通滤波器或者通过对于各种速度存储多个(1D)滤波器来实现。在图16中图示作为标准化空间频率的函数的不同速度的滤波器结构的结果传递函数1601a、......、1604a，以及相应的理想逆滤波器1601b、......、1604b，其中速度分别从滤波器1601至1604降低。

根据图16，可以容易地看出，现在可以将图11的滤波器结构11视为包括被添加以获得图16的传递函数的全通滤波器(原始视频信号到加法器1104的直接馈送)和带通滤波器(2D内插和1D抗模糊滤波器的组合)。通过从滤波器结构的传递函数1601a、......、1604a减去“1”，从而获得2D内插和1D抗模糊滤波器的组合的传递函数，这呈现了带通特性。这个带通特性的通带随着速度增加从高的空间频率移位到中间的空间频率，其中响应于所估计的运动矢量的长度自适应地执行该移位，这影响1D抗模糊滤波器的抽头间隔。通过2D内插执行的1D抗滤波器响应的旋转保证仅沿着运动矢量的方向应用带通滤波。

图17示意地图示作为运动(单位为每帧的像素)和标准化空间频率的函数的滤波器结构组合11和显示器+眼睛组合的幅度。其中，白色区域表示在1和0.5之间的幅度，阴影区域表示在0.5和0之间的幅度。从图17a中的白色区域，可以清楚地看出，随着速度提高，有利于中频和低频上的频谱分量，显著地降低了由根据图11的滤波器结构执行的在大的空间频率上的频谱分量的增强。

为了进一步降低噪声对滤波的视频信号的影响，与运动方向垂直的低通滤波也可能是有益的，这也可以通过使用远离2D内插内的运动线路的抽样来实现。

这一概念在图18中图示，其中白框表示视频抽样网格18，灰框表示旋转的1D五抽头滤波器的抽头，和黑框表示用于朝向滤波器抽头位置的抽样内插的抽样。与图15b相对照，注意到，垂直地从滤波器抽头定义的线路延伸和包含用于内插的抽样的区域比图15b中的更宽，因而考虑在与运动矢量方向垂直的方向内更多的抽样，以增加平均效果，并从而抑制噪声。

因而，所获得的滤波器具有与运动垂直的低通特性和沿着运动方向的带通特性。

最后，作为将滤波器实施为基于方向的内插(后面跟随着(1D)滤波)的替换方案，可以为多个角度和速度(多个运动矢量)计算滤波器，并将其存储在表格内。随后，该滤波开始将不同的2D滤波器应用于每个像素，其中这个滤波器的系数根据在本说明书的这一部分内描述的原理。当根据所存储的滤波器计算(内插)‘中间’滤波器时，可以限制所存储滤波器的数量。

为了评估本发明的性能，在LCD-TV仿真设置上测试根据图11和图17的滤波器结构11，所述仿真设置包括可以实时回放所存储序列的基于PC视频流式磁带机、DVI至LVDS面板接口板和30英尺LCD-TV面板(1280×768@60Hz，而没有附加处理)。尽管该面板具有12ms的列表响应时间，但是对于每个灰度等级转移，执行响应时间的测量，并发现20ms的平均响应时间。为了进一步提高响应速度，使用(中等数量)过激励，以获得响应时间在一个帧时间内。

通过与CRT显示器的比较，可以观察到，在LCD上不存在可视的比CRT上更多的运动模糊。仅对于非常临界(类似图形的)序列来说，运动模糊依然是可见的。

上文已经利用优选实施例描述了本发明。应当注意，具有对于本领域技术人员来说是显而易见的替代方式和变型，并可以在不脱离权利要求的保护范围和精神的情况下进行实施。

Claims (21)

1.一种用于减少在保持型显示器(101)上显示的视频信号的图像的运动模糊的方法，包括：

估计(1102)在所述视频信号的所述图像内运动分量的运动矢量；

相对于空间频域，带通滤波(1100，1101)所述视频信号，其中所述带通滤波至少部分地取决于所述估计的运动矢量，和其中随着所述估计的运动矢量的长度增加，所述带通滤波的通带自适应地从高的空间频率移位到中间的空间频率；和

组合(1104)所述视频信号与所述通带滤波的视频信号，以产生用于所述保持型显示器的输入视频信号。

2.根据权利要求1的方法，其中所述带通滤波包括级联形式的低通滤波和抗模糊滤波。

3.根据权利要求2的方法，其中利用近似于逆低通滤波器的抗模糊滤波器，执行所述抗模糊滤波。

4.根据权利要求2-3之中任一权利要求的方法，其中利用抗模糊滤波器执行所述抗模糊滤波，和其中所述抗模糊滤波器是一维滤波器，具有固定的滤波器系数和取决于所述估计的运动矢量的所述长度的可变抽头间隔。

5.根据权利要求2-4之中任一权利要求的方法，其中在所述估计的运动矢量方向内，执行所述抗模糊滤波。

6.根据权利要求2-5之中任一权利要求的方法，其中在所述估计的运动矢量方向内，执行所述低通滤波。

7.根据权利要求2-5之中任一权利要求的方法，其中在垂至于和平行于所述估计的运动矢量的方向内，执行所述低通滤波。

8.根据权利要求2-7之任一权利要求的方法，其中所述低通滤波至少部分地通过所述视频信号的所述图像的抽样的内插(1100)来实现。

9.根据权利要求1-8之中任一权利要求的方法，其中所述视频信号的所述带通滤波包括：

内插(1100)所述视频信号的所述图像的抽样，以获得内插抽样；

相乘(1101)所述内插抽样与相应的抗模糊滤波器系数，并求和(1104)乘积，以获得所述带通滤波的视频信号的图像的抽样。

10.根据权利要求9的方法，其中所述抗模糊滤波器是根据所述估计的运动矢量的方向旋转的1D抗模糊滤波器，和其中将所述视频信号的所述图像的所述抽样内插到所述旋转的1D抗模糊滤波器的抽头的位置。

11.根据权利要求9-10之中任一权利要求的方法，其中所述抗模糊滤波器系数独立于所述估计的运动矢量。

12.根据权利要求9-11之中任一权利要求的方法，其中所述抗模糊滤波器系数的间隔取决于所述估计的运动矢量的长度。

13.根据权利要求10-12之中任一权利要求的方法，其中内插的所述视频信号的所述图像的所述抽样位于靠近互连所述旋转的抗模糊滤波器的滤波器抽头的线路。

14.根据权利要求10-12之中任一权利要求的方法，其中内插的所述视频信号的所述图像的所述抽样位于垂直地从互连所述旋转抗模糊滤波器的滤波器抽头的所述线路延伸到两侧的区域内。

15.根据权利要求9-14之中任一权利要求的方法，其中所述内插包括所述视频信号的所述图像的所述抽样的至少部分平均。

16.根据权利要求1的方法，其中所述视频信号的所述带通滤波包括：

根据所述估计的运动矢量，确定预定义组的2D带通滤波器中的2D带通滤波器；和

利用所述选择的2D带通滤波器，滤波所述视频信号。

17.根据权利要求16的方法，其中所述2D带通滤波器的所述确定包括内插来自所述预定组的2D带通滤波器的2D带通滤波器中的2D带通滤波器。

18.根据权利要求1-17之中任一权利要求的方法，其中所述带通滤波的视频信号还在与所述视频信号进行组合之前经历噪声抑制处理。

19.一种计算机程序，具有可操作以使处理器执行权利要求1-18之中任一权利要求的方法步骤的指令。

20.一种计算机程序产品，包括带有可操作以使处理器执行权利要求1-18之中任一权利要求的方法步骤的指令的计算机程序。

21.一种用于降低在保持型显示器(101)上显示的视频信号的图像的运动模糊的设备，包括：

被安排用于估计在所述视频信号的所述图像内运动分量的运动矢量的装置(1102)；

安排用于相对于空间频域带通滤波所述视频信号的装置(1100，1101)，其中所述带通滤波至少部分地取决于所述估计的运动矢量，和其中随着所述估计的运动矢量的长度增加，所述带通滤波的通带自适应地从高的空间频率移位到中间的空间频率；和

用于组合所述视频信号和所述带通滤波的视频信号以产生用于所述保持型显示器的输入视频信号的装置(1104)。

Images