CN100334888C

CN100334888C - 用于人类视觉***模型的自适应时空滤波器

Info

Publication number: CN100334888C
Application number: CNB021218005A
Authority: CN
Inventors: K·M·费尔古森
Original assignee: Tektronix Inc
Current assignee: Tektronix Inc
Priority date: 2001-05-16
Filing date: 2002-05-16
Publication date: 2007-08-29
Anticipated expiration: 2022-05-16
Also published as: CN1386020A; US6907143B2; US20020186894A1; JP2003069858A; JP3993017B2

Abstract

一种用在基于人类视觉***模型的服务装置的视频质量的自适应时空滤波器具有一对平行的低通时空滤波器，其用于接收普通视频输入信号。该对低通时空滤波器的输出被差分，以产生自适应时空滤波器的输出，该对滤波器的带宽被设置为使产生大体的带通响应。滤波器自适应控制器产生用于基于如局部平均亮度、对比度等的该对低通时空滤波器之一输入视频信号或输出的感知参数处理的每个像素的自适应滤波器的系数。

Description

用于人类视觉***模型的自适应时空滤波器

技术领域

本发明涉及一种视频处理技术，更具体的说，涉及一种用于确定视频服务质量的人类视觉***模型的自适应时空滤波器。

背景技术

视频通过可产生误差的方式如有损压缩***等被记录和传送。这对用于预测人对这些误差的可感知度而进行的客观测量是有意义的。对这些等于和高于阈值的误差的可感知度是误差和其发生的视频上下文的许多因素或参数的函数。作为空间频率的函数的对视频误差的感觉灵敏度随局部平均亮度、局部激励持续时间(时间延续)、相关时间频率容量、区域(空间/角度的延续)和原始、无差错或基准、视频的局部对比而变化。同样的，作为时间频率的函数的对视频误差的感觉灵敏度随局部平均亮度、时间延续、区域、相关空间频率容量和原始视频的局部对比而变化。

现有的人类视觉***(HVS)模型中的时空滤波通常设计有校准为一组特定的参数的固定的响应，即空间和时间响应设计为与某一平均亮度电平的HVS的灵敏度相关。大部分HVS模型也是基于对刚刚能够看出来的差异(JND)的阈值进行预测的方法，如对比度检测和识别阈值。由于HVS模型的组分基于模仿阈值的行为，因此高于阈值的行为，即阈上，不能被保证。

例如，J.Lubin在“A visual Discrimination Model for Imaging System Design andEvaluation”Vision Models for Target Detection and Recognition，ed.Eli Peli，WorldScientific Publishing，River Edge，NJ 1995，pp245-283中提出了一种模型，其具有空间滤波器，该滤波器设计为只与一个亮度水平和持续时间或时间延伸的人类视觉响应相匹配。没有机械装置导致时间频率在空间频率的峰值灵敏度上衰减，因此，这不会与人类视觉经验得到的数据相匹配。Lubin提出的模型没有对作为亮度或其他参数的函数的空间或时间的频率响应的峰值的移动作出规定。Lubin提出的模型也是基于阈值的结合或“刚刚能够看出来的差异(JND)”。唯一修改除固定的空间和时间滤波器之外的响应机械装置是罩膜装置，其是J.Foley的模型的改进的模型，用于预测对比度辨别力(“Contrast Masking inHuman Vision”，Joumal of the Optical Society of America，Vol.70，No.12pp.1458-1471，Dec.1980)。然而，M.Canon示出的(“Perceived Contrast in the Fovea andPeriphery”，Journal of the Optical Society of America，Vol.2，No.10pp.1760-1768，1985)的Foley的模型在用于预测高于阈值的平均中等对比度水平的感知对比度时具有较粗的误差。另外，Lubin提出的模型没有考虑非线性如那些引起双倍空间频率和幻觉脉冲视错觉的因素。许多其他基于人类视觉的模型，如S.Daly，“The Visible Differences Predictor:an Algorithm for the Assessment of ImageFidelity”，Digital Images and Human Vision，ed.Andrew B.Watson，MITPress，Cambridge，MA 1993，pp.162-206中提出的模型，完全没有考虑时间因素。

因此，希望提供一种滤波器，其与高于感知参数范围的人类视觉***响应相匹配。

发明内容

根据本发明，提供了一种用于人类视觉模型的自适应时空滤波器，该滤波器设计为与高于感知参数范围的人类视觉***响应相匹配。一对自适应的、低通、时空滤波器平行连接，以接收输入视频信号，并减去输出，以提供校准为人类视觉***感知参数的具有带通频率响应的总输出。滤波器适应控制器也接收输入视频信号，并根据平均亮度产生各个低通时空滤波器的系数。每个低通时空滤波器都具有串联的时间IIR滤波器和二维空间IIR滤波器。每个时间和空间滤波器都由普通的构件块-一阶单位DC增益、可调低通滤波器构成。每个组成滤波器从滤波器适应控制器接收其系数。在另一实施方式中，滤波器适应控制器接收一个低通时空滤波器的输出，而不接收作为产生滤波器系数的基础的输入视频信号。

当结合所附的权利要求和附图对下面的详细说明进行读取时，本发明的目的、优点和新颖之处将更加明显。

附图说明

图1是根据本发明的用于人类视觉***模型的适应的时空滤波器的方框图。

图2是根据本发明的自适应的时空滤波器中的用作构件块的可调的IIR LP滤波器的方框图。

图3是根据本发明的自适应时空滤波器频率响应的曲线图。

图4是将HVS实验数据与作为本发明的空间频率的函数的自适应时空滤波器的响应相比较的曲线图。

图5是将HVS实验数据与作为本发明的空间频率的函数的自适应时空滤波器的响应相比较的曲线图。

具体实施方式

现在参考图1所示的适应的三维(3-D)滤波器10，其通过将HVS模型的精确度的主体与等效的非HVS模型，如根据T.Hamada等人所述的加权SNR的算法(Picture Quality Assessment System by Three-Layered Bottom-Up NoiseWeighting Considering Human Visual Perception，SMPTE journal，January1999，pgs20-26)，相结合对用于人类视觉***(HVS)模型的现有的滤波器进行了改进。滤波器10具有一对自适应的3-D滤波器12、14，“中置”和“环绕”滤波器，其从作为系数发生器的滤波器适应控制器16接收系数。输入视频信号被输入到滤波器12、14和滤波器自适应控制器16。滤波器12、14的输出输入到差分电路18。中置滤波器12或环绕滤波器14的输出也被输入到滤波器自适应控制器16。滤波器自适应控制器16从由输入视频信号或自适应的3-D滤波器12、14之一的输出中提出的感知参数中产生滤波器系数。每个滤波器12、14作为无限激励响应(IIR)时间低通滤波器(LPF)20、22的一级执行，LPF20、22跟随有无因果关系的二维(2-D)IIR空间滤波器24、26，该滤波器使用“未来”数据，即向前和向后过滤。差分电路18作为求和电路28和乘法电路30执行。中置滤波器12的输出作为求和电路28的一个输入，而另一个输入是环绕滤波器14与-1在乘法电路30内相乘后的输出。中置滤波器12具有比环绕滤波器14更宽的带宽，具有其作为结果的差值通常具有带通响应的相关滤波响应，如图3所示。该带通响应首先校准为特定亮度水平的HVS的对比度敏感响应。

滤波器自适应控制器16通过控制每个时间和空间滤波器20-26的带宽对感知参数如亮度、对比度等的局部或全部的改变仿真HVS自适应。这些滤波器每个都由具有适合于集成电路(IC)执行的拓扑结构的普通构件块-一阶单位DC增益、如图2所示的可调LPF32组成。时间滤波器20、22使用两个串联的可调LPF32，以组成第二级LPF。空间滤波器24、26为每维(水平和垂直)使用两个可调LPF32，以在相对方向(右、左、上、下)产生零相位、无因果关系的2-DIIR滤波器。示出的可调LPF32是以IIR滤波器为基础的一阶离散低归差分方程式，采用其他可调滤波器。输入信号X在乘法电路34内与输入增益系数b0相乘，结果被输入到求和电路36。求和电路36的输出在另一个乘法电路38内与反馈系数a1相乘并由延迟电路40延迟一个采样周期后反馈到求和电路的输入。系数之和是1，即b0+a1＝1，因此，在不考虑b0(假设0＜b0≤1)的和a1的各自的数值的情况下，DC增益也为1。这使得滤波器10成为可控的，因为当差值在环绕和中置滤波器12、14中间时，DC增益是已知的。可调LPF32的带宽和相应的杆可以通过提高或降低b0升高或降低。

滤波器适应控制器16在每个根据感知参数如局部平均亮度、滤波器是空间或时间、中置或环绕进行处理的像素为可调LPF32提供适当的b0值。b0值可以从由计算滤波器中得到的查寻表得到，以与实验数据相匹配。或者，他们可以计算为接近该查寻表中的条目。查寻表可以通过校准滤波器的系数以与实验数据相匹配而得到。一种方法是使用线性接近不同亮度水平的校准b0值：

b0＝K1+K2*Lum (1)

其中，Lum是以尼特(堪/平方米)局部平均亮度。

为了校准0.28到91尼特的HVS响应数据，可以使用下面的数据，假设在该实施例中，采样速率为32.0像素每次和60采样每秒：

空间中置滤波器24 K1＝0.67 K2＝0.00067

时间中置滤波器20 K1＝0.54575 K2＝0.00295

空间环绕滤波器26 K1＝0.225 K2＝0.00225

时间环绕滤波器22 K1＝0.4125 K2＝0.00375

滤波器适应控制器16决定了基于环绕滤波器14的输入或输出的Lum数值，如图1所示。用于确定Lum的方法可以为特定的使用而最优化，以平衡滤波器稳定性、计算操作的数量和准确度之间的需要。

对于基于输入X[n]的Lum数值，对整个滤波器10，为了准确度，适应次数由另一个滤波器控制。每维的Lum通过根据下面的方程式的滤波而在滤波器适应控制器16中得到：

Lum[n]＝Lb0*(X[n]-Lum[n-1])+Lum[n-1] (2)

其中，n是在特定维中第n次采样，Lb0相应于HVS模型中的b0。滤波器10的非线性通过取代用于可调滤波器32的方程式中的用于Lum的递归方程式而得到：

y[n]＝b0*x[n]+(1-b0)*y[n-1]

＝b0*(x[n]-y[n-1]+y[n-1]

＝(k1+k2*Lum)*(x[n]-y[n-1])+y[n-1]

＝(k1+k2*Lb0*(x[n]-Lum[n-1])+Lum[n-1]))*(x[n]-y[n-1])+y[n-1]

＝k1*x[n]+(1-k1)*y[n-1]+k2*(Lb0*x[n]*(x[n]-y[n-1]+(1-Lb0)*Lum[n-1]*(x[n]-y[n-1]))(3)

＝(IIR LPF linear response)+(Input，output product terms-non-linearities)

因此，每个可调一阶IIRLPF32的输出是b0＝k1的固定线性LPF和其增益由Lb0和K2的乘积控制的非线性高通滤波器的线性组合。由于K2已经确定，因此选择Lb0以使视觉错觉非线性和适应次数的组合最优化匹配。对于低对比度水平和/或亮度水平，滤波器10的输出接近线性，但是在高对比度和亮度水平，非线性组份更多，从而非线性与增强的感觉的亮度相一致。

为了提高速度，Lum滤波器可以被省略(Lb0＝1)，单个适应滤波器响应如下：

y[n]＝k1*x[n]+(1-k1)*y[n-1]+k2*(x[n]*(x[n]-y[n-1]))

Lum数值可以基于环绕滤波器14的输出。在速度更加理想的情况下，每个使用附加的滤波：

Lum[n-1]＝y_s[n-1]

其他用于y[n]的算法可以基于将该方程式取代入方程式(3)而得到。

如果y[n]代表各环绕LPF14的滤波器输出，那么，稳定性考虑限制了Lb0有可能的数值。除如对比度等的局部平均亮度其他感知参数也可以被用于通过滤波器自适应控制器16产生滤波器系数。

试验结果显示人类视觉***响应和自适应时空滤波器响应之间的匹配，如图4和5所示，其平均亮度为20尼特。图4是调制灵敏度对空间频率的曲线图，其中，圆圈或方块表示人类视觉***模结果(Ms#Hz20尼特)，直线表示相应的滤波器响应(H_{tindex(#)，ks})。同样，图5是在同一亮度水平(20尼特)下调制灵敏度对空间频率的相应的曲线图，其中，圆圈或菱形表示人类视觉***模结果(Ms#cpd20尼特)，直线表示相应的滤波器响应(Hrot_{sindex(#)，kt})。输出调整也与断续的光的光亮的增强相一致，结果在增加的时间频率下在相应的峰值下与增加的平均亮度一同增加。自适应时空滤波器10的操作与其他人类视觉实验的数据相一致，包括：作为识别内的感知阈值；超阈值时间对比感知；包括频率混淆/加倍的感知的空间频率；包括闪烁等的感知的时间频率；在速度和方向上的感知的速度；包括噪声、残余图像、额外/丢失脉冲等的感知的幻影噪声；包括电压波形等的中枢响应；和涉及平均亮度改变的附加的灵敏度实验；视网膜上的角度延伸或目标图像的大小；包括旋转的目标图像图案和模板的方位；目标和模板的空间频率；目标图像图案和模板的时间频率；持续时间或时间延伸；和环绕或横向屏蔽效果。

因此，本发明提供了一种用于人类视觉***模型的自适应时空滤波器，其具有一对平行设置的时空滤波器，其具有重叠的带宽，从而输出的差异产生了带通响应，每个滤波器都由普通适应的、单位DC增益的可调低通滤波器构成，其具有线性低通响应部分和非线性高通响应部分，其滤波器系数由对如局部平均亮度、对比度等的感知参数的处理得到的每个像素确定，以产生与人类视觉***模型的实验结果相一致的结果。

Claims

1.一种用于人类视觉***模型的自适应时空滤波器，包括：

具有第一带宽的第一自适应3-D滤波器(12)，用于由输入视频信号产生第一滤波的输出；

具有第二带宽的第二自适应3-D滤波器(14)，用于由输入视频信号产生第二滤波的输出；

滤波器自适应控制器(16)，用于为第一自适应3-D滤波器(12)和第二自适应3-D滤波器(14)生成自适应滤波器系数，作为感知参数的函数；以及

差分电路(18)，用于获得第一滤波的输出和第二滤波的输出之间的差值，以产生自适应输出，

由此该自适应输出具有校准到人类视觉***模型的感知响应的带通响应。

2.如权利要求1所述的滤波器，其中每个自适应3-D滤波器包括：

时间滤波器(20，22)；以及

与时间滤波器级联的二维空间滤波器(24，26)。

3.如权利要求2所述的滤波器，其中每个时间滤波器和每个二维空间滤波器包括至少两个单元的一阶单位DC增益的可调谐滤波器(32)，其具有带有线性部分和非线性部分的滤波器响应。

4.如权利要求3所述的滤波器，其中该一阶单位DC增益的可调谐滤波器是基于一阶离散递归差分方程的IIR滤波器。

5.如权利要求3所述的滤波器，其中该一阶单位DC增益的可调谐滤波器包括：

第一乘法电路(34)，用于将输入信号乘以第一滤波器系数以产生第一乘积；

第二乘法电路(38)，用于将一阶单位DC增益的可调谐滤波器的输出乘以第二滤波器系数以产生第二乘积，其中第一和第二滤波器系数之和是一；以及

求和电路(36)，用于对第一乘积和第二乘积求和，以产生一阶单位DC增益的可调谐滤波器，该第二乘积相对于第一乘积被延迟。

6.如权利要求1所述的滤波器，其中感知参数是从输入视频信号得出的。

7.如权利要求1所述的滤波器，其中感知参数是从第二滤波的输出得出的。

8、一种用于人类视觉***模型的自适应时空滤波方法，包括以下步骤：

以第一带宽低通时空滤波输入视频信号以产生第一滤波输出；

以第二带宽低通时空滤波输入视频信号以产生第二滤波输出；

产生作为感知参数的函数的低通时空滤波装置的自适应滤波器系数；和

得到第一和第二滤波输出的差值以产生用于自适应时空滤波器的输出，该差值具有与人类视觉***模型的感知响应校准的带通响应。

9、如权利要求8所述的方法，其中，每个低通时空滤波步骤包括：

时间滤波输入视频信号以产生时间滤波器输出；和

二维空间滤波时间滤波器输出以产生第一和第二滤波输出。

10、如权利要求9所述的方法，其中，每个时间和空间滤波步骤包括：为每维使用至少两个级联的普通的构件块，每个构件块具有线性响应部分和作为由自适应滤波器系数确定的非线性响应部分。

11、如权利要求10所述的方法，其中，普通构件块包括一阶单位DC增益、可调滤波器。

12、如权利要求8所述的方法，其中，感知参数由输入视频信号得到。

13、如权利要求8所述的方法，其中，感知参数由第二滤波输出得到。