CN101562758B - 基于区域权重和人眼视觉特性的图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于区域权重和人眼视觉特性的图像质量客观评价方法，包括如下步骤：(1)获取按区域权重分布的图像；(2)运用修正的人眼对比敏感函数处理图像；(3)运用梯度信息相似性评价图像。本发明方法结合人眼的视觉特性，其图像处理结果非常接近人眼视觉***，只要输入参考图和评价图，即可得到符合人眼视觉特性的质量评价值。其可运用于图像压缩、储存、传输和重建等等方面，迅速衡量图像的质量；还可以应用于图像复原中的迭代终止，用此评价算法来终止迭代算法后得到的最佳复原图与人眼评价得到的最佳复原图非常接近。

Description

基于区域权重和人眼视觉特性的图像质量客观评价方法

技术领域

本发明涉及计算机图像处理技术，尤其涉及一种基于区域权重和人眼视觉特性的图像质量客观评价方法。

背景技术

随着人类社会向高度数字化方向的发展，数字图像、数字视频、数字电视的飞速发展和普及也将成为必然。在数字图像处理的各种技术中数字图像在获取、压缩、储存、传输和重建等过程中可能会受到各种各样的退化失真，不可避免会出现图像降质的问题，如何更有效地评价图像质量的问题也应运而生。一个图像传输、处理或压缩***的输出图像质量最终决定了其技术及***的优劣，因此，图像质量评价的实际意义就成了对该***及其技术质量的评价。

因为图像最终是给人观看的，所以最佳图像质量评价方式是人眼的主观评价。但是，这种评价方法的自由度大，并且受观察者的自身素质、观测目的、观测环境和人的某一阶段的心理因素等的影响，其操作过于繁杂、耗时、相对昂贵。事实上，人的视觉心理因素很难用准确的数学模型来表达，从而导致评价结果不够精确，且不便于图像***的设计，在工程应用中也不便使用。在这种情况下，客观评价方法应运而生，其目标就是要自动快速的得到图像质量的量化指标。客观图像质量评价方法在定义上来讲的确精确严格，简单易行，能较好确定图像之间的差别，却一般都没有考虑图像观测者的视觉心理因素，而图像评价的主体——人在图像评价时往往起着很重要的作用，因而客观评价方法的评价结果很多时候无法与人眼主观评价的结果相吻合。

目前广泛使用的客观评价方法如均方无差(Mean Square Error：MSE)、峰值信噪比(Peak Signal to Noise ratio：PSNR)、信噪比(Signal-to-NoiseRatio：SNR)等。这些是衡量图像质量最常用的算法，是全参考型的图像质量评价手段，对尺寸为M、N的图像f(m，n)，MSE与PSNR定义为：

$\mathrm{MSE}=\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(f_{\mathrm{ij}}-f_{\mathrm{ij}}^{\′})}^2$

$\mathrm{PSNR}=10\log {\left(\frac{255}{\mathrm{MSE}}\right)}^2$

其中f_ij、f_ij′分别表示原始图像和恢复图像，M，N分别表示图像的高与宽。MSE越小、PSNR越大，效果越好。但是其只是简单的衡量图像之间的灰度差异或者信号与噪声的关系，在不同的图像退化条件下缺乏稳定性。

较新的算法是Wang Zhou等人提出的SSIM(Structural Similarity)算法，但其对于模糊程度稍大，噪声稍大、振铃波纹稍多的图像评价能力很差。

以往方法较差主要是没有考虑人眼的视觉特性，或者没有注意到人对图像内容的选择性观察(不同区域受到的关注程度不同)。

发明内容

本发明提出一种结合人眼视觉特性并利用梯度的变化按图像区域分权重评价的方法HVSWGM(Weighted Gradient Metric based on HumanVisual System)，图像经过处理后可直接进行质量评价其结果能跟人眼的视觉感受一致。

本发明基于区域权重和人眼视觉特性的图像质量客观评价方法主要思路是：

1、将原图转化为按图像内容不同而权重分布的图像，符合人眼对不同图像内容的关注程度的特性。

由于人眼对图像的观察是有区分层次和重点的，一般来说，对于边缘部分(强度跃迁较大的区域)的关注程度更高，因为边缘区域有着强烈的对比，人眼对此非常敏感。而梯度值较大处表征的就是边缘部分，较小处是人眼最不感兴趣的平坦区域，所以使用梯度信息来衡量人眼的视觉兴趣层次。用权重因子信息图预处理处理图像，能得到不同区域不同灰度权重分布的图像。

2、结合了人眼视觉特性，运用修正后的对比敏感函数处理图像，将图像转换到符合人眼正常观察的空间，这主要运用人眼对不同空间频率的响应不同的生理规律。

在日常生活中，人眼需要分辨边界清晰的物体，也需要分辨边界模糊的物体。后一种分辨能力则称为对比敏感度(contrast sensitivity，CS)。对比敏感度(CS)定义为视觉***能觉察的对比度阈值的倒数。对比敏感度＝1/对比度阈值。对比度阈值低，则对比敏感度高，则视觉功能好。在某一空间频率，视觉***有一定的对比敏感度；反之，在同一对比度时，视觉***有一定的空间频率分辨力(形觉)。

以空间频率(spatial frequency，SF)为横坐标，以对比敏感度为纵坐标，所测得的曲线即对比敏感度函数(contrast sensitivity function，CSF)。

经过大量的实验测试，人眼的空间频率响应近似为：

$S\left(w\right)=1.5e^{-{\mathrm{\σ}}^2{w}^2/2}-e^{-2{\mathrm{\σ}}^2{w}^2}$

这里取σ＝2，w＝2πf/60，空间频率为 $f=\sqrt{u^2+v^2},$ u与v为水平和竖直方向的空间频率(u与v是图像空间频率f在水平和竖直方向的分量)，单位为cycles/degree。其曲线如图1所示，横轴为空间频率，单位为周每度(cycles/degree)，纵轴为对比敏感程度。

实验基础上，现在改进的空间频率响应为：(公式中u、v、f、w和上一个公式中含义相同)

S_a(u，v)＝S(w)P(w，θ)

(可参见见Y.Horita and M.Miyahara，“Image coding and qualityestimation in uniform perceptual space，”IECE，Tokyo，Japan，IECE Tech.Rep.IE87-115，Jan.1987.)

式中： $P(w,\mathrm{\θ})=\frac{1+e^{\mathrm{\β}(w-w_o)}{\cos }^{4}2\mathrm{\θ}}{1+e^{\mathrm{\β}(w-w_o)}}$

θ＝tan^-1(v/u)，表示与水平方向夹角(频率取值点(u、v)与原点的连线与水平方向夹角)；

β＝8；

f₀＝11cycles/degree，而w₀＝2πf₀/60；

这表示，在f＞f₀(即w＞w₀)时，响应曲线将急剧下降。

3、运用边缘信息反映图像质量的特征而使用梯度信息衡量图像质量。

梯度可以体现图像细节和纹理特征的改变，所以其可以衡量图像的好坏。

本发明方法通过一个中心对称高斯加权窗在梯度图像上逐点计算以该点为中心的邻域图像块的相关信息，从而计算得到各点对应图像块的信息并映射得到一幅图像来描述降质图像的降质信息，我们称这张图为梯度信息索引图，此图不但可以用来评价图像的清晰程度，并且也可以反映出复原过程中的图像振铃波纹的情况。

一种基于区域权重和人眼视觉特性的图像质量客观评价方法的，包括如下步骤：

(1)获取按区域权重分布的图像；

在提取梯度之前，先对参考图f与评价图g(需要最终评价其质量的图)进行高斯滤波处理，提高抗噪能力：

$f_1(x,y)=G\left(r\right)\⊗f(x,y)$

$g_1(x,y)=G\left(r\right)\⊗g(x,y)$

其中

在这里表示滤波作用，高斯函数为：

$G\left(r\right)=\frac{1}{{2\mathrm{\π\σ}}^2}\exp (-r^2/{2\mathrm{\σ}}^2),$ $r=\sqrt{x^2+y^2},$ σ为方差(该高斯函数的方差)，(x，y)表示图像的像素点。

然后对高斯滤波处理后的参考图f₁(x，y)和高斯滤波处理后的评价图g₁(x，y)作下一步的梯度提取及处理。

梯度提取的算子采用各向同性的sobel算子，其权重反比于零点与中心的距离，具有平方各向同性，所以检测沿不同方向时，梯度的幅度一致，所述的各向同性的sobel算子如下：

各向同性sobel水平算子：

$\left[\begin{array}{ccc}-1& -\sqrt{2}& -1\\ 0& 0& 0\\ -1& \sqrt{2}& 1\end{array}\right]$

各向同性sobel竖直算子：

$\left[\begin{array}{ccc}-1& 0& -1\\ -\sqrt{2}& 0& \sqrt{2}\\ -1& 0& 1\end{array}\right]$

我们确定任意图像(例如图像p)的梯度的衡量使用下式：

$G_p(x,y)=\sqrt{{\left(\frac{\∂p(x,y)}{\∂x}\right)}^2+{\left(\frac{\∂p(x,y)}{\∂y}\right)}^2}---\left(4\right)$

与是分别用水平与垂直算子计算得到的梯度分量。

利用公式(4)可以得到f₁(x，y)和g₁(x，y)的梯度图像G_f1(x，y)与G_g1(x，y)。

这里所讲的边缘是一个区域，也是振铃波纹和模糊程度最容易被人分辨的一个区域，但是利用原图所得的G_f1(x，y)精确的得到了边缘的位置，并且边缘轮廓分明，于是对G_f1(x，y)膨胀r个像素，使得边缘部分能扩展一下，尽量包含模糊容易分辨和可能产生振铃波纹的区域。

于是得到扩展的梯度图G_Ef

G_Ef＝expand(G_f1，r)

expand表示膨胀操作，取r＝N/20，N为图像高度。

定义权重因子信息图为：

Wmap＝G_Ef·G_g1    (G_g1即指G_g1(x，y))

权重因子信息图与原图同样尺寸，表现为各个区域的权重不同，各个像素权重不同。

上面得到的权重因子信息图，事实上就是根据现有理论认为的边缘信息最重要、纹理区域其次，平坦区域再其次的观点将图像按照边缘区域、纹理区域、平坦区域计算权重系数，于是信息图的各像素的大小对应着参考图和评价图上这些位置的权重。

于是可得到经过权重处理的参考图F(x，y)与评价图G(x，y)；

F(x，y)＝f(x，y)·Wmap

G(x，y)＝g(x，y)·Wmap

(2)运用修正的人眼对比敏感函数处理(CSF处理)，得到符合人眼视觉特性的灰度层次分明的图像。

运用修正的人眼视觉响应S_a(u，v)处理F(x，y)与G(x，y)，

其中S_a(u，v)为s_a(x，y)的频率域响应：

F_w(x，y)＝F(x，y)*s_a(x，y)

G_w(x，y)＝F(x，y)*s_a(x，y)

这里*表示卷积关系。

于是得到经过CSF处理后的F_w与G_w，这时两者已经是符合人眼兴趣观察的图像了。

这里定义：FG_w＝F_w(x，y)G_w(x，y)

(3)运用梯度信息相似性评价图像；

这里梯度仍用步骤(1)中的各向同性sobel算子以及计算衡量的方式。

在对图像计算梯度过程中采用技术特征思路3中所提到的梯度信息索引图的求取方式，通过一个中心对称高斯加权窗在梯度图像上逐点计算以该点为中心的邻域图像块的相关信息，从而计算得到各点对应图像块的信息并映射得到一幅梯度信息索引图来描述降质图像的降质信息。

分别从步骤(2)中得到的F_w(x，y)、G_w(x，y)与FG_w中提取出与高斯窗口等大的块，先各自用高斯加权窗作对提取出的块进行相关处理，得到相关处理后的块。

所述的高斯加权窗：

$W=\left\{w_i\right|\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i=1,i=\mathrm{1,2}......N\}$ (N为窗口中像素个数)

N一般为奇数，比如N＝9，则W可表述为 $W=\left[\begin{array}{ccc}{w}_1& w_2& w_3\\ w_4& w_5& w_6\\ w_7& w_8& w_9\end{array}\right],$ 内部所有元素的和为1并服从高斯分布。

利用步骤(1)中的各向同性sobel算子及梯度衡量方式计算相关处理后的块，得到该块的梯度，将该块的梯度均值作为梯度图像的一个像素值，以此方式将F_w(x，y)、G_w(x，y)与FG_w逐块处理，最后三者各自对应的梯度图像G_Fw(x，y)、G_Gw(x，y)以及G_FwGw。

当然也可以利用现有技术中其他手段由F_w(x，y)、G_w(x，y)与FG_w计算得到其对应的梯度图像G_Fw(x，y)、G_Gw(x，y)以及G_FwGw。

将梯度图像G_Fw(x，y)、G_Gw(x，y)以及G_FwGw中每一相互对应的点代入公式(5)，得到评价指标Gs。

Gs＝(2G_FwGw+C)/(G_Fw ²+G_Gw ²+C)    (5)

这里C＝KL，K为常数(K＜＜1)，L为图像的灰度值动态范围(例如8比特深度的灰度图为255)。加入C是为了消除病态的存在(分母为零的情况)。

将所有点的评价指标Gs对应映射成一张新的图像，即梯度信息索引图。

该梯度信息索引图的均值用来衡量评价图g图像质量。

本发明方法结合人眼的视觉特性，将原始的评价图进行处理，结果非常接近人眼视觉***，只要输入参考图和评价图，即可得到符合人眼视觉特性的质量评价值。其可运用于图像压缩、储存、传输和重建等等方面，迅速衡量图像的质量；还可以应用于图像复原中的迭代终止，用此评价算法来终止迭代算法后得到的最佳复原图与人眼评价得到的最佳复原图非常接近。

附图说明

图1为对比敏感函数曲线图；

图2为本发明方法的操作流程框图；

图3为具体实施方式实验所用的一组灰度图(原图和不同退化形式图)，其中：

图3a为原图；

图3b为椒盐噪声图；

图3c为JPEG压缩图；

图3d为均值偏移图；

图3e为乘性散斑噪声图；

图3f为加性高斯噪声；

图3g为模糊图；

图3h为对比拉伸图；

图4为通过对图像数据库中的大量图像进行评价，结合其主观评价值，生成了差异平均评价分数(DMOS：Difference Mean Opinion Scores)与本发明方法HVSWGM评价值的点列图以及对应的拟合曲线。

图5为本发明方法终止迭代复原的工作流程框图；

图6为迭代复原过程中的各图：

图6a为原图；

图6b为高斯模糊图；

图6c为HVSWGM评价所得最佳迭代图；

图7为迭代次数与HVSWGM关系曲线图；

使用若干常用灰度图、和VQEG(The Video Quality Experts Group)建议的采用庞大的数据库作为具体实验对象来直接测试这种HVSWGM算法的有效性。使用标版图的迭代复原实验测试该算法终止迭代的能力。

利用本发明方法处理图像，如图2所示，输入参考图与评价图，即可得到图像质量的评价值。以图3a(参考图)和图3b(评价图)为例：

(1)获取按区域权重分布的图像。将参考图3a(以下称图像f)和评价图3b(以下称图像g)输入。

(a)首先用高斯函数处理，提高抗噪能力，得到：

$f_1=G\left(r\right)\⊗f,$ $g_1=G\left(r\right)\⊗g;$

其中

在这里表示滤波作用，高斯函数为：

$G\left(r\right)=\frac{1}{{2\mathrm{\π\σ}}^2}\exp (-r^2/{2\mathrm{\σ}}^2),$ $r=\sqrt{x^2+y^2},$ σ为方差(σ取2)，(x，y)表示图像的像素点。

(b)对于f₁和g₁，采用各向同性的sobel算子提取梯度信息，采用水平算子和竖直算子的平方和的算术平方根形式：

$G_{f1}=\sqrt{{\left(\frac{{\∂f}_1}{\∂x}\right)}^2+{\left(\frac{{\∂f}_1}{\∂y}\right)}^2},$ $G_{g1}=\sqrt{{\left(\frac{{\∂g}_1}{\∂x}\right)}^2+{\left(\frac{{\∂g}_1}{\∂y}\right)}^2}$

其中，各向同性sobel水平算子为：

$\left[\begin{array}{ccc}-1& -\sqrt{2}& -1\\ 0& 0& 0\\ -1& \sqrt{2}& 1\end{array}\right]$

各向同性sobel竖直算子为：

$\left[\begin{array}{ccc}-1& 0& -1\\ -\sqrt{2}& 0& \sqrt{2}\\ -1& 0& 1\end{array}\right]$

(c)对G_f1进行r个像素的膨胀，

G_Ef＝expand(G_f1，r)

expand表示膨胀操作，取r＝N/20，N为图像高度。

定义权重因子信息图为：Wmap＝G_Ef·G_g1

(d)于是获得不同区域内容不同权重分布的两幅图像：

F＝f·Wmap

G＝g·Wmap

(2)针对步骤(1)得到的不同区域内容不同权重分布的图像，

运用修正的人眼视觉响应S_a(u，v)处理F与G，

其中S_a(u，v)为s_a(x，y)的频率域响应：

F_w＝F*s_a(x，y)

G_w＝F*s_a(x，y)

*符号代表卷积。

于是得到进一步的经对比敏感函数滤波处理的两幅图像。

这里定义：FG_w＝F_w·G_w

(3)针对步骤(2)得到两幅符合人眼视觉特性观察的图像，

按照高斯加权窗分块的处理方式计算F_w、G_w与FG_w的梯度，得到梯度图像G_Fw、G_Gw以及G_FwGw。

高斯加权窗：

$W=\left\{w_i\right|\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i=1,i=\mathrm{1,2}......N\}$

取高斯加权窗的大小为N＝15×15，标准偏差为1.3。

最终处理后的图像的梯度相似性评价指标为Gs

Gs＝(2G_FwGw+C)/(G_Fw ²+G_Gw ²+C)        (5)

这里C＝KL，K取常数0.00001，L为灰度值动态范围(8比特深度的灰度图为255)。加入C是为了消除病态的存在(分母为零的情况)。

最终，得到了评价图像3b(图像g)的评价值。

具体实验结果如下：

1、本发明在一般图像质量评价应用下的实验测试

(1)图3a～3h所示的是实验采用的参考图(原图)以及评价图，评价所得结果如表1所示。值越大，说明图像质量越好，参考图是图3(a)。

表1

测试图片	原图	椒盐噪   声图	JPEG   压缩图	均值偏   移图	散斑噪声   图	加性高斯   噪声	模糊图	对比拉   伸图
									HVSWGM   评价值	1	0.8893	0.7541	0.9970	0.8693	0.8617	0.7744	0.9728

(2)图4所示为采用VQEG推荐的大型图像库所做的实验结果，是一张点列图，每一个点代表一张图像的评价信息——图中横轴代表本发明方法的评价值，纵轴代表人眼主观评价值DMOS。点列图中客观评价(本发明评价值)符合主观评价(DMOS)，并且各点几乎均匀的在曲线两边分布证明了该方法的稳定性，所有数据也更靠近拟合曲线，具有较好的单调性，说明了本发明的有效性。

图4实验采用的图像数据库提供了982张图片。它们是从29张原图通过JPEG2000、JPEG、高斯噪声、高斯模糊和比特传输错误等退化得到的。数据库还提供了对各图主观评价的数据，用差异平均评价分数(DMOS：Difference Mean Opinion Scores)来表征，其中DMOS值越小，图像越佳，DMOS为零则表明这是一张原图。该图像数据库网址为http://live.ece.utexas.edu/research/quality/subjective.htm。

2、本发明方法在迭代图像复原中的终止迭代能力测试

本发明方法作为迭代终止手段，其迭代次数与评价值的曲线图应该是平滑的、具有很好的单峰性或者尾端低斜率性，这样才有稳定的终止能力。

下面对本发明方法进行测试，整个测试流程如图5所示。

一般来讲利用本发明方法处理后的图像的指标Gs值最大时图像质量相对最好，但是其值在[0，1]之内，只要小于某个阈值T，图像的质量是非常接近的，人眼已经无法分辨。因此在每一次迭代后，计算图像的指标Gs值(HVSWGM值)，分析HVSWGM(k)-HVSWGM(k-1)＜T(k＝1，2，……，T为阈值)是否满足，若是则继续迭代，反之则停止迭代，证明已经得到了最佳复原图像，k-1即为最佳迭代次数。

实验图像采用标版图，如图6a～6c所示，图像经高斯模糊后，用迭代复原算法复原，并用HVSWGM用来终止迭代，得到了最佳迭代图像，这里采用T＝0.001；而对于一般自然图像，都很好的具有单峰性和尾端低斜率性。

再次，我们对标版图的高斯模糊图使用100次迭代，每迭代一次评价一次，横轴为迭代次数，纵轴为评价值，画出曲线，如图7所示。

从实验效果来看，本发明方法曲线平滑、存在尾端低斜率或者说是单峰性，能够用来终止迭代。

Claims (3)

1.一种基于区域权重和人眼视觉特性的图像质量客观评价方法，其特征在于，包括如下步骤：

(1)对参考图f与评价图g分别进行高斯滤波处理后再采用各向同性的sobel算子进行梯度提取及计算衡量得到梯度图像G_f1(x，y)与梯度图像G_g1(x，y)；对梯度图像G_f1(x，y)膨胀处理得到扩展的梯度图G_Ef；

定义权重因子信息图为：Wmap＝G_Ef·G_g1；

参考图f与评价图g利用经过定义的权重因子信息图进行权重处理得到经过权重处理的参考图F(x，y)和经过权重处理的评价图G(x，y)；

(2)利用修正的人眼对比敏感函数S_a(u，v)处理步骤(1)得到的经过权重处理的参考图F(x，y)和经过权重处理的评价图G(x，y)，得到经过敏感函数处理后参考图F_w与经过敏感函数处理后参考图G_w；

所述的S_a(u，v)＝S(w)P(w，θ)；

式中：

$S\left(w\right)=1.5e^{-{\mathrm{\σ}}^2{w}^2/2}-e^{-2{\mathrm{\σ}}^2{w}^2}$

σ＝2，w＝2πf/60，

u与v为水平和竖直方向的空间频率；

$P(w,\mathrm{\θ})=\frac{1+e^{\mathrm{\β}(w-w_o)}{\cos }^{4}2\mathrm{\θ}}{1+e^{\mathrm{\β}(w-w_o)}}$

θ＝tan^-1(v/u)，表示与水平方向夹角，β＝8，f₀＝11cycles/degree；

定义FG_w＝F_w(x，y)G_w(x，y)；

(3)利用步骤(1)中的各向同性sobel算子进行梯度提取及计算衡量的方式处理步骤(2)得到的F_w、G_w与FG_w分别得到梯度图像G_Fw(x，y)、G_Gw(x，y)与G_FwGw；将梯度图像G_Fw(x，y)、G_Gw(x，y)与G_FwGw中每一相互对应的点代入如下公式得到评价指标Gs；

Gs＝(2G_FwGw+C)/(G_Fw ²+G_Gw ²+C)

其中C＝KL，K为常数，L为图像的灰度值动态范围；

将所有点的评价指标Gs对应映射成梯度信息索引图，利用该梯度信息索引图的均值来评价图像质量。

2.如权利要求1所述的图像质量客观评价方法，其特征在于，步骤(1)中所述的高斯滤波处理所采用的高斯函数为：

$G\left(r\right)=\frac{1}{2{\mathrm{\π\σ}}^2}\exp (-r^2/2{\mathrm{\σ}}^2);$

其中σ为方差，x，y表示图像中的像素点。

3.如权利要求1所述的图像质量客观评价方法，其特征在于，步骤(1)中所述的各向同性的sobel算子为，

各向同性sobel水平算子：

$\left[\begin{array}{ccc}-1& -\sqrt{2}& -1\\ 0& 0& 0\\ -1& \sqrt{2}& 1\end{array}\right]$

各向同性sobel竖直算子：

$\left[\begin{array}{ccc}-1& 0& -1\\ -\sqrt{2}& 0& \sqrt{2}\\ -1& 0& 1\end{array}\right].$

Images