CN102006497B - 基于图像局部统计特征的模糊图像无参考评测方法 - Google Patents

Abstract

本发明公开一种基于图像局部统计特征的模糊图像无参考评测方法，主要解决模糊图像无参考客观评价问题。该方法步骤包括：(1)首先在待测试图像上采用滤波方法生成一幅模糊图像，(2)使用Sobel算子检测出原始待测试图像的边缘，选择围绕边缘点的局部区域集合；(3)根据选择的局部区域，统计出原始图像和生成模糊图像的变差统计；(4)适当调整局部区域变差统计；(5)根据这些变差统计，构造了一个模糊图像评价测度。本发明结构简单、计算复杂度低，易于硬件实现，与主观评价高度一致的优点，可用于对图像视频处理方法进行有效性检测。

Description

基于图像局部统计特征的模糊图像无参考评测方法

技术领域

本发明涉及一种基于图像局部统计特征的模糊图像无参考评测方法，属于图像处理技术领域。

背景技术

随着计算机网络和通信技术的发展，目前数字图像已经成为人们获取信息与交流互动的一种重要媒介。数字图像在获取，压缩，处理，传输和重现过程中容易产生各种各样的失真，而图像质量是衡量这些失真的主要指标。评测图像质量的方法有主观方法和客观方法，由于图像的最终观察者是人，所以主观方法可靠性高，但主观方法费时费力且不易于嵌入到自动化***中，所以客观方法是当前质量评测的重点。客观评测方法根据是否有参考图像又分为3类，全参考质量评测、部分参考质量评测和无参考质量评测。全参考和部分参考质量评测方法需要参考图像或者参考图像的部分特征，而在许多实际应用中，参考图像或其部分特征是很难或无法得到的，此时无参考图像质量评测方法就显得尤为重要。

模糊又是图像失真的最常见现象。有许多原因会引起图像的模糊，例如去噪、滤波、压缩或运动等等。近年来，许多学者开始致力于无参考模糊图像质量评测的研究，下面介绍几种代表性方法。

P.Marziliano等提出了一种针对JPEG2000图像的感知模糊和振铃蚀变度量尺度“P.Marziliano，F.Dufaux，S.Winkler and T.Ebrahimi.Perceptual blur andringing metrics：Applications to JPEG2000，Signal Processing：ImageCommunication.，vol.19，no.2，pp.163-172，2004”。该方法首先通过SOBEL算子检测出图像竖直边缘，然后逐行扫描发现边缘的开始和结束位置，开始和结束位置的距离被当作当前边缘的局部模糊测度，最后平均所有的局部模糊测度作为最终的模糊度量。R.Ferzli and L.J.Karam基于正引人注目的模糊概念提出一种无参考客观图像锐化尺度(JNBM)“R.Ferzli and L.J.Karam，A No-ReferenceObjective Image Sharpness Metric Based on the Notion of Just Noticeable Blur(JNB)，IEEE Transactions on Image Processing，vol.18，no.4，pp.717-728，2009.”该方法首先将图像划分成64×64的图像块，根据SOBEL算子检测的边缘像素点数依据一定的阈值将块划分成光滑和非光滑块。根据边缘的宽度和局部对比度导出非光滑块的模糊测度，由非光滑块的模糊蚀变情况来计算整个图像的模糊测度。Rania Hassen等提出一种基于局部相位一致测量的无参考图像锐化测度(LPCM)“R.Hassen，Z.Wang and M.Salama，No-reference image sharpnessassessment based on local phase coherence measurement，in Proc.IEEE Int.Conf.Acoustics，Speech&Signal Processing，Mar.2010.”该方法利用可操控的金字塔小波分解图像，得到局部相位一致图像，最后通过加权平均局部相位一致图作为最终的图像锐化测度。该方法涉及到复杂的小波变换和相位计算，算法复杂度高，执行效率低。因此如何高效率高质量地度量模糊蚀变非常重要。

发明内容

现有模糊图像无参考质量评测方法通常复杂度较高，且与主观评测方法一致性有限，本发明的目的是为了克服这一局限，提出一种简单有效的基于图像边缘点区域局部统计特征的模糊测度，实现简单有效、易于硬件实现的模糊图像无参考评测。

按照本发明提供的技术方案，所述基于图像局部统计特征的模糊图像无参考评测方法通过对待测试图像和再模糊图像边缘区域局部统计特征来构建模糊度量尺度，过程如下：

(1)选择局部区域集合：使用Sobel算子检测出原始待测试图像的边缘像素，然后分配每个边缘像素到一个像素块的中心；

包围边缘点的最小像素块是3×3；将这个3×3像素块分成四个像素集合，称之为子区域；

像素标记为同样数字的属于同一子区域，像素标记为两个数字的表明它同时属于两个子区域；包围边缘像素点的3×3区域沿四个方向被分成四个子区域，且每个子区域与边缘像素点具有同样的距离；对于每一个子区域，创建其中像素点的灰度值所组成的集合，将拥有的集合对应的子区域作为边缘像素点的局部区域；

(2)产生再模糊图像：使用3*3的滤波器 $\frac{1}{9}\×\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]$ 与原始图像做卷积运算，在原始待测图像上再生成一幅模糊图像；

(3)计算局部区域变差：

设根据步骤(1)选择的局部区域像素的集合为L＝{l_i；1≤i≤M}，

式中M为局部区域像素的个数，l_i表示第i个像素的灰度值；

在待测试图像和再模糊图像中分别计算局部区域像素的变差

$\mathrm{SV}={\left(\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(l_i-\mathrm{\μ})}^2\right)}^{\mathrm{\α}},$

式中

表示该区域灰度均值，参数α为一常量，0.3＜α＜10；

(4)将再模糊图像和原始待测试图像相比局部区域变差升高的区域的变差统计置为0；

(5)构建模糊评测尺度：完成所有的局部区域变差计算后，分别累加原始待测试图像和再模糊图像的局部区域变差，即得到

和

定义模糊图像评测度量值为

$\mathrm{SVBM}=\frac{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{SV}}_j^{\mathrm{ori}}-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{SV}}_j^{\mathrm{re}-\mathrm{blur}}}{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{SV}}_j^{\mathrm{ori}}+\mathrm{\ϵ}}$

式中N为图像中局部区域个数，

和

分别是原始待测图像和再模糊图像第j个局部区域的变差；ε是一个常量，0＜ε≤0.001。

所述参数α＝4.3。

本发明的优点是：本发明利用人类视觉特征，即人类比较困难区分不同模糊程度的相同内容的图像，利用两幅模糊图像边缘区域的局部统计特征巧妙地定义了模糊图像质量无参考测度；评测性能有较大提升，与人类主观视觉感知一致性较好；方法简单，计算量小；易于硬件实现。

附图说明

图1是本发明流程图。

图2是3×3像素块的子区域示意图。

图3是5×5像素块的子区域示意图。

图4是参数α与本发明方法与主观得分之间的关系系数示意图。

图5是本发明方法与主观感知得分的散点示意图。

具体实施方式

下面结合附图和实例对本发明作进一步说明。涉及到无参考模糊图像质量的评测方法，可用于图像视频相关应用中对图像模糊程度的评测处理。本发明所述基于图像局部统计特征的模糊图像无参考评测方法，通过对测试图像和再模糊图像边缘区域局部统计特征来构建度量尺度，具体过程如图1所示。

(1)选择局部区域集合

使用Sobel算子检测出原始待测图像的边缘像素，然后分配每个边缘像素到一个像素块的中心。

包围边缘点的最小像素块是3×3。我们将这个3×3像素块分成四个更小的像素集合，称之为子区域，如图2所示。

图2中，像素标记为同样数字的属于同一子区域，像素标记为两个数字的表明它同时属于两个子区域。例如，标记为“1\2”的像素既属于子区域1，也属于子区域2。这样，包围边缘像素点的3×3区域沿四个方向被分成四个子区域，且每个子区域与边缘像素点具有同样的距离。

图3列出了包含边界像素点的5×5像素块的四个子区域定义，每个子区域都包含6个像素，都对中心边缘像素点有着同样的贡献。

(2)产生再模糊图像

使用3*3的滤波器 $\frac{1}{9}\×\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]$ 与原始图像做卷积运算，在原始待测图像上再生成一幅模糊图像。

(3)计算局部区域变差

假定局部区域像素的集合为：

L＝{l_i；1≤i≤M}    (1)

式中M为局部区域像素的个数，l_i表示第i个像素的灰度值。

在原始待测试图像和再模糊图像中分别计算局部区域像素的变差：

$\mathrm{SV}={\left(\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(l_i-\mathrm{\μ})}^2\right)}^{\mathrm{\α}}---\left(2\right)$

式中

表示该区域灰度均值；参数α为一正常量，优选取0.3＜α＜10，本发明中通过实验得到α为4.3时达到最好的效果。如图4所示，横坐标是参数α不同的取值，纵坐标是本发明方法得分与主观评测得分之间的相关系数，当α为4.3时达到最高的相关系数。

(4)适当修改局部区域变差统计

在实验中，我们比较再模糊图像和原始待测试图像发现，大多数局部区域变差统计将降低或保持不变，但也有少数局部区域例外(这种例外情况发生在许多边缘点环绕的局部区域)。我们认为模糊应该降低局部区域的变差统计，这种例外情况不能真实反映模糊的影响，因此我们调整这些例外区域的变差统计为0。

(5)构建模糊评测尺度

完成所有的局部区域变差统计后，然后分别累加两个区域的局部统计，即得到

和

定义模糊图像评测度量值为：

$\mathrm{SVBM}=\frac{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{SV}}_j^{\mathrm{ori}}-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{SV}}_j^{\mathrm{re}-\mathrm{blur}}}{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{SV}}_j^{\mathrm{ori}}+\mathrm{\ϵ}}---\left(3\right)$

式中N为图像中局部区域个数，

和

分别是原始待测图像和再模糊图像第j个局部区域的变差统计。ε是一个非常小的正常量(比如0＜ε≤0.001)，以免分母被零除，实验中ε取为0.001。模糊度量值SVBM在0～1之间，值越小表示其模糊程度越大。

相比现有技术，本发明具有以下优点：

(1)评测性能有较大提升，与人类主观视觉感知一致性较好。通过德州大学LIVE实验室模糊图像质量评测数据库实验，本发明方法与主观评测得分的斯皮尔曼关系系数和非线性回归系数分别为0.9548和0.9616，而当前相关文献报道中最好的方法，即基于局部相位一致的无参考图像锐化测量的方法(R.Hassen，Z.Wang and M.Salama，No-reference image sharpness assessment based on local phasecoherence measurement，in Proc.IEEE Int.Conf.Acoustics，Speech&SignalProcessing，2010)，仅为0.9239和0.9368，分别提高了约0.031和0.025。

(2)方法简单，计算量小。本发明方法仅需要在空域进行边缘检测和简单的统计操作，相较局部相位一致测量的方法需要复杂的小波变换和相位计算，计算量大大降低。

(3)易于硬件实现。由于本发明仅需要简单的边缘检测和一些统计操作，很容易通过硬件实现，可用于图像视频处理相关装备。

本发明的优点可通过以下实验进一步证明：

本实验是在德州大学LIVE模糊图像质量评测数据库上进行的，该数据库中有156幅模糊失真图像，同时给出了该156副图像的主观得分MOS值。为了测试本发明与主观感知的一致性，我们选择了以下两种度量准则：(1)斯皮尔曼等级次序关系系数(SROCC)，反映客观评测预测成绩的单调性；(2)相关系数(CC)，反映客观评测的精确性。表1给出了本发明方法与相关文献方法的对比情况(一种基于局部相位一致测量的无参考图像锐化测度(LPCM)“R.Hassen，Z.Wang and M.Salama，No-reference image sharpness assessment based on local phasecoherence measurement，in Proc.IEEE Int.Conf.Acoustics，Speech&SignalProcessing，2010.”；一种基于正引人注目的模糊概念的无参考客观图像锐化尺度(JNBM)“R.Ferzli and L.J.Karam，A No-Reference Objective Image SharpnessMetric Based on the Notion of Just Noticeable Blur(JNB)，IEEE Transactions onImage Processing，vol.18，no.4，pp.717-728，2009.”；一种针对JPEG2000图像的感知模糊和振铃度量尺度(PBRM)“P.Marziliano，F.Dufaux，S.Winkler and T.Ebrahimi.Perceptual blur and ringing metrics：Applications to JPEG2000，SignalProcessing：Image Communication，vol.19，no.2，pp.163-172，2004.”。

表1本发明方法与相关文献方法的主客观一致性评测比较结果

模型	相关系数	等级次序关系系数
			PBRM	0.9105	0.8919
JNBM	0.8168	0.7774
			LPCM	0.9368	0.9239
本发明	0.9616	0.9548

从表中可以看出，本发明方法相对现有方法有较好的优越性：(1)相关系数最高，说明本方法有更高的预测精确性，；(2)等级次序相关系数也最高，说明它有更严格的预测单调性。

图5显示了本发明方法与主观评分的散点图，横坐标是本发明方法客观评测图像质量得分，纵坐标是主观评测图像质量得分。该图也说明了本发明方法与主观感知的高度一致性。

Claims (2)

1.基于图像局部统计特征的模糊图像无参考评测方法，其特征是通过对待测试图像和再模糊图像边缘区域局部统计特征来构建模糊度量尺度，过程如下：

(1)选择局部区域集合：使用Sobel算子检测出原始待测试图像的边缘像素，然后分配每个边缘像素到一个像素块的中心；

包围边缘像素点的最小像素块是3×3；将这个3×3像素块分成四个像素集合，称之为子区域；

像素标记为同样数字的属于同一子区域，像素标记为两个数字的表明它同时属于两个子区域；包围边缘像素点的3×3区域沿四个方向被分成四个子区域，且每个子区域与边缘像素点具有同样的距离；对于每一个子区域，创建其中像素点的灰度值所组成的集合，将拥有的集合对应的子区域作为边缘像素点的局部区域；

(2)产生再模糊图像：使用3*3的滤波器 $\frac{1}{9}\×\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]$ 与原始图像做卷积运算，在原始待测图像上再生成一幅模糊图像；

(3)计算局部区域变差：

设根据步骤(1)选择的局部区域像素的集合为L＝{l_i；1≤i≤M}，

式中M为局部区域像素的个数，l_i表示第i个像素的灰度值；

在待测试图像和再模糊图像中分别计算局部区域像素的变差

$\mathrm{SV}={\left(\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(l_i-\mathrm{\μ})}^2\right)}^{\mathrm{\α}},$

式中

表示该区域灰度均值，参数α为一常量，0.3＜α＜10；

(4)将再模糊图像和原始待测试图像相比局部区域变差统计升高的区域的变差统计置为0；

(5)构建模糊评测尺度：完成所有的局部区域变差计算后，分别累加原始待测试图像和再模糊图像的局部区域变差，即得到

和定义模糊图像评测度量值为

$\mathrm{SVBM}=\frac{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{SV}}_j^{\mathrm{ori}}-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{SV}}_j^{\mathrm{re}-\mathrm{blur}}}{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{SV}}_j^{\mathrm{ori}}+\mathrm{\ϵ}}$

式中N为图像中局部区域个数，

和

分别是原始待测图像和再模糊图像第j个局部区域的变差；ε是一个常量，0＜ε≤0.001。

2.如权利要求1所述基于图像局部统计特征的模糊图像无参考评测方法，其特征是参数α＝4.3。

Images