CN105139394A - 结合仿射重建和噪声散点直方图的噪声图像质量评价方法 - Google Patents

Abstract

本发明公开了一种结合仿射重建和噪声散点直方图的噪声图像质量评价方法，包括如下步骤：(1)对于输入待评价的噪声图像进行视觉显著性滤波；(2)利用分水岭图像分割算法对滤波图像进行分块处理；(3)利用信号仿射重建矩阵，得到噪声图像信号成分；(4)计算得到噪声残差图；(5)计算残差图中各分块噪声标准差数值，统计噪声散点直方图；(6)计算得到噪声图像评价数值。本发明利用视觉敏感对比函数对噪声图像进行视觉显著特性滤波，利用图像分割算法和仿射重建最优化问题求解图像信号成分，计算噪声残差图像，统计噪声散点直方图，能够准确的得到噪声图像评价数值。

Description

结合仿射重建和噪声散点直方图的噪声图像质量评价方法

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种结合仿射重建和噪声散点直方图的噪声图像质量评价方法。

背景技术

数字图像在传输、显示、压缩过程中，图像质量很容易受到噪声、模糊、块效应等退化因素的影响，降低了信息有效性。如何有效的衡量图像质量退化程度，对于图像处理算法性能的优劣和光学***参数指标的选择有着重要的意义，科学家们提出了很多图像质量评价算法。

其中，主观图像质量评价方法是最直观的评价方法，但是由于需要花费大量的时间和人力成本，并不太适用于实际应用场合。客观图像质量评价方法，根据是否需要参考图像作为标准图，可以分为全参考图(Full-reference，FR)评价，半参考图(Reduced-reference,RR)评价和无参考图(No-reference，NR)质量评价方法。第一类全参考图像质量评价方法，利用退化图像和参考图像的差异信息，能够得到与人眼视觉***有较高一致性的评价结果。第二类半参考图质量评价方法，借助部分参考图像的特征描述，来给出退化图像的评价指标。实际应用场合中，参考图像通常难以获得，这两种评价算法有着明显的局限性。第三类无参考图像评价算法，只利用单幅失真图像就能够得到最终的图像评价结果。近年来，很多无参考图像质量算法针对某类特性的失真类型所设计提出，常见的失真包括JPEG压缩退化、JPEG2000压缩退化、模糊退化、噪声退化等。

噪声是图像中常见的退化因素，加性高斯白噪声是通常的噪声模型，针对噪声图像，学者们提出了很多图像噪声水平估计方法。然而，普通的噪声估计算法往往忽略了噪声图像对于观测者的主观感受。目前也很少有针对噪声图像的无参考客观质量评价方法。

发明内容

本发明提出一种结合仿射重建和噪声散点直方图的噪声图像质量评价方法，对噪声图像进行视觉显著特性滤波，利用图像分割算法和仿射重建最优化问题求解图像信号成分，计算噪声残差图像，统计噪声散点直方图，能够准确的得到噪声图像质量评价数值，其评价结果与人眼主观感知有很好的一致性。

本发明结合仿射重建和噪声散点直方图，提出了一种针对噪声图像的图像质量客观评价方法，其主要思路是：

1、引入视觉显著性频率滤波，结合图像分割算法和仿射重建模型，得到噪声图像信号图

采用视觉显著性函数对噪声图像滤波，滤波结果结合了人眼视觉***对于不同频率内容的响应差异，体现了对噪声图像的主观感受能力，使得最终评价结果更加接近主观感知。在图像分割的基础上，仿射重建模型计算得到仿射重建矩阵，能够获取不含噪声的图像信号成分，从而能够实现噪声残差图像的有效获取。

2、从噪声残差图像中统计噪声散点直方图，计算噪声图像质量评价值

噪声残差图像中每个分块能够估计出一个对应的噪声散点，计算得到各分块的噪声散点标准差，即可统计出噪声散点直方图。噪声散点直方图能够表征图像噪声在不同噪声标准差强度区间的分布情况，利用散点直方图能够准确的给出噪声图像质量评价数值。

一种结合仿射重建和噪声散点直方图的噪声图像质量评价方法，包括如下步骤：

(1)输入待评价的噪声图像为I，对图像I进行视觉显著性滤波，得到滤波后的图像F：

$F=I\⊗csf---\left(1\right)$

其中，csf是视觉对比敏感函数(ContrastSensitivityFunction,CSF),表征了人眼视觉***(HumanVisualSystem,HVS)对图像中不同空间频率成分的对比敏感差异。采用的csf模型表示如下：

csf(f)＝2.6×(0.0192+0.114f)exp(-(0.114f)^1.1)(2)

其中，空间频率f_x和f_y分别是水平方向和垂直方向的空间频率分量，单位是周/度(cycles/degree)。

(2)对于步骤(1)得到的滤波图像F，利用分水量图像分割算法进行近似区域分割，得到分割块集合{Φ_i}，两者的关系如下所示：

F＝∪_iΦ_i(3)

其中，∪为图像块并集操作，i为总的分割块数目。各分块区域无重叠交叉，即(当i≠j)。分割后像素值相近区域被分到同一分块，对各自分块分别进行评估。

(3)对于步骤(2)得到的任意图像区域分割块Φ，建立仿射重建模型，得到如下最优化问题：

其中，为图像像素坐标值，H为像素坐标矩阵。W为仿射重建矩阵，求解最优化问题的惩罚方程，将其对W进行求导，并将一阶导数置零，得到如下方程：

H^TWH-H^TF＝0(5)

利用矩阵最佳逼近问题求解，得到仿射重建矩阵的最优解：

W*＝(H^T)⁺(H^TF)H⁺(6)

其中，H^T表示矩阵H的转置矩阵，H⁺表示矩阵H的广义逆矩阵。图像F的仿射重建信号F_signal即可表示为：

F_signal＝W*×H(7)

(4)结合步骤(1)得到的滤波图像F和步骤(3)得到的重建信号F_signal，计算得到噪声残差图像F_residual

F_residual＝F-F_signal(8)

(5)步骤(4)得到的噪声残差图像中每个分块能够估计出一个噪声散点，计算得到各分块的噪声散点标准差，即可统计出噪声散点直方图。

(6)利用噪声散点直方图，计算得到最终的噪声图像评价数值。在噪声散点直方图中，散点分布数量最多的区间认为是主要噪声成分，考虑该区间所强度散点的均值，即可得到如下所示的评价值：

$M=-10*log\[\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}S\left(i\right)\]---\left(9\right)$

其中，S(i)表示该噪声区间估计噪声散点的噪声标准差数值，N表示噪声散点数量分布最多的区间内噪声散点个数，log表示对数操作运算，M表示最终的噪声图像评价值。

本发明针对噪声图像提出了一种无参考图像质量评价方法，利用视觉敏感对比函数对噪声图像进行视觉显著特性滤波，利用图像分割算法和仿射重建最优化问题求解图像信号成分，计算噪声残差图像，统计噪声散点直方图，能够准确的得到噪声图像评价数值。评价结果具有很好的准确性和单调性表现，并和主观评价感受一致性较好。在本发明中，只要输入一幅噪声图像，即可得到符合人眼视觉特性的噪声图像质量评价数值。本发明可应用于图像复原算法及成像***性能评估，在图像处理场合有广泛的应用领域。

附图说明

图1为算法流程图。

图2为输入待评价的噪声图像。

图3为显著性滤波结果。

图4为图像分割结果。

图5为仿射重建得到的图像信号图。

图6为噪声残差图。

图7为噪声散点直方图。

图8为LIVE数据库训练结果及拟合曲线。

图9为预测主观评价数值和实际主观评价值的关系图。

具体实施方式

本算法的流程图如图1所示。

一种结合仿射重建和噪声散点直方图的噪声图像质量评价方法，包括如下步骤：

(1)输入待评价的噪声图像为I，对图像I进行视觉显著性滤波，得到滤波后的图像F：

$F=I\⊗csf---\left(10\right)$

其中，csf是视觉对比敏感函数(ContrastSensitivityFunction,CSF),表征了人眼视觉***(HumanVisualSystem,HVS)对图像中不同空间频率成分的对比敏感差异。采用的csf模型表示如下：

csf(f)＝2.6×(0.0192+0.114f)exp(-(0.114f)^1.1)(11)

其中，空间频率f_x和f_y分别是水平方向和垂直方向的空间频率分量，单位是周/度(cycles/degree)。

(2)对于步骤(1)得到的滤波图像F，利用分水量图像分割算法进行近似区域分割，得到分割块集合{Φ_i}，两者的关系如下所示：

F＝∪_iΦ_i(12)

其中，∪为图像块并集操作，i为总的分割块数目。各分块区域无重叠交叉，即(当i≠j)。分割后像素值相近区域被分到同一分块，对各自分块分别进行评估。

(3)对于步骤(2)得到的任意图像区域分割块Φ，建立仿射重建模型，得到如下最优化问题：

其中，为图像像素坐标值，H为像素坐标矩阵。W为仿射重建矩阵，求解最优化问题的惩罚方程，将其对W进行求导，并将一阶导数置零，得到如下方程：

H^TWH-H^TF＝0(14)

利用矩阵最佳逼近问题求解，得到仿射重建矩阵的最优解：

W*＝(H^T)⁺(H^TF)H⁺(15)

其中，H^T表示矩阵H的转置矩阵，H⁺表示矩阵H的广义逆矩阵。图像F的仿射重建信号F_signal即可表示为：

F_signal＝W*×H(16)

(4)结合步骤(1)得到的滤波图像F和步骤(3)得到的重建信号F_signal，计算得到噪声残差图像F_residual

F_residual＝F-F_signal(17)

(5)步骤(4)得到的噪声残差图像中每个分块能够估计出一个噪声散点，计算得到各分块的噪声散点标准差，即可统计出噪声散点直方图。

(6)利用噪声散点直方图，计算得到最终的噪声图像评价数值。在噪声散点直方图中，散点分布数量最多的区间认为是主要噪声成分，考虑该区间所强度散点的均值，即可得到如下所示的评价值：

$M=-10*log\[\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}S\left(i\right)\]---\left(18\right)$

其中，S(i)表示该噪声区间估计噪声散点的噪声标准差数值，N表示噪声散点数量分布最多的区间内噪声散点个数，log表示对数操作运算，M表示最终的噪声图像评价值。

以图2中所示的噪声图为例，来说明算法的实施步骤。图2噪声图是从LIVE数据库中的示例图，所含噪声为高斯白噪声。

利用本发明所述方法处理图像，首先用视觉对比敏感函数对噪声图像进行显著性滤波，得到滤波后的图像，如图3所示。滤波图像反映了人眼视觉***对噪声图像中不同空间频率的响应差异。随后采用分水岭图像分割算法对图像进行分割，结果如图4所示。在分割结果中，像素值相近区域被分至同一分割块。建立仿射重建模型，求解得到不含噪声成分的图像信号图，如图5所示。滤波图像减去信号图像，即可得到噪声残差图，如图6所示。通过计算残差图像每个分块的噪声标准差值，统计得到噪声散点直方图，表征了不同噪声强度区间内噪声散点的分布个数，如图7所示。由噪声散点直方图即可计算得到噪声图像质量评价结果。

为了能够更好的验证算法的有效性和准确性，在LIVE数据中测试算法的性能。LIVE数据库是通用的图像质量评价库，被广泛应用于图像质量评价算法性能评估。其中有174幅高斯白噪声图像，并提供相应的退化图像的主观差异评价数值(differentmeanopinionscore,DMOS)，可以测试图像质量评价算法与主观评价的一致性。

对数据库中的噪声图像，利用本发明算法分别进行质量评价结果计算，将所有的图像评价数值与其对应的DMOS分数值，按照如下所示的拟合方程，进行数值拟合：

${\mathrm{DMOS}}_p=\frac{{\mathrm{\β}}_1-{\mathrm{\β}}_2}{1+e^{\left(-\frac{M-{\mathrm{\β}}_3}{\left|{\mathrm{\β}}^4\right|}\right)}}+{\mathrm{\β}}_2---\left(19\right)$

其中M是算法计算得到的质量评价值，β₁，β₂，β₃，β₄是需要拟合的的参数，DMOS_p是由M预测得打的主观评价数值。经计算，拟合参数分别为β₁＝-5.9402，β₂＝1.082×10³，β₃＝-65.0929，β₄＝28.4228。算法计算结果及拟合曲线如图8所示。利用拟合方程，能够得到预测的主观评价数值和实际主观评价值的关系，如图9所示。可以看到预测得到的主观评价数值和LIVE数据提供的主观评价数值有很好的一致性。

利用均方根误差(rootmeansquareerror,RMSE)，Pearson线性相关系数(linearPearson’scorrelationcoefficient,CC)以及Spearman等级相关系数(Spearman’srankorderedcorrelationcoefficient,ROCC)来对算法性能进行客观评价。RMSE值越小表明算法越有效，CC指标越大表明算法线性程度越好，而ROCC指标越大表明算法单调性越好。评价结果如表1所示。从表1所示评价结果数据可以看到，算法客观评价指标表现很好，具有很好的准确性和主客观一致性。

表1

客观评价指标	RMSE	Pearson	Spearman
				评价结果	4.037	0.969	0.962

。

Claims (2)

1.结合仿射重建和噪声散点直方图的噪声图像质量评价方法，其特征在于，包括如下步骤：

(1)输入待评价的噪声图像为I，对图像I进行视觉显著性滤波，得到滤波后的图像F:

$F=I\⊗csf---\left(1\right)$

其中，csf是视觉对比敏感函数,表征了人眼视觉***对图像中不同空间频率成分的对比敏感差异；采用的csf模型表示如下：

csf(f)＝2.6×(0.0192+0.114f)exp(-(0.114f)^1.1)(2)

其中，空间频率f_x和f_y分别是水平方向和垂直方向的空间频率分量，单位是周/度；

(2)对于步骤(1)得到的滤波图像F，利用分水量图像分割算法进行近似区域分割，得到分割块集合{Φ_i}，两者的关系如下所示：

F＝∪_iΦ_i(3)

其中，∪为图像块并集操作，i为总的分割块数目；各分块区域无重叠交叉，即(当i≠j)；

(3)对于步骤(2)得到的任意图像区域分割块Φ，建立仿射重建模型，得到如下最优化问题：

其中，为图像像素坐标值，H为像素坐标矩阵；W为仿射重建矩阵，求解最优化问题，得到仿射重建矩阵W*；图像F的仿射重建信号F_signal即可表示为：

F_signal＝W*×H(5)

(4)结合步骤(1)得到的滤波图像F和步骤(3)得到的重建信号F_signal，计算得到噪声残差图像F_residual

F_residual＝F-F_signal(6)

(5)利用步骤(4)得到的噪声残差图像，统计计算得到噪声散点直方图；噪声散点直方图反映了不同噪声强度区间内噪声散点的分布个数；

(6)利用噪声散点直方图，计算得到最终的噪声图像评价数值。

2.如权利要求1所述的噪声图像质量评价方法，其特征在于，步骤(6)中利用噪声散点直方图计算噪声图像评价数值，具体过程如下：

残差图像中每个分块都能够估计出一个对应的噪声强度散点，计算残差图像各分块区域的噪声标准差，即可以得到图像噪声散点直方图，表征了不同噪声强度区间内噪声散点的分布个数；在噪声散点直方图中，散点分布数量最多的区间认为是主要噪声成分，考虑该区间所强度散点的均值，即可得到如下所示的评价值：

$M=-10*log\[\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}S\left(i\right)\]---\left(7\right)$

其中，S(i)表示该噪声区间估计噪声散点的噪声标准差数值，N表示噪声散点数量分布最多的区间内噪声散点个数，log表示对数操作运算，M表示最终的噪声图像评价值。