CN108288267B - 一种基于暗通道的扫描电镜图像清晰度无参考评价方法 - Google Patents

Abstract

本发明提出一种基于暗通道的扫描电镜图像清晰度无参考评价方法，包括步骤：对原始扫描电镜模糊图像进行暗通道预处理，再次对预处理后的图像计算它的边缘，得到边缘后对其用基于加权二乘法的保边滤波器进行增强去噪，最后根据人类的视觉特征，把最大梯度和平均梯度的加权作为图像的质量分数。本发明第一次把暗通道运用到扫描电镜图像质量评价上面，提出的方法性能优于目前典型的模糊图像质量评价方法。

Description

一种基于暗通道的扫描电镜图像清晰度无参考评价方法

技术领域

本发明涉及图像质量评价领域，尤其是一种基于暗通道的扫描电镜图像清晰度无参考评价方法。

背景技术

扫描电镜图像拓宽了人类的视觉，提供了获取细微结构信息的途径。在获取扫描电镜图像的过程中会引起各种不同类型的失真，这些失真直接影响人类对研究物品的判断，所以扫描电镜图像的质量评价具有十分重要的意义，但是目前扫描电镜图像的质量评价并没有得到关注。扫描电镜图像在成像过程中图像清晰度是最重要的一个技术指标，通常需要通过反复调整成像参数和设置获得清晰的图像，费时费力，所以急需一种专门针对扫描电镜清晰度评价的方法。

现有的评价图像清晰度的方法很多，下面对这些部分方法进行介绍。

清晰度无参考质量评价：近年来提出了一些图像模糊评价算法。文献Marziliano[1]等首次提出用Sobel算子检测图像边缘，然后计算边缘宽度。Ferzli[2]等提出恰可察觉模糊(JNB)方法，该方法将JNB的概念结合到概率总和模型，能预测不同内容的图像的相对模糊量。Niranjan[3]等人基于不同对比度值的人类模糊感知研究，计算每条边缘的模糊概率提出检测模糊累计概率(CPBD)方法改进了JNB方法。Bahrami[4]等在文献中定义了每个像素的最大局部差异(MLV)作为此像素与它的8-邻域的最大强度差异，每个像素的MLV分布的标准差就是清晰度的表征。

以上方法都没有针对扫描电镜图像进行设计，而且通过实验得出这些方法在评价扫描电镜图像质量方面性能都不理想，所以急需一种专门评价扫描电镜图像清晰度的方法。

[1]Marziliano P,Dufaux F,Winkler S,et al.Perceptual blur and ringingmetrics:application to JPEG2000[J].Signal processing:Image communication,2004,19(2):163-172.

[2]Ferzli R,Karam L J.A no-reference objective image sharpness metricbased on the notion of just noticeable blur(JNB)[J].IEEE Transactions onImage Processing,2009,18(4):717-728.

[3]Narvekar N D,Karam L J.A no-reference image blur metric based onthe cumulative probability of blur detection(CPBD)[J].IEEE Transactions onImage Processing,2011,20(9):2678-2683.

[4]Bahrami K,Kot A C.A fast approach for no-reference image sharpnessassessment based on maximum local variation[J].IEEE Signal ProcessingLetters,2014,21(6):751-755.

发明内容

发明目的：本发明针对现有的清晰度评价方法并不适合扫描电镜图像，提出了专门针对扫描电镜图像清晰度评价的方法，一种基于暗通道的扫描电镜图像清晰度无参考评价方法。

技术方案：本发明提出的技术方案为：

一种基于暗通道的扫描电镜图像清晰度无参考评价方法，该方法包括步骤：

(1)获取扫描电镜模糊图像I，对I进行暗通道预处理；

(2)用Sobel边缘算子提取暗通道预处理后的图像的边缘图像；

(3)用基于加权最小二乘法的保边平滑滤波器对边缘图像进行滤波；

(4)用滤波之后图像的最大梯度和平均梯度的加权作为评价扫描电镜模糊图像I的客观质量分数。

进一步的，所述步骤(1)中对图像I进行暗通道预处理的表达式为：

式中，s(I)表示图像I进行暗通道预处理后的图像，s(I)(t)表示s(I)中像素点t处的像素值；Ω(t)表示以像素点t为中心的一个m×m的窗口，m为窗口的宽度；I(z)表示图像I中像素点z处的像素值。

进一步的，所述步骤(2)中提取出的边缘图像表达式为：

g(x,y)＝|Δ_xh(x,y)|+|Δ_yv(x,y)| (2)

Δ_xh(x,y)＝s(x+1,y-1)+2s(x+1,y)+s(x+1,y+1)-s(x-1,y-1)-2s(x-1,y)-s(x-1,y+1)

Δ_yv(x,y)＝s(x-1,y+1)+2s(x,y+1)+s(x+1,y+1)-s(x-1,y-1)-2s(x,y-1)-s(x+1,y-1)

式中，g表示边缘图像,g(x,y)表示边缘图像g中像素点(x,y)处的像素值,Δ_xh(x,y)和Δ_yv(x,y)分别表示图像s(I)水平方向的一阶导数和垂直方向的一阶导数。

进一步的，所述步骤(3)中用基于加权最小二乘法的保边平滑滤波器对边缘图像进行滤波的具体步骤包括：

(4-1)构建目标函数：

其中，

式中，u表示目标图像，u_p表示图像u上p点处的像素值；λ是正则项参数，a_x,p(g)和a_y,p(g)分别表示水平方向上的平滑权重和垂直方向上的平滑权重；l表示边缘图像g的对数亮度通道；α为指数，ε为一个很小的常数；

(4-2)将目标函数转换为矩阵形式：

式中，A_x为包含水平方向上平滑权重的对角矩阵，A_y为包含垂直方向上平滑权重的对角矩阵；D_x和D_y分别为水平方向离散差分算子和垂直方向离散差分算子；

(4-3)求解使目标函数最小化的u。

进一步的，所述求解使目标函数最小化的u的步骤为：

令目标函数等于0，将目标函数转换为：

(Q+λL_g)u＝g (5)

其中，L_g是一个五点空间异性拉普拉斯矩阵，用于从稀疏约束集导出分段平滑调整图，

为与D_x方向相反的后向差分算子，

为与D_y方向相反的后向差分算子；Q为单位矩阵；

根据公式(5)即可计算出u。

进一步的，所述步骤(4)中滤波后的图像的最大梯度和平均梯度分别为：

MG＝max(u(x,y))

AG＝(∑_x,yu(x,y)/(w×h))

式中，MG和AG分别是滤波后的图像的最大梯度和平均梯度，w和h分别为滤波后图像的长度和宽度；

扫描电镜模糊图像I的客观质量分数为：IQA＝MG×AG^-α。

有益效果：与现有的清晰度无参考图像质量评价方法相比，本发明首次把暗通道用到扫描电镜图像质量评价中，并且性能有了明显的提升。

附图说明

图1为本发明的流程图。

具体实施方式

以下结合附图和实施例对本发明的技术方案作进一步说明。

本发明涉及一种基于暗通道的扫描电镜图像清晰度无参考评价方法。由于没有扫描电镜图像数据库，本实施例首先构建了大小为650幅扫描电镜图像的数据库，并通过主观实验得到图像的主观质量分数，从650幅扫描电镜图像中提取出来150幅模糊失真的图像和它对应的主观质量分数，其次对原始扫描电镜模糊图像进行暗通道预处理，再次对预处理后的图像计算它的边缘，得到边缘后对其用基于加权二乘法的保边滤波器进行增强去噪，最后根据人类的视觉特征，把最大梯度和平均梯度的加权作为图像的客观质量分数。本发明第一次把暗通道运用到图像质量评价上面，提出的方法性能优于目前典型的模糊图像质量评价方法。

下面结合附图1对本发明作更进一步的说明。

步骤一：将150幅扫描电镜模糊图像I_i，i＝1,2,……150，对I_i进行暗通道预处理。对图像I_i，定义暗通道为：

s(I_i)(x)是暗通道预处理后的图像；Ω(t)表示以像素点t为中心的一个m×m的窗口，m通过实验取值15最合适；公式中min表示取最小值操作；

表示图像I_i在色度分量c上的像素点z处的像素值。由于扫面电子显微图像都是灰度图像，只有一个通道，所以本发明中

即暗通道的公式为：

步骤二：用Sobel边缘算子提取暗通道预处理后的图像的边缘图像：

g_i(x,y)＝|Δ_xh_i(x,y)|+|Δ_yv_i(x,y)|

Δ_xh_i(x,y)＝s_i(x+1,y-1)+2s_i(x+1,y)+s_i(x+1,y+1)-s_i(x-1,y-1)-2s_i(x-1,y)-s_i(x-1,y+1)

Δ_yv_i(x,y)＝s_i(x-1,y+1)+2s_i(x,y+1)+s_i(x+1,y+1)-s_i(x-1,y-1)-2s_i(x,y-1)-s_i(x+1,y-1)

式中，g_i(x,y)表示边缘图像g_i中像素点(x,y)处的像素值,Δ_xh_i(x,y)和Δ_yv_i(x,y)分别表示暗通道预处理后图像s_i(I)水平方向的一阶导数和垂直方向的一阶导数。

步骤三：用基于加权最小二乘法的保边平滑滤波器对边缘图像g_i(x,y)进行增强，同时去除了噪声。对于输入图像g_i，我们设置目标图像为u_i。一方面我们希望其尽可能近似g_i，于此同时，u_i除了在g_i一些边缘梯度变化比较大的地方外，其整体应该越平滑越好。因此，所述基于加权最小二乘法的保边平滑滤波器对边缘图像进行滤波的具体步骤包括：

求最小化下列目标函数的解。

其中，

式中，目标函数第一项(u_ip-g_ip)²用于使输入图像和输出图像越相似越好，第二项是正则项，通过最小化u_i的偏导，使得输出图像越平滑越好。λ是正则项参数，平衡两者比重，λ越大图像也就越平滑。平滑的权重分别是a_x,p(g_i)和a_y,p(g_i)。其中l_i是输入图像g_i的对数亮度通道，α为指数，而ε是一个很小的常数(通常为0.0001)。

将上式写成矩阵形式：

这里，A_ix和A_iy是包含平滑权重的对角矩阵，D_ix和D_iy是离散差分算子。

令目标函数等于0，将目标函数转换为：

(Q+λL_ig)u_i＝g_i

其中，L_ig是一个五点空间异性拉普拉斯矩阵，

主要用于从稀疏约束集导出分段平滑调整图；

和

是后向差分算子。

步骤四：最后用滤波之后图像的最大梯度和平均梯度的加权作为评价图像的质量分数。图像的最大梯度和平均梯度定义为：

MG_i＝max(u_i(x,y))

AG_i＝(∑_x,yu_i(x,y)/(w_i×h_i))

其中，MG_i和AG_i分别是滤波之后图像的最大梯度和平均梯度，w和h是滤波后的图像的长度和宽度。

扫描电镜模糊图像I_i的客观质量分数为：

IQA_i＝MG_i×AG_i ^-α

通过实验测试可以得出α取0.4366时，结果是最优的。

实验结果以及性能：

为了验证本发明提出的方法的性能，将本实施例预测得到的客观质量分数与主观质量分数进行比较，即判断上述技术方案所得的结果是否与人类视觉感官保持一致。由于本实施获得的客观质量分数与主观质量分数之间是非线性的，所以要对客观质量分数进行一个合适的非线性变换，即通过非线性拟合函数将图像客观质量分数映射到与主观质量分数相同的尺度上。通常选用五参数拟合函数，设定v表示客观质量分数，f(v)的表达式如下：

其中，τ_i,i＝1,2,3,4,5为拟合的参数。

经过非线性拟合之后，可以选用三种常用指标来判定本发明的性能。定义第i幅扫描电镜图像的主观质量分数和经过非线性转换后的客观质量分数分别为k_i和q_i，下面分别介绍三个指标的计算过程。

(1)皮尔森线性相关系数(PLCC)：

其中，N代表扫描电镜图像的数量，

和

分别表示N幅扫描电镜图像的主观质量分数均值和客观质量分数均值。

(2)均方根误差(RMSE)：

(3)斯皮尔曼相关系数(SRCC)：

其中，d_i表示扫描电镜图像I_i的主观质量分数与客观质量分数之间的排序差异。

以上三个性能指标分别从预测准确性和单调性两个角度判断本发明技术方案的性能，其中PLCC和RMSE是算法预测准确性的指标，PLCC和SRCC越高代表算法预测的准确性越高。检验算法的预测单调性指标是RMSE，RMSE越低代表算法能与主观评价保持一致，整体上算法的性能就越好。

表1是本发明和11种典型的清晰度无参考评价方法性能的比较，为了方便观看，最好的性能已经加粗显示。

表1本发明方法和现有清晰度无参考图像质量评价算法的性能对比

由上表，我们可以获得本发明提出来的方法和现有的典型清晰度无参考图像质量评价方法相比具有明显的优势，即PLCC/SRCC的数值明显高于所有方法，而RMSE最低。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于暗通道的扫描电镜图像清晰度无参考评价方法，其特征在于，该方法包括步骤：

(1)获取扫描电镜模糊图像I，对I进行暗通道预处理；

式中，s(I)表示图像I进行暗通道预处理后的图像，s(I)(t)表示s(I)中像素点t处的像素值；Ω(t)表示以像素点t为中心的一个m×m的窗口，m为窗口的宽度；I(z)表示图像I中像素点z处的像素值；

(2)用Sobel边缘算子提取暗通道预处理后的图像的边缘图像；

(3)用基于加权最小二乘法的保边平滑滤波器对边缘图像进行滤波；具体步骤包括：

31)构建目标函数：

其中，

式中，u表示目标图像，u_p表示图像u上p点处的像素值；λ是正则项参数，a_x,p(g)和a_y,p(g)分别表示水平方向上的平滑权重和垂直方向上的平滑权重；l表示边缘图像g的对数亮度通道；α为指数，ε为一个很小的常数；

32)将目标函数转换为矩阵形式：

式中，A_x为包含水平方向上平滑权重的对角矩阵，A_y为包含垂直方向上平滑权重的对角矩阵；D_x和D_y分别为水平方向离散差分算子和垂直方向离散差分算子；

为与D_x方向相反的后向差分算子，

为与D_y方向相反的后向差分算子；

33)求解使目标函数最小化的u；

(4)用滤波之后图像的最大梯度和平均梯度的加权作为评价扫描电镜模糊图像I的客观质量分数；滤波后的图像的最大梯度和平均梯度分别为：

MG＝max(u(x,y))

AG＝(∑_x,yu(x,y)/(w×h))

式中，MG和AG分别是滤波后的图像的最大梯度和平均梯度，w和h分别为滤波后图像的长度和宽度；

扫描电镜模糊图像I的客观质量分数为：IQA＝MG×AG^-α。

2.根据权利要求1所述的一种基于暗通道的扫描电镜图像清晰度无参考评价方法，其特征在于，所述步骤(2)中提取出的边缘图像表达式为：

g(x,y)＝|Δ_xh(x,y)+|Δ_yv(x,y)| (2)

Δ_xh(x,y)＝s(x+1,y-1)+2s(x+1,y)+s(x+1,y+1)-s(x-1,y-1)-2s(x-1,y)-s(x-1,y+1)

Δ_yv(x,y)＝s(x-1,y+1)+2s(x,y+1)+s(x+1,y+1)-s(x-1,y-1)-2s(x,y-1)-s(x+1,y-1)

式中，g表示边缘图像,g(x,y)表示边缘图像g中像素点(x,y)处的像素值,Δ_xh(x,y)和Δ_yv(x,y)分别表示图像s(I)水平方向的一阶导数和垂直方向的一阶导数。

3.根据权利要求2所述的一种基于暗通道的扫描电镜图像清晰度无参考评价方法，其特征在于，所述求解使目标函数最小化的u的步骤为：

令目标函数等于0，将目标函数转换为：

(Q+λL_g)u＝g (5)

其中，L_g是一个五点空间异性拉普拉斯矩阵，用于从稀疏约束集导出分段平滑调整图，

为与D_x方向相反的后向差分算子，

为与D_y方向相反的后向差分算子；Q为单位矩阵；

根据公式(5)计算出u。

Images