CN108288267B - 一种基于暗通道的扫描电镜图像清晰度无参考评价方法 - Google Patents
一种基于暗通道的扫描电镜图像清晰度无参考评价方法 Download PDFInfo
- Publication number
- CN108288267B CN108288267B CN201810042657.2A CN201810042657A CN108288267B CN 108288267 B CN108288267 B CN 108288267B CN 201810042657 A CN201810042657 A CN 201810042657A CN 108288267 B CN108288267 B CN 108288267B
- Authority
- CN
- China
- Prior art keywords
- image
- scanning electron
- electron microscope
- edge
- dark channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000001000 micrograph Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000009499 grossing Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000013441 quality evaluation Methods 0.000 abstract description 12
- 241000282414 Homo sapiens Species 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于暗通道的扫描电镜图像清晰度无参考评价方法,包括步骤:对原始扫描电镜模糊图像进行暗通道预处理,再次对预处理后的图像计算它的边缘,得到边缘后对其用基于加权二乘法的保边滤波器进行增强去噪,最后根据人类的视觉特征,把最大梯度和平均梯度的加权作为图像的质量分数。本发明第一次把暗通道运用到扫描电镜图像质量评价上面,提出的方法性能优于目前典型的模糊图像质量评价方法。
Description
技术领域
本发明涉及图像质量评价领域,尤其是一种基于暗通道的扫描电镜图像清晰度无参考评价方法。
背景技术
扫描电镜图像拓宽了人类的视觉,提供了获取细微结构信息的途径。在获取扫描电镜图像的过程中会引起各种不同类型的失真,这些失真直接影响人类对研究物品的判断,所以扫描电镜图像的质量评价具有十分重要的意义,但是目前扫描电镜图像的质量评价并没有得到关注。扫描电镜图像在成像过程中图像清晰度是最重要的一个技术指标,通常需要通过反复调整成像参数和设置获得清晰的图像,费时费力,所以急需一种专门针对扫描电镜清晰度评价的方法。
现有的评价图像清晰度的方法很多,下面对这些部分方法进行介绍。
清晰度无参考质量评价:近年来提出了一些图像模糊评价算法。文献Marziliano[1]等首次提出用Sobel算子检测图像边缘,然后计算边缘宽度。Ferzli[2]等提出恰可察觉模糊(JNB)方法,该方法将JNB的概念结合到概率总和模型,能预测不同内容的图像的相对模糊量。Niranjan[3]等人基于不同对比度值的人类模糊感知研究,计算每条边缘的模糊概率提出检测模糊累计概率(CPBD)方法改进了JNB方法。Bahrami[4]等在文献中定义了每个像素的最大局部差异(MLV)作为此像素与它的8-邻域的最大强度差异,每个像素的MLV分布的标准差就是清晰度的表征。
以上方法都没有针对扫描电镜图像进行设计,而且通过实验得出这些方法在评价扫描电镜图像质量方面性能都不理想,所以急需一种专门评价扫描电镜图像清晰度的方法。
[1]Marziliano P,Dufaux F,Winkler S,et al.Perceptual blur and ringingmetrics:application to JPEG2000[J].Signal processing:Image communication,2004,19(2):163-172.
[2]Ferzli R,Karam L J.A no-reference objective image sharpness metricbased on the notion of just noticeable blur(JNB)[J].IEEE Transactions onImage Processing,2009,18(4):717-728.
[3]Narvekar N D,Karam L J.A no-reference image blur metric based onthe cumulative probability of blur detection(CPBD)[J].IEEE Transactions onImage Processing,2011,20(9):2678-2683.
[4]Bahrami K,Kot A C.A fast approach for no-reference image sharpnessassessment based on maximum local variation[J].IEEE Signal ProcessingLetters,2014,21(6):751-755.
发明内容
发明目的:本发明针对现有的清晰度评价方法并不适合扫描电镜图像,提出了专门针对扫描电镜图像清晰度评价的方法,一种基于暗通道的扫描电镜图像清晰度无参考评价方法。
技术方案:本发明提出的技术方案为:
一种基于暗通道的扫描电镜图像清晰度无参考评价方法,该方法包括步骤:
(1)获取扫描电镜模糊图像I,对I进行暗通道预处理;
(2)用Sobel边缘算子提取暗通道预处理后的图像的边缘图像;
(3)用基于加权最小二乘法的保边平滑滤波器对边缘图像进行滤波;
(4)用滤波之后图像的最大梯度和平均梯度的加权作为评价扫描电镜模糊图像I的客观质量分数。
进一步的,所述步骤(1)中对图像I进行暗通道预处理的表达式为:
式中,s(I)表示图像I进行暗通道预处理后的图像,s(I)(t)表示s(I)中像素点t处的像素值;Ω(t)表示以像素点t为中心的一个m×m的窗口,m为窗口的宽度;I(z)表示图像I中像素点z处的像素值。
进一步的,所述步骤(2)中提取出的边缘图像表达式为:
g(x,y)=|Δxh(x,y)|+|Δyv(x,y)| (2)
Δxh(x,y)=s(x+1,y-1)+2s(x+1,y)+s(x+1,y+1)-s(x-1,y-1)-2s(x-1,y)-s(x-1,y+1)
Δyv(x,y)=s(x-1,y+1)+2s(x,y+1)+s(x+1,y+1)-s(x-1,y-1)-2s(x,y-1)-s(x+1,y-1)
式中,g表示边缘图像,g(x,y)表示边缘图像g中像素点(x,y)处的像素值,Δxh(x,y)和Δyv(x,y)分别表示图像s(I)水平方向的一阶导数和垂直方向的一阶导数。
进一步的,所述步骤(3)中用基于加权最小二乘法的保边平滑滤波器对边缘图像进行滤波的具体步骤包括:
(4-1)构建目标函数:
式中,u表示目标图像,up表示图像u上p点处的像素值;λ是正则项参数,ax,p(g)和ay,p(g)分别表示水平方向上的平滑权重和垂直方向上的平滑权重;l表示边缘图像g的对数亮度通道;α为指数,ε为一个很小的常数;
(4-2)将目标函数转换为矩阵形式:
式中,Ax为包含水平方向上平滑权重的对角矩阵,Ay为包含垂直方向上平滑权重的对角矩阵;Dx和Dy分别为水平方向离散差分算子和垂直方向离散差分算子;
(4-3)求解使目标函数最小化的u。
进一步的,所述求解使目标函数最小化的u的步骤为:
令目标函数等于0,将目标函数转换为:
(Q+λLg)u=g (5)
根据公式(5)即可计算出u。
进一步的,所述步骤(4)中滤波后的图像的最大梯度和平均梯度分别为:
MG=max(u(x,y))
AG=(∑x,yu(x,y)/(w×h))
式中,MG和AG分别是滤波后的图像的最大梯度和平均梯度,w和h分别为滤波后图像的长度和宽度;
扫描电镜模糊图像I的客观质量分数为:IQA=MG×AG-α。
有益效果:与现有的清晰度无参考图像质量评价方法相比,本发明首次把暗通道用到扫描电镜图像质量评价中,并且性能有了明显的提升。
附图说明
图1为本发明的流程图。
具体实施方式
以下结合附图和实施例对本发明的技术方案作进一步说明。
本发明涉及一种基于暗通道的扫描电镜图像清晰度无参考评价方法。由于没有扫描电镜图像数据库,本实施例首先构建了大小为650幅扫描电镜图像的数据库,并通过主观实验得到图像的主观质量分数,从650幅扫描电镜图像中提取出来150幅模糊失真的图像和它对应的主观质量分数,其次对原始扫描电镜模糊图像进行暗通道预处理,再次对预处理后的图像计算它的边缘,得到边缘后对其用基于加权二乘法的保边滤波器进行增强去噪,最后根据人类的视觉特征,把最大梯度和平均梯度的加权作为图像的客观质量分数。本发明第一次把暗通道运用到图像质量评价上面,提出的方法性能优于目前典型的模糊图像质量评价方法。
下面结合附图1对本发明作更进一步的说明。
步骤一:将150幅扫描电镜模糊图像Ii,i=1,2,……150,对Ii进行暗通道预处理。对图像Ii,定义暗通道为:
s(Ii)(x)是暗通道预处理后的图像;Ω(t)表示以像素点t为中心的一个m×m的窗口,m通过实验取值15最合适;公式中min表示取最小值操作;表示图像Ii在色度分量c上的像素点z处的像素值。由于扫面电子显微图像都是灰度图像,只有一个通道,所以本发明中即暗通道的公式为:
步骤二:用Sobel边缘算子提取暗通道预处理后的图像的边缘图像:
gi(x,y)=|Δxhi(x,y)|+|Δyvi(x,y)|
Δxhi(x,y)=si(x+1,y-1)+2si(x+1,y)+si(x+1,y+1)-si(x-1,y-1)-2si(x-1,y)-si(x-1,y+1)
Δyvi(x,y)=si(x-1,y+1)+2si(x,y+1)+si(x+1,y+1)-si(x-1,y-1)-2si(x,y-1)-si(x+1,y-1)
式中,gi(x,y)表示边缘图像gi中像素点(x,y)处的像素值,Δxhi(x,y)和Δyvi(x,y)分别表示暗通道预处理后图像si(I)水平方向的一阶导数和垂直方向的一阶导数。
步骤三:用基于加权最小二乘法的保边平滑滤波器对边缘图像gi(x,y)进行增强,同时去除了噪声。对于输入图像gi,我们设置目标图像为ui。一方面我们希望其尽可能近似gi,于此同时,ui除了在gi一些边缘梯度变化比较大的地方外,其整体应该越平滑越好。因此,所述基于加权最小二乘法的保边平滑滤波器对边缘图像进行滤波的具体步骤包括:
求最小化下列目标函数的解。
其中,
式中,目标函数第一项(uip-gip)2用于使输入图像和输出图像越相似越好,第二项是正则项,通过最小化ui的偏导,使得输出图像越平滑越好。λ是正则项参数,平衡两者比重,λ越大图像也就越平滑。平滑的权重分别是ax,p(gi)和ay,p(gi)。其中li是输入图像gi的对数亮度通道,α为指数,而ε是一个很小的常数(通常为0.0001)。
将上式写成矩阵形式:
这里,Aix和Aiy是包含平滑权重的对角矩阵,Dix和Diy是离散差分算子。
令目标函数等于0,将目标函数转换为:
(Q+λLig)ui=gi
步骤四:最后用滤波之后图像的最大梯度和平均梯度的加权作为评价图像的质量分数。图像的最大梯度和平均梯度定义为:
MGi=max(ui(x,y))
AGi=(∑x,yui(x,y)/(wi×hi))
其中,MGi和AGi分别是滤波之后图像的最大梯度和平均梯度,w和h是滤波后的图像的长度和宽度。
扫描电镜模糊图像Ii的客观质量分数为:
IQAi=MGi×AGi -α
通过实验测试可以得出α取0.4366时,结果是最优的。
实验结果以及性能:
为了验证本发明提出的方法的性能,将本实施例预测得到的客观质量分数与主观质量分数进行比较,即判断上述技术方案所得的结果是否与人类视觉感官保持一致。由于本实施获得的客观质量分数与主观质量分数之间是非线性的,所以要对客观质量分数进行一个合适的非线性变换,即通过非线性拟合函数将图像客观质量分数映射到与主观质量分数相同的尺度上。通常选用五参数拟合函数,设定v表示客观质量分数,f(v)的表达式如下:
其中,τi,i=1,2,3,4,5为拟合的参数。
经过非线性拟合之后,可以选用三种常用指标来判定本发明的性能。定义第i幅扫描电镜图像的主观质量分数和经过非线性转换后的客观质量分数分别为ki和qi,下面分别介绍三个指标的计算过程。
(1)皮尔森线性相关系数(PLCC):
(2)均方根误差(RMSE):
(3)斯皮尔曼相关系数(SRCC):
其中,di表示扫描电镜图像Ii的主观质量分数与客观质量分数之间的排序差异。
以上三个性能指标分别从预测准确性和单调性两个角度判断本发明技术方案的性能,其中PLCC和RMSE是算法预测准确性的指标,PLCC和SRCC越高代表算法预测的准确性越高。检验算法的预测单调性指标是RMSE,RMSE越低代表算法能与主观评价保持一致,整体上算法的性能就越好。
表1是本发明和11种典型的清晰度无参考评价方法性能的比较,为了方便观看,最好的性能已经加粗显示。
表1本发明方法和现有清晰度无参考图像质量评价算法的性能对比
由上表,我们可以获得本发明提出来的方法和现有的典型清晰度无参考图像质量评价方法相比具有明显的优势,即PLCC/SRCC的数值明显高于所有方法,而RMSE最低。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种基于暗通道的扫描电镜图像清晰度无参考评价方法,其特征在于,该方法包括步骤:
(1)获取扫描电镜模糊图像I,对I进行暗通道预处理;
式中,s(I)表示图像I进行暗通道预处理后的图像,s(I)(t)表示s(I)中像素点t处的像素值;Ω(t)表示以像素点t为中心的一个m×m的窗口,m为窗口的宽度;I(z)表示图像I中像素点z处的像素值;
(2)用Sobel边缘算子提取暗通道预处理后的图像的边缘图像;
(3)用基于加权最小二乘法的保边平滑滤波器对边缘图像进行滤波;具体步骤包括:
31)构建目标函数:
式中,u表示目标图像,up表示图像u上p点处的像素值;λ是正则项参数,ax,p(g)和ay,p(g)分别表示水平方向上的平滑权重和垂直方向上的平滑权重;l表示边缘图像g的对数亮度通道;α为指数,ε为一个很小的常数;
32)将目标函数转换为矩阵形式:
式中,Ax为包含水平方向上平滑权重的对角矩阵,Ay为包含垂直方向上平滑权重的对角矩阵;Dx和Dy分别为水平方向离散差分算子和垂直方向离散差分算子;为与Dx方向相反的后向差分算子,为与Dy方向相反的后向差分算子;
33)求解使目标函数最小化的u;
(4)用滤波之后图像的最大梯度和平均梯度的加权作为评价扫描电镜模糊图像I的客观质量分数;滤波后的图像的最大梯度和平均梯度分别为:
MG=max(u(x,y))
AG=(∑x,yu(x,y)/(w×h))
式中,MG和AG分别是滤波后的图像的最大梯度和平均梯度,w和h分别为滤波后图像的长度和宽度;
扫描电镜模糊图像I的客观质量分数为:IQA=MG×AG-α。
2.根据权利要求1所述的一种基于暗通道的扫描电镜图像清晰度无参考评价方法,其特征在于,所述步骤(2)中提取出的边缘图像表达式为:
g(x,y)=|Δxh(x,y)+|Δyv(x,y)| (2)
Δxh(x,y)=s(x+1,y-1)+2s(x+1,y)+s(x+1,y+1)-s(x-1,y-1)-2s(x-1,y)-s(x-1,y+1)
Δyv(x,y)=s(x-1,y+1)+2s(x,y+1)+s(x+1,y+1)-s(x-1,y-1)-2s(x,y-1)-s(x+1,y-1)
式中,g表示边缘图像,g(x,y)表示边缘图像g中像素点(x,y)处的像素值,Δxh(x,y)和Δyv(x,y)分别表示图像s(I)水平方向的一阶导数和垂直方向的一阶导数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810042657.2A CN108288267B (zh) | 2018-01-17 | 2018-01-17 | 一种基于暗通道的扫描电镜图像清晰度无参考评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810042657.2A CN108288267B (zh) | 2018-01-17 | 2018-01-17 | 一种基于暗通道的扫描电镜图像清晰度无参考评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108288267A CN108288267A (zh) | 2018-07-17 |
CN108288267B true CN108288267B (zh) | 2022-04-05 |
Family
ID=62835521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810042657.2A Active CN108288267B (zh) | 2018-01-17 | 2018-01-17 | 一种基于暗通道的扫描电镜图像清晰度无参考评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108288267B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111273581B (zh) * | 2020-01-23 | 2021-11-09 | 深圳市大拿科技有限公司 | 一种智能衣柜的控制方法及相关产品 |
CN117934384A (zh) * | 2023-12-28 | 2024-04-26 | 北京中科科仪光电科技有限公司 | 一种适用于扫描电镜的图像质量评估方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104637064A (zh) * | 2015-02-28 | 2015-05-20 | 中国科学院光电技术研究所 | 一种基于边缘强度权重的离焦模糊图像清晰度检测方法 |
US20160071244A1 (en) * | 2014-09-04 | 2016-03-10 | National Taipei University Of Technology | Method and system for image haze removal based on hybrid dark channel prior |
CN106934770A (zh) * | 2017-02-08 | 2017-07-07 | 中国矿业大学 | 一种评价雾霾图像去雾效果的方法和装置 |
-
2018
- 2018-01-17 CN CN201810042657.2A patent/CN108288267B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160071244A1 (en) * | 2014-09-04 | 2016-03-10 | National Taipei University Of Technology | Method and system for image haze removal based on hybrid dark channel prior |
CN104637064A (zh) * | 2015-02-28 | 2015-05-20 | 中国科学院光电技术研究所 | 一种基于边缘强度权重的离焦模糊图像清晰度检测方法 |
CN106934770A (zh) * | 2017-02-08 | 2017-07-07 | 中国矿业大学 | 一种评价雾霾图像去雾效果的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108288267A (zh) | 2018-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10339643B2 (en) | Algorithm and device for image processing | |
JP5389903B2 (ja) | 最適映像選択 | |
CN107507173B (zh) | 一种全切片图像的无参考清晰度评估方法及*** | |
CN101877127B (zh) | 基于梯度剖面的图像无参考质量评价方法及*** | |
US8908989B2 (en) | Recursive conditional means image denoising | |
Zheng et al. | No-reference quality assessment for screen content images based on hybrid region features fusion | |
CN111932510B (zh) | 一种图像清晰度的确定方法及装置 | |
Harb et al. | Improved image magnification algorithm based on Otsu thresholding | |
CN110796615A (zh) | 一种图像去噪方法、装置以及存储介质 | |
CN106651792B (zh) | 一种卫星影像条带噪声去除方法及装置 | |
Smith et al. | Effect of pre-processing on binarization | |
CN111445058B (zh) | 数据分析方法、装置、设备及计算机可读存储介质 | |
CN108288267B (zh) | 一种基于暗通道的扫描电镜图像清晰度无参考评价方法 | |
CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
Das et al. | A comparative study of single image fog removal methods | |
US20120224783A1 (en) | Methods and Systems for Document-Image Correction | |
CN112651945A (zh) | 一种基于多特征的多曝光图像感知质量评价方法 | |
CN114820394A (zh) | 一种基于稳健参数估计的图像噪点滤波方法及装置 | |
CN112819739A (zh) | 一种扫描电子显微镜图像处理方法和*** | |
CN111445435A (zh) | 一种基于多区块小波变换的无参考图像质量评价方法 | |
CN115294035B (zh) | 亮点定位方法、亮点定位装置、电子设备及存储介质 | |
CN115424107A (zh) | 基于图像融合与深度学习的水下桥墩表观病害检测方法 | |
CN115482178A (zh) | 基于显著特征差异的多聚焦图像融合方法及*** | |
CN114862762A (zh) | 人体扫描图像的质量评估方法及其装置 | |
Zhang et al. | Reduced-reference image quality assessment based on entropy differences in DCT domain |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |