CN112215803B - 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法 - Google Patents
一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法 Download PDFInfo
- Publication number
- CN112215803B CN112215803B CN202010964423.0A CN202010964423A CN112215803B CN 112215803 B CN112215803 B CN 112215803B CN 202010964423 A CN202010964423 A CN 202010964423A CN 112215803 B CN112215803 B CN 112215803B
- Authority
- CN
- China
- Prior art keywords
- image
- aluminum plate
- eddy current
- segmentation
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 229910052782 aluminium Inorganic materials 0.000 title claims abstract description 88
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 title claims abstract description 88
- 230000011218 segmentation Effects 0.000 title claims abstract description 78
- 230000007547 defect Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000007689 inspection Methods 0.000 title claims description 22
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000012360 testing method Methods 0.000 claims abstract description 41
- 230000006870 function Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012821 model calculation Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 5
- 239000000523 sample Substances 0.000 description 47
- 238000004422 calculation algorithm Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 12
- 238000010606 normalization Methods 0.000 description 9
- 238000011176 pooling Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000007769 metal material Substances 0.000 description 5
- 229910001094 6061 aluminium alloy Inorganic materials 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)
Abstract
本发明涉及一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法,属于铝板电涡流检测图像缺陷分割技术领域。首先通过电涡流检测平台以C扫描的检测方式对铝板表面缺陷进行检测;其次,处理采集到的信号,获得铝板表面缺陷涡流检测图像;然后构造铝板涡流图像缺陷分割的生成对抗网络模型,模型主要由生成器和判别器组成,生成器采用U‑net模型的思想,将低层特征与对应的高层特征进行跳跃连接;最后为了增强目标特征并抑制背景特征,在高低层特征融合之前采用注意力模块,调整低层特征与高层特征拼接时的权重。相较于传统的图像分割方法,本发明提高了图像特征信息的利用,分割图像更加准确,同时在噪声干扰下依然具有较高的识别能力。
Description
技术领域
本发明涉及一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法,属于铝板电涡流检测图像缺陷分割技术领域。
背景技术
在生产生活中,金属板材中铝板作为重要工业原材料而被广泛的运用,在其应用过程中容易受到各种环境因素影响,不可避免的产生裂纹缺陷损伤,严重制约铝板的正常安全运行。缺陷的存在不仅影响铝板材料的外观,还严重降低了材料的抗腐蚀性、耐磨性等特性,如果不及时发现缺陷的存在可能会导致严重的事故。目前可用于金属材料的无损检测方法包括X射线检测、超声检测、热成像检测和涡流检测等。其中,涡流检测是基于电磁感应原理实现的,具有检测探头无需与测件接触,涡流传播不受材料形态的影响的特点,被广泛应用于金属材料的缺陷检测。但是,涡流检测容易受到环境和人为因素的干扰,而导致涡流图像缺陷区域存在背景噪声干扰的现象,同时由于涡流检测时存在边缘效应的影响,缺陷图像边缘区域不容易识别,但是缺陷的存在会影响金属材料的使用性能,严重的话可能会造成严重的事故。为了能够发现材料中存在的缺陷,使材料在使用过程中更加稳定和安全,分割出材料的缺陷区域成为亟需解决的问题。
由于金属材料的缺陷直接影响金属材料的使用性能,为了检测出材料缺陷的形状等相关信息,对材料的缺陷图像进行分割是十分必要的。常见的图像分割方法主要有阈值分割法、数学形态学分割法等。但是,基于传统的图像分割算法需要通过人工设计的特征对图像进行分割,还需要与其他方法相结合,具有很大的局限性。
随着深度学习的发展,基于深度学习的图像分割算法已经取得了很好的分割效果,但是依然存在一些问题,其图像分割的效果与训练样本数量与样本的分布有密切的关系,算法的适应性较弱。
发明内容
本发明要解决的技术问题是提供一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法,增强图像分割算法的鲁棒性、消除模型对训练样本的数量与分布的过度依赖,针对铝板涡流图像缺陷区域存在背景噪声干扰的现象,解决铝板缺陷图像边缘区域不容易识别、分割效果有待提高的问题。
本发明的技术方案是:一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法,建立在生成对抗网络图像分割模型的基础上,模型主要由生成器与判别器两个部分组成。生成器通过学习训练集的数据分布得到铝板电涡流检测图像的分割图像。判别器对真假样本对进行二进制分类,其中真样本对由铝板涡流检测图像与标签图像构成,假样本对由铝板涡流检测图像与生成的分割图像构成假样本对。
本发明生成器部分采用改进的U-net结构,针对现有的特征图的信息整合方式未考虑到整合时的权重分布,输入特征图各通道的处理采用相同的权重的问题,在生成器部分采用注意力模块,调整不同卷积层特征拼接时的权重,提高图像特征信息的利用,增强目标特征并抑制背景特征,使模型获得更好的图像分割效果。
具体步骤如下:
Step1:获取铝板电涡流检测图像,并对图像进行数据扩充,选择其中部分数据集作为训练集,其余作为做测试集,每一张图像都对应一张手工标注的语义分割标签。
铝板电涡流检测图像通过电涡流检测平台对3mm厚的6061铝板表面以开槽的方式模拟金属待测试件中的疲劳裂纹进行检测。涡流检测探头以C扫描方式对铝板表面进行缺陷检测。电涡流检测实验平台由中国矿业大学机电学院设计与搭建,检测平台主要由三个部分构成:阻抗分析仪、三维移动平台、PC上位机。其中阻抗分析仪型号为WK65120B,用来实现信号的发生、放大、滤波等。电涡流探头固定在三维移动平台上,在PC机的控制下,探头在试件上移动可以获得每个点的阻抗值。涡流探头在移动平台的控制下对铝板试件表面逐点扫描,移动平台的扫描区域为18mm*10mm的矩形区域,每个扫描点的间距为0.5mm,因此,总的扫描点为36*20。在整个扫查过程中,每个点的阻抗值采集3次取平均数保存。
试件缺陷处电导率与磁导率变化会引起感应电压变化,从而反映缺陷信息。通过对传感器采集到的C扫描信号进行处理,可以得到铝板表面缺陷涡流检测图像。为了增强模型的泛化能力,减少过拟合现象,对图像进行旋转,镜像,对比度变换等方式对数据集扩充,其中一部分图像做训练集,另一部分做测试集。每一张图像都对应一张通过labelme标注软件手工标注的语义分割标签。
Step2:构建生成对抗网络,生成对抗网络包括生成器和判别器两个部分,生成器通过学习训练集的数据分布得到铝板电涡流检测图像的分割图像,判别器通过学习输入真假样本对之间的分布差异对其进行二分类;真样本对由铝板涡流图像与通过标注软件得到的手工标注缺陷的铝板涡流图像组成,假样本对由生成器分割图像与铝板涡流图像组成。
生成器网络采用了使用U-Net网络模型的思想,网络结构主要由编码器与解码器构成。编码器网络的功能是通过带降采样的卷积层从输入的铝板涡流检测缺陷图像中提取特征,然后,解码器利用反卷积层对特征图进行上采样来预测最终的分割图像。编码器通过卷积层确保生成网络在学习中能够获得提取铝板涡流检测缺陷图像的从像素级特征到内容级特征的能力。解码器的每一层由两个3×3大小的卷积层、两个归一化层、卷积层的末端使用Relu激活函数和一个2×2大小的池化层(Max Pooling)组成。通过批处理归一化,可以加速整个网络的收敛,提高层与层之间的独立性。
为了提高所提出的网络的分割性能,通过将卷积层的特征图与对应的反卷积层产生的特征图进行级联,在编码器与解码器之间使用了跳过连接(Skip Connect)。这种跳越连接对于分割任务至关重要,因为初始特征图会保留低级特征,而这些特征可以用于图像的精确分割。
判别器的网络模型主要通过卷积层来提取图像中的特征,模型的输出层采用Sigmod函数对输入的图像进行二分类,如果判别为真时输出1,判别为假时输出0。网络中使用ReLU作为非线性激活函数,并且使用批量归一化。池化层采用Maxpooling,可以减小卷积层参数误差造成估计均值的偏移,更多的保留纹理信息。
采用注意力机制,考虑到生成器特征图的信息整合方式未考虑到整合时的权重分布问题,通过注意力机制调整不同尺寸卷积层的特征图权重,提高图像特征信息的利用,增强目标特征并抑制背景特征,使得生成器能够充分学习到缺陷图像的特征分布,提高模型的分割精度。
注意力机制通过注意力权重0≤αi≤1来识别铝板涡流缺陷图像缺陷特征的显著性区域,注意力权重由包含丰富语义信息的高级特征图和包含全局上下文信息的低级特征图得到,计算公式如下:
其中,和分别为第i层低级特征图和高级特征图,Wx、Wg和Ψ为1×1卷积操作,bg和bψ为卷积的偏置项,通过1×1卷积操作,可以有效减少参数数量,降低模型计算复杂度,σ1为ReLU激活函数,σ2为Sigmoid激活函数,通过Sigmoid激活函数将注意力权重归一化至[0,1],输出是输入低级特征图与注意力权重的乘积:
Step3:设计生成对抗网络的损失函数,对模型进行训练。
生成器G从铝板涡流检测图像x学习到标签图像y的映射。然后,判别器D对真假样本进行二进制分类,其中真样本对由铝板涡流检测图像与标签图像构成,假样本对由铝板涡流
G(x)
检测图像与生成的分割图像构成假样本对。训练模型是最小化交叉熵的过程,对分割问题GAN的目标函数可以表述为:
LGAN(G,D)=Ex,y~pdata(x,y)[logD(x,y)]+Ex~pdata(x)[log(1-D(x,G(x)))]
人工标签与生成器生成的分割图像之间距离的损失函数采用二元交叉熵的形式,人工标签与生成器分割的缺陷图像的分割损失表示为:
LSEG(G)=Ex,y~pdata(x,y)-y·log(G(x))-(1-y)·log(1-G(x))
模型总的损失函数可以表示为:
G*=argmin[maxLGAN(G,D)]+LSEG(G)
本发明的有益效果是:
1、本发明通过改进的生成对抗网络,提高了铝板电涡流检测图像缺陷分割的精度。本发明通过基于采用U-net模型的思想,在高低层特征融合之前采用注意力模块,调整低层特征与高层特征拼接时的权重,提高了图像特征信息的利用,增强了目标特征并抑制背景特征。
2、本发明采用生成对抗网络进行训练,使得网络在噪声干扰下依然具有较高的识别能力。
附图说明
图1是本发明的基于生成对抗网络的铝板电涡流检测图像缺陷分割模型的结构示意图;
图2是本发明生成器网络模型的结构示意图;
图3是本发明判别器网络模型的结构示意图;
图4是本发明注意力机制的结构示意图;
图5是本发明不同算法铝板电涡流检测图像分割结果;
图6是本发明不同信噪比下的电涡流检测图像分割结果。
具体实施方式
下面结合附图和具体实施方式,对本发明作进一步说明。
实施例1:实验对铝板涡流检测缺陷图像进行了实验,并将阈值分割Otsu算法及常见的深度学习算法fcn-8s模型、fcn-32s模型、U-net模型与本文算法进行了对比,对不同类型的缺陷的各算法分割效果对比如图5所示。
具体步骤如下:
Step1:铝板电涡流检测图像数据获取;
铝板电涡流检测图像通过电涡流检测平台对3mm厚的6061铝板表面以开槽的方式模拟金属待测试件中的疲劳裂纹进行检测。涡流检测探头以C扫描方式对铝板表面进行缺陷检测。电涡流检测实验平台由中国矿业大学机电学院设计与搭建,检测平台主要由三个部分构成:阻抗分析仪、三维移动平台、PC上位机。其中阻抗分析仪型号为WK65120B,用来实现信号的发生、放大、滤波等。电涡流探头固定在三维移动平台上,在PC机的控制下,探头在试件上移动可以获得每个点的阻抗值。涡流探头在移动平台的控制下对铝板试件表面逐点扫描,移动平台的扫描区域为18mm*10mm的矩形区域,每个扫描点的间距为0.5mm,因此,总的扫描点为36*20。在整个扫查过程中,每个点的阻抗值采集3次取平均数保存。
Step2:构建生成对抗网络;
生成器网络采用了使用U-Net网络模型的思想,网络结构主要由编码器与解码器构成。编码器网络的功能是通过带降采样的卷积层从输入的铝板涡流检测缺陷图像中提取特征,然后,解码器利用反卷积层对特征图进行上采样来预测最终的分割图像。编码器通过卷积层确保生成网络在学习中能够获得提取铝板涡流检测缺陷图像的从像素级特征到内容级特征的能力。解码器的每一层由两个3×3大小的卷积层、两个归一化层、卷积层的末端使用Relu激活函数和一个2×2大小的池化层(Max Pooling)组成。通过批处理归一化,可以加速整个网络的收敛,提高层与层之间的独立性。
采用注意力机制,考虑到生成器特征图的信息整合方式未考虑到整合时的权重分布问题,通过注意力机制调整不同尺寸卷积层的特征图权重,提高图像特征信息的利用,增强目标特征并抑制背景特征,使得生成器能够充分学习到缺陷图像的特征分布,提高模型的分割精度。
判别器的网络模型主要通过卷积层来提取图像中的特征,模型的输出层采用Sigmod函数对输入的图像进行二分类,如果判别为真时输出1,判别为假时输出0。网络中使用ReLU作为非线性激活函数,并且使用批量归一化。池化层采用Maxpooling,可以减小卷积层参数误差造成估计均值的偏移,更多的保留纹理信息。
Step3:网络模型的损失函数;
生成器G从铝板涡流检测图像x学习到标签图像y的映射。然后,判别器D对真假样本进行二进制分类,其中真样本对由铝板涡流检测图像与标签图像构成,假样本对由铝板涡流检测图像与生成的分割图像构成假样G本(x对)。训练模型是最小化交叉熵的过程,对分割问题GAN的目标函数可以表述为:
LGAN(G,D)=Ex,y~pdata(x,y)[logD(x,y)]+Ex~pdata(x)[log(1-D(x,G(x)))]
人工标签与生成器生成的分割图像之间距离的损失函数采用二元交叉熵的形式,人工标签与生成器分割的缺陷图像的分割损失表示为:
LSEG(G)=Ex,y~pdata(x,y)-y·log(G(x))-(1-y)·log(1-G(x))
模型总的损失函数可以表示为:
G*=argmin[maxLGAN(G,D)]+LSEG(G)
所述模型训练步骤如下:
Step3.1:获取铝板涡流检测缺陷图像,作为输入图像;通过对传感器采集到的C扫描信号进行处理,可以得到铝板表面缺陷涡流检测C扫描图像。为了增强模型的泛化能力,减少过拟合现象,对图像进行旋转,镜像,对比度变换等方式对数据集扩充,其中一部分图像做训练集,另一部分做测试集。每一张图像都对应一张通过labelme标注软件手工标注的语义分割标签。
Step3.2:基于所述训练样本集中的输入图像样本通过生成器网络得到铝板电涡流检测图像的分割图像;将其作为生成分割图像.
Step3.3:根据所述铝板电涡流检测图像生成的分割图像与铝板涡流检测图像构成假样本对;铝板涡流检测图像与手工标注的缺陷图像构成真样本对,同时假样本对由铝板涡流检测图像与生成的分割图像构成假样本对。通过改进生成对抗网络的判别器对真假样本对得到铝板电涡流检测图像缺陷区域的分割结果,并获取生成器网络模型的损失值。
Step3.4:获取当前迭代次数,若所述迭代次数大于预设的训练迭代次数,输出训练好的生成器模型,跳转Step3.5;否则基于所述损失值,通过反向传播算法,更新所述生成器模型的参数,令迭代次数加1,跳转Step3.2。
Step3.5:通过训练好的生成器模型获取所述测试样本集中所有输入图像样本的分割图像,并将所述分割图像和所述测试样本集中手工标注的缺陷图像进行比较。
不同算法的分割效果比较;
在3mm厚的6061铝板表面设计三种不同长度的缺陷用来模拟实际生活中产生的三种不同类型的缺陷。涡流检测探头以C扫描方式对铝板表面进行缺陷检测进行检测。通过对涡流检测探头检测到的C扫描信号进行处理,可以得到三种不同类型的铝板电涡流检测图像。将得到的图像按照上述模型训练的步骤处理,可以得到由改进的生成对抗网络模型分割出的铝板电涡流检测图像的缺陷分割图像。同时,为了显示本发明的分割效果优于其他的方法,将得到的三种不同缺陷图像分别用基于传统图像分割方法的阈值分割Otsu算法以及基于深度学习算法fcn-8s模型、fcn-32s模型、U-net模型进行分割,分割效果如图5所示。
实施例2:在实际生产中,涡流检测容易受到工况和工作环境、人为因素的干扰,而导致涡流图像缺陷区域存在不同程度的噪声噪声干扰的现象。为了进一步验证本文方法的鲁棒性,本次实验还进行了不同工况下的对比实验。为模拟不同的工况环境,给样本加入不同程度的高斯白噪声,信噪比为50db,60db,70db。
具体步骤如下:
Step1:铝板电涡流检测图像数据获取;
铝板电涡流检测图像通过电涡流检测平台对3mm厚的6061铝板表面以开槽的方式模拟金属待测试件中的疲劳裂纹进行检测。涡流检测探头以C扫描方式对铝板表面进行缺陷检测。电涡流检测实验平台由中国矿业大学机电学院设计与搭建,检测平台主要由三个部分构成:阻抗分析仪、三维移动平台、PC上位机。其中阻抗分析仪型号为WK65120B,用来实现信号的发生、放大、滤波等。电涡流探头固定在三维移动平台上,在PC机的控制下,探头在试件上移动可以获得每个点的阻抗值。涡流探头在移动平台的控制下对铝板试件表面逐点扫描,移动平台的扫描区域为18mm*10mm的矩形区域,每个扫描点的间距为0.5mm,因此,总的扫描点为36*20。在整个扫查过程中,每个点的阻抗值采集3次取平均数保存。
Step2:构建生成对抗网络;
生成器网络采用了使用U-Net网络模型的思想,网络结构主要由编码器与解码器构成。编码器网络的功能是通过带降采样的卷积层从输入的铝板涡流检测缺陷图像中提取特征,然后,解码器利用反卷积层对特征图进行上采样来预测最终的分割图像。编码器通过卷积层确保生成网络在学习中能够获得提取铝板涡流检测缺陷图像的从像素级特征到内容级特征的能力。解码器的每一层由两个3×3大小的卷积层、两个归一化层、卷积层的末端使用Relu激活函数和一个2×2大小的池化层(Max Pooling)组成。通过批处理归一化,可以加速整个网络的收敛,提高层与层之间的独立性。
采用注意力机制,考虑到生成器特征图的信息整合方式未考虑到整合时的权重分布问题,通过注意力机制调整不同尺寸卷积层的特征图权重,提高图像特征信息的利用,增强目标特征并抑制背景特征,使得生成器能够充分学习到缺陷图像的特征分布,提高模型的分割精度。
判别器的网络模型主要通过卷积层来提取图像中的特征,模型的输出层采用Sigmod函数对输入的图像进行二分类,如果判别为真时输出1,判别为假时输出0。网络中使用ReLU作为非线性激活函数,并且使用批量归一化。池化层采用Maxpooling,可以减小卷积层参数误差造成估计均值的偏移,更多的保留纹理信息。
Step3:网络模型的损失函数;
生成器G从铝板涡流检测图像x学习到标签图像y的映射。然后,判别器D对真假样本进行二进制分类,其中真样本对由铝板涡流检测图像与标签图像构成,假样本对由铝板涡流检测图像与生成的分割图像构成假样本对。训练模型是最小化交叉熵的过程,对分割问题GAN的目标函数可以表述为:
LGAN(G,D)=Ex,y~pdata(x,y)[logD(x,y)]+Ex~pdata(x)[log(1-D(x,G(x)))]
人工标签与生成器生成的分割图像之间距离的损失函数采用二元交叉熵的形式,人工标签与生成器分割的缺陷图像的分割损失表示为:
LSEG(G)=Ex,y~pdata(x,y)-y·log(G(x))-(1-y)·log(1-G(x))
模型总的损失函数可以表示为:
G*=argmin[maxLGAN(G,D)]+LSEG(G)
所述模型训练步骤如下:
Step3.1:获取铝板涡流检测缺陷图像,作为输入图像;通过对传感器采集到的C扫描信号进行处理,可以得到铝板表面缺陷涡流检测C扫描图像。为了增强模型的泛化能力,减少过拟合现象,对图像进行旋转,镜像,对比度变换等方式对数据集扩充,其中一部分图像做训练集,另一部分做测试集。每一张图像都对应一张通过labelme标注软件手工标注的语义分割标签。
Step3.2:基于所述训练样本集中的输入图像样本通过生成器网络得到铝板电涡流检测图像的分割图像;将其作为生成分割图像。
Step3.3:根据所述铝板电涡流检测图像生成的分割图像与铝板涡流检测图像构成假样本对;铝板涡流检测图像与手工标注的缺陷图像构成真样本对,同时假样本对由铝板涡流检测图像与生成的分割图像构成假样本对。通过改进生成对抗网络的判别器对真假样本对得到铝板电涡流检测图像缺陷区域的分割结果,并获取生成器网络模型的损失值。
Step3.4:获取当前迭代次数,若所述迭代次数大于预设的训练迭代次数,输出训练好的生成器模型,跳转Step3.5;否则基于所述损失值,通过反向传播算法,更新所述生成器模型的参数,令迭代次数加1,跳转Step3.2。
Step3.5:通过训练好的生成器模型获取所述测试样本集中所有输入图像样本的分割图像,并将所述分割图像和所述测试样本集中手工标注的缺陷图像进行比较。
不同信噪比下的电涡流检测图像分割
通过Step1铝板电涡流检测图像数据获取可以获得铝板电涡流检测缺陷图像。为了验证本发明的鲁棒性,在得到的原始图像中加入不同信噪比的高斯白噪声来模拟实际工况中涡流检测可能产生的噪声干扰现象。
将加入同一信噪比噪声的图像作维模型训练Step3.1的原始图像。经过模型的训练,最终可以得到基于改进生成对抗网络的加噪声后的铝板电涡流检测图像的缺陷分割图像。同时,为了对比本发明提出方法的分割效果,将加噪后的图像分别用基于传统图像分割方法的阈值分割Otsu算法以及基于深度学习算法fcn-8s模型、fcn-32s模型、U-net模型进行分割。为模拟不同的工况环境,给样本加入不同程度的高斯白噪声,信噪比为50db,60db,70db。电涡流检测图像分割结果比较如图6所示。
当信噪比为50db时,由于噪声的干扰导致图像发生了变形,此时的噪声对于图像的分割的效果有很大的影响。随着信噪比的提高,图像的分割受到噪声的影响也越来越小,分割效果逐渐提升。相比于本文方法,其他的分割算法的分割效果与噪声的信噪比有很大的关系,这是由于本文算法的生成器与判别器之间的对抗学习,使得生成器生成的图像与标签图像尽可能接近。
以上结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (1)
1.一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法,其特征在于:
Step1:获取铝板电涡流检测图像,并对图像进行数据扩充,选择其中部分数据集作为训练集,其余作为做测试集,每一张图像都对应一张手工标注的语义分割标签;
Step2:构建生成对抗网络,生成对抗网络包括生成器和判别器两个部分,生成器通过学习训练集的数据分布得到铝板电涡流检测图像的分割图像,判别器通过学习输入真假样本对之间的分布差异对其进行二分类;真样本对由铝板涡流图像与通过标注软件得到的手工标注缺陷的铝板涡流图像组成,假样本对由生成器分割图像与铝板涡流图像组成;
采用注意力机制,考虑到生成器特征图的信息整合方式未考虑到整合时的权重分布问题,通过注意力机制调整不同尺寸卷积层的特征图权重,提高图像特征信息的利用,增强目标特征并抑制背景特征,使得生成器能够充分学习到缺陷图像的特征分布,提高模型的分割精度;
注意力机制通过注意力权重0≤αi≤1来识别铝板涡流缺陷图像缺陷特征的显著性区域,注意力权重由包含丰富语义信息的高级特征图和包含全局上下文信息的低级特征图得到,计算公式如下:
其中,和分别为第i层低级特征图和高级特征图,Wx、Wg和Ψ为1×1卷积操作,bg和bψ为卷积的偏置项,通过1×1卷积操作,可以有效减少参数数量,降低模型计算复杂度,σ1为ReLU激活函数,σ2为Sigmoid激活函数,通过Sigmoid激活函数将注意力权重归一化至[0,1],输出是输入低级特征图与注意力权重的乘积:
Step3:设计生成对抗网络的损失函数,对模型进行训练,
生成器G从铝板涡流检测图像x学习到标签图像y的映射,然后,判别器D对真假样本进行二进制分类,其中真样本对由铝板涡流检测图像与标签图像构成,假样本对由铝板涡流检测图像与生成的分割图像G(x)构成假样本对,训练模型是最小化交叉熵的过程,对分割问题GAN的目标函数可以表述为:
LGAN(G,D)=Ex,y~pdata(x,y)[logD(x,y)]+Ex~pdata(x)[log(1-D(x,G(x)))]
人工标签与生成器生成的分割图像之间距离的损失函数采用二元交叉熵的形式,人工标签与生成器分割的缺陷图像的分割损失表示为:
LSEG(G)=Ex,y~pdata(x,y)-y·log(G(x))-(1-y)·log(1-G(x))
模型总的损失函数可以表示为:
G*=arg min[maxLGAN(G,D)]+LSEG(G)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010964423.0A CN112215803B (zh) | 2020-09-15 | 2020-09-15 | 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010964423.0A CN112215803B (zh) | 2020-09-15 | 2020-09-15 | 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112215803A CN112215803A (zh) | 2021-01-12 |
CN112215803B true CN112215803B (zh) | 2022-07-12 |
Family
ID=74049467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010964423.0A Active CN112215803B (zh) | 2020-09-15 | 2020-09-15 | 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112215803B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112801962B (zh) * | 2021-01-19 | 2022-09-16 | 上海大学 | 基于正样本学习的半监督工业制品瑕疵检测方法及*** |
CN113065470A (zh) * | 2021-04-02 | 2021-07-02 | 金陵科技学院 | 基于多特征融合及注意力权重避障的消毒机器人设计方法 |
CN113239930B (zh) * | 2021-05-14 | 2024-04-05 | 广州广电运通金融电子股份有限公司 | 一种玻璃纸缺陷识别方法、***、装置及存储介质 |
CN113658108A (zh) * | 2021-07-22 | 2021-11-16 | 西南财经大学 | 一种基于深度学习的玻璃缺陷检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296687A (zh) * | 2016-08-10 | 2017-01-04 | 浙江理工大学 | 基于掩模技术的磁环表面缺陷提取方法 |
CN109544555A (zh) * | 2018-11-26 | 2019-03-29 | 陕西师范大学 | 基于生成式对抗网络的细小裂缝分割方法 |
CN109829891A (zh) * | 2019-01-02 | 2019-05-31 | 浙江大学 | 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法 |
CN110322445A (zh) * | 2019-06-12 | 2019-10-11 | 浙江大学 | 一种基于最大化预测和标签间相关性损失函数的语义分割方法 |
CN111220699A (zh) * | 2020-03-09 | 2020-06-02 | 昆明理工大学 | 一种基于环形阵列探头的管道涡流无损检测装置及方法 |
CN111382686A (zh) * | 2020-03-04 | 2020-07-07 | 上海海事大学 | 一种基于半监督生成对抗网络的车道线检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10891778B2 (en) * | 2018-01-10 | 2021-01-12 | The Board Of Trustees Of The University Of Illinois | Apparatus and method for producing three-dimensional models from magnetic resonance imaging |
CN111259906B (zh) * | 2020-01-17 | 2023-04-07 | 陕西师范大学 | 含多级通道注意力的条件生成对抗遥感图像目标分割方法 |
CN111340791A (zh) * | 2020-03-02 | 2020-06-26 | 浙江浙能技术研究院有限公司 | 一种基于gan改进算法的光伏组件无监督缺陷检测方法 |
CN111429436B (zh) * | 2020-03-29 | 2022-03-15 | 西北工业大学 | 一种基于多尺度注意力和标签损失的本质图像分析方法 |
-
2020
- 2020-09-15 CN CN202010964423.0A patent/CN112215803B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296687A (zh) * | 2016-08-10 | 2017-01-04 | 浙江理工大学 | 基于掩模技术的磁环表面缺陷提取方法 |
CN109544555A (zh) * | 2018-11-26 | 2019-03-29 | 陕西师范大学 | 基于生成式对抗网络的细小裂缝分割方法 |
CN109829891A (zh) * | 2019-01-02 | 2019-05-31 | 浙江大学 | 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法 |
CN110322445A (zh) * | 2019-06-12 | 2019-10-11 | 浙江大学 | 一种基于最大化预测和标签间相关性损失函数的语义分割方法 |
CN111382686A (zh) * | 2020-03-04 | 2020-07-07 | 上海海事大学 | 一种基于半监督生成对抗网络的车道线检测方法 |
CN111220699A (zh) * | 2020-03-09 | 2020-06-02 | 昆明理工大学 | 一种基于环形阵列探头的管道涡流无损检测装置及方法 |
Non-Patent Citations (4)
Title |
---|
Objective Analysis of Neck Muscle Boundaries for Cervical Dystonia Using Ultrasound Imaging and Deep Learning;Ian Loram等;《网页在线公开:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8954690》;20200109;第1-12页 * |
基于Matlab软件对影像提取地性线的方法;叶波等;《安徽农学通报》;20141020(第18期);第123-126页 * |
基于相似度矩阵的谱聚类集成图像分割;张琦等;《传感器与微***》;20140103;第32卷(第10期);第21-23页 * |
面向图像语义分割的生成对抗网络模型;张嘉祺等;《传感器与微***》;20190807;第38卷(第8期);第50-53页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112215803A (zh) | 2021-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112215803B (zh) | 一种基于改进生成对抗网络的铝板电涡流检测图像缺陷分割方法 | |
CN113362326B (zh) | 一种电池焊点缺陷的检测方法及装置 | |
CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
CN108573225B (zh) | 一种局部放电信号模式识别方法及*** | |
CN108288088A (zh) | 一种基于端到端全卷积神经网络的场景文本检测方法 | |
CN109829903B (zh) | 一种基于卷积去噪自编码器的芯片表面缺陷检测方法 | |
CN106950276B (zh) | 一种基于卷积神经网络的管道缺陷深度的反演方法 | |
CN103116744B (zh) | 基于mrf和svm-knn分类的假指纹检测方法 | |
CN110349126A (zh) | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 | |
Lin et al. | Welding defect detection based on local image enhancement | |
CN110363746B (zh) | 一种基于卷积神经网络的超声无损检测信号分类方法 | |
CN102928435A (zh) | 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置 | |
CN111753828A (zh) | 一种基于深度卷积神经网络的自然场景水平文字检测方法 | |
CN106157232B (zh) | 一种数字图像特征感知的通用隐写分析方法 | |
CN117036348B (zh) | 基于图像处理和裂纹识别模型的金属疲劳裂纹检测方法 | |
CN111553898A (zh) | 一种基于卷积神经网络的面料疵点检测方法 | |
CN111753877B (zh) | 一种基于深度神经网络迁移学习的产品质量检测方法 | |
CN104574417A (zh) | 一种图像边缘灰度起伏性度量与自适应检测方法 | |
CN115861226A (zh) | 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法 | |
CN115656335A (zh) | 一种轴承套圈内部缺陷快速检测与识别方法 | |
Li et al. | Wafer crack detection based on yolov4 target detection method | |
CN106404893A (zh) | 一种轴向漏磁缺陷信号自动检测方法 | |
CN116152674A (zh) | 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法 | |
Xin et al. | A fine extraction algorithm for image-based surface cracks in underwater dams | |
CN112508862B (zh) | 一种通过改进gan增强裂纹磁光图像的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |