CN112037219B - 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 - Google Patents
一种基于两阶段卷积神经网络的金属表面缺陷检测方法 Download PDFInfo
- Publication number
- CN112037219B CN112037219B CN202011034921.1A CN202011034921A CN112037219B CN 112037219 B CN112037219 B CN 112037219B CN 202011034921 A CN202011034921 A CN 202011034921A CN 112037219 B CN112037219 B CN 112037219B
- Authority
- CN
- China
- Prior art keywords
- network
- defect
- classification
- cnn
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 160
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 140
- 239000002184 metal Substances 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 55
- 230000004927 fusion Effects 0.000 claims description 18
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract 1
- 229910000831 Steel Inorganic materials 0.000 description 7
- 239000010959 steel Substances 0.000 description 7
- 238000005070 sampling Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 102100033620 Calponin-1 Human genes 0.000 description 2
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及一种基于两阶段卷积神经网络的金属表面缺陷检测方法,包括以下步骤:建立图像数据集,构建两阶段卷积神经网络,所述的两阶段卷积神经网络包括缺陷分割子网络、缺陷分类子网络和分类器,将图像数据集中的图像输入到两阶段卷积神经网络中进行训练,获取训练好的两阶段卷积神经网络,将待检测的金属表面缺陷图像输入训练好的两阶段卷积神经网络,获取金属表面缺陷分类结果。与现有技术相比,本发明具有网络结构优化轻量,有效提高分类效果,提高对缺陷分类的准确性,分类效率高。
Description
技术领域
本发明涉及图像识别领域,尤其是涉及一种基于两阶段卷积神经网络的金属表面缺陷检测方法。
背景技术
钢铁表面缺陷会导致其质量下降,影响其安全性和可靠性,对于缺陷进行快速分类识别可以找出并减少损坏情况。因此,缺陷分类的效率和准确性是钢铁产品质量控制的关键。缺陷检测需要识别出钢铁缺陷的区域并根据缺陷的外观推断出缺陷的类别,因此检测是检测,定位和分类的组合过程。
视觉检查是制造业中常见的缺陷检测方法。但是,由于采样率低,精度低,实时性差,受人工经验和其他不利因素的影响很大,因此人工检查不足以保证检测的可靠性。基于机器视觉的表面缺陷检测方法在安全性,准确性,便利性和效率方面具有绝对优势,是实现钢铁行业制造自动化和智能化的有效手段。但传统缺陷检测通常需要基于经验设计的人工特征提取,同时很多方法对于光照变化比较敏感。所以尽管基于机器视觉的传统方法能够完成对于表面缺陷的自动检测,但这种方法缺乏鲁棒性,并且不利于处理复杂的分类问题及定位缺陷区域。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于两阶段卷积神经网络的金属表面缺陷检测方法。
本发明的目的可以通过以下技术方案来实现:
一种基于两阶段卷积神经网络的金属表面缺陷检测方法,包括以下步骤:
S1:建立图像数据集,所述的图像数据集包括金属表面缺陷图像;
S2:构建两阶段卷积神经网络,所述的两阶段卷积神经网络包括缺陷分割子网络、缺陷分类子网络和分类器,所述的缺陷分割子网络对金属表面缺陷图像进行处理获取缺陷分割特征图,所述的缺陷分类子网络和分类器对金属表面缺陷图像进行缺陷类型判断;
S3:将图像数据集中的图像输入到两阶段卷积神经网络中进行训练,获取训练好的两阶段卷积神经网络;
S4:将待检测的金属表面缺陷图像输入训练好的两阶段卷积神经网络,获取金属表面缺陷分类结果。
优选地,所述的缺陷分割子网络包括依次连接的CNN分割网络、ASPP网络和融合模块,CNN分割网络的输出的特征图送入ASPP网络进行处理,ASPP网络的输出特征图送入融合模块得到缺陷分割特征图。
优选地,所述的CNN分割网络包括9个5x5卷积层、1个15x15卷积层和1个1×1卷积层和3个最大池化层,所述的CNN分割网络中的每个卷积层后依次设置BN层和ReLU层。
优选地,所述的ASPP网络包括并行设置的一个1×1卷积层和三个3×3空洞卷积层。
优选地,所述的缺陷分类子网络包括两个CNN分类网络,所述的两个CNN网络分别为第一CNN分类网络和第二CNN分类网络,将缺陷分割特征图输入到第一CNN分类网络,获取第一分类特征图,将原始图像输入到第二CNN分类网络,获取第二分类特征图,第一分类特征图和第二分类特征图融合后送入分类器分类。
优选地,所述的CNN分类网络包括依次连接的卷积层、最大池化层、卷积层、最大池化层、卷积层、卷积层、最大池化层、全局池化层和两个全连接层。
优选地,所述的分类器包括一个融合模块和一个softmax分类器,第一分类特征图和第二分类特征图送入融合模块进行融合,获取融合向量,将融合向量馈入softmax分类器中,获取缺陷分类结果。
优选地,所述的S3的具体步骤包括:
S31:将图像数据集中的图像输入到缺陷分割子网络中,对缺陷分割子网络进行训练,获取训练好的缺陷分割子网络;
S32:固定训练好的缺陷分割子网络的参数,将图像数据集中的图像输入到缺陷分割子网络中,对缺陷分类子网络进行训练,获取训练好的缺陷分类子网络;
S33:固定缺陷分割子网络、缺陷分类子网络的参数,将图像数据集中的图像输入到两阶段卷积神经网络中,获取训练好的两阶段卷积神经网络。
优选地,S31中训练缺陷分割子网络时,建立缺陷分割子网络的损失函数并最小化缺陷分割子网络的损失函数进行训练:
其中,N为训练样本个数,i为训练样本标号,θseg为缺陷分割子网络参数,并且θseg={Wseg,bseg},Wseg为缺陷分割子网络的权重参数,bseg为缺陷分割子网络的偏差参数,xi为原图像,mi原图像对应的缺陷分割蒙版,L(.)为损失函数,sigmoid(.)为sigmoid激活函数,pseg(.)为将xi映射到类分数sseg的函数。
优选地,所述的缺陷分类子网络包括第一CNN分类网络和第二CNN分类网络,所述的S32中训练缺陷分类子网络时,固定训练好缺陷分割子网络的参数,
建立第一CNN分类网络的损失函数,并最小化第一CNN分类网络的损失函数进行训练:
其中,N为训练样本个数,i为训练样本标号,C训练样本标签总数,c为训练样本标签标号,prec(.)为将xi映射到类分数srec的函数,xi为原图像,yi为原图像对应的图像标签向量,θseg为分割网络参数,θα为第一CNN分类网络参数,并且,θα={Wα,bα},Wα为第一CNN分类网络的权重参数,bα为第一CNN分类网络的偏差参数,L(.)为损失函数,softmax(.)为softmax函数,
建立第二CNN分类网络的损失函数,并最小化第二CNN分类网络的损失函数进行训练:
其中,θβ为第二CNN分类网络参数,并且,Wβ为第二CNN分类网络参数的权重参数,bβ为第二CNN分类网络参数的偏差参数,prec(.)为将xi映射到类分数srec的函数。
优选地,所述的S33中建立两阶段卷积神经网络的损失函数,并最小化两阶段卷积神经网络的损失函数进行训练:
其中,N为训练样本个数,i为训练样本标号,C训练样本标签总数,c为训练样本标签标号,L(.)为损失函数,softmax(.)为softmax函数,prec(.)为将xi映射到类分数srec的函数,xi为原图像,yi为原图像对应的图像标签向量,θseg为缺陷分割子网络参数,θα为第一CNN分类网络参数,θβ为第二CNN分类网络参数,θF为两阶段卷积神经网络参数,并且θF={WF,bF},WF为两阶段卷积神经网络的权重参数,bF为两阶段卷积神经网络的偏差参数。
与现有技术相比,本发明具有以下优点:
本发明的两阶段卷积神经网络是一种轻量级神经网络,可以将缺陷图像转换为像素级预测蒙版,并快速获取真实的缺陷类别,为了使得缺陷目标的轮廓和边界信息更清晰,引入ASPP结构,获取具有不同采样率的特征图来捕获多尺度信息,同时为了增强分类准确度,在训练时融合原始图像和蒙版的特征信息来优化训练参数,考虑到训练的参数量,相比较于现有网络模型,本发明的两阶段卷积神经网络更为轻量级,缺陷的分类效果好,并且本发明的分类网络采用两个CNN分类网络,对缺陷分割子网络输出的特征图和原图进行分类融合处理,有效提高分类效果,提高对缺陷分类的准确性。
附图说明
图1为本发明的流程图;
图2为本发明的两阶段卷积神经网络的结构示意图;
图3为本发明的ASPP网络的结构示意图;
图4为本发明的CNN分类网络的结构示意图;
图5为本发明的CNN分割网络的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意,以下的实施方式的说明只是实质上的例示,本发明并不意在对其适用物或其用途进行限定,且本发明并不限定于以下的实施方式。
实施例
一种基于两阶段卷积神经网络的金属表面缺陷检测方法,其特征在于,包括以下步骤:
S1:建立图像数据集,图像数据集包括金属表面缺陷图像.
本实施例中,使用一个包含四种类型实际钢铁表面缺陷的图像数据集,钢铁表面缺陷特征分为有如下几种情况:(1)肉眼易识别的缺陷,大小形状清晰;(2)稍微复杂的缺陷大小、形状不是很清晰,但是仍然可以和背景分离出来,这种情况主要包括磨损或低对比度的线性缺陷;(3)最复杂的缺陷情况是很难从背景中区分出的,其定义,大小和形状不清晰,主要包括生产缺陷和一些随机的介质杂质。图像数据集包括6666张1600x256的图像,缺陷类型一共四类,每个图像中至少包含一种缺陷。数据集总共包括7095个缺陷区域,模拟真实情况,数据集缺陷类别比较不平衡,四种缺陷图像的数目分别为:897,247,5150,801。
S2:构建两阶段卷积神经网络,所述的两阶段卷积神经网络包括缺陷分割子网络、缺陷分类子网络和分类器,所述的缺陷分割子网络对金属表面缺陷图像进行处理获取缺陷分割特征图,所述的缺陷分类子网络和分类器对金属表面缺陷图像进行缺陷类型判断。
本发明的缺陷分割子网络包括依次连接的CNN分割网络、ASPP网络和融合模块,CNN分割网络的输出的特征图送入ASPP网络进行处理,ASPP网络的输出特征图送入融合模块得到缺陷分割特征图。
具体地,如图5所示,CNN分割网络包括9个5x5卷积层、1个15x15卷积层和1个1×1卷积层和3个最大池化层,CNN分割网络中的每个卷积层后依次设置BN层和ReLU层。其中,3个最大池化层设于第2、第5、第9个5x5卷积层后,每个最大池化层后设置BN层。
具体地,ASPP网络包括并行设置的一个1×1卷积层和三个3×3空洞卷积层,三个3×3空洞卷积层的采样率分别为6、12和18,筛选器的数量为256,ASPP网络中每个卷积层中都设有BN层和全局平均池。
具体地,融合模块包括一个1×1卷积层和上采样层,ASPP网络的输出特征图送入1×1卷积层获取缺陷分割特征图,上采样层对缺陷分割特征图利用双线性插值方法上采样获取预测分割图。
缺陷分类子网络包括两个CNN分类网络,两个CNN网络分别为第一CNN分类网络和第二CNN分类网络,将缺陷分割特征图输入到第一CNN分类网络,获取第一分类特征图,将原始图像输入到第二CNN分类网络,获取第二分类特征图,第一分类特征图和第二分类特征图融合后送入分类器分类。图中α为第一CNN分类网络的标志,β为第二类CNN分类网络的标志。
如图4所示,CNN分类网络包括依次连接的卷积层、最大池化层、卷积层、最大池化层、卷积层、卷积层、最大池化层、全局池化层和两个全连接层,两个全连接层前均设有Dropout层。
所述的分类器包括一个融合模块和一个softmax分类器,第一分类特征图和第二分类特征图送入融合模块进行融合,获取融合向量,将融合向量馈入softmax分类器中,获取缺陷分类结果。具体地,融合模块内融合函数的输出为:
fsum=fα+fβ
其中,fα为第一分类特征图,fβ为第二分类特征图,fsum为融合向量。然后将特征向量fsum馈入softmax分类器中
S3:将图像数据集中的图像输入到两阶段卷积神经网络中进行训练,获取训练好的两阶段卷积神经网络。
本发明具体训练时,令S={(xi,mi,yi)for i=1,...,N},其中S代表像数据集,xi、mi、yi分别是原始图像及原始图像对应的分割蒙版、图像标签向量,i为训练样本标号,N为训练样本个数。本发明中,xi为高h、宽w的三通道图像,mi为高h、宽w的的单通道数据。
S3的具体步骤包括:
S31:将图像数据集中的图像输入到缺陷分割子网络中,对缺陷分割子网络进行训练,获取训练好的缺陷分割子网络。
S31中训练缺陷分割子网络时,建立缺陷分割子网络的损失函数并最小化缺陷分割子网络的损失函数进行训练:
其中,N为训练样本个数,i为训练样本标号,θseg为缺陷分割子网络参数,并且θseg={Wseg,bseg},Wseg为缺陷分割子网络的权重参数,bseg为缺陷分割子网络的偏差参数,xi为原图像,mi原图像对应的缺陷分割蒙版,L(.)为损失函数,sigmoid(.)为sigmoid激活函数,pseg(.)为将xi映射到缺陷分割子网络的类分数sseg的函数,类分数sseg为高h、宽w的单通道数据。
S32:固定训练好的缺陷分割子网络的参数,将图像数据集中的图像输入到缺陷分割子网络中,对缺陷分类子网络进行训练,获取训练好的缺陷分类子网络。
缺陷分类子网络包括第一CNN分类网络和第二CNN分类网络,S32中训练缺陷分类子网络时,固定训练好缺陷分割子网络的参数,
建立第一CNN分类网络的损失函数,并最小化第一CNN分类网络的损失函数进行训练:
其中,N为训练样本个数,i为训练样本标号,C训练样本标签总数,c为训练样本标签标号,prec(.)为将xi映射到类分数srec的函数,srec为高h、宽w的单通道数据。,xi为原图像,yi为原图像对应的图像标签向量,θseg为分割网络参数,θα为第一CNN分类网络参数,并且,θα={Wα,bα},Wα为第一CNN分类网络的权重参数,bα为第一CNN分类网络的偏差参数,L(.)为损失函数,softmax(.)为softmax函数。
第一CNN分类网络的损失函数为:
L(softmax(prec(xi,θseg,θα)),yi)
建立第二CNN分类网络的损失函数,并最小化第二CNN分类网络的损失函数进行训练:
其中,θβ为第二CNN分类网络参数,并且,Wβ为第二CNN分类网络参数的权重参数,bβ为第二CNN分类网络参数的偏差参数,prec(.)为将xi映射到类分数srec的函数。
S33:固定缺陷分割子网络、缺陷分类子网络的参数,将图像数据集中的图像输入到两阶段卷积神经网络中,获取训练好的两阶段卷积神经网络。
S33中建立两阶段卷积神经网络的损失函数,并最小化两阶段卷积神经网络的损失函数进行训练:
其中,N为训练样本个数,i为训练样本标号,L(.)为损失函数,softmax(.)为softmax函数,prec(.)为将xi映射到类分数srec的函数,xi为原图像,yi为原图像对应的图像标签向量,θseg为缺陷分割子网络参数,θα为第一CNN分类网络参数,θβ为第二CNN分类网络参数,θF为两阶段卷积神经网络参数,并且θF={WF,bF},WF为两阶段卷积神经网络的权重参数,bF为两阶段卷积神经网络的偏差参数。
本实施例中,训练缺陷分割子网络、缺陷分类子网络和两阶段卷积神经网络时的损失函数均采用损失函数:
L(p,y)=-[ylog(p)+(1-y)log(1-p)]
其中,y是真实类别,p是该类别的预测概率。
S4:将待检测的金属表面缺陷图像输入训练好的两阶段卷积神经网络,获取金属表面缺陷分类结果。
本实施例中,训练两阶段卷积神经网络时,batchsize大小设置为16,一个epoch代表330次迭代。学习率初始设定为0.01,每500次迭代完成后进行精度测试,保存准确率最高的模型作为最终模型。
对于训练好的两阶段卷积神经网络的缺陷分割子网络,与UNet、Deeplab V3模型在同数据集上进行分割测试对比,如表1所示,本发明的缺陷分割子网络的分割精度要高于UNet、Deeplab V3,速度最快。
表1分割测试结果
对于训练好的两阶段卷积神经网络,与CNN1(含卷积层、relu层,dropout层,softmax多分类器)、RestNet34进行
步骤四:采用SCSEG-Net、CNN1(含卷积层、relu层,dropout层,softmax多分类器)、RestNet34在同数据集上进行分类测试对比,准确率如表2所示,本发明的分类精度更高,性能更好。
表2在测试集上的分类结果
上述实施方式仅为例举,不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施,且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。
Claims (6)
1.一种基于两阶段卷积神经网络的金属表面缺陷检测方法,其特征在于,包括以下步骤:
S1:建立图像数据集,所述的图像数据集包括金属表面缺陷图像;
S2:构建两阶段卷积神经网络,所述的两阶段卷积神经网络包括缺陷分割子网络、缺陷分类子网络和分类器,所述的缺陷分割子网络对金属表面缺陷图像进行处理获取缺陷分割特征图,所述的缺陷分类子网络和分类器对金属表面缺陷图像进行缺陷类型判断;
S3:将图像数据集中的图像输入到两阶段卷积神经网络中进行训练,获取训练好的两阶段卷积神经网络;
S4:将待检测的金属表面缺陷图像输入训练好的两阶段卷积神经网络,获取金属表面缺陷分类结果;
所述的缺陷分割子网络包括依次连接的CNN分割网络、ASPP网络和融合模块,CNN分割网络的输出的特征图送入ASPP网络进行处理,ASPP网络的输出特征图送入融合模块得到缺陷分割特征图;
所述的缺陷分类子网络包括两个CNN分类网络,所述的两个CNN网络分别为第一CNN分类网络和第二CNN分类网络,将缺陷分割特征图输入到第一CNN分类网络获取第一分类特征图,将原始图像输入到第二CNN分类网络获取第二分类特征图,第一分类特征图和第二分类特征图融合后送入分类器分类;
所述的S3的具体步骤包括:
S31:将图像数据集中的图像输入到缺陷分割子网络中,对缺陷分割子网络进行训练,获取训练好的缺陷分割子网络;
S32:固定训练好的缺陷分割子网络的参数,将图像数据集中的图像输入到缺陷分割子网络中,对缺陷分类子网络进行训练,获取训练好的缺陷分类子网络;
S33:固定缺陷分割子网络、缺陷分类子网络的参数,将图像数据集中的图像输入到两阶段卷积神经网络中,获取训练好的两阶段卷积神经网络;
所述的S33中建立两阶段卷积神经网络的损失函数,并最小化两阶段卷积神经网络的损失函数进行训练:
其中,N为训练样本个数,i为训练样本标号,C训练样本标签总数,c为训练样本标签标号,L(.)为损失函数,softmax(.)为softmax函数,prec(.)为将xi映射到类分数srec的函数,xi为原图像,yi为原图像对应的图像标签向量,θseg为缺陷分割子网络参数,θα为第一CNN分类网络参数,θβ为第二CNN分类网络参数,θF为两阶段卷积神经网络参数,并且θF={WF,bF},WF为两阶段卷积神经网络的权重参数,bF为两阶段卷积神经网络的偏差参数。
2.根据权利要求1所述的一种基于两阶段卷积神经网络的金属表面缺陷检测方法,其特征在于,所述的CNN分割网络包括9个5x5卷积层、1个15x15卷积层和1个1×1卷积层和3个最大池化层,所述的CNN分割网络中的每个卷积层后依次设置BN层和ReLU层。
3.根据权利要求1所述的一种基于两阶段卷积神经网络的金属表面缺陷检测方法,其特征在于,所述的ASPP网络包括并行设置的一个1×1卷积层和三个3×3空洞卷积层。
4.根据权利要求1所述的一种基于两阶段卷积神经网络的金属表面缺陷检测方法,其特征在于,所述的CNN分类网络包括依次连接的卷积层、最大池化层、卷积层、最大池化层、卷积层、卷积层、最大池化层、全局池化层和两个全连接层。
5.根据权利要求1所述的一种基于两阶段卷积神经网络的金属表面缺陷检测方法,其特征在于,S31中训练缺陷分割子网络时,建立缺陷分割子网络的损失函数并最小化缺陷分割子网络的损失函数进行训练:
其中,N为训练样本个数,i为训练样本标号,θseg为缺陷分割子网络参数,并且θseg={Wseg,bseg},Wseg为缺陷分割子网络的权重参数,bseg为缺陷分割子网络的偏差参数,xi为原图像,mi原图像对应的缺陷分割蒙版,L(.)为损失函数,sigmoid(.)为sigmoid激活函数,pseg(.)为将xi映射到类分数sseg的函数。
6.根据权利要求1所述的一种基于两阶段卷积神经网络的金属表面缺陷检测方法,其特征在于,所述的缺陷分类子网络包括第一CNN分类网络和第二CNN分类网络,所述的S32中训练缺陷分类子网络时,固定训练好缺陷分割子网络的参数,
建立第一CNN分类网络的损失函数,并最小化第一CNN分类网络的损失函数进行训练:
其中,N为训练样本个数,i为训练样本标号,C训练样本标签总数,c为训练样本标签标号,prec(.)为将xi映射到类分数srec的函数,xi为原图像,yi为原图像对应的图像标签向量,θseg为分割网络参数,θα为第一CNN分类网络参数,并且,θα={Wα,bα},Wα为第一CNN分类网络的权重参数,bα为第一CNN分类网络的偏差参数,L(.)为损失函数,softmax(.)为softmax函数,
建立第二CNN分类网络的损失函数,并最小化第二CNN分类网络的损失函数进行训练:
其中,θβ为第二CNN分类网络参数,并且,Wβ为第二CNN分类网络参数的权重参数,bβ为第二CNN分类网络参数的偏差参数,prec(.)为将xi映射到类分数srec的函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011034921.1A CN112037219B (zh) | 2020-09-27 | 2020-09-27 | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011034921.1A CN112037219B (zh) | 2020-09-27 | 2020-09-27 | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112037219A CN112037219A (zh) | 2020-12-04 |
CN112037219B true CN112037219B (zh) | 2024-01-26 |
Family
ID=73574899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011034921.1A Active CN112037219B (zh) | 2020-09-27 | 2020-09-27 | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112037219B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734690A (zh) * | 2020-12-17 | 2021-04-30 | 郑州金惠计算机***工程有限公司 | 一种表面缺陷检测方法、装置及计算机可读存储介质 |
CN112598666B (zh) * | 2021-01-06 | 2024-06-07 | 苏州光格科技股份有限公司 | 一种基于卷积神经网络的电缆隧道异常检测方法 |
CN112669313A (zh) * | 2021-01-15 | 2021-04-16 | 济南浪潮高新科技投资发展有限公司 | 一种金属表面缺陷定位及分类方法 |
CN112950584B (zh) * | 2021-03-01 | 2022-07-29 | 哈尔滨工程大学 | 一种基于深度学习的涂层表面缺陷识别方法 |
CN113096085A (zh) * | 2021-04-01 | 2021-07-09 | 武汉理工大学 | 基于两阶段卷积神经网络的集装箱表面损伤检测方法 |
CN113076895B (zh) * | 2021-04-09 | 2022-08-02 | 太原理工大学 | 一种基于红外计算机视觉的输送带纵向损伤振动感知方法 |
CN113298757A (zh) * | 2021-04-29 | 2021-08-24 | 同济大学 | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 |
CN113392915A (zh) * | 2021-06-23 | 2021-09-14 | 宁波聚华光学科技有限公司 | 一种基于深度学习的工业零件缺陷检测方法 |
CN113850791B (zh) * | 2021-09-28 | 2022-07-05 | 哈尔滨工业大学 | 一种基于两阶段MobileNet的卫浴陶瓷缺陷检测方法 |
CN117708507B (zh) * | 2024-02-05 | 2024-04-26 | 成都麦特斯科技有限公司 | 一种基于人工智能的高效α和β射线的识别与分类方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108345911A (zh) * | 2018-04-16 | 2018-07-31 | 东北大学 | 基于卷积神经网络多级特征的钢板表面缺陷检测方法 |
CN110706239A (zh) * | 2019-09-26 | 2020-01-17 | 哈尔滨工程大学 | 融合全卷积神经网络与改进aspp模块的场景分割方法 |
CN110717907A (zh) * | 2019-10-06 | 2020-01-21 | 浙江大学 | 一种基于深度学习的手部肿瘤智能检测方法 |
CN111476302A (zh) * | 2020-04-08 | 2020-07-31 | 北京工商大学 | 基于深度强化学习的Faster-RCNN目标物体检测方法 |
-
2020
- 2020-09-27 CN CN202011034921.1A patent/CN112037219B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108345911A (zh) * | 2018-04-16 | 2018-07-31 | 东北大学 | 基于卷积神经网络多级特征的钢板表面缺陷检测方法 |
CN110706239A (zh) * | 2019-09-26 | 2020-01-17 | 哈尔滨工程大学 | 融合全卷积神经网络与改进aspp模块的场景分割方法 |
CN110717907A (zh) * | 2019-10-06 | 2020-01-21 | 浙江大学 | 一种基于深度学习的手部肿瘤智能检测方法 |
CN111476302A (zh) * | 2020-04-08 | 2020-07-31 | 北京工商大学 | 基于深度强化学习的Faster-RCNN目标物体检测方法 |
Non-Patent Citations (2)
Title |
---|
基于贝叶斯CNN和注意力网络的钢轨表面缺陷检测***;金侠挺;王耀南;张辉;刘理;钟杭;贺振东;;自动化学报(12);全文 * |
融合ASPP-Attention和上下文的复杂场景语义分割;杨鑫;于重重;王鑫;陈秀新;;计算机仿真(09);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112037219A (zh) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112037219B (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测***及方法 | |
CN108074231B (zh) | 一种基于卷积神经网络的磁片表面缺陷检测方法 | |
CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
CN110175982B (zh) | 一种基于目标检测的缺陷检测方法 | |
CN113239930B (zh) | 一种玻璃纸缺陷识别方法、***、装置及存储介质 | |
CN111179250B (zh) | 一种基于多任务学习的工业品缺陷检测*** | |
CN113298757A (zh) | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 | |
CN112561910A (zh) | 一种基于多尺度特征融合的工业表面缺陷检测方法 | |
CN113643268B (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
CN113628178B (zh) | 一种速度与精度平衡的钢铁产品表面缺陷检测方法 | |
CN112233059B (zh) | 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法 | |
CN111161213B (zh) | 一种基于知识图谱的工业产品缺陷图像分类方法 | |
CN111738994B (zh) | 一种轻量级的pcb缺陷检测方法 | |
CN112614105B (zh) | 一种基于深度网络的3d点云焊点缺陷检测方法 | |
CN111291806A (zh) | 一种基于卷积神经网络工业产品标签号的识别方法 | |
CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
CN112183639B (zh) | 一种矿物图像识别与分类方法 | |
CN114581782A (zh) | 一种基于由粗到精检测策略的细微缺陷检测方法 | |
CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
CN115775236A (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及*** | |
CN114255212A (zh) | 一种基于cnn的fpc表面缺陷检测方法及其*** | |
CN115866502A (zh) | 一种麦克风零件表面缺陷在线检测流程 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201204 Assignee: Xi'an Aifei Energy Digital Technology Co.,Ltd. Assignor: Shanghai University of Electric Power Contract record no.: X2024310000069 Denomination of invention: A metal surface defect detection method based on two-stage convolutional neural network Granted publication date: 20240126 License type: Common License Record date: 20240620 |
|
EE01 | Entry into force of recordation of patent licensing contract |