CN112037219B - 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于两阶段卷积神经网络的金属表面缺陷检测方法，包括以下步骤：建立图像数据集，构建两阶段卷积神经网络，所述的两阶段卷积神经网络包括缺陷分割子网络、缺陷分类子网络和分类器，将图像数据集中的图像输入到两阶段卷积神经网络中进行训练，获取训练好的两阶段卷积神经网络，将待检测的金属表面缺陷图像输入训练好的两阶段卷积神经网络，获取金属表面缺陷分类结果。与现有技术相比，本发明具有网络结构优化轻量，有效提高分类效果，提高对缺陷分类的准确性，分类效率高。

Description

一种基于两阶段卷积神经网络的金属表面缺陷检测方法

技术领域

本发明涉及图像识别领域，尤其是涉及一种基于两阶段卷积神经网络的金属表面缺陷检测方法。

背景技术

钢铁表面缺陷会导致其质量下降，影响其安全性和可靠性，对于缺陷进行快速分类识别可以找出并减少损坏情况。因此，缺陷分类的效率和准确性是钢铁产品质量控制的关键。缺陷检测需要识别出钢铁缺陷的区域并根据缺陷的外观推断出缺陷的类别，因此检测是检测，定位和分类的组合过程。

视觉检查是制造业中常见的缺陷检测方法。但是，由于采样率低，精度低，实时性差，受人工经验和其他不利因素的影响很大，因此人工检查不足以保证检测的可靠性。基于机器视觉的表面缺陷检测方法在安全性，准确性，便利性和效率方面具有绝对优势，是实现钢铁行业制造自动化和智能化的有效手段。但传统缺陷检测通常需要基于经验设计的人工特征提取，同时很多方法对于光照变化比较敏感。所以尽管基于机器视觉的传统方法能够完成对于表面缺陷的自动检测，但这种方法缺乏鲁棒性，并且不利于处理复杂的分类问题及定位缺陷区域。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于两阶段卷积神经网络的金属表面缺陷检测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于两阶段卷积神经网络的金属表面缺陷检测方法，包括以下步骤：

S1：建立图像数据集，所述的图像数据集包括金属表面缺陷图像；

S2：构建两阶段卷积神经网络，所述的两阶段卷积神经网络包括缺陷分割子网络、缺陷分类子网络和分类器，所述的缺陷分割子网络对金属表面缺陷图像进行处理获取缺陷分割特征图，所述的缺陷分类子网络和分类器对金属表面缺陷图像进行缺陷类型判断；

S3：将图像数据集中的图像输入到两阶段卷积神经网络中进行训练，获取训练好的两阶段卷积神经网络；

S4：将待检测的金属表面缺陷图像输入训练好的两阶段卷积神经网络，获取金属表面缺陷分类结果。

优选地，所述的缺陷分割子网络包括依次连接的CNN分割网络、ASPP网络和融合模块，CNN分割网络的输出的特征图送入ASPP网络进行处理，ASPP网络的输出特征图送入融合模块得到缺陷分割特征图。

优选地，所述的CNN分割网络包括9个5x5卷积层、1个15x15卷积层和1个1×1卷积层和3个最大池化层，所述的CNN分割网络中的每个卷积层后依次设置BN层和ReLU层。

优选地，所述的ASPP网络包括并行设置的一个1×1卷积层和三个3×3空洞卷积层。

优选地，所述的缺陷分类子网络包括两个CNN分类网络，所述的两个CNN网络分别为第一CNN分类网络和第二CNN分类网络，将缺陷分割特征图输入到第一CNN分类网络，获取第一分类特征图，将原始图像输入到第二CNN分类网络，获取第二分类特征图，第一分类特征图和第二分类特征图融合后送入分类器分类。

优选地，所述的CNN分类网络包括依次连接的卷积层、最大池化层、卷积层、最大池化层、卷积层、卷积层、最大池化层、全局池化层和两个全连接层。

优选地，所述的分类器包括一个融合模块和一个softmax分类器，第一分类特征图和第二分类特征图送入融合模块进行融合，获取融合向量，将融合向量馈入softmax分类器中，获取缺陷分类结果。

优选地，所述的S3的具体步骤包括：

S31：将图像数据集中的图像输入到缺陷分割子网络中，对缺陷分割子网络进行训练，获取训练好的缺陷分割子网络；

S32：固定训练好的缺陷分割子网络的参数，将图像数据集中的图像输入到缺陷分割子网络中，对缺陷分类子网络进行训练，获取训练好的缺陷分类子网络；

S33：固定缺陷分割子网络、缺陷分类子网络的参数，将图像数据集中的图像输入到两阶段卷积神经网络中，获取训练好的两阶段卷积神经网络。

优选地，S31中训练缺陷分割子网络时，建立缺陷分割子网络的损失函数并最小化缺陷分割子网络的损失函数进行训练：

其中，N为训练样本个数，i为训练样本标号，θ^seg为缺陷分割子网络参数，并且θ^seg＝{W^seg,b^seg}，W^seg为缺陷分割子网络的权重参数，b^seg为缺陷分割子网络的偏差参数，xⁱ为原图像，m_i原图像对应的缺陷分割蒙版，L(.)为损失函数，sigmoid(.)为sigmoid激活函数，p^seg(.)为将xⁱ映射到类分数s^seg的函数。

优选地，所述的缺陷分类子网络包括第一CNN分类网络和第二CNN分类网络，所述的S32中训练缺陷分类子网络时，固定训练好缺陷分割子网络的参数，

建立第一CNN分类网络的损失函数，并最小化第一CNN分类网络的损失函数进行训练：

其中，N为训练样本个数，i为训练样本标号，C训练样本标签总数，c为训练样本标签标号，p^rec(.)为将x_i映射到类分数s^rec的函数，xⁱ为原图像，y_i为原图像对应的图像标签向量，θ^seg为分割网络参数，θ^α为第一CNN分类网络参数，并且，θ^α＝{W^α,b^α}，W^α为第一CNN分类网络的权重参数，b^α为第一CNN分类网络的偏差参数，L(.)为损失函数，softmax(.)为softmax函数，

建立第二CNN分类网络的损失函数，并最小化第二CNN分类网络的损失函数进行训练：

其中，θ^β为第二CNN分类网络参数，并且，W^β为第二CNN分类网络参数的权重参数，b^β为第二CNN分类网络参数的偏差参数，p^rec(.)为将x_i映射到类分数s^rec的函数。

优选地，所述的S33中建立两阶段卷积神经网络的损失函数，并最小化两阶段卷积神经网络的损失函数进行训练：

其中，N为训练样本个数，i为训练样本标号，C训练样本标签总数，c为训练样本标签标号，L(.)为损失函数，softmax(.)为softmax函数，p^rec(.)为将x_i映射到类分数s^rec的函数，xⁱ为原图像，y_i为原图像对应的图像标签向量，θ^seg为缺陷分割子网络参数，θ^α为第一CNN分类网络参数，θ^β为第二CNN分类网络参数，θ^F为两阶段卷积神经网络参数，并且θ^F＝{W^F,b^F}，W^F为两阶段卷积神经网络的权重参数，b^F为两阶段卷积神经网络的偏差参数。

与现有技术相比，本发明具有以下优点：

本发明的两阶段卷积神经网络是一种轻量级神经网络，可以将缺陷图像转换为像素级预测蒙版，并快速获取真实的缺陷类别，为了使得缺陷目标的轮廓和边界信息更清晰，引入ASPP结构，获取具有不同采样率的特征图来捕获多尺度信息，同时为了增强分类准确度，在训练时融合原始图像和蒙版的特征信息来优化训练参数，考虑到训练的参数量，相比较于现有网络模型，本发明的两阶段卷积神经网络更为轻量级，缺陷的分类效果好，并且本发明的分类网络采用两个CNN分类网络，对缺陷分割子网络输出的特征图和原图进行分类融合处理，有效提高分类效果，提高对缺陷分类的准确性。

附图说明

图1为本发明的流程图；

图2为本发明的两阶段卷积神经网络的结构示意图；

图3为本发明的ASPP网络的结构示意图；

图4为本发明的CNN分类网络的结构示意图；

图5为本发明的CNN分割网络的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。

实施例

一种基于两阶段卷积神经网络的金属表面缺陷检测方法，其特征在于，包括以下步骤：

S1：建立图像数据集，图像数据集包括金属表面缺陷图像.

本实施例中，使用一个包含四种类型实际钢铁表面缺陷的图像数据集，钢铁表面缺陷特征分为有如下几种情况：(1)肉眼易识别的缺陷，大小形状清晰；(2)稍微复杂的缺陷大小、形状不是很清晰，但是仍然可以和背景分离出来，这种情况主要包括磨损或低对比度的线性缺陷；(3)最复杂的缺陷情况是很难从背景中区分出的，其定义，大小和形状不清晰，主要包括生产缺陷和一些随机的介质杂质。图像数据集包括6666张1600x256的图像，缺陷类型一共四类，每个图像中至少包含一种缺陷。数据集总共包括7095个缺陷区域，模拟真实情况，数据集缺陷类别比较不平衡，四种缺陷图像的数目分别为：897，247，5150，801。

S2：构建两阶段卷积神经网络，所述的两阶段卷积神经网络包括缺陷分割子网络、缺陷分类子网络和分类器，所述的缺陷分割子网络对金属表面缺陷图像进行处理获取缺陷分割特征图，所述的缺陷分类子网络和分类器对金属表面缺陷图像进行缺陷类型判断。

本发明的缺陷分割子网络包括依次连接的CNN分割网络、ASPP网络和融合模块，CNN分割网络的输出的特征图送入ASPP网络进行处理，ASPP网络的输出特征图送入融合模块得到缺陷分割特征图。

具体地，如图5所示，CNN分割网络包括9个5x5卷积层、1个15x15卷积层和1个1×1卷积层和3个最大池化层，CNN分割网络中的每个卷积层后依次设置BN层和ReLU层。其中，3个最大池化层设于第2、第5、第9个5x5卷积层后，每个最大池化层后设置BN层。

具体地，ASPP网络包括并行设置的一个1×1卷积层和三个3×3空洞卷积层，三个3×3空洞卷积层的采样率分别为6、12和18，筛选器的数量为256，ASPP网络中每个卷积层中都设有BN层和全局平均池。

具体地，融合模块包括一个1×1卷积层和上采样层，ASPP网络的输出特征图送入1×1卷积层获取缺陷分割特征图，上采样层对缺陷分割特征图利用双线性插值方法上采样获取预测分割图。

缺陷分类子网络包括两个CNN分类网络，两个CNN网络分别为第一CNN分类网络和第二CNN分类网络，将缺陷分割特征图输入到第一CNN分类网络，获取第一分类特征图，将原始图像输入到第二CNN分类网络，获取第二分类特征图，第一分类特征图和第二分类特征图融合后送入分类器分类。图中α为第一CNN分类网络的标志，β为第二类CNN分类网络的标志。

如图4所示，CNN分类网络包括依次连接的卷积层、最大池化层、卷积层、最大池化层、卷积层、卷积层、最大池化层、全局池化层和两个全连接层，两个全连接层前均设有Dropout层。

所述的分类器包括一个融合模块和一个softmax分类器，第一分类特征图和第二分类特征图送入融合模块进行融合，获取融合向量，将融合向量馈入softmax分类器中，获取缺陷分类结果。具体地，融合模块内融合函数的输出为：

f^sum＝f^α+f^β

其中，f^α为第一分类特征图，f^β为第二分类特征图，f^sum为融合向量。然后将特征向量f^sum馈入softmax分类器中

S3：将图像数据集中的图像输入到两阶段卷积神经网络中进行训练，获取训练好的两阶段卷积神经网络。

本发明具体训练时，令S＝{(x_i,m_i,y_i)for i＝1,...,N}，其中S代表像数据集，x_i、m_i、y_i分别是原始图像及原始图像对应的分割蒙版、图像标签向量，i为训练样本标号，N为训练样本个数。本发明中，x_i为高h、宽w的三通道图像，m_i为高h、宽w的的单通道数据。

S3的具体步骤包括：

S31：将图像数据集中的图像输入到缺陷分割子网络中，对缺陷分割子网络进行训练，获取训练好的缺陷分割子网络。

S31中训练缺陷分割子网络时，建立缺陷分割子网络的损失函数并最小化缺陷分割子网络的损失函数进行训练：

其中，N为训练样本个数，i为训练样本标号，θ^seg为缺陷分割子网络参数，并且θ^seg＝{W^seg,b^seg}，W^seg为缺陷分割子网络的权重参数，b^seg为缺陷分割子网络的偏差参数，xⁱ为原图像，m_i原图像对应的缺陷分割蒙版，L(.)为损失函数，sigmoid(.)为sigmoid激活函数，p^seg(.)为将xⁱ映射到缺陷分割子网络的类分数s^seg的函数，类分数s^seg为高h、宽w的单通道数据。

S32：固定训练好的缺陷分割子网络的参数，将图像数据集中的图像输入到缺陷分割子网络中，对缺陷分类子网络进行训练，获取训练好的缺陷分类子网络。

缺陷分类子网络包括第一CNN分类网络和第二CNN分类网络，S32中训练缺陷分类子网络时，固定训练好缺陷分割子网络的参数，

建立第一CNN分类网络的损失函数，并最小化第一CNN分类网络的损失函数进行训练：

其中，N为训练样本个数，i为训练样本标号，C训练样本标签总数，c为训练样本标签标号，p^rec(.)为将x_i映射到类分数s^rec的函数，s^rec为高h、宽w的单通道数据。，xⁱ为原图像，y_i为原图像对应的图像标签向量，θ^seg为分割网络参数，θ^α为第一CNN分类网络参数，并且，θ^α＝{W^α,b^α}，W^α为第一CNN分类网络的权重参数，b^α为第一CNN分类网络的偏差参数，L(.)为损失函数，softmax(.)为softmax函数。

第一CNN分类网络的损失函数为：

L(softmax(p^rec(x_i,θ^seg,θ^α)),y_i)

建立第二CNN分类网络的损失函数，并最小化第二CNN分类网络的损失函数进行训练：

其中，θ^β为第二CNN分类网络参数，并且，W^β为第二CNN分类网络参数的权重参数，b^β为第二CNN分类网络参数的偏差参数，p^rec(.)为将x_i映射到类分数s^rec的函数。

S33：固定缺陷分割子网络、缺陷分类子网络的参数，将图像数据集中的图像输入到两阶段卷积神经网络中，获取训练好的两阶段卷积神经网络。

S33中建立两阶段卷积神经网络的损失函数，并最小化两阶段卷积神经网络的损失函数进行训练：

其中，N为训练样本个数，i为训练样本标号，L(.)为损失函数，softmax(.)为softmax函数，p^rec(.)为将x_i映射到类分数s^rec的函数，xⁱ为原图像，y_i为原图像对应的图像标签向量，θ^seg为缺陷分割子网络参数，θ^α为第一CNN分类网络参数，θ^β为第二CNN分类网络参数，θ^F为两阶段卷积神经网络参数，并且θ^F＝{W^F,b^F}，W^F为两阶段卷积神经网络的权重参数，b^F为两阶段卷积神经网络的偏差参数。

本实施例中，训练缺陷分割子网络、缺陷分类子网络和两阶段卷积神经网络时的损失函数均采用损失函数：

L(p,y)＝-[ylog(p)+(1-y)log(1-p)]

其中，y是真实类别，p是该类别的预测概率。

S4：将待检测的金属表面缺陷图像输入训练好的两阶段卷积神经网络，获取金属表面缺陷分类结果。

本实施例中，训练两阶段卷积神经网络时，batchsize大小设置为16，一个epoch代表330次迭代。学习率初始设定为0.01，每500次迭代完成后进行精度测试，保存准确率最高的模型作为最终模型。

对于训练好的两阶段卷积神经网络的缺陷分割子网络，与UNet、Deeplab V3模型在同数据集上进行分割测试对比，如表1所示，本发明的缺陷分割子网络的分割精度要高于UNet、Deeplab V3，速度最快。

表1分割测试结果

对于训练好的两阶段卷积神经网络，与CNN1(含卷积层、relu层，dropout层，softmax多分类器)、RestNet34进行

步骤四：采用SCSEG-Net、CNN1(含卷积层、relu层，dropout层，softmax多分类器)、RestNet34在同数据集上进行分类测试对比，准确率如表2所示，本发明的分类精度更高，性能更好。

表2在测试集上的分类结果

上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (6)

1.一种基于两阶段卷积神经网络的金属表面缺陷检测方法，其特征在于，包括以下步骤：

S1：建立图像数据集，所述的图像数据集包括金属表面缺陷图像；

S2：构建两阶段卷积神经网络，所述的两阶段卷积神经网络包括缺陷分割子网络、缺陷分类子网络和分类器，所述的缺陷分割子网络对金属表面缺陷图像进行处理获取缺陷分割特征图，所述的缺陷分类子网络和分类器对金属表面缺陷图像进行缺陷类型判断；

S3：将图像数据集中的图像输入到两阶段卷积神经网络中进行训练，获取训练好的两阶段卷积神经网络；

S4：将待检测的金属表面缺陷图像输入训练好的两阶段卷积神经网络，获取金属表面缺陷分类结果；

所述的缺陷分割子网络包括依次连接的CNN分割网络、ASPP网络和融合模块，CNN分割网络的输出的特征图送入ASPP网络进行处理，ASPP网络的输出特征图送入融合模块得到缺陷分割特征图；

所述的缺陷分类子网络包括两个CNN分类网络，所述的两个CNN网络分别为第一CNN分类网络和第二CNN分类网络，将缺陷分割特征图输入到第一CNN分类网络获取第一分类特征图，将原始图像输入到第二CNN分类网络获取第二分类特征图，第一分类特征图和第二分类特征图融合后送入分类器分类；

所述的S3的具体步骤包括：

S31：将图像数据集中的图像输入到缺陷分割子网络中，对缺陷分割子网络进行训练，获取训练好的缺陷分割子网络；

S32：固定训练好的缺陷分割子网络的参数，将图像数据集中的图像输入到缺陷分割子网络中，对缺陷分类子网络进行训练，获取训练好的缺陷分类子网络；

S33：固定缺陷分割子网络、缺陷分类子网络的参数，将图像数据集中的图像输入到两阶段卷积神经网络中，获取训练好的两阶段卷积神经网络；

所述的S33中建立两阶段卷积神经网络的损失函数，并最小化两阶段卷积神经网络的损失函数进行训练：

其中，N为训练样本个数，i为训练样本标号，C训练样本标签总数，c为训练样本标签标号，L(.)为损失函数，softmax(.)为softmax函数，p^rec(.)为将x_i映射到类分数s^rec的函数，xⁱ为原图像，y_i为原图像对应的图像标签向量，θ^seg为缺陷分割子网络参数，θ^α为第一CNN分类网络参数，θ^β为第二CNN分类网络参数，θ^F为两阶段卷积神经网络参数，并且θ^F＝{W^F,b^F}，W^F为两阶段卷积神经网络的权重参数，b^F为两阶段卷积神经网络的偏差参数。

2.根据权利要求1所述的一种基于两阶段卷积神经网络的金属表面缺陷检测方法，其特征在于，所述的CNN分割网络包括9个5x5卷积层、1个15x15卷积层和1个1×1卷积层和3个最大池化层，所述的CNN分割网络中的每个卷积层后依次设置BN层和ReLU层。

3.根据权利要求1所述的一种基于两阶段卷积神经网络的金属表面缺陷检测方法，其特征在于，所述的ASPP网络包括并行设置的一个1×1卷积层和三个3×3空洞卷积层。

4.根据权利要求1所述的一种基于两阶段卷积神经网络的金属表面缺陷检测方法，其特征在于，所述的CNN分类网络包括依次连接的卷积层、最大池化层、卷积层、最大池化层、卷积层、卷积层、最大池化层、全局池化层和两个全连接层。

5.根据权利要求1所述的一种基于两阶段卷积神经网络的金属表面缺陷检测方法，其特征在于，S31中训练缺陷分割子网络时，建立缺陷分割子网络的损失函数并最小化缺陷分割子网络的损失函数进行训练：

其中，N为训练样本个数，i为训练样本标号，θ^seg为缺陷分割子网络参数，并且θ^seg＝{W^seg,b^seg}，W^seg为缺陷分割子网络的权重参数，b^seg为缺陷分割子网络的偏差参数，xⁱ为原图像，m_i原图像对应的缺陷分割蒙版，L(.)为损失函数，sigmoid(.)为sigmoid激活函数，p^seg(.)为将xⁱ映射到类分数s^seg的函数。

6.根据权利要求1所述的一种基于两阶段卷积神经网络的金属表面缺陷检测方法，其特征在于，所述的缺陷分类子网络包括第一CNN分类网络和第二CNN分类网络，所述的S32中训练缺陷分类子网络时，固定训练好缺陷分割子网络的参数，

建立第一CNN分类网络的损失函数，并最小化第一CNN分类网络的损失函数进行训练：

其中，N为训练样本个数，i为训练样本标号，C训练样本标签总数，c为训练样本标签标号，p^rec(.)为将x_i映射到类分数s^rec的函数，xⁱ为原图像，y_i为原图像对应的图像标签向量，θ^seg为分割网络参数，θ^α为第一CNN分类网络参数，并且，θ^α＝{W^α,b^α}，W^α为第一CNN分类网络的权重参数，b^α为第一CNN分类网络的偏差参数，L(.)为损失函数，softmax(.)为softmax函数，

建立第二CNN分类网络的损失函数，并最小化第二CNN分类网络的损失函数进行训练：

其中，θ^β为第二CNN分类网络参数，并且，W^β为第二CNN分类网络参数的权重参数，b^β为第二CNN分类网络参数的偏差参数，p^rec(.)为将x_i映射到类分数s^rec的函数。