CN111489334A - 一种基于卷积注意力神经网络的缺陷工件图像识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积注意力神经网络的缺陷工件图像识别方法，包括对卷积神经网络进行预训练权重形成特征提取网络用于的到输入图像输入的深度特征；对深度特征图像进行卷积操作，得到注意力图并进行归一化；对归一化的注意力图进行注意力区域裁剪和丢弃并重新输入卷积神经网络进行训练；将待识别的缺陷工件图像输入训练好的卷积神经网络得到的特征图与注意力图进行点积操作，获得新的部位特征图；对部位特征图进行最大值池化操作获得注意力特征，将所有的注意力特征进行堆叠，获得部位特征矩阵，完成缺陷图像的分类识别。本发明提高了工件缺陷检测的准确率，能够适用于各种微小缺陷检测任务。

Description

一种基于卷积注意力神经网络的缺陷工件图像识别方法

技术领域

本发明涉及一种缺陷工件图像识别方法，特别是涉及一种基于卷积注意力神经网络的缺陷工件图像识别方法。

背景技术

工件铸造生产中可能存在多种缺陷问题，工件表面的缺陷可以通过直接观察等方法判断，但是有些缺陷存在于工件内部，这就无法通过观察判断，往往借助于X光图像进行无损检测。对于X光图像的判别，以往是由人工进行的，判别效率较低。随着人工智能的发展，尤其是机器学习等算法的发展，应用计算机进行缺陷判别提高了效率。但是机器学习算法也存在通用性差的问题，针对一种工件需要构建一种对应的模型，***开发繁琐，虽然整体上效率较人工识别已经提高，但是识别过程耗时仍然较长，准确性有限。

现有的非接触无损缺陷工件识别的问题主要是：基于机器视觉的缺陷图像分类，由于工件缺陷的多样性和细微差异，设计一个鲁棒性好、通用性强的缺陷检测算法是一个非常具有挑战性的问题，通常效果不理想；基于卷积神经网络的缺陷识别，对于微小缺陷(如裂缝缺陷)的效果较差，因为微小缺陷占整幅图像空间比例太小，容易被图像其他位置的信息所掩盖。

发明内容

针对上述现有技术的缺陷，本发明提供了一种基于卷积注意力神经网络的缺陷工件图像识别方法，解决微小缺陷容易被忽略造成识别率偏低的问题。

本发明技术方案如下：一种基于卷积注意力神经网络的缺陷工件图像识别方法，包括以下步骤：

步骤1、对卷积神经网络进行预训练权重形成特征提取网络，将输入图像输入到所述特征提取网络中，得到对应的深度特征；

步骤2、对所述深度特征构成的深度特征图像进行卷积操作，得到注意力图并进行归一化；

步骤3、对所述归一化的注意力图中的注意力区域裁剪，并放大至与所述输入图像同等大小重新作为所述卷积神经网络的新的输入仅用于分类任务进行训练；丢弃所述注意力图中的部分注意力区域后得到新图像作为所述卷积神经网络的新的输入仅用于分类任务进行训练；

步骤4、将待识别的缺陷工件图像输入训练好的所述卷积神经网络得到的深度特征图与通过所述步骤1和步骤2得到的注意力图进行点积操作，获得新的部位特征图；对所述部位特征图再进行最大值池化操作获得注意力特征，将所有的所述注意力特征进行堆叠，获得部位特征矩阵，完成缺陷图像的分类识别。

进一步地，对所述卷积神经网络进行训练时，使用中心损失函数与交叉熵损失函数加权融合作为模型优化损失函数。

进一步地，所述中心损失函数

其中c_k为部位特征的中心，加入动量β,c_k←c_k+β(f_k-c_k)对c_k从0开始进行更新，f_k为注意力特征，M为所述注意力图的维度，所述模型优化损失函数L＝L_CE+λL_A，其中L_CE为交叉熵损失函数，λ为加权系数。

进一步地，所述使用中心损失函数与交叉熵损失函数加权融合作为模型优化损失函数对所述卷积神经网络进行训练时，利用梯度下降法对所述卷积神经网络进行训练。

进一步地，所述卷积神经网络为VGG或ResNet网络。

进一步地，所述步骤1的输入图像为带有缺陷类别标签的工件数据集。

本发明所提供的技术方案的优点在于：

在卷积神经网络(CNN)模型作为工件分类网络的基础上，引入注意力机制，通过注意力机制中的空间注意力方法提取特征图中的重要特征，然后与CNN网络中的特征图相乘，对特征图进行加权，增大特征图中重要特征的权值，自动筛选有效特征，进而提高了工件缺陷检测的准确率。

训练过程中基于注意力图进行数据增强操作，同时对其进行裁剪和丢弃操作，进一步扩大数据集，生成更多有效训练样本数据。并且采用中心损失函数与交叉熵损失函数加权融合方法，获得输入图像更多更好的局部或区域特征，保证对细粒度特征正确识别。

本发明涉及的卷积注意力神经网络应用范围广，能够适用于各种微小缺陷检测任务，例如瓷砖表面的破损与裂纹等缺陷的检测识别等。

附图说明

图1为本发明基于卷积注意力神经网络的缺陷工件图像识别方法的网络流程示意图。

图2为本发明的卷积神经网络的特征可视化举例示意图。

具体实施方式

下面结合实施例对本发明作进一步说明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等同形式的修改均落于本申请所附权利要求所限定的范围内。

请结合图1所示，本实施例涉及的一种基于卷积注意力神经网络的缺陷工件图像识别方法，包括

特征提取：基于卷积神经网络的网络结构，通过在数据集ImageNet上预训练权重后，形成特征提取网络，将图像X∈R^(H×W)，输入到特征提取网络中，得到对应的深度特征；

卷积神经网络的网络结构可以是VGG网络也可以是ResNet网络，本实施例采用的卷积神经网络为ResNet34，共包含34个卷积模块，分成5个卷积层；保留第五个卷积层的输出结果深度特征，定义为深度特征图F∈R^(H×W×N)，其中，N表示深度特征的通道数，W和H分别表示每一个深度特征的宽度和高度；

注意力图获取：对深度特征图进行1*1的卷积操作，对深度特征图的各通道间信息的信息进行组合变化，使用M个1*1卷积核，获得M维的注意力图，定义为A∈R^(H×W×M)，其中每一个细粒度特征定义为A_k∈R^(H×W)；对注意力图进行归一化操作，得到归一化之后的图像A_k ^*＝(A_k-min(A_k))/(max(A_k)-min(A_k))；

从归一化之后的注意力图像获取裁剪掩膜，通过对注意力图像中的每一个元素进行对比，将大于0.5的像素值置为1，其余的全为0；得到局部裁剪特征的掩膜，寻找可以覆盖整个掩膜区域的标注框，将整个标注框内的图像放大至输入图像大小，作为新的输入进行训练；从归一化之后的注意力图像获取丢弃掩膜，通过对注意力图像中的每一个元素进行对比，将大于0.5的像素值置为0，其余的置为1；得到部分注意力部位丢弃的掩模图像，将其最为新的输入，重新进行训练，学习更多有判别力的区域；随机裁剪与随机丢弃之后产生的新图像仅参与分类，不参与新的数据增强过程；

上述获得的N维深度特征图F与M维注意力图A，对其进行双线性池化运算：将F与A的各通道在同一位置上的两个特征相乘进行双线性融合得到部位特征图F_k＝A_k⊙F(k＝1,2,...,M)；对部位特征图再进行最大值池化操作，获得注意力特征f_k∈R^(1×N)；将所有的M维注意力特征进行堆叠，获得部位特征矩阵P∈R^(M×N)。

以上步骤可以得到很多具有判别性区域，进一步引入中心损失函数，使得各判别性区域更加多样性；定义中心损失函数

其中c_k∈R^(1×N)为全局特征中心，通过约束各注意力特征与全局中心特征的距离。来获得更加多样化的判别力区域。因此通过加入一个动量β,c_k←c_k+β(f_k-c_k)从0开始对其进行更新。模型优化损失函数计算，基于部位特征图计算中心损失与交叉熵损失函数，并加权融合，获得了输入图像更多更好的局部或区域特征，更好地解决了细粒度图像分类任务；最终的模型优化损失函数：L＝L_CE+λL_A，其中L_CE为交叉熵损失函数，λ为加权系数，利用梯度下降法对所述卷积神经网络进行训练。

参照图2所示，图中最大图像中的光亮区域就是模型关注到的图像中物体的细节特征，如气孔、裂痕等。本发明综合考虑工件缺陷数据集中缺陷微小的特性，不同缺陷特征差异等因素，通过注意力机制，增大类间的差异性；结合模型优化损失函数，减小类内差异，得到具有判别力与多样性的特征，从而取得了良好的效果，相比现有的方法更节省成本，且易于实际部署。采用本发明的卷积注意力神经网络，结合类别标注的有缺陷和无缺陷的工件图像数据集，对该网络进行训练，即可得到一种能够对缺陷工件进行识别的基于卷积注意力的深度学习网络。使用训练好的网络对工件进行缺陷检测识别，能够提升工件缺陷检测识别的准确率和效率，提高检测效果。

实验结果表明，在测试过程中，对于缺陷图像的分类准确率可以达到96％以上。可以发现，结合细粒度图像识别领域的技术，能够帮助网络学到更多具有判别力的区域，大大提升分类准确率。

Claims (6)

1.一种基于卷积注意力神经网络的缺陷工件图像识别方法，其特征在于，包括以下步骤：

步骤1、对卷积神经网络进行预训练权重形成特征提取网络，将输入图像输入到所述特征提取网络中，得到对应的深度特征；

步骤2、对所述深度特征构成的深度特征图像进行卷积操作，得到注意力图并进行归一化；

步骤3、对所述归一化的注意力图中的注意力区域裁剪，并放大至与所述输入图像同等大小重新作为所述卷积神经网络的新的输入仅用于分类任务进行训练；丢弃所述注意力图中的部分注意力区域后得到新图像作为所述卷积神经网络的新的输入仅用于分类任务进行训练；

步骤4、将待识别的缺陷工件图像输入训练好的所述卷积神经网络得到的特征图与通过所述步骤1和步骤2得到的注意力图进行点积操作，获得新的部位特征图；对所述部位特征图再进行最大值池化操作获得注意力特征，将所有的所述注意力特征进行堆叠，获得部位特征矩阵，完成缺陷图像的分类识别。

2.根据权利要求1所述的基于卷积注意力神经网络的缺陷工件图像识别方法，其特征在于，对所述卷积神经网络进行训练时，使用中心损失函数与交叉熵损失函数加权融合作为模型优化损失函数。

3.根据权利要求2所述的基于卷积注意力神经网络的缺陷工件图像识别方法，其特征在于，所述中心损失函数

其中c_k为部位特征的中心，加入动量β,c_k←c_k+β(f_k-c_k)对c_k从0开始进行更新，f_k为注意力特征，M为所述注意力图的维度，所述模型优化损失函数L＝L_CE+λL_A，其中L_CE为交叉熵损失函数，λ为加权系数。

4.根据权利要求2所述的基于卷积注意力神经网络的缺陷工件图像识别方法，其特征在于，所述使用中心损失函数与交叉熵损失函数加权融合作为模型优化损失函数对所述卷积神经网络进行训练时，利用梯度下降法对所述卷积神经网络进行训练。

5.根据权利要求1所述的基于卷积注意力神经网络的缺陷工件图像识别方法，其特征在于，所述卷积神经网络为VGG或ResNet网络。

6.根据权利要求1所述的基于卷积注意力神经网络的缺陷工件图像识别方法，其特征在于，所述步骤1的输入图像为带有缺陷类别标签的工件数据集。

Images