CN113177921A

CN113177921A - 一种基于神经网络的磁瓦表面缺陷检测方法

Info

Publication number: CN113177921A
Application number: CN202110480208.8A
Authority: CN
Inventors: 李泽辉; 王华龙; 杨海东
Original assignee: Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Current assignee: Foshan Nanhai Guangdong Technology University CNC Equipment Cooperative Innovation Institute
Priority date: 2021-04-30
Filing date: 2021-04-30
Publication date: 2021-07-27

Abstract

本发明公开了一种基于神经网络的磁瓦表面缺陷检测方法，本发明提供了一种基于神经网络的磁瓦表面缺陷检测方法。提出了一种端到端的CNN结构，称为融合特征CNN(FFCNN)，FFCNN由三个模块组成:特征提取模块、特征融合模块和决策模块。特征提取模块用于从不同的图像中提取特征。特征融合模块是对特征提取模块提取的特征进行融合。决策模块通过融合特征对标签进行预测。在此基础上，引入了一种注意机制，将注意力集中在具有代表性的部分上，抑制不太重要的信息。相比传统的人工检测，该检测***对磁瓦表面的缺陷检测提高了效率和精度，降低了检测成本。

Description

一种基于神经网络的磁瓦表面缺陷检测方法

技术领域

本发明涉及一种基于神经网络的磁瓦表面缺陷检测方法，具体涉及一种基于神经网络的磁瓦表面缺陷检测方法。

背景技术

磁瓦是用磁性材料制成的一种瓦片状的永磁物体，是永磁电机中具有恒定磁场的定子或转子的关键部件。其质量直接影响到性能和永磁电机的生命周期。如果有表面缺陷的磁砖未经过检测而被使用，这将会造成严重的后果。因此开发一套高效、有效的磁瓦表面检测技术就显得尤为重要。

现多数厂商由于技术原因，还是采用人工检测的方法，而人工检测的方法存在以下问题：(1)人工检测效率低、精度低，主观因素大，且容易疲劳。(2)人眼难于识别微小的缺陷。而传统的神经网络检测则不能直接从多幅图像中获取固有的联合特征，不能准确识别表面缺陷。

发明内容

针对现有技术的不足，本发明的目的旨在提供一种基于神经网络的磁瓦表面缺陷检测方法。

为实现上述目的，本发明采用如下技术方案：

一种基于神经网络的磁瓦表面缺陷检测方法，包括以下步骤：

S1、采集磁瓦表面图像，将所述磁瓦表面图像分为训练集和实验集；

S2、用训练集训练神经网络模型得到神经网络模型Ⅰ；

S3、在训练后的神经网络模型Ⅰ中添加特征融合模块，得到神经网络模型Ⅱ；

S4、在神经网络模型Ⅱ中引入注意机制，得到神经网络Ⅲ；

S5、用神经网络模型Ⅲ检测所述实验集，得到检测结果，根据检测结果判断磁瓦表面是否存在缺陷。

进一步地，所述S1还包括：用旋转图像采集***对M个磁瓦样品表面从N个方向进行图像收集，每个磁瓦样品得到N张图像，M和N均为大于0的整数。

进一步地，所述S2还包括：

S21、将所述训练集根据不同的采集方向进行分类，将同一采集方向的不同磁瓦样品的图像归类为一个流，共归类出G个流，所述G为大于0的整数，所述G与M相等；

S22、将每个流输入至原始神经网络模型，对所述原始神经网络模型进行预训练，得到预训练神经网络模型；

S23、将预训练神经网路模型的权值作为神经网络模型的初始值，并对神经网络模型进行训练，直至收敛得到神经网络模型Ⅰ；

进一步地，所述步骤S23还包括：使用CBAM(卷积块注意模块)来抑制不需要的信息，使用下式来计算损失：

式中，m表示最小批量；k表示类数；l{·}表示指示函数，其中，l{true}＝1,，l{false}＝0。

进一步地，所述S3还包括：使用连接算子进行所述特征融合模块与神经网络模型Ⅰ的融合。

进一步地，所述连接算子为连接运算符。

进一步地，所述注意机制为卷积层中的注意力模块，所述卷积层中的注意力模块包括通道注意模块和空间注意模块。

进一步地，所述原始神经网络模型为卷积神经网络模型，所述神经网络模型为融合特征卷积神经网络模型。

本发明的有益效果在于：

本发明能够代替效率低的人工检测方法，改善传统神经网络的识别效果，以达到节约成本、提高生产效率的目的。

附图说明

附图1为本发明FFCNN的架构示意图

附图2为本发明流程示意图；

附图3为本发明CBAM的结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述：

为实现上述目的，本发明采用如下技术方案：

本发明的实施例为：一种基于Resnet-50(残差网络网络)架构的FFCNN模型(FusedFully Convolutional Neural Network,融合特征卷积神经网络模型)的磁瓦表面缺陷检测方法，FFCNN模型为一种端到端的CNN模型，称为融合特征CNN，如图1所示，FFCNN由三个模块组成:特征提取模块、特征融合模块和决策模块。特征提取模块用于从不同的图像中提取特征。特征融合模块是对特征提取模块提取的特征进行融合。决策模块通过融合特征对标签进行预测。在此基础上，引入了一种注意机制，将注意力集中在具有代表性的部分上，抑制不太重要的信息。相比传统的人工检测，该检测***对磁瓦表面的缺陷检测提高了效率和精度，降低了检测成本。

本实施例包括以下步骤：

步骤S1、采集磁瓦表面图像，将所述磁瓦表面图像分为训练集和实验集。

步骤S1还包括：

用旋转图像采集***对1300个磁瓦样品表面从N个方向进行图像收集，每个磁瓦样品得到N张图像，M和N均为大于0的整数。

步骤S2、用训练集训练FFCNN模型得到FFCNN模型Ⅰ；

如图1所示，FFCNN的架构包括特征提取模块、特征融合模块和决策模块。特征提取模块由多个卷积核核卷积块注意模块组成。特征融合模块通过特征映射实现特征融合。决策模块包括多个卷积核、多个卷积注意模块、Avgpool(平均池化层)以及FC2层。

步骤S2还包括：

S21、将所述训练集根据不同的采集方向进行分类，将同一采集方向的不同磁瓦样品的图像归类为一个流，共归类出N个流；

S22、将每个流输入至CNN模型，对所述CNN模型进行预训练，得到预训CNN模型；

S23、将预训练CNN模型的权值作为神经网络模型的初始值，并对FFCNN模型进行训练，直至收敛得到神经网络模型Ⅰ。

步骤S2目的是训练神经网络。

按照图像贴标的方法，有1300个样品，其中有1000个缺陷样品，300个正常样品。每个样本包含4张图像。数据集的分割如表1所示。初始学习率设置为0.001，小批量大小设置为10。因为样本包含4张图像，所以FFCNN由4个流组成。如算法1所示，为了训练FFCNN，首先对每个流分别进行传统CNN(Convolutional Neural Networks，卷积神经网络)的训练。将预先训练好的网络的权值作为初始值。在对每个流进行收敛后，将学习到的每个流的权值作为FFCNN的初始值。然后对FFCNN进行联合训练直到收敛。

表1实验铝样品的分布

样本集	缺陷样品	正常样品
			训练集	800	200
实验集	200	100

如算法1所示，为了训练FFCNN，首先对每个流分别进行传统CNN的训练。将预先训练好的网络的权值作为初始值。在对每个流进行收敛后，将学习到的每个流的权值作为FFCNN的初始值。然后对FFCNN进行联合训练直到收敛。

FFCNN算法1如下：

Input：训练集C＝{X₁，X₂,……X_K},

第一步，训练每个流初始：θ＝{θ1，θ2……θn},学习率η，元的次数为Nt,最大批量为m。使用Adam优化算法调整学习率。

For i＝1:n

While元的次数小于等于Nt，使用m张图像来训练第i个流，使用下式来计算特征图。

Γ_i＝{Sⁱ _j|j＝1,2,...,N}＝Λ(I_i|θ_i)∈R^W×H×N (1)

式中，Γ表示学习到的特征图Sj表示图像Ii的第j个特征；N表示图像的通道数学习的特征图；Λ表示特征提取操作；θi示第i个流的参数；W，H和N分别表示学习的特征图的通道宽度、高度和数量。

使用CBAM(卷积块注意模块)来抑制不需要的信息，使用下式来计算损失。

式中,m表示最小批量；k表示类数；l{·}表示指示函数，其中l{true}＝1,否,l{false}＝0。

使用SGD算法更新参数θi值。

End while

Outputθ_i

End for

Outputθ＝{θ1,θ2,……θn}

第二步，训练FFCNN

初始值：θ＝{θ1，θ2……θn}(使用Step1的输出值)，学习率η，元次数为Nt,最大批量为m。

While元的次数小于等于Nt，使用m张样品图训练FFCNN,使用上面(1)式来计算特征图，使用CBAM抑制不需要的信息，使用平均、最大、连接算子来把特征融合到指定的地方。使用上面的(2)式计算损失，使用SGD算法更新θi的值。

End while

Outputθ＝{θ1，θ2……θm}。

步骤S3、在训练后的FFCNN模型Ⅰ中添加特征融合模块，得到FFCNN模型Ⅱ；

步骤S3还包括：

使用连接算子进行所述特征融合模块与FFCNNⅠ的融合。

在Resnet-50架构的最后一个卷积层即Cov5-X添加了特征融合模块，使用concatenation operator(连接运算符)来进行特征融合，进行了不同层融合及其组合的实验。对特征融合模块进一步介绍，在传统的CNN架构中嵌入了一种空间融合策略，对于样本X，特征提取模块从每幅图像Ii中学习特征，得到对应的特征映射Гi。特征融合函数可以由下式表示为：

F＝θ(Г₁，Г₂，……Г_n) (3)

式中，F是特征融合模块输出；θ()是特征融合函数。

研究了三种融合算子，包括均值算子、最大算子和连接算子。最终选择了连接融合算子，对于连接算子，将学习到的特征映射沿着通道方向叠加，可以由下式来表示。

式中，Fcat∈RWxHxN。

一个基于Resnet-50流的架构如下表所示：

步骤S4、在FFCNNⅡ中引入注意机制，得到FFCNNⅢ；

步骤S4还包括：

所述注意力机制为CBAM(Convolutional Block Attention Module，卷积层中的注意力模块)，所述CBAM包括通道注意模块和空间注意模块。

引入注意机制，将CBAM整合到FFCNN，即同时使用通道注意模块和空间注意模块，如下图3所示。(a)是通道注意模块，(b)是空间注意模块。结合图3进一步对这两个模块进行说明，在通道注意块中，由中间特征映射Ft产生间接特征图，在中间特征映射Ft的特殊轴上应用两种池算子，即平均和最大算子，经过最大池操作运算和平均池操作运算生成两个向量Vavg和Vmax。然后，这两个向量被转到一个单层的多层感知(MLP)中，产生注意向量Aavg和Amax。然后将注意向量和空间注意向量按元素的总和进行合并，进行通道特征提取。最后，将输出特征向量输入到sigmoid激活函数中，得到通道注意向量Vc。Vc可以通过以下函数计算:

式中，

是池算子；

是智能元素求和；σ(·)表示sigmoid激活函数。

如图3所示，在空间注意模块中，首先通过通道特征提取在通道注意输出特征图的通道轴心处进行平均池操作运算和最大池操作运算，生成注意矩阵Mavg Mmax。然后，将注意矩阵Mavg和Mmax进行连接操作生成特征矩阵。为了编码在何处强调或抑制，一个卷积层应用，进行卷积运算，最后通过空间注意矩阵运算。简而言之，空间注意矩阵MS可由下式计算：

式中，

是注意通道输出的特征图；f^7X7是滤波尺寸为7X7的卷积运算。

步骤S5、用FFCNN模型Ⅲ检测所述实验集，得到检测结果，根据检测结果判断磁瓦表面是否存在缺陷。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims

1.一种基于神经网络的磁瓦表面缺陷检测方法，其特征在于，包括以下步骤：

S2、用训练集训练神经网络模型得到神经网络模型Ⅰ；

S4、在神经网络模型Ⅱ中引入注意机制，得到神经网络Ⅲ；

2.根据权利要求1所述的一种基于神经网络的磁瓦表面缺陷检测方法，其特征在于，所述S1还包括：用旋转图像采集***对M个磁瓦样品表面从N个方向进行图像收集，每个磁瓦样品得到N张图像，M和N均为大于0的整数。

3.根据权利要求1所述的一种基于神经网络的磁瓦表面缺陷检测方法，其特征在于，所述S2还包括：

S23、将预训练神经网路模型的权值作为神经网络模型的初始值，并对神经网络模型进行训练，直至收敛得到神经网络模型Ⅰ。

4.根据权利要求3所述的一种基于神经网络的磁瓦表面缺陷检测方法，其特征在于，所述步骤S23还包括：使用CBAM(卷积块注意模块)来抑制不需要的信息，使用下式来计算损失：

5.根据权利要求1所述的一种基于神经网络的磁瓦表面缺陷检测方法，其特征在于，所述S3还包括：使用连接算子进行所述特征融合模块与神经网络模型Ⅰ的融合。

6.根据权利要求5所述的一种基于神经网络的磁瓦表面缺陷检测方法，其特征在于，所述连接算子为连接运算符。

7.根据权利要求1所述的一种基于神经网络的磁瓦表面缺陷检测方法，其特征在于，所述注意机制为卷积层中的注意力模块，所述卷积层中的注意力模块包括通道注意模块和空间注意模块。

8.根据权利要求1所述的一种基于神经网络的磁瓦表面缺陷检测方法，其特征在于，所述原始神经网络模型为卷积神经网络模型，所述神经网络模型为融合特征卷积神经网络模型。