CN118351381A - 一种基于特征学习的工件裂纹视觉检测方法 - Google Patents

Abstract

本发明涉及一种基于特征学习的工件裂纹视觉检测方法，将工件图像的裂纹检测问题看作一个基于图像的分类问题，最终通过分割块回归到整体图像的检测结果。在网络结构中采用直方图均衡的方式，剔除了背景干扰，放大工件裂纹与正常区域之间的色彩差异。并通过分类器获得最终检测结果。该结果相比其他现有技术能够准确识别工件细小裂纹，并且在实际工件数据集上训练速度快，识别率高，准确率达到50％，召回率达到了90％以上。这些性能指标标志着本方法为工件图像裂纹检测提供了更加有益的效果。

Description

一种基于特征学习的工件裂纹视觉检测方法

技术领域

本发明属于计算机视觉，图形处理技术领域，涉及一种基于特征学习的工件裂纹视觉检测方法。主要针对工业产品DR图像的裂纹检测问题，具体涉及一种基于滑动窗口与图像特征的裂纹检测方法。

背景技术

裂纹检测技术是广泛应用于各种工程领域的重要技术，旨在及早发现并评估结构中的裂纹，以确保设施、建筑物或机械部件的安全性和可靠性。裂纹可能是由于材料疲劳、应力集中、自然环境影响或制造缺陷等原因而产生，可能存在于钢铁结构、混凝土构件、管道、航空航天零部件等各种复杂材料和构件中。

直接对裂纹进行人工检测的方式局限性大，需要大量的人力与时间。因此基于图像的裂纹检测技术显得尤为重要。目前，基于图像的裂纹检测技术随着卷积神经网络的快速发展，主要由两种方法：第一种是有监督的方法，在利用标记了标签(包括类别、矩形框或逐像素等)的带有裂纹缺陷图像输入到网络中进行训练.此裂纹"意味着标记过的区域或者图像。Tao等人提出的“X.Tao,D.Zhang,W.Ma,X.Liu,and D.Xu.Automatic metallicsurface defect detection and recognition with convolutional neuralnetworks.Applied Sciences,8,1575,2018”使用的自动编码器进行有监督的特征学习第二种是无监督的裂纹检测方法,通常只需要正常无裂纹样本进行网络训练,也被称为one-class learning.该方法更关注无裂纹(即正常样本)特征,当裂纹检测过程中发现没有见过的特征(异常特征)时,即认为检测出裂纹.此时裂纹意味着异常,因此该方法也被称作异常检测。Li等人提出的“Z.Li,N.Li,K.Jiang,Ma.Zhang,W.Xing,H.Xiao,and Y.Gong,Superpixel Masking and Inpainting for Self-Supervised Anomaly Detection.InProceedings of British Machine Vision Conference,2020”对输入图像进行超像素分割并进行复原，比较网络重构后的块与输入块之间的差异来判定缺陷。

这些方法在公开数据集取得了良好的效果，但是面对工件裂纹图像并不能取得较好的效果。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于特征学习的工件裂纹视觉检测方法。是一种基于滑动窗口与图像特征学习的裂纹检测方法。该方法通过滑动窗口将图像切分为块，并使用基于图像特征的深度学习方法判断图像块是否存在裂纹。通过上述方法，以此来提升在工件图像集上裂纹检测的准确性。

技术方案

一种基于特征学习的工件裂纹视觉检测方法，其特征在于步骤如下：

步骤1：对疑似含有裂纹工件的图像进行增强图像的对比度，减少图像的噪声干扰；

步骤2：采用滑动窗口对图像I_i(i＝1,2,3.....k)进行数据切分得到多个图像块，构成图像集P^m×n×l，得到去噪之后的训练样本P^m×n×l；

所述图像集P^m×n×l的构成是：对图像I_i(i＝1,2,3.....k)中的区域Q，使用l×l的窗口以步长s的方式在区域Q上进行滑动切分得到个图像块，构成图像集P^m×n×l，其中：m为沿图像y轴方向的图像块数量，n为沿图像x轴方向的图像块数量，h_Q为图像宽度，w_Q为图像长度；

步骤3：将训练样本P^m×n×l划分训练和测试数据集，将训练数据集输入分类检测网络，进行训练，以训练完成分类检测网络对经过步骤2处理后的步骤1的数据进行分类检测，得到图像块是否为异常的判定；

所述分类检测网络包括视觉注意力机制与非局部特征增强的网络backbone、采样特征金字塔模型和分类器；所述视觉注意力机制与非局部特征增强的网络backbone包括三个串联的注意力模块；所述采样特征金字塔模型包括两个上采样模块和融合模块；第三注意力模块的输出连接第二上采样模块，第二注意力模块的输出连接第一上采样模块，第二上采样模块的输出连接第一上采样模块，第一上采样模块的输出连接融合模块；所述融合模块的输出连接mlp+softmax分类器；

具体过程为：

将训练数据集采用视觉注意力机制与非局部特征增强的网络backbone，进行全局特征信息进行提取与学习，得到不同尺寸的特征信息；所述网络backbone中自注意力层为3层，产生3个不同尺寸特征；其中：第一注意力模块输出A特征图,第二注意力模块输出B特征图,第三注意力模块输出C特征图；

特征图经过上采样后与第二注意力模块的输出的特征图融合后进行上采样处理，

采样特征金字塔模型对backbone生成的不同尺寸的特征信息进行融合，得到多尺度特征图；其中：C特征图经过上采样处理输出D特征图,D特征图与B特征图融合后再次进行上采样处理输出E特征图,E特征图与A特征图进行融合得到F特征图；

对于融合后的F特征图，使用mlp+softmax与置信度进行判别，具体为：将融合后的F特征图拉伸为一维序列，然后使用mlp+softmax对一维序列进行处理，输出二分类置信度p1、p2，大于设置的置信度阈值p^s的图像块判定为异常即存在裂纹的图像块，否则为不存在裂纹的图像块。

所述增强图像的对比度采用直方图均衡处理图像算法，使得图像的直方图分布变成近似均匀分布，从而增强图像的对比度。

所述直方图均衡处理图像算法是：首先将图像分割成许多重叠或不重叠的区域X_i(i＝1,2,3.....n)，然后统计每个区域的直方图，对每个小区域内的像素应用直方图均衡化，增强局部对比度；然后采用对比度限制公式进行对比度裁剪，将对比度裁剪后的各个区域重新插值组合成最终的均衡化图像；所述对比度限制公式为：

y'＝y·(max{p}-min{p})+min{p}

y＝0.2126×R+0.7152×G+0.722×B

其中：y'为对比限制后的图像像素值，y为图像通道的加权混合值，p为图像块像素点对应的像素值集合，R为图像红色通道数值，G为图像绿色通道数值，B为图像蓝色通道数值。

所述训练和测试数据集的比例为8:2。

所述采用视觉注意力机制进行全局特征学习是：经过位置编码后，通过视觉注意力机制学习全局特征信息，其中图像经过位置编码后成为Q,K,V，并经过自注意力层交换学习全局特征信息，最后的特征输出为：

所述特征金字塔模型的融合公式为：不同尺度特征。

所述置信度阈值p^s＝0.6。

一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如所述数据迁移方法的步骤。

一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述数据迁移方法的步骤。

一种计算机程序产品，其特征在于包括计算机可执行指令，所述指令在被执行时用于实现所述的方法。

有益效果

本发明提出的一种基于特征学习的工件裂纹视觉检测方法，由于实际工件图像的数据裂纹的细小和与正常区域的相似度极高，在现有技术上效果不好，促使我们改变了原有的基于图像分割方式的缺陷检测，将工件图像的裂纹检测问题看作一个基于图像的分类问题，最终通过分割块回归到整体图像的检测结果，采用这种新方式，可以有效解决复杂状况(背景噪声干扰，弱裂纹)的裂纹检测问题。

在本发明中，我们同时在网络结构中采用直方图均衡的方式，剔除了背景干扰，放大工件裂纹与正常区域之间的色彩差异。并通过分类器获得最终检测结果。该结果相比其他现有技术能够准确识别工件细小裂纹，并且在实际工件数据集上训练速度快，识别率高，准确率达到50％，召回率达到了90％以上。这些性能指标标志着本方法为工件图像裂纹检测提供了更加有益的效果。具有结果见表2。

附图说明

图1：本发明实施的分类检测网络结构图

图2：本发明实施的具体流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明提出一种基于滑动窗口与图像特征的裂纹检测方法，以解决在工件图像数据上难以检测裂纹的通用场景分类方法对于该特定问题的局限性。其技术方案包括两大部分：滑动窗口切分与深度学习分类。

滑动窗口切分：

1、对疑似存在裂纹的数据进行数据增强。使用直方图均衡算法进行处理，使得图像的直方图分布变成近似均匀分布，从而增强图像的对比度，并且能减少图像的噪声干扰，得到去噪之后的训练样本。

2、使用滑动窗口进行数据切分，对于给定的图像I_i(i＝1,2,3.....k)中的区域Q，使用l×l的窗口以步长s的方式在区域Q上进行滑动切分得到个图像块，使大尺寸且拥有背景干扰的图像产生小分辨率且只关注物体的图像集P^m×n×l。

深度学习分类：

1、针对图像集P，随机抽取划分训练测试数据集，其中训练测试的比例为8:2。

2、采用视觉注意力机制与非局部特征增强的方法作为网络backbone，对训练样本的全局特征信息进行提取与学习，训练图像通过特征网络学习处理为图像特征，进一步放大异常与正常样本之间差异，网络模型能学习到正负样本特征信息。

3、采样特征金字塔模型对backbone生成的不同尺寸的特征信息进行融合，得到多尺度特征图。

4、使用分类结构，将图像特征归一化后使用Softmax对进行判别，通输出图像块的异常置信度，并根据所设计的阈值对置信度(设为0.6)进行过滤，大于阈值的置信度判定为异常即存在裂纹，否则不存在裂纹。

本发明中采用的网络结构见图1所示。

本发明实施例中，参照图2左，滑动窗口处理模块的实现如下：

步骤1，直方图均衡处理图像

将初始数据集进行直方图均衡化处理，减少背景与噪声的干扰，并增强图像的对比度。具体地，首先将图像分割成许多重叠或不重叠的区域X_i(i＝1,2,3.....n)，然后统计每个区域的直方图，对每个小区域内的像素应用直方图均衡化，增强局部对比度。接下来进行对比度裁剪，限制直方图均衡化的效果，避免过度增强对比度，其中度限制公式为：

y'＝y·(max{p}-min{p})+min{p}

y＝0.2126×R+0.7152×G+0.722×B

其中：y'为对比限制后的图像像素值，y为图像通道的加权混合值，p为图像块像素点对应的像素值集合，R为图像红色通道数值，G为图像绿色通道数值，B为图像蓝色通道数值。

步骤2，滑动窗口切分数据

对于已经均衡过的图像，使用滑动窗口进行数据切分，对于给定的图像I_i(i＝1,2,3....k.)中的区域Q，使用l×l的窗口以步长s的方式在区域Q上进行滑动切分得到m×n个图像块，使大尺寸且拥有背景干扰的图像产生小分辨率且只关注物体的图像集P^m×n×l。

m,n分别为：

其中，m为沿图像y轴方向的图像块数量，n为沿图像x轴方向的图像块数量，h_Q为图像宽度，w_Q为图像长度；

参照图2右，本发明的滑动窗口处理模块的实现步骤如下：

步骤3，注意力特征提取：

将划分好的训练样本经过视觉注意力机制进行全局特征学习。具体来说，经过位置编码后，通过视觉注意力机制(Attention)学习全局特征信息，其中图像经过位置编码后成为Q,K,V，并经过自注意力层交换学习全局特征信息，最后的特征输出：

整个特征学习提取模块中自注意力层为3层，产生3个不同尺寸特征。

步骤4，特征金字塔融合：

对于的l_i(i＝1,2,3)不同尺度特征，采用逐层上采样以及插值的方式，获得融合不同尺度后的图像特征。特征的融合公式为：

l_i，i＝1,2,3不同尺度特征。

步骤5，结果分类：

对于融合后的特征，使用mlp+softmax与置信度进行判别。首先将特征图像拉伸为一维序列，然后使用mlp+softmax对序列进行处理，输出二分类置信度p1、p2,若某项置信度大于p^s(p^s＝0.6)，则判定为对应类别(1为存在裂纹，0为不存在裂纹)。判别公式如下：

完成训练之后，在图像测试推理时通过本发明的网络结构判定输入图像的类别(即是否存在裂纹)。

上述步骤3～步骤5采用分类检测网络包括视觉注意力机制与非局部特征增强的网络backbone、采样特征金字塔模型和分类器；

将训练样本P^m×n×l划分训练和测试数据集，将训练数据集输入分类检测网络，进行训练，以训练完成分类检测网络对经过步骤2处理后的步骤1的数据进行分类检测，得到图像块是否为异常的判定；

所述分类检测网络包括视觉注意力机制与非局部特征增强的网络backbone、采样特征金字塔模型和分类器；所述视觉注意力机制与非局部特征增强的网络backbone包括三个串联的注意力模块；所述采样特征金字塔模型包括两个上采样模块和融合模块；第三注意力模块的输出连接第二上采样模块，第二注意力模块的输出连接第一上采样模块，第二上采样模块的输出连接第一上采样模块，第一上采样模块的输出连接融合模块；所述融合模块的输出连接mlp+softmax分类器；

具体过程为：

将训练数据集采用视觉注意力机制与非局部特征增强的网络backbone，进行全局特征信息进行提取与学习，得到不同尺寸的特征信息；所述网络backbone中自注意力层为3层，产生3个不同尺寸特征；其中：第一注意力模块输出A特征图,第二注意力模块输出B特征图,第三注意力模块输出C特征图；

特征图经过上采样后与第二注意力模块的输出的特征图融合后进行上采样处理，

采样特征金字塔模型对backbone生成的不同尺寸的特征信息进行融合，得到多尺度特征图；其中：C特征图经过上采样处理输出D特征图,D特征图与B特征图融合后再次进行上采样处理输出E特征图,E特征图与A特征图进行融合得到F特征图；

对于融合后的F特征图，使用mlp+softmax与置信度进行判别，具体为：将融合后的F特征图拉伸为一维序列，然后使用mlp+softmax对一维序列进行处理，输出二分类置信度p1、p2，大于设置的置信度阈值p^s的图像块判定为异常即存在裂纹的图像块，否则为不存在裂纹的图像块。

本发明的效果可以通过以下仿真实验做进一步的说明。

1、仿真条件：

本发明是在中央处理器为i5-3470 3.2GHz CPU、内存4G、WINDOWS 7操作***上，运用Python软件进行的仿真。实验中使用的数据为自主采集的工件图像。

2、仿真内容

首先，使用训练集按照具体实施方式中的方法切分图像，并使用网络模型训练，待训练完成后，按照划分好的测试集中的图像分类并并结合真实标记的结果计算出分类准确率与召回率。

为了证明算法的有效性，我们选择了两个算法作为对比。其中一个为Tao等人提出的“X.Tao,D.Zhang,W.Ma,X.Liu,and D.Xu.Automatic metallic surface defectdetection and recognition with convolutional neural networks.AppliedSciences,8,1575,2018”。另一个为Li等人提出的“Z.Li,N.Li,K.Jiang,Ma.Zhang,W.Xing,H.Xiao,and Y.Gong,Superpixel Masking and Inpainting for Self-SupervisedAnomaly Detection.In Proceedings of British Machine Vision Conference,2020”并进行了参数调节，计算平均准确率、查全率与F值。对比结果如表2所示。

表1实验数据设置

图像标签	有裂纹	无裂纹
			图像数量	150	120

表1是用来进行学***均精确率约为52.13％，平均召回率约为93.12％。表明本方法的整体检测性能较好。证明了本方法针对工业数据的裂纹检测有良好的效果。

表2实验结果对比

	本发明	X.Tao	Z.Li
				准确率	0.5213	0.4745	0.6212
召回率	0.9312	0.7643	0.8619

总的来说，本发明将特征学习与裂纹检测相结合，探索如何通过标记的训练集学习到更有效的特征信息，使得该方法的裂纹检测具有很高的准确率和很强的鲁棒性；同时通过滑动窗口算法处理数据，使得数据集得到增强与去噪，提高数据在被检测时的准确性。

Claims (10)

1.一种基于特征学习的工件裂纹视觉检测方法，其特征在于步骤如下：

步骤1：对疑似含有裂纹工件的图像进行增强图像的对比度，减少图像的噪声干扰；

步骤2：采用滑动窗口对图像I_i，i＝1,2,3.....k进行数据切分得到多个图像块，构成图像集P^m×n×l，得到去噪之后的训练样本P^m×n×l；

所述图像集P^m×n×l的构成是：对图像I_i，i＝1,2,3.....k中的区域Q，使用l×l的窗口以步长s的方式在区域Q上进行滑动切分得到个图像块，构成图像集P^{m ×n×l}，其中：m为沿图像y轴方向的图像块数量，n为沿图像x轴方向的图像块数量，h_Q为图像宽度，w_Q为图像长度；

步骤3：将训练样本P^m×n×l划分训练和测试数据集，将训练数据集输入分类检测网络，进行训练，以训练完成分类检测网络对经过步骤2处理后的步骤1的数据进行分类检测，得到图像块是否为异常的判定；

所述分类检测网络包括视觉注意力机制与非局部特征增强的网络backbone、采样特征金字塔模型和分类器；所述视觉注意力机制与非局部特征增强的网络backbone包括三个串联的注意力模块；所述采样特征金字塔模型包括两个上采样模块和融合模块；第三注意力模块的输出连接第二上采样模块，第二注意力模块的输出连接第一上采样模块，第二上采样模块的输出连接第一上采样模块，第一上采样模块的输出连接融合模块；所述融合模块的输出连接mlp+softmax分类器；

具体过程为：

将训练数据集采用视觉注意力机制与非局部特征增强的网络backbone，进行全局特征信息进行提取与学习，得到不同尺寸的特征信息；所述网络backbone中自注意力层为3层，产生3个不同尺寸特征；其中：第一注意力模块输出A特征图,第二注意力模块输出B特征图,第三注意力模块输出C特征图；

特征图经过上采样后与第二注意力模块的输出的特征图融合后进行上采样处理，

采样特征金字塔模型对backbone生成的不同尺寸的特征信息进行融合，得到多尺度特征图；其中：C特征图经过上采样处理输出D特征图,D特征图与B特征图融合后再次进行上采样处理输出E特征图,E特征图与A特征图进行融合得到F特征图；

对于融合后的F特征图，使用mlp+softmax与置信度进行判别，具体为：将融合后的F特征图拉伸为一维序列，然后使用mlp+softmax对一维序列进行处理，输出二分类置信度p1、p2，大于设置的置信度阈值p^s的图像块判定为异常即存在裂纹的图像块，否则为不存在裂纹的图像块。

2.根据权利要求1所述基于特征学习的工件裂纹视觉检测方法，其特征在于：所述增强图像的对比度采用直方图均衡处理图像算法，使得图像的直方图分布变成近似均匀分布，从而增强图像的对比度。

3.根据权利要求2所述基于特征学习的工件裂纹视觉检测方法，其特征在于：所述直方图均衡处理图像算法是：首先将图像分割成许多重叠或不重叠的区域X_i，i＝1,2,3.....n，然后统计每个区域的直方图，对每个小区域内的像素应用直方图均衡化，增强局部对比度；然后采用对比度限制公式进行对比度裁剪，将对比度裁剪后的各个区域重新插值组合成最终的均衡化图像；所述对比度限制公式为：

y'＝y·(max{p}-min{p})+min{p}

y＝0.2126×R+0.7152×G+0.722×B

其中：y'为对比限制后的图像像素值，y为图像通道的加权混合值，p为图像块像素点对应的像素值集合，R为图像红色通道数值，G为图像绿色通道数值，B为图像蓝色通道数值。

4.根据权利要求1所述基于特征学习的工件裂纹视觉检测方法，其特征在于：所述训练和测试数据集的比例为8:2。

5.根据权利要求1所述基于特征学习的工件裂纹视觉检测方法，其特征在于：所述采用视觉注意力机制进行全局特征学习是：经过位置编码后，通过视觉注意力机制学习全局特征信息，其中图像经过位置编码后成为Q,K,V，并经过自注意力层交换学习全局特征信息，最后的特征输出为：

6.根据权利要求1所述基于特征学习的工件裂纹视觉检测方法，其特征在于：所述特征金字塔模型的融合公式为：l_i，i＝1,2,3不同尺度特征。

7.根据权利要求1所述基于特征学习的工件裂纹视觉检测方法，其特征在于：所述置信度阈值p^s＝0.6。

8.一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至7任一项所述数据迁移方法的步骤。

9.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据迁移方法的步骤。

10.一种计算机程序产品，其特征在于包括计算机可执行指令，所述指令在被执行时用于实现权利要求1至7任一项所述的方法。