CN109308489B - 一种元件电弧焊焊接质量检测方法 - Google Patents

Abstract

本发明提供一种元件电弧焊焊接质量检测方法，首先采集一定数量的同一元件电弧焊的多种不同类型的焊接头图片，建立样本库。将样本库中的一部分作为训练集，另一部分作为测试集；基于空间相关法的模板匹配算法提取训练集以及测试集中各样本中的目标焊接头区域图片；定义焊接头质量类型，对训练集中的所有图片的焊接头质量类型进行人工标注，基于tensorflow框架搭建卷积神经网络，将训练集中各类别的所有目标焊接头区域图片输入卷积神经网络中，训练机器学习分类器；最后对S测试集中各样本图像中的目标焊接头区域图片分别用训练好的机器学习分类器进行分类，分类结果就是其对应的焊接头质量类型。本发明能够快速的发现图片中元件电弧焊焊接的质量问题。

Description

一种元件电弧焊焊接质量检测方法

技术领域

本发明涉及焊接质量检测技术领域，尤其涉及一种元件电弧焊焊接质量检测方法。

背景技术

元件的焊接质量检测是指对焊接成果的检测，目的是保证焊接结构的完整性、可靠性、安全性和使用性。

传统的人工检测需要根据焊接结构说明书，技术标准，工艺文件，施工图样等进行检测，对于外观质量的检测主要有尺寸检验、几何形状检测、外表伤痕检测几个方面入手，可以采取射线探伤、超声波探伤、着色检验等方法进行辅助检测。

但是传统的人工检测分类存在很多不足，只依靠人眼和一些检验规则进行检测分类难免会出现不少错误并且消耗大量的时间和劳动力在重复性工作上。进行例如射线探伤等辅助检测方法又可能会有较高的成本，所以高效且智能化的元件焊接质量检测分类方法成了当前实际生产中的重要需求。

发明内容

针对现有技术存在的缺陷，本发明提供一种元件电弧焊焊接质量检测方法。

为实现上述技术目的，本发明的技术方案是：

一种元件电弧焊焊接质量检测方法，包括以下步骤：

S1利用相机拍摄，采集一定数量的同一元件电弧焊的多种不同类型的焊接头图片，建立样本库。将样本库中的样本分为两部分，其中一部分作为训练集，训练集用于训练机器学习分类器。另一部分作为测试集，测试集用于识别其所对应的焊接质量类型。如将样本库中70％的样本作为训练集，30％的样本作为测试集。

S2基于空间相关法的模板匹配算法提取训练集以及测试集中各样本(焊接头图片)中的目标焊接头区域图片。

S2.1在样本库中的所有焊接头图片中寻找所有焊接头图片均具有的共同特征，截取其中一个焊接头图片中的共同特征部分的图像作为模板匹配时的模板，即作为焊接头的模板子图像w(x,y)。这样可以用于批量图片的模板匹配。

S2.2基于空间相关性的图像模板匹配；

设样本图像f(x,y)的大小为M*N和模板子图像w(x,y)的大小为J*K，则样本图像与模板子图像的相关表示为：

其中，x＝0,1,2,3.....N-K，y＝0,1,2.....M-J。f(x,y)就是样本图像其第x行，第y列的像素的像素值，取值在[0,255]之间；w(s,t)就是模板子图像中第s行，第t列的像素的像素值，取值[0,255]。

计算相关性c(x,y)的过程就是在图像f(x,y)中逐像素地移动模板子图像w(x,y)的原点像素(即模板子图像中第s行，第t列的像素)，在每一次移动的过程中根据以上公式计算每个像素位置的相关，直到计算出空间相关性最大的位置，该位置即样本图像f(x,y)中共同特征部分所在的位置。

S2.3根据零件尺寸相同的条件，在样本图像f(x,y)中通过S2.2中找到的样本图像f(x,y)中共同特征部分所在的位置定位到所感兴趣的目标焊接头区域部分的位置，并对样本图像f(x,y)中目标焊接头区域部分的图像进行截取，即可得到样本图像f(x,y)中目标焊接头区域图片。

因为零件尺寸相同且零件尺寸是已知的，在样本库中的所有样本图像f(x,y)中共同特征部分所在的位置与所感兴趣的目标焊接头区域部分的位置之间的位置关系是固定的，而且该位置关系是已知的，因此能够在样本图像f(x,y)中通过S2.2中找到的样本图像f(x,y)中共同特征部分所在的位置定位到所感兴趣的目标焊接头区域部分的位置。

S2.4对训练集以及测试集中各样本图像均进行S2.2至S2.3中的操作，得到所有样本图像中的目标焊接头区域图片，完成批量截取。

在进行模板匹配时，可先将给定焊接头的模板子图像w(x,y)以及各样本图片转化成灰度图，这样有利于提高预算速度，再用空间相关法的模板匹配算法在已为灰度图的样本图片中定位出具有模板子图像特征的位置，再进而计算出焊接头部分的位置，最后对图像进行批量截取。

S3定义焊接头质量类型

焊接头不合格类型分为以下五类，不属于这五类的焊接头作为合格品。

不合格类型包括：

虚焊：缠头有进行点焊处理，但焊包未焊入漆包线。

漏焊：缠头漆包线完全未进行点焊处理，无焊包。

杂线：除在线圈正常绕线区域外夹杂或残留着多余的漆包线。

多线头：引脚缠头与绕组连接处有多余漆包线被绕进。

残渣：缠头底部出现材料残渣，挂屑。

S4图像数据增强

对训练集中所有类别中的各目标焊接头区域图片分别进行翻转，缩小，放大，旋转，这样训练集中各种类别中的数据量扩大为原来的四倍。

S5用S3中定义的焊接头质量类型，对图像数据增强后的训练集中的所有图片中所示的焊接头质量类型进行人工标注(即由工作人员对图像数据增强后的训练集中的所有目标焊接头区域图片中所示的焊接头质量类型进行分类)。基于tensorflow框架搭建卷积神经网络，将图像数据增强后的训练集中各类别的所有目标焊接头区域图片输入卷积神经网络中，训练机器学习分类器。

S6对S2中得到的测试集中各样本图像中的目标焊接头区域图片分别用S5中训练好的机器学习分类器进行分类，分类结果就是其对应的焊接头质量类型。

与现有技术相比，本发明能够产生以下技术效果：

深度学习模仿人脑的机制来解释数据，可以不用手动提取特征，可以通过深度网络模型由底层次到高层次逐层自动将特征抽象出来，对于处理线性不可分问题体现出了极大的优势。

电弧焊质量分类中不合格产品的种类较多，主要为漏焊，虚焊，杂线，多线头，残屑五大类，人工提取特征的工作较为麻烦，并且图像颜色皆偏暗色，特征数量也比较多。

卷积神经网络是深度学习中经典的，常用于处理图像分类问题的深层网络模型，可以通过层层卷积的卷积核自动将不同的特征抽象出来，通常与网络的卷积层搭配的是池化层，可以用来提取出每个卷积核中最重要的特征，达到了简化网络参数，提高运算速度的效果。本设计中运用几种不同的卷积神经网络模型(如LeNet-5模型；AlexNet模型；InceotionV3(GoodLeNet)模型)来对电弧焊的质量分类效果测试，所获得模型能够较快的发现图片中元件的质量问题。

附图说明

图1为本发明的流程图。

图2是一实施例中原图以及原图中的目标焊接头区域图片；其中(a)为原图；(b)为目标焊接头区域图片；

图3是一实施例中基于空间相关法的模板匹配算法提取原图中的目标焊接头区域图片的示意图；其中Template为原图；Target为选取的模板子图像；Matching Resultusing tmp为匹配示意图；jietu为最终提取到的原图中的目标焊接头区域图片；

图4是焊接头质量类型示意图；其中(a)为虚焊；(b)为漏焊；(c)为杂线；(d)为多线头；(e)为残渣。

图5是一实施例中经批量截取到的44张目标焊接头区域图片；

图6是经数据增强处理的图片；其中(a)为原图；(b)为翻转后的图片；(c)为缩小为0.8倍的图片；(d)为放大为1.2倍的图片；(e)为旋转30度角后的图片。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

一种元件电弧焊焊接质量检测方法，包括以下步骤：

S1利用相机拍摄，采集一定数量的同一元件电弧焊的多种不同类型的焊接头图片，建立样本库。将样本库中的样本分为两部分，其中一部分作为训练集，训练集用于训练机器学习分类器。另一部分作为测试集，测试集用于识别其所对应的焊接质量类型。如将样本库中70％的样本作为训练集，30％的样本作为测试集。

为了使卷积神经网络运算效率更高，收敛更迅速，会采取一些对待分类图片进行一些预处理，其中提取待分类图片中的目标区域图像是非常重要的一个步骤。若将整张图片都输入网络进行训练会造成训练速度非常缓慢，由于图像中的其他无关成分还可能产生干扰，导致无法得出满意的效果。

对于提取一张图片中的目标区域图像，因为在本发明中目标区域图像(即目标焊接头区域图片)相对比较固定，因此考虑使用基于空间相关的模板匹配算法实现。

S2基于空间相关法的模板匹配算法提取训练集以及测试集中各样本(焊接头图片)中的目标焊接头区域图片，参照图2和图3。

S2.1在样本库中的所有焊接头图片中寻找所有焊接头图片均具有的共同特征，截取其中一个焊接头图片中的共同特征部分的图像作为模板匹配时的模板，即作为焊接头的模板子图像w(x,y)。这样可以用于批量图片的模板匹配。

S2.2基于空间相关性的图像模板匹配；

设样本图像f(x,y)的大小为M*N和模板子图像w(x,y)的大小为J*K，则f(x,y)与w(x,y)的相关表示为：

其中，x＝0,1,2,3.....N-K，y＝0,1,2.....M-J。

计算相关性c(x,y)的过程就是在图像f(x,y)中逐像素地移动模板子图像w(x,y)的原点像素，在每一次移动的过程中根据以上公式计算每个像素位置的相关，直到计算出空间相关性最大的位置，该位置即样本图像f(x,y)中共同特征部分所在的位置。

S2.3根据零件尺寸相同的条件，在样本图像f(x,y)中通过S2.2中找到的样本图像f(x,y)中共同特征部分所在的位置定位到所感兴趣的目标焊接头区域部分的位置，并对样本图像f(x,y)中目标焊接头区域部分的图像进行截取，即可得到样本图像f(x,y)中目标焊接头区域图片。

S2.4对训练集以及测试集中各样本图像均进行S2.2至S2.3中的操作，得到所有样本图像中的目标焊接头区域图片，完成批量截取。参照图5，是一实施例中经批量截取到的44张目标焊接头区域图片。

在进行模板匹配时，可先将给定焊接头的模板子图像w(x,y)以及各样本图片转化成灰度图，这样有利于提高预算速度，再用空间相关法的模板匹配算法在已为灰度图的样本图片中定位出具有模板子图像特征的位置，再进而计算出焊接头部分的位置，最后对图像进行批量截取。

S3定义焊接头质量类型

焊接头不合格类型分为以下五类，不属于这五类的焊接头作为合格品。

参照图4，不合格类型包括：

虚焊：缠头有进行点焊处理，但焊包未焊入漆包线。

漏焊：缠头漆包线完全未进行点焊处理，无焊包。

杂线：除在线圈正常绕线区域外夹杂或残留着多余的漆包线。

多线头：引脚缠头与绕组连接处有多余漆包线被绕进。

残渣：缠头底部出现材料残渣，挂屑。

考虑人工分类问题，若只将焊接头质量类型分类成二分类，即只有合格与不合格之分，由于不合格品的种类较多，之间区别也较大，若全部归于一个类别并不是十分合适，这样不合格品的特征类别过多，导致卷积神经网络在计算时难以提取出有效特征，造成训练难以收敛从而难以将网络训练到一个比较满意的程度。所以最终决定将所有的合格品放在同一个类别中，将次品按照上述分类分成五类。将分好对应类别的图片存入不同的对应的文件夹中，如0号文件夹中存放的皆为合格品，1-5号文件夹中存放的依次为残渣，漏焊，杂线，虚焊，多线头的次品类别图片，这样就完成了对所有图片的分类标注。

之所以将图像通过分成不同的文件夹进行存放作为标注的目的是因为在python中可以通过读取不同文件夹图片的形式将所有图片转化成二进制格式的文件tfrecord形式，有利于在python中通过多线程操作得以快速读取处理，加快神经网络处理图像的速度。在二进制文件中，图片的类别就与当前所分类存放的文件夹类别一致。

深度学习虽然具备可以自动提取学习特征的能力，但是必须提供足够大的数据量才能使神经网络充分学习到某一类别物体的共有特征，若数据量不足则会导致神经网络对图像中特征的学习不够充分，在反复迭代训练中反而容易拟合图像中的噪声数据，从而出现严重的过拟合现象。

若本来提供的图片数据总量本来就较少，则可以考虑对图像数据进行数据增强的预处理，即对同一张图片进行各种变换，例如翻转，平移，缩放等。这样一来就可以让原有的数据量扩大几倍。同时在计算机中对于图像的识别是基于图像的像素数据进行的，在对图像进行上述各种变换时，图像中的可见内容或许没变，但是对于计算机来说，图像的像素数据已经发生了改变，所以在输入卷积神经网络训练的时候是会被作为不同图像处理的。让计算机通过不同的角度去辨识同一特征，这样可以提高训练好的神经网络的泛化性能，降低过拟合的程度。

S4图像数据增强

对训练集中所有类别中的各目标焊接头区域图片分别进行翻转，缩小，放大，旋转，这样训练集中各种类别中的数据量扩大为原来的四倍。如图6所示，为对一图片分别进行翻转，缩小(缩小为0.8倍)，放大(放大为0.2倍)，旋转(旋转30度角)。

S5用S3中定义的焊接头质量类型，对图像数据增强后的训练集中的所有图片进行人工标注(即由工作人员对图像数据增强后的训练集中的所有目标焊接头区域图片中所示的焊接头质量类型进行分类)。基于tensorflow框架搭建卷积神经网络，将图像数据增强后的训练集中各类别的所有目标焊接头区域图片输入卷积神经网络中，训练机器学习分类器。

目前已知的所有的卷积神经网络模型均基于支持python环境的谷歌的开源框架tensorflow搭建。

本发明中将所有的目标焊接头区域图片均被规范成了大小为60*60的RGB图像。在经典的AlexNet卷积神经网络中，将卷积神经网络中的输入层节点设为60*60*3。在原网络模型中，为了提取更多的特征，卷积层的运算深度由最初的RGB的3层深度变为深度96，再转化为深度256，最后变为深度为384的超大张量，由于设计硬件水平限制，卷积深度过深会导致计算机运算时卡死，故本发明中，修正深度参数为初始3，加深至16，再加深至32，最终达到的最大深度为64，最后一个卷积层进行一个降维操作，将深度64降为48，有利于提高全连接层处理效率。

AlexNet卷积神经网络其池化层与卷积层设置：设置输入层节点矩阵大小为60*60，经过第一次池化后得到尺寸为30*30的节点矩阵，第二次池化得到尺寸为15*15的节点矩阵，最后一次池化操作需要进行圆整，则得到8*8的节点矩阵。AlexNet卷积神经网络其池化层与卷积层的重要参数，如表1所示：

结构	输入节点	输出节点	核尺寸	步长
					卷积层1	60*60*3	60*60*16	11*11	1
池化层1	60*60*16	30*30*16	2*2	2
					卷积层2	30*30*16	30*30*32	5*5	1
池化层2	30*30*32	15*15*32	2*2	2
					卷积层3	15*15*32	15*15*64	3*3	1
卷积层3	15*15*64	15*15*48	3*3	1
					池化层3	15*15*48	8*8*48	2*2	2

表1

AlexNet卷积神经网络其全连接层和softmax层：

经典AlexNet卷积神经网络结构中最后一层的卷积层输出节点矩阵长宽规格为256*4*4＝4096，第一个全连接层将卷积张量铺平再与下一层4096个节点相连，第二个卷积层是4096个输入节点与1000个输出节点相连，softmax层用来区分1000种不同类别的图像。

而在本发明中，根据实际情况，最后卷积层输出节点矩阵规格为8*8*48，则将第一个全连接层的输出节点定为1024，将地二个全连接层的输出节点定为512个，最后一层的softmax层连接节点为6，意义为将产品0-5分为6类。在全连接层中常用的正则化方法dropout在这里也会用到，设定drop率为0.5，即每次全连接层训练时随机去掉一半的节点，使得训练结构多样化，防止出现过拟合。本发明中的全连接层的结构框架如表2所示：

结构	输入节点	输出节点
			全连接层1	8*8*48	1024
全连接层2	1024	512
			全连接层3	512	6

表2

在训练一个神经网络的过程中，每个神经元之间的权重连接无疑是最重要的参数之一，如果初始化的权重落在了比较合理的范围内，则整个训练过程会快速收敛，并且容易找到全局最优解，若权重初始化偏离合理范围太多，会造成训练过程的震荡，网络难以收敛，还很容易陷入局部最优。对于权重参数的初始化方法一般是基于正态分布的初始化，但是这种方式有可能会造成少数参数偏差较大从而造成训练的不便，所以可以将随机初始方式修正为截断式的正态分布或者均值初始化，这两种方法都可以移除掉少数偏差较大的权重，留下的权值分布范围都比较集中，方便训练的进行。

S6对S2中得到的测试集中各样本图像中的目标焊接头区域图片分别用S5中训练好的机器学习分类器进行分类，分类结果就是其对应的焊接头质量类型。

以上所述仅为本发明的优选的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种元件电弧焊焊接质量检测方法，其特征在于：包括以下步骤：

S1利用相机拍摄，采集一定数量的同一元件电弧焊的多种不同类型的焊接头图片，建立样本库；将样本库中的样本分为两部分，其中一部分作为训练集，训练集用于训练机器学习分类器；另一部分作为测试集，测试集用于识别其所对应的焊接质量类型；

S2基于空间相关法的模板匹配算法提取训练集以及测试集中各样本中的目标焊接头区域图片；

S2.1在样本库中的所有焊接头图片中寻找所有焊接头图片均具有的共同特征，截取其中一个焊接头图片中的共同特征部分的图像作为模板匹配时的模板，即作为焊接头的模板子图像w(x,y)；

S2.2基于空间相关性的图像模板匹配；

设样本图像f(x,y)的大小为M*N和模板子图像w(x,y)的大小为J*K，则样本图像与模板子图像的相关表示为：

其中，x＝0,1,2,3.....N-K，y＝0,1,2.....M-J；f(x,y)就是样本图像其第x行，第y列的像素的像素值，取值在[0,255]之间；w(s,t)就是模板子图像中第s行，第t列的像素的像素值，取值[0,255]；

计算相关性c(x,y)的过程就是在图像f(x,y)中逐像素地移动模板子图像w(x,y)的原点像素，在每一次移动的过程中根据以上公式计算每个像素位置的相关，直到计算出空间相关性最大的位置，该位置即样本图像f(x,y)中共同特征部分所在的位置；

S2.3根据零件尺寸相同的条件，在样本图像f(x,y)中通过S2.2中找到的样本图像f(x,y)中共同特征部分所在的位置定位到所感兴趣的目标焊接头区域部分的位置，并对样本图像f(x,y)中目标焊接头区域部分的图像进行截取，即可得到样本图像f(x,y)中目标焊接头区域图片；

S2.4对训练集以及测试集中各样本图像均进行S2.2至S2.3中的操作，得到所有样本图像中的目标焊接头区域图片，完成批量截取；

S3定义焊接头质量类型；

S4对训练集中的所有图片中所示的焊接头质量类型进行人工标注；基于tensorflow框架搭建卷积神经网络，将训练集中各类别的所有目标焊接头区域图片输入卷积神经网络中，训练机器学习分类器；其中，卷积神经网络模型为AlexNet卷积神经网络，AlexNet卷积神经网络其池化层与卷积层设置为：设置输入层节点矩阵大小为60*60，深度为3；经过第一个卷积层得到尺寸为60*60的节点矩阵，深度为16；经过第一个池化层池化后得到尺寸为30*30的节点矩阵，深度为16；经过第二个卷积层得到尺寸为30*30的节点矩阵，深度为32；经过第二个池化层池化后得到尺寸为15*15的节点矩阵，深度为32；经过第三个卷积层得到尺寸为15*15的节点矩阵，深度为64，再经最后一个卷积层进行一个降维操作，得到尺寸为15*15的节点矩阵，深度为48；经过第三个池化层进行最后一次池化操作需要进行圆整，则得到8*8的节点矩阵，深度为48；

AlexNet卷积神经网络其全连接层和softmax层设置为：

第一个全连接层的输出节点定为1024，将第二个全连接层的输出节点定为512个，最后一层的softmax层连接节点为6，意义为将产品0-5分为6类；在全连接层中设定drop率为0.5，即每次全连接层训练时随机去掉一半的节点；

在训练一个神经网络的过程中，每个神经元之间的权重参数的初始化方法为截断式的正态分布的初始化或者均值初始化；

S5对S2中得到的测试集中各样本图像中的目标焊接头区域图片分别用S4中训练好的机器学习分类器进行分类，分类结果就是其对应的焊接头质量类型。

2.根据权利要求1所述的元件电弧焊焊接质量检测方法，其特征在于：在S4中，还包括图像数据增强步骤，对训练集中所有类别中的各目标焊接头区域图片分别进行翻转，缩小，放大，旋转，这样训练集中各种类别中的数据量扩大为原来的四倍，得到图像数据增强后的训练集；

用S3中定义的焊接头质量类型，对图像数据增强后的训练集中的所有图片中所示的焊接头质量类型进行人工标注；基于tensorflow框架搭建卷积神经网络，将图像数据增强后的训练集中各类别的所有目标焊接头区域图片输入卷积神经网络中，训练机器学习分类器。

3.根据权利要求1或2所述的元件电弧焊焊接质量检测方法，其特征在于：S1中，将样本库中70％的样本作为训练集，30％的样本作为测试集。

4.根据权利要求3所述的元件电弧焊焊接质量检测方法，其特征在于：在S2进行模板匹配之前，先将给定焊接头的模板子图像w(x,y)以及各样本图片转化成灰度图，再用空间相关法的模板匹配算法在已为灰度图的样本图片中定位出具有模板子图像特征的位置，再进而计算出焊接头部分的位置，最后对图像进行批量截取。

5.根据权利要求1或2所述的元件电弧焊焊接质量检测方法，其特征在于：S3中，焊接头不合格类型分为以下五类，不属于这五类的焊接头作为合格品；

不合格类型包括：

虚焊：缠头有进行点焊处理，但焊包未焊入漆包线；

漏焊：缠头漆包线完全未进行点焊处理，无焊包；

杂线：除在线圈正常绕线区域外夹杂或残留着多余的漆包线；

多线头：引脚缠头与绕组连接处有多余漆包线被绕进；

残渣：缠头底部出现材料残渣，挂屑。

Images