CN114119504A - 一种基于级联卷积神经网络的钢件焊缝自动检测方法 - Google Patents

一种基于级联卷积神经网络的钢件焊缝自动检测方法 Download PDF

Info

Publication number
CN114119504A
CN114119504A CN202111312070.7A CN202111312070A CN114119504A CN 114119504 A CN114119504 A CN 114119504A CN 202111312070 A CN202111312070 A CN 202111312070A CN 114119504 A CN114119504 A CN 114119504A
Authority
CN
China
Prior art keywords
layer
neural network
weld joint
welding
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111312070.7A
Other languages
English (en)
Inventor
李渭
翟翊君
赵迎泽
闵卫东
徐健锋
金世锋
姚恒科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN202111312070.7A priority Critical patent/CN114119504A/zh
Publication of CN114119504A publication Critical patent/CN114119504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于级联卷积神经网络的钢件焊缝自动检测方法，包括以下步骤：S1，利用工业相机和红外激光线对钢件进行扫描，获得焊缝数据；S2，对图像进行焊缝区域标注和中心线标注，完成焊缝参考图像集和中心线参考图像集制作；S3，根据训练算法，利用焊缝数据和焊缝参考图像集训练级联卷积神经网络，同时利用焊缝数据和中心线参考图像集训练中心线提取网络；S4，利用工业相机和红外激光线对待检测钢件进行扫描，获得待检测焊缝数据；S5，将待检测的焊缝数据输入训练好的检测模型中输出检测结果。本发明能够准确地提取出焊缝位置，极大地提升了抗干扰能力，保证了焊接质量，提高了自动焊接***的自适应能力。

Description

一种基于级联卷积神经网络的钢件焊缝自动检测方法
技术领域
本发明属于焊缝检测技术领域，具体涉及一种基于级联卷积神经网络的钢件焊缝自动检测方法。
背景技术
焊接技术已经成为广泛使用的连接方式之一，主要应用在宇宙航天领域、电子制造领域、机械制造领域以及船舶制造领域等。然而，焊接的现场环境十分的恶劣，在焊接时焊枪所产生的有害气体和焊接时焊枪所产生的刺眼弧光，非常的容易使焊工们的生命安全受到威胁。随着人口老龄化，焊接工人逐年减少，焊接需求却在逐年增加，传统的人工焊接无法承担当前社会的需求。
而随着人工智能行业以及电子制造技术的发展为焊接行业提供了新思路和新技术，人工智能将会为实现焊接自动化、智能化提供更强有力的技术支撑，能够解决新时代焊接需求，而焊缝检测技术是实现焊接自动化与智能化的关键技术。高效精确的焊缝识别与检测对于实现第三代自主式智能焊接机器人具有极大的工程实际意义。
随着制造行业自动化进程的迅速发展，金属焊接成为生产过程中必不可少的环节。为满足自动化焊接生产的要求，需要实时获得焊接过程中焊缝的宽度、中心线等位置信息。基于激光视觉的焊缝跟踪已成为自动焊接领域的研究热点。激光视觉传感技术是将激光投射在焊缝表面，形成包含焊缝轮廓信息的焊缝条纹图像，然后进行特征分析。在焊接过程中，因为受到强烈弧光、飞溅和电弧噪声等的干扰，采集到的图像受噪声污染比较严重，难以准确定位，从而直接影响到了焊接的质量。因此，在自动焊接过程中，准确获得焊缝位置信息变得尤为重要。
应用于焊缝激光线特征提取的方法很多，有按照目标和背景不同级灰度值分割的阈值法和灰度重心法，有提取目标边缘的边缘法和提取图像中心的几何中心法，以及利用Steger算法求光条纹的像素位置等。针对特定类钢件设计的焊缝检测方法能够实现高精度的检测，然而，对不同类别且存在强烈弧光干扰的钢件焊缝检测精度低，难以满足实际焊接跟踪的需求。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种基于级联卷积神经网络的钢件焊缝自动检测方法，以解决针对特定类钢件设计的焊缝检测方法能够实现高精度的检测，而对不同类别且存在强烈弧光干扰的钢件焊缝检测精度低等技术问题进行改进，本发明具有针对不同类别的钢件焊缝进行检测时精度高，在强烈弧光、飞溅和电弧噪声等干扰下准确地提取出焊缝位置、中心线位置和特征点位置，具有抗干扰能力强、识别准确等优点。
为实现上述目的，本发明提供如下技术方案：一种基于级联卷积神经网络的钢件焊缝自动检测方法，包括以下步骤：
步骤S1，获取焊缝数据，利用工业相机和红外激光线对钢件进行扫描，获得焊缝数据；
步骤S2，数据标注，对图像进行焊缝区域标注和中心线标注，完成焊缝参考图像集和中心线参考图像集制作；
步骤S3，训练级联卷积神经网络和中心线提取网络，根据训练算法，利用焊缝数据和焊缝参考图像集训练级联卷积神经网络，同时利用焊缝数据和中心线参考图像集训练中心线提取网络；
步骤S4，获取待检测焊缝数据，利用工业相机和红外激光线对待检测钢件进行扫描，获得待检测焊缝数据；
步骤S5，计算检测结果，将待检测的焊缝数据输入训练好的检测模型中输出检测结果。
进一步的，所述步骤S2具体包括：
步骤S2-1，将焊缝数据图像转换为PNG格式；
步骤S2-2，对经过步骤S2-1处理后的焊缝图像进行标注，标注内容包括焊缝区域的位置和尺寸、中心线的位置和尺寸。
进一步的，所述步骤S3中，训练算法包括随机梯度训练算法、Adam算法、RMSProp算法、Adagrad算法、Adadelta算法或者Adamax算法。
进一步的，所述步骤S3中，级联卷积神经网络依次包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第五反卷积层、第六卷积层、第四反卷积层、第七卷积层、第三反卷积层、第八卷积层、第二反卷积层、第一反卷积层、第九卷积层、输出层和Softmax层；低层卷积能够提取到更多具体细节，包括激光条纹边缘信息，而高层卷积能够提取到更多的位置信息，将低层与高层输出进行相加的特征融合，通过进行特征融合补充局部细节特征；在级联卷积神经网络中，将第一卷积层与第二反卷积层、第二卷积层与第三反卷积层、第三卷积层与第四反卷积层、第四卷积层与第五反卷积层的输出进行特征融合。
进一步的，所述步骤S3中，为了训练级联卷积神经网络，采用交叉熵损失，计算方式如式一所示；
Figure BDA0003342363640000031
其中θ1表示级联卷积神经网络的参数，M表示最小批尺寸，N表示块中像素的数量，K表示类别数量；1(y＝k)是一个函数，当y＝k时取1，否则取0；
Figure BDA0003342363640000034
表示第i个块中第j个像素，
Figure BDA0003342363640000035
表示最后一层卷积层在
Figure BDA0003342363640000036
像素的输出；
Figure BDA0003342363640000037
表示
Figure BDA0003342363640000038
像素在真实标签中对应的像素；
Figure BDA0003342363640000039
像素属于第k类的概率为
Figure BDA00033423636400000310
计算方式如式二所示；
Figure BDA0003342363640000032
进一步的，所述步骤S3中，中心线提取网络依次包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第三上池化层、第三反卷积层、第二上池化层、第二反卷积层、第一上池化层、第一反卷积层、输出层、Softmaxc层；相较于级联卷积神经网络，中心线提取网络也包含编码层和解码层，但是中心线提取网络结构更小；一方面，级联卷积神经网络的最后一层卷积层输出的特征图包含的干扰信息比原图更少，中心线提取网络可以将此特征图作为网络的输入；另一方面，与焊缝检测相比，只需要使用较少的中心线像素去训练中心线提取网络。
进一步的，所述步骤S3中，为了训练中心线提取网络，采用交叉熵损失，计算方式如式三所示；
Figure BDA0003342363640000033
其中θ2表示中心线提取网络的参数，1(z＝k)是一个函数，当z＝k时取1，否则取0；
Figure BDA0003342363640000044
表示中心提取网络最后一层反卷积层的输出；
Figure BDA0003342363640000045
表示
Figure BDA0003342363640000046
像素在中心线真实标签中对应的像素；
Figure BDA0003342363640000047
像素属于第k类的概率为
Figure BDA0003342363640000048
计算方式如式四所示；
Figure BDA0003342363640000041
进一步的，步骤S3中，网络整体损失计算方式如式五所示；
Loss(θ1，θ2)＝lossseg(y，f(x)，θ1)+losscen(z，h(x)，θ2) 式五。
进一步的，所述步骤S5具体包括：
步骤S5-1，利用灰度质心法对中心线进行细化；
步骤S5-2，对于单道焊，采用最小二乘法LSM对中心线进行拟合，中心线的交点即特征点的位置；对于多道焊，采用NURBS对中心线进行曲线拟合，通过对拟合曲线求导得到特征点的位置。
进一步的，所述步骤S5-2中，NURBS曲线计算方式如式六所示；
Figure BDA0003342363640000042
其中Pi表示控制顶点，wi表示权因子，a和b分别取0和1，Ni，p(u)是定义在节点矢量U上的P阶B样条基函数；
节点矢量U的计算方式如式七所示；
Figure BDA0003342363640000043
与现有技术相比，本发明的有益效果是：
(1)能够在强烈弧光、飞溅和电弧噪声等干扰下，准确地提取出焊缝位置，该方法极大地提升了抗干扰能力，保证了焊接质量，提高了自动焊接***的自适应能力。
(2)通过进行特征融合补充局部细节特征，无需进行任何预处理和后处理，使激光条纹边界更准确、更清晰。
(3)级联卷积神经网络具有深层学习能力，它通过不断训练学习激光线的特征信息，融合了焊缝图像多层次的特征，能准确获取整体焊缝的特征，同时在细节方面也具有很好的噪声抑制能力，提取效果和提取精度更好。
附图说明
图1为本发明的总体流程图；
图2为本发明的级联卷积神经网络和中心线提取网络的网络结构示意图；
图3为单道焊的特征点的位置示意图；
图4为多道焊的特征点的位置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案，并不限于本发明。
一种基于级联卷积神经网络的钢件焊缝自动检测方法，如图1所示，包括以下步骤：
步骤S1，获取焊缝数据，利用工业相机和红外激光线对钢件进行扫描，获得焊缝数据；
步骤S2，数据标注，对图像进行焊缝区域标注和中心线标注，完成焊缝参考图像集和中心线参考图像集制作；
步骤S2具体包括：
步骤S2-1，将焊缝数字图像转换为PNG格式；
步骤S2-2，对经过步骤S2-1处理后的焊缝图像进行标注，标注内容包括焊缝区域的位置和尺寸、中心线的位置和尺寸。
步骤S3，训练级联卷积神经网络和中心线提取网络，根据训练算法，利用焊缝数据和焊缝参考图像集训练级联卷积神经网络，同时利用焊缝数据和中心线参考图像集训练中心线提取网络；
步骤S4，获取待检测焊缝数据，利用工业相机和红外激光线对待检测钢件进行扫描，获得待检测焊缝数据；
步骤S5，计算检测结果，将待检测的焊缝数据输入训练好的检测模型中输出检测结果。
步骤S5具体包括：
步骤S5-1，利用灰度质心法对中心线进行细化；
步骤S5-2，对于单道焊，采用最小二乘法LSM对中心线进行拟合，中心线的交点即特征点的位置；对于多道焊，采用NURBS对中心线进行曲线拟合，通过对拟合曲线求导得到特征点的位置。
步骤S1中，为了提高数据获取的精确度，工业相机的分辨率为656×492，激光发射器的波长为650nm。
步骤S3中，训练算法包括随机梯度训练算法、Adam算法、RMSProp算法、Adagrad算法、Adadelta算法或者Adamax算法。
步骤S3中，对于网络的初始化，用标准差为0.01的高斯分布随机初始化网络中待训练的参数。学习率和权重递减分别设置为5×10-5和5×10-4。选择3200张原始焊缝图像和焊缝参考图像，其中训练样本集2400张，测试集800张，对级联卷积神经网络进行训练。同时，择3200张原始焊缝图像和中心线参考图像，其中训练样本集2400张，测试集800张，对中心线提取网络进行训练。
步骤S3中，级联卷积神经网络的模型如图2所示。级联卷积神经网络依次包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第五反卷积层、第六卷积层、第四反卷积层、第七卷积层、第三反卷积层、第八卷积层、第二反卷积层、第一反卷积层、第九卷积层、输出层和Softmax层。在不断的卷积过程中，图像的特征信息会丢失很多，如边缘信息、目标位置等。焊缝检测要求能够提供准确的位置信息以及激光条纹的边缘信息。低层卷积能够提取到更多具体细节，包括激光条纹边缘信息，而高层卷积能够提取到更多的位置信息，因此本发明将低层与高层输出进行了相加的特征融合，通过进行特征融合补充局部细节特征。在级联卷积神经网络中，将第一卷积层与第二反卷积层、第二卷积层与第三反卷积层、第三卷积层与第四反卷积层、第四卷积层与第五反卷积层的输出进行特征融合。
步骤S3中，为了训练级联卷积神经网络，采用交叉熵损失，计算方式如式一所示。
Figure BDA0003342363640000061
其中θ1表示级联卷积神经网络的参数，如表1所示，M表示最小批尺寸，N表示块中像素的数量，K表示类别数量；1(y＝k)是一个函数，当y＝k时取1，否则取0；
Figure BDA0003342363640000071
表示第i个块中第j个像素，
Figure BDA0003342363640000072
表示最后一层卷积层在
Figure BDA0003342363640000073
像素的输出；
Figure BDA0003342363640000074
表示
Figure BDA0003342363640000075
像素在真实标签中对应的像素。
表1级联卷积神经网络的参数
Layer Kernel size Channels(In,Out) Stride Padding Output size
Input — — — — 64×64×3
Conv1-1 3×3 3,32 2 0.5 32×32×32
Conv1-2 3×3 32,32 1 1 32×32×32
Conv2-1 3×3 32,32 2 0.5 16×16×32
Conv2-2 3×3 32,32 1 1 16×16×32
Conv3-1 3×3 32,64 2 0.5 8×8×64
Conv3-2 3×3 64,64 1 1 8×8×64
Conv4 3×3 64,128 2 0.5 4×4×128
Conv5-1 3×3 128,128 2 0.5 2×2×128
Conv5-2 3×3 128,128 1 1 2×2×128
Conv5-3 3×3 128,128 1 1 2×2×128
Conv5-4 3×3 128,128 1 1 2×2×128
DConv5 3×3 128,128 2 0.5 4×4×128
Conv6 3×3 256,128 1 1 4×4×128
DConv4 3×3 128,64 2 0.5 8×8×64
Conv7 3×3 128,64 1 1 8×8×64
DConv3 3×3 64,32 2 0.5 16×16×32
Conv8 3×3 64,32 1 1 16×16×32
DConv2 3×3 32,32 2 0.5 32×32×32
DConv1 3×3 64,32 2 0.5 64×64×32
Conv9 3×3 32,32 1 1 64×64×32
Output 3×3 32,2 1 1 64×64×2
Softmax — — — — 64×64×2
Figure BDA0003342363640000076
像素属于第k类的概率为
Figure BDA0003342363640000077
计算方式如式二所示。
Figure BDA0003342363640000081
步骤S3中，中心线提取网络的模型如图2所示。中心线提取网络依次包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第三上池化层、第三反卷积层、第二上池化层、第二反卷积层、第一上池化层、第一反卷积层、输出层、Softmax层。相较于级联卷积神经网络，中心线提取网络也包含编码层和解码层，但是中心线提取网络结构更小。一方面，级联卷积神经网络的最后一层卷积层输出的特征图包含的强烈弧光、飞溅、电弧噪声等干扰信息比原图更少，中心线提取网络可以将此特征图作为网络的输入。另一方面，与焊缝检测相比，只需要使用较少的中心线像素去训练中心线提取网络。而过拟合往往出现在较深网络中，因此选择更小网络更适合中心线提取。
步骤S3中，为了训练中心线提取网络，采用交叉熵损失，计算方式如式三所示。
Figure BDA0003342363640000082
其中θ2表示中心线提取网络的参数，如表2所示；1(z＝k)是一个函数，当z＝k时取1，否则取0；
Figure BDA0003342363640000084
表示中心提取网络最后一层反卷积层的输出；
Figure BDA0003342363640000085
表示
Figure BDA0003342363640000086
像素在中心线真实标签中对应的像素。
表2中心线提取网络的参数
Figure BDA0003342363640000083
Figure BDA0003342363640000091
Figure BDA0003342363640000096
像素属于第k类的概率为
Figure BDA0003342363640000092
计算方式如式四所示。
Figure BDA0003342363640000093
步骤S3中，网络整体损失计算方式如式五所示。
Loss(θ1，θ2)＝lossseg(y，f(x)，θ1)+losscen(z，h(x)，θ2) 式五
步骤S5-2中，NURBS曲线计算方式如式六所示。
Figure BDA0003342363640000094
其中Pi表示控制顶点，ωi表示权因子，a和b分别取0和1，Ni，p(u)是定义在节点矢量U上的P阶B样条基函数。
节点矢量U的计算方式如式七所示。
Figure BDA0003342363640000095
步骤S5-2中，单道焊如图3所示，其中中心线的交汇点分别为左边界点、最低点、右边界点，最低点即为下一次焊接的位置；多道焊如图4所示，最小的极值点即为下一次焊接的位置，通过极小值点与极大值点可以限定焊接的波动幅度。
以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：包括以下步骤：
步骤S1，获取焊缝数据，利用工业相机和红外激光线对钢件进行扫描，获得焊缝数据；
步骤S2，数据标注，对图像进行焊缝区域标注和中心线标注，完成焊缝参考图像集和中心线参考图像集制作；
步骤S3，训练级联卷积神经网络和中心线提取网络，根据训练算法，利用焊缝数据和焊缝参考图像集训练级联卷积神经网络，同时利用焊缝数据和中心线参考图像集训练中心线提取网络；
步骤S4，获取待检测焊缝数据，利用工业相机和红外激光线对待检测钢件进行扫描，获得待检测焊缝数据；
步骤S5，计算检测结果，将待检测的焊缝数据输入训练好的检测模型中输出检测结果。
2.根据权利要求1所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：所述步骤S2具体包括：
步骤S2-1，将焊缝数据图像转换为PNG格式；
步骤S2-2，对经过步骤S2-1处理后的焊缝图像进行标注，标注内容包括焊缝区域的位置和尺寸、中心线的位置和尺寸。
3.根据权利要求1所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：所述步骤S3中，训练算法包括随机梯度训练算法、Adam算法、RMSProp算法、Adagrad算法、Adadelta算法或者Adamax算法。
4.根据权利要求1所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：所述步骤S3中，级联卷积神经网络依次包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第五反卷积层、第六卷积层、第四反卷积层、第七卷积层、第三反卷积层、第八卷积层、第二反卷积层、第一反卷积层、第九卷积层、输出层和Softmax层；低层卷积能够提取到更多具体细节，包括激光条纹边缘信息，而高层卷积能够提取到更多的位置信息，将低层与高层输出进行相加的特征融合，通过进行特征融合补充局部细节特征；在级联卷积神经网络中，将第一卷积层与第二反卷积层、第二卷积层与第三反卷积层、第三卷积层与第四反卷积层、第四卷积层与第五反卷积层的输出进行特征融合。
5.根据权利要求4所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：所述步骤S3中，为了训练级联卷积神经网络，采用交叉熵损失，计算方式如式一所示；
Figure FDA0003342363630000021
其中θ1表示级联卷积神经网络的参数，M表示最小批尺寸，N表示块中像素的数量，K表示类别数量；1(y＝k)是一个函数，当y＝k时取1，否则取0；
Figure FDA0003342363630000022
表示第i个块中第j个像素，
Figure FDA0003342363630000023
表示最后一层卷积层在
Figure FDA0003342363630000024
像素的输出；
Figure FDA0003342363630000025
表示
Figure FDA0003342363630000026
像素在真实标签中对应的像素；
Figure FDA0003342363630000027
像素属于第k类的概率为
Figure FDA0003342363630000028
计算方式如式二所示；
Figure FDA0003342363630000029
6.根据权利要求5所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：所述步骤S3中，中心线提取网络依次包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第三上池化层、第三反卷积层、第二上池化层、第二反卷积层、第一上池化层、第一反卷积层、输出层、Softmaxc层；相较于级联卷积神经网络，中心线提取网络也包含编码层和解码层，但是中心线提取网络结构更小；一方面，级联卷积神经网络的最后一层卷积层输出的特征图包含的干扰信息比原图更少，中心线提取网络可以将此特征图作为网络的输入；另一方面，与焊缝检测相比，只需要使用较少的中心线像素去训练中心线提取网络。
7.根据权利要求6所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：所述步骤S3中，为了训练中心线提取网络，采用交叉熵损失，计算方式如式三所示；
Figure FDA00033423636300000210
其中θ2表示中心线提取网络的参数，1(z＝k)是一个函数，当z＝k时取1，否则取0；
Figure FDA0003342363630000031
表示中心提取网络最后一层反卷积层的输出；
Figure FDA0003342363630000032
表示
Figure FDA0003342363630000033
像素在中心线真实标签中对应的像素；
Figure FDA0003342363630000034
像素属于第k类的概率为
Figure FDA0003342363630000035
计算方式如式四所示；
Figure FDA0003342363630000036
8.根据权利要求7所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：步骤S3中，网络整体损失计算方式如式五所示；
Loss(θ1，θ2)＝lossseg(y，f(x)，θ1)+losscen(z，h(x)，θ2) 式五。
9.根据权利要求1所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：所述步骤S5具体包括：
步骤S5-1，利用灰度质心法对中心线进行细化；
步骤S5-2，对于单道焊，采用最小二乘法LSM对中心线进行拟合，中心线的交点即特征点的位置；对于多道焊，采用NURBS对中心线进行曲线拟合，通过对拟合曲线求导得到特征点的位置。
10.根据权利要求9所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：所述步骤S5-2中，NURBS曲线计算方式如式六所示；
Figure FDA0003342363630000037
其中Pi表示控制顶点，wi表示权因子，a和b分别取0和1，Ni，p(u)是定义在节点矢量U上的P阶B样条基函数；
节点矢量U的计算方式如式七所示；
Figure FDA0003342363630000041
CN202111312070.7A 2021-11-08 2021-11-08 一种基于级联卷积神经网络的钢件焊缝自动检测方法 Pending CN114119504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111312070.7A CN114119504A (zh) 2021-11-08 2021-11-08 一种基于级联卷积神经网络的钢件焊缝自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111312070.7A CN114119504A (zh) 2021-11-08 2021-11-08 一种基于级联卷积神经网络的钢件焊缝自动检测方法

Publications (1)

Publication Number Publication Date
CN114119504A true CN114119504A (zh) 2022-03-01

Family

ID=80381085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111312070.7A Pending CN114119504A (zh) 2021-11-08 2021-11-08 一种基于级联卷积神经网络的钢件焊缝自动检测方法

Country Status (1)

Country Link
CN (1) CN114119504A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114936517A (zh) * 2022-04-28 2022-08-23 上海波士内智能科技有限公司 一种基于深度学习的金属焊接信号特征曲线特征建模方法
CN117564533A (zh) * 2024-01-15 2024-02-20 苏州德星云智能装备有限公司 基于机器视觉的金属网承载物焊接方法、装置及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114936517A (zh) * 2022-04-28 2022-08-23 上海波士内智能科技有限公司 一种基于深度学习的金属焊接信号特征曲线特征建模方法
CN117564533A (zh) * 2024-01-15 2024-02-20 苏州德星云智能装备有限公司 基于机器视觉的金属网承载物焊接方法、装置及存储介质
CN117564533B (zh) * 2024-01-15 2024-03-22 苏州德星云智能装备有限公司 基于机器视觉的金属网承载物焊接方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN114119504A (zh) 一种基于级联卷积神经网络的钢件焊缝自动检测方法
CN111913435B (zh) 一种基于堆积沙漏网络的单/多目标关键点定位方法
CN112329860B (zh) 混合型深度学习视觉检测方法、装置、设备及存储介质
CN113628178B (zh) 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN114354639B (zh) 一种基于3d点云的焊缝缺陷实时检测方法及***
Wu et al. Autonomous seam recognition and feature extraction for multi-pass welding based on laser stripe edge guidance network
CN112381095B (zh) 基于深度学习的电弧增材制造层宽自抗扰控制方法
CN116524062B (zh) 一种基于扩散模型的2d人体姿态估计方法
CN114473309A (zh) 用于自动焊接***的焊接位置识别方法及自动焊接***
CN114170176A (zh) 一种基于点云的钢格板焊缝自动检测方法
Yu et al. The centerline extraction algorithm of weld line structured light stripe based on pyramid scene parsing network
CN114022586A (zh) 一种基于对抗生成网络的缺陷图像生成方法
CN105321166A (zh) 一种基于gap预测器和自适应遗传算法环焊焊缝边缘提取方法
Li et al. Weld image recognition algorithm based on deep learning
Moon et al. Extraction of line objects from piping and instrumentation diagrams using an improved continuous line detection algorithm
Xu et al. A new welding path planning method based on point cloud and deep learning
CN113034494A (zh) 一种基于深度学习的橡胶密封圈缺陷检测方法
CN116342542A (zh) 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法
CN113435670B (zh) 一种增材制造熔覆层偏移定量的预测方法
CN115953387A (zh) 一种基于深度学习的射线图像焊缝缺陷检测方法
CN115457077A (zh) 一种基于深度学习语义分割的被动视觉焊缝跟踪方法
CN113159278A (zh) 一种分割网络***
CN113814528A (zh) 基于交互式的焊缝曲线提取与自动轨迹生成方法
CN117789184B (zh) 一种统一的焊缝射线图像智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination