CN118060669B - 一种基于焊接熔池特征识别的自动焊接控制方法 - Google Patents
一种基于焊接熔池特征识别的自动焊接控制方法 Download PDFInfo
- Publication number
- CN118060669B CN118060669B CN202410480220.2A CN202410480220A CN118060669B CN 118060669 B CN118060669 B CN 118060669B CN 202410480220 A CN202410480220 A CN 202410480220A CN 118060669 B CN118060669 B CN 118060669B
- Authority
- CN
- China
- Prior art keywords
- welding
- neural network
- molten pool
- real
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 279
- 238000000034 method Methods 0.000 title claims abstract description 118
- 238000013528 artificial neural network Methods 0.000 claims abstract description 133
- 230000008569 process Effects 0.000 claims abstract description 43
- 238000010586 diagram Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000004519 manufacturing process Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 5
- 230000000153 supplemental effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 15
- 238000013507 mapping Methods 0.000 abstract description 11
- 238000003062 neural network model Methods 0.000 abstract description 7
- 230000035515 penetration Effects 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 10
- 239000007788 liquid Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010891 electric arc Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供的一种基于焊接熔池特征识别的自动焊接控制方法，包括：S1、拍摄人工焊接过程；S2、提取熔池特征图；S3、提取熔池特征变化量；S4、制作样本集；S5、构建神经网络并进行预训练；S6、获取参考基准；S7、焊接过程实时干预。本发明通过视觉检测技术对熔池特征进行高效及全面的提取，结合深度学习技术得到熔池特征及其变化量与焊接参数之间的映射关系；进一步通过重复的试运行和补充训练，不断完善神经网络模型，并最终实现对焊接进程的自动化干预和控制。本发明促进了深熔焊技术的自动化进程，有助于提高生产效率、提升焊接良品率，具有广泛的应用前景。
Description
技术领域
本发明涉及自动焊接设备领域，具体涉及一种基于焊接熔池特征识别的自动焊接控制方法。
背景技术
深熔焊技术是一种新型、清洁的焊接方法，具有不开坡口、一次焊透中厚板材、焊接效率高、设备成本低等优点，在进行中厚板的焊接任务时具有独特的优势。深熔焊技术可以实现单面焊双面成形，在对接间隙改变的情况下，熟练的焊工可以通过观察熔池及锁孔特征及时调整焊接工艺，确保焊缝成形质量，从而获得性能优异的焊接接头性能。
然而，目前的深熔焊技术比较依赖焊工的个人经验和熟练度，在当前生产自动化、智能化的大背景下，无法适应产业升级改造的需求。因此，有必要对现有技术进行改进，以促进深熔焊技术在生产自动化领域的应用。
发明内容
本发明的目的在于，针对现有技术中的问题，提供一种基于焊接熔池特征识别的自动焊接控制方法，将视觉检测技术和神经网络技术相结合，实现对自动焊接进程的即时控制和干预，促进深熔焊技术的自动化进程。
为实现上述目的，本发明采用以下技术方案：
一种基于焊接熔池特征识别的自动焊接控制方法，包括以下步骤：
S1、拍摄人工焊接过程：在人工焊接的过程中，拍摄焊接部位的视频图像，并实时记录焊接参数的变化，以形成焊接参数-时间曲线；
S2、提取熔池特征图：对视频图像进行视觉检测分析，逐帧识别视频图像中的熔池特征，以提取形成熔池特征图；所述熔池特征包括电弧边缘线和熔池边界线；其中，所述电弧边缘线通过边缘检测得到，所述熔池边界线通过拟合识别得到；
S3、提取熔池特征变化量：按照时间顺序，对比熔池特征图中的熔池特征的前后变化，得到熔池特征变化量；同时根据焊接参数-时间曲线，得到熔池特征在变化前后所对应的焊接参数变化量；
S4、制作样本集：按照时间对应关系，将熔池特征变化量和焊接参数变化量相对应，形成第一样本集；将熔池特征图与焊接参数相对应，形成第二样本集；
S5、构建神经网络并进行预训练：构建反馈神经网络，以熔池特征变化量为输入，以焊接参数变化量为输出，使用第一样本集对所述反馈神经网络进行训练；
构建Transformer神经网络，以熔池特征图为输入，焊接参数为输出，使用第二样本集对所述Transformer神经网络进行训练；
S6、获取参考基准：拍摄一段人工焊接的标准视频图像，并且使用S2中相同的方法提取得到标准熔池特征图，作为反馈神经网络运行时的参考基准；
S7、焊接过程实时干预：为反馈神经网络和Transformer神经网络分配各自的权重比，然后部署上线；在焊机进行焊接时，获取焊接部位的实时视频图像，按照S2中的方法提取实时熔池特征图，并输入至反馈神经网络和Transformer神经网络；按照分配的权重比对反馈神经网络和Transformer神经网络的输出结果进行加权求和，根据加权求和得到的焊接参数对焊机的焊接过程进行实时干预。
进一步地，在所述S2中，提取熔池特征图的方法包括以下步骤：
S201、识别视频图像中的电弧区域，围绕电弧区域生成电弧ROI框；
S202、对电弧ROI框中的图像进行边缘检测，以提取电弧边缘线；
S203、根据电弧与熔池的相对位置关系，在电弧区域中心的下方一定距离处生成熔池ROI框；
S204、对熔池ROI框中的图像进行拟合识别，以提取熔池边界线；
S205、保持电弧边缘线和熔池边界线在视频图像中的相对位置，将二者一同提取形成熔池特征图。
进一步地，所述S201包括以下步骤：
S2011、将拍摄到的视频图像转化为灰度图，然后以设定的灰度值为阈值，将灰度图转化为二值图；
S2012、实时遍历二值图的每一个区域，将二值图中出现的面积大于一定阈值的白色色块判定为电弧区域；
S2013、计算白色色块的质心坐标，将白色色块的质心作为电弧区域的中心，并以此为中心生成电弧ROI框。
进一步地，在S201和S203中，以3秒为一个周期对连续的视频图像进行划分，将一个周期内的所有视频图像中的白色色块的质心坐标的平均值作为该周期内电弧区域的中心；在生成当前周期内的视频图像的电弧ROI框和熔池ROI框时，以上个周期内的电弧区域的中心为参考进行生成，并依此规则周期性地间续更新电弧ROI框和熔池ROI框。
进一步地，所述S202包括以下步骤：
S2021、将电弧ROI框中的图像转化为灰度图，并采用一个5*5的滤波核进行高斯滤波去除噪声；
S2022、使用宽度优先算法遍历图像的每一个像素，以设定的灰度值为阈值，将灰度图转化为二值图；
S2023、使用Sobel算子对图像进行边缘检测，以找到图像边缘的梯度和方向，再使用非最大值抑制法消除其中的错误边缘；
S2024、使用双阈值法从S3处理后的图像中提取出边界线，作为电弧边缘线。
进一步地，所述S204包括以下步骤：
S2041、将熔池ROI框中的图像转化为灰度图，并采用一个5*5的滤波核进行高斯滤波去除噪声；
S2042、使用Sobel算子对图像进行边缘检测，以找到图像边缘的梯度和方向，再使用非最大值抑制法消除其中的错误边缘；
S2043、再次使用一个5*5的滤波核进行高斯滤波去除伪边缘噪声；
S2044、使用双阈值法从S3处理后的图像中提取出边界线；
S2045、使用最小二乘法，采用函数f(x,y)=a+bx+cx 2 +dx 3 对提取到的边界线进行拟合，将拟合得到的函数提取作为熔池边界线，其中，a、b、c、d为拟合函数的系数，x、y分别为拟合函数的横纵坐标。
进一步地，所述S7具体包括：
S701、神经网络试运行：为反馈神经网络和Transformer神经网络分配各自的权重比，然后部署上线；其中，反馈神经网络的权重比为n1，Transformer神经网络的权重比为n2，且n1+n2=1；在初次进行神经网络试运行时，n1的取值为1，n2的取值为0；
在焊机进行焊接时，获取焊接部位的实时视频图像，并且使用S2中相同的方法对所述实时视频图像进行视觉检测分析，逐帧识别实时视频图像中的熔池特征，以提取形成实时熔池特征图；
将实时熔池特征图与S6中的标准熔池特征图进行对比，得到熔池特征偏差量；将熔池特征偏差量输入至反馈神经网络，得到输出的焊接参数修正量；将所述焊机参数修正量与当前使用中的焊接参数相加，得到第一焊接参数P1；将实时熔池特征图输入至Transformer神经网络，得到输出的第二焊接参数P2；
对第一焊接参数P1和第二焊接参数P2进行加权求和，得到第三焊接参数P3=n1×P1+n2×P2；根据第三焊接参数P3，对焊机的焊接过程进行实时干预；
S702、使用试运行的样本对神经网络进行补充训练：在神经网络试运行一段时间后，按照时间对应关系，将S7中使用的实时熔池特征图和第三焊接参数P3相对应，形成第三样本集；使用第三样本集对所述Transformer神经网络进行补充训练；
S703、调整权重比并重新试运行：补充训练完成后，对反馈神经网络和Transformer神经网络的权重比进行调整，减小反馈神经网络的权重比n1，并增大Transformer神经网络的权重比n2；然后多次重复S7至S9，直至反馈神经网络的权重比n1减小为0，且Transformer神经网络的权重比n2增大为1；
S704、神经网络正式运行：将反馈神经网络的权重比n1设置为0，将Transformer神经网络的权重比n2设置为1，然后部署上线；
在焊机进行焊接时，获取焊接部位的实时视频图像，并且使用S2中相同的方法对所述实时视频图像进行视觉检测分析，逐帧识别实时视频图像中的熔池特征，以提取形成实时熔池特征图；
将实时熔池特征图输入至Transformer神经网络，得到输出的第二焊接参数P2；根据第二焊接参数P2，对焊机的焊接过程进行实时干预。
进一步地，在所述S701中，根据第三焊接参数P3，对焊机的焊接过程进行实时干预的方法为半自动干预，具体包括：
在焊工使用焊机进行人工焊接时，将焊工实时使用的焊接参数与实时输出的第三焊接参数P3相对比，当两者偏差大于设定的阈值时，将焊机当前的焊接参数强制设定为第三焊接参数P3。
进一步地，在所述S704中，根据第二焊接参数P2，对焊机的焊接过程进行实时干预的方法为全自动干预，具体包括：焊机在无人操作的情况下，采用实时输出的第二焊接参数P2进行全自动焊接。
进一步地，在S703中，每一次调整神经网络的权重比并重新试运行后，将神经网络干预形成的焊接部位的图像与标准人工焊接形成的焊接部位的图像进行对比，评估二者的相似度；若调整权重比后的相似度低于调整权重比前的相似度，则将神经网络的权重比还原为调整前的值并重新试运行。
本发明提供的一种基于焊接熔池特征识别的自动焊接控制方法，通过视觉检测技术对熔池特征进行高效及全面的提取，结合深度学习技术得到熔池特征及其变化量与焊接参数之间的映射关系；进一步通过重复的试运行和补充训练，不断完善神经网络模型，并最终实现对焊接进程的自动化干预和控制。本发明促进了深熔焊技术的自动化进程，有助于提高生产效率、提升焊接良品率，具有广泛的应用前景。
本发明采用反馈神经网络和Transformer神经网络相结合的方式构建用于 实现自动焊接的神经网络模型。Transformer神经网络可以提高模型的感受野，并且能够更好地捕获图像中的局部信息，从而使得模型能够得到更深入更全面的映射关系，提升深度学习的准确性。同时，本发明通过对反馈神经网络和Transformer神经网络分配不同的权重比，解决了Transformer神经网络对于大样本数据的依赖性；在模型上线初期以反馈神经网络为主，确保模型运行的基本稳定性，随着模型的持续运行和补充训练，在模型上线后期逐步增加Transformer神经网络的权重比，以进一步提升模型的准确性和自动化程度。这种通过可变权重比对反馈神经网络和Transformer神经网络进行组合的方式，大幅缩短了模型上线前的训练周期，同时使得模型能够在运行的过程中不断自我完善，最终实现更准确以及更自动化的控制过程。
附图说明
图1是本发明实施例提供的一种基于焊接熔池特征识别的自动焊接控制方法的流程示意图。
图2是本发明实施例中S2021至S2024的图像处理流程效果图。
图3是本发明实施例中S2041至S2045的图像处理流程效果图。
具体实施方式
下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。
如图1所示，本发明实施例提供的一种基于焊接熔池特征识别的自动焊接控制方法，包括以下步骤：
S1、拍摄人工焊接过程：在焊工使用焊机进行焊接的过程中，通过CCD工业相机拍摄焊接部位的视频图像，并实时记录焊工对焊机的焊接参数所进行的调整，以形成焊接参数-时间曲线；所述焊接参数包括焊接速度、焊接电流和焊接高度；
S2、提取熔池特征图：对视频图像进行视觉检测分析，逐帧识别视频图像中的熔池特征，以提取形成熔池特征图；所述熔池特征包括电弧边缘线和熔池边界线；
S3、提取熔池特征变化量：按照时间顺序，对比熔池特征图中的熔池特征的前后变化，得到熔池特征变化量；同时根据焊接参数-时间曲线，得到熔池特征在变化前后所对应的焊接参数变化量；
其中，所述熔池特征变化量包括电弧边缘线的形状和位移变化量，以及熔池边界线变化所产生的熔池宽度变化量、熔池长度变化量和熔池面积变化量；所述焊接参数变化量包括焊接速度变化量、焊接电流变化量和焊接高度变化量；
S4、制作样本集：按照时间对应关系，将熔池特征变化量和焊接参数变化量相对应，形成第一样本集；将熔池特征图与焊接参数相对应，形成第二样本集；
S5、构建神经网络并进行预训练：构建反馈神经网络，以熔池特征变化量为输入，以焊接参数变化量为输出，使用第一样本集对所述反馈神经网络进行训练，得到熔池特征变化量与焊接参数变化量之间的映射关系；
构建Transformer神经网络，以熔池特征图为输入，焊接参数为输出，使用第二样本集对所述Transformer神经网络进行训练，得到熔池特征图与焊接参数之间的映射关系；
S6、获取参考基准：通过CCD工业相机拍摄一段焊工使用焊机进行人工焊接的标准视频图像，并且使用S2中相同的方法对所述标准视频图像进行视觉检测分析，逐帧识别标准视频图像中的熔池特征，以提取形成标准熔池特征图，作为反馈神经网络运行时的参考基准；
S7、焊接过程实时干预：为反馈神经网络和Transformer神经网络分配各自的权重比，然后部署上线；在焊机进行焊接时，获取焊接部位的实时视频图像，按照S2中的方法提取实时熔池特征图，并输入至反馈神经网络和Transformer神经网络；按照分配的权重比对反馈神经网络和Transformer神经网络的输出结果进行加权求和，根据加权求和得到的焊接参数对焊机的焊接过程进行实时干预。
在焊机进行焊接时，焊枪的钨针会在焊缝位置处激发出上万度的高温等离子气体流，该等离子气体流会熔化焊件形成熔池，熔池凝固后则形成焊缝。因此，在焊接过程中，有以下几个边界可以体现熔池特征：气液交界线（等离子气体流与熔化的液态熔池之间的边界）、固液交界线（熔融的液态熔池尾部与凝固的焊缝之间的边界）、熔池边界线（即熔池两侧的边缘边界）。其中，气液交界线和固液交界线又可以集中通过电弧边缘线进行体现。因此，熔池特征的变化又可以具体体现为：电弧边缘线的形状和位移变化量，以及熔池边界线变化所产生的熔池宽度变化、熔池长度变化和熔池面积变化。
识别出以上熔池特征，进一步建立起以上熔池特征及其变化量与焊接参数（焊接速度、焊接电流、焊接高度）之间的映射关系，并最终利用该映射关系对焊接过程进行实时的自动化干预，是本发明的主要技术思路。传统的CNN卷积神经网络需要通过大量的卷积层堆积来提取特征，这样会缩小感受野，且运算量大，需要的硬件成本高。因此，如何能够更快、更准确地从视频图像中识别并提取出全部熔池特征是其中的重点和难点。
为解决上述问题，本发明实施例在S2中，通过以下方法对视频图像进行视觉检测分析，逐帧识别视频图像中的熔池特征，以提取形成熔池特征图：
S201、识别视频图像中的电弧区域，围绕电弧区域生成电弧ROI框；
S202、对电弧ROI框中的图像进行边缘检测，以提取电弧边缘线；
S203、根据电弧与熔池的相对位置关系，在电弧区域中心的下方一定距离处生成熔池ROI框；
S204、对熔池ROI框中的图像进行拟合识别，以提取熔池边界线；
S205、保持电弧边缘线和熔池边界线在视频图像中的相对位置，将二者一同提取形成熔池特征图。
具体地，在识别并提取熔池特征前，需要先在整个相机画面中选定要识别的区域，即ROI区域，以此简化输入图像，优化后续的图像处理速度。在焊接开始时，CCD工业相机拍摄到的视频图像中会出现一个高亮点，这个高亮点即为电弧区域，高亮点的正下方即为熔池区域。基于这一特性，本发明实施例中的S201通过以下方法选定电弧ROI框：
S2011、将CCD工业相机拍摄到的视频图像转化为灰度图，然后以设定的灰度值为阈值，将灰度图转化为二值图；
S2012、实时遍历二值图的每一个区域，将二值图中出现的面积大于一定阈值的白色色块判定为电弧区域；
S2013、计算白色色块的质心坐标，将白色色块的质心作为电弧区域的中心，并以此为中心生成电弧ROI框。
具体来说，在将视频图像转化为二值图后，当高亮点未出现时，二值图是纯黑的；当高亮点出现时，在黑色的背景中会出现形状和电弧一致的白色色块。为防止该白色色块是噪声产生的，因此只有画面中白色色块的面积大于一定阈值，才判定为是电弧区域。进一步通过计算白色色块的质心坐标（即找到白色色块的重心或平均位置），即可围绕白色色块的质心生成电弧ROI框。
在获得电弧ROI框后，基于电弧与熔池的相对位置关系，直接将电弧ROI框并向下位移一段距离，即可生成ROI框。
作为改进，本发明实施例在S201和S203中，以3秒为一个周期对连续的视频图像进行划分，将一个周期内的所有视频图像中的白色色块的质心坐标的平均值作为该周期内电弧区域的中心；在生成当前周期内的视频图像的电弧ROI框和熔池ROI框时，以上个周期内的电弧区域的中心为参考进行生成，并依此规则周期性地间续更新电弧ROI框和熔池ROI框，以此确保ROI区域的连续性和稳定性。
由于焊接工作现场的工况普遍较为恶劣，且视频图像是在强光环境下拍摄的，熔池会受电弧影响产生震荡镜面，导致视频图像中出现波纹、明亮斑块以及烟雾等噪声。为了对噪声进行有效滤波，以提取稳定清晰的边界图像，本发明实施例在S202和S204中分别采用以下方法识别并提取电弧边缘线和熔池边界线。
如图2所示，所述S202包括以下步骤：
S2021、将电弧ROI框中的图像转化为灰度图，并采用一个5*5的滤波核进行高斯滤波去除噪声；
S2022、使用宽度优先算法遍历图像的每一个像素，以设定的灰度值为阈值，将灰度图转化为二值图；
S2023、使用Sobel算子对图像进行边缘检测，以找到图像边缘的梯度和方向，再使用非最大值抑制法（NMS）消除其中的错误边缘；
其中，非最大值抑制法能够减少重复的边缘响应，保留局部最大值。S2023的具体方法如下：先使用Sobel算子计算每个像素点的梯度和梯度方向；然后利用梯度方向进行非最大值抑制：根据梯度方向，判断每个像素是否是邻域中的局部最大值，如果不是则将该像素值置为0，以实现抑制效果。
S2024、使用双阈值法从S3处理后的图像中提取出边界线，作为电弧边缘线。
其中，使用双阈值法提取边界线的方法为：设定两个阈值，高阈值A和低阈值B；遍历每一个像素，将像素值大于A的点作为第一目标点，将像素值大于B且小于A的点作为第二目标点；将第一目标点的像素值设为255，第一目标点和第二目标点意外的点的像素值设置为0；对于第二目标点，设置一个3*3的卷积核，在图像上滑动，对第二目标点的值进行膨胀，以对第二目标点组成的图像做加粗处理，即将图像中的边缘像素扩张，使它们更加明显。由此，得到经过双阈值法处理的边界线图像。
如图3所示，所述S204包括以下步骤：
S2041、将熔池ROI框中的图像转化为灰度图，并采用一个5*5的滤波核进行高斯滤波去除噪声；
S2042、使用Sobel算子对图像进行边缘检测，以找到图像边缘的梯度和方向，再使用非最大值抑制法（NMS）消除其中的错误边缘；
S2043、再次使用一个5*5的滤波核进行高斯滤波去除伪边缘噪声；
S2044、使用双阈值法从S3处理后的图像中提取出边界线；
S2045、使用最小二乘法，采用函数f(x,y)=a+bx+cx 2 +dx 3 对提取到的边界线进行拟合，将拟合得到的函数提取作为熔池边界线，其中，a、b、c、d为拟合函数的系数，x、y分别为拟合函数的横纵坐标。
通过以上的步骤，本发明实施例能够从CCD工业相机拍摄的视频图像中识别并提取出电弧边缘线和熔池边界线等熔池特征，特征提取过程快速、准确且全面，最终形成的熔池特征图能够充分体现焊接过程中的特征变化，能够有效满足后续的模型训练以及焊接过程实时干预的需求。
需要注意的是，由于熔池特征变化量的识别过程中还涉及到熔池的宽度、长度和面积的测算，需要预先得知相机图像与现实物理空间的尺寸映射关系。因此，在使用CCD工业相机拍摄焊接部位的视频图像前，还需要通过相机标定确定视频图像中的像素与现实物理空间之间的尺寸映射关系，以用于熔池尺寸数据的后续计算。
传统的棋盘标定法比较复杂繁琐，在本发明的焊接过程中适用性较差。本发明具体采用以下方法进行相机标定：在固定好相机后，在相机的图像中设置一个固定的标定识别框，所述标定识别框的像素尺寸及坐标已知；然后在标定识别框的画面中放置一个截面积已知的标准圆球，具体可以设置在焊机的焊枪夹具上，以确保标准圆球到相机的距离与焊接部位到相机的距离相当；拍摄到标准圆球的画面后，可以计算出标准圆球的投影面积与标定识别框面积的比例，通过比例换算可以得知，标定识别框中一个像素与现实物理空间之间的尺寸换算比例；后续通过数像素的方法，即计算出现实物理空间中熔池的宽度、长度和面积等尺寸数据。
本发明中的神经网络模型采用了反馈神经网络和Transformer神经网络相结合的形式。与现有技术中其他用于自动焊接控制的神经网络模型相比，本发明的神经网络模型中采用的Transformer神经网络可以提高模型的感受野，并且能够更好地捕获图像中的局部信息，从而使得模型能够得到更深入更全面的映射关系，提升深度学习的准确性。
在Transformer神经网络中，首先将输入图像分割成多个小块（patch），再将输入图像的所有小块映射为特征向量；每个小块经过线性投射层（相当于一个全连接层）得到一个特征向量，这些特征向量组成了图像的输入基本单元序列。为了在模型中引入位置信息，对每个特征向量添加一个位置编码，如此，使得每个输入基本单元序列不仅包含图像信息，还包含其在原始图像中的位置信息。
将带有位置编码的特征向量序列输入到Transformer 编码器中。Transformer 编码器由多个Transformer模块组成，每个模块包括多头自注意力机制和前馈神经网络。经过Transformer编码器后，使用MLP（多层感知机）作为分类头，将每个基本单元序列的输出映射到预定义的类别数量上。
接着，通过使用交叉熵损失函数进行模型的训练。损失函数可以衡量模型输出与真实标签之间的差异，使用随机梯度下降以最小化这个损失，使模型能够逐步调整参数以提高预测的准确性。
但是，Transformer神经网络的缺点是严重依赖于大样本。在模型上线初期，没有大样本的数据对网络进行训练；因此，在模型上线初期，需要以先验经验为主，保证模型的稳定运行。基于上述原因，在模型上线初期，本发明需要以反馈神经网络的输出为主，以Transformer神经网络的输出为辅，两者按权重的不同，组合控制调控最终的输出。在模型上线的中后期，经过大量样本的训练后，开始动态调整两者之间的权重，逐渐形成Transformer神经网络为主，反馈神经网络为辅的控制方式，以实现更加准确的焊接效果以及更加智能化、自动化的焊接干预过程。
基于以上理由，本发明实施例中的S7具体包括：
S701、神经网络试运行：为反馈神经网络和Transformer神经网络分配各自的权重比，然后部署上线；其中，反馈神经网络的权重比为n1，Transformer神经网络的权重比为n2，且n1+n2=1；在初次进行神经网络试运行时，n1的取值为1，n2的取值为0；
在焊机进行焊接时，通过CCD工业相机获取焊接部位的实时视频图像，并且使用S2中相同的方法对所述实时视频图像进行视觉检测分析，逐帧识别实时视频图像中的熔池特征，以提取形成实时熔池特征图；
将实时熔池特征图与S6中的标准熔池特征图进行对比，得到熔池特征偏差量；将熔池特征偏差量输入至反馈神经网络，得到输出的焊接参数修正量；将所述焊机参数修正量与当前使用中的焊接参数相加，得到第一焊接参数P1；将实时熔池特征图输入至Transformer神经网络，得到输出的第二焊接参数P2；
对第一焊接参数P1和第二焊接参数P2进行加权求和，得到第三焊接参数P3=n1×P1+n2×P2；根据第三焊接参数P3，对焊机的焊接过程进行实时干预；
S702、使用试运行的样本对神经网络进行补充训练：在神经网络试运行一段时间后，按照时间对应关系，将S7中使用的实时熔池特征图和第三焊接参数P3相对应，形成第三样本集；使用第三样本集对所述Transformer神经网络进行补充训练；
S703、调整权重比并重新试运行：补充训练完成后，对反馈神经网络和Transformer神经网络的权重比进行调整，减小反馈神经网络的权重比n1，并增大Transformer神经网络的权重比n2；然后多次重复S7至S9，直至反馈神经网络的权重比n1减小为0，且Transformer神经网络的权重比n2增大为1；
S704、神经网络正式运行：将反馈神经网络的权重比n1设置为0，将Transformer神经网络的权重比n2设置为1，然后部署上线；
在焊机进行焊接时，通过CCD工业相机获取焊接部位的实时视频图像，并且使用S2中相同的方法对所述实时视频图像进行视觉检测分析，逐帧识别实时视频图像中的熔池特征，以提取形成实时熔池特征图；
将实时熔池特征图输入至Transformer神经网络，得到输出的第二焊接参数P2；根据第二焊接参数P2，对焊机的焊接过程进行实时干预。
具体地，在所述S701中，根据第三焊接参数P3，对焊机的焊接过程进行实时干预的方法为半自动干预，具体包括：
在焊工使用焊机进行人工焊接时，将焊工实时使用的焊接参数与实时输出的第三焊接参数P3相对比，当两者偏差大于设定的阈值时，将焊机当前的焊接参数强制设定为第三焊接参数P3。
在所述S704中，根据第二焊接参数P2，对焊机的焊接过程进行实时干预的方法为全自动干预，具体包括：焊机在无人操作的情况下，采用实时输出的第二焊接参数P2进行全自动焊接。
作为改进，在S703中，每一次调整神经网络的权重比并重新试运行后，将神经网络干预形成的焊接部位的图像与标准人工焊接形成的焊接部位的图像进行对比，评估二者的相似度；若调整权重比后的相似度低于调整权重比前的相似度，则将神经网络的权重比还原为调整前的值并重新试运行。
本发明提供的一种基于焊接熔池特征识别的自动焊接控制方法，通过视觉检测技术对熔池特征进行高效及全面的提取，结合深度学习技术得到熔池特征及其变化量与焊接参数之间的映射关系；进一步通过重复的试运行和补充训练，不断完善神经网络模型，并最终实现对焊接进程的自动化干预和控制。本发明促进了深熔焊技术的自动化进程，有助于提高生产效率、提升焊接良品率，具有广泛的应用前景。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于焊接熔池特征识别的自动焊接控制方法，其特征在于，包括以下步骤：
S1、拍摄人工焊接过程：在人工焊接的过程中，拍摄焊接部位的视频图像，并实时记录焊接参数的变化，以形成焊接参数-时间曲线；
S2、提取熔池特征图：对视频图像进行视觉检测分析，逐帧识别视频图像中的熔池特征，以提取形成熔池特征图；所述熔池特征包括电弧边缘线和熔池边界线；其中，所述电弧边缘线通过边缘检测得到，所述熔池边界线通过拟合识别得到；
S3、提取熔池特征变化量：按照时间顺序，对比熔池特征图中的熔池特征的前后变化，得到熔池特征变化量；同时根据焊接参数-时间曲线，得到熔池特征在变化前后所对应的焊接参数变化量；
S4、制作样本集：按照时间对应关系，将熔池特征变化量和焊接参数变化量相对应，形成第一样本集；将熔池特征图与焊接参数相对应，形成第二样本集；
S5、构建神经网络并进行预训练：构建反馈神经网络，以熔池特征变化量为输入，以焊接参数变化量为输出，使用第一样本集对所述反馈神经网络进行训练；
构建Transformer神经网络，以熔池特征图为输入，焊接参数为输出，使用第二样本集对所述Transformer神经网络进行训练；
S6、获取参考基准：拍摄一段人工焊接的标准视频图像，并且使用S2中相同的方法提取得到标准熔池特征图，作为反馈神经网络运行时的参考基准；
S7、焊接过程实时干预：为反馈神经网络和Transformer神经网络分配各自的权重比，然后部署上线；在焊机进行焊接时，获取焊接部位的实时视频图像，按照S2中的方法提取实时熔池特征图，并输入至反馈神经网络和Transformer神经网络；按照分配的权重比对反馈神经网络和Transformer神经网络的输出结果进行加权求和，根据加权求和得到的焊接参数对焊机的焊接过程进行实时干预。
2.根据权利要求1所述的基于焊接熔池特征识别的自动焊接控制方法，其特征在于，在所述S2中，提取熔池特征图的方法包括以下步骤：
S201、识别视频图像中的电弧区域，围绕电弧区域生成电弧ROI框；
S202、对电弧ROI框中的图像进行边缘检测，以提取电弧边缘线；
S203、根据电弧与熔池的相对位置关系，在电弧区域中心的下方一定距离处生成熔池ROI框；
S204、对熔池ROI框中的图像进行拟合识别，以提取熔池边界线；
S205、保持电弧边缘线和熔池边界线在视频图像中的相对位置，将二者一同提取形成熔池特征图。
3.根据权利要求2所述的基于焊接熔池特征识别的自动焊接控制方法，其特征在于，所述S201包括以下步骤：
S2011、将拍摄到的视频图像转化为灰度图，然后以设定的灰度值为阈值，将灰度图转化为二值图；
S2012、实时遍历二值图的每一个区域，将二值图中出现的面积大于一定阈值的白色色块判定为电弧区域；
S2013、计算白色色块的质心坐标，将白色色块的质心作为电弧区域的中心，并以此为中心生成电弧ROI框。
4.根据权利要求3所述的基于焊接熔池特征识别的自动焊接控制方法，其特征在于，在S201和S203中，以3秒为一个周期对连续的视频图像进行划分，将一个周期内的所有视频图像中的白色色块的质心坐标的平均值作为该周期内电弧区域的中心；在生成当前周期内的视频图像的电弧ROI框和熔池ROI框时，以上个周期内的电弧区域的中心为参考进行生成，并依此规则周期性地间续更新电弧ROI框和熔池ROI框。
5.根据权利要求4所述的基于焊接熔池特征识别的自动焊接控制方法，其特征在于，所述S202包括以下步骤：
S2021、将电弧ROI框中的图像转化为灰度图，并采用一个5*5的滤波核进行高斯滤波去除噪声；
S2022、使用宽度优先算法遍历图像的每一个像素，以设定的灰度值为阈值，将灰度图转化为二值图；
S2023、使用Sobel算子对图像进行边缘检测，以找到图像边缘的梯度和方向，再使用非最大值抑制法消除其中的错误边缘；
S2024、使用双阈值法从S3处理后的图像中提取出边界线，作为电弧边缘线。
6.根据权利要求5所述的基于焊接熔池特征识别的自动焊接控制方法，其特征在于，所述S204包括以下步骤：
S2041、将熔池ROI框中的图像转化为灰度图，并采用一个5*5的滤波核进行高斯滤波去除噪声；
S2042、使用Sobel算子对图像进行边缘检测，以找到图像边缘的梯度和方向，再使用非最大值抑制法消除其中的错误边缘；
S2043、再次使用一个5*5的滤波核进行高斯滤波去除伪边缘噪声；
S2044、使用双阈值法从S3处理后的图像中提取出边界线；
S2045、使用最小二乘法，采用函数f(x,y)=a+bx+cx 2 +dx 3 对提取到的边界线进行拟合，将拟合得到的函数提取作为熔池边界线，其中，a、b、c、d为拟合函数的系数，x、y分别为拟合函数的横纵坐标。
7.根据权利要求1所述的基于焊接熔池特征识别的自动焊接控制方法，其特征在于，所述S7具体包括：
S701、神经网络试运行：为反馈神经网络和Transformer神经网络分配各自的权重比，然后部署上线；其中，反馈神经网络的权重比为n1，Transformer神经网络的权重比为n2，且n1+n2=1；在初次进行神经网络试运行时，n1的取值为1，n2的取值为0；
在焊机进行焊接时，获取焊接部位的实时视频图像，并且使用S2中相同的方法对所述实时视频图像进行视觉检测分析，逐帧识别实时视频图像中的熔池特征，以提取形成实时熔池特征图；
将实时熔池特征图与S6中的标准熔池特征图进行对比，得到熔池特征偏差量；将熔池特征偏差量输入至反馈神经网络，得到输出的焊接参数修正量；将所述焊机参数修正量与当前使用中的焊接参数相加，得到第一焊接参数P1；将实时熔池特征图输入至Transformer神经网络，得到输出的第二焊接参数P2；
对第一焊接参数P1和第二焊接参数P2进行加权求和，得到第三焊接参数P3=n1×P1+ n2×P2；根据第三焊接参数P3，对焊机的焊接过程进行实时干预；
S702、使用试运行的样本对神经网络进行补充训练：在神经网络试运行一段时间后，按照时间对应关系，将S7中使用的实时熔池特征图和第三焊接参数P3相对应，形成第三样本集；使用第三样本集对所述Transformer神经网络进行补充训练；
S703、调整权重比并重新试运行：补充训练完成后，对反馈神经网络和Transformer神经网络的权重比进行调整，减小反馈神经网络的权重比n1，并增大Transformer神经网络的权重比n2；然后多次重复S7至S9，直至反馈神经网络的权重比n1减小为0，且Transformer神经网络的权重比n2增大为1；
S704、神经网络正式运行：将反馈神经网络的权重比n1设置为0，将Transformer神经网络的权重比n2设置为1，然后部署上线；
在焊机进行焊接时，获取焊接部位的实时视频图像，并且使用S2中相同的方法对所述实时视频图像进行视觉检测分析，逐帧识别实时视频图像中的熔池特征，以提取形成实时熔池特征图；
将实时熔池特征图输入至Transformer神经网络，得到输出的第二焊接参数P2；根据第二焊接参数P2，对焊机的焊接过程进行实时干预。
8.根据权利要求7所述的基于焊接熔池特征识别的自动焊接控制方法，其特征在于，在所述S701中，根据第三焊接参数P3，对焊机的焊接过程进行实时干预的方法为半自动干预，具体包括：
在焊工使用焊机进行人工焊接时，将焊工实时使用的焊接参数与实时输出的第三焊接参数P3相对比，当两者偏差大于设定的阈值时，将焊机当前的焊接参数强制设定为第三焊接参数P3。
9.根据权利要求8所述的基于焊接熔池特征识别的自动焊接控制方法，其特征在于，在所述S704中，根据第二焊接参数P2，对焊机的焊接过程进行实时干预的方法为全自动干预，具体包括：焊机在无人操作的情况下，采用实时输出的第二焊接参数P2进行全自动焊接。
10.根据权利要求7所述的基于焊接熔池特征识别的自动焊接控制方法，其特征在于，在S703中，每一次调整神经网络的权重比并重新试运行后，将神经网络干预形成的焊接部位的图像与标准人工焊接形成的焊接部位的图像进行对比，评估二者的相似度；若调整权重比后的相似度低于调整权重比前的相似度，则将神经网络的权重比还原为调整前的值并重新试运行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410480220.2A CN118060669B (zh) | 2024-04-22 | 2024-04-22 | 一种基于焊接熔池特征识别的自动焊接控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410480220.2A CN118060669B (zh) | 2024-04-22 | 2024-04-22 | 一种基于焊接熔池特征识别的自动焊接控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118060669A CN118060669A (zh) | 2024-05-24 |
| CN118060669B true CN118060669B (zh) | 2024-06-25 |
Family
ID=91097673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410480220.2A Active CN118060669B (zh) | 2024-04-22 | 2024-04-22 | 一种基于焊接熔池特征识别的自动焊接控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118060669B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116652323A (zh) * | 2023-06-15 | 2023-08-29 | 湘潭大学 | 一种自决策熔丝增材熔池控形方法 |
| CN117733439A (zh) * | 2024-01-19 | 2024-03-22 | 西咸新区大熊星座智能科技有限公司 | 一种具有焊缝成形质量实时预测功能的焊接机器人 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7021728B2 (ja) * | 2017-05-12 | 2022-02-17 | 株式会社神戸製鋼所 | 自動溶接システム、溶接制御方法、及び機械学習モデル |
| CN111429423B (zh) * | 2020-03-19 | 2022-04-08 | 南通大学 | 基于四元数多自由度神经元的多光谱焊接图像识别方法 |
| JP2023001642A (ja) * | 2021-06-21 | 2023-01-06 | 株式会社神戸製鋼所 | 学習済みモデルの生成方法、学習装置、溶接ロボットの制御装置、システム、学習済みモデル、およびプログラム |
-
2024
- 2024-04-22 CN CN202410480220.2A patent/CN118060669B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116652323A (zh) * | 2023-06-15 | 2023-08-29 | 湘潭大学 | 一种自决策熔丝增材熔池控形方法 |
| CN117733439A (zh) * | 2024-01-19 | 2024-03-22 | 西咸新区大熊星座智能科技有限公司 | 一种具有焊缝成形质量实时预测功能的焊接机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118060669A (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363781B (zh) | 基于深度神经网络的熔池轮廓检测方法 | |
| CN112894101B (zh) | 一种基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法 | |
| CN116423005B (zh) | 一种提高焊接精度的锡焊工艺优化方法及*** | |
| CN110570454A (zh) | 一种检测异物入侵的方法及装置 | |
| CN108624880A (zh) | 一种激光熔覆质量智能控制***及其智能控制方法 | |
| CN112233074A (zh) | 一种基于可见光及红外融合图像的电力故障检测方法 | |
| CN110097524B (zh) | 基于融合卷积神经网络的sar图像目标检测方法 | |
| CN113379740A (zh) | 基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测*** | |
| CN113177947B (zh) | 基于多模块卷积神经网络的复杂环境目标分割方法及装置 | |
| CN116493735B (zh) | 一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法 | |
| CN115131268A (zh) | 一种基于图像特征提取与三维模型匹配的自动化焊接*** | |
| CN116597391B (zh) | 一种焊缝表面形貌和熔透状态同步在线监测方法 | |
| CN111753693A (zh) | 一种静态场景下目标检测方法 | |
| CN116385758A (zh) | 基于YOLOv5网络对传送带表面损伤的检测方法 | |
| CN118060669B (zh) | 一种基于焊接熔池特征识别的自动焊接控制方法 | |
| CN116503417B (zh) | 一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法 | |
| CN116630262A (zh) | 基于神经网络的电芯检测方法和*** | |
| CN117078677A (zh) | 一种用于始极片的缺陷检测方法及*** | |
| CN110936020B (zh) | 修复焊缝轨迹的方法、装置、激光焊接设备及存储介质 | |
| CN115194323A (zh) | 一种激光焊接机的定位焊接方法 | |
| CN118172358A (zh) | 一种基于焊接熔池视觉检测的焊接进程即时控制方法 | |
| Chen et al. | Multi-exposure fusion for welding region based on multi-scale transform and hybrid weight | |
| CN115424107A (zh) | 基于图像融合与深度学习的水下桥墩表观病害检测方法 | |
| CN115272284A (zh) | 基于图像质量评估的输电线路缺陷识别方法 | |
| CN114445694A (zh) | 巡检报告生成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |