CN117787480B - 基于Res-LSTM的焊缝成形质量实时预测方法 - Google Patents

Abstract

为了解决现有利用神经网络对焊缝成形质量进行评估预测的方法存在的预测精度较低的技术问题，本发明提出了一种基于Res‑LSTM的焊缝成形质量实时预测方法。本发明通过收集数据构建源域数据和目标域数据，利用基于CNN的焊缝成形迁移学习模型对源域数据进行特征提取，根据目标域数据对基于ResNet的焊缝成形诊断模型进行卷积层参数修正，利用基于LSTM构建焊缝成形质量预测模型预测下一焊接时刻的焊缝时序特征向量并输入到训练好的焊缝成形诊断模型的全连接层中，进而由焊缝成形诊断模型的全连接层输出焊接标签，从而预测出下一焊接时刻的焊缝成形状态，实现了焊缝成形质量的在线精确预测。

Description

基于Res-LSTM的焊缝成形质量实时预测方法

技术领域

本发明涉及焊接技术领域，具体涉及一种基于Res-LSTM的焊缝成形质量实时预测方法。

背景技术

在工业生产中，焊接是连接材料最常见的方法。使用自动设备可以非常有效地完成各种焊接过程，如工业机器人。在工业机器人进行焊接作业的过程中开展在线焊接检测不仅能使焊缝质量更加可靠和稳定，而且能提高生产效率，降低生产成本。然而，高温、飞溅、高强度电弧光和复杂的焊接环境使得在线焊接检测困难。

在智能焊接领域，将实际焊接过程中的焊接特征及质量信息进行提取，利用深度学习算法对提取的信息进行学习，可以实现焊接质量的在线预测，通过深度学习算法，可以使***智能识别图像中的焊接缺陷，降低误判率，提高检测精度和速度。

在焊接工艺中，焊缝成形质量对于焊接连接的强度和稳定性具有重要影响。传统的焊缝成形质量评估方法通常依赖于专家的主观判断，且存在评估效率低、结果不稳定等问题。

为了克服传统焊缝成形质量评估方法评估效率低、结果不稳定的问题，近年来，本领域技术人员开发研究出了利用神经网络对焊缝成形质量进行实时评估预测的方法，例如：

广东省焊接技术研究所公开的发明专利《一种基于深度学习的弧焊焊缝成形精准预测方法》(201911358046.X)，提供了一种基于深度学习的弧焊焊缝成形精准预测方法，构建以工艺参数作为输入，焊缝成形尺寸和焊缝截面轮廓作为输出的深度神经网络，利用子数据库的数据对深度神经网络进行训练和评估，得到焊缝成形评估模型；采集并输入焊缝成形过程中的实时工艺参数至焊缝成形评估模型，输出对应的焊缝成形尺寸和焊缝截面轮廓，实现弧焊焊缝成形的精准预测，通过预设的工艺参数模型对定量参数数据进行处理，获取焊接工艺参数。由于弧焊是一个高度动态和非线性的过程，该方案中的焊缝成形评估模型需要捕捉到这些复杂的动态变化才能准确预测，因此该方案过于依赖子数据库，导致焊缝成形预测的精度下降。

昆山宝锦激光拼焊有限公司公开的发明专利《一种基于双优化的BP神经网络激光焊接焊缝成形评估方法》(202111389993.2)，通过主成分分析和遗传算法双优化的BP神经网络方法预测焊缝成形。由于主成分分析是通过保留数据的主要成分来减少维度，这可能会导致一些重要信息的损失，尤其是那些对于焊缝成形质量预测来说重要的细微信息，比如微小的裂纹。对于包含时间序列信息的焊接数据，该方法可能会减弱不同时间点之间的相关性，这些相关性对理解焊接过程中的动态变化非常重要。因此，该方案仍无法准确预测焊缝成形状态。

发明内容

为了解决现有利用神经网络对焊缝成形质量进行评估预测的方法存在的预测精度较低的技术问题，本发明提出了一种基于Res-LSTM的焊缝成形质量实时预测方法。

本发明所采用的技术方案是：

基于Res-LSTM的焊缝成形质量实时预测方法，其特殊之处在于，包括以下步骤：

步骤1：收集数据

从公共数据集中收集与焊缝成形相关且具有缺陷标记的熔池图像数据，清洗后构成源域数据；从企业数据库中提取与焊接质量预测相关的熔池图像数据及对应的历史焊接过程数据，对与焊接质量预测相关的熔池图像数据标记缺陷后构成目标域数据；所述历史焊接过程数据包括焊接电流、焊接电压和送丝速度；

步骤2：构建模型

步骤2.1：基于CNN构建焊缝成形迁移学习模型并采用所述源域数据进行训练；

步骤2.2：基于ResNet构建焊缝成形诊断模型，将训练好的所述焊缝成形迁移学习模型的最后一层卷积层的权重和偏置作为所述焊缝成形诊断模型的卷积层参数的初始值，并采用所述目标域数据对所述焊缝成形诊断模型的卷积层参数进行修正，得到训练好的焊缝成形诊断模型；

步骤2.3：基于LSTM构建焊缝成形质量预测模型并采用所述历史焊接过程数据和所述焊缝成形诊断模型输出的一维特征向量进行训练；

步骤3：实时预测

步骤3.1：实时采集当前焊接任务的熔池图像数据和焊接过程数据，并进行数据清洗；

步骤3.2：将步骤3.1的熔池图像数据输入步骤2.2训练好的焊缝成形诊断模型的卷积层中提取图像特征，待焊缝成形诊断模型的全局平均池化层将所述图像特征转化为一维特征向量后，将所述一维特征向量与步骤3.1的焊接过程数据拼接后输入步骤2.3训练好的焊缝成形质量预测模型中，得到下一时刻的焊缝时序特征向量；

步骤3.3：将所述下一时刻的焊缝时序特征向量输入步骤2.2训练好的焊缝成形诊断模型的全连接层中，得到下一时刻的焊缝成形预测结果。

进一步地，步骤1中所述的公共数据集为Github和/或Kaggle公开的焊接图像公共数据集。

进一步地，步骤2.1中所述焊缝成形迁移学习模型包括两层卷积层和两层池化层，两层卷积层的输入均为所述源域数据，两层卷积层分别用于提取源域数据中的简单特征和组合特征，两层池化层分别用于对两层卷积层提取的特征进行增强；所述简单特征包括熔池的边缘、角度和曲线；所述组合特征包括熔池的弧度和形状；训练时是采用所述源域数据对所述两层卷积层进行训练。

进一步地，步骤2.2中：所述焊缝成形诊断模型包括依次设置的卷积层、全局平均池化层和全连接层，卷积层的输入为熔池图像数据，卷积层的输出为从熔池图像数据中提取的图像特征，全局平均池化层的输入为卷积层输出的图像特征，全局平均池化层的输出为一维特征向量，全连接层的输入为焊缝时序特征向量，全连接层的输出为焊缝成形状态标签。

进一步地，步骤2.3中对所述焊缝成形质量预测模型的训练方法是：将所述焊缝成形诊断模型训练好时其全局平均池化层输出的一维特征向量与历史焊接过程数据拼接并按时间顺序排列形成时间序列并进行划分，构建出多个焊缝时间序列数据集，用所述焊缝时间序列数据集对焊缝成形质量预测模型进行训练，得到训练好的焊缝成形质量预测模型。

进一步地，所述焊缝成形质量预测模型包括遗忘门模块、输入门模块和输出门模块；遗忘门模块用于丢弃上一时刻的焊接参数中对当前焊接质量影响较小的历史数据；输入门模块基于当前细胞状态、隐藏状态和输入，决定焊缝成形质量预测模型的输出，从而对细胞状态进行更新；输出门模块基于当前细胞状态、隐藏状态和输入，决定焊缝成形质量预测模型的输出。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序；其特征在于，所述计算机程序被运行时用于执行上述的预测方法中的步骤2-3。

本发明还提供了一种电子设备，包括处理器和计算机程序；其特征在于：所述计算机程序被处理器运行时用于执行上述的预测方法中的步骤2-3。

与现有技术相比，本发明的优点是：

1.本发明通过收集数据构建源域数据和目标域数据，利用基于CNN的焊缝成形迁移学习模型对源域数据进行特征提取，根据目标域数据对基于ResNet的焊缝成形诊断模型进行卷积层参数修正，利用基于LSTM构建焊缝成形质量预测模型预测下一焊接时刻的焊缝时序特征向量并输入到训练好的焊缝成形诊断模型的全连接层中，进而由焊缝成形诊断模型的全连接层输出焊接标签，从而预测出下一焊接时刻的焊缝成形状态，实现了焊缝成形质量的在线精确预测。

2.本发明使用迁移学***衡的问题，同时提高了模型训练精度，为后续准确在线预测提供了良好的基础。

3.本发明提出的焊缝成形诊断模型不同于传统针对图像分类识别的算法，本发明针对焊接全过程在线识别，采用了ResNet-LSTM的混合算法，ResNet可以有效提取复杂焊缝图像中的高级特征并且保留其时序特征，LSTM可以捕获焊缝成形过程中随时间变化的动态特征，为焊缝成形质量预测提供充足的时序分析能力，融合焊接过程中的时间序列信息，提高焊缝质量预测的精度和鲁棒性。通过ResNet和LSTM相互协作，将从图像数据中提取的空间特征与时间序列数据中的动态信息相结合，保证了实时识别焊接过程中的质量问题。

4.本发明利用多源数据综合不同类型的信息来解决焊缝成形实时预测问题，多源数据包括传感器收集的焊接图像数据、实时过程数据、公共图像数据和企业历史数据；传感器数据可以实现实时监控和预测，有助于实时识别潜在的焊接问题，减少可能的缺陷产生，满足了预测的实时性要求。焊接图像数据提供了视觉信息，而焊接过程中传感器收集到的实时过程数据可以提供关于焊接过程的物理信息，如送丝速度、焊接电流和焊接电压等。由于多源数据能够提供更多的特征和信息，可以用于训练更复杂的深度学习模型，这有助于提高焊缝成形诊断模型和焊缝成形质量预测模型的性能和准确性，同时多个数据源让焊缝成形质量预测模型更具鲁棒性，能够应对噪声和不确定性。如果某一数据源出现问题或噪声，其他数据源可能有助于提供更稳定的预测。

5.焊接工艺环境复杂、参数多。传统的焊接预测模型训练方法是通过预设网络结构和训练参数遍历数据集，以确定合适参数，这样会显著增加模型的训练时间和复杂度。而本发明结合多源数据，焊缝成形诊断模型和焊缝成形质量预测模型能够直接从数据中学习焊接过程的复杂关系，降低对专家知识或先验假设的依赖，同时焊缝成形质量预测模型能够实时处理工艺参数，并给出相应的焊缝成形状态预测结果，有助于及时调整焊接工艺。

附图说明

图1是本发明方法的流程图。

图2是本发明方法的模型示意图。

图3是焊缝成形质量预测模型的总体结构图。

图4是焊缝成形质量预测模型的各模块示意图。

具体实施方式

下面结合附图及实例对本发明做进一步的详细说明。

如图1所示，本发明所提供的基于Res-LSTM的焊缝成形质量实时预测方法，包括以下步骤：

步骤1：数据准备

步骤1.1：针对企业中收集到的焊接数据中异常数据不足造成焊接数据不平衡的问题，从Github和/或Kaggle公开的焊接图像公共数据集中收集与焊缝成形相关并且已进行缺陷标记的熔池图像数据集，经过数据清洗构成迁移学习的源域数据；

步骤1.2：通过企业的API接口，从企业数据库中提取与焊接质量预测相关的熔池图像数据及对应的历史焊接过程数据(包括焊接电流、焊接电压和送丝速度)，同时人工识别并对熔池图像数据标记缺陷，并记录带有“缺陷焊缝”标签的熔池图像数据，形成带有“缺陷焊缝”标签的焊缝图像数据集，以此构成迁移学习的目标域数据；

步骤2：模型构建

步骤2.1：基于CNN构建焊缝成形迁移学习模型，该焊缝成形迁移学习模型包括两层卷积层、两层池化层，两层卷积层的输入均为步骤1.1收集的源域数据，两层卷积层分别用于提取源域数据中的简单特征和组合特征，两层池化层分别用于对两层卷积层提取的特征进行增强，输出为提取的特征；采用步骤1.1得到的源域数据来训练焊缝成形迁移学习模型的两层卷积层，在连续多个训练周期中，训练损失稳定时完成训练，得到训练好的焊缝成形迁移学习模型；

步骤2.2：基于ResNet构建焊缝成形诊断模型，该焊缝成形诊断模型包括依次设置的卷积层、池化层和全连接层，卷积层的输入为熔池图像数据，卷积层的输出为从熔池图像数据中提取的图像特征，池化层的输入为卷积层输出的图像特征，池化层的输出为一维特征向量，全连接层的输入为焊缝时序特征向量，全连接层的输出为焊缝成形状态标签，包括焊接良好、烧穿、夹渣、错位和未熔合等焊接状态，用于判断下一焊接时刻焊缝的成形状态是否产生缺陷；在对焊缝成形诊断模型进行训练时，提取训练好的焊缝成形迁移学习模型中最后一层卷积层的权重和偏置作为焊缝成形诊断模型的卷积层初始化参数，根据步骤1.2得到的目标域数据对焊缝成形诊断模型的卷积层参数进行修正，从而获得训练好的焊缝成形诊断模型；

步骤2.3：基于LSTM构建焊缝成形质量预测模型，该焊缝成形质量预测模型的输入为焊接过程数据和焊缝成形诊断模型从熔池图像数据中提取的图像特征所转化的一维特征向量，输出为下一焊接时刻的焊缝时序特征向量；设置时间序列长度和时间间隔周期(通常将时间序列长度设为20，时间间隔周期设为1s)，提取步骤2.2训练好时的焊缝成形诊断模型的全局平均池化层输出的一维特征向量，并与所述历史焊接过程数据(焊接电流、焊接电压和送丝速度)拼接并按时间顺序排列形成时间序列，以所述时间序列长度和时间间隔周期对所述时间序列进行划分，构建出多个焊缝时间序列数据集，用所述焊缝时间序列数据集对焊缝成形质量预测模型进行训练。根据均方差损失函数和所有预测变量的平均绝对误差在训练周期内趋于稳定作为训练完成的评价指标，最终得到训练好的焊缝成形质量预测模型；

步骤3：实时预测

步骤3.1：利用传感器实时采集当前焊接任务的熔池图像数据和焊接过程数据，并对采集的数据进行清洗；

步骤3.2：将步骤3.1采集并清洗后的熔池图像数据输入步骤2.2训练好的焊缝成形诊断模型的卷积层中提取图像特征，待焊缝成形诊断模型的全局平均池化层将该图像特征转化为一维特征向量后，与步骤3.1采集并清洗后的焊接过程数据拼接并按时间顺序排列构建成焊缝时间序列数据集，将该焊缝时间序列数据集输入步骤2.3得到的焊缝成形质量预测模型中进行焊缝时序预测，焊缝成形质量预测模型输出下一时刻的焊缝时序特征向量。

步骤3.3将焊缝成形质量预测模型预测得到的焊缝时序特征向量输入步骤2.2得到的焊缝成形诊断模型的全连接层中，从而通过焊缝成形诊断模型预测得到下一时刻的焊缝成形状态标签，该焊缝成形状态标签可作控制调整焊接工艺的依据。

综上所述，本发明提供的基于Res-LSTM的焊缝成形实时预测方法，通过收集数据构建源域数据和目标域数据，利用基于CNN的焊缝成形迁移学习模型对源域数据进行特征提取，根据目标域数据对基于ResNet的焊缝成形诊断模型进行卷积层参数修正，并基于LSTM构建焊缝成形质量预测模型，利用该焊缝成形质量预测模型预测下一焊接时刻的焊缝时序特征向量将其输入到焊缝成形诊断模型的全连接层中，进而由焊缝成形诊断模型输出焊缝成形状态标签，以预测下一时刻的焊接焊缝是否会产生缺陷，有助于为及时调整改进焊接工艺提供参考依据，降低焊接缺陷的发生率，提高焊接质量和效率。

实施例：

如图1-3所示，本实施例的具体实施步骤如下：

步骤1：数据准备

步骤1.1：针对企业中收集到的焊接数据中异常数据不足造成焊接数据不平衡的问题，从Github和Kaggle公开的焊接图像公共数据集中收集与焊缝成形相关且已进行缺陷标记的熔池图像数据，包括正常焊接、烧穿、夹渣、错位和未熔合五种常见的焊接类型的熔池图像，图像的原始大小为1280×1024，通过随机旋转、随机裁剪和随机水平翻转对原始图像进行数据增强处理，得到33254张400×487像素尺寸的图像作为输入图像，构成迁移学习的源域数据Input1；

步骤1.2：通过企业的API接口，从企业数据库中提取与当前焊接质量预测相关的500张熔池图像数据，同时由技术人员标记缺陷，并记录带有“缺陷焊缝”标签的熔池图像数据，形成带有“缺陷焊缝”标签的企业焊缝图像数据集，以此构成迁移学习的目标域数据Input2；

步骤2：模型构建

测试环境：本实验在ubuntu16.04操作***、RTX3050显卡、64GB运行的硬件环境、Pytorch深度学习框架下进行性能测试。

步骤2.1：基于CNN构建焊缝成形迁移学习模型，采用步骤1.1得到的源域数据Input1来训练焊缝成形迁移学习模型，该焊缝成形迁移学习模型用于熔池图像的特征自适应提取，其网络具有两层卷积层Conv1、Conv2，两层池化层Maxpool1、Maxpool2，全连接层和softmax输出层。每层卷积层包含16个核，每个核的维数为5×5，步长为1，权重和偏差为16。由于焊缝成形迁移学习模型的目的是特征提取而不是图像分类，因此在训练完成后删除了最后两层(全连接层和softmax输出层)，提取卷积层Conv2的权重和偏置作为焊缝成形迁移学习模型的输出Output1，这些权重和偏置包含了焊缝成形迁移学习模型学习到的图像特征。焊缝成形迁移学习模型的卷积层Conv1主要用于检测一些简单特征，如熔池的边缘、角度、曲线等，输出结果具有较高的空间分辨率，有利于目标的精确定位，如熔池与背景的分离，但缺乏鲁棒的特征表示。焊缝成形迁移学习模型的卷积层Conv2主要用于检测一些组合特征，如熔池的弧度、形状等，输出结果的空间分辨率由于池化操作而降低，导致定位功能较弱，但池化可以更好地保留熔池的主要纹理特征。焊缝成形迁移学习模型的池化层Maxpool1、Maxpool2分别用于对卷积层Conv1、Conv2提取的特征进行部分增强。然而，在池化层Maxpool2之后，出现了一些相对抽象的离散块，肉眼很难看到。此外，少数特征图像是黑色的或与其他特征图像非常相似，这意味着卷积核未能提取信息或类似信息是由多个卷积核提取的。因此，在分类之前有必要使用更复杂的ResNet对特征进一步提取，然后再使用LSTM网络对熔池特征信息进行选择和组合；

步骤2.2：基于ResNet构建焊缝成形诊断模型，Batch_size(批尺寸)设置为64；dropout函数值设置为0.25；优化函数为Adam；初始学习率设置为0.0001。将步骤2.1中焊缝成形迁移学习模型的输出Output1作为焊缝成形诊断模型的卷积层权重和偏置的初始值，根据步骤1.2得到的目标域数据Input2对焊缝成形诊断模型的卷积层的权重和偏置进行修正，从而获得训练好的焊缝成形诊断模型；

步骤2.3：基于LSTM构建焊缝成形质量预测模型，并对其进行训练；

基于LSTM的焊缝成形质量预测模型为现有成熟的模型，其核心思想是细胞态，这个细胞态就像数据传输带一样，数据沿着它流动。只不过在有交叉点的地方需要数据会根据交叉点的含义做相应的改变。

焊缝成形质量预测模型的另外一个核心就是控制细胞态中的信息/数据被移除或增加的结构，这个结构叫做门。有了门，就可以控制信息是通过、不通过、还是部分通过，然后被融入到上方的数据流中。门是由sigmoid神经网络层和点乘运算两部分组成的。

基于上述核心思想，焊缝成形质量预测模型包括遗忘门模块、输入门模块和输出门模块。遗忘门模块决定哪些信息应该被遗忘：如果之前的焊接参数对当前的焊接质量影响不大，遗忘门会决定丢弃这部分历史数据；输入门模块基于当前细胞状态(长期记忆)、隐藏状态(短期记忆)和输入，决定焊缝成形质量预测模型的输出：评估当前的输入的焊接参数和图像特征，并决定哪些信息对预测焊接质量更重要，将重要的信息添加到细胞状态(长期记忆)中，从而进行细胞状态(长期记忆)的更新，比如当前的焊接电流、焊接电压、送丝速度和熔池的图像特征；输出门模块基于当前细胞状态(长期记忆)、隐藏状态(短期记忆)和输入，决定焊缝成形质量预测模型的输出：根据更新后的细胞状态决定当前的焊接质量的预测结果，比如是否存在缺陷，具体过程以t时刻为例，

遗忘门的处理过程为：t时刻的输入特征向量和t-1时刻的隐藏层信息通过Sigmoid激活函数作用，再与t-1时刻的长期记忆信息组合，获得遗忘部分信息后的输出。

输入门的处理过程是：t时刻的输入特征向量和t-1时刻的隐藏层信息通过sigmoid激活函数作用；t时刻的输入特征向量和t-1时刻的隐藏层信息通过tanh激活函数作用；对前两步的结果相乘，尽可能的获取所有焊缝成形相关特征信息；最后，用该相乘结果与遗忘门的输出结果组合，从而获取t时刻的长期记忆信息。

输出门的处理过程是：首先，t时刻的输入特征向量和t-1时刻的隐藏层信息通过sigmoid激活函数作用；然后，对输入门输出的t时刻的长期记忆信息通过tanh激活函数处理；最后，对前两步的结果相乘，得到t时刻的隐藏信息。

至此，t时刻的所有特征提取结束。

如图3、4所示，长期记忆模块负责基于历史细胞状态和遗忘门的情况，计算得到的结果为长期记忆的特征向量；短期记忆模块负责基于当前输入和历史隐藏状态的情况，计算得到的结果为短期记忆的特征向量；输出模块负责综合长期记忆和短期记忆，计算得到的结果为当前细胞状态，并基于输出门计算当前隐藏状态和输出值。

总的来说，输入门通过评估当前的输入和细胞状态来更新模型的长期记忆(细胞状态)，而输出门则利用这些更新的长期记忆信息来生成对当前焊接质量的预测输出。这样，基于LSTM的焊缝成形质量预测模型能够有效地结合历史信息和当前输入，进行准确的预测。

对焊缝成形质量预测模型的训练过程如下：

首先在企业历史数据库中抽取包含焊接缺陷的焊缝成形相关参数，构成焊接过程数据其中/>表示焊接过程数据中的第i个样本，/>表示焊接过程数据标签，焊接过程数据包含5类样本，包括正常焊接、烧穿、夹渣、错位和未熔合，每类样本具有3个特征，包括焊接电流、焊接电压和送丝速度；

对焊接过程数据进行标准化处理，计算公式为：

式中，为焊接过程数据中的第i个样本，/>为焊接过程数据标准化后的第i个样本，mean(X_p)表示对焊接过程数据X_p按特征求取的均值，sd(X_p)表示对焊接过程数据按特征求取的标准差。

将步骤2.2焊缝成形诊断模型的全局平均池化层输出的长度为q的一维特征向量，与标准化后的焊接过程数据X_p′拼接，得到长度为q+3的一维特征向量并按时间顺序排列，形成一个时间序列。以时间序列长度为20，时间间隔周期为1s，对所形成的时间序列进行划分，构建出多个焊缝时间序列数据集，每个焊缝时间序列数据集均包括20个时刻的一维向量数据。输入20个时刻的一维向量数据x_T(T＝1,2,…，20)，输出为下一时刻的焊缝时序特征向量。

对焊缝成形质量预测模型训练时需要选定损失函数，这里使用均方差损失函数，假设焊缝时序特征的预测值为u＝f(x；θ)，θ表示神经网络的参数集，预测的真实值为y，均方差损失函数L的计算方法为:

式中，(x^(r)，y^(r))表示第r个样本，y_i ^(r)是y^(r)的第i个分量，f_i(x^(r)；θ)是f(x^(r)；θ)的第i个分量，f(x^(r)；θ)表示第r个焊缝时间序列样本的预测值，R表示焊缝时间序列样本数量，P表示u和y的维度，这里P＝1；

采用Adam算法进行网络参数更新，假设每次从数据集选取M个样本组成一个批量，参数更新的计算方法为：

M_t＝β₁M_t-1+(1-β₁)g_t

G_t＝β₂G_t-1+(1-β₂)g_t ²

θ_t＝θ_t-1-Δθ_t

式中：r表示某一个batch的样本序号，g_t为随机梯度，B为批量大小，M_t是g_t指数加权移动平均，G_t是g_t按元素平方做指数加权移动平均，M₀＝0，G₀＝0，α为初始学习率，和分别为M_t、G_t的偏差修正，β₁、β₂为衰减率，ε表示数值计算稳定性的常数。设置B＝64，α＝0.001，β₁＝0.9，β₂＝0.999，ε＝10^-6；

在每轮网络训练后计算均方差损失函数和所有预测变量的平均绝对误差MAE:

以均方差损失函数L和绝对误差MAE作为评价指标，均方差损失函数用于衡量焊缝成形质量预测模型训练的性能.平均绝对误差MAE用于衡量预测误差的大小，对焊缝成形质量预测模型进行调参直至评价指标在训练周期内趋于稳定，最终获得训练好的焊缝成形质量预测模型。

步骤2.4：将步骤2.3训练得到的下一时刻焊缝时序特征，输入到步骤2.2得到的焊缝成形诊断模型的全连接层中，输出为焊缝成形的标签，用于判断下一焊接时刻焊缝的成形状态是否产生缺陷。

步骤3：实时预测

步骤3.1：利用深度相机和多种传感器跟踪焊接过程，直接面向熔池，采集当前焊接任务中焊缝成形的熔池图像数据和焊接过程数据。该深度相机提供以熔池为中心1280×1024像素帧，每次实验以每秒55帧的速度生成图像，采集焊接过程数据的传感器包括：电流传感器、电压传感器和数字化智能传感器，记录电流、电压和送丝速度参数；

步骤3.2：将步骤3.1采集的当前熔池图像数据实时输入步骤2.2训练好的焊缝成形诊断模型中，将焊缝成形诊断模型的全局平均池化层输出的特征向量和步骤3.1采集的焊接过程数据拼接，实时输入至步骤2.3训练好的焊缝成形质量预测模型中，焊缝成形质量预测模型输出下一时刻的焊缝时序特征向量的预测值。

步骤3.3：将步骤3.2焊缝成形质量预测模型输出的焊缝时序特征向量输入步骤2.2训练好的焊缝成形诊断模型的全连接层，完成焊缝缺陷分类预测，得到焊缝成形质量预测结果，该焊缝成形质量预测结果可用作控制调整焊接工艺的依据。

Claims (8)

1.基于Res-LSTM的焊缝成形质量实时预测方法，其特征在于，包括以下步骤：

步骤1：收集数据

从公共数据集中收集与焊缝成形相关且具有缺陷标记的熔池图像数据，清洗后构成源域数据；从企业数据库中提取与焊接质量预测相关的熔池图像数据及对应的历史焊接过程数据，对与焊接质量预测相关的熔池图像数据标记缺陷后构成目标域数据；所述历史焊接过程数据包括焊接电流、焊接电压和送丝速度；

步骤2：构建模型

步骤2.1：基于CNN构建焊缝成形迁移学习模型并采用所述源域数据进行训练；

步骤2.2：基于ResNet构建焊缝成形诊断模型，将训练好的所述焊缝成形迁移学习模型的最后一层卷积层的权重和偏置作为所述焊缝成形诊断模型的卷积层参数的初始值，并采用所述目标域数据对所述焊缝成形诊断模型的卷积层参数进行修正，得到训练好的焊缝成形诊断模型；

步骤2.3：基于LSTM构建焊缝成形质量预测模型并采用所述历史焊接过程数据和所述焊缝成形诊断模型输出的一维特征向量进行训练；

步骤3：实时预测

步骤3.1：实时采集当前焊接任务的熔池图像数据和焊接过程数据，并进行数据清洗；

步骤3.2：将步骤3.1的熔池图像数据输入步骤2.2训练好的焊缝成形诊断模型的卷积层中提取图像特征，待焊缝成形诊断模型的全局平均池化层将所述图像特征转化为一维特征向量后，将所述一维特征向量与步骤3.1的焊接过程数据拼接后输入步骤2.3训练好的焊缝成形质量预测模型中，得到下一时刻的焊缝时序特征向量；

步骤3.3：将所述下一时刻的焊缝时序特征向量输入步骤2.2训练好的焊缝成形诊断模型的全连接层中，得到下一时刻的焊缝成形预测结果。

2.根据权利要求1所述的基于Res-LSTM的焊缝成形质量实时预测方法，其特征在于：步骤1中所述的公共数据集为Github和/或Kaggle公开的焊接图像公共数据集。

3.根据权利要求1所述的基于Res-LSTM的焊缝成形质量实时预测方法，其特征在于：

步骤2.1中所述焊缝成形迁移学习模型包括两层卷积层和两层池化层，两层卷积层的输入均为所述源域数据，两层卷积层分别用于提取源域数据中的简单特征和组合特征，两层池化层分别用于对两层卷积层提取的特征进行增强；所述简单特征包括熔池的边缘、角度和曲线；所述组合特征包括熔池的弧度和形状；训练时是采用所述源域数据对所述两层卷积层进行训练。

4.根据权利要求1所述的基于Res-LSTM的焊缝成形质量实时预测方法，其特征在于：

步骤2.2中：所述焊缝成形诊断模型包括依次设置的卷积层、全局平均池化层和全连接层，卷积层的输入为熔池图像数据，卷积层的输出为从熔池图像数据中提取的图像特征，全局平均池化层的输入为卷积层输出的图像特征，全局平均池化层的输出为一维特征向量，全连接层的输入为焊缝时序特征向量，全连接层的输出为焊缝成形状态标签。

5.根据权利要求1所述的基于Res-LSTM的焊缝成形质量实时预测方法，其特征在于：

步骤2.3中对所述焊缝成形质量预测模型的训练方法是：将所述焊缝成形诊断模型训练好时其全局平均池化层输出的一维特征向量与历史焊接过程数据拼接并按时间顺序排列形成时间序列并进行划分，构建出多个焊缝时间序列数据集，用所述焊缝时间序列数据集对焊缝成形质量预测模型进行训练，得到训练好的焊缝成形质量预测模型。

6.根据权利要求1所述基于Res-LSTM的焊缝成形质量实时预测方法，其特征在于：所述焊缝成形质量预测模型包括遗忘门模块、输入门模块和输出门模块；遗忘门模块用于丢弃上一时刻的焊接参数中对当前焊接质量影响较小的历史数据；输入门模块基于当前细胞状态、隐藏状态和输入，决定焊缝成形质量预测模型的输出，从而对细胞状态进行更新；输出门模块基于当前细胞状态、隐藏状态和输入，决定焊缝成形质量预测模型的输出。

7.计算机可读存储介质，其上存储有计算机程序；其特征在于，所述计算机程序被运行时用于执行权利要求1-6任一所述的预测方法中的步骤2-3。

8.电子设备，包括处理器和计算机程序；其特征在于：所述计算机程序被处理器运行时用于执行权利要求1-6任一所述的预测方法中的步骤2-3。