CN109492688B - 焊缝跟踪方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种焊缝跟踪方法，包括：获取焊缝图像，并基于所述焊缝图像确定焊缝特征点对应的初始位置；基于预设污染程度评分网络，在所述焊缝图像中确定所述焊缝特征点对应的待跟踪图像；基于所述初始位置，在所述待跟踪图像中确定所述焊缝特征点对应的目标区域，以便根据所述目标区域进行下一步焊接。本发明还公开了一种焊缝跟踪装置及计算机可读存储介质。本发明提高了焊接过程中焊缝跟踪的准确性。

Description

焊缝跟踪方法、装置及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种焊缝跟踪方法、装置及计算机可读存储介质。

背景技术

焊缝跟踪是自动化焊接的关键技术之一，常见的焊接机器人由于大多采用“示教再现”的操作模式而存在加工误差和焊接热变形，从而造成焊接质量下降和焊接缺陷，具备焊缝实时跟踪功能的焊接机器人是解决该问题的主要手段。目前视觉传感方法被广泛用于焊缝跟踪，由于焊接过程中存在大量弧光、飞溅等干扰，导致采集的焊缝图像中存在许多噪声干扰，不利于焊缝特征的提取，严重时甚至淹没焊缝特征信息，因此，如何获得高质量的图像是视觉引导焊缝跟踪过程中首先要解决的一个关键问题。

发明内容

本发明的主要目的在于提供一种焊缝跟踪方法、装置及计算机可读存储介质，旨在解决现有的视觉引导焊缝跟踪过程中采集的焊缝图像中存在噪声干扰，导致无法准确提取焊缝特征的技术问题。

为实现上述目的，本发明提供一种焊缝跟踪方法，所述焊缝跟踪方法包括：

获取焊缝图像，并基于所述焊缝图像确定焊缝特征点对应的初始位置；

基于预设污染程度评分网络，在所述焊缝图像中确定所述焊缝特征点对应的待跟踪图像；

基于所述初始位置，在所述待跟踪图像中确定所述焊缝特征点对应的目标区域，以便根据所述目标区域进行下一步焊接。

可选地，所述获取焊缝图像，并基于所述焊缝图像确定焊缝特征点对应的初始位置的步骤包括：

获取焊接过程中的焊缝图像，其中，所述焊缝图像中包含若干帧焊缝图像；

基于第一帧焊缝图像确定焊缝特征点的初始位置，其中，所述第一帧焊缝图像是没有噪声污染的焊缝图像。

可选地，所述基于预设污染程度评分网络，在所述焊缝图像中确定所述焊缝特征点对应的待跟踪图像的步骤包括：

基于预设污染程度评分网络，对所述若干帧焊缝图像进行污染程度评分，确定所述若干帧焊缝图像分别对应的污染程度分值；

判断所述污染程度分值是否小于或等于预设的污染程度阈值；

若是，则将所述污染程度分值对应的焊缝图像确定为待跟踪图像。

可选地，所述基于预设污染程度评分网络，在所述焊缝图像中确定所述焊缝特征点对应的待跟踪图像的步骤之前，还包括：

获取噪声污染程度不同的焊缝图像样本，并基于所述焊缝图像样本对预设污染程度评分网络进行离线训练，以便所述预设污染程度评分网络输出所述焊缝图像样本对应的污染程度分值；

保存所述离线训练后的预设污染程度评分网络。

可选地，所述判断所述污染程度分值是否小于或等于预设的污染程度阈值的步骤之后，还包括：

若所述污染程度分值大于所述预设的污染程度阈值，则将最小污染程度分值对应的焊缝图像确定为待跟踪图像。

可选地，所述基于所述初始位置，在所述待跟踪图像中确定所述焊缝特征点对应的目标区域，以便根据所述目标区域进行下一步焊接的步骤包括：

基于所述初始位置，在所述待跟踪图像中确定若干个待跟踪区域；

基于预设的判别网络对所述若干个待跟踪区域进行跟踪分数计算，得到对应的跟踪分数；

将最高跟踪分数对应的待跟踪区域确定为所述焊缝特征点对应的目标区域，并确定所述目标区域对应的位置信息，以便进行下一步焊接。

可选地，所述基于所述初始位置，在所述待跟踪图像中确定所述焊缝特征点对应的目标区域，以便根据所述目标区域进行下一步焊接的步骤之前，还包括：

获取预设时间段内的焊缝图像样本，并确定所述预设时间段内的焊缝图像样本中分别对应的焊缝特征点的位置信息；

基于所述位置信息将所述预设时间段内的焊缝图像样本分为正样本和负样本，并将所述正样本和负样本放入预设的判别网络中进行离线训练，以便所述预设的判别网络输出所述正样本和负样本对应的跟踪分数；

保存所述离线训练后的预设的判别网络。

可选地，所述确定所述目标区域对应的位置信息，以便进行下一步焊接的步骤包括：

提取所述目标区域对应的图像信息，并对所述目标区域对应的图像信息进行处理，以确定所述目标区域对应的位置信息，以便基于所述位置信息进行下一步焊接。

此外，为实现上述目的，本发明还提供一种焊缝跟踪装置，所述焊缝跟踪装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的焊缝跟踪程序，所述焊缝跟踪程序被所述处理器执行时实现如上所述的焊缝跟踪方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有焊缝跟踪程序，所述焊缝跟踪程序被处理器执行时实现如上所述的焊缝跟踪方法的步骤。

本发明提出的一种焊缝跟踪方法，首先获取焊缝图像，并从焊缝图像中确定焊缝特征点的初始位置，再基于预设污染程度评分网络，在焊缝图像中确定焊缝特征点对应的待跟踪图像，最后，基于焊缝特征点的初始位置在待跟踪图像中确定对应的目标区域，根据该目标区域进行下一步的焊接。本发明提出的焊缝跟踪方法，通过从焊缝图像中识别焊缝特征点的初始位置，以及对焊缝图像进行污染程度评分，从中确定待跟踪的焊缝图像，最终，基于焊缝特征点的初始位置从待跟踪焊缝图像中确定焊缝特征点出现的目标区域，消除了弧光、飞溅等环境光对焊缝特征点提取的影响，提高了焊缝特征点提取的准确性，实现了准确的焊缝跟踪。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的装置结构示意图；

图2为本发明焊缝跟踪方法第一实施例的流程示意图；

图3为本发明实施例中的焊缝跟踪过程示意图；

图4为本发明实施例中的第一帧焊缝图像示意图；

图5为图2中的步骤S20的细化流程示意图；

图6为本发明焊缝跟踪方法第二实施例的流程示意图；

图7为本发明实施例中的弧形焊缝示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：获取焊缝图像，并基于所述焊缝图像确定焊缝特征点对应的初始位置；基于预设污染程度评分网络，在所述焊缝图像中确定所述焊缝特征点对应的待跟踪图像；基于所述初始位置，在所述待跟踪图像中确定所述焊缝特征点对应的目标区域，以便根据所述目标区域进行下一步焊接。通过本发明实施例的技术方案，解决了现有的视觉引导焊缝跟踪过程中采集的焊缝图像中存在噪声干扰，导致无法准确提取焊缝特征的技术问题。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图。

本发明实施例装置可以是PC，也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该装置可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，装置还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、Wi-Fi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。当然，装置还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的装置结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及焊缝跟踪程序。

在图1所示的装置中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001、存储器1005可以设置在焊缝跟踪装置中，所述焊缝跟踪装置通过处理器1001调用存储器1005中存储的焊缝跟踪程序，并执行以下操作：

获取焊缝图像，并基于所述焊缝图像确定焊缝特征点对应的初始位置；

基于预设污染程度评分网络，在所述焊缝图像中确定所述焊缝特征点对应的待跟踪图像；

基于所述初始位置，在所述待跟踪图像中确定所述焊缝特征点对应的目标区域，以便根据所述目标区域进行下一步焊接。

进一步地，处理器1001可以调用存储器1005中存储的焊缝跟踪程序，还执行以下操作：

获取焊接过程中的焊缝图像，其中，所述焊缝图像中包含若干帧焊缝图像；

基于第一帧焊缝图像确定焊缝特征点的初始位置，其中，所述第一帧焊缝图像是没有噪声污染的焊缝图像。

进一步地，处理器1001可以调用存储器1005中存储的焊缝跟踪程序，还执行以下操作：

基于预设污染程度评分网络，对所述若干帧焊缝图像进行污染程度评分，确定所述若干帧焊缝图像分别对应的污染程度分值；

判断所述污染程度分值是否小于或等于预设的污染程度阈值；

若是，则将所述污染程度分值对应的焊缝图像确定为待跟踪图像。

进一步地，处理器1001可以调用存储器1005中存储的焊缝跟踪程序，还执行以下操作：

获取噪声污染程度不同的焊缝图像样本，并基于所述焊缝图像样本对预设污染程度评分网络进行离线训练，以便所述预设污染程度评分网络输出所述焊缝图像样本对应的污染程度分值；

保存所述离线训练后的预设污染程度评分网络。

进一步地，处理器1001可以调用存储器1005中存储的焊缝跟踪程序，还执行以下操作：

若所述污染程度分值大于所述预设的污染程度阈值，则将最小污染程度分值对应的焊缝图像确定为待跟踪图像。

进一步地，处理器1001可以调用存储器1005中存储的焊缝跟踪程序，还执行以下操作：

基于所述初始位置，在所述待跟踪图像中确定若干个待跟踪区域；

基于预设的判别网络对所述若干个待跟踪区域进行跟踪分数计算，得到对应的跟踪分数；

将最高跟踪分数对应的待跟踪区域确定为所述焊缝特征点对应的目标区域，并确定所述目标区域对应的位置信息，以便进行下一步焊接。

进一步地，处理器1001可以调用存储器1005中存储的焊缝跟踪程序，还执行以下操作：

获取预设时间段内的焊缝图像样本，并确定所述预设时间段内的焊缝图像样本中分别对应的焊缝特征点的位置信息；

基于所述位置信息将所述预设时间段内的焊缝图像样本分为正样本和负样本，并将所述正样本和负样本放入预设的判别网络中进行离线训练，以便所述预设的判别网络输出所述正样本和负样本对应的跟踪分数；

保存所述离线训练后的预设的判别网络。

进一步地，处理器1001可以调用存储器1005中存储的焊缝跟踪程序，还执行以下操作：

提取所述目标区域对应的图像信息，并对所述目标区域对应的图像信息进行处理，以确定所述目标区域对应的位置信息，以便基于所述位置信息进行下一步焊接。

本实施例提供的方案，首先获取焊缝图像，并从焊缝图像中确定焊缝特征点的初始位置，再基于预设污染程度评分网络，在焊缝图像中确定焊缝特征点对应的待跟踪图像，最后，基于焊缝特征点的初始位置在待跟踪图像中确定对应的目标区域，根据该目标区域进行下一步的焊接。本发明提出的焊缝跟踪方法，通过从焊缝图像中识别焊缝特征点的初始位置，以及对焊缝图像进行污染程度评分，从中确定待跟踪的焊缝图像，最终，基于焊缝特征点的初始位置从待跟踪焊缝图像中确定焊缝特征点出现的目标区域，消除了弧光、飞溅等环境光对焊缝特征点提取的影响，提高了焊缝特征点提取的准确性，实现了准确的焊缝跟踪。

基于上述硬件结构，提出本发明焊缝跟踪方法实施例。

参照图2，图2为本发明焊缝跟踪方法第一实施例的流程示意图，在该实施例中，所述方法包括：

步骤S10，获取焊缝图像，并基于所述焊缝图像确定焊缝特征点对应的初始位置；

激光结构光相对于普通光源，具有能量集中、受环境影响小的优点，因此激光结构光常用来引导焊缝跟踪，由于大型激光发生器价格昂贵，目前常采用小型线结构激光进行焊缝跟踪。如图3所示，为本发明实施例中的焊缝跟踪过程示意图，传感器安装在焊枪的前方，测量点与焊接点之间的距离为d，焊接时，传感器不断地检测焊缝的特征点的位置，即测量点的位置，焊接***根据特征点的三维坐标调整焊枪的位置，从而实现自动跟踪焊接。

在本实施例中，首先获取当前焊接过程中采集到的焊缝图像，即传感器所拍摄到的焊缝图像，可以理解的是，该获取的焊缝图像中包括若干帧焊缝图像，如图4所示，为本发明实施例中的第一帧焊缝图像示意图，一开始拍摄时，由于还没有开始焊接，不存在弧光和飞溅干扰，因此，第一帧图像是没有噪声污染的，图中所示矩形框中即为第一帧中焊缝特征点所处的初始位置。标定该矩形框中的焊缝特征点所在区域的位置A1＝(x1，y1，w，h)，其中，x1、y1为焊缝特征点的初始位置坐标值，w、h为该矩形框的宽和高，可以理解的是，在不同的应用场景下，上述四个参数可以设置为不同的值，在本实施例中，人为地设置为固定值。

步骤S20，基于预设污染程度评分网络，在所述焊缝图像中确定所述焊缝特征点对应的待跟踪图像；

进一步地，通过预设的污染程度评分网络，从获取的若干帧焊缝图像中确定待跟踪的焊缝图像，即待跟踪图像，通过确定待跟踪图像从而确定焊缝特征点的目标位置，具体地，如图5所示，包括：

步骤S21，基于预设污染程度评分网络，对所述若干帧焊缝图像进行污染程度评分，确定所述若干帧焊缝图像分别对应的污染程度分值；

在本实施例中，是通过预设污染程度评分网络对上述若干帧焊缝图像进行评分，以判断其是否需要进行跟踪。具体地，将上述获得的若干帧焊缝图像输入至该预设污染程度评分网络中，以便该预设污染程度评分网络输出其分别对应的污染程度分值。

可以理解的是，本实施例中的预设污染程度评分网络是经过离线训练后保存的网络，具体地，首先收集大量不同噪声污染程度的焊缝图像样本，该焊缝图像样本可以通过人工对其污染程度进行评分，例如，分值可以设置为0到1。进一步地，将收集的不同噪声污染程度的焊缝图像样本放入多层卷积神经网络层中进行特征提取，再通过全连接网络以及softmax进行污染程度的评分，最终输出该焊缝图像样本对应的污染程度分值，完成了对预设污染程度评分网络的离线训练，保存该训练好的预设污染程度评分网络，以便进行焊缝图像的污染程度分值在线识别、输出。

步骤S22，判断所述污染程度分值是否小于或等于预设的污染程度阈值；若是，则执行步骤S23；若否，则执行步骤S24；

在本实施例中，对焊缝图像进行跟踪是为了确定焊缝特征点在下一步焊接时可能出现的位置，因此，为了保证焊接的准确性，应当选取噪声污染小的焊缝图像进行跟踪。当通过预设污染程度评分网络确定焊缝图像对应的污染程度分值后，首先判断该污染程度分值是否小于或等于预设的污染程度阈值，以确定该焊缝图像是否可以作为待跟踪图像。

步骤S23，将所述污染程度分值对应的焊缝图像确定为待跟踪图像；

步骤S24，将最小污染程度分值对应的焊缝图像确定为待跟踪图像。

若存在焊缝图像的污染程度分值小于或等于预设的污染程度阈值，则将其确定为待跟踪图像，若上述若干帧焊缝图像中的污染程度分值均大于预设的污染程度阈值，则将其中污染程度分值最小的一帧焊缝图像确定为待跟踪图像。

步骤S30，基于所述初始位置，在所述待跟踪图像中确定所述焊缝特征点对应的目标区域，以便根据所述目标区域进行下一步焊接。

进一步地，当确定待跟踪图像后，根据焊缝特征点的初始位置，从待跟踪图像中确定焊缝特征点可能出现的位置，即待跟踪区域，再进一步从待跟踪区域中确定焊缝特征点出现的可能性最大的目标区域，以便最终根据该目标区域进行下一步的焊接。

在本实施例中，首先获取焊缝图像，并从焊缝图像中确定焊缝特征点的初始位置，再基于预设污染程度评分网络，在焊缝图像中确定焊缝特征点对应的待跟踪图像，最后，基于焊缝特征点的初始位置在待跟踪图像中确定对应的目标区域，根据该目标区域进行下一步的焊接。本发明提出的焊缝跟踪方法，通过从焊缝图像中识别焊缝特征点的初始位置，以及对焊缝图像进行污染程度评分，从中确定待跟踪的焊缝图像，最终，基于焊缝特征点的初始位置从待跟踪焊缝图像中确定焊缝特征点出现的目标区域，消除了弧光、飞溅等环境光对焊缝特征点提取的影响，提高了焊缝特征点提取的准确性，实现了准确的焊缝跟踪。

进一步的，参照图6，基于上述实施例，提出本发明焊缝跟踪方法第二实施例，在本实施例中，所述步骤S30具体包括：

步骤S31，基于所述初始位置，在所述待跟踪图像中确定若干个待跟踪区域；

在第一帧没有噪声污染的焊缝图像中，确定焊缝特征点所在初始位置为A1＝(x1，y1，w，h)，在第一实施例中，选取污染程度分值小于预设的污染程度阈值的焊缝图像进行跟踪，假设该待跟踪图像中的焊缝特征点位置为At＝(xt，yt，w，h)，基于该位置，在待跟踪图像的下一帧图像中选取多个待跟踪区域，其中，根据焊接目标的类型不同，可以确定不同的待跟踪区域。例如，如果是平直焊缝，则在窄带范围内[y_t-Δy,y_t+Δy]，利用高斯随机函数，生成若干位置，即离(x_t,y_t)越近的点，生成待跟踪样本的概率就越大，但是都限定在[y_t-Δy,y_t+Δy]内，其中，Δ_y是一个经验统计值；如果是近似弧形的焊缝，如图7所示，首先建立弧形焊缝的大致数学模型x＝f_x(t),y＝f_y(t)，计算出Xt、Yt，然后以Xt、Yt为中心(均值)，利用高斯随机函数，以方差σ₁范围内产生多个待跟踪区域，另外，如果没有明确的数学模型可以设计，则可以直接以(x_t,y_t)为均值，以比σ₁更大的方差σ₂随机产生多个待跟踪区域。

步骤S32，基于预设的判别网络对所述若干个待跟踪区域进行跟踪分数计算，得到对应的跟踪分数；

进一步地，确定待跟踪图像中的待跟踪区域后，对所有待跟踪区域中的图像利用预设的判别网络进行判别计算，具体地，是确定每一个待跟踪区域所对应的跟踪分数，分数越高，表明焊缝特征点在该待跟踪区域出现的可能性越大。

具体地，在本实施例中，预设的判别网络是经过离线训练后保存的网络，对预设的判别网络进行离线训练的过程如下：

将激光结构光焊缝跟踪***沿着焊缝移动进行焊接，并获取预设时间段内的焊缝图像样本，假设在该焊缝图像样本上标注每一帧图像中焊缝特征点所在的位置信息(xi，yi，w，h)，xi、yi为焊缝特征点的位置坐标值，w、h为焊缝特征点所在的矩形框的宽和高，即目标区域的宽和高，即可得到一个焊缝特征点的位置集合。根据焊缝特征点所在位置的不同，将焊缝图像样本分为正样本和负样本，具体地，在焊缝特征点对应的目标区域的周围，随机产生新的边框，将边框重叠率大于阈值的焊缝图像样本，作为正样本；将边框重叠率小于或等于阈值的焊缝图像样本，作为负样本。可以理解的是，在本实施例中，还可以进一步地对正样本进行增广处理，以增加样本的多样性，提高离线训练的准确性。

将正样本和负样本均输入至该预设的判别网络中进行离线训练，最终预设的判别网络会输出上述正样本和负样本分别对应的跟踪分数，最后保存上述训练好的预设的判别网络，以便进行目标区域的在线确定。

步骤S33，将最高跟踪分数对应的待跟踪区域确定为所述焊缝特征点对应的目标区域，并确定所述目标区域对应的位置信息，以便进行下一步焊接。

通过预设的判别网络对待跟踪图像中的待跟踪区域进行跟踪分数计算，每一个待跟踪区域均可确定一个跟踪分数，将分数最高的待跟踪区域确定为目标区域，即下一步焊接时焊缝特征点应该出现的位置，按照该目标区域进行下一步的焊接。

具体地，对目标区域所对应的图像进行图像处理、阈值分割、特征点提取、激光条纹细化等处理方法，从而确定目标区域所对应的位置信息，在本实施例中，位置信息具体是指焊缝特征点的三维坐标信息，从而根据该三维坐标信息控制焊接***进行下一步焊接。

在本实施例中，通过确定的焊缝特征点的初始位置，在待跟踪图像中确定若干个待跟踪区域，并基于预设的判别网络计算若干个待跟踪区域分别对应的跟踪分数，将分数最高的待跟踪区域确定为目标区域，从而根据该目标区域的位置信息进行下一步焊接，实现了焊缝特征点的准确提取，提高了焊接过程中焊缝跟踪的准确性。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有焊缝跟踪程序，所述焊缝跟踪程序被处理器执行时实现如下操作：

获取焊缝图像，并基于所述焊缝图像确定焊缝特征点对应的初始位置；

基于预设污染程度评分网络，在所述焊缝图像中确定所述焊缝特征点对应的待跟踪图像；

基于所述初始位置，在所述待跟踪图像中确定所述焊缝特征点对应的目标区域，以便根据所述目标区域进行下一步焊接。

进一步地，所述焊缝跟踪程序被处理器执行时还实现如下操作：

获取焊接过程中的焊缝图像，其中，所述焊缝图像中包含若干帧焊缝图像；

基于第一帧焊缝图像确定焊缝特征点的初始位置，其中，所述第一帧焊缝图像是没有噪声污染的焊缝图像。

进一步地，所述焊缝跟踪程序被处理器执行时还实现如下操作：

基于预设污染程度评分网络，对所述若干帧焊缝图像进行污染程度评分，确定所述若干帧焊缝图像分别对应的污染程度分值；

判断所述污染程度分值是否小于或等于预设的污染程度阈值；

若是，则将所述污染程度分值对应的焊缝图像确定为待跟踪图像。

进一步地，所述焊缝跟踪程序被处理器执行时还实现如下操作：

获取噪声污染程度不同的焊缝图像样本，并基于所述焊缝图像样本对预设污染程度评分网络进行离线训练，以便所述预设污染程度评分网络输出所述焊缝图像样本对应的污染程度分值；

保存所述离线训练后的预设污染程度评分网络。

进一步地，所述焊缝跟踪程序被处理器执行时还实现如下操作：

若所述污染程度分值大于所述预设的污染程度阈值，则将最小污染程度分值对应的焊缝图像确定为待跟踪图像。

进一步地，所述焊缝跟踪程序被处理器执行时还实现如下操作：

基于所述初始位置，在所述待跟踪图像中确定若干个待跟踪区域；

基于预设的判别网络对所述若干个待跟踪区域进行跟踪分数计算，得到对应的跟踪分数；

将最高跟踪分数对应的待跟踪区域确定为所述焊缝特征点对应的目标区域，并确定所述目标区域对应的位置信息，以便进行下一步焊接。

进一步地，所述焊缝跟踪程序被处理器执行时还实现如下操作：

获取预设时间段内的焊缝图像样本，并确定所述预设时间段内的焊缝图像样本中分别对应的焊缝特征点的位置信息；

基于所述位置信息将所述预设时间段内的焊缝图像样本分为正样本和负样本，并将所述正样本和负样本放入预设的判别网络中进行离线训练，以便所述预设的判别网络输出所述正样本和负样本对应的跟踪分数；

保存所述离线训练后的预设的判别网络。

进一步地，所述焊缝跟踪程序被处理器执行时还实现如下操作：

提取所述目标区域对应的图像信息，并对所述目标区域对应的图像信息进行处理，以确定所述目标区域对应的位置信息，以便基于所述位置信息进行下一步焊接。

本实施例提供的方案，首先获取焊缝图像，并从焊缝图像中确定焊缝特征点的初始位置，再基于预设污染程度评分网络，在焊缝图像中确定焊缝特征点对应的待跟踪图像，最后，基于焊缝特征点的初始位置在待跟踪图像中确定对应的目标区域，根据该目标区域进行下一步的焊接。本发明提出的焊缝跟踪方法，通过从焊缝图像中识别焊缝特征点的初始位置，以及对焊缝图像进行污染程度评分，从中确定待跟踪的焊缝图像，最终，基于焊缝特征点的初始位置从待跟踪焊缝图像中确定焊缝特征点出现的目标区域，消除了弧光、飞溅等环境光对焊缝特征点提取的影响，提高了焊缝特征点提取的准确性，实现了准确的焊缝跟踪。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种焊缝跟踪方法，其特征在于，所述焊缝跟踪方法包括以下步骤：

获取焊缝图像，并基于所述焊缝图像确定焊缝特征点对应的初始位置；

基于预设污染程度评分网络，在所述焊缝图像中确定所述焊缝特征点对应的待跟踪图像；

基于所述初始位置，在所述待跟踪图像中确定若干个待跟踪区域；

基于预设的判别网络对所述若干个待跟踪区域进行跟踪分数计算，得到对应的跟踪分数；

将最高跟踪分数对应的待跟踪区域确定为所述焊缝特征点对应的目标区域，并确定所述目标区域对应的位置信息，以便进行下一步焊接；

其中，所述基于所述初始位置，在所述待跟踪图像中确定若干个待跟踪区域的步骤包括：

若焊缝类型为近似弧形的焊缝，则基于弧形焊缝的大致数学模型确定所述待跟踪图像中所述初始位置对应的目标位置，其中，所述待跟踪图像为污染程度分值小于或等于预设的污染程度阈值的焊缝图像；

以所述目标位置为中心，并利用高斯随机函数产生多个待跟踪区域。

2.如权利要求1所述的焊缝跟踪方法，其特征在于，所述获取焊缝图像，并基于所述焊缝图像确定焊缝特征点对应的初始位置的步骤包括：

获取焊接过程中的焊缝图像，其中，所述焊缝图像中包含若干帧焊缝图像；

基于第一帧焊缝图像确定焊缝特征点的初始位置，其中，所述第一帧焊缝图像是没有噪声污染的焊缝图像。

3.如权利要求2所述的焊缝跟踪方法，其特征在于，所述基于预设污染程度评分网络，在所述焊缝图像中确定所述焊缝特征点对应的待跟踪图像的步骤包括：

基于预设污染程度评分网络，对所述若干帧焊缝图像进行污染程度评分，确定所述若干帧焊缝图像分别对应的污染程度分值；

判断所述污染程度分值是否小于或等于预设的污染程度阈值；

若是，则将所述污染程度分值对应的焊缝图像确定为待跟踪图像。

4.如权利要求1所述的焊缝跟踪方法，其特征在于，所述基于预设污染程度评分网络，在所述焊缝图像中确定所述焊缝特征点对应的待跟踪图像的步骤之前，还包括：

获取噪声污染程度不同的焊缝图像样本，并基于所述焊缝图像样本对预设污染程度评分网络进行离线训练，以便所述预设污染程度评分网络输出所述焊缝图像样本对应的污染程度分值；

保存所述离线训练后的预设污染程度评分网络。

5.如权利要求3所述的焊缝跟踪方法，其特征在于，所述判断所述污染程度分值是否小于或等于预设的污染程度阈值的步骤之后，还包括：

若所述污染程度分值大于所述预设的污染程度阈值，则将最小污染程度分值对应的焊缝图像确定为待跟踪图像。

6.如权利要求1所述的焊缝跟踪方法，其特征在于，所述基于所述初始位置，在所述待跟踪图像中确定所述焊缝特征点对应的目标区域，以便根据所述目标区域进行下一步焊接的步骤之前，还包括：

获取预设时间段内的焊缝图像样本，并确定所述预设时间段内的焊缝图像样本中分别对应的焊缝特征点的位置信息；

基于所述位置信息将所述预设时间段内的焊缝图像样本分为正样本和负样本，并将所述正样本和负样本放入预设的判别网络中进行离线训练，以便所述预设的判别网络输出所述正样本和负样本对应的跟踪分数；

保存所述离线训练后的预设的判别网络。

7.如权利要求1所述的焊缝跟踪方法，其特征在于，所述确定所述目标区域对应的位置信息，以便进行下一步焊接的步骤包括：

提取所述目标区域对应的图像信息，并对所述目标区域对应的图像信息进行处理，以确定所述目标区域对应的位置信息，以便基于所述位置信息进行下一步焊接。

8.一种焊缝跟踪装置，其特征在于，所述焊缝跟踪装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的焊缝跟踪程序，所述焊缝跟踪程序被所述处理器执行时实现如权利要求1至7中任一项所述的焊缝跟踪方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有焊缝跟踪程序，所述焊缝跟踪程序被处理器执行时实现如权利要求1至7中任一项所述的焊缝跟踪方法的步骤。

Images