CN115810133B - 基于图像处理和点云处理的焊接控制方法及相关设备 - Google Patents

Abstract

本发明公开了一种基于图像处理和点云处理的焊接控制方法及相关设备，方法包括：获取待焊接设备的图像数据和点云数据；通过已训练的图像特征识别模型获取图像数据中像素点对应的参考类别数据；根据参考类别数据中的参考部件类别信息和参考焊接点类别信息获取像素点对应的权重数据；对点云数据进行点云平滑处理获得稠密点云，根据稠密点云、像素点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取稠密点云中各个点的目标类别数据；根据目标类别数据和稠密点云进行点云聚类获得目标部件以及目标部件对应的部件类别数据；根据各部件类别获取各目标部件对应的标准部件焊接区域坐标，进而进行焊接控制。本发明有利于提高焊接准确性。

Description

基于图像处理和点云处理的焊接控制方法及相关设备

技术领域

本发明涉及图像处理技术领域，尤其涉及的是一种基于图像处理和点云处理的焊接控制方法及相关设备。

背景技术

随着科学技术的发展，尤其是自动控制技术的发展，自动控制技术的应用也越来越广泛，且可以应用在不同的场景下。例如，在对设备进行焊接时可以基于自动控制技术实现自动焊接。

现有技术中，通常预先构建标准件以获得对应的标准信息，其中包括需要进行焊接的区域的坐标。对于待焊接设备，则根据其类型确定对应的标准信息，从而根据标准信息中需要焊接的区域的坐标进行自动焊接，实现待焊接设备的焊接。现有技术的问题在于，标准信息是焊接设备在理想状态下（即认为不存在任何误差的状态下）的信息，例如以标准件作为测量对象时获得的信息。但实际焊接过程中，待焊接设备与标准件之间通常是存在一定差异的，例如，可能存在形状差异或焊接区域的偏移差异，这些差异会影响焊接效果，不利于提高焊接准确性。

因此，现有技术还有待改进和发展。

发明内容

本发明的主要目的在于提供一种基于图像处理和点云处理的焊接控制方法及相关设备，旨在解决现有技术中直接根据待焊接设备对应的标准信息中的需要焊接的区域的坐标进行自动焊接的方案不利于提高焊接准确性的问题。

为了实现上述目的，本发明第一方面提供一种基于图像处理和点云处理的焊接控制方法，其中，上述基于图像处理和点云处理的焊接控制方法包括：

获取待焊接设备的图像数据和点云数据，其中，上述图像数据中的一个像素点与上述点云数据中的一个点对应；

根据上述图像数据，通过已训练的图像特征识别模型，获取上述图像数据中各上述像素点对应的参考类别数据，其中，上述参考类别数据包括参考部件类别信息和参考焊接点类别信息，上述参考部件类别信息是多种预设部件类别及干扰类别中的任意一种，上述参考焊接点类别信息是焊接点与非焊接点中的任意一种；

根据上述参考部件类别信息和上述参考焊接点类别信息获取各上述像素点对应的权重数据；

对上述点云数据进行点云平滑处理获得稠密点云，根据上述稠密点云、各上述像素点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取上述稠密点云中各个点对应的目标类别数据，其中，上述目标类别数据包括目标部件类别信息和目标焊接点类别信息；

根据上述目标类别数据和上述稠密点云进行点云聚类，获取聚类后的各个目标部件以及各上述目标部件对应的部件类别数据，其中，上述部件类别数据包括部件类别和实际部件焊接区域坐标；

根据各上述部件类别获取各上述目标部件对应的标准部件焊接区域坐标，根据上述实际部件焊接区域坐标和上述标准部件焊接区域坐标对上述待焊接设备进行焊接控制。

可选的，上述获取待焊接设备的图像数据和点云数据，包括：

通过预设的相机对上述待焊接设备进行图像采集，获取上述待焊接设备对应的图像数据，其中，上述图像数据包括RGB图像和深度图像，上述RGB图像和上述深度图像的像素点一一对应；

对上述待焊接设备进行激光点云扫描，获取上述待焊接设备对应的点云数据，其中，上述点云数据中的点的个数等于上述RGB图像或上述深度图像中像素点的个数。

可选的，上述图像特征识别模型根据如下步骤进行训练：

将图像处理训练数据中的训练图像数据输入上述图像特征识别模型，通过上述图像特征识别模型进行特征识别并获取上述训练图像数据中各个像素点对应的训练类别数据，其中，上述图像处理训练数据包括多组训练图像组，每一组训练图像组包括训练图像数据和上述训练图像数据中各个像素点对应的标注类别数据；

根据上述训练类别数据和上述标注类别数据，对上述图像特征识别模型的模型参数进行调整，并继续执行上述将图像处理训练数据中的训练图像数据输入上述图像特征识别模型的步骤，直至满足预设图像处理训练条件，以得到已训练的图像特征识别模型。

可选的，上述根据上述参考部件类别信息和上述参考焊接点类别信息获取各上述像素点对应的权重数据，包括：

获取预设的权重等级数据表，根据上述权重等级数据表、上述参考部件类别信息和上述参考焊接点类别信息分别为各上述像素点设置对应的权重值作为上述权重数据，其中，参考部件类别信息为预设部件类别的像素点所对应的权重值高于参考部件类别信息为干扰类别的像素点所对应的权重值，参考焊接点类别信息为焊接点的像素点所对应的权重值高于参考部件参考焊接点类别信息为非焊接点的像素点所对应的权重值。

可选的，上述对上述点云数据进行点云平滑处理获得稠密点云，根据上述稠密点云、各上述像素点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取上述稠密点云中各个点对应的目标类别数据，包括：

对上述点云数据进行点云平滑处理获得稠密点云，其中，上述稠密点云中包括原始点和新增点，上述原始点是上述点云数据中的点；

根据各上述像素点对应的参考类别数据和权重数据获取上述稠密点云中各个点对应的参考类别数据和权重数据，其中，任意一个原始点的参考类别数据和权重数据与该原始点所对应的像素点的参考类别数据和权重数据相同，任意一个新增点的参考类别数据和权重数据与该新增点对应的最近原始点的参考类别数据和权重数据相同；

根据上述稠密点云以及上述稠密点云中各个点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取上述稠密点云中各个点对应的目标类别数据。

可选的，上述点云特征识别模型根据如下步骤进行训练：

将点云处理训练数据中的训练点云数据输入上述点云特征识别模型，通过上述点云特征识别模型获取上述训练点云数据中各个点对应的训练目标类别数据，其中，上述点云处理训练数据包括多组训练点云组，每一组训练点云组包括训练点云数据和上述训练点云数据中各个点对应的标注目标类别数据，上述训练点云数据包括多个点以及各个点对应的训练参考类别数据和训练权重数据；

根据上述训练目标类别数据和上述标注目标类别数据，对上述点云特征识别模型的模型参数进行调整，并继续执行上述将点云处理训练数据中的训练点云数据输入上述点云特征识别模型的步骤，直至满足预设点云处理训练条件，以得到已训练的点云特征识别模型。

可选的，上述根据上述实际部件焊接区域坐标和上述标准部件焊接区域坐标对上述待焊接设备进行焊接控制，包括：

根据上述实际部件焊接区域坐标和上述标准部件焊接区域坐标计算获取焊接坐标偏移数据；

根据上述坐标偏移数据对上述待焊接设备对应的预设焊接路径进行调整，获得修正焊接路径；

根据上述修正焊接路径对上述焊接设备进行焊接。

本发明第二方面提供一种基于图像处理和点云处理的焊接控制***，其中，上述基于图像处理和点云处理的焊接控制***包括：

数据获取模块，用于获取待焊接设备的图像数据和点云数据，其中，上述图像数据中的一个像素点与上述点云数据中的一个点对应；

图像处理模块，用于根据上述图像数据，通过已训练的图像特征识别模型，获取上述图像数据中各上述像素点对应的参考类别数据，其中，上述参考类别数据包括参考部件类别信息和参考焊接点类别信息，上述参考部件类别信息是多种预设部件类别及干扰类别中的任意一种，上述参考焊接点类别信息是焊接点与非焊接点中的任意一种；

权重获取模块，用于根据上述参考部件类别信息和上述参考焊接点类别信息获取各上述像素点对应的权重数据；

点云处理模块，用于对上述点云数据进行点云平滑处理获得稠密点云，根据上述稠密点云、各上述像素点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取上述稠密点云中各个点对应的目标类别数据，其中，上述目标类别数据包括目标部件类别信息和目标焊接点类别信息；

点云聚类模块，用于根据上述目标类别数据和上述稠密点云进行点云聚类，获取聚类后的各个目标部件以及各上述目标部件对应的部件类别数据，其中，上述部件类别数据包括部件类别和实际部件焊接区域坐标；

控制模块，用于根据各上述部件类别获取各上述目标部件对应的标准部件焊接区域坐标，根据上述实际部件焊接区域坐标和上述标准部件焊接区域坐标对上述待焊接设备进行焊接控制。

本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于图像处理和点云处理的焊接控制程序，上述基于图像处理和点云处理的焊接控制程序被上述处理器执行时实现上述任意一种基于图像处理和点云处理的焊接控制方法的步骤。

本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于图像处理和点云处理的焊接控制程序，上述基于图像处理和点云处理的焊接控制程序被处理器执行时实现上述任意一种基于图像处理和点云处理的焊接控制方法的步骤。

由上可见，本发明方案中，获取待焊接设备的图像数据和点云数据，其中，上述图像数据中的一个像素点与上述点云数据中的一个点对应；根据上述图像数据，通过已训练的图像特征识别模型，获取上述图像数据中各上述像素点对应的参考类别数据，其中，上述参考类别数据包括参考部件类别信息和参考焊接点类别信息，上述参考部件类别信息是多种预设部件类别及干扰类别中的任意一种，上述参考焊接点类别信息是焊接点与非焊接点中的任意一种；根据上述参考部件类别信息和上述参考焊接点类别信息获取各上述像素点对应的权重数据；对上述点云数据进行点云平滑处理获得稠密点云，根据上述稠密点云、各上述像素点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取上述稠密点云中各个点对应的目标类别数据，其中，上述目标类别数据包括目标部件类别信息和目标焊接点类别信息；根据上述目标类别数据和上述稠密点云进行点云聚类，获取聚类后的各个目标部件以及各上述目标部件对应的部件类别数据，其中，上述部件类别数据包括部件类别和实际部件焊接区域坐标；根据各上述部件类别获取各上述目标部件对应的标准部件焊接区域坐标，根据上述实际部件焊接区域坐标和上述标准部件焊接区域坐标对上述待焊接设备进行焊接控制。

与现有技术中相比，本发明方案中，以待焊接设备的图像数据为参考，结合图像数据和点云数据进行特征识别。具体的，将图像特征识别获得的结果作为参考信息（即参考类别数据），同时，将点云数据进行平滑处理获得稠密点云，结合参考信息进行点云特征识别，获得稠密点云中各个点对应的目标类别数据，进而实现点云聚类，确定各个目标部件及其部件类别数据。其中，部件类别数据中包括根据特征识别确定的实际部件焊接区域坐标，基于将实际部件焊接区域坐标和标准部件焊接区域坐标进行焊接控制时，可以考虑到实际的待焊接设备与标准件之间的差异，从而有利于提高焊接准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种基于图像处理和点云处理的焊接控制方法的流程示意图；

图2是本发明实施例提供的一种基于图像处理和点云处理的焊接控制***的结构示意图；

图3是本发明实施例提供的一种智能终端的内部结构原理框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于分类到”。类似的，短语“如果确定”或“如果分类到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦分类到[所描述的条件或事件]”或“响应于分类到[所描述条件或事件]”。

下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

随着科学技术的发展，尤其是自动控制技术的发展，自动控制技术的应用也越来越广泛，且可以应用在不同的场景下。例如，在对设备进行焊接时可以基于自动控制技术实现自动焊接。

现有技术中，通常预先构建标准件以获得对应的标准信息，其中包括需要进行焊接的区域的坐标。对于待焊接设备，则根据其类型确定对应的标准信息，从而根据标准信息中需要焊接的区域的坐标进行自动焊接，实现待焊接设备的焊接。现有技术的问题在于，标准信息是焊接设备在理想状态下（即认为不存在任何误差的状态下）的信息，例如以标准件作为测量对象时获得的信息。但实际焊接过程中，待焊接设备与标准件之间通常是存在一定差异的，例如，可能存在形状差异或焊接区域的偏移差异，这些差异会影响焊接效果，不利于提高焊接准确性以及焊接质量。

为了解决上述多个问题中的至少一个问题，本发明方案中，获取待焊接设备的图像数据和点云数据，其中，上述图像数据中的一个像素点与上述点云数据中的一个点对应；根据上述图像数据，通过已训练的图像特征识别模型，获取上述图像数据中各上述像素点对应的参考类别数据，其中，上述参考类别数据包括参考部件类别信息和参考焊接点类别信息，上述参考部件类别信息是多种预设部件类别及干扰类别中的任意一种，上述参考焊接点类别信息是焊接点与非焊接点中的任意一种；根据上述参考部件类别信息和上述参考焊接点类别信息获取各上述像素点对应的权重数据；对上述点云数据进行点云平滑处理获得稠密点云，根据上述稠密点云、各上述像素点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取上述稠密点云中各个点对应的目标类别数据，其中，上述目标类别数据包括目标部件类别信息和目标焊接点类别信息；根据上述目标类别数据和上述稠密点云进行点云聚类，获取聚类后的各个目标部件以及各上述目标部件对应的部件类别数据，其中，上述部件类别数据包括部件类别和实际部件焊接区域坐标；根据各上述部件类别获取各上述目标部件对应的标准部件焊接区域坐标，根据上述实际部件焊接区域坐标和上述标准部件焊接区域坐标对上述待焊接设备进行焊接控制。

与现有技术中相比，本发明方案中，以待焊接设备的图像数据为参考，结合图像数据和点云数据进行特征识别。具体的，将图像特征识别获得的结果作为参考信息（即参考类别数据），同时，将点云数据进行平滑处理获得稠密点云，结合参考信息进行点云特征识别，获得稠密点云中各个点对应的目标类别数据，进而实现点云聚类，确定各个目标部件及其部件类别数据。其中，部件类别数据中包括根据特征识别确定的实际部件焊接区域坐标，基于将实际部件焊接区域坐标和标准部件焊接区域坐标进行焊接控制时，可以考虑到实际的待焊接设备与标准件之间的差异，从而有利于提高焊接准确性和焊接质量。

同时，本发明中，还对采集的点云数据进行点云平滑处理，获得稠密点云，根据平滑后的稠密点云，有利于提高聚类效果，进而有利于提高部件识别的准确性。

示例性方法

如图1所示，本发明实施例提供一种基于图像处理和点云处理的焊接控制方法，具体的，上述方法包括如下步骤：

步骤S100，获取待焊接设备的图像数据和点云数据，其中，上述图像数据中的一个像素点与上述点云数据中的一个点对应。

其中，上述待焊接设备是需要进行焊接的设备，需要说明的是，待焊接设备可以包括多个部件，一个部件上可以包括一个或多个需要进行焊接的区域，通过焊接区域可以在各个部件上焊接上所需要的器件或其它部件，从而获得焊接后的设备。本实施例中，以上述待焊接设备是需要进行焊接的装配式建筑模块（例如钢柱、檩条等）为例进行具体说明，但不作为具体限定。

上述图像数据是对上述待焊接设备所在的区域进行图像采集获得的数据，上述点云数据则是对上述待焊接设备所在的区域进行点云采集获得的数据。需要说明的是，图像数据中的一个像素点代表待焊接设备所在区域中的一个具***置，对该位置同样进行点云采集以获得点云数据中的一个点。其中，上述点云数据包括多个点以及各个点对应的点云信息（例如反射信息、坐标信息和颜色信息等）。

具体的，上述获取待焊接设备的图像数据和点云数据，包括：通过预设的相机对上述待焊接设备进行图像采集，获取上述待焊接设备对应的图像数据，其中，上述图像数据包括RGB图像和深度图像，上述RGB图像和上述深度图像的像素点一一对应；对上述待焊接设备进行激光点云扫描，获取上述待焊接设备对应的点云数据，其中，上述点云数据中的点的个数等于上述RGB图像或上述深度图像中像素点的个数。

本实施例中，预设的相机包括预先标定好的RGB相机和深度图像采集相机，且两者采集的图像中，像素点一一对应。例如，RGB图像中的第一个像素点代表的是目标区域（即待焊接设备所在区域）的位置点A，则深度图像中的第一个像素点也代表位置点A。同时，本实施例中使用LiDAR激光点云扫描上述目标区域以获得对应的点云数据。且点云数据中的点的个数等于上述RGB图像或上述深度图像中像素点的个数，即一个像素点对应一个点云点，能够结合图像信息进行点云识别，有利于提高识别效果。

步骤S200，根据上述图像数据，通过已训练的图像特征识别模型，获取上述图像数据中各上述像素点对应的参考类别数据，其中，上述参考类别数据包括参考部件类别信息和参考焊接点类别信息，上述参考部件类别信息是多种预设部件类别及干扰类别中的任意一种，上述参考焊接点类别信息是焊接点与非焊接点中的任意一种。

本实施例中，先对图像数据进行图像特征识别，确定其中每一个像素点对应的参考类别数据，以作为参考信息，提高后续点云特征识别处理过程的准确性。具体的，上述已训练的图像特征识别模型用于对输入的图像进行特征识别处理以确定输入的图像中每一个像素点对应的参考类别数据。其中，参考类别数据包括两方面的信息，一方面为参考部件类别信息，另一方面为参考焊接点类别信息。参考部件类别信息用于指示一个点是什么类型的部件，例如输入部件A还是部件B，本实施例中，任意一个参考部件类别信息是多种预设部件类别以及干扰类别中的任意一种，多种预设部件类别代表的是待焊接设备上的各个部件类型，例如部件A、部件B等。而如果一个点是背景环境或者周围其它设备上的点，即不属于待焊接设备上的点，则其对应的参考部件类别信息为干扰类别。

上述参考焊接点类别信息则用于指示该点是否为焊接点，需要说明的是，对于确定的一个部件，其焊接区域通常是固定的，因此可以预先训练用于识别焊接点的图像特征识别模型。具体的，对于图像数据中的一个点，对应的参考类别数据可以为（部件A类别，焊接点），代表该点属于部件A的一个焊接点。

本实施例中，上述图像特征识别模型根据如下步骤进行训练：将图像处理训练数据中的训练图像数据输入上述图像特征识别模型，通过上述图像特征识别模型进行特征识别并获取上述训练图像数据中各个像素点对应的训练类别数据，其中，上述图像处理训练数据包括多组训练图像组，每一组训练图像组包括训练图像数据和上述训练图像数据中各个像素点对应的标注类别数据；根据上述训练类别数据和上述标注类别数据，对上述图像特征识别模型的模型参数进行调整，并继续执行上述将图像处理训练数据中的训练图像数据输入上述图像特征识别模型的步骤，直至满足预设图像处理训练条件，以得到已训练的图像特征识别模型。

其中，上述图像处理训练数据是预先采集的用于对图像特征识别模型进行训练的数据。需要说明的是，图像处理训练数据中的训练图像数据和标注类别数据都与使用该图像特征识别模型时的对应数据（例如输入该模型的图像数据和该模型输出的参考类别数据）的数据形式相同。具体的，当输入该模型的图像数据包括深度图像和RGB图像时，上述训练图像数据也包括用于训练的训练深度图像和训练RGB图像，其它数据同理，在此不再赘述。

上述预设图像处理训练条件是预先设置的用于限定训练完成的条件，可以包括该模型的训练迭代次数达到该模型对应的预设迭代次数，或者损失值小于该模型对应的预设损失阈值，在此不作具体限定。

步骤S300，根据上述参考部件类别信息和上述参考焊接点类别信息获取各上述像素点对应的权重数据。

本实施例中，为每一个像素点设置对应的权重值（即权重数据）。具体的，一个像素点都与点云数据中的一个点对应，因此像素点的权重值可以作为点云数据中的点对应的权重值，从而为点云数据中各个点设置不同的权重，在处理过程中基于权重获得注意力机制，权重值更大的点可以视为更重要的点，可以获得更多的关注，从而获得更好的特征识别效果。

其中，在设置权重时，用户更为关心的部件所对应的像素点的权重值更高。具体的，上述根据上述参考部件类别信息和上述参考焊接点类别信息获取各上述像素点对应的权重数据，包括：获取预设的权重等级数据表，根据上述权重等级数据表、上述参考部件类别信息和上述参考焊接点类别信息分别为各上述像素点设置对应的权重值作为上述权重数据，其中，参考部件类别信息为预设部件类别的像素点所对应的权重值高于参考部件类别信息为干扰类别的像素点所对应的权重值，参考焊接点类别信息为焊接点的像素点所对应的权重值高于参考部件参考焊接点类别信息为非焊接点的像素点所对应的权重值。

其中，上述预设的权重等级数据表是预先设置的用于存储权重值数据或权重等级数据的表格，需要说明的是，对于待焊接设备中的不同部件，用户对其的关心程度不同，因此对应的权重值或权重等级也不同，例如，部件A对应的权重等级高于部件B对应的权重等级，则确定权重数据时，部件A中的点的权重值高于部件B中的点的权重值。同时，对于同一部件中，焊接区域中的点的权重值高于非焊机区域中的点的权重值。进一步的，干扰类别所对应的点不是本方案需要重点关注的对象，因此其权重值最低。如此，为不同类型的点设置不同的权重值，可以获得更好的特征识别效果。

步骤S400，对上述点云数据进行点云平滑处理获得稠密点云，根据上述稠密点云、各上述像素点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取上述稠密点云中各个点对应的目标类别数据，其中，上述目标类别数据包括目标部件类别信息和目标焊接点类别信息。

本实施例中，考虑到进行点云扫描时获得的点云数据中的点较为稀疏，因此进行点云平滑处理获得稠密点云，可以获得更好的点云特征识别和聚类效果。需要说明的是，点云平滑处理可以采用插值的方式实现，新增的点的点云数据是附件的点的均值，还可以采用其它方式，在此不作具体限定。上述已训练的点云特征识别模型用于对输入的点云进行特征识别和分类，确定其中每一个点的类别（即目标类别数据），且上述点云特征识别模型在进行识别处理的过程中根据参考信息（即各上述像素点对应的参考类别数据和权重数据）为点云数据中的各个点进行注意力分配。

需要说明的是，一个点对应的目标部件类别信息是多种预设部件类别及干扰类别中的任意一种，目标焊接点类别信息是焊接点与非焊接点中的任意一种。

具体的，上述对上述点云数据进行点云平滑处理获得稠密点云，根据上述稠密点云、各上述像素点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取上述稠密点云中各个点对应的目标类别数据，包括：对上述点云数据进行点云平滑处理获得稠密点云，其中，上述稠密点云中包括原始点和新增点，上述原始点是上述点云数据中的点；根据各上述像素点对应的参考类别数据和权重数据获取上述稠密点云中各个点对应的参考类别数据和权重数据，其中，任意一个原始点的参考类别数据和权重数据与该原始点所对应的像素点的参考类别数据和权重数据相同，任意一个新增点的参考类别数据和权重数据与该新增点对应的最近原始点的参考类别数据和权重数据相同；根据上述稠密点云以及上述稠密点云中各个点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取上述稠密点云数据中各个点对应的目标类别数据。

其中，上述新增点是在进行点云平滑处理过程中***的新的点。新增点对应的最近原始点是与该新增点距离最近的原始点，当存在多个距离最近的原始点时，可以任意选择其中一个作为最近原始点。本实施例中，在获得稠密点云以及其中各个点的参考类别数据和权重数据之后，输入到已训练的点云特征识别模型以获取上述稠密点云中各个点对应的目标类别数据。

具体的，上述点云特征识别模型根据如下步骤进行训练：将点云处理训练数据中的训练点云数据输入上述点云特征识别模型，通过上述点云特征识别模型获取上述训练点云数据中各个点对应的训练目标类别数据，其中，上述点云处理训练数据包括多组训练点云组，每一组训练点云组包括训练点云数据和上述训练点云数据中各个点对应的标注目标类别数据，上述训练点云数据包括多个点以及各个点对应的训练参考类别数据和训练权重数据；根据上述训练目标类别数据和上述标注目标类别数据，对上述点云特征识别模型的模型参数进行调整，并继续执行上述将点云处理训练数据中的训练点云数据输入上述点云特征识别模型的步骤，直至满足预设点云处理训练条件，以得到已训练的点云特征识别模型。

其中，上述训练目标类别数据包括训练目标部件类别信息和训练目标焊接点类别信息，对应的，标注目标类别数据包括标注目标部件类别信息和标注目标焊接点类别信息。上述预设点云处理训练条件是预先设置的用于限定点云特征识别模型训练完成的条件，具体的，上述预设点云处理训练条件可以设置为该点云特征识别模型的训练迭代次数达到点云特征识别模型对应的预设迭代次数阈值，或损失值小于点云特征识别模型对应的损失值阈值，还可以包括其它条件，在此不做具体限定。

步骤S500，根据上述目标类别数据和上述稠密点云进行点云聚类，获取聚类后的各个目标部件以及各上述目标部件对应的部件类别数据，其中，上述部件类别数据包括部件类别和实际部件焊接区域坐标。

具体的，在进行聚类时，将同类型的点聚集在一起，作为一个部件或者一个焊接区域，聚类后的获得的部件记为目标部件。具体的，将待焊接设备划分为多个目标部件，分别确定各个目标部件对应的部件类别和实际部件焊接区域坐标。其中，实际部件焊接区域由该目标部件中的所有焊接点构成，因此根据焊接点的坐标即可以获得实际部件焊接区域坐标。本实施例中，上述实际部件焊接区域坐标包括实际焊接区域的边界点坐标。

需要说明的是，在待焊接设备发生形变或因其它原因造成焊接点偏移时，不同的部件所对应的偏移方向、偏移程度都可能不同，因此本实施例中分别针对每一个目标部件进行偏移计算和焊接控制，有利于进一步提高焊接的准确性。

步骤S600，根据各上述部件类别获取各上述目标部件对应的标准部件焊接区域坐标，根据上述实际部件焊接区域坐标和上述标准部件焊接区域坐标对上述待焊接设备进行焊接控制。

具体的，对于每一个目标部件，预先构建有相同部件类别的标准件，根据标准件确定有对应的标准部件焊接区域坐标。而获得的标准部件焊接区域坐标与获得的实际部件焊接区域坐标之间可能存在差异，需要根据差异进行对焊接过程进行调整和控制。

本实施例中，上述根据上述实际部件焊接区域坐标和上述标准部件焊接区域坐标对上述待焊接设备进行焊接控制，包括：根据上述实际部件焊接区域坐标和上述标准部件焊接区域坐标计算获取焊接坐标偏移数据；根据上述坐标偏移数据对上述待焊接设备对应的预设焊接路径进行调整，获得修正焊接路径；根据上述修正焊接路径对上述焊接设备进行焊接。

其中，上述焊接坐标偏移数据用于描述获得的标准部件焊接区域坐标与获得的实际部件焊接区域坐标之间的差异，例如，一个区域边界往哪个方向偏移多少距离。

在一种应用场景中，使用LiDAR激光点云扫描获取初始点云，使用点云稠密方法生成稠密点云，初始点云中包含周围设备、环境噪音点等。可以使用PointNet++模型（即已训练的点云特征识别模型）实现点云分割。点云PointNet++模型是点级别的语义分割模型，即为点云数据中的每个点赋予分类语义，具体区分当前点是属于待焊接部件还是环境或周围其它设备吗，以及当前点具体属于哪一目标部件类型（例如预先设置的脚柱、檩条等类别）。该模型中，通过共享的多层感知机（MLP来）提取每个点特征，然后利用池化操作再将所有点的特征合并为一个全局特征向量。对于分类任务来说，可以直接以此向量作为特征，用MLP进行分类。对于分割任务来说，需要把点特征与全局特征进行拼接，然后用MLP对每个点进行分类。模型训练通过人工标注点云数据、监督学习、反向传播、梯度下降完成。

在获得稠密点云中各个点对应的类别信息之后，通过类别关键字快速调取保存在建筑信息模型（BIM）模板数据库中的标准钢结构件模型，进行点级别的对比，主要对比焊接点（标准模型中）和当前实际待焊接设备中焊接点的位置和形状差距。该过程可通过自动寻位实现，因为机械臂在经过设置后，重复角度很高，但是待加工件的精度较低，每个待焊接设备的焊接位置和标准位置以及待焊接设备本身的形状和标准形状都存在差异，这些差异叠加会导致焊接质量问题。因此，通过点云高精度对比，可以计算出当前待焊接设备（的目标部件）和标准件之间的待焊接点差异，将差异坐标输入机器人数控***，从而对焊接位置进行二次寻位（找到正确的起点和终点）。进一步的，在焊接过程中，使用上述类似的点云生成和语义分割方法，将实时焊缝和标准焊缝对比保证焊接路径精确性。其中，标准焊缝和标准构件形状一样，通过IFC数据格式保存在BIM模型中，随时可调用，且是参数化信息，可以跟随构件设计形状同步调整。如此，通过焊缝对比和调整可以进一步提高焊接准确性。

由上可见，本发明方案中，以待焊接设备的图像数据为参考，结合图像数据和点云数据进行特征识别。具体的，将图像特征识别获得的结果作为参考信息（即参考类别数据），同时，将点云数据进行平滑处理获得稠密点云，结合参考信息进行点云特征识别，获得稠密点云中各个点对应的目标类别数据，进而实现点云聚类，确定各个目标部件及其部件类别数据。其中，部件类别数据中包括根据特征识别确定的实际部件焊接区域坐标，基于将实际部件焊接区域坐标和标准部件焊接区域坐标进行焊接控制时，可以考虑到实际的待焊接设备与标准件之间的差异，从而有利于提高焊接准确性。

示例性设备

如图2中所示，对应于上述基于图像处理和点云处理的焊接控制方法，本发明实施例还提供一种基于图像处理和点云处理的焊接控制***，上述基于图像处理和点云处理的焊接控制***包括：

数据获取模块710，用于获取待焊接设备的图像数据和点云数据，其中，上述图像数据中的一个像素点与上述点云数据中的一个点对应；

图像处理模块720，用于根据上述图像数据，通过已训练的图像特征识别模型，获取上述图像数据中各上述像素点对应的参考类别数据，其中，上述参考类别数据包括参考部件类别信息和参考焊接点类别信息，上述参考部件类别信息是多种预设部件类别及干扰类别中的任意一种，上述参考焊接点类别信息是焊接点与非焊接点中的任意一种；

权重获取模块730，用于根据上述参考部件类别信息和上述参考焊接点类别信息获取各上述像素点对应的权重数据；

点云处理模块740，用于对上述点云数据进行点云平滑处理获得稠密点云，根据上述稠密点云、各上述像素点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取上述稠密点云中各个点对应的目标类别数据，其中，上述目标类别数据包括目标部件类别信息和目标焊接点类别信息；

点云聚类模块750，用于根据上述目标类别数据和上述稠密点云进行点云聚类，获取聚类后的各个目标部件以及各上述目标部件对应的部件类别数据，其中，上述部件类别数据包括部件类别和实际部件焊接区域坐标；

控制模块760，用于根据各上述部件类别获取各上述目标部件对应的标准部件焊接区域坐标，根据上述实际部件焊接区域坐标和上述标准部件焊接区域坐标对上述待焊接设备进行焊接控制。

具体的，本实施例中，上述基于图像处理和点云处理的焊接控制***及其各模块的具体功能可以参照上述基于图像处理和点云处理的焊接控制方法中的对应描述，在此不再赘述。

需要说明的是，上述基于图像处理和点云处理的焊接控制***的各个模块的划分方式并不唯一，在此也不作为具体限定。

基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图3所示。上述智能终端包括处理器及存储器。该智能终端的存储器包括基于图像处理和点云处理的焊接控制程序，存储器为基于图像处理和点云处理的焊接控制程序的运行提供环境。该基于图像处理和点云处理的焊接控制程序被处理器执行时实现上述任意一种基于图像处理和点云处理的焊接控制方法的步骤。需要说明的是，上述智能终端还可以包括其它功能模块或单元，在此不作具体限定。

本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体地智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于图像处理和点云处理的焊接控制程序，上述基于图像处理和点云处理的焊接控制程序被处理器执行时实现本发明实施例提供的任意一种基于图像处理和点云处理的焊接控制方法的步骤。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述***的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的***/智能终端和方法，可以通过其它的方式实现。例如，以上所描述的***/智能终端实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。

上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像处理和点云处理的焊接控制方法，其特征在于，所述方法包括：

获取待焊接设备的图像数据和点云数据，其中，所述图像数据中的一个像素点与所述点云数据中的一个点对应；

根据所述图像数据，通过已训练的图像特征识别模型，获取所述图像数据中各所述像素点对应的参考类别数据，其中，所述参考类别数据包括参考部件类别信息和参考焊接点类别信息，所述参考部件类别信息是多种预设部件类别及干扰类别中的任意一种，所述参考焊接点类别信息是焊接点与非焊接点中的任意一种；

根据所述参考部件类别信息和所述参考焊接点类别信息获取各所述像素点对应的权重数据；

对所述点云数据进行点云平滑处理获得稠密点云，根据所述稠密点云、各所述像素点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取所述稠密点云中各个点对应的目标类别数据，其中，所述目标类别数据包括目标部件类别信息和目标焊接点类别信息；

根据所述目标类别数据和所述稠密点云进行点云聚类，获取聚类后的各个目标部件以及各所述目标部件对应的部件类别数据，其中，所述部件类别数据包括部件类别和实际部件焊接区域坐标；

根据各所述部件类别获取各所述目标部件对应的标准部件焊接区域坐标，根据所述实际部件焊接区域坐标和所述标准部件焊接区域坐标对所述待焊接设备进行焊接控制。

2.根据权利要求1所述的基于图像处理和点云处理的焊接控制方法，其特征在于，所述获取待焊接设备的图像数据和点云数据，包括：

通过预设的相机对所述待焊接设备进行图像采集，获取所述待焊接设备对应的图像数据，其中，所述图像数据包括RGB图像和深度图像，所述RGB图像和所述深度图像的像素点一一对应；

对所述待焊接设备进行激光点云扫描，获取所述待焊接设备对应的点云数据，其中，所述点云数据中的点的个数等于所述RGB图像或所述深度图像中像素点的个数。

3.根据权利要求1所述的基于图像处理和点云处理的焊接控制方法，其特征在于，所述图像特征识别模型根据如下步骤进行训练：

将图像处理训练数据中的训练图像数据输入所述图像特征识别模型，通过所述图像特征识别模型进行特征识别并获取所述训练图像数据中各个像素点对应的训练类别数据，其中，所述图像处理训练数据包括多组训练图像组，每一组训练图像组包括训练图像数据和所述训练图像数据中各个像素点对应的标注类别数据；

根据所述训练类别数据和所述标注类别数据，对所述图像特征识别模型的模型参数进行调整，并继续执行所述将图像处理训练数据中的训练图像数据输入所述图像特征识别模型的步骤，直至满足预设图像处理训练条件，以得到已训练的图像特征识别模型。

4.根据权利要求1所述的基于图像处理和点云处理的焊接控制方法，其特征在于，所述根据所述参考部件类别信息和所述参考焊接点类别信息获取各所述像素点对应的权重数据，包括：

获取预设的权重等级数据表，根据所述权重等级数据表、所述参考部件类别信息和所述参考焊接点类别信息分别为各所述像素点设置对应的权重值作为所述权重数据，其中，参考部件类别信息为预设部件类别的像素点所对应的权重值高于参考部件类别信息为干扰类别的像素点所对应的权重值，参考焊接点类别信息为焊接点的像素点所对应的权重值高于参考部件参考焊接点类别信息为非焊接点的像素点所对应的权重值。

5.根据权利要求1所述的基于图像处理和点云处理的焊接控制方法，其特征在于，所述对所述点云数据进行点云平滑处理获得稠密点云，根据所述稠密点云、各所述像素点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取所述稠密点云中各个点对应的目标类别数据，包括：

对所述点云数据进行点云平滑处理获得稠密点云，其中，所述稠密点云中包括原始点和新增点，所述原始点是所述点云数据中的点；

根据各所述像素点对应的参考类别数据和权重数据获取所述稠密点云中各个点对应的参考类别数据和权重数据，其中，任意一个原始点的参考类别数据和权重数据与该原始点所对应的像素点的参考类别数据和权重数据相同，任意一个新增点的参考类别数据和权重数据与该新增点对应的最近原始点的参考类别数据和权重数据相同；

根据所述稠密点云以及所述稠密点云中各个点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取所述稠密点云中各个点对应的目标类别数据。

6.根据权利要求5所述的基于图像处理和点云处理的焊接控制方法，其特征在于，所述点云特征识别模型根据如下步骤进行训练：

将点云处理训练数据中的训练点云数据输入所述点云特征识别模型，通过所述点云特征识别模型获取所述训练点云数据中各个点对应的训练目标类别数据，其中，所述点云处理训练数据包括多组训练点云组，每一组训练点云组包括训练点云数据和所述训练点云数据中各个点对应的标注目标类别数据，所述训练点云数据包括多个点以及各个点对应的训练参考类别数据和训练权重数据；

根据所述训练目标类别数据和所述标注目标类别数据，对所述点云特征识别模型的模型参数进行调整，并继续执行所述将点云处理训练数据中的训练点云数据输入所述点云特征识别模型的步骤，直至满足预设点云处理训练条件，以得到已训练的点云特征识别模型。

7.根据权利要求1所述的基于图像处理和点云处理的焊接控制方法，其特征在于，所述根据所述实际部件焊接区域坐标和所述标准部件焊接区域坐标对所述待焊接设备进行焊接控制，包括：

根据所述实际部件焊接区域坐标和所述标准部件焊接区域坐标计算获取焊接坐标偏移数据；

根据所述坐标偏移数据对所述待焊接设备对应的预设焊接路径进行调整，获得修正焊接路径；

根据所述修正焊接路径对所述焊接设备进行焊接。

8.一种基于图像处理和点云处理的焊接控制***，其特征在于，所述***包括：

数据获取模块，用于获取待焊接设备的图像数据和点云数据，其中，所述图像数据中的一个像素点与所述点云数据中的一个点对应；

图像处理模块，用于根据所述图像数据，通过已训练的图像特征识别模型，获取所述图像数据中各所述像素点对应的参考类别数据，其中，所述参考类别数据包括参考部件类别信息和参考焊接点类别信息，所述参考部件类别信息是多种预设部件类别及干扰类别中的任意一种，所述参考焊接点类别信息是焊接点与非焊接点中的任意一种；

权重获取模块，用于根据所述参考部件类别信息和所述参考焊接点类别信息获取各所述像素点对应的权重数据；

点云处理模块，用于对所述点云数据进行点云平滑处理获得稠密点云，根据所述稠密点云、各所述像素点对应的参考类别数据和权重数据，通过已训练的点云特征识别模型获取所述稠密点云中各个点对应的目标类别数据，其中，所述目标类别数据包括目标部件类别信息和目标焊接点类别信息；

点云聚类模块，用于根据所述目标类别数据和所述点云数据进行点云聚类，获取聚类后的各个目标部件以及各所述目标部件对应的部件类别数据，其中，所述部件类别数据包括部件类别和实际部件焊接区域坐标；

控制模块，用于根据各所述部件类别获取各所述目标部件对应的标准部件焊接区域坐标，根据所述实际部件焊接区域坐标和所述标准部件焊接区域坐标对所述待焊接设备进行焊接控制。

9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于图像处理和点云处理的焊接控制程序，所述基于图像处理和点云处理的焊接控制程序被所述处理器执行时实现如权利要求1-7任意一项所述基于图像处理和点云处理的焊接控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于图像处理和点云处理的焊接控制程序，所述基于图像处理和点云处理的焊接控制程序被处理器执行时实现如权利要求1-7任意一项所述基于图像处理和点云处理的焊接控制方法的步骤。

Images