CN115971635A - 一种基于视觉传感的搅拌摩擦焊接控制方法、***及机床 - Google Patents

Abstract

本申请提供一种基于视觉传感的搅拌摩擦焊接控制方法、***以及机床，控制方法包括：通过第一相机采集包含有待焊接件在焊接平台上的第一图像；基于第一图像，获取第二标记点相对于第一标记点的第一相对坐标；其中，第二标记点设置于待焊接件上，第一标记点设置于焊接平台上；基于第一相对坐标，控制第二相机运动至能够完整拍摄待焊接件的位置；通过第二相机采集第二图像，基于第二图像获取待焊接件的焊缝信息；基于焊缝信息，规划相对于第二标记点的虚拟焊接路径；基于虚拟焊接路径和第一相对坐标，规划出实际焊接路径；控制搅拌针沿着实际焊接路径对待焊接件进行搅拌摩擦焊接。本申请尤其解决在连续化生产不同类型的待焊接件时效率低的技术问题。

Description

一种基于视觉传感的搅拌摩擦焊接控制方法、***及机床

技术领域

本申请涉及搅拌摩擦焊接技术领域，具体涉及一种基于视觉传感的搅拌摩擦焊接控制方法、***及机床。

背景技术

搅拌焊接摩擦(FSW)作为一种固相连接技术。与常规焊接方法相比，搅拌焊接摩擦焊接是利用高速旋转的搅拌头伸入待焊接件的焊缝中，与待焊接件摩擦产生热量，从而使焊缝处的待焊接件的材料温度升高软化，达到焊接的目的。由于搅拌焊接摩擦焊接因具有成本低、焊接变形小、质量高以及焊接效率高等优势，广泛地应用于3C领域中。

现有技术中，搅拌焊接摩擦需要提前对加工件的焊缝特征进行提取，然后人工设定焊接路径，再将待焊接件的三维模型和设定的焊接路径导入到搅拌摩擦焊接机床中，导致加工效率底。而且，一台焊接机床需要加工的待焊接件型号繁多，对于不同型号的待焊接件，都需要人为设定焊接路径以及导入模型，导致加工效率低；而且在焊接前，还需要将不同的待焊接件按照对应的既定的位置进行摆放，导致加工效率极低。

发明内容

本申请提供一种基于视觉传感的搅拌摩擦焊接控制方法、***及机床，旨在解决现有技术中搅拌焊接摩擦效率低的技术问题，尤其是解决在连续化生产不同类型的待焊接件时效率低的技术问题。

一方面，本申请提供一种基于视觉传感的搅拌摩擦焊接控制方法，用于控制搅拌焊接摩擦机头运动，所述搅拌焊接摩擦机头上设有搅拌针；所述控制方法包括：通过第一相机采集第一图像；

基于所述第一图像，获取第二标记点相对于第一标记点的第一相对坐标，并且获取待焊接件的尺寸信息；其中，所述第二标记点设置于待焊接件上，所述第一标记点设置于焊接平台上；

基于所述第一相对坐标和尺寸信息，控制第二相机运动至能够完整拍摄所述待焊接件的位置；

控制所述第二相机采集第二图像，并基于所述第二图像获取所述待焊接件的焊缝信息；

基于所述焊缝信息，规划相对于第二标记点的虚拟焊接路径；

基于虚拟焊接路径和所述第一相对坐标，规划出实际焊接路径；

控制所述搅拌针伸入所述待焊接件的焊缝中，并沿着所述实际焊接路径对所述待焊接件进行搅拌摩擦焊接。

可选地，根据所述待焊接件的焊缝的形状确定出至少三个第二标记点，至少三个所述第二标记点围绕所述焊缝设置，并限定出至少一个虚拟三角形；所述获取所述第二标记点相对于所述第一标记点的第一相对坐标的步骤包括：基于所述第一图像，获取至少所述三个标记点中的三个相对于所述第一标记点的三个第一相对坐标，基于所述三个第一相对坐标确定出至少一个所述虚拟三角形中的一个相对于所述第一标记点的几何中心坐标；所述控制第二相机运动至能够完整拍摄所述待焊接件的位置的步骤包括：控制所述第二相机运动至所述几何中心坐标的上方，并根据所述尺寸信息进行变焦以采集所述第二图像，采集到的所述第二图像完全包含有所述焊缝和所述第二标记点中的至少两个。

可选地，所述基于焊缝信息，规划相对于第二标记点的虚拟焊接路径的步骤包括：随机地选取至少三个所述第二标记点中的一个作为主参考点；随机地选取至少三个所述第二标记点中的一个作为副参考点，且所述主参考点和所述副参考点分别位于所述焊缝的两侧；通过图像识别技术识别所述焊缝，获取焊缝轨迹；将所述焊缝轨迹和所述主参考点进行关联获取第一虚拟焊接路径；将所述焊缝轨迹和所述副参考点进行关联获取第二虚拟焊接路径；基于所述副参考点和所述主参考点的相对位置，将所述第二虚拟焊接路径变换为第三虚拟焊接路径；判断所述第三虚拟焊接路径与所述第一虚拟焊接路径的相似度，若所述相似度大于预设参数，则以所述第一虚拟焊接路径作为所述虚拟焊接路径；若所述相似度小于预设参数，则至少调节所述第二相机的分辨率、亮度和/或焦距中的一个和/或控制所述第二相机在垂直于所述焊接平台的方向上靠近所述焊接工件运动或者远离所述焊接工件运动，以能重新获取所述第二图像，并重复上述步骤，直至所述相似度大于或等于所述预设参数，并以最后确定的第一虚拟焊接路径作为所述虚拟焊接路径。

可选地，所述通过所述图像技术识别所述焊缝的步骤包括图像预处理、焊缝识别和焊缝分割。

可选地，所述基于虚拟焊接路径和所述第一相对坐标，规划出实际焊接路径的步骤包括：基于所述主参考点与所述第一标记点的第一相对坐标，将满足条件的所述第一虚拟焊接路径变换为参考所述第一标记点的实际焊接路径。

可选地，所述基于所述第一图像，获取所述第二标记点相对于所述第一标记点的第一相对坐标，并且获取待焊接件的尺寸信息的步骤具体包括：基于所述第一图像和预设图像，确定所述焊接平台上是否有所述待焊接工件；若有，则对所述第一图像进行预处理，以提高所述第一图像的分辨率；基于分辨率提高后的所述第一图像，识别所述待焊接工件及所述第二标记点，以获取所述第二标记点相对于所述第一标记点的第一相对坐标以及所述待焊接件的尺寸信息。

可选地，所述控制所述搅拌针伸入所述待焊接件的焊缝中，并沿着所述实际焊接路径对所述待焊接件进行搅拌摩擦焊接的步骤包括：基于所述尺寸信息识别出所述待焊接件的标签；基于所述标签，获取所述搅拌针的旋转速度和移动速度；随机选取所述实际焊接路径的一端作为起始点，根据所述起始点和所述第一标记点的相对位置，控制所述搅拌针移动至所述起始点的正上方，控制所述搅拌针伸入至所述待焊接件的焊缝中，驱动所述搅拌针按照所述旋转速度和所述移动速度沿着所述实际焊接路径对所述待焊接件进行搅拌摩擦焊接。

本申请还提出一种机床，包括：

机架；

焊接平台，所述焊接平台与所述机架连接，用于放置待焊接件；所述焊接平台上设有第一标记点；

第一相机，所述第一相机固定于所述机架，所述第一相机用于采集包含有待焊接件在焊接平台上的第一图像；其中，所述待焊接件上设有第二标记点；

第二相机，所述第二相机可相对所述机架运动设置；

搅拌焊接摩擦机头，所述搅拌焊接摩擦机头可运动地设置于所述机架，所述搅拌焊接摩擦机头上设有搅拌针；以及

处理器，所述处理器分别与所述第一相机、所述第二相机和所述搅拌焊接摩擦机头电连接；所述处理器配置为：采用如前所述的基于视觉传感的搅拌摩擦焊接控制方法。

可选地，所述搅拌焊接摩擦机头上设有可旋转运动的轴肩，所述搅拌针与所述轴肩连接；所述轴肩在所述搅拌针延伸至所述待焊接件的焊缝时，所述轴肩抵接于所述待焊接件的表面；其中，所述轴肩设有凹槽，所述凹槽的开口开设于所述表面；所述凹槽沿着所述轴肩的径向从所述轴肩与所述搅拌针的连接处延伸至所述轴肩的外周壁，并且所述凹槽的槽深在其延伸方向上逐步增加。

本申请还提出一种基于视觉传感的搅拌摩擦焊接控制***，包括：一个或多个处理器；存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为如前所述的基于视觉传感的搅拌摩擦焊接控制方法。

本申请实施例的技术方案中，通过第一相机拍摄的第一图像，，获取第二标记点相对于第一标记点的第一相对坐标，基于所述第一相对坐标，控制第二相机运动至能够完整拍摄所述待焊接件的位置，以能够采集到待焊接件的完整焊缝信息，基于所述焊缝信息，规划相对于第二标记点的虚拟焊接路径，基于第一标记点和虚拟焊接路径，以得到实际焊接路径，以控制所述搅拌针伸入所述待焊接件的焊缝中，并沿着所述实际焊接路径对所述待焊接件进行搅拌摩擦焊接。本申请实施例的技术方案中，无论待焊接件的形状、大小以及摆放位置如何，都能够准确地提取出焊缝信息，并通过对焊缝信息的识别建立其相对于焊接平台(第一标记点)的实际焊接路径，进而控制搅拌针进行搅拌摩擦焊接，无需操作人员有意地将待焊接件摆放至预设位置，也无需对焊接间隙进行建模，使得焊接效率提高，利于连续性生产。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的基于视觉传感的搅拌摩擦焊接控制方法的一个实施例的流程示意图；

图2是本申请实施例提供的基于视觉传感的搅拌摩擦焊接控制方法的另一个实施例的流程示意图；

图3是本申请实施例中提供的基于视觉传感的搅拌摩擦焊接控制方法的步骤S500的一具体实施例流程示意图；

图4是本申请实施例中的基于视觉传感的搅拌摩擦焊接控制方法的步骤S600的流程示意图；

图5是本申请实施例中的基于视觉传感的搅拌摩擦焊接控制方法的步骤S200的流程示意图；

图6是本申请实施例中的基于视觉传感的搅拌摩擦焊接控制方法的步骤S700的流程示意图；

图7是本申请实施例的焊接平台上摆放一待焊接件的一平面示意图；

图8是本申请实施例的焊接平台上摆放一待焊接件的另一平面示意图；

图9是本申请实施例的焊接平台上摆放另一待焊接件的一平面示意图；

图10是本申请实施例提出的机床的结构简要示意图；

图11是本申请实施例提出的轴肩和搅拌针的简要示意图；

图12是本申请实施例提出的轴肩和搅拌针的另一简要示意图.

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请实施例提供一种基于视觉传感的搅拌摩擦焊接控制方法、***及机床，以下分别进行详细说明。

本申请实施例提出的视觉传感的搅拌摩擦焊接控制方法用于控制搅拌摩擦焊接机床的搅拌焊接摩擦机头运动。该搅拌焊接摩擦机头上设有搅拌针。具体地，该控制方法能够所述搅拌针伸入所述待焊接件的焊缝中，并沿着所述实际焊接路径对所述待焊接件进行搅拌摩擦焊接，以使得搅拌针与待焊接件产生摩擦，使得待焊接件的焊缝周围的材料软化而填充至焊缝缝隙中而将待焊接件形成一体。

现有技术中，通过视觉传感技术识别焊缝并将待焊接件焊接为一体，通常采用的方法为：提前将待焊接件的的焊缝特征进行提取，然后人工设定焊接路径，再将待焊接件的三维模型和设定的焊接路径导入到搅拌摩擦焊接机床中；在方法中，需要将待焊接件摆放在预设设定的位置以便与预先设置的坐标系对准。然而，由于搅拌焊接摩擦的焊缝间隙小，需要严格地控制待焊接件摆放位置的偏差，不过搅拌焊接机床所针对的待焊接件的类型、大小不同，因而摆放不同类型和大小的待焊接件时，需要耗费大量的时间对待焊接件进行定位，加工效率低，不利于连续化加工。

为此，如图1所示，为本申请实施例中基于视觉传感的搅拌摩擦焊接控制方法的一个实施例流程示意图。所述控制方法包括：

S100，通过第一相机40采集第一图像；

第一相机40固定在机床上。一般而言，第一相机40为广角相机，其视角至少能购覆盖焊接平台10，以能够采集在焊接平台10摆放有待焊接件20的第一图像。

S200，基于所述第一图像，获取第二标记点P2相对于第一标记点P1的第一相对坐标。其中，所述第二标记点P2设置于待焊接件20上，所述第一标记点P1设置于焊接平台10上。

识别第一图像，识别出第一标记点P1和第二标记点P2。针对于同一个机床，待焊接平台10的固定的，因而第一标记点P1也是固定的，因而第一标记点P1的坐标可以预先存储在***中。根据第一标记点P1和第二标记点P2的相对位置，及第一标记点P1的坐标值，得到第二标记点P2相对于第一标记点P1的第一相对坐标。比如，***将第一标记点P1的坐标标定为(x₁，y₁，z₁)，将第二标记点P2的坐标标定为(x₂，y₂，z₂)，那么第二标记点P2相对于第一标记点P1的第一相对坐标为(x₂-x₁，y₂-y₁，z₂-z₁)。

S300，基于所述第一相对坐标，控制第二相机50运动至能够完整拍摄所述待焊接件20的位置。

为了能够有效地提高加工效率，待焊接件20在焊接平台10上的摆放是随意的，无需将待焊接件20摆放预设位置。为此，本申请的控制方法中，第二相机50可运动地设置于机床上，以用于能够清晰地拍摄到待焊接件20，以能够提取待焊接见得焊缝信息，用于规划焊接路径。第二相机50的初始位置是预设的，因而其初始位置相对于第一标记点P1为确定的。为此，基于第一相对坐标，控制第二相机50运动至能够拍摄到完整拍摄待焊接件20的位置。第二相机50可以通过运动机构驱动，比如液压机构、电动机构或齿轮齿条机构等。

而且，待焊接件20的焊缝间隙小，识别难度大，通过第一相机40采集到的第一图像，获得的焊缝信息准确度不够，因而本申请通过可运动的第二相机50采集获取分辨率更高的第二图像，用于提取焊缝信息。也即：第一图像为全局图像，而第二图像为局部图像。

S400，控制所述第二相机50采集第二图像，并基于所述第二图像获取所述待焊接件20的焊缝信息；

在第二相机50运动到能够拍摄待焊接件20的位置时，通过第二相机50采集第二图像。通过对第二图像的识别，得到待焊接件20件的焊缝信息。焊缝信息包括焊缝间隙的宽度和焊缝间隙的走向。

S500，基于所述焊缝信息，规划相对于第二标记点P2的虚拟焊接路径；

以第二标记点P2为原点建立第二坐标系，在第二坐标系下，基于焊缝间隙的宽度和走向建立焊缝间隙的轨迹方程。该轨迹方程即为虚拟焊接路径。S600，基于虚拟焊接路径和所述第一相对坐标，规划出实际焊接路径；

以第一标记点P1为原点建立第一坐标下，基于第一相对坐标，将在第二坐标系下的轨迹方程转换至第一坐标下，进而构建出另一轨迹方程，即为实际焊接路径。

S700，控制所述搅拌针80伸入所述待焊接件20的焊缝中，并沿着所述实际焊接路径对所述待焊接件20进行搅拌摩擦焊接。

在机床中，搅拌针80的初始位置为确定值，其初始位置相对于第一标记点P1也是确定的，因而在确定了实际焊接路径的情况下，控制搅拌针80伸入到待焊接件20的焊缝间隙中，并控制搅拌针80沿着实际焊接路径运动以对待焊接件20进行搅拌摩擦焊机，直到该条焊缝间隙焊接完毕。

本申请实施例的技术方案中，通过第一相机40拍摄的第一图像，获取第二标记点P2相对于第一标记点P1的第一相对坐标，基于所述第一相对坐标，控制第二相机50运动至能够完整拍摄所述待焊接件20的位置，以能够采集到待焊接件20的完整焊缝信息，基于所述焊缝信息，规划相对于第二标记点P2的虚拟焊接路径，基于第一标记点P1和虚拟焊接路径，以得到实际焊接路径，以控制所述搅拌针80伸入所述待焊接件20的焊缝中，并沿着所述实际焊接路径对所述待焊接件20进行搅拌摩擦焊接。本申请实施例的技术方案中，无论待焊接件20的形状、大小以及摆放位置如何，都能够准确地提取出焊缝信息，并通过对焊缝信息的识别建立其相对于焊接平台10的实际焊接路径，进而控制搅拌针80进行焊接，无需操作人员有意地将待焊接件20摆放至预设位置，也无需对焊接间隙进行建模，使得焊接效率提高，利于连续性生产。

在现有技术中，通过图像识别的放置对焊缝进行建模已成为常见的方法。焊缝属于狭长型的结构，往往对于分辨率和视角有十分高的要求。但是现有技术中，采用固定相机拍摄待焊接件20，以获得用于规划焊接路径的图像；然而，在面对尺寸大小不一(如图7和9所示)、形状不一(如图7和9所示)、类型不一、摆放位置不一(如图7和8所示)的待焊接件20时，由于固定相机的拍摄视角固定，最终获得的用于规划路径的图像质量是难以一致的，导致***误差较大，无法保证焊接质量。为此，为了降低***误差，提高焊接质量，即为了能够获得质量相近的第二图像(从第二图像中获取的焊缝信息准确率可靠)，本申请实施例通过固定相机拍摄到的第一图像(全局图像)来控制第二相机50的拍摄位置，使得第二相机50运动至可靠的位置来拍摄待焊接件20获得第二图像(局部图像)，进而能够在面对尺寸大小不一、形状不一、类型不一、摆放位置不一的待焊接件20时，获得的焊接路径的***误差降低。

在实际生产过程中，焊缝的形状可能为直线型、曲线型或者混合型(直线+曲线)等。为此，在本申请的技术方案中，在待焊接件20上至少设有三个第二标记点P2，以便于第二相机50运动至焊缝间隙的正上方或者靠近焊缝间隙正上方的位置。至少三个第二标记点P2围绕焊缝设置，限定出至少一个虚拟三角形。一般而言，焊缝落入该虚拟三角形的范围以内。

作为上述实施例的可选实施方式，图2所示，所述获取所述第二标记点P2相对于所述第一标记点P1的第一相对坐标的步骤包括：

S203，基于所述第一图像，获取至少所述三个第二标记点P2(如图中P21、P22和P23所示)中的三个相对于所述第一标记点P1的三个第一相对坐标，基于所述三个第一相对坐标确定出至少一个所述虚拟三角形中的一个相对于所述第一标记点P1的几何中心(P20)的坐标。

比如，第i个第二标记点P2的坐标为(x_2i，y_2i，z_2i)，那么第i个第二标记点P2相对于第一标记点P1的第一相对坐标为(x_2i-x₁，y_2i-y₁，z_2i-z₁)，i的取值为1,2,3…N。该几何中心坐标为虚拟三角形的在第一坐标系下的内心的坐标或者重心的坐标。

所述控制第二相机50运动至能够完整拍摄所述待焊接件20的位置的步骤包括：S301，控制所述第二相机50运动至所述几何中心坐标的上方，以采集所述第二图像，采集到的所述第二图像完全包含有所述焊缝。也即：第二相机50的拍摄位置，位于虚拟三角形的内心或者重心的正上方，以便于能够获取高质量的第二图像，便于获取接近真实的焊缝信息。

本申请的技术方案中，第二相机50的拍摄位置位于虚拟三角形几何中心的正上方。为此，为了能够使得焊缝间隙清晰被拍摄，实施人员可以在设置第二标记点P2时，将虚拟三角形设置为正三角形，且其几何中心位于焊缝上，因而在拍摄时，第二相机50的焦点与几何中心的连线可以垂直于待焊接件20的表面，进而能够获得高质量的焊缝信息。

在本申请实施例的技术方案中，为了能够拍摄到完成的待焊接件20的焊缝，通过第一图像，获取待焊接件20的尺寸信息；并根据所述尺寸信息，调节第二相机50的焦距，以能够拍摄到完整的待焊接件20。图7所示，在本申请的一些可选实施方式中，在步骤S100之后，该控制方法还包括步骤S210:基于所述第一图像，获取待焊接件20的尺寸信息。该尺寸信息反映出待焊接件20的形状和大小。该尺寸信息主要用于使得第二相机50能够拍摄到完整的焊缝间隙，以便于对焊缝进行建模。步骤S210可以和步骤S200同时进行、也可以在步骤S200之后或者之前。

进一步地，为了能够确保建立的焊缝的虚拟焊接路径接近真实值，第二相机50在拍摄时，能够拍摄到所述第二标记点P2中的至少两个，用于虚拟焊接路径的互相验证。具体地，图3所示，作为上述实施例的可选实施方式，所述基于焊缝信息，规划相对于第二标记点P2的虚拟焊接路径的步骤包括：

S501，随机地选取至少三个所述第二标记点P2中的一个作为主参考点；比如，主参考点为P22。

S502，随机地选取至少三个所述第二标记点P2中的一个作为副参考点；比如，副参考点为P21。

S503，通过图像识别技术识别所述焊缝，获取焊缝轨迹。

S504，将所述焊缝轨迹和所述主参考点进行关联获取第一虚拟焊接路径；也即，以主参考点为原点建立第二坐标系I，将焊缝轨迹在该第二坐标系I进行建模，获得第一虚拟焊接路径；

S505，将所述焊缝轨迹和所述副参考点进行关联获取第二虚拟焊接路径；

也即，以副参考点为原点建立第二坐标系II，将将焊缝轨迹在该第二坐标系II进行建模，获得第而虚拟焊接路径；

S506，基于所述副参考点和所述主参考点的相对位置，将所述第二虚拟焊接路径变换为第三虚拟焊接路径；

也即，根据所述副参考点和所述主参考点的相对位置，将第二虚拟焊接路径转到到以第二坐标系II下，得到第三虚拟焊接路径。从理论上来讲，第三虚拟焊接路径与第一虚拟焊接路径是完全重合的。但是受第二图像的分辨率的影响，焊缝识别算法存在误差，导致第三虚拟焊接路径和第一虚拟焊接路径是不重合的，为此为了能够使得获得虚拟焊接路径的误差尽量小，本申请实施例提通过虚拟焊接路径的互相验证来降低误差。具体地，

S507，判断所述第三虚拟焊接路径与所述第一虚拟焊接路径的相似度。相似度可以通过两条路径的距离来度量。通常情况下，轨迹与轨迹之间的相似度有多种经典度量指标，比如：Closest-Pair Distance(CPD)、Sum-of-Pairs Distance(SPD)、DTW、LCSS和EDR。第三虚拟焊接路径与所述第一虚拟焊接路径的相似度可以通过上述度量指标中的至少一个来进行计算。

S508，若所述相似度大于预设参数，则以所述第一虚拟焊接路径作为所述虚拟焊接路径；即：若相似度大于预设参数，则第三虚拟焊接路径和第一虚拟焊接路径相似度高，彼此相互验证PASS，可以以第一虚拟焊接路径作为虚拟焊接路径。

S509，若所述相似度小于预设参数，则至少调节所述第二相机50的分辨率、亮度和/或焦距中的一个和/或控制所述第二相机50在垂直于所述焊接平台10的方向上靠近所述焊接工件运动或者远离所述焊接工件运动，以能重新获取所述第二图像，并重复上述步骤，直至所述相似度大于或等于所述预设参数，并以最后确定的第一虚拟焊接路径作为所述虚拟焊接路径。即：若在第三虚拟焊接路径和第一虚拟焊接路径相似度不够时，，彼此相互验证NG，此时说明第二图像的质量不够，可以至少调节所述第二相机50的分辨率、亮度和/或焦距中的一个和/或控制所述第二相机50在垂直于所述焊接平台10的方向上靠近所述焊接工件运动或者远离所述焊接工件运动，以重新获取更高质量的第二图像，并重复上述步骤，直到彼此相互验证PASS，进而以新确定的第一虚拟焊接路径作为虚拟焊接路径。

为了能够尽量地降低误差，所述主参考点和所述副参考点分别位于所述焊缝的两侧。

作为上述实施例的可选实施方式，所述通过所述图像技术识别所述焊缝的步骤包括图像预处理、焊缝识别和焊缝分割。图像预处理时，一般需要对第二图像进行色域转换、灰度化以及滤波。由于现实过程中存在各种各样的扰动，图像边缘模糊是出现频率较高的问题之一，待焊接件20焊缝的边界模糊、边界线条难以辨认使得特征提取流程变得异常困难。因此，利用图像锐化技术对焊缝的模糊区域进行增强变得尤为重要。在图像进行图像滤波、灰度化处理、图像增强等处理之后，需要进一步滤除非相关的干扰源，突出焊缝区域后进行焊缝识别和分割。本申请实施例中，焊缝图像处理单元是通过分割目标图像感兴趣区域和非感兴趣区域。进一步，图像分割与识别将目标物体与背景分割开，从而得到焊缝间隙在图像坐标系中的位置；然后根据目标的某些特征信息集以及相应的判定标准对整幅图像像素进行分类，提取出焊缝区域中的信息。一般而言，图像分割是以阈值分割的方式进行目标物体与背景的分割。阈值分割是通过选定合适的阈值将图像中不同的像素值范围进行分类，从而将图像中的目标物体与背景进行分离。一般而言，阈值分割是在完成图像灰度化、滤波等预处理后，利用先验知识或算法设置合适阈值，将全部像素点像素值与阈值进行代数运算，遴选符合约束条件的像素点集合即为目标物的轮廓信息，完成目标物体与背景的分离过程。在实际图像分割处理过程中，阈值的选取直接影响图像分割的效果，因此，为了能够保证进行图像分割时的效果，在进行阈值分割操作的基础上引入超分辨率重建，有效地消除可能存在的多阈值情况。由于图像中焊缝区域和背景之间的比例不均衡，图像特征出现多峰值，导致通过最大类间方差法找寻到的图像分割处理的最优阈值数据不止一个时，利用超分辨率重建的方式得到修正后高分辨率图像，然后再利用图像分割的最优阈值计算方法进行最优阈值的获取，从而提高图像分割的效果。焊缝区域筛除是通过依次进行的场景图像的超分辨率重建与图像阈值分割完成的。按照将高精度点扩散函数(PSF)作为先验知识，将精准颜色矢量信息作为约束条件，对凸集投影算法改进优化的方式完成对场景图像的超分辨率重建。获取到超分辨率重建后的高分辨率图像后，利用阈值计算方法得到最优阈值，并通过最优阈值获取焊缝区域的操作步骤中还引入了超像素分割。在获取到焊缝区域后，提取焊缝的中心线，并在第二坐标系I和II下，建立该中心线的数学模型，得到第一虚拟焊接路径和第二虚拟焊接路径。

此外，焊缝区域的图像识别还可以采用现有技术，比如公开号为CN112238292专利公开了一种基于视觉的搅拌摩擦焊接机器人空间曲线轨迹跟踪方法。该专利采用二值化的方式从图像中获得焊缝的中心坐标。

作为上述实施例的可选实施方式，图4所示，所述基于虚拟焊接路径和所述第一相对坐标，规划出实际焊接路径的步骤包括：S601，基于所述主参考点与所述第一标记点P1的第一相对坐标，将满足条件的所述第一虚拟焊接路径变换为参考所述第一标记点P1的实际焊接路径。将符合***误差的第一虚拟焊接路径变换到参考第一标记点P1的实际焊接路径，能够使得搅拌针80的运动轨迹更接近贴合真实的焊缝轨迹，可以在焊接过程中无需纠偏装置，有利于提高焊接速率和焊接质量。

通过本申请实施例提供的控制方法，由于无需实施人员调节待焊接件20的摆放位置，因而实现待焊接件20的连续化作业。在连续化作业时，待焊接件20的加工过程中可以包括由机械手将待焊接件20转运至焊接平台10、焊接、以及将憨厚的待焊接件20转运至下一制作工装。为此，焊接平台10上存在没有待焊接件20的情况，为此为了能够满足智能化的生产过程中，作为上述实施例的可选实施方式，图5所示，所述基于所述第一图像，获取所述第二标记点P2相对于所述第一标记点P1的第一相对坐标步骤具体包括：

S201，基于所述第一图像和预设图像，确定所述焊接平台10上是否有所述待焊接工件；

S202，若有，则对所述第一图像进行预处理，以提高所述第一图像的分辨率；基于分辨率提高后的所述第一图像，识别所述待焊接工件及所述第二标记点P2，以获取所述第二标记点P2相对于所述第一标记点P1的第一相对坐标。

也即，基于第一图像，判断在焊接平台10上有待焊接工件时，才会进行第二标记点P2和第一标记点P1的第一相对坐标的计算。由于第一图像是全局图像，第一标记点P1和第二标记点P2的像素位置在全局图像中比较模糊，为此需要对第一图像进行分辨率的提高，基于分辨率提高后的所述第一图像，识别所述待焊接工件及所述第二标记点P2，以获取所述第二标记点P2相对于所述第一标记点P1的第一相对坐标，以用于控制第二相机50运动。

作为上述实施例的可选实施方式，图6所示，所述控制所述搅拌针80伸入所述待焊接件20的焊缝中，并沿着所述实际焊接路径对所述待焊接件20进行搅拌摩擦焊接的步骤包括：

S701，基于所述尺寸信息识别出所述待焊接件20的标签；比如，在对第一图像识别时，根据待焊接件20的轮廓信息得到其尺寸信息，进而通过尺寸信息得到待焊接件20的类型。

S702，基于所述标签，获取所述搅拌针80的旋转速度和移动速度；随机选取所述实际焊接路径的一端作为起始点，根据所述起始点和所述第一标记点P1的相对位置，控制所述搅拌针80移动至所述起始点的正上方，控制所述搅拌针80伸入至所述待焊接件20的焊缝中，驱动所述搅拌针80按照所述旋转速度和所述移动速度沿着所述实际焊接路径对所述待焊接件20进行搅拌摩擦焊接。

基于上述实施例，由于每一个待焊接件20的焊接参数也是不同的。焊接参数主要受待焊接件20的材质、厚度、焊缝类型等设计。焊接参数包括搅拌针80的旋转速度和移动速度。在焊接前，实施人员可以将旋转速度和移动速度关联至待焊接件20的尺寸信息。为此在一条流水线上，控制***能够需要根据待焊接件20的尺寸信息实施对应的焊接参数，以匹配待焊接件20的类型，得到相应质量的焊缝。

本申请还提出一种机床，图10所示，包括：

机架30；

焊接平台10，所述焊接平台10与所述机架30连接，用于放置待焊接件20；所述焊接平台10上设有第一标记点P1；

第一相机40，所述第一相机40固定于所述机架30，所述第一相机40用于采集包含有待焊接件20在焊接平台10上的第一图像；其中，所述待焊接件20上设有第二标记点P2；

第二相机50，所述第二相机50可相对所述机架30运动设置；

搅拌焊接摩擦机头60，所述搅拌焊接摩擦机头60可运动地设置于所述机架30，所述搅拌焊接摩擦机头60上设有搅拌针80；以及

处理器(未示出)，所述处理器分别与所述第一相机40、所述第二相机50和所述搅拌焊接摩擦机头60电连接；所述处理器配置为：采用基于视觉传感的搅拌摩擦焊接控制方法。由于控制方法采用了前述实施例的一部分或者全部，因而该机床具有前述实施例的一部分技术优势或者全部技术优势。

需要说明的是，第二相机50可以移动设置于机架30上，其驱动结构可以为齿轮齿条、蜗轮蜗杆、履带、液压伸缩杆、电动推杆等。第二相机50也可以固定设置在搅拌焊接摩擦机头60上，通过驱动搅拌焊接摩擦机头60来驱动第二相机50移动。搅拌焊接摩擦机头60上设有搅拌针80。搅拌焊接摩擦机头60的驱动可以采用现有技术设置。搅拌针80可旋转地设置于搅拌焊接摩擦机头60上，以与待焊接件20高速摩擦。

处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－ProgrammableGate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。处理器还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关基于视觉传感的搅拌摩擦焊接控制控制***的控制方法操作，使得基于视觉传感的搅拌摩擦焊接控制控制***的控制方法模型可以自主训练学习，提高效率和准确度。

作为上述实施例的可选实施方式，图11和图12所示，所述搅拌焊接摩擦机头60上设有可旋转运动的轴肩70，所述搅拌针80与所述轴肩70连接；所述轴肩70在所述搅拌针80延伸至所述待焊接件20的焊缝时，所述轴肩70抵接于所述待焊接件20的表面；其中，所述轴肩70设有凹槽70a，所述凹槽70a的开口开设于所述表面；所述凹槽70a沿着所述轴肩70的径向从所述轴肩70与所述搅拌针80的连接处延伸至所述轴肩70的外周壁，并且所述凹槽70a的槽深在其延伸方向上逐步增加。即使本申请实施例的技术方案中，通过焊接路径的相互验证来消除了一部分***误差，但是该控制***仍旧依靠图像识别的方式来对焊接路径进行建模。由于图像识别技术仍旧存在精度的问题，导致在焊接时，搅拌针80在焊接时仍会小范围偏离焊接间隙中心，故此为了能够提高有效地降低***误差对焊接质量的影响，本申请实施例中在轴肩70上开设有凹槽70a，该凹槽70a的开口设于轴肩70的用于抵靠待焊接件20的表面上。并且所述凹槽70a沿着所述轴肩70的径向从所述轴肩70与所述搅拌针80的连接处延伸至所述轴肩70的外周壁，并且所述凹槽70a的槽深在其延伸方向上逐步增加，故此当搅拌针80在稍微偏离中心的一侧与待焊接件20摩擦时，该侧过多的熔融液体会在堆离心力的作用下从搅拌针80的根部径向朝外流动，而且在轴肩70旋转时，将该过多的熔融液体带动至搅拌针80径向的另一侧，以填充焊缝间隙，便于中心两侧的焊缝均匀，进而可以有效地降低控制***的***误差对焊缝质量的影响。

同时，由于凹槽70a的设置，在判断第三虚拟焊接路径和第一虚拟焊接路径相似度时，可以将相似度设置的较高，也即允许第三虚拟焊接路径和第一虚拟焊接路径可以由相对较高的误差，进而可以尽量少的调节所述第二相机50的分辨率、亮度和/或焦距中的一个和/或控制所述第二相机50在垂直于所述焊接平台10的方向上靠近所述焊接工件运动或者远离所述焊接工件运动，以提高加工效率。

如图12所示，凹槽为多个，多个凹槽沿着搅拌针的周向间隔设置。

本申请实施例还提出一种基于视觉传感的搅拌摩擦焊接控制控制***，包括：一个或多个处理器；存储器；以及一个或多个应用程序，其中，所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现如前所述的基于视觉传感的搅拌摩擦焊接控制方法。

一般情况下，通常，该基于视觉传感的搅拌摩擦焊接控制控制***包括：至少一个处理器、至少一个存储器以及存储在存储器上并可在处理器上运行的基于视觉传感的搅拌摩擦焊接控制控制***的控制程序，基于视觉传感的搅拌摩擦焊接控制控制***的控制程序配置为实现如前的控制方法的步骤。

处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－ProgrammableGate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。处理器还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关基于视觉传感的搅拌摩擦焊接控制控制***的控制方法操作，使得基于视觉传感的搅拌摩擦焊接控制控制***的控制方法模型可以自主训练学习，提高效率和准确度。

存储器可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器所执行以实现本申请中方法实施例提供的基于视觉传感的搅拌摩擦焊接控制方法。

以上对本申请实施例所提供的一种基于视觉传感的搅拌摩擦焊接控制方***及机床进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于视觉传感的搅拌摩擦焊接控制方法，用于控制搅拌焊接摩擦机头运动，所述搅拌焊接摩擦机头上设有搅拌针，其特征在于，包括：

通过第一相机采集第一图像；

基于所述第一图像，获取第二标记点相对于第一标记点的第一相对坐标；其中，所述第二标记点设置于待焊接件上，所述第一标记点设置于焊接平台上；

基于所述第一相对坐标，控制第二相机运动至能够完整拍摄所述待焊接件的位置；

控制所述第二相机采集第二图像，并基于所述第二图像获取所述待焊接件的焊缝信息；

基于所述焊缝信息，规划相对于第二标记点的虚拟焊接路径；

基于虚拟焊接路径和所述第一相对坐标，规划出实际焊接路径；

控制所述搅拌针伸入所述待焊接件的焊缝中，并沿着所述实际焊接路径对所述待焊接件进行搅拌摩擦焊接。

2.如权利要求1所述的控制方法，其特征在于，根据所述待焊接件的焊缝的形状确定出至少三个第二标记点，至少三个所述第二标记点围绕所述焊缝设置，并限定出至少一个虚拟三角形；

所述获取所述第二标记点相对于所述第一标记点的第一相对坐标的步骤包括：

基于所述第一图像，获取至少所述三个标记点中的三个相对于所述第一标记点的三个第一相对坐标，基于所述三个第一相对坐标确定出至少一个所述虚拟三角形中的一个相对于所述第一标记点的几何中心坐标；

所述控制第二相机运动至能够完整拍摄所述待焊接件的位置的步骤包括：

控制所述第二相机运动至所述几何中心坐标的上方，以采集所述第二图像，采集到的所述第二图像完全包含有所述焊缝和所述第二标记点中的至少两个。

3.如权利要求2所述的控制方法，其特征在于，所述基于焊缝信息，规划相对于第二标记点的虚拟焊接路径的步骤包括：

随机地选取至少三个所述第二标记点中的一个作为主参考点；

随机地选取至少三个所述第二标记点中的一个作为副参考点，且所述主参考点和所述副参考点分别位于所述焊缝的两侧；

通过图像识别技术识别所述焊缝，获取焊缝轨迹；

将所述焊缝轨迹和所述主参考点进行关联获取第一虚拟焊接路径；

将所述焊缝轨迹和所述副参考点进行关联获取第二虚拟焊接路径；

基于所述副参考点和所述主参考点的相对位置，将所述第二虚拟焊接路径变换为第三虚拟焊接路径；

判断所述第三虚拟焊接路径与所述第一虚拟焊接路径的相似度，若所述相似度大于预设参数，则以所述第一虚拟焊接路径作为所述虚拟焊接路径；

若所述相似度小于预设参数，则至少调节所述第二相机的分辨率、亮度和/或焦距中的一个和/或控制所述第二相机在垂直于所述焊接平台的方向上靠近所述焊接工件运动或者远离所述焊接工件运动，以能重新获取所述第二图像，并重复上述步骤，直至所述相似度大于或等于所述预设参数，并以最后确定的第一虚拟焊接路径作为所述虚拟焊接路径。

4.如权利要求3所述的控制方法，其特征在于，所述通过所述图像技术识别所述焊缝的步骤包括图像预处理、焊缝识别和焊缝分割。

5.如权利要求3所述的控制方法，其特征在于，所述基于虚拟焊接路径和所述第一相对坐标，规划出实际焊接路径的步骤包括：

基于所述主参考点与所述第一标记点的第一相对坐标，将满足条件的所述第一虚拟焊接路径变换为参考所述第一标记点的实际焊接路径。

6.如权利要求1所述的控制方法，其特征在于，所述基于所述第一图像，获取所述第二标记点相对于所述第一标记点的第一相对坐标步骤具体包括：

基于所述第一图像和预设图像，确定所述焊接平台上是否有所述待焊接工件；

若有，则对所述第一图像进行预处理，以提高所述第一图像的分辨率；基于分辨率提高后的所述第一图像，识别所述待焊接工件及所述第二标记点，以获取所述第二标记点相对于所述第一标记点的第一相对坐标。

7.如权利要求1所述的控制方法，其特征在于，所述控制所述搅拌针伸入所述待焊接件的焊缝中，并沿着所述实际焊接路径对所述待焊接件进行搅拌摩擦焊接的步骤包括：

基于尺寸信息识别出所述待焊接件的标签；基于所述标签，获取所述搅拌针的旋转速度和移动速度；其中，所述尺寸信息基于对所述第一图像的识别获取；

随机选取所述实际焊接路径的一端作为起始点，根据所述起始点和所述第一标记点的相对位置，控制所述搅拌针移动至所述起始点的正上方，控制所述搅拌针伸入至所述待焊接件的焊缝中，驱动所述搅拌针按照所述旋转速度和所述移动速度沿着所述实际焊接路径对所述待焊接件进行搅拌摩擦焊接。

8.一种机床，其特征在于，包括：

机架；

焊接平台，所述焊接平台与所述机架连接，用于放置待焊接件；所述焊接平台上设有第一标记点；

第一相机，所述第一相机固定于所述机架，所述第一相机用于采集包含有待焊接件在焊接平台上的第一图像；其中，所述待焊接件上设有第二标记点；

第二相机，所述第二相机可相对所述机架运动设置；

搅拌焊接摩擦机头，所述搅拌焊接摩擦机头可运动地设置于所述机架，所述搅拌焊接摩擦机头上设有搅拌针；以及

处理器，所述处理器分别与所述第一相机、所述第二相机和所述搅拌焊接摩擦机头电连接；所述处理器配置为：采用权利要求1至7中任一项所述的基于视觉传感的搅拌摩擦焊接控制方法。

9.如权利要求8所述的机床，其特征在于，所述搅拌焊接摩擦机头上设有可旋转运动的轴肩，所述搅拌针与所述轴肩连接；所述轴肩在所述搅拌针延伸至所述待焊接件的焊缝时，所述轴肩抵接于所述待焊接件的表面；

其中，所述轴肩设有凹槽，所述凹槽的开口开设于所述表面；所述凹槽沿着所述轴肩的径向从所述轴肩与所述搅拌针的连接处延伸至所述轴肩的外周壁，并且所述凹槽的槽深在其延伸方向上逐步增加。

10.一种基于视觉传感的搅拌摩擦焊接控制***，其特征在于，包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的基于视觉传感的搅拌摩擦焊接控制方法。

Images