CN114581368B - 一种基于双目视觉的棒材焊牌方法及装置 - Google Patents

Abstract

本发明公开了一种基于双目视觉的棒材焊牌方法及装置，该方法包括：进行离线的相机标定和手眼标定；获取左、右两幅棒材端面图像并做畸变矫正和对齐校正；利用快速匹配算法对校正后的棒材端面图像进行粗匹配，得到空间中各点在相机坐标系下的深度信息；采用基于深度学习的分割技术对棒材端面图像中每一根棒材端面进行分割；根据选点规则选出最优焊点和次优焊点；在备选焊点所在的棒材端面使用高精度立体匹配算法，得到高精度的焊点机器人坐标；在焊牌操作完成后，对棒材上有无焊牌进行检测，若棒材上无焊牌，则机器人直接应用次优焊点实时进行二次焊接。本发明实现了一种多功能、快速、高精度的焊牌定位及焊牌检测方案，可以适应更快速的生产节奏。

Description

一种基于双目视觉的棒材焊牌方法及装置

技术领域

本发明涉及图像处理与计算机视觉技术领域，特别涉及一种基于双目视觉的棒材焊牌方法及装置。

背景技术

钢铁企业生产的棒材打捆后，需要选择某根或几根棒材端面焊接标牌以显示规格、长度等相关信息。人工焊牌的方式效率较低，难以满足生产节奏。所以机器人自动焊牌的方式受到越来越多的关注。

从已有可检索的资料来看，目前通常采用基于机器视觉的技术来实现自动焊牌。自动焊牌的流程为：当前棒材捆被输送至待焊牌位置时，***控制相机采集棒材捆的端面图像，通过图像处理与分析获取标牌焊点的X、Y坐标(焊点所在平面的水平和垂直方向的坐标)，并利用双目立体匹配或激光传感装置获取焊点的Z坐标(机器人坐标系原点到焊点平面的垂直距离)；机器人得到焊点的三维世界坐标后控制焊枪进行单牌或多牌的焊接操作。可见，焊点的自动定位是整个机器人自动焊牌***中的非常关键的一个环节。

单纯基于双目视觉的焊牌定位方法中，相机价格与维护成本相对较低，更易于推广。该方法中需要解决的关键问题包括棒材端面的分割以及基于双目立体匹配的焊点位置获取。每一根棒材端面的准确分割对后续焊点的选择和定位至关重要，尤其是在多牌焊接的情况下，如果分割出的端面过少，则可能找不到足够的可焊接点。焊点三维坐标的精度对于焊接能否成功至关重要，精度不足会引起虚焊、掉牌、焊枪碰触端面等情况。焊牌定位方法的整体速度影响着生产节奏，快速定位能够适应更快的生产节奏。

现有棒材捆端面分割方法包括基于传统图像处理方法的分割，如利用Hough变换、分水岭、二值化后利用面积计算和模板匹配、支持向量机等方法的端面分割，但这类方法对光照变化比较敏感，当现场光照条件变化较大时分割效果很差。另一类是基于卷积神经网络的钢筋端面分割方法，首先对钢筋端面进行检测，然后在检测后的端面框上用FCN进行语义分割，这种方法需要两个网络模型，过程繁琐且语义分割时需要把每根钢筋缩放到固定大128*128。这在一定程度上会对于后续焊点的三维定位会引起较大误差。所以，如何快速、准确中分割出每根钢筋端面的像素坐标是焊牌焊点定位中一个亟待解决的关键问题。

关于焊点定位。有文献利用双目测距原理生成钢筋端面的三维坐标。还有文献利用双目相机获取左右端面图像后进行立体匹配得到钢筋端面深度，但由于精度较低还需二次使用激光测距装置进行精确深度测量。另有文献利用相机获取钢捆图像，通过图像分析得到三到五个钢棒的二维坐标，再利用激光测距装置进行测量，选出其中最突出的一根钢棒进行焊牌。这类相机结合激光测距的方法，虽然精度较高，但是需要考虑激光测距和图像坐标的匹配问题，二次测量和匹配过程会带来速度问题。

另有文献使用单目相机配合激光传感器的方式获取焊点位置，对图像进行二值化后采用连通域和腐蚀的方法分割出每根棒材，对多个棒材轮廓的质心坐标，计算其中心位置，再计算各轮廓质心坐标到中心位置的欧氏距离，并将欧氏距离最小的质心坐标作为焊接位置；再结合激光传感器获取深度信息得到焊接位置的三维坐标。这种传统的图像分割方法容易受到光照的影响，使得端面分割的效果变差，且在钢捆中心点焊接容易造成焊牌露出钢捆区域，在钢捆搬运过程中造成掉牌。

此外，焊牌完成后，对于焊牌的复检是提高焊牌成功率的一种有效措施。目前已报道的文献中，多通过模板匹配方式检测标牌是否焊上，这种方法鲁棒性差，容易受到现场光照变化的影响，且当不同厂家的标牌存在差异时，该方法的通用性较差。

综上所述，现有方法在棒材端面检测和分割的高精度方面、焊点定位的快速性和高精度方面、焊牌复检功能上都存在需要改进之处。

发明内容

本发明提供了一种基于双目视觉的棒材焊牌方法及装置，以解决现有方法在棒材端面检测和分割的高精度方面、焊点定位的快速性和高精度方面存在的不足，以及在焊牌复检功能上执行效率较差的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种基于双目视觉的棒材焊牌方法，适用于棒材自动焊牌***，该棒材自动焊牌***包括双目相机和焊接机器人，所述方法包括：

进行离线的相机标定和手眼标定，获得双目相机的相机参数及畸变系数，以及相机坐标系与机器人坐标系的转换关系；

通过双目相机获取左、右两幅棒材端面图像并利用离线标定获取的相机参数及畸变系数，对获取的左、右两幅棒材端面图像做畸变矫正和对齐校正；其中，对齐校正使得同一个点在左、右两幅棒材端面图像中都处于同一水平位置；

利用预设匹配算法对校正后的左、右两幅棒材端面图像进行匹配，根据匹配结果，得到空间中各点在相机坐标系下的深度信息；

采用基于深度学习的分割技术对棒材端面图像中每一根棒材端面进行分割；

根据所述深度信息，结合棒材端面分割结果，根据预设的选点规则选出备选焊点；其中，所述备选焊点包括最优焊点和次优焊点；

确定所述备选焊点所在的棒材端面中心点的相机坐标，并根据相机坐标系与机器人坐标系的转换关系，确定棒材端面中心点在机器人坐标系中的坐标；

以最优焊点所在棒材端面中心点在机器人坐标系中的坐标为焊点坐标，利用焊接机器人进行焊牌，并在完成焊牌后，检测棒材上有无焊牌，若棒材上无焊牌，则提示首次焊接不成功，此时，焊接机器人直接应用次优焊点所在棒材端面中心点在机器人坐标系中的坐标为焊点坐标，实时进行二次焊接。

进一步地，所述利用预设匹配算法对校正后的左、右两幅棒材端面图像进行匹配，根据匹配结果，得到空间中各点在相机坐标系下的深度信息，包括：

使用预设匹配算法，对校正后的左、右两幅棒材端面图像进行粗匹配；

根据匹配结果，计算空间中同一点在校正后的左、右两幅棒材端面图像上的视差，根据视差计算结果，采用三角测距原理将空间中各点的图像坐标转换为在相机坐标系中的坐标，获得空间中各点在相机坐标系下的深度信息。

进一步地，采用基于深度学习的分割技术对棒材端面图像中每一根棒材端面进行分割，包括：

首先使用标注好的图像训练基于深度学习的实例分割网络模型，再使用训练好的实例分割网络模型预测左棒材端面图像中的棒材端面实例，给出每根棒材端面的像素坐标，以实现对每一根棒材端面的分割。

进一步地，根据深度信息，结合棒材端面分割结果，根据预设的选点规则选出备选焊点，包括：

根据棒材端面分割结果，计算出整体的棒材捆区域，从所述棒材捆区域中确定符合焊牌位置要求的焊点候选区域；

在焊点候选区域中，根据所述深度信息，选择出符合选点规则的备选焊点。

进一步地，从棒材捆区域中确定符合焊牌位置要求的焊点候选区域，包括：

评估每个棒材端面中心点，选取符合焊牌位置要求的棒材端面的集合组成焊点候选区域；其中，所述焊牌位置要求为：如果在当前棒材端面中心点焊牌，需要保证焊牌的四个顶点在棒材捆内，而且焊牌的焊点距离棒材捆顶部两排棒材，焊牌左边、右边和底边分别距离棒材捆左部、右部和底部一排棒材。

进一步地，选点规则同时考虑每根棒材端面的平整度和棒材之间的相对凹凸关系，以避免虚焊及焊枪与棒材端面发生碰撞；其中，虚焊指的是焊牌掉落。

进一步地，在焊点候选区域中，根据所述深度信息，选择出符合选点规则的备选焊点，包括：

焊单牌时，在所述焊点候选区域内找出两个点，先找焊点候选区域内最突出的点，判断该点的平整度是否满足要求，若满足要求则确定为最优焊点；若不满足要求，则在焊点候选区域内剩余棒材范围内继续寻找最突出的点，并判断该点的平整度是否满足要求，直至找到最优焊点；找出最优焊点后，在所述焊点候选区域内的剩余棒材内，继续寻找最突出的点，并判断该点的平整度是否满足要求，直至找到次优焊点；

焊双牌时，在所述焊点候选区域内找出四个点，将焊点候选区域分成左右两部分，在左右区域内分别按照焊单牌时的选点规则寻找最优焊点和次优焊点。

进一步地，确定所述备选焊点所在的棒材端面中心点的相机坐标，并根据相机坐标系与机器人坐标系的转换关系，确定棒材端面中心点在机器人坐标系中的坐标，包括：

在所选出的备选焊点所在的棒材端面上使用高精度立体匹配算法进行快速匹配，根据匹配结果获取棒材端面中心点的视差值，采用三角测距原理，计算出棒材端面中心点在相机坐标中的坐标；

利用离线标定获取的相机坐标系与机器人坐标系的转换关系，根据棒材端面中心点在相机坐标中的坐标，得到棒材端面中心点在机器人坐标系中的坐标。

进一步地，所述在完成焊牌后，检测棒材上有无焊牌，包括：

在焊牌完成且焊接机器人离开视场后，在左棒材端面图像中首先应用连通域法计算连通域面积，并根据连通域面积大小识别出棒材捆上有无焊牌；再应用基于深度学习的目标检测算法检测出棒材捆上有无焊牌；

基于两种算法获得的结果，采用投票法获得焊牌是否焊接成功的结论。

另一方面，本发明还提供了一种基于双目视觉的棒材焊牌装置，适用于棒材自动焊牌***，自动焊牌***包括双目相机和焊接机器人，所述装置包括：

离线标定模块，用于进行离线的相机标定和手眼标定，获得双目相机的相机参数及畸变系数，以及相机坐标系与机器人坐标系的转换关系；

图像校正模块，用于通过双目相机获取左、右两幅棒材端面图像并利用所述离线标定模块通过离线标定所获取的相机参数及畸变系数，对获取的左、右两幅棒材端面图像做畸变矫正和对齐校正；其中，对齐校正使得同一个点在左、右两幅棒材端面图像中都处于同一水平位置；

粗匹配模块，用于利用预设匹配算法对校正后的左、右两幅棒材端面图像进行匹配，根据匹配结果，得到空间中各点在相机坐标系下的深度信息；

棒材端面分割模块，用于采用基于深度学习的分割技术对棒材端面图像中每一根棒材端面进行分割；

焊点选取模块，用于根据所述粗匹配模块获取的深度信息，结合所述棒材端面分割模块得到的棒材端面分割结果，根据预设的选点规则选出备选焊点；其中，所述备选焊点包括最优焊点和次优焊点；

精匹配模块，用于确定所述焊点选取模块所选取出的备选焊点所在的棒材端面中心点的相机坐标，并根据所述离线标定模块所得出的相机坐标系与机器人坐标系的转换关系，确定棒材端面中心点在机器人坐标系中的坐标；

焊牌检测模块，用于以所述精匹配模块得出的最优焊点所在棒材端面中心点在机器人坐标系中的坐标为焊点坐标，利用焊接机器人进行焊牌，并在完成焊牌后，检测棒材上有无焊牌，若棒材上无焊牌，则提示首次焊接不成功，此时，焊接机器人直接应用所述精匹配模块得出的次优焊点所在棒材端面中心点在机器人坐标系中的坐标为焊点坐标，实时进行二次焊接。

再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

本发明提供的技术方案带来的有益效果至少包括：

本发明提供的棒材焊牌方案，可根据工艺需求进行单牌焊接和双牌焊接，对焊点的定位速度快、精度高，可适应高速的生产节奏。同时利用深度学习图像分割技术可以对棒材端面进行准确分割，为棒材捆的棒材计数提供了基础。焊牌检测功能可以实时检测焊牌是否成功，结合提高焊点成功率的选点规则，可以根据前面给出的备选点(次优焊点)进行及时、快速的重新焊牌，无需重新采集图像进行计算。相较于激光、结构光等设备，在满足焊接精度的前提下，本发明所采用的双目相机价格更低，且易于维护，可显著降低焊牌***成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于双目视觉的棒材焊牌方法的流程示意图；

图2是本发明实施例提供的基于双目视觉的棒材焊牌方法的整体流程图；

图3是本发明实施例提供的备选焊点选择流程图；

图4是本发明实施例提供的焊牌检测流程图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

首先，需要说明的是，棒材端面自动焊牌应用中，快速获取待焊接点的精确三维坐标是一个关键技术问题。针对这一问题，目前已有基于双目视觉或基于单/双目视觉结合激光传感器的焊牌定位技术，但在实际运行过程中，会存在虚焊、掉牌、焊枪碰撞棒材端面的现象。导致这些问题的原因主要是碰撞对齐不到位带来的棒材端面之间凹凸不平、切割带来的端面不平整、不同端面在图像上的差异较大等。

棒材捆中的棒材根数少则20左右，多则250左右。采集端面图像后首先要对棒材端面进行分割，传统图像处理方法对光照变化敏感而很难设定一组通用的参数应对不同光照条件，所以会产生单根棒材端面分割不完整、成捆棒材端面漏检严重的问题，这就会给后续选择焊点带来影响。

现有的机器人自动焊牌***在现场使用时，经常出现虚焊、掉牌及焊枪碰撞棒材端面等问题，需要进一步提高定位精度，设计更合理的选点规则。同时，进一步提高定位的速度，以满足更高节奏的生产需求。

对此，本实施例提供了一种基于双目视觉的棒材焊牌方法，以实现快速、高精度的双目视觉焊牌定位和焊牌检测，该方法适用于棒材自动焊牌***，该棒材自动焊牌***包括双目相机和焊接机器人，该方法解决如下问题：如何完整地分割棒材捆内的棒材端面？如何设计合理的选点规则？如何通过逐步缩小匹配区域(最终到点匹配)，获得一种精度更高的、速度更快的机器人焊点定位方法？同时，如何解决掉牌时避免重复拍摄及焊点重复计算的问题？

基于上述，本实施例的棒材焊牌方法在棒材焊牌现场首先进行离线的相机标定和手眼标定，获得相机参数和相机坐标系与机器人坐标系的转换关系。在线定位过程中，通过双目相机获取左、右两幅棒材端面图像并进行图像校正及左右图像对齐，利用快速匹配算法对校正后的图像进行粗匹配得到空间中各点在相机坐标系下的深度信息；再结合左图像上分割出的每根棒材端面，根据选点规则得到最优焊点和次优焊点(单牌2个，双牌4个)。在此基础上，对确定的最优和次优焊点进行精确匹配，得到高精度的最优和次优焊点的机器人坐标。

此外，本实施例还提供了焊牌是否成功焊接的实时检测方法，可利用上述焊点的定位结果，在焊牌掉落时，提示机器人首次焊接不成功，并不再进行图像采集及定位计算，直接应用次优焊点实时进行二次焊接。

具体地，本实施例的棒材焊牌方法执行流程如图1所示，包括以下步骤：

S1，进行离线的相机标定和手眼标定，获得双目相机的相机参数及畸变系数，以及相机坐标系与机器人坐标系的转换关系；

其中，相机标定目的是为了获取相机的内外参数、畸变系数及左右相机的转换关系；手眼标定目的是确定相机坐标系与机器人坐标系之间的转换关系。

S2，通过双目相机获取左、右两幅棒材端面图像并利用离线标定获取的相机参数及畸变系数，对获取的左、右两幅棒材端面图像做畸变矫正和对齐校正；其中，对齐校正使得同一个点在左右两幅棒材端面图像中都处于同一水平位置。

S3，利用预设匹配算法对校正后的左、右两幅棒材端面图像进行匹配，根据匹配结果，得到空间中各点在相机坐标系下的深度信息。

S4，采用基于深度学习的分割技术对棒材端面图像中每一根棒材端面进行分割。

需要说明的是，现场环境光照条件的变化常常引起传统分割方法精度的降低，为了克服这种缺陷，本实施例采用基于深度学习的分割技术对每一根棒材端面进行分割，避免了传统方法需要根据光照条件变化频繁调整参数的不足。

S5，根据S3得到的深度信息，结合S4的棒材端面分割结果，根据预设的选点规则选出备选焊点；其中，备选焊点包括最优焊点和次优焊点。

S6，确定备选焊点所在的棒材端面中心点的相机坐标，并根据相机坐标系与机器人坐标系的转换关系，确定棒材端面中心点在机器人坐标系中的坐标。

S7，以最优焊点所在棒材端面中心点在机器人坐标系中的坐标为焊点坐标，利用焊接机器人进行焊牌，并在完成焊牌后，检测棒材上有无焊牌，若棒材上无焊牌，则提示首次焊接不成功，此时，焊接机器人直接应用次优焊点所在棒材端面中心点在机器人坐标系中的坐标为焊点坐标，实时进行二次焊接。

需要说明的是，在本实施例中，焊接机器人首次焊接是在最优焊点上进行焊接，焊接结束后检测出焊牌掉落时，发送焊牌掉落信号至焊接机器人，焊接机器人接收信号后根据S5中确定的次优焊点进行再次焊接。

进一步地，请参阅图2至图4，上述S3为粗匹配过程，其实现过程如下：

使用快速匹配算法，对校正后的左、右两幅棒材端面图像进行粗匹配；

根据匹配结果，计算空间中同一点在校正后的左、右两幅棒材端面图像上的视差，根据视差计算结果，采用三角测距原理将空间中各点的图像坐标转换为在相机坐标系中的坐标，获得空间中各点在相机坐标系下的深度信息。

进一步地，在本实施例中，上述S4的实现过程如下：

首先使用标注好的图像训练基于深度学习的实例分割网络模型，再使用训练好的实例分割网络模型预测左棒材端面图像中的棒材端面实例，给出每根棒材端面的像素坐标，以实现对每一根棒材端面的分割。

进一步地，在本实施例中，如图3所示，上述S5的实现过程如下：

根据S4中的棒材端面分割结果，计算出整体的棒材捆区域，从棒材捆区域中确定符合焊牌位置要求的焊点候选区域；在远小于棒材捆端面的该焊点候选区域中，根据S3获取的深度信息，选择出符合选点规则的备选焊点(单牌：2个，最优焊点和次优焊点，双牌：4个，2个最优焊点和2个次优焊点)。

具体地，从棒材捆区域中确定符合焊牌位置要求的焊点候选区域具体为：评估每个棒材端面中心点，选取符合焊牌位置要求的棒材端面的集合组成焊点候选区域；其中，焊牌位置要求为：如果在当前棒材端面中心点焊牌，需要保证焊牌的四个顶点在棒材捆内，而且焊牌的焊点距离棒材捆顶部两排棒材，焊牌左边、右边和底边分别距离棒材捆左部、右部和底部一排棒材。

其中，选点规则同时考虑每根棒材端面的平整度和棒材之间的相对凹凸关系，以避免虚焊(焊牌掉落)及焊枪与棒材端面发生碰撞；基于此，在焊点候选区域中，根据深度信息，选择出符合选点规则的备选焊点，具体为：

焊单牌时，在焊点候选区域内找出两个点，先找焊点候选区域内最突出的点，判断该点的平整度是否满足要求，若满足要求则确定为最优焊点；若不满足要求，则在焊点候选区域内剩余棒材范围内继续按照上述方法寻找最优焊点，以此类推，直至找到最优焊点；找出最优焊点后，在焊点候选区域内的剩余棒材内，按照上述方法继续寻找次优焊点。

焊双牌时，在焊点候选区域内找出四个点，将焊点候选区域分成左右两部分，在左右区域内分别按照焊单牌时的选点规则寻找最优焊点和次优焊点。

进一步地，在本实施例中，上述S6的实现过程如下：

在所选出的备选焊点所在的棒材端面上使用高精度立体匹配算法进行快速匹配，根据匹配结果获取棒材端面中心点的视差值，采用三角测距原理，计算出棒材端面中心点在相机坐标中的坐标；利用离线标定获取的相机坐标系与机器人坐标系的转换关系，根据棒材端面中心点在相机坐标中的坐标，得到高精度的棒材端面中心点在机器人坐标系中的坐标，并将坐标发送至焊接机器人。

进一步地，在本实施例中，如图4所示，上述S7的焊牌检测实现过程如下：

在焊牌完成且机械臂离开视场后，在左棒材端面图像中首先应用直线连通域法获取图像连通域，计算连通域面积并根据连通域面积大小识别出棒材捆上有无焊牌；再应用基于深度学习的单阶段快速目标检测算法检测出棒材捆上有无焊牌；基于两种算法获得的结果，采用投票法获得焊牌是否焊接成功的结论。

综上，本实施例提供了一种棒材焊牌方案，可根据工艺需求进行单牌焊接和双牌焊接，对焊点的定位速度快、精度高，可适应高速的生产节奏。同时利用深度学习图像分割技术可对棒材端面进行准确分割，为棒材捆的棒材计数提供了基础。焊牌检测功能可实时检测焊牌是否成功，结合提高焊点成功率的选点规则，可根据前面给出的备选点(次优焊点)进行及时、快速的重新焊牌，无需重新采集图像进行计算。相较于激光、结构光等设备，在满足焊接精度的前提下，双目相机价格更低，且易于维护，可显著降低焊牌***成本。

第二实施例

本实施例提供了一种基于双目视觉的棒材焊牌装置，适用于棒材自动焊牌***，所述棒材自动焊牌***包括双目相机和焊接机器人，所述装置包括：

离线标定模块，用于进行离线的相机标定和手眼标定，获得双目相机的相机参数及畸变系数，以及相机坐标系与机器人坐标系的转换关系；

图像校正模块，用于通过双目相机获取左、右两幅棒材端面图像并利用所述离线标定模块通过离线标定所获取的相机参数及畸变系数，对获取的左、右两幅棒材端面图像做畸变矫正和对齐校正；其中，对齐校正使得同一个点在左、右两幅棒材端面图像中都处于同一水平位置；

粗匹配模块，用于利用预设匹配算法对校正后的左、右两幅棒材端面图像进行匹配，根据匹配结果，得到空间中各点在相机坐标系下的深度信息；

棒材端面分割模块，用于采用基于深度学习的分割技术对棒材端面图像中每一根棒材端面进行分割；

焊点选取模块，用于根据所述粗匹配模块获取的深度信息，结合所述棒材端面分割模块得到的棒材端面分割结果，根据预设的选点规则选出备选焊点；其中，所述备选焊点包括最优焊点和次优焊点；

精匹配模块，用于确定所述焊点选取模块所选取出的备选焊点所在的棒材端面中心点的相机坐标，并根据所述离线标定模块所得出的相机坐标系与机器人坐标系的转换关系，确定棒材端面中心点在机器人坐标系中的坐标；

焊牌检测模块，用于以所述精匹配模块得出的最优焊点所在棒材端面中心点在机器人坐标系中的坐标为焊点坐标，利用焊接机器人进行焊牌，并在完成焊牌后，检测棒材上有无焊牌，若棒材上无焊牌，则提示首次焊接不成功，此时，焊接机器人直接应用所述精匹配模块得出的次优焊点所在棒材端面中心点在机器人坐标系中的坐标为焊点坐标，实时进行二次焊接。

本实施例的基于双目视觉的棒材焊牌装置与上述第一实施例的基于双目视觉的棒材焊牌方法相对应；其中，本实施例的基于双目视觉的棒材焊牌装置中的各功能模块所实现的功能与上述第一实施例的基于双目视觉的棒材焊牌方法中的各流程步骤一一对应；故，在此不再赘述。

第三实施例

本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。

该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。

第四实施例

本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (2)

1.一种基于双目视觉的棒材焊牌方法，适用于棒材自动焊牌***，所述棒材自动焊牌***包括双目相机和焊接机器人，其特征在于，所述方法包括：

进行离线的相机标定和手眼标定，获得双目相机的相机参数及畸变系数，以及相机坐标系与机器人坐标系的转换关系；

通过双目相机获取左、右两幅棒材端面图像并利用离线标定获取的相机参数及畸变系数，对获取的左、右两幅棒材端面图像做畸变矫正和对齐校正；其中，对齐校正使得同一个点在左、右两幅棒材端面图像中都处于同一水平位置；

利用预设匹配算法对校正后的左、右两幅棒材端面图像进行匹配，根据匹配结果，得到空间中各点在相机坐标系下的深度信息；

采用基于深度学习的分割技术对棒材端面图像中每一根棒材端面进行分割；

根据所述深度信息，结合棒材端面分割结果，根据预设的选点规则选出备选焊点；其中，所述备选焊点包括最优焊点和次优焊点；

确定所述备选焊点所在的棒材端面中心点的相机坐标，并根据相机坐标系与机器人坐标系的转换关系，确定棒材端面中心点在机器人坐标系中的坐标；

以最优焊点所在棒材端面中心点在机器人坐标系中的坐标为焊点坐标，利用焊接机器人进行焊牌，并在完成焊牌后，检测棒材上有无焊牌，若棒材上无焊牌，则提示首次焊接不成功，此时，焊接机器人直接应用次优焊点所在棒材端面中心点在机器人坐标系中的坐标为焊点坐标，实时进行二次焊接；

所述利用预设匹配算法对校正后的左、右两幅棒材端面图像进行匹配，根据匹配结果，得到空间中各点在相机坐标系下的深度信息，包括：

使用预设匹配算法，对校正后的左、右两幅棒材端面图像进行粗匹配；

根据匹配结果，计算空间中同一点在校正后的左、右两幅棒材端面图像上的视差，根据视差计算结果，采用三角测距原理将空间中各点的图像坐标转换为在相机坐标系中的坐标，获得空间中各点在相机坐标系下的深度信息；

采用基于深度学习的分割技术对棒材端面图像中每一根棒材端面进行分割，包括：

首先使用标注好的图像训练基于深度学习的实例分割网络模型，再使用训练好的实例分割网络模型预测左棒材端面图像中的棒材端面实例，给出每根棒材端面的像素坐标，以实现对每一根棒材端面的分割；

根据深度信息，结合棒材端面分割结果，根据预设的选点规则选出备选焊点，包括：

根据棒材端面分割结果，计算出整体的棒材捆区域，从所述棒材捆区域中确定符合焊牌位置要求的焊点候选区域；

在焊点候选区域中，根据所述深度信息，选择出符合选点规则的备选焊点；

从所述棒材捆区域中确定符合焊牌位置要求的焊点候选区域，包括：

评估每个棒材端面中心点，选取符合焊牌位置要求的棒材端面的集合组成焊点候选区域；其中，所述焊牌位置要求为：如果在当前棒材端面中心点焊牌，需要保证焊牌的四个顶点在棒材捆内，而且焊牌的焊点距离棒材捆顶部两排棒材，焊牌左边、右边和底边分别距离棒材捆左部、右部和底部一排棒材；

所述选点规则同时考虑每根棒材端面的平整度和棒材之间的相对凹凸关系，以避免虚焊及焊枪与棒材端面发生碰撞；其中，虚焊指的是焊牌掉落；

在焊点候选区域中，根据所述深度信息，选择出符合选点规则的备选焊点，包括：

焊单牌时，在所述焊点候选区域内找出两个点，先找焊点候选区域内最突出的点，判断该点的平整度是否满足要求，若满足要求则确定为最优焊点；若不满足要求，则在焊点候选区域内剩余棒材范围内继续寻找最突出的点，并判断该点的平整度是否满足要求，直至找到最优焊点；找出最优焊点后，在所述焊点候选区域内的剩余棒材内，继续寻找最突出的点，并判断该点的平整度是否满足要求，直至找到次优焊点；

焊双牌时，在所述焊点候选区域内找出四个点，将焊点候选区域分成左右两部分，在左右区域内分别按照焊单牌时的选点规则寻找最优焊点和次优焊点；

确定所述备选焊点所在的棒材端面中心点的相机坐标，并根据相机坐标系与机器人坐标系的转换关系，确定棒材端面中心点在机器人坐标系中的坐标，包括：

在所选出的备选焊点所在的棒材端面上使用高精度立体匹配算法进行快速匹配，根据匹配结果获取棒材端面中心点的视差值，采用三角测距原理，计算出棒材端面中心点在相机坐标中的坐标；

利用离线标定获取的相机坐标系与机器人坐标系的转换关系，根据棒材端面中心点在相机坐标中的坐标，得到棒材端面中心点在机器人坐标系中的坐标；

所述在完成焊牌后，检测棒材上有无焊牌，包括：

在焊牌完成且焊接机器人离开视场后，在左棒材端面图像中首先应用连通域法计算连通域面积，并根据连通域面积大小识别出棒材捆上有无焊牌；再应用基于深度学习的目标检测算法检测出棒材捆上有无焊牌；

基于两种算法获得的结果，采用投票法获得焊牌是否焊接成功的结论。

2.一种基于双目视觉的棒材焊牌装置，适用于棒材自动焊牌***，所述棒材自动焊牌***包括双目相机和焊接机器人，其特征在于，所述装置包括：

离线标定模块，用于进行离线的相机标定和手眼标定，获得双目相机的相机参数及畸变系数，以及相机坐标系与机器人坐标系的转换关系；

图像校正模块，用于通过双目相机获取左、右两幅棒材端面图像并利用所述离线标定模块通过离线标定所获取的相机参数及畸变系数，对获取的左、右两幅棒材端面图像做畸变矫正和对齐校正；其中，对齐校正使得同一个点在左、右两幅棒材端面图像中都处于同一水平位置；

粗匹配模块，用于利用预设匹配算法对校正后的左、右两幅棒材端面图像进行匹配，根据匹配结果，得到空间中各点在相机坐标系下的深度信息；

棒材端面分割模块，用于采用基于深度学习的分割技术对棒材端面图像中每一根棒材端面进行分割；

焊点选取模块，用于根据所述粗匹配模块获取的深度信息，结合所述棒材端面分割模块得到的棒材端面分割结果，根据预设的选点规则选出备选焊点；其中，所述备选焊点包括最优焊点和次优焊点；

精匹配模块，用于确定所述焊点选取模块所选取出的备选焊点所在的棒材端面中心点的相机坐标，并根据所述离线标定模块所得出的相机坐标系与机器人坐标系的转换关系，确定棒材端面中心点在机器人坐标系中的坐标；

焊牌检测模块，用于以所述精匹配模块得出的最优焊点所在棒材端面中心点在机器人坐标系中的坐标为焊点坐标，利用焊接机器人进行焊牌，并在完成焊牌后，检测棒材上有无焊牌，若棒材上无焊牌，则提示首次焊接不成功，此时，焊接机器人直接应用所述精匹配模块得出的次优焊点所在棒材端面中心点在机器人坐标系中的坐标为焊点坐标，实时进行二次焊接；

所述利用预设匹配算法对校正后的左、右两幅棒材端面图像进行匹配，根据匹配结果，得到空间中各点在相机坐标系下的深度信息，包括：

使用预设匹配算法，对校正后的左、右两幅棒材端面图像进行粗匹配；

根据匹配结果，计算空间中同一点在校正后的左、右两幅棒材端面图像上的视差，根据视差计算结果，采用三角测距原理将空间中各点的图像坐标转换为在相机坐标系中的坐标，获得空间中各点在相机坐标系下的深度信息；

采用基于深度学习的分割技术对棒材端面图像中每一根棒材端面进行分割，包括：

首先使用标注好的图像训练基于深度学习的实例分割网络模型，再使用训练好的实例分割网络模型预测左棒材端面图像中的棒材端面实例，给出每根棒材端面的像素坐标，以实现对每一根棒材端面的分割；

根据深度信息，结合棒材端面分割结果，根据预设的选点规则选出备选焊点，包括：

根据棒材端面分割结果，计算出整体的棒材捆区域，从所述棒材捆区域中确定符合焊牌位置要求的焊点候选区域；

在焊点候选区域中，根据所述深度信息，选择出符合选点规则的备选焊点；

从所述棒材捆区域中确定符合焊牌位置要求的焊点候选区域，包括：

评估每个棒材端面中心点，选取符合焊牌位置要求的棒材端面的集合组成焊点候选区域；其中，所述焊牌位置要求为：如果在当前棒材端面中心点焊牌，需要保证焊牌的四个顶点在棒材捆内，而且焊牌的焊点距离棒材捆顶部两排棒材，焊牌左边、右边和底边分别距离棒材捆左部、右部和底部一排棒材；

所述选点规则同时考虑每根棒材端面的平整度和棒材之间的相对凹凸关系，以避免虚焊及焊枪与棒材端面发生碰撞；其中，虚焊指的是焊牌掉落；

在焊点候选区域中，根据所述深度信息，选择出符合选点规则的备选焊点，包括：

焊单牌时，在所述焊点候选区域内找出两个点，先找焊点候选区域内最突出的点，判断该点的平整度是否满足要求，若满足要求则确定为最优焊点；若不满足要求，则在焊点候选区域内剩余棒材范围内继续寻找最突出的点，并判断该点的平整度是否满足要求，直至找到最优焊点；找出最优焊点后，在所述焊点候选区域内的剩余棒材内，继续寻找最突出的点，并判断该点的平整度是否满足要求，直至找到次优焊点；

焊双牌时，在所述焊点候选区域内找出四个点，将焊点候选区域分成左右两部分，在左右区域内分别按照焊单牌时的选点规则寻找最优焊点和次优焊点；

确定所述备选焊点所在的棒材端面中心点的相机坐标，并根据相机坐标系与机器人坐标系的转换关系，确定棒材端面中心点在机器人坐标系中的坐标，包括：

在所选出的备选焊点所在的棒材端面上使用高精度立体匹配算法进行快速匹配，根据匹配结果获取棒材端面中心点的视差值，采用三角测距原理，计算出棒材端面中心点在相机坐标中的坐标；

利用离线标定获取的相机坐标系与机器人坐标系的转换关系，根据棒材端面中心点在相机坐标中的坐标，得到棒材端面中心点在机器人坐标系中的坐标；

所述在完成焊牌后，检测棒材上有无焊牌，包括：

在焊牌完成且焊接机器人离开视场后，在左棒材端面图像中首先应用连通域法计算连通域面积，并根据连通域面积大小识别出棒材捆上有无焊牌；再应用基于深度学习的目标检测算法检测出棒材捆上有无焊牌；

基于两种算法获得的结果，采用投票法获得焊牌是否焊接成功的结论。