CN111545955A - 一种门板焊点识别与焊接路径规划方法 - Google Patents

Abstract

本发明公开了一种门板焊点识别与焊接路径规划方法，包括下述步骤：对汽车门板图像进行打标签处理以确定汽车门板图像中的焊点类型和位置，获得经打标签处理的数据集；建立yolo网络模型，将数据集输入yolo网络模型进行训练；将待检测的焊点图片输入训练好的yolo网络模型中检测，以识别出各焊点的类型并获得各焊点的位置坐标；通过路径规划算法进行路径规划以获得焊接路径。本发明将深度学习的目标检测算法应用到汽车门板焊接生产线上，使效率大大提高，很快的减少焊接时间。

Description

一种门板焊点识别与焊接路径规划方法

技术领域

本发明涉及汽车控制加工技术领域，特别涉及一种门板焊点识别与焊接路径规划方法。

背景技术

有关机器人路径规划的研究起始于20世纪70年代。当前，随着国内外学者对多机器人***的深入研究，多机器人***已经在理论与实践方面取得了较大的进展与成就，并逐步建立了完善的仿真***和硬件实验***。路径规划问题是机器人研究领域中的一个核心的关键部分。机器人运动规划包含三个层次的内容：即路径规划、轨迹规划、轨迹跟踪或轨迹控制。路径规划是确定不含时间信息的几何路径，一般的工业机器人中都含有点到点、直线、圆弧及样条曲线等常用的路径规划，机器人路径规划可以直观地认为是求解带有约束的几何问题。单台机器人焊接的路径规划是：给定焊点任务，找出一条最优无碰撞的焊接路径。然而，传统的焊接机器人在规划焊接路径和进行运动控制时，普遍采用示教和离线编程的方法。采用这种方法，如果汽车门板上存在焊接件缺失，就会产生残次品，而且一旦焊接件类别发生变化就必须要重新进行示教和编程。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种门板焊点识别与焊接路径规划方法，将yolo网络模型应用到焊接机器人上，从而实时的识别出焊点的类型与位置，继而运用路径规划算法得出规划路径。大幅提高生产力，解决传统适应性不强、实时性较差等问题。

为了实现发明目的，本发明采取如下技术方案：

对汽车门板图像进行打标签处理以确定汽车门板图像中的焊点类型，获得经打标签处理的数据集；

建立yolo网络模型，将数据集输入yolo网络模型进行训练；

将待检测的焊点图片输入训练好的yolo网络模型中检测，以识别出各焊点的类型并获得各焊点的位置坐标；

通过路径规划算法进行路径规划以获得焊接路径。

进一步地，在进行所述对汽车门板图像进行打标签处理前，先使用高斯滤波器对含有焊点的汽车门板图像进行滤波，滤波前和滤波后图像中每个点的灰度值分别用f(x,y)、f_s(x,y)表示，滤波公式为：

f_s(x,y)＝f(x,y)*G(x,y,σ)

其中，G(x,y,σ)为二维高斯公式、x、y、σ分别代表横坐标，纵坐标，标准差。

进一步地，采用打标签工具LabelImg进行所述打标签处理。

进一步地，所述建立yolo网络模型，将数据集输入yolo网络模型进行训练，具体包括：

YOLO网络模型把输入图像划分为S*S个格子，每个栅格都预测B个边界框，每个边界框都包含5个预测值，分别为x、y、w、h和confidence，其中,x、y表示边界框的中心与栅格边界的相对值，w、h分别表示边界框的宽度和高度相对于整幅图像宽和高的比例，confidence为边界框的置信度。

进一步地，所述路径规划算法为蚁群算法，使用所述蚁群算法进行路径规划的具体步骤如下：

确定约束条件，

蚁群初始化，设置蚂蚁数量为n，选择蚂蚁的起点，

信息素初始化，对所有蚂蚁设置初始禁忌表，

初始化后的蚂蚁k根据各路径点上的信息素浓度以概率来确定下个焊点的分配路径，并填充禁忌表，

判断焊点是否分配完毕，若尚未分配完毕，则返回确定下个焊点的分配路径，若已分配完毕，则更新信息素，

判断是否满足终止条件，若尚未满足，则返回执行信息素初始化并对所有蚂蚁设置初始禁忌表，若已满足，则输出焊点分配结果，即可得到焊接路径。

进一步地，所述约束条件包括两个，第一个约束条件为设置每台机器人分配的焊点数的上限值，第二个约束条件表示每个焊点只能分配给一台机器人焊接。

进一步地，所述概率的公式如下：

其中τ_ij表示焊点i到机器人j路径上的信息素的浓度；

表示焊点与机器人之间的距离强度因子，α为信息素启发因子，其值的大小表明信息素的作用程度；β为启发函数的重要程度因子，其值越大，蚂蚁选择离它近的焊接机器人的可能性也越大，s表示蚂蚁k可选择分配的焊接机器人集合；p表示蚂蚁k选择焊点i分配给机器人j的概率，τ_s表示焊点i到集合s的浓度，

表示焊点i到集合s中机器人的距离强度因子。

进一步地，所述终止条件为满足最大迭代次数。

相比于现有技术，本发明的有益效果是：

1、本发明运用YOLO模型对对汽车门板的图像进识别的方法，可以实时且准确地识别和检测焊点的位置，提高了焊点检测的效率和准确性，适应性更强，能有效提高生产线的效率。

2、本发明提出的方法对于提高汽车门板生产的灵活性和自动化程度有重要意义，如果将其应用于汽车门板焊接生产线，将能够获得很大的实用价值。

附图说明

图1为本发明实施例提供的含有焊点的汽车门板图像。

图2为本发明实施例提供的yolo网络框架图。

图3为本发明实施例中yolo网络识别出的焊点图。

图4为本发明实施例的路径规划图。

图5为本发明实施例的蚁群算法设计流程图。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不限于本发明。

实施例

一种门板焊点识别与焊接路径规划方法，包括以下步骤：

S1、使用高斯滤波器对含有焊点的汽车门板图像进行滤波。滤波公式为：

f_s(x,y)＝f(x,y)*G(x,y,σ)

其中，f(x,y)、f_s(x,y)分别表示滤波前和滤波后图像中每个点的灰度值，G(x,y,σ)为二维高斯公式、x、y、σ分别代表横坐标，纵坐标，标准差。

S2、对汽车门板图像进行打标签处理以确定汽车门板图像中的焊点类型，获得经打标签处理的数据集。

汽车门板焊点分布杂乱，有圆形、半圆形、椭圆形等，因此需对这些焊点进行打标签处理，本实施例采用打标签工具LabelImg进行所述打标签处理，具体步骤如下：

运行主程序；

点击'Change save dir'，设置图像标记文件(XML)的默认存储位置；

点击'Open Dir'，打开图片所在的目录；

点击'Create RectBox'，用鼠标创建一个矩形框，框出需要识别的焊点；

松开鼠标后，在弹出框中选择或新录入焊点的类别名称；

点击Next Image或Save，工具会保存该标注信息到XML文件。

S3、建立yolo网络模型，将数据集输入yolo网络模型进行训练。

如图2所示，建立yolo网络结构图，该结构基本采用全卷积结构，对输入52*52的特征图片上做3x3卷积，然后1x1卷积，不断重复，然后利用残差网络解决梯度下降问题，接着做池化处理，最后全连接层，输出识别结果。利用整张图作为网络的输入，直接在输出层回归bounding box(边界框)的位置及其所属的类别。训练网络模型，学习率初始值为0.0001。

YOLO网络模型把输入图像划分为S*S个格子，每个栅格都预测B个边界框，每个边界框都包含5个预测值，分别为x、y、w、h和confidence，其中,x、y表示边界框的中心与栅格边界的相对值，w、h分别表示边界框的宽度和高度相对于整幅图像宽和高的比例，confidence为边界框的置信度。

S4、将待检测的焊点图片输入训练好的yolo网络模型中检测，以识别出各焊点的类型并获得各焊点的位置坐标，如图3所示，即为本实施例识别出的汽车门板的焊点图。

输入图像分成SxS个格子，若某个物体Ground truth的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体，将一个单神经网络应用于整张图像，该网络将图像划分为不同的区域，预测每一块区域的边界框和概率，这些边界框会通过预测的概率加权。实现端对端的训练与测试，每个栅格预测多个边界框，但在网络模型的训练中，每一个物体最后有一个边界框预测器来负责预测，哪一个预测器预测的边界框与真实框的IOU最大，这个预测器就负责预测目标，使得每个预测器可以专门地负责特定的物体检测。

S5、进行路径规划。焊接路径规划近似于典型的旅行商(TSP)问题，描述为：给定n个焊点和各焊点间的距离，机械臂末端从起始焊点出发，仅且焊接每个焊点一次，最后回到初始位置。在图论下的数学描述为：G＝(V，E，D)，其中，V为顶点集，E为边集，D为边的距离集，通过蚁群算法进行路径规划以获得焊接路径。

如图5所示，通过蚁群算法进行路径规划的具体流程如下：

S51、输入约束条件；

第一个约束条件设置每台机器人分配的焊点数的上限值，本实施例设为30；

第二个约束条件表示每个焊点只能分配给一台机器人焊接，x_ij∈{0，1}，x_ij＝1表示焊点i分配给机器人j，x_ij＝0表示焊点i不分配给机器人j；

S52、参数初始化；

本实施例中，蚂蚁数量n为60，信息素启发因子α为1，初始信息素τ为1，最大迭代次数MAX_IT为50，启发函数的重要程度因子β为5，距离强度因子

为焊点到机器人的距离的倒数。

S53、初始化信息素，将蚂蚁放在每个焊点上，对所有蚂蚁设置初始禁忌表；

S54、根据概率公式选择焊点分配路径，填充禁忌表；

其中，τ_ij表示焊点i到机器人j路径上的信息素的浓度；

表示焊点与机器人之间的距离强度因子，α为信息素启发因子，其值的大小表明信息素的作用程度；β为启发函数的重要程度因子，其值越大，蚂蚁选择离它近的焊接机器人的可能性也越大，s表示蚂蚁k可选择分配的焊接机器人集合；p表示蚂蚁k选择焊点i分配给机器人j的概率，τ_s表示焊点i到集合s的浓度，

表示焊点i到集合s中机器人的距离强度因子。

S55、判断焊点是否分配完毕，若尚未分配完毕，则返回步骤S54，若已分配完毕，则进行步骤S56；

S56、更新信息素；

S57、判断是否满足终止条件，即是否满足最大迭代次数，若未满足，则返回执行步骤S53，若满足，则执行步骤S58；

S58、输出焊点分配结果，即最终的焊接路径，如图4所示，图中，坐标系以门板左下脚建立，其中横坐标表示水平方向位置，纵坐标表示是表示竖直方向位置)

本实施例可以实时识别出汽车门板焊点的类型和位置，然后可采用蚁群算法规划出焊接路径，有效解决了传统适应性不强、实时性较差等问题。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以权利要求所述为准。

Claims (8)

1.一种门板焊点识别与焊接路径规划方法，其特征在于，包括：

对汽车门板图像进行打标签处理以确定汽车门板图像中的焊点类型和位置，获得经打标签处理的数据集；

建立yolo网络模型，将数据集输入yolo网络模型进行训练；

将待检测的焊点图片输入训练好的yolo网络模型中检测，以识别出各焊点的类型并获得各焊点的位置坐标；

通过路径规划算法进行路径规划以获得焊接路径。

2.根据权利要求1所述的种门板焊点识别与焊接路径规划方法，其特征在于，在进行所述对汽车门板图像进行打标签处理进行打标签处理前，先使用高斯滤波器对含有焊点的汽车门板图像进行滤波，滤波前和滤波后图像中每个点的灰度值分别用f(x,y)、f_s(x,y)表示，滤波公式为：

f_s(x,y)＝f(x,y)*G(x,y,σ)

其中，G(x,y,σ)为二维高斯公式、x、y、σ分别代表横坐标，纵坐标，标准差。

3.根据权利要求1所述的一种门板焊点识别与焊接路径规划方法，其特征在于，采用打标签工具LabelImg进行所述打标签处理。

4.根据权利要求1所述的一种门板焊点识别与焊接路径规划方法，其特征在于，所述建立yolo网络模型，将数据集输入yolo网络模型进行训练，具体包括：

YOLO网络模型把输入图像划分为S*S个格子，每个栅格都预测B个边界框，每个边界框都包含5个预测值，分别为x、y、w、h和confidence，其中,x、y表示边界框的中心与栅格边界的相对值，w、h分别表示边界框的宽度和高度相对于整幅图像宽和高的比例，confidence为边界框的置信度。

5.根据权利要求1所述的一种门板焊点识别与焊接路径规划方法，其特征在于：所述路径规划算法为蚁群算法，使用所述蚁群算法进行路径规划的具体步骤如下：

确定约束条件，

蚁群初始化，设置蚂蚁数量为n，选择蚂蚁的起点，

信息素初始化，对所有蚂蚁设置初始禁忌表，

初始化后的蚂蚁k根据各路径点上的信息素浓度以概率来确定下个焊点的分配路径，并填充禁忌表，

判断焊点是否分配完毕，若尚未分配完毕，则返回确定下个焊点的分配路径，若已分配完毕，则更新信息素，

判断是否满足终止条件，若尚未满足，则返回执行信息素初始化并对所有蚂蚁设置初始禁忌表，若已满足，则输出焊点分配结果，即可得到焊接路径。

6.根据权利要求5所述的一种门板焊点识别与焊接路径规划方法，其特征在于：所述约束条件包括两个，第一个约束条件为设置每台机器人分配的焊点数的上限值，第二个约束条件表示每个焊点只能分配给一台机器人焊接。

7.根据权利要求5所述的一种门板焊点识别与焊接路径规划方法，其特征在于，所述概率的公式如下：

概率

其中τ_ij表示焊点i到机器人j路径上的信息素的浓度；

表示焊点与机器人之间的距离强度因子，α为信息素启发因子，其值的大小表明信息素的作用程度；β为启发函数的重要程度因子，其值越大，蚂蚁选择离它近的焊接机器人的可能性也越大，s表示蚂蚁k可选择分配的焊接机器人集合；p表示蚂蚁k选择焊点i分配给机器人j的概率，τ_s表示焊点i到集合s的浓度，

表示焊点i到集合s中机器人的距离强度因子。

8.根据权利要求5所述的一种门板焊点识别与焊接路径规划方法，其特征在于：所述终止条件为满足最大迭代次数。

Images