CN113134839A - 一种基于视觉和力位图像学习的机器人精密柔性装配方法 - Google Patents

Abstract

本发明提供了一种基于视觉和力位图像学习的机器人精密柔性装配方法，属于智能制造领域；本发明通过控制工业机器人抓取待装工件到达装配体的孔附近，然后控制工业机器人采集装配过程中的力、位姿信号以生成力位关系图并标记标签，输入图像分类模型Ⅰ中训练，同时采集装配过程中的视觉图像并标记标签，输入图像分类模型Ⅱ中训练，得到模型Ⅰ的输出结果用于指导工业机器人的运动方向和大小，模型Ⅱ的输出结果用于判断是否装配完成；采用本发明的技术方案，通过学习力位关系图像和视觉图像，可以控制机器人完成精密柔性装配。

Description

一种基于视觉和力位图像学习的机器人精密柔性装配方法

技术领域

本发明涉及智能制造领域，更具体地，涉及一种基于视觉和力位图像学习的机器人精密柔性装配方法。

背景技术

机器人装配是智能制造领域的重要研究方向。随着智能化生产的提出，越来越多制造行业开始利用机器人装配，协作机器人由于负载能力不够，进行重型工件装配时有一定局限性；传统工业机器人装配大多基于示教，只能完成简单，低精度的装配工作；目前的解决方案是通过给工业机器人加上多种传感器，赋予机器人感知外界环境的能力，传统的视觉方法采用特征点匹配和视觉伺服，容易出现特征点丢失、匹配不准等问题，采用柔顺控制算法进行力觉和位姿的控制在具体应用中精度不够高。

发明内容

为了解决上述问题，本发明旨在公开一种基于视觉和力位图像学习的机器人精密柔性装配方法，尤指一种基于机器学习对装配过程中的力位图像和视觉图像进行分类学习，通过学习结果指导机器人完成精密柔性装配的解决方法；

为了实现上述目的，本发明所采用的技术方案主要包括以下过程：

步骤1、建立工业机器人的运动学模型，得到工业机器人的运动学正解与逆解，手动操作示教器或通过程序控制工业机器人,使得处于机器人末端的待装工件靠近装配体的孔，并控制末端工具将待装工件调整为待装配位姿，设置装配过程中的步距，控制工业机器人执行装配操作；

所述运动学模型是指通过建立D-H参数表建立机器人各个连杆和末端工具的坐标系，通过坐标系变换矩阵推导出运动学正解，通过Pieper准则推导出运动学逆解；

得到的运动学正解与逆解用于确定机器人末端位姿值，便于后续采集位姿信号；

优选的，所述待装工件通过末端夹爪抓取，所述末端夹爪连接在六维力传感器的末端位置，所述六维力传感器连接在工业机器人最后一个关节的末端位置；

优选的，所述待装配位姿是指通过视觉方法计算得到的待装工件相对于装配体的孔的相对位姿；

所述步距设定为工业机器人在笛卡尔空间内沿任意方向步进运动一次的距离值，其值小于等于装配精度要求；

所述执行装配操作的方法包括手动示教、视觉引导、程序控制工业机器人进行装配，优选的，采用手动示教方法；

步骤2、装配过程中，机器人每执行一次步距，采集一次力信号和位姿信号，根据时间戳将采集的力信号和位姿信号进行合成，生成力位关系图像，并为该图像标记步进运动标签；

所述执行一次步距的方法包括手动示教、视觉引导、程序控制工业机器人步进移动或步进旋转一次，优选的，采用手动示教方法；

所述力信号通过工业机器人末端力传感器采集，包括三维空间的三个坐标轴x、y、z方向的接触力信号Fx、Fy及Fz，绕装配轴的装配力矩信号T和时间戳；

所述位姿信号通过机器人末端位姿得到，包括末端位置坐标值Px、Py、Pz及末端姿态值Rx、Ry、Rz和时间戳；

所述时间戳用于记录当前采集的信号的时间信息；

所述力位关系图像是装配过程中的力信号和位姿信号绘制得到的二维曲线簇，其绘制方法为：分别将力信号中的3个接触力信号和装配力矩信号作为纵坐标，分别将位姿信号中的3个末端位置坐标值和3个末端姿态值作为横坐标，生成至多24条曲线，包括Fx-Px、Fx-Py、Fx-Pz、Fx-Rx、Fx-Ry、Fx-Rz、Fy-Px、Fy-Py、Fy-Pz、Fy-Rx、Fy-Ry、Fy-Rz、Fz-Px、Fz-Py、Fz-Pz、Fz-Rx、Fz-Ry、Fz-Rz、T-Px、T-Py、T-Pz、T-Rx、T-Ry、T-Rz关系曲线，用于反映不同的力位关系，每条关系曲线用不同的颜色表示；

优选的，所述力位关系图像的图像背景颜色选择白色；

所述步进运动标签用于指示下一步运动，包括运动方向和运动步长，其中运动方向包括x、y、z、Rx、Ry、Rz方向及x、y、z、Rx、Ry、Rz的合成方向，运动步长为步距的整数倍；

步骤3、重复步骤2，直到装配完成，获得该过程中所有的力位关系图像和所有标签；

所述所有的力位关系图像和所有标签包括一次装配过程中所有的力位关系图像和其对应的标签，图像数量等于装配过程中执行步距的次数；

步骤4、通过多次装配，即多次执行步骤1-3，建立力位关系图像库，该图像库由所有装配过程中获得的力位关系图像和标签构成；

所述多次装配是为了收集不同初始条件下的装配数据，因为每次执行步骤1得到的待装工件初始位姿均不完全相同，收集多次装配下的装配数据有利于提升模型的泛化能力；

所述力位关系图像库包括多次装配过程中得到的全部力位关系图像和对应标签，优选的，应包含至少4000张图片和其对应标签；

步骤5、采集装配过程中的待装工件与装配体相对位姿的视觉图像，并标记标签为未完成装配或已完成装配，建立由视觉图像和标签所构成的装配状态图像库；

所述视觉图像通过视觉传感器的视频流逐帧获得，优选的，视觉图像内容为RGB格式，保存的图片格式为PNG格式；

所述装配状态图像库包括装配过程中采集的视觉图像及其对应的标签数据，优选的，应包含至少2000张图片和其对应标签；

步骤6、以力位关系图像库中的力位关系图像为输入，力位关系图像库中的标签为输出，构建图像分类模型Ⅰ，并将力位关系图像库中的数据输入图像分类模型Ⅰ进行训练；

优选的，所述图像分类模型Ⅰ采用卷积神经网络构建；

优选的，卷积神经网络的结构采用ResNet50模型结构，由50层网络结构组成：第一层是卷积与最大池化层，第二层到第四十九层是残差模块，第五十层是平均池化与softmax分类器；

第一层的卷积层采用64个7*7大小的卷积核，和一个3*3大小的最大池化层；

残差模块是在网络层数太深导致梯度消失时，可以把输入恒等映射到输出的模块结构

第二层到第四十九层由十六个残差模块构成，每个残差模块包含三个卷积层，共四十八层，每个卷积层后面都跟有一个归一化层和一个RELU激活层；

前三个残差模块由64个1*1卷积核、64个3*3卷积核、256个1*1卷积核的卷积层构成；

然后是四个残差模块由128个1*1卷积核、128个3*3卷积核、512个1*1卷积核的卷积层构成；

然后是六个残差模块由256个1*1卷积核、256个3*3卷积核、1024个1*1卷积核的卷积层构成；

最后三个残差模块由512个1*1卷积核、512个3*3卷积核、2048个1*1卷积核的卷积层构成；

第五十层是一个7*7大小的平均池化层，和一个输出为十二类的softmax分类器；

训练时可以通过GPU加速技术加快训练，优选的，采用CUDA并行运算架构和CUDNN深度神经网络加速库加快图像分类模型Ⅰ的训练；

优选的，取力位关系图像库中的四分之一图像用作测试集，四分之三图像用作训练集；

优选的，调用在ImageNet上预训练好的ResNet50模型权值，运用迁移学习的方法对网络权值进行微调，直到获得满意精度；

优选的，模型训练代数应达到100代以上，在测试集上的平均分类精度应达到95％以上；

步骤7、以装配状态图像库中的图像为输入，装配状态图像库中的标签为输出，构建图像分类模型Ⅱ，并将装配状态图像库中的数据输入图像分类模型Ⅱ进行训练；

优选的，所述图像分类模型Ⅱ采用卷积神经网络构建；

优选的，卷积神经网络的结构和模型训练方式与图像分类模型Ⅰ类似，但修正网络中最后一层的softmax分类器输出为两类；

步骤8、基于图像分类模型Ⅰ和图像分类模型Ⅱ的输出结果，控制机器人进行实时装配，由实时采集的力信号和位姿信号生成实时力位关系图像，输入已经完成训练的图像分类模型Ⅰ，由输出的步进运动标签控制工业机器人运动；同时，将实时视觉图像输入已经完成训练的图像分类模型Ⅱ，当输出为已完成装配时停止运动，完成精密装配；

优选的，由ROS的moveit模块根据图像分类模型Ⅰ的输出结果控制工业机器人运动。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面详细说明本发明的具体实施方式：

步骤1、建立工业机器人的运动学模型，得到工业机器人的运动学正解与逆解，手动操作示教器或通过程序控制工业机器人,使得处于机器人末端的待装工件靠近装配体的孔，并控制末端工具将待装工件调整为待装配位姿，设置装配过程中的步距，控制工业机器人执行装配操作；

所述运动学模型是指通过建立D-H参数表建立机器人各个连杆和末端工具的坐标系，通过坐标系变换矩阵推导出运动学正解，通过Pieper准则推导出运动学逆解；

得到的运动学正解与逆解用于确定机器人末端位姿值，便于后续采集位姿信号；

通过末端夹爪抓取待装工件，所述末端夹爪连接在六维力传感器的末端位置，所述六维力传感器连接在工业机器人最后一个关节的末端位置；

所述待装配位姿是指通过视觉方法计算得到的待装工件相对于装配体的孔的相对位姿；

所述步距设定为工业机器人在笛卡尔空间内沿任意方向步进运动一次的距离值，其值小于等于装配精度要求；

采用手动示教方法控制工业机器人一步一步进行装配；

步骤2、装配过程中，机器人每执行一次步距，采集一次力信号和位姿信号，根据时间戳将采集的力信号和位姿信号进行合成，生成力位关系图像，并为该图像标记步进运动标签；

采用手动示教方法控制工业机器人步进移动或步进旋转一次，即执行一次步距；

所述力信号通过工业机器人末端力传感器采集，包括三维空间的三个坐标轴x、y、z方向的接触力信号Fx、Fy及Fz，绕装配轴的装配力矩信号T和时间戳；

所述位姿信号通过机器人末端位姿得到，包括末端位置坐标值Px、Py、Pz及末端姿态值Rx、Ry、Rz和时间戳；

所述时间戳用于记录当前采集的信号的时间信息；

所述力位关系图像是装配过程中的力信号和位姿信号绘制得到的二维曲线簇，其绘制方法为：分别将力信号中的3个接触力信号和装配力矩信号作为纵坐标，分别将位姿信号中的3个末端位置坐标值和3个末端姿态值作为横坐标，生成24条曲线，包括Fx-Px、Fx-Py、Fx-Pz、Fx-Rx、Fx-Ry、Fx-Rz、Fy-Px、Fy-Py、Fy-Pz、Fy-Rx、Fy-Ry、Fy-Rz、Fz-Px、Fz-Py、Fz-Pz、Fz-Rx、Fz-Ry、Fz-Rz、T-Px、T-Py、T-Pz、T-Rx、T-Ry、T-Rz关系曲线，用于反映不同的力位关系，每条关系曲线用不同的颜色表示,图像背景颜色选择白色；

由matplotlib库和numpy库绘制得到力位关系图像；

所述步进运动标签用于指示下一步运动，包括运动方向和运动步长，其中运动方向包括x、y、z、Rx、Ry、Rz方向及x、y、z、Rx、Ry、Rz的合成方向，运动步长为步距的整数倍；

步骤3、重复步骤2，直到装配完成，获得该过程中所有的力位关系图像和所有标签；

所述所有的力位关系图像和所有标签包括一次装配过程中所有的力位关系图像和其对应的标签，图像数量等于装配过程中执行步距的次数；

步骤4、通过多次装配，即多次执行步骤1-3，建立力位关系图像库，该图像库由所有装配过程中获得的力位关系图像和标签构成；

所述多次装配是为了收集不同初始条件下的装配数据，因为每次执行步骤1得到的待装工件初始位姿均不完全相同，收集多次装配下的装配数据有利于提升模型的泛化能力；

所述力位关系图像库包括多次装配过程中得到的全部力位关系图像和对应标签，包含5000张图片和其对应标签。

步骤5、采集装配过程中的待装工件与装配体相对位姿的视觉图像，并标记标签为未完成装配或已完成装配，建立由视觉图像和标签所构成的装配状态图像库；

所述视觉图像通过视觉传感器的视频流逐帧获得，视觉图像内容为RGB格式，保存的图片格式为PNG格式；

所述装配状态图像库包括装配过程中采集的视觉图像及其对应的标签数据，包含2500张图片和其对应标签；

步骤6、以力位关系图像库中的力位关系图像为输入，力位关系图像库中的标签为输出，构建图像分类模型Ⅰ，并将力位关系图像库中的数据输入图像分类模型Ⅰ进行训练；

所述图像分类模型Ⅰ采用卷积神经网络构建；

卷积神经网络的结构采用ResNet50模型结构，由50层网络结构组成：第一层是卷积与最大池化层，第二层到第四十九层是残差模块，第五十层是平均池化与softmax分类器；

第一层的卷积层采用64个7*7大小的卷积核，和一个3*3大小的最大池化层；

残差模块是在网络层数太深导致梯度消失时，可以把输入恒等映射到输出的模块结构；

第二层到第四十九层由十六个残差模块构成，每个残差模块包含三个卷积层，共四十八层，每个卷积层后面都跟有一个归一化层和一个RELU激活层；

前三个残差模块由64个1*1卷积核、64个3*3卷积核、256个1*1卷积核的卷积层构成；

然后是四个残差模块由128个1*1卷积核、128个3*3卷积核、512个1*1卷积核的卷积层构成；

然后是六个残差模块由256个1*1卷积核、256个3*3卷积核、1024个1*1卷积核的卷积层构成；

最后三个残差模块由512个1*1卷积核、512个3*3卷积核、2048个1*1卷积核的卷积层构成；

第五十层是一个7*7大小的平均池化层，和一个输出为十二类的softmax分类器；

训练时通过GPU加速技术加快训练，安装CUDA并行运算架构和CUDNN深度神经网络加速库，通过使用多个GPU加快图像分类模型Ⅰ的训练；

取力位关系图像库中的四分之一图像用作测试集，四分之三图像用作训练集，由sklearn库中的model_selection模块的train_test_split实现测试集和训练集分离；

通过tensorflow构建ResNet50的模型结构；

通过keras接口调用在ImageNet上预训练好的ResNet50模型权值，运用迁移学习的方法，去掉其最后的全连接层，然后用随机初始化的一组全连接层替换；

冻结除全连接层以外的所有层使其权值无法更新，使用很小的学习速率训练网络，让新的全连接层从网络早期学习到的其他层中学习模式，当精度上升时，逐层解冻网络的其余部分并继续训练，直到获得精度满度；

训练模型迭代100代，然后继续训练，当在测试集上的平均分类精度应达到95％以上时停止训练；

步骤7、以装配状态图像库中的图像为输入，装配状态图像库中的标签为输出，构建图像分类模型Ⅱ，并将装配状态图像库中的数据输入图像分类模型Ⅱ进行训练；

所述图像分类模型Ⅱ采用卷积神经网络构建；

卷积神经网络的结构和模型训练方式与图像分类模型Ⅰ类似，但修正网络中最后一层的softmax分类器输出为两类；

步骤8、基于图像分类模型Ⅰ和图像分类模型Ⅱ的输出结果，控制机器人进行实时装配，由实时采集的力信号和位姿信号生成实时力位关系图像，输入已经完成训练的图像分类模型Ⅰ，由输出的步进运动标签控制工业机器人运动；同时，将实时视觉图像输入已经完成训练的图像分类模型Ⅱ，当输出为已完成装配时停止运动，完成精密装配；

由输出结果控制工业机器人运动的方法如下：1.从图像分类模型Ⅰ获得运动方向和运动步长，输入ROS的moveit模块中，控制机器人完成当前指定的运动；2.重复上一步直到图像分类模型Ⅱ的输出为已完成装配。

Claims (5)

1.一种基于视觉和力位图像学习的机器人精密柔性装配方法，其特征在于，包括以下步骤：

步骤1、控制工业机器人，使得处于机器人末端的待装工件靠近装配体的孔，并控制末端工具将待装工件调整为待装配位姿，设置装配过程中的步距，控制工业机器人执行装配操作；

步骤2、装配过程中，机器人每执行一次步距，采集一次力信号和位姿信号，根据时间戳将采集的力信号和位姿信号进行合成，生成力位关系图像，并为该图像标记步进运动标签；

步骤3、重复步骤2，直到装配完成，获得该过程中所有的力位关系图像和所有标签；

步骤4、通过多次装配，即多次执行步骤1-3，建立力位关系图像库，该图像库由所有装配过程中获得的力位关系图像和标签构成；

步骤5、采集装配过程中的待装工件与装配体相对位姿的视觉图像，并标记标签为未完成装配或已完成装配，建立由视觉图像和标签所构成的装配状态图像库；

步骤6、以力位关系图像库中的力位关系图像为输入，力位关系图像库中的标签为输出，构建图像分类模型Ⅰ，并将力位关系图像库中的数据输入图像分类模型Ⅰ进行训练；

步骤7、以装配状态图像库中的图像为输入，装配状态图像库中的标签为输出，构建图像分类模型Ⅱ，并将装配状态图像库中的数据输入图像分类模型Ⅱ进行训练；

步骤8、基于图像分类模型Ⅰ和图像分类模型Ⅱ的输出结果，控制机器人进行实时装配，由实时采集的力信号和位姿信号生成实时力位关系图像，输入已经完成训练的图像分类模型Ⅰ，由输出的步进运动标签控制工业机器人运动；同时，将实时视觉图像输入已经完成训练的图像分类模型Ⅱ，当输出为已完成装配时停止运动，完成精密装配。

2.根据权利要求1中所述的基于视觉和力位图像学习的机器人精密柔性装配方法，其特征在于：所述步骤1中，步距设定为工业机器人在笛卡尔空间内沿任意方向步进运动一次的距离值，其值小于等于装配精度要求。

3.根据权利要求1中所述的基于视觉和力位图像学习的机器人精密柔性装配方法，其特征在于：所述步骤2中，力信号通过工业机器人末端力传感器采集，包括三维空间的三个坐标轴x、y、z方向的接触力信号Fx、Fy及Fz，绕装配轴的装配力矩信号T和时间戳，位姿信号通过机器人末端位姿得到，包括末端位置坐标值Px、Py、Pz及末端姿态值Rx、Ry、Rz和时间戳。

4.根据权利要求1中所述的基于视觉和力位图像学习的机器人精密柔性装配方法，其特征在于：所述步骤2中，力位关系图像是装配过程中的力信号和位姿信号绘制得到的二维曲线簇，其绘制方法为：分别将力信号中的3个接触力信号和装配力矩信号作为纵坐标，分别将位姿信号中的3个末端位置坐标值和3个末端姿态值作为横坐标，生成至多24条曲线反映不同的力位关系。

5.根据权利要求1中所述的基于视觉和力位图像学习的机器人精密柔性装配方法，其特征在于：所述步骤2中，步进运动标签用于指示下一步运动，包括运动方向和运动步长，其中运动方向包括x、y、z、Rx、Ry、Rz方向及x、y、z、Rx、Ry、Rz的合成方向，运动步长为步距的整数倍。