CN109940605B - 融合三维视觉与接触力分析的柔顺装配***及方法 - Google Patents

Abstract

本发明公开一种融合三维视觉与接触力分析的柔顺装配***及方法，建立了融合三维视觉、六维力传感器、六自由度机器人***在内的柔顺装配平台，视觉分析机构将深度相机的数据转化为装配点位的位置信息，再通过手眼关系处理机构标定该位置，令装配机器人控制机构能够准确制定动作，动作执行过程中，通过建立精确的数学模型，继而通过收集的数据对参数进行求解，将采集不同条件下的数据对用来训练神经网络模型并建立其映射关系，实现精确预测力与力矩，并在预测后通过装配过程中大长径比轴的受力情况准确分析其装配是否有偏差，从而为精确控制装配动作提供分析支持。

Description

融合三维视觉与接触力分析的柔顺装配***及方法

技术领域

本发明涉及装配机器人控制技术领域，具体的说，涉及一种融合三维视觉与接触力分析的柔顺装配***及方法。

背景技术

出于全自动装配的考虑，装配过程中机器人的控制是否精确直接影响装配结果，而机器人力和力矩的参数准确性是精确控制的必要条件，由于装配时负载重力、安装误差等扰动，使机器人控制所需要的实际力和力矩难以准确计算，就需要对接触力和力矩进行预测，其预测结果可作为实际控制的重要参考，则预测精度越高，实际控制的装配效果越好。

接触力的精确感知问题可以归结为，求取机器人末端位姿和接触力的映射关系问题。

装配过程的受力分析是精确控制的前提，若分析不对，控制的反馈就效果不好，当装配角度出现偏差时，装配就会有阻碍，此时的受力分析不能及时反馈偏差，就会增加装配控制难度，甚至无法完成装配。

装配过程的分析问题可以归结为，求取接触点的受力情况。

装配体与待装配工件为配套设置，两者之间需完全贴合才算装配完成，如常见的孔轴装配，孔为待装配工件，轴为装配体，将轴完全***孔中需要对孔的孔心准确定位，同时还要准确控制机械手将轴移动至孔心中，才能完成装配。

在装配过程中，一方面，装配体与装配机器人的装配端同步运动，装配体的动作分析可等效为机器人装配端的动作分析，装配体的形状、尺寸、装配工作面以及装配角度等数据被植入到机器人装配端的动作分析中，而另一方面，也需要对待装配工件进行装配定位分析，在实施装配动作前需对装配点位进行分析，二者结合，才能实现。

现有的机器人控制多是固定装配点位和机器人的位置，从而提前测量并制定好位置关系，以实现准确的到位动作，然而一旦待装配工件出现偏差，则需要重新调整，浪费大量时间。

因此，装配过程中如何准确定位工件，以及转化手眼关系也是难点。

发明内容

针对上述背景所存在的问题，本发明提出了一种融合三维视觉与接触力分析的柔顺装配***及方法，建立了融合三维视觉、六维力传感器、六自由度机器人***在内的柔顺装配平台，视觉分析机构将深度相机的数据转化为装配点位的位置信息，再通过手眼关系处理机构标定该位置，令装配机器人控制机构能够准确制定动作，动作执行过程中，通过建立精确的数学模型，继而通过收集的数据对参数进行求解，将采集不同条件下的数据对用来训练神经网络模型并建立其映射关系，实现精确预测力与力矩，并在预测后通过装配过程中大长径比轴的受力情况准确分析其装配是否有偏差，从而为精确控制装配动作提供分析支持。

为达到上述目的，本发明采用的具体技术方案如下：

一种融合三维视觉与接触力分析的柔顺装配***，包括装配机器人和装配机器人控制机构，所述装配机器人的装配端设置有姿态传感器和力传感器，所述姿态传感器用于检测装配端的三轴位姿参数I₁，所述力传感器用于检测装配端的三轴接触力数据I₂、三轴力矩数据I₃；装配场景中设置有深度相机，该深度相机用于采集待装配工件的点云数据，深度相机可以固定在装配机器人上，随机器人动作同步运动，即eye-in-hand，也可固定在场景中任一正对待装配工件的位置，即eye-to-hand；

***还包括预测机构、受力分析机构、视觉分析机构、手眼关系处理机构，所述预测机构通过三轴位姿参数I₁、三轴接触力数据I₂、三轴力矩数据I₃预测装配过程的实际接触力/力矩数据I₅，所述受力分析机构根据三轴位姿参数I₁、实际接触力/力矩数据I₅分析装配过程中大长径比插轴与装配孔的受力情况，得出装配姿态的调整分析结果，所述视觉分析机构用于将深度相机的信息转换为装配点位与相机的相对位置关系，即装配目标位姿，所述手眼关系处理机构用于将装配目标位姿转换为机器人动作处理矩阵，即装配点位与装配机器人的相对位置关系。

机器人装配端安装的六维力传感器测得的力与力矩数据由三部分造成,即:传感器自身***误差、装配负载重力作用、装配负载所受外部接触力，若要得到装配负载所受外部接触力,即实际控制所需要的力，就需要消除传感器***误差和装配负载重力作用的影响。

如下公式所示：

可以看出，装配过程的接触力(F_cx、F_cy、F_cz)是力传感器测量值(F_x、F_y、F_z)减去负载重力带来的影响(G_x、G_y、G_z)，以及传感器自身带来的误差(F_x0、F_y0、F_z0)，力矩也存在类似问题。

对于装配端受重力和误差造成的影响，实际在未装配状态和装配状态两种过程中是几乎一致的，因此可以通过分析未装配状态的装配端受影响情况，再在装配状态中引入之前分析的受影响情况，就能得到实际的接触力/力矩数据，有效去除干扰数据，装配的控制精度大大提高；

上述未装配状态是指装配端已经连上装配件但装配件还未与装配目标接触的过程，则装配状态指装配件开始与装配目标接触直到装配完成的过程。

在得到精确接触力、力矩的基础上，为了实现柔性装配控制，需要建立装配过程的分析模型。根据轴孔的几何信息，对装配过程中插轴可能出现的所有接触状态进行了分析，即：单边接触、单点接触及两点接触。具体如图9示意：(a)为单边接触，(b)为单点接触，(c)为两点接触。其中单边接触为单点接触的特例情况，可以合并进行力学受力分析。

通过上述设计，受力分析机构根据三轴位姿参数I₁得出轴与孔的偏差角度，一定的偏差角度会使轴***孔的时候受到很大阻力，该阻力则通过三轴接触力数据I₂、三轴力矩数据I₃计算获得，一旦阻力过大，就说明***动作受阻，轴孔的装配有偏差以致无法顺利完成装配，此时就需要调整装配机器人的动作，以满足顺利将轴***到孔中。

装配体与待装配工件为配套设置，两者之间需完全贴合才算装配完成，在实施装配动作前需对装配点位进行分析，如何控制装配体准确到达装配点位，则视觉分析机构将深度相机的数据转化为装配点位的位置信息，再通过手眼关系处理机构标定该位置，令装配机器人控制机构能够准确制定动作，实现动作的柔顺性和准确性。

一种融合三维视觉与接触力分析的柔顺装配方法，包括视觉转换为动作的方法A和动作执行的分析方法B，其中，视觉转换为动作的方法A包括步骤：

A1，深度相机采集待装配工件的点云图，并发送该点云图的点云数据至视觉分析机构；

A2，所述视觉分析机构根据点云数据匹配CAD工件模板，得到装配目标位姿；

A3，手眼关系处理机构将装配目标位姿转换为机器人动作处理矩阵；

所述动作执行的分析方法B包括步骤：

B1，预测机构通过三轴位姿参数I₁、三轴接触力数据I₂、三轴力矩数据I₃预测装配过程的实际接触力/力矩数据I₅；

B2，受力分析机构根据三轴位姿参数I₁、实际接触力/力矩数据I₅分析装配过程中大长径比插轴与装配孔的受力情况，得出装配姿态的调整分析结果；

B3，若调整分析结果为姿态需调整，装配机器人控制机构对应调整装配端姿态，返回B1，否则继续执行装配动作，直至完成装配。

通过上述设计，视觉转换为动作的方法A能从机器视觉准确推导出机器人动作的情况，其中，为避免CAD模型中有冗余部分，并提高匹配精度与提高匹配速度，可采用离线处理方式，对原有的CAD工件模型进行切割，只保留相机视角内的部分，得到所需的CAD工件模板，将其加入CAD模板库，作为匹配模板。

再通过动作执行的分析方法B完成装配动作，整体过程快速、精准，且实时校正，使机器人的动作流畅、柔顺。

本发明的有益效果：建立了融合三维视觉、六维力传感器、六自由度机器人***在内的柔顺装配平台，视觉分析机构将深度相机的数据转化为装配点位的位置信息，再通过手眼关系处理机构标定该位置，令装配机器人控制机构能够准确制定动作，动作执行过程中，通过建立精确的数学模型，继而通过收集的数据对参数进行求解，将采集不同条件下的数据对用来训练神经网络模型并建立其映射关系，实现精确预测力与力矩，并在预测后通过装配过程中大长径比轴的受力情况准确分析其装配是否有偏差，从而为精确控制装配动作提供分析支持，实现动作的柔顺性和准确性。

附图说明

图1是***的结构框图；

图2是位姿分析示意图；

图3是大长径比轴孔示意图；

图4是孔的CAD工件模板转换示意图；

图5是孔的点云图；

图6是装配框示意图；

图7是框的CAD工件模板转换示意图；

图8是步骤B1的主要流程示意图；

图9是静态位姿与力/力矩关系映射模型的建立流程图；

图10是步骤B2的主要流程示意图；

图11是实施例预测步骤的工作流程图；

图12是实施例BP神经网络训练误差示意图；

图13是实施例BP神经网络验证误差示意图；

图14是实施例预测效果对比图；

图15是轴剖面的接触点分析示意图；

图16是轴剖面的力学分析示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明：

一种融合三维视觉与接触力分析的柔顺装配***，如图1所示，包括装配机器人1和装配机器人控制机构6，所述装配机器人1的装配端设置有姿态传感器1a和力传感器1b，装配场景中设置有深度相机1c，优选设置在装配机器人1的装配端上；

***还包括预测机构2、受力分析机构3、视觉分析机构4、手眼关系处理机构5，所述预测机构2的数据输入端组连接姿态传感器1a的输出端和力传感器1b的输出端，所述预测机构2的数据输出端组连接受力分析机构3的数据输入端组，所述受力分析机构3的数据输入端组还连接姿态传感器1a的输出端，所述受力分析机构3的数据输出端组连接装配机器人控制机构6的第一数据输入端组，所述装配机器人控制机构6的第二数据输入端组连接手眼关系处理机构5的输出端组，所述手眼关系处理机构5的输入端组连接视觉分析机构4的输出端组，所述视觉分析机构4的输入端组连接深度相机1c的输出端组。

所述预测机构2包括静态位姿与力/力矩关系映射模块2a、动态实际接触力/力矩数据计算模块2b、处理模块2c、数据存储模块2d，所述静态位姿与力/力矩关系映射模块2a设置有BP神经网络模型，其输入层为3个输入节点，输出层为6个输出节点；

所述处理模块2c分别与静态位姿与力/力矩关系映射模块2a、动态实际接触力/力矩数据计算模块2b、数据存储模块2d连接。

静态位姿与力/力矩关系映射模块预先分析未装配状态的装配端受力情况，以此来建立映射关系，由于此时装配件还未接触装配目标，则此时装配端所检测得到的三轴接触力数据I_2a、三轴力矩数据I_3a就是完全受重力和自身误差所影响的力数据，将此时的三轴位姿参数I_1a与三轴接触力数据I_2a、三轴力矩数据I_3a建立关系，就能获知重力加上自身误差对装配端姿态的影响；

该影响在装配状态时会继续存在，也就能通过静态位姿与力/力矩关系映射模块获知装配时的装配端姿态受的影响，再由动态实际接触力/力矩数据计算模块将三轴接触力数据I_2b、三轴力矩数据I_3b对应扣除该影响，就能得到准确的实际接触力/力矩数据I₅，从而为更精准控制机器人动作提供数据支撑。

BP神经网络能很好地建立数据之间的映射关系，一旦神经网络训练完成，就能通过输入层的输入数据直接得到输出层的输出结果，由于三轴位姿参数I₁为3个参数值，因此BP神经网络的输入层只需设置为3个输入节点，而三轴接触力数据I₂、三轴力矩数据I₃共有6个参数值，则输出层需要设置为6个输出节点，每个节点与各参数值一一对应。

所述受力分析机构3包括判断处理模块3a、单点接触分析模块3b、两点接触分析模块3c、数据存储单元3d，所述判断处理模块3a设置有接触点判断单元、分析结果判断单元；

所述接触点判断单元的输出端组连接单点接触分析模块3b的输入端和两点接触分析模块3c的输入端，所述分析结果判断单元的输入端组连接单点接触分析模块3b的输出端和两点接触分析模块3c的输出端，所述判断处理模块3a还与数据存储单元3d双向连接。

判断处理模块用于判断接触点的数量，若为单点接触，则后续处理交于单点接触分析模块处理，若为两点接触，则转由两点接触分析模块，判断处理模块还用于根据单点接触分析模块/两点接触分析模块的受力分析结果判断装配是否需要重新调整，得到装配分析结果，数据存储模块用于存储全部过程的重要数据信息，如接触点判断结果、受力分析结果、装配分析结果等。

其中，接触点判断单元用于判断接触点的数量，分析结果判断单元用于得到装配分析结果。

所述视觉分析机构4包括点云处理模块4a、模板匹配模块4b和模板存储单元4c，所述深度相机1c的输出端组连接点云处理模块4a的输入端组，所述点云处理模块4a的输出端组连接模板匹配模块4b的点云输入端组，该模板匹配模块4b的模板输入端组连接模板存储单元4c的输出端组，所述模板匹配模块4b的输出端组连接手眼关系处理机构5的输入端组。

本实施例优选设备参数如下：

装配机器人优选型号：安川MOTOMAN MH12，控制器：DX200，负载：12kg，自由度：6，重复定位精度：±0.08mm，最大工作半径：1440mm，电源容量：1.5kVA。

该装配机器人的装配端自带有姿态传感器1a，控制器：DX200即为装配机器人控制机构；

力传感器1b优选为型号：ATI-mini45-E的六维力传感器，其主要技术参数为：量程：SI-290-10

Fx,Fy(±N) 290

Fz(±N) 580

Tx,Ty(±Nm) 10

Tz(±Nm) 10

分辨率：SI-290-10

Fx,Fy(N) 1/4

Fz(N) 1/4

Tx,Ty(Nm) 1/188

Tz(Nm) 1/376

深度相机优选型号为Ensenso N10-608，其最小工作距离：230mm，最大工作距离：580mm，焦距：6mm，分辨率(h*v)：752*480，视场角：8，f-number:1.8。

另设有处理器主机，该处理器主机上设置预测机构2、受力分析机构3、视觉分析机构4、手眼关系处理机构5。

用以装配的工件分别为图3所示的大长径比轴孔(深长盲孔)模拟件，以及图4所示的平板框模拟件，其中，大长径比轴孔(深长盲孔)模拟件的插轴长度：110mm，插轴直径：9mm、9.6mm，套筒长度：110mm，套筒直径：10mm，单边间隙：0.5mm、0.2mm；平板框模拟件的机架模块尺寸(外框)：895mm*541mm，机架模块尺寸(内框)：810mm*460mm，单边间隙0.3mm。

此外，制作CAD工件模板时采用型号为MER-200-20GM/C的单目视觉传感器即可，其分辨率(H×V)达到1628×1236，帧率：20fps，像素尺寸：4.4μm×4.4μm，接口为GigE，满足制作模板的条件。

一种融合三维视觉与接触力分析的柔顺装配方法，包括视觉转换为动作的方法A和动作执行的分析方法B，其中，视觉转换为动作的方法A包括步骤：

A1，深度相机1c采集待装配工件的点云图，并发送该点云图的点云数据至视觉分析机构4；

A2，所述视觉分析机构4根据点云数据匹配CAD工件模板，得到装配目标位姿；

A3，手眼关系处理机构5将装配目标位姿转换为机器人动作处理矩阵；

所述动作执行的分析方法B包括步骤：

B1，预测机构2通过三轴位姿参数I₁、三轴接触力数据I₂、三轴力矩数据I₃预测装配过程的实际接触力/力矩数据I₅；

B2，受力分析机构3根据三轴位姿参数I₁、实际接触力/力矩数据I₅分析装配过程中大长径比插轴与装配孔的受力情况，得出装配姿态的调整分析结果；

B3，若调整分析结果为姿态需调整，装配机器人控制机构6对应调整装配端姿态，返回B1，否则继续执行装配动作，直至完成装配。

预测机构可实时预测出装配时的受力情况，即实际接触力/力矩数据I₅；受力分析机构再根据该数据分析轴与孔的受力情况，得出装配位置是否可以，装配姿态是否需要调整，从而为精确控制装配机器人动作提供数据支撑，提高装配精度和效率。

方法A先定位待装配工件上的装配点位，定位完成的目标由方法B控制装配体达到并顺利装配，两者相配合即可完成准确装配。

步骤A2包括如下子步骤：

A2.1，点云处理模块4a接收到点云数据后，分割其中工件部分的工件点云：

A2.1.1，将原始点云图像中三通道图像分离为3个单通道图像，将第3个单通道图像作为处理数据，所述第3个单通道图像为垂直于装配轴方向的图像；

A2.1.2，采用阈值分割法将处理数据中的工件底座表面分离出来；

A2.1.3，提取工件底座表面的点云数据，即得到所述工件点云；

发送所述工件点云至模板匹配模块4b；

A2.2，所述模板匹配模块4b根据所述工件点云，调取模板存储单元4c中对应的CAD工件模板；

A2.3，所述模板匹配模块4b根据CAD工件模板计算待装配工件上的装配点位；

A2.4，所述模板匹配模块4b计算所述装配点位在点云图中的坐标，即得到装配目标位姿；

为避免CAD模型中有冗余部分，提高匹配精度与提高匹配速度，采用离线处理方式，对原有的CAD工件模型进行切割，只保留相机视角内的部分，过程如图4、7所示。由此得到所需的CAD匹配模板，将其加入CAD模板库，作为匹配模板。

所述待装配工件为孔时，对应的CAD工件模板为圆底座，A2.3中计算方式为计算原底座的圆心，根据孔径即得到孔的位置，即装配孔点位。

所述待装配工件为框时，对应的CAD工件模板为框的其中一个角，A2.3中计算方式为计算该角的位置，则根据框的尺寸得到装配框点位。

本方案采用的相机类型是深度相机，采集的图像是三通道点云图，图像上每个像素点的值为(X,Y,Z),即该点在相机坐标系下的实际坐标值。点云图中不同颜色代表距离相机成像中心的远近，白色区域为未成像部分，从成像图可以看出工件由于上表面反光所以有很大部分未成像。为了更好的将工件底座上表面从点云图中分割出来，相机的拍摄方式选用垂直于工件拍摄，由于工件底座上表面与底座的安装平台在相机中Z方向存在明显差距，所以方案从点云数据中Z坐标值作为图像的初始处理数据。

为了增加算法的鲁棒性，即可以从不同距离拍摄的点云图都适用与此算法，本方案采用自动阈值分割技术，将分离阈值设为2，即Z方向上差距在2mm的点云都会相互分离，得到的图像如图5。

从阈值分割后的图像中提取出工件上表面点云部分，即图5中绿色部分，本方案将不同颜色区域面积作为筛选值，由于从不同高度拍摄底座时，底座面积在图像中呈现的大小并不一样，所以通过多次实验得到一个面积选取范围，在相机的工作距离都适用。

步骤A3的转换方法为：

其中，^baseT_obj为装配点位相对基坐标的关系矩阵，即机器人动作处理矩阵，^baseT_tool为装配体相对基坐标的关系矩阵，^camT_tool为装配体相对相机坐标的关系矩阵，^camT_obj为装配点位相对相机坐标的关系矩阵，即装配目标位姿。

求取点云与CAD模板的相对位置关系，本方案中采用姿态(Pose)来描述一个坐标系相对于另一个坐标系的平移与旋转关系，如图2，其实质是一个包含三维平移量与三维旋转量的数组，由于在以欧拉角描述的方式下旋转的顺序影响到旋转的结果，故在该数组中还包含一个旋转顺序信息，其格式为[x,y,z,α,β,γ,C]。前三个元素为沿轴移动的距离，后三个元素为逆时针绕轴依次旋转的弧度制角度，最后一项用于指定旋转的顺序。通常情况下，几何变换的顺序是先旋转再平移，旋转顺序依次为z轴,y轴,x轴。

在实验过程中，先使用深度相机进行目标的识别及定位，将待装工件引导至一个较佳的装配位置，这样可以使初始装配过程做到快速性和准确性。

步骤B1如图8，包括如下步骤：

B1.1，静态位姿与力/力矩关系映射模块2a建立装配机器人装配端的静态位姿与力/力矩关系映射模型，如图9所示：

B1.1.1，建立BP神经网络，所述BP神经网络的输入层为3个输入节点，输出层为6个输出节点；

B1.1.2，利用预先采集的未装配状态的N组装配端位姿与测量力/力矩数据对J，对所述BP神经网络进行训练；

每组所述装配端位姿与测量力/力矩数据对J包括三轴位姿参数I_1a、三轴接触力数据I_2a、三轴力矩数据I_3a，其中，三轴位姿参数I_1a作为BP神经网络的3个输入参数，三轴接触力数据I_2a、三轴力矩数据I_3a作为BP神经网络的6个输出参数；

B1.1.3，利用预先采集的未装配状态的另外M组装配端位姿与测量力/力矩数据对J，对所述BP神经网络进行验证；

B1.1.4，验证完成后的BP神经网络即为所述静态位姿与力/力矩关系映射模型；

该静态位姿与力/力矩关系映射模型通过BP神经网络得出：装配机器人装配端的三轴位姿参数I₁与重力影响的力/力矩数据I₄之间的关系；

其中，所述重力影响的力/力矩数据I₄包括装配端的三轴重力影响力和三轴重力影响力矩；

BP神经网络能够很好地学习三轴位姿参数I_1a与三轴接触力数据I_2a、三轴力矩数据I_3a之间的数据映射关系，只需把多组数据对输入神经网络就能完成训练、校验，最终得到快速计算的静态位姿与力/力矩关系映射模型。

B1.2，装配过程中，处理模块2c实时接收装配机器人装配端动态的三轴位姿参数I_1b、三轴接触力数据I_2b、三轴力矩数据I_3b；

B1.3，处理模块2c将B1.2的动态的三轴位姿参数I_1b输入到静态位姿与力/力矩关系映射模块2a，获得动态的重力影响的力/力矩数据I_4b；

B1.4，处理模块2c将B1.3得到的动态的重力影响的力/力矩数据I_4b与B1.2的三轴接触力数据I_2b、三轴力矩数据I_3b输入到动态实际接触力/力矩数据计算模块2b，得到装配端的实际接触力/力矩数据I₅。

由于未装配状态的受力影响是包括重力和自身误差两种因素的，因此，实际上静态位姿与力/力矩关系映射模型得到的映射关系是位姿与(重力+误差)的关系，上述重力影响的力/力矩数据I₄是包含有重力与误差综合影响的数据，命名为重力影响仅因为重力的干扰更大。

通过上述设计，未装配状态的三轴位姿参数I_1a、三轴接触力数据I_2a、三轴力矩数据I_3a可训练静态位姿与力/力矩关系映射模型，然后在装配过程中将三轴位姿参数I_1b输入模型，就能得到动态的重力影响的力/力矩数据I_4b，该I_4b与三轴接触力数据I_2b、三轴力矩数据I_3b比较做差即获知实际接触力/力矩数据I₅，从而为控制装配机器人的控制力提供精确计算基础。

B1.4中排除干扰计算方式为：

其中，F_x、F_y、F_z为B1.2检测到的三轴接触力数据I_2b，F_x0、F_y0、F_z0为B1.3得到的动态的重力影响的力/力矩数据I_4b中的三轴重力影响力，T_x、T_y、T_z为B1.2检测到的三轴力矩数据I_3b，T_x0、T_y0、T_z0为B1.3得到的动态的重力影响的力/力矩数据I_4b中的三轴重力影响力矩，F_cx、F_cy、F_cz、T_cx、T_cy、T_cz则为装配端的实际接触力/力矩数据I₅。

步骤B2如图10，包括如下步骤：

B2.1，受力分析机构3实时接收实际接触力/力矩数据I₅；

B2.2，接触点判断单元识别大长径比轴孔接触点的数量，若接触点为1个，进入B2.3，若接触点为2个，进入B2.4；

B2.3，单点接触分析模块3b根据三轴位姿参数I₁、实际接触力/力矩数据I₅计算轴孔单点反作用力N与单点阻力f，进入B2.5；

B2.4，两点接触分析模块3c根据三轴位姿参数I₁、实际接触力/力矩数据I₅计算轴孔两点反作用力N₁、N₂，以及两点阻力f₁、f₂，进入B2.6；

B2.5，分析结果判断单元分析B2.3的计算结果：

若N≥A_N，f≥A_f，A_N为单点反作用力阈值，A_f为单点阻力阈值，则分析结果为装配角度需调整，否则分析结果为正常装配；

输出分析结果；

B2.6，分析结果判断单元分析B2.4的计算结果：

若N₁≥A_N1，N₂≥A_N2，f₁≥A_f1，f₂≥A_f2，A_N1、A_N2为两点反作用力阈值，A_f1、A_f2为两点阻力阈值，则分析结果为装配角度需调整；

输出分析结果。

通过上述设计，大长径比轴与孔的装配角度准确，则分析得出的轴孔单点反作用力N与单点阻力f(或轴孔两点反作用力N₁、N₂，以及两点阻力f₁、f₂)会在一个较小区间内，此时继续装配是可以完成***动作的，但一旦超过该区间，继续***只会卡住，无法完成装配，需要重新调整***动作的方向。而上述方法是每个装配动作实时分析的，在装配过程中随采集的三轴位姿参数I₁、三轴接触力数据I₂、三轴力矩数据I₃改变不断重复分析过程，直到最终完成装配工作。

本实施例中单点受力情况如图16中a部分所示，该剖视面即为分析面P-O-Q，B2.3计算轴孔单点反作用力N与单点阻力f的方法如下：

B2.3.1，根据装配的接触点确定分析面P-O-Q，所述分析面P-O-Q为显示有所有接触点的大长径比轴的轴剖面；

B2.3.2，分解所述三轴位姿参数I₁、实际接触力/力矩数据I₅，得到基于所述分析面P-O-Q的接触力F_p、F_q、力矩T_r、轴孔偏转夹角θ、轴长l、轴径d，其中，F_q为大长径比轴轴心方向的接触力，F_p为垂直于轴心方向的接触力，T_r为垂直于分析面P-O-Q的力矩；

B2.3.3，根据以下公式组，将B2.3.2分解得到的数据代入计算：

得到轴孔单点反作用力N与单点阻力f；

上述设计以轴的某一轴剖面为分析面P-O-Q，但该分析面P-O-Q上需包含有所有接触点，因此若在该分析面P-O-Q上分析得到的轴孔单点反作用力N与单点阻力f超过正常受力区间，则需要调整该分析面P-O-Q的轴姿态，调整后再分析其他角度的轴剖面是否受力正常，从而使轴完全对准孔，顺利完成装配。

近似的，本实施例中两点受力情况如图16中b部分所示，该剖视面即为分析面P-O-Q，B2.4计算轴孔两点反作用力N₁、N₂，以及两点阻力f₁、f₂的方法如下：

B2.4.1，根据装配的接触点确定分析面P-O-Q，所述分析面P-O-Q为显示有所有接触点的大长径比轴的轴剖面；

B2.4.2，分解所述三轴位姿参数I₁、实际接触力/力矩数据I₅，得到基于所述分析面P-O-Q的接触力F_p、F_q、力矩T_r、轴孔偏转夹角θ、轴长l、轴径d、未***的轴长h，其中，F_q为大长径比轴轴心方向的接触力，F_p为垂直于轴心方向的接触力，T_r为垂直于分析面P-O-Q的力矩；

B2.4.3，根据以下公式组，将B2.3.2分解得到的数据代入计算：

得到轴孔两点反作用力N₁、N₂，以及两点阻力f₁、f₂。

本实施例的步骤B1采用图5所示的内容实施，其中，实验采集了2000组装配端位姿与测量力/力矩数据对J，并将其中1700组用于网络训练，300组用于测试。

实验采用网络输出与真实数据的相对误差率来表现预测精确度，训练误差如图12所示，测试误差如图13所示，对接触力/力矩的预测误差为1％。

本实施例还对比了采用随机调整位姿方法的装配策略，其在***过程中对机器人末端位姿进行不断的随机调整，达到极小值后继续***。

实验过程中以坐标面字母P-O-Q替换为X-O-Z，得到对比效果如图14所示，图中红色线条表示本发明预测的装配过程接触力/力矩的变化，蓝色线条表示对比方法的装配过程接触力/力矩的变化，可明显看出经本发明准确预测后装配过程的参数更准确，使数据变化波动更小，也就更好地达到了预测数据优化装配的目的。

本发明的调整策略可以在力/力矩变大时及时减小Fx和Fy。当Fx和Fy的值发生变化时，插轴会受到孔壁的摩擦力，Fz、Tx和Ty的值也会发生变化。在整个过程中，Tz的值保持不变。从实验结果可以看出，力调节的间隔逐渐增大。这说明在每次位姿调整后，插轴的姿态会逐渐趋于最优。

通过实验结果分析，可以得出本项目的装配策略，建立了装配过程接触力/力矩与测量力之间的映射关系的预测模型，接触力/力矩预测精度优于1％；

对于大长径比长径比大于10的轴孔装配实现了实现了装配控制过程柔顺、无卡滞和逐步收敛，装配过程的力/力矩控制精度优于5N/0.5N·m；

在位置控制精度方面，末端执行器轴向位姿精度优于0.5mm和0.5度，径向二维方向位姿精度均优于0.3mm和0.2度。

Claims (3)

1.一种融合三维视觉与接触力分析的柔顺装配方法，其特征在于包括视觉转换为动作的方法A和动作执行的分析方法B，其中，视觉转换为动作的方法A包括步骤：

A1，深度相机(1c)采集待装配工件的点云图，并发送该点云图的点云数据至视觉分析机构(4)；

A2，所述视觉分析机构(4)根据点云数据匹配CAD工件模板，得到装配目标位姿；

A3，手眼关系处理机构(5)将装配目标位姿转换为机器人动作处理矩阵；

所述动作执行的分析方法B包括步骤：

B1，预测机构(2)通过三轴位姿参数I₁、三轴接触力数据I₂、三轴力矩数据I₃预测装配过程的实际接触力/力矩数据I₅；

B2，受力分析机构(3)根据三轴位姿参数I₁、实际接触力/力矩数据I₅分析装配过程中大长径比插轴与装配孔的受力情况，得出装配姿态的调整分析结果；

B3，若调整分析结果为姿态需调整，装配机器人控制机构(6)对应调整装配端姿态，返回B1，否则继续执行装配动作，直至完成装配；

其中，步骤A2、步骤B1、步骤B2中的至少一个包括如下对应的子步骤：

或者，步骤A2包括如下子步骤：

A2.1，点云处理模块(4a)接收到点云数据后，分割其中工件部分的工件点云：

A2.1.1，将原始点云图像中三通道图像分离为3个单通道图像，将第3个单通道图像作为处理数据，所述第3个单通道图像为垂直于装配轴方向的图像；

A2.1.2，采用阈值分割法将处理数据中的工件底座表面分离出来；

A2.1.3，提取工件底座表面的点云数据，即得到所述工件点云；

发送所述工件点云至模板匹配模块(4b)；

A2.2，所述模板匹配模块(4b)根据所述工件点云，调取模板存储单元(4c)中对应的CAD工件模板；

A2.3，所述模板匹配模块(4b)根据CAD工件模板计算待装配工件上的装配点位；

A2.4，所述模板匹配模块(4b)计算所述装配点位在点云图中的坐标，即得到装配目标位姿；

步骤A3的转换方法为：

其中，^baseT_obj为装配点位相对基坐标的关系矩阵，即机器人动作处理矩阵，^baseT_tool为装配体相对基坐标的关系矩阵，^camT_tool为装配体相对相机坐标的关系矩阵，^camT_obj为装配点位相对相机坐标的关系矩阵，即装配目标位姿；

或者，步骤B1包括如下步骤：

B1.1，静态位姿与力/力矩关系映射模块(2a)建立装配机器人装配端的静态位姿与力/力矩关系映射模型：

B1.1.1，建立BP神经网络，所述BP神经网络的输入层为3个输入节点，输出层为6个输出节点；

B1.1.2，利用预先采集的未装配状态的N组装配端位姿与测量力/力矩数据对J，对所述BP神经网络进行训练；

每组所述装配端位姿与测量力/力矩数据对J包括三轴位姿参数I_1a、三轴接触力数据I_2a、三轴力矩数据I_3a，其中，三轴位姿参数I_1a作为BP神经网络的3个输入参数，三轴接触力数据I_2a、三轴力矩数据I_3a作为BP神经网络的6个输出参数；

B1.1.3，利用预先采集的未装配状态的另外M组装配端位姿与测量力/力矩数据对J，对所述BP神经网络进行验证；

B1.1.4，验证完成后的BP神经网络即为所述静态位姿与力/力矩关系映射模型；

该静态位姿与力/力矩关系映射模型通过BP神经网络得出：装配机器人装配端的三轴位姿参数I₁与重力影响的力/力矩数据I₄之间的关系；

其中，所述重力影响的力/力矩数据I₄包括装配端的三轴重力影响力和三轴重力影响力矩；

B1.2，装配过程中，处理模块(2c)实时接收装配机器人装配端动态的三轴位姿参数I_1b、三轴接触力数据I_2b、三轴力矩数据I_3b；

B1.3，处理模块(2c)将B1.2的动态的三轴位姿参数I_1b输入到静态位姿与力/力矩关系映射模块(2a)，获得动态的重力影响的力/力矩数据I_4b；

B1.4，处理模块(2c)将B1.3得到的动态的重力影响的力/力矩数据I_4b与B1.2的三轴接触力数据I_2b、三轴力矩数据I_3b输入到动态实际接触力/力矩数据计算模块(2b)，得到装配端的实际接触力/力矩数据I₅；

或者，步骤B2包括如下步骤：

B2.1，受力分析机构(3)实时接收实际接触力/力矩数据I₅；

B2.2，接触点判断单元识别大长径比轴孔接触点的数量，若接触点为1个，进入B2.3，若接触点为2个，进入B2.4；

B2.3，单点接触分析模块(3b)根据三轴位姿参数I₁、实际接触力/力矩数据I₅计算轴孔单点反作用力N与单点阻力f，进入B2.5；

B2.4，两点接触分析模块(3c)根据三轴位姿参数I₁、实际接触力/力矩数据I₅计算轴孔两点反作用力N₁、N₂，以及两点阻力f₁、f₂，进入B2.6；

B2.5，分析结果判断单元分析B2.3的计算结果：

若N≥A_N，f≥A_f，A_N为单点反作用力阈值，A_f为单点阻力阈值，则分析结果为装配角度需调整，否则分析结果为正常装配；

输出分析结果；

B2.6，分析结果判断单元分析B2.4的计算结果：

若N₁≥A_N1，N₂≥A_N2，f₁≥A_f1，f₂≥A_f2，A_N1、A_N2为两点反作用力阈值，A_f1、A_f2为两点阻力阈值，则分析结果为装配角度需调整；

输出分析结果。

2.根据权利要求1所述融合三维视觉与接触力分析的柔顺装配方法，其特征在于B1.4中排除干扰计算方式为：

其中，F_x、F_y、F_z为B1.2检测到的三轴接触力数据I_2b，F_x0、F_y0、F_z0为B1.3得到的动态的重力影响的力/力矩数据I_4b中的三轴重力影响力，T_x、T_y、T_z为B1.2检测到的三轴力矩数据I_3b，T_x0、T_y0、T_z0为B1.3得到的动态的重力影响的力/力矩数据I_4b中的三轴重力影响力矩，F_cx、F_cy、F_cz、T_cx、T_cy、T_cz则为装配端的实际接触力/力矩数据I₅。

3.根据权利要求1所述融合三维视觉与接触力分析的柔顺装配方法，其特征在于B2.3计算轴孔单点反作用力N与单点阻力f的方法如下：

B2.3.1，根据装配的接触点确定分析面P-O-Q，所述分析面P-O-Q为显示有所有接触点的大长径比轴的轴剖面；

B2.3.2，分解所述三轴位姿参数I₁、实际接触力/力矩数据I₅，得到基于所述分析面P-O-Q的接触力F_p、F_q、力矩T_r、轴孔偏转夹角θ、轴长l、轴径d，其中，F_q为大长径比轴轴心方向的接触力，F_p为垂直于轴心方向的接触力，T_r为垂直于分析面P-O-Q的力矩；

B2.3.3，根据以下公式组，将B2.3.2分解得到的数据代入计算：

得到轴孔单点反作用力N与单点阻力f；

B2.4计算轴孔两点反作用力N₁、N₂，以及两点阻力f₁、f₂的方法如下：

B2.4.1，根据装配的接触点确定分析面P-O-Q，所述分析面P-O-Q为显示有所有接触点的大长径比轴的轴剖面；

B2.4.2，分解所述三轴位姿参数I₁、实际接触力/力矩数据I₅，得到基于所述分析面P-O-Q的接触力F_p、F_q、力矩T_r、轴孔偏转夹角θ、轴长l、轴径d、未***的轴长h，其中，F_q为大长径比轴轴心方向的接触力，F_p为垂直于轴心方向的接触力，T_r为垂直于分析面P-O-Q的力矩；

B2.4.3，根据以下公式组，将B2.3.2分解得到的数据代入计算：

得到轴孔两点反作用力N₁、N₂，以及两点阻力f₁、f₂。

Images