CN109940604A - 基于点云数据的工件三维定位***及方法 - Google Patents

基于点云数据的工件三维定位***及方法 Download PDF

Info

Publication number
CN109940604A
CN109940604A CN201910084044.XA CN201910084044A CN109940604A CN 109940604 A CN109940604 A CN 109940604A CN 201910084044 A CN201910084044 A CN 201910084044A CN 109940604 A CN109940604 A CN 109940604A
Authority
CN
China
Prior art keywords
workpiece
point cloud
assembly
data
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910084044.XA
Other languages
English (en)
Other versions
CN109940604B (zh
Inventor
刘长春
张尽力
全旭松
陈海平
徐旭
叶郎
曹庭分
易聪之
蒋晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Laser Fusion Research Center China Academy of Engineering Physics
Original Assignee
Laser Fusion Research Center China Academy of Engineering Physics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Laser Fusion Research Center China Academy of Engineering Physics filed Critical Laser Fusion Research Center China Academy of Engineering Physics
Priority to CN201910084044.XA priority Critical patent/CN109940604B/zh
Publication of CN109940604A publication Critical patent/CN109940604A/zh
Application granted granted Critical
Publication of CN109940604B publication Critical patent/CN109940604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)
  • Automatic Assembly (AREA)

Abstract

本发明公开一种基于点云数据的工件三维定位***及方法，通过视觉分析机构将深度相机的数据转化为装配点位的位置信息，从而得到实时的准确位置关系，不论待装配工件是否改变位置，都能为后续机器人动作提供精准的位置信息，实现快速准确的装配动作。

Description

基于点云数据的工件三维定位***及方法
技术领域
本发明涉及装配机器人控制技术领域，具体的说，涉及一种基于点云数据的工件三维定位***及方法。
背景技术
出于全自动装配的考虑，装配过程中机器人的控制是否精确直接影响装配结果，装配体与待装配工件为配套设置，两者之间需完全贴合才算装配完成，如常见的孔轴装配，孔为待装配工件，轴为装配体，将轴完全***孔中需要对孔的孔心准确定位，同时还要准确控制机械手将轴移动至孔心中，才能完成装配。
现有的机器人控制多是固定装配点位和机器人的位置，从而提前测量并制定好位置关系，以实现准确的到位动作，然而一旦待装配工件出现偏差，则需要重新调整，浪费大量时间。
发明内容
在装配过程中，一方面，装配体与装配机器人的装配端同步运动，装配体的动作分析可等效为机器人装配端的动作分析，装配体的形状、尺寸、装配工作面以及装配角度等数据被植入到机器人装配端的动作分析中，而另一方面，也需要对待装配工件进行装配定位分析，在实施装配动作前需对装配点位进行分析，二者结合，才能实现。
如何保证待装配工件的准确装配信息，控制装配体准确到达待装配工件的装配点位，是现有技术面临的实现问题。
针对装配定位分析存在的问题，本发明提出了一种基于点云数据的工件三维定位***及方法，通过视觉分析机构将深度相机的数据转化为装配点位的位置信息，从而得到实时的准确位置关系，不论待装配工件是否改变位置，都能为后续机器人动作提供精准的位置信息，实现快速准确的装配动作。
为达到上述目的，本发明采用的具体技术方案如下：
一种基于点云数据的工件三维定位***，装配场景中设置有深度相机，该深度相机用于采集待装配工件的点云数据，所述深度相机的输出端组连接有视觉分析机构的视觉输入端组，所述视觉分析机构用于计算待装配工件上装配点位的位置；
所述视觉分析机构的数据输出端组连接有装配机器人控制机构的输入端组，所述装配机器人控制机构用于控制装配机器人上的装配体装配到待装配工件上。
所述视觉分析机构包括点云处理模块、模板匹配模块和模板存储单元，所述深度相机的输出端组连接点云处理模块的输入端组，所述点云处理模块的输出端组连接模板匹配模块的点云输入端组，该模板匹配模块的模板输入端组连接模板存储单元的输出端组，所述模板匹配模块的输出端组连接装配机器人控制机构的输入端组。
一种基于点云数据的工件三维定位方法，包括步骤：
A1，深度相机采集待装配工件的点云图，并发送该点云图的点云数据至视觉分析机构；
A2，所述视觉分析机构根据点云数据匹配CAD工件模板，得到装配目标位姿，即定位结果：
A2.1，点云处理模块接收到点云数据后，分割其中工件部分的工件点云：
A2.1.1，将原始点云图像中三通道图像分离为3个单通道图像，将第3个单通道图像作为处理数据，所述第3个单通道图像为垂直于装配轴方向的图像；
A2.1.2，采用阈值分割法将处理数据中的工件底座表面分离出来；
A2.1.3，提取工件底座表面的点云数据，即得到所述工件点云；
发送所述工件点云至模板匹配模块；
A2.2，所述模板匹配模块根据所述工件点云，调取模板存储单元中对应的CAD工件模板；
A2.3，所述模板匹配模块根据CAD工件模板计算待装配工件上的装配点位；
A2.4，所述模板匹配模块计算所述装配点位在点云图中的坐标，即得到装配目标位姿。
所述待装配工件为孔时，对应的CAD工件模板为圆底座，A2.3中计算方式为计算原底座的圆心，根据孔径即得到孔的位置，即装配孔点位。
所述待装配工件为框时，则对应的CAD工件模板为框的其中一个角，A2.3中计算方式为计算该角的位置，则根据框的尺寸得到装配框点位。
本发明的有益效果：通过视觉分析机构将深度相机的数据转化为装配点位的位置信息，从而得到实时的准确位置关系，不论待装配工件是否改变位置，都能为后续机器人动作提供精准的位置信息，实现快速准确的装配动作。
附图说明
图1是***的结构框图；
图2是位姿分析示意图；
图3是大长径比轴孔示意图；
图4是孔的CAD工件模板转换示意图；
图5是孔的点云图；
图6是装配框示意图；
图7是框的CAD工件模板转换示意图；
图8是步骤B1的主要流程示意图；
图9是静态位姿与力/力矩关系映射模型的建立流程图；
图10是步骤B2的主要流程示意图；
图11是实施例预测步骤的工作流程图；
图12是实施例BP神经网络训练误差示意图；
图13是实施例BP神经网络验证误差示意图；
图14是实施例预测效果对比图；
图15是轴剖面的接触点分析示意图；
图16是轴剖面的力学分析示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明：
一种基于点云数据的工件三维定位***，如图1所示，包括装配机器人1和装配机器人控制机构6，所述装配机器人1的装配端设置有姿态传感器1a和力传感器1b，装配场景中设置有深度相机1c，优选设置在装配机器人1的装配端上；
***还包括预测机构2、受力分析机构3、视觉分析机构4，所述预测机构2的数据输入端组连接姿态传感器1a的输出端和力传感器1b的输出端，所述预测机构2的数据输出端组连接受力分析机构3的数据输入端组，所述受力分析机构3的数据输入端组还连接姿态传感器1a的输出端，所述受力分析机构2的数据输出端组连接装配机器人控制机构6的第一数据输入端组，所述装配机器人控制机构6的第二数据输入端组连接视觉分析机构4的输出端组，所述视觉分析机构4的输入端组连接深度相机1c的输出端组。
所述预测机构2包括静态位姿与力/力矩关系映射模块2a、动态实际接触力/力矩数据计算模块2b、处理模块2c、数据存储模块2d，所述静态位姿与力/力矩关系映射模块2a设置有BP神经网络模型，其输入层为3个输入节点，输出层为6个输出节点；
所述处理模块2c分别与静态位姿与力/力矩关系映射模块2a、动态实际接触力/力矩数据计算模块2b、数据存储模块2d连接。
静态位姿与力/力矩关系映射模块预先分析未装配状态的装配端受力情况，以此来建立映射关系，由于此时装配件还未接触装配目标，则此时装配端所检测得到的三轴接触力数据I2a、三轴力矩数据I3a就是完全受重力和自身误差所影响的力数据，将此时的三轴位姿参数I1a与三轴接触力数据I2a、三轴力矩数据I3a建立关系，就能获知重力加上自身误差对装配端姿态的影响；
该影响在装配状态时会继续存在，也就能通过静态位姿与力/力矩关系映射模块获知装配时的装配端姿态受的影响，再由动态实际接触力/力矩数据计算模块将三轴接触力数据I2b、三轴力矩数据I3b对应扣除该影响，就能得到准确的实际接触力/力矩数据I5，从而为更精准控制机器人动作提供数据支撑。
BP神经网络能很好地建立数据之间的映射关系，一旦神经网络训练完成，就能通过输入层的输入数据直接得到输出层的输出结果，由于三轴位姿参数I1为3个参数值，因此BP神经网络的输入层只需设置为3个输入节点，而三轴接触力数据I2、三轴力矩数据I3共有6个参数值，则输出层需要设置为6个输出节点，每个节点与各参数值一一对应。
所述受力分析机构3包括判断处理模块3a、单点接触分析模块3b、两点接触分析模块3c、数据存储单元3d，所述判断处理模块3a设置有接触点判断单元、分析结果判断单元；
所述接触点判断单元的输出端组连接单点接触分析模块3b的输入端和两点接触分析模块3c的输入端，所述分析结果判断单元的输入端组连接单点接触分析模块3b的输出端和两点接触分析模块3c的输出端，所述判断处理模块3a还与数据存储单元3d双向连接。
判断处理模块用于判断接触点的数量，若为单点接触，则后续处理交于单点接触分析模块处理，若为两点接触，则转由两点接触分析模块，判断处理模块还用于根据单点接触分析模块/两点接触分析模块的受力分析结果判断装配是否需要重新调整，得到装配分析结果，数据存储模块用于存储全部过程的重要数据信息，如接触点判断结果、受力分析结果、装配分析结果等。
其中，接触点判断单元用于判断接触点的数量，分析结果判断单元用于得到装配分析结果。
所述视觉分析机构4包括点云处理模块4a、模板匹配模块4b和模板存储单元4c，所述深度相机1c的输出端组连接点云处理模块4a的输入端组，所述点云处理模块4a的输出端组连接模板匹配模块4b的点云输入端组，该模板匹配模块4b的模板输入端组连接模板存储单元4c的输出端组，所述模板匹配模块4b的输出端组连接装配机器人控制机构6的输入端组。
本实施例优选设备参数如下：
装配机器人优选型号：安川MOTOMAN MH12，控制器：DX200，负载：12kg，自由度：6，重复定位精度：±0.08mm，最大工作半径：1440mm，电源容量：1.5kVA。
该装配机器人的装配端自带有姿态传感器1a，控制器：DX200即为装配机器人控制机构；
力传感器1b优选为型号：ATI-mini45-E的六维力传感器，其主要技术参数为：量程：SI-290-10
Fx,Fy(±N) 290
Fz(±N) 580
Tx,Ty(±Nm) 10
Tz(±Nm) 10
分辨率： SI-290-10
Fx,Fy(N) 1/4
Fz(N) 1/4
Tx,Ty(Nm) 1/188
Tz(Nm) 1/376
深度相机优选型号为Ensenso N10-608，其最小工作距离：230mm，最大工作距离：580mm，焦距：6mm，分辨率(h*v)：752*480，视场角：8，f-number:1.8。
另设有处理器主机，该处理器主机上设置预测机构2、受力分析机构3、视觉分析机构4。
用以装配的工件分别为图3所示的大长径比轴孔(深长盲孔)模拟件，以及图4所示的平板框模拟件，其中，大长径比轴孔(深长盲孔)模拟件的插轴长度：110mm，插轴直径：9mm、9.6mm，套筒长度：110mm，套筒直径：10mm，单边间隙：0.5mm、0.2mm；平板框模拟件的机架模块尺寸(外框)：895mm*541mm，机架模块尺寸(内框)：810mm*460mm，单边间隙0.3mm。
此外，制作CAD工件模板时采用型号为MER-200-20GM/C的单目视觉传感器即可，其分辨率(H×V)达到1628×1236，帧率：20fps，像素尺寸：4.4μm×4.4μm，接口为GigE，满足制作模板的条件。
一种基于点云数据的工件三维定位方法，包括步骤：
A1，深度相机1c采集待装配工件的点云图，并发送该点云图的点云数据至视觉分析机构4；
A2，所述视觉分析机构4根据点云数据匹配CAD工件模板，得到装配目标位姿；
该方法为视觉转换为动作的方法A，在实际装配过程中还包括配合的动作执行的分析方法B，所述动作执行的分析方法B包括步骤：
B1，预测机构2通过三轴位姿参数I1、三轴接触力数据I2、三轴力矩数据I3预测装配过程的实际接触力/力矩数据I5；
B2，受力分析机构3根据三轴位姿参数I1、实际接触力/力矩数据I5分析装配过程中大长径比插轴与装配孔的受力情况，得出装配姿态的调整分析结果；
B3，若调整分析结果为姿态需调整，装配机器人控制机构6对应调整装配端姿态，返回B1，否则继续执行装配动作，直至完成装配。
预测机构可实时预测出装配时的受力情况，即实际接触力/力矩数据I5；受力分析机构再根据该数据分析轴与孔的受力情况，得出装配位置是否可以，装配姿态是否需要调整，从而为精确控制装配机器人动作提供数据支撑，提高装配精度和效率。
方法A先定位待装配工件上的装配点位，定位完成的目标由方法B控制装配体达到并顺利装配，两者相配合即可完成准确装配。
步骤A2包括如下子步骤：
A2.1，点云处理模块4a接收到点云数据后，分割其中工件部分的工件点云：
A2.1.1，将原始点云图像中三通道图像分离为3个单通道图像，将第3个单通道图像作为处理数据，所述第3个单通道图像为垂直于装配轴方向的图像；
A2.1.2，采用阈值分割法将处理数据中的工件底座表面分离出来；
A2.1.3，提取工件底座表面的点云数据，即得到所述工件点云；
发送所述工件点云至模板匹配模块4b；
A2.2，所述模板匹配模块4b根据所述工件点云，调取模板存储单元4c中对应的CAD工件模板；
A2.3，所述模板匹配模块4b根据CAD工件模板计算待装配工件上的装配点位；
A2.4，所述模板匹配模块4b计算所述装配点位在点云图中的坐标，即得到装配目标位姿；
为避免CAD模型中有冗余部分，提高匹配精度与提高匹配速度，采用离线处理方式，对原有的CAD工件模型进行切割，只保留相机视角内的部分，过程如图4、7所示。由此得到所需的CAD匹配模板，将其加入CAD模板库，作为匹配模板。
所述待装配工件为孔时，对应的CAD工件模板为圆底座，A2.3中计算方式为计算原底座的圆心，根据孔径即得到孔的位置，即装配孔点位。
所述待装配工件为框时，对应的CAD工件模板为框的其中一个角，A2.3中计算方式为计算该角的位置，则根据框的尺寸得到装配框点位。
本方案采用的相机类型是深度相机，采集的图像是三通道点云图，图像上每个像素点的值为(X,Y,Z),即该点在相机坐标系下的实际坐标值。点云图中不同颜色代表距离相机成像中心的远近，白色区域为未成像部分，从成像图可以看出工件由于上表面反光所以有很大部分未成像。为了更好的将工件底座上表面从点云图中分割出来，相机的拍摄方式选用垂直于工件拍摄，由于工件底座上表面与底座的安装平台在相机中Z方向存在明显差距，所以方案从点云数据中Z坐标值作为图像的初始处理数据。
为了增加算法的鲁棒性，即可以从不同距离拍摄的点云图都适用与此算法，本方案采用自动阈值分割技术，将分离阈值设为2，即Z方向上差距在2mm的点云都会相互分离，得到的图像如图5。
从阈值分割后的图像中提取出工件上表面点云部分，即图5中绿色部分，本方案将不同颜色区域面积作为筛选值，由于从不同高度拍摄底座时，底座面积在图像中呈现的大小并不一样，所以通过多次实验得到一个面积选取范围，在相机的工作距离都适用。
求取点云与CAD模板的相对位置关系，本方案中采用姿态(Pose)来描述一个坐标系相对于另一个坐标系的平移与旋转关系，如图2，其实质是一个包含三维平移量与三维旋转量的数组，由于在以欧拉角描述的方式下旋转的顺序影响到旋转的结果，故在该数组中还包含一个旋转顺序信息，其格式为[x,y,z,α,β,γ,C]。前三个元素为沿轴移动的距离，后三个元素为逆时针绕轴依次旋转的弧度制角度，最后一项用于指定旋转的顺序。通常情况下，几何变换的顺序是先旋转再平移，旋转顺序依次为z轴,y轴,x轴。
在实验过程中，先使用深度相机进行目标的识别及定位，将待装工件引导至一个较佳的装配位置，这样可以使初始装配过程做到快速性和准确性。
步骤B1如图8，包括如下步骤：
B1.1，静态位姿与力/力矩关系映射模块2a建立装配机器人装配端的静态位姿与力/力矩关系映射模型，如图9所示：
B1.1.1，建立BP神经网络，所述BP神经网络的输入层为3个输入节点，输出层为6个输出节点；
B1.1.2，利用预先采集的未装配状态的N组装配端位姿与测量力/力矩数据对J，对所述BP神经网络进行训练；
每组所述装配端位姿与测量力/力矩数据对J包括三轴位姿参数I1a、三轴接触力数据I2a、三轴力矩数据I3a，其中，三轴位姿参数I1a作为BP神经网络的3个输入参数，三轴接触力数据I2a、三轴力矩数据I3a作为BP神经网络的6个输出参数；
B1.1.3，利用预先采集的未装配状态的另外M组装配端位姿与测量力/力矩数据对J，对所述BP神经网络进行验证；
B1.1.4，验证完成后的BP神经网络即为所述静态位姿与力/力矩关系映射模型；
该静态位姿与力/力矩关系映射模型通过BP神经网络得出：装配机器人装配端的三轴位姿参数I1与重力影响的力/力矩数据I4之间的关系；
其中，所述重力影响的力/力矩数据I4包括装配端的三轴重力影响力和三轴重力影响力矩；
BP神经网络能够很好地学习三轴位姿参数I1a与三轴接触力数据I2a、三轴力矩数据I3a之间的数据映射关系，只需把多组数据对输入神经网络就能完成训练、校验，最终得到快速计算的静态位姿与力/力矩关系映射模型。
B1.2，装配过程中，处理模块2c实时接收装配机器人装配端动态的三轴位姿参数I1b、三轴接触力数据I2b、三轴力矩数据I3b；
B1.3，处理模块2c将B1.2的动态的三轴位姿参数I1b输入到静态位姿与力/力矩关系映射模块2a，获得动态的重力影响的力/力矩数据I4b；
B1.4，处理模块2c将B1.3得到的动态的重力影响的力/力矩数据I4b与步骤二的三轴接触力数据I2b、三轴力矩数据I3b输入到动态实际接触力/力矩数据计算模块2b，得到装配端的实际接触力/力矩数据I5。
由于未装配状态的受力影响是包括重力和自身误差两种因素的，因此，实际上静态位姿与力/力矩关系映射模型得到的映射关系是位姿与(重力+误差)的关系，上述重力影响的力/力矩数据I4是包含有重力与误差综合影响的数据，命名为重力影响仅因为重力的干扰更大。
通过上述设计，未装配状态的三轴位姿参数I1a、三轴接触力数据I2a、三轴力矩数据I3a可训练静态位姿与力/力矩关系映射模型，然后在装配过程中将三轴位姿参数I1b输入模型，就能得到动态的重力影响的力/力矩数据I4b，该I4b与三轴接触力数据I2b、三轴力矩数据I3b比较做差即获知实际接触力/力矩数据I5，从而为控制装配机器人的控制力提供精确计算基础。
B1.4中排除干扰计算方式为：
其中，Fx、Fy、Fz为步骤二检测到的三轴接触力数据I2b，Fx0、Fy0、Fz0为步骤三得到的动态的重力影响的力/力矩数据I4b中的三轴重力影响力，Tx、Ty、Tz为步骤二检测到的三轴力矩数据I3b，Tx0、Ty0、Tz0为步骤三得到的动态的重力影响的力/力矩数据I4b中的三轴重力影响力矩，Fcx、Fcy、Fcz、Tcx、Tcy、Tcz则为装配端的实际接触力/力矩数据I5。
步骤B2如图10，包括如下步骤：
B2.1，受力分析机构3实时接收实际接触力/力矩数据I5；
B2.2，接触点判断单元识别大长径比轴孔接触点的数量，若接触点为1个，进入B2.3，若接触点为2个，进入B2.4；
B2.3，单点接触分析模块2b根据三轴位姿参数I1、实际接触力/力矩数据I5计算轴孔单点反作用力N与单点阻力f，进入B2.5；
B2.4，两点接触分析模块2c根据三轴位姿参数I1、实际接触力/力矩数据I5计算轴孔两点反作用力N1、N2，以及两点阻力f1、f2，进入B2.6；
B2.5，分析结果判断单元分析B2.3的计算结果：
若N≥AN，f≥Af，AN为单点反作用力阈值，Af为单点阻力阈值，则分析结果为装配角度需调整，否则分析结果为正常装配；
输出分析结果；
B2.6，分析结果判断单元分析B2.4的计算结果：
若N1≥AN1，N2≥AN2，f1≥Af1，f2≥Af2，AN1、AN2为两点反作用力阈值，Af1、Af2为两点阻力阈值，则分析结果为装配角度需调整；
输出分析结果。
通过上述设计，大长径比轴与孔的装配角度准确，则分析得出的轴孔单点反作用力N与单点阻力f(或轴孔两点反作用力N1、N2，以及两点阻力f1、f2)会在一个较小区间内，此时继续装配是可以完成***动作的，但一旦超过该区间，继续***只会卡住，无法完成装配，需要重新调整***动作的方向。而上述方法是每个装配动作实时分析的，在装配过程中随采集的三轴位姿参数I1、三轴接触力数据I2、三轴力矩数据I3改变不断重复分析过程，直到最终完成装配工作。
本实施例中单点受力情况如图16中a部分所示，该剖视面即为分析面P-O-Q，B2.3计算轴孔单点反作用力N与单点阻力f的方法如下：
B2.3.1，根据装配的接触点确定分析面P-O-Q，所述分析面P-O-Q为显示有所有接触点的大长径比轴的轴剖面；
B2.3.2，分解所述三轴位姿参数I1、实际接触力/力矩数据I5，得到基于所述分析面P-O-Q的接触力Fp、Fq、力矩Tr、轴孔偏转夹角θ、轴长l、轴径d，其中，Fq为大长径比轴轴心方向的接触力，Fp为垂直于轴心方向的接触力，Tr为垂直于分析面P-O-Q的力矩；
B2.3.3，根据以下公式组，将B2.3.2分解得到的数据代入计算：
得到轴孔单点反作用力N与单点阻力f；
上述设计以轴的某一轴剖面为分析面P-O-Q，但该分析面P-O-Q上需包含有所有接触点，因此若在该分析面P-O-Q上分析得到的轴孔单点反作用力N与单点阻力f超过正常受力区间，则需要调整该分析面P-O-Q的轴姿态，调整后再分析其他角度的轴剖面是否受力正常，从而使轴完全对准孔，顺利完成装配。
近似的，本实施例中两点受力情况如图16中b部分所示，该剖视面即为分析面P-O-Q，B2.4计算轴孔两点反作用力N1、N2，以及两点阻力f1、f2的方法如下：
B2.4.1，根据装配的接触点确定分析面P-O-Q，所述分析面P-O-Q为显示有所有接触点的大长径比轴的轴剖面；
B2.4.2，分解所述三轴位姿参数I1、实际接触力/力矩数据I5，得到基于所述分析面P-O-Q的接触力Fp、Fq、力矩Tr、轴孔偏转夹角θ、轴长l、轴径d、未***的轴长h，其中，Fq为大长径比轴轴心方向的接触力，Fp为垂直于轴心方向的接触力，Tr为垂直于分析面P-O-Q的力矩；
B2.4.3，根据以下公式组，将B2.3.2分解得到的数据代入计算：
得到轴孔两点反作用力N1、N2，以及两点阻力f1、f2。
本实施例的步骤B1采用图5所示的内容实施，其中，实验采集了2000组装配端位姿与测量力/力矩数据对J，并将其中1700组用于网络训练，300组用于测试。
实验采用网络输出与真实数据的相对误差率来表现预测精确度，训练误差如图12所示，测试误差如图13所示，对接触力/力矩的预测误差为1％。
本实施例还对比了采用随机调整位姿方法的装配策略，其在***过程中对机器人末端位姿进行不断的随机调整，达到极小值后继续***。
实验过程中以坐标面字母P-O-Q替换为X-O-Z，得到对比效果如图14所示，图中红色线条表示本发明预测的装配过程接触力/力矩的变化，蓝色线条表示对比方法的装配过程接触力/力矩的变化，可明显看出经本发明准确预测后装配过程的参数更准确，使数据变化波动更小，也就更好地达到了预测数据优化装配的目的。
本发明的调整策略可以在力/力矩变大时及时减小Fx和Fy。当Fx和Fy的值发生变化时，插轴会受到孔壁的摩擦力，Fz、Tx和Ty的值也会发生变化。在整个过程中，Tz的值保持不变。从实验结果可以看出，力调节的间隔逐渐增大。这说明在每次位姿调整后，插轴的姿态会逐渐趋于最优。
通过实验结果分析，可以得出本项目的装配策略，建立了装配过程接触力/力矩与测量力之间的映射关系的预测模型，接触力/力矩预测精度优于1％；
对于大长径比长径比大于10的轴孔装配实现了实现了装配控制过程柔顺、无卡滞和逐步收敛，装配过程的力/力矩控制精度优于5N/0.5N·m；
在位置控制精度方面，末端执行器轴向位姿精度优于0.5mm和0.5度，径向二维方向位姿精度均优于0.3mm和0.2度。

Claims (7)

1.一种基于点云数据的工件三维定位***，其特征在于：装配场景中设置有深度相机(1c)，该深度相机(1c)用于采集待装配工件的点云数据，所述深度相机(1c)的输出端组连接有视觉分析机构(4)的视觉输入端组，所述视觉分析机构(4)用于计算待装配工件上装配点位的位置；
所述视觉分析机构(4)的数据输出端组连接有装配机器人控制机构(6)的输入端组，所述装配机器人控制机构(6)用于控制装配机器人(1)上的装配体装配到待装配工件上。
2.根据权利要求1所述基于点云数据的工件三维定位***，其特征在于：所述视觉分析机构(4)包括点云处理模块(4a)、模板匹配模块(4b)和模板存储单元(4c)，所述深度相机(1c)的输出端组连接点云处理模块(4a)的输入端组，所述点云处理模块(4a)的输出端组连接模板匹配模块(4b)的点云输入端组，该模板匹配模块(4b)的模板输入端组连接模板存储单元(4c)的输出端组，所述模板匹配模块(4b)的输出端组连接装配机器人控制机构(6)的输入端组。
3.一种基于点云数据的工件三维定位方法，其特征在于包括步骤：
A1，深度相机(1c)采集待装配工件的点云图，并发送该点云图的点云数据至视觉分析机构(4)；
A2，所述视觉分析机构(4)根据点云数据匹配CAD工件模板，得到装配目标位姿，即定位结果。
4.根据权利要求3所述基于点云数据的工件三维定位方法，其特征在于步骤A2包括如下内容：
A2.1，点云处理模块(4a)接收到点云数据后，分割其中工件部分的工件点云，发送所述工件点云至模板匹配模块(4b)；
A2.2，所述模板匹配模块(4b)根据所述工件点云，调取模板存储单元(4c)中对应的CAD工件模板；
A2.3，所述模板匹配模块(4b)根据CAD工件模板计算待装配工件上的装配点位；
A2.4，所述模板匹配模块(4b)计算所述装配点位在点云图中的坐标，即得到装配目标位姿。
5.根据权利要求4所述基于点云数据的工件三维定位方法，其特征在于A2.1中分割工件点云的方法为：
A2.1.1，将原始点云图像中三通道图像分离为3个单通道图像，将第3个单通道图像作为处理数据，所述第3个单通道图像为垂直于装配轴方向的图像；
A2.1.2，采用阈值分割法将处理数据中的工件底座表面分离出来；
A2.1.3，提取工件底座表面的点云数据，即得到所述工件点云。
6.根据权利要求5所述基于点云数据的工件三维定位方法，其特征在于，所述待装配工件为孔，则对应的CAD工件模板为圆底座，A2.3中计算方式为计算原底座的圆心，根据孔径即得到孔的位置，即装配孔点位。
7.根据权利要求5所述基于点云数据的工件三维定位方法，其特征在于，所述待装配工件为框，则对应的CAD工件模板为框的其中一个角，A2.3中计算方式为计算该角的位置，则根据框的尺寸得到装配框点位。
CN201910084044.XA 2019-01-29 2019-01-29 基于点云数据的工件三维定位***及方法 Active CN109940604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910084044.XA CN109940604B (zh) 2019-01-29 2019-01-29 基于点云数据的工件三维定位***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910084044.XA CN109940604B (zh) 2019-01-29 2019-01-29 基于点云数据的工件三维定位***及方法

Publications (2)

Publication Number Publication Date
CN109940604A true CN109940604A (zh) 2019-06-28
CN109940604B CN109940604B (zh) 2021-10-15

Family

ID=67006580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910084044.XA Active CN109940604B (zh) 2019-01-29 2019-01-29 基于点云数据的工件三维定位***及方法

Country Status (1)

Country Link
CN (1) CN109940604B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111843411A (zh) * 2020-06-16 2020-10-30 广东工业大学 一种用于易变形导线识别定位与抓取的装置及方法
WO2021208230A1 (zh) * 2020-04-15 2021-10-21 上海工程技术大学 智能装配控制***
CN114049355A (zh) * 2022-01-14 2022-02-15 杭州灵西机器人智能科技有限公司 一种散乱工件的识别标注方法、***和装置
CN115922732A (zh) * 2023-01-05 2023-04-07 歌尔股份有限公司 一种fpc自动化组装控制方法、装置及***、电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880737A (zh) * 2012-07-30 2013-01-16 北京信息科技大学 基于柔性装配中的工件配准方法及***
CN104865897A (zh) * 2015-04-10 2015-08-26 深圳市圆梦精密技术研究院 曲面零件的加工方法及曲面零件的加工设备
CN105563481A (zh) * 2014-11-11 2016-05-11 沈阳新松机器人自动化股份有限公司 一种用于轴孔装配的机器人视觉引导方法
CN107576503A (zh) * 2017-09-01 2018-01-12 西北工业大学 航空发动机高精度装配质量检测机器人***
US20180085923A1 (en) * 2016-09-29 2018-03-29 Seiko Epson Corporation Robot control device, robot, and robot system
CN107883873A (zh) * 2017-11-07 2018-04-06 北京工业大学 基于3d扫描的装配部件误差在线检测***及方法
CN107953336A (zh) * 2017-12-27 2018-04-24 北京理工大学 机械手超声无损检测中被测件装卡偏差的修正方法及***
CN108229009A (zh) * 2017-12-29 2018-06-29 广州广汽荻原模具冲压有限公司 设计装配零件模型的生成方法、装置及***
CN109272523A (zh) * 2018-08-13 2019-01-25 西安交通大学 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880737A (zh) * 2012-07-30 2013-01-16 北京信息科技大学 基于柔性装配中的工件配准方法及***
CN105563481A (zh) * 2014-11-11 2016-05-11 沈阳新松机器人自动化股份有限公司 一种用于轴孔装配的机器人视觉引导方法
CN104865897A (zh) * 2015-04-10 2015-08-26 深圳市圆梦精密技术研究院 曲面零件的加工方法及曲面零件的加工设备
US20180085923A1 (en) * 2016-09-29 2018-03-29 Seiko Epson Corporation Robot control device, robot, and robot system
CN107576503A (zh) * 2017-09-01 2018-01-12 西北工业大学 航空发动机高精度装配质量检测机器人***
CN107883873A (zh) * 2017-11-07 2018-04-06 北京工业大学 基于3d扫描的装配部件误差在线检测***及方法
CN107953336A (zh) * 2017-12-27 2018-04-24 北京理工大学 机械手超声无损检测中被测件装卡偏差的修正方法及***
CN108229009A (zh) * 2017-12-29 2018-06-29 广州广汽荻原模具冲压有限公司 设计装配零件模型的生成方法、装置及***
CN109272523A (zh) * 2018-08-13 2019-01-25 西安交通大学 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021208230A1 (zh) * 2020-04-15 2021-10-21 上海工程技术大学 智能装配控制***
CN111843411A (zh) * 2020-06-16 2020-10-30 广东工业大学 一种用于易变形导线识别定位与抓取的装置及方法
CN111843411B (zh) * 2020-06-16 2021-11-26 广东工业大学 一种用于易变形导线识别定位与抓取的装置及方法
CN114049355A (zh) * 2022-01-14 2022-02-15 杭州灵西机器人智能科技有限公司 一种散乱工件的识别标注方法、***和装置
CN114049355B (zh) * 2022-01-14 2022-04-19 杭州灵西机器人智能科技有限公司 一种散乱工件的识别标注方法、***和装置
CN115922732A (zh) * 2023-01-05 2023-04-07 歌尔股份有限公司 一种fpc自动化组装控制方法、装置及***、电子设备

Also Published As

Publication number Publication date
CN109940604B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN109940605A (zh) 融合三维视觉与接触力分析的柔顺装配***及方法
CN109940606A (zh) 基于点云数据的机器人引导***及方法
CN109940604A (zh) 基于点云数据的工件三维定位***及方法
US20200238525A1 (en) System and method for automatic hand-eye calibration of vision system for robot motion
JP7207851B2 (ja) 制御方法、ロボットシステム、物品の製造方法、プログラム及び記録媒体
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
JP4347386B2 (ja) 加工用ロボットプラグラムの作成装置
KR102280663B1 (ko) 비전 가이드 로봇 암 교정 방법
JP5606241B2 (ja) 人間型ロボットのための視覚認知システムおよび方法
JP6964989B2 (ja) 制御方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体
TWI670153B (zh) 機器人及機器人系統
TWI650626B (zh) 基於三維影像之機械手臂加工方法及系統
EP1555508B1 (en) Measuring system
EP2608938B1 (en) Vision-guided alignment system and method
JP3946711B2 (ja) ロボットシステム
CN111331592A (zh) 机械手臂工具中心点校正装置及其方法以及机械手臂***
CN109658460A (zh) 一种机械臂末端相机手眼标定方法和***
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
US20130054030A1 (en) Object gripping apparatus, object gripping method, and object gripping program
CN109740270A (zh) 基于接触力与力矩预测和分析的大长径比轴孔装配***及方法
CN116079732A (zh) 基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法
CN114001651B (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN109773589B (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
Zhang et al. Vision-guided robotic assembly using uncalibrated vision
JPH06175716A (ja) マニピュレータの物体把持作業における位置・姿勢補正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant