CN112862704B - 一种基于3d视觉的喷胶及喷胶质量检测*** - Google Patents
一种基于3d视觉的喷胶及喷胶质量检测*** Download PDFInfo
- Publication number
- CN112862704B CN112862704B CN202110089832.5A CN202110089832A CN112862704B CN 112862704 B CN112862704 B CN 112862704B CN 202110089832 A CN202110089832 A CN 202110089832A CN 112862704 B CN112862704 B CN 112862704B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- glue
- workpiece
- cloud data
- glue spraying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003292 glue Substances 0.000 title claims abstract description 236
- 238000005507 spraying Methods 0.000 title claims abstract description 134
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 69
- 230000008569 process Effects 0.000 claims abstract description 36
- 238000001914 filtration Methods 0.000 claims description 33
- 230000005484 gravity Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 16
- 239000007921 spray Substances 0.000 claims description 10
- 238000012797 qualification Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 7
- 238000011897 real-time detection Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004026 adhesive bonding Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Spray Control Apparatus (AREA)
Abstract
本发明公开了一种基于3D视觉的喷胶及喷胶质量检测***,包括:上位机、机器人控制器、喷胶机器人、胶枪和3D相机;其中,上位机通过机器人控制器控制喷胶机器人带动3D相机移动,对工件进行扫描,获取工件三维点云,并基于工件对应的工件点云数据处理模板对获取的三维点云进行处理,得到目标喷胶轨迹,喷胶机器人带动胶枪按照目标喷胶轨迹移动,完成待喷胶工件的喷胶;并在喷胶过程中,通过喷胶机器人带动3D相机移动,实时对胶路进行扫描,获取胶路的轮廓信息,并基于获取的胶路的轮廓信息实时判断当前胶路质量。本发明***可实现多种类工件喷胶加工的快速转换,同时实现胶路质量实时检测。
Description
技术领域
本发明涉及工件喷胶技术领域,特别涉及一种基于3D视觉的喷胶及喷胶质量检测***。
背景技术
在当前制造业的很多领域都离不开喷胶加工技术,目前喷胶加工技术使用较多的有鞋底喷胶、手机喷胶等,这些喷胶加工大都是使用示教法示教机器人进行喷胶加工,这种方式不仅精度不高,而且对操作人员的专业水平要求较高;同时示教的方法不仅费时费力,并且会造成生产线加工柔性降低(由于产品的更新换代,每次加工新的工件都需要重新调整技术参数进行示教,难以实现多种类工件加工的快速转换);除此之外,通过示教法对工件进行喷胶加工之后,没有同步对胶路的质量进行检测,无法实时监控工件喷胶加工质量。
专利公布号为CN111035115A的专利申请公布了一种基于3D视觉鞋底涂胶路径规划方法和装置,根据高斯映射的原理,提取满足预定法矢特征的点云数据,作为鞋底涂胶轮廓曲线离散点集。使用轮廓线的方法能解决轮廓部分的涂胶,但是对于非轮廓部分无法正确查找到目标的喷胶轨迹。
专利公布号为CN111185330A的专利申请公布了一种3D视觉大底喷胶工作站及其使用方法,该专利申请主要设计了清洗装置用来清洗出胶通道的残留胶水。使用的3D轮廓扫描仪获取工件表面轮廓,没有解决多种类工件喷胶加工的快速转换以及对胶路质量实时检测的问题。
发明内容
本发明提供了一种基于3D视觉的喷胶及喷胶质量检测***,以解决在工件喷胶过程中,现有设备无法实现对多种类的工件进行喷胶加工的快速转换以及无法实时对胶路质量进行实时检测的技术问题。
为解决上述技术问题,本发明提供了如下技术方案:
一种基于3D视觉的喷胶及喷胶质量检测***,所述***包括:上位机、机器人控制器、喷胶机器人、胶枪以及3D相机;其中,
所述胶枪和3D相机均安装在所述喷胶机器人上,所述机器人控制器与所述喷胶机器人电连接,所述上位机与所述机器人控制器及3D相机分别通信连接;
所述上位机内存储有每一待喷胶工件的工件点云数据处理模板;其中,每一所述工件点云数据处理模板中分别包括相应待喷胶工件对应的工件点云数据的视点特征直方图VFH特征和待喷胶工件对应的预设点云数据处理算法参数;
在喷胶开始前,所述上位机用于通过所述机器人控制器控制所述喷胶机器人带动所述3D相机移动,对待喷胶工件进行扫描,获取待喷胶工件的三维点云数据,在获取待喷胶工件的三维点云数据后,所述上位机基于所述待喷胶工件对应的工件点云数据处理模板对获取的三维点云数据进行处理,得到待喷胶工件的目标喷胶轨迹,并基于所述目标喷胶轨迹通过所述机器人控制器控制所述喷胶机器人带动所述胶枪按照所述目标喷胶轨迹移动,完成待喷胶工件的喷胶;
在喷胶过程中,所述上位机用于通过所述机器人控制器控制所述喷胶机器人带动所述3D相机移动,实时对胶路进行扫描,获取胶路的轮廓信息,并基于获取的胶路的轮廓信息判断当前胶路的质量,并对胶路质量判断结果进行存储。
进一步地,所述喷胶及喷胶质量检测***还包括交换机;
所述交换机分别与所述上位机、所述机器人控制器以及所述3D相机通过网线连接,以实现所述上位机与所述机器人控制器及所述3D相机之间的通信。
进一步地,所述喷胶及喷胶质量检测***还包括3D相机安装板;
所述3D相机安装板安装在所述胶枪上,所述3D相机安装在所述3D相机安装板上,且所述3D相机的安装方向是其视野朝下。
进一步地,所述上位机中设置有工件点云数据处理模板库,所述工件点云数据处理模板存储在所述工件点云数据处理模板库中。
进一步地,所述工件点云数据处理模板库的建立过程,包括:
通过所述3D相机获取待喷胶工件的三维点云数据;
设置直通滤波参数,去除工件三维点云数据的无用点,得到第一点云数据;
设置离散点滤波参数,去除所述第一点云数据的离散点得到第二点云数据;
设置边缘提取参数,基于所述第二点云数据,提取待喷胶工件边缘轨迹点;
设置重心法轨迹点偏移参数,对所述待喷胶工件边缘轨迹点进行偏移;
设置k近邻排序算法参数,对偏移后的轨迹点进行排序得到目标喷胶轨迹;
计算所述第一点云数据的VFH特征;
对待喷胶工件对应的三维点云数据的VFH特征、直通滤波参数、离散点滤波参数、边缘提取参数、重心法轨迹点偏移参数以及k近邻排序算法参数进行存储,生成待喷胶工件对应的工件点云数据处理模板,并将所生成的待喷胶工件的工件点云数据处理模板存储至所述工件点云数据处理模板库中。
进一步地,所述目标喷胶轨迹的获取过程,包括:
通过所述3D相机获取待喷胶工件的三维点云数据;
计算待喷胶工件的三维点云数据的VFH特征,通过待喷胶工件的三维点云数据的VFH特征在所述模板库中查找对应的工件点云数据处理模板;
读取所述工件点云数据处理模板中的直通滤波参数、离散点滤波参数、边缘提取参数、重心法轨迹点偏移参数以及k近邻排序算法参数;
根据读取的直通滤波参数,对待喷胶工件的三维点云数据进行直通滤波;
根据读取的离散点滤波参数,对直通滤波后的点云数据进行离散点去除;
根据读取的边缘提取参数,对去除离散点后的点云数据进行边缘提取;
根据读取的重心法轨迹点偏移参数,对提取的边缘轨迹点进行偏移;
根据读取的k近邻排序算法参数,对偏移后的待喷胶工件的边缘轨迹点进行k近邻排序,并根据所述喷胶机器人手眼标定的标定结果,将排序后的点云数据的坐标转换为所述喷胶机器人工具坐标系下的坐标,得到目标喷胶轨迹。
进一步地,工件边缘轨迹点的提取过程,包括:
计算点云数据中的各个点的法向量和曲率半径;
通过相邻点的法向量和曲率半径的变化量,得到点云数据的边缘点;
对工件的边缘轨迹点进行偏移的过程,包括:
求解边缘轨迹点云点集的重心O;
设置边缘轨迹点云偏移的距离m;
计算边缘轨迹点云上任一空间点P和重心O的距离L;
沿着OP的方向寻找得到距离P点距离为L+m的一点Q,在工件三维点云数据中寻找Q的最近邻点E,最近邻点E即为P点的偏移点;
对边缘轨迹点进行k近邻排序的过程,包括:
首先,在偏移之后的点云数据中的第一个点周围搜索最近邻点,记为排序的第二个点;继续对搜索到的排序的第二个点搜索下一个近邻点,同时被搜索后的点不再进行搜索,依次将待排序的边缘轨迹点中所有的点进行排序。
进一步地,所述基于获取的胶路的轮廓信息判断当前胶路的质量,包括:
对3D相机获取的胶路的轮廓点进行圆拟合,提取圆心坐标和圆弧形状;
对比路径中各个位置的圆弧形状;
将各个位置的圆心点云集合与边缘点云进行匹准;
根据圆弧形状对比度、边缘点云匹准度判断胶路的质量。
进一步地,所述对3D相机获取的胶路的轮廓点进行圆拟合,提取圆心坐标和圆弧形状,包括:
对3D相机获取的胶路的轮廓点进行最小二乘法拟合,得到圆弧的半径r和圆心;
所述对比路径中各个位置的圆弧形状,包括:
将各个位置的圆弧的半径r进行对比,计算所有位置圆弧半径r的方差;
所述将各个位置的圆心点云集合与边缘点云进行匹准,包括:
将各个位置的圆心组成点云集合,采用ICP匹准算法,将各个位置的圆心组成的点云集合与边缘点云进行匹准;
所述根据圆弧形状对比度、边缘点云匹准度判断胶路的质量,包括:
以各个位置圆弧半径的方差值和点云的匹准度作为点胶质量的评价标准,判断胶路的质量。
进一步地,所述对胶路质量判断结果进行存储,包括:
将胶路的各个位置圆弧半径的方差值和点云的匹准度以文件形式存放于所述上位机中,并在文件中加入当前工件相关的批次号及喷胶时间信息,以便后期可溯性查询,以及统计喷胶设备对工件喷胶的合格率,并以此为依据对喷胶设备进行监测,通过对喷胶设备相关参数进行调整来提高工件喷胶加工合格率。
本发明提供的技术方案带来的有益效果至少包括:
本发明的***通过提前采集工件的三维点云,建立工件点云数据处理模板库,在实际获取工件的点云后,根据模板库中的点云处理方法对工件点云进行处理,完成工件目标喷胶轨迹的获取,并在机器人控制胶枪喷胶过程中,同时获取胶路的点云轮廓信息,上位机同步对轮廓信息进行处理,完成胶路质量的实时检测。为工件喷胶加工领域提供了一种多种类工件喷胶加工的快速转换***,同时实现了胶路质量实时检测,达到精确喷胶和胶路质量实时检测的功能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于3D视觉的喷胶及喷胶质量检测***的***结构组成示意图;
图2为本发明实施例提供的工件点云数据处理模板库建立方法流程图;
图3为本发明实施例提供的目标喷胶轨迹获取方法流程图;
图4为本发明实施例提供的胶路质量实时检测方法流程图;
图5为本发明实施例提供的智能眼镜鼻托的目标喷胶轨迹获取示意图。
附图标记说明:
1、上位机;2、交换机;3、机器人控制器;4、网线;5、喷胶机器人;
6、胶枪;7、3D相机安装板;8、3D相机。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
针对现有设备无法实现对多种类的工件进行喷胶加工的快速转换以及无法实时对胶路质量进行实时检测的技术问题,本实施例提供了一种设计合理、结构简单、易于操作、精度高、稳定性好的基于3D视觉的喷胶及喷胶质量检测***,如图1所示,本实施例的***包括:上位机1、交换机2、机器人控制器3、网线4、喷胶机器人5、胶枪6、3D相机安装板7以及3D相机8。
所述交换机2分别与所述上位机1、所述机器人控制器3以及所述3D相机8通过网线连接,以实现所述上位机1与所述机器人控制器3及所述3D相机8之间的通信。所述胶枪6通过螺栓安装在所述喷胶机器人5的末端,所述3D相机安装板7通过螺栓安装在所述胶枪6上,所述3D相机8通过螺栓安装在所述3D相机安装板7上,且所述3D相机8的安装方向是其视野朝下。具体地,在本实施例中,所述3D相机8为线激光3D相机,当然,可以理解的是,本实施例并不限定所述3D相机8的具体类型。
所述机器人控制器3与所述喷胶机器人5电连接,用于控制所述喷胶机器人5的运动以及接收所述喷胶机器人5的位姿信息,所述喷胶机器人5在喷胶前能够携带所述3D相机8完成对待喷胶工件的扫描,同时,所述喷胶机器人5在喷胶过程中能够携带所述3D相机完成对胶路的扫描。所述上位机1与所述机器人控制器3及3D相机8分别通信连接;所述上位机1通过TCP协议能够与所述机器人控制器3和所述3D相机8进行通信,所述上位机1能够获取所述机器人控制器3内的喷胶机器人5的位姿信息,能够控制所述3D相机8采集数据以及接收所述3D相机8采集到的工件点云数据,并实时显示工件的点云。
所述上位机1内存储有每一待喷胶工件的工件点云数据处理模板;其中,每一工件点云数据处理模板中分别包括相应待喷胶工件对应的工件点云数据的视点特征直方图VFH特征和待喷胶工件对应的预设点云数据处理算法参数;
在喷胶开始前,所述上位机用于通过所述机器人控制器控制所述喷胶机器人带动所述3D相机移动,对待喷胶工件进行扫描,获取待喷胶工件的三维点云数据,在获取待喷胶工件的三维点云数据后,所述上位机基于所述待喷胶工件对应的工件点云数据处理模板对获取的三维点云数据进行处理,得到待喷胶工件的目标喷胶轨迹,并基于所述目标喷胶轨迹通过所述机器人控制器控制所述喷胶机器人带动所述胶枪按照所述目标喷胶轨迹移动,完成待喷胶工件的喷胶;
在喷胶过程中,所述上位机用于通过所述机器人控制器控制所述喷胶机器人带动所述3D相机移动,实时对胶路进行扫描,获取胶路的轮廓信息,并基于获取的胶路的轮廓信息判断当前胶路的质量,并对胶路质量判断结果进行存储。
进一步地,所述上位机1中设置有工件点云数据处理模板库,所述工件点云数据处理模板存储在所述工件点云数据处理模板库中。所述工件点云数据处理模板库的建立过程如图2所示,包括以下步骤:
S101,通过所述3D相机8获取待喷胶工件的三维点云数据;
具体地,在本实施例中,上述步骤的实现过程为:所述上位机1同时发送指令给所述机器人控制器3和所述3D相机8,所述机器人控制器3控制所述喷胶机器人5运动,所述喷胶机器人5运动的同时带动所述3D相机8移动,所述3D相机采集工件的点云,所述上位机1实时读取所述3D相机8的点云数据。
需要说明的是,通过所述3D相机8采集到的点云数据是整个工件的表面点云,但在实际喷胶过程中,喷胶的位置只在工件的某个区域,由于线激光3D相机相较于其他相机,精度会更高,因此工件的整个点云数据量很大,会造成点云处理速度慢。因此,需要采用下列处理步骤对获取的点云数据进行处理。
S102,设置x,y,z方向直通滤波参数,去除工件三维点云数据的无用点,得到第一点云数据;
需要说明的是,通过设置直通滤波的参数能够快速去除与喷胶路径无关的点云,保留所需要的点云,从而加快后续的点云处理速度。
S103,设置离散点滤波参数,去除所述第一点云数据的离散点得到第二点云数据;
需要说明的是,通过设置直通滤波的相关参数,获取到喷胶位置的点云后,由于光照、垂直面的影响,处理后的工件点云会有大量离散点,这些离散点会影响点云处理的准确度和效率,通过调节离散点滤波器的参数可以去除工件点云数据中的离散点,得到没有离散点的工件点云。
S104,设置边缘提取参数,基于所述第二点云数据,提取待喷胶工件边缘轨迹点;
需要说明的是,通过设置参数对离散点滤波后的工件点云进行边缘提取,点云的边缘是饱含信息量的一部分。具体为:首先对点云中的各个点计算法向量和曲率半径,通过相邻点的法向量和曲率半径的变化量得到点云的边缘点。
S105,设置重心法轨迹点偏移参数,对所述待喷胶工件边缘轨迹点进行基于重心法的轨迹点偏移;
需要说明的是,边缘线并非喷胶的目标路径,而是需要对边缘点进行偏移;具体地,上述步骤的实现过程如下:
寻找求解边缘点云点集的重心记为O,设置边缘点云偏移的距离为m,取边缘点云上一空间点为P,计算P点和重心O的距离L,沿着OP的方向寻找得到距离P点距离为L+m的一点Q,在S103的工件点云中寻找Q的最近邻点E,该点即为P点的偏移点,同理,其他边缘点也可通过该方法找到对应的偏移点。
S106,设置k近邻排序算法参数,对偏移后的轨迹点进行排序,得到待喷胶工件的目标喷胶轨迹;
具体地,上述步骤的实现过程如下:
根据偏移之后的点云中的第一个点开始进行排序,首先在该点周围搜索最近邻点,记为排序的第二个点,继续对该点搜索下一个近邻点,同时被搜索后的点不再进行搜索,依次将点云中所有的点进行排序。
S107,计算工件三维点云数据的VFH特征。
S108,对待喷胶工件对应的三维点云数据的VFH特征、直通滤波参数、离散点滤波参数、边缘提取参数、重心法轨迹点偏移参数以及k近邻排序算法参数进行存储,生成待喷胶工件对应的工件点云数据处理模板,并将所生成的待喷胶工件的工件点云数据处理模板存储至所述工件点云数据处理模板库中。
需要说明的是,本实施例是将上述信息保存在pcd格式的文件中,文件头部包含VFH标志位,文件数据保存在尾部。当然,可以理解的是,上述数据也可以保存在数据库中,本实施例并不限定上述信息的具体存储形式。
进一步地,如图3所示,所述目标喷胶轨迹的获取过程,包括以下步骤:
S201,通过所述3D相,8获取待喷胶工件的三维点云数据;
S202,计算待喷胶工件的三维点云数据的VFH特征,通过待喷胶工件的三维点云数据的VFH特征在所述模板库中查找对应的工件点云数据处理模板;
S203,读取所述工件点云数据处理模板中的直通滤波参数、离散点滤波参数、边缘提取参数、重心法轨迹点偏移参数以及k近邻排序算法参数;
S204,根据读取的直通滤波参数,对待喷胶工件的三维点云数据进行x,y,z方向直通滤波;
S205,根据读取的离散点滤波参数对直通滤波后的点云进行离散点去除;
S206,根据读取的边缘提取参数对去除离散点后的点云数据进行边缘提取;
S207,根据读取的重心法轨迹点偏移参数,对提取的边缘轨迹点进行偏移;
S208,根据读取的k近邻排序算法参数,对偏移后的待喷胶工件的边缘轨迹点进行k近邻排序,并根据喷胶机器人手眼标定的标定结果,将排序后的点云数据的坐标转换为所述喷胶机器人工具坐标系下的坐标,得到目标喷胶轨迹。
需要说明的是,S201~S208是根据采集到的工件点云在模板库中查找相同点云,查找到模板库中相同的点云后,读取模板库的处理参数文件后,根据处理参数对工件点云进行处理。点云处理步骤与S102~S106相同,故在此不再赘述。
下面,以智能眼镜鼻托(以下简称鼻托)喷胶路径获取为例,对本实施例的工件喷胶路径获取效果进行展示,鼻托的喷胶路径获效果如图5所示。
进一步地,如图4所示,胶路质量实时检测方法,包括以下步骤:
S301,所述3D相机8跟随喷胶机器人5移动同步获取胶路的三维轮廓点;
具体地,上述步骤的实现过程如下:
所述上位机1将提取出的喷胶点信息发送给所述机器人控制器3,所述机器人控制器3控制所述喷胶机器人5运动并开始喷胶,所述3D相机8跟随所述胶枪6同步运动,所述上位机1实时从所述3D相机8中读取胶路的轮廓信息。
S302,对轮廓点进行圆拟合,提取圆心坐标和圆弧形状;
具体地,上述步骤的实现过程如下:
上位机对采集到的轮廓点进行最小二乘法拟合,得到圆弧的半径r和圆心。
S303,对比路径中各个位置的圆弧形状;
具体地,上述步骤的实现过程如下:
将各个位置的圆弧的半径r进行对比,计算所有位置圆弧半径r的方差。
S304,将各个位置的圆心点云集合与边缘点云进行匹准;
具体地,上述步骤的实现过程如下:
根据S302得到的圆心的坐标,将各个位置的圆心组成点云集合,采用ICP匹准算法将该点云集合与边缘点云进行匹准。
S305,根据圆弧形状对比度、边缘点云匹准度判断胶路的优劣程度;
具体地,上述步骤的实现过程如下:
根据各个位置圆弧半径的方差值和点云的匹准度作为点胶质量的评价标准,以此实现对胶路优劣程度的判断。
S306,将胶路的优劣程度存储在上位机中。
具体地,上述步骤的实现过程如下:
将胶路的各个位置圆弧半径的方差值和点云的匹准度以文件形式存放于所述上位机1中,并可以在文件中加入该工件相关的批次号及喷胶时间等信息,以便后期可溯性查询,以及统计喷胶设备对工件喷胶的合格率,并可以以此为依据对喷胶设备进行监测,通过对相关参数进行调整来提高工件喷胶合格率。
综上,本实施例提供了一种设计合理、结构简单、易于操作、精度高、稳定性好的基于3D视觉的喷胶及喷胶质量检测***,本实施例的方案能够减少大量点云数据,提高点云处理的效率,同时在喷胶过程中实时检测胶路,保障胶路的质量。建立工件模板库的方法能够满足多种类工件喷胶加工快速转换的要求,提高了生产线的柔性,降低了对设备操作人员较高专业程度的依赖性。
此外,需要说明的是,本发明可提供为方法、装置或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是,以上所述是本发明优选实施方式,应当指出,尽管已描述了本发明优选实施例,但对于本技术领域的技术人员来说,一旦得知了本发明的基本创造性概念,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
Claims (6)
1.一种基于3D视觉的喷胶及喷胶质量检测***,其特征在于,包括:上位机、机器人控制器、喷胶机器人、胶枪以及3D相机;其中,
所述胶枪和3D相机均安装在所述喷胶机器人上,所述机器人控制器与所述喷胶机器人电连接,所述上位机与所述机器人控制器及3D相机分别通信连接;
所述上位机内存储有每一待喷胶工件的工件点云数据处理模板;其中,每一所述工件点云数据处理模板中分别包括相应待喷胶工件对应的工件点云数据的视点特征直方图VFH特征和待喷胶工件对应的预设点云数据处理算法参数;
在喷胶开始前,所述上位机用于通过所述机器人控制器控制所述喷胶机器人带动所述3D相机移动,对待喷胶工件进行扫描,获取待喷胶工件的三维点云数据,在获取待喷胶工件的三维点云数据后,所述上位机基于所述待喷胶工件对应的工件点云数据处理模板对获取的三维点云数据进行处理,得到待喷胶工件的目标喷胶轨迹,并基于所述目标喷胶轨迹通过所述机器人控制器控制所述喷胶机器人带动所述胶枪按照所述目标喷胶轨迹移动,完成待喷胶工件的喷胶;
在喷胶过程中,所述上位机用于通过所述机器人控制器控制所述喷胶机器人带动所述3D相机移动,实时对胶路进行扫描,获取胶路的轮廓信息,并基于获取的胶路的轮廓信息判断当前胶路的质量,并对胶路质量判断结果进行存储;
所述工件点云数据处理模板库的建立过程,包括:
通过所述3D相机获取待喷胶工件的三维点云数据;
设置直通滤波参数,去除工件三维点云数据的无用点,得到第一点云数据;
设置离散点滤波参数,去除所述第一点云数据的离散点,得到第二点云数据;
设置边缘提取参数,基于所述第二点云数据,提取待喷胶工件边缘轨迹点;
设置重心法轨迹点偏移参数,对所述待喷胶工件边缘轨迹点进行偏移;
设置k近邻排序算法参数,对偏移后的轨迹点进行排序,得到目标喷胶轨迹;
计算所述第一点云数据的VFH特征;
对待喷胶工件对应的三维点云数据的VFH特征、直通滤波参数、离散点滤波参数、边缘提取参数、重心法轨迹点偏移参数以及k近邻排序算法参数进行存储,生成待喷胶工件对应的工件点云数据处理模板,并将所生成的待喷胶工件的工件点云数据处理模板存储至所述工件点云数据处理模板库中;
所述目标喷胶轨迹的获取过程,包括:
通过所述3D相机获取待喷胶工件的三维点云数据;
计算待喷胶工件的三维点云数据的VFH特征,通过待喷胶工件的三维点云数据的VFH特征在所述模板库中查找对应的工件点云数据处理模板;
读取所述工件点云数据处理模板中的直通滤波参数、离散点滤波参数、边缘提取参数、重心法轨迹点偏移参数以及k近邻排序算法参数;
根据读取的直通滤波参数,对待喷胶工件的三维点云数据进行直通滤波;
根据读取的离散点滤波参数,对直通滤波后的点云数据进行离散点去除;
根据读取的边缘提取参数,对去除离散点后的点云数据进行边缘提取;
根据读取的重心法轨迹点偏移参数,对提取的边缘轨迹点进行偏移;
根据读取的k近邻排序算法参数,对偏移后的待喷胶工件的边缘轨迹点进行k近邻排序,并根据所述喷胶机器人手眼标定的标定结果,将排序后的点云数据的坐标转换为所述喷胶机器人工具坐标系下的坐标,得到目标喷胶轨迹;
所述基于获取的胶路的轮廓信息判断当前胶路的质量,包括:
对3D相机获取的胶路的轮廓点进行圆拟合,提取圆心坐标和圆弧形状;
对比路径中各个位置的圆弧形状;
将各个位置的圆心点云集合与边缘点云进行匹准;
根据圆弧形状对比度、边缘点云匹准度判断胶路的质量;
所述对3D相机获取的胶路的轮廓点进行圆拟合,提取圆心坐标和圆弧形状,包括:
对3D相机获取的胶路的轮廓点进行最小二乘法拟合,得到圆弧的半径r和圆心;
所述对比路径中各个位置的圆弧形状,包括:
将各个位置的圆弧的半径r进行对比,计算所有位置圆弧半径r的方差;
所述将各个位置的圆心点云集合与边缘点云进行匹准,包括:
将各个位置的圆心组成点云集合,采用ICP匹准算法,将各个位置的圆心组成的点云集合与边缘点云进行匹准;
所述根据圆弧形状对比度、边缘点云匹准度判断胶路的质量,包括:
以各个位置圆弧半径的方差值和点云的匹准度作为点胶质量的评价标准,判断胶路的质量。
2.如权利要求1所述的基于3D视觉的喷胶及喷胶质量检测***,其特征在于,所述喷胶及喷胶质量检测***还包括交换机;
所述交换机分别与所述上位机、所述机器人控制器以及所述3D相机通过网线连接,以实现所述上位机与所述机器人控制器及所述3D相机之间的通信。
3.如权利要求1所述的基于3D视觉的喷胶及喷胶质量检测***,其特征在于,所述喷胶及喷胶质量检测***还包括3D相机安装板;
所述3D相机安装板安装在所述胶枪上,所述3D相机安装在所述3D相机安装板上,且所述3D相机的安装方向是其视野朝下。
4.如权利要求1所述的基于3D视觉的喷胶及喷胶质量检测***,其特征在于,所述上位机中设置有工件点云数据处理模板库,所述工件点云数据处理模板存储在所述工件点云数据处理模板库中。
5.如权利要求1所述的基于3D视觉的喷胶及喷胶质量检测***,其特征在于,工件边缘轨迹点的提取过程,包括:
计算点云数据中的各个点的法向量和曲率半径;
通过相邻点的法向量和曲率半径的变化量,得到点云数据的边缘点;
对工件的边缘轨迹点进行偏移的过程,包括:
求解边缘轨迹点云点集的重心O;
设置边缘轨迹点云偏移的距离m;
计算边缘轨迹点云上任一空间点P和重心O的距离L;
沿着OP的方向寻找得到距离P点距离为L+m的一点Q,在工件三维点云数据中寻找Q的最近邻点E,最近邻点E即为P点的偏移点;
对边缘轨迹点进行k近邻排序的过程,包括:
首先,在偏移之后的点云数据中的第一个点周围搜索最近邻点,记为排序的第二个点;继续对搜索到的排序的第二个点搜索下一个近邻点,同时被搜索后的点不再进行搜索,依次将待排序的边缘轨迹点中所有的点进行排序。
6.如权利要求1所述的基于3D视觉的喷胶及喷胶质量检测***,其特征在于,所述对胶路质量判断结果进行存储,包括:
将胶路的各个位置圆弧半径的方差值和点云的匹准度以文件形式存放于所述上位机中,并在文件中加入当前工件相关的批次号及喷胶时间信息,以便后期可溯性查询,以及统计喷胶设备对工件喷胶的合格率,并以此为依据对喷胶设备进行监测,通过对喷胶设备相关参数进行调整来提高工件喷胶加工合格率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110089832.5A CN112862704B (zh) | 2021-01-22 | 2021-01-22 | 一种基于3d视觉的喷胶及喷胶质量检测*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110089832.5A CN112862704B (zh) | 2021-01-22 | 2021-01-22 | 一种基于3d视觉的喷胶及喷胶质量检测*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112862704A CN112862704A (zh) | 2021-05-28 |
CN112862704B true CN112862704B (zh) | 2023-08-11 |
Family
ID=76008010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110089832.5A Active CN112862704B (zh) | 2021-01-22 | 2021-01-22 | 一种基于3d视觉的喷胶及喷胶质量检测*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112862704B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113487539B (zh) * | 2021-06-08 | 2024-07-16 | 深圳市格灵精睿视觉有限公司 | 胶路质量分析方法、设备、***及存储介质 |
CN113487640A (zh) * | 2021-07-28 | 2021-10-08 | 佛山市南海区广工大数控装备协同创新研究院 | 基于点云投影变截距轮廓偏移提取鞋模三维喷胶轨迹算法 |
CN113910226A (zh) * | 2021-10-11 | 2022-01-11 | 深圳大学 | 基于视觉***引导机器人执行的鞋体加工方法及*** |
CN114373012A (zh) * | 2021-12-21 | 2022-04-19 | 中科新松有限公司 | 异形平面喷涂作业轨迹生成方法 |
CN115365088B (zh) * | 2022-09-05 | 2024-05-10 | 苏州光宝科技股份有限公司 | 一种基于视觉引导的点胶方法及装置 |
CN115937320B (zh) * | 2023-02-21 | 2023-05-05 | 深圳市华亿明投资发展有限公司 | 一种手机壳打磨用视觉定位方法 |
CN117639607B (zh) * | 2024-01-25 | 2024-04-02 | 深圳市科沃电气技术有限公司 | 电机的控制方法、装置、设备及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015076947A1 (en) * | 2013-11-19 | 2015-05-28 | Nike Innovate C.V. | Generation of tool paths for shoe assembly |
CN104766325A (zh) * | 2015-04-09 | 2015-07-08 | 泉州装备制造研究所 | 一种鞋面喷胶轨迹线的计算方法 |
CN105894120A (zh) * | 2016-04-08 | 2016-08-24 | 泉州装备制造研究所 | 一种基于姿态控制的鞋底喷胶路径的规划方法 |
CN108982546A (zh) * | 2018-08-29 | 2018-12-11 | 燕山大学 | 一种智能机器人涂胶质量检测***及方法 |
CN109454642A (zh) * | 2018-12-27 | 2019-03-12 | 南京埃克里得视觉技术有限公司 | 基于三维视觉的机器人涂胶轨迹自动生产方法 |
CN109671123A (zh) * | 2019-01-31 | 2019-04-23 | 泉州华中科技大学智能制造研究院 | 一种基于单目视觉的鞋底喷胶设备及方法 |
CN110717984A (zh) * | 2019-09-10 | 2020-01-21 | 佛山缔乐视觉科技有限公司 | 基于三维重构的鞋底自动涂胶方法、***及存储介质 |
CN111013883A (zh) * | 2019-11-25 | 2020-04-17 | 浙江明泉工业涂装有限公司 | 一种可用于多车型的智能喷涂的机器人控制方法 |
CN111067197A (zh) * | 2019-12-16 | 2020-04-28 | 河南埃尔森智能科技有限公司 | 一种基于3d扫描的机器人鞋底动态涂胶***及方法 |
CN111369593A (zh) * | 2020-03-16 | 2020-07-03 | 梅卡曼德(北京)机器人科技有限公司 | 玻璃涂胶方法、装置、电子设备和存储介质 |
CN111476786A (zh) * | 2020-04-22 | 2020-07-31 | 南京航空航天大学 | 一种基于实测数据的长桁自动化涂胶及质量检测方法 |
CN111804515A (zh) * | 2020-07-16 | 2020-10-23 | 苏州小蜂视觉科技有限公司 | 一种不规则曲面镜片的3d跟随闭环点胶设备 |
-
2021
- 2021-01-22 CN CN202110089832.5A patent/CN112862704B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015076947A1 (en) * | 2013-11-19 | 2015-05-28 | Nike Innovate C.V. | Generation of tool paths for shoe assembly |
CN104766325A (zh) * | 2015-04-09 | 2015-07-08 | 泉州装备制造研究所 | 一种鞋面喷胶轨迹线的计算方法 |
CN105894120A (zh) * | 2016-04-08 | 2016-08-24 | 泉州装备制造研究所 | 一种基于姿态控制的鞋底喷胶路径的规划方法 |
CN108982546A (zh) * | 2018-08-29 | 2018-12-11 | 燕山大学 | 一种智能机器人涂胶质量检测***及方法 |
WO2020133873A1 (zh) * | 2018-12-27 | 2020-07-02 | 南京埃克里得视觉技术有限公司 | 基于三维视觉的机器人涂胶轨迹自动生产方法 |
CN109454642A (zh) * | 2018-12-27 | 2019-03-12 | 南京埃克里得视觉技术有限公司 | 基于三维视觉的机器人涂胶轨迹自动生产方法 |
CN109671123A (zh) * | 2019-01-31 | 2019-04-23 | 泉州华中科技大学智能制造研究院 | 一种基于单目视觉的鞋底喷胶设备及方法 |
CN110717984A (zh) * | 2019-09-10 | 2020-01-21 | 佛山缔乐视觉科技有限公司 | 基于三维重构的鞋底自动涂胶方法、***及存储介质 |
CN111013883A (zh) * | 2019-11-25 | 2020-04-17 | 浙江明泉工业涂装有限公司 | 一种可用于多车型的智能喷涂的机器人控制方法 |
CN111067197A (zh) * | 2019-12-16 | 2020-04-28 | 河南埃尔森智能科技有限公司 | 一种基于3d扫描的机器人鞋底动态涂胶***及方法 |
CN111369593A (zh) * | 2020-03-16 | 2020-07-03 | 梅卡曼德(北京)机器人科技有限公司 | 玻璃涂胶方法、装置、电子设备和存储介质 |
CN111476786A (zh) * | 2020-04-22 | 2020-07-31 | 南京航空航天大学 | 一种基于实测数据的长桁自动化涂胶及质量检测方法 |
CN111804515A (zh) * | 2020-07-16 | 2020-10-23 | 苏州小蜂视觉科技有限公司 | 一种不规则曲面镜片的3d跟随闭环点胶设备 |
Non-Patent Citations (1)
Title |
---|
A vision guided robotic system for flexible gluing process in the foot wear industry;Stefano Pagano等;Robotics and Computer-Integrated Manufacturing;第65卷;第1-11页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112862704A (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112862704B (zh) | 一种基于3d视觉的喷胶及喷胶质量检测*** | |
CN109926817B (zh) | 基于机器视觉的变压器自动装配方法 | |
CN114549519B (zh) | 一种汽车喷涂生产线视觉检测方法、***和可读存储介质 | |
CN110315525A (zh) | 一种基于视觉引导的机器人工件抓取方法 | |
CN105225225A (zh) | 一种基于机器视觉的皮革自动划线方法和装置 | |
CN104408408A (zh) | 基于曲线三维重建的机器人喷涂轨迹提取方法及提取装置 | |
CA3149941A1 (en) | Method and device for disassembling electronics | |
CN111013857A (zh) | 一种喷涂机器人控制***及控制方法 | |
CN109285163B (zh) | 基于激光点云的车道线左右轮廓线交互式提取方法 | |
CN111761575B (zh) | 工件及其抓取方法和生产线 | |
CN107598775A (zh) | 一种通过激光进行检测并多轴机器人打磨的方法 | |
CN114160507B (zh) | 基于多重传感检测的激光清洗路径自动规划方法 | |
CN112295949A (zh) | 一种基于深度神经网络的视觉智能分拣方法及*** | |
CN116843631B (zh) | 一种轻钢行业非标零件叠料的3d视觉分料方法 | |
CN115456999A (zh) | 一种基于机器视觉的锯链表面缺陷自动化检测***及缺陷检测方法 | |
CN110170416A (zh) | 一种适用多种产品的自动点胶方法及装置 | |
CN116408807A (zh) | 一种基于机器视觉和轨迹规划的机器人控制*** | |
CN115687961B (zh) | 一种基于模式识别的自动焊接工序智能识别方法 | |
CN116160452A (zh) | 一种智能工厂机器人控制方法 | |
CN110909751A (zh) | 用于变电站绝缘子清扫机器人的视觉识别方法、***及介质 | |
CN110608684A (zh) | 一种单层多道焊缝堆积熔敷效果检测方法及*** | |
CN112846886B (zh) | 一种机床基于图形文件的孔位定位方法 | |
Qian et al. | The autonomous detection of sheet metal parts using imageprocessing | |
CN112319289A (zh) | 一种四向穿梭车自动充电方法、装置及*** | |
CN116921116A (zh) | 一种机械自动化加工*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |