CN109225941B - 内螺纹攻丝情况自动检测与分拣***及方法 - Google Patents

Abstract

本发明公开了一种内螺纹攻丝情况自动检测与分拣***及方法，包括工件输送线、光电传感器、环形光源、光源控制器、工业相机、工控机、多轴机器人；所述工件输送线包括检测工位和下料工位，所述环形光源与光源控制器相连；所述工业相机其外触发接口与光电传感器输出相连，触发图像的采集，并通过相机接口传输至工控机；光电传感器与工业相机和光源控制器相连；所述工控机与工业相机、多自由度机器人控制器相连，接收工业相机的数字图像信息，将位置信息转换至多自由度机器人运动的物理坐标传送至多自由度机器人控制器进行分拣；本发明采用机器视觉技术实现了对工件内螺纹攻丝情况的实时快速检测，大幅提高了内螺纹攻丝情况的检测效率和自动化程度。

Description

内螺纹攻丝情况自动检测与分拣***及方法

技术领域

本发明专利属于内螺纹攻丝情况自动检测技术领域，具体涉及一种采用机器视觉技术与多自由度机器人相结合的内螺纹攻丝情况自动检测及分拣装置及方法。

背景技术

螺纹工件是工业生产及生活中最重要的紧固连接和传动组件，螺纹联接应用广泛，而对于内螺纹检测而言，目前生产企业大多采用人工目测的方法完成，人工检测很大程度上易受主观因素、个体差异等因素影响，由于工件产量较大，该方法不仅要求工人进行高强度的劳动，且缺陷漏检的产品会带来安全隐患，因此，对工件内螺纹攻丝情况的高效、准确智能化检测是实现自动化生产的基础保证。

经检索，专利CN106226316、CN202823923U及CN107289847公开了基于机器视觉的螺纹自动检测***，但其设计均针对于外螺纹检测方面；而在内螺纹检测方面，专利CN106644447通过检测旋转部件的扭力、行程、时间等各项参数以实现内螺纹攻丝情况的检测，专利CN204115651提出了一种用于汽车轮毂的气动内螺纹检测装置，所述专利以机械力传感方法反馈当前螺纹攻丝情况，该方法的实施首先要求对螺纹孔的精确定位，无法满足螺纹孔多变的情况；专利CN201610236353提出了气体介质激光多普勒式内螺纹检测器，该方法检测装置结构复杂、成本较高，很难实现大范围的推广。

发明内容

1、本发明的目的

针对现有内螺纹攻丝情况自动检测装置的上述不足，本发明所要解决的技术问题是提出一种采用机器视觉技术与多自由度机器人相结合的内螺纹攻丝情况自动检测及分拣装置及方法。

2、本发明的所采用的技术方案

本发明公开了一种内螺纹攻丝情况自动检测与分拣***，包括工件输送线、光电传感器、环形光源、光源控制器、工业相机、工控机、多自由度机器人；

所述工件输送线包括检测工位和下料工位；

所述环形光源与光源控制器相连，其直径大于螺纹的直径，安装在检测工位检测线支架上，用明场正面低角度照明，使螺孔通孔区域形成暗场，而内螺纹内壁特征被增强；

光电传感器安装在检测工位上，与工业相机和光源控制器相连，其位置位于环形光源与工件输送运行方向垂直的直径上，在螺纹到达所述环形光源的直径位置瞬间触发工业相机拍摄，触发环形光源启动，并通过电位器将环形光源亮度调节至合适的强度；

所述工业相机具有一定倾斜角度的固定于检测线支架，其视野中心与环形光源中心同心，环形光源覆盖被检工件整体，获得完整的螺孔和螺纹成像特征；其外触发接口与光电传感器输出端相连，触发图像的采集，并通过相机接口传输至工控机；

更进一步，所述工业相机将数字图像传输至工控机，工控机自动检测与分拣包括平均平滑、图像预分割、螺孔区域提取、螺纹区域提取、特征提取与计算、分类器设计与训练、工件的智能分拣：

所述平均平滑是指所采集内螺纹图像采用3*3的平均模板

进行平均平滑的相关滤波处理，用于滤除图像中内螺纹工件表面的噪声点；

所述图像预分割采用单阈值分割方法将待检螺孔区域与背景区域进行分割，并采用八邻域连通区域提取，通过计算各个连通区域的圆度、面积和半径，根据特征筛选，实现螺孔区域的预分割；

所述螺孔区域提取是指采用区域生长法，以上述的预分割螺孔区域的质心为种子点，将螺孔区域轮廓像素的灰度值与螺孔区域的均值差和区域面积作为生长法则，即螺孔区域相邻像素归入条件为生长后的区域灰度平均值与归入前的差值小于所设定阈值，且生长后的螺孔区域面积小于设定阈值，当不再有像素满足归入条件时，区域生长算法结束，实现螺孔区域的准确分割；

所述螺纹区域提取是指以上述区域生长后获取的螺孔区域质心为中心，获取当前螺孔区域的最小外接圆，并对外接圆区域和螺孔区域进行代数减法运算，即可实现螺纹区域分割；

所述特征提取与计算是指计算各螺孔区域和螺纹区域的颜色、致密度、圆形度、矩形度、凹度、球状性、标准差和熵参数，并采用粗糙集算法处理区域形状和纹理描述子以找出适合螺纹孔和漏攻丝孔识别的最简分类描述子集，实现特征降维和识别规则提取；

所述分类器设计与训练是指以粗糙集的规则覆盖度与规则置信度为启发信息，对冗余模糊规则进行简化，设置获取的规则置信度的阈值为0.75，规则覆盖度的阈值为0.1，最终获得的分类准则对被检工件内螺纹攻丝情况进行判别；

所述工件的智能分拣是指通过机器视觉所获取的工件品质信息与物理位置信息，转换至多自由度机器人运动的物理坐标，实现对被检工件的分拣；

所述工控机与工业相机、多自由度机器人控制器相连，接收工业相机的数字图像信息，将位置信息转换至多自由度机器人运动的物理坐标传送至多自由度机器人控制器进行分拣；

所述工控机为主处理器，与工业相机通过相机接口相连，实现对数字图像的实时采集与分析，并将被检工件内螺纹攻丝情况以及工件位置信息转换成多自由度机器人运动的物理坐标，通过数据接口传送至多自由度机器人控制器；

所述多自由度机器人用于实现对不同品质工件进行分拣操作，其前端夹爪可根据不同工件进行替换，通过标准法兰盘与机器人本体紧固连接，采用数字图像处理方法对所采集图像进行处理与分析，以实现对被检工件内螺纹攻丝情况的识别。

更进一步，所述多自由度机器人(7)的前端夹爪可拆卸，通过标准法兰盘与机器人本体紧固连接。

本发明公开了一种内螺纹攻丝情况自动检测与分拣方法，其特征在于包括如下步骤：

(1)、离线状态下，对工业相机进行标定，校正镜头畸变，并计算图像中各像素位置的像素分辨率，调相机光圈和焦距，使其获取的图像最为清晰；

(2)、离线状态下，对工业相机和多自由度机器人进行手眼标定，建立工业相机和机器人坐标系之间的映射关系；

(3)、被检工件放置于工件输送线；

(4)、到达检测工位时，光电传感器输出触发环形光源照明与工业相机图像采集；

(5)、主控制器获取并处理当前成像方案所采集的实时图像；

(6)、通过图像分析，识别当前被检工件内螺纹攻丝情况，并定位被检工件的图像位置，具体为：

(61)、平均平滑，对所采集内螺纹图像采用3*3的平均模板

进行平均平滑的相关滤波处理，用于滤除图像中内螺纹工件表面的噪声点；

(62)、图像预分割，采用单阈值分割方法将待检螺孔区域与背景区域进行分割，并采用八邻域连通区域提取，通过计算各个连通区域的圆度、面积和半径，根据特征筛选，实现螺孔区域的预分割；

(63)、螺孔区域提取，采用区域生长法，以上述的预分割螺孔区域的质心为种子点，将螺孔区域轮廓像素的灰度值与螺孔区域的均值差和区域面积作为生长法则，即螺孔区域相邻像素归入条件为生长后的区域灰度平均值与归入前的差值小于所设定阈值，且生长后的螺孔区域面积小于设定阈值，当不再有像素满足归入条件时，区域生长算法结束，实现螺孔区域的准确分割；

(64)、螺纹区域提取，以上述区域生长后获取的螺孔区域质心为中心，获取当前螺孔区域的最小外接圆，并对外接圆区域和螺孔区域进行代数减法运算，即可实现螺纹区域分割；

(65)、特征提取与计算，计算各螺孔区域和螺纹区域的颜色、致密度、圆形度、矩形度、凹度、球状性、标准差和熵参数，并采用粗糙集算法处理区域形状和纹理描述子以找出适合螺纹孔和漏攻丝孔识别的最简分类描述子集，实现特征降维和识别规则提取；

(66)、分类器设计与训练，以粗糙集的规则覆盖度与规则置信度为启发信息，对冗余模糊规则进行简化，设置获取的规则置信度的阈值为0.75，规则覆盖度的阈值为0.1，最终获得的分类准则对被检工件内螺纹攻丝情况进行判别；

(67)、工件的智能分拣，通过机器视觉所获取的工件品质信息与物理位置信息，转换至多自由度机器人运动的物理坐标，实现对被检工件的分拣；

(7)、利用手眼标定结果将当前被检工件品质信息与物理位置信息转换至多自由度机器人三维运动坐标；

(8)、对被检工件进行夹持与分拣，放置于预设位置。

3、本发明的有益效果

(1)本发明采用机器视觉技术实现了对工件内螺纹攻丝情况的实时快速检测，克服了传统检测方法的弊端，大幅提高了内螺纹攻丝情况的检测效率和自动化程度；

(2)本发明将内螺纹图像特征进行量化处理，提高了待检工件品质检测的精确度，本发明的单个工件检测平均耗时约为0.256s，漏攻丝工件的检出率为 95.88％，已攻丝工件的检出率为100％，可满足在线检测要求；

(3)本发明将机器视觉成像技术、机器视觉自动检测算法和多自由度机器人相融合，以实现待检工件的自动化分拣。

附图说明

图1是本发明专利的结构示意图；

图2是本发明专利成像方案获得的工件成像效果图；

图3是本发明专利的电气连接图；

图4是本发明专利图像处理流程图；

图5是本发明专利工件内螺纹攻丝情况检测效果图；

图中：1工件输送线；2光电传感器；3环形光源；4光源控制器；5工业相机；6工控机；7多自由度机器人；8检测工位；9下料工位；10内螺孔成像； 11内螺纹内壁成像；12未攻丝的内螺孔；13已攻丝的内螺孔。

具体实施方式

以下结合附图介绍本发明详细技术方案，本发明的检测装置，可应用于工件内螺纹攻丝情况的自动检测。

实施例1

如图1所示，本发明公开了一种内螺纹攻丝情况自动检测与分拣***，包括工件输送线1、光电传感器2、环形光源3、光源控制器4、工业相机5、工控机6、多自由度机器人7；

所述工件输送线1包括检测工位8和下料工位9；

所述环形光源3与光源控制器相连，其直径大于螺纹的直径，安装在检测工位8检测线支架上，用明场正面低角度照明，使螺孔通孔区域形成暗场，而内螺纹内壁特征被增强；

光电传感器2安装在检测工位8上，与工业相机5和光源控制器4相连，其位置位于环形光源3与工件输送运行方向垂直的直径上，在螺纹到达所述环形光源的直径位置瞬间触发工业相机拍摄，触发光源启动，并通过电位器将光源亮度调节至合适的强度；

所述工业相机5具有一定倾斜角度的固定于检测线支架，其视野中心与环形光源3中心同心，光源覆盖被检工件整体，获得完整的螺孔和螺纹成像特征；其外触发接口与光电传感器2输出相连，触发图像的采集，并通过相机接口传输至工控机6；

所述工控机6与工业相机5、多自由度机器人7相连，接收工业相机5的数字图像信息，将位置信息转换至多自由度机器人运动的物理坐标传送至多自由度机器人7进行分拣；

所述工控机为主处理器，与工业相机通过相机接口相连，实现对数字图像的实时采集与分析，并将被检工件内螺纹攻丝情况以及工件位置信息转换成多自由度机器人运动的物理坐标，通过数据接口传送至多自由度机器人控制器；

所述多自由度机器人用于实现对不同品质工件进行分拣操作，其前端夹爪可根据工件不同工件进行替换，通过标准法兰盘与机器人本体紧固连接，采用数字图像处理方法对所采集图像进行处理与分析，以实现对被检工件内螺纹攻丝情况的识别。

实施例2

在实施例1的基础上，如图2所示，一种工件成像效果图，通过运用上述方案，即选用环形光源3，采用明场正面低角度直接照明，工业相机5具有一定倾斜角度地固定于检测线支架，且环形光源3、工业相机5与检测工位8中心同心，使内螺孔成像10形成暗场，而内螺纹内壁成像11特征被增强，从而达到被测工件的螺孔和螺纹成像特征显现，而抑制其他不重要的特征。

如图3所示，一种内螺纹攻丝情况自动检测及分拣装置的电气连接，工业相机5与光源控制器4的外触发接口均连接至光电传感器；环形光源3与光源控制器4通过特定接口相连接；工业相机5与工控机6通过相机接口连接；工控机6与多自由度机器人7通过数据接口连接。

待检工件自动检测与分拣方法如图4所示，主要包括平均平滑、图像预分割、螺孔区域提取、螺纹区域提取、特征提取与计算、分类器设计与训练、工件的智能分拣；

所述平均平滑是指所采集内螺纹图像采用3*3的平均模板

进行平均平滑的相关滤波处理，用于滤除图像中金属工件表面的噪声点。

所述图像预分割采用单阈值分割方法将待检螺孔区域与背景区域进行分割，并采用八邻域连通区域提取，通过计算各个连通区域的圆度、面积和半径，根据特征筛选，实现螺孔区域的预分割；

所述螺孔区域提取是指采用区域生长法，以上述的预分割螺孔区域的质心为种子点，将螺孔区域轮廓像素的灰度值与螺孔区域的均值差和区域面积作为生长法则，即螺孔区域相邻像素归入条件为生长后的区域灰度平均值与归入前的差值小于所设定阈值，且生长后的螺孔区域面积小于设定阈值，当不再有像素满足归入条件时，区域生长算法结束，从而获取了完整的内螺孔成像10；

所述螺纹区域提取是指以上述区域生长后获取的螺孔区域质心为中心，获取当前螺孔区域的最小外接圆，并对外接圆区域和螺孔区域进行代数减法运算，从而获取了完整的内螺纹内壁成像11。

所述特征提取与计算是指计算各内螺孔成像10和内螺纹内壁成像11的颜色、致密度、圆形度、矩形度、凹度、球状性、标准差和熵参数，并采用粗糙集算法处理区域形状和纹理描述子以找出适合螺纹孔和漏攻丝孔识别的最简分类描述子集，实现特征降维和识别规则提取；

所述分类器设计与训练是指以粗糙集的规则覆盖度与规则置信度为启发信息，对冗余模糊规则进行简化，设置获取的规则置信度的阈值为0.75，规则覆盖度的阈值为0.1，最终获得分类能力最强的分类准则对被检工件内螺纹攻丝情况进行判别；

如图5所示，一种工件内螺纹攻丝情况检测效果图，以白圈标注未攻丝的内螺孔12，不标注的螺孔则为已攻丝的内螺孔13，机器视觉算法判别效果与目视效果一致，从而验证了上述算法具有良好的检测效果。

所述工件的智能分拣是指通过机器视觉所获取的工件品质信息与物理位置信息，转换至多自由度机器人运动的物理坐标，实现对被检工件的分拣。

Claims (3)

1.一种内螺纹攻丝情况自动检测与分拣***，其特征在于：包括工件输送线、光电传感器、环形光源、光源控制器、工业相机、工控机、多自由度机器人；

所述工件输送线包括检测工位和下料工位；

所述环形光源与光源控制器相连，其直径大于螺纹的直径，安装在检测工位检测线支架上，用明场正面低角度照明，使螺孔通孔区域形成暗场，而内螺纹内壁特征被增强；

光电传感器安装在检测工位上，与工业相机和光源控制器相连，其位置位于环形光源与工件输送运行方向垂直的直径上，在螺纹到达所述环形光源的直径位置瞬间触发工业相机拍摄，触发环形光源启动，并通过电位器将环形光源亮度调节至合适的强度；

所述工业相机具有一定倾斜角度的固定于检测线支架，其视野中心与环形光源中心同心，环形光源覆盖被检工件整体，获得完整的螺孔和螺纹成像特征；其外触发接口与光电传感器输出端相连，触发图像的采集，并通过相机接口传输至工控机；

所述工业相机将数字图像传输至工控机，工控机自动检测与分拣包括平均平滑、图像预分割、螺孔区域提取、螺纹区域提取、特征提取与计算、分类器设计与训练、工件的智能分拣：

所述平均平滑是指所采集内螺纹图像采用3*3的平均模板

进行平均平滑的相关滤波处理，用于滤除图像中内螺纹工件表面的噪声点；

所述图像预分割采用单阈值分割方法将待检螺孔区域与背景区域进行分割，并采用八邻域连通区域提取，通过计算各个连通区域的圆度、面积和半径，根据特征筛选，实现螺孔区域的预分割；

所述螺孔区域提取是指采用区域生长法，以上述的预分割螺孔区域的质心为种子点，将螺孔区域轮廓像素的灰度值与螺孔区域的均值差和区域面积作为生长法则，即螺孔区域相邻像素归入条件为生长后的区域灰度平均值与归入前的差值小于所设定阈值，且生长后的螺孔区域面积小于设定阈值，当不再有像素满足归入条件时，区域生长算法结束，实现螺孔区域的准确分割；

所述螺纹区域提取是指以上述区域生长后获取的螺孔区域质心为中心，获取当前螺孔区域的最小外接圆，并对外接圆区域和螺孔区域进行代数减法运算，即可实现螺纹区域分割；

所述特征提取与计算是指计算各螺孔区域和螺纹区域的颜色、致密度、圆形度、矩形度、凹度、球状性、标准差和熵参数，并采用粗糙集算法处理区域形状和纹理描述子以找出适合螺纹孔和漏攻丝孔识别的最简分类描述子集，实现特征降维和识别规则提取；

所述分类器设计与训练是指以粗糙集的规则覆盖度与规则置信度为启发信息，对冗余模糊规则进行简化，设置获取的规则置信度的阈值为0.75，规则覆盖度的阈值为0.1，最终获得分类准则对被检工件内螺纹攻丝情况进行判别；

所述工件的智能分拣是指通过机器视觉所获取的工件品质信息与物理位置信息，转换至多自由度机器人运动的物理坐标，实现对被检工件的分拣；

所述工控机与工业相机、多自由度机器人控制器相连，接收工业相机的数字图像信息，将位置信息转换至多自由度机器人运动的物理坐标传送至多自由度机器人控制器进行分拣；

所述工控机为主处理器，与工业相机通过相机接口相连，实现对数字图像的实时采集与分析，并将被检工件内螺纹攻丝情况以及工件位置信息转换成多自由度机器人运动的物理坐标，通过数据接口传送至多自由度机器人控制器；

所述多自由度机器人用于实现对不同品质工件进行分拣操作，其前端夹爪可根据不同工件进行替换，通过标准法兰盘与机器人本体紧固连接，采用数字图像处理方法对所采集图像进行处理与分析，以实现对被检工件内螺纹攻丝情况的识别。

2.根据权利要求1所述的内螺纹攻丝情况自动检测与分拣***，其特征在于：所述多自由度机器人(7)的前端夹爪可拆卸，通过标准法兰盘与机器人本体紧固连接。

3.一种内螺纹攻丝情况自动检测与分拣方法，其特征在于包括如下步骤：

(1)、离线状态下，对工业相机进行标定，校正镜头畸变，并计算图像中各像素位置的像素分辨率，调相机光圈和焦距，使其获取的图像最为清晰；

(2)、离线状态下，对工业相机和多自由度机器人进行手眼标定，建立工业相机和机器人坐标系之间的映射关系；

(3)、被检工件放置于工件输送线；

(4)、到达检测工位时，光电传感器输出触发环形光源照明与工业相机图像采集；

(5)、主控制器获取并处理当前成像方案所采集的实时图像；

(6)、通过图像分析，识别当前被检工件内螺纹攻丝情况，并定位被检工件的图像位置，具体为：

(61)、平均平滑，采集内螺纹图像采用3*3的平均模板

进行平均平滑的相关滤波处理，用于滤除图像中内螺纹工件表面的噪声点；

(62)、图像预分割，采用单阈值分割方法将待检螺孔区域与背景区域进行分割，并采用八邻域连通区域提取，通过计算各个连通区域的圆度、面积和半径，根据特征筛选，实现螺孔区域的预分割；

(63)、螺孔区域提取，采用区域生长法，以上述的预分割螺孔区域的质心为种子点，将螺孔区域轮廓像素的灰度值与螺孔区域的均值差和区域面积作为生长法则，即螺孔区域相邻像素归入条件为生长后的区域灰度平均值与归入前的差值小于所设定阈值，且生长后的螺孔区域面积小于设定阈值，当不再有像素满足归入条件时，区域生长算法结束，实现螺孔区域的准确分割；

(64)、螺纹区域提取，以上述区域生长后获取的螺孔区域质心为中心，获取当前螺孔区域的最小外接圆，并对外接圆区域和螺孔区域进行代数减法运算，即可实现螺纹区域分割；

(65)、特征提取与计算，计算各螺孔区域和螺纹区域的颜色、致密度、圆形度、矩形度、凹度、球状性、标准差和熵参数，并采用粗糙集算法处理区域形状和纹理描述子以找出适合螺纹孔和漏攻丝孔识别的最简分类描述子集，实现特征降维和识别规则提取；

(66)、分类器设计与训练，以粗糙集的规则覆盖度与规则置信度为启发信息，对冗余模糊规则进行简化，设置获取的规则置信度的阈值为0.75，规则覆盖度的阈值为0.1，最终获得的分类准则对被检工件内螺纹攻丝情况进行判别；

(67)、工件的智能分拣，通过机器视觉所获取的工件品质信息与物理位置信息，转换至多自由度机器人运动的物理坐标，实现对被检工件的分拣；

(7)、利用手眼标定结果将当前被检工件品质信息与物理位置信息转换至多自由度机器人三维运动坐标；

(8)、对被检工件进行夹持与分拣，放置于预设位置。

Images