CN116342682A - 基于机器视觉的孔径、孔距及孔位检测方法、***和装置 - Google Patents

基于机器视觉的孔径、孔距及孔位检测方法、***和装置 Download PDF

Info

Publication number
CN116342682A
CN116342682A CN202111516389.1A CN202111516389A CN116342682A CN 116342682 A CN116342682 A CN 116342682A CN 202111516389 A CN202111516389 A CN 202111516389A CN 116342682 A CN116342682 A CN 116342682A
Authority
CN
China
Prior art keywords
circle
hole
detection
detection equipment
aperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111516389.1A
Other languages
English (en)
Inventor
杨梦茹
李天玉
叶玉玲
王刚
刘炼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shengong Technology Co ltd
Original Assignee
Beijing Shengong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shengong Technology Co ltd filed Critical Beijing Shengong Technology Co ltd
Priority to CN202111516389.1A priority Critical patent/CN116342682A/zh
Publication of CN116342682A publication Critical patent/CN116342682A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于机械测量方法和机械测量装置技术领域，尤其涉及一种基于机器视觉的孔径、孔距及孔位检测方法、***及装置。本发明方法通过运动组件携带检测设备按照预定路径移动，采集孔径、孔距及孔位的图像，并利用软件***对图像进行处理，包括使用高斯滤波进行预处理，使用多种算法找出孔的最大内切圆、拟合圆、最小外接圆以及被测区域的边界，然后利用上述三种圆、被测区域的边界并结合圆心坐标计算得出孔径、孔距和孔位，进一步使用基于深度学习的方式对孔质量进行分级评估。本方法具有检测效率高、速度快、误差小、方法稳定性好、操作便捷、支持在线检测等特点，可很好地满足机械制造行业的生产需求，具有着广阔的应用前景。

Description

基于机器视觉的孔径、孔距及孔位检测方法、***和装置
技术领域
本发明属于机械测量方法和机械测量装置技术领域，尤其涉及一种基于机器视觉的孔径、孔距及孔位检测方法、***及与之相关的装置。
背景技术
目前，机械制造领域和与之相关的科学研究工作中对孔径、孔距及孔位采用的检测方式大多为人工检测，即由技术人员利用千分尺或通止规等测量工具对工件的孔径、孔距及孔位进行检测。然而，人工检测存在着检测效率低、误差大、精密度低、重现性差等固有缺陷，而且大多需要在实际接触条件下进行检测，可能会对工件造成意外损伤，很难满足机械制造行业对高效高速高精度检测的应用需求，因此，亟需开发一种检测效率高、误差小、精密度和重现性俱佳的自动化孔径检测方法以适应实际的生产需要。
另外，虽然针对孔径检测也有一些自动测量仪可供选用，如POMEAS的图像测量仪IMAGE3系列，但其使用远心镜头及远心光源以背光的方式对孔径进行检测，这种检测方式系通过有无遮挡来判断物体边缘，并以此获取相关尺寸信息，因此，该类图像测量仪仅适用于背后无遮挡的检测条件，以及离线检测方式，检测过程中极易受到被测物背面材质的干扰，从而影响了其检测精度及准确性，且该类测量仪大多不支持在线检测，也给实际应用造成了不便。
发明内容
为了克服传统人工检测孔径、孔距及孔位方法的缺陷和不足，本发明提供了一套解决方案：本发明方法通过运动组件携带检测设备按照预定路径移动，采集孔径、孔距及孔位的图像，并利用软件***对图像进行处理，包括使用高斯滤波进行预处理，使用边缘检测算法找出孔的最大内切圆，使用最小二乘法找出孔的拟合圆，使用二值化算法和边缘检测算法找出孔的最小外接圆，使用边缘检测算法找出被测区域的边界，然后利用上述三种圆、被测区域的边界并结合圆心坐标计算得出孔径、孔距和孔位，进一步使用基于深度学习的方式对孔质量进行分级评估。同时，本发明还涉及了相关的孔径、孔距及孔位检测***及自动化检测装置。
第一方面，本发明提供了一种基于机器视觉的孔径、孔距及孔位检测方法，该方法包括下述步骤：
(1)由运动组件携带检测设备按照预先设定的检测路径进行移动；
(2)在移动过程中由检测设备采集孔径、孔距及孔位的图像；
(3)在软件处理***中使用高斯滤波对采集获得的图像进行预处理；
(4)在软件处理***中使用边缘检测算法找出待测孔的最大内切圆，使用最小二乘法找出待测孔的拟合圆，使用二值化算法和边缘检测算法找出待测孔的最小外接圆；同时使用边缘检测算法找出被测区域的边界；
(5)在软件处理***中利用上步找出的最大内切圆、拟合圆、最小外接圆和被测区域的边界，结合圆心坐标计算得出孔径、孔距及孔位；
(6)在软件处理***中使用基于深度学习的方式对孔质量做分级评估。
进一步地，上述检测方法中第(4)-(6)步骤的执行方法如下：
A.使用canny边缘检测算法寻找待测孔，先找出被测区域中的所有边缘闭合形状，然后判断所找出的形状是否为待测孔，判据为：
a.找出每个形状的中心(x，y)：
Figure BDA0003403513600000021
其中n为形状内点的个数，P为形状内所有的点的集合，Pix为点的x坐标，Piy为点的y坐标；
b.计算形状上每个点到中心的距离的集合d：
Figure BDA0003403513600000031
其中C为形状上所有点的集合；
c.计算形状上每个点到中心距离集合的平均值mean和标准差std：
Figure BDA0003403513600000032
Figure BDA0003403513600000033
d.得到圆度结果c：
Figure BDA0003403513600000034
e.若圆度结果大于阈值，则将其认定为待测孔；
B.根据上步找到的待测孔的轮廓形状，分别找出拟合圆的圆心和直径Fx、Fy、Fd，最大内切圆的圆心和直径Ix、Iy、Id和最小外接圆的圆心和直径Zx、Zy、Zd；
a.拟合圆：将圆心和直径作为变量，通过最小二乘法拟合后得到拟合圆；
b.最大内切圆：遍历轮廓内部的所有点，并计算这些点到轮廓的距离，轮廓内部距离轮廓最远的点即为圆心，其与轮廓间的最大距离即为半径，以此得到最大内切圆；
c.最小外接圆：分别找出轮廓上下左右边缘的各一个点并计算出其外接圆，如果轮廓中有点位于这个外接圆之外，则将轮廓中该外接圆外部距离该外接圆最远的点引入并计算出新的外接圆，不断遍历直到轮廓中所有点都在计算出的外接圆内，即得到了最小外接圆；
C.将上步获得的数据结果储存，并和待测孔的真实孔径一起作为训练集，使用深度神经网络进行训练，得到权重参数模型w；
D.重复进行至少10次训练后，即可对未知孔径的孔进行测量并找出圆心：
(x，y，d)＝w1c+w2Fx+w3Fy+w4Fd+w5Ix+w6Iy+w7Id+w8Zx+w9Zy+w10Zd
其中w1，w2…w10为各个输入项对应权重参数模型w的结果；
E.孔质量分级评估：将检测设备拍摄到的孔的图像与对应的孔类型作为训练集，使用卷积神经网络进行训练，然后将训练得到的模型储存，并在检测过程中以此模型对孔质量进行分级评估。
优选地，上述方法中所述运动组件为机器人或其他能够携带检测设备并按照预定路径进行移动的自动化运动装置。
优选地，上述方法中所述检测设备由第一相机、第一镜头、第二相机、第二镜头和光源组成；
所述检测设备通过机械转接结构与运动组件相连接，并由运动组件携带按照预先设定的检测路径进行移动拍照；
所述运动组件和检测设备通过数据传输介质与固定安置在控制箱中的上位机相连接并进行数据交互，所述上位机中内置了控制***、接收***和软件处理***，所述控制***用于控制运动组件的移动和检测设备的图像采集过程，所述接收***用于接收运动组件的位置信息和检测设备传回的图像信息，所述软件处理***用于对检测设备传回的图像进行预处理、要素分析、计算和结果评估，并反馈处理结果。
优选地，上述方法中所述机械转接结构为法兰，所述数据传输介质为网线。
第二方面，本发明提供了一种基于机器视觉的孔径、孔距及孔位检测***，所述检测***由运动组件、检测设备、数据传输介质、控制箱和上位机组成，所述上位机中内置了控制***、接收***和软件处理***；本检测***按照上述基于机器视觉的孔径、孔距及孔位检测方法进行操作和运行。
第三方面，本发明提供了一种基于机器视觉的孔径、孔距及孔位检测装置，所述装置由运动组件101、检测设备102、控制箱103、上位机104组成；
所述检测设备102通过机械转接结构连接在所述运动组件101上，所述检测设备102和运动组件101通过网线和所述控制箱103以及所述上位机104相连接；
所述上位机104固定安置在所述控制箱103中，所述上位机104中内置了控制***、接收***和软件处理***，所述控制***其功能为控制运动组件101的移动和检测设备102的图像采集过程，所述接收***其功能为接收运动组件101的位置信息和检测设备102通过网线传回的图像信息，所述软件处理***其功能为对检测设备102传回的图像进行预处理、要素分析、计算和结果评估及反馈；
所述装置的运行方式如下：
(1)由运动组件101携带检测设备102按照预先设定的检测路径进行移动；
(2)在预定检测路径移动过程中，检测设备102对待测区域进行图像采集，采集所需检测的待测孔及相关区域图像，所述图像包括孔径、孔距及孔位的图像，检测设备102将上述图像通过网线传输至上位机104；
(3)上位机104对检测设备102通过网线传回的图像使用高斯滤波对其进行预处理；
(4)上位机104对预处理后的图像通过边缘检测算法找出待测孔的最大内切圆，通过最小二乘法找出待测孔的拟合圆，通过二值化算法和边缘检测算法找出待测孔的最小外接圆；同时上位机104通过边缘检测算法找出被测区域的边界；
(5)上位机104利用上步找出的最大内切圆、拟合圆、最小外接圆和被测区域的边界，结合圆心坐标计算得出孔径、孔距及孔位；
(6)上位机104使用基于深度学习的方式对孔质量做分级评估。
进一步地，上述检测装置的运行方式中第(4)-(6)步骤的执行方法如下：
A.使用canny边缘检测算法寻找待测孔，先找出被测区域中的所有边缘闭合形状，然后判断所找出的形状是否为待测孔，判据为：
a.找出每个形状的中心(x，y)：
Figure BDA0003403513600000061
其中n为形状内点的个数，P为形状内所有的点的集合，Pix为点的x坐标，Piy为点的y坐标；
b.计算形状上每个点到中心的距离的集合d：
Figure BDA0003403513600000062
其中C为形状上所有点的集合；
c.计算形状上每个点到中心距离集合的平均值mean和标准差std：
Figure BDA0003403513600000063
Figure BDA0003403513600000064
d.得到圆度结果c：
Figure BDA0003403513600000065
e.若圆度结果大于阈值，则将其认定为待测孔；
B.根据上步找到的待测孔的轮廓形状，分别找出拟合圆的圆心和直径Fx、Fy、Fd，最大内切圆的圆心和直径Ix、Iy、Id和最小外接圆的圆心和直径Zx、Zy、Zd；
a.拟合圆：将圆心和直径作为变量，通过最小二乘法拟合后得到拟合圆；
b.最大内切圆：遍历轮廓内部的所有点，并计算这些点到轮廓的距离，轮廓内部距离轮廓最远的点即为圆心，其与轮廓间的最大距离即为半径，以此得到最大内切圆；
c.最小外接圆：分别找出轮廓上下左右边缘的各一个点并计算出其外接圆，如果轮廓中有点位于这个外接圆之外，则将轮廓中该外接圆外部距离该外接圆最远的点引入并计算出新的外接圆，不断遍历直到轮廓中所有点都在计算出的外接圆内，即得到了最小外接圆；
C.将上步获得的数据结果储存，并和待测孔的真实孔径一起作为训练集，使用深度神经网络进行训练，得到权重参数模型w；
D.重复进行至少10次训练后，即可对未知孔径的孔进行测量并找出圆心：
(x，y，d)＝w1c+w2Fx+w3Fy+w4Fd+w5Ix+w6Iy+w7Id+w8Zx+w9Zy+w10Zd
其中w1，w2…w10为各个输入项对应权重参数模型w的结果；
E.孔质量分级评估：将检测设备拍摄到的孔的图像与对应的孔类型作为训练集，使用卷积神经网络进行训练，然后将训练得到的模型储存，并在检测过程中以此模型对孔质量进行分级评估。
优选地，上述检测装置中所述运动组件101为机器人或其他能够携带所述检测设备102并按照预定路径进行移动的自动化运动装置。
优选地，上述检测装置中所述上位机104为包含处理器、操作***、网络接口和显示终端的设备。
更优选地，上述检测装置中所述上位机104为PC电脑、工控机或PLC。
优选地，上述检测装置中所述检测设备102由第一相机、第一镜头、第二相机、第二镜头和光源组成；
所述检测设备102通过机械转接结构与运动组件101相连接，并由运动组件101携带按照预先设定的检测路径进行移动拍照；
所述运动组件101和检测设备102通过网线与固定安置在控制箱103中的上位机104相连接并进行数据交互，所述上位机104中内置了控制***、接收***和软件处理***，所述控制***用于控制运动组件101的移动和检测设备102的图像采集过程，所述接收***用于接收运动组件101的位置信息和检测设备102传回的图像信息，所述软件处理***用于对检测设备102传回的图像进行预处理、要素分析、计算和结果评估，并反馈处理结果。
更优选地，上述检测装置中所述机械转接结构为法兰。
综上，本发明基于机器视觉的孔径、孔距及孔位检测方法及装置具有下述优点：
(1)采用全自动检测方式，检测效率高，速度快，误差小，检测精密度和重现性均较人工检测明显提高。
(2)不受被测物背面材质的干扰，对检测条件的要求较低，方法的稳定性和检测准确性较高。
(3)采用非接触式检测，可有效避免对工件的意外损伤。
(4)操作便捷，支持在线检测模式，可很好地满足机械制造行业的生产需求。
附图说明
为了更清楚地说明本发明实施例技术方案，下面对实施例描述中所需要使用的附图作简要介绍。显而易见地，下面描述中的附图仅是本发明中记载的一些实施例，而不是全部实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的实施流程示意图。
图2为本发明装置的整体结构示意图。
图3为本发明装置中控制箱的内部结构示意图。
图4为本发明装置中检测设备的内部结构示意图。
图5为本发明方法在实际案例中孔径测量结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
同时，应理解，本发明的保护范围并不局限于下述特定的具体实施方案；还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。
实施例1：一种基于机器视觉的孔径、孔距及孔位检测方法(参见图1)，本方法包括下述步骤：
(1)检测设备通过法兰与机器人相连接，并由机器人携带按照预先设定的检测路径进行移动拍照；
(2)检测设备由第一相机、第一镜头、第二相机、第二镜头和光源组成；在移动过程中由检测设备采集孔径、孔距及孔位的图像；
(3)机器人和检测设备通过网线与固定安置在控制箱中的上位机相连接并进行数据交互，上位机中内置了控制***、接收***和软件处理***，控制***用于控制机器人的移动和检测设备的图像采集过程，接收***用于接收机器人的位置信息和检测设备传回的图像信息，软件处理***用于对检测设备传回的图像进行预处理、要素分析、计算和结果评估，并反馈处理结果；首先，在软件处理***中使用高斯滤波对采集获得的图像进行预处理；
(4)在软件处理***中使用边缘检测算法找出待测孔的最大内切圆，使用最小二乘法找出待测孔的拟合圆，使用二值化算法和边缘检测算法找出待测孔的最小外接圆；同时使用边缘检测算法找出被测区域的边界；
(5)在软件处理***中利用上步找出的最大内切圆、拟合圆、最小外接圆和被测区域的边界，结合圆心坐标计算得出孔径、孔距及孔位；
(6)在软件处理***中使用基于深度学习的方式对孔质量做分级评估。
其中，第(4)-(6)步骤的执行方法如下：
A.使用canny边缘检测算法寻找待测孔，先找出被测区域中的所有边缘闭合形状，然后判断所找出的形状是否为待测孔，判据为：
a.找出每个形状的中心(x，y)：
Figure BDA0003403513600000101
其中n为形状内点的个数，P为形状内所有的点的集合，Pix为点的x坐标，Piy为点的y坐标；
b.计算形状上每个点到中心的距离的集合d：
Figure BDA0003403513600000102
其中C为形状上所有点的集合；
c.计算形状上每个点到中心距离集合的平均值mean和标准差std：
Figure BDA0003403513600000103
Figure BDA0003403513600000104
d.得到圆度结果c：
Figure BDA0003403513600000105
e.若圆度结果大于阈值，则将其认定为待测孔；
B.根据上步找到的待测孔的轮廓形状，分别找出拟合圆的圆心和直径Fx、Fy、Fd，最大内切圆的圆心和直径Ix、Iy、Id和最小外接圆的圆心和直径Zx、Zy、Zd；
a.拟合圆：将圆心和直径作为变量，通过最小二乘法拟合后得到拟合圆；
b.最大内切圆：遍历轮廓内部的所有点，并计算这些点到轮廓的距离，轮廓内部距离轮廓最远的点即为圆心，其与轮廓间的最大距离即为半径，以此得到最大内切圆；
c.最小外接圆：分别找出轮廓上下左右边缘的各一个点并计算出其外接圆，如果轮廓中有点位于这个外接圆之外，则将轮廓中该外接圆外部距离该外接圆最远的点引入并计算出新的外接圆，不断遍历直到轮廓中所有点都在计算出的外接圆内，即得到了最小外接圆；
C.将上步获得的数据结果储存，并和待测孔的真实孔径一起作为训练集，使用深度神经网络进行训练，得到权重参数模型w；
D.重复进行至少10次训练后，即可对未知孔径的孔进行测量并找出圆心：
(x，y，d)＝w1c+w2Fx+w3Fy+w4Fd+w5Ix+w6Iy+w7Id+w8Zx+w9Zy+W10Zd
其中w1，w2…w10为各个输入项对应权重参数模型w的结果；
E.孔质量分级评估：将检测设备拍摄到的孔的图像与对应的孔类型作为训练集，使用卷积神经网络进行训练，然后将训练得到的模型储存，并在检测过程中以此模型对孔质量进行分级评估。
实施例2：一种基于机器视觉的孔径、孔距及孔位检测装置(参见图2-4)，本装置由机器人101、检测设备102、控制箱103、上位机104组成；
检测设备102由第一相机、第一镜头、第二相机、第二镜头和光源组成；检测设备102通过法兰连接在机器人101上，并由机器人101携带按照预先设定的检测路径进行移动拍照；
检测设备102和机器人101通过网线与固定安置在控制箱103中的上位机104相连接并进行数据交互；
上位机104(PC电脑)固定安置在控制箱103中，上位机104中内置了控制***、接收***和软件处理***，控制***用于控制机器人101的移动和检测设备102的图像采集过程，接收***用于接收机器人101的位置信息和检测设备102通过网线传回的图像信息，软件处理***用于对检测设备102传回的图像进行预处理、要素分析、计算和结果评估及反馈；
本装置的运行方式如下：
(1)由机器人101携带检测设备102按照预先设定的检测路径进行移动；
(2)在预定检测路径移动过程中，检测设备102对待测区域进行图像采集，采集所需检测的待测孔及相关区域图像，采集的图像包括孔径、孔距及孔位的图像，检测设备102将上述图像通过网线传输至上位机104；
(3)上位机104对检测设备102通过网线传回的图像使用高斯滤波对其进行预处理；
(4)上位机104对预处理后的图像通过边缘检测算法找出待测孔的最大内切圆，通过最小二乘法找出待测孔的拟合圆，通过二值化算法和边缘检测算法找出待测孔的最小外接圆；同时上位机104通过边缘检测算法找出被测区域的边界；
(5)上位机104利用上步找出的最大内切圆、拟合圆、最小外接圆和被测区域的边界，结合圆心坐标计算得出孔径、孔距及孔位；
(6)上位机104使用基于深度学习的方式对孔质量做分级评估。
其中，上述检测装置的运行方式中第(4)-(6)步骤的执行方法如下：
A.使用canny边缘检测算法寻找待测孔，先找出被测区域中的所有边缘闭合形状，然后判断所找出的形状是否为待测孔，判据为：
a.找出每个形状的中心(x，y)：
Figure BDA0003403513600000121
其中n为形状内点的个数，P为形状内所有的点的集合，Pix为点的x坐标，Piy为点的y坐标；
b.计算形状上每个点到中心的距离的集合d：
Figure BDA0003403513600000131
其中C为形状上所有点的集合；
c.计算形状上每个点到中心距离集合的平均值mean和标准差std：
Figure BDA0003403513600000132
Figure BDA0003403513600000133
d.得到圆度结果c：
Figure BDA0003403513600000134
e.若圆度结果大于阈值，则将其认定为待测孔；
B.根据上步找到的待测孔的轮廓形状，分别找出拟合圆的圆心和直径Fx、Fy、Fd，最大内切圆的圆心和直径Ix、Iy、Id和最小外接圆的圆心和直径Zx、Zy、Zd；
a.拟合圆：将圆心和直径作为变量，通过最小二乘法拟合后得到拟合圆；
b.最大内切圆：遍历轮廓内部的所有点，并计算这些点到轮廓的距离，轮廓内部距离轮廓最远的点即为圆心，其与轮廓间的最大距离即为半径，以此得到最大内切圆；
c.最小外接圆：分别找出轮廓上下左右边缘的各一个点并计算出其外接圆，如果轮廓中有点位于这个外接圆之外，则将轮廓中该外接圆外部距离该外接圆最远的点引入并计算出新的外接圆，不断遍历直到轮廓中所有点都在计算出的外接圆内，即得到了最小外接圆；
C.将上步获得的数据结果储存，并和待测孔的真实孔径一起作为训练集，使用深度神经网络进行训练，得到权重参数模型w；
D.重复进行至少10次训练后，即可对未知孔径的孔进行测量并找出圆心：
(y，y，d)＝w1c+w2Fx+w3Fy+w4Fd+w5Ix+w6Iy+w7Id+w8Zx+w9Zy+w10Zd
其中w1，w2…w10为各个输入项对应权重参数模型w的结果；
E.孔质量分级评估：将检测设备拍摄到的孔的图像与对应的孔类型作为训练集，使用卷积神经网络进行训练，然后将训练得到的模型储存，并在检测过程中以此模型对孔质量进行分级评估。
实施例3：实施例1方法在孔径测量案例中的应用(参见图5)，其中：
左图所示为孔距和孔位测量结果，所列四个参数左边距、右边距、上边距及下边距均是针对左侧孔计算得出的，其中，左边距为当左侧孔为被测物上左起第一个孔时，左边缘到孔中心的距离；右边距为两孔之间的间距(即孔距)，若左侧孔为该被测物左起最后一个孔，则右边距为孔中心到右边缘的距离；上边距为孔中心到上边缘的距离；下边距为孔中心到下边缘的距离；
右图所示为孔径测量结果，测量孔径时，右侧图像视野小仅有一个孔，按上述测量孔径方式得出孔径大小，再对孔质量进行分级评估，得出是否为标准孔的结论。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、替换等，均应包含在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于机器视觉的孔径、孔距及孔位检测方法，其特征在于，所述方法包括下述步骤：
(1)由运动组件携带检测设备按照预先设定的检测路径进行移动；
(2)在移动过程中由检测设备采集孔径、孔距及孔位的图像；
(3)在软件处理***中使用高斯滤波对采集获得的图像进行预处理；
(4)在软件处理***中使用边缘检测算法找出待测孔的最大内切圆，使用最小二乘法找出待测孔的拟合圆，使用二值化算法和边缘检测算法找出待测孔的最小外接圆；同时使用边缘检测算法找出被测区域的边界；
(5)在软件处理***中利用上步找出的最大内切圆、拟合圆、最小外接圆和被测区域的边界，结合圆心坐标计算得出孔径、孔距及孔位；
(6)在软件处理***中使用基于深度学习的方式对孔质量做分级评估。
2.根据权利要求1所述的孔径、孔距及孔位检测方法，其特征在于，其中第(4)-(6)步骤的执行方法如下：
A.使用canny边缘检测算法寻找待测孔，先找出被测区域中的所有边缘闭合形状，然后判断所找出的形状是否为待测孔，判据为：
a.找出每个形状的中心(x，y)：
Figure FDA0003403513590000011
其中n为形状内点的个数，P为形状内所有的点的集合，Pix为点的x坐标，Piy为点的y坐标；
b.计算形状上每个点到中心的距离的集合d：
Figure FDA0003403513590000012
其中C为形状上所有点的集合；
c.计算形状上每个点到中心距离集合的平均值mean和标准差std：
Figure FDA0003403513590000021
Figure FDA0003403513590000022
d.得到圆度结果c：
Figure FDA0003403513590000023
e.若圆度结果大于阈值，则将其认定为待测孔；
B.根据上步找到的待测孔的轮廓形状，分别找出拟合圆的圆心和直径Fx、Fy、Fd，最大内切圆的圆心和直径Ix、Iy、Id和最小外接圆的圆心和直径Zx、Zy、Zd；
a.拟合圆：将圆心和直径作为变量，通过最小二乘法拟合后得到拟合圆；
b.最大内切圆：遍历轮廓内部的所有点，并计算这些点到轮廓的距离，轮廓内部距离轮廓最远的点即为圆心，其与轮廓间的最大距离即为半径，以此得到最大内切圆；
c.最小外接圆：分别找出轮廓上下左右边缘的各一个点并计算出其外接圆，如果轮廓中有点位于这个外接圆之外，则将轮廓中该外接圆外部距离该外接圆最远的点引入并计算出新的外接圆，不断遍历直到轮廓中所有点都在计算出的外接圆内，即得到了最小外接圆；
C.将上步获得的数据结果储存，并和待测孔的真实孔径一起作为训练集，使用深度神经网络进行训练，得到权重参数模型w；
D.重复进行至少10次训练后，即可对未知孔径的孔进行测量并找出圆心：
(x，y，d)＝w1c+w2Fx+w3Fy+w4Fd+w5Ix+w6Iy+w7Id+w8Zx+w9Zy+w10Zd
其中w1，w2…w10为各个输入项对应权重参数模型w的结果；
E.孔质量分级评估：将检测设备拍摄到的孔的图像与对应的孔类型作为训练集，使用卷积神经网络进行训练，然后将训练得到的模型储存，并在检测过程中以此模型对孔质量进行分级评估。
3.根据权利要求1所述的孔径、孔距及孔位检测方法，其特征在于，所述运动组件为机器人或其他能够携带检测设备并按照预定路径进行移动的自动化运动装置。
4.根据权利要求1所述的孔径、孔距及孔位检测方法，其特征在于，所述检测设备由第一相机、第一镜头、第二相机、第二镜头和光源组成；
所述检测设备通过机械转接结构与运动组件相连接，并由运动组件携带按照预先设定的检测路径进行移动拍照；
所述运动组件和检测设备通过数据传输介质与固定安置在控制箱中的上位机相连接并进行数据交互，所述上位机中内置了控制***、接收***和软件处理***，所述控制***用于控制运动组件的移动和检测设备的图像采集过程，所述接收***用于接收运动组件的位置信息和检测设备传回的图像信息，所述软件处理***用于对检测设备传回的图像进行预处理、要素分析、计算和结果评估，并反馈处理结果。
5.根据权利要求4所述的孔径、孔距及孔位检测方法，其特征在于，所述机械转接结构为法兰，所述数据传输介质为网线。
6.一种基于机器视觉的孔径、孔距及孔位检测***，其特征在于，所述检测***由运动组件、检测设备、数据传输介质、控制箱和上位机组成，所述上位机中内置了控制***、接收***和软件处理***；所述检测***按照权利要求1-5任一项所述的基于机器视觉的孔径、孔距及孔位检测方法操作和运行。
7.一种基于机器视觉的孔径、孔距及孔位检测装置，其特征在于，所述装置由运动组件(101)、检测设备(102)、控制箱(103)、上位机(104)组成；
所述检测设备(102)通过机械转接结构连接在所述运动组件(101)上，所述检测设备(102)和运动组件(101)通过网线和所述控制箱(103)以及所述上位机(104)相连接；
所述上位机(104)固定安置在所述控制箱(103)中，所述上位机(104)中内置了控制***、接收***和软件处理***，所述控制***其功能为控制运动组件(101)的移动和检测设备(102)的图像采集过程，所述接收***其功能为接收运动组件(101)的位置信息和检测设备(102)通过网线传回的图像信息，所述软件处理***其功能为对检测设备(102)传回的图像进行预处理、要素分析、计算和结果评估及反馈；
所述装置的运行方式如下：
(1)由运动组件(101)携带检测设备(102)按照预先设定的检测路径进行移动；
(2)在预定检测路径移动过程中，检测设备(102)对待测区域进行图像采集，采集所需检测的待测孔及相关区域图像，所述图像包括孔径、孔距及孔位的图像，检测设备(102)将上述图像通过网线传输至上位机(104)；
(3)上位机(104)对检测设备(102)通过网线传回的图像使用高斯滤波对其进行预处理；
(4)上位机(104)对预处理后的图像通过边缘检测算法找出待测孔的最大内切圆，通过最小二乘法找出待测孔的拟合圆，通过二值化算法和边缘检测算法找出待测孔的最小外接圆；同时上位机(104)通过边缘检测算法找出被测区域的边界；
(5)上位机(104)利用上步找出的最大内切圆、拟合圆、最小外接圆和被测区域的边界，结合圆心坐标计算得出孔径、孔距及孔位；
(6)上位机(104)使用基于深度学习的方式对孔质量做分级评估。
8.根据权利要求7所述的孔径、孔距及孔位检测装置，其特征在于，其运行方式中第(4)-(6)步骤的执行方法如下：
A.使用canny边缘检测算法寻找待测孔，先找出被测区域中的所有边缘闭合形状，然后判断所找出的形状是否为待测孔，判据为：
a.找出每个形状的中心(x，y)：
Figure FDA0003403513590000051
其中n为形状内点的个数，P为形状内所有的点的集合，Pix为点的x坐标，Piy为点的y坐标；
b.计算形状上每个点到中心的距离的集合d：
Figure FDA0003403513590000052
其中C为形状上所有点的集合；
c.计算形状上每个点到中心距离集合的平均值mean和标准差std：
Figure FDA0003403513590000053
Figure FDA0003403513590000054
d.得到圆度结果c：
Figure FDA0003403513590000055
e.若圆度结果大于阈值，则将其认定为待测孔；
B.根据上步找到的待测孔的轮廓形状，分别找出拟合圆的圆心和直径Fx、Fy、Fd，最大内切圆的圆心和直径Ix、Iy、Id和最小外接圆的圆心和直径Zx、Zy、Zd；
a.拟合圆：将圆心和直径作为变量，通过最小二乘法拟合后得到拟合圆；
b.最大内切圆：遍历轮廓内部的所有点，并计算这些点到轮廓的距离，轮廓内部距离轮廓最远的点即为圆心，其与轮廓间的最大距离即为半径，以此得到最大内切圆；
c.最小外接圆：分别找出轮廓上下左右边缘的各一个点并计算出其外接圆，如果轮廓中有点位于这个外接圆之外，则将轮廓中该外接圆外部距离该外接圆最远的点引入并计算出新的外接圆，不断遍历直到轮廓中所有点都在计算出的外接圆内，即得到了最小外接圆；
C.将上步获得的数据结果储存，并和待测孔的真实孔径一起作为训练集，使用深度神经网络进行训练，得到权重参数模型w；
D.重复进行至少10次训练后，即可对未知孔径的孔进行测量并找出圆心：
(x，y，d)＝w1c+w2Fx+w3Fy+w4Fd+w5Ix+w6Iy+w7Id+w8Zx+w9Zy+w10Zd
其中w1，w2…w10为各个输入项对应权重参数模型w的结果；
E.孔质量分级评估：将检测设备拍摄到的孔的图像与对应的孔类型作为训练集，使用卷积神经网络进行训练，然后将训练得到的模型储存，并在检测过程中以此模型对孔质量进行分级评估。
9.根据权利要求7所述的孔径、孔距及孔位检测装置，其特征在于，所述运动组件(101)为机器人或其他能够携带所述检测设备(102)并按照预定路径进行移动的自动化运动装置。
10.根据权利要求7所述的孔径、孔距及孔位检测装置，其特征在于，所述检测设备(102)由第一相机、第一镜头、第二相机、第二镜头和光源组成；
所述检测设备(102)通过机械转接结构与运动组件(101)相连接，并由运动组件(101)携带按照预先设定的检测路径进行移动拍照；
所述运动组件(101)和检测设备(102)通过网线与固定安置在控制箱(103)中的上位机(104)相连接并进行数据交互，所述上位机(104)中内置了控制***、接收***和软件处理***，所述控制***用于控制运动组件(101)的移动和检测设备(102)的图像采集过程，所述接收***用于接收运动组件(101)的位置信息和检测设备(102)传回的图像信息，所述软件处理***用于对检测设备(102)传回的图像进行预处理、要素分析、计算和结果评估，并反馈处理结果。
CN202111516389.1A 2021-12-10 2021-12-10 基于机器视觉的孔径、孔距及孔位检测方法、***和装置 Pending CN116342682A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111516389.1A CN116342682A (zh) 2021-12-10 2021-12-10 基于机器视觉的孔径、孔距及孔位检测方法、***和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111516389.1A CN116342682A (zh) 2021-12-10 2021-12-10 基于机器视觉的孔径、孔距及孔位检测方法、***和装置

Publications (1)

Publication Number Publication Date
CN116342682A true CN116342682A (zh) 2023-06-27

Family

ID=86884529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111516389.1A Pending CN116342682A (zh) 2021-12-10 2021-12-10 基于机器视觉的孔径、孔距及孔位检测方法、***和装置

Country Status (1)

Country Link
CN (1) CN116342682A (zh)

Similar Documents

Publication Publication Date Title
CN108765378B (zh) 基于g代码引导下工件轮廓飞边凸起的机器视觉检测方法
CN107341802B (zh) 一种基于曲率与灰度复合的角点亚像素定位方法
CN109840900B (zh) 一种应用于智能制造车间的故障在线检测***及检测方法
CN110146017B (zh) 工业机器人重复定位精度测量方法
He et al. A critical review for machining positioning based on computer vision
CN114355953B (zh) 一种基于机器视觉的多轴伺服***的高精度控制方法及***
CN107388991B (zh) 一种端面多圆角轴类零件圆角半径测量方法
Hsu et al. Development of a faster classification system for metal parts using machine vision under different lighting environments
Saif et al. Roundness Holes’ Measurement for milled workpiece using machine vision inspection system based on IoT structure: A case study
CN114092411A (zh) 一种高效快速的双目3d点云焊点缺陷检测方法
CN117085969A (zh) 人工智能工业视觉检测方法、装置、设备及存储介质
Hicham et al. Inspection of machining defects on mechanical parts using a computer vision system
CN112419406A (zh) 物体检测装置以及物体检测用计算机程序
CN115578429B (zh) 一种基于点云数据的模具在线精度检测方法
Sun et al. Precision work-piece detection and measurement combining top-down and bottom-up saliency
CN116342682A (zh) 基于机器视觉的孔径、孔距及孔位检测方法、***和装置
Wang et al. A binocular vision method for precise hole recognition in satellite assembly systems
Junaid et al. In-process measurement in manufacturing processes
CN114782535A (zh) 工件位姿识别方法、装置、计算机设备及存储介质
US20230066200A1 (en) Workpiece image analyzing device, workpiece image analyzing method, and program
Zou et al. Laser-based precise measurement of tailor welded blanks: a case study
Brambilla et al. Automated Vision Inspection of Critical Steel Components based on Signal Analysis Extracted form Images
Ciobanu et al. Automatic sorting machine based on vision inspection
Chen et al. A hierarchical visual model for robot automatic arc welding guidance
Simeth et al. Using Artificial Intelligence to Facilitate Assembly Automation in High-Mix Low-Volume Production Scenario

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination