CN116625249A - 基于2d和3d视觉的工件自动检测方法、装置及其相关介质 - Google Patents
基于2d和3d视觉的工件自动检测方法、装置及其相关介质 Download PDFInfo
- Publication number
- CN116625249A CN116625249A CN202310624896.XA CN202310624896A CN116625249A CN 116625249 A CN116625249 A CN 116625249A CN 202310624896 A CN202310624896 A CN 202310624896A CN 116625249 A CN116625249 A CN 116625249A
- Authority
- CN
- China
- Prior art keywords
- information
- data
- workpiece
- feature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 27
- 230000010365 information processing Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于2D和3D视觉的工件自动检测方法、装置及其相关介质，该方法包括根据控制指令分别获取工件的2D信息和3D信息；对所述2D信息和3D信息进行预处理，得到信息处理结果；其中，所述信息处理结果包括标准工件数据和待检测工件数据；利用特征检测算法对所述待检测工件数据进行特征提取，得到特征信息数据；将所述特征信息数据与所述标准工件数据进行特征对比，得到对比偏差值；判断所述对比偏差值是否在设定的误差阈值内，若是，则判断为合格工件；若否，则判断为不合格工件，并提示需要进行人工复检。本发明通过对2D信息和3D信息进行处理后，利用特征检测算法进行特征提取，如此，视觉检测***能够同时描述工件的几何形态以及表面特征。
Description
技术领域
本发明涉及信息检测技术领域，特别涉及基于2D和3D视觉的工件自动检测方法、装置及其相关介质。
背景技术
在现代制造业中，对工件的自动检测和质量控制要求越来越高。传统的工件检测方法通常使用单一的2D视觉***或3D视觉***，但这些方法在某些情况下存在一定的局限性；2D视觉***只能提供工件的表面信息，难以捕捉到工件的立体形状和深度信息，因此对于一些复杂的工件或具有几何变化的工件，其检测准确性受到限制；3D视觉***可以获取工件的三维形状和深度信息，但对于一些具有纹理、颜色等表面特征的工件，其特征提取和对比分析的效果较差。因此，目前亟待一种能够同时描述工件的几何形态以及表面特征的方案。
发明内容
本发明实施例提供了基于2D和3D视觉的工件自动检测方法、装置及其相关介质，旨在解决现有技术中工件检测***单一、无法同时描述工件的几何形态以及表面特征的问题。
第一方面，本发明实施例提供了一种基于2D和3D视觉的工件自动检测方法，包括：
根据控制指令分别获取工件的2D信息和3D信息；
对所述2D信息和3D信息进行预处理，得到信息处理结果；其中，所述信息处理结果包括标准工件数据和待检测工件数据；
利用特征检测算法对所述待检测工件数据进行特征提取，得到特征信息数据；
将所述特征信息数据与所述标准工件数据进行特征对比，得到对比偏差值；
判断所述对比偏差值是否在设定的误差阈值内，若是，则判断为合格工件；若否，则判断为不合格工件，并提示需要进行人工复检。
第二方面，本发明实施例提供了一种基于2D和3D视觉的工件自动检测装置，包括：
信息获取单元，用于根据控制指令分别获取工件的2D信息和3D信息；
信息处理单元，用于对所述2D信息和3D信息进行预处理，得到信息处理结果；其中，所述信息处理结果包括标准工件数据和待检测工件数据；
信息提取单元，用于利用特征检测算法对所述待检测工件数据进行特征提取，得到特征信息数据；
信息对比单元，用于将所述特征信息数据与所述标准工件数据进行特征对比，得到对比偏差值；
信息判断单元，用于判断所述对比偏差值是否在设定的误差阈值内，若是，则判断为合格工件；若否，则判断为不合格工件，并提示需要进行人工复检。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述第一方面的基于2D和3D视觉的工件自动检测方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述第一方面的基于2D和3D视觉的工件自动检测方法。
本发明实施例提供一种基于2D和3D视觉的工件自动检测方法，包括根据控制指令分别获取工件的2D信息和3D信息；对所述2D信息和3D信息进行预处理，得到信息处理结果；其中，所述信息处理结果包括标准工件数据和待检测工件数据；利用特征检测算法对所述待检测工件数据进行特征提取，得到特征信息数据；将所述特征信息数据与所述标准工件数据进行特征对比，得到对比偏差值；判断所述对比偏差值是否在设定的误差阈值内，若是，则判断为合格工件；若否，则判断为不合格工件，并提示需要进行人工复检。本发明通过对2D信息和3D信息进行处理后，利用特征检测算法进行特征提取，如此，视觉检测***能够同时描述工件的几何形态以及表面特征。
本发明实施例还提供一种基于2D和3D视觉的工件自动检测装置、计算机设备和存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于2D和3D视觉的工件自动检测方法的流程示意图；
图2为本发明实施例提供的一种基于2D和3D视觉的工件自动检测方法的另一流程示意图；
图3为本发明实施例提供的一种基于2D和3D视觉的工件自动检测装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面请参见图1，图1为本发明实施例提供的一种基于2D和3D视觉的工件自动检测的流程示意图，具体包括：步骤S101～S105。
S101、根据控制指令分别获取工件的2D信息和3D信息；
S102、对所述2D信息和3D信息进行预处理，得到信息处理结果；其中，所述信息处理结果包括标准工件数据和待检测工件数据；
S103、利用特征检测算法对所述待检测工件数据进行特征提取，得到特征信息数据；
S104、将所述特征信息数据与所述标准工件数据进行特征对比，得到对比偏差值；
S105、判断所述对比偏差值是否在设定的误差阈值内，若是，则判断为合格工件；若否，则判断为不合格工件，并提示需要进行人工复检。
结合图2所示，在步骤S101中，根据用户输入的控制指令来获取工件的2D信息和3D信息；使用2D视觉设备，如摄像头或图像采集器，获取工件的2D信息，可以是工件的表面图像或图像序列；使用3D视觉设备，如激光扫描仪或结构光扫描仪，获取工件的3D信息，可以是工件的点云数据。所述2D信息和3D信息用于后续的特征提取和对比分析等，利用2D信息与3D信息的结合，可以提高工件自动检测的准确性和效率。
在一实施例中，所述步骤S101之前，包括：
判断是否为第一次使用自动检测***，若是，则分别获取拍摄工件的相机的IP地址和端口，并利用所述IP地址和端口建立自动检测***与相机之间的TCP连接；若否，则自动进行自动检测***与相机之间的TCP连接。
在本实施例中，在启动自动检测***时，***通过检查***存储设置以及配置信息来判断是否为用户第一次使用，如果判断为第一次使用，自动检测***会要求用户提供拍摄工件的相机IP地址和端口信息，用户可以通过配置界面或其他交互方式输入相机的IP地址和端口，***会使用网络通信协议和库函数，如Socket编程等，根据用户提供的所述IP地址和端口信息建立TCP连接，如此，自动检测***可以与相机进行数据通信。如果判断不是第一次使用，自动检测***将自动使用之前保存的相机IP地址和端口信息，而无需用户重新录入，***会自动根据保存的配置信息建立TCP连接，简化了操作流程，提高了使用的便捷性。
在一实施例中，所述步骤S101，包括：
利用所述控制指令激活所述相机运作，分别得到2D图像和3D图像；将所述2D图像上的纹理信息映射到所述3D图像上，并进行像素点关联同步，得到图像同步信息；分别调整所述图像同步信息的图像亮度、对比度、色调和饱和度，得到色彩校正参数；分别提取所述2D图像和3D图像上的角点和边缘特征，并利用局部特征描述匹配算法进行特征对齐，得到特征对齐结果；根据所述特征对齐结果进行旋转、平移和仿射变换的变换矩阵计算，得到特征对齐参数；将所述色彩校正参数和所述特征对齐参数进行补偿叠加，得到图像处理结果；其中，所述图像处理结果包括所述2D信息和3D信息。
在本实施例中，根据接收到的控制指令，利用自动检测***来激活相机，使相机开始运作，从而分别获取工件的2D图像和3D图像；2D图像可以通过相机的图像传感器捕获，而3D图像可以通过激光扫描或结构光扫描等方法获取；将2D图像上的纹理信息映射到3D图像上，并进行像素点关联同步，以得到图像同步信息，为后续的特征对齐和图像处理提供基础；对所述图像同步信息进行图像亮度、对比度、色调和饱和度的调整，得到色彩校正参数，通过调整图像的亮度、对比度、色调和饱和度等参数，可以提高图像的质量和一致性，可以确保图像之间色彩信息一致，以便进行后续的特征提取和分析；分别从2D图像和3D图像上提取角点和边缘特征，并利用局部特征描述匹配算法进行特征对齐，得到特征对齐结果，通过提取和匹配工件图像中的角点和边缘特征，可以实现2D和3D图像的对齐；分别计算特征对齐结果的旋转、平移和仿射变换的变换矩阵，得到特征对齐参数，通过计算特征对齐结果得到的特征对齐参数，可以描述2D和3D图像之间的旋转、平移和仿射变换关系；最后，通过将色彩校正参数和特征对齐参数进行叠加和补偿，可以得到经过图像处理的2D信息和3D信息，使其具备更好的准确性和一致性，并为后续的工件判断提供可靠的数据基础。
在步骤S102中，对获取到的2D信息和3D信息进行预处理，预处理的目的是消除噪声、增强图像特征、调整图像的尺寸和分辨率等，以便更好地提取和分析工件的特征，经过预处理后，得到信息处理结果；信息处理结果包括标准工件数据和待检测工件数据。标准工件数据是对已知合格工件的特征描述和参考数据，用于与待检测工件进行比对和判断，以实现对工件的准确性和合格性判断。
在一实施例中，所述步骤S102，包括：
对所述2D信息分别进行图像去噪和图像增强处理，得到2D预处理数据；对所述2D预处理数据进行颜色空间转换处理，并进行2D特征提取，得到第一检测数据；对所述3D信息分别进行滤波处理并进行下采样，得到3D预处理数据；对所述3D预处理数据进行数据配准处理，并进行3D特征提取，得到第二检测数据；将所述第一检测数据和所述第二检测数据进行特征融合，得到所述待检测工件数据。
在本实施中，图像去噪处理可以采用滤波算法或去噪算法，以减少图像中的噪声干扰；图像增强处理可以通过调整图像的对比度、亮度、锐度等参数，以增强图像的特征和细节。经过图像去噪和图像增强处理后，得到2D预处理数据，2D预处理数据是经过优化处理后的图像数据，具有更好的质量和可用性，对2D预处理数据进行颜色空间转换，将其转换到合适的色彩空间，然后进行2D特征提取，提取图像中的角点、边缘、纹理等特征信息，以获得第一检测数据。对获取到的3D信息进行滤波处理，以去除噪声和平滑曲面，滤波处理可以采用平均滤波、高斯滤波等滤波算法，之后进行下采样，减少3D数据的密度和点数，以降低计算复杂度；对经过滤波和下采样处理的3D信息进行数据配准，将多个3D数据进行对齐，以消除不同视角和变形引起的偏差，并进行3D特征提取，提取工件表面的形状、曲率、法线等特征信息，以获得第二检测数据。将第一检测数据和第二检测数据进行特征融合，结合2D和3D特征信息，得到最终的待检测工件数据，特征融合可以采用加权融合、特征融合算法等方法，以综合利用2D和3D信息的优势，提高工件自动检测的准确性和可靠性。
在步骤S103中，所述待检测工件数据包含了经过图像处理和特征融合后的2D和3D信息，具备更好的一致性；利用特征检测算法对待检测工件数据进行特征提取，特征检测算法可以是传统的计算机视觉算法，如Harris角点检测、SIFT、SURF等，也可以是基于深度学习的算法，如卷积神经网络(CNN)等，特征检测算法能够识别出图像中的关键特征点，利用特征检测算法提取待检测工件数据中的特征信息，用于后续的特征对比和工件判定；当然，通过选择合适的特征检测算法，可以适应不同类型的工件和检测要求，提高***的适用性和灵活性。
在一实施例中，所述步骤S103，包括：
采用三维点云识别算法对所述待检测工件数据分别进行角点、边缘、纹理和颜色直方图的特征构建，以获取第一数值化描述符；根据所述第一数值化描述符分别进行局部像素强度解析、梯度方向检测和纹理特征提取，以获取第二数值化描述符；利用所述第二数值化描述符进行特征匹配，以搜寻所述第二数值化描述符中相似的特征描述符，匹配成功后最终得到特征匹配结果；根据所述特征匹配结果求解透视变换姿态以评估相机的旋转和平移，得到所述特征信息数据。
在本实施例中，采用三维点云识别算法对待检测工件数据进行特征提取，三维点云识别算法是一种针对点云数据的特征提取算法，能够识别出点云中的角点、边缘、纹理和颜色直方图等特征；通过三维点云识别算法，对待检测工件数据进行角点、边缘、纹理和颜色直方图的特征构建，得到第一数值化描述符，第一数值化描述符是由特征构建得到的一系列数值化的描述符，用于描述工件的关键特征；根据第一数值化描述符，对待检测工件数据进行局部像素强度解析、梯度方向检测和纹理特征提取，得到第二数值化描述符，第二数值化描述符进一步提取了工件的局部特征信息，可以更详细的描述工件的特征，利用所述第二数值化描述符进行特征匹配，搜寻第二数值化描述符中相似的特征描述符，以得到特征匹配结果，特征匹配可以使用匹配算法，如最近邻匹配、RANSAC算法、PPF算法等，用于找到待检测工件数据中与已知特征相似的特征点；根据特征匹配结果，求解透视变换姿态，用于评估相机的旋转和平移，透视变换姿态求解可以使用姿态估计算法，如PnP算法等，以确定工件在相机坐标系中的姿态；根据透视变换姿态的求解结果，得到最终的特征信息数据，特征信息数据能够帮助自动检测***更准确地评估工件的特征和姿态，提高工件自动检测的精度和效率。
在步骤S104中，特征信息数据包含了从待检测工件数据中提取的特征描述符，用于描述工件的关键特征，标准工件数据是预先确定的用于对比的工件数据，具有已知的特征信息；将特征信息数据与标准工件数据进行特征对比，特征对比可以基于相似性度量方法，如欧氏距离、相关系数等，来评估待检测工件数据的特征与标准工件数据的特征之间的差异程度，通过对比，可以得到特征的对比偏差值；对比偏差值表示待检测工件数据与标准工件数据之间的差异程度。
在一实施例中，所述步骤S104，包括：
将所述特征信息数据与所述标准工件数据的尺寸数据进行相对差异统计，得到第一差值；将所述特征信息数据与所述标准工件数据的角度数据进行相对差异统计，得到第二差值；将所述特征信息数据与所述标准工件数据的形状数据进行相对差异统计，得到第三差值；将所述特征信息数据与所述标准工件数据的颜色数据进行相对差异统计，得到第四差值；分别将所述第一差值、第二差值、第三差值和第四差值进行加权平均，得到所述对比偏差值。
在本实施例中，特征信息数据包含了从待检测工件数据中提取的特征描述符，将特征信息数据与标准工件数据的尺寸数据、角度数据、形状数据和颜色数据依次进行相对差异统计，差异统计可以基于统计方法，如平均值、方差、相关性等，来计算特征信息数据与标准工件数据在不同方面的差异程度，通过差异统计，我们可以得到第一差值、第二差值、第三差值和第四差值，分别表示尺寸、角度、形状和颜色方面的差异；将所述第一差值、第二差值、第三差值和第四差值进行加权平均，得到对比偏差值，加权平均可以根据不同因素的重要性，为每个差值分配相应的权重。
在步骤S105中，对比偏差值表示待检测工件数据与标准工件数据之间的差异程度；在实施过程中，需要事先设定一个误差阈值，该误差阈值表示允许的最大差异程度，超过该阈值则被认为是不合格工件；根据对比偏差值与误差阈值的比较，判断工件的合格性，若对比偏差值在设定的误差阈值内，则判断为合格工件；若对比偏差值超过设定的误差阈值，则判断为不合格工件；对于被判断为不合格工件的情况，***会进行相应的提示，提示需要进行人工复检，可以通过界面显示、声音提醒等方式实现，以便操作人员能够及时进行必要的人工复检操作，并及时引导人工干预，确保产品质量的可靠性和稳定性。
在一实施例中，所述2D信息包括灰度图像和彩色图像，用于提供工件的二维信息；所述3D信息包括点云数据和三维模型，用于提供工件的三维信息。
在本实施例中，所述2D信息主要包括灰度图像和彩色图像，灰度图像第一方面是可以获取工件表面的亮度信息，亮度的变化可以反映出工件表面的高低起伏或纹理特征，可以使用Canny边缘检测算法来提取表面的轮廓边缘信息，从而得到表面的形状和几何特征。灰度图像第二方面是可以获取工件表面的纹理信息，可以使用灰度共生矩阵GLCM纹理分析方法，灰度共生矩阵是一种用于描述灰度图像纹理特征的统计方法，通过计算像素之间的灰度值对出现的频率和分布来捕捉图像的纹理信息，通常GLCM在特定方向上计算像素对的共生矩阵，然后通过计算统计特征(如对比度、相关性、能量和熵等)来表示图像的纹理特征。彩色图像第一方面是可以提供更丰富的表面信息，颜色的变化可以反映出工件表面的不同材质、涂层或表面状态，可以使用颜色空间转换(RGB到HSV)来分离出颜色信息，然后通过色彩分布分析、颜色纹理提取等方法来获取表面的颜色分布和纹理特征。彩色图像第二方面是可以获取工件表面的纹理信息，彩色图像中的颜色和纹理信息可以结合起来提取更丰富的纹理特征，可以应用方向梯度直方图(方向梯度直方图HOG是一种用于图像特征提取的方法，主要用于描述和识别图像中的形状和纹理特征)来分析彩色图像中的纹理信息，以获取表面的纹理特征。所述3D信息主要包括点云数据和三维模型，对获取的点云数据进行处理可以提取出工件的几何形态信息；对点云进行滤波和去噪操作，可以去除噪声和无用点，得到更干净的点云数据；将多个点云数据对齐，以获得更完整和一致的工件几何形状；通过点云数据进行表面重建，生成平滑的三维模型，使得工件的几何形态更加可视化和易于分析。
综上所述，本发明通过综合利用所述2D信息和3D信息，具有较高的精度和准确度，能够提高工件检测的效率，同时降低检测成本，本发明可广泛应用于工业生产等领域，具有较好的实际应用价值，本发明还不受工件形状和尺寸的限制，可以应用于各种不同形状和尺寸的工件。
结合图3所示，图3为本发明实施例提供的一种基于2D和3D视觉的工件自动检测装置的示意性框图，基于2D和3D视觉的工件自动检测装置300包括：
信息获取单元301，用于根据控制指令分别获取工件的2D信息和3D信息；
信息处理单元302，用于对所述2D信息和3D信息进行预处理，得到信息处理结果；其中，所述信息处理结果包括标准工件数据和待检测工件数据；
信息提取单元303，用于利用特征检测算法对所述待检测工件数据进行特征提取，得到特征信息数据；
信息对比单元304，用于将所述特征信息数据与所述标准工件数据进行特征对比，得到对比偏差值；
信息判断单元305，用于判断所述对比偏差值是否在设定的误差阈值内，若是，则判断为合格工件；若否，则判断为不合格工件，并提示需要进行人工复检。
在本实施中，信息获取单元301根据控制指令分别获取工件的2D信息和3D信息；信息处理单元302对所述2D信息和3D信息进行预处理，得到信息处理结果；其中，所述信息处理结果包括标准工件数据和待检测工件数据；信息提取单元303利用特征检测算法对所述待检测工件数据进行特征提取，得到特征信息数据；信息对比单元304将所述特征信息数据与所述标准工件数据进行特征对比，得到对比偏差值；信息判断单元305判断所述对比偏差值是否在设定的误差阈值内，若是，则判断为合格工件；若否，则判断为不合格工件，并提示需要进行人工复检。
在一实施例中，所述信息获取单元301之前，包括：
建立单元，用于判断是否为第一次使用自动检测***，若是，则分别获取拍摄工件的相机的IP地址和端口，并利用所述IP地址和端口建立自动检测***与相机之间的TCP连接；若否，则自动进行自动检测***与相机之间的TCP连接。
在一实施例中，所述信息获取单元301，包括：
激活单元，用于利用所述控制指令激活所述相机运作，分别得到2D图像和3D图像；
映射单元，用于将所述2D图像上的纹理信息映射到所述3D图像上，并进行像素点关联同步，得到图像同步信息；
校正单元，用于分别调整所述图像同步信息的图像亮度、对比度、色调和饱和度，得到色彩校正参数；
对齐单元，用于分别提取所述2D图像和3D图像上的角点和边缘特征，并利用局部特征描述匹配算法进行特征对齐，得到特征对齐结果；
变换单元，用于根据所述特征对齐结果进行旋转、平移和仿射变换的变换矩阵计算，得到特征对齐参数；
叠加单元，用于将所述色彩校正参数和所述特征对齐参数进行补偿叠加，得到图像处理结果；其中，所述图像处理结果包括所述2D信息和3D信息。
在一实施例中，所述信息处理单元302，包括：
增强单元，用于对所述2D信息分别进行图像去噪和图像增强处理，得到2D预处理数据；
颜色单元，用于对所述2D预处理数据进行颜色空间转换处理，并进行2D特征提取，得到第一检测数据；
滤波单元，用于对所述3D信息分别进行滤波处理并进行下采样，得到3D预处理数据；
配准单元，用于对所述3D预处理数据进行数据配准处理，并进行3D特征提取，得到第二检测数据；
融合单元，用于将所述第一检测数据和所述第二检测数据进行特征融合，得到所述待检测工件数据。
在一实施例中，所述信息提取单元303，包括：
构建单元，用于采用三维点云识别算法对所述待检测工件数据分别进行角点、边缘、纹理和颜色直方图的特征构建，以获取第一数值化描述符；
解析单元，用于根据所述第一数值化描述符分别进行局部像素强度解析、梯度方向检测和纹理特征提取，以获取第二数值化描述符；
匹配单元，用于利用所述第二数值化描述符进行特征匹配，以搜寻所述第二数值化描述符中相似的特征描述符，匹配成功后最终得到特征匹配结果；
姿态单元，用于根据所述特征匹配结果求解透视变换姿态以评估相机的旋转和平移，得到所述特征信息数据。
在一实施例中，所述信息对比单元304，包括：
尺寸单元，用于将所述特征信息数据与所述标准工件数据的尺寸数据进行相对差异统计，得到第一差值；
角度单元，用于将所述特征信息数据与所述标准工件数据的角度数据进行相对差异统计，得到第二差值；
形状单元，用于将所述特征信息数据与所述标准工件数据的形状数据进行相对差异统计，得到第三差值；
颜色单元，用于将所述特征信息数据与所述标准工件数据的颜色数据进行相对差异统计，得到第四差值；
加权单元，用于分别将所述第一差值、第二差值、第三差值和第四差值进行加权平均，得到所述对比偏差值。
在一实施例中，所述2D信息包括灰度图像和彩色图像，用于提供工件的二维信息；所述3D信息包括点云数据和三维模型，用于提供工件的三维信息。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种基于2D和3D视觉的工件自动检测方法，其特征在于，包括：
根据控制指令分别获取工件的2D信息和3D信息；
对所述2D信息和3D信息进行预处理，得到信息处理结果；其中，所述信息处理结果包括标准工件数据和待检测工件数据；
利用特征检测算法对所述待检测工件数据进行特征提取，得到特征信息数据；
将所述特征信息数据与所述标准工件数据进行特征对比，得到对比偏差值；
判断所述对比偏差值是否在设定的误差阈值内，若是，则判断为合格工件；若否，则判断为不合格工件，并提示需要进行人工复检。
2.根据权利要求1所述的基于2D和3D视觉的工件自动检测方法，其特征在于，在所述根据控制指令分别获取工件的2D信息和3D信息之前，包括：
判断是否为第一次使用自动检测***，若是，则分别获取拍摄工件的相机的IP地址和端口，并利用所述IP地址和端口建立自动检测***与相机之间的TCP连接；若否，则自动进行自动检测***与相机之间的TCP连接。
3.根据权利要求1所述的基于2D和3D视觉的工件自动检测方法，其特征在于，所述根据控制指令分别获取工件的2D信息和3D信息，包括：
利用所述控制指令激活所述相机运作，分别得到2D图像和3D图像；
将所述2D图像上的纹理信息映射到所述3D图像上，并进行像素点关联同步，得到图像同步信息；
分别调整所述图像同步信息的图像亮度、对比度、色调和饱和度，得到色彩校正参数；
分别提取所述2D图像和3D图像上的角点和边缘特征，并利用局部特征描述匹配算法进行特征对齐，得到特征对齐结果；
根据所述特征对齐结果进行旋转、平移和仿射变换的变换矩阵计算，得到特征对齐参数；
将所述色彩校正参数和所述特征对齐参数进行补偿叠加，得到图像处理结果；其中，所述图像处理结果包括所述2D信息和3D信息。
4.根据权利要求1所述的基于2D和3D视觉的工件自动检测方法，其特征在于，所述对所述2D信息和3D信息进行预处理，得到信息处理结果，包括：
对所述2D信息分别进行图像去噪和图像增强处理，得到2D预处理数据；
对所述2D预处理数据进行颜色空间转换处理，并进行2D特征提取，得到第一检测数据；
对所述3D信息分别进行滤波处理并进行下采样，得到3D预处理数据；
对所述3D预处理数据进行数据配准处理，并进行3D特征提取，得到第二检测数据；
将所述第一检测数据和所述第二检测数据进行特征融合，得到所述待检测工件数据。
5.根据权利要求1所述的基于2D和3D视觉的工件自动检测方法，其特征在于，所述利用特征检测算法对所述待检测工件数据进行特征提取，得到特征信息数据，包括：
采用三维点云识别算法对所述待检测工件数据分别进行角点、边缘、纹理和颜色直方图的特征构建，以获取第一数值化描述符；
根据所述第一数值化描述符分别进行局部像素强度解析、梯度方向检测和纹理特征提取，以获取第二数值化描述符；
利用所述第二数值化描述符进行特征匹配，以搜寻所述第二数值化描述符中相似的特征描述符，匹配成功后最终得到特征匹配结果；
根据所述特征匹配结果求解透视变换姿态以评估相机的旋转和平移，得到所述特征信息数据。
6.根据权利要求1所述的基于2D和3D视觉的工件自动检测方法，其特征在于，所述将所述特征信息数据与所述标准工件数据进行特征对比，得到对比偏差值，包括：
将所述特征信息数据与所述标准工件数据的尺寸数据进行相对差异统计，得到第一差值；
将所述特征信息数据与所述标准工件数据的角度数据进行相对差异统计，得到第二差值；
将所述特征信息数据与所述标准工件数据的形状数据进行相对差异统计，得到第三差值；
将所述特征信息数据与所述标准工件数据的颜色数据进行相对差异统计，得到第四差值；
分别将所述第一差值、第二差值、第三差值和第四差值进行加权平均，得到所述对比偏差值。
7.根据权利要求1所述的基于2D和3D视觉的工件自动检测方法，其特征在于，所述2D信息包括灰度图像和彩色图像，用于提供工件的二维信息；所述3D信息包括点云数据和三维模型，用于提供工件的三维信息。
8.一种基于2D和3D视觉的工件自动检测装置，其特征在于，包括：
信息获取单元，用于根据控制指令分别获取工件的2D信息和3D信息；
信息处理单元，用于对所述2D信息和3D信息进行预处理，得到信息处理结果；其中，所述信息处理结果包括标准工件数据和待检测工件数据；
信息提取单元，用于利用特征检测算法对所述待检测工件数据进行特征提取，得到特征信息数据；
信息对比单元，用于将所述特征信息数据与所述标准工件数据进行特征对比，得到对比偏差值；
信息判断单元，用于判断所述对比偏差值是否在设定的误差阈值内，若是，则判断为合格工件；若否，则判断为不合格工件，并提示需要进行人工复检。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于2D和3D视觉的工件自动检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于2D和3D视觉的工件自动检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310624896.XA CN116625249A (zh) | 2023-05-30 | 2023-05-30 | 基于2d和3d视觉的工件自动检测方法、装置及其相关介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310624896.XA CN116625249A (zh) | 2023-05-30 | 2023-05-30 | 基于2d和3d视觉的工件自动检测方法、装置及其相关介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116625249A true CN116625249A (zh) | 2023-08-22 |
Family
ID=87636357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310624896.XA Pending CN116625249A (zh) | 2023-05-30 | 2023-05-30 | 基于2d和3d视觉的工件自动检测方法、装置及其相关介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116625249A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118071814A (zh) * | 2024-04-17 | 2024-05-24 | 山东工程职业技术大学 | 一种基于机器视觉的精密器件尺寸测量方法及测量装置 |
-
2023
- 2023-05-30 CN CN202310624896.XA patent/CN116625249A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118071814A (zh) * | 2024-04-17 | 2024-05-24 | 山东工程职业技术大学 | 一种基于机器视觉的精密器件尺寸测量方法及测量装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
| CN106981077B (zh) | 基于dce和lss的红外图像和可见光图像配准方法 | |
| CN108335331B (zh) | 一种钢卷双目视觉定位方法及设备 | |
| US11676301B2 (en) | System and method for efficiently scoring probes in an image with a vision system | |
| CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
| CN104134208B (zh) | 利用几何结构特征从粗到精的红外与可见光图像配准方法 | |
| CN111126174A (zh) | 一种用于机器人抓取零件的视觉检测方法 | |
| CN112037203A (zh) | 基于复杂工件外轮廓配准的侧表面缺陷检测方法及*** | |
| CN111402330B (zh) | 一种基于平面靶标的激光线关键点提取方法 | |
| CN111402238A (zh) | 一种通过机器视觉实现的缺陷标识*** | |
| CN116625249A (zh) | 基于2d和3d视觉的工件自动检测方法、装置及其相关介质 | |
| CN116229189B (zh) | 基于荧光内窥镜的图像处理方法、装置、设备及存储介质 | |
| CN114332079A (zh) | 基于图像处理的塑料餐盒裂缝检测方法、装置及介质 | |
| Wang et al. | Point based registration of terrestrial laser data using intensity and geometry features | |
| CN113689365A (zh) | 一种基于Azure Kinect的目标跟踪定位方法 | |
| CN116645418A (zh) | 基于2d和3d相机的屏幕按钮检测方法、装置及其相关介质 | |
| CN116883498A (zh) | 基于灰度质心提取算法的视觉合作靶标特征点定位方法 | |
| CN116721156A (zh) | 工件位置定位方法、装置、计算机设备及存储介质 | |
| CN113643290B (zh) | 一种基于图像处理的吸管计数方法、装置及存储介质 | |
| CN114882122A (zh) | 图像局部自动标定方法、装置及相关设备 | |
| CN114486934A (zh) | 一种用于管道内部裂纹图像识别*** | |
| CN112749713A (zh) | 一种基于人工智能的大数据图像识别***及方法 | |
| CN116580022B (zh) | 工件尺寸检测方法、装置、计算机设备及存储介质 | |
| CN116580005B (zh) | 基于图像处理与深度学习的管片模具开模***的引导方法 | |
| CN106897719B (zh) | 基于Kinect的典型零部件识别与定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |