CN114092411A - 一种高效快速的双目3d点云焊点缺陷检测方法 - Google Patents

一种高效快速的双目3d点云焊点缺陷检测方法 Download PDF

Info

Publication number
CN114092411A
CN114092411A CN202111262163.3A CN202111262163A CN114092411A CN 114092411 A CN114092411 A CN 114092411A CN 202111262163 A CN202111262163 A CN 202111262163A CN 114092411 A CN114092411 A CN 114092411A
Authority
CN
China
Prior art keywords
point cloud
point
welding spot
welding
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111262163.3A
Other languages
English (en)
Inventor
郝矿荣
胡启明
李海剑
隗兵
张平
唐妙奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202111262163.3A priority Critical patent/CN114092411A/zh
Publication of CN114092411A publication Critical patent/CN114092411A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646—Soldering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Immunology (AREA)
  • Biophysics (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种高效快速的双目3D点云焊点缺陷检测方法，所述检测方法包括：建立双目视觉***来高效快速地采集焊点的视图1和视图2的点云，相较于单目视觉***采集的3D点云焊点更加完整；设计3D模板匹配方法对双目3D点云焊点定位，所述匹配方法包括：基于语义分割方法获取印刷电路板的视图1和视图2的点云、基于齐次坐标变换对齐视图1和视图2的点云、基于快速点特征直方图方法配准对齐后的点云和标准模板；构建基于细粒度方法的3D点云焊点缺陷检测技术，该技术通过全局特征预测焊点关键区域，并提取关键区域的特征进行缺陷分类，实现了高效快速的焊点缺陷分类，对工业中印刷电路板的质量检测具有重要意义。

Description

一种高效快速的双目3D点云焊点缺陷检测方法
技术领域
本发明属电路板焊点缺陷检测技术领域，涉及一种高效快速的双目3D点云焊点缺陷检测方法。
背景技术
随着科技的迅速发展，印刷电路板广泛的应用于各行各业。在印刷电路板的生产制造过程中，焊点的焊接质量检测是其中的关键环节。传统的焊点缺陷检测主要依赖人工检测，即操作员通过事先指定的标准结合经验判断印刷电路板的焊接是否合格。人工检测涉及主观评价，并且重复性劳动导致人工检测效率低、成本高。因此自动检测技术被应用在焊点的缺陷检测中，现存的自动检测技术主要是基于图像进行缺陷分类。图像质量的好坏直接关系缺陷检测的结果，因此基于图像的方法通常对检测环境的光源要求较高。
最近，由于低成本的扫描仪和高速计算设备的出现，点云在许多领域得到了广泛的应用。相比较于图像，点云提供了丰富的几何、形状和空间信息来表征3D物体，并且点云的获取对光源不敏感。印刷电路板的缺陷检测实际上是3D结构的焊点的形状检测，3D点云对焊点形状的表征是优于2D图像对其的表征。并且随着深度学习在点云上取得突破性的发展，深度神经网络可以高效快速的处理点云数据，这为实际生产应用提供了基础。
现存焊点缺陷的自动检测方法主要是基于图像数据，通过多色光采集图像，并使用机器学习、深度学习等方法进行特征提取并分类。主要可分为如下三种方法：1)基于图像处理的方法，设计不同的图像提取算子提取特征，并根据提取的特征设计对应分类器。2)基于机器学习的方法处理图像并提取特征，并使用特征训练分类器。3)基于数据驱动的深度学习方法同时提取特征并分类。因为这些基于图像的技术在采集图像时对光照敏感，因此这些技术通常对光照不具有鲁棒性。本发明使用激光雷达采集数据，可以避免光照对检测结果的影响。
发明内容
本发明要解决的技术问题，基于3D点云对3D物体的有效表征，提出一种高效快速的双目3D点云焊点缺陷检测方法。本发明采用不同于现存的技术在于设计了双目视觉***快速采集焊点点云，并构建了基于细粒度的方法检测3D焊点点云缺陷。
为了达到上述目的，本发明的方案如下：
一种高效快速的双目3D点云焊点缺陷检测方法，步骤如下：
(1)构建双目视觉***采集待测样本的3D点云；
所述待测样本为塑料材质封装的印刷电路板；
所述双目视觉***是指：两个三角测距激光雷达位于所述待测样本的正上方，且二者形成的直线与所述待测样本的印刷电路板部分所在的平面平行(两者之间的距离为所述激光雷达对应的使用说明书中的正常工作时的扫描高度)；两个三角测距激光雷达以镜像对称的方式放置同时二者之间无间隙；每个三角测距激光雷达在沿着所述直线的方向运动时，所述三角测距激光雷达的发射器发射的激光垂直扫描过焊点，然后由焊点反射激光至对应三角测距激光雷达的接收器；(该测试原理图如图2所示)
所述采集的过程为：使用逻辑控制器(即PLC)控制两个三角测距激光雷达的开始扫描信号，并同时控制两个三角测距激光雷达在所述直线上匀速运动，沿一个方向一次性采集待测样本的3D点云，再通过以太网传输两个三角测距激光雷达采集的数据到上位机中；
所述匀速运动过程中，两个三角测距激光雷达的相对位置保持不变；
所述待测样本的3D点云由视图1形成的3D点云和视图2形成的3D点云组成；视图1形成的3D点云由一个三角测距激光雷达采集得到，视图2形成的3D点云由另一个三角测距激光雷达采集得到；
本发明中采用的三角测距激光雷达存在发射器和接收器，通常情况下，发射器发射激光照射到物体，物体表面以一定角度反射激光，接收器接收激光。如果反射的激光被物体本身遮挡，如图3中的C所示，则采集的该部分点云会缺失。针对焊点问题，因为其形状多变导致焊点顶部易缺失，并且缺失严重影响检测结果。因此，本发明将三角测距激光雷达设计为所述双目视觉***，可以克服因三角测距激光雷达自身存在的采集数据不完全的缺陷。
(2)采用3D模板匹配方法定位焊点位置：先采用语义分割方法对视图1形成的3D点云和视图2形成的3D点云进行分割，得到视图1中印刷电路板部分的3D点云，记为Y1，视图2中印刷电路板部分的3D点云，记为Y2；再采用齐次坐标变换将Y2与Y1对齐，得到与Y1对齐的视图2的印刷电路板部分的3D点云，记为
Figure BDA0003325832460000021
最后使用快速点特征直方图将Y1或者
Figure BDA0003325832460000022
与标准模板配准获取每个焊点的位置信息；因为Y1与
Figure BDA0003325832460000023
对齐，两者焊点位置信息相同，因此可通过上述焊点的位置信息获取Y1和
Figure BDA0003325832460000024
中属于各个焊点的点云，分别记为记为Z1和Z2；
(3)基于细粒度方法逐个检测步骤(2)中Z1和Z2中对应焊点是否为合格焊点；
所述焊点的3D点云包括X1和X2；其中，X1为该焊点在Z1中的3D点云，X2为该焊点在Z2中的3D点云；
所述检测的过程为：
(3.1)先使用深度神经网络分别对该焊点的X1和X2进行点云到点特征的变换得到X1和X2的点特征，再使用对称函数保持输入的置换不变性对X1和X2点特征进行处理，得到X1和X2的全局特征；所述X1和X2的全局特征，表示如下：
f(X1)≈g(m(X1))；
f(X2)≈g(m(X2))；
其中，f(X1)和f(X2)分别为X1和X2的全局特征，g(·)为对称函数，m(·)为点云到点特征的变换。“≈”的意思表示是：X的全局特征可以近似通过右边的式子得到，在模型训练结束后，就是完全相等的。
对称函数对共享的多层感知机I的输出进行处理，得到X1和X2的全局特征(X1和X2的全局特征表征焊点的全局特征)。
(3.2)通过f(X1)和f(X2)确定该焊点的关键区域，并得到所述关键区域内X1和X2的点特征
Figure BDA0003325832460000031
和
Figure BDA0003325832460000032
所述关键区域是对该焊点的顶部对应的球形区域采用指数函数进行切割得到；
对于每个焊点而言，操作人员通常通过判断焊点顶部形状作为评判焊点质量(即焊点是否合格)的依据，而步骤(3.1)中获取的是焊点的全局特征，包含了焊点上所有点的位置信息，因此，本发明通过以下过程获取焊点关键区域(即焊点顶部区域)的细节特征作为分类器的输入提升分类效果。总体看，是使用全局特征估计焊点的关键区域，并使用指数函数从焊点的3D点云切割关键区域，确保关键区域可以在反向传播中被优化。特别地，此处通过掩码获取关键区域内的点特征来间接达到切割关键区域的目的。
(3.3)使用步骤(3.2)所得关键区域内X1和X2的点特征
Figure BDA0003325832460000033
和
Figure BDA0003325832460000034
作为分类器多层感知机的输入，预测该焊点属于合格焊点的概率，其数学表达式如下：
Figure BDA0003325832460000035
其中，p(·)指该焊点属于合格焊点的概率，cls(·)指分类器多层感知机；
如果p(X1,X2)>0.5则认为该焊点为合格焊点。
本发明的上述步骤(3)中的方法，是一个深度学习模型。
作为优选的技术方案：
如上所述的一种高效快速的双目3D点云焊点缺陷检测方法，所述控制两个三角测距激光雷达的开始扫描信号是指：当三角测距激光雷达的激光能够扫描到待测样本时，启动开始扫描信号，当三角测距激光雷达的激光不再扫描到待测样本时，停止开始扫描信号。其中，能够扫描到待测样本时的位置和不再扫描到待测样本时的位置均由试验确定(采用常规技术即可)
如上所述的一种高效快速的双目3D点云焊点缺陷检测方法，其特征在于，所述标准模板是指与待测印刷电路板的规格和与待测印刷电路板上焊点的位置分布保持一致的印刷电路板的3D点云，且所述标准模板含有所述印刷电路板上焊点的位置信息。
如上所述的一种高效快速的双目3D点云焊点缺陷检测方法，所述点云到点特征的变换是采用共享的多层感知机I提取X1和X2的点特征；所述共享的多层感知机I为输出为64、128、512的3层共享感知机。
如上所述的一种高效快速的双目3D点云焊点缺陷检测方法，步骤(3.2)的具体过程为：
(3.2.1)以步骤(3.1)中的f(X1)和f(X2)作为多层感知机II的输入，得到球形区域，描述如下：
[tx,ty,tz,r]＝s(f(X1),f(X2))；
其中，tx,ty,tz分别表示球形区域的中心点的坐标，r表示球形区域的半径；s(·)表示多层感知机II；
(3.2.2)为了确保关键区域在反向传播中可以被优化，使用指数函数分别从X1和X2中切割步骤(3.2.1)得到的球形区域，得到关键区域；
所述切割是通过掩码获取球形区域内的点特征来间接实现的，结果如下所示：
Figure BDA0003325832460000041
Figure BDA0003325832460000042
其中，
Figure BDA0003325832460000043
和
Figure BDA0003325832460000044
表示球形区域内X1和X2的点特征，m(·)为点云到点特征的变换，⊙表示按元素相乘，M1(·)和M2(·)表示X1和X2的掩码；
现有技术中一般采用阶梯函数，但是阶梯函数不可导，会使所述模型在反向传播中不能优化，而使得检测的准确率下降；而指数函数是可导的，其可导的性质使所述模型的优化平面更加光滑，帮助模型提升检测准确率。
上式中，M1(·)和M2(·)的表达式为：
M1(·)＝h(sqdist1-r2)；
sqdist1＝sum((X1-(tx,ty,tz))2)；
M2(·)＝h(sqdist2-r2)；
spdist2＝sum((X2-(tx,ty,tz))2)；
其中，h(·)表示指数函数，sqdist1和sqdist2表示X1和X2中每个点到球形区域的中心点的距离的平方，r表示球形区域的半径，sum(·)表示求和，tx,ty,tz表示球形区域的中心点的坐标；点云在数据层面是以三维坐标集合的形式呈现的；可以进行上述的运算过程。
所述h(·)的描述如下：
Figure BDA0003325832460000051
其中，k为指数函数的指数(可以优选20)，e为自然常数。
如上所述的一种高效快速的双目3D点云焊点缺陷检测方法，所述多层感知机II是输出为1024、64、4的3层感知机。
如上所述的一种高效快速的双目3D点云焊点缺陷检测方法，所述分类器多层感知机为输出为512、256、2的三层感知机。
如上所述的一种高效快速的双目3D点云焊点缺陷检测方法，所述对称函数为最大值函数。
本发明的原理是：
本发明基于三角测距激光雷达的扫描原理，通过镜像对称放置两个相同型号激光雷达的方式，设计了双目视觉***，该***仅需通过单次扫描即可获得包含完整焊点信息的视图1和视图2的两个3D点云样本，对于其他领域的点云采集具有一定借鉴意义。针对上述双目视觉***采集的样本设计了特别的3D模板匹配方法进行焊点定位，首先使用通用语义分割模型分别获取视图1和视图2样本中属于印刷电路板部分的点云，此处利用深度学***面图形的旋转和平移的变换，此处为进行高效的预处理，先将视图2变换到视图1的坐标空间中，后续仅需对视图1进行配准获取视图1中焊点位置信息，即可获得视图2中焊点的位置信息，缩减了视图2耗时的配准过程。通过视图1和视图2中焊点的位置信息，即可获得视图1和视图2焊点的3D点云。在焊点缺陷检测的过程中，本发明使用基于细粒度方法检测焊点的缺陷，其具体做法如下：1)首先利用共享的多层感知机分别提取视图1和视图2焊点的3D点云的点特征，然后使用对称函数(此处为最大值函数)处理视图1和视图2的点特征获取视图1和视图2焊点的3D点云的全局特征。2)利用视图1和视图2焊点的3D点云的全局特征预测焊点的关键区域(此处关键区域指操作人员通常评判焊点是否合格所观察的区域)，并利用指数函数(用于近似阶梯函数)切割关键区域，使关键区域可以在反向传播中被优化。特别地，此处通过掩码获取关键区域内的点特征来间接达到切割关键区域的目的。3)利用视图1和视图2关键区域内地点特征，通过分类多层感知机预测焊点属于合格品地概率。因为关键区域的细节特征比全局特征表征能力更强，其检测效果比直接使用全局特征的准确率更高。经过实际检验，对于一个样本，本发明提出的方法采集过程仅耗时1s，预处理耗时0.3s，检测仅耗时0.37s，总耗时平均1.67s，达到实际生产过程中2.5s处理一个样本的标准，并且检测准确率达97％满足工厂的基本要求。
有益效果：
(1)本发明的一种高效快速的双目3D点云缺陷检测方法，所述检测方法采用双目采集***快速完整的获取完整的焊点点云；
(2)本发明基于焊点3D点云的全局特征预测关键区域，通过提取关键区域的细节特征，检测焊点缺陷类型，有效的提高检测的准确率。
附图说明
图1为本发明的3D点云焊点缺陷检测方法整体结构框图；
图2为双目视觉***的原理示意图；
图3为反射的激光被物体本身遮挡的原理示意图；
图4采用3D模板匹配方法定位焊点位置的流程示意图；
图5为检测焊点的缺陷的流程示意图；
图6为基于实际数据的测试结果。
具体实施方式
下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
一种高效快速的双目3D点云焊点缺陷检测方法，其整体结构框图如图1所示，包括以下步骤：
(1)构建双目视觉***采集待测样本的3D点云；
所述待测样本为塑料材质封装的印刷电路板；
所述双目视觉***是指：两个三角测距激光雷达位于所述待测样本的正上方，且二者形成的直线与所述待测样本的印刷电路板部分所在的平面平行(两者之间的距离为所述激光雷达对应的使用说明书中的正常工作时的扫描高度)；两个三角测距激光雷达以镜像对称的方式放置同时二者之间无间隙；每个三角测距激光雷达在沿着所述直线的方向运动时，所述三角测距激光雷达的发射器发射的激光垂直扫描过焊点，然后由焊点反射激光至对应三角测距激光雷达的接收器。
所述采集的过程为：使用逻辑控制器(即PLC)控制两个三角测距激光雷达的开始扫描信号，并同时控制两个三角测距激光雷达在所述直线上匀速运动，沿一个方向一次性采集待测样本的3D点云，再通过以太网传输两个三角测距激光雷达采集的数据到上位机中。
所述控制两个三角测距激光雷达的开始扫描信号是指：当三角测距激光雷达的激光能够扫描到待测样本时，启动开始扫描信号，当三角测距激光雷达的激光不再扫描到待测样本时，停止开始扫描信号。其中，能够扫描到待测样本时的位置和不再扫描到待测样本时的位置均由试验确定(公知技术)。
所述匀速运动过程中，两个三角测距激光雷达的相对位置保持不变。
所述待测样本的3D点云由视图1形成的3D点云和视图2形成的3D点云组成。视图1形成的3D点云由一个三角测距激光雷达采集得到，视图2形成的3D点云由另一个三角测距激光雷达采集得到。
(2)采用3D模板匹配方法定位焊点位置(其流程示意图如图4所示)；
(2.1)基于语义分割方法分别对视图1和视图2形成的3D点云进行分割获取属于印刷电路板部分的点云，其中，视图1的印刷电路板部分的3D点云记为Y1，视图2的印刷电路板部分的3D点云记为Y2。具体为：通过构建语义分割的数据集，使用通用的语义分割模型PointNet++训练，对待测样本的3D点云进行分割获取印刷电路板部分的点云。
(2.2)基于齐次坐标变换将Y2与Y1对齐，得到与Y1对齐的视图2的印刷电路板部分的3D点云，记为
Figure BDA0003325832460000071
齐次坐标变换对齐的过程(现有技术)具体如下：
由于两个三角测距激光雷达在运动过程中相对位置保持不变，因此，可以获取Y2到Y1的齐次坐标变换(R,t)，将Y2转换为齐次坐标，记为Y2′，并对Y2′应用齐次坐标变换，其结果
Figure BDA0003325832460000072
(齐次坐标与普通所述三维空间坐标不同，要做齐次变换，首先要转换为齐次坐标)如下所示：
Figure BDA0003325832460000073
(2.3)使用快速点特征直方图将Y1或者
Figure BDA0003325832460000074
与标准模板配准获取每个焊点的位置信息；通过每个焊点的位置信息获取Y1和
Figure BDA0003325832460000075
中属于各个焊点的点云(由于Y1或者
Figure BDA0003325832460000076
是对齐后的3D点云，因此，可以通过其中一个3D点云进行配准得到的焊点的位置来确定另一个3D点云中各个焊点的位置)，分别记为记为Z1和Z2；
所述标准模板是指与待测印刷电路板的规格和与待测印刷电路板上焊点的位置分布保持一致的印刷电路板的3D点云，且所述标准模板含有所述印刷电路板上焊点的位置信息。
以Y1为例描述的配准的过程(现有技术)具体如下：
假设Y1与标准模板分别为
Figure BDA0003325832460000081
和
Figure BDA0003325832460000082
并且通常Np≠Nq。点云P经过旋转R和位移t的变换可描述如下：
Figure BDA0003325832460000083
假设通过计算快速点特征直方图估计出N个点对，则点云P和Q的距离表示如下：
Figure BDA0003325832460000084
使用最小二乘法寻找使得上述距离最小的变换(R,t)，反复迭代直到获得满足要求的变换(R,t)。根据标准模板事先预知的焊点位置即可获得配准后的Y1的焊点的位置信息，通过该位置信息从Y1中获取属于各个焊点的3D点云记为Z1。
又因为视图2和视图1已经对齐，同理可以从
Figure BDA0003325832460000085
中获取属于各个焊点的3D点云记为Z2。
(3)基于细粒度方法逐个检测步骤(2)中Z1和Z2中对应焊点的缺陷(如图5所示)；
所述焊点的3D点云包括X1和X2；其中，X1为该焊点在Z1中的3D点云，X2为该焊点在Z2中的3D点云；
所述检测的过程为：
(3.1)先使用深度神经网络分别对该焊点的X1和X2进行点云到点特征的变换得到X1和X2的点特征，再使用对称函数保持输入的置换不变性对X1和X2点特征进行处理，得到X1和X2的全局特征；
所述点云到点特征的变换是采用共享的多层感知机I提取X1和X2的点特征；所述共享的多层感知机I为输出为64、128、512的3层共享感知机；
所述X1和X2的全局特征，表示如下：
f(X1)≈g(m(X1))；
f(X2)≈g(m(X2))；
其中，f(X1)和f(X2)分别为X1和X2的全局特征，g(·)为对称函数(取最大值函数)，m(·)为点云到点特征的变换。
(3.2)确定该焊点的关键区域；
具体过程为：
(3.2.1)以步骤(3.1)中的f(X1)和f(X2)作为多层感知机II的输入，得到球形区域，描述如下：
[tx,ty,tz,r]＝s(f(X1),f(X2))；
其中，tx,ty,tz分别表示球形区域的中心点的坐标，r表示球形区域的半径；s(·)表示多层感知机II；所述多层感知机II是输出为1024、64、4的3层感知机；
(3.2.2)为了确保关键区域在反向传播中可以被优化，使用指数函数分别从X1和X2中切割步骤(3.2.1)得到的球形区域，得到关键区域；
所述切割是通过掩码获取球形区域内的点特征来间接实现的，结果如下所示：
Figure BDA0003325832460000091
Figure BDA0003325832460000092
其中，
Figure BDA0003325832460000093
和
Figure BDA0003325832460000094
表示球形区域内X1和X2的点特征，m(·)为点云到点特征的变换，⊙表示按元素相乘，M1(·)和M2(·)表示X1和X2的掩码；
上式中，M1(·)和M2(·)的表达式为：
M1(·)＝h(sqdist1-r2)；
sqdist1＝sum((X1-(tx,ty,tz))2)；
M2(·)＝h(sqdist2-r2)；
sqdist2＝sum((X2-(tx,ty,tz))2)；
其中，h(·)表示指数函数，sqdist1和sqdist2表示X1和X2中每个点到球形区域的中心点的距离的平方，r表示球形区域的半径，sum(·)表示求和，tx,ty,tz表示球形区域的中心点的坐标；
所述h(·)的描述如下：
Figure BDA0003325832460000095
其中，k为指数函数的指数(取20)，e为自然常数。
(3.3)使用步骤(3.2)所得关键区域内X1和X2的点特征
Figure BDA0003325832460000096
和
Figure BDA0003325832460000097
作为分类器多层感知机的输入，预测该焊点属于合格焊点的概率，其数学表达式如下：
Figure BDA0003325832460000098
其中，p(·)指该焊点是否合格的预测的概率，cls(·)指分类器多层感知机；
如果p(X1,X2)>0.5则认为该焊点为合格焊点。
所述分类器多层感知机为输出为512、256、2的三层感知机。
为了验证本发明的有效性，基于本发明的方法对工厂的印刷电路板的焊点缺陷进行检测，其具体过程如下：在工厂使用本发明方法的步骤(1)中构建的双目视觉***采集257个塑料材质封装的印刷电路板的视图1和视图2的3D点云样本，其中每个印刷电路板包含5个焊点。
对上述采集的3D点云样本使用步骤(2)中所述3D模板匹配方法进行预处理，获得视图1和视图2焊点的3D点云。
为了使用语义分割模型对3D点云样本进行语义分割，需要先构建语义分割的数据集对该采用的语义分割模型进行训练。分别将视图1和视图2的257个塑料材质封装的印刷电路板的3D点云划分为训练集和测试集，其中训练集为200个，测试集为57个，用于训练和测试语义分割模型，所述语义分割模型采用PointNet++，所述训练是指以塑料材质封装的印刷电路板的3D点云为输入，经过反向传播优化得到输入点云中属于印刷电路板的点云，所述测试是用于衡量训练过程的好坏。模型训练到可以分割3D点云样本后后停止训练，其测试结果如图4步骤一所示。
然后分别将视图1和视图2语义分割获得的属于印刷电路板部分的点云进行步骤(2.2)和步骤(2.3)所述的齐次变换和点云配准即可获得视图1和视图2焊点的3D点云。
然后用步骤(3)中构建的基于细粒度分类的模型用于检测焊点缺陷，首先利用视图1和视图2焊点的3D点云制作缺陷分类的数据集。该数据集总共有1285个样本，包含693个没有缺陷的样本和592个有缺陷的样本，所述一个样本包括焊点的视图1和视图2两个3D点云。将上述数据集划分为训练集和测试集，其中训练集有1000个样本，测试集有285个样本。然后利用构建的缺陷分类数据集对步骤(3)中模型进行训练和测试，所述训练是指以视图1和视图2焊点的3D点云为输入，通过反向传播优化得到焊点属于合格焊点的概率，所述测试用于衡量训练过程的好坏。所述模型的训练参数设置如下，其中优化器设置为Adam，其权重衰减系数为0.0001。初始化学***台下进行。
缺陷分类的训练结果如图6所示，其横坐标表示训练的迭代次数，纵坐标表示训练预测的准确率。从图中可以看出其测试集结果达到97％，即所述模型预测焊点是否合格正确的概率为97％，并且所述模型平均检测时间仅为0.37s，其自动检测结果对印刷电路板焊接质量检测有一定意义。

Claims (8)

1.一种高效快速的双目3D点云焊点缺陷检测方法，其特征是步骤如下：
(1)构建双目视觉***，采集待测样本的3D点云；
所述待测样本为塑料材质封装的印刷电路板；
所述双目视觉***是指：两个三角测距激光雷达位于所述待测样本的正上方，且二者形成的直线与所述待测样本的印刷电路板部分所在的平面平行；两个三角测距激光雷达以镜像对称的方式放置；每个三角测距激光雷达在沿着所述直线的方向运动时，所述三角测距激光雷达的发射器发射的激光垂直扫描过焊点，然后由焊点反射激光至对应三角测距激光雷达的接收器；
所述采集的过程为：使用逻辑控制器控制两个三角测距激光雷达的开始扫描信号，并同时控制两个三角测距激光雷达在所述直线上匀速运动，沿一个方向一次性采集待测样本的3D点云；
所述匀速运动过程中，两个三角测距激光雷达的相对位置保持不变；
所述待测样本的3D点云由视图1形成的3D点云和视图2形成的3D点云组成；
(2)采用3D模板匹配方法定位焊点位置：先采用语义分割方法对视图1形成的3D点云和视图2形成的3D点云进行分割，得到视图1中印刷电路板部分的3D点云，记为Y1，视图2中印刷电路板部分的3D点云，记为Y2；再采用齐次坐标变换将Y2与Y1对齐，得到与Y1对齐的视图2的印刷电路板部分的3D点云，记为
Figure FDA0003325832450000011
最后使用快速点特征直方图将Y1或者
Figure FDA0003325832450000012
与标准模板配准获取每个焊点的位置信息；通过所述焊点的位置信息获取Y1和
Figure FDA0003325832450000013
中属于各个焊点的点云，分别记为记为Z1和Z2；
(3)基于细粒度方法逐个检测步骤(2)中Z1和Z2中对应焊点是否为合格焊点；
所述焊点的3D点云包括X1和X2；其中，X1为该焊点在Z1中的3D点云，X2为该焊点在Z2中的3D点云；
所述检测的过程为：
(3.1)先使用深度神经网络分别对该焊点的X1和X2进行点云到点特征的变换得到X1和X2的点特征，再使用对称函数保持输入的置换不变性对X1和X2点特征进行处理，得到X1和X2的全局特征；所述X1和X2的全局特征，表示如下：
f(X1)≈g(m(X1))；
f(X2)≈g(m(X2))；
其中，f(X1)和f(X2)分别为X1和X2的全局特征，g(·)为对称函数，m(·)为点云到点特征的变换；
(3.2)通过f(X1)和f(X2)确定该焊点的关键区域，并得到所述关键区域内X1和X2的点特征
Figure FDA0003325832450000021
和
Figure FDA0003325832450000022
所述关键区域是对该焊点的顶部对应的球形区域采用指数函数进行切割得到；
(3.3)使用步骤(3.2)所得关键区域内X1和X2的点特征
Figure FDA0003325832450000023
和
Figure FDA0003325832450000024
作为分类器多层感知机的输入，预测该焊点属于合格焊点的概率，其数学表达式如下：
Figure FDA0003325832450000025
其中，p(·)指该焊点属于合格焊点的概率，cls(·)指分类器多层感知机；
如果p(X1,X2)>0.5则认为该焊点为合格焊点。
2.根据权利要求1所述的一种高效快速的双目3D点云焊点缺陷检测方法，其特征在于，所述控制两个三角测距激光雷达的开始扫描信号是指：当三角测距激光雷达的激光能够扫描到待测样本时，启动开始扫描信号，当三角测距激光雷达的激光不再扫描到待测样本时，停止开始扫描信号。
3.根据权利要求1所述的一种高效快速的双目3D点云焊点缺陷检测方法，其特征在于，所述标准模板是指与待测印刷电路板的规格和焊点的位置分布保持一致的印刷电路板的3D点云，且所述标准模板含有所述印刷电路板上焊点的位置信息。
4.根据权利要求1所述的一种高效快速的双目3D点云焊点缺陷检测方法，其特征在于，所述点云到点特征的变换是采用共享的多层感知机I提取X1和X2的点特征；所述共享的多层感知机I为输出为64、128、512的3层共享感知机。
5.根据权利要求1所述的一种高效快速的双目3D点云焊点缺陷检测方法，其特征在于，步骤(3.2)的具体过程为：
(3.2.1)以步骤(3.1)中的f(X1)和f(X2)作为多层感知机II的输入，得到球形区域，描述如下：
[tx,ty,tz,r]＝s(f(X1),f(X2))；
其中，tx,ty,tz分别表示球形区域的中心点的坐标，r表示球形区域的半径；s(·)表示多层感知机II；
(3.2.2)使用指数函数分别从X1和X2中切割步骤(3.2.1)得到的球形区域，得到关键区域；
所述切割是通过掩码获取球形区域内的点特征来间接实现的，结果如下所示：
Figure FDA0003325832450000026
Figure FDA0003325832450000031
其中，
Figure FDA0003325832450000032
和
Figure FDA0003325832450000033
表示球形区域内X1和X2的点特征，m(·)为点云到点特征的变换，⊙表示按元素相乘，M1(·)和M2(·)表示X1和X2的掩码；
上式中，M1(·)和M2(·)的表达式为：
M1(·)＝h(sqdist1-r2)；
sqdist1＝sum((X1-(tx,ty,tz))2)；
M2(·)＝h(sqdist2-r2)；
sqdist2＝sum((X2-(tx,ty,tz))2)；
其中，h(·)表示指数函数，sqdist1和sqdist2表示X1和X2中每个点到球形区域的中心点的距离的平方；
所述h(·)的描述如下：
Figure FDA0003325832450000034
其中，k为指数函数的指数，e为自然常数。
6.根据权利要求5所述的一种高效快速的双目3D点云焊点缺陷检测方法，其特征在于，所述多层感知机II是输出为1024、64、4的3层感知机。
7.根据权利要求1所述的一种高效快速的双目3D点云焊点缺陷检测方法，其特征在于，所述分类器多层感知机为输出为512、256、2的三层感知机。
8.根据权利要求1所述的一种高效快速的双目3D点云焊点缺陷检测方法，其特征在于，所述对称函数为最大值函数。
CN202111262163.3A 2021-10-28 2021-10-28 一种高效快速的双目3d点云焊点缺陷检测方法 Pending CN114092411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111262163.3A CN114092411A (zh) 2021-10-28 2021-10-28 一种高效快速的双目3d点云焊点缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111262163.3A CN114092411A (zh) 2021-10-28 2021-10-28 一种高效快速的双目3d点云焊点缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114092411A true CN114092411A (zh) 2022-02-25

Family

ID=80297987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111262163.3A Pending CN114092411A (zh) 2021-10-28 2021-10-28 一种高效快速的双目3d点云焊点缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114092411A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311534A (zh) * 2022-08-26 2022-11-08 中国铁道科学研究院集团有限公司 基于激光雷达的铁路周界入侵辨识方法、装置及存储介质
CN117670887A (zh) * 2024-02-01 2024-03-08 湘潭大学 一种基于机器视觉的锡焊高度及缺陷检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311534A (zh) * 2022-08-26 2022-11-08 中国铁道科学研究院集团有限公司 基于激光雷达的铁路周界入侵辨识方法、装置及存储介质
CN117670887A (zh) * 2024-02-01 2024-03-08 湘潭大学 一种基于机器视觉的锡焊高度及缺陷检测方法
CN117670887B (zh) * 2024-02-01 2024-04-09 湘潭大学 一种基于机器视觉的锡焊高度及缺陷检测方法

Similar Documents

Publication Publication Date Title
CN109900706B (zh) 一种基于深度学习的焊缝及焊缝缺陷检测方法
Yang et al. Real-time tiny part defect detection system in manufacturing using deep learning
Jahanshahi et al. An innovative methodology for detection and quantification of cracks through incorporation of depth perception
CN104992449B (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN103759648A (zh) 一种基于激光双目视觉的复杂角焊缝位置检测方法
CN114092411A (zh) 一种高效快速的双目3d点云焊点缺陷检测方法
CN110243937A (zh) 一种基于高频超声的倒装焊焊点缺失缺陷智能检测方法
CN108917593A (zh) 一种基于待测工件基元组态的智能测量***及方法
CN111768365A (zh) 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法
CN115077414B (zh) 一种水下航行器测量海面目标物底部轮廓的装置和方法
Yang et al. An automatic aperture detection system for LED cup based on machine vision
CN110910382A (zh) 一种集装箱检测***
CN209148563U (zh) 一种双成像式透明构件缺陷检测装置
CN110136186A (zh) 一种用于移动机器人目标测距的检测目标匹配方法
Jin et al. A new welding seam recognition methodology based on deep learning model MRCNN
Wang et al. Assembly defect detection of atomizers based on machine vision
Sun et al. Precision work-piece detection and measurement combining top-down and bottom-up saliency
CN109993741A (zh) 一种基于k均值聚类的钢轨焊缝轮廓自动定位方法
CN115770731A (zh) 一种基于激光视觉剔除不良工件的方法及***
CN114965272A (zh) 一种芯片缺陷检测平台的测试方法
Zou et al. Laser-based precise measurement of tailor welded blanks: a case study
Chen et al. A hierarchical visual model for robot automatic arc welding guidance
CN114037705B (zh) 一种基于贝纹线的金属断裂疲劳源检测方法与***
Le et al. Electrical colored wires inspection algorithm for automatic connector producing machines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination