CN112833821B - 高密度ic焊点的微分几何立体微视觉检测***及方法 - Google Patents
高密度ic焊点的微分几何立体微视觉检测***及方法 Download PDFInfo
- Publication number
- CN112833821B CN112833821B CN202011641357.XA CN202011641357A CN112833821B CN 112833821 B CN112833821 B CN 112833821B CN 202011641357 A CN202011641357 A CN 202011641357A CN 112833821 B CN112833821 B CN 112833821B
- Authority
- CN
- China
- Prior art keywords
- welding spot
- welding
- point cloud
- discrete point
- density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 229910000679 solder Inorganic materials 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000005286 illumination Methods 0.000 claims abstract description 4
- 230000007547 defect Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000002591 computed tomography Methods 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 238000003908 quality control method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种高密度IC焊点的微分几何立体微视觉检测***及方法,该***包括稠密焊点离散点云获取***,由两台带有金相显微镜的彩色CCD数字相机构成的双目立体视觉***和半球形LED阵列照明***组成;焊点微分几何特征参数计算模块以空间离散点法向量为依据的主方向和主曲率估计方法,对焊点表面离散点云脊点提取和脊线跟踪;焊点分类决策模块基于Frenet活动标架的焊点类型模型匹配规则,实现对焊点快速准确检测分类。本发明利用双目微视***并通过微分几何理论实现焊点表面离散点云特征提取,为微米级三维重构提供一种新途径,降低以CT扫描进行微米级重构成本;基于微分几何特征的脊线分析方法大大简化焊点识别分类过程。
Description
技术领域
本发明涉及高密度IC焊点的微视觉三维表面信息分析技术领域,具体涉及一种高密度IC焊点的微分几何立体微视觉检测***及方法。
背景技术
三维数据到目标物体的几何特征是对目标表面描述和目标匹配分类的重要方法。随着计算机技术的发展和数据融合技术的成熟,双目立体视觉的应用越发普遍。高密度印制电路板广泛应用在计算机、汽车和医疗等行业,随着电子产品持续向微型化和便携化发展,对印制电路板焊点质量检测提出了更高的分辨率要求。现仅有的CT微米级三维表面信息获取设备,因价格昂贵阻碍其普遍推广应用。因此,设计一种新的微视焊点立体视觉***,在高密度印制电路板质量控制领域具有重要的应用价值。此外,针对焊点表面离散点云数据量庞大,且焊点在回流后总呈现凸或峰的特点,基于微分几何特征参数分析方法提取表征焊点形状信息的脊线,以脊线的微分量作为定量分析指标来分类焊点缺陷类型,既减轻了计算机的负担且提高了检测效率和准确性。
焊点检测在印制电路板表面芯片封装过程中具有重要作用,其检测速度影响产品的生产效率;其检测准确性影响质量控制过程中的合格率。国外高密度焊点传统检测方法是通过手工或间接电性测试来进行,这些方法不完全可靠,即使很小的缺陷率将会导致制造商每年数百万美元的损失。而我国对高密度印制电路板缺陷检测的研究较少,尚处于一个初始阶段。
发明内容
为了克服现有技术存在的缺陷与不足,为解决高密度印制电路板质量控制过程中的焊点表面点云获取和焊点缺陷类型快速分类难题,提供一种高密度IC焊点的微分几何立体微视觉检测***及方法。
为了达到上述目的,本发明采用以下技术方案:
本发明提供一种高密度IC焊点的微分几何立体微视觉检测***,包括:稠密焊点离散点云获取***、焊点微分几何特征参数计算模块、焊点分类决策模块;
所述稠密焊点离散点云获取***包括双目立体微视觉***和3彩色半球形LED阵列照明***;
所述焊点分类决策模块采用以空间离散点法向量为依据的主方向和主曲率估计方法,用于对焊点的重构表面脊点提取和脊线跟踪;
所述焊点分类决策模块基于右手Frenet正交活动标架的焊点类型模型匹配规则,对高密度IC焊点实现快速准确的检测分类。
作为优选的技术方案,所述双目立体微视觉***由两台带有金相显微镜的彩色CCD数字相机构成。
一种高密度IC焊点的微分几何立体微视觉检测方法,包括下述步骤:
通过带有金相显微镜的双目成像***对高密度IC焊点进行表面重构,并执行空间滤波以去除噪声和进一步网格化处理;
对离散点云的法向量B进行估计,计算得到各点云的主曲率kmax,kmin和主方向e1,e2,利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点;
构建右手Frenet正交活动标架并依附在脊线上,通过焊点类型模型匹配规则决定被检测焊点所属的缺陷等级。
作为优选的技术方案,所述空间滤波采用双边滤波器,表示为:
作为优选的技术方案,所述对离散点云的法向量B进行估计,具体表示为:
作为优选的技术方案,所述离散点的主曲率kmax,kmin和主方向e1,e2分别对应于Weingarten映射矩阵W的两个实特征值和特征值相应的特征方向。
作为优选的技术方案,Weingarten映射关系表示为:
作为优选的技术方案,所述利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点,焊点的重构表面脊点提取规则为:
作为优选的技术方案,空间任意两等价Frenet活动标架经过一个刚体运动彼此重合。
作为优选的技术方案,焊点类型模型匹配规则为:
当且仅当上式满足:
本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明采用了金相显微镜和数字相机组成的双目微视***,为微米级三维物体表面重构提供了一种新途径,较现有以CT扫描的微米级物体表面三维信息获取方法,本***具有硬件简单、重构速度快的优点。
(2)本发明采用了微分几何理论实现焊点重构表面的特征提取,并利用基于微分几何特征的脊线分析方法对焊点缺陷类型进行分类,极大减轻了计算量且提高了识别检测的准确性和稳定性。
附图说明
图1为本发明微纳米级AOI三维点云获取***简图;
图2为本发明离散点空间相对位置关系以及离散曲率估计示意图;
图3为本发明脊点的离散估计示意图;
图4为本发明在脊线上的各脊点及其邻域点建立Frenet标架示意图。
其中,1-彩色CCD数字相机,2-光源散热器,3-光圈,4-物镜,5-金相显微镜,6-滤光片,7-LED结构光源。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
如图1所示,本实施例提供一种高密度IC焊点的微分几何立体微视觉检测***,包括:
稠密焊点离散点云获取***:由两台带有金相显微镜的彩色CCD数字相机1构成的双目立体视觉***,以及3彩色(红、绿、蓝)半球形LED阵列照明***。
结合图1所示,焊点离散点云获取***采用两台相同参数的彩色CCD数字相机1与大功率金相显微镜5,按平行式布置方式构成立体视觉***,其中金相显微镜替代相机镜头,安装在CCD感光芯片前端合适位置,显微镜的物镜4可针对不同分辨率选择不同的倍率。滤光片6、光圈3和LED结构光源7的调节可提高获取的图像质量。
焊点微分几何特征参数计算模块:包括以空间离散点法向量为依据的主方向和主曲率估计方法,用于对焊点的重构表面脊点提取和脊线跟踪。
焊点分类决策模块:包括基于右手Frenet正交活动标架的焊点类型模型匹配规则,实现对高密度IC焊点快速准确分类。
实施例2
一种高密度IC焊点的微分几何立体微视觉检测方法,包括下述步骤:
S1:通过带有金相显微镜的双目成像***对高密度IC焊点进行表面重构,并执行空间滤波以去除噪声和进一步网格化处理;
S11:高密度柔性IC焊点经金相显微镜放大,放大的焊点图像在CCD感光芯片上被转换成高分辨率的数字图像。
S12:通过双目成像***左右相机高分辨率图像对应点匹配获得焊点表面离散点云,然后执行空间滤波操作以去除孤立噪点,最后对焊点表面离散点云进行网格化处理。
进一步地,步骤S12选用的空间滤波器为双边滤波器:
S2:对离散点云的法向量B进行估计,计算得到各点云的主曲率kmax,kmin和主方向e1,e2,利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点,进一步地,基于“区域生长”法则跟踪生成焊点脊线;
所述步骤S2具体包括:
S21:对焊点表面离散点云的法向量进行估计,并构建右手Frenet正交活动标架。
进一步地,如图2所示,为离散点云空间相对位置关系,所述步骤S21焊点表面离散点云法向量B估计有:
S22:通过各点云局部邻域内的点在右手Frenet正交活动标架上的投影,以“化曲为直”的方法得到各点云局部邻域内点的微分近似值,如图2所示,为各点云局部邻域内的点在右手Frenet正交活动标架上的投影与其相应的微分近似值
S23:通过局部邻域点的微分近似值求解Weingarten映射矩阵W,并通过矩阵QR分解得到W的两个实特征值和其相应的特征方向。他们分别对应于点云的两个主曲率kmax,kmin和主方向e1,e2;
所述步骤S23中的Weingarten映射关系表示为
所述步骤(2.3)将相应微分近似值代入Weingarten映射关系有:
其中,PPi'·u和PPi'·v分别为ru、rv的微分近似值;B′·u和B′·v分别为Bu、Bv的微分近似值。
进一步地,如图3所示,步骤S24焊点的重构表面脊点提取规则为:
S24:利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点。
S25:将提取的脊点利用“区域生长”法则跟踪生成焊点表面脊线。
步骤S25基于“区域生长”法则的焊点表面脊线生成伪代码为:
S3:构建右手Frenet正交活动标架并依附在脊线上,利用焊点类型模型匹配规则决定被检测焊点所属的缺陷等级;
所述步骤S3具体包括:
S32:通过焊点类型模型匹配规则求取相关系数d(Pi *,Pi),利用每种焊点缺陷类型的阈值范围决定被检测焊点所属的缺陷等级。
焊点类型模型匹配规则为:
当且仅当上式满足:
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种高密度IC焊点的微分几何立体微视觉检测***,其特征在于,包括:稠密焊点离散点云获取***、焊点微分几何特征参数计算模块、焊点分类决策模块;
所述稠密焊点离散点云获取***包括双目立体微视觉***和3彩色半球形LED阵列照明***;
所述焊点分类决策模块采用以空间离散点法向量为依据的主方向和主曲率估计方法,用于对焊点的重构表面脊点提取和脊线跟踪;
所述焊点分类决策模块基于右手Frenet正交活动标架的焊点类型模型匹配规则,对高密度IC焊点实现快速准确的检测分类。
2.根据权利要求1所述的高密度IC焊点的微分几何立体微视觉检测***,其特征在于,所述双目立体微视觉***由两台带有金相显微镜的彩色CCD数字相机构成。
3.一种高密度IC焊点的微分几何立体微视觉检测方法,其特征在于,包括下述步骤:
通过带有金相显微镜的双目成像***对高密度IC焊点进行表面重构,并执行空间滤波以去除噪声和进一步网格化处理;
对离散点云的法向量B进行估计,计算得到各点云的主曲率kmax,kmin和主方向e1,e2,利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点;
构建右手Frenet正交活动标架并依附在脊线上,通过焊点类型模型匹配规则决定被检测焊点所属的缺陷等级。
6.根据权利要求3所述的高密度IC焊点的微分几何立体微视觉检测方法,其特征在于,所述离散点的主曲率kmax,kmin和主方向e1,e2分别对应于Weingarten映射矩阵W的两个实特征值和特征值相应的特征方向。
9.根据权利要求3所述的高密度IC焊点的微分几何立体微视觉检测方法,其特征在于,空间任意两等价Frenet活动标架经过一个刚体运动彼此重合。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011641357.XA CN112833821B (zh) | 2020-12-31 | 2020-12-31 | 高密度ic焊点的微分几何立体微视觉检测***及方法 |
PCT/CN2021/124553 WO2022142599A1 (zh) | 2020-12-31 | 2021-10-19 | 高密度ic焊点的微分几何立体微视觉检测***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011641357.XA CN112833821B (zh) | 2020-12-31 | 2020-12-31 | 高密度ic焊点的微分几何立体微视觉检测***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112833821A CN112833821A (zh) | 2021-05-25 |
CN112833821B true CN112833821B (zh) | 2021-10-08 |
Family
ID=75926938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011641357.XA Active CN112833821B (zh) | 2020-12-31 | 2020-12-31 | 高密度ic焊点的微分几何立体微视觉检测***及方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112833821B (zh) |
WO (1) | WO2022142599A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112833821B (zh) * | 2020-12-31 | 2021-10-08 | 华南理工大学 | 高密度ic焊点的微分几何立体微视觉检测***及方法 |
CN116823832B (zh) * | 2023-08-29 | 2023-12-12 | 武汉精一微仪器有限公司 | 一种基于三维点云的锡膏缺陷检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6111602A (en) * | 1995-12-28 | 2000-08-29 | Samsung Electronics Co., Ltd. | Method and apparatus for inspecting solder joints |
JP2006277713A (ja) * | 2005-03-01 | 2006-10-12 | Hokkaido Univ | 3次元メッシュモデルの特徴稜線抽出装置、プログラム及び方法 |
CN104713885A (zh) * | 2015-03-04 | 2015-06-17 | 中国人民解放军国防科学技术大学 | 一种用于pcb板在线检测的结构光辅助双目测量方法 |
CN111986264A (zh) * | 2020-07-07 | 2020-11-24 | 华南理工大学 | 一种空间曲面特征的微分几何视觉识别方法及*** |
CN111985308A (zh) * | 2020-07-07 | 2020-11-24 | 华南理工大学 | 一种微分几何的立体视觉空间曲线匹配方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112833821B (zh) * | 2020-12-31 | 2021-10-08 | 华南理工大学 | 高密度ic焊点的微分几何立体微视觉检测***及方法 |
-
2020
- 2020-12-31 CN CN202011641357.XA patent/CN112833821B/zh active Active
-
2021
- 2021-10-19 WO PCT/CN2021/124553 patent/WO2022142599A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6111602A (en) * | 1995-12-28 | 2000-08-29 | Samsung Electronics Co., Ltd. | Method and apparatus for inspecting solder joints |
JP2006277713A (ja) * | 2005-03-01 | 2006-10-12 | Hokkaido Univ | 3次元メッシュモデルの特徴稜線抽出装置、プログラム及び方法 |
CN104713885A (zh) * | 2015-03-04 | 2015-06-17 | 中国人民解放军国防科学技术大学 | 一种用于pcb板在线检测的结构光辅助双目测量方法 |
CN111986264A (zh) * | 2020-07-07 | 2020-11-24 | 华南理工大学 | 一种空间曲面特征的微分几何视觉识别方法及*** |
CN111985308A (zh) * | 2020-07-07 | 2020-11-24 | 华南理工大学 | 一种微分几何的立体视觉空间曲线匹配方法 |
Non-Patent Citations (1)
Title |
---|
基于加权双向二维线性判别特征的焊点检测算法;邝泳聪等;《华南理工大学学报( 自然科学版)》;20101231;第38卷(第12期);35-40 * |
Also Published As
Publication number | Publication date |
---|---|
WO2022142599A1 (zh) | 2022-07-07 |
CN112833821A (zh) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109410207B (zh) | 一种基于ncc特征的无人机巡线图像输电线路检测方法 | |
CN112116576B (zh) | 基于偏振结构光成像和改进的缺陷检测方法 | |
CN107103589B (zh) | 一种基于光场图像的高光区域修复方法 | |
CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
CN112067233B (zh) | 一种用于风洞模型六自由度运动捕获方法 | |
CN112833821B (zh) | 高密度ic焊点的微分几何立体微视觉检测***及方法 | |
CN109118544B (zh) | 基于透视变换的合成孔径成像方法 | |
CN106643555B (zh) | 基于结构光三维测量***的连接件识别方法 | |
CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
CN115272271A (zh) | 一种基于双目立体视觉的管道缺陷检测与定位测距*** | |
CN113324478A (zh) | 一种线结构光的中心提取方法及锻件三维测量方法 | |
CN114252449B (zh) | 一种基于线结构光的铝合金焊缝表面质量检测***及方法 | |
CN115880288B (zh) | 电子元件焊接的检测方法、***及计算机设备 | |
CN113450418A (zh) | 基于复杂畸变模型的水下标定的改进方法、装置及*** | |
CN111624203A (zh) | 一种基于机器视觉的继电器接点齐度非接触式测量方法 | |
CN110120013A (zh) | 一种点云拼接方法及装置 | |
CN113970560B (zh) | 一种基于多传感融合的缺陷三维检测方法 | |
CN116958419A (zh) | 一种基于波前编码的双目立体视觉三维重建***和方法 | |
Shen et al. | Depth map enhancement method based on joint bilateral filter | |
CN116645418A (zh) | 基于2d和3d相机的屏幕按钮检测方法、装置及其相关介质 | |
CN114926417B (zh) | 高密度柔性fpc表面弱划痕的显微成像检测方法及*** | |
CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
CN113469964A (zh) | 一种基于双目ccd成像的气泡测量方法、装置及*** | |
CN111783877A (zh) | 基于单帧网格复合编码模板结构光的深度信息测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |