CN112161997B - 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及*** - Google Patents

半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及*** Download PDF

Info

Publication number
CN112161997B
CN112161997B CN202011037463.7A CN202011037463A CN112161997B CN 112161997 B CN112161997 B CN 112161997B CN 202011037463 A CN202011037463 A CN 202011037463A CN 112161997 B CN112161997 B CN 112161997B
Authority
CN
China
Prior art keywords
chip
image
eye image
point
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011037463.7A
Other languages
English (en)
Other versions
CN112161997A (zh
Inventor
路绳方
张健
何睿清
焦良葆
陈烨
高阳
曹雪虹
史金飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Kangtan Technology Co.,Ltd.
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202011037463.7A priority Critical patent/CN112161997B/zh
Publication of CN112161997A publication Critical patent/CN112161997A/zh
Application granted granted Critical
Publication of CN112161997B publication Critical patent/CN112161997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/27—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及***，方法包括：在固定区域中获取编带中的半导体芯片图像；对立体视觉测量***中拍摄的图像进行特征提取和分析，通过提取芯片上每个管脚外侧的两个关键角点特征以及芯片表面特征点；对图像的管脚特征点以及芯片塑封体表面特征点进行特征匹配，实现像机坐标系下管脚特征点以及塑封体表面特征点的三维重建；通过计算每个管脚角点之间的三维几何尺寸及塑封体表面的三维特征点，可以实现对芯片管脚是否合格的检测。本发明的方法不仅可以计算芯片管脚的宽度距离、相邻管脚间隔距离以及管脚共面度，还可以实现管脚是否出现翘脚等常见故障检测。

Description

半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及 ***
技术领域
本发明属于芯片封装检测技术领域，具体涉及一种基于双目立体视觉技术的半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及***。
背景技术
半导体芯片制造工艺中，包括利用膜技术及细微加工技术，将芯片及其他要素在框架或基板上布局，粘贴固定及连接，引出接线端子并通过可塑性绝缘介质灌封固定，构成整体立体结构的封装流程。随着半导体芯片检测技术的快速发展，当今市场对半导体芯片产品质量的要求也越来越高。
计算机视觉技术的应用与推广，给当前芯片封装以及质量智能检测技术的提供了一种思路。其中，半导体芯片管脚关键几何尺寸的测量，包含管脚宽度距离、相邻管脚之间的间隔距离以及管脚的高度(有无出现翘脚、塌脚等故障)等关键尺寸，是当前芯片封装过程中亟需要解决的一个问题。
在常见的解决方案中，通常是提取管脚关键特征点，求取特征点的像素坐标点信息，再利用像素的换算比例求得实际几何尺寸。这种方法需要准确知道像机每个像素代表的实际物理距离，对像机视野内平面目标之间的求解具有较好的效果。而在芯片实际封装过程中，编带中的芯片总有一些倾斜，造成上述方法求解有一定的误差。另外，上述方法不能度量像机视野内目标的深度方向的三维信息，而这又是芯片封装过程中一项重要的参数指标。
发明内容
技术目的：针对现有技术的不足，提出一种半导体芯片管脚关键三维几何尺寸的在线、高精度的视觉测量方法及***，通过实时检测芯片封装过程中芯片管脚的宽度、高度以及共面度等三维信息，实现芯片产品质量的在线检测。
技术方案：为实现上述技术目的，本发明采用了如下技术方案：
一种半导体芯片管脚三维几何尺寸的在线精密视觉测量方法，其特征在于，芯片设有塑封表面和芯片引脚，包括步骤：
S1、初始图像采集：由两台像机在同一时刻对传输到测量位置上的同一个芯片进行拍摄，分别得到左眼初始图像和右眼初始图像；两台像机均能拍摄到位于测量位置上芯片的完整图像；
S2、特征点提取：对左眼初始图像和右眼初始图像分别进行预处理，截图各图像的感兴趣区域，得到对应的左眼图像和右眼图像；从左眼图像和右眼图像中提取出芯片管脚以及塑封表面特征点的坐标信息，塑封表面特征点包括字符；
S3、特征点匹配及三维坐标获取：获取同一特征点P在同一时刻，在左眼图像和右眼图像上的两个坐标，求得两个坐标之间的视差关系，根据坐标及坐标之间的视差关系，求出特征点P在像机坐标系下的三维坐标；通过计算每个管脚角点之间的三维几何尺寸，计算出芯片管脚宽度以及相邻管脚之间的距离。
优选地，还包括步骤：
S4、判断芯片的管脚是否合格：对塑封体表面的三维特征点进行平面拟合，以塑封表面三维平面为基准面，分别求取芯片管脚的角点到基准面的三维几何距离，判断计算得到的三维几何距离是否在预设范围内，预进而判断芯片的管脚是否合格。
优选地，所述两个像机设置于同一竖直位置上，步骤S3包括：
S3.1、获取同一特征点P在左眼图像和右眼图像上的坐标，分别为：
Pleft＝(Xleft，Yleft)，Pright＝(Xright，Yright)；
S3.2、当两个像机的图像在同一平面上时，则特征点P的图像坐标的Y坐标相同，则由几何关系得到：
Figure GDA0003808183780000021
其中，B为基线距，即两个像机的投影中心连线的距离；
S3.3、计算出特征点P在摄像机坐标系下的三维坐标为：
Figure GDA0003808183780000022
其中，f为像机的焦距，Disparity＝Xleft-Xright；Disparity表示视差。
优选地，所述步骤S4包括：
S4.1、在双目立体视觉***中，待测空间点记为点P，两台像机的光心分别记为Cl和Cr，两台像机光心的连线
Figure GDA0003808183780000031
为基线，基线与左眼图像和右眼图像的交点为图像的极点，左眼图像中的极点与投影点的连线对应右眼图像中的投影点的极线，记为
Figure GDA0003808183780000036
右眼图像中的极点与投影点的连线对应于左眼图像中投影点的极线，记为
Figure GDA0003808183780000032
S4.2、在双目立体视觉***中，任意空间点P在左眼图像和右眼图像中的投影点pl和pr满足如下关系：左眼图像投影点pl在右眼图像上的对应点pr一定在右眼图像平面中的极线
Figure GDA0003808183780000033
上，右眼图像投影点pr在左眼图像上的对应点pl一定在左眼图像平面中的极线
Figure GDA0003808183780000034
上；
根据所述关系，求得立体视觉测量***中各像机之间的内、外参数；
S4.3、根据摄像机的透视投影关系，即可求出左右极线在对应图像中的方程：
Figure GDA0003808183780000035
其中，F为基础矩阵，Al和Ar分别为左、右像机的内参数矩阵，R为两摄像机坐标系外参数中的旋转矩阵，S为两摄像机坐标系外参数中的平移矩阵T的反对称矩阵；
S4.4、利用最小二乘法，拟合塑封表面方程，得到像机坐标系下的芯片塑封表面方程。
优选地，所述步骤S2中，采用基于梯度相关矩阵的角点检测方法，确定芯片管脚的角点在图像中的位置。
优选地，采用SURF算法对芯片塑封表面特征点进行提取。
优选地，若编带内承载不同类型的芯片，则依次执行步骤S1-S3，完成对各芯片管脚的检测；若编带内载有同一类型的芯片，利用先验信息确定图像的感兴趣区域。
一种半导体芯片管脚三维几何尺寸的在线精密视觉测量***，其特征在于：包括搭建于芯片封装生产线上的双目立体视觉测量***，芯片封装生产线上设置载待检测芯片的编带，测量***包括测量位置、两个像机和图像处理模块，编带传输时每次移动一个芯片到测量位置上，两个像机均能拍摄到位于测量位置上芯片的图像，图像处理模块用于执行所述方法。
优选地，所述测量***中设置的像机包括左像机和右像机，各相机设有配套的远焦镜头。
有益效果：由于采用了上述技术方案，本发明具有如下技术效果：
本发明公开了一种基于双目立体视觉技术的半导体芯片管脚关键三维尺寸精密在线测量方法，通过在半导体芯片封装生产流水线上，通过安装和搭建双目立体视觉测量***，对编带中的半导体芯片进行图像抓取，在固定区域中获取编带的半导体芯片图像。本发明的方法不仅可以计算芯片管脚的宽度距离、相邻管脚间隔距离以及管脚共面度，还可以实现管脚是否出现翘脚等常见故障检测。
附图说明
图1为本发明的半导体芯片管脚三维几何尺寸的在线精密视觉测量方法的流程图；
图2为三个发明方法所适用的测量***的结构示意图；
图3为一个平视双目立体成像的原理示意图；
图4为双目立体视觉测量***的极线几何约束关系；
图5为像机坐标系下塑封表面平面方程、塑封表面字符特征点及管脚角点的三维位置结构示意图。
具体实施方式
本发明中利用立体视觉测量技术，结合芯片封装过程中的特点，研究出一种可以实现芯片管脚的关键部位的三维尺寸的在线测量方法，完成芯片封装过程中关键几何尺寸的在线测量以及芯片封装质量的在线检测。包括步骤：首先，对立体视觉测量***中拍摄的图像进行特征提取和分析，通过提取芯片上每个管脚外侧的两个关键角点特征以及芯片表面特征点。然后，利用标定好的双目立体视觉测量***，对测量***中两幅图像的管脚特征点以及芯片塑封体表面特征点进行特征匹配，实现像机坐标系下管脚特征点以及塑封体表面特征点的三维重建。通过计算每个管脚角点之间的三维几何尺寸，可以实现芯片管脚宽度以及相邻管脚之间的距离。同时，对塑封体表面的三维特征点进行平面拟合，可以实现各个管脚到塑封体表面之间的三维距离，进而可以实现芯片管脚是否出现翘脚等故障的检测。
如图2所示为测量***的结构示意图，包括左像机1、右像机2，各个像机设有配套的远焦镜头3，载有待检测的半导体芯片5的编带4，箭头7所示为芯片编带移动的方向。本发明的流程图如图1所示，包括如下步骤：
(1)为芯片封装生产线搭建双目立体视觉测量***，确保载有芯片装置的编带经过精密机械传送装置时，每次移动一个芯片位置，目的是为了让测量***中的两个CCD视觉传感器每次拍摄时，能够分别获取到机械装置固定位置处的芯片清晰图像。
(2)编带芯片经过精密机械传送装置，芯片在编带中的位置和方向基本固定。精密机械传送装置每次移动距离为一个编带芯片间隔，视觉测量传感器每次获取固定区域的芯片图像，芯片管脚基本上位于图像固定位置处。因此，针对编带载有同一类型的芯片，利用此先验信息可以确定图像的感兴趣区域(ROI)，在图像ROI区域内，实现芯片管脚角点以及塑封表面特征点的快速提取。
(3)双目立体视觉测量原理：
双目立体视觉三维测量是基于视差原理，如图3所示为简单的平视双目立体成像原理图，9和10分别为左像机和右像机的像平面，8为待测量的目标点P，11和12分别为目标点在左右像平面上的特征点，13为两摄像机的投影中心连线的距离，即基线距为B。
两摄像机在同一时刻观看空间物体的同一特征点P，分别在“左眼”和“右眼”上获取了点P的图像，它们的图像坐标分别为：
Pleft＝(Xleft，Yleft)，Pright＝(Xright，Yright)
假定两摄像机的图像在同一平面上，则特征点P的图像坐标的Y坐标相同，即Yright＝Yright＝Y，设像机的焦距为f，则由几何关系得到：
Figure GDA0003808183780000051
则视差为Disparity＝Xleft-Xright。由此可计算出特征点P在摄像机坐标系下的三维坐标为：
Figure GDA0003808183780000052
因此，左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点(二者是空间同一点在左、右摄像机像面上的点)，就可以确定出该点的三维坐标。这种方法是点对点的运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。
(4)芯片特征点的快速提取：
由上述双目立体视觉测量原理可知，如果实现半导体芯片管脚相关信息的三维，图像特征点提取极为关键。本发明根据半导体芯片管脚测量特点，从两个方面分析特征点提取：
A芯片管脚角点提取：由于编带和外界光线作用，芯片管脚角点两端棱角有时呈现椭圆状态，造成管脚角点特征不明显，利用传统角点提取算法，芯片管脚目标点不能被准确提取，影响后续目标点三维重建精度。
本发明采用一种基于梯度相关矩阵的角点检测方法(Zhang X，Wang H，Smith AWB，et al.Corner detection based on gradient correlation matrices of planarcurves[J].Pattern Recognition，2010，43(4)：1207-1223.)有效提取芯片图像管脚目标点。
首先，利用Canny边缘提取算法提取ROI区域图像边缘，然后利用高斯函数平滑边缘轮廓，使得算法对图像噪声具有较强的鲁棒性。因为管脚和编带背景颜色对比明显，管脚边缘容易被提取出来。
其次，假设上述提取的一个管脚平面曲线方程为
C(t)＝(x(t)，y(t)) (3)
其中，t为曲线方程参数，x(t)和，y(t)为坐标函数。
根据式(3)，可以求取曲线上任一点的梯度向量：
C′(t)＝(x′(t)，y′(t))＝(dx，dy) (4)
其中，dx，dy分别为曲线C(t)在x和y方向上的梯度。
对以曲线上任一P点为中心的一个曲线段，该点周围的梯度向量记为(dxi，dyi)。对点(dxi，dyi)来说，该点与特征直线的垂直距离即为此点在特征直线单位法向量n上的投影，用di(n)表示该距离，即
Figure GDA0003808183780000061
当所有梯度向量分布点的距离平方和满足最小，则所求的单位法线向量n满足下式最小：
Figure GDA0003808183780000071
其中，k为曲线段中支持区域中的第k个边缘点的序号，
Figure GDA0003808183780000072
为梯度的自相关矩阵。M矩阵最小特征值对应的特征向量就是最匹配的梯度单位归一化向量，最小特征值又反映了特征的分布——梯度坐标内向量的分散程度。M矩阵的离散形式可以定义为：
Figure GDA0003808183780000073
其中，(Δxki，Δyki)为支持区域内第i阶差分，W为支持区域的半径。
通过分析M矩阵的行列式可以确定角点的响应程度，筛选出响应程度中局部极大值大于预先设定的阈值的那些点，即为所求的角点。根据芯片管脚的特点，设定高斯函数的尺度σ＝2.0，轮廓支持区域的半径W＝1，预先设定的阈值为[0.004，0.008]，利用这些参数，取得的管脚角点效果比较好。
本算法计算复杂度适中，检测速度快，检测效果好，适合应用于芯片管脚角点提取。
B芯片塑封表面特征点提取：
芯片塑封表面印刷字符具有较强的角点信息，利用提取的塑封表面字符特征点，可以对字符特征点进行三维重建，进而拟合塑封表面的三维特征信息。以塑封表面三维平面为基准面，利用计算机双目立体视觉测量原理，分别求取芯片管脚角点的三维点信息到该平面的三维几何距离，即可以判断芯片管脚是否出现塌脚、翘脚故障以及各个管脚的共面度等关键几何信息的测量。
每个塑封表面字体清晰明显，方便特征信息提取。考虑到特征提取效率，本发明采用SURF算法(H.Bay，T.Tuytelaars，L.V.Gool，SURF：Speed Up Robust Features，ECCV，2006)提取塑封表面字体特征点，特征提取稳定，对旋转、尺度等信息具有较强的鲁棒性，提取速度快，适合用于塑封体表面字符特征提取。
(5)特征点匹配与三维重建：
在双目立体视觉***中，如图4所示，假设14为待测空间点P，19和20分别代表左右两像机的光心Cl和Cr，两像机光心的连线
Figure GDA0003808183780000074
为基线，基线与两图像平面的交点17和18称为图像的极点，左眼图像中的极点17与投影点21的连线15称为对应于右眼图像中的投影点22的极线(记为
Figure GDA0003808183780000081
)；同理，右眼图像中的极点18与投影点22的连线16称为对应于左眼图像中投影点21的极线(记为
Figure GDA0003808183780000082
)。也就是说，在双目立体视觉***中，任意空间点P在左右两幅图像中的投影点pl和pr一定满足如下关系：左眼图像投影点pl在右眼图像上的对应点pr一定在右眼图像平面中的极线
Figure GDA0003808183780000083
上，右眼图像投影点pr在左眼图像上的对应点pl一定在左眼图像平面中的极线
Figure GDA0003808183780000084
上。这种关系即为立体视觉***中图像平面之间的极线约束关系。在求得立体视觉测量***中各像机之间的内、外参数之后，根据摄像机的透视投影关系，即可求出左右极线在对应图像中的方程：
Figure GDA0003808183780000085
其中，F为基础矩阵，Al和Ar分别为左、右像机的内参数矩阵，R为两摄像机坐标系外参数中的旋转矩阵，S为两摄像机坐标系外参数中的平移矩阵T的反对称矩阵。
双目立体视觉测量***中图像特征点的三维重建是建立在对应点视差基础之上的，因此，图像中对应边缘点的匹配是实现滑板厚度测量的关键环节。而极线约束给出了对应点匹配搜索的重要关系，将对应匹配点的寻找从整幅图像上压缩到了一条直线上，极大地减小了目标点搜索的范围。
通过对提取的管脚角点和塑封表面特征点，利用极线约束，对双目立体视觉像机拍摄的两幅图像上的特征点进行配准，可以精准实现目标点的匹配。极线几何约束对半导体图像管脚特征点的快速匹配具有一定的重要意义，是实现半导体芯片管脚特征立体视觉三维重建的关键技术。对匹配后的图像特征点对，利用双目视觉测量原理，即可以实现像机坐标系下目标特征点的三维提取，进而可以实现芯片管脚的关键几何尺寸的精密测量。
实施例
图2中的视觉测量像机选用Basler acA2500像机，像机镜头使用RICOHFL-CC2518-5MX，左像机内参标定结果
Figure GDA0003808183780000086
右像机内参标定结果
Figure GDA0003808183780000091
左右像机之间的旋转矩阵
Figure GDA0003808183780000092
平移矩阵T＝[95.5963-1.4835-142.8034]，半导体芯片管脚(左右各4个管脚，每个管脚2个角点)角点在左右像机中的提取结果分别如下：
表1
Figure GDA0003808183780000093
半导体芯片塑封表面对应的4个字符SURF特征点在左右像机中的提取结果分别如下：
表2
Figure GDA0003808183780000094
利用本发明提出的算法和流程，可以分别求出像机坐标系下各个管脚特征点和塑封表面特征点的三维坐标，分别如下：
表3
Figure GDA0003808183780000101
表4
Figure GDA0003808183780000102
利用最小二乘法，拟合塑封表面方程，得到像机坐标系下塑封表面方程如下：-0.0598X-0.1122Y+0.9919Z-471.3773＝0。
如图5所示，23为像机坐标系下塑封表面平面方程，24为塑封表面字符特征点的三维坐标，25为管脚角点的三维位置。
进而利用求得的管脚角点三维坐标到塑封表面的三维距离，可以实现管脚角点到塑封表面的垂直距离，完成芯片管脚角点是否出现翘脚和塌脚等故障的检测。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种半导体芯片管脚三维几何尺寸的在线精密视觉测量方法，其特征在于，芯片设有塑封表面和芯片引脚，包括步骤：
S1、初始图像采集：由两台像机在同一时刻对传输到测量位置上的同一个芯片进行拍摄，分别得到左眼初始图像和右眼初始图像；两台像机均能拍摄到位于测量位置上芯片的完整图像；
S2、特征点提取：对左眼初始图像和右眼初始图像分别进行预处理，截图各图像的感兴趣区域，得到对应的左眼图像和右眼图像；从左眼图像和右眼图像中提取出芯片管脚以及塑封表面特征点的坐标信息，塑封表面特征点包括字符；采用基于梯度相关矩阵的角点检测方法，确定芯片管脚的角点在图像中的位置；采用SURF算法对芯片塑封表面特征点进行提取；
S3、特征点匹配及三维坐标获取：获取同一特征点P在同一时刻，在左眼图像和右眼图像上的两个坐标，求得两个坐标之间的视差关系，根据坐标及坐标之间的视差关系，求出特征点P在像机坐标系下的三维坐标；通过计算每个管脚角点之间的三维几何尺寸，计算出芯片管脚宽度以及相邻管脚之间的距离；
所述两台像机设置于同一竖直位置上，步骤S3包括：
S3.1、获取同一特征点P在左眼图像和右眼图像上的坐标，分别为：
Pleft＝(Xleft,Yleft),Pright＝(Xright,Yright)；
S3.2、当两个像机的图像在同一平面上时，则特征点P的图像坐标的Y坐标相同，则由几何关系得到：
Figure FDA0003808183770000011
其中，f为像机的焦距，B为基线距，即两个像机的投影中心连线的距离；
S3.3、计算出特征点P在摄像机坐标系下的三维坐标为：
Figure FDA0003808183770000012
其中，Disparity＝Xleft-Xright；Disparity表示视差；
S4、判断芯片的管脚是否合格：对塑封体表面的三维特征点进行平面拟合，以塑封表面三维平面为基准面，分别求取芯片管脚的角点到基准面的三维几何距离，判断计算得到的三维几何距离是否在预设范围内，进而判断芯片的管脚是否合格；
所述步骤S4包括：
S4.1、在双目立体视觉***中，待测空间点记为点P,两台像机的光心分别记为Cl和Cr，两台像机光心的连线
Figure FDA0003808183770000021
为基线，基线与左眼图像和右眼图像的交点为图像的极点，左眼图像中的极点与投影点的连线对应右眼图像中的投影点的极线，记为lpl；右眼图像中的极点与投影点的连线对应于左眼图像中投影点的极线，记为lpr；
S4.2、在双目立体视觉***中，任意空间点P在左眼图像和右眼图像中的投影点pl和pr满足如下关系：左眼图像投影点pl在右眼图像上的对应点pr一定在右眼图像平面中的极线lpl上，右眼图像投影点pr在左眼图像上的对应点pl一定在左眼图像平面中的极线lpr上；
根据所述关系，求得立体视觉测量***中各像机之间的内、外参数；
S4.3、根据摄像机的透视投影关系，即求出左右极线在对应图像中的方程：
Figure FDA0003808183770000022
其中，F为基础矩阵，Al和Ar分别为左、右像机的内参数矩阵，R为两摄像机坐标系外参数中的旋转矩阵，S为两摄像机坐标系外参数中的平移矩阵T的反对称矩阵；
S4.4、利用最小二乘法，拟合塑封表面方程，得到像机坐标系下的芯片塑封表面方程。
2.根据权利要求1所述的一种半导体芯片管脚三维几何尺寸的在线精密视觉测量方法，其特征在于：若编带内承载不同类型的芯片，则依次执行步骤S1-S3，完成对各芯片管脚的检测；若编带内载有同一类型的芯片，利用先验信息确定图像的感兴趣区域。
3.一种半导体芯片管脚三维几何尺寸的在线精密视觉测量***，其特征在于：包括搭建于芯片封装生产线上的双目立体视觉测量***，芯片封装生产线上设置载待检测芯片的编带，测量***包括测量位置、两个像机和图像处理模块，编带传输时每次移动一个芯片到测量位置上，两个像机均能拍摄到位于测量位置上芯片的图像，图像处理模块用于执行权利要求1-2任一所述方法。
4.根据权利要求3所述的半导体芯片管脚三维几何尺寸的在线精密视觉测量***，其特征在于：所述测量***中设置的像机包括左像机和右像机，各相机设有配套的远焦镜头。
CN202011037463.7A 2020-09-28 2020-09-28 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及*** Active CN112161997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011037463.7A CN112161997B (zh) 2020-09-28 2020-09-28 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011037463.7A CN112161997B (zh) 2020-09-28 2020-09-28 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及***

Publications (2)

Publication Number Publication Date
CN112161997A CN112161997A (zh) 2021-01-01
CN112161997B true CN112161997B (zh) 2022-09-27

Family

ID=73861754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011037463.7A Active CN112161997B (zh) 2020-09-28 2020-09-28 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及***

Country Status (1)

Country Link
CN (1) CN112161997B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445335B (zh) * 2021-12-22 2024-04-12 武汉易思达科技有限公司 基于双目机器视觉的车辆行驶状态监测方法
CN114152200A (zh) * 2022-02-07 2022-03-08 北京航空航天大学杭州创新研究院 芯片引脚测量方法和装置
CN114252000B (zh) * 2022-03-01 2022-05-27 北京京瀚禹电子工程技术有限公司 一种芯片管脚共面性和间距的测试装置及其测试方法
CN114577135B (zh) * 2022-03-01 2024-01-19 合肥图迅电子科技有限公司 基于单镜头的芯片引脚翘曲的3d检测方法及***
CN115266743B (zh) * 2022-05-17 2024-02-02 江苏汤谷智能科技有限公司 一种无损检测下的芯片质量的评估***及方法
CN115248017B (zh) * 2022-09-21 2022-11-29 江苏新恒基特种装备股份有限公司 一种支管管件几何尺寸快速检测方法及检测***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102032878B (zh) * 2009-09-24 2014-06-18 黑龙江省科学院自动化研究所 基于双目立体视觉测量***的精确在线测量方法
CN103247053B (zh) * 2013-05-16 2015-10-14 大连理工大学 基于双目显微立体视觉的零件精确定位方法
CN104574367B (zh) * 2014-12-21 2017-04-12 浙江大学 一种基于机器视觉的集成芯片管脚几何尺寸检测计算方法
CN106767399B (zh) * 2016-11-11 2018-11-09 大连理工大学 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN107588721A (zh) * 2017-08-28 2018-01-16 武汉科技大学 一种基于双目视觉的零件多尺寸的测量方法及***
CN107884767A (zh) * 2017-10-31 2018-04-06 暨南大学 一种双目视觉***测量船舶距离与高度的方法
CN110009690A (zh) * 2019-03-23 2019-07-12 西安电子科技大学 基于极线校正的双目立体视觉图像测量方法
CN114255286B (zh) * 2022-02-28 2022-05-13 常州罗博斯特机器人有限公司 一种多视角双目视觉感知的目标尺寸测量方法

Also Published As

Publication number Publication date
CN112161997A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN112161997B (zh) 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及***
US7769205B2 (en) Fast three dimensional recovery method and apparatus
Kim et al. A camera calibration method using concentric circles for vision applications
JP7037876B2 (ja) 自動工業検査における３ｄビジョンの使用
US20120134537A1 (en) System and method for extracting three-dimensional coordinates
CN104713885A (zh) 一种用于pcb板在线检测的结构光辅助双目测量方法
CN109345597B (zh) 一种基于增强现实的相机标定图像采集方法及装置
CN110310331B (zh) 一种基于直线特征与点云特征结合的位姿估计方法
CN109727290A (zh) 基于单目视觉三角测距法的变焦相机动态标定方法
CN109636857B (zh) 对位方法及标定***
CN111046843A (zh) 一种智能驾驶环境下的单目测距方法
Wang et al. Error analysis and improved calibration algorithm for LED chip localization system based on visual feedback
CN112489193A (zh) 一种基于结构光的三维重建方法
CN115359127A (zh) 一种适用于多层介质环境下的偏振相机阵列标定方法
CN116188558A (zh) 基于双目视觉的立体摄影测量方法
CN112802114A (zh) 多视觉传感器融合装置及其方法和电子设备
CN115082777A (zh) 基于双目视觉的水下动态鱼类形态测量方法及装置
CN112595262B (zh) 一种基于双目结构光的高反光表面工件深度图像获取方法
JP2008275366A (ja) ステレオ３次元計測システム
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
CN108537831B (zh) 对增材制造工件进行ct成像的方法及装置
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及***
CN116205993A (zh) 一种用于3d aoi的双远心镜头高精度标定方法
CN206583440U (zh) 一种投影图像视距检测***
CN111998834B (zh) 一种裂缝监测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240102

Address after: No. 22-3, No. 988 Gangcheng Avenue, Shengang Street, Jiangyin City, Wuxi City, Jiangsu Province, 214443

Patentee after: Jiangsu Kangtan Technology Co.,Ltd.

Address before: 1 No. 211167 Jiangsu city of Nanjing province Jiangning Science Park Hongjing Road

Patentee before: NANJING INSTITUTE OF TECHNOLOGY