CN112014409B - 一种半导体蚀刻引线框架模具缺陷的检测方法及*** - Google Patents

一种半导体蚀刻引线框架模具缺陷的检测方法及*** Download PDF

Info

Publication number
CN112014409B
CN112014409B CN202011151137.9A CN202011151137A CN112014409B CN 112014409 B CN112014409 B CN 112014409B CN 202011151137 A CN202011151137 A CN 202011151137A CN 112014409 B CN112014409 B CN 112014409B
Authority
CN
China
Prior art keywords
image
gradient
gray
source image
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011151137.9A
Other languages
English (en)
Other versions
CN112014409A (zh
Inventor
邓万宇
叶书齐
李建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202011151137.9A priority Critical patent/CN112014409B/zh
Publication of CN112014409A publication Critical patent/CN112014409A/zh
Application granted granted Critical
Publication of CN112014409B publication Critical patent/CN112014409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明属于计算机视觉技术领域，涉及一种半导体蚀刻引线框架模具缺陷的检测方法及***，能够实现对引线框架模具上细小瑕疵的识别，且具有***占用内存小、时延短、实用性强、用户体验良好等优点。该方法包括：获取半导体蚀刻引线框架模具的源图像；利用自识别模板算法从源图像上获取标准单元模板图像；利用多目标模板匹配算法对源图像上各单元图像的分布进行定位及统计，同时获取源图像上各单元图像的像素坐标，根据像素坐标截取各单元图像；利用灰度‑梯度共生矩阵算法对各单元图像进行特征提取，得到灰度‑梯度特征参数；利用DBSCAN聚类算法对灰度‑梯度特征参数聚类，获取有瑕疵和无瑕疵的分类结果。

Description

一种半导体蚀刻引线框架模具缺陷的检测方法及***
技术领域
本发明属于计算机视觉技术领域，涉及一种半导体蚀刻引线框架模具缺陷的检测方法及***。
背景技术
引线框架作为集成电路的芯片载体，是一种借助于键合材料（金丝、铝丝、铜丝）实现芯片内部电路引出端与外引线的电气连接，形成电气回路的关键结构件，是电子信息产业中重要的基础材料。由于半导体行业属于高精密制造行业，引线框架模具的缺陷检测要求更高的准确性，而微小缺陷在高分辨率成像下仅有几十个或十几个像素，其形状和类型多变且易受背景纹理、噪声干扰的影响，因此现有的检测方法难以在复杂纹理和噪声干扰下进行精确地检测。
常见的检测算法如模板匹配、背景建模等，它们虽然在实验室环境下有一定的效果，但是都有着明显的缺点。模板匹配算法只能对引线框架模具的形状进行粗略地检测，对于具体模具的细节纹理并不能进行检测；而背景建模算法需要将整张模具图像存入内存，从而导致内存耗费严重，影响程序的运行效率。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供一种半导体蚀刻引线框架模具缺陷的检测方法及***，从而实现对引线框架模具上细小瑕疵的识别。
为实现上述目的，本发明提供了如下技术方案：
一方面，本发明提供了一种半导体蚀刻引线框架模具缺陷的检测方法，包括如下步骤，
1）获取半导体蚀刻引线框架模具的源图像；
2）利用自识别模板算法从源图像上获取标准单元模板图像；
3）利用多目标模板匹配算法对源图像上各单元图像的分布进行定位及统计，同时获取源图像上各单元图像的像素坐标，根据所述像素坐标截取各单元图像；
4）利用灰度-梯度共生矩阵算法对各单元图像进行特征提取，得到灰度-梯度特征参数；
5）利用DBSCAN聚类算法对所述灰度-梯度特征参数聚类，获取有瑕疵和无瑕疵的分类结果。
进一步，所述步骤1），获取半导体蚀刻引线框架模具的源图像，具体为，
利用光学平台采集半导体蚀刻引线框架模具的源图像。
进一步，所述光学平台包括图像采集卡、CCD相机、伺服滑台、光源、液晶显示屏及工控机；所述伺服滑台上放置待检测物体，所述待检测物体的上方设有CCD相机、所述CCD相机与图像采集卡连接，所述图像采集卡与工控机连接。
进一步，所述步骤2），利用自识别模板算法从源图像上获取标准单元模板图像，具体步骤包括：
2.1）从源图像的中心位置选取中心图像，所述中心图像包括若干单元图像；
2.2）对所述中心图像进行均值滤波处理；
2.3）利用sobel算子求出均值滤波处理后的中心图像的梯度图，并将梯度图中的梯度值压缩至0-15；
2.4）根据压缩后的梯度图中各行/列的梯度值判断各行/列是否为背景行/列；如一行/列的梯度值中存在大于2的数值，则将所述行/列定义为非背景行/列，如否，则将所述行/列定义为背景行/列；
2.5）将所述背景行/列的信息依次保存到两个数组中，在两个数组中筛选出不相邻的行/列值；其中，相邻两行/列值的差值小于5则定义为相邻；
2.6）在筛选后的背景行/列中选取间隔最小的两行和两列组成4个坐标，获取与所述中心图像相匹配的标准单元模板图像。
进一步，所述步骤3），利用多目标模板匹配算法对源图像上各单元图像的分布进行定位及统计，具体步骤包括：
3.1）利用sobel算子分别求出源图像和标准单元模板图像的梯度图；
3.2）利用差值平方和算法对所述源图像和标准单元模板图像的梯度图进行计算得到相似度矩阵，所述相似度矩阵中的所有值均不大于1，且相似度矩阵中每一个像素点的值表示源图像上该位置与标准单元模板图像的相似程度；
3.3）遍历矩阵得到最小值，将所述最小值对应的像素坐标存入坐标数组中，以所述最小值对应的像素坐标位置为中心，以20个像素为半径确定一个圆，将所述圆内所有坐标位置的像素值置为1；
3.4）重复步骤3.3）直至从矩阵中取出的当前最小值与上次取出的最小值之差大于0.1，完成源图像与标准单元模板图像所有相似单元图像的匹配。
进一步，所述步骤4）中的灰度-梯度共生矩阵算法利用灰度-梯度共生矩阵模型进行，所述灰度-梯度共生矩阵模型利用小梯度特征、大梯度特征、小灰度特征、大灰度特征提取各单元图像的纹理特征。
进一步，所述步骤5），利用DBSCAN聚类算法对所述灰度-梯度特征参数聚类，获得有瑕疵和无瑕疵的分类结果，具体步骤包括：
在聚类前设置样本点的Eps邻域距离阈值及以样本点为核心的邻域内的最小邻域点数MinPts，其中，Eps=0.3，MinPts=3；
利用DBSCAN聚类算法检查数据集中每个点的Eps邻域来搜索簇，如果点p的Eps邻域内包含的点多于3个，则创建一个以p为核心对象的簇；DBSCAN算法迭代地聚集从所述核心对象直接密度可达的对象，在这期间密度可达的簇会进行合并，直至没有新的点添加到任何簇时结束，最终孤立出的对象即代表带有瑕疵的单元。
另一方面，本发明还提供了一种半导体蚀刻引线框架模具缺陷的检测***，包括，
采集及传输模块：用于采集半导体蚀刻引线框架模具的源图像，并将采集到的源图像传输至工控机；
所述工控机包括：瑕疵检测***，用于读取源图像、控制检测工作的启/停；
粗匹配模块：利用自识别模板算法获取用以匹配的标准单元模板图像；判断所述标准单元模板图像是否合格，如是，将所述标准单元模板图像保存，如否，则将不合格的标准单元模板图像剔除，并利用自识别模板算法重新获取；利用多目标模板匹配算法对源图像上所有与标准单元模板图像相似的单元图像进行匹配，记录源图像上所有与标准单元模板图像相似的单元图像的左上角像素坐标，完成对源图像上的各单元图像的分布定位及统计；
细匹配模块：根据源图像上各单元图像的像素坐标，截取各单元图像；利用灰度-梯度共生矩阵模型求出各单元图像的灰度-梯度特征参数，将所述灰度-梯度特征参数存入容器dataset中；
聚类模块，利用DBSCAN聚类算法对输入的灰度-梯度特征参数进行聚类，获取有瑕疵和无瑕疵的分类结果。
进一步，该检测***还包括，
检测结果显示及存储模块，用于将获取的有瑕疵和无瑕疵的分类结果呈现在整个检测***的软件界面上，并将检测结果生成一个任务单号存储到检测***的数据库中；
检测报告打印模块，用于将检测结果生成检测报告，供用户导出pdf文件、打印预览和打印。
进一步，该检测***还包括，
检测任务管理模块，用于查询数据库中存储的历史任务，方便用户复审/重新检测。
与现有技术相比，本发明提供的技术方案包括以下有益效果：这种半导体蚀刻引线框架模具缺陷的检测方法，通过自识别模板算法的设计，当所述检测方法应用于某种新类型半导体引线框架模具时，利用自识别模板算法能够从采集到的源图像中自动获取标准单元模板图像，不需要额外的人工操作和处理；利用多目标模板匹配算法，通过对源图像上各单元图像的分布进行定位及统计，从而实现源图像与标准单元模板图像的匹配，且所述多目标模板匹配算法能够覆盖半导体蚀刻引线框架模具上的所有单元图像，避免检测过程中有漏检的情况发生，确保检测精度。
这种半导体蚀刻引线框架模具缺陷的检测***，为了提高其实用性和高效性，通过检测结果显示模块，能够实时定位出瑕疵缺陷位于半导体蚀刻引线框架模具源图像上的位置；通过检测报告打印模块，每次检测结束后会根据结果分析自动给出检测结论，并生成相应的检测报告，供用户导出pdf文件、打印预览和打印，实现自动化检测、分析及保存的效果。
此外，该检测***，通过检测任务管理模块对所有的检测结果进行记录保存，并实时更新到数据库；对历史的检测结果可以恢复全局定位瑕疵缺陷的功能，同时对不确定的检测结果支持重新检测，实现了对历史检测结果的高效管理，并且将其合理地重新加以利用；对于不需要进行重新检测的绝大多数历史检测结果，可以随时复现第一次检测结束的结果，方便用户后期对检测结果的考察，既提高了用户的使用体验感，又可以避免检测资源的浪费。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，与说明书一起用于解释本发明的原理。
图1为本发明提供的半导体蚀刻引线框架模具缺陷的检测方法的流程图；
图2为本发明提供的光学平台的组成结构示意图；
图3为本发明提供的半导体蚀刻引线框架模具缺陷的检测***的连接框图；
图4为检测过程中，反馈在检测***工控机界面上的标准模板选取界面图；
图5为本发明检测***中粗匹配模块未进行粗匹配前的图像；
图6为本发明检测***中粗匹配模块完成粗匹配的结果图；
图7为本发明检测***中聚类模块完成分类的结果图；
图8为本发明检测***工控机的软件操作界面图；
图9为本发明检测***工控机的软件操作界面上检测结果显示及存储模块的示意图；
图10为擦除定位框后，鼠标滚轮滑动将图像放大3.6个倍率后，底部状态栏显示鼠标光标所指位置像素坐标的示意图；
图11为本发明检测***工控机的软件操作界面上检测任务管理模块的示意图；
图12为本发明检测***工控机的软件操作界面上检测报告打印模块的示意图；
图13为测试实验中，具体类型的半导体蚀刻引线框架磨具单元上瑕疵缺陷分布情况图；
图14为测试实验中，采集的两种类型半导体蚀刻引线框架模具的图像。
附图标记说明：1、伺服滑台；2、待检测物体；3、CCD相机；4、图像采集卡；5、工控机；6、光源。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与所附权利要求书中所详述的、本发明的一些方面相一致的方法、***的例子。
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图及实施例对本发明作进一步详细描述。
实施例
一方面，参见图1所示，本发明提供了一种半导体蚀刻引线框架模具缺陷的检测方法，包括如下步骤，
S1、获取半导体蚀刻引线框架模具的源图像；
S2、利用自识别模板算法从源图像上获取标准单元模板图像；
S3、利用多目标模板匹配算法对源图像上各单元图像的分布进行定位及统计，同时获取源图像上各单元图像左上角的像素坐标，根据所述像素坐标截取各单元图像；
S4、利用灰度-梯度共生矩阵算法对各单元图像进行特征提取，得到灰度-梯度特征参数；
S5、利用DBSCAN聚类算法对所述灰度-梯度特征参数聚类，获取有瑕疵和无瑕疵的分类结果，再将分类结果映射到二维散点图。
进一步，上述步骤S1，获取半导体蚀刻引线框架模具的源图像，具体为，
利用光学平台采集半导体蚀刻引线框架模具的源图像。
作为本实施例一种可选或优选的实施方式，光学平台包括图像采集卡4、CCD相机3、伺服滑台1、液晶显示屏及工控机5，参见图2所示；伺服滑台1上放置待检测物体2，待检测物体2的上方设有CCD相机3、CCD相机3与图像采集卡4连接，图像采集卡4与工控机5连接。
具体地，图像采集卡4的型号为DALSA Xtium-CL MX4，CCD相机3的型号为DALSALinea 16K，伺服滑台1上装有电机底座，工控机5搭载有型号为Nvidia RTX2080的GPU。
进一步，上述步骤S2，利用自识别模板算法从源图像上获取标准单元模板图像，具体步骤包括：
2.1）从源图像的中心位置裁剪一张长、宽均为源图像十分之一的中心图像，该中心图像包括若干单元图像，以保证有足够的区域来获得无瑕疵缺陷的标准单元模板图像；
2.2）对中心图像进行均值滤波处理，使中心图像上像素间的梯度过渡地更加平滑；
2.3）利用sobel算子求出均值滤波处理后的中心图像的梯度图，并将梯度图中的梯度值压缩至0-15；由于得到的梯度值和灰度值都是256级灰度/梯度值，若直接使用256级进行计算，计算量巨大，因此将灰度/梯度值压缩至16级灰度/梯度值，从而大幅降低程序的运算量以提升***性能；
2.4）根据压缩后的梯度图中各行/列的梯度值判断各行/列是否为背景行/列；如一行/列的梯度值中存在大于2的数值，则将所述行/列定义为非背景行/列，如否，则将所述行/列定义为背景行/列；
2.5）将所述背景行/列的信息分别保存到两个数组中，在两个数组中筛选出不相邻的行/列值，其中，相邻两行/列值的差值小于5则定义为相邻；
2.6）在筛选后的背景行/列中选取间隔最小的两行和两列组成4个坐标，获取与所中心图像相匹配的标准模板图像。
进一步，上述步骤S3，利用多目标模板匹配算法对源图像上各单元图像的分布进行定位及统计，具体步骤包括：
3.1）利用sobel算子分别求出源图像和标准单元模板图像的梯度图；
3.2）利用差值平方和算法对所述源图像和标准单元模板图像的梯度图进行计算得到相似度矩阵，相似度矩阵中的所有值均不大于1，且相似度矩阵中每一个像素点的值表示源图像上该位置与标准单元模板图像的相似程度，相似程度越高，像素点的值越小；
3.3）遍历矩阵得到最小值，将该最小值对应的像素坐标存入坐标数组中，以该最小值对应的像素坐标位置为中心，以20个像素为半径确定一个圆，将所述圆内所有坐标位置的像素值置为1；
3.4）重复步骤3.3）直至从矩阵中取出的当前最小值与上次取出的最小值之差大于0.1，完成源图像与标准单元模板图像所有相似单元图像的匹配。
进一步，步骤S4中的灰度-梯度共生矩阵算法利用灰度-梯度共生矩阵模型进行，灰度-梯度共生矩阵是用灰度和梯度的综合信息提取图像纹理特征。
具体为：将图像的梯度信息加入到灰度共生矩阵中，使共生矩阵包含图像的纹理基元及其排列信息。灰度-梯度共生矩阵H（i，j）定义为集合中元素数目，即灰度值为i，梯度值为j的总像素个数。对灰度-梯度共生矩阵进行归一化处理，使其各元素之和为1。由此，灰度-梯度共生矩阵模型集中反映了图像中两种最基本的要素，即像素点的灰度和梯度（或边缘）的相互关系。各像素点的灰度是构成一副图像的基础，而梯度是构成图像边缘轮廓的要素，图像的主要信息是由图像的边缘轮廓提供的。灰度-梯度空间很清晰地描绘了图像内各像素点灰度与梯度的分布规律，同时也给出了各像素点与其邻域像素点的空间关系，对图像的纹理能很好地描绘，对于具有方向性的纹理可以从梯度的方向上反映出来。
灰度-梯度共生矩阵模型有如下15个常用的数字特征：小梯度优势、大梯度优势、灰度分布不均匀性、梯度分布不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关、灰度熵、梯度熵、混合熵、惯性、逆差距。本发明中的灰度-梯度共生矩阵模型利用小梯度特征、大梯度特征、小灰度特征、大灰度特征提取各单元图像的纹理特征，其中各数字特征的计算公式如下：
小梯度特征：
Figure 947180DEST_PATH_IMAGE001
大梯度特征：
Figure 257289DEST_PATH_IMAGE002
小灰度特征：
Figure 252926DEST_PATH_IMAGE003
大灰度特征：
Figure 718543DEST_PATH_IMAGE004
进一步，步骤S5，利用DBSCAN聚类算法对灰度-梯度特征参数聚类，获得有瑕疵和无瑕疵的分类结果，具体步骤为，
在聚类前设置样本点的Eps邻域距离阈值及以样本点为核心的邻域内的最小邻域点数MinPts，其中，Eps=0.3，MinPts=3；
利用DBSCAN聚类算法检查数据集中每个点的Eps邻域来搜索簇，如果点p的Eps邻域内包含的点多于3个，则创建一个以p为核心对象的簇；DBSCAN算法迭代地聚集从所述核心对象直接密度可达的对象，在这期间密度可达的簇会进行合并，直至没有新的点添加到任何簇时结束，最终孤立出的对象即代表带有瑕疵的单元。
另一方面，参见图3所示，本发明提供了一种半导体蚀刻引线框架模具缺陷的检测***，包括，
采集及传输模块：用于采集半导体蚀刻引线框架模具的源图像，并将所述源图像传输至工控机；
所述工控机包括瑕疵检测***，用于读取源图像和控制检测工作的启停；
粗匹配模块：利用自识别模板算法获取用以匹配的标准单元模板图像；判断所述标准单元模板图像是否合格，如是，将所述标准单元模板图像保存，如否，则将不合格的标准单元模板图像剔除，并利用自识别模板算法重新获取，见图4；利用多目标模板匹配算法对源图像上所有与标准单元模板图像相似的单元图像进行匹配，记录其左上角像素坐标，完成对源图像上的各单元图像的分布定位及统计；然后，检测***将粗匹配结果保存，如图6为***的粗匹配结果（图5为检测***中粗匹配模块未进行匹配前的图像），图6中黑色框线围住的矩形小单元即为经过粗匹配模块运算所得出的与标准单元模板图像相似的所有单元图像；
细匹配模块：根据源图像上各单元图像的像素坐标，截取各单元图像；利用灰度-梯度共生矩阵模型求出各单元图像的灰度-梯度特征参数，将所述灰度-梯度特征参数存入容器dataset中；
聚类模块，利用DBSCAN聚类算法对输入的灰度-梯度特征参数进行聚类，获取有瑕疵和无瑕疵的分类结果。
进一步，该***还包括，
检测结果显示及存储模块，用于将获取的有瑕疵和无瑕疵的分类结果呈现在整个***的软件界面上，并将检测结果生成一个任务单号存储到检测***的数据库中；
检测报告打印模块，用于将检测结果生成检测报告，供用户导出pdf文件、打印预览和打印。
进一步，该***还包括，
检测任务管理模块，用于查询数据库中存储的历史任务，方便用户复审/重新检测。
综上，这种半导体蚀刻引线框架模具缺陷的检测***，其具体工作过程如下：
S1、利用光学平台采集半导体蚀刻引线框架模具的源图像，并将采集到的源图像通过图像采集卡传输到工控机中。光学平台包括图像采集卡4、CCD相机3、伺服滑台1、光源6、液晶显示屏及工控机5，参见图2所示；伺服滑台1上放置待检测物体2，待检测物体2的上方设有CCD相机3、CCD相机3与图像采集卡4连接，图像采集卡4与工控机5连接。
具体地，图像采集卡4的型号为DALSA Xtium-CL MX4，CCD相机3的型号为DALSALinea 16K，伺服滑台1上装有电机底座，工控机5搭载有型号为Nvidia RTX2080的GPU。
S2、由工控机中的***软件对传入的源图像进行读取，并且控制“开始/停止检测”处理；
S3、粗匹配阶段：读入的源图像首先进入检测流程的粗匹配模块中，***软件会先利用自识别模板算法从源图像上获取标准单元模板图像；然后，判断所选取的标准单元模板图像是否合格，如是，则将其保存并呈现在***软件界面上，如否，则将不合格的标准单元模板图像剔除，并利用自识别模板算法重新获取（参见图4，***软件界面上用黑色方框包围的区域为***将获取到的标准单元模板图像反馈到界面上，供用户考察）；再利用多目标模板匹配算法对源图像上所有与标准单元模板图像相似的单元图像进行匹配，并记录其左上角像素坐标，从而实现对源图像上的各单元图像的分布定位及统计；然后将粗匹配结果保存（如图6为***的粗匹配结果，图6中用黑色框线围住的矩形小单元即为经过粗匹配运算所得出的与标准单元模板图像相似的所有单元图像，图5为检测***中粗匹配模块未进行匹配前的图像）；
S4、进入细匹配模块中，根据步骤S3中获取到的各个单元图像在源图像上的坐标，获取到其对应的单独的单元图像；利用灰度-梯度共生矩阵模型求出每张单元图像的灰度-梯度特征参数（特征参数的接近程度与单元图像的相似度成正比），将得到的这些特征参数存入容器dataset中；
S5、利用聚类模块中的DBSCAN聚类算法对输入的灰度-梯度特征参数进行聚类，在聚类前设置样本点的Eps邻域距离阈值和以样本点为核心对象的邻域内最小邻域点数的MinPts初值（这里取Eps=0.3，MinPts=3），DBSCAN通过检查数据集中每个点的Eps邻域来搜索簇。如果点p的Eps邻域包含的点多于3个，则创建一个以p为核心对象的簇。然后，DBSCAN算法迭代地从核心对象聚集直接密度可达的对象，在这期间密度可达的簇会进行合并，在这期间密度可达的簇会进行合并，直到没有新的点可以添加到任何簇时结束，最终孤立出的对象即代表带有瑕疵的单元。检测***会将最终聚类的结果映射到二维图像上，利用散点图将其呈现在***软件的界面上供用户考察，如图7。
进一步，该***的软件操作界面采用简洁、实用、高效的设计，如图8为***软件的整体操作界面，可划分为如下几个主要的功能模块进行说明。
对于检测结果的呈现，分布在“检测结果”功能模块中，该模块可以划分为三个功能区。在图9中分别标出1，2，3号功能区，1号该功能区由“显示检测结果”按钮、“瑕疵个数”显示框和选项框三部分组成。点击“显示检测结果”按钮后，***会获取到检测结果中所有包含瑕疵的单元，将其一一映射在选项框中（选项框中的每一个可点击项代表一个包含瑕疵的单元）。可点击项显示的内容格式为“编号[包含瑕疵的单元左上角在源图像上的像素坐标]”，其中“编号”为包含瑕疵的单元的顺序编号。如图9的实例中，在1号功能区中被选定可点击项的内容是“6[850，4332]”。其中“6”为包含瑕疵的单元的编号，“[850，4332]”为该单元左上角在源图像上的像素坐标。在检测过程中，***会统计检测到包含瑕疵的单元的个数，并且在“瑕疵个数”显示框中显示。如图9的实例中，***检测到包含瑕疵的单元数为38个。
点击1号功能区选项框中的可点击项，在其下方的“瑕疵目标”显示功能区（2号功能区）会实时显示出相应包含瑕疵的单元的单独图像。如图9的实例中显示的是编号为“6”的包含瑕疵的单元的单独图像。点击“放大”按钮后，以图像显示区左上角为基准，以1.2的倍率放大显示图像。点击“缩小”按钮后，以图像显示区左上角为基准，以0.8的倍率缩小显示图像。点击“铺满显示”按钮后，以图像显示区左上角为基准，根据显示区尺寸铺满显示图像。
点击1号功能区选项框中的可点击项后，在“全局定位”显示功能区（3号功能区）会实时地定位出包含瑕疵的单元在源图像上所处的位置（利用灰色方框标注），如图9的实例中定位的是编号为“6”的包含瑕疵的单元。同时在最下方的状态栏中会显示当前所定位的包含瑕疵的单元编号，如图9的实例中，状态栏显示的信息为“locating:6”。另外，在3号功能区支持以下快捷功能：
当鼠标光标移动到在“全局定位”显示功能区上时，光标会变为辅助精准定位的“十”形状。当光标移出该区域时，恢复为默认形状；
当鼠标光标移动到图像上时，按住鼠标左键拖拽图像实现图像的移动；
当鼠标光标移动到图像上时，将鼠标滚轮上滑，每次滑动会以1.2的倍率放大显示图像；
当鼠标光标移动到图像上时，将鼠标滚轮下滑，每次滑动会以0.8的倍率缩小显示图像；
点击如图9中2号功能区里的“擦除定位框”按钮，灰色的标注方框会消失，可观察之前被灰色方框覆盖区域的情况。此时再将鼠标光标放置在全局定位显示区上时，在底部的状态栏会实时显示鼠标光标所指位置在源图像上的像素坐标。如图10的实例是擦除定位框后，将图像放大3.6个倍率，再将鼠标光标置于图像上方，此时状态栏中显示的是“coordinate[x:1900.2，y:2310.78]”，即为当前鼠标光标所指位置在源图像上的像素坐标。
在“检测任务管理”功能模块中实现了对存储在数据库中的历史检测结果进行呈现和管理，参见图11，其中包含的信息有任务单号、任务时间、任务状态、瑕疵个数以及任务描述。点击“删除任务”按钮，***会删除当前选中的历史检测结果，同时会更新数据库并且删除在硬盘中存储的对应文件。点击“清空历史任务”按钮，***会发出警告确认是否清空，如果选择是，则会清除所有历史检测结果，同时会更新数据库并且删除在硬盘中存储的对应文件。此外，双击每条历史任务都可以在检测结果模块中恢复第一次结束后的检测结果，进行再次全局定位所有瑕疵单元的具***置，达到审查历史任务的目的。此时也可以点击***软件操作界面上的“重新检测”按钮（参见图8），实现对历史任务中对应的检测结果进行重新检测。
在“检测报告”功能模块中实现了将每个检测结果的信息整理，并按照固定格式生成相应的检测报告（如图12）。其中包含的信息有工单号、型号、检测时间、检测结论、瑕疵个数、任务描述、检验员以及3个典型的包含瑕疵的单元样本。点击“生成检测报告”按钮用于生成相应的检测报告；点击“导出PDF文件”按钮后可通过设置保存路径和保存名称的参数，将检测报告导出为PDF格式的文件保存。“打印预览”和“打印”按钮都是为了支持打印功能而设置。最后，为了测试该检测***的性能，采集两种类型的半导体蚀刻引线框架模具的图像作为测试数据。其中，
第一种类型的测试数据是四张分辨为6164*7060的bmp图像。这组测试数据上的每个半导体蚀刻引线框架模具都包含有774个单元（含瑕疵缺陷）。这种引线框架模具上的瑕疵分布比较均匀和规律，大多数出现在单元的中央，瑕疵的特征明显。
第二种类型的测试数据是四张分辨为8190*12290的bmp图像，这组测试数据上的每个半导体蚀刻引线框架模具都包含有680个单元（含瑕疵缺陷），这种类型的半导体蚀刻引线框架模具上的瑕疵分布不均匀，不具有规律性，有的分布在单元的引脚部位，有的分布在单元的中央部位，并且瑕疵的特征细小，识别难度大（示例如图13，瑕疵部分已经用圆圈圈出），严格考验了***的性能。
实验设置：用来测试该检测***性能的数据如图14，采集了两种类型引线框架模具的八张图像，将它们编号为A1，A2，A3，A4和B1，B2，B3，B4。事先通过人工统计源图像上瑕疵的准确数据和分布信息，最后与该检测***得出的结果进行对比，从而达到测试***性能的目的。实验结果如表1所示：
表1 测试结果
Figure 993797DEST_PATH_IMAGE005
实验结果分析：结合表1中A类和B类两种半导体蚀刻引线框架模具的检测准确率对比分析，可以得出，对于包含瑕疵缺陷较为明显且分布均匀的A类半导体蚀刻引线框架模具，本***检测的准确率可以达到100%，时耗均在6s以内。对于瑕疵细小且分布不均匀的B类半导体蚀刻引线框架模具，本***也可以得出较高精度的检测准确率，时耗均在13s内。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。
应当理解，本发明并不局限于上述已描述的内容，且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (9)

1.一种半导体蚀刻引线框架模具缺陷的检测方法，其特征在于，包括如下步骤，
1）获取半导体蚀刻引线框架模具的源图像；
2）利用自识别模板算法从源图像上获取标准单元模板图像；
3）利用多目标模板匹配算法对源图像上各单元图像的分布进行定位及统计，同时获取源图像上各单元图像的像素坐标，根据所述像素坐标截取各单元图像；其中，利用多目标模板匹配算法对源图像上各单元图像的分布进行定位及统计，具体步骤包括：
3.1）利用sobel算子分别求出源图像和标准单元模板图像的梯度图；
3.2）利用差值平方和算法对所述源图像和标准单元模板图像的梯度图进行计算得到相似度矩阵，所述相似度矩阵中的所有值均不大于1，且相似度矩阵中每一个像素点的值表示源图像上该位置与标准单元模板图像的相似程度；
3.3）遍历矩阵得到最小值，将所述最小值对应的像素坐标存入坐标数组中，以所述最小值对应的像素坐标位置为中心，以20个像素为半径确定一个圆，将所述圆内所有坐标位置的像素值置为1；
3.4）重复步骤3.3）直至从矩阵中取出的当前最小值与上次取出的最小值之差大于0.1，完成源图像与标准单元模板图像所有相似单元图像的匹配；
4）利用灰度-梯度共生矩阵算法对各单元图像进行特征提取，得到灰度-梯度特征参数；
5）利用DBSCAN聚类算法对所述灰度-梯度特征参数聚类，获取有瑕疵和无瑕疵的分类结果。
2.根据权利要求1所述的半导体蚀刻引线框架模具缺陷的检测方法，其特征在于，所述步骤1），获取半导体蚀刻引线框架模具的源图像，具体为，
利用光学平台采集半导体蚀刻引线框架模具的源图像。
3.根据权利要求2所述的半导体蚀刻引线框架模具缺陷的检测方法，其特征在于，所述光学平台包括图像采集卡、CCD相机、伺服滑台、光源、液晶显示屏及工控机；所述伺服滑台上放置待检测物体，所述待检测物体的上方设有CCD相机、所述CCD相机与图像采集卡连接，所述图像采集卡与工控机连接。
4.根据权利要求1所述的半导体蚀刻引线框架模具缺陷的检测方法，其特征在于，所述步骤2），利用自识别模板算法从源图像上获取标准单元模板图像，具体步骤包括：
2.1）从源图像的中心位置选取中心图像，所述中心图像包括若干单元图像；
2.2）对所述中心图像进行均值滤波处理；
2.3）利用sobel算子求出均值滤波处理后的中心图像的梯度图，并将梯度图中的梯度值压缩至0-15；
2.4）根据压缩后的梯度图中各行/列的梯度值判断各行/列是否为背景行/列；如一行/列的梯度值中存在大于2的数值，则将所述行/列定义为非背景行/列，如否，则将所述行/列定义为背景行/列；
2.5）将所述背景行/列的信息依次保存到两个数组中，在两个数组中筛选出不相邻的行/列值；其中，相邻两行/列值的差值小于5则定义为相邻；
2.6）在筛选后的背景行/列中选取间隔最小的两行和两列组成4个坐标，获取与所述中心图像相匹配的标准单元模板图像。
5.根据权利要求1所述的半导体蚀刻引线框架模具缺陷的检测方法，其特征在于，所述步骤4）中的灰度-梯度共生矩阵算法利用灰度-梯度共生矩阵模型进行，所述灰度-梯度共生矩阵模型利用小梯度特征、大梯度特征、小灰度特征、大灰度特征提取各单元图像的纹理特征。
6.根据权利要求1所述的半导体蚀刻引线框架模具缺陷的检测方法，其特征在于，所述步骤5），利用DBSCAN聚类算法对所述灰度-梯度特征参数聚类，获得有瑕疵和无瑕疵的分类结果，具体步骤包括：
在聚类前设置样本点的Eps邻域距离阈值及以样本点为核心的邻域内的最小邻域点数MinPts，其中，Eps=0.3，MinPts=3；
利用DBSCAN聚类算法检查数据集中每个点的Eps邻域来搜索簇，如果点p的Eps邻域内包含的点多于3个，则创建一个以p为核心对象的簇；DBSCAN算法迭代地聚集从所述核心对象直接密度可达的对象，在这期间密度可达的簇会进行合并，直至没有新的点添加到任何簇时结束，最终孤立出的对象即代表带有瑕疵的单元。
7.一种实现如权利要求1所述的半导体蚀刻引线框架模具缺陷的检测方法的***，其特征在于，包括，
采集及传输模块：用于采集半导体蚀刻引线框架模具的源图像，并将采集到的源图像传输至工控机；
所述工控机包括：瑕疵检测***，用于读取源图像、控制检测工作的启/停；
粗匹配模块：利用自识别模板算法获取用以匹配的标准单元模板图像；判断所述标准单元模板图像是否合格，如是，将所述标准单元模板图像保存，如否，则将不合格的标准单元模板图像剔除，并利用自识别模板算法重新获取；利用多目标模板匹配算法对源图像上所有与标准单元模板图像相似的单元图像进行匹配，记录源图像上所有与标准单元模板图像相似的单元图像的左上角像素坐标，完成对源图像上的各单元图像的分布定位及统计；
细匹配模块：根据源图像上各单元图像的左上角像素坐标，截取各单元图像；利用灰度-梯度共生矩阵模型求出各单元图像的灰度-梯度特征参数，将所述灰度-梯度特征参数存入容器dataset中；
聚类模块，利用DBSCAN聚类算法对输入的灰度-梯度特征参数进行聚类，获取有瑕疵和无瑕疵的分类结果。
8.根据权利要求7所述的***，其特征在于，还包括，
检测结果显示及存储模块，用于将获取的有瑕疵和无瑕疵的分类结果呈现在整个检测***的软件界面上，并将检测结果生成一个任务单号存储到检测***的数据库中；
检测报告打印模块，用于将检测结果生成检测报告，供用户导出pdf文件、打印预览和打印。
9.根据权利要求7所述的***，其特征在于，还包括，
检测任务管理模块，用于查询数据库中存储的历史任务，方便用户复审/重新检测。
CN202011151137.9A 2020-10-25 2020-10-25 一种半导体蚀刻引线框架模具缺陷的检测方法及*** Active CN112014409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011151137.9A CN112014409B (zh) 2020-10-25 2020-10-25 一种半导体蚀刻引线框架模具缺陷的检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011151137.9A CN112014409B (zh) 2020-10-25 2020-10-25 一种半导体蚀刻引线框架模具缺陷的检测方法及***

Publications (2)

Publication Number Publication Date
CN112014409A CN112014409A (zh) 2020-12-01
CN112014409B true CN112014409B (zh) 2021-02-05

Family

ID=73527860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011151137.9A Active CN112014409B (zh) 2020-10-25 2020-10-25 一种半导体蚀刻引线框架模具缺陷的检测方法及***

Country Status (1)

Country Link
CN (1) CN112014409B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700415B (zh) * 2020-12-31 2024-05-17 重庆宇海精密制造股份有限公司 一种笔电外壳缺陷快速检测算法
CN113743447B (zh) * 2021-07-15 2024-05-17 上海朋熙半导体有限公司 半导体瑕疵识别方法、装置、计算机设备和存储介质
CN113640303A (zh) * 2021-08-09 2021-11-12 联宝(合肥)电子科技有限公司 一种用于笔记本电脑的表面瑕疵检验设备及其检测方法
CN114782430B (zh) * 2022-06-20 2022-08-23 新恒汇电子股份有限公司 基于蚀刻金属引线框架的计数***及其计数方法
CN115049671A (zh) * 2022-08-17 2022-09-13 南通东德纺织科技有限公司 基于计算机视觉的布匹表面缺陷检测方法及***
CN117455917B (zh) * 2023-12-25 2024-03-26 深圳市睿阳精视科技有限公司 一种蚀刻引线框架误报库建立及误报在线判定筛选方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1766907A (zh) * 2005-10-24 2006-05-03 中国电子科技集团公司第四十五研究所 基于聚类遗传算法的多目标图像识别方法
CN106373123B (zh) * 2016-09-21 2019-01-08 哈尔滨工业大学 基于k_tSL中心聚类算法的工业元件表面缺陷检测方法
CN108022232B (zh) * 2016-11-01 2021-06-01 中国科学院沈阳自动化研究所 一种飞行器表面铆钉检测方法
CN108256394B (zh) * 2016-12-28 2020-09-25 中林信达（北京）科技信息有限责任公司 一种基于轮廓梯度的目标跟踪方法
KR101995888B1 (ko) * 2017-07-26 2019-10-01 (주)제이케이씨코리아 리드 프레임 자동 검사 시스템
CN107886495B (zh) * 2017-09-30 2020-04-14 北京得华机器人技术研究院有限公司 一种基于相似度匹配的汽车零配件缺陷识别方法
CN111551567B (zh) * 2020-07-02 2021-06-25 厦门大学 一种基于条纹投影的物体表面缺陷检测方法及***

Also Published As

Publication number Publication date
CN112014409A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112014409B (zh) 一种半导体蚀刻引线框架模具缺陷的检测方法及***
US11066689B2 (en) Analysis and screening of cell secretion profiles
US8350905B2 (en) Microscope system, image generating method, and program for practicing the same
CN104487843B (zh) 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理***
US6466690B2 (en) Method and apparatus for processing an image of a tissue sample microarray
JPH06503415A (ja) ディスプレイに表示された像に対し検査の監査を行いながら検査する装置及び方法
CN101542527A (zh) 可组合图像的基于特征的配准
WO2000014790A1 (fr) Systeme d'inspection et procede de production d'un dispositif electronique l'utilisant
US7590492B2 (en) Method and system for organizing multiple objects of interest in field of interest
CN117058446B (zh) 一种钻探岩芯特征的智能识别描述方法、***及存储介质
JPH08124977A (ja) 半導体装置不良解析システム
JPH10185911A (ja) 細胞解析装置及びその方法
CN111507177B (zh) 一种用于计量周转柜的识别方法及装置
Ronneberger et al. Fast and robust segmentation of spherical particles in volumetric data sets from brightfield microscopy
Olson Image analysis using the Aperio ScanScope
JP2000077496A (ja) 電子デバイス検査システム及びこれを用いた電子デバイスの製造方法
CN113591809B (zh) 一种网点内客户行动轨迹确定方法及装置
Samarabandu et al. Image analysis techniques for visualizing the spatial organization of DNA replication sites in the mammalian cell nucleus using multichannel confocal microscopy
CN117974601B (zh) 基于模板匹配的硅片表面缺陷检测方法及***
CN112364948B (zh) 一种基于主成分分析的车辆信息存储方法
US7612769B2 (en) Computer-implemented methods for organizing image data produced by resonant Mie scattering of light from microparticles and resulting data structures
CN117152109A (zh) 用于棒材碳化物分布评级的控制方法、装置及***
Kofler et al. Detecting Star Cracks in Topography Images of Specular Back Surfaces of Structured Wafers
CN116469010A (zh) 大田原始正射影像中田块小区识别编列方法、***及设备
Wang Colony Delineation on Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant