CN110763700A - 一种半导体元器件缺陷检测方法和设备 - Google Patents

一种半导体元器件缺陷检测方法和设备 Download PDF

Info

Publication number
CN110763700A
CN110763700A CN201911007150.4A CN201911007150A CN110763700A CN 110763700 A CN110763700 A CN 110763700A CN 201911007150 A CN201911007150 A CN 201911007150A CN 110763700 A CN110763700 A CN 110763700A
Authority
CN
China
Prior art keywords
detection
image
detection element
defect
semiconductor component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911007150.4A
Other languages
English (en)
Inventor
朱岱
崔凯阳
刘永军
汪震
胡锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenxuan Intelligent Technology Nanjing Co Ltd
Original Assignee
Shenxuan Intelligent Technology Nanjing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenxuan Intelligent Technology Nanjing Co Ltd filed Critical Shenxuan Intelligent Technology Nanjing Co Ltd
Priority to CN201911007150.4A priority Critical patent/CN110763700A/zh
Publication of CN110763700A publication Critical patent/CN110763700A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及半导体元器件缺陷检测领域，尤其涉及一种半导体元器件缺陷检测方法和设备。一种半导体元器件缺陷检测方法，包括步骤：S1、取料；S2、2D检测；S3、3D检测；S4、判断检测元件是否被翻转过，若是，则执行步骤S6；若否，则执行步骤S5；S5、翻转：翻转所述检测元件，使所述检测元件的反面能够朝向所述2D数据采集位以及所述3D数据采集位，并执行步骤S2；S6、分拣：判断所述待检测元件为NG还是OK。本方法对检测元件进行2D和3D影像数据采集，并同时就结构型缺陷和学习型缺陷进行分别识别判断，进而进行分拣，能够实现针对形成无规律、形态变化多样的缺陷进行识别，是本领域的极大进步。

Description

一种半导体元器件缺陷检测方法和设备
技术领域
本发明涉及半导体元器件缺陷检测领域，尤其涉及一种半导体元器件缺陷检测方法和设备。
背景技术
目前半导体元器件行业中，对于缺陷检测主要分为两部分：质检员工人眼识别和传统的接触式缺陷检测方式。
传统的人工质检检测效率低、劳动强度大，检测结果受质检员工作经验、情绪、认真程度等主观因素影响较大，错检和漏检的情况无法有效控制；接触式缺陷检测方式，对于缺陷区域较大、高度、距离等变化比较固定的缺陷具有较高的辨识效果，但是缺乏对于形成因素无规律、缺陷形态多样的半导体元器件缺陷检测方法。
申请号为201811433958.4的专利文献，公开了一种视觉检测设备，该视觉检测设备包括用于上料的上料***、用于下料的下料***、用于进行检测工作的回转工作台以及用于记录检测数据的扫描***。
现有技术的缺点包括：(1)不能多种结构性缺陷同时检测；(2)不能检测学习性缺陷；(3)不能标注缺陷并自动分拣。如今机器视觉与人工智能技术相结合的应用技术现在广泛应用于目标识别、缺陷检测等领域。深度学习算法可以通过标注过具有缺陷的工件影像，“学习”缺陷特征，进而从未标注的影像中推理出缺陷存在的位置和特征。
因此，亟需发明一种可以有效对形成无规律、形态变化多样的缺陷进行识别的半导体缺陷识别方法。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种半导体元器件缺陷检测方法和设备，能够同时识别半导体元器件的结构型缺陷和学习型缺陷，并实现有效分拣。
为了达到上述目的，本发明采取了以下技术方案：
一种半导体元器件缺陷检测方法，包括步骤：
S1、取料：将检测元件放置在矫正工位，进行位置矫正后将检测元件移动到拍摄治具上；
S2、2D检测：将所述拍摄治具移动到2D数据采集位进行2D影像采集，并使用形态学算法识别结构性缺陷；
S3、3D检测：将所述拍摄治具移动到3D数据采集位进行3D影像采集，并使用深度学习算法识别学习型缺陷；
S4、判断检测元件是否被翻转过，若是，则执行步骤S6；若否，则执行步骤S5；
S5、翻转：翻转所述检测元件，使所述检测元件的反面能够朝向所述2D数据采集位以及所述3D数据采集位，并执行步骤S2；
S6、分拣：判断所述待检测元件为NG还是OK；
如果为NG则将检测元件放入NG出料仓；
如果为OK则将检测元件放入OK出料仓。
优选的所述的半导体元器件缺陷检测方法，所述步骤S1中，所述位置矫正的标准为以所述矫正工位的某个直角为基准将工件进行位置矫正。
优选的所述的半导体元器件缺陷检测方法，所述步骤S2中，所述形态学方法为：
S21、边缘判断：以像素点(x,y)为中心选取N×N的像素区域，设定阈值T，以中心画十字得到像素点(x,y)的邻域像素，当邻域像素的像素值与中心像素的差值D小于阈值T时，灰度相似个数G加1，当统计的G满足区间[a,b]时，确定该点为边缘点；当该点被判断为边缘点时，直接以该点的像素值作为输出，当该点被判断为内部点时，进行非线性中值滤波；
S22、掩膜优化：构造一幅灰度值为0的模板，采用最大外接区域得到图像中间的留白区域；然后构造一幅灰度值为1的模板，采用最大外接区域得到图像中间的留黑区域，并与前一次处理的结果求和得到优化后的掩膜图像；
S23、形态学缺陷判断：构建一个半径为R的圆盘对上述边缘判断和掩膜优化后的图像做闭运算和开运算，并与原始图像做差获得缺陷分布。
优选的所述的半导体元器件缺陷检测方法，所述步骤S3中，深度学习算法步骤为：
S31、输入检测元件的3D影像数据；
S32、选择性搜索在3D影像中提取若干个可能包含缺陷的候选区域；
S33、将取出的候选区域缩放为统一的尺寸，并将其输入到卷积神经网络进行学习型缺陷特征提取；
S34、将每个候选区域提取到的所述学习型缺陷特征输入到支持向量机进行学习型缺陷分类。
优选的所述的半导体元器件缺陷检测方法，所述步骤S2和S3中，根据检测元件的大小，对所述检测元件进行多区域拍摄，拼接获得完整的检测元件2D影像或3D影像。
优选的所述的半导体元器件缺陷检测方法，所述步骤S6还包括：
在检测元件上喷识别码和缺陷标记。
一种半导体元器件缺陷检测设备，包括上料仓、矫正装置、拍摄治具、移动转盘、2D图像采集***、3D图像采集***、位姿调整装置、NG出料仓、OK出料仓及自动机器人；
所述自动机器人用于将检测元件从所述上料仓放置到所述矫正装置，再将位置矫正好的检测元件从所述矫正装置转移到所述拍摄治具上，再将所述检测元件转移到所述上NG出料仓或OK出料仓；
所述拍摄治具装设在所述移动转盘上；
所述移动转盘用于转动所述拍摄治具，使所述检测元件能够分别停靠在所述位姿调整装置、所述2D图像采集***、3D图像采集***的位置；
所述2D图像采集***、所述3D图像采集***、所述位姿调整装置和所述自动机器人分别与服务器连接。
优选的所述的半导体元器件缺陷检测设备，所述3D图像采集***包括3D测量传感器。
优选的所述的半导体元器件缺陷检测设备，所述矫正装置还包括尺寸测量器，用于测量检测元件的尺寸。
优选的所述的半导体元器件缺陷检测设备，还包括喷码装置，用于对检测元件喷识别码和对缺陷位置进行标注。
相较于现有技术，本发明提供的一种半导体元器件缺陷检测方法和设备，本方法对检测元件进行2D和3D影像数据采集，并同时就结构型缺陷和学习型缺陷进行分别识别判断，进而进行分拣，能够实现针对形成无规律、形态变化多样的缺陷进行识别，是本领域的极大进步。
附图说明
图1是本发明提供的半导体元器件缺陷检测方法流程图；
图2是本发明提供的半导体元器件缺陷检测设备示意图；
图3是本发明提供的实施例中检测元件在矫正装置中矫正前示意图；
图4是本发明提供的实施例中检测元件在矫正装置中矫正后示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请着重参阅图1-图2，本发明提供本申请提供一种半导体元器件缺陷检测设备，包括上料仓1、矫正装置2、拍摄治具3、移动转盘4、2D图像采集***5、3D图像采集***6、位姿调整装置7、NG出料仓8、OK出料仓9以及自动机器人10；优选的，所述自动机器人10为六轴机器人；
所述自动机器人10用于将检测元件从所述上料仓1放置到所述矫正装置2，再将位置矫正好的检测元件从所述矫正装置2转移到所述拍摄治具3上，再将所述检测元件转移到所述上NG出料仓8或OK出料仓9；
所述拍摄治具3装设在所述移动转盘4上；
所述移动转盘4用于转动所述拍摄治具3，使所述检测元件能够分别停靠在所述位姿调整装置7、所述2D图像采集***5、3D图像采集***6的位置；
所述2D图像采集***5、所述3D图像采集***6、所述位姿调整装置7和所述自动机器人10分别与服务器连接。
相应的，为了更好的应用本发明提供的半导体元器件缺陷检测设备，本发明还提供一种半导体元器件缺陷检测方法，包括步骤：
S1、取料：将检测元件放置在矫正工位，进行位置矫正后将检测元件移动到拍摄治具3上；优选的，请着重参阅图3和图4，所述位置矫正为以所述矫正工位的所述矫正装置2的某个直角为基准将工件进行位置矫正；
S2、2D检测：将所述拍摄治具3移动到2D数据采集位进行2D影像采集，并使用形态学算法识别结构性缺陷；
S3、3D检测：将所述拍摄治具3移动到3D数据采集位进行3D影像采集，并使用深度学习算法识别学习型缺陷；
S4、判断检测元件是否被翻转过，若是，则执行步骤S6；若否，则执行步骤S5；
S5、翻转：翻转所述检测元件，使所述检测元件的反面能够朝向所述2D数据采集位以及所述3D数据采集位，并执行步骤S2；
S6、分拣：判断所述待检测元件为NG还是OK；
如果为NG则将检测元件放入NG出料仓8；
如果为OK则将检测元件放入OK出料仓9。
具体的，在实施过程中，检测元件进入所述上料仓1中，所述自动机器人10将所述检测元件从所述上料仓1中取出放到矫正装置2中进行位置矫正，在矫正后，所述自动机器人10将所述检测元件移动到所述拍摄治具3上；所述移动转盘4转动，将所述拍摄治具3移动到所述2D影像采集***位置处进行2D图像采集，并使用形态学算法进行结构性缺陷识别；然后所述移动转盘4转动，将所述拍摄治具3移动到所述3D图像采集***6位置处进行3D影像采集，并使用深度学习算法识别学习型缺陷；然后所述移动转盘4转动，将所述拍摄治具3移动到所述位姿调整装置7进行对所述检测元件的位姿调整，使所述检测元件的反面能够朝向所述2D数据采集位以及所述3D数据采集位；再次转动所述移动转盘4，分别再次进行所述2D影像和所述3D影像采集，后根据所述2D图像采集***5和所述3D图像采集***6的缺陷分析数据判断检测元件是NG还是OK，进行分拣，若是NG，则放到所述NG出料仓8；若是OK则放到所述OK出料仓9。
作为优选方案，本实施例中，所述2D图像采集***5包括光源、工业相机和镜头；所述3D图像采集***6包括3D测量传感器。
所述步骤S2中，所述形态学方法为：
S21、边缘判断：以像素点(x,y)为中心选取N×N的像素区域，设定阈值T，以中心画十字得到像素点(x,y)的邻域像素，当邻域像素的像素值与中心像素的差值D小于阈值T时，灰度相似个数G加1，当统计的G满足区间[a,b]时，确定该点为边缘点；当该点被判断为边缘点时，直接以该点的像素值作为输出，当该点被判断为内部点时，进行非线性中值滤波；
S22、掩膜优化：构造一幅灰度值为0的模板，采用最大外接区域得到图像中间的留白区域；然后构造一幅灰度值为1的模板，采用最大外接区域得到图像中间的留黑区域，并与前一次处理的结果求和得到优化后的掩膜图像；
S23、形态学缺陷判断：经过边缘判断和掩膜优化后的影像会将影像中的元件层与基板层区域分离，影像质量问题必然会导致边缘区域出现毛刺和凹槽，此时构建一个半径为R的圆盘对上述边缘判断和掩膜优化后的图像做闭运算和开运算，并与原始图像做差获得缺陷分布。
具体的，所述闭运算为依次对图片进行先膨胀处理后腐蚀处理；所述开运算为对图片进行先腐蚀处理后膨胀处理。
所述腐蚀处理为：腐蚀可以使目标区域范围“变小”，其实质造成图像的边界收缩，可以用来消除小且无意义的目标物。其公式为：
Figure BDA0002243110990000051
所述膨胀处理为：膨胀会使目标区域范围“变大”，将于目标区域接触的背景点合并到该目标物中，使目标边界向外部扩张。作用就是可以用来填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪声。其公式为：
Figure BDA0002243110990000052
作为优选方案，本实施例中，所述步骤S3中，深度学习算法步骤为：
S31、输入检测元件的3D影像数据；具体的，所述3D影像通过所述3D测量传感器测量；
S32、选择性搜索在3D影像中提取若干个可能包含缺陷的候选区域；
S33、将取出的候选区域缩放为统一的尺寸，并将其输入到卷积神经网络进行学习型缺陷特征提取；
S34、将每个候选区域提取到的所述学习型缺陷特征输入到支持向量机进行学习型缺陷缺陷分类。
在步骤S32中，使用3D点云技术进行特征提取。3D点云从根本上是一个点反映x、y、z三维坐标的数组，当x、y轴尺寸和顺序固定以后，仅z轴数据可以简化为一个[x]*[y]的二维矩阵。该数据经过数据归一化可以将单点数据转化为0-255区间内的数值，进而可以将Z轴数据简化为一组近似于灰度数据的一组二维张量。同时，3D测量传感器在获取3D数据时，因为光照或其他物理因素，某些点的3D数据并非有效数值，3D测量传感器会返回一组定义[x]*[y]二维矩阵中每个高度点是否为有效点的二维矩阵[x1y1],称为掩码矩阵。
具体的，本***获取到的3D点云可以经过数据标准化以后尺寸大小相同的三组张量：灰度、高度、掩码。在进行神经网络输入之前对于同一个工件的三组数据进行一次缺陷标签即可。本***使用此三组张量数据取代传统网络训练三通道(RGB)图像的输入，使用resnet作为提取特征的网络。
所述卷积神经网络包括输入层、卷积层、池化层、全连接层、输出层。
所述卷积神经网络识别学习型缺陷前，需要学习所述学习型缺陷中的每一种缺陷，其学习过程如下：
将缺陷图片输送到所述输入层中，使用梯度下降算法进行学习，卷积神经网络的输入特征需要进行标准化处理。具体地，在将学习数据输入卷积神经网络前，需在通道或时间/频率维对输入数据进行归一化，若输入数据为像素，也可将分布于[0,255]的原始像素值归一化至区间[0,1]。
卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量，类似于一个前馈神经网络的神经元。卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，在文献中被称为“感受野”，其含义可类比视觉皮层细胞的感受野。卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量：
Figure BDA0002243110990000061
式中的求和部分等价于求解一次交叉相关，b为偏差量；Zl和Zl+1表示第l+1层的卷积输入与输出，也被称为特征图；Ll+1为Zl+1的尺寸，这里假设特征图长宽相同；Z(x，y)对应特征图的像素，K为特征图的通道数，f、s0和p是卷积层参数，对应卷积核大小、卷积步长和填充层数。
在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。池化层选取池化区域与卷积核扫描特征图步骤相同，由池化大小、步长和填充控制。使用Lp池化，其计算公式为：
Figure BDA0002243110990000072
式中步长s0、像素(i，j)的含义与卷积层相同，p是预指定参数。当p＝1时，Lp池化在池化区域内取均值，被称为均值池化；当p→∞时，Lp池化在区域内取极大值，被称为极大池化。均值池化和极大池化是在卷积神经网络的设计中被长期使用的池化方法，二者以损失特征图的部分信息或尺寸为代价保留图像的背景和纹理信息。此外p＝2时的L2池化在一些工作中也有使用。
卷积神经网络中的全连接层等价于传统前馈神经网络中的隐含层。全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数。
卷积神经网络中输出层的上游通常是全连接层，因此其结构和工作原理与传统前馈神经网络中的输出层相同。对于图像分类问题，输出层使用逻辑函数或归一化指数函数输出分类标签。在物体识别问题中，输出层可设计为输出物体的中心坐标、大小和分类。在图像语义分割中，输出层直接输出每个像素的分类结果。
学习的过程是，将若干缺陷图片依次经过输入层、卷积层、池化层、全连接层进行对所述学习型缺陷的学习。识别的过程是将所述3D影像输入到所述输入层，从所述输出层输出是否存在所述学习型缺陷，并标识。
作为优选方案，本实施例中，所述矫正装置还包括尺寸测量器，用于测量检测元件的尺寸。
相应的，所述步骤S2和S3中，根据检测元件的大小，对所述检测元件进行多区域拍摄，拼接获得完整的检测元件2D影像或3D影像。
具体的，所述矫正装置在对所述检测工件进行位置矫正的同时，测量所述检测工件的尺寸，并将尺寸数据发送到所述2D图像采集***和所述3D图像***，所述2D/3D图像采集***判断所述检测工件的尺寸是否超过预定尺寸，若是则所述2D/3D图像采集***使用多区域拍摄模式；若否，则使用正常拍摄模式。所述正常拍摄模式为对所述检测工件进行整体同时图像采集，为单张拍摄或单角度拍摄。
相应的，所述2D图像采集***具有2D多区域拍摄模式，所述3D图像采集***具有3D多区域拍摄模式。在进一步的实施例中，所述矫正装置将所述检测工件的尺寸数据发送到服务器中，服务器根据所述尺寸的大小向所述2D/3D图像采集***分别发送模式装换指令。
所述2D/3D多区域拍摄模式为在所述步骤S2/S3中，还包括：
将所述检测元件分成若干个小区域进行拍摄，拍摄的相邻的两个小区域图像之间具有一定的公共重叠区域；
对每个小区域图像使用surf算法进行CAD模板匹配，将匹配到CAD的影像图片，按照CAD中子区域的大小和位置进行仿射变换，不同区域的影像填充到CAD图中后会有重叠部分，对重叠部分进行图像融合显示，即可得到完整工件2D/3D影像。
作为优选方案。本实施例中，还包括喷码装置，用于对检测元件喷识别码和对缺陷位置进行标注。
相应的，所述步骤S6还包括：
在检测元件上喷识别码和缺陷标记。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种半导体元器件缺陷检测方法，其特征在于，包括步骤：
S1、取料：将检测元件放置在矫正工位，进行位置矫正后将检测元件移动到拍摄治具上；
S2、2D检测：将所述拍摄治具移动到2D数据采集位进行2D影像采集，并使用形态学算法识别结构性缺陷；
S3、3D检测：将所述拍摄治具移动到3D数据采集位进行3D影像采集，并使用深度学习算法识别学习型缺陷；
S4、判断检测元件是否被翻转过，若是，则执行步骤S6；若否，则执行步骤S5；
S5、翻转：翻转所述检测元件，使所述检测元件的反面能够朝向所述2D数据采集位以及所述3D数据采集位，并执行步骤S2；
S6、分拣：判断所述待检测元件为NG还是OK；
如果为NG则将检测元件放入NG出料仓；
如果为OK则将检测元件放入OK出料仓。
2.根据权利要求1所述的半导体元器件缺陷检测方法，其特征在于，所述步骤S1中，所述位置矫正的标准为以所述矫正工位的某个直角为基准将工件进行位置矫正。
3.根据权利要求1所述的半导体元器件缺陷检测方法，其特征在于，所述步骤S2中，所述形态学方法为：
S21、边缘判断：以像素点(x,y)为中心选取N×N的像素区域，设定阈值T，以中心画十字得到像素点(x,y)的邻域像素，当邻域像素的像素值与中心像素的差值D小于阈值T时，灰度相似个数G加1，当统计的G满足区间[a,b]时，确定该点为边缘点；当该点被判断为边缘点时，直接以该点的像素值作为输出，当该点被判断为内部点时，进行非线性中值滤波；
S22、掩膜优化：构造一幅灰度值为0的模板，采用最大外接区域得到图像中间的留白区域；然后构造一幅灰度值为1的模板，采用最大外接区域得到图像中间的留黑区域，并与前一次处理的结果求和得到优化后的掩膜图像；
S23、形态学缺陷判断：构建一个半径为R的圆盘对上述边缘判断和掩膜优化后的图像做闭运算和开运算，并与原始图像做差获得缺陷分布。
4.根据权利要求1所述的半导体元器件缺陷检测方法，其特征在于，所述步骤S3中，深度学习算法步骤为：
S31、输入检测元件的3D影像数据；
S32、选择性搜索在3D影像中提取若干个可能包含缺陷的候选区域；
S33、将取出的候选区域缩放为统一的尺寸，并将其输入到卷积神经网络进行学习型缺陷特征提取；
S34、将每个候选区域提取到的所述学习型缺陷特征输入到支持向量机进行学习型缺陷分类。
5.根据权利要求1所述的半导体元器件缺陷检测方法，其特征在于，所述步骤S2和S3中，根据检测元件的大小，对所述检测元件进行多区域拍摄，拼接获得完整的检测元件2D影像或3D影像。
6.根据权利要求1所述的半导体元器件缺陷检测方法，其特征在于，所述步骤S6还包括：
在检测元件上喷识别码和缺陷标记。
7.一种半导体元器件缺陷检测设备，其特征在于，包括上料仓、矫正装置、拍摄治具、移动转盘、2D图像采集***、3D图像采集***、位姿调整装置、NG出料仓、OK出料仓及自动机器人；
所述自动机器人用于将检测元件从所述上料仓放置到所述矫正装置，再将位置矫正好的检测元件从所述矫正装置转移到所述拍摄治具上，再将所述检测元件转移到所述上NG出料仓或OK出料仓；
所述拍摄治具装设在所述移动转盘上；
所述移动转盘用于转动所述拍摄治具，使所述检测元件能够分别停靠在所述位姿调整装置、所述2D图像采集***、3D图像采集***的位置；
所述2D图像采集***、所述3D图像采集***、所述位姿调整装置和所述自动机器人分别与服务器连接。
8.根据权利要求7所述的半导体元器件缺陷检测设备，其特征在于，所述3D图像采集***包括3D测量传感器。
9.根据权利要求7所述的半导体元器件缺陷检测设备，其特征在于，所述矫正装置还包括尺寸测量器，用于测量检测元件的尺寸。
10.根据权利要求7所述的半导体元器件缺陷检测设备，其特征在于，还包括喷码装置，用于对检测元件喷识别码和对缺陷位置进行标注。
CN201911007150.4A 2019-10-22 2019-10-22 一种半导体元器件缺陷检测方法和设备 Pending CN110763700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911007150.4A CN110763700A (zh) 2019-10-22 2019-10-22 一种半导体元器件缺陷检测方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911007150.4A CN110763700A (zh) 2019-10-22 2019-10-22 一种半导体元器件缺陷检测方法和设备

Publications (1)

Publication Number Publication Date
CN110763700A true CN110763700A (zh) 2020-02-07

Family

ID=69331405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911007150.4A Pending CN110763700A (zh) 2019-10-22 2019-10-22 一种半导体元器件缺陷检测方法和设备

Country Status (1)

Country Link
CN (1) CN110763700A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402251A (zh) * 2020-04-01 2020-07-10 苏州苏映视图像软件科技有限公司 一种用于3d缺陷检测的视觉检测方法及***
CN111507998A (zh) * 2020-04-20 2020-08-07 南京航空航天大学 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN111539933A (zh) * 2020-04-22 2020-08-14 大连日佳电子有限公司 一种直插元件检测方法及***
CN111736331A (zh) * 2020-06-18 2020-10-02 湖南索莱智能科技有限公司 一种判断载玻片水平和垂直方向的方法以及使用该方法的装置
CN111986178A (zh) * 2020-08-21 2020-11-24 北京百度网讯科技有限公司 产品缺陷检测方法、装置、电子设备和存储介质
CN113421065A (zh) * 2021-06-30 2021-09-21 安徽富信半导体科技有限公司 一种基于物联网的半导体生产智能分拣***
CN113546861A (zh) * 2020-04-23 2021-10-26 海太半导体（无锡）有限公司 一种自动识别不良品的收集分类方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1180472A (zh) * 1996-03-14 1998-04-29 松下电器产业株式会社 印刷线路板位置矫正装置
CN103543168A (zh) * 2013-10-12 2014-01-29 华南理工大学 一种多层封装基板缺陷的x射线检测方法及***
CN105466951A (zh) * 2014-09-12 2016-04-06 江苏明富自动化科技股份有限公司 一种自动光学检测装置及其检测方法
CN106272426A (zh) * 2016-09-12 2017-01-04 佛山市南海区广工大数控装备协同创新研究院 太阳能电池片串焊前视觉定位及角度检测设备及检测方法
CN108280837A (zh) * 2018-01-25 2018-07-13 电子科技大学 基于变换的x射线图像中bga焊球轮廓提取方法
CN109001230A (zh) * 2018-05-28 2018-12-14 中兵国铁（广东）科技有限公司 基于机器视觉的焊点缺陷检测方法
CN109087274A (zh) * 2018-08-10 2018-12-25 哈尔滨工业大学 基于多维融合及语义分割的电子器件缺陷检测方法及装置
CN109447989A (zh) * 2019-01-08 2019-03-08 哈尔滨理工大学 基于电机铜排毛刺生长区域的缺陷检测装置和方法
CN109584215A (zh) * 2018-11-10 2019-04-05 东莞理工学院 一种电路板在线视觉检测***
CN110186938A (zh) * 2019-06-28 2019-08-30 笪萨科技(上海)有限公司 双面缺陷分析设备及缺陷检测和分析***
CN110231340A (zh) * 2018-03-02 2019-09-13 由田新技股份有限公司 强化工件光学特征的设备、方法、深度学习方法及媒体

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1180472A (zh) * 1996-03-14 1998-04-29 松下电器产业株式会社 印刷线路板位置矫正装置
CN103543168A (zh) * 2013-10-12 2014-01-29 华南理工大学 一种多层封装基板缺陷的x射线检测方法及***
CN105466951A (zh) * 2014-09-12 2016-04-06 江苏明富自动化科技股份有限公司 一种自动光学检测装置及其检测方法
CN106272426A (zh) * 2016-09-12 2017-01-04 佛山市南海区广工大数控装备协同创新研究院 太阳能电池片串焊前视觉定位及角度检测设备及检测方法
CN108280837A (zh) * 2018-01-25 2018-07-13 电子科技大学 基于变换的x射线图像中bga焊球轮廓提取方法
CN110231340A (zh) * 2018-03-02 2019-09-13 由田新技股份有限公司 强化工件光学特征的设备、方法、深度学习方法及媒体
CN109001230A (zh) * 2018-05-28 2018-12-14 中兵国铁（广东）科技有限公司 基于机器视觉的焊点缺陷检测方法
CN109087274A (zh) * 2018-08-10 2018-12-25 哈尔滨工业大学 基于多维融合及语义分割的电子器件缺陷检测方法及装置
CN109584215A (zh) * 2018-11-10 2019-04-05 东莞理工学院 一种电路板在线视觉检测***
CN109447989A (zh) * 2019-01-08 2019-03-08 哈尔滨理工大学 基于电机铜排毛刺生长区域的缺陷检测装置和方法
CN110186938A (zh) * 2019-06-28 2019-08-30 笪萨科技(上海)有限公司 双面缺陷分析设备及缺陷检测和分析***

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402251A (zh) * 2020-04-01 2020-07-10 苏州苏映视图像软件科技有限公司 一种用于3d缺陷检测的视觉检测方法及***
CN111507998A (zh) * 2020-04-20 2020-08-07 南京航空航天大学 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN111507998B (zh) * 2020-04-20 2022-02-18 南京航空航天大学 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN111539933A (zh) * 2020-04-22 2020-08-14 大连日佳电子有限公司 一种直插元件检测方法及***
CN111539933B (zh) * 2020-04-22 2023-06-06 大连日佳电子有限公司 一种直插元件检测方法及***
CN113546861A (zh) * 2020-04-23 2021-10-26 海太半导体（无锡）有限公司 一种自动识别不良品的收集分类方法
CN111736331A (zh) * 2020-06-18 2020-10-02 湖南索莱智能科技有限公司 一种判断载玻片水平和垂直方向的方法以及使用该方法的装置
CN111986178A (zh) * 2020-08-21 2020-11-24 北京百度网讯科技有限公司 产品缺陷检测方法、装置、电子设备和存储介质
CN113421065A (zh) * 2021-06-30 2021-09-21 安徽富信半导体科技有限公司 一种基于物联网的半导体生产智能分拣***
CN113421065B (zh) * 2021-06-30 2024-01-30 安徽富信半导体科技有限公司 一种基于物联网的半导体生产智能分拣***

Similar Documents

Publication Publication Date Title
CN110763700A (zh) 一种半导体元器件缺陷检测方法和设备
CN110314854B (zh) 一种基于视觉机器人的工件检测分拣的装置及方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN104458755B (zh) 一种基于机器视觉的多类型材质表面缺陷检测方法
CN111507976B (zh) 基于多角度成像的缺陷检测方法及***
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN107966454A (zh) 一种基于fpga的端塞缺陷检测装置及检测方法
CN108169236A (zh) 一种基于视觉的金属表面缺陷检测方法
CN109087286A (zh) 一种基于计算机图像处理和模式识别的检测方法及应用
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
Ali et al. A cascading fuzzy logic with image processing algorithm–based defect detection for automatic visual inspection of industrial cylindrical object’s surface
Yusof et al. Automated asphalt pavement crack detection and classification using deep convolution neural network
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN115816460A (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN108109154A (zh) 一种工件的新型定位及数据获取方法
CN117085969B (zh) 人工智能工业视觉检测方法、装置、设备及存储介质
CN114612418A (zh) 一种鼠标外壳表面缺陷检测方法及装置、***、电子设备
CN114331961A (zh) 用于对象的缺陷检测的方法
TWI822968B (zh) 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法
CN109975307A (zh) 基于统计投影训练的轴承表面缺陷检测***及检测方法
CN113319013A (zh) 一种基于机器视觉的苹果智能分拣的方法
Kuo et al. Automated inspection of micro-defect recognition system for color filter
CN117169247A (zh) 一种基于机器视觉的金属表面缺陷多维度检测方法及***
CN114187269B (zh) 小零器件表面缺陷边缘快速检测方法
Shi et al. A fast workpiece detection method based on multi-feature fused SSD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207