CN113222982A - 基于改进的yolo网络的晶圆表面缺陷检测方法及*** - Google Patents

基于改进的yolo网络的晶圆表面缺陷检测方法及*** Download PDF

Info

Publication number
CN113222982A
CN113222982A CN202110616677.8A CN202110616677A CN113222982A CN 113222982 A CN113222982 A CN 113222982A CN 202110616677 A CN202110616677 A CN 202110616677A CN 113222982 A CN113222982 A CN 113222982A
Authority
CN
China
Prior art keywords
model
network
wafer
surface defect
yolo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110616677.8A
Other languages
English (en)
Inventor
杨明来
曹肖可
汤凯
晁阳
张雪玲
海伦
席泽鹏
陈威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technology
Original Assignee
Shanghai Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technology filed Critical Shanghai Institute of Technology
Priority to CN202110616677.8A priority Critical patent/CN113222982A/zh
Publication of CN113222982A publication Critical patent/CN113222982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本发明提供了一种基于改进的YOLO网络的晶圆表面缺陷检测方法及***，包括如下步骤：采集晶圆图像，对所述晶圆图像表面缺陷进行位置和缺陷类型的标注生成数据集，将所述数据集分为训练集和测试集；对训练集进行聚类分析，确定目标anchor值；改进YOLO网络模型中的主干特征提取网络Darknet‑53和多尺度特征融合网络FPN，生成优化后的YOLO目标检测模型；将聚类分析后的训练集输入到优化后的YOLO网络模型中进行训练生成晶圆表面缺陷模型，并通过所述测试集对所述晶圆表面缺陷模型进行测试。本发明提供能够用于实现晶圆成品表面缺陷的检测，检测的缺陷包括划痕、污染、残缺等等，通过对YOLO网络模型的改进，能够较以往传统的检测方法，准确性和实时性得到进一步提高。

Description

基于改进的YOLO网络的晶圆表面缺陷检测方法及***
技术领域
本发明涉及计算机视觉，具体地，涉及一种基于改进的YOLO网络的晶圆表面缺陷检测方法及***。
背景技术
近几十年来，半导体制造业飞速发展，半导体领域中的芯片技术占着举足轻重的位置，人工智能、大数据、云计算等等，这些技术的浪潮的基础都离不开芯片的支持，芯片技术已经成为了现代信息技术的基础和核心竞争力之一。因此，晶圆作为芯片制造的原材料也是非常重要，晶圆的制作过程非常繁杂，这就使得它在生产过程中会出现各种缺陷问题，例如划痕、缺失、污染等缺陷，这些缺陷会导致晶圆封装成芯片后性能不达标，如果不能及时检测出来，制作成下游产品会影响其质量。针对晶圆出现的各种缺陷，众多研究院或者公司都开始研究晶圆缺陷检测的方法。
晶圆缺陷检测在早期主要是以人工检测为主，这种人工目检的方式效率低且检测速度慢，劳动强度大，检测准确性和实时性比较差。近几十年来，随着机器视觉领域的发展，利用机器学习算法很好的克服了人工目测的缺点，机器视觉的无损检测技术得到了越来越多人的青睐，例如一些研究者将模板匹配算法应用在晶圆缺陷检测，将待检测的晶圆图像与标准模板库进行匹配，从而识别出相应的晶圆缺陷类型，这种方法提高了晶圆缺陷检测的准确性。
随着机器学习的发展，各种用于晶圆缺陷识别的算法也相继被提出，特别是近几年来深度学习的崛起，卷积神经网络在图像识别方向取得了很大的成功，由其衍生的目标检测算法广泛应用于缺陷检测领域，例如YOLO系列算法以及以Faster-RCNN为代表的检测算法，使缺陷检测的实时性和准确性得到进一步的提高。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于改进的YOLO网络的晶圆表面缺陷检测方法及***。
根据本发明提供的基于改进的YOLO网络的晶圆表面缺陷检测方法，包括如下步骤：
S1：采集晶圆图像，对所述晶圆图像表面缺陷进行位置和缺陷类型的标注生成数据集，将所述数据集分为训练集和测试集；
S2：对训练集进行聚类分析，确定目标anchor值；
S3：改进YOLO网络模型中的主干特征提取网络Darknet-53和多尺度特征融合网络FPN，生成优化后的YOLO目标检测模型；
S4：将聚类分析后的训练集输入到优化后的YOLO网络模型中进行训练生成晶圆表面缺陷模型，并通过所述测试集对所述晶圆表面缺陷模型进行测试。
优选地，在步骤S1中将CCD工业相机安装在显微镜上，以进行晶圆图像的采集。
优选地，在步骤S1中，将采集到的晶圆图像以VOC格式进行命名，保存入文件夹中，通过标注工具对晶圆图像中的缺陷的位置和类别进行标注生成数据集，其中训练集和测试集的选取比例为2：1。
优选地，在步骤S2中，将训练集利用k-mean++算法进行聚类分析，根据初始聚类中心尽可能远的原则选取12个初始聚类中心，计算IOU和度量值d，生成12个目标Anchor值。
优选地，所述步骤S3中，对YOLO网络模型网络改进主要分为两部分：
-在YOLO模型的Darknet-53主干提取网络尾端加入SPP空间金字塔网络结构；该网络结构包括四个并列的池化层，所述池化分别为：1×1，5×5，9×9，13×13；
-将多尺度特征融合网络FPN，增加一个104×104的特征尺度。
优选地，在步骤S4中，将训练集输入到优化后的YOLO网络模型中进行训练时，包括如下步骤：
步骤S401：将训练集中晶圆图像归一化到416×416，输入到优化后的YOLO网络模型中；
步骤S402：首先将晶圆图像输入到主干特征提取网络Darknet-53中进行下采样，经过卷积和残差块的堆叠进行特征提取，对最后一层的特征层进行四种不同尺度的最大池化处理，极大增加感受野，分离出上下文特征，再对深层信息进行上采样，通过concat函数将深层信息与较浅层信息不断堆叠和拼接实现特征融合；
步骤S403：在特征融合过后得到四个尺度的特征图，分别为13×13，26×26，52×52，104×104；
步骤S404：根据四个尺度的特征图可以得到预测框位置信息以及其对应的类别概率、置信度，剔除掉置信度小于设定阈值对应的预测框，得到置信度比较高的预测框。
优选地，所述预测框的位置信息通过以下公式确定，即：
bx＝σ(tx)+cx (1)
by＝σ(ty)+cy (2)
Figure BDA0003097135070000031
Figure BDA0003097135070000032
其中，(bx，by)为预测框的中心点坐标，而(bw，bh)为预测框的宽和高，(tx，ty)是预测的坐标偏移值，经过sigmoid函数缩放到[0，1]区间，σ(x)为sigmoid函数，公式为
Figure BDA0003097135070000033
(tw，th)为宽和高的尺度缩放，(pw，ph)为锚框经过缩小后，映射到特征图中的宽和高。
优选地，所述预测框的置信度C可以利用逻辑回归的方法进行计算，计算公式为：
C＝Pr×IOU (5)
其中，Pr为预测框内存在晶圆缺陷对象的概率，IOU为预测框与真实框的交并比。
优选地，所述步骤S4中，将测试集输入到已改进的YOLO目标检测模型中，对检测模型进行评估，最终得到最优的晶圆缺陷检测模型，主要评估参数为精确率、召回率和检测速度。
根据本发明提供的基于改进的YOLO网络的晶圆表面缺陷检测***，包括如下模块：
数据采集模块，用于采集晶圆图像，将所述晶圆图像表面缺陷进行位置和缺陷类型的标注生成数据集，将所述数据集分为训练集和测试集；
聚类分析模块，用于对训练集进行聚类分析，确定合适的anchor值；
模型改进模块，用于改进YOLO网络模型中的主干特征提取网络Darknet-53和多尺度特征融合网络FPN，生成优化后的YOLO目标检测模型；
模型训练模块，用于将聚类分析后的训练集输入到优化后的YOLO网络模型中进行训练生成晶圆表面缺陷模型，并通过所述测试集对所述晶圆表面缺陷模型进行测试。
与现有技术相比，本发明具有如下的有益效果：
本发明提供的基于改进YOLO网络的晶圆表面缺陷检测方法，用于实现晶圆成品表面缺陷的检测，检测的缺陷包括划痕、污染、残缺等等，通过对YOLO网络模型的改进，能够较以往传统的检测方法，准确性和实时性得到进一步提高。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例中基于改进的YOLO网络的晶圆表面缺陷检测方法的步骤流程图；
图2为本发明实施例中改进的YOLO网络结构图；
图3为本发明实施例中图像采集路径；
图4为本发明实施例中新增结构SPP池化层；
图5为本发明实施例中k-mean++聚类结果和原始结果的对比；
图6为本发明实施例中IOU计算示意图；
图7为本发明实施例中预测框的坐标计算示意图。
图8为本发明实施例中基于改进的YOLO网络的晶圆表面缺陷检测***的模块示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
图1为本发明实施例中基于改进的YOLO网络的晶圆表面缺陷检测方法的步骤流程图，如图1所示，本发明提供的基于改进的YOLO网络的晶圆表面缺陷检测方法，包括如下步骤：
S1：采集晶圆图像，对所述晶圆图像表面缺陷进行位置和缺陷类型的标注生成数据集，将所述数据集分为训练集和测试集；
在步骤S1中将CCD工业相机安装在显微镜上制成晶圆图像采集装，进行晶圆图像的采集；显微镜物镜倍数为20倍，调整焦距以及相机的各种参数，使工业相机能清晰地捕捉到晶圆图像信息，此外，由于晶圆缺陷检测的精度要求比较高，在借助显微镜的情况下，视野变小，因此需要利用XY位移平台对晶圆进行移动，通过控制软件使XY水平位移平台进行S型移动。
在步骤S1中，将采集到的晶圆图像以VOC格式进行命名，保存入文件夹中，通过标注工具对晶圆图像中的缺陷的位置和类别进行标注生成数据集，其中训练集和测试集的选取比例为2∶1。所述标注工具采用labelImg软件工具。
S2：对训练集进行聚类分析，确定目标anchor值；
在步骤S2中，将训练集利用k-mean++算法进行聚类分析，根据初始聚类中心尽可能远的原则选取12个初始聚类中心，计算IOU和度量值d，以平均IOU作为此次聚类分析的量度，从而得到12个更好的Anchor值。
主要步骤分为：
步骤S201：获得初始标记框的宽和高，并将其进行归一化操作；
步骤S202：随机选择一个方框的宽和高作为初始聚类中心点，计算每个方框数据与已有聚类中心的最近距离，该距离越大，被选作聚类中心的概率就越大。重复该操作直到选择到12个聚类中心；
步骤S203：遍历所有方框数据，所有方框数据都分类到离其最近的聚类中心点中，计算新的聚类中心点，迭代足够多次后，直到这12个聚类中心点不再变化，此时这12个聚类中心就是合适的Anchor值；
步骤S204：对此次聚类分析做度量，标准为：
d(box，centroid)＝1-IOU
其中，
Figure BDA0003097135070000051
IOU为预测框与真实框的交并比。
S3：改进YOLO网络模型中的主干特征提取网络Darknet-53和多尺度特征融合网络FPN，生成优化后的YOLO目标检测模型；
所述步骤S3中，对YOLO网络模型网络改进主要分为两部分：
-在YOLO模型的Darknet-53主干提取网络尾端加入SPP空间金字塔网络结构，解决图像部分信息丢失和尺寸的问题；该网络结构包括四个并列的池化层，所述池化分别为：1×1，5×5，9×9，13×13；
-将多尺度特征融合网络FPN，增加一个104×104的特征尺度，增加对小物体的检测精度。
S4：将聚类分析后的训练集输入到优化后的YOLO网络模型中进行训练生成晶圆表面缺陷模型，并通过所述测试集对所述晶圆表面缺陷模型进行测试。
在步骤S4中，将训练集输入到优化后的YOLO网络模型中进行训练时，包括如下步骤：
步骤S401：将训练集中晶圆图像归一化到416×416，输入到优化后的YOLO网络模型中；
步骤S402：首先将晶圆图像输入到主干特征提取网络Darknet-53中进行下采样，经过卷积和残差块的堆叠进行特征提取，对最后一层的特征层进行四种不同尺度的最大池化处理，极大增加感受野，显著分离出上下文特征，再对深层信息进行上采样，通过concat函数将深层信息与较浅层信息不断堆叠和拼接实现特征融合；
步骤S403：在特征融合过后得到四个尺度的特征图，分别为13×13，26×26，52×52，104×104；
步骤S404：根据四个尺度的特征图可以得到预测框位置信息以及其对应的类别概率、置信度，剔除掉置信度小于设定阈值对应的预测框，得到置信度比较高的预测框。
在本发明实施例中，所述设定阈值为0.6。
所述预测框的位置信息通过以下公式确定，即：
bx＝σ(tx)+cx (1)
by＝σ(ty)+cy (2)
Figure BDA0003097135070000061
Figure BDA0003097135070000062
其中，(bx，by)为预测框的中心点坐标，而(bw，bh)为预测框的宽和高，(tx，ty)是预测的坐标偏移值，经过sigmoid函数缩放到[0，1]区间，σ(x)为sigmoid函数，公式为
Figure BDA0003097135070000063
(tw，th)为宽和高的尺度缩放，(pw，ph)为锚框经过缩小后，映射到特征图中的宽和高。
所述预测框的置信度C可以利用逻辑回归的方法进行计算，计算公式为：
C＝Pr×IOU (5)
其中，Pr为预测框内存在晶圆缺陷对象的概率，IOU为预测框与真实框的交并比。
所述步骤S4中，将测试集输入到已改进的YOLO目标检测模型中，对检测模型进行评估，最终得到最优的晶圆缺陷检测模型，主要评估参数为精确率、召回率和检测速度。
精准率计算公式为：
Figure BDA0003097135070000064
召回率：
Figure BDA0003097135070000065
其中TP为晶圆缺陷目标被预测为晶圆缺陷目标，FN为预测为其他缺陷，FP为将其他缺陷预测为缺陷目标。
图8为本发明实施例中基于改进的YOLO网络的晶圆表面缺陷检测***的模块示意图，如图8所示，本发明提供的基于改进的YOLO网络的晶圆表面缺陷检测***，包括如下模块：
数据采集模块，用于采集晶圆图像，将所述晶圆图像表面缺陷进行位置和缺陷类型的标注生成数据集，将所述数据集分为训练集和测试集；
聚类分析模块，用于对训练集进行聚类分析，确定合适的anchor值；
模型改进模块，用于改进YOLO网络模型中的主干特征提取网络Darknet-53和多尺度特征融合网络FPN，生成优化后的YOLO目标检测模型；
模型训练模块，用于将聚类分析后的训练集输入到优化后的YOLO网络模型中进行训练生成晶圆表面缺陷模型，并通过所述测试集对所述晶圆表面缺陷模型进行测试。
本发明实施例中提供的基于改进YOLO网络的晶圆表面缺陷检测方法，用于实现晶圆成品表面缺陷的检测，检测的缺陷包括划痕、污染、残缺等等，通过对YOLO网络模型的改进，能够较以往传统的检测方法，准确性和实时性得到进一步提高。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于改进的YOLO网络的晶圆表面缺陷检测方法，其特征在于，包括如下步骤：
S1：采集晶圆图像，对所述晶圆图像表面缺陷进行位置和缺陷类型的标注生成数据集，将所述数据集分为训练集和测试集；
S2：对训练集进行聚类分析，确定目标anchor值；
S3：改进YOLO网络模型中的主干特征提取网络Darknet-53和多尺度特征融合网络FPN，生成优化后的YOLO目标检测模型；
S4：将聚类分析后的训练集输入到优化后的YOLO网络模型中进行训练生成晶圆表面缺陷模型，并通过所述测试集对所述晶圆表面缺陷模型进行测试。
2.根据权利要求1所述的基于改进的YOLO网络的晶圆表面缺陷检测方法，其特征在于，在步骤S1中将CCD工业相机安装在显微镜上，以进行晶圆图像的采集。
3.根据权利要求1所述的基于改进的YOLO网络的晶圆表面缺陷检测方法，其特征在于，在步骤S1中，将采集到的晶圆图像以VOC格式进行命名，保存入文件夹中，通过标注工具对晶圆图像中的缺陷的位置和类别进行标注生成数据集，其中训练集和测试集的选取比例为2∶1。
4.根据权利要求1所述的基于改进的YOLO网络的晶圆表面缺陷检测方法，其特征在于，在步骤S2中，将训练集利用k-mean++算法进行聚类分析，根据初始聚类中心尽可能远的原则选取12个初始聚类中心，计算IOU和度量值d，生成12个目标Anchor值。
5.根据权利要求1所述的基于改进的YOLO网络的晶圆表面缺陷检测方法，其特征在于，所述步骤S3中，对YOLO网络模型网络改进主要分为两部分：
-在YOLO模型的Darknet-53主干提取网络尾端加入SPP空间金字塔网络结构；该网络结构包括四个并列的池化层，所述池化分别为：1×1，5×5，9×9，13×13；
-将多尺度特征融合网络FPN，增加一个104×104的特征尺度。
6.根据权利要求1所述的基于改进的YOLO网络的晶圆表面缺陷检测方法，其特征在于，在步骤S4中，将训练集输入到优化后的YOLO网络模型中进行训练时，包括如下步骤：
步骤S401：将训练集中晶圆图像归一化到416×416，输入到优化后的YOLO网络模型中；
步骤S402：首先将晶圆图像输入到主干特征提取网络Darknet-53中进行下采样，经过卷积和残差块的堆叠进行特征提取，对最后一层的特征层进行四种不同尺度的最大池化处理，极大增加感受野，分离出上下文特征，再对深层信息进行上采样，通过concat函数将深层信息与较浅层信息不断堆叠和拼接实现特征融合；
步骤S403：在特征融合过后得到四个尺度的特征图，分别为13×13，26×26，52×52，104×104；
步骤S404：根据四个尺度的特征图可以得到预测框位置信息以及其对应的类别概率、置信度，剔除掉置信度小于设定阈值对应的预测框，得到置信度比较高的预测框。
7.根据权利要求6所述的基于改进的YOLO网络的晶圆表面缺陷检测方法，其特征在于，所述预测框的位置信息通过以下公式确定，即：
bx＝σ(tx)+cx (1)
by＝σ(ty)+cy (2)
Figure FDA0003097135060000021
Figure FDA0003097135060000022
其中，(bx，by)为预测框的中心点坐标，而(bw，bh)为预测框的宽和高，(tx，ty)是预测的坐标偏移值，经过sigmoid函数缩放到[0，1]区间，σ(x)为sigmoid函数，公式为
Figure FDA0003097135060000023
(tw，th)为宽和高的尺度缩放，(pw，ph)为锚框经过缩小后，映射到特征图中的宽和高。
8.根据权利要求6所述的基于改进的YOLO网络的晶圆表面缺陷检测方法，其特征在于所述预测框的置信度C可以利用逻辑回归的方法进行计算，计算公式为：
C＝Pr×IOU (5)
其中，Pr为预测框内存在晶圆缺陷对象的概率，IOU为预测框与真实框的交并比。
9.根据权利要求1所述的基于改进的YOL0网络的晶圆表面缺陷检测方法，其特征在于，所述步骤S4中，将测试集输入到已改进的YOLO目标检测模型中，对检测模型进行评估，最终得到最优的晶圆缺陷检测模型，主要评估参数为精确率、召回率和检测速度。
10.一种基于改进的YOLO网络的晶圆表面缺陷检测***，其特征在于，包括如下模块：
数据采集模块，用于采集晶圆图像，将所述晶圆图像表面缺陷进行位置和缺陷类型的标注生成数据集，将所述数据集分为训练集和测试集；
聚类分析模块，用于对训练集进行聚类分析，确定合适的anchor值；
模型改进模块，用于改进YOLO网络模型中的主干特征提取网络Darknet-53和多尺度特征融合网络FPN，生成优化后的YOLO目标检测模型；
模型训练模块，用于将聚类分析后的训练集输入到优化后的YOLO网络模型中进行训练生成晶圆表面缺陷模型，并通过所述测试集对所述晶圆表面缺陷模型进行测试。
CN202110616677.8A 2021-06-02 2021-06-02 基于改进的yolo网络的晶圆表面缺陷检测方法及*** Pending CN113222982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110616677.8A CN113222982A (zh) 2021-06-02 2021-06-02 基于改进的yolo网络的晶圆表面缺陷检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110616677.8A CN113222982A (zh) 2021-06-02 2021-06-02 基于改进的yolo网络的晶圆表面缺陷检测方法及***

Publications (1)

Publication Number Publication Date
CN113222982A true CN113222982A (zh) 2021-08-06

Family

ID=77082680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110616677.8A Pending CN113222982A (zh) 2021-06-02 2021-06-02 基于改进的yolo网络的晶圆表面缺陷检测方法及***

Country Status (1)

Country Link
CN (1) CN113222982A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332084A (zh) * 2022-03-11 2022-04-12 齐鲁工业大学 一种基于深度学习的pcb表面缺陷检测方法
CN114677362A (zh) * 2022-04-08 2022-06-28 四川大学 基于改进YOLOv5的表面缺陷检测方法
CN114723757A (zh) * 2022-06-09 2022-07-08 济南大学 一种基于深度学习算法的高精度晶圆缺陷检测方法及***
CN114998324A (zh) * 2022-07-19 2022-09-02 深圳新视智科技术有限公司 半导体晶圆缺陷检测模型的训练方法及装置
CN115953408A (zh) * 2023-03-15 2023-04-11 国网江西省电力有限公司电力科学研究院 一种基于YOLOv7的避雷器表面缺陷检测方法
CN116503865A (zh) * 2023-05-29 2023-07-28 北京石油化工学院 氢气道路运输风险识别方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476756A (zh) * 2020-03-09 2020-07-31 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN112750117A (zh) * 2021-01-15 2021-05-04 重庆邮电大学 一种基于卷积神经网络的血液细胞图像检测与计数方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN111476756A (zh) * 2020-03-09 2020-07-31 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
CN112750117A (zh) * 2021-01-15 2021-05-04 重庆邮电大学 一种基于卷积神经网络的血液细胞图像检测与计数方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岳慧慧;白瑞林;: "基于改进YOLOv3的木结缺陷检测方法研究", 自动化仪表, no. 03 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332084A (zh) * 2022-03-11 2022-04-12 齐鲁工业大学 一种基于深度学习的pcb表面缺陷检测方法
CN114332084B (zh) * 2022-03-11 2022-09-16 齐鲁工业大学 一种基于深度学习的pcb表面缺陷检测方法
CN114677362A (zh) * 2022-04-08 2022-06-28 四川大学 基于改进YOLOv5的表面缺陷检测方法
CN114677362B (zh) * 2022-04-08 2023-09-12 四川大学 基于改进YOLOv5的表面缺陷检测方法
CN114723757A (zh) * 2022-06-09 2022-07-08 济南大学 一种基于深度学习算法的高精度晶圆缺陷检测方法及***
CN114998324A (zh) * 2022-07-19 2022-09-02 深圳新视智科技术有限公司 半导体晶圆缺陷检测模型的训练方法及装置
CN115953408A (zh) * 2023-03-15 2023-04-11 国网江西省电力有限公司电力科学研究院 一种基于YOLOv7的避雷器表面缺陷检测方法
CN116503865A (zh) * 2023-05-29 2023-07-28 北京石油化工学院 氢气道路运输风险识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113222982A (zh) 基于改进的yolo网络的晶圆表面缺陷检测方法及***
CN109977808B (zh) 一种晶圆表面缺陷模式检测与分析方法
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、***、装置及存储介质
CN109190752A (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN112424826A (zh) 基于机器学习的图案分组方法
CN114581782B (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN111681240A (zh) 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN111461010B (zh) 一种基于模板跟踪的电力设备识别效率优化方法
CN115937736A (zh) 基于注意力和上下文感知的小目标检测方法
CN116630301A (zh) 基于超分辨率和YOLOv8的带钢表面小目标缺陷检测方法及***
Lei et al. Multiscale convolution-based probabilistic classification for detecting bare PCB defects
CN115830302A (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN114596273B (zh) 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN115601357A (zh) 一种基于小样本的冲压件表面缺陷检测方法
CN112200762A (zh) 二极管玻壳缺陷检测方法
Wang et al. A deep learning-based method for aluminium foil-surface defect recognition
CN117314906B (zh) 基于阵列分布信息引导的晶圆晶粒检测方法
Bhardwaj Semiconductor Wafer Defect Detection using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination