CN116128839A - 晶圆缺陷识别方法、装置、电子设备以及存储介质 - Google Patents

晶圆缺陷识别方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN116128839A
CN116128839A CN202310062961.4A CN202310062961A CN116128839A CN 116128839 A CN116128839 A CN 116128839A CN 202310062961 A CN202310062961 A CN 202310062961A CN 116128839 A CN116128839 A CN 116128839A
Authority
CN
China
Prior art keywords
wafer
defect
wafer map
detected
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310062961.4A
Other languages
English (en)
Inventor
姜辉
邵康鹏
陆叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Guangli Microelectronics Co ltd
Original Assignee
Hangzhou Guangli Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Guangli Microelectronics Co ltd filed Critical Hangzhou Guangli Microelectronics Co ltd
Priority to CN202310062961.4A priority Critical patent/CN116128839A/zh
Publication of CN116128839A publication Critical patent/CN116128839A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本申请涉及一种晶圆缺陷识别方法、装置、电子设备以及存储介质。其中，所述方法包括：获取待检测晶圆图；将所述待检测晶圆图输入至目标晶圆缺陷识别模型，经所述晶圆缺陷识别模型输出所述待检测晶圆图的缺陷信息；其中所述晶圆缺陷识别模型包括至少一个多尺度深度可分离网络，所述多尺度深度可分离网络各个通道包含多个感受野不同的卷积分支。本申请实施例提供的晶圆缺陷识别模型提取的特征信息更加全面且丰富，从而提高了分类识别的准确率以及该模型的鲁棒性。另外，使用深度可分离网络代替常规的卷积网络还可以在加深网络的同时减少参数量，从而可以节省计算资源。

Description

晶圆缺陷识别方法、装置、电子设备以及存储介质
技术领域
本申请涉及计算机视觉领域，特别是涉及一种晶圆缺陷识别方法、装置、电子设备以及存储介质。
背景技术
晶圆在加工过程中由于存在制程不完善、机台缺乏保养、制造材料污染等问题产生缺陷，进而导致晶圆良品率降低。缺陷尺寸大小对其所在区域芯片功能存在影响。由于缺陷产生的源头较多，导致产生的缺陷种类也较多，需要安排测试工程师手动对产生的缺陷进行分类，但这样会增加人工成本费时费力，且分类效率较低。
相关技术中，对晶圆图进行人工特征提取送入分类器，但是这种方法费时费力且泛化性不强；还有一种手段是使用卷积神经网络代替人工提取特征，通过全连接层的softmax输出分类结果，但是模型的性能并没有随着卷积神经网络深度的增加而变得更好；另外，由于缺陷的尺寸大小各不相同且差异较大，普通的卷积神经网络在提取特征时并不准确地提取所有缺陷的特征信息，从而使得模型的分类准确率和鲁棒性并不高。
因此，相关技术中亟需一种高准确率的晶圆缺陷识别方法。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高晶圆缺陷识别准确率的晶圆缺陷识别方法、装置、电子设备以及存储介质。
第一方面，本申请实施例提供了一种晶圆缺陷识别方法，其特征在于，所述方法包括：
获取待检测晶圆图；
将所述待检测晶圆图输入至目标晶圆缺陷识别模型，经所述目标晶圆缺陷识别模型输出所述待检测晶圆图的缺陷信息；其中所述目标晶圆缺陷识别模型包括至少一个多尺度深度可分离网络，所述多尺度深度可分离网络各个通道包含多个感受野不同的卷积分支。
本申请实施例提供的晶圆缺陷识别模型，可以利用目标晶圆缺陷识别模型对输入的待检测晶圆图进行分析处理，确定所述待检测晶圆图的缺陷类型。其中，由于该晶圆缺陷识别模型包含多尺度深度可分离网络，所述多尺度深度可分离网络各个通道包含多个感受野不同的卷积分支。不同感受野的卷积分支可以提取不同尺寸的图像特征信息，即提取的特征信息更加全面且丰富，从而提高了分类识别的准确率以及该模型的鲁棒性。另外，使用深度可分离网络代替常规的卷积网络还可以在加深网络的同时减少参数量，从而可以节省计算资源。
可选的，在本申请的一个实施例中，所述将所述待检测晶圆图输入至晶圆缺陷识别模型，经所述目标晶圆缺陷识别模型输出所述待检测晶圆图的缺陷信息之前，包括：
确定所述待检测晶圆图的粗略缺陷信息；
从多个候选晶圆缺陷识别模型中选取与所述粗略缺陷信息相匹配的目标晶圆缺陷识别模型；所述候选晶圆缺陷识别模型中的多尺度深度可分离网络的卷积分支的尺寸和/或数量不同。
可选的，在本申请的一个实施例中，所述通道的输出结果根据所述多个卷积分支输出的特征信息的融合信息确定。
可选的，在本申请的一个实施例中，所述缺陷信息包括缺陷类型，所述目标晶圆缺陷识别模型被设置为按照下述方式训练得到：
获取多个晶圆图样本，所述晶圆图样本标注有缺陷类型；
构建初始晶圆缺陷识别模型，所述晶圆缺陷识别模型中设置有模型参数；
分别将所述多个晶圆图样本输入至所述晶圆缺陷识别模型中，生成预测结果；
基于所述预测结果与所述缺陷类型之间的差异，对所述模型参数进行迭代调整，直至所述差异满足预设要求。
可选的，在本申请的一个实施例中，所述预测结果与所述缺陷类型之间的差异根据损失函数确定，所述损失函数还设置有第一调节系数、第二调节系数，所述第一调节系数用于调节正负晶圆图样本的损失贡献，所述第二调节系数用于调节易区分晶圆图样本的损失贡献。
可选的，在本申请的一个实施例中，在所述将所述待检测晶圆图输入至目标晶圆缺陷识别模型之前，所述方法还包括：
对所述待检测晶圆图进行二值化处理，得到二值化待检测晶圆。
可选的，在本申请的一个实施例中，所述目标晶圆缺陷识别模块还包括至少一个单尺度深度可分离网络，所述单尺度深度可分离网络的第一数量和/或所述多尺度深度可分离网络的第二数量根据待检测晶圆的特征信息确定。
可选的，在本申请的一个实施例中，所述获取多个晶圆图样本，所述晶圆图样本标注有缺陷类型，包括：
获取晶圆图数据集，所述晶圆图数据集中的各个晶圆图样本标注有缺陷类型；
分别计算各个缺陷类型的晶圆图样本在晶圆图数据集中的占比，将占比超出预设比例阈值的缺陷类型的晶圆图样本选取为目标晶圆图样本；
对所述目标晶圆图样本进行下采样，直至所述目标晶圆图样本的数量与其他缺陷类型晶圆图样本的数量之间的差异小于所述预设比例阈值。
可选的，在本申请的一个实施例中，所述目标晶圆缺陷识别模型包括顺次连接的特征提取层、多尺度深度可分离网络层、池化层和全连接层；
所述特征提取层包括依次相连的若干层卷积层，用于对待检测晶圆图进行初步特征提取得到所述待检测晶圆图的初步特征信息；
所述多尺度深度可分离网络层包括依次相连的第一逐点卷积层、逐深度卷积层、第二逐点卷积层，用于深度提取所述待检测晶圆图的特征信息；所述第一逐点卷积层用于将输入的所述初步特征信息的M个通道变为N个通道；所述逐深度卷积层包括N个通道，每个所述通道对输入的初步特征信息进行卷积得到深度特征信息；每个所述通道包含若干个卷积分支，每个所述卷积分支包括至少一个卷积核对所述初步特征信息进行卷积；所述第二逐点卷积层对所述逐深度卷积层各个通道输出的深度特征信息进行融合拼接；
所述池化层用于对所述深度特征信息进行降维；
所述全连接层用于对降维后的深度特征信息进行处理，并输出所述待检测晶圆图的缺陷信息。
第二方面，本申请实施例还提供一种晶圆缺陷识别装置，所述装置包括：
获取模块，用于获取待检测晶圆图；
识别模块，用于将所述待检测晶圆图输入至目标晶圆缺陷识别模型，经所述目标晶圆缺陷识别模型输出所述待检测晶圆图的缺陷信息；其中所述目标晶圆缺陷识别模型包括至少一个多尺度深度可分离网络，所述多尺度深度可分离网络各个通道包含多个感受野不同的卷积分支。
第三方面，本申请实施例还提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述各个实施例所述的方法的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个实施例所述的方法的步骤。
第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各个实施例所述的方法的步骤。
附图说明
图1为本申请一个实施例提供的晶圆缺陷识别方法的方法流程图；
图2为本申请一个实施例提供的晶圆缺陷类型示意图；
图3为本申请一个实施例提供的目标晶圆缺陷识别模型的结构示意图；
图4为本申请实施例提供的多尺度深度可分离网络层的结构示意图；
图5为本申请实施例提供的单尺度深度可分离网络层的结构示意图；
图6为本申请一个实施例提供的混淆矩阵示意图；
图7为本申请一个实施例提供的归一化混淆矩阵示意图；
图8为本申请另一个实施例提供的归一化混淆矩阵示意图；
图9是本申请实施例提供的晶圆缺陷识别装置的模块结构示意图；
图10是本申请实施例提供的电子设备的模块结构示意图；
图11是本申请实施例提供的计算机程序产品的概念性局部视图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
在本申请实施例中，“/”可以表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；“和/或”可以用于描述关联对象存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。为了便于描述本申请实施例的技术方案，在本申请实施例中，可以采用“第一”、“第二”等字样对功能相同或相似的技术特征进行区分。该“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。在本申请实施例中，“示例性的”或者“例如”等词用于表示例子、例证或说明，被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。
在本申请实施例中，对于一种技术特征，通过“第一”、“第二”、“第三”、“A”、“B”、“C”和“D”等区分该种技术特征中的技术特征，该“第一”、“第二”、“第三”、“A”、“B”、“C”和“D”描述的技术特征间无先后顺序或者大小顺序。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
现有技术中，晶圆缺陷分类模型一般为常规的分类模型，如决策树模型、朴素贝叶斯模型、支持向量机模型等等。但由于半导体缺陷检测识别技术领域的特殊性，如不同缺陷类型所对应的缺陷尺寸大小不同，常规的晶圆缺陷分类模型提取的特征信息并不全面。
基于类似于上文的技术需求，本申请实施例提供了一种晶圆缺陷识别方法。该方法提供了一种改进的晶圆缺陷识别模型，所述晶圆缺陷识别模型可以对输入的待检测晶圆图进行分析处理，确定所述待检测晶圆图的缺陷类型。其中，由于该晶圆缺陷识别模型包含多尺度深度可分离网络，所述多尺度深度可分离网络各个通道包含多个感受野不同的卷积分支。不同感受野的卷积分支可以提取不同尺寸的图像特征信息，即提取的特征信息更加全面且丰富，从而提高了分类识别的准确率以及该模型的鲁棒性。另外，使用深度可分离网络代替常规的卷积网络还可以在加深网络的同时减少参数量，从而可以节省计算资源。
下面结合附图对本申请所述的晶圆缺陷识别方法进行详细的说明。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在晶圆缺陷识别的过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
具体的，本申请提供的晶圆缺陷识别方法的一种实施例如图1所示，所述方法可以包括：
S101：获取待检测晶圆图；
S103：将所述待检测晶圆图输入至目标晶圆缺陷识别模型，经所述目标晶圆缺陷识别模型输出所述待检测晶圆图的缺陷信息；其中所述目标晶圆缺陷识别模型包括至少一个多尺度深度可分离网络，所述多尺度深度可分离网络各个通道包含多个感受野不同的卷积分支。
本申请实施例中，在晶圆制造过程中，需要对晶圆(wafer)进行电性测试，并生成大量的晶圆测试数据。具体的，在对所述晶圆做电性测试的过程中，可以以裸片(die)为单位，对所述晶圆中的多个裸片进行测试，并生成相应电性测试项目下的晶圆测试数据。其中，所述晶圆可以是从硅晶棒中切割得到的片状单晶硅片，所述裸片是将晶圆沿着划片槽切割出来的电路单元。晶圆测试的目的是确保整片晶圆中的每一个裸片都能基本满足器件特征或者设计规格，以检验晶圆制造厂制造的工艺水平。具体来说，所述电性测试可以包括晶圆测试(Chip Probing，CP)，晶圆可接受测试(Wafer Acceptance Test，WAT)，封装测试(Final Test)等等。相对应的，生成的测试数据可以包括CP测试参数、WAT测试参数、FT测试参数等等。在获取晶圆的测试数据后，可以根据各个裸片的坐标信息以及各个裸片对应的测试参数值，确定待检测晶圆图(Wafer Map)。其中，晶圆图是指在计算机设备中建立的、用于显示目标晶圆的形状、尺寸、方位以及观测点等信息的显示图。在实际的生产过程中，若裸片对应的测试参数值不满足测试要求，则该裸片为失效裸片；反之，若裸片对应的测试参数值满足测试要求，则该裸片为合格裸片。那么，在此基础上，所述待检测晶圆图中合格裸片和失效裸片的位置分布不同，所形成的缺陷图案以及对应的缺陷类型也不同。在本申请的一个实施例中，所述缺陷类型可以分为多种，例如，在一个示例中，如图2所示，所述缺陷类型可以包括九种缺陷类型，如中心缺陷(Center)、圆环缺陷(Donut)、边缘位置缺陷(Edge-Loc)、边缘环缺陷(Edge-Ring)、位置缺陷(Loc)、接近满缺陷(Near-Full)、划痕缺陷(Scratch)以及无缺陷(None)等。在本申请的一个实施例中，对晶圆进行电性测试后，根据电性测试结果判断各个裸片是否失效后获得待检测缺陷类型的晶圆图；在本申请的其他实施例中，也可以从缺陷检测设备中获取待检测晶圆图。所述缺陷检测设备用于扫描或检测各个晶圆，可以包括但不限于自动光学检测(Automatic Optic Inspection，AOI)、X射线检测以及扫描电子显微镜(ScanningElectron Microscope，SEM)等。
在本申请的一个实施例中，为了便于待检测晶圆图特征信息的提取，以提高晶圆缺陷识别的效率，可以对所述待检测晶圆图进行预处理，例如可以对所述待检测晶圆图进行二值化处理。具体来说，在所述将所述待检测晶圆图输入至晶圆缺陷识别模型之前，所述方法还包括：
S201：对所述待检测晶圆图进行二值化处理，得到二值化待检测晶圆。
本申请实施例中，首先可以对所述待检测晶圆图进行二值化处理。具体地，通过所述二值化处理，可以将所述待检测晶圆图的裸片设置为两个数值，其中一个数值表示合格裸片，另一个数值表示失效裸片以及背景区域，该两个数值例如可以为0和1，也可以为1和2。具体的二值化处理可以根据预设测试参数值确定所述待检测晶圆图的裸片为合格裸片还是失效裸片即为0还是1。响应于所述待检测晶圆图的目标裸片的测试参数值大于所述预设测试参数值，将所述目标裸片设置为1；响应于所述待检测晶圆图的目标裸片的测试参数值小于所述预设测试参数值，将所述目标裸片设置为0。当然，在此过程中，可以将所述待检测晶圆图中的背景区域设置为0。进一步地，也可以分别用1和2来作为合格裸片和失效裸片，并用0来作为背景区域，本专利不限定这里所谓的二值化处理后晶圆图只通过2个数值进行表示。在本申请的一个实施例中，在确定所述二值化待检测晶圆图之后，还可以对所述待检测晶圆图进行标准化处理，例如可以将待检测晶圆图的尺寸统一为96×96×1，以进一步提升晶圆缺陷分类的准确性。
本申请实施例中，在获取所述待检测晶圆图后，可以将所述待检测晶圆图输入至目标晶圆缺陷识别模型中，经所述目标晶圆缺陷识别模型分析处理后输出所述待检测晶圆图的缺陷信息。在本申请的一个实施例中，所述缺陷信息可以包括所述待检测晶圆图的缺陷类型，如所述待检测晶圆图的缺陷类型为中心缺陷。当然，所述缺陷信息还可以包括缺陷位置、缺陷形状、缺陷尺寸等等。在本申请的一个实施例中，所述目标晶圆缺陷识别模型可以利用多个晶圆图像样本训练得到，所述多个晶圆图像样本中标注有缺陷类型。所述目标晶圆缺陷识别模型可以包括利用机器学习方式训练得到的模型。所述机器学习方式可以包括深度学习方式，所述模型可以包括卷积神经网络模型(Convolutional NeuralNetworks，CNN)、残差网络(ResNet)模型等等，本申请在此不做限制。具体的，在本申请的一个实施例中，所述目标晶圆缺陷识别模型可以包括顺次连接的特征提取层、多尺度深度可分离网络层、池化层和全连接层；
S301：所述特征提取层包括依次相连的若干层卷积层，用于对待检测晶圆图进行初步特征提取得到所述待检测晶圆图的初步特征信息；
S303：所述多尺度深度可分离网络层包括依次相连的第一逐点卷积层、逐深度卷积层、第二逐点卷积层，用于深度提取所述待检测晶圆图的特征信息；所述第一逐点卷积层用于将输入的所述初步特征信息的M个通道变为N个通道；所述逐深度卷积层包括N个通道，每个所述通道对输入的初步特征信息进行卷积得到深度特征信息；每个所述通道包含若干个卷积分支，每个所述卷积分支包括至少一个卷积核对所述初步特征信息进行卷积；所述第二逐点卷积层对所述逐深度卷积层各个通道输出的深度特征信息进行融合拼接；
S305：所述池化层用于对所述深度特征信息进行降维；
S307：所述全连接层用于对降维后的深度特征信息进行处理，并输出所述待检测晶圆图的缺陷信息。
本申请实施例中，如图3所示，所述目标晶圆缺陷识别模型300可以包括顺次连接的特征提取层301、多尺度深度可分离网络层303、池化层305、全连接层307等等。其中，所述特征提取层301可以对所述待检测晶圆图进行初步特征提取得到所述待检测晶圆图的初步特征信息。所述初步特征信息中可以包括所述待检测晶圆图中裸片的灰度、边缘、纹理、颜色、梯度直方图等信息。在本申请的一个实施例中，所述特征提取层301可以由多个卷积层构成，所述卷积层的尺寸和数量可以根据实际的识别需求确定，例如所述特征提取层301可以为依次相连的两层卷积层，所述卷积层中卷积核的大小为3×3。在本申请的一个实施例中，每层卷积层后可以附带批量正则化层(BatchNorm)和线性整流函数(Relu函数)，从而可以有效增加模型的非线性变化，增强模型的泛化能力。
在本申请的一个实施例中，所述多尺度深度可分离网络层303可以用于进一步提取所述待检测晶圆图的特征信息，以得到所述待检测晶圆图的深度特征信息。在本申请的一个实施例中，如图4所示，所述多尺度可分离网络层303可以包括第一逐点卷积层3031、逐深度卷积层(Depthwise Convolution)3033、第二逐点卷积层(Pointwise Convolution)3035。所述第一逐点卷积层3031可以包括1×1的卷积核，所述第一逐点卷积层3031可以从将输入的初步特征信息的M个通道变为N个通道，从而实现灵活变换通道数的目的。所述逐深度卷积层3033可以包括多个通道，例如可以包括N个通道。每个通道均可以对输入的初步特征信息进行卷积得到深度特征信息。在本申请的一个实施例中，每个通道可以包含多个卷积分支，所述卷积分支可以包括至少一个卷积核对所述初始特征信息进行卷积。在此基础上，所述逐深度卷积层3033可以输出N个通道的深度特征信息。在本申请的一个实施例中，由于缺陷类型的多样化，其对应的缺陷尺寸以及形状也多种多样，为了所述多尺度深度可分离网络层303提取的深度特征信息更加全面，即为了保证提取的待检测晶圆图的特征信息是全面的而不是局部信息，可以设置多个卷积分支的感受野(Receptive Field)不同。具体来说，所述感受野可以是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。在本申请的一个实施例中，所述卷积分支的感受野的大小可以根据卷积分支所包含的卷积核的尺寸和步长确定。例如，在一个示例中，两层3×3的卷积核卷积操作之后的感受野是5×5，三层3×3的卷积核卷积操作之后的感受野是7×7。在本申请的一个实施例中，所述多尺度深度可分离网络层303的通道1的卷积分支1包含一层3×3的卷积核，感受野为3；卷积分支2包含两层3×3的卷积核，感受野为5。需要说明的是，在本申请的一个实施例中，可以利用堆叠两个3x3卷积核来代替5x5的卷积核，其感受野均为5，这样不仅可以减少网络参数，还可以在保持感受野相同的情况下，提升网络的深度。在本申请的一个实施例中，由于所述通道包含多个卷积分支，每个卷积分支均可以提取特征信息，因此所述通道的输出结果可以根据所述多个卷积分支输出的特征信息的融合信息确定。在本申请的一个实施例中，为了结合各个通道输出的深度特征信息以生成最终的深度特征信息，可以在所述逐深度卷积层3033后加入第二逐点卷积层3035，以对各个通道输出的深度特征信息进行融合拼接(Concat)得到所述待检测晶圆图的深度特征信息，这样可以控制维度扩张和参数量，将2×N个通道降维回N个通道。
本申请实施例中，如图3所示，为了避免所述多尺度深度可分离网络在训练过程中出现训练退化，从而影响模型的识别精度，可以通过残差模块进行跳跃连接。由于所述残差模块可以通过直接将输入信息绕道传到输出，使得后面的卷积层或者池化层可以直接学***均池化层(Global Average Pooling)，所述全局平均池化层用于连接卷积层和全连接层，并进行池化下采样操作，以进一步减少输入维度与计算的数量，能有效降低网络参数，并且能够保留由前面各个卷积层提取到的特征信息。所述全连接层307用于对所述深度特征信息进行分类例如可以通过softmax将输出转变成样本类别的概率密度函数，输出模型的识别分类结果即缺陷类型。
本申请实施例提供的目标晶圆缺陷识别模型，可以利用目标晶圆缺陷识别模型对输入的待检测晶圆图进行分析处理，确定所述待检测晶圆图的缺陷类型。其中，由于该目标晶圆缺陷识别模型包含多尺度深度可分离网络，所述多尺度深度可分离网络各个通道包含多个感受野不同的卷积分支。不同感受野的卷积分支可以提取不同尺寸的图像特征信息，即提取的特征信息更加全面且丰富，从而提高了分类识别的准确率以及该模型的鲁棒性。另外，使用深度可分离网络代替常规的卷积网络还可以在加深网络的同时减少参数量，从而可以节省计算资源。
在实际的应用中，由于晶圆厂的不同或者测试过程的不同，不同批次的晶圆所包含的缺陷信息可能不同，例如缺陷的尺寸、位置、形状等不同。不同缺陷信息所适应的晶圆缺陷模型也不相同。为了提高模型的缺陷识别速度，可以根据待检测晶圆图的粗略缺陷信息的不同，选择不同的晶圆缺陷识别模型。具体的，在本申请的一个实施例中，所述将所述待检测晶圆图输入至晶圆缺陷识别模型，经所述晶圆缺陷识别模型输出所述待检测晶圆图的缺陷信息之前，包括：
S401：确定所述待检测晶圆图的粗略缺陷信息；
S403：从多个候选晶圆缺陷识别模型中选取与所述粗略缺陷信息相匹配的目标晶圆缺陷识别模型；所述多个候选晶圆缺陷识别模型中的多尺度深度可分离网络的卷积分支的尺寸和/或数量不同。
本申请实施例中，在对所述待检测晶圆图进行缺陷识别前，可以从多个候选晶圆缺陷识别模型中选取合适的目标晶圆缺陷识别模型，以提高缺陷识别的效率以及准确率。在本申请的一个实施例中，可以根据识别需求提前训练得到多个候选晶圆缺陷识别模型。例如，可以根据不同缺陷尺寸的晶圆图样本训练得到多个候选晶圆缺陷识别模型。所述多个候选晶圆缺陷识别模型中的多尺度深度可分离网络的卷积分支的尺寸和/或数量不同，即各个候选晶圆缺陷识别模型提取特征信息的能力不同，识别精度以及识别效率也不同。其中，所述晶圆图样本可以是不同种类的晶圆所对应的晶圆图样本。其中，所述不同种类可以包括生产批次不同、生产时间不同、测试维度不同等等。在本申请的一个实施例中，若某一批次的晶圆图样本的缺陷尺寸较大，则为了保证候选晶圆缺陷识别模型提取晶圆样本的特征信息全面，需要设置所述候选晶圆缺陷识别模型的多尺度深度可分离网络的卷积分支所包含的卷积核的尺寸较大，或者卷积分支所包含的卷积核的数量较多，以使得卷积分支的感受野较大。基于此，在本申请的一个实施例中，在训练得到所述多个候选晶圆缺陷识别模型后，可以建立候选晶圆缺陷识别模型和缺陷尺寸之间的关联关系。所述关联关系可以包括关联关系表、关联关系模型等。在本申请的一个实施例中，所述粗略缺陷信息可以由用户(工程师)根据自身经验确定，所述粗略缺陷信息可以是具体的缺陷大小，也可以是缺陷大小等级，本申请在此不做限制。在此基础上，在获取所述粗略缺陷信息后，可以确定所述粗略缺陷信息对应的缺陷尺寸或者所处于的缺陷尺寸范围。之后，可以利用所述关联关系从多个候选晶圆缺陷识别模型中选取与所述粗略缺陷信息即缺陷尺寸相匹配的目标晶圆缺陷识别模型。其中，
在本申请的一个实施例中，为了平衡计算成本以及识别效率，所述目标晶圆缺陷识别模型中还可以包括单尺度深度可分离网络，所述单尺度深度可分离网络和所述多尺度深度可分离网络的数量比例可以根据具体的应用需求确定。具体来说，所述晶圆缺陷识别模型还包括至少一个单尺度深度可分离网络，所述单尺度深度可分离网络的第一数量和/或所述多尺度深度可分离网络的第二数量根据待检测晶圆的特征信息确定。
本申请实施例中，所述待检测晶圆的特征信息可以包括所述待检测晶圆中失效裸片即失效裸片的数量以及位置信息。其中，所述位置信息可以包括失效裸片的位置坐标，所述位置坐标可以为二维位置坐标，例如可以为(3，4)、(5，6)等等。在本申请的一个实施例中，所述单尺度深度可分离网络可以为常规的深度可分离网络。例如，图5示出了所述单尺度深度可分离网络的结构，与所述多尺度深度可分离网络不同的是，所述单尺度深度可分离网络各个通道的卷积分支为单支，例如可以为单层的3×3的卷积核。在本申请的一个实施例中，在所述失效裸片的数量较少且较集中的情况下，可以设置所述单尺度深度可分离网络层的第一数量大于所述多尺度深度可分离网络层的第二数量，这样可以在保证目标晶圆缺陷识别模型识别精度的同时减小模型的参数量以节省计算资源，还可以提高目标晶圆缺陷识别模型的识别速度。当然，在所述失效裸片的数量较多和/或所述失效裸片较分散的情况下，可以设置所述单尺度深度可分离网络层的第一数量小于所述多尺度深度可分离网络层的第二数量，这样可以保证所述目标晶圆缺陷识别模型提取的特征信息为全面而非局部的特征信息，以保证模型的识别准确度。在本申请的一些实施例中，所述单尺度深度可分离网络与所述多尺度深度可分离网络在所述目标晶圆缺陷模型中的位置可以根据具体的应用需求确定。
进一步地，在本申请的一个实施例中，所述缺陷信息包括缺陷类型，所述目标晶圆缺陷识别模型被设置为按照下述方式训练得到：
S501：获取多个晶圆图样本，所述晶圆图样本标注有缺陷类型；
S503：构建初始晶圆缺陷识别模型，所述晶圆缺陷识别模型中设置有模型参数；
S505：分别将所述多个晶圆图样本输入至所述晶圆缺陷识别模型中，生成预测结果；
S507：基于所述预测结果与所述缺陷类型之间的差异，对所述训模型参数进行迭代调整，直至所述差异满足预设要求。
本申请实施例中，在训练的过程中可以首先获取多个晶圆图样本，所述晶圆图样本标注有缺陷类型。例如，可以从WM-811K晶圆数据集中获取多个晶圆图样本。在本申请的一个实施例中，可以从所述WM-811K晶圆数据集中选取部分晶圆图样本如75％的晶圆图样本作为训练集，部分晶圆图样本如25％的晶圆图样本作为测试集，以对训练得到的目标缺陷识别模型进行测试，判断所述目标缺陷识别模型是否满足识别需求。在本申请的一个实施例中，不同种类的缺陷利用不同的符号进行编码标记，以便于晶圆缺陷识别模型的训练。其中，编码标记所使用的符号可以是数字、字母、图形、希腊文、拉丁文或其他特殊符号等，本申请再次对编码标记所使用的符号不做具体限制，能够将不同种类的缺陷区别开来即可。在本申请的一个实施例中，为了训练得到的模型的精度更高，可以对所述晶圆图样本进行预处理，例如可以对所述晶圆图样本进行增强处理。所述增强处理可以包括旋转、平移、缩放、裁剪、填充等。在本申请的一个实施例中，由于每片晶圆(wafer)由于产品不同，尺寸差异也很大，因此需要对多个晶圆图样本进行尺寸统一处理。例如可以将多个晶圆图样本统一成96×96×1的尺寸。
在实际的应用中，大部分晶圆图是不存在缺陷的，在模型训练过程中，晶圆图样本的类别可能存在严重的数量不平衡，从而影响训练结果。基于此，在本申请的一个实施例中，为了解决类别数量不平衡问题所带来的分类性能不均衡的缺陷，所述获取多个晶圆图样本，所述晶圆图样本标注有缺陷类型，包括：
S601：获取晶圆图数据集，所述晶圆图数据集中的各个晶圆图样本标注有缺陷类型；
S603：分别计算各个缺陷类型的晶圆图样本在晶圆图数据集中的占比，将占比超出预设比例阈值的缺陷类型的晶圆图样本选取为目标晶圆图样本；；
S605：对所述目标晶圆图样本进行下采样，直至所述目标晶圆图样本的数量与其他缺陷类型晶圆图样本的数量之间的差异小于所述预设比例阈值。
本申请实施例中，由于缺陷类型为无缺陷的晶圆图样本较多，一般远远大于其他缺陷类型如中心缺陷的晶圆图样本，从而造成输入的晶圆图样本种类不均衡。所述下采样就是对于一个不均衡的数据集，让不同分类的样本数据量相同，且以数据量少的一方的样本数量为准。具体来说，所述下采样可以包括对所述缺陷类型为无缺陷类型的晶圆图样本进行抽取，以使所述缺陷类型为无缺陷的晶圆图样本与其他缺陷类型的晶圆图样本的数量差值小于预设比例阈值。当然，在本申请其他实施例中，也可以使得所述缺陷类型为无缺陷的晶圆图样本与其他缺陷类型的晶圆图样本的数量等同。其中，所述抽取可以包括随机抽取、等间隔抽取等等。所述预设比例阈值可以包括由用户根据实际的应用需求确定。所述预设比例阈值设置的数值越小，训练得到的晶圆缺陷识别模型的识别精度越高。
需要说明的是，所述目标晶圆图样本的缺陷类型也可以为其他缺陷类型，只需确定所述目标晶圆图样本的数量在所述晶圆图数据集中的占比大于所述预设比例阈值即可。
本申请实施例中，可以构建初始晶圆缺陷识别模型，所述初始晶圆缺陷识别模型可以包括特征提取层、多尺度深度可分离网络层、池化层、全连接层等。然后，可以将所述晶圆图样本输入至所述初始晶圆缺陷识别模型中，经所述初始晶圆缺陷识别模型输出对所述晶圆图样本的预测结果。所述预测结果可以包括所述晶圆图样本的缺陷类型。之后，可以基于所述预测结果与所述晶圆图样本中标注的缺陷类型之间的差异，对所述初始晶圆缺陷识别模型的模型参数进行迭代调整，直至所述初始晶圆缺陷识别模型满足预设要求。其中，所述预设要求例如可以包括所述差异小于或者等于预设阈值，还可以包括所述迭代调整的次数大于等于预设次数阈值等，本申请在此不做限制。
进一步的，在本申请的一个实施例中，所述预测结果与所述缺陷类型之间的差异根据损失函数确定，所述损失函数包括调节系数，所述调节系数用于调节易区分晶圆图样本的损失贡献。
本申请实施例中，所述损失函数可以包括Focal-loss损失函数、QFocal-loss损失函数等等。所述Focal-loss损失函数可以是交叉熵损失函数的变体，具体由下式表述：
FL(pt)＝-αt(1-pt)γ×CE(pt)
其中，所述γ为调制参数，所述1-pt可以为第二调节系数，所述第二调节系数可以调节易区分晶圆图样本的所产生的损失在总损失中所占的权重，即可以用于调节所述易区分晶圆图样本所产生的损失对总损失的贡献。例如，当Pt趋向于1，即说明该晶圆图样本是易区分晶圆图样本，此时所述第二调节系数趋向于0，说明对损失的贡献较小，即减低了易区分晶圆图样本的损失贡献。所述αt可以为第一调节系数，一般小于1，所述αt可以用于控制正负晶圆图样本所产生的损失对总损失的损失贡献(损失占比)。在本申请的一个实施例中，由于所述Focal-loss损失函数仅适用于二分类模型，为了提高模型的泛化能力，所述损失函数还可以为QFocal-loss损失函数。在所述损失函数为QFocal-loss损失函数的情况下，还可以对晶圆图样本的标签进行标签平滑(Label Smoothing)操作。所述标签平滑操作是机器学***滑公式如下所示：yi＝yhot(1-α)+α/K。其中，所述K为多分类的类别总个数，所述α是一个较小的超参数(一般取0.1)，因为晶圆图样本中存在打错标签的情况，通过标签平滑后的分布就相当于有一定小的概率认定标签是不准的，从而可以避免模型对于正确标签过于自信，从而避免过拟合，提高模型的泛化能力。在此基础上，所述QFocal-loss损失函数可以用下式表示：
QFL(σ)＝-αt*y-σβ*[(1-y)log(1-σ)+ylog(σ)]
其中-[(1-y)log(1-σ)+ylog(σ)]为标准的交叉熵损失函数，所述y是标签平滑后的label(0～1)，所述σ是模型预测输出结果；QFocalLoss相当于在交叉熵损失的基础上增加了两项，其中第一项αt＝y*α+(1-y)*(1-α)，α为所述第一调节系数，一般小于1，通过调节所述第一调节系数可以平衡正负晶圆图样本的权重，以调节正晶圆图样本以及负样本的损失贡献即调节正晶圆图样本以及负晶圆图样本所产生的损失在总损失中所占的权重；另一项y-σβ为所述第二调节系数，用于平衡难易分类晶圆图样本的损失贡献，β为设定的超参数，一般大于1。对于难分类的晶圆图样本来说，y-σ比较大，经过这项调制后，相对容易分类的晶圆图样本来说对最终损失影响比较大，也就实现了损失函数关于容易分类和复杂分类晶圆图样本的处理。这样结合起来，QFocalLoss函数既能调整正负晶圆图样本的权重，又能控制难易分类晶圆图样本的权重，从而可以解决不平衡数据分布的问题。
在本申请的一个实施例中，为了确定训练得到的目标晶圆缺陷识别模型的性能，还可以从所述WM-811K晶圆数据集中选取一定数量的晶圆图样本作为测试样本例如可以从所述WM-811K晶圆数据集中选取25％的样本作为测试样本，并将所述测试样本输入至训练完成的目标晶圆缺陷识别模型中，计算性能评价指标对所述目标晶圆缺陷识别模型进行评估分析。具体地，所述性能评价指标可以包括准确率(Accuracy)、精确度(Precision)和召回率(Recall)，计算公式分别如下：Accuracy＝(TP+TN)/(TP+TN+FP+FN)、Precision＝TP/(TP+FP)、Recall＝TP/(TP+FN)。其中，所述TP表示正确标记的数量，TN表示识别结果与真实标签不对应的数量，FP表示未识别到本应存在到该类别的数量，FN表示未正确标记的数量。
下面以具体的实验过程说明所述目标晶圆缺陷识别模型的有益效果。实验1可以将测试样本输入至采用标准深度可分离卷积的模型；实验2可以将测试样本输入至采用上述实施例所述的多尺度深度可分离卷积的模型；实验3可以在实验2的基础上使用LabelSmoothing和QFocalLoss损失函数。对比测试样本的整体准确率，三个实验分别是94.78％，96.70％，97.78％，将标准卷积换成设计的深度可分离卷积网络在准确率上有2％的提升，在2的基础上使用label smoothing和QFocalLoss，能再提升1％。另外，图6示出了实验1的混淆矩阵1、实验2的混淆矩阵2、实验3的混淆矩阵3。由图6可知，实验2在每个类别上的提升都比较明显，实验3相对实验2在数据量少的类别上提升幅度比较大，符合设计的初衷。其中，混淆矩阵的横坐标表示预测分类，纵坐标表示标签分类，其中(i，j)表示第i类目标被分为第j类的概率，对角线的值越大越好。当然，还可以对混淆矩阵1、混淆矩阵2、混淆矩阵3进行归一化处理，例如可以对混淆矩阵1、混淆矩阵2、混淆矩阵3按所述精确度归一化，得到的归一化混淆矩阵分别如图7所示。在其他示例中，还可以对混淆矩阵1、混淆矩阵2、混淆矩阵3按所述召回率归一化，得到的归一化混淆矩阵分别如图8所示。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的晶圆缺陷识别方法的晶圆缺陷识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个晶圆缺陷识别装置实施例中的具体限定可以参见上文中对于晶圆缺陷识别方法的限定，在此不再赘述。
在一个实施例中，如图9所示，提供了一种晶圆缺陷识别装置900，所述装置包括：
获取模块901，用于获取待检测晶圆图；
识别模块903，用于将所述待检测晶圆图输入至目标晶圆缺陷识别模型，经所述晶圆缺陷识别模型输出所述待检测晶圆图的缺陷信息；其中所述晶圆缺陷识别模型包括至少一个多尺度深度可分离网络，所述多尺度深度可分离网络各个通道包含多个感受野不同的卷积分支。
可选的，在本申请的一个实施例中，所述将所述待检测晶圆图输入至晶圆缺陷识别模型，经所述晶圆缺陷识别模型输出所述待检测晶圆图的缺陷信息之前，包括：
确定所述待检测晶圆图的粗略缺陷信息；
从多个候选晶圆缺陷识别模型中选取与所述粗略缺陷信息相匹配的目标晶圆缺陷识别模型；所述候选晶圆缺陷识别模型中的多尺度深度可分离网络的卷积分支的尺寸和/或数量不同。
可选的，在本申请的一个实施例中，所述通道的输出结果根据所述多个卷积分支输出的特征信息的融合信息确定。
可选的，在本申请的一个实施例中，所述缺陷信息包括缺陷类型，所述晶圆缺陷识别模型被设置为按照下述方式训练得到：
获取多个晶圆图样本，所述晶圆图样本标注有缺陷类型；
构建初始晶圆缺陷识别模型，所述晶圆缺陷识别模型中设置有模型参数；
分别将所述多个晶圆图样本输入至所述晶圆缺陷识别模型中，生成预测结果；
基于所述预测结果与所述缺陷类型之间的差异，对所述模型参数进行迭代调整，直至所述差异满足预设要求。
可选的，在本申请的一个实施例中，所述预测结果与所述缺陷类型之间的差异根据损失函数确定，所述损失函数还设置有第一调节系数、第二调节系数，所述第一调节系数用于调节正负晶圆图样本的损失贡献，所述第二调节系数用于调节易区分晶圆图样本的损失贡献。
可选的，在本申请的一个实施例中，在所述将所述待检测晶圆图输入至晶圆缺陷识别模型之前，所述装置还包括：
对所述待检测晶圆图进行二值化处理，得到二值化待检测晶圆。
可选的，在本申请的一个实施例中，所述晶圆缺陷识别模块还包括至少一个单尺度深度可分离网络，所述单尺度深度可分离网络的第一数量和/或所述多尺度深度可分离网络的第二数量根据待检测晶圆的特征信息确定。
可选的，在本申请的一个实施例中，所述获取多个晶圆图样本，所述晶圆图样本标注有缺陷类型，包括：
获取晶圆图数据集，所述晶圆图数据集中的各个晶圆图样本标注有缺陷类型；
分别计算各个缺陷类型的晶圆图样本在晶圆图数据集中的占比，将占比超出预设比例阈值的缺陷类型的晶圆图样本选取为目标晶圆图样本；
对所述目标晶圆图样本进行下采样，直至所述目标晶圆图样本的数量与其他缺陷类型晶圆图样本的数量之间的差异小于所述预设比例阈值。
可选的，在本申请的一个实施例中，所述目标晶圆缺陷识别模型包括顺次连接的特征提取层、多尺度深度可分离网络层、池化层和全连接层；
所述特征提取层包括依次相连的若干层卷积层，用于对待检测晶圆图进行初步特征提取得到所述待检测晶圆图的初步特征信息；
所述多尺度深度可分离网络层包括依次相连的第一逐点卷积层、逐深度卷积层、第二逐点卷积层，用于深度提取所述待检测晶圆图的特征信息；所述第一逐点卷积层用于将输入的所述初步特征信息的M个通道变为N个通道；所述逐深度卷积层包括N个通道，每个所述通道对输入的初步特征信息进行卷积得到深度特征信息；每个所述通道包含若干个卷积分支，每个所述卷积分支包括至少一个卷积核对所述初步特征信息进行卷积；所述第二逐点卷积层对所述逐深度卷积层各个通道输出的深度特征信息进行融合拼接；
所述池化层用于对所述深度特征信息进行降维；
所述全连接层用于对降维后的深度特征信息进行处理，并输出所述待检测晶圆图的缺陷信息。
另外需说明的是，以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
如图10所示，本申请的实施例还提供了一种电子设备1000，该电子设备1000包括：处理器以及用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述方法。电子设备1000包括存储器1001、处理器1003、总线1005和通信接口1007。存储器1001、处理器1003和通信接口1007之间通过总线1005通信。总线1005可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口1007用于与外部通信。其中，处理器1003可以为中央处理器(central processing unit，CPU)。存储器1001可以包括易失性存储器(volatilememory)，例如随机存取存储器(random access memory，RAM)。存储器1001还可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器，HDD或SSD。存储器1001中存储有可执行代码，处理器1003执行该可执行代码以执行前述各个实施例所述的方法。
本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
本申请的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
在一些实施例中，所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。图11示意性地示出根据这里展示的至少一些实施例而布置的示例计算机程序产品的概念性局部视图，所述示例计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。在一个实施例中，示例计算机程序产品1100是使用信号承载介质1101来提供的。所述信号承载介质1101可以包括一个或多个程序指令1102，其当被一个或多个处理器运行时可以提供以上针对图1描述的功能或者部分功能。此外，图11中的程序指令1102也描述示例指令。
在一些示例中，信号承载介质1101可以包含计算机可读介质1103，诸如但不限于，硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等等。在一些实施方式中，信号承载介质1101可以包含计算机可记录介质1104，诸如但不限于，存储器、读/写(R/W)CD、R/W DVD、等等。在一些实施方式中，信号承载介质1101可以包含通信介质1105,诸如但不限于，数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等)。因此，例如，信号承载介质1101可以由无线形式的通信介质1105(例如，遵守IEEE802.11标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令1102可以是，例如，计算机可执行指令或者逻辑实施指令。在一些示例中，诸如针对图10描述的电子设备的计算设备可以被配置为，响应于通过计算机可读介质1103、计算机可记录介质1104、和/或通信介质1105中的一个或多个传达到计算设备的程序指令1102，提供各种操作、功能、或者动作。应该理解，这里描述的布置仅仅是用于示例的目的。因而，本领域技术人员将理解，其它布置和其它元素(例如，机器、接口、功能、顺序、和功能组等等)能够被取而代之地使用，并且一些元素可以根据所期望的结果而一并省略。另外，所描述的元素中的许多是可以被实现为离散的或者分布式的组件的、或者以任何适当的组合和位置来结合其它组件实施的功能实体。附图中的流程图和框图显示了根据本申请的多个实施例的装置、***和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件(例如电路或ASIC(Application SpecificIntegrated Circuit，专用集成电路))来实现，或者可以用硬件和软件的组合，如固件等来实现。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种晶圆缺陷识别方法，其特征在于，所述方法包括：
获取待检测晶圆图；
将所述待检测晶圆图输入至目标晶圆缺陷识别模型，经所述目标晶圆缺陷识别模型输出所述待检测晶圆图的缺陷信息；其中所述目标晶圆缺陷识别模型包括至少一个多尺度深度可分离网络，所述多尺度深度可分离网络的各个通道包含多个感受野不同的卷积分支。
2.根据权利要求1所述的方法，其特征在于，所述将所述待检测晶圆图输入至目标晶圆缺陷识别模型，经所述目标晶圆缺陷识别模型输出所述待检测晶圆图的缺陷信息之前，包括：
确定所述待检测晶圆图的粗略缺陷信息；
从多个候选晶圆缺陷识别模型中选取与所述粗略缺陷信息相匹配的目标晶圆缺陷识别模型；所述候选晶圆缺陷识别模型中的多尺度深度可分离网络的卷积分支的尺寸和/或数量不同。
3.根据权利要求1所述的方法，其特征在于，所述通道的输出结果根据所述多个卷积分支输出的特征信息的融合信息确定。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述缺陷信息包括缺陷类型，所述目标晶圆缺陷识别模型被设置为按照下述方式训练得到：
获取多个晶圆图样本，所述晶圆图样本标注有缺陷类型；
构建初始晶圆缺陷识别模型，所述晶圆缺陷识别模型中设置有模型参数；
分别将所述多个晶圆图样本输入至所述晶圆缺陷识别模型中，生成预测结果；
基于所述预测结果与所述缺陷类型之间的差异，对所述模型参数进行迭代调整，直至所述差异满足预设要求。
5.根据权利要求4所述的方法，其特征在于，所述预测结果与所述缺陷类型之间的差异根据损失函数确定，所述损失函数还设置有第一调节系数、第二调节系数，所述第一调节系数用于调节正负晶圆图样本的损失贡献，所述第二调节系数用于调节易区分晶圆图样本的损失贡献。
6.根据权利要求1所述的方法，其特征在于，在所述将所述待检测晶圆图输入至目标晶圆缺陷识别模型之前，所述方法还包括：
对所述待检测晶圆图进行二值化处理，得到二值化待检测晶圆。
7.根据权利要求1所述的方法，其特征在于，所述目标晶圆缺陷识别模块还包括至少一个单尺度深度可分离网络，所述单尺度深度可分离网络的第一数量和/或所述多尺度深度可分离网络的第二数量根据待检测晶圆的特征信息确定。
8.根据权利要求4所述的方法，其特征在于，所述获取多个晶圆图样本，所述晶圆图样本标注有缺陷类型，包括：
获取晶圆图数据集，所述晶圆图数据集中的各个晶圆图样本标注有缺陷类型；
分别计算各个缺陷类型的晶圆图样本在晶圆图数据集中的占比，将占比超出预设比例阈值的缺陷类型的晶圆图样本选取为目标晶圆图样本；
对所述目标晶圆图样本进行下采样，直至所述目标晶圆图样本的数量与其他缺陷类型晶圆图样本的数量之间的差异小于所述预设比例阈值。
9.根据权利要求1所述的方法，其特征在于，所述目标晶圆缺陷识别模型包括顺次连接的特征提取层、多尺度深度可分离网络层、池化层和全连接层；
所述特征提取层包括依次相连的若干层卷积层，用于对待检测晶圆图进行初步特征提取得到所述待检测晶圆图的初步特征信息；
所述多尺度深度可分离网络层包括依次相连的第一逐点卷积层、逐深度卷积层、第二逐点卷积层，用于深度提取所述待检测晶圆图的特征信息；所述第一逐点卷积层用于将输入的所述初步特征信息的M个通道变为N个通道；所述逐深度卷积层包括N个通道，每个所述通道对输入的初步特征信息进行卷积得到深度特征信息；每个所述通道包含若干个卷积分支，每个所述卷积分支包括至少一个卷积核对所述初步特征信息进行卷积；所述第二逐点卷积层对所述逐深度卷积层各个通道输出的深度特征信息进行融合拼接；
所述池化层用于对所述深度特征信息进行降维；
所述全连接层用于对降维后的深度特征信息进行处理，并输出所述待检测晶圆图的缺陷信息。
10.一种晶圆缺陷识别装置，其特征在于，所述装置包括：
获取模块，用于获取待检测晶圆图；
识别模块，用于将所述待检测晶圆图输入至目标晶圆缺陷识别模型，经所述目标晶圆缺陷识别模型输出所述待检测晶圆图的缺陷信息；其中所述目标晶圆缺陷识别模型包括至少一个多尺度深度可分离网络，所述多尺度深度可分离网络各个通道包含多个感受野不同的卷积分支。
11.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202310062961.4A 2023-01-20 2023-01-20 晶圆缺陷识别方法、装置、电子设备以及存储介质 Pending CN116128839A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310062961.4A CN116128839A (zh) 2023-01-20 2023-01-20 晶圆缺陷识别方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310062961.4A CN116128839A (zh) 2023-01-20 2023-01-20 晶圆缺陷识别方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN116128839A true CN116128839A (zh) 2023-05-16

Family

ID=86306070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310062961.4A Pending CN116128839A (zh) 2023-01-20 2023-01-20 晶圆缺陷识别方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN116128839A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664988A (zh) * 2023-07-24 2023-08-29 广立微(上海)技术有限公司 图片自动标注方法、装置、计算机设备和存储介质
CN116777894A (zh) * 2023-07-05 2023-09-19 山东睿芯半导体科技有限公司 芯片的表面缺陷检测方法和装置
CN117576108A (zh) * 2024-01-17 2024-02-20 杭州广立微电子股份有限公司 晶圆缺陷检测的可视化优化方法、装置和计算机设备
CN117634101A (zh) * 2024-01-26 2024-03-01 杭州广立微电子股份有限公司 芯片表面形态确定方法、装置、计算机设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777894A (zh) * 2023-07-05 2023-09-19 山东睿芯半导体科技有限公司 芯片的表面缺陷检测方法和装置
CN116777894B (zh) * 2023-07-05 2023-12-29 山东睿芯半导体科技有限公司 芯片的表面缺陷检测方法和装置
CN116664988A (zh) * 2023-07-24 2023-08-29 广立微(上海)技术有限公司 图片自动标注方法、装置、计算机设备和存储介质
CN116664988B (zh) * 2023-07-24 2023-11-21 广立微(上海)技术有限公司 图片自动标注方法、装置、计算机设备和存储介质
CN117576108A (zh) * 2024-01-17 2024-02-20 杭州广立微电子股份有限公司 晶圆缺陷检测的可视化优化方法、装置和计算机设备
CN117576108B (zh) * 2024-01-17 2024-05-28 杭州广立微电子股份有限公司 晶圆缺陷检测的可视化优化方法、装置和计算机设备
CN117634101A (zh) * 2024-01-26 2024-03-01 杭州广立微电子股份有限公司 芯片表面形态确定方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测***及方法
CN116128839A (zh) 晶圆缺陷识别方法、装置、电子设备以及存储介质
CN111353983B (zh) 缺陷检测识别方法、装置、计算机可读介质及电子设备
CN110569899A (zh) 坝面缺陷分类模型训练方法及装置
WO2020238256A1 (zh) 基于弱分割的损伤检测方法及装置
CN113283419B (zh) 基于注意力的卷积神经网络指针式仪表图像读数识别方法
CN113658174B (zh) 基于深度学习和图像处理算法的微核组学图像检测方法
CN113643268A (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和***
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN110969600A (zh) 一种产品缺陷检测方法、装置、电子设备及存储介质
CN114494164A (zh) 一种钢材表面缺陷检测方法、装置及计算机存储介质
CN110751644A (zh) 道路表面裂纹检测方法
CN116012291A (zh) 工业零件图像缺陷检测方法及***、电子设备和存储介质
CN113240623A (zh) 一种路面病害检测方法及装置
CN114972202A (zh) 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法
CN114299040A (zh) 瓷砖瑕疵检测方法、装置和电子设备
CN112396580B (zh) 一种圆形零件缺陷检测方法
CN114972152A (zh) 自动光学检测方法、自动光学检测***及记录媒体
CN116433661B (zh) 多任务学习的半导体晶圆检测方法、装置、设备及介质
CN116205918B (zh) 基于图卷积的多模态融合半导体检测方法、装置及介质
Zhou et al. An adaptive clustering method detecting the surface defects on linear guide rails
CN115587989B (zh) 一种工件ct图像缺陷检测分割方法及***
Chen et al. Wafer defect recognition method based on multi-scale feature fusion
Zhang et al. A YOLOv3‐Based Industrial Instrument Classification and Reading Recognition Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination