CN113538392B - 晶圆的检测方法、设备及存储介质 - Google Patents

Abstract

本申请提供了一种晶圆的检测方法，包括：获取晶圆的第一图像，第一图像包含表示晶圆的缺陷信息的整体特征；基于第一图像确定晶圆的第二图像，第二图像包含表示晶圆的缺陷信息的细节特征；将整体特征与细节特征进行融合，以生成融合后的特征；以及通过晶圆缺陷分类模型对融合后的特征进行检测。通过上述方法可在一定程度上提高晶圆缺陷检测的准确率，降低人工成本。

Description

晶圆的检测方法、设备及存储介质

技术领域

本申请涉及半导体领域，更具体地，涉及一种晶圆的缺陷检测方法、设备及存储介质。

背景技术

随着存储器的发展，对存储器的集成程度的要求越来越高，因此晶圆的特征尺寸不断减小，对晶圆的缺陷检测成为提高晶圆良率的重要方法。存储器的生产工艺繁多且复杂，在每一个工艺之后，尤其是刻蚀工艺和沉积工艺之后，都需要对晶圆表面的缺陷进行检测，避免有缺陷的晶圆流向后续制程，影响晶圆的电学性能。

目前主要是利用自动缺陷分类(Auto Defect Classification，简称ADC)***结合机器学习的方法进行晶圆的缺陷检测。ADC***主要有两个模块：检测模块和分类模块。检测模块通过扫描晶圆表面，确认可能存在缺陷的区域坐标，然后对缺陷区域利用电子扫描显微镜(scanning electron microscope，简称SEM)得到缺陷区域的图像；分类模块利用机器学习方法，构建分类模型，实现缺陷的分类。然而当前的ADC***缺陷检测的性能很高，而缺陷分类的准确性很差。因此需要通过人工检查对缺陷分类结果进行确认，需要专业人员对缺陷样本进行大量的标记，因此晶圆检测的正确率与节约人力投入是需要快速解决的问题。

发明内容

本申请实施例提供了一种可至少部分解决现有技术中存在的上述问题的晶圆的检测方法及***。

根据本申请实施例的一个方面，提供一种晶圆的检测的方法，所述方法可包括：获取晶圆的第一图像，所述第一图像包含表示所述晶圆的缺陷信息的整体特征；基于所述第一图像确定所述晶圆的第二图像，所述第二图像包含表示所述晶圆的缺陷信息的细节特征；将所述整体特征与所述细节特征进行融合，以生成融合后的特征；以及通过晶圆缺陷分类模型对所述融合后的特征进行检测。

在本申请一个实施方式中，基于所述第一图像确定所述晶圆的第二图像的步骤可包括：对所述第一图像中的缺陷特征区域进行定位；以及对所定位出的缺陷特征的区域进行截取，以获得目标图像作为所述第二图像。

在本申请一个实施方式中，基于所述第一图像确定所述晶圆的第二图像的步骤，可包括：对所述目标图像中的缺陷特征的细节区域进行定位；以及对所定位出的细节区域进行截取，以获得细节图像作为所述第二图像。

在本申请一个实施方式中，对所定位出的缺陷特征的区域进行截取，以获得目标图像作为所述第二图像的步骤，可包括：基于深度卷积神经网络提取所述晶圆的第一图像的深度特征图谱；确定所述深度特征图谱上每个位置通道中的特征的平均值和所述深度特征图谱的整体通道中的特征的平均值；确认所述深度特征图谱中位置通道中的特征的平均值大于整体通道中的特征的平均值的区域作为目标缺陷区域；截取所述目标缺陷区域的图像作为所述目标图像。

在本申请一个实施方式中，在确认所述深度特征图谱中位置通道中的特征的平均值大于整体通道中的特征的平均值的区域作为目标缺陷区域之后，可包括：确定所述目标缺陷区域的最小外包矩形并确认其坐标；通过反卷积确定所述目标缺陷区域在所述晶圆的第一图像中的位置坐标；以及根据所述位置坐标截取所述晶圆的第一图像，以作为所述目标图像。

在本申请一个实施方式中，对所定位出的细节区域进行截取以获得细节图像作为所述第二图像的步骤，可包括：基于深度卷积神经网络提取所述目标图像的深度特征图谱；确定所述目标图像的深度特征图谱上每个位置通道的特征的平均值；选取滑动窗口对所述目标图像进行卷积，并根据所述滑动窗口确认至少一个激活窗口，所述激活窗口的深度特征图谱通道的特征的平均值大于所述深度特征图谱上每个位置通道的特征的平均值；以及截取所述至少一个激活窗口对应的所述目标图像作为所述细节图像。

在本申请一个实施方式中，选取滑动窗口对所述目标图像进行卷积，并根据所述滑动窗口确认激活窗口之后，对所定位出的细节区域进行截取以获得细节图像的步骤还可包括：采用非极大值抑制的方式选择所述至少一个激活窗口的区域作为晶圆缺陷图像的细节缺陷区域；通过反卷积确定所述细节缺陷区域在所述晶圆的目标图像中的位置坐标；以及截取所述细节缺陷区域的图像作为所述细节图像。

在本申请一个实施方式中，通过晶圆缺陷分类模型对所述融合后的所述特征进行检测，可包括：对所述晶圆的缺陷进行分类，以确定所述晶圆的缺陷类型。

在本申请一个实施方式中，通过晶圆缺陷分类模型对所述融合后的所述特征进行检测之后，可包括：输出检测结果，所述检测结果包括所述晶圆的缺陷类型，与所述晶圆的缺陷类型对应的置信度。

在本申请一个实施方式中，晶圆缺陷分类模型可以通过训练得到。所述晶圆缺陷分类模型包括第一分类模型和第二分类模型，所述第一分类模型和所述第二分类模型进行训练的样本不同。

在本申请一个实施方式中，所述方法还包括单独训练所述晶圆缺陷分类模型的步骤，可包括：将所述晶圆的粗粒度图像和细粒度图像区分为纯净样本和噪声样本；以及将所述纯净样本输入到所述第一分类模型，所述噪声样本输入到所述第二分类模型，分别对所述第一分类模型和所述第二分类模型进行训练。

在本申请一个实施方式中，所述纯净样本可包括确认缺陷类型的所述粗粒度图像或所述细粒度图像，用于所述晶圆缺陷分类模型的测试和验证；所述噪声样本可包括待确认缺陷类型的所述粗粒度图像或所述细粒度图像，用于所述晶圆缺陷的分类模型的训练。

在本申请一个实施方式中，对所述第一分类模型和所述第二分类模型分别进行训练后还包括对所述第一分类模型和所述第二分类模型进行混合训练，可包括：将所述噪声样本划分为标记数据集和未标记数据集；利用所述第一分类模型和所述第二分类模型提取所述标记数据集和所述未标记数据集的深度特征图谱；将所述第一分类模型和所述第二分类模型提取的同一样本的深度特征图谱进行融合；将融合后的深度特征图谱输入到分类器，得到所述噪声样本的检测结果；以及根据所述噪声样本的检测结果确认所述晶圆缺陷分类模型的整体损失，完成所述晶圆缺陷的分类模型的训练。

在本申请一个实施方式中，将所述噪声样本划分为标记数据集和未标记数据集的步骤可包括：将所述噪声样本中的所述粗粒度图像或所述细粒度图像输入到所述第一分类模型和所述第二分类模型；以及根据所述第一分类模型和所述第二分类模型的预测缺陷类型及置信度将所述噪声样本划分为标记数据集和未标记数据集，其中所述标记数据集的置信度大于设定值，所述未标记数据集的置信度小于设定值。

在本申请一个实施方式中，将同一样本的所述第一分类模型和所述第二分类模型提取的同一样本对应的深度特征图谱进行融合之前还可包括：将所述深度特征图谱输入全连接层以得到一维的深度特征图谱。

在本申请一个实施方式中，根据所述图像的缺陷类型及概率确认所述晶圆缺陷分类模型的整体损失可包括：根据所述第一分类模型和所述第二分类模型得到的所述标记数据集的缺陷类型及概率进行线性组合，作为协同微调损失；根据所述第一分类模型和所述第二分类模型预估的所述未标记数据集的缺陷类型及概率进行合并，作为协同估计损失；对所述第一分类模型和所述第二分类模型进行正则化处理，得到所述第一分类模型和所述第二分类模型的正则化损失；以及将所述协同微调损失、所述协同估计损失和所述正则化损失融合作为所述晶圆缺陷的细粒度分类模型的所述整体损失。

在本申请一个实施方式中，所述第一分类模型和所述第二分类模型根据所述深度特征图谱对所述图像的缺陷模型进行分类，并将分类结果进行融合以得到所述噪声样本的检测结果可包括：利用全连接层对所述标记数据集和所述未标记数据集的深度特征图谱进行处理，得到一维深度特征图谱；以及将所述一维深度特征图谱的特征进行融合后输入到分类器，得到所述晶圆的检测结果。

在本申请一个实施方式中，所述检测结果可包括所述晶圆的缺陷类型与其对应的置信度。

本申请另一方面提供了一种晶圆的检测***，所述***可包括：存储器，用于存储程序指令；以及处理器，用于与所述存储器通信以执行所述程序指令，从而实现上述任一项所述的方法。

本申请再一方面提供了一种晶圆的检测设备，所述设备可包括上述晶圆的检测***。

在本申请一个实施方式中，所述检测设备还可包括：探测装置，所述探测装置用于采集所述晶圆的图像。

在本申请一个实施方式中，所述探测装置可用于采集所述晶圆的第一图像和/或所述晶圆的第二图像。

在本申请一个实施方式中，所述检测设备可包括如下至少一种：计算机、服务器、蜂窝电话、智能电话、可穿戴设备、晶圆加工设备。

本申请又一方面提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述任一项所述的方法。

根据本申请一实施方式的晶圆的检测方法及设备，可对晶圆的表面缺陷进行检测，在关注晶圆表面的整体缺陷特征的同时，也能够关注到晶圆表面的细节缺陷特征，在晶圆检测的过程中，通过将晶圆的整体缺陷特征和细节缺陷特征结合分析，能够在一定程度上提高晶圆缺陷类型分类的准确性。并且通过标记数据集和未标记数据集对模型进行训练，可以使用较少的标记样本完成晶圆缺陷分类模型的训练，在一定程度上节约了人力投入，提高了晶圆的检测效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例的详细描述，本申请的其它特征、目的和优点将会变得更明显。其中：

图1为根据本申请一实施方式的晶圆检测方法的流程示意图；

图2为根据本申请一实施方式的获取目标图像的流程示意图；

图3为根据本申请一实施方式的获取细节图像的流程示意图；

图4A为根据本申请一实施方式的晶圆的粗粒度图像的示意图；

图4B为根据本申请一实施方式的晶圆的目标图像的示意图；

图4C为根据本申请一实施方式的晶圆的细节图像的示意图；

图5A为根据本申请一实施方式的单独训练第一分类模型和第二分类模型的流程示意图；

图5B为根据本申请一实施方式的混合训练第一分类模型和第二分类模型的流程示意图；

图6为本申请一实施方式的用于晶圆的检测***的示意图；以及

图7为本申请一实施方式的用于晶圆的检测设备的示意图。

具体实施方式

晶圆表面的缺陷检测工艺，是存储器生产工艺中重要的环节，存储器的生产工艺繁多且复杂，在每一个工艺之后，尤其是刻蚀工艺和沉积工艺之后，都需要对晶圆表面的缺陷进行检测，避免有缺陷的晶圆流向后续制程，影响晶圆的电学性能。发明人发现，传统技术中主要是利用自动缺陷分类(Auto Defect Classification，简称ADC)***结合机器学***滑度、纹理复杂度、轮廓等，如果图像背景较为复杂，那么小面积的缺陷很容易被忽略或者分类错误。常用的分类器包括支持向量机(SVM)、神经网络、决策树等，常常需要人工对分类结果进行进一步确认。常用的机器学习的方法是基于卷积神经网络的深度学习，由于晶圆表面缺陷情况和芯片的制作过程复杂，缺陷的检测是分层进行，缺陷种类多，电子扫描图像对缺陷的扫描大小不一，并且需要专业人员对缺陷样本进行大量的标记，因此晶圆检测的正确率与节约人力投入是需要快速解决的问题。

基于此，本申请实施例提出一种晶圆的检测方法、***、设备以及存储有计算机指令的非瞬时计算机可读存储介质。可以对晶圆的缺陷，例如晶圆表面的缺陷进行检测。本申请实施例在关注晶圆的整体缺陷特征的同时，也能够关注到晶圆的细节缺陷特征，在晶圆检测的过程中，通过将晶圆的整体缺陷特征和细节缺陷特征结合分析，能够在一定程度上提高晶圆缺陷类型分类的准确性。并且通过标记数据集和未标记数据集对模型进行训练，可以使用较少的标记样本完成晶圆缺陷分类模型的训练，在一定程度上节约了人力投入，提高了晶圆的检测效率。

为了更好地理解本申请，将参考附图对本申请的各个方面做出更详细的说明。应理解，这些详细说明只是对本申请的示例性实施方式的描述，而非以任何方式限制本申请的范围。在说明书全文中，相同的附图标号指代相同的元件。表述“和/或”包括相关联的所列项目中的一个或多个的任何和全部组合。

在附图中，为了便于说明，已稍微调整了元素的大小、尺寸和形状。附图仅为示例而并非严格按比例绘制。如在本文中使用的，用语“大致”、“大约”以及类似的用语用作表近似的用语，而不用作表程度的用语，并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。另外，在本申请中，各步骤处理描述的先后顺序并不必然表示这些处理在实际操作中出现的顺序，除非有明确其它限定或者能够从上下文推导出的除外。

还应理解的是，诸如“包括”、“包括有”、“具有”、“包含”和/或“包含有”等表述在本说明书中是开放性而非封闭性的表述，其表示存在所陈述的特征、元件和/或部件，但不排除一个或多个其它特征、元件、部件和/或它们的组合的存在。此外，当诸如“...中的至少一个”的表述出现在所列特征的列表之后时，其修饰整列特征，而非仅仅修饰列表中的单独元件。此外，当描述本申请的实施方式时，使用“可”表示“本申请的一个或多个实施方式”。并且，用语“示例性的”旨在指代示例或举例说明。

除非另外限定，否则本文中使用的所有措辞(包括工程术语和科技术语)均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是，除非本申请中有明确的说明，否则在常用词典中定义的词语应被解释为具有与它们在相关技术的上下文中的含义一致的含义，而不应以理想化或过于形式化的意义解释。

需要说明的是，在不冲突的情况下，本申请中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本申请。

图1为根据本申请一实施方式的晶圆检测方法的流程示意图。如图1所示，本申请提供一种晶圆检测方法1000，包括：

步骤S110：获取晶圆的第一图像，第一图像包含表示晶圆的缺陷信息的整体特征；

步骤S120：基于晶圆的第一图像确定晶圆的第二图像，第二图像中包含表示晶圆的缺陷信息的细节特征；

步骤S130：将整体特征与细节特征进行融合，以生成融合后的特征；

步骤S140：通过晶圆缺陷分类模型对融合后的特征进行检测。

下面将结合图2至图5详细说明上述制备方法1000的各个步骤的具体工艺。

步骤S110：获取晶圆的第一图像，第一图像包含表示晶圆的缺陷信息的整体特征；

首先可以通过对晶圆进行扫描的方式，获取晶圆的第一图像，第一图像包含表示所述晶圆的缺陷信息的整体特征。例如，可以通过扫描电子显微镜(Scanning ElectronMicroscope，简称为SEM)对晶圆进行扫描，以获取晶圆的第一图像。第一图像可包括晶圆的粗粒度图像，在本实施方式中，以第一图像为晶圆的粗粒度图像为例进行说明。晶圆的粗粒度图像可包含晶圆的整体特征，晶圆的整体特征可包括例如缺陷区域的位置、形状、颜色等特征信息。晶圆的缺陷可以包括颗粒(液体、固体颗粒等)、表面划痕等缺陷、不规则连接等。晶圆可以为经过任意工艺步骤后的晶圆，通过图像采集装置获得晶圆的图像，其中图像采集装置可为摄像机、晶圆检测***(wafer inspect system，简称WIS)自带拍摄设备等，本申请对此不做限制，晶圆的粗粒度图像可如图4A所示。

步骤S120：基于晶圆的第一图像确定晶圆的第二图像，第二图像中包含表示晶圆 的缺陷信息的细节特征；

由于晶圆的扫描图像中缺陷区域的大小不同，因此为了使晶圆的缺陷类型判定更准确，需要获取晶圆的第二图像，第二图像可包含表示晶圆的细节特征。第二图像可包括晶圆的细粒度图像。在本实施方式中，以第二图像为晶圆的细粒度图像为例进行说明。晶圆的细粒度图像中包含用于表示晶圆的缺陷信息的细节特征。细粒度图像分类又可以被称作子类别图像分类，其目的可以是对粗粒度图像的大类别进行更加细致的子类划分。首先对晶圆的粗粒度图像中的缺陷特征区域进行定位，根据定位出的缺陷特征的区域进行截取以获得目标图像作为细粒度图像。基于注意力机制在晶圆的粗粒度图像上获取晶圆的细粒度图像，晶圆的细粒度图像可包括目标图像，目标图像可包含用于表示晶圆的缺陷信息的特征。以图4A为例的粗粒度图像截取的晶圆的目标图像，可如图4B所示。图2为根据本申请一实施方式的获取目标图像的流程示意图，如图2所示，获得目标图像的具体步骤如下：

首先，在步骤S1211中，可基于深度卷积神经网络提取晶圆的粗粒度图像的深度特征图谱。晶圆的粗粒度图像经过卷积核卷积之后可得到多个深度特征图谱，每一个卷积核都可提取特定的特征，不同的卷积核可提取不同的特征。例如使用一个卷积核提取粗粒度图像中缺陷区域的轮廓特征，使用另一个卷积核提取粗粒度图像中缺陷区域的灰度特征，使用又一个卷积核提取粗粒度图像中缺陷区域的位置特征等。本领域的相关人员可知，上述提取的特征为示例性说明，本申请对提取的深度特征图谱不限于此。

接着在步骤S1212中，计算深度特征图谱上每个位置通道中的特征的平均值和深度特征图谱的整体通道中的特征的平均值。晶圆的粗粒度图像经过深度卷积神经网络特征提取后，对晶圆的深度特征图谱中的每个位置通道的平均值和深度特征图谱的整体通道的平均值进行计算。例如晶圆的深度特征图谱为x*y的特征图谱，则晶圆的每个深度特征图谱包含x*y个位置，其中每个深度特征图谱对应一个通道，将不同的通道中相同位置求平均值和深度特征图谱所有通道的平均值。

然后，在步骤S1213，确认深度特征图谱中位置通道中的特征平均值大于整体通道中的特征的平均值的区域作为目标缺陷区域；以及在步骤S1214中截取目标缺陷区域的图像作为目标图像。在一个实施方式中，可将晶圆的深度特征图谱中每个位置通道中的特征平均值与晶圆的深度特征图谱整体通道的平均值进行比较，将深度特征图谱中位置通道中的特征平均值大于整体通道中的特征的平均值的区域作为目标缺陷区域，并对此区域求外包矩形并确认外包矩形的坐标，进一步利用反卷积计算外包矩形对应的目标缺陷区域在晶圆的粗粒度图像中的位置坐标，根据粗粒度图像中的位置坐标可截取对应的粗粒度图像，并将截取的图像作为晶圆的目标图像。其中，对目标缺陷区域求外包矩形并确认外包矩形的坐标的方式，可以包括：对目标缺陷区域求最小外包矩形，并确认该最小外包矩形的坐标。可以采用非极大值抑制(Non-Maximum Suppression，简称NMS)的方法，确定目标缺陷区域的最小外包矩形。这样有利于框选出目标缺陷的准确位置。

在晶圆缺陷的分类过程中，有些缺陷的区分仅仅是表面细微的差异，为了进一步提升晶圆缺陷分类模型的准确率，在获得晶圆的目标图像之后，可进一步对晶圆的目标图像根据注意力机制进行处理，得到细节图像，通过细节图像进一步对晶圆的缺陷类型进行确认。晶圆的细粒度图像还可包括细节图像，例如，图4C是以图4B为例的目标图像截取的细节图像。

图3为根据本申请一实施方式的获取细节图像的流程示意图，如图3所示，获得细节图像的具体步骤如下：

首先在步骤S1221中可基于深度卷积神经网络提取目标图像的深度特征图谱。晶圆的目标图像经过卷积核卷积之后可得到多个深度特征图谱，其中目标图像的深度特征图谱可包括目标图像缺陷区域的位置、形状、颜色等特征信息。

接着在步骤S1222中，计算目标图像的深度特征图谱上每个位置通道的特征的平均值。晶圆的目标图像经过深度卷积神经网络特征提取后，计算目标图像的深度特征图谱中的每个位置通道的特征平均值，例如提取目标图像深度特征图谱为m*n的图谱，则目标图像的深度特征图谱包含m*n个位置，其中每个深度特征图谱对应一个通道，将不同的通道中相同位置求平均值。

然后在步骤S1223中，选取滑动窗口对目标图像进行卷积，并根据滑动窗口确认至少一个激活窗口，激活窗口的深度特征图谱通道的特征的平均值大于通道的特征的平均值。选取滑动窗口对在目标图像滑动，基于注意力机制确认目标图像中晶圆缺陷区域的细节区域。可设置不同大小和长宽比的窗口在整个目标图像上滑动，例如可选择滑动窗口的大小为3*3～11*11，滑动窗口的数量为3-7个。滑动窗口需遍历目标图像的所有位置，计算滑动窗口在深度特征图谱中通道的特征的平均值，若滑动窗口的深度特征图谱通道的特征的平均值大于一定的阈值，则滑动窗口可作为激活窗口。该一定的阈值，可以包括图像中所有像素的平均值。其中滑动窗口的大小例如为3*3、6*6和9*9，但是本领域相关人员可知，窗口的大小为示例性说明，本申请的滑动窗口的大小不限于此。滑动窗口在遍历目标图像的过程中有一定的步长限制，因此激活窗口可能存在一定的冗余，可在后续过程中采用非极大值抑制的方式选择固定数量的窗口区域作为晶圆缺陷图像的细节缺陷区域，减少后续对晶圆缺陷模型检测性能的影响。本领域的相关人员可以理解，滑动窗口的数量和大小只是示例性说明，本申请滑动窗口的数量和大小不限于此。

然后在步骤S1224中，截取至少一个激活窗口对应的目标图像作为细节图像。确认激活窗口的位置和数量之后可通过反卷积计算细节缺陷区域在晶圆的目标图像中的位置坐标，并进一步截取至少一个对应的目标图像作为晶圆的细节图像。

步骤S130：将整体特征与细节特征进行融合，以生成融合后的特征；

将提取晶圆的粗粒度图像特征与晶圆的细粒度图像特征进行融合，将融合后的特征输出到晶圆缺陷分类模型中的分类器中进行进一步判断。例如，将粗粒度图像和细粒度图像中表示缺陷信息的特征进行融合，可将提取晶圆的粗粒度图像特征与晶圆的细粒度图像特征进行串联，作为融合特征，融合的特征可包括图像缺陷区域的大小、形状、位置、颜色、平滑度、纹理复杂度以及轮廓等。

步骤S140：通过晶圆缺陷分类模型对融合后的特征进行检测。

通过采用将晶圆的粗粒度图像和细粒度图像相结合的方式，将提取晶圆的粗粒度图像特征与晶圆的细粒度图像特征进行融合，并采用经过训练后的晶圆缺陷分类模型，对融合后的特征进行检测。从而对不仅关注晶圆缺陷的整体图像，同时也关注缺陷之间的细节差异，从而在晶圆检测的过程中，通过将晶圆的整体缺陷特征和细节缺陷特征结合分析，能够在一定程度上提高晶圆缺陷类型分类的准确性。在通过经过训练后的晶圆缺陷分类模型对融合后的特征进行检测后，可以输出较为精确的晶圆缺陷分类结果，例如，可以输出晶圆缺陷的分类结果，以及相应的置信度。

在本申请一实施方式中，置信度越高，可信程度越高。例如，将一个缺陷图像分到了某一个缺陷分类，置信度是0.99，则认为此时的分类是正确的。如果得到的置信度低于卡控的置信度阈值，该晶圆缺陷分类模型就不进行分类了，而是把置信度低于置信度阈值的粗粒度图像和/或细粒度图像，放在未进行分类定义的类别中。例如卡控的置信度阈值为0.6，那么对于置信度低于0.6的情况，该晶圆缺陷分类模型就不进行分类了，而是把置信度低于0.6的粗粒度图像和/或细粒度图像，放在未进行分类定义的类别中。

当然，前述的晶圆检测方法，并不限制晶圆的类型。存在缺陷、不存在缺陷的晶圆都可以采用这种晶圆检测方法。即便晶圆本身不存在缺陷，也能够采用这种晶圆检测方法进行检测，并输出检测结果及相应的置信度。例如，当晶圆本身不存在缺陷时，采用这种晶圆检测方法进行检测可以输出“晶圆不存在缺陷”的检测结果，及相应的置信度。

由于对上述步骤S140中的晶圆缺陷分类模型进行训练的训练样本中混杂了噪声样本，需要将噪声样本区分开来。基于此，此处引入第一分类模型和第二分类模型，以将噪声样本区分开。图5A为根据本申请一实施方式的单独训练第一分类模型和第二分类模型的流程示意图，如图5A所示，单独训练第一分类模型和第二分类模型的具体步骤如下：

首先在步骤S1410中，将晶圆的粗粒度图像和细粒度图像区分为纯净样本和噪声样本。将晶圆的粗粒度图像和细粒度图像的缺陷类型进行标记，一部分粗粒度图像和细粒度图像由此领域的专家或者经验丰富的工程师进行标定，可作为纯净样本，可用于后续对晶圆缺陷分类模型的训练和验证；另一部分粗粒度图像和细粒度图像没有进行标记或者由一线操作人员进行标记的可作为为噪声样本，由于一线操作人员的水平有一定的差异，可能会存在错误标记，因此没有进行标记或者由一线操作人员进行标记的噪声样本可用于后续对晶圆缺陷分类模型的训练。从而可以通过少量的纯净样本和一定量的噪声样本进行对晶圆缺陷分类模型的训练，以减少人力投入，在一定程度上提高晶圆的缺陷类型分类的准确性，降低了生产成本。

然后在步骤S1420中，将纯净样本输入到第一分类模型，噪声样本输入到第二分类模型，分别对第一分类模型和第二分类模型进行训练。将纯净样本输入到第一分类模型，噪声样本输入到第二分类模型，由于第一分类模型和第二分类模型输入的样本不同，因此训练后的第一分类模型和第二分类模型中包含的参数也不相同，在后续晶圆检测中可能得到相同或者不同的结果。引入第一分类模型和第二分类模型，总体上可以有效的消除噪声样本对于晶圆缺陷分类的干扰。考虑到本实施方式采用的是基于数据驱动的建模方法，且缺陷分类任务中存在大量噪声样本的情况，采用这种方法，可以在模型训练的过程中，在保证模型分类性能的条件下，有效的降低人工校验样本的工作量。

图5B为根据本申请一实施方式的混合训练第一分类模型和第二分类模型的流程示意图，如图5B所示，混合训练第一分类模型和第二分类模型的具体步骤如下：

首先在步骤S1421中，将噪声样本划分为标记数据集和未标记数据集。获取的晶圆图像为噪声样本，包含晶圆的粗粒度图像和细粒度图像，将晶圆的粗粒度图像和细粒度图像输入到第一分类模型和第二分类模型中，第一分类模型和第二分类模型对晶圆的缺陷类型进行预测，得到预测缺陷类型及其置信度。然后可利用高斯混合模型进行对样本分布进行混合，尽量模拟晶圆缺陷模型的真实分布，有利于区分标记数据集和未标记数据集。根据置信度划分标记数据集和未标记数据集。标记数据集的置信度大于设定值，未标记数据集的置信度小于设定值。其中设定值可根据工程师的经验进行调整，例如设定值为0.8，即晶圆的缺陷类型的置信度大于0.8可认为是带标记的数据，晶圆的缺陷类型的置信度小于0.8可认为是未带标记的数据。

接着在步骤S1422中，利用第一分类模型和第二分类模型提取标记数据集和未标记数据集的深度特征图谱；步骤S1423中，将第一分类模型和第二分类模型提取的同一样本的深度特征图谱进行融合；以及步骤S1424中，将融合后的深度特征图谱输入到分类器，得到噪声样本的检测结果。将同一个噪声样本输入第一分类模型和第二分类模型，第一分类模型和第二分类模型对同一个噪声样本提取深度特征图谱，并将第一分类模型提取的深度特征图谱和第二分类模型提取的深度特征图谱进行融合，将融合后的深度特征图谱输入到分类器，分类器通过对融合后的深度特征图谱进行判定，得到噪声样本的检测结果。其中将第一分类模型和第二分类模型提取的同一样本对应的深度特征图谱进行融合之前还可将深度特征图谱输入全连接层，多个深度特征图谱经过全连接层后得到一维的深度特征图谱，简化后续的数据处理。

然后在步骤S1425中，根据噪声样本的检测结果确认晶圆缺陷分类模型的整体损失，完成第一分类模型和第二分类模型的混合训练。根据噪声样本的检测结果确认晶圆缺陷分类模型的整体损失。通过整体损失可确认晶圆缺陷分类模型的训练效果，整体损失越小，说明晶圆缺陷分类模型对样本预测的缺陷类型准确率越高，因此可通过整体损失确认训练效果。其中，晶圆缺陷分类模型的整体损失包括协同微调损失、协同估计损失和正则化损失。其中协同估计损失是第一分类模型和第二分类模型对未标记数据集中的预测结果进行合并，协同微调损失是第一分类模型和第二分类模型对标记数据集中的实际标记值与预测标记值进行线性组合，通过对该线性组合的评估，实现对第一分类模型和第二分类模型中参数的训练。训练过程还可包括对第一分类模型和第二分类模型进行正则化处理，得到第一分类模型和第二分类模型的正则化损失，正则化处理可防止在晶圆缺陷类型分类中出现过拟合的现象。

在本申请一实施方式的晶圆检测方法中，通过对晶圆的粗粒度图像和细粒度图像结合的方式，不仅关注晶圆缺陷的整体图像，同时也关注缺陷之间的细节差异；通过少量的纯净样本和一定量的噪声样本可完成对晶圆缺陷分类模型的训练，减少了人力投入，在一定程度上提高了晶圆的缺陷类型分类的准确性，降低了生产成本。

根据本申请的实施例，本申请还提供了一种晶圆的检测***、晶圆检测设备和一种可读存储介质。晶圆检测设备还可包括加工机台，以及晶圆检测***，晶圆检测***设置在加工机台上，用于对晶圆进行检测。

如图6所示，是根据本申请实施例的用于晶圆的检测***的示意图。该***旨在表示设置在各种形式的检测设备中的硬件装置，例如设置在数字计算机中的硬件装置。该检测设备可表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。检测设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备、晶圆加工设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该晶圆的检测***包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的晶圆的检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于晶圆的检测方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于晶圆检测的方法。

存储器602可以包括存储程序区和存储数据区，其中存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据用于控制质量的电子设备的使用所创建的数据等。此外，存储器602可包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至用于晶圆的检测设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用于晶圆的检测***还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与用于控制质量的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。在本申请的实施方式中，输入装置603还可包括探测装置，用于采集晶圆的图像，采集的图像可包括晶圆的粗粒度图像和细粒度图像。

如图7所示，是根据本申请实施例的用于晶圆的检测设备的示意图。该检测设备701可包括上述任一实施例中的检测***，该检测设备701可表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。检测设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备、晶圆加工设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以为分布式***的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。服务器可以为分布式***的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

如上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明。应理解的是，以上所述仅为本发明的具体实施方式，并不用于限制本发明。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等均应包含在本发明的保护范围之内。

Claims (24)

1.一种晶圆的检测方法，其特征在于，所述方法包括：

获取晶圆的第一图像，所述第一图像包含表示所述晶圆的缺陷信息的整体特征；

基于所述第一图像确定所述晶圆的第二图像，所述第二图像包含表示所述晶圆的缺陷信息的细节特征；

将所述整体特征与所述细节特征进行串联融合，以生成融合后的特征；以及

通过晶圆缺陷分类模型对所述融合后的特征进行检测。

2.根据权利要求1所述的方法，其特征在于，基于所述第一图像确定所述晶圆的第二图像的步骤包括：

对所述第一图像中的缺陷特征区域进行定位；以及

对所定位出的缺陷特征的区域进行截取，以获得目标图像作为所述第二图像。

3.根据权利要求2所述的方法，其特征在于，基于所述第一图像确定所述晶圆的第二图像的步骤，包括：

对所述目标图像中的缺陷特征的细节区域进行定位；以及

对所定位出的细节区域进行截取，以获得细节图像作为所述第二图像。

4.根据权利要求2所述的方法，其特征在于，对定位出的所述缺陷特征区域进行截取，以获得目标图像作为所述第二图像的步骤，包括：

基于深度卷积神经网络提取所述晶圆的第一图像的深度特征图谱；

确定所述深度特征图谱上每个位置通道的特征的平均值和所述深度特征图谱的整***置通道的特征的平均值；

确认所述深度特征图谱中位置通道的特征的平均值大于整***置通道的特征的平均值的区域作为目标缺陷区域；以及

截取所述目标缺陷区域的图像作为所述目标图像。

5.根据权利要求4所述的方法，其特征在于，在确认所述深度特征图谱中位置通道的特征的平均值大于整***置通道的特征的平均值的区域作为目标缺陷区域之后，包括：

确定所述目标缺陷区域的最小外包矩形并确认其坐标；

通过反卷积确定所述目标缺陷区域在所述晶圆的第一图像中的位置坐标；以及

根据所述位置坐标截取所述晶圆的第一图像，以作为所述目标图像。

6.根据权利要求3所述的方法，其特征在于，对定位出的所述细节区域进行截取以获得细节图像作为所述第二图像的步骤，包括：

基于深度卷积神经网络提取所述目标图像的深度特征图谱；

确定所述目标图像的深度特征图谱上每个位置通道的特征的平均值；

选取滑动窗口对所述目标图像进行卷积，并根据所述滑动窗口确认至少一个激活窗口，所述激活窗口的深度特征图谱中整***置通道的特征的平均值大于所述深度特征图谱上每个位置通道的特征的平均值；以及

截取所述至少一个激活窗口对应的所述目标图像作为所述细节图像。

7.根据权利要求6所述的方法，其特征在于，选取滑动窗口对所述目标图像进行卷积，并根据所述滑动窗口确认激活窗口之后，对定位出的所述细节区域进行截取以获得细节图像的步骤还包括：

采用非极大值抑制的方式选择所述至少一个激活窗口的区域作为晶圆缺陷图像的细节缺陷区域；

通过反卷积确定所述细节缺陷区域在所述晶圆的目标图像中的位置坐标；以及

截取所述细节缺陷区域的图像作为所述细节图像。

8.根据权利要求1所述的方法，其特征在于，通过晶圆缺陷分类模型对所述融合后的所述特征进行检测，包括：

对所述晶圆的缺陷进行分类，以确定所述晶圆的缺陷类型。

9.根据权利要求1所述的方法，其特征在于，通过晶圆缺陷分类模型对所述融合后的所述特征进行检测之后，包括：

输出检测结果，所述检测结果包括所述晶圆的缺陷类型，与所述晶圆的缺陷类型对应的置信度。

10.根据权利要求1所述的方法，其特征在于，所述晶圆缺陷分类模型包括第一分类模型和第二分类模型，所述第一分类模型和所述第二分类模型进行训练的样本不同。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括单独训练所述晶圆缺陷分类模型的步骤，包括：

将所述晶圆的第一图像和第二图像区分为纯净样本和噪声样本；以及

将所述纯净样本输入到所述第一分类模型，所述噪声样本输入到所述第二分类模型，分别对所述第一分类模型和所述第二分类模型进行训练。

12.根据权利要求11所述的方法，其特征在于，所述纯净样本包括确认缺陷类型的所述第一图像或所述第二图像，用于所述晶圆缺陷分类模型的测试和验证；所述噪声样本包括待确认缺陷类型的所述第一图像或所述第二图像，用于所述晶圆缺陷分类模型的训练。

13.根据权利要求11所述的方法，其特征在于，对所述第一分类模型和所述第二分类模型分别进行训练后还包括对所述第一分类模型和所述第二分类模型进行混合训练，包括：

将所述噪声样本划分为标记数据集和未标记数据集；

利用所述第一分类模型和所述第二分类模型提取所述标记数据集和所述未标记数据集的深度特征图谱；

将所述第一分类模型和所述第二分类模型提取的同一样本的深度特征图谱进行融合；

将融合后的深度特征图谱输入到分类器，得到所述噪声样本的检测结果；以及

根据所述噪声样本的检测结果确认所述晶圆缺陷分类模型的整体损失，完成所述晶圆缺陷的分类模型的训练。

14.根据权利要求13所述的方法，其特征在于，将所述噪声样本划分为标记数据集和未标记数据集的步骤包括：

将所述噪声样本中的所述第一图像或所述第二图像输入到所述第一分类模型和所述第二分类模型；以及

根据所述第一分类模型和所述第二分类模型的预测缺陷类型及置信度将所述噪声样本划分为标记数据集和未标记数据集，其中所述标记数据集的置信度大于设定值，所述未标记数据集的置信度小于设定值。

15.根据权利要求13所述的方法，其特征在于，将同一样本的所述第一分类模型和所述第二分类模型提取的同一样本对应的深度特征图谱进行融合之前，还包括：

将所述深度特征图谱输入全连接层以得到一维的深度特征图谱。

16.根据权利要求13所述的方法，其特征在于，根据所述图像的缺陷类型及概率确认所述晶圆缺陷分类模型的整体损失包括：

根据所述第一分类模型和所述第二分类模型得到的所述标记数据集的缺陷类型及概率进行线性组合，作为协同微调损失；

根据所述第一分类模型和所述第二分类模型预估的所述未标记数据集的缺陷类型及概率进行合并，作为协同估计损失；

对所述第一分类模型和所述第二分类模型进行正则化处理，得到所述第一分类模型和所述第二分类模型的正则化损失；以及

将所述协同微调损失、所述协同估计损失和所述正则化损失融合，作为所述晶圆缺陷的细粒度分类模型的所述整体损失。

17.根据权利要求16所述的方法，其特征在于，所述第一分类模型和所述第二分类模型根据所述深度特征图谱对所述图像的缺陷模型进行分类，并将分类结果进行融合以得到所述噪声样本的检测结果包括：

利用全连接层对所述标记数据集和所述未标记数据集的深度特征图谱进行处理，得到一维深度特征图谱；以及

将所述一维深度特征图谱的特征进行融合后输入到分类器，得到所述晶圆的检测结果。

18.根据权利要求13所述的方法，其特征在于，所述检测结果包括所述晶圆的缺陷类型与其对应的置信度。

19.一种晶圆的检测***，其特征在于，包括：

存储器，用于存储程序指令；以及

处理器，用于与所述存储器通信以执行所述程序指令，从而实现如权利要求1至18中任一项所述的方法。

20.一种晶圆的检测设备，其特征在于，包括：权利要求19所述的检测***。

21.根据权利要求20所述的检测设备，其特征在于，所述检测设备还包括：探测装置，所述探测装置用于采集所述晶圆的图像。

22.根据权利要求21所述的检测设备，其特征在于，所述探测装置用于采集所述晶圆的第一图像和/或所述晶圆的第二图像。

23.根据权利要求20所述的检测设备，其特征在于，所述检测设备包括如下至少一种：计算机、服务器、蜂窝电话、智能电话、可穿戴设备、晶圆加工设备。

24.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-18中任一项所述的方法。

Images