CN109690749A - 用于图像融合的以卷积神经网络为基础的模式选择及缺陷分类 - Google Patents

用于图像融合的以卷积神经网络为基础的模式选择及缺陷分类 Download PDF

Info

Publication number
CN109690749A
CN109690749A CN201780055847.1A CN201780055847A CN109690749A CN 109690749 A CN109690749 A CN 109690749A CN 201780055847 A CN201780055847 A CN 201780055847A CN 109690749 A CN109690749 A CN 109690749A
Authority
CN
China
Prior art keywords
image
scan
defect
cnn
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780055847.1A
Other languages
English (en)
Other versions
CN109690749B (zh
Inventor
B·布拉尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KLA Corp
Original Assignee
KLA Tencor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KLA Tencor Corp filed Critical KLA Tencor Corp
Publication of CN109690749A publication Critical patent/CN109690749A/zh
Application granted granted Critical
Publication of CN109690749B publication Critical patent/CN109690749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Data Mining & Analysis (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明揭示用于使用热扫描及卷积神经网络CNN对缺陷分类的***及方法。由处理器识别主要扫描模式且执行晶片的热扫描。选择所关注缺陷及扰乱点数据且使用一或多种次要扫描模式抓取那些区域的图像。收集图像集且将其划分成子集。使用所述图像子集训练CNN。确定理想次要扫描模式且执行最终热扫描。根据所述最终热扫描及所述理想次要扫描模式CNN对缺陷进行过滤及分类。用于对缺陷分类的所揭示***利用图像数据获取子***，例如扫描电子显微镜以及处理器与电子数据库。

Description

用于图像融合的以卷积神经网络为基础的模式选择及缺陷 分类
相关申请案的交叉参考
本申请案主张2016年9月14日申请的第62/394,744号美国临时申请案的优先权，所述申请案的揭示内容以引用的方式并入本文中。
技术领域
本发明涉及缺陷检测。
背景技术
制造半导体装置(例如逻辑及存储器装置)通常包含使用大量半导体制造工艺处理衬底(例如半导体晶片)以形成所述半导体装置的各种特征及多个层级。举例来说，光刻是一种涉及将图案从主光罩转印到布置于半导体晶片上的光致抗蚀剂的半导体制造工艺。半导体制造工艺的额外实例包含(但不限于)化学机械抛光(CMP)、蚀刻、沉积及粒子植入。多个半导体装置可以一布置制造于单个半导体晶片上且接着分离成个别半导体装置。
在半导体制造工艺期间的各个步骤使用检验过程来检测晶片上的缺陷以促进制造工艺的更高良率及因此更高利润。检验始终是制造半导体装置(例如IC)的重要部分。然而，随着半导体装置的尺寸减小，对成功制造可接受半导体装置来说，检验变得更重要，因为更小缺陷可引起装置发生故障。举例来说，随着半导体装置的尺寸减小，检测大小减小的缺陷已变为必需，因为甚至相对小缺陷可引起半导体装置中的非所要像差。
然而，随着设计规则收紧，半导体制造工艺可更接近于对制造工艺的性能限制而操作。另外，随着设计规则收紧，更小缺陷可对装置的电参数具有影响，这驱使更灵敏检验。因此，随着设计规则收紧，通过检验检测的潜在良率相关缺陷的群体显著地增长，且通过检验检测的扰乱点缺陷的群体还显著地增加。因此，可在晶片上检测到越来越多缺陷，且校正工艺以消除所有缺陷可为困难且昂贵的。因而，确定哪个缺陷实际上对装置的电参数及良率具有影响可允许工艺控制方法集中于那些缺陷同时在很大程度上忽略其它缺陷。此外，在更小设计规则下，工艺引发的故障在一些情况中可趋向于***化。即，工艺引发的故障趋向于在设计内通常重复多次的预定设计图案下失效。消除空间上***化、电相关缺陷是重要的，因为消除此类缺陷可对良率具有显著整体影响。通常无法从上文所描述的检验、重检及分析过程确定缺陷是否将影响装置参数及良率，因为这些过程无法确定缺陷相对于电设计的位置。
一种用来检测缺陷的方法是使用计算机视觉。在计算机视觉中，图像融合是将来自两个或两个以上图像的相关信息组合成单个图像的过程。所得图像应比任何输入图像具有更大信息量。图像融合可使用两种或更多种不同光学模式来区分所关注缺陷与扰乱点(即，噪声)。为图像融合寻找正确模式对是极复杂且耗时的。现有技术方法仅基于属性，例如取决于能量或量值。
测试表明，简单的基于属性的图像融合表现不佳。一个特定误差源是两种模式的图像必须彼此完美对准以适当地执行图像相关。
发明内容
本发明的一个实施例可被描述为一种用于对缺陷分类的方法。所述方法包括识别主要扫描模式。可使用处理器识别所述主要扫描模式。可通过运行热扫描以检测缺陷而识别所述主要扫描模式。
所述方法进一步包括使用所述经识别的主要扫描模式执行第一热扫描。可使用图像数据获取子***执行所述第一热扫描。所述方法进一步包括选择所述第一热扫描中的多个所关注缺陷及扰乱点数据。可使用一或多个次要扫描模式执行一或多个额外扫描。所述一或多个次要扫描模式可基于焦点偏移、光圈、光谱及/或偏光或其任何组合而偏离所述主要扫描模式。每一额外扫描可使用不同次要扫描模式。
所述方法进一步包括处理器收集一或多个图像集。每一图像集包括主要扫描模式图像及一或多个次要扫描模式图像。所述主要扫描模式图像及所述一或多个次要扫描模式图像对应于选定所关注缺陷或扰乱点数据。
在一个实施例中，到CNN的输入是每个选定所关注缺陷及扰乱点数据6个图像。所述图像的大小可为32×32个像素。所述6个图像可包括针对所述主要扫描模式的测试图像、参考图像及差值图像与针对所述次要扫描模式的测试图像、参考图像及差值图像。可通过一或多个整流线性单元层处理所述输入图像。所述整流线性单元层可利用一或多个滤波器。可利用一或多个池化层。最终结果可为完全连接层。
所述方法进一步包括将每一经收集图像集划分成第一图像子集及第二图像子集。所述处理器针对每一对主要扫描模式及次要扫描模式训练卷积神经网络(CNN)。使用所述第一图像子集执行所述训练。在一个实施例中，训练CNN包含使用迁移学习以针对每一CNN产生超参数。
所述方法进一步包括通过将每一CNN应用于对应第二图像子集而确定理想次要扫描模式。可基于所述多个所关注缺陷与扰乱点数据之间的分离而评估每一CNN。使用所述图像数据获取子***及所述理想次要扫描模式执行最终热扫描。
所述方法进一步包括通过使用对应于所述理想次要扫描模式的CNN而对来自所述最终热扫描的缺陷分类以滤除所述最终热扫描中的扰乱点数据。
本发明的另一实施例可被描述为一种用于对缺陷分类的***。所述***可包括图像数据获取子***及与所述图像数据获取子***电子通信的处理器。所述处理器经配置以：识别主要扫描模式；指示所述图像数据获取子***使用所述经识别的主要扫描模式返回第一热扫描；识别所述经返回的第一热扫描中的多个所关注缺陷及扰乱点数据；指示所述图像数据获取子***使用一或多个次要扫描模式返回一或多个扫描；收集一或多个图像集，每一图像集包括对应于选定所关注缺陷或扰乱点数据的主要扫描模式图像及一或多个次要扫描模式图像；将每一经收集图像集划分成第一图像子集及第二图像子集；针对每一对主要扫描模式及次要扫描模式，使用所述对应第一图像子集训练卷积神经网络(CNN)；通过将每一CNN应用于所述对应第二图像子集而确定理想次要扫描模式；指示所述图像数据获取子***使用所述理想次要扫描模式返回最终热扫描；及通过使用对应于所述理想次要扫描模式的所述CNN而对来自所述最终热扫描的缺陷分类以滤除所述最终热扫描中的扰乱点数据。
在一个实施例中，所述***可进一步包括与所述处理器及所述图像数据获取子***电子通信的数据库。所述数据库可经配置以存储来自所述最终热扫描的经分类缺陷。所述数据库还可经配置以存储一或多个CNN。
附图说明
为了更全面理解本发明的性质及目的，应结合附图参考下文详细描述，其中：
图1是说明本发明的一个实施例的流程图；
图2是结合本发明的一个实施例使用的***的***图；
图3是展示非暂时性计算机可读媒体的图，所述非暂时性计算机可读媒体存储可在计算机***上实行以执行本发明的计算机实施方法的程序指令；及
图4是说明一个潜在卷积神经网络(CNN)结构的图。
具体实施方式
尽管将关于某些实施例描述所主张标的物，但其它实施例(包含不提供本文中所陈述的所有优点及特征的实施例)也在本发明的范围内。在不背离本发明的范围的情况下，可作出各种结构、逻辑、过程步骤及电子改变。据此，仅参考所附权利要求书界定本发明的范围。
如本文中所使用，术语“晶片”一般是指由半导体或非半导体材料形成的衬底。此半导体或非半导体材料的实例包含(但不限于)单晶硅、砷化镓及磷化铟。通常在半导体制造设施中发现及/或处理此类衬底。
晶片可包含形成于衬底上的一或多个层。举例来说，此类层可包含(但不限于)光致抗蚀剂、电介质材料及导电材料。在所属领域中已知许多不同类型的此类层，且如本文中所使用的术语晶片希望涵盖包含所有类型的此类层的晶片。
形成于晶片上的一或多个层可经图案化或未经图案化。举例来说，晶片可包含多个裸片，每一裸片具有可重复图案化特征。此类材料层的形成及处理最终可导致完成装置。许多不同类型的装置(例如集成电路(IC))可形成于晶片上，且如本文中所使用的术语晶片希望涵盖其上制造所属领域中已知的任何类型的装置的晶片。如本文中所使用，术语“芯片”可包括针对特定目的而设计的IC的集合。
尽管本文中关于晶片描述实施例，但应理解，实施例可用于另一样品，例如主光罩，光罩通常还可称为掩模或光掩模。在所属领域中已知许多不同类型的主光罩，且如本文中所使用的术语“主光罩”、“掩模”及“光掩模”希望涵盖所属领域中已知的所有类型的主光罩。
检测晶片上的缺陷可涉及使用一或多个光学器件模式，包含使用一或多个光学器件模式及一或多个缺陷检测算法对所述晶片执行热扫描。“热扫描”一般是指晶片的扫描/检验，其经执行以通过应用相对积极检测设定(例如，几乎接近于本底噪声的阈值)而检测晶片上的缺陷。以此方式，热扫描可经执行以收集将用于调谐过程(光学器件选择及算法调谐)的关于晶片的检验数据。热扫描的目的是在选定模式中检测晶片上的所有缺陷及扰乱点类型的代表性样本。
本文中所描述的实施例可包含多个热扫描，举例来说，一个热扫描用于光学器件选择且另一扫描用于参数调谐。可使用针对晶片检验选择的光学模式执行针对参数选择执行的热扫描。选择光学模式可包含运用整体计分进行光学器件选择，其自动计算指定一模式或光学器件模式的组合在抑制给定缺陷集合的扰乱点的同时找到DOI方面的“良好”程度的单个数字。这消除了跨许多模式逐缺陷手动比较信噪比的工作且显著减少光学器件选择时间。
本文中所描述的实施例可利用一组处理器节点，其经配置以使用存储于存储媒体数组中的图像数据及用于晶片的至少一个额外数据源产生晶片的图像。以此方式，所述组处理器节点可经配置以执行多通道图像融合。用于晶片的额外数据源可包含在图像融合时可用的任何信息。此类数据源可包含(但不限于)设计数据、使用设计布局脱机产生的裸片上下文映射(context map)、从图像脱机产生的裸片上下文映射、缺陷检测结果、使用由检验***的不同检测通道产生的图像数据产生的缺陷检测结果、由晶片的多个(不同)扫描(例如，使用检验***的不同成像模式执行的多个扫描)产生的图像数据、关于用来将图案印刷于晶片上的主光罩的信息等。
图像融合可不包含仅覆盖多个数据源(尽管还可通过本文中所描述的实施例执行此覆盖)。代替地，图像融合可包含组合多个数据源以产生合成图像。图像融合还可如在由陈(Chen)等人在2009年1月26日申请、在2010年7月29日公布为第2010/0188657号美国专利申请公开案、以引用方式并入的共同拥有的第12/359,476号美国专利申请案中所描述那样执行。此外，所述组处理器节点可经配置以使用通过图像融合产生的图像检测缺陷。
本发明的实施例使用卷积神经网络以针对图像融合寻找最佳模式对。在一个实施例中，本发明利用复杂方法进行准确对准。举例来说，通过将光学图块图像与渲染设计片段对准允许本发明的实施例以极高准确度预测特定光学图块图像在设计空间中所处的位置。存在用来将线框设计渲染成灰度图像的许多方式。渲染技术可涉及通过考虑检验工具的各种光学组件及财政晶片性质的光学模拟过程传递设计帧。光学组件可包含物镜的数值孔径、用于检验的光的波长、照明中的光学孔径及光收集路径。可使用其它光学组件。可使用晶片性质，例如用于当前及先前设计层的材料、工艺层厚度及来自当前或先前层设计。运用此信息，模拟***对复微分方程式求解且得到数值闭合解以渲染设计以获得灰度图像。本发明的实施例使用CNN以对来自图像融合热扫描的缺陷分类且滤除噪声或其它扰乱点数据。
另外，可使用常规机器学习方法(例如监督式学习)以基于其属性而寻找最佳图像融合模式。可使用图像融合中的次要模式以产生通过主要模式找到的缺陷的属性。可在次要模式及主要模式上使用机器学习技术以寻找最佳分离所关注缺陷与噪声或其它扰乱点数据的属性。
本发明的实施例可实现更好模式选择且改进所关注缺陷与噪声或其它扰乱点数据之间的分离。本发明的实施例可使用扫描及差值图像中的所有信息(不仅使用一些衍生属性)以壮大图像融合的最佳模式对。另外，CNN可在运行时间期间用于缺陷分类。
本发明可被描述为用于对缺陷(例如晶片上的缺陷)分类的方法100。图1中可见说明方法100的流程图。方法100可包括使用处理器识别101主要扫描模式。如本文中所使用，处理器可为单个处理单元或联网在一起的多个处理单元。在一些实施例中，处理器可定位于一或多个物理位置中。在其它实施例中，可使用一或若干基于云端的处理器。
主要扫描模式可是指由图像数据获取子***使用的参数。举例来说，可针对特定晶片或制造工艺预先确定主要扫描模式。在一些实施例中，主要扫描模式可存储于电子存储装置(例如硬盘驱动器或网络驱动器)上。
可通过搜索数据库而以确定哪种主要扫描模式适于特定应用来识别101主要扫描模式。在另一实施例中，可基于先前运行的扫描或图像而识别101主要扫描模式。在一些实施例中，可基于已在其它上下文中成功的经估计扫描参数而识别101主要扫描模式。在一个实施例中，通过运行热扫描以检测缺陷而识别主要扫描模式。
方法100可进一步包括使用经识别的主要扫描模式执行103第一热扫描。可使用图像数据获取子***执行103第一热扫描，下文描述所述图像数据获取子***的实例。通过来自处理器的指令执行103第一热扫描。所述处理器可经配置以发送对应于经识别的主要扫描模式的图像数据获取子***参数。所述处理器还可经配置以响应于处理器的指令而从图像数据获取子***接收数据以执行103第一热扫描。
方法100可进一步包括选择105第一热扫描中的多个所关注缺陷及扰乱点数据。处理器可使用各种缺陷分析工具及缺陷扫描方法选择105第一热扫描中的一或多个所关注缺陷。如本文中所使用，扰乱点数据还可称为噪声或噪声数据。扰乱点数据对应于可指示其中不存在缺陷的所关注缺陷。扰乱点数据还可是指无法被辨认为所关注缺陷或非缺陷的扫描的部分。处理器可选择105多个所关注缺陷及扰乱点数据(其为总所关注缺陷及扰乱点数据的子集)。举例来说，处理器可选择105存在于第一热扫描中的较少所关注缺陷。
方法100可进一步包括使用一或多种次要扫描模式执行107一或多个额外扫描。在一个实施例中，可使用相同图像数据获取子***执行107一或多个额外扫描。在其它实施例中，可使用不同图像数据获取子***执行107一或多个额外扫描。举例来说，不同图像数据获取子***可能够运用不同于初始图像数据获取子***的参数执行107扫描。
一或多个额外扫描可是指使用不同扫描参数执行107的扫描。可以不同速度、距离、孔径、焦点偏移、光谱、偏光等执行107扫描。举例来说，可使用各种扫描参数执行107多个扫描。以此方式，可执行107多个额外扫描，每一扫描使用不同扫描参数集收集图像数据。经收集图像数据可同与第一热扫描中的选定所关注缺陷及扰乱点数据相同的位置相关联。在一个实施例中，仅可在对应于选定105多个所关注缺陷及扰乱点数据的位置中执行107额外扫描。
方法100可进一步包括针对一或多个次要扫描模式中的每一者收集109一或多个图像集。每一图像集中的图像可对应于选定105多个所关注缺陷及扰乱点数据。处理器可从额外执行107的扫描收集109一或多个图像集。一或多个图像集可包括如在一个额外执行107的扫描中记录的所关注缺陷或扰乱点数据的图像集。每一图像集可包括对应于选定所关注缺陷或扰乱点数据的主要扫描模式图像及一或多个次要扫描模式图像。
举例来说，图像集可含有对应于使用主要扫描模式定位的所关注缺陷区域的区域的图像。图像集中的每一图像的区域可具有相同大小，例如32×32个像素。在其它实施例中，图像集中的每一图像的区域可具有不同大小。图像集中的图像可含有与所关注缺陷、扰乱点数据或两者相关的图像数据。所关注缺陷可类似于图像集中的每一图像。在其它实施例中，所关注缺陷可为不同类型的缺陷。
方法100可进一步包括将每一经收集109图像集划分111成第一图像子集及第二图像子集。处理器可自动划分111每一经收集109图像集。处理器可将图像集划分111成两个相等子集。在一些实施例中，处理器可将图像集划分111成较大子集及较小子集。在其它实施例中，处理器可例如通过跨每一图像集将表示晶片的相同区域的图像分组成相同子集而以相同方式划分111每一经收集109图像集。在其它实施例中，划分111可为随机化。在一些实施例中，可从单个图像集产生多个图像子集。举例来说，可产生三个或三个以上子集。在另一实施例中，可产生第一子集及第二子集的多个版本。
在一个实施例中，可在逐对基础上执行划分111。举例来说，使P1包括与主要扫描模式相关的一或多个图像且使S1、…、SN各自包括与第N扫描模式相关的一或多个图像。经收集109图像集可划分111成包括P1S1、P1S2、…、P1SN的集合。在另一实施例中，可在多对基础上执行划分111。经收集109图像集可划分111成包括P1S1S2S3、P1S4S5S6、P1S2S4S6、P1S1S3S5等的集合。
方法100可进一步包括使用处理器针对每一次要扫描模式训练113CNN。可使用对应第一图像子集执行训练113。在其它实施例中，可使用对应第二图像子集执行训练113。可针对每一对主要扫描模式与一个次要扫描模式及/或主要扫描模式与许多次要扫描模式训练113每一CNN。
CNN是一种前馈式人工神经网络，其中其神经元(即，像素集群)之间的连接模式受动物视觉皮层的组织启发。个别皮层神经元响应于称为感受域的受限空间区域中的刺激。不同神经元的感受域部分重叠使得其拼接视域。个别神经元对其感受域内的刺激的响应可在数学上通过卷积运算近似计算。
CNN可包括感受域的多个层。这些是处理所述输入图像的部分的小神经元集合。这些集合的输出接着经拼接使得其输入区域重叠，以获得原始图像的更好表示。这可对每一此层重复。拼接允许CNN容忍输入图像的平移。CNN可具有神经元的3D体积。CNN的层可具有以三维布置的神经元：宽度、高度及深度。层内部的神经元仅连接到所述层前方的小区域(称为感受域)。相异类型的层(局部连接及完全连接两者)经堆叠以形成CNN架构。CNN通过在相邻层的神经元之间施行局部连接模式而利用空间局部相关。所述架构因此确保学***移不变性的性质。
这些性质一起允许卷积神经网络实现视觉问题的更好一般化。权重共享还通过显著减少所学习的自由参数的数目来起到帮助作用，因此降低对运行网络的存储器需求。减小存储器占用量允许训练更大、更强大网络。CNN可包含组合神经元集群的输出的局部或全局池化层。池化层还可由卷积且完全连接层的各种组合组成，其中在每一层的末端或每一层之后施加逐点非线性。引入对小输入区域的卷积运算以减少自由参数的数目且改进一般化。卷积网络的一个优点是在卷积层中使用共享权重，这意味着相同滤波器(权重库)用于层中的每一像素。这还减小存储器占用量且改进性能。
CNN架构可由相异层的堆叠形成，所述层通过可微分函数将输入体积变换成输出体积(例如，保持类别分数)。可使用少数相异类型的层。卷积层具有由一组可学习滤波器(或核心)组成的各种参数，所述组可学习滤波器具有小感受域，但延伸通过输入体积的全深度。在前向传递期间，每一滤波器可跨输入体积的宽度及高度卷积，从而计算滤波器的条目与输入之间的点积且产生所述滤波器的二维激活映射。因此，网络学习在其于输入中的某个空间位置处看见某种特定类型的特征时激活的滤波器。通过堆叠沿深度维度的所有滤波器的激活映射，形成卷积层的全输出体积。输出体积中的每一条目因此还可被解释为查看输入中的小区域且与相同激活映射中的神经元共享参数的神经元的输出。
在处理高维度输入(例如图像)时，将神经元连接到先前体积中的所有神经元可为不切实际的，因为此网络架构未考虑数据的空间结构。CNN可通过在相邻层的神经元之间施行局部连接模式而利用空间局部相关。举例来说，每一神经元仅连接到输入体积的小区域。此连接程度是称为神经元的感受域的超参数。连接在空间中可为局部的(沿宽度及高度)，但始终沿输入体积的整个深度延伸。此架构确保经学习滤波器产生对空间局部输入图案的最强响应。在一个实施例中，训练113CNN包含使用迁移学习以针对每一CNN产生超参数。迁移学习可包含对极大数据集训练CNN且接着将经训练CNN权重用作用于所关注任务的初始化或固定特征提取器。
三个超参数控制卷积层的输出体积的大小：深度、步幅及补零。输出体积的深度控制层中连接到输入体积的相同区域的神经元的数目。所有这些神经元将学习针对输入中的不同特征激活。举例来说，如果第一CNN层将原始图像视为输入，那么沿深度维度的不同神经元可在存在色彩的各种定向边缘或斑点时激活。步幅控制如何分配围绕空间维度(宽度及高度)的深度列。在步幅是1时，将仅隔1个空间单位将新神经元深度列分配到空间位置。此导致列之间的感受域严重重叠，且还导致大输出体积。相反地，如果使用更高步幅，那么感受域将更少重叠且所得输出体积将具有更小空间尺寸。有时，在输入体积边界上用零填补输入是方便的。此补零的大小是超第三参数。补零提供输出体积空间大小的控制。特定来说，有时可期望确切地保存输入体积的空间大小。
在一些实施例中，可在层中使用参数共享方案来控制自由参数的数目。如果一个图块特征可用于在某个空间位置处计算，那么其还可用于在不同位置处计算。换句话说，将单个二维深度切片表示为深度切片，每一深度切片中的神经元可限于使用相同权重及偏置。
由于单个深度切片中的所有神经元可共享相同参数化，因此层的每一深度切片中的前向传递可计算为用输入体积卷积神经元权重。因此，常见的是，将权重集合称为滤波器(或核心)，其为用输入卷积。此卷积的结果是激活映射，且每一不同滤波器的激活映射集合沿深度维度堆叠在一起以产生输出体积。
有时，例如在到CNN的输入图像具有某个特定居中结构(其中预期在不同空间位置上学习完全不同特征)时，参数共享可能并非有效。
CNN的另一重要概念是池化，其为非线性下取样的形式。存在用来实施池化的若干非线性函数，在所述函数当中最大池化是1。最大池化将输入图像分隔成一组非重叠矩形且针对每一此子区域输出最大值。一旦已找到特征，其确切位置可并非如其相对于其它特征的大致位置那样重要。池化层的功能可为逐渐减小表示的空间大小以减少网络中的参数及计算的量，且因此还控制过度拟合。池化层可定位于CNN架构中的连续卷积层之间。
CNN中的另一层可为ReLU(经整流线性单元)层。这是应用非饱和激活函数的神经元层。ReLU层可增加决策函数及整个网络的非线性性质而不影响卷积层的感受域。
最后，在若干卷积及/或最大池化层之后，经由完全连接层完成神经网络中的高阶推理。完全连接层中的神经元具有到先前层中的所有激活的连接。其激活因此可运用矩阵乘法接着偏置偏移来计算。
在一些实施例中，可利用丢弃技术来防止过度拟合。如本文中所提及，丢弃技术是一种用于通过防止对训练数据的复杂互相适应而减少神经网络中的过度拟合的正则化技术。术语“丢弃”是指丢弃神经网络中的单元(隐藏及可见两者)。举例来说，在每一训练阶段，个别节点可从CNN“丢弃”的概率是1-p或被保留的概率是p，使得保持经减小CNN。在一些实施例中，还可移除到经丢弃节点的传入及传出边缘。仅训练经减小CNN。接着经移除CNN可以其原始权重重新***到网络中。
在训练阶段中，隐藏节点将被保留(即，不丢弃)的g概率可为近似0.5。对于输入节点，保持概率可更高。通过避免以所有训练数据训练所有节点，丢弃减小CNN中的过度拟合且显著改进训练的速度。
可在本发明的实施例中使用许多不同类型的CNN。可基于特定扫描模式或环境而使用不同CNN。CNN的配置可基于晶片、图像数据获取子***或预定参数而改变。
方法100可进一步包括确定115理想次要扫描模式。可通过将每一CNN应用于对应第二图像子集而确定115理想次要扫描模式。可通过比较每一CNN的输出而确定115理想次要扫描模式。举例来说，理想次要扫描模式可与其输出中具有最高信噪比的CNN相关联。在另一实例中，理想次要扫描模式可与具有最高所关注缺陷识别率的CNN相关联。在另一实例中，理想次要扫描模式可与具有最低输出扰乱点数据量的CNN相关联。在另一实施例中，基于多个所关注缺陷与扰乱点数据之间的分离而评估CNN。
方法100可进一步包括使用理想次要扫描模式执行117最终热扫描。可使用相同图像数据获取子***或不同图像数据获取子***执行117最终热扫描。可以较高速度或使用引起较低信噪比的参数执行117最终热扫描。在一些实施例中，可仅扫描对应于所关注效应位置的数据。在其它实施例中，可扫描整个晶片。
方法100可进一步包括使用对应于理想次要扫描模式的CNN对来自最终热扫描的缺陷分类119以滤除最终热扫描中的扰乱点数据。可基于类型、位置、严重性或任何其它目标参数而对缺陷分类119。
尽管可使用许多类型的CNN，但与本文所揭示方法兼容的例示性CNN可如图4中所展示。针对一个扫描模式的输入层可经配置以接收6个图像。所述6个图像可包括针对主要扫描模式的测试图像、参考图像及差值图像与针对一个次要扫描模式的测试图像、参考图像及差值图像。所述图像可表示所关注缺陷及/或扰乱点数据。所述图像的大小可为32×32。举例来说，可使用5个5×5×6滤波器对输入层卷积。在5次卷积期间或之后可包含任选ReLU层。这些卷积的结果是第一激活映射。第一激活映射可为5×28×28。可对第一激活映射执行卷积，举例来说，使用10个3×3×6滤波器执行卷积。在10次卷积期间或之后可包含任选ReLU层。所得层可为第二激活映射。第二激活映射可为10×26×26。可执行额外卷积直到已建立完全连接层。可根据需要使用补零及池化层。替代地，设计片段可添加为导致32×32×7输入层堆叠的输入。
本发明的另一实施例可被描述为一种用于对缺陷分类的***。所述***可包括图像数据获取子***及与所述图像数据获取子***电子通信的处理器。
所述处理器可经配置以：识别主要扫描模式；指示所述图像数据获取子***使用所述经识别的主要扫描模式返回第一热扫描；识别所述经返回的第一热扫描中的多个所关注缺陷及扰乱点数据；指示所述图像数据获取子***使用一或多个次要扫描模式返回一或多个额外扫描；收集针对所述一或多个次要扫描模式中的每一者的一或多个图像集，每一图像集中的图像对应于所述经识别的多个所关注缺陷及扰乱点数据；将每一经收集图像集划分成第一图像子集及第二图像子集；针对每一次要扫描模式，运用所述对应第一图像子集训练CNN；通过将每一CNN应用于所述对应第二图像子集而确定理想次要扫描模式；指示所述图像数据获取子***使用所述理想次要扫描模式返回最终热扫描；及通过使用对应于所述理想次要扫描模式的所述CNN而对来自所述最终热扫描的缺陷分类以滤除所述最终热扫描中的扰乱点数据。在一个实施例中，所述***可进一步包括与所述处理器及所述图像数据获取子***电子通信的数据库。所述数据库可经配置以存储来自所述最终热扫描或CNN的经分类缺陷。
在一个实施例中，使用由主光罩检验***产生的主光罩的图像作为图像数据空间中的图像数据。以此方式，可使用由主光罩检验***产生的图像或主光罩作为图像数据的替代。在此实施例中使用的主光罩的图像可包含由所属领域中已知的任何主光罩检验***以任何合适方式产生的主光罩的任何合适图像。举例来说，主光罩的图像可为分别由高放大率光学主光罩检验***或基于电子束的主光罩检验***获取的主光罩的高放大率光学或电子束图像。替代地，主光罩的图像可为由空中成像光罩检验***获取的光罩的空中图像。
在一个实施例中，使用检验***来收集图像数据。举例来说，本文中所描述的光学及电子束输出获取子***可配置为检验***。在另一实施例中，图像数据获取子***是缺陷重检***。举例来说，本文中所描述的光学及电子束输出获取子***可配置为缺陷重检***。在进一步实施例中，图像数据获取子***是度量***。举例来说，本文中所描述的光学及电子束输出获取子***可配置为度量***。特定来说，本文中所描述且图2中所展示的输出获取子***的实施例可取决于其将用于的应用而修改一或多个参数以提供不同成像能力。在一个此实例中，如果图2中所展示的图像数据获取子***用于缺陷重检或度量而非用于检验，那么其可经配置以具有较高分辨率。话句话说，图2中所展示的图像数据获取子***的实施例描述图像数据获取子***的一些一般及各种配置，可以将对所属领域的技术人员显而易见的数种方式定制所述图像数据获取子***以产生具有更适于或较不适于不同应用的不同成像能力的输出获取子***。
本发明的***及方法可利用经配置用于样品(例如晶片及主光罩)的检验、缺陷重检及度量的输出获取子***、缺陷重检输出获取子***及度量图像数据获取子***。举例来说，本文中所描述的实施例可经配置以出于掩模检验、晶片检验及晶片度量目的而使用扫描电子显微镜(SEM)及光学图像两者。特定来说，本文中所描述的实施例可安装于计算机节点或计算机集群上，所述计算机节点或计算机集群是图像数据获取子***(例如宽带等离子体检验器、电子束检验器或缺陷重检工具、掩模检验器、虚拟检验器等)的组件或耦合到所述图像数据获取子***。以此方式，本文中所描述的实施例可产生可用于各种应用(包含(但不限于)晶片检验、掩模检验、电子束检验及重检、度量等)的输出。如上文所描述，图2中所展示的输出获取子***的特性可基于将针对其产生实际输出的样品而修改。
此子***包含图像数据获取子***，其包含至少能量源及检测器。所述能量源经配置以产生引导到晶片的能量。所述检测器经配置以从所述晶片检测能量且响应于所述经检测能量而产生输出。
在一个实施例中，引导到晶片的能量可包含光，且从晶片检测的能量包含光。举例来说，在图2中所展示的***的实施例中，图像数据获取子***10包含经配置以将光引导到晶片14的照明子***。照明子***包含至少一个光源。举例来说，如图2中所展示，照明子***包含光源16。在一个实施例中，照明子***经配置以按一或多个入射角(其可包含一或多个斜角及/或一或多个法线角)将光引导到晶片。举例来说，如图2中所展示，来自光源16的光经引导穿过光学元件18且接着穿过透镜20到光束分离器21，所述光束分离器21按法线入射角将光引导到晶片14。入射角可包含任何合适入射角，其可例如取决于晶片的特性而改变。
照明子***可经配置以在不同时间按不同入射角将光引导到晶片。举例来说，图像数据获取子***可经配置以更改照明子***的一或多个元件的一或多个特性使得光可按不同于图2中所展示的入射角的入射角引导到晶片。在一个此实例中，图像数据获取子***可经配置以移动光源16、光学元件18及透镜20使得光按不同入射角引导到晶片。
在一些例子中，图像数据获取子***可经配置以在相同时间按一个以上入射角将光引导到晶片。举例来说，照明子***可包含一个以上照明通道，所述照明通道中的一者可包含如图2中所展示的光源16、光学元件18及透镜20且所述照明通道中的另一者(未展示)可包含类似元件，所述元件可不同地或相同地配置，或可包含至少光源及(可能)一或多个其它组件，例如本文中进一步描述的那些组件。如果此光在与其它光相同的时间被引导到晶片，那么按不同入射角引导到晶片的光的一或多个特性(例如，波长、偏光等)可不同使得源自按不同入射角照明晶片的光可在检测器处彼此区别。
在另一例子中，照明子***可仅包含一个光源(例如，图2中所展示的光源16)且来自光源的光可通过照明子***的一或多个光学元件(未展示)分离成不同光学路径(例如，基于波长、偏光等)。接着可将每一不同光学路径中的光引导到晶片。多个照明通道可经配置以在相同时间或在不同时间(例如，当使用不同照明通道以循序地照明晶片时)将光引导到晶片。在另一例子中，相同照明通道可经配置以在不同时间将具有不同特性的光引导到晶片。举例来说，在一些例子中，光学元件18可配置为光谱滤波器且所述光谱滤波器的性质可以各种不同方式(例如，通过换出所述光谱滤波器)改变使得不同波长的光可在不同时间引导到晶片。照明子***可具有所属领域中已知的用于循序或同时将具有不同或相同特性的光以不同或相同入射角引导到晶片的任何其它合适配置。
在一个实施例中，光源16可包含宽带等离子体(BBP)光源。以此方式，由光源产生且引导到晶片的光可包含宽带光。然而，光源可包含任何其它合适光源，例如激光。激光可包含所属领域中已知的任何合适激光且可经配置以产生所属领域中已知的任何合适波长的光。另外，激光可经配置以产生单色或近单色光。以此方式，激光可为窄带激光。光源还可包含产生多个离散波长或波带的光的多色光源。
来自光学元件18的光可通过透镜20聚焦到光束分离器21。尽管透镜20在图2中被展示为单个折射光学元件，但应理解，在实践中，透镜20可包含以组合方式将光从光学元件聚焦到晶片的数个折射及/或反射光学元件。图2中所展示且本文中所描述的照明子***可包含任何其它合适光学元件(未展示)。此类光学元件的实例包含(但不限于)偏光组件、光谱滤波器、空间滤波器、反射光学元件、变迹器、光束分离器、光圈及类似者，其可包含所属领域中已知的任何此类合适光学元件。另外，***可经配置以基于待用于输出获取的照明的类型而更改照明子***的一或多个元件。
图像数据获取子***还可包含经配置以引起光扫描遍及晶片的扫描子***。举例来说，图像数据获取子***可包含载物台22，在输出获取期间晶片14安置于载物台22上。扫描子***可包含可经配置以移动晶片使得光可扫描遍及晶片的任何合适机械及/或机器人组合件(包含载物台22)。另外或替代地，图像数据获取子***可经配置使得图像数据获取子***的一或多个光学元件执行光遍及晶片的某一扫描。可以任何合适方式使光扫描遍及晶片。
图像数据获取子***进一步包含一或多个检测通道。一或多个检测通道中的至少一者包含检测器，所述检测器经配置以归因于通过图像数据获取子***照明晶片而从晶片检测光且响应于经检测光产生输出。举例来说，图2中所展示的图像数据获取子***包含两个检测通道，一个检测通道由集光器24、元件26及检测器28形成且另一检测通道由集光器30、元件32及检测器34形成。如图2中所展示，两个检测通道经配置以按不同收集角收集且检测光。在一些例子中，一个检测通道经配置以检测光谱反射的光，且另一检测通道经配置以检测并非从晶片光谱反射(例如，散射、衍射等)的光。然而，两个或两个以上检测通道可经配置以从晶片检测相同类型的光(例如，光谱反射的光)。尽管图2展示包含两个检测通道的图像数据获取子***的实施例，但图像数据获取子***可包含不同数目个检测通道(例如，仅一个检测通道，或两个或两个以上检测通道)。尽管每一集光器在图2中被展示为单个折射光学元件，但应理解，每一集光器可包含一或多个折射光学元件及/或一或多个反射光学元件。
所述一或多个检测通道可包含所属领域中已知的任何合适检测器。举例来说，所述检测器可包含光电倍增管(PMT)、电荷耦合装置(CCD)及延时积分(TDI)相机。所述检测器还可包含所属领域中已知的任何其它合适检测器。所述检测器还可包含非成像检测器或成像检测器。以此方式，如果检测器是非成像检测器，那么每一检测器可经配置以检测散射光的某些特性(例如强度)但不可经配置以检测依据成像平面内的位置而变化的此类特性。因而，由包含于图像数据获取子***的每一检测通道中的每一检测器产生的输出可为信号或数据，而非图像信号或图像数据。在此类例子中，计算机子***(例如计算机子***36)可经配置以从检测器的非成像输出产生晶片的图像。然而，在其它例子中，检测器可经配置为经配置以产生图像信号或图像数据的成像检测器。因此，***可经配置以按数个方式产生本文中描述的图像。
应注意，本文中提供图2以大体上说明可包含于本文中所描述的***实施例中的图像数据获取子***的配置。显然，本文中所描述的图像数据获取子***布置可经更改以如在设计商业***时通常执行那样优化***的性能。另外，可使用例如商业上可购自科磊公司(KLA-Tencor)的工具的现有输出获取***(例如，通过将本文中描述的功能性添加到现有输出获取***)实施本文中描述的***。对于一些此类***，本文中描述的实施例可提供为***的任选功能性(例如，除了输出获取***的其它功能性的外)。替代地，可“从头开始”设计本文中描述的***以提供全新***。
***的计算机子***36可以任何合适方式(例如，经由一或多个传输媒体，其可包含“有线”及/或“无线”传输媒体)耦合到图像数据获取子***的检测器，使得所述计算机子***可在扫描晶片期间接收由检测器产生的输出。计算机子***36可经配置以使用如本文中所描述的检测器的输出执行多个功能且执行本文中进一步描述的任何其它功能。此计算机子***可如本文中所描述那样进一步配置。
此计算机子***(以及本文中描述的其它计算机子***)在本文中还可称为计算机***。本文中描述的计算机子***或***中的每一者可采取各种形式，包含个人计算机***、图像计算机、主计算机***、工作站、网络设备、因特网设备或其它装置。一般来说，术语“计算机***”可经广泛定义以涵盖具有实行来自存储器媒体的指令的一或多个处理器的任何装置。计算机子***或***还可包含所属领域中已知的任何合适处理器(例如平行处理器)。另外，所述计算机子***或所述***可包含具有高速处理及软件的计算机平台(作为独立工具或网络工具)。
如果***包含一个以上计算机子***，那么不同计算机子***可彼此耦合使得可在如本文中进一步描述的计算机子***之间发送图像、数据、信息、指令等。举例来说，计算机子***36可通过可包含所属领域中已知的任何合适有线及/或无线传输媒体的任何合适传输媒体耦合到计算机子***102。两个或两个以上此类计算机子***还可通过共享计算机可读存储媒体(未展示)而有效耦合。
额外实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可在计算机***上实行以执行用于模式选择及图像融合的计算机实施方法。图3中展示一个此实施例。特定来说，如图3中所展示，非暂时性计算机可读媒体1800包含可在计算机***1804上实行的程序指令1802。计算机实施方法可包含本文中所描述的任何方法的任何步骤。
实施方法(例如本文中所描述的那些方法)的程序指令1802可存储于计算机可读媒体1800上。所述计算机可读媒体可为存储媒体，例如所属领域中已知的磁盘或光盘、磁带或任何其它合适非暂时性计算机可读媒体。
可以各种方式(包含基于程序的技术、基于组件的技术及/或面向对象技术等等)的任何者实施程序指令。举例来说，可根据需要使用ActiveX控件、C++对象、JavaBeans、微软基础类别(“MFC”)、SSE(流式SIMD扩展)或其它技术或方法论实施程序指令。
计算机***1804可根据本文中所描述的任何实施例而配置。
尽管已关于一或多个特定实施例描述本发明，但将理解，在不背离本发明的精神及范围的情况下，可制成本发明的其它实施例。因此，本发明被视为仅受所附权利要求书及其合理解释限制。

Claims (19)

1.一种用于对缺陷分类的方法，其包括：
使用处理器，识别主要扫描模式；
使用图像数据获取子***运用所述经识别的主要扫描模式执行第一热扫描；
使用所述处理器选择所述第一热扫描中的多个所关注缺陷及扰乱点数据；
使用所述图像数据获取子***运用一或多个次要扫描模式执行一或多个额外扫描；
使用所述处理器收集一或多个图像集，每一图像集包括对应于选定所关注缺陷或扰乱点数据的主要扫描模式图像及一或多个次要扫描模式图像；
使用所述处理器将每一经收集图像集划分成第一图像子集及第二图像子集；
使用所述处理器针对每一对主要扫描模式及次要扫描模式运用所述对应第一图像子集训练卷积神经网络CNN；
使用所述处理器通过将每一CNN应用于所述对应第二图像子集而确定理想次要扫描模式；
使用所述图像数据获取子***运用所述理想次要扫描模式执行最终热扫描；及
使用所述处理器通过使用对应于所述理想次要扫描模式的所述CNN而对来自所述最终热扫描的缺陷分类以滤除所述最终热扫描中的扰乱点数据。
2.根据权利要求1所述的方法，其中通过运行热扫描以检测缺陷而识别所述主要扫描模式。
3.根据权利要求1所述的方法，其中两个或两个以上次要扫描模式基于焦点偏移而偏离所述主要扫描模式。
4.根据权利要求1所述的方法，其中所述一或多个次要扫描模式基于光圈而偏离所述主要扫描模式。
5.根据权利要求1所述的方法，其中所述两个或两个以上次要扫描模式基于光谱而偏离所述主要扫描模式。
6.根据权利要求1所述的方法，其中所述两个或两个以上次要扫描模式基于偏光而偏离所述主要扫描模式。
7.根据权利要求1所述的方法，其中训练所述CNN的步骤包含使用迁移学习以针对每一CNN产生超参数。
8.根据权利要求1所述的方法，其中基于所述多个所关注缺陷与扰乱点数据之间的分离而评估每一CNN。
9.根据权利要求1所述的方法，其中每一额外扫描使用不同次要扫描模式。
10.根据权利要求1所述的方法，其中到所述CNN的输入是每个选定所关注缺陷及扰乱点数据6个图像。
11.根据权利要求10所述的方法，其中所述图像的大小是32×32个像素。
12.根据权利要求10所述的方法，其中所述6个图像包括针对所述主要扫描模式的测试图像、参考图像及差值图像与针对所述次要扫描模式中的一者的测试图像、参考图像及差值图像。
13.根据权利要求1所述的方法，其中通过一或多个经整流线性单元层处理所述输入图像。
14.根据权利要求13所述的方法，其中所述经整流线性单元层利用一或多个滤波器。
15.根据权利要求13所述的方法，其中最终结果是完全连接层。
16.根据权利要求13所述的方法，其中利用一或多个池化层。
17.一种用于对缺陷分类的***，其包括：
图像数据获取子***；及
处理器，其与所述图像数据获取子***电子通信，所述处理器经配置以：
识别主要扫描模式；
指示所述图像数据获取子***使用所述经识别的主要扫描模式返回第一热扫描；
识别所述经返回的第一热扫描中的多个所关注缺陷及扰乱点数据；
指示所述图像数据获取子***使用一或多个次要扫描模式返回一或多个扫描；
收集一或多个图像集，每一图像集包括对应于选定所关注缺陷或扰乱点数据的主要扫描模式图像及一或多个次要扫描模式图像；
将每一经收集图像集划分成第一图像子集及第二图像子集；
针对每一对主要扫描模式及次要扫描模式运用所述对应第一图像子集训练卷积神经网络CNN；
通过将每一CNN应用于所述对应第二图像子集而确定理想次要扫描模式；
指示所述图像数据获取子***使用所述理想次要扫描模式返回最终热扫描；及
通过使用对应于所述理想次要扫描模式的所述CNN而对来自所述最终热扫描的缺陷分类以滤除所述最终热扫描中的扰乱点数据。
18.根据权利要求17所述的***，其进一步包括与所述处理器及所述图像数据获取子***电子通信的数据库，所述数据库经配置以存储来自所述最终热扫描的经分类缺陷。
19.根据权利要求18所述的***，其中所述数据库还经配置以存储一或多个CNN。
CN201780055847.1A 2016-09-14 2017-09-13 用于图像融合的以卷积神经网络为基础的模式选择及缺陷分类 Active CN109690749B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662394744P 2016-09-14 2016-09-14
US62/394,744 2016-09-14
US15/371,882 US10115040B2 (en) 2016-09-14 2016-12-07 Convolutional neural network-based mode selection and defect classification for image fusion
US15/371,882 2016-12-07
PCT/US2017/051405 WO2018053031A1 (en) 2016-09-14 2017-09-13 Convolutional neural network-based mode selection and defect classification for image fusion

Publications (2)

Publication Number Publication Date
CN109690749A true CN109690749A (zh) 2019-04-26
CN109690749B CN109690749B (zh) 2020-05-29

Family

ID=61560270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780055847.1A Active CN109690749B (zh) 2016-09-14 2017-09-13 用于图像融合的以卷积神经网络为基础的模式选择及缺陷分类

Country Status (8)

Country Link
US (1) US10115040B2 (zh)
JP (1) JP6901565B2 (zh)
KR (1) KR102235581B1 (zh)
CN (1) CN109690749B (zh)
IL (1) IL264874B (zh)
SG (1) SG11201901334SA (zh)
TW (1) TWI733900B (zh)
WO (1) WO2018053031A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109239075A (zh) * 2018-08-27 2019-01-18 北京百度网讯科技有限公司 电池检测方法及装置
CN113610747A (zh) * 2020-05-04 2021-11-05 应用材料以色列公司 自动地选择算法模块来检验样本
CN114599934A (zh) * 2019-10-31 2022-06-07 卡尔蔡司Smt有限责任公司 用于测量har结构的形状偏差的fib-sem 3d断层成像术
CN114600156A (zh) * 2019-10-24 2022-06-07 科磊股份有限公司 用于滋扰滤波的深度学习网络

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740939B1 (en) * 2016-12-09 2020-08-11 Snap Inc. Fast image style transfers
JP6668278B2 (ja) 2017-02-20 2020-03-18 株式会社日立ハイテク 試料観察装置および試料観察方法
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
WO2019159324A1 (ja) * 2018-02-16 2019-08-22 パナソニックＩｐマネジメント株式会社 処理方法およびそれを利用した処理装置
US10599951B2 (en) * 2018-03-28 2020-03-24 Kla-Tencor Corp. Training a neural network for defect detection in low resolution images
US11151711B2 (en) * 2018-06-06 2021-10-19 Kla-Tencor Corporation Cross layer common-unique analysis for nuisance filtering
CN110663971B (zh) * 2018-07-02 2022-03-29 天津工业大学 基于双分支深度融合卷积神经网络的红枣品质分类方法
CN109003239B (zh) * 2018-07-04 2022-03-29 华南理工大学 一种基于迁移学习神经网络的多光谱图像锐化方法
EP3598474A1 (en) * 2018-07-19 2020-01-22 FEI Company Adaptive specimen image acquisition using an artificial neural network
US11668655B2 (en) 2018-07-20 2023-06-06 Kla Corporation Multimode defect classification in semiconductor inspection
TWI690859B (zh) * 2018-09-10 2020-04-11 陳柏蒼 利用圖形辨識量測水位之方法及其系統
US10867108B2 (en) 2018-09-18 2020-12-15 Taiwan Semiconductor Manufacturing Co., Ltd. Optical mode optimization for wafer inspection
CN109492628B (zh) * 2018-10-08 2021-11-16 杭州电子科技大学 一种应用于课堂违纪抓取的球形定位***的实现方法
US11263738B2 (en) 2018-10-19 2022-03-01 Genentech, Inc. Defect detection in lyophilized drug products with convolutional neural networks
CN109115805A (zh) * 2018-10-25 2019-01-01 广东华中科技大学工业技术研究院 基于超声和光学双成像的透明构件缺陷检测装置及方法
CN111356914B (zh) * 2018-10-27 2023-05-05 合刃科技（深圳）有限公司 一种检测方法和检测装置
CN109598287B (zh) * 2018-10-30 2021-06-08 中国科学院自动化研究所 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法
US11151707B2 (en) 2018-12-07 2021-10-19 Kla Corporation System and method for difference filter and aperture selection using shallow deep learning
TWI694414B (zh) * 2018-12-18 2020-05-21 國立成功大學 卷積神經網路分析方法、電腦程式產品與電子裝置
US11010885B2 (en) 2018-12-18 2021-05-18 Kla Corporation Optical-mode selection for multi-mode semiconductor inspection
US11379967B2 (en) 2019-01-18 2022-07-05 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features
CN109902584B (zh) * 2019-01-28 2022-02-22 深圳大学 一种口罩缺陷的识别方法、装置、设备及存储介质
KR102592253B1 (ko) * 2019-02-15 2023-10-24 주식회사 히타치하이테크 구조 추정 시스템, 구조 추정 프로그램
CN112001211B (zh) * 2019-05-27 2024-04-19 商汤集团有限公司 对象检测方法、装置、设备及计算机可读存储介质
CN110246131A (zh) * 2019-06-21 2019-09-17 成都卡普数据服务有限责任公司 基于卷积神经网络的导线分股缺陷图像识别方法
US11151412B2 (en) * 2019-07-01 2021-10-19 Everseen Limited Systems and methods for determining actions performed by objects within images
US11527005B2 (en) 2019-07-22 2022-12-13 Samsung Electronics Co., Ltd. Video depth estimation based on temporal attention
WO2021040409A1 (ko) * 2019-08-27 2021-03-04 삼성전자 주식회사 광학 검사 방법 및 이를 이용한 장치
US11580650B2 (en) 2019-10-01 2023-02-14 KLA Corp. Multi-imaging mode image alignment
US11415531B2 (en) 2019-10-11 2022-08-16 KLA Corp. Statistical learning-based mode selection for multi-mode inspection
CA3161159A1 (en) 2019-11-12 2021-05-20 Bright Machines, Inc. Image analysis system for testing in manufacturing
US20210158223A1 (en) * 2019-11-22 2021-05-27 Kla Corporation Finding Semiconductor Defects Using Convolutional Context Attributes
JP2021089219A (ja) * 2019-12-05 2021-06-10 東洋製罐グループホールディングス株式会社 画像検査システム、及び画像検査方法
US11816411B2 (en) * 2020-01-29 2023-11-14 Taiwan Semiconductor Manufacturing Co., Ltd. Method and system for semiconductor wafer defect review
US11961219B2 (en) 2020-02-27 2024-04-16 KLA Corp. Generative adversarial networks (GANs) for simulating specimen images
US11769242B2 (en) * 2020-05-21 2023-09-26 Kla Corporation Mode selection and defect detection training
TWI777173B (zh) * 2020-06-01 2022-09-11 汎銓科技股份有限公司 人工智慧辨識之半導體影像量測方法
US20230298310A1 (en) * 2020-07-09 2023-09-21 Hitachi High-Tech Corporation Pattern Matching Device, Pattern Measuring System, Pattern Matching Program
WO2022020594A1 (en) * 2020-07-23 2022-01-27 Malay Kundu Multilayer three-dimensional presentation
US11328410B2 (en) 2020-08-03 2022-05-10 KLA Corp. Deep generative models for optical or other mode selection
CN112734692B (zh) * 2020-12-17 2023-12-22 国网信息通信产业集团有限公司 一种变电设备缺陷识别方法及装置
CN113012123A (zh) * 2021-03-13 2021-06-22 山东大学 碳纤维复合材料缺陷损伤分类识别与定量分析方法及***
CN113077444A (zh) * 2021-04-01 2021-07-06 复旦大学 一种基于cnn的超声无损检测图像缺陷分类方法
CN114170230B (zh) * 2022-02-14 2022-04-29 清华大学 基于可变形卷积与特征融合的玻璃缺陷检测方法与装置
CN115239712B (zh) * 2022-09-21 2023-01-31 季华实验室 电路板表面缺陷检测方法、装置、电子设备及存储介质
CN116051542B (zh) * 2023-03-06 2023-07-14 深圳市深视智能科技有限公司 缺陷检测方法及缺陷检测装置
CN117929393B (zh) * 2024-03-21 2024-06-07 广东金鼎光学技术股份有限公司 一种镜头缺陷检测方法、***、处理器及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167829A1 (en) * 2007-01-05 2008-07-10 Allen Park Methods and systems for using electrical information for a device being fabricated on a wafer to perform one or more defect-related functions
US20110276935A1 (en) * 2008-06-11 2011-11-10 Kla-Tencor Corporation Systems and methods for detecting design and process defects on a wafer, reviewing defects on a wafer, selecting one or more features within a design for use as process monitoring features, or some combination thereof
CN104977313A (zh) * 2014-04-09 2015-10-14 四川省特种设备检验研究院 一种焊缝x射线图像缺陷检测与识别方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333650B2 (en) * 2003-05-29 2008-02-19 Nidek Co., Ltd. Defect inspection apparatus
JP5509581B2 (ja) 2008-11-27 2014-06-04 信越半導体株式会社 半導体ウェーハの評価方法
US8605275B2 (en) * 2009-01-26 2013-12-10 Kla-Tencor Corp. Detecting defects on a wafer
US8223327B2 (en) 2009-01-26 2012-07-17 Kla-Tencor Corp. Systems and methods for detecting defects on a wafer
US8896832B2 (en) 2010-06-17 2014-11-25 Kla-Tencor Corp. Discrete polarization scatterometry
US9401013B2 (en) * 2012-02-03 2016-07-26 Applied Materials Israel, Ltd. Method of design-based defect classification and system thereof
JP6009956B2 (ja) * 2013-01-31 2016-10-19 株式会社日立ハイテクノロジーズ 欠陥検査装置および欠陥検査方法
US9222895B2 (en) * 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
US8984450B2 (en) * 2013-03-14 2015-03-17 Taiwan Semiconductor Manufacturing Company, Ltd. Method and apparatus for extracting systematic defects
US9726617B2 (en) * 2013-06-04 2017-08-08 Kla-Tencor Corporation Apparatus and methods for finding a best aperture and mode to enhance defect detection
US10290088B2 (en) * 2014-02-14 2019-05-14 Kla-Tencor Corporation Wafer and lot based hierarchical method combining customized metrics with a global classification methodology to monitor process tool condition at extremely high throughput
KR102166879B1 (ko) * 2014-03-10 2020-10-16 어플라이드 머티어리얼스, 인코포레이티드 다중 하전-입자 빔 리소그래피를 위한 픽셀 블렌딩
US9401016B2 (en) 2014-05-12 2016-07-26 Kla-Tencor Corp. Using high resolution full die image data for inspection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167829A1 (en) * 2007-01-05 2008-07-10 Allen Park Methods and systems for using electrical information for a device being fabricated on a wafer to perform one or more defect-related functions
US20110276935A1 (en) * 2008-06-11 2011-11-10 Kla-Tencor Corporation Systems and methods for detecting design and process defects on a wafer, reviewing defects on a wafer, selecting one or more features within a design for use as process monitoring features, or some combination thereof
CN104977313A (zh) * 2014-04-09 2015-10-14 四川省特种设备检验研究院 一种焊缝x射线图像缺陷检测与识别方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109239075A (zh) * 2018-08-27 2019-01-18 北京百度网讯科技有限公司 电池检测方法及装置
CN114600156A (zh) * 2019-10-24 2022-06-07 科磊股份有限公司 用于滋扰滤波的深度学习网络
CN114600156B (zh) * 2019-10-24 2023-09-26 科磊股份有限公司 用于滋扰滤波的深度学习网络
CN114599934A (zh) * 2019-10-31 2022-06-07 卡尔蔡司Smt有限责任公司 用于测量har结构的形状偏差的fib-sem 3d断层成像术
CN113610747A (zh) * 2020-05-04 2021-11-05 应用材料以色列公司 自动地选择算法模块来检验样本

Also Published As

Publication number Publication date
SG11201901334SA (en) 2019-04-29
US20180075594A1 (en) 2018-03-15
WO2018053031A1 (en) 2018-03-22
JP2019530117A (ja) 2019-10-17
TW201824417A (zh) 2018-07-01
KR20190042739A (ko) 2019-04-24
CN109690749B (zh) 2020-05-29
TWI733900B (zh) 2021-07-21
JP6901565B2 (ja) 2021-07-14
IL264874B (en) 2021-02-28
KR102235581B1 (ko) 2021-04-01
US10115040B2 (en) 2018-10-30

Similar Documents

Publication Publication Date Title
CN109690749A (zh) 用于图像融合的以卷积神经网络为基础的模式选择及缺陷分类
JP6845327B2 (ja) 畳み込み式ニューラルネットワークに基づく欠陥検査のためのデータ増強
CN111819676B (zh) 训练用于低分辨率图像中的缺陷检测的神经网络
US9805462B2 (en) Machine learning method and apparatus for inspecting reticles
CN106537125B (zh) 具有多种模式的虚拟检验***
KR102412022B1 (ko) 큰 오프셋 다이-다이 검사를 위한 다단계 이미지 정렬 방법
KR20190072569A (ko) 반도체 애플리케이션을 위해 구성된 심층 학습 모델을 위한 진단 시스템 및 방법
KR20230046279A (ko) 딥 러닝을 사용한 3d 구조물 검사 또는 계측
KR20230014684A (ko) 딥 러닝 방법을 사용한 결함 사이즈 측정
KR20230156352A (ko) 렌더링된 설계 이미지를 이용한 설계 케어 영역의 분할
WO2024112440A1 (en) Defect detection in manufactured articles using multi-channel images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant