CN115375691B - 基于图像的半导体扩散纸源缺陷检测***及其方法 - Google Patents
基于图像的半导体扩散纸源缺陷检测***及其方法 Download PDFInfo
- Publication number
- CN115375691B CN115375691B CN202211317148.9A CN202211317148A CN115375691B CN 115375691 B CN115375691 B CN 115375691B CN 202211317148 A CN202211317148 A CN 202211317148A CN 115375691 B CN115375691 B CN 115375691B
- Authority
- CN
- China
- Prior art keywords
- feature map
- image
- detection
- paper source
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 164
- 238000009792 diffusion process Methods 0.000 title claims abstract description 124
- 230000007547 defect Effects 0.000 title claims abstract description 104
- 239000004065 semiconductor Substances 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 72
- 238000010586 diagram Methods 0.000 claims description 66
- 238000009826 distribution Methods 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及智能检测领域，其具体地公开了一种基于图像的半导体扩散纸源缺陷检测***及其方法，其通过从待检测扩散纸源的检测图像和参考图像中分别提取出检测特征图和参考特征图，进一步以所述参考特征图和所述检测特征图之间在高维特征空间的特征差异作为用于判断扩散纸源是否存在缺陷的特征表示，提高对于待检测扩散纸源是否存在缺陷的检测精准度。
Description
技术领域
本申请涉及智能检测领域，且更为具体地，涉及一种基于图像的半导体扩散纸源缺陷检测***及其方法。
背景技术
国内半导体行业起步较晚，特别是芯片生产过程中用到的以高纯基础材料为主的辅材及耗材更是少之又少，例如，生产功率芯片生产过程中的其中一个扩散工艺所用到的耗材是扩散纸源。扩散纸源外观以4寸、5寸圆形和4寸、5寸方形为主，之前生产主要以人眼观察为主，对于有明显缺陷的纸张可以分拣出，但对于细微的隐裂人眼是无法识别的，同时人工分拣还存在效率和人工投入等实际问题。
因此，期待一种自动化的半导体扩散纸源缺陷检测方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于图像的半导体扩散纸源缺陷检测***及其方法，其通过从待检测扩散纸源的检测图像和参考图像中分别提取出检测特征图和参考特征图，进一步以所述参考特征图和所述检测特征图之间在高维特征空间的特征差异作为用于判断扩散纸源是否存在缺陷的特征表示，提高对于待检测扩散纸源是否存在缺陷的检测精准度。
根据本申请的一个方面，提供了一种基于图像的半导体扩散纸源缺陷检测***，其包括：图像采集模块，用于获取待检测扩散纸源的检测图像和参考图像，所述参考图像为没有缺陷的扩散纸源的图像；孪生网络模块，用于将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；特征差异模块，用于计算所述检测特征图和所述参考特征图之间的差分特征图；特征分布校正模块，用于对所述差分特征图进行特征分布校正以得到校正后差分特征图；以及检测结果生成模块，用于将所述校正后差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷。
在上述基于图像的半导体扩散纸源缺陷检测***中，所述孪生网络模块，包括：检测图像特征提取单元，用于使用所述第一卷积神经网络的多层卷积层对所述检测图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度检测特征图；第一空间注意力单元，用于将所述深度检测特征图输入所述第一卷积神经网络的第一空间注意力模块以得到第一空间注意力图；以及，检测特征图生成单元，用于计算所述深度检测特征图和所述第一空间注意力图的按位置点乘以得到所述检测特征图。
在上述基于图像的半导体扩散纸源缺陷检测***中，所述孪生网络模块，包括：参考图像特征提取单元，用于使用所述第二卷积神经网络的多层卷积层对所述参考图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度参考特征图；第二空间注意力单元，用于将所述深度参考特征图输入所述第二卷积神经网络的第二空间注意力模块以得到第二空间注意力图；以及，参考特征图生成单元，用于计算所述深度参考特征图和所述第二空间注意力图的按位置点乘以得到所述参考特征图。
在上述基于图像的半导体扩散纸源缺陷检测***中，所述特征差异模块，进一步用于：以如下公式计算所述检测特征图和所述参考特征图之间的差分特征图；其中，所述公式为： 其中，表示所述检测特征图，表示所述参考特征图，表示所述差分特征图，表示按位置差分。
在上述基于图像的半导体扩散纸源缺陷检测***中，所述特征分布校正模块，进一步用于：以如下公式对所述差分特征图进行特征分布校正以得到校正后差分特征图；其中，所述公式为：
其中是所述差分特征图通过分类器进行预分类获得的概率值。
在上述基于图像的半导体扩散纸源缺陷检测***中，所述检测结果生成模块，包括：特征图展开单元，用于将所述校正后差分特征图基于行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一方面，提供了一种基于图像的半导体扩散纸源缺陷检测方法，其包括：获取待检测扩散纸源的检测图像和参考图像，所述参考图像为没有缺陷的扩散纸源的图像；将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；计算所述检测特征图和所述参考特征图之间的差分特征图；对所述差分特征图进行特征分布校正以得到校正后差分特征图；以及将所述校正后差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于图像的半导体扩散纸源缺陷检测方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于图像的半导体扩散纸源缺陷检测方法。
与现有技术相比，本申请提供的一种基于图像的半导体扩散纸源缺陷检测***及其方法，其通过从待检测扩散纸源的检测图像和参考图像中分别提取出检测特征图和参考特征图，进一步以所述参考特征图和所述检测特征图之间在高维特征空间的特征差异作为用于判断扩散纸源是否存在缺陷的特征表示，提高对于待检测扩散纸源是否存在缺陷的检测精准度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的基于图像的半导体扩散纸源缺陷检测***的应用场景图；
图2图示了根据本申请实施例的基于图像的半导体扩散纸源缺陷检测***的框图；
图3图示了根据本申请实施例的基于图像的半导体扩散纸源缺陷检测***的架构示意图；
图4图示了根据本申请实施例的基于图像的半导体扩散纸源缺陷检测***中检测结果生成模块的框图；
图5图示了根据本申请实施例的基于图像的半导体扩散纸源缺陷检测方法的流程图；
图6图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述：
如上所述，在扩散纸源的生产过程中，对于有明显缺陷的纸张可以分拣出，但对于细微的隐裂人眼是无法识别的，同时人工分拣还存在效率和人工投入等实际问题。因此，期待一种自动化的半导体扩散纸源缺陷检测方案。
缺陷检测是图像处理领域常见的任务类型，因此，半导体扩散纸源缺陷检测可通过基于图像的缺陷检测来实现。但细微的隐裂在图像端很难被捕捉到，其原因为一方面细微的隐裂属于小尺寸对象，另一方面细微的隐裂具有形状不规则性且易与扩散纸源的边缘等发生混淆，导致缺陷检测的精准度不高。
针对上述技术问题，本申请的申请人以参考图像（没有缺陷的标准扩散纸源）作为参考，以参考图像和检测图像之间在高维特征空间的特征差异作为用于判断扩散纸源是否存在缺陷的特征表示。
具体地，首先获取待检测扩散纸源的检测图像和参考图像，所述参考图像为没有缺陷的扩散纸源的图像。接着，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。也就是，使用所述孪生网络模型来分别提取所述检测图像和所述参考图像的高维图像隐含特征。这里，所述孪生网络模型的第一卷积神经网络和第二卷积神经网络具有相同的网络结构，因此，如果检测图像和参考图像在图像源域端存在差异，在经过相同的网络结构编码后，其会在高维特征空间中存在差异。
特别地，在本申请的技术方案中，因扩散纸源的缺陷存在于扩散纸源的特定空间位置，因此，为了使得所述扩散纸源的缺陷特征能够在特征提取过程中被更多地关注，将空间注意力机制集成于所述第一卷积神经网络和所述第二卷积神经网络。
接着，计算所述检测特征图和所述参考特征图之间的差分特征图，以此来表示扩散纸源的检测图像和参考图像在高维特征空间中的特征差异表示。继而，将所述差分特征图通过分类器就可以得到用于表示待检测扩散纸源是否存在缺陷的分类结果。
特别地，在计算所述检测特征图和所述参考特征图之间的差分特征图时，尽管所述检测特征图和所述参考特征图是通过第一卷积神经网络模型和第二卷积神经网络模型的孪生网络模型得到的，但是所述检测特征图和所述参考特征图之间不可避免地会存在特征分布上的偏差，从而在所述差分特征图中引入局部异常分布，这使得在所述差分特征图通过分类器进行分类时，由于所述分类器的权重需要适配这种局部异常分布，可能与所述差分特征图发生类相干干涉。
因此，对所述差分特征图，例如记为进行基于预分类的类概率相干补偿机制校正，表示为：
其中是所述差分特征图通过分类器进行预分类获得的概率值。
也就是，由于所述差分特征图存在局部异常分布，因此在对其进行分类时，分类器本身的权重矩阵也会在某些局部存在相适配的异常分布，从而对所述差分特征图的类概率表达造成的相干干涉。基于此，通过将预分类得到的分类器的类别概率值作为所述差分特征图的分类的乘性干扰噪声项，来对所述差分特征图进行类概率的相干补偿，以恢复无干扰情况下的所述差分特征图的等效概率强度表征，从而实现所述差分特征图的校正，提高分类结果的准确性。这样，提高对于待检测扩散纸源是否存在缺陷的检测精准度。
基于此，本申请提出了一种基于图像的半导体扩散纸源缺陷检测***，其包括：图像采集模块，用于获取待检测扩散纸源的检测图像和参考图像，所述参考图像为没有缺陷的扩散纸源的图像；孪生网络模块，用于将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；特征差异模块，用于计算所述检测特征图和所述参考特征图之间的差分特征图；特征分布校正模块，用于对所述差分特征图进行特征分布校正以得到校正后差分特征图；以及，检测结果生成模块，用于将所述校正后差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷。
图1图示了根据本申请实施例的基于图像的半导体扩散纸源缺陷检测***的应用场景图。如图1所示，在该应用场景中，通过摄像头（例如，如图1中所示意的C）获取待检测扩散纸源（例如，如图1中所示意的P）的检测图像（例如，如图1中所示意的F1）和参考图像（例如，如图1中所示意的F2），所述参考图像为没有缺陷的扩散纸源的图像。接着，将上述图像输入至部署有用于基于图像的半导体扩散纸源缺陷检测算法的服务器（例如，图1中的S）中，其中，所述服务器能够以所述基于图像的半导体扩散纸源缺陷检测算法对所述图像进行处理，以生成用于表示待检测扩散纸源是否存在缺陷的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性***：
图2图示了根据本申请实施例的基于图像的半导体扩散纸源缺陷检测***的框图。如图2所示，根据本申请实施例的基于图像的半导体扩散纸源缺陷检测***300，包括：图像采集模块310；孪生网络模块320；特征差异模块330；特征分布校正模块340，以及，检测结果生成模块350。
其中，所述图像采集模块310，用于获取待检测扩散纸源的检测图像和参考图像，所述参考图像为没有缺陷的扩散纸源的图像；所述孪生网络模块320，用于将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；所述特征差异模块330，用于计算所述检测特征图和所述参考特征图之间的差分特征图；特征分布校正模块340，用于对所述差分特征图进行特征分布校正以得到校正后差分特征图；以及，检测结果生成模块350，用于将所述校正后差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷。
图3图示了根据本申请实施例的基于图像的半导体扩散纸源缺陷检测***的架构示意图。如图3所示，首先通过所述图像采集模块310获取待检测扩散纸源的检测图像和参考图像，所述参考图像为没有缺陷的扩散纸源的图像；然后，所述孪生网络模块320将所述图像采集模块310获取的检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；所述特征差异模块330计算所述孪生网络模块320生成的检测特征图和所述参考特征图之间的差分特征图；接着，所述特征分布校正模块340对所述特征差异模块330计算所得的差分特征图进行特征分布校正以得到校正后差分特征图；进而，所述检测结果生成模块350将所述校正后差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷。
具体地，在所述基于图像的半导体扩散纸源缺陷检测***300的运行过程中，所述图像采集模块310，用于获取待检测扩散纸源的检测图像和参考图像，所述参考图像为没有缺陷的扩散纸源的图像。在本申请的技术方案中，通过从待检测扩散纸源的检测图像和参考图像中分别提取出检测特征图和参考特征图，进一步以所述参考特征图和所述检测特征图之间在高维特征空间的特征差异作为用于判断扩散纸源是否存在缺陷的特征表示，因此，在本申请的一个具体示例中，可通过摄像头获取待检测扩散纸源的检测图像和参考图像。
具体地，在所述基于图像的半导体扩散纸源缺陷检测***300的运行过程中，所述孪生网络模块320，用于将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。
应可以理解，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。也就是，使用所述孪生网络模型来分别提取所述检测图像和所述参考图像的高维图像隐含特征。这里，所述孪生网络模型的第一卷积神经网络和第二卷积神经网络具有相同的网络结构，因此，如果检测图像和参考图像在图像源域端存在差异，在经过相同的网络结构编码后，其会在高维特征空间中存在差异。
特别地，在本申请的技术方案中，因扩散纸源的缺陷存在于扩散纸源的特定空间位置，因此，为了使得所述扩散纸源的缺陷特征能够在特征提取过程中被更多地关注，将空间注意力机制集成于所述第一卷积神经网络和所述第二卷积神经网络。在本申请的一个具体示例中，所述孪生网络模块，包括：检测图像特征提取单元，用于使用所述第一卷积神经网络的多层卷积层对所述检测图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度检测特征图；第一空间注意力单元，用于将所述深度检测特征图输入所述第一卷积神经网络的第一空间注意力模块以得到第一空间注意力图；以及，检测特征图生成单元，用于计算所述深度检测特征图和所述第一空间注意力图的按位置点乘以得到所述检测特征图；以及：参考图像特征提取单元，用于使用所述第二卷积神经网络的多层卷积层对所述参考图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度参考特征图；第二空间注意力单元，用于将所述深度参考特征图输入所述第二卷积神经网络的第二空间注意力模块以得到第二空间注意力图；以及，参考特征图生成单元，用于计算所述深度参考特征图和所述第二空间注意力图的按位置点乘以得到所述参考特征图。
具体地，在所述基于图像的半导体扩散纸源缺陷检测***300的运行过程中，所述特征差异模块330，用于计算所述检测特征图和所述参考特征图之间的差分特征图。在本申请的技术方案中，计算所述检测特征图和所述参考特征图之间的差分特征图，以此来表示扩散纸源的检测图像和参考图像在高维特征空间中的特征差异表示。继而，将所述差分特征图通过分类器就可以得到用于表示待检测扩散纸源是否存在缺陷的分类结果。在本申请的一个具体示例中，所述特征差异模块，进一步用于：以如下公式计算所述检测特征图和所述参考特征图之间的差分特征图；其中，所述公式为：
其中，表示所述检测特征图，表示所述参考特征图，表示所述差分特征图，表示按位置差分。
具体地，在所述基于图像的半导体扩散纸源缺陷检测***300的运行过程中，所述特征分布校正模块340，用于对所述差分特征图进行特征分布校正以得到校正后差分特征图。特别地，在计算所述检测特征图和所述参考特征图之间的差分特征图时，尽管所述检测特征图和所述参考特征图是通过第一卷积神经网络模型和第二卷积神经网络模型的孪生网络模型得到的，但是所述检测特征图和所述参考特征图之间不可避免地会存在特征分布上的偏差，从而在所述差分特征图中引入局部异常分布，这使得在所述差分特征图通过分类器进行分类时，由于所述分类器的权重需要适配这种局部异常分布，可能与所述差分特征图发生类相干干涉。
因此，对所述差分特征图，例如记为进行基于预分类的类概率相干补偿机制校正，表示为：
其中是所述差分特征图通过分类器进行预分类获得的概率值。
也就是，由于所述差分特征图存在局部异常分布，因此在对其进行分类时，分类器本身的权重矩阵也会在某些局部存在相适配的异常分布，从而对所述差分特征图的类概率表达造成的相干干涉。基于此，通过将预分类得到的分类器的类别概率值作为所述差分特征图的分类的乘性干扰噪声项，来对所述差分特征图进行类概率的相干补偿，以恢复无干扰情况下的所述差分特征图的等效概率强度表征，从而实现所述差分特征图的校正，提高分类结果的准确性。这样，提高对于待检测扩散纸源是否存在缺陷的检测精准度。
具体地，在所述基于图像的半导体扩散纸源缺陷检测***300的运行过程中，所述检测结果生成模块350，用于将所述校正后差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷。
图4图示了根据本申请实施例的基于图像的半导体扩散纸源缺陷检测***中检测结果生成模块的框图。如图4所示，所述检测结果生成模块350，包括：特征图展开单元351，用于将所述校正后差分特征图基于行向量或列向量展开为分类特征向量；全连接编码单元352，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元353，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上，根据本申请实施例的基于图像的半导体扩散纸源缺陷检测***300被阐明，其通过从待检测扩散纸源的检测图像和参考图像中分别提取出检测特征图和参考特征图，进一步以所述参考特征图和所述检测特征图之间在高维特征空间的特征差异作为用于判断扩散纸源是否存在缺陷的特征表示，提高对于待检测扩散纸源是否存在缺陷的检测精准度。
如上所述，根据本申请实施例的基于图像的半导体扩散纸源缺陷检测***可以实现在各种终端设备中。在一个示例中，根据本申请实施例的基于图像的半导体扩散纸源缺陷检测***300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于图像的半导体扩散纸源缺陷检测***300可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于图像的半导体扩散纸源缺陷检测***300同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于图像的半导体扩散纸源缺陷检测***300与该终端设备也可以是分立的设备，并且该基于图像的半导体扩散纸源缺陷检测***300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法：
图5图示了根据本申请实施例的基于图像的半导体扩散纸源缺陷检测方法的流程图。如图5示，根据本申请实施例的基于图像的半导体扩散纸源缺陷检测方法，包括步骤：S110，获取待检测扩散纸源的检测图像和参考图像，所述参考图像为没有缺陷的扩散纸源的图像；S120，将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；S130，计算所述检测特征图和所述参考特征图之间的差分特征图；S140，对所述差分特征图进行特征分布校正以得到校正后差分特征图；以及，S150，将所述校正后差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷。
在一个示例中，在上述基于图像的半导体扩散纸源缺陷检测方法中，所述步骤S120，包括：使用所述第一卷积神经网络的多层卷积层对所述检测图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度检测特征图；将所述深度检测特征图输入所述第一卷积神经网络的第一空间注意力模块以得到第一空间注意力图；以及，计算所述深度检测特征图和所述第一空间注意力图的按位置点乘以得到所述检测特征图。参考图像特征提取单元，用于使用所述第二卷积神经网络的多层卷积层对所述参考图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度参考特征图；第二空间注意力单元，用于将所述深度参考特征图输入所述第二卷积神经网络的第二空间注意力模块以得到第二空间注意力图；以及，参考特征图生成单元，用于计算所述深度参考特征图和所述第二空间注意力图的按位置点乘以得到所述参考特征图。
在一个示例中，在上述基于图像的半导体扩散纸源缺陷检测方法中，所述步骤S130，包括：以如下公式计算所述检测特征图和所述参考特征图之间的差分特征图；其中，所述公式为：
其中，表示所述检测特征图，表示所述参考特征图，表示所述差分特征图，表示按位置差分。
在一个示例中，在上述基于图像的半导体扩散纸源缺陷检测方法中，所述步骤S140，包括：以如下公式对所述差分特征图进行特征分布校正以得到校正后差分特征图；
其中，所述公式为：
其中是所述差分特征图通过分类器进行预分类获得的概率值。
在一个示例中，在上述基于图像的半导体扩散纸源缺陷检测方法中，所述步骤S150，包括：将所述校正后差分特征图基于行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上，根据本申请实施例的基于图像的半导体扩散纸源缺陷检测方法被阐明，其通过从待检测扩散纸源的检测图像和参考图像中分别提取出检测特征图和参考特征图，进一步以所述参考特征图和所述检测特征图之间在高维特征空间的特征差异作为用于判断扩散纸源是否存在缺陷的特征表示，提高对于待检测扩散纸源是否存在缺陷的检测精准度。
示例性电子设备：
下面，参考图6来描述根据本申请实施例的电子设备。
图6图示了根据本申请实施例的电子设备的框图。
如图6所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于图像的半导体扩散纸源缺陷检测***中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如全局有功功率特征矩阵等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线***和/或其他形式的连接机构（未示出）互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图6中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质：
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性***”部分中描述的根据本申请各种实施例的基于图像的半导体扩散纸源缺陷检测方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性***”部分中描述的根据本申请各种实施例的基于图像的半导体扩散纸源缺陷检测方法中的功能中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (6)
1.一种基于图像的半导体扩散纸源缺陷检测***，其特征在于，包括：
图像采集模块，用于获取待检测扩散纸源的检测图像和参考图像，所述参考图像为没有缺陷的扩散纸源的图像；
孪生网络模块，用于将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；
特征差异模块，用于计算所述检测特征图和所述参考特征图之间的差分特征图；
特征分布校正模块，用于对所述差分特征图进行特征分布校正以得到校正后差分特征图；以及
检测结果生成模块，用于将所述校正后差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷；
所述特征差异模块，进一步用于：以如下公式计算所述检测特征图和所述参考特征图之间的差分特征图；
其中，所述公式为：
其中，F1表示所述检测特征图，F2表示所述参考特征图，F表示所述差分特征图，
表示按位置差分；
所述特征分布校正模块，进一步用于：以如下公式对所述差分特征图进行特征分布校正以得到校正后差分特征图；
其中，所述公式为：
F'＝pp·Fp-1⊙e-p·F
其中，F为差分特征图，p是所述差分特征图通过所述分类器进行预分类获得的概率值。
2.根据权利要求1所述的基于图像的半导体扩散纸源缺陷检测***，其特征在于，所述孪生网络模块，包括：
检测图像特征提取单元，用于使用所述第一卷积神经网络的多层卷积层对所述检测图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度检测特征图；
第一空间注意力单元，用于将所述深度检测特征图输入所述第一卷积神经网络的第一空间注意力模块以得到第一空间注意力图；以及
检测特征图生成单元，用于计算所述深度检测特征图和所述第一空间注意力图的按位置点乘以得到所述检测特征图。
3.根据权利要求2所述的基于图像的半导体扩散纸源缺陷检测***，其特征在于，所述孪生网络模块，包括：
参考图像特征提取单元，用于使用所述第二卷积神经网络的多层卷积层对所述参考图像进行深度卷积编码以由所述多层卷积层的最后一层输出深度参考特征图；
第二空间注意力单元，用于将所述深度参考特征图输入所述第二卷积神经网络的第二空间注意力模块以得到第二空间注意力图；以及
参考特征图生成单元，用于计算所述深度参考特征图和所述第二空间注意力图的按位置点乘以得到所述参考特征图。
4.根据权利要求3所述的基于图像的半导体扩散纸源缺陷检测***，其特征在于，所述检测结果生成模块，包括：
特征图展开单元，用于将所述校正后差分特征图基于行向量或列向量展开为分类特征向量；
全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
5.一种基于图像的半导体扩散纸源缺陷检测方法，其特征在于，包括：
获取待检测扩散纸源的检测图像和参考图像，所述参考图像为没有缺陷的扩散纸源的图像；
将所述检测图像和所述参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构；
计算所述检测特征图和所述参考特征图之间的差分特征图；
对所述差分特征图进行特征分布校正以得到校正后差分特征图；以及
将所述校正后差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测扩散纸源是否存在缺陷；
所述计算所述检测特征图和所述参考特征图之间的差分特征图，包括：以如下公式计算所述检测特征图和所述参考特征图之间的差分特征图；
其中，所述公式为：
其中，F1表示所述检测特征图，F2表示所述参考特征图，F表示所述差分特征图，
表示按位置差分；
对所述差分特征图进行特征分布校正以得到校正后差分特征图，包括：以如下公式对所述差分特征图进行特征分布校正以得到校正后差分特征图；
其中，所述公式为：
F'＝pp·Fp-1⊙e-p·F
其中，F为差分特征图，p是所述差分特征图通过所述分类器进行预分类获得的概率值。
6.根据权利要求5所述的基于图像的半导体扩散纸源缺陷检测方法，其特征在于，将所述校正后差分特征图通过分类器以得到分类结果，包括：
将所述校正后差分特征图基于行向量或列向量展开为分类特征向量；
使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211317148.9A CN115375691B (zh) | 2022-10-26 | 2022-10-26 | 基于图像的半导体扩散纸源缺陷检测***及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211317148.9A CN115375691B (zh) | 2022-10-26 | 2022-10-26 | 基于图像的半导体扩散纸源缺陷检测***及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115375691A CN115375691A (zh) | 2022-11-22 |
| CN115375691B true CN115375691B (zh) | 2023-04-07 |
Family
ID=84074393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211317148.9A Active CN115375691B (zh) | 2022-10-26 | 2022-10-26 | 基于图像的半导体扩散纸源缺陷检测***及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115375691B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115937792B (zh) * | 2023-01-10 | 2023-09-12 | 浙江非线数联科技股份有限公司 | 基于区块链的智慧社区运营管理*** |
| CN116051506B (zh) * | 2023-01-28 | 2023-06-16 | 东莞市言科新能源有限公司 | 聚合物锂离子电池的智能化生产***及其方法 |
| CN115901794B (zh) * | 2023-02-17 | 2023-06-23 | 广州达普绅智能设备有限公司 | 一种条形光源检测瓶口瑕疵的***及方法 |
| CN115863204B (zh) * | 2023-02-27 | 2023-06-02 | 青岛芯康半导体科技有限公司 | 晶片加工用在线厚度监视和测量方法及*** |
| CN116030048B (zh) * | 2023-03-27 | 2023-07-18 | 山东鹰眼机械科技有限公司 | 灯检机及其方法 |
| CN116295116A (zh) * | 2023-04-13 | 2023-06-23 | 广东省旭晟半导体股份有限公司 | 红外线发射模组及其制备方法 |
| CN116647946B (zh) * | 2023-07-27 | 2023-10-13 | 济宁九德半导体科技有限公司 | 基于半导体的加热控制***及其方法 |
| CN117197487B (zh) * | 2023-09-05 | 2024-04-12 | 东莞常安医院有限公司 | 一种免疫胶体金诊断试纸条自动识别*** |
| CN117475241A (zh) * | 2023-12-27 | 2024-01-30 | 山西省水利建筑工程局集团有限公司 | 用于悬臂式掘进机隧洞开挖的地质突变检测***及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734016A (zh) * | 2021-01-20 | 2021-04-30 | 成都圭坡拓科技有限公司 | 用于钢筋表面的光滑程度检测的神经网络的训练方法 |
| CN115239515A (zh) * | 2022-07-28 | 2022-10-25 | 德玛克(长兴)精密机械有限公司 | 用于机械部件的精密智能化加工制造***及其制造方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222792A (zh) * | 2019-06-20 | 2019-09-10 | 杭州电子科技大学 | 一种基于孪生网络的标签缺陷检测算法 |
| CN115035017A (zh) * | 2021-03-04 | 2022-09-09 | 富泰华工业（深圳）有限公司 | 细胞密度分群方法、装置、电子设备及存储介质 |
| CN113065588A (zh) * | 2021-03-24 | 2021-07-02 | 齐鲁工业大学 | 基于双线性注意力网络的医学影像数据分类方法及*** |
| CN114580515A (zh) * | 2022-02-28 | 2022-06-03 | 上海味伊思技术有限公司 | 用于半导体脱焊智能检测的神经网络训练方法 |
-
2022
- 2022-10-26 CN CN202211317148.9A patent/CN115375691B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734016A (zh) * | 2021-01-20 | 2021-04-30 | 成都圭坡拓科技有限公司 | 用于钢筋表面的光滑程度检测的神经网络的训练方法 |
| CN115239515A (zh) * | 2022-07-28 | 2022-10-25 | 德玛克(长兴)精密机械有限公司 | 用于机械部件的精密智能化加工制造***及其制造方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115375691A (zh) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115375691B (zh) | 基于图像的半导体扩散纸源缺陷检测***及其方法 | |
| EP3483767B1 (en) | Device for detecting variant malicious code on basis of neural network learning, method therefor, and computer-readable recording medium in which program for executing same method is recorded | |
| CN114782882B (zh) | 基于多模态特征融合的视频目标行为异常检测方法和*** | |
| JP2011138388A (ja) | データ補正装置及び方法 | |
| CN115761642A (zh) | 基于图像处理的破碎作业监控方法及其*** | |
| CN115082745A (zh) | 基于图像的电缆绞线质量检测方法及其*** | |
| CN115620303A (zh) | 人事档案智慧管理*** | |
| CN104715266B (zh) | 基于src‑dp与lda相结合的图像特征提取方法 | |
| CN116797533B (zh) | 电源适配器的外观缺陷检测方法及其*** | |
| CN117030129A (zh) | 纸杯在线检漏方法及其*** | |
| CN115511890A (zh) | 异型网络接口大流量数据的分析*** | |
| CN116343301A (zh) | 基于人脸识别的人员信息智能校验*** | |
| CN116071309A (zh) | 元器件的声扫缺陷检测方法、装置、设备和存储介质 | |
| CN116051500A (zh) | Pcb板的智能化加工方法及其*** | |
| CN115146676A (zh) | 电路故障检测方法及其*** | |
| CN115205788A (zh) | 食材质量监控*** | |
| CN114708578A (zh) | 唇部动作检测方法、装置、可读存储介质和电子设备 | |
| CN117274689A (zh) | 用于包装盒缺陷检测的检测方法及其*** | |
| CN118097089A (zh) | 基于整体性网络的夜间仓储机器人目标检测方法及*** | |
| CN112960213A (zh) | 使用特征概率分布表示的智能包装质量检测方法 | |
| CN112418353A (zh) | 用于电池隔膜异常检测的神经网络的训练方法 | |
| US20110099137A1 (en) | Graphical user interface component classification | |
| CN111340139A (zh) | 一种图像内容复杂度的判别方法及装置 | |
| CN115631176A (zh) | 艺术设计教学***及其方法 | |
| CN116247824A (zh) | 电力设备的控制方法及其*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Shi Jian Inventor before: Shi Jian Inventor before: Cai Liang Inventor before: Liu Shiwei Inventor before: Wang Han Inventor before: Wu Xiujie Inventor before: Li Jie |
|
| CB03 | Change of inventor or designer information |