CN110765993B - 基于ai算法的sem图形量测方法 - Google Patents

基于ai算法的sem图形量测方法 Download PDF

Info

Publication number
CN110765993B
CN110765993B CN201910910073.7A CN201910910073A CN110765993B CN 110765993 B CN110765993 B CN 110765993B CN 201910910073 A CN201910910073 A CN 201910910073A CN 110765993 B CN110765993 B CN 110765993B
Authority
CN
China
Prior art keywords
image
algorithm
points
edge
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910910073.7A
Other languages
English (en)
Other versions
CN110765993A (zh
Inventor
林义征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhongyi Cloud Computing Technology Co ltd
Original Assignee
Shanghai Zhongyi Cloud Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhongyi Cloud Computing Technology Co ltd filed Critical Shanghai Zhongyi Cloud Computing Technology Co ltd
Priority to CN201910910073.7A priority Critical patent/CN110765993B/zh
Publication of CN110765993A publication Critical patent/CN110765993A/zh
Application granted granted Critical
Publication of CN110765993B publication Critical patent/CN110765993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于AI算法的SEM图形量测方法，包括如下方法：使用AI技术实现SEM图形的量测，提出的AI量测方案由三大模块构成：一、图像上的标尺刻度识别：采用深度学***。提高了工作效率，原因是AI模型不会疲劳，而人类会疲劳，并且AI模型每单位时间的工作量要远远高于人类。降低了量测成本，原因是AI模型取代工程师，并且工作效率大大提高。基于实时的量测结果，工程师可以及时的调整工艺参数，提高良品率。

Description

基于AI算法的SEM图形量测方法
技术领域
本发明涉及AI领域，具体是一种基于AI算法的SEM图形量测方法。
背景技术
量测是半导体制造企业用来在制造过程中评估工艺是否达标的重要判断依据。它包含对电路图形尺寸(CD)的测量，厚度的测量，对准度的测量，以及其他物理形态(如图形角度，深度等的测量)。
目前主要的量测方法是在芯片间的切割道上设计特别的测试图形(Testkey)，然后利用光学或SEM成像的技术生成图形然后进行测量。然后通过对真实芯片图形的通过破坏性测量(TEM)等方式，建立TESTKEY和真实图形之间的量测偏移量，以此来建立TESTKEY的测量控制标志进行工艺达标的标准。
由于TESTKEY位于切割道这个非重要区域，此位置的工艺波动性很大，比如厚度不均匀，图形设计，薄膜堆叠不规范，以及有着众多的缺陷问题。所以使得TESTKEY的结果有着如下的缺陷：
1、测量结果稳定性很差。
2、测量结果与真实电路的offset不稳定，波动不一致。也即测量结果无法反映真实情况。
3、测量的图形数量太少，只有数十到数百，无法代表真实电路中几十亿的图形情况。
4、大部分还是采用光学测量，精度比较差。
因此，本领域技术人员提供了一种基于AI算法的SEM图形量测方法，以解决上述背景技术中提出的问题。
发明内容
本发明的目的在于提供一种基于AI算法的SEM图形量测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于AI算法的SEM图形量测方法，包括如下方法：使用AI技术实现SEM图形的量测，提出的AI量测方案由三大模块构成：
一、图像上的标尺刻度识别：采用深度学习技术为最终的量测提供像素单位长度；
二、模板匹配：采用FLANN模板匹配技术对所要量测的部位进行精准定位，并获得局部图像；
三、具体SEM图像的量测：采用二值化、边缘识别等技术对元器件的尺寸进行量测。
深度学习技术我们用的是基于Inception_resnet_v2的SENet方法，简称为SE_Inception_resnet_v2，并采用SMBO(sequential model-based optimization)优化算法对该深度学习模型进行优化；
SMBO运用抽样技术和代理模型技术获取适应度函数的最优超参数，算法流程如下：
一、起始超参组合抽样，使用抽样方法在超参数空间抽取n组超参数H；
二、使用H配置适应度函数f，得到对应的模型表现p；
三、构建代理模型M(H,p)；
四、运用获取函数取得下一组超参数H'；
五、估计使用H’配置的适应度函数f的模型表现p'；
六、将(H',p')并入(H,p)中；
七、重复三至六步，直到达到停止条件；
八、获得最优超参数H。
将尺度不变特征变换算法SIFT应用到图像的特征点提取与匹配中，然后利用高维数据的快速最近近邻算法FLANN进行特征匹配，找到图像中准确的匹配点对；
在FLANN特征匹配的基础上，利用Homegraph映射找出已知物体；
利用findHomography函数通过匹配的关键点找出相应的变换矩阵(单应性矩阵)和MASK，再利用warpPerspective函数获得根据单应性矩阵变化后的局部图像；
SIFT(Scale Invariant Feature Transform)算法是由David G.Lowe在基于不变特征的检测方法基础上提出的，对于图像的尺度变换、仿射变换等具有特征不变性；
SIFT算法通过在建立的图像尺度空间中寻找极值点来描述图像特征，进而计算极值点附近的梯度信息得到特征描述向量，最后以特征向量的相似度来判定特征点的匹配，算法主要有以下步骤：
一、建立尺度空间SIFT算法通过利用不同尺度的高斯核函数构造高斯金字塔图像，然后对上下相邻尺度的金字塔图像进行相减，得到差分高斯金字塔(Difference ofGaussian，DOG)图像，DOG算子定义如下：
D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]·I(x,y)＝L(x,y,kσ)-L(x,y,σ)(1)
式中：L(x,y,σ)＝G(x,y,σ·)I(x,y)，G(x,y,σ)为尺度可变高斯函数，I(x,y)为图像位于(x,y)的像素值；
二、检测关键点在差分金字塔中，将其中每个点与其相邻尺度和上下相邻位置的点进行比对，即检测同尺度的8个相邻点和上下相邻尺度对应的9×2个点共计26个特征点；
若一个点在DOG尺度空间本层以及上下两层的26个邻域中为最大或最小值时，则认为该点为该尺度下的一个特征点。
三、分配关键点方向SIFT算法通过考虑局部特征得到关键点方向，以保证描述符具有方向不变性；
考虑关键点邻域像素的梯度特性，可得到梯度模值和方向如下所示：m(x,y)＝((L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2)1/2(2)θ(x,y)＝tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))(3)以关键点为中心确定邻域窗口，统计邻域内像素的方向并形成直方图；
其中，梯度直方图的取值范围为0～360°，每10°为一个柱，共计36个柱，即36个方向；
四、生成特征点描述子以关键点为中心取8×8的正方形小块，在此基础上再分成4×4的正方形块，分别统计其梯度直方图，可以得到8个梯度方向，将其叠加就可以构造一个种子点，共可以构造4个种子点；
这里使用4×4共16个种子点构成一个128维的特征描述子；
最后将特征向量的模长做归一化处理；
该描述子具有尺度、旋转不变性，并在一定程度上可以消除光照变化等环境因素的影响，在此基础上可进行特征点的匹配。
该步骤根据Canny边缘检测方法检测的出的边缘点，计算边缘点之间的像素差，然后根据AI模型识别出的标尺刻度求解出SEM图像尺寸，尺寸量测用户需指出所要量测的部位是否到达边缘部位，如果到达边缘部位，SEM图像尺寸则是Canny边缘点到图像边缘的距离；
Canny边缘检测是从不同视觉对象中提取有用的结构信息并大大减少要处理的数据量的一种技术，目前已广泛应用于各种计算机视觉***；
Canny发现，在不同视觉***上对边缘检测的要求较为类似，因此，可以实现一种具有广泛应用意义的边缘检测技术。边缘检测的一般标准包括：
一、以低的错误率检测边缘，也即意味着需要尽可能准确的捕获图像中尽可能多的边缘；
二、检测到的边缘应精确定位在真实边缘的中心；
三、图像中给定的边缘应只被标记一次，并且在可能的情况下，图像的噪声不应产生假的边缘；
为了满足这些要求，Canny使用了变分法；
Canny检测器中的最优函数使用四个指数项的和来描述，它可以由高斯函数的一阶导数来近似；
Canny边缘检测算法的处理流程
Canny边缘检测算法可以分为以下5个步骤：
一、使用高斯滤波器，以平滑图像，滤除噪声；
二、计算图像中每个像素点的梯度强度和方向；
三、应用非极大值(Non-Maximum Suppression)抑制，以消除边缘检测带来的杂散响应；
四、应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘；
五、通过抑制孤立的弱边缘最终完成边缘检测。
与现有技术相比，本发明的有益效果是：
1、增加了自动化水平。
2、提高了工作效率，原因是AI模型不会疲劳，而人类会疲劳，并且AI模型每单位时间的工作量要远远高于人类。
3、降低了量测成本，原因是AI模型取代工程师，并且工作效率大大提高。
4、基于实时的量测结果，工程师可以及时的调整工艺参数，提高良品率。
附图说明
图1为一种基于AI算法的SEM图形量测方法中Inception-Resnet-V2的网络模型结构示意图。
图2为一种基于AI算法的SEM图形量测方法中SE模块的示意图。
图3为一种基于AI算法的SEM图形量测方法中SE模块嵌入到Inception结构的示意图。
图4为一种基于AI算法的SEM图形量测方法中SEM图像标尺刻度识别流程的示意图。
图5为一种基于AI算法的SEM图形量测方法中总体框架示意图；
图6为本发明中梯度方向分割图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～6，本发明实施例中，一种基于AI算法的SEM图形量测方法，包括如下方法：使用AI技术实现SEM图形的量测，提出的AI量测方案由三大模块构成：
一、图像上的标尺刻度识别：采用深度学习技术为最终的量测提供像素单位长度；
二、模板匹配：采用FLANN模板匹配技术对所要量测的部位进行精准定位，并获得局部图像；
三、具体SEM图像的量测：采用二值化、边缘识别等技术对元器件的尺寸进行量测。
图像上的标尺刻度识别内容如下：
基于Inception模块架构的深度学习方法表明网络可以通过在其模块中嵌入多尺度的卷积来取得准确度的提升的同时，并通过设计瓶颈层来简化计算量，但是随着网络深度的增加，其会出现梯度衰减的问题；
而ResNet是使用残差块建立的大规模卷积神经网络，其重要贡献是提出了在隐含层中通过跳跃连接技术构建的残差块，解决了深度网络学习中梯度衰减的问题；
即ResNet基于恒等映射理论，就能让整个结构朝着恒等映射的方向去收敛，确保最终的错误率不会因为深度的变大而越来越差；
由于Inception网络往往很深，残差块与Inception体系结构的结合，使得Inception网络克服了梯度衰减的问题；
为进一步提升网络的性能，SEnet通过显式地构建卷积特征通道之间的相互依赖性来提高网络的表示能力，并引入了一种使网络能够执行特征重新校准的机制，通过这种机制，网络可以学习使用全局信息来选择性地强调信息特征并抑制不太有用的特征；
深度学习技术我们用的是基于Inception_resnet_v2的SENet方法，简称为SE_Inception_resnet_v2，并采用SMBO(sequential model-based optimization)优化算法对该深度学习模型进行优化；
原因是由于深度学习超参数配置直接影响着模型的表现，适当的超参数配置能够使模型获得优异的表现，不适当的超参数配置则会使模型表现很差；
深度学习模型超参数优化一般是指对节点丢弃率、学习率等超参数的优化。目前，在数据挖掘中使用较多的超参优化技术有网格搜索、随机搜索；
网格搜索方法是一种半自动化优化技术，该方法是在超参数取值空间内配置超参数搜索网格，然后模型找出网格内的最优超参数组合；
然而，模型的超参数空间具有一个较低效用维度和许多超参数组合是无效的；
经过实证研究发现建立在较低效用维度理论基础上的随机搜索方法比网格搜索的效果更好；
随机搜索为每个超参数设定取值空间，然后模型在超参数取值空间内随机搜索超参数，找出整个超参数空间内的最优超参数组合，该方法是一种全自动化超参数优化方法，但是该方法仍旧存在计算代价较大的问题；
为了解决这个问题SMBO(Sequential model-based optimization)被提出，SMBO是一种通用的适用于分类和连续超参数的随机优化算法，其基于少量历史量测数据连续构建代价很小的代理模型来逼近代价巨大的适应度函数超参数的表现；
SMBO运用代价很小的代理模型来逼近适应度函数的估计的性质使得其非常适合适应度函数的估计代价巨大的领域应用；
James Bergstra等就手工调整、随机搜索与SMBO方法对神经网络模型超参数的优化效果进行了对比，发现在一定的计算代价下，基于SMBO超参数优化的神经网络模型具有更优的模型表现。
SMBO运用抽样技术和代理模型技术获取适应度函数的最优超参数，算法流程如下：
一、起始超参组合抽样，使用抽样方法在超参数空间抽取n组超参数H；
二、使用H配置适应度函数f，得到对应的模型表现p；
三、构建代理模型M(H,p)；
四、运用获取函数取得下一组超参数H'；
五、估计使用H’配置的适应度函数f的模型表现p'；
六、将(H',p')并入(H,p)中；
七、重复三至六步，直到达到停止条件；
八、获得最优超参数H。
模板匹配内容如下：
首先，将尺度不变特征变换算法SIFT应用到图像的特征点提取与匹配中，然后利用高维数据的快速最近近邻算法FLANN进行特征匹配，找到图像中准确的匹配点对。在FLANN特征匹配的基础上，利用Homegraph映射找出已知物体。利用findHomography函数通过匹配的关键点找出相应的变换矩阵(单应性矩阵)和MASK，再利用warpPerspective函数获得根据单应性矩阵变化后的局部图像。
SIFT(Scale Invariant Feature Transform)算法是由David G.Lowe在基于不变特征的检测方法基础上提出的，对于图像的尺度变换、仿射变换等具有特征不变性。SIFT算法通过在建立的图像尺度空间中寻找极值点来描述图像特征，进而计算极值点附近的梯度信息得到特征描述向量，最后以特征向量的相似度来判定特征点的匹配。算法主要有以下步骤：
一、建立尺度空间SIFT算法通过利用不同尺度的高斯核函数构造高斯金字塔图像，然后对上下相邻尺度的金字塔图像进行相减，得到差分高斯金字塔(Difference ofGaussian，DOG)图像。DOG算子定义如下：
D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]·I(x,y)＝L(x,y,kσ)-L(x,y,σ)(1)
式中：L(x,y,σ)＝G(x,y,σ·)I(x,y)，G(x,y,σ)为尺度可变高斯函数，I(x,y)为图像位于(x,y)的像素值。
二、检测关键点在差分金字塔中，将其中每个点与其相邻尺度和上下相邻位置的点进行比对，即检测同尺度的8个相邻点和上下相邻尺度对应的9×2个点共计26个特征点。若一个点在DOG尺度空间本层以及上下两层的26个邻域中为最大或最小值时，则认为该点为该尺度下的一个特征点。
三、分配关键点方向SIFT算法通过考虑局部特征得到关键点方向，以保证描述符具有方向不变性。考虑关键点邻域像素的梯度特性，可得到梯度模值和方向如下所示：m(x,y)＝((L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2)1/2(2)θ(x,y)＝tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))(3)以关键点为中心确定邻域窗口，统计邻域内像素的方向并形成直方图。其中，梯度直方图的取值范围为0～360°，每10°为一个柱，共计36个柱，即36个方向。
四、生成特征点描述子以关键点为中心取8×8的正方形小块，在此基础上再分成4×4的正方形块，分别统计其梯度直方图，可以得到8个梯度方向，将其叠加就可以构造一个种子点，共可以构造4个种子点。这里使用4×4共16个种子点构成一个128维的特征描述子。最后将特征向量的模长做归一化处理。该描述子具有尺度、旋转不变性，并在一定程度上可以消除光照变化等环境因素的影响，在此基础上可进行特征点的匹配。
Muja和Lowe于2009年提出FLANN算法，该方法基于K均值树或KD-TREE搜索操作所实现的，可以根据数据集的分布特点、对映***度和空间资源消耗的要求来推荐索引类型和检索参数，在高维空间最近邻查找不受局部敏感哈希影响。FLANN算法模型的特征空间一般是n维实数向量空间Rn，该算法的核心是通过使用欧式距离来寻找与实例点的最邻近的点，欧式距离的定义如下所示：
如果D值越小，这就表明了这些特征点对之间的距离越”近”，也就是说它们相似程度越高。
Classick－dtree求取出数据中方差最高的那个维度，然后利用这个维度的数值将数据划分成2个部分，接着对每个子集重复上述的相同的计算步骤。
Randomizedk－dtree通过创建许多颗随机树，然后从那些具有最高方差的N－d维中随机选取一些维度，并用这些维度来对数据进行划分。另外在对随机K－d森林进行搜索时，所有K－d均属于同一个优先级。从理论上说，如果增加树的数量，就能提高搜索速度，提高效率，但由于硬件方面的种种限制，树的数量需要控制在一定的范围内，如果超出了速度不会增加甚至会变慢。
Randomizedk－dtree适用范围比较广，在很多情况下均有不错的搜索效果，然后如果对精度要求比较高，这样k－means树效果会更加好一点。K－meanstree充分挖掘了数据本身所固有的一些机构特征，原理则是将数据的所有维度进行聚类处理，与之前的随机k－dtree只使用了一次维度划分[11]。本文采用的是K－means树的搜索原理，算法描述如下：
一、建立层次化的K－means树；
二、树的节点就选层次化的聚类中心；
三、如果某个duster内的点的数量小于K时，在这样的前提下就选择这些数据节点为叶子节点；
四、从根节点N开始检索；
五、如果N是叶子节点，则将处于相同层次的叶子节点添加到搜索结果中去，此时count+＝|N|；
六、相反，如果N不是叶子节点，则将它的子节点与que－ryQ比较，找出最近的那个节点Cq，并将同层次的其他节点加入到我们所考虑的优先队列中；
七、对Cq节点进行递归搜索；
八、如果优先队列不为空和count＜L条件成立，则将优先队列的第一个元素取出来并赋值给N，然后循环到步骤四)
在匹配的过程中难免会出现错误的匹配对，通过K－mean算法处理之后，匹配的精度达到很高，速度也比较快。
具体SEM图像的量测内容如下：
该步骤根据Canny边缘检测方法检测的出的边缘点，计算边缘点之间的像素差，然后根据AI模型识别出的标尺刻度求解出SEM图像尺寸。尺寸量测用户需指出所要量测的部位是否到达边缘部位，如果到达边缘部位，SEM图像尺寸则是Canny边缘点到图像边缘的距离。
Canny边缘检测是从不同视觉对象中提取有用的结构信息并大大减少要处理的数据量的一种技术，目前已广泛应用于各种计算机视觉***。Canny发现，在不同视觉***上对边缘检测的要求较为类似，因此，可以实现一种具有广泛应用意义的边缘检测技术。边缘检测的一般标准包括：
一、以低的错误率检测边缘，也即意味着需要尽可能准确的捕获图像中尽可能多的边缘。
二、检测到的边缘应精确定位在真实边缘的中心。
三、图像中给定的边缘应只被标记一次，并且在可能的情况下，图像的噪声不应产生假的边缘。
为了满足这些要求，Canny使用了变分法。Canny检测器中的最优函数使用四个指数项的和来描述，它可以由高斯函数的一阶导数来近似。
在目前常用的边缘检测方法中，Canny边缘检测算法是具有严格定义的，可以提供良好可靠检测的方法之一。由于它具有满足边缘检测的三个标准和实现过程简单的优势，成为边缘检测最流行的算法之一。
Canny边缘检测算法的处理流程
Canny边缘检测算法可以分为以下5个步骤：
一、使用高斯滤波器，以平滑图像，滤除噪声。
二、计算图像中每个像素点的梯度强度和方向。
三、应用非极大值(Non-Maximum Suppression)抑制，以消除边缘检测带来的杂散响应。
四、应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘。
五、通过抑制孤立的弱边缘最终完成边缘检测。
高斯平滑滤波
为了尽可能减少噪声对边缘检测结果的影响，所以必须滤除噪声以防止由噪声引起的错误检测。为了平滑图像，使用高斯滤波器与图像进行卷积，该步骤将平滑图像，以减少边缘检测器上明显的噪声影响。大小为(2k+1)x(2k+1)的高斯滤波器核的生成方程式由下式给出：
下面是一个sigma＝1.4，尺寸为3x3的高斯卷积核的例子(需要注意归一化)：
若图像中一个3x3的窗口为A，要滤波的像素点为e，则经过高斯滤波之后，像素点e的亮度值为：
其中*为卷积符号，sum表示矩阵中所有元素相加求和。
重要的是需要理解，高斯卷积核大小的选择将影响Canny检测器的性能。尺寸越大，检测器对噪声的敏感度越低，但是边缘检测的定位误差也将略有增加。一般5x5是一个比较不错的trade off。
计算梯度强度和方向
图像中的边缘可以指向各个方向，因此Canny算法使用四个算子来检测图像中的水平、垂直和对角边缘。边缘检测的算子(如Roberts，Prewitt，Sobel等)返回水平Gx和垂直Gy方向的一阶导数值，由此便可以确定像素点的梯度G和方向theta。
其中G为梯度强度，theta表示梯度方向，arctan为反正切函数。
非极大值抑制
非极大值抑制是一种边缘稀疏技术，非极大值抑制的作用在于“瘦”边。对图像进行梯度计算后，仅仅基于梯度值提取的边缘仍然很模糊。对于标准3，对边缘有且应当只有一个准确的响应。而非极大值抑制则可以帮助将局部最大值之外的所有梯度值抑制为0，对梯度图像中每个像素进行非极大值抑制的算法是：
一、将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较。
二、如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制。
通常为了更加精确的计算，在跨越梯度方向的两个相邻像素之间使用线性插值来得到要比较的像素梯度，现举例如下：
如图6所示，将梯度分为8个方向，分别为E、NE、N、NW、W、SW、S、SE，其中0代表00～45°，1代表45°～90°，2代表-90°～-45°，3代表-45°～0°。像素点P的梯度方向为theta，则像素点P1和P2的梯度线性插值为：
tan(θ)＝Gy/Gr
Gp1＝(1-tan(θ))×E+tan(θ)×NE
Gp2＝(1-tan(θ))×W+tan(θ)×SW
因此非极大值抑制的伪代码描写如下：
需要注意的是，如何标志方向并不重要，重要的是梯度方向的计算要和梯度算子的选取保持一致。
双阈值检测
在施加非极大值抑制之后，剩余的像素可以更准确地表示图像中的实际边缘。然而，仍然存在由于噪声和颜色变化引起的一些边缘像素。为了解决这些杂散响应，必须用弱梯度值过滤边缘像素，并保留具有高梯度值的边缘像素，可以通过选择高低阈值来实现。如果边缘像素的梯度值高于高阈值，则将其标记为强边缘像素；如果边缘像素的梯度值小于高阈值并且大于低阈值，则将其标记为弱边缘像素；如果边缘像素的梯度值小于低阈值，则会被抑制。阈值的选择取决于给定输入图像的内容。
双阈值检测的伪代码描写如下：
抑制孤立低阈值点
到目前为止，被划分为强边缘的像素点已经被确定为边缘，因为它们是从图像中的真实边缘中提取出来的。然而，对于弱边缘像素，将会有一些争论，因为这些像素可以从真实边缘提取也可以是因噪声或颜色变化引起的。为了获得准确的结果，应该抑制由后者引起的弱边缘。通常，由真实边缘引起的弱边缘像素将连接到强边缘像素，而噪声响应未连接。为了跟踪边缘连接，通过查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就可以保留为真实的边缘。
抑制孤立边缘点的伪代码描述如下：
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种基于AI算法的SEM图形量测方法，其特征在于包括如下方法：使用AI技术实现SEM图形的量测，提出的AI量测方案由三大模块构成：
一、图像上的标尺刻度识别：采用深度学习技术为最终的量测提供像素单位长度；
二、模板匹配：采用FLANN模板匹配技术对所要量测的部位进行精准定位，并获得局部图像；
三、具体SEM图像的量测：采用二值化、边缘识别等技术对元器件的尺寸进行量测；
深度学习技术我们用的是基于Inception_resnet_v2的SENet方法，简称为SE_Inception_resnet_v2，并采用SMBO(sequential model-based optimization)优化算法对深度学习模型进行优化；
SMBO运用抽样技术和代理模型技术获取适应度函数的最优超参数，算法流程如下：
一、起始超参组合抽样，使用抽样方法在超参数空间抽取n组超参数H；
二、使用H配置适应度函数f，得到对应的模型表现p；
三、构建代理模型M(H,p)；
四、运用获取函数取得下一组超参数H'；
五、估计使用H’配置的适应度函数f的模型表现p'；
六、将(H',p')并入(H,p)中；
七、重复3-6步，直到达到停止条件；
八、获得最优超参数H；
将尺度不变特征变换算法SIFT应用到图像的特征点提取与匹配中，然后利用高维数据的快速最近近邻算法FLANN进行特征匹配，找到图像中准确的匹配点对；
在FLANN特征匹配的基础上，利用Homegraph映射找出已知物体；
利用findHomography函数通过匹配的关键点找出相应的变换矩阵和MASK，变换矩阵即单应性矩阵，再利用warpPerspective函数获得根据单应性矩阵变化后的局部图像；
SIFT(Scale Invariant Feature Transform)算法是由David G.Lowe在基于不变特征的检测方法基础上提出的，对于图像的尺度变换、仿射变换等具有特征不变性；
SIFT算法通过在建立的图像尺度空间中寻找极值点来描述图像特征，进而计算极值点附近的梯度信息得到特征描述向量，最后以特征向量的相似度来判定特征点的匹配，算法主要有以下步骤：
一、建立尺度空间SIFT算法通过利用不同尺度的高斯核函数构造高斯金字塔图像，然后对上下相邻尺度的金字塔图像进行相减，得到差分高斯金字塔(Difference ofGaussian，DOG)图像，DOG算子定义如下：
D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]·I(x,y)＝L(x,y,kσ)-L(x,y,σ)(1)
式中：L(x,y,σ)＝G(x,y,σ·)I(x,y)，G(x,y,σ)为尺度可变高斯函数，I(x,y)为图像位于(x,y)的像素值；
二、检测关键点在差分金字塔中，将其中每个点与其相邻尺度和上下相邻位置的点进行比对，即检测同尺度的8个相邻点和上下相邻尺度对应的9×2个点共计26个特征点；
若一个点在DOG尺度空间本层以及上下两层的26个邻域中为最大或最小值时，则认为该点为该尺度下的一个特征点；
三、分配关键点方向SIFT算法通过考虑局部特征得到关键点方向，以保证描述符具有方向不变性；
考虑关键点邻域像素的梯度特性，可得到梯度模值和方向如下所示：m(x,y)＝((L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2)1/2(2)θ(x,y)＝tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))(3)以关键点为中心确定邻域窗口，统计邻域内像素的方向并形成直方图；
其中，梯度直方图的取值范围为0～360°，每10°为一个柱，共计36个柱，即36个方向；
四、生成特征点描述子以关键点为中心取8×8的正方形小块，在此基础上再分成4×4的正方形块，分别统计其梯度直方图，可以得到8个梯度方向，将其叠加就可以构造一个种子点，共可以构造4个种子点；
这里使用4×4共16个种子点构成一个128维的特征描述子；
最后将特征向量的模长做归一化处理；
该描述子具有尺度、旋转不变性，并消除光照变化等环境因素的影响，在此基础上可进行特征点的匹配。
2.根据权利要求1所述的一种基于AI算法的SEM图形量测方法，其特征在于，该步骤根据Canny边缘检测方法检测的出的边缘点，计算边缘点之间的像素差，然后根据AI模型识别出的标尺刻度求解出SEM图像尺寸，尺寸量测用户需指出所要量测的部位是否到达边缘部位，如果到达边缘部位，SEM图像尺寸则是Canny边缘点到图像边缘的距离；
Canny发现，在不同视觉***上对边缘检测的要求较为类似，因此，可以实现一种具有广泛应用意义的边缘检测技术，边缘检测的标准包括：
一、以低的错误率检测边缘，也即意味着需要尽可能准确的捕获图像中尽可能多的边缘；
二、检测到的边缘应精确定位在真实边缘的中心；
三、图像中给定的边缘应只被标记一次，并且在可能的情况下，图像的噪声不应产生假的边缘；
为了满足这些要求，Canny使用了变分法；
Canny检测器中的最优函数使用四个指数项的和来描述，它可以由高斯函数的一阶导数来近似；
Canny边缘检测算法的处理流程
Canny边缘检测算法可以分为以下5个步骤：
一、使用高斯滤波器，以平滑图像，滤除噪声；
二、计算图像中每个像素点的梯度强度和方向；
三、应用非极大值(Non-Maximum Suppression)抑制，以消除边缘检测带来的杂散响应；
四、应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘；
五、通过抑制孤立的弱边缘最终完成边缘检测。
CN201910910073.7A 2019-09-25 2019-09-25 基于ai算法的sem图形量测方法 Active CN110765993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910910073.7A CN110765993B (zh) 2019-09-25 2019-09-25 基于ai算法的sem图形量测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910910073.7A CN110765993B (zh) 2019-09-25 2019-09-25 基于ai算法的sem图形量测方法

Publications (2)

Publication Number Publication Date
CN110765993A CN110765993A (zh) 2020-02-07
CN110765993B true CN110765993B (zh) 2023-09-12

Family

ID=69329997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910910073.7A Active CN110765993B (zh) 2019-09-25 2019-09-25 基于ai算法的sem图形量测方法

Country Status (1)

Country Link
CN (1) CN110765993B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342906B (zh) * 2021-06-09 2023-10-20 海光信息技术股份有限公司 一种对晶圆量测数据分布形态的分类方法以及装置
CN115139530A (zh) * 2022-06-28 2022-10-04 范显荣 一种自适应足底压力不平衡调整鞋垫的制作方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729654A (zh) * 2014-01-22 2014-04-16 青岛新比特电子科技有限公司 基于改进sift算法的图像匹配检索***
CN107862708A (zh) * 2017-11-08 2018-03-30 合肥工业大学 一种sar与可见光图像配准方法
CN108765389A (zh) * 2018-05-18 2018-11-06 浙江大学 一种微观晶圆表面缺陷图像检测方法
WO2019134327A1 (zh) * 2018-01-03 2019-07-11 东北大学 一种基于边缘检测与sift的人脸表情识别特征提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729654A (zh) * 2014-01-22 2014-04-16 青岛新比特电子科技有限公司 基于改进sift算法的图像匹配检索***
CN107862708A (zh) * 2017-11-08 2018-03-30 合肥工业大学 一种sar与可见光图像配准方法
WO2019134327A1 (zh) * 2018-01-03 2019-07-11 东北大学 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN108765389A (zh) * 2018-05-18 2018-11-06 浙江大学 一种微观晶圆表面缺陷图像检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘柏江 ; 姜明新 ; .基于sift特征的图像匹配算法.信息***工程.2011,(05),全文. *

Also Published As

Publication number Publication date
CN110765993A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN111028277B (zh) 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
Luvizon et al. A video-based system for vehicle speed measurement in urban roadways
CN107506763B (zh) 一种基于卷积神经网络的多尺度车牌精准定位方法
Bariya et al. Scale-hierarchical 3d object recognition in cluttered scenes
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN106558072A (zh) 一种基于改进sift特征在遥感图像上配准的方法
TW202239281A (zh) 電子基板缺陷偵測
Zhang et al. Road recognition from remote sensing imagery using incremental learning
CN106447704A (zh) 基于显著区域特征和边缘度的可见光‑红外图像配准方法
Yuan et al. Learning to count buildings in diverse aerial scenes
CN106340010B (zh) 一种基于二阶轮廓差分的角点检测方法
CN110765993B (zh) 基于ai算法的sem图形量测方法
CN111695373A (zh) 斑马线的定位方法、***、介质及设备
Choi et al. Learning descriptor, confidence, and depth estimation in multi-view stereo
Unsalan et al. Classifying land development in high-resolution satellite imagery using hybrid structural-multispectral features
Wang et al. Fast vanishing point detection method based on road border region estimation
Yang et al. A method for wafer defect detection using spatial feature points guided affine iterative closest point algorithm
Ding et al. Efficient vanishing point detection method in unstructured road environments based on dark channel prior
Jin et al. Defect detection of printed circuit boards using efficientdet
Siddiqui et al. Clustering techniques for image segmentation
CN117870659A (zh) 基于点线特征的视觉惯性组合导航算法
Ai et al. Geometry preserving active polygon-incorporated sign detection algorithm
Quach et al. A model-based approach to finding tracks in SAR CCD images
Meng et al. Picpose: Using picture posing for localization service on iot devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant