CN117115487B - 模板匹配方法、模板匹配***及存储介质 - Google Patents

模板匹配方法、模板匹配***及存储介质 Download PDF

Info

Publication number
CN117115487B
CN117115487B CN202311371629.2A CN202311371629A CN117115487B CN 117115487 B CN117115487 B CN 117115487B CN 202311371629 A CN202311371629 A CN 202311371629A CN 117115487 B CN117115487 B CN 117115487B
Authority
CN
China
Prior art keywords
image
template
downsampled
edge
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311371629.2A
Other languages
English (en)
Other versions
CN117115487A (zh
Inventor
吕研嘉
赵兵
杨峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raintree Scientific Instruments Shanghai Corp
Original Assignee
Raintree Scientific Instruments Shanghai Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raintree Scientific Instruments Shanghai Corp filed Critical Raintree Scientific Instruments Shanghai Corp
Priority to CN202311371629.2A priority Critical patent/CN117115487B/zh
Publication of CN117115487A publication Critical patent/CN117115487A/zh
Application granted granted Critical
Publication of CN117115487B publication Critical patent/CN117115487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种模板匹配方法、一种模板匹配***及一种计算机可读存储介质。所述模板匹配方法包括以下步骤：获取待匹配图像的边缘图像，以及对模板图像进行特征点简化获得的简化模板图像；分别创建所述边缘图像及所述简化模板图像的图像金字塔，以分别获取所述边缘图像的多级第一下采样图像，以及所述简化模板图像的多级第二下采样图像；分别确定各级所述第二下采样图像的模板特征点集合；根据各级所述第二下采样图像的模板特征点集合，分别搜索对应的第一下采样图像，以确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置；以及根据所述最佳匹配位置，确定所述模板图像与所述待匹配图像的模板匹配结果。

Description

模板匹配方法、模板匹配***及存储介质
技术领域
本发明涉及模板匹配技术领域，尤其涉及一种模板匹配方法、一种模板匹配***，以及一种计算机可读存储介质。
背景技术
模板匹配技术在目标检测、指纹识别、工件精定位等很多领域都有广泛应用，既可以用于静态图像的匹配，也可以用于视频序列中的目标跟踪。在半导体制造的不同工序中，晶圆（wafer）需要在不同的设备之间进行对位和校准。模板匹配技术可以用于检测晶圆上的标志物或图案，以帮助设备正确地定位和对准晶圆，从而确保各个工序的准确性。
传统的模板匹配技术在输入数据中滑动模板，并计算模板与当前位置的匹配度。然而，由于晶圆对位和校准的高精度要求会导致传统模板匹配技术计算复杂性的急剧增加，常常难以满足实际应用中实时性的要求。此外，由于传统模板匹配技术的位置和旋转精度只能达到整数级别，通常也无法满足半导体制造过程中的精度要求。
为了克服现有技术存在的上述缺陷，本领域亟需一种改进的模板匹配方法，用于全面提高模板匹配的实时性、鲁棒性及匹配精度。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之前序。
为了克服现有技术存在的上述缺陷，本发明提供了一种模板匹配方法、一种模板匹配***及一种计算机可读存储介质，能通过特征点简化来减少传统模板匹配技术的计算量，并通过图像金字塔的多级匹配来提高模板匹配的鲁棒性和匹配精度，从而全面提高模板匹配的实时性、鲁棒性及匹配精度。
具体来说，根据本发明的第一方面提供的上述模板匹配方法包括以下步骤：获取待匹配图像的边缘图像，以及对模板图像进行特征点简化获得的简化模板图像；分别创建所述边缘图像及所述简化模板图像的图像金字塔，以分别获取所述边缘图像的多级第一下采样图像，以及所述简化模板图像的多级第二下采样图像；分别确定各级所述第二下采样图像的模板特征点集合；根据各级所述第二下采样图像的模板特征点集合，分别搜索对应的第一下采样图像，以确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置；以及根据所述最佳匹配位置，确定所述模板图像与所述待匹配图像的模板匹配结果。
进一步地，在本发明的一些实施例中，获取所述待匹配图像的边缘图像的步骤包括：获取待匹配的灰度图像；计算所述灰度图像中每个像素点沿X方向和/或Y方向的梯度值；以及根据所述梯度值对所述灰度图像进行边缘提取，以获得所述边缘图像。
进一步地，在本发明的一些实施例中，所述获取待匹配的灰度图像的步骤包括：获取待匹配图像，并对其进行预处理检测；响应于所述待匹配图像为彩色图像的检测结果，对所述彩色图像进行灰度处理；以及响应于灰度的待匹配图像或经过所述灰度处理的彩色图像中存在异常值的检测结果，根据预设窗口对所述灰度的待匹配图像或经过所述灰度处理的彩色图像进行中值滤波，以获得所述待匹配的灰度图像。
进一步地，在本发明的一些实施例中，所述计算所述灰度图像中每个像素点沿X方向和/或Y方向的梯度值的步骤包括：采用Sobel算子，计算所述灰度图像中每个像素点沿X方向的第一梯度值和/或沿Y方向的第二梯度值；以及对所述第一梯度值和/或所述第二梯度值进行归一化处理，以获得所述灰度图像中每个像素点沿X方向的第一归一化梯度值和/或沿Y方向的第二归一化梯度值。
进一步地，在本发明的一些实施例中，所述根据所述梯度值对所述灰度图像进行边缘提取，以获得所述边缘图像的步骤包括：根据所述灰度图像中每个像素点沿X方向和/或Y方向的梯度值，划分所述梯度值的高阈值及低阈值；根据所述高阈值及所述低阈值，确定所述待匹配图像的强边缘及弱边缘；对所述弱边缘进行邻域搜索，以将邻域内存在强边缘的弱边缘确定为强边缘；以及根据所述强边缘，确定所述边缘图像。
进一步地，在本发明的一些实施例中，所述根据所述灰度图像中每个像素点沿X方向和/或Y方向的梯度值，划分所述梯度值的高阈值及低阈值的步骤包括：经由Otsu阈值法处理所述灰度图像，以得到所述高阈值；以及根据所述高阈值的预设比例，确定所述低阈值。
进一步地，在本发明的一些实施例中，在根据所述灰度图像中每个像素点沿X方向和/或Y方向的梯度值，划分所述梯度值的高阈值及低阈值之前，所述模板匹配方法还包括以下步骤：检查所述灰度图像中每个像素点与其梯度方向上的相邻像素；以及响应于当前像素的梯度值不是其梯度方向上的最大值，将所述当前像素的像素值设为0。
进一步地，在本发明的一些实施例中，在根据所述强边缘，确定所述边缘图像之后，所述模板匹配方法还包括以下步骤：从所述边缘图像的边缘线上选择一个初始点P0，并按照预设顺序检查所述初始点P0周围预设范围内的相邻像素点；以及响应于所述预设范围内存在梯度值大于所述高阈值的相邻像素点P1，且所述初始点P0的第一梯度向量与所述相邻像素点P1的第二梯度向量之间的角度差小于预设的角度阈值，连结所述初始点P0与所述相邻像素点P1，以优化所述边缘图像。
进一步地，在本发明的一些实施例中，获取所述简化模板图像的步骤包括：获取模板图像；从所述模板图像识别并筛选最外圈边缘或最内圈边缘，以获得最外圈边缘图像或最内圈边缘图像；以及根据预设的取点比例，从所述最外圈边缘图像或所述最内圈边缘图像中选取最分散的多个边缘像素点，以构成所述简化模板图像。
进一步地，在本发明的一些实施例中，所述根据预设的取点比例，从所述最外圈边缘图像或所述最内圈边缘图像中选取最分散的多个边缘像素点，以构成所述简化模板图像的步骤包括：根据所述最外圈边缘或所述最内圈边缘的总像素点数量，以及所述取点比例，确定取点数量n；从所述最外圈边缘或所述最内圈边缘选择一个初始点Q1；以及从所述最外圈边缘或所述最内圈边缘，确定距离所述初始点Q1最远的点Q2，并依此类推，直到从所述最外圈边缘或所述最内圈边缘确定距离点Qn-1最远的点Qn。
进一步地，在本发明的一些实施例中，所述分别确定各级所述第二下采样图像的模板特征点集合的步骤包括：在预设的偏转角度范围内，根据预设的第一角度步长步进地偏转各级所述第二下采样图像，以分别采集其中的多个模板特征点；以及根据各级所述第二下采样图像在各角度下采集的模板特征点，分别构建各级所述第二下采样图像的模板特征点集合。
进一步地，在本发明的一些实施例中，所述根据各级所述第二下采样图像的模板特征点集合，分别搜索对应的第一下采样图像，以确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置的步骤包括：根据所述第一角度步长，分别计算各级所述第二下采样图像的模板特征点集合中各角度的多个模板特征点的梯度值，与对应第一下采样图像中各候选位置的多个像素点的梯度值的第一平均相似度；以及根据各所述第一平均相似度，确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置。
进一步地，在本发明的一些实施例中，所述根据所述第一平均相似度，确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置的步骤包括：将所述第一平均相似度与预设的第一相似度阈值进行比较；响应于所述第一平均相似度小于所述第一相似度阈值，抛弃所述最佳匹配位置；响应于所述第一平均相似度大于或等于所述第一相似度阈值，计算所述最外圈边缘图像或所述最内圈边缘图像中对应角度的多个模板特征点的梯度值，与所述边缘图像中对应位置的多个像素点的梯度值的第二平均相似度；以及响应于所述第二平均相似度大于或等于预设的第二相似度阈值，判定所述边缘图像中的所述对应位置为该级第二下采样图像在对应的第一下采样图像的最佳匹配位置。
进一步地，在本发明的一些实施例中，所述根据各级所述第二下采样图像的模板特征点集合，分别搜索对应的第一下采样图像，以确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置的步骤包括：响应于确定当前级第二下采样图像在对应的第一下采样图像的最佳匹配位置，以该最佳匹配位置在下级第二下采样图像的映射位置为起点，根据预设的位置误差范围及所述第一角度步长，确定下级第一下采样图像的搜索范围及第二角度步长；以及根据所述二角度步长，分别计算所述下级第二下采样图像的模板特征点集合中各角度的多个模板特征点的梯度值，与所述下级第一下采样图像的所述搜索范围中各候选位置的多个像素点的梯度值的平均相似度，以确定所述下级第二下采样图像在所述下级第一下采样图像的最佳匹配位置，并依此类推，直到确定末级第二下采样图像在末级第一下采样图像的最佳匹配位置。
进一步地，在本发明的一些实施例中，在确定末级第二下采样图像在末级第一下采样图像的最佳匹配位置之后，所述模板匹配方法还包括以下步骤：计算所述模板图像的全部特征点的梯度值，与所述待匹配图像关于所述最佳匹配位置的多个像素点的梯度值的平均相似度；以及响应于所述平均相似度小于预设的第三相似度阈值，抛弃所述最佳匹配位置。
进一步地，在本发明的一些实施例中，在确定末级第二下采样图像在末级第一下采样图像的最佳匹配位置之后，所述模板匹配方法还包括以下步骤：确定所述模板图像的第一特征点集合M，以及所述待匹配图像关于所述最佳匹配位置的多个像素点的第二特征点集合T；计算所述第二特征点集合T中的每一特征点的特征向量及特征线。所述特征线为垂直于所述特征向量且经过所述特征点的直线；对所述第一特征点集合M中的每一特征点(xm, ym)做旋转平移的刚体变换，以得到第三特征点集合M’：
，
其中，Δθ为所述刚体变换的旋转量。Δx和Δy为所述刚体变换的平移量。(x’m,y’m)指示所述第三特征点集合M’中的特征点；计算所述第三特征点集合M’中的每一特征点(x’m, y’m)到所述第二特征点集合T中对应的特征线的距离，并对各所述距离求和，以确定总距离S；以及根据使所述总距离S取最小值的旋转量Δθ及平移量Δx、Δy，优化所述最佳匹配位置。
进一步地，在本发明的一些实施例中，所述根据各级所述第二下采样图像的模板特征点集合，分别搜索对应的第一下采样图像，以确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置的步骤包括：从所述第一下采样图像的预设起始位置，按照预设的初始步长在所述第一下采样图像中滑动所述第二下采样图像，以计算其中每个位置的相似度得分；根据每个位置的相似度得分，确定对应所述初始步长的第一最佳匹配位置；根据预设的缩小比例缩小所述初始步长，以获得第二步长；以及从所述第一最佳匹配位置，按照所述第二步长在所述第一下采样图像的初始步长范围中滑动所述第二下采样图像，以计算其中每个位置的相似度得分，并依此类推，直到完成步长为1的图像搜索，并获得最终的最佳匹配位置。
进一步地，在本发明的一些实施例中，所述根据各级所述第二下采样图像的模板特征点集合，分别搜索对应的第一下采样图像，以确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置的步骤包括：将各级所述第一下采样图像分别划分成多个子图；在每一所述子图中分别计算对应的第二下采样图像的模板特征点集合中各角度的多个模板特征点的梯度值，与对应第一下采样图像中各候选位置的多个像素点的梯度值的平均相似度；根据所述平均相似度，分别确定该级第二下采样图像在对应的第一下采样图像的各子图的最佳匹配位置；以及根据平均相似度最高的最佳匹配位置，确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置。
进一步地，在本发明的一些实施例中，所述待匹配图像包括待对准晶圆的对准面图像。所述模板图像中带有位于所述对准面的预设图案。在根据所述最佳匹配位置，确定所述模板图像与所述待匹配图像的模板匹配结果之后，所述模板匹配方法还包括以下步骤：根据所述模板匹配结果，对准所述晶圆。
进一步地，在本发明的一些实施例中，所述待匹配图像包括待测半导体器件的检测面图像。所述模板图像中带有位于所述检测面的至少一个电路元件的图案。在根据所述最佳匹配位置，确定所述模板图像与所述待匹配图像的模板匹配结果之后，所述模板匹配方法还包括以下步骤：根据所述模板匹配结果，确定关于所述半导体器件的检测结果。
此外，根据本发明的第二方面提供的上述模板匹配***包括存储器及处理器。所述存储器上存储有计算机指令。所述处理器连接所述存储器，并被配置用于执行所述存储器上存储的计算机指令，以实施本发明的第一方面提供的模板匹配方法。
此外，根据本发明的第三方面提供的上述计算机可读存储介质，其上存储有计算机指令。所述计算机指令被处理器执行时，实施本发明的第一方面提供的模板匹配方法。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1示出了根据本发明的一些实施例提供的模板匹配方法的流程示意图。
图2示出了根据本发明的一些实施例提供的灰度图像预处理的示意图。
图3示出了根据本发明的一些实施例提供的灰度图像中每个像素点的边缘强度的示意图。
图4示出了根据本发明的一些实施例提供的灰度图像的边缘跟踪处理的示意图。
图5示出了根据本发明的一些实施例提供的灰度图像的边缘提取处理的示意图。
图6示出了根据本发明的一些实施例提供的特征点简化的示意图。
图7示出了根据本发明的一些实施例提供的特征点分块的示意图。
图8示出了根据本发明的一些实施例提供的图像金字塔的示意图。
图9示出了根据本发明的一些实施例提供的旋转模板图像的示意图。
图10示出了根据本发明的一些实施例提供的多步长搜索算法的示意图。
图11示出了根据本发明的一些实施例提供的划分子图的示意图。
图12示出了根据本发明的一些实施例提供的模板图像金字塔当前级最佳匹配位置与下一级起始位置的对应关系示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合优选实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
另外，在以下的说明中所使用的“上”、“下”、“左”、“右”、“顶”、“底”、“水平”、“垂直”应被理解为该段以及相关附图中所绘示的方位。此相对性的用语仅是为了方便说明之用，其并不代表其所叙述的装置需以特定方位来制造或运作，因此不应理解为对本发明的限制。
能理解的是，虽然在此可使用用语“第一”、“第二”、“第三”等来叙述各种组件、区域、层和/或部分，这些组件、区域、层和/或部分不应被这些用语限定，且这些用语仅是用来区别不同的组件、区域、层和/或部分。因此，以下讨论的第一组件、区域、层和/或部分可在不偏离本发明一些实施例的情况下被称为第二组件、区域、层和/或部分。
如上所述，由于晶圆对位和校准的高精度要求会导致传统模板匹配技术计算复杂性的急剧增加，常常难以满足实际应用中实时性的要求。此外，由于传统模板匹配技术的位置和旋转精度只能达到整数级别，通常也无法满足半导体制造过程中的精度要求。
为了克服现有技术存在的上述缺陷，本发明提供了一种模板匹配方法、一种模板匹配***及一种计算机可读存储介质，能通过特征点简化来减少传统模板匹配技术的计算量，并通过图像金字塔的多级匹配来提高模板匹配的鲁棒性和匹配精度，从而全面提高模板匹配的实时性、鲁棒性及匹配精度。
在一些非限制性的实施例中，本发明的第一方面提供的上述模板匹配方法，可以基于本发明的第二方面提供的上述模板匹配***来实施。具体来说，该半导体缺陷的检测***中可以配置有存储器及处理器。该存储器包括但不限于本发明的第三方面提供的上述计算机可读存储介质，其上存储有计算机指令。该处理器连接该存储器，并被配置用于执行该存储器上存储的计算机指令，以实施本发明的第一方面提供的上述模板匹配方法。
以下将结合一些模板匹配方法的实施例来描述上述模板匹配***的工作原理。本领域的技术人员可以理解，这些模板匹配方法的实施例只是本发明提供的一些非限制性的实施方式，旨在清楚地展示本发明的主要构思，并提供一些便于公众实施的具体方案，而非限制该模板匹配***的全部功能或全部工作方式。同样地，该模板匹配***也只是本发明提供的一种非限制性的实施方式，不对这些模板匹配方法中各步骤的执行主体和执行顺序构成限制。
首先请参考图1，图1示出了根据本发明的一些实施例提供的模板匹配方法的流程示意图。
如图1所示，在进行模板匹配的过程中，模板匹配***可以首先获取待匹配图像的边缘图像，以及对模板图像进行特征点简化获得的简化模板图像。
具体请参考图2，图2示出了根据本发明的一些实施例提供的灰度图像预处理的示意图。
如图2所示，在获取待匹配图像的边缘图像的过程中，模板匹配***可以在获取待匹配图像后，首先对其进行预处理检测。响应于待匹配图像为彩色图像的检测结果，模板匹配***可以对该彩色图像进行灰度处理，以获得对应的灰度图像。
之后，响应于灰度处理获得的灰度图像或原始获得的灰度的待匹配图像中存在异常值的检测结果，模板匹配***可以根据预设窗口，对该灰度图像进行中值滤波，以获得待匹配的灰度图像。在此，该异常值可能为黑白杂点、像素跳变、孤立的噪声或者超越取值范围的值。由于中值滤波去除噪声的效果会因图像的噪声类型、强度及预设窗口的大小而不同。因此，预设窗口的大小需要根据中值滤波的应用情况而确定。在实际应用时，预设窗口可选为3×3或5×5的像素点阵列。
进一步地，在获取待匹配的灰度图像之后，模板匹配***可以计算该灰度图像中每个像素点沿X方向和/或Y方向的梯度值，并根据该梯度值对灰度图像进行边缘提取，以获得待匹配图像的边缘图像。
具体来说，在计算灰度图像中每个像素点沿X方向和/或Y方向的梯度值的过程中， 模板匹配***可以先将点处的像素灰度值定义为，将点处沿X方向的梯 度定义为，将点处沿Y方向的梯度定义为，并将沿X方向和/或Y方向的 Sobel算子分别定义为和。之后，模板匹配***可以采用Sobel算子和，分别计算 该灰度图像中每个像素点沿X方向的第一梯度值和/或沿Y方向的第二梯度值：
，
，
在此，Sobel算子是计算机视觉领域中用于计算图像梯度值的现有技术，其具体定义及具体计算方法不涉及本发明的技术改进，因而无需在此赘述。
再之后，模板匹配***可以对计算得到的上述第一梯度值和/或第二梯度值进行归一化处理，以获得灰度图像中每个像素点沿X方向的第一归一化梯度值和/或沿Y方向的第二归一化梯度值：
，
，
由此，本发明即可由计算得到的图像梯度值来表征待匹配图像中灰度变化的度 量，并经由梯度方向来表征图像强度或颜色的变化方向，其中，梯度值大的位置的像素值变 化剧烈，而梯度值小的位置的像素值变化缓慢。因此，本发明可以将梯度值大的位置认为是 图像的潜在边缘位置，并根据每个像素点沿X方向和/或Y方向的梯度得到每个像素点的梯 度向量，用于后续的边缘提取和特征匹配计算过程。
进一步地，由于经过Sobel算子处理后的图像有边缘较粗且有杂点的问题，不利于后续匹配计算的过程。因此，在本发明的一些实施例中，模板匹配***进一步使用了Canny算法来优化和提取图像的边缘。
具体来说，在对灰度图像进行边缘提取的过程中，模板匹配***可以首先对得到的梯度值进行非极大值抑制的预处理，以检查灰度图像中每个像素点与其梯度方向上的相邻像素。响应于当前像素的梯度值不是其梯度方向上的最大值的检查结果，模板匹配***可以将当前像素的像素值设为0。反之，响应于当前像素的梯度值是其梯度方向上的最大值的检查结果，模板匹配***可以保留该像素点的原像素值。
之后，模板匹配***可以采用自适应的方法，先经由Otsu阈值法处理每个像素点沿X方向和/或Y方向的梯度值，以划分获得各梯度值的高阈值，再根据得到的高阈值的预设比例（例如：50%）确定各梯度值的低阈值，并根据该高阈值及低阈值确定待匹配图像的强边缘及弱边缘。
本领域的技术人员可以理解，Otsu阈值法属于图像处理领域的现有技术，其具体处理方式不涉及本发明的技术改进，因而无需在此赘述。此外，使用Otsu阈值法对图像进行处理以得到高阈值和低阈值的实施例，只是本发明提供的一些非限制性的实施方式，旨在清楚地展示本发明的主要构思，并提供一些便于公众实施的具体方案，而非用于限制本发明的保护范围。
可选地，在另一些实施例中，本领域的技术人员也可以手动选取所需要的高阈值和低阈值。具体来说，由于不同应用产生的图像具有不同的噪声水平和边缘细节，技术人员可以在了解要处理的图像的特性后，针对该类图像不断调整阈值，并根据观察得到的边缘效果来手动选取最合适的阈值，以同样达到确定待匹配图像的强边缘及弱边缘的目的。
再之后，在确定待匹配图像的强边缘及弱边缘的过程中，模板匹配***可以逐一检查灰度图像中每个像素点。响应于当前像素的梯度值大于高阈值，模板匹配***可以将该像素点标记为强边缘。响应于当前像素的梯度值介于低阈值与高阈值之间，模板匹配***可以将该像素点标记为弱边缘。响应于当前像素的梯度值小于低阈值，模板匹配***可以忽略该像素点。如此，本发明即可有效抑制待匹配图像中一些不明显的边缘，从而保留主要的边缘图像。
请进一步参考图3~图5。图3示出了根据本发明的一些实施例提供的灰度图像中每个像素点的边缘强度的示意图。图4示出了根据本发明的一些实施例提供的灰度图像的边缘跟踪处理的示意图。图5示出了根据本发明的一些实施例提供的灰度图像的边缘提取处理的示意图。
如图3所示，在标记待匹配图像的强边缘及弱边缘之后，模板匹配***可以进一步对弱边缘点周围的8个相邻像素点进行邻域搜索。若该邻域内存在强边缘，则模板匹配***可以将该弱边缘点标记为1，以将其视作强边缘。反之，若邻域内不存在强边缘，则模板匹配***可以忽略该弱边缘点，并继续进行下一弱边缘点的邻域搜索，直到完成所有弱边缘点的邻域搜索。如此，本发明即可进一步克服待匹配图像的边缘断裂的问题，从而提升边缘图像的连续性。
进一步地，在确定边缘图像之后，模板匹配***还可以使用边缘跟踪算法对获取的边缘图像进一步处理，将边缘不连续片段连接成完整的边缘线，以利于后续的模板匹配。具体来说，如图4所示，在进行边缘线连接的过程中，模板匹配***可以首先从边缘图像的边缘线上选择一个初始点P0，并按照预设顺序（例如：顺时针顺序）检查初始点P0周围预设范围Dthreshhold（例如：5个像素点距离）内的相邻像素点。在此，该初始点可以是技术人员手动选取的某一个像素点，也可以模板匹配***自动选取的图像中梯度值最大的像素点。
之后，响应于预设范围内（即Dthreshhold > d）存在梯度值大于上述高阈值的相邻像素点P1，且该初始点P0的第一梯度向量与该相邻像素点P1的第二梯度向量之间的角度差小于预设的角度阈值，模板匹配***即可判定该初始点P0与该相邻像素点P1相关，从而连结该初始点P0与该相邻像素点P1，以优化上述边缘图像，并如图5所示地产生高质量的边缘图像。
此外，请结合参考图6及图7。图6示出了根据本发明的一些实施例提供的特征点简化的示意图。图7示出了根据本发明的一些实施例提供的特征点分块的示意图。
如图6所示，在进行特征点简化的过程中，模板匹配***可以首先获取一幅或多幅候选的模板图像，并从各候选的模板图像识别并筛选其最外圈边缘或最内圈边缘，以获得对应的最外圈边缘图像或最内圈边缘图像。
之后，如图7所示，模板匹配***可以根据预设的取点比例，从该最外圈边缘图像或最内圈边缘图像中选取最分散的多个边缘像素点来构成简化模板图像。
具体来说，在进行特征点分块的过程中，模板匹配***可以进一步根据上一步获取的最外圈边缘或最内圈边缘的总像素点数量m，以及预设的取点比例（例如：25%），确定对应的取点数量n = m / 4。然后，模板匹配***可以从该最外圈边缘或最内圈边缘选择一个初始点Q1，并从该最外圈边缘或最内圈边缘确定距离该初始点Q1最远的点Q2。依此类推，模板匹配***可以逐一从该最外圈边缘或最内圈边缘确定距离前一特征点Qn-1最远的新的特征点Qn，直到取满指定数量n个特征点，并构成图7所示的简化模板图像。
如此，通过先对模板图像进行特征点简化，再对特征点简化的模板图像进行特征点分块，本发明可以有效保证模板图像特征点的完整性，以利于计算边缘的包围关系，并由此区分模板中的最外圈边缘图像及最内圈边缘。此外，通过提取待匹配图像的边缘图像，并对模板图像进行特征点简化、特征点分块等简化操作，本发明可以大幅减少后续模板匹配所涉及的特征点，从而有效减少后续模板匹配的数据处理负荷和数据处理时间，以提升模板匹配的实时性。
请继续参考图1，在获取待匹配图像的边缘图像及简化模板图像之后，模板匹配***即可分别创建边缘图像及简化模板图像的图像金字塔，以分别获取边缘图像的多级第一下采样图像，以及简化模板图像的多级第二下采样图像，并由此确定各级第二下采样图像的模板特征点集合。
具体请参考图8及图9。图8示出了根据本发明的一些实施例提供的图像金字塔的示意图。图9示出了根据本发明的一些实施例提供的旋转模板图像的示意图。
如图8所示，在创建边缘图像的图像金字塔的过程中，模板匹配***可以按照预设的下采样率，对边缘图像进行多级迭代的下采样，以依次得到更低分辨率的多级第一下采样图像，直到达到预设的金字塔级数，或者达到预设的图像分辨率（例如：10×10像素）。类似地，在创建简化模板图像的图像金字塔的过程中，模板匹配***可以按照同样的下采样率，对简化模板图像进行多级迭代的下采样，以依次得到更低分辨率的多级第二下采样图像，直到达到预设的金字塔级数，或者达到预设的图像分辨率（例如：10×10像素）。
之后，如图9所示，模板匹配***可以先在预设的偏转角度范围（例如：±5°）内，根据预设的第一角度步长（例如：2°）步进地偏转各级第二下采样图像，以分别采集其中的多个模板特征点，再根据各级第二下采样图像在各角度下采集的模板特征点，分别构建各级第二下采样图像的模板特征点集合，以作为后续模板匹配的依据。
如此，通过在图像金字塔的各种数据维度下，进行多偏转角度的模板匹配，本发明可以有效克服传统模板匹配技术在处理光照变化、尺度变化、旋转变化等情况时的局限性，从而大幅提升模板匹配的鲁棒性及匹配精度。
请继续参考图1，在分别创建边缘图像及简化模板图像的图像金字塔，并分别确定各级第二下采样图像的模板特征点集合之后，模板匹配***即可根据各级第二下采样图像的模板特征点集合，分别搜索对应的第一下采样图像，以确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置，并根据该最佳匹配位置确定模板图像与待匹配图像的模板匹配结果。
具体来说，在搜索最佳匹配位置的过程中，模板匹配***可以先根据上述第一角度步长（例如：2°），分别计算各级第二下采样图像的模板特征点集合中各角度的多个模板特征点的梯度值，与对应第一下采样图像中各候选位置的多个像素点的梯度值的第一平均相似度，并根据各第一平均相似度确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置。
请进一步参考图10，图10示出了根据本发明的一些实施例提供的多步长搜索算法的示意图。
如图10所示，模板匹配***可以优选地采用不同的偏转角度进行多步长搜索，从 第一级第一下采样图像的预设起始位置，按照预设的初始步长（例如：4像素）在该第一级第 一下采样图像上滑动第一级第二下采样图像的简化模板，以计算该第一级第一下采样图像 中每个位置的相似度得分。若该第一级第二下采样图像中有n个特征点，则模板匹配***可 以将每个特征点的梯度向量定义为，并将该第一级第一下采样图像对应点的 梯度向量定义为，从而如下计算得到该第一级第一下采样图像中各候选位置 的多个像素点的梯度值的第一平均相似度：
，
之后，模板匹配***即可根据每个位置的相似度得分，初步确定该第一级第二下采样图像在该第一级第一下采样图像中对应该初始步长的第一最佳匹配位置。
再之后，模板匹配***还可以优选地根据预设的缩小比例（例如：50%）缩小上述初始步长，以获得第二步长（即2像素），并以上述第一最佳匹配位置为起点，按照该第二步长在第一下采样图像的初始步长范围（即4×4的像素阵列）中滑动该第一级第二下采样图像，以计算其中每个位置的相似度得分，并依此类推，直到完成步长为1的图像搜索，并获得最终的最佳匹配位置。
如此，本发明即可在成倍减少模板匹配的相似度运算量的基础上，进一步防止多步长搜索跳过最佳匹配位置，从而全面提高模板匹配的实时性、鲁棒性及匹配精度。
本领域的技术人员可以理解，上述多步长搜索的实施例只是本发明提供的一种非限制性的实施方式，旨在清楚的展示本发明的主要构思，并提供一种加快模板匹配速度的优选方案，而非用于限制本发明的保护范围。
可选地，在另一些实施例中，本领域的技术人员还可以通过划分子图的方式来确定第二下采样图像在对应的第一下采样图像的最佳匹配位置，以同样获得加快模板匹配速度的技术效果。具体请参考图11，图11示出了根据本发明的一些实施例提供的划分子图的示意图。
如图11所示，在搜索最佳匹配位置的过程中，模板匹配***可以先将各级第一下采样图像分别划分成多个子图，然后在每一子图中分别计算对应的第二下采样图像的模板特征点集合中各角度的多个模板特征点的梯度值，与对应第一下采样图像中各候选位置的多个像素点的梯度值的平均相似度。接着，模板匹配***可以如上所述地根据计算的获得的平均相似度，分别确定该级第二下采样图像在对应的第一下采样图像的各子图的最佳匹配位置，并根据平均相似度最高的最佳匹配位置，确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置。
进一步地，基于上述对总像素点数量为m的最外圈边缘或最内圈边缘进行特征点分块，以获取像素点数量为n = m / 4的简化模板图像的实施例，模板匹配***还可以在确定该第一级第二下采样图像在该第一级第一下采样图像的最佳匹配位置之后，将该基于n个像素点对应的特征点集合确定的最佳匹配位置的第一平均相似度，与预设的第一相似度阈值进行比较。响应于第一平均相似度小于第一相似度阈值的结果，模板匹配***可以判定该第一级第一下采样图像与该第一级第二下采样图像不匹配，从而抛弃该最佳匹配位置，以快速终止待匹配图像与当前模板图像的匹配流程。
反之，响应于第一平均相似度大于或等于第一相似度阈值的结果，模板匹配***可以进一步计算上述最外圈边缘图像或最内圈边缘图像中对应角度的所有模板特征点的梯度值，与该边缘图像中对应位置的多个像素点的梯度值的第二平均相似度，并将其与预设的第二相似度阈值进行比较。响应于该第二平均相似度小于预设的第二相似度阈值的结果，模板匹配***可以判定上述特征点简化和特征点分块的操作造成了模板匹配的误判，从而抛弃最佳匹配位置，并快速终止待匹配图像与当前模板图像的匹配流程。反之，响应于第二平均相似度大于或等于预设的第二相似度阈值的结果，模板匹配***可以判定该边缘图像中的对应位置为该级第二下采样图像在对应的第一下采样图像的最佳匹配位置，从而进一步提高模板匹配的鲁棒性及匹配精度。
再之后，请参考图12。图12示出了根据本发明的一些实施例提供的模板图像金字塔当前级最佳匹配位置与下一级起始位置的对应关系示意图。
如图12所示，响应于确定当前级第二下采样图像在对应的第一下采样图像的最佳匹配位置，模板匹配***还可以优选地以该最佳匹配位置在下级第二下采样图像的映射位置为起点，根据预设的位置误差范围及上述第一角度步长，确定下级第一下采样图像的搜索范围及第二角度步长，再根据该第二角度步长分别计算下级第二下采样图像的模板特征点集合中各角度的多个模板特征点的梯度值，与下级第一下采样图像的搜索范围中各候选位置的多个像素点的梯度值的平均相似度，以确定下级第二下采样图像在下级第一下采样图像的最佳匹配位置，并依此类推，直到确定末级第二下采样图像在末级第一下采样图像的最佳匹配位置。
例如，假设第一级第一下采样图像的最佳匹配位置为(50, 60)，最佳匹配角度为40°，第一角度步长为2°，而该最佳匹配位置为(50, 60)映射到第二级第一下采样图像的位置为(100, 120)。模板匹配***可以根据预设的位置范围误差（例如：10个像素），在第二级第一下采样图像中以(90, 110)位置为左上角，以(110, 130)位置为右下角的正方形范围内,基于38°~42°的角度搜索范围及0.4°的第二角度步长，进一步搜寻第二下级第二下采样图像在第二级第一下采样图像的最佳匹配位置，并依此类推，直到确定末级第二下采样图像在末级第一下采样图像的最佳匹配位置。
在此，由于每一尺寸和旋转角度的模板图像的特征点集合都是经过特征点简化和特征点分块得到的，有效减少了参与计算的特征点数量。由于采用了多步长搜索算法，本发明可以有效减少运算次数，以解决传统模板匹配计算量大，难以满足实际应用中实时性需求的问题。
例如，假设第一级第二下采样图像的尺寸为18×17，共306个像素点，而该第一级第一下采样图像的尺寸为240×180，则传统算法需要遍历的次数为：
[(240 - 18) + 1] × [(180 - 17) + 1] = 36,572次。
对应地，传统算法在某一角度计算特征向量点积的次数为：
150 × 36572=5,485,800次。
相较之下，通过从模板图像提取得到150个特征点，然后对提取得到的150个特征点进行特征点简化，以得到128个特征点，接着再对简化后的128个特征点进行特征点分块，以得到32个特征点，进而使用初始步长设为2的多步长搜索算法，本发明提供的上述模板匹配***需要遍历的次数可以被减少为：
[(240 - 18)/2 + 1] × [(180 - 17)/2 + 1] + 9 = 9,193次。
对应地，该算法在某一角度计算特征向量点积的次数最多为：
128 × 9193 = 1,176,704次。
该算法在某一角度计算特征向量点积的次数最少为：
32 × 9192 + 128 = 294,182次。
类似地，对于尺寸为36×34，共1224个像素点的第二级第二下采样图像。模板匹配***可以从中提取得到309个特征点，然后对得到的309个特征点进行特征点简化，以得到159个特征点，接着再对得到的159个特征点进行特征点分块，以得到40个特征点。由此，模板匹配***可以在每级图像金字塔中都有效地减少参与计算的特征点数量及运算次数。
此外，由于在构建图像金字塔时，图像的尺寸不断减小可能导致信息的丢失和模糊。因此，在设定图像金字塔级数时，需要权衡计算效率与匹配结果的准确性。为此，在一些实施例中，模板匹配***可以优选地在最后一级图像大小接近10×10时停止继续进行下采样。
进一步地，由于在之前的步骤中进行了特征点简化和特征点分块，易造成最佳匹配位置不是目标匹配位置。因此，在一些实施例中，在确定最后一级最佳匹配位置之后，模板匹配***还可以优选地对边缘图像与模板图像进行细节对比，计算模板图像的全部特征点的梯度值，与待匹配图像关于最佳匹配位置的多个像素点的梯度值的平均相似度。响应于该平均相似度小于预设的第三相似度阈值，模板匹配***可以判定该最佳匹配位置是特征点简化和特征点分块流程导致的误判，从而抛弃该最佳匹配位置，以进一步提高模板匹配的鲁棒性。
此外，在一些实施例中，在得到整数级的最佳匹配位置和粗略的角度之 后，模板匹配***还可以优选地使用最小二乘平差法将模板图像的特征点和特征向量与待 匹配图像进行拟合，以得到亚像素级精度及小数级角度的最佳匹配位置。
具体来说，在进行图像拟合的过程中，模板匹配***可以首先确定模板图像的第一特征点集合M，以及待匹配图像关于最佳匹配位置的多个像素点的第二特征点集合T。之后，模板匹配***可以计算该第二特征点集合T中的每一特征点的特征向量及特征线。在此，该特征线是指垂直于特征向量且经过特征点的直线。再之后，模板匹配***可以将刚体变换的旋转量定义为Δθ，将刚体变换的平移量定义为Δx和Δy，将指示第三特征点集合M’中的特征点定义为(x’m, y’m)，并对第一特征点集合M中的每一特征点(xm, ym)做旋转平移的刚体变换，以得到如下的第三特征点集合M’：
，
再之后，模板匹配***可以计算该第三特征点集合M’中的每一特征点(x’m, y’m)到上述第二特征点集合T中对应的特征线的距离，并对各距离求和，以确定总距离S。最后，模板匹配***可以根据使总距离S取最小值的旋转量Δθ及平移量Δx、Δy，优化上述最佳匹配位置。
进一步地，模板匹配***可以如上所述地进行2~3次的迭代，以将上述最佳匹配位 置优化为亚像素级精度的，并将上述旋转角度优化为小数级的。
本领域的技术人员可理解，上述模板匹配方法的实施例只是本发明提供的一种非限制性的描述方式，旨在将符合相关描述的各种应用场景都囊括到本发明的保护范围。
例如，在一些实施例中，本发明所揭露的待匹配图像可以包括待对准晶圆的对准面图像。对应地，上述模板图像中可以带有位于晶圆对准面的预设图案。如此，在根据最佳匹配位置确定模板图像与待匹配图像的模板匹配结果之后，本发明提供的上述模板匹配***即可在光刻应用中，根据获得的模板匹配结果进行光刻掩膜与晶圆的对位，通过将期望的图案与实际曝光的图案进行匹配来检测晶圆是否存在偏差，从而调整掩膜位置来实现晶圆对准。
又例如，在一些实施例中，本发明所揭露的待匹配图像可以包括待测半导体器件的检测面图像。对应地，上述模板图像中可以带有位于该检测面的至少一个电路元件的图案。如此，在根据最佳匹配位置确定模板图像与待匹配图像的模板匹配结果之后，本发明提供的上述模板匹配***即可在芯片制造应用中，根据所述模板匹配结果检测芯片上的各种电路元件的位置和形状，以判断它们是否符合设计要求。
综上，本发明提供的上述模板匹配方法、模板匹配***及计算机可读存储介质，均能通过特征点简化来减少传统模板匹配技术的计算量，并通过图像金字塔的多级匹配来提高模板匹配的鲁棒性和匹配精度，从而全面提高模板匹配的实时性、鲁棒性及匹配精度。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (19)

1.一种模板匹配方法，其特征在于，包括以下步骤：
获取待匹配图像的边缘图像，以及对模板图像进行特征点简化获得的简化模板图像；
分别创建所述边缘图像及所述简化模板图像的图像金字塔，以分别获取所述边缘图像的多级第一下采样图像，以及所述简化模板图像的多级第二下采样图像；
分别确定各级所述第二下采样图像的模板特征点集合；
根据预设的第一角度步长，分别计算各级所述第二下采样图像的模板特征点集合中多个角度的多个模板特征点的梯度值，与对应第一下采样图像中各候选位置的多个像素点的梯度值的第一平均相似度，并将其与预设的第一相似度阈值进行比较；
响应于所述第一平均相似度大于或等于所述第一相似度阈值，计算所述简化模板图像中对应角度的多个模板特征点的梯度值，与所述边缘图像中对应位置的多个像素点的梯度值的第二平均相似度；
响应于所述第二平均相似度大于或等于预设的第二相似度阈值，判定所述边缘图像中的所述对应位置为该级第二下采样图像在对应的第一下采样图像的最佳匹配位置；
响应于确定当前级第二下采样图像在对应的第一下采样图像的最佳匹配位置，以该最佳匹配位置在下级第二下采样图像的映射位置为起点，根据预设的位置误差范围及所述第一角度步长，确定下级第一下采样图像的搜索范围及第二角度步长；
根据所述第二角度步长，分别计算所述下级第二下采样图像的模板特征点集合中各角度的多个模板特征点的梯度值，与所述下级第一下采样图像的所述搜索范围中各候选位置的多个像素点的梯度值的平均相似度，以确定所述下级第二下采样图像在所述下级第一下采样图像的最佳匹配位置，并依此类推，直到确定末级第二下采样图像在末级第一下采样图像的最佳匹配位置；以及
根据所述最佳匹配位置，确定所述模板图像与所述待匹配图像的模板匹配结果。
2.如权利要求1所述的模板匹配方法，其特征在于，获取所述待匹配图像的边缘图像的步骤包括：
获取待匹配的灰度图像；
计算所述灰度图像中每个像素点沿X方向和/或Y方向的梯度值；以及
根据所述梯度值对所述灰度图像进行边缘提取，以获得所述边缘图像。
3.如权利要求2所述的模板匹配方法，其特征在于，所述获取待匹配的灰度图像的步骤包括：
获取待匹配图像，并对其进行预处理检测；
响应于所述待匹配图像为彩色图像的检测结果，对所述彩色图像进行灰度处理；以及
响应于灰度的待匹配图像或经过所述灰度处理的彩色图像中存在异常值的检测结果，根据预设窗口对所述灰度的待匹配图像或经过所述灰度处理的彩色图像进行中值滤波，以获得所述待匹配的灰度图像。
4.如权利要求2所述的模板匹配方法，其特征在于，所述计算所述灰度图像中每个像素点沿X方向和/或Y方向的梯度值的步骤包括：
采用Sobel算子，计算所述灰度图像中每个像素点沿X方向的第一梯度值和/或沿Y方向的第二梯度值；以及
对所述第一梯度值和/或所述第二梯度值进行归一化处理，以获得所述灰度图像中每个像素点沿X方向的第一归一化梯度值和/或沿Y方向的第二归一化梯度值。
5.如权利要求2所述的模板匹配方法，其特征在于，所述根据所述梯度值对所述灰度图像进行边缘提取，以获得所述边缘图像的步骤包括：
根据所述灰度图像中每个像素点沿X方向和/或Y方向的梯度值，划分所述梯度值的高阈值及低阈值；
根据所述高阈值及所述低阈值，确定所述待匹配图像的强边缘及弱边缘；
对所述弱边缘进行邻域搜索，以将邻域内存在强边缘的弱边缘确定为强边缘；以及
根据所述强边缘，确定所述边缘图像。
6.如权利要求5所述的模板匹配方法，其特征在于，所述根据所述灰度图像中每个像素点沿X方向和/或Y方向的梯度值，划分所述梯度值的高阈值及低阈值的步骤包括：
经由Otsu阈值法处理所述灰度图像，以得到所述高阈值；以及
根据所述高阈值的预设比例，确定所述低阈值。
7.如权利要求5所述的模板匹配方法，其特征在于，在根据所述灰度图像中每个像素点沿X方向和/或Y方向的梯度值，划分所述梯度值的高阈值及低阈值之前，所述模板匹配方法还包括以下步骤：
检查所述灰度图像中每个像素点与其梯度方向上的相邻像素；以及
响应于当前像素的梯度值不是其梯度方向上的最大值，将所述当前像素的像素值设为0。
8.如权利要求7所述的模板匹配方法，其特征在于，在根据所述强边缘，确定所述边缘图像之后，所述模板匹配方法还包括以下步骤：
从所述边缘图像的边缘线上选择一个初始点P0，并按照预设顺序检查所述初始点P0周围预设范围内的相邻像素点；以及
响应于所述预设范围内存在梯度值大于所述高阈值的相邻像素点P1，且所述初始点P0的第一梯度向量与所述相邻像素点P1的第二梯度向量之间的角度差小于预设的角度阈值，连结所述初始点P0与所述相邻像素点P1，以优化所述边缘图像。
9.如权利要求1所述的模板匹配方法，其特征在于，获取所述简化模板图像的步骤包括：
获取模板图像；
从所述模板图像识别并筛选最外圈边缘或最内圈边缘，以获得最外圈边缘图像或最内圈边缘图像；以及
根据预设的取点比例，从所述最外圈边缘图像或所述最内圈边缘图像中选取最分散的多个边缘像素点，以构成所述简化模板图像。
10.如权利要求9所述的模板匹配方法，其特征在于，所述根据预设的取点比例，从所述最外圈边缘图像或所述最内圈边缘图像中选取最分散的多个边缘像素点，以构成所述简化模板图像的步骤包括：
根据所述最外圈边缘或所述最内圈边缘的总像素点数量，以及所述取点比例，确定取点数量n；
从所述最外圈边缘或所述最内圈边缘选择一个初始点Q1；以及
从所述最外圈边缘或所述最内圈边缘，确定距离所述初始点Q1最远的点Q2，并依此类推，直到从所述最外圈边缘或所述最内圈边缘确定距离点Qn-1最远的点Qn。
11.如权利要求1所述的模板匹配方法，其特征在于，所述分别确定各级所述第二下采样图像的模板特征点集合的步骤包括：
在预设的偏转角度范围内，根据所述第一角度步长步进地偏转各级所述第二下采样图像，以分别采集其中的多个模板特征点；以及
根据各级所述第二下采样图像在各角度下采集的模板特征点，分别构建各级所述第二下采样图像的模板特征点集合。
12.如权利要求11所述的模板匹配方法，其特征在于，在确定末级第二下采样图像在末级第一下采样图像的最佳匹配位置之后，所述模板匹配方法还包括以下步骤：
计算所述模板图像的全部特征点的梯度值，与所述待匹配图像关于所述最佳匹配位置的多个像素点的梯度值的平均相似度；以及
响应于所述平均相似度小于预设的第三相似度阈值，抛弃所述最佳匹配位置。
13.如权利要求11所述的模板匹配方法，其特征在于，在确定末级第二下采样图像在末级第一下采样图像的最佳匹配位置之后，所述模板匹配方法还包括以下步骤：
确定所述模板图像的第一特征点集合M，以及所述待匹配图像关于所述最佳匹配位置的多个像素点的第二特征点集合T；
计算所述第二特征点集合T中的每一特征点的特征向量及特征线，其中，所述特征线为垂直于所述特征向量且经过所述特征点的直线；
对所述第一特征点集合M中的每一特征点(xm, ym)做旋转平移的刚体变换，以得到第三特征点集合M’：
其中，Δθ为所述刚体变换的旋转量，Δx和Δy为所述刚体变换的平移量，(x’m, y’m)指示所述第三特征点集合M’中的特征点；
计算所述第三特征点集合M’中的每一特征点(x’m, y’m)到所述第二特征点集合T中对应的特征线的距离，并对各所述距离求和，以确定总距离S；以及
根据使所述总距离S取最小值的旋转量Δθ及平移量Δx、Δy，优化所述最佳匹配位置。
14.如权利要求1所述的模板匹配方法，其特征在于，所述根据各级所述第二下采样图像的模板特征点集合，分别搜索对应的第一下采样图像，以确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置的步骤包括：
从所述第一下采样图像的预设起始位置，按照预设的初始步长在所述第一下采样图像中滑动所述第二下采样图像，以计算其中每个位置的相似度得分；
根据每个位置的相似度得分，确定对应所述初始步长的第一最佳匹配位置；
根据预设的缩小比例缩小所述初始步长，以获得第二步长；以及
从所述第一最佳匹配位置，按照所述第二步长在所述第一下采样图像的初始步长范围中滑动所述第二下采样图像，以计算其中每个位置的相似度得分，并依此类推，直到完成步长为1的图像搜索，并获得最终的最佳匹配位置。
15.如权利要求1所述的模板匹配方法，其特征在于，所述根据各级所述第二下采样图像的模板特征点集合，分别搜索对应的第一下采样图像，以确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置的步骤包括：
将各级所述第一下采样图像分别划分成多个子图；
在每一所述子图中分别计算对应的第二下采样图像的模板特征点集合中各角度的多个模板特征点的梯度值，与对应第一下采样图像中各候选位置的多个像素点的梯度值的平均相似度；
根据所述平均相似度，分别确定该级第二下采样图像在对应的第一下采样图像的各子图的最佳匹配位置；以及
根据平均相似度最高的最佳匹配位置，确定该级第二下采样图像在对应的第一下采样图像的最佳匹配位置。
16.如权利要求1所述的模板匹配方法，其特征在于，所述待匹配图像包括待对准晶圆的对准面图像，所述模板图像中带有位于所述对准面的预设图案，在根据所述最佳匹配位置，确定所述模板图像与所述待匹配图像的模板匹配结果之后，所述模板匹配方法还包括以下步骤：
根据所述模板匹配结果，对准所述晶圆。
17.如权利要求1所述的模板匹配方法，其特征在于，所述待匹配图像包括待测半导体器件的检测面图像，所述模板图像中带有位于所述检测面的至少一个电路元件的图案，在根据所述最佳匹配位置，确定所述模板图像与所述待匹配图像的模板匹配结果之后，所述模板匹配方法还包括以下步骤：
根据所述模板匹配结果，确定关于所述半导体器件的检测结果。
18.一种模板匹配***，其特征在于，包括：
存储器，其上存储有计算机指令；以及
处理器，连接所述存储器，并被配置用于执行所述存储器上存储的计算机指令，以实施如权利要求1~17中任一项所述的模板匹配方法。
19.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时，实施如权利要求1~17中任一项所述的模板匹配方法。
CN202311371629.2A 2023-10-23 2023-10-23 模板匹配方法、模板匹配***及存储介质 Active CN117115487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311371629.2A CN117115487B (zh) 2023-10-23 2023-10-23 模板匹配方法、模板匹配***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311371629.2A CN117115487B (zh) 2023-10-23 2023-10-23 模板匹配方法、模板匹配***及存储介质

Publications (2)

Publication Number Publication Date
CN117115487A CN117115487A (zh) 2023-11-24
CN117115487B true CN117115487B (zh) 2024-03-08

Family

ID=88798715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311371629.2A Active CN117115487B (zh) 2023-10-23 2023-10-23 模板匹配方法、模板匹配***及存储介质

Country Status (1)

Country Link
CN (1) CN117115487B (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008309671A (ja) * 2007-06-15 2008-12-25 Ihi Corp 物体認識方法および装置
CN102446349A (zh) * 2010-09-29 2012-05-09 奥林巴斯株式会社 图像处理装置和图像处理方法
WO2013071981A1 (en) * 2011-11-18 2013-05-23 Metaio Gmbh Method of matching image features with reference features and integrated circuit therefor
CN105609458A (zh) * 2015-12-28 2016-05-25 北京中电科电子装备有限公司 一种晶圆对准检测方法及***
CN105930858A (zh) * 2016-04-06 2016-09-07 吴晓军 一种带旋转、缩放的快速高精度几何模板匹配方法
CN108109155A (zh) * 2017-11-28 2018-06-01 东北林业大学 一种基于改进Canny的自动阈值边缘检测方法
CN108573273A (zh) * 2017-03-10 2018-09-25 欧姆龙株式会社 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质
CN109801318A (zh) * 2019-01-30 2019-05-24 东北大学 一种快速物体匹配算法
CN110378376A (zh) * 2019-06-12 2019-10-25 西安交通大学 一种基于机器视觉的加油口目标识别定位方法
CN111079803A (zh) * 2019-12-02 2020-04-28 易思维（杭州）科技有限公司 基于梯度信息的模板匹配方法
CN112508037A (zh) * 2020-11-23 2021-03-16 北京配天技术有限公司 图像模板匹配方法、装置及存储装置
CN113139626A (zh) * 2021-06-21 2021-07-20 浙江华睿科技有限公司 模板匹配方法、装置、电子设备及计算机可读存储介质
CN113594076A (zh) * 2021-07-22 2021-11-02 上海精测半导体技术有限公司 有图形晶圆的对准方法及半导体设备
WO2022100065A1 (zh) * 2020-11-11 2022-05-19 广东拓斯达科技股份有限公司 图像配准方法、装置、电子设备及存储介质
CN114926488A (zh) * 2022-05-23 2022-08-19 华南理工大学 基于广义Hough模型和改进金字塔搜索加速的工件定位方法
CN115360133A (zh) * 2022-08-24 2022-11-18 上海精测半导体技术有限公司 一种半导体设备多级自动晶圆对准方法和半导体设备
CN116051820A (zh) * 2023-02-17 2023-05-02 中国科学院重庆绿色智能技术研究院 基于多模板的单目标检测方法
US11663849B1 (en) * 2020-04-23 2023-05-30 Alitheon, Inc. Transform pyramiding for fingerprint matching system and method
CN116543188A (zh) * 2023-07-06 2023-08-04 深圳市睿达科技有限公司 一种基于灰度匹配的机器视觉匹配方法及***
CN116864434A (zh) * 2023-05-09 2023-10-10 上海精测半导体技术有限公司 一种有图形晶圆对准方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008309671A (ja) * 2007-06-15 2008-12-25 Ihi Corp 物体認識方法および装置
CN102446349A (zh) * 2010-09-29 2012-05-09 奥林巴斯株式会社 图像处理装置和图像处理方法
WO2013071981A1 (en) * 2011-11-18 2013-05-23 Metaio Gmbh Method of matching image features with reference features and integrated circuit therefor
CN105609458A (zh) * 2015-12-28 2016-05-25 北京中电科电子装备有限公司 一种晶圆对准检测方法及***
CN105930858A (zh) * 2016-04-06 2016-09-07 吴晓军 一种带旋转、缩放的快速高精度几何模板匹配方法
CN108573273A (zh) * 2017-03-10 2018-09-25 欧姆龙株式会社 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质
CN108109155A (zh) * 2017-11-28 2018-06-01 东北林业大学 一种基于改进Canny的自动阈值边缘检测方法
CN109801318A (zh) * 2019-01-30 2019-05-24 东北大学 一种快速物体匹配算法
CN110378376A (zh) * 2019-06-12 2019-10-25 西安交通大学 一种基于机器视觉的加油口目标识别定位方法
CN111079803A (zh) * 2019-12-02 2020-04-28 易思维（杭州）科技有限公司 基于梯度信息的模板匹配方法
US11663849B1 (en) * 2020-04-23 2023-05-30 Alitheon, Inc. Transform pyramiding for fingerprint matching system and method
WO2022100065A1 (zh) * 2020-11-11 2022-05-19 广东拓斯达科技股份有限公司 图像配准方法、装置、电子设备及存储介质
CN112508037A (zh) * 2020-11-23 2021-03-16 北京配天技术有限公司 图像模板匹配方法、装置及存储装置
CN113139626A (zh) * 2021-06-21 2021-07-20 浙江华睿科技有限公司 模板匹配方法、装置、电子设备及计算机可读存储介质
CN113594076A (zh) * 2021-07-22 2021-11-02 上海精测半导体技术有限公司 有图形晶圆的对准方法及半导体设备
CN114926488A (zh) * 2022-05-23 2022-08-19 华南理工大学 基于广义Hough模型和改进金字塔搜索加速的工件定位方法
CN115360133A (zh) * 2022-08-24 2022-11-18 上海精测半导体技术有限公司 一种半导体设备多级自动晶圆对准方法和半导体设备
CN116051820A (zh) * 2023-02-17 2023-05-02 中国科学院重庆绿色智能技术研究院 基于多模板的单目标检测方法
CN116864434A (zh) * 2023-05-09 2023-10-10 上海精测半导体技术有限公司 一种有图形晶圆对准方法
CN116543188A (zh) * 2023-07-06 2023-08-04 深圳市睿达科技有限公司 一种基于灰度匹配的机器视觉匹配方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fast-Match: Fast Affine Template Matching;Simon Korman 等;《Int J Comput Vis (2017)》;全文 *
基于相关性的医学图像插值算法;周悦 等;《计算机测量与控制》;第22卷(第9期);全文 *

Also Published As

Publication number Publication date
CN117115487A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
JP7297018B2 (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN108369650B (zh) 标识校准图案的可能特征点的方法
CN108629343B (zh) 一种基于边缘检测和改进Harris角点检测的车牌定位方法和***
US6735337B2 (en) Robust method for automatic reading of skewed, rotated or partially obscured characters
CN111507055B (zh) 电路设计版图和电镜扫描图像的配准方法及***、电路设计版图和其成像误差计算方法
CN110111387B (zh) 一种基于表盘特征的指针表定位及读数方法
JP2023120281A (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN104899888A (zh) 一种基于Legendre矩的图像亚像素边缘检测方法
CN111476750B (zh) 对成像模组进行污点检测的方法、装置、***及存储介质
CN112017223A (zh) 基于改进SIFT-Delaunay的异源图像配准方法
CN115205223A (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
CN110222661A (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN115690670A (zh) 一种晶圆瑕疵智能识别方法和***
Povolotskiy et al. Russian License Plate Segmentation Based On Dynamic Time Warping.
CN106530273B (zh) 高精度fpc直线线路检测与缺陷定位方法
US6829382B2 (en) Structure-guided automatic alignment for image processing
CN117649451B (zh) 一种用于寻边器晶圆定位的视觉定位方法
CN117115487B (zh) 模板匹配方法、模板匹配***及存储介质
Fan et al. Skew detection in document images based on rectangular active contour
CN112418210B (zh) 一种杆塔巡检信息智能分类方法
CN112069974A (zh) 一种识别元器件缺损的图像识别方法及其***
CN116206139A (zh) 一种基于局部自卷积的无人机图像升尺度匹配方法
Wu et al. An accurate feature point matching algorithm for automatic remote sensing image registration
Liu et al. Inspection of IC wafer Defects Based on Image Registration
CN114120320A (zh) 一种图像多目标信息识别方法、***及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant