CN110992322A - 基于卷积神经网络的贴片掩膜检测***及检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的贴片掩膜检测***，包括：图像特征提取模块，用于基于卷积神经网络对获取的待检测物体图像进行图像特征提取，得到所述待检测物体图像对应的特征图；掩膜区域识别模块，连接所述图像特征提取模块，用于根据所提取的所述特征图，识别得到掩膜目标区域；掩膜分割模块，连接所述掩膜区域识别模块，用于对所述掩膜目标区域进行掩膜区域图像分割，得到所述待检测物体的掩膜图像，本发明通过特征提取网络提取待检测物体图像中的疑似掩膜目标区域，并通过对各疑似目标区域进行是否存在掩膜区域的置信度计算输出最终的掩膜目标区域，提高了对目标掩膜的识别准确率。本发明还公开了一种贴片掩膜检测方法。

Description

基于卷积神经网络的贴片掩膜检测***及检测方法

技术领域

本发明涉及一种掩膜质量检测***，具体涉及一种基于卷积神经网络的贴片掩膜检测***、方法。

背景技术

掩膜是一种图像滤镜的模板。比如在半导体制造中，许多芯片工艺步骤采用光刻技术，用于这些步骤的图形“底片”称为掩膜，其作用是：在硅片上选定的区域中对一个不透明的图形模板进行遮盖，继而下面的腐蚀或扩散将只影响选定的区域以外的区域。又比如，将用于覆盖的特定图像或物体称为掩膜或模板，目的是对处理的图像(全部或局部)进行遮挡。光学图像处理中，掩膜可以是胶片、滤光片等。数字图像处理中，掩膜为二维矩阵数组，有时也用多值图像。

在工业检测领域，可通过检测掩膜质量进而评价待测物体的成品质量。现有技术中，对于掩膜的检测，通常基于传统的图像处理技术，首先对图像进行图像滤波等预处理，以提升图像质量和对比度。然后将经过预处理后的掩膜图像与标准的掩膜模板进行图像匹配，分析掩膜图像和掩膜模板的图像相似度，最后根据图像相似程度分析掩膜图像的质量，进而分析出待测物体的成品质量。但现有的图像处理技术，对于掩膜图像的采集过程很大程度上受限于采集环境的光照等因素，采集到的掩膜图像多存在变形、有污点、有噪声等问题，即便是对掩膜图像进行了图像预处理也无法很好的解决这些问题，导致对掩膜质量的分析结果不准确，无法满足实际检测需求。

发明内容

本发明的目的在于提供一种基于卷积神经网络的贴片掩膜检测***，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供一种基于卷积神经网络的贴片掩膜检测***，用于检测待检测物体的掩膜，包括：

图像特征提取模块，用于基于卷积神经网络对获取的待检测物体图像进行图像特征提取，得到所述待检测物体图像对应的特征图；

掩膜区域识别模块，连接所述图像特征提取模块，用于根据所提取的所述特征图，识别得到掩膜目标区域；

掩膜分割模块，连接所述掩膜区域识别模块，用于对所述掩膜目标区域进行掩膜区域图像分割，得到所述待检测物体的掩膜图像。

作为本发明的一种优选方案，所述掩膜区域识别模块中包括：

掩膜区域框选单元，用于在所述特征图上框选出若干个疑似掩膜目标区域；

掩膜区域定位单元，连接所述掩膜区域框选单元，用于对各所述疑似掩膜目标区域进行粗定位；

目标掩膜置信度计算单元，用于对各所述疑似掩膜目标区域进行有无目标掩膜的置信度计算，并输出置信度计算结果；

掩膜目标区域识别单元，分别连接所述掩膜区域定位单元和所述目标掩膜置信度计算单元，用于根据所述掩膜目标区域在所述特征图上的定位信息和所述置信度计算结果，最终识别得到存在于所述特征图上的所述掩膜目标区域。

作为本发明的一种优选方案，所述掩膜分割模块中包括：

图像还原单元，用于将经过所述掩膜目标区域识别的所述特征图还原成与所获取的所述待检测物体图像同尺寸的特征原图；

掩膜分割单元，连接所述图像还原单元，用于根据所述掩膜目标区域在所述特征原图上的所述定位信息，将所述掩膜目标区域从所述特征原图中分割出来，最终得到所述待检测物体的掩膜图像。

作为本发明的一种优选方案，所述贴片掩膜检测***还包括：

掩膜质量分析模块，连接所述掩膜分割模块，用于将所述掩膜图像与一预设的标准的掩膜模板进行图像比对，计算所述掩膜图像与所述掩膜模板的图像面积交并比，并通过交并比计算结果分析所述掩膜的质量情况；

成品质量分析模块，连接所述掩膜质量分析模块，用于根据所分析的所述掩膜质量情况，进而分析得到所述待检测物体的成品质量。

本发明还提供了一种基于卷积神经网络的贴片掩膜检测方法，通过应用所述贴片掩膜检测***实现，具体包括如下步骤：

步骤S1，所述贴片掩膜检测***基于卷积神经网络对获取的待检测物体图像进行图像特征提取，得到所述待检测物体图像对应的特征图；

步骤S2，所述贴片掩膜检测***根据提取的所述特征图，识别得到掩膜目标区域；

步骤S3，所述贴片掩膜检测***对所述掩膜目标区域进行掩膜区域图像分割，得到所述待检测物体的掩膜图像。

作为本发明的一种优选方案，所述贴片掩膜检测***识别得到所述掩膜目标区域的具体过程如下：

步骤S21，所述贴片掩膜检测***根据预设的图像框选方法，在所述特征图上框选出若干个疑似掩膜目标区域；

步骤S22，所述贴片掩膜检测***根据预设的定位方法，对各所述疑似掩膜目标区域进行粗定位；

步骤S23，所述贴片掩膜检测***根据预设的置信度计算方法，对粗定位得到的各疑似掩膜目标区域进行有无目标掩膜的置信度计算，并输出置信度计算结果；

步骤S24，所述贴片掩膜检测***根据所述置信度计算结果和所述掩膜目标区域在所述特征图上的定位信息，最终识别到存在于所述特征图上的所述掩膜目标区域。

作为本发明的一种优选方案，所述步骤S3中，所述贴片掩膜检测***对所述掩膜目标区域进行掩膜区域图像分割的具体过程如下：

步骤S31，所述贴片掩膜检测***将经过所述掩膜目标区域识别的所述特征图还原成与所获取的所述待检测物体图像同尺寸的特征原图；

步骤S32，所述贴片掩膜检测***根据所述掩膜目标区域在所述特征原图上的所述定位信息，将所述掩膜目标区域从所述特征原图中分割出来，最终得到所述待检测物体的所述掩膜图像。

本发明另外提供了一种掩膜质量分析方法，通过应用所述贴片掩膜检测***实现，包括如下步骤：

步骤L1，所述贴片掩膜检测***将最终检测得到的所述掩膜图像与预设的标准掩膜模板进行图像比对，计算所述掩膜图像与所述掩膜模板的图像面积的交并比，通过图像面积交并比计算结果分析所述掩膜的质量情况；

步骤L2，所述贴片掩膜检测***根据对所述掩膜质量的分析情况进而分析得到待检测物体的成品质量情况。

本发明基于卷积神经网络对待检测物体图像进行图像特征提取，并对所提取的特征图进行疑似掩膜目标区域识别，然后通过对各疑似掩膜目标区域进行是否存在有掩膜区域的置信度计算，并根据置信度高低识别得到最终的掩膜目标区域，最后通过该掩膜目标区域在待检测物体图像上的定位信息，将掩膜目标区域从待检测物体图像上分割出来，进行后续的掩膜质量判断，提高了对目标掩膜的识别准确率，有利于提升对掩膜质量分析的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例所述的基于卷积神经网络的贴片掩膜检测***的结构示意图；

图2是本发明一实施例所述的贴片掩膜检测***中的掩膜区域识别模块的结构示意图；

图3是本发明一实施例所述的贴片掩膜检测***中的掩膜分割模块的结构示意图；

图4是本发明一实施例所述的基于卷积神经网络的贴片掩膜检测方法的步骤图；

图5是本发明一实施例所述的贴片掩膜检测方法中识别所述掩膜目标区域的具体流程图；

图6是本发明一实施例所述的贴片掩膜检测方法中对所述掩膜目标区域进行掩膜区域图像分割的具体流程图；

图7是本发明一实施例所述的掩膜质量分析方法的方法步骤图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例提供的基于卷积神经网络的贴片掩膜检测***，用于检测待检测物体的掩膜，请参照图1，掩膜检测***中包括：

图像特征提取模块1，用于基于卷积神经网络对获取的待检测物体图像进行图像特征提取，得到待检测物体图像对应的特征图；

掩膜区域识别模块2，连接图像特征提取模块1，用于根据所提取的特征图，识别得到掩膜目标区域；

掩膜分割模块3，连接掩膜区域识别模块2，用于对掩膜目标区域进行掩膜区域图像分割，得到待检测物体的掩膜图像。

上述技术方案中，掩膜检测***基于预先设定的特征提取模型提取待检测物体图像对应的特征图。该特征提取网络由一系列的卷积层和池化层组成。在本实施例中，待检测物体图像经过50层卷积层的图像特征卷积提取后，得到最终的特征图。该特征图的大小为获取的待检测物体图像原图像尺寸的1/32。本发明实施例采用的特征提取模型通过卷积神经网络训练而得，其训练过程为现有技术，在此不作阐述。

请参照图2，掩膜区域识别模块2中包括：

掩膜区域框选单元21，用于在特征图上框选出若干个疑似掩膜目标区域；

掩膜区域定位单元22，连接掩膜区域框选单元21，用于对各疑似掩膜目标区域进行粗定位；

目标掩膜置信度计算单元23，用于对粗定位得到的各疑似掩膜目标区域进行有无目标掩膜的置信度计算，并输出置信度计算结果；

掩膜目标区域识别单元24，分别连接掩膜区域定位单元22和目标掩膜置信度计算单元23，用于根据置信度计算结果，最终识别得到存在于特征图上的掩膜目标区域，并得到掩膜目标区域在特征图上的定位信息。

上述技术方案中，需要说明的是，本实施例提供的贴片掩膜检测***在特征图上框选疑似掩膜目标区域的方法同样基于卷积神经网络的深度学习技术，用户可通过卷积神经网络训练一掩膜区域识别模型，然后以之前所提取的特征图作为该掩膜区域识别模型的输入，最终识别输出具有不同形状和尺寸大小的若干个疑似掩膜目标区域。掩膜区域识别模型的训练方法是现有技术，用户可以不同的掩膜图像为训练样本，训练得到该掩膜区域识别模型。

另外，***对各疑似掩膜目标区域进行粗定位的方法包括坐标定位法等现有技术中存在的定位方法，目的是为了对掩膜目标区域进行定位，以便于后续根据掩膜目标区域的定位信息对最终识别的掩膜的掩膜质量进行分析。根据掩膜目标区域的定位信息分析掩膜质量的方法简述如下：

待检测物体上的掩膜位置通常是固定的，也就是掩膜在待检测物体图像上的位置通常是固定的，所以可以通过分析掩膜在待检测物体图像上的定位信息，如果所检测到的掩膜在待检测图像上的位置偏离预定的所处位置大于一阈值，即可判断待检测物体的掩膜质量不合格，进而判断出待检测物体的成品质量大概率会存在质量问题。

另外，***对各疑似掩膜目标区域进行有无目标掩膜的置信度计算同样应用基于卷积神经网络的深度学习技术。比如，可以训练一置信度计算模型，通过该置信度计算模型计算得到各疑似掩膜目标区域中是否存在目标掩膜的置信度。该置信度计算模型的训练方法为现有技术，其训练过程在此不作阐述。

请参照图3，掩膜分割模块3中包括：

图像还原单元31，用于将经过掩膜目标区域识别的特征图还原成与所获取的待检测物体图像同尺寸的特征原图；

掩膜分割单元32，连接图像还原单元31，用于根据掩膜目标区域在特征原图上的定位信息，将掩膜目标区域从特征原图中分割出来，最终得到待检测的掩膜图像。

这里需要说明的是，***基于卷积神经网络将特征图上采样还原成与待检测物体图像同尺寸的特征原图。基于卷积神经网络的对特征图的上采样过程为现有技术，在此不作阐述。

为了实现对掩膜质量的自动分析，优选地，请参照图1，本实施例提供的贴片掩膜检测***还包括：

掩膜质量分析模块4，连接掩膜分割模块3，用于将掩膜图像与一预设的标准的掩膜模板进行图像比对，计算掩膜图像与掩膜模板的图像面积交并比，并通过交并比计算结果分析掩膜的质量情况；

成品质量分析模块5，连接掩膜质量分析模块4，用于根据分析的掩膜质量情况，进而分析得到待检测物体的成品质量。

贴片掩膜检测***分析掩膜质量的方法具体为：当计算的掩膜图像和掩膜模板的图像面积的交并比大于一阈值时，***判断该掩膜存在质量问题，进而判断出应用该掩膜的待检测物体的成品质量也同样存在问题。

本发明还提供了一种基于卷积神经网络的贴片掩膜检测方法，通过应用上述的贴片掩膜检测***实现，请参照图4，该贴片掩膜检测方法具体包括如下步骤：

步骤S1，贴片掩膜检测***基于卷积神经网络对获取的待检测物体图像进行图像特征提取，得到待检测物体图像对应的特征图；

步骤S2，贴片掩膜检测***根据提取的特征图，识别得到掩膜目标区域；

步骤S3，贴面掩膜检测***对掩膜目标区域进行掩膜区域图像分割，得到待检测物体的掩膜图像。

请参照图5，步骤S2中，贴片掩膜检测***识别得到掩膜目标区域的具体过程如下：

步骤S21，贴片掩膜检测***根据预设的图像框选方法，在特征图上框选出若干个疑似掩膜目标区域；

步骤S22，贴片掩膜检测***根据预设的定位方法，对各疑似掩膜目标区域进行粗定位；

步骤S23，贴片掩膜检测***根据预设的置信度计算方法，对各疑似掩膜目标区域进行有无目标掩膜的置信度计算，并输出置信度计算结果；

步骤S24，贴片掩膜检测***根据置信度计算结果和掩膜目标区域在特征图上的定位信息，最终识别到存在于特征图上的掩膜目标区域。

这里需要说明的是，步骤S21中所述图像框选方法实为通过上述的掩膜区域识别模型识别输出特征图上的若干个疑似掩膜目标区域。

步骤S22中的定位方法包括现有技术中存在的坐标定位方法或其他定位方法。***可通过对各疑似掩膜目标区域进行定位，得到各疑似掩膜目标区域在待检测物体图像上的所处位置信息。

步骤S23中的置信度计算方法实为上述的置信度计算模型，置信度计算模型可以基于深度学习的卷积卷积神经网络训练而得，其训练过程在此不作阐述。***最终将置信度最高的疑似掩膜目标所在区域作为最终识别的掩膜目标区域并存储。

请继续参照图6，步骤S3中，贴片掩膜检测***对掩膜目标区域进行掩膜区域图像分割的具体过程如下：

步骤S31，贴片掩膜检测***将经过掩膜目标区域识别的特征图还原成与所获取的待检测物体图像同尺寸的特征原图；

步骤S32，贴片掩膜检测***根据掩膜目标区域在特征原图上的定位信息，将掩膜目标区域从特征原图中分割出来，最终得到待检测物体的掩膜图像。

请参照图7，本发明还另外提供了一种掩膜质量分析方法，通过应用上述的贴片掩膜***实现，该掩膜质量分析方法具体包括如下步骤：

步骤L1，贴片掩膜检测***将最终检测到的掩膜图像与预设的标准掩膜模板进行图像比对，计算掩膜图像与掩膜模板的图像面积的交并比，通过图像面积交并比计算结果分析掩膜的质量情况；

步骤L2，贴片掩膜检测***根据对掩膜质量的分析情况进而分析得到待检测物体的成品质量情况。

步骤L1中，交并比为掩膜图像与掩膜模板的图像交集面积和图像并集面积的比例，如果交并比大于一预设阈值，则***将判断该掩膜图像存在质量问题，进而判断出该掩膜图像对应的待检测物体的成品的质量同样存在质量问题。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (8)

1.一种基于卷积神经网络的贴片掩膜检测***，用于检测待检测物体的掩膜，其特征在于，包括：

图像特征提取模块，用于基于卷积神经网络对获取的待检测物体图像进行图像特征提取，得到所述待检测物体图像对应的特征图；

掩膜区域识别模块，连接所述图像特征提取模块，用于根据所提取的所述特征图，识别得到掩膜目标区域；

掩膜分割模块，连接所述掩膜区域识别模块，用于对所述掩膜目标区域进行掩膜区域图像分割，得到所述待检测物体的掩膜图像。

2.如权利要求1所述的贴片掩膜检测***，其特征在于，所述掩膜区域识别模块中包括：

掩膜区域框选单元，用于在所述特征图上框选出若干个疑似掩膜目标区域；

掩膜区域定位单元，连接所述掩膜区域框选单元，用于对各所述疑似掩膜目标区域进行粗定位；

目标掩膜置信度计算单元，用于对各所述疑似掩膜目标区域进行有无目标掩膜的置信度计算，并输出置信度计算结果；

掩膜目标区域识别单元，分别连接所述掩膜区域定位单元和所述目标掩膜置信度计算单元，用于根据所述掩膜目标区域在所述特征图上的定位信息和所述置信度计算结果，最终识别得到存在于所述特征图上的所述掩膜目标区域。

3.如权利要求2所述的贴片掩膜检测***，其特征在于，所述掩膜分割模块中包括：

图像还原单元，用于将经过所述掩膜目标区域识别的所述特征图还原成与所获取的所述待检测物体图像同尺寸的特征原图；

掩膜分割单元，连接所述图像还原单元，用于根据所述掩膜目标区域在所述特征原图上的所述定位信息，将所述掩膜目标区域从所述特征原图中分割出来，最终得到所述待检测物体的掩膜图像。

4.如权利要求1所述的贴片掩膜检测***，其特征在于，还包括：

掩膜质量分析模块，连接所述掩膜分割模块，用于将所述掩膜图像与一预设的标准的掩膜模板进行图像比对，计算所述掩膜图像与所述掩膜模板的图像面积交并比，并通过交并比计算结果分析所述掩膜的质量情况；

成品质量分析模块，连接所述掩膜质量分析模块，用于根据所分析的所述掩膜质量情况，进而分析得到所述待检测物体的成品质量。

5.一种基于卷积神经网络的贴片掩膜检测方法，其特征在于，通过应用如权1-4任意一项所述的贴片掩膜检测***实现，具体包括如下步骤：

步骤S1，所述贴片掩膜检测***基于卷积神经网络对获取的待检测物体图像进行图像特征提取，得到所述待检测物体图像对应的特征图；

步骤S2，所述贴片掩膜检测***根据提取的所述特征图，识别得到掩膜目标区域；

步骤S3，所述贴片掩膜检测***对所述掩膜目标区域进行掩膜区域图像分割，得到所述待检测物体的掩膜图像。

6.如权利要求5所述的贴片掩膜检测方法，其特征在于，所述步骤S2中，所述贴片掩膜检测***识别得到所述掩膜目标区域的具体过程如下：

步骤S21，所述贴片掩膜检测***根据预设的图像框选方法，在所述特征图上框选出若干个疑似掩膜目标区域；

步骤S22，所述贴片掩膜检测***根据预设的定位方法，对各所述疑似掩膜目标区域进行粗定位；

步骤S23，所述贴片掩膜检测***根据预设的置信度计算方法，对粗定位得到的各疑似掩膜目标区域进行有无目标掩膜的置信度计算，并输出置信度计算结果；

步骤S24，所述贴片掩膜检测***根据所述置信度计算结果和所述掩膜目标区域在所述特征图上的定位信息，最终识别到存在于所述特征图上的所述掩膜目标区域。

7.如权利要求6所述的贴片掩膜检测方法，其特征在于，所述步骤S3中，所述贴片掩膜检测***对所述掩膜目标区域进行掩膜区域图像分割的具体过程如下：

步骤S31，所述贴片掩膜检测***将经过所述掩膜目标区域识别的所述特征图还原成与所获取的所述待检测物体图像同尺寸的特征原图；

步骤S32，所述贴片掩膜检测***根据所述掩膜目标区域在所述特征原图上的所述定位信息，将所述掩膜目标区域从所述特征原图中分割出来，最终得到所述待检测物体的所述掩膜图像。

8.一种掩膜质量分析方法，通过应用如权利要求4所述的贴片掩膜检测***实现，其特征在于，包括如下步骤：

步骤L1，所述贴片掩膜检测***将最终检测得到的所述掩膜图像与预设的标准掩膜模板进行图像比对，计算所述掩膜图像与所述掩膜模板的图像面积的交并比，通过图像面积交并比计算结果分析所述掩膜的质量情况；

步骤L2，所述贴片掩膜检测***根据对所述掩膜质量的分析情况进而分析得到待检测物体的成品质量情况。

Images