CN114119557B - 一种基于卷积神经网络的光学元件快速暗场检测方法 - Google Patents

一种基于卷积神经网络的光学元件快速暗场检测方法 Download PDF

Info

Publication number
CN114119557B
CN114119557B CN202111429842.5A CN202111429842A CN114119557B CN 114119557 B CN114119557 B CN 114119557B CN 202111429842 A CN202111429842 A CN 202111429842A CN 114119557 B CN114119557 B CN 114119557B
Authority
CN
China
Prior art keywords
dark field
model
training
neural network
optical element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111429842.5A
Other languages
English (en)
Other versions
CN114119557A (zh
Inventor
陈明君
李小涛
尹朝阳
赵林杰
程健
袁晓东
郑万国
廖威
王海军
张传超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202111429842.5A priority Critical patent/CN114119557B/zh
Publication of CN114119557A publication Critical patent/CN114119557A/zh
Application granted granted Critical
Publication of CN114119557B publication Critical patent/CN114119557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于卷积神经网络的光学元件快速暗场检测方法，涉及光学元件检测技术领域，用以解决现有技术中对于大口径元件表面缺陷识别的准确率和效率较低的问题。本发明的技术要点包括：在暗场环境下对元件表面进行扫描采集，并调整曝光值，获得对应不同曝光值的暗场图像集；将预处理后的暗场图像集输入基于卷积神经网络的识别模型中进行训练；将待识别图像输入训练好的识别模型中，获得识别结果；其中，应用高曝光值数据进行目标分割及图像截取，应用低曝光值数据进行识别分类，模型训练阶段引入迁移学习，降低了模型训练次数，提高了模型识别准确率。本发明通过暗场阶段对缺陷区域进行识别，剔除了大量污染物，使光学元件的整个检测周期大大降低。

Description

一种基于卷积神经网络的光学元件快速暗场检测方法
技术领域
本发明涉及光学元件检测技术领域，具体涉及一种基于卷积神经网络的光学元件快速暗场检测方法。
背景技术
大口径熔石英光学元件是高功率固体激光装置的终端光学组件中应用最为普遍的光学元器件，但在高功率固体激光***中，当元件在强激光的辐照下，易产生微裂纹、微凹坑等烧蚀点微缺陷。研究表明，当微裂纹或烧蚀点等微缺陷产生后，随着激光辐照次数的增加，光学元件的后表面微缺陷尺寸以指数性增长。当微缺陷数量增加到一定程度时，光学元件将报废而不能继续使用。对于大口径熔石英光学元件，其加工时间周期长、成本高，为了延长光学元件的使用寿命，国内外主要采取的解决措施是对已产生的微缺陷进行激光微修复，使其抗损伤能力大幅度提升，从而抑制损伤增长，增加元件使用寿命，降低成本。
熔石英光学元件在运输、安装及使用的过程中会不可避免的引入大量污染物，这些污染物附着在元件上，形状与损伤相似，会对元件表面损伤检测造成干扰。因此为了获取元件表面的损伤信息，要对损伤及污染物进行区分。目前采用的主要方法是在暗场检测时获得所有缺陷及污染物的位置信息，然后将元件转移到显微相机下进行更为清晰的拍照，确定该点是否为损伤。然而移动显微相机逐个对目标点进行定位并识别要消耗大量的时间，使得检测进程加长。
发明内容
鉴于以上问题，本发明提出一种基于卷积神经网络的光学元件快速暗场检测方法，用以解决现有技术中对于大口径元件表面缺陷识别的准确率和效率较低的问题。
一种基于卷积神经网络的光学元件快速暗场检测方法，包括以下步骤：
步骤一、在暗场环境下对元件表面进行扫描采集，并调整曝光值，获得对应不同曝光值的暗场图像集；
步骤二、对所述暗场图像集进行预处理；
步骤三、将预处理后的暗场图像集输入基于卷积神经网络的识别模型中进行训练，获得训练好的识别模型；
步骤四、将包含元件表面缺陷区域的待识别图像输入训练好的识别模型中，获得识别结果；所述识别结果包括所述缺陷区域是否为伪缺陷区域。
进一步地，步骤一的具体步骤包括：
步骤一一、采用环形光源低角度照射元件表面形成暗场环境，在暗场环境下对元件表面进行逐行逐列移动扫描，采集获取多个预设拍照位置的多个子图；其中，每个预设拍照位置对应采集多个不同曝光值的子图，多个不同曝光值分为高曝光值和低曝光值两类；
步骤一二、对多个子图进行处理，获得多个元件表面缺陷区域图像；
步骤一三、对元件表面缺陷区域进行吹尘处理，根据吹尘处理结果对多个元件表面缺陷区域图像对应标注，以获取正样本和负样本图像数据。
进一步地，步骤一二的具体过程包括：对每个预设拍照位置的高曝光值对应的子图进行二值化处理，提取缺陷区域轮廓，并计算轮廓的最小外接正方形，以最小外接正方形的中心位置和尺寸分别在高曝光值和低曝光值对应的子图中截图，分别获得高曝光值和低曝光值对应的缺陷区域图像。
进一步地，步骤二中所述预处理包括对图像数据进行翻转、旋转、噪声扰动的数据增强。
进一步地，步骤三的具体步骤包括：
步骤三一、以二值化处理后包络缺陷区域轮廓的最小外接圆直径作为缺陷区域的像素尺寸，基于所述像素尺寸，将预处理后的暗场图像集按照尺寸范围进行划分；
步骤三二、将多个尺寸范围对应的暗场图像数据按照比例划分为训练集和验证集；
步骤三三、将训练集中低曝光值对应的缺陷区域图像输入基于卷积神经网络ResNet的识别模型中进行训练；
步骤三四、将验证集输入每次训练后的模型中调整模型参数，直到模型识别准确率不再提升后停止训练，获得训练好的识别模型。
进一步地，步骤三三中使用下述交叉熵函数作为损失函数计算预测值与真实值之间的误差：
式中，yi表示样本标签，正样本为1，负样本为0；pi表示样本i预测为正样本的概率；N表示样本总数。
进一步地，步骤三四中利用下述公式计算模型识别准确率：
式中，TP、FP、FN、TN分别表示识别结果中真阳性、假阳性、真阴性、假阴性的数目。
进一步地，步骤三三中使用残差结构搭建ResNet网络模型，并在训练初始阶段迁移载入在ImageNet数据集下预训练得到的ResNet网络模型的节点权重。
进一步地，步骤三三中在训练过程中对迁移载入的节点权重对应的部分卷积层进行冻结，对未冻结的卷积层进行误差反向传播。
本发明的有益技术效果是：
本发明提出了应用高曝光值数据进行目标分割及图像截取，提高了目标识别及图像截取的效率及准确率；应用低曝光值数据进行分类，增加了模型识别准确率；应用目标识别的方法自动将暗场图片中的目标点提取出来并得到目标点的位置及尺寸信息，加快了数据集获取的进程；通过对不同尺寸范围的数据集进行训练，获取了模型分类的最佳尺寸范围，在该范围下模型识别准确率高且耗时较短；在暗场检测阶段引入迁移学习，降低了模型需要训练的次数并提高了模型识别准确率；通过暗场阶段对目标点进行识别，剔除了大量污染物，大大降低了显微工位需要识别的目标点数量，使光学元件的整个检测周期大大降低。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明实施例中光学元件快速暗场检测方法整体流程示意图；
图2是本发明实施例中暗场数据采集装置结构示意图；
图3是本发明实施例中残差结构示意图；
图4是本发明实施例中两种具体地残差结构示例图；
图5是本发明实施例中两种具体残差结构搭建ResNet网络的过程示例图；其中，图(a)为18层及34层网络；图(b)为50、101及152层网络；
图6是本发明实施例中卷积神经网络正反向传递示意图；
图7是本发明实施例中迁移学习训练模型示意图；
图8是本发明实施例中不同变量组合示意图；
图9是本发明实施例中混淆矩阵示意图；
图10是本发明实施例中暗场图像目标识别结果示例图；
图11是本发明实施例中不同曝光值下同一目标识别结果对比图；
图12是本发明实施例中数据集扩充示意图；其中，图(a)是原图；图(b)是水平镜像后的图；图(c)是垂直镜像后的图；图(d)是随机旋转后的图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。
为了加快元件表面缺陷的检测进程，本发明将深度学习引入到光学元件暗场检测部分，通过迁移学习、数据集增强、改变图片曝光值以及设定尺寸阈值的方法在暗场检测部分尽可能的将污染物识别出来并剔除，以加快元件的检测进程。本发明方法能有效的在暗场阶段对污染物进行识别，减少了显微相机识别的目标点数，有效的缩短了元件检测周期。
本发明实施例提供一种基于卷积神经网络的快速暗场检测方法，该方法包括以下步骤：
步骤一、在暗场环境下对元件表面进行扫描采集，并调整曝光值，获得对应不同曝光值的暗场图像集；
步骤二、对暗场图像集进行预处理；
步骤三、将预处理后的暗场图像集输入基于卷积神经网络的识别模型中进行训练，获得训练好的识别模型；
步骤四、将包含元件表面缺陷区域的待识别图像输入训练好的识别模型中，获得识别结果；识别结果包括缺陷区域是否为伪缺陷区域。
本实施例中，可选地，步骤一的具体步骤包括：
步骤一一、采用环形光源低角度照射元件表面形成暗场环境，在暗场环境下对元件表面进行逐行逐列移动扫描，采集获取多个预设拍照位置的多个子图；其中，每个预设拍照位置对应采集多个不同曝光值的子图，多个不同曝光值分为高曝光值和低曝光值两类；
步骤一二、对多个子图进行处理，获得多个元件表面缺陷区域图像；
步骤一三、对元件表面缺陷区域进行吹尘处理，根据吹尘处理结果对多个元件表面缺陷区域图像对应标注，以获取正样本和负样本图像数据。
本实施例中，可选地，步骤一二的具体过程包括：对每个预设拍照位置的高曝光值对应的子图进行二值化处理，提取缺陷区域轮廓，并计算轮廓的最小外接正方形，以最小外接正方形的中心位置和尺寸分别在高曝光值和低曝光值对应的子图中截图，分别获得高曝光值和低曝光值对应的缺陷区域图像。
本实施例中，可选地，步骤二中预处理包括对图像数据进行翻转、旋转、噪声扰动的数据增强。
本实施例中，可选地，步骤三的具体步骤包括：
步骤三一、以二值化处理后包络缺陷区域轮廓的最小外接圆直径作为缺陷区域的像素尺寸，基于像素尺寸，将预处理后的暗场图像集按照尺寸范围进行划分；
步骤三二、将多个尺寸范围对应的暗场图像数据按照比例划分为训练集和验证集；
步骤三三、将训练集中低曝光值对应的缺陷区域图像输入基于卷积神经网络ResNet的识别模型中进行训练；
步骤三四、将验证集输入每次训练后的模型中调整模型参数，直到模型识别准确率不再提升后停止训练，获得训练好的识别模型。
本实施例中，可选地，步骤三三中使用下述交叉熵函数作为损失函数计算预测值与真实值之间的误差：
式中，yi表示样本标签，正样本为1，负样本为0；pi表示样本i预测为正样本的概率；N表示样本总数。
本实施例中，可选地，步骤三四中利用下述公式计算模型识别准确率：
式中，TP、FP、FN、TN分别表示识别结果中真阳性、假阳性、真阴性、假阴性的数目。
本实施例中，可选地，步骤三三中使用残差结构搭建ResNet网络模型，并在训练初始阶段迁移载入在ImageNet数据集下预训练得到的ResNet网络模型的节点权重。
本实施例中，可选地，步骤三三中在训练过程中对迁移载入的节点权重对应的部分卷积层进行冻结，对未冻结的卷积层进行误差反向传播。
本发明另一实施例提供一种基于卷积神经网络的快速暗场检测方法，主要涉及获取不同曝光时间的数据集、数据集预处理、应用分类模型进行训练以及模型应用等内容，其整体流程示意如图1所示。首先要对元件表面进行暗场图像采集获得原图，再进行目标识别获得缺陷及污染物目标位置及尺寸信息，应用该信息对原图进行裁剪获得数据集。对得到的数据集进行预处理，去除图片背景信息并按照一定比例将数据集划分为训练集和验证集，用于模型的训练以及模型有效性的验证，再对数据集进行扩充。将获得的数据集放入模型进行训练，改变多种参数获得较好的分类结果。最终将该方法用于元件的检测过程中。其具体步骤如下：
步骤1、暗场图像的采集。
根据本发明实施例，首先通过扫描拍照获取全口径的暗场图像，在每个扫描拍照位置拍摄曝光时间不同的多张图像，高曝光值下目标区域灰度值趋于饱和，易于实现图像分割，可用于目标点的定位和尺寸测量，低曝光值下能够显示目标灰度的细节变化，包含更多特征便于分类。为获取分类最佳尺寸，采集了10ms～40ms范围内7种曝光值下的暗场图像。
暗场数据采集装置如图2所示，装置包括运动平台和暗场扫描***。运动平台包含X、Y、Z三个运动轴，X、Y、Z运动轴的运动方向分别和机床坐标系的X、Y、Z坐标轴方向一致；运动平台可搭载光学大口径元件实现沿X、Y轴方向的移动，搭载暗场扫描***实现沿Z轴方向的移动，完成镜头对焦。暗场扫描***包括高分辨率面阵暗场相机、双远心镜头以及环形光源，可实现50mm×50mm范围的无畸变检测，在检测尺寸较大的光学元件时需要移动元件采集多张图片并进行拼接；为形成暗场环境，采用环形光源低角度照射光学元件表面，并通过光源控制器自动调整光源的亮度和通断。在卷积网络识别时不同曝光时间下的暗场图片其分类效果不同，为了得到最佳曝光时间，要采集不同曝光时间下的暗场数据集。具体的数据集获取步骤为：
步骤1-1：控制运动平台将光学元件的待采集图像部分移动到暗场镜头处，光学元件尺寸为430mm×430mm，需9×9张子图才可完整覆盖整个元件。将元件移动到暗场相机位置，在10ms-40ms内每间隔5ms调整曝光值对元件进行拍照，完成各种曝光值下的拍照后移动元件到下一位置，按顺序完成81个位置的拍照得到不同曝光时间下元件全口径的暗场图像。
步骤1-2：高曝光下图像接近于二值化图，将该种图片进行目标识别，获取图像中目标点的位置及尺寸。根据图像与真实元件的对应关系计算得到目标点在元件上的位置信息。将目标点序号、目标点位置及目标点尺寸写入到xml文件中。
步骤1-3：根据xml文件中的信息将显微相机依次移动到缺陷点位置，对光学元件表面进行吹尘，若目标点消失，则表明该点为污染物，否则为缺陷。通过此方法便可获得目标点的具体类别，从而得到标注完成的暗场数据集。
步骤2、数据集获取。
根据本发明实施例，模型训练时需要大量图片，而人工采集图片非常耗时，本发明自动采集图片，首先在暗场条件下对元件进行扫描获取原图。对高曝光图像进行二值化处理提取目标区域，对目标区域进行轮廓提取，计算轮廓的最小外接正方形并以该正方形截取低曝光图像作为分类数据。根据暗场图像与元件间对应关系将目标点定位到显微工位，对其进行吹尘和擦拭处理，如果目标点消失即为污染物，否则为缺陷。通过以上步骤完成标注，对标注完成的图片进行扩充得到扩充后的数据集。图像预处理过程包括背景信息剔除和数据集扩充两部分。其具体过程为：
步骤2-1：为提高模型识别准确率，首先对图片背景信息进行剔除，将图像背景填充为纯色，避免背景信息对模型识别过程产生影响。
步骤2-2：卷积神经网络在模型训练过程中需要大量数据，为了在不实质性增加图片的情况下扩充数据集，对原数据集进行镜像、旋转等数据增强方式。以此提高模型泛化能力。
步骤3、数据集的划分。
根据本发明实施例，根据目标点的尺寸划分得到不同尺寸范围的数据集，将数据集划分为训练集和验证集，训练集用于模型的训练，验证集用于评估模型性能并对模型参数进行调整。数据集划分的具体过程为：
步骤3-1：为得出尺寸阈值，将扩充后的数据集按目标点尺寸进行归类，分为尺寸大于30um数据集、大于40um数据集、大于50um数据集、大于100um数据集、大于200um数据集、大于300um数据集和大于500um数据集。
步骤3-2：将上一步获得的不同尺寸范围数据集进行1：9比例的划分，分别为验证集和训练集。注意将同一图片扩充后的所有图片放在同一类别中。
步骤4、基于ResNet分类模型的训练。
根据本发明实施例，由于训练集图片数量较少，为了加快训练速度并提高模型识别效果，本发明使用基于迁移学习的ResNet网络进行训练，每轮训练完成后对模型进行验证，评估其预测效果。对不同层的迁移学习结果进行比对，选择预测效果好且用时较少的模型。ResNet模型中包含如图3所示的残差结构，通过该结构可以使网络在层数很多时不发生梯度消失或者梯度***，因此残差结构使网络模型的层次可以很深。通过如图4所示的两种具体残差结构，ResNet网络可以搭建出具有多种层数的模型，18层及34层网络应用图4(a)所示的残差结构，50层以上网络应用图4(b)所示的残差结构。
图5中展示了残差结构搭建ResNet网络的具体过程，图5(a)为18层及34层网络，图5(b)为50、101及152层网络，为了适用于暗场图像的识别，本发明将模型全连接层的参数数量修改为2，将两参数通过Sigmoid函数转化为损伤及污染物的预测概率从而输出结果。为了达到更好的效果，对ResNet模型的18层、34层、50层、101层和152层分别进行训练选出综合效果最好的模型。网络的具体训练过程为：
步骤4-1：因为暗场数据集图片数量有限，为了提高模型准确率引入迁移学习。将在ImageNet数据集下训练得到的网络模型所有节点权重导入，其具体过程为在网络上下载好ResNet网络模型基于ImageNet数据集的预训练文件，该文件中包含了ResNet模型在ImageNet数据集下训练好的节点权重，但以上权重适用于识别ImgeNet数据集的图像，应用于暗场图像时需要对其进行再训练以调整部分节点权重使其识别效果更加契合暗场图像。
卷积神经网络中较浅的层主要用于获取通用的特征，而较深的层主要用于获取语义特征。ImageNet数据集与暗场数据集差异较大，但其通用特征相似，因此在迁移学习时可以选择直接使用部分通用层的权重而改变特征层的权重此过程如图7所示，以上过程通过在训练过程中对预训练文件进行部分冻结完成，首先将预训练文件导入训练模型中，通过冻结命令使模型反向传递时不改变相关层的权重，从而达到保持预训练权重的目的。对于未冻结的层数在进行训练时将会进行误差反向传播，由图5可看出不同层数的ResNet网络结构均由不同数量的4种基本模块拼接而得，在进行迁移学习时由低到高分别冻结一种、两种、三种残差块的预训练权重，通过训练结果选取迁移学习的冻结层数量。最终选择冻结前三种残差块，对第四种残差块进行再训练，得到暗场图像识别模型的权重参数。图6展示了卷积神经网络结构及各层的参数，其中w为权重参数，网络训练的目的就是通过不断的迭代得到合适的权重参数，式(1)说明了模型正向传播及输出过程。
式中，xi为输入参数；为k-1层第i个节点与k层第j个节点间权值；σ为激活函数；为j层第i个神经元的偏置；yi为输出参数。
步骤4-2：由步骤1可知暗场数据集具有不同的曝光时间，其中曝光时间长的更接近于二值化图像，所包含的信息较少，不适合用于图像识别；而曝光时间较短的图像中有较多信息，因此使用曝光时间较短的几组数据集进行模型训练。步骤3中根据目标点尺寸对数据集进行了划分，为了得出理想的尺寸阈值，在同一曝光时间下分别将不同尺寸范围的数据集导入模型进行训练。按顺序将不同暗场数据集载入不同层数的ResNet模型进行训练，最终在同时考虑尽量扩大识别范围以及识别准确率的情况下选择尺寸阈值为50um，即模型将对50um以上的所有目标点进行识别。此过程如图8所示。
步骤4-3：训练集每训练完一次均应用验证集对模型进行评估，采用如式2所示的混淆矩阵进行模型的评估，如图9所示混淆矩阵方法通过模型预测结果中真阳性、假阳性、真阴性、假阴性的数目来对模型效果进行评估。本发明目的为在暗场阶段尽量剔除污染物，但不希望将缺陷误判为污染物，在模型中将缺陷作为正样本，污染物作为负样本，因此要在评估过程中对真阳性更加重视，要尽量提高真阳性的比例。
式中，TP、FP、FN、TN分别代表预测结果中真阳性、假阳性、真阴性、假阴性的数目。
通过如式3所示的交叉熵损失函数计算模型预测值与真实值之间的差距，将误差反向传递对模型参数进行修改，误差反向传递方式为首先通过链式法则求得损失函数对各权重参数的导数。
式中，yi表示样本标签，正样本为1，负样本为0；pi表示样本i预测为正样本的概率；N表示样本总数。
通过如式4所示的方式对权重参数进行修正，重复以上步骤使模型损失值不断降低直至模型收敛。
式中，w为被优化的权重参数；α为动量系数，η为学习率；L为损失函数；vi是对权重参数的更新量。
步骤5、模型的应用。
根据本发明实施例，将训练完成的模型载入整个光学元件检测及修复***中，对暗场阶段的目标点进行识别分类。模型应用的具体过程为将训练完成的ResNet网络模型载入，将获得的暗场目标点图片输入网络进行识别，其识别结果会对显微工位的工作起到决策作用。
本发明另一实施例提供一种基于卷积神经网络的快速暗场检测方法的实例分析，以某次暗场检测模型的训练及应用过程为例进行阐述，其具体过程为：
1.暗场检测模型的训练
(1)采集不同曝光值下的暗场图片。首先调整高分辨率暗场相机的曝光时间，在不同曝光时间下分别获取暗场图像，应用目标识别将高曝光值暗场图片中目标点的尺寸及位置识别出来，根据其尺寸及位置对图片进行裁剪得到不同曝光值下的目标点图片。目标识别及不同曝光值下的图片分别如图10、11所示。
(2)对数据集进行扩充，以某一曝光值下的目标点ID-563为例，对其及逆行水平镜像、垂直镜像以及随机旋转的数据增强方式，如图12所示。
(3)对数据集按照尺寸进行划分，分为>30um，>40um，>50um，>100um，>200um，>300um和>500um。将数据集随机按1：9的比例进行划分，得到验证集和训练集。
(4)将训练集和验证集导入不同层数的ResNet网络模型进行训练，根据训练结果选择曝光时间15ms、尺寸阈值为50um以及50层ResNet网络结构作为最终的暗场检测模型。
2.暗场检测模型的应用
(1)载入训练好的暗场检测模型。
(2)调整暗场相机的曝光时间为最优曝光时间。
(3)对暗场图片进行目标识别并裁剪得到需要识别的目标点图片，将目标图片输入训练好的模型中进行识别。
(4)将模型识别结果写入到暗场文件中，若目标点识别为污染物，则在显微工位将不需要再进行识别。
本发明通过以上过程实现了暗场检测阶段对目标点进行识别分类，大大降低了显微工位需要识别的目标点数量，有效缩短了整个光学元件的检测周期。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (7)

1.一种基于卷积神经网络的光学元件快速暗场检测方法，其特征在于，包括以下步骤：
步骤一、在暗场环境下对元件表面进行扫描采集，并调整曝光值，获得对应不同曝光值的暗场图像集；具体步骤包括：
步骤一一、采用环形光源低角度照射元件表面形成暗场环境，在暗场环境下对元件表面进行逐行逐列移动扫描，采集获取多个预设拍照位置的多个子图；其中，每个预设拍照位置对应采集多个不同曝光值的子图，多个不同曝光值分为高曝光值和低曝光值两类；
步骤一二、对多个子图进行处理，获得多个元件表面缺陷区域图像；
步骤一三、对元件表面缺陷区域进行吹尘处理，根据吹尘处理结果对多个元件表面缺陷区域图像对应标注，以获取正样本和负样本图像数据；
步骤二、对所述暗场图像集进行预处理；
步骤三、将预处理后的暗场图像集输入基于卷积神经网络的识别模型中进行训练，获得训练好的识别模型；具体步骤包括：
步骤三一、以二值化处理后包络缺陷区域轮廓的最小外接圆直径作为缺陷区域的像素尺寸，基于所述像素尺寸，将预处理后的暗场图像集按照尺寸范围进行划分；
步骤三二、将多个尺寸范围对应的暗场图像数据按照比例划分为训练集和验证集；
步骤三三、将训练集中低曝光值对应的缺陷区域图像输入基于卷积神经网络ResNet的识别模型中进行训练；
步骤三四、将验证集输入每次训练后的模型中调整模型参数，直到模型识别准确率不再提升后停止训练，获得训练好的识别模型；
步骤四、将包含元件表面缺陷区域的待识别图像输入训练好的识别模型中，获得识别结果；所述识别结果包括所述缺陷区域是否为伪缺陷区域。
2.根据权利要求1所述的一种基于卷积神经网络的光学元件快速暗场检测方法，其特征在于，步骤一二的具体过程包括：对每个预设拍照位置的高曝光值对应的子图进行二值化处理，提取缺陷区域轮廓，并计算轮廓的最小外接正方形，以最小外接正方形的中心位置和尺寸分别在高曝光值和低曝光值对应的子图中截图，分别获得高曝光值和低曝光值对应的缺陷区域图像。
3.根据权利要求1所述的一种基于卷积神经网络的光学元件快速暗场检测方法，其特征在于，步骤二中所述预处理包括对图像数据进行翻转、旋转、噪声扰动的数据增强。
4.根据权利要求1所述的一种基于卷积神经网络的光学元件快速暗场检测方法，其特征在于，步骤三三中使用下述交叉熵函数作为损失函数计算预测值与真实值之间的误差：
式中，yi表示样本标签，正样本为1，负样本为0；pi表示样本i预测为正样本的概率；N表示样本总数。
5.根据权利要求1所述的一种基于卷积神经网络的光学元件快速暗场检测方法，其特征在于，步骤三四中利用下述公式计算模型识别准确率：
式中，TP、FP、FN、TN分别表示识别结果中真阳性、假阳性、真阴性、假阴性的数目。
6.根据权利要求1所述的一种基于卷积神经网络的光学元件快速暗场检测方法，其特征在于，步骤三三中使用残差结构搭建ResNet网络模型，并在训练初始阶段迁移载入在ImageNet数据集下预训练得到的ResNet网络模型的节点权重。
7.根据权利要求6所述的一种基于卷积神经网络的光学元件快速暗场检测方法，其特征在于，步骤三三中在训练过程中对迁移载入的节点权重对应的部分卷积层进行冻结，对未冻结的卷积层进行误差反向传播。
CN202111429842.5A 2021-11-29 2021-11-29 一种基于卷积神经网络的光学元件快速暗场检测方法 Active CN114119557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111429842.5A CN114119557B (zh) 2021-11-29 2021-11-29 一种基于卷积神经网络的光学元件快速暗场检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111429842.5A CN114119557B (zh) 2021-11-29 2021-11-29 一种基于卷积神经网络的光学元件快速暗场检测方法

Publications (2)

Publication Number Publication Date
CN114119557A CN114119557A (zh) 2022-03-01
CN114119557B true CN114119557B (zh) 2024-04-26

Family

ID=80371132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111429842.5A Active CN114119557B (zh) 2021-11-29 2021-11-29 一种基于卷积神经网络的光学元件快速暗场检测方法

Country Status (1)

Country Link
CN (1) CN114119557B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782286A (zh) * 2022-06-21 2022-07-22 奥蒂玛光学科技（深圳）有限公司 缺陷修复方法、光学修复设备、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934811A (zh) * 2019-03-08 2019-06-25 中国科学院光电技术研究所 一种基于深度学习的光学元件表面缺陷检测方法
CN110031471A (zh) * 2019-05-17 2019-07-19 中国科学院自动化研究所 大口径光学元件表面缺陷增长分析方法、***、装置
WO2019191346A1 (en) * 2018-03-28 2019-10-03 Kla-Tencor Corporation Training a neural network for defect detection in low resolution images
CN110706224A (zh) * 2019-10-09 2020-01-17 中国科学院自动化研究所 基于暗场图像的光学元件弱划痕检测方法、***和装置
CN111476283A (zh) * 2020-03-31 2020-07-31 上海海事大学 基于迁移学习的青光眼眼底图像识别方法
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN113256576A (zh) * 2021-05-18 2021-08-13 福州大学 基于偏振成像和机器学习的光学元件自动检测***及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019191346A1 (en) * 2018-03-28 2019-10-03 Kla-Tencor Corporation Training a neural network for defect detection in low resolution images
CN109934811A (zh) * 2019-03-08 2019-06-25 中国科学院光电技术研究所 一种基于深度学习的光学元件表面缺陷检测方法
CN110031471A (zh) * 2019-05-17 2019-07-19 中国科学院自动化研究所 大口径光学元件表面缺陷增长分析方法、***、装置
CN110706224A (zh) * 2019-10-09 2020-01-17 中国科学院自动化研究所 基于暗场图像的光学元件弱划痕检测方法、***和装置
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN111476283A (zh) * 2020-03-31 2020-07-31 上海海事大学 基于迁移学习的青光眼眼底图像识别方法
CN113256576A (zh) * 2021-05-18 2021-08-13 福州大学 基于偏振成像和机器学习的光学元件自动检测***及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于深度学习混合模型迁移学习的图像分类;石祥滨;房雪键;张德园;郭忠强;***仿真学报;20160108;第28卷(第1期);全文 *
大口径反射镜表面颗粒污染物暗场检测算法研究;尹朝阳;张德志;赵林杰;陈明君;程健;蒋晓东;苗心向;牛龙飞;光学学报;20201231(第007期);全文 *
大口径精密表面疵病的数字化检测***;范勇;陈念年;高玲玲;贾渊;王俊波;程晓锋;;强激光与粒子束;20090715(第07期);全文 *

Also Published As

Publication number Publication date
CN114119557A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测***及方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN107123111B (zh) 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN113239930B (zh) 一种玻璃纸缺陷识别方法、***、装置及存储介质
CN114120317B (zh) 基于深度学习和图像处理的光学元件表面损伤识别方法
CN112598672A (zh) 一种基于深度学习的路面病害图像分割方法和***
CN113302728A (zh) 利用自动产生缺陷特征检验半导体结构的方法及***
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN111667455A (zh) 一种刷具多种缺陷的ai检测方法
CN111507998B (zh) 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN110927171A (zh) 一种基于机器视觉的轴承滚子倒角面缺陷检测方法
CN114119557B (zh) 一种基于卷积神经网络的光学元件快速暗场检测方法
CN114757938B (zh) 一种变压器漏油识别方法和***
NL2030315B1 (en) Computer-implemented ai method for detecting surface defects of electroluminescent semiconductor panel
CN109978014A (zh) 一种融合密集连接结构的柔性基板缺陷检测方法
CN114359695A (zh) 基于不确定性估计的绝缘子破损识别方法
CN113240647A (zh) 一种基于深度学习的手机外壳后盖缺陷检测方法和***
CN112150418A (zh) 一种磁粉探伤智能识别方法
CN113077450A (zh) 基于深度卷积神经网络的樱桃分级检测方法及***
CN117541568A (zh) 一种基于深度学习的汽车刹车盘表面缺陷检测方法
CN117934980B (zh) 基于注意力监督调整的玻璃容器缺陷检测方法及***
CN115631186A (zh) 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN114113116A (zh) 一种大口径元件表面微缺陷精确检测工艺方法
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant