CN114332008B - 一种基于多层次特征重构的无监督缺陷检测与定位方法 - Google Patents
一种基于多层次特征重构的无监督缺陷检测与定位方法 Download PDFInfo
- Publication number
- CN114332008B CN114332008B CN202111625694.4A CN202111625694A CN114332008B CN 114332008 B CN114332008 B CN 114332008B CN 202111625694 A CN202111625694 A CN 202111625694A CN 114332008 B CN114332008 B CN 114332008B
- Authority
- CN
- China
- Prior art keywords
- feature
- reconstruction
- image
- characteristic
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims 1
- 230000005856 abnormality Effects 0.000 abstract description 4
- 238000009776 industrial production Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于多层次特征重构的无监督缺陷检测与定位方法。所述方法包括：获取产品的无异常图像和不同种类缺陷的异常图像；用无异常图像输入特征提取网络提取出多尺度的特征组；将最高维度的特征输入重构网络逐层重构出对应不同尺度的新特征组；对两组特征组构建损失函数训练重构网络；在测试阶段以两组特征组的差异情况计算异常图和异常分数用于判断异常和定位缺陷区域。本发明有效地利用了无异常图像与异常图像在不同维度的特征信息差异，能够实现对产品缺陷区域的检测，从而避免人工标注并提高产品质量检测效率。
Description
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于多层次特征重构的无监督缺陷检测与定位方法。
背景技术
缺陷检测在工业生产领域一直有着广泛而重要的应用，在工业生产中，检测产品是否为瑕疵品并定位产品的缺陷区域，可以有效保证产品的良品率。在实际场景下，由于缺陷样本存在难获取的特点，其数量相对于正常样本的数量来说非常稀少，并且缺陷的类型存在不确定性，出现的大小、位置都是随机的，因此无法提前预知这些缺陷的特征。另外，在实际工业生产场景下，还对缺陷检测算法的实时性有一定要求。
随着深度学习在目标检测领域的不断发展，缺陷检测作为目标检测领域的一个分支也取得了重大进展。在缺陷检测中，通常只有正常样本或者额外的小部分缺陷样本作为训练集，有监督学习的方法在缺陷检测任务中是不合实际的，因此通常采用无监督或弱监督学习的方法。如何规避对数据标注的需要以及实现不同类型缺陷区域的定位是目前的一个重要问题。为了规避对数据标注的需要，通常建立在提取正常样本的特征上，通过对特征进行重构或者学习的方式可以学习到正常样本的特征分布，从而在面临缺陷样本时会出现一定的偏差作为异常判断的依据。为了实现缺陷区域的定位，构造出一个输入图像大小的异常图可以直观地反映出网络模型对图像缺陷情况的预测结果，但是直接重构出正常图像可能面临着泛化能力过强的问题从而重构出缺陷图像，另外，图像块级的定位也不满足定位不同尺度缺陷区域的需要。
发明内容
本发明的目的在于提供一种基于多层次特征重构的无监督缺陷检测与定位方法，即提出了一种高效的结合多层次不同尺度的特征信息的缺陷检测框架，不仅规避了对训练数据标注的需要，而且实现了对不同大小不同类型的缺陷定位。该方案减少了人工标注的成本，提高了检测效率，并且具有很强的适应性，可用于不同产品的缺陷检测环节中。
为实现上述目的，本发明的技术方案是：一种基于多层次特征重构的无监督缺陷检测与定位方法，包括如下步骤：
步骤S1、获取目标产品的无异常图像和异常图像制作数据集；
步骤S2、构建基于多层次特征的特征提取和重构网络；
步骤S3、将训练图像数据集输入到步骤S2构造的网络中进行训练；
步骤S4、将测试图像数据集输入到参数最优模型中进行推理；
步骤S5、采用基于多层次特征差异的异常图，得到检测结果。
在本发明一实施例中，步骤S1中所使用的数据集为工业检测异常数据集MVTecAD，MVTecAD数据集包含15个类别总共超过5千张的高分辨率图像，类别中包含10类物体类别和5类纹理类别，每一类中的训练图像数据集只包含正常图像，测试图像数据集包含正常图像和多种缺陷图像类型并提供缺陷区域的标注。
在本发明一实施例中，通过二值化方法将数据集提供的缺陷区域标注转化为掩膜图像，即正常区域和背景区域像素设为0，缺陷区域像素设为255，使用缩放和裁剪方法调整输入图像和掩膜图像，用于网络训练和推理。
在本发明一实施例中，步骤S2中构建基于多层次特征的特征提取和重构网络，由特征提取模块和特征重构模块构成；从特征提取模块中提取3个不同尺度的特征图，并以最小尺寸特征图作为特征重构模块的输入，从特征重构模块中提取3个对应尺度的特征图，这两组特征图用于后续的训练以及推理。
在本发明一实施例中，所述特征提取模块是基于wideResNet50-2网络构造。
在本发明一实施例中，步骤S3中采用损失函数来训练优化网络模型的参数，基于多层次特征的特征提取和重构网络中的特征提取模块参数保持不变，特征重构模块的参数参与优化，在Pytorch深度学习框架下进行训练；损失函数使用多层次特征重构函数Lf；
多层次特征重构函数Lf的表达式如下：
其中，fn和f′n分别表示第n层提取的特征图和对应的重构特征图，两个特征图都经过了L2标准化，MSE表示均方差损失函数。
在本发明一实施例中，步骤S5中通过比较特征提取模块和特征重构模块输出的两组特征图之间的差异得到一组残差特征图，通过对不同层的残差特征图进行上采样、相加、高斯滤波操作得到和输入图像尺寸相同的异常图，取异常图中最大值得到异常分数，通过选取合适的阈值对异常图和异常分数进行阈值分割得到缺陷的检测和定位结果。
在本发明一实施例中，对于第n层的残差特征图的表达式如下：
其中fn和f′n分别表示第n层提取的特征图和对应的重构特征图，两个特征图都经过了L2标准化，||·||2表示L2范数。
在本发明一实施例中，对于异常图m的表达式如下：
其中G4表示为方差为4的高斯滤波器，U表示为采用双线性插值法的上采样操作，wn，hn，cn分别表示残差特征图的宽度、高度和通道数。
相较于现有技术，本发明具有以下有益效果：
1、本发明提出了一种高效的多层次特征提取模块与特征重构模块，增强了异常缺陷区域的定位能力。
2、本发明融合了提取特征与重构特征在不同尺度下的差异性作为输出，对不同类别的缺陷检测具有很强的适应性，提高了缺陷检测性能。
3、本发明以输入图像自身的特征进行特征重构，实现了无监督的学习，减少了手工标注的成本；
4、本发明也可以应用于其他场景下的产品缺陷检测。
附图说明
图1为本发明实施例的结构流程图。
图2为本发明实施例中步骤S1中MVTecAD数据集的示例图。
图3为本发明实施例中步骤S2中构建基于多层次特征的特征提取和重构网络结构图。
图4为本发明实施例中步骤S2中构建特征重构模块图。
图5为本发明实施例中步骤S4将测试图像数据集输入到参数最优模型中进行推理的检测结果。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明的基于多层次的特征重构的无监督缺陷检测与定位方法，融合了多层次特征和重构特征之间的差异性，在无监督学习的条件下实现对缺陷样本的检测和定位，同时使用的网络模型计算开销小，满足缺陷检测场景的性能要求与实时性要求。
本发明一种基于多层次特征重构的无监督缺陷检测与定位方法，包括如下步骤：
步骤S1、获取目标产品的无异常图像和异常图像制作数据集；
步骤S2、构建基于多层次特征的特征提取和重构网络；
步骤S3、将训练图像数据集输入到步骤S2构造的网络中进行训练；
步骤S4、将测试图像数据集输入到参数最优模型中进行推理；
步骤S5、采用基于多层次特征差异的异常图，得到检测结果。
以下为本发明具体实施实例。
如图1所示，本实施例提供了一种基于多层次特征重构的无监督缺陷检测与定位方法，包括以下步骤：
步骤S1、获取目标产品的无异常图像和异常图像制作数据集；
在本实例中，所述步骤S1实现如下：
以MVTecAD数据集为例，缺陷样本的标签是由数据集提供的缺陷区域标注，根据标注信息生成二值化的掩膜图像，然后对样本图像和掩膜图像使用缩放、裁剪、标准化的操作。
步骤S2、构建基于多层次特征的特征提取和重构网络；
步骤S21、基于wideResNet50-2网络构造特征提取模块，提取出3层具有不同尺度的特征图，并以尺寸最小、通道数最多的一层特征图作为下一个特征重构模块的输入；
在本实例中，所述步骤S21实现如下：
首先裁剪wideResNet50-2网络的前3个卷积层(Conv2、Conv3、Conv4)作为特征提取模块，输入图像后输出3层具有不同尺度的特征图{f1，f2，f3}，将f3作为特征重构模块的输入。
步骤S22、构造特征重构模块，以高维的特征图为输入，采用三个卷积层从高维至低维重构，在层与层使用上采样操作调整特征图的尺寸，输出3层与特征提取模块中尺寸一一对应的特征图。
在本实例中，所述步骤S22包括以下步骤：
步骤S221、构造特征重构模块，由三个卷积层(Conv4’、Conv3’、Conv2’)构成，每层卷积层包括了3次卷积核大小分别为1、3、1的卷积操作，每个卷积操作伴随批归一化操作和LeakyReLu激活函数，在每个卷积层之间使用双线性插值法对输出的特征图上采样2倍，在每层特征图的输出分支中使用一个卷积核大小为1的卷积操作整合通道间的信息。
步骤S222、以特征提取模块输出的通道数最多、尺寸最小的特征f3作为特征重构模块的输入，由特征重构模块的每一层卷积层输出对应尺度大小的重构特征组{f′1，f′2，f′3}。
步骤S3、将训练图像数据集输入到步骤S2构造的网络中进行训练；
在本实例中，所述步骤S3包括以下步骤：
步骤S31、采用损失函数和SGD优化器来训练优化网络模型的参数，网络中的特征提取模块参数保持不变，特征重构模块的参数参与优化，在Pytorch深度学习框架下进行训练。损失函数使用多层次特征重构函数Lf。
多层次特征重构函数Lf的表达式如下：
其中，fn和f′n分别表示第n层提取的特征图和对应的重构特征图，两个特征图都经过了L2标准化，MSE表示均方差损失函数。
步骤S32、在训练阶段将训练数据集划分20％作为验证集，在验证集上评估当前模型参数的训练情况，计算模型在验证集上产生的损失Lf的平均值，取平均值最小的训练轮次作为参数最优的模型并保存模型。
步骤S4、将测试图像数据集输入到参数最优模型中进行推理；
步骤S5、采用基于多层次特征差异的异常图，得到检测结果；
步骤S51、利用步骤S4推理得到的特征图和重构特征图，对每一层的特征图之间计算差值得到残差特征图
对于第n层的残差特征图的表达式如下：
其中fn和f′n分别表示第n层提取的特征图和对应的重构特征图，两个特征图都经过了L2标准化,||·||2表示L2范数。
步骤S52、对于每一层的残差特征图，在双线性插值法上采样后，将每一层残差特征图相加并经过一个高斯滤波器后得到最终的异常图m:
对于第n层的残差特征图的表达式如下：
其中G4表示为方差为4的高斯滤波器，U表示为采用双线性插值法的上采样操作，wn，hn，cn分别表示残差特征图的宽度、高度和通道数。
在本实例中，所述步骤S52实现如下：
选取异常图中最大值作为异常分数，通过选取合适的阈值对异常图和异常分数进行阈值分割得到缺陷的检测和定位结果。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (5)
1.一种基于多层次特征重构的无监督缺陷检测与定位方法，其特征在于，包括如下步骤：
步骤S1、获取目标产品的无异常图像和异常图像制作数据集；
步骤S2、构建基于多层次特征的特征提取和重构网络；
步骤S21、基于wide ResNet50-2网络构造特征提取模块，提取出3层具有不同尺度的特征图，并以尺寸最小、通道数最多的一层特征图作为下一个特征重构模块的输入；所述步骤S21实现如下：
首先裁剪wide ResNet50-2网络的前3个卷积层Conv2、Conv3、Conv4作为特征提取模块，输入图像后输出3层具有不同尺度的特征图{f1,f2,f3}，将f3作为特征重构模块的输入；
步骤S22、构造特征重构模块，以高维的特征图为输入，采用3个卷积层从高维至低维重构，在层与层使用上采样操作调整特征图的尺寸，输出3层与特征提取模块中尺寸一一对应的特征图；所述步骤S22包括以下步骤：
步骤S221、构造特征重构模块，由3个卷积层Conv4’、Conv3’、Conv2’构成，每层卷积层包括3次卷积核大小分别为1、3、1的卷积操作，每个卷积操作伴随批归一化操作和LeakyReLu激活函数，在每个卷积层之间使用双线性插值法对输出的特征图上采样2倍，在每层特征图的输出分支中使用一个卷积核大小为1的卷积操作整合通道间的信息；
步骤S222、以特征提取模块输出的通道数最多、尺寸最小的特征f3作为特征重构模块的输入，由特征重构模块的每一层卷积层输出对应尺度大小的重构特征组{f'1,f'2,f'3}；
步骤S3、将训练图像数据集输入到步骤S2构造的网络中进行训练；步骤S3中采用损失函数来训练优化网络模型的参数，基于多层次特征的特征提取和重构网络中的特征提取模块参数保持不变，特征重构模块的参数参与优化，在Pytorch深度学习框架下进行训练；损失函数使用多层次特征重构函数Lf；
其中，fn和f'n分别表示第n层提取的特征图和对应的重构特征图，两个特征图都经过了L2标准化，MSE表示均方差损失函数；
步骤S4、将测试图像数据集输入到参数最优模型中进行推理；
步骤S5、采用基于多层次特征差异的异常图，得到检测结果；步骤S5中通过比较特征提取模块和特征重构模块输出的两组特征图之间的差异得到一组残差特征图，通过对不同层的残差特征图进行上采样、相加、高斯滤波操作得到和输入图像尺寸相同的异常图，取异常图中最大值得到异常分数，通过选取阈值对异常图和异常分数进行阈值分割得到缺陷的检测和定位结果。
2.根据权利要求1所述的一种基于多层次特征重构的无监督缺陷检测与定位方法，其特征在于，步骤S1中所使用的数据集为工业检测异常数据集MVTecAD，MVTecAD数据集包含15个类别总共超过5千张的高分辨率图像，类别中包含10类物体类别和5类纹理类别，每一类中的训练图像数据集只包含正常图像，测试图像数据集包含正常图像和多种缺陷图像类型并提供缺陷区域的标注。
3.根据权利要求2所述的一种基于多层次特征重构的无监督缺陷检测与定位方法，其特征在于，通过二值化方法将数据集提供的缺陷区域标注转化为掩膜图像，即正常区域和背景区域像素设为0，缺陷区域像素设为255，使用缩放和裁剪方法调整输入图像和掩膜图像，用于网络训练和推理。
4.根据权利要求1所述的一种基于多层次特征重构的无监督缺陷检测与定位方法，其特征在于，对于第n层的残差特征图的表达式如下：
其中fn和f'n分别表示第n层提取的特征图和对应的重构特征图，两个特征图都经过了L2标准化，||·||2表示L2范数。
5.根据权利要求4所述的一种基于多层次特征重构的无监督缺陷检测与定位方法，其特征在于，对于异常图m的表达式如下：
其中G4表示为方差为4的高斯滤波器，U表示为采用双线性插值法的上采样操作，wn,hn,cn分别表示残差特征图的宽度、高度和通道数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111625694.4A CN114332008B (zh) | 2021-12-28 | 2021-12-28 | 一种基于多层次特征重构的无监督缺陷检测与定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111625694.4A CN114332008B (zh) | 2021-12-28 | 2021-12-28 | 一种基于多层次特征重构的无监督缺陷检测与定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114332008A CN114332008A (zh) | 2022-04-12 |
| CN114332008B true CN114332008B (zh) | 2024-06-28 |
Family
ID=81014206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111625694.4A Active CN114332008B (zh) | 2021-12-28 | 2021-12-28 | 一种基于多层次特征重构的无监督缺陷检测与定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332008B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821187A (zh) * | 2022-05-19 | 2022-07-29 | 济南大学 | 一种基于判别学习的图像异常检测和定位方法及*** |
| CN117408931A (zh) * | 2022-07-06 | 2024-01-16 | 纬创资通(昆山)有限公司 | 影像缺陷检测***、其产生方法及计算机可读取记录媒体 |
| CN115205650B (zh) * | 2022-09-15 | 2022-11-29 | 成都考拉悠然科技有限公司 | 基于多尺度标准化流的无监督异常定位与检测方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401384A (zh) * | 2020-03-12 | 2020-07-10 | 安徽南瑞继远电网技术有限公司 | 一种变电设备缺陷图像匹配方法 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108399362B (zh) * | 2018-01-24 | 2022-01-07 | 中山大学 | 一种快速行人检测方法及装置 |
| CN112258496A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 一种基于全卷积神经网络的地下排水管道病害分割方法 |
-
2021
- 2021-12-28 CN CN202111625694.4A patent/CN114332008B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401384A (zh) * | 2020-03-12 | 2020-07-10 | 安徽南瑞继远电网技术有限公司 | 一种变电设备缺陷图像匹配方法 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114332008A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114332008B (zh) | 一种基于多层次特征重构的无监督缺陷检测与定位方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN111080620B (zh) | 一种基于深度学习的道路病害检测方法 | |
| CN110648310B (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
| CN112070158B (zh) | 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法 | |
| KR20220164519A (ko) | 오토인코더 및 클러스터링에 기초한 비정상 검출 | |
| CN111079539A (zh) | 一种基于异常追踪的视频异常行为检测方法 | |
| CN112381788A (zh) | 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 | |
| CN113762265B (zh) | 肺炎的分类分割方法及*** | |
| CN111815526B (zh) | 基于图像滤波和cnn的有雨图像雨条纹去除方法及*** | |
| CN116934725A (zh) | 一种基于无监督学习的铝箔封口密封性的检测方法 | |
| CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN112733861B (zh) | 基于u型残差网络的文本擦除和抠字方法 | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| CN116563250A (zh) | 一种复原式自监督疵点检测方法、装置及存储介质 | |
| CN117036266A (zh) | 一种基于知识蒸馏的工业图像异常检测方法及*** | |
| CN116503398A (zh) | 绝缘子污闪检测方法、装置、电子设备及存储介质 | |
| CN116704444A (zh) | 一种基于级联注意力U-Net的视频异常事件检测方法 | |
| CN110992267A (zh) | 一种基于DPSR与Lightweight CNN的磨粒识别方法 | |
| CN114140731B (zh) | 一种牵引变电所异常检测方法 | |
| CN115909077A (zh) | 基于无监督光谱解混神经网络的高光谱图像变化检测方法 | |
| CN116051831A (zh) | 基于VSA-UNet的电气设备紫外图像分割方法 | |
| CN113192018B (zh) | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 | |
| CN114980723A (zh) | 一种用于跨工况贴片机吸嘴的故障预测方法、*** | |
| CN115631197A (zh) | 一种图像处理方法、装置、介质、设备及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |