CN117218457B - 一种基于双层二维归一化流的自监督工业异常检测方法 - Google Patents
一种基于双层二维归一化流的自监督工业异常检测方法 Download PDFInfo
- Publication number
- CN117218457B CN117218457B CN202311469303.3A CN202311469303A CN117218457B CN 117218457 B CN117218457 B CN 117218457B CN 202311469303 A CN202311469303 A CN 202311469303A CN 117218457 B CN117218457 B CN 117218457B
- Authority
- CN
- China
- Prior art keywords
- characteristic
- flow
- representing
- image
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000009826 distribution Methods 0.000 claims abstract description 76
- 230000002159 abnormal effect Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000005856 abnormality Effects 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 230000002441 reversible effect Effects 0.000 claims description 71
- 230000009466 transformation Effects 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 9
- 230000008878 coupling Effects 0.000 claims description 8
- 238000010168 coupling process Methods 0.000 claims description 8
- 238000005859 coupling reaction Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 claims 1
- 238000005096 rolling process Methods 0.000 claims 1
- 230000019771 cognition Effects 0.000 abstract 1
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000013507 mapping Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于图像识别技术领域,公开了一种基于双层二维归一化流的自监督工业异常检测方法,该方法为了克服特征信息丢失的问题,提出双层二维归一化流;该流在二维归一化流中嵌入相同的流结构,以提高特征在不同通道之间的联系,减少特征信息丢失。此外,该方法还提出指数空间注意力模块,增强对异常特征的关注。针对异常样本数量稀缺和模型对决策边界认知模糊的问题,该方法采用异常融合策略,通过将带有异常的特征嵌入到正态分布空间中,使模型能够学习正常与异常区域特征之间的差异,从而获得稳健的决策边界。该方法在兼顾模型复杂性和推理效率的同时,能够对工业产品进行准确的异常检测。
Description
技术领域
本发明属于图像识别技术领域,具体涉及一种基于双层二维归一化流的自监督工业异常检测方法。
背景技术
在工业领域中,图像表面的异常检测与定位对实现工业智能化发展至关重要。通过检测工业产品表面的异常情况,不仅能够保证检测的精度和效率,还有助于节省人力资源,并创造更加安全的操作环境。然而,在实际应用中往往会遇到一些限制,例如工业产品中异常样本的稀缺性和异常表现的不确定性。因此,利用少量有限的异常样本来准确地检测出所有存在异常的产品,是一项具有挑战性的任务。在这种情况下,无监督异常检测技术在工业领域具备重要的潜力和实际意义。它能够有效应对异常样本稀缺的问题,为工业生产中的异常检测提供一种有效的解决方案,其方法之一为归一化流。该方法通过一系列可逆变换,逐步将特征的初始分布转化为目标分布,每个变换具有可导的雅可比行列式,形成连续的数据映射过程。因此,归一化流能够有效地适应多样且复杂的数据特征,并为测试集中的样本特征属于同一训练分布的可能性打分,因此该方法成为当前研究热点之一。
然而,目前绝大多数与归一化流相关的方法在图像表面异常检测中面临以下两个方面的难题:
(1)特征信息丢失,归一化流在特征映射过程中可能会丢失异常特征的边缘信息,甚至忽略异常特征的存在,从而减弱了模型的检测能力。
(2)异常样本数量稀缺和决策边界模糊,由于异常样本少量有限,归一化流通常从正常样本出发,仅学习正常样本特征的共性,未能对正常样本特征与异常样本特征进行有区别的训练,因此,模型在对待正常特征和异常特征的决策边界上容易产生混淆,进而降低模型的判别能力。
综上所述,针对以上难题,提出了一种基于双层二维归一化流的自监督工业异常检测方法,该方法采用异常融合策略,将正常图像特征和异常图像特征输入双层二维归一化流中,将特征映射到正态分布中。异常特征由于不可分布性导致其在正态分布中远离期望,因此能够被检测出来。
发明内容
鉴于上述问题,本发明的目的在于提供一种基于双层二维归一化流的自监督工业异常检测方法。该方法通过改进Fastflow网络模型实现小规模与实时性需求的同时,还实现高精度的工业产品异常检测。
一种基于双层二维归一化流的自监督工业异常检测方法,包括以下步骤:
S1.对工业数据集进行预处理:预处理由异常融合策略完成,用于正常图像中随机生成异常,得到异常图像和对应的异常分割图像,所述正常图像为正常工业产品的彩色图像;
S2.获取特征分布:将混合后的正常图像与异常图像输入主干网络中获取多个尺度的特征,将每个尺度的特征分别输入处理不同尺度的双层二维归一化流中,获取特征分布;
所述双层二维归一化流包含外层流与内层流;所述外层流由多个相同的可逆变换块组合而成,将特征映射成特征分布,每个可逆变换块包含两个内部子网,外层流中的内部子网为内层流;所述内层流也由多个相同的可逆变换块组合而成,内层流的可逆变换块结构与外层流的可逆变换块结构一致,内层流的两个内部子网中分别嵌入指数空间注意力模块;
S3.进行异常识别:利用异常识别模块,将特征分布转化成标准正态分布,获得异常检测预测图像。
上述S1中异常融合策略结合异常只存在于工业产品上的实际情况,只在正常图像的工业产品上生成异常,异常融合策略具体为:首先在正常图像上采用canny算子获取工业产品的边缘信息,其次运用闭运算将边缘信息迭代多次后得到多个闭环或线条,再将线条连接起来形成闭环,面积最大的闭环所在区域即为图像中工业产品的遮罩,也是异常的合理生成范围,最后采用DRAEM中的模拟异常生成方法,在正常图像上的异常合理生成范围内随机生成异常,获得异常图像与相应的异常分割图像。
上述S2中双层二维归一化流包含外层流和内层流;
所述外层流由多个可逆变换块组合而成,组合操作如下所示:
,
式中,X表示主干网络提取出的特征,Z表示经过外层流后得到的特征分布,下标out表示外层流的可逆变换块的个数,F1、F2……Fout表示外层流中的第1至out的可逆变换块,表示可逆变换块有正向和逆向两种过程,P1、P2……Pout-1表示主干网络提取出的特征经过1至out-1个外层流中的可逆变换块后得到的特征;
在异常检测中,仅使用双层二维归一化流的正向过程,因此所述外层流的过程用以下公式表示:
,
式中, 表示可逆变换块之间的连接;
在每个外层流的可逆变换中,每个可逆变换块的操作流程为:将输入特征从通道维度上分割成两个部分,获得第一部分特征与第二部分特征,第一部分特征输入内层流后,进行二维卷积操作,使得特征在保留空间信息的同时,更加接近特征分布;之后进行通道维度上的平均分割,输出的前一部分特征进行指数运算,得到的特征作为第二部分特征的权重,输出的后一部分特征作为第二部分特征的偏差,将第二部分特征与权重点乘,之后与偏差相加,相加后的特征输入另一个内层流后,进行二维卷积操作,再进行平均分割,输出的前一部分特征进行指数运算,得到的特征作为第一部分特征的权重,输出的后一部分特征作为第一部分特征的偏差,将第一部分特征与权重点乘,之后与偏差相加,最后将两个相加得到的特征进行连接操作,以此进行特征之间的交替耦合。
外层流的可逆变换块所采用的仿射耦合公式如下所示:
,
,
,
,
,
,
式中,Pe、Pe+1分别表示主干网络提取出的特征经过e和e+1个外层流中的可逆变换块后得到的特征,e的范围是在1到out-1之间的整数,split(·)表示特征在通道维度上的平均分割操作,x1、x2分别表示外层流的输入特征被分割后的第一部分特征与第二部分特征,conv3×3(·)表示卷积核为3的卷积操作,inner1(·)、inner2(·)分别表示外层流中的第一个内部子网和第二个内部子网,即两个内层流,s1和b1分别表示第一部分特征经过内层流和卷积操作后被平均分割出的前一部分特征与后一部分特征,表示点乘操作,exp(·)表示指数运算操作,/>表示外层流中第二部分的特征经过映射后的输出特征,s2和b2分别表示映射后的第二部分特征经过内层流和卷积操作后被平均分割出的前一部分特征与后一部分特征,/>表示外层流中第一部分的特征经过映射后的输出特征,concat(·)表示特征在通道维度上的连接操作;
所述内层流能够增加特征在通道层面之间的联系并减少特征信息的丢失;内层流为在外层流的内部子网中嵌入的多个与外层流结构一致的可逆变换块,内层流的组合操作如下所示:
,
式中,Q和Q'分别表示内层流的输入特征与输出特征,下标in表示内层流的可逆变换块的个数,f1、f2……fin表示内层流中的第1至in的可逆变换块,q1、q2……qin-1表示内层流的输入的特征经过1至in-1个内层流中的可逆变换块后得到的特征;
内层流的正向过程用以下公式表示:
,
内层流的可逆变换块将外层流分割出的第一部分的特征以及经过相加后的第二部分的特征都分别输入内层流中,经过分割、卷积、指数运算、点乘、相加和连接这一系列操作,使得分割出的两部分特征通过各自的内层流输出更加贴近特征分布的特征信息,增强特征在通道之间的联系。
内层流的可逆变换块使用的仿射耦合公式如下所示:
,
,
,
,
,
,
式中,qr、qr+1分别表示内层流的输入的特征经过r和r+1个内层流中的可逆变换块后得到的特征,r的范围是在1到in-1之间的整数,y1、y2分别表示内层流的输入特征被平均分割后的第一部分特征与第二部分特征,分别表示内层流中的第一个内部子网和第二个内部子网,t1、k1分别表示第一部分特征经过内部子网和卷积操作后被平均分割出的前一部分特征与后一部分特征,/>表示内层流中第二部分的特征经过映射后的输出特征,t2、k2分别表示映射后的第二部分特征经过内部子网和卷积操作后被平均分割出的前一部分特征与后一部分特征,/>表示内层流中第一部分的特征经过映射后的输出特征。
所述内层流的内部子网中的流程为:首先将输入特征进行二维卷积操作,以保持特征的空间信息,然后将卷积后的特征输入指数空间注意力模块中,输出指数权重,使得模型能够调整不同位置的重要性,辅助网络聚焦异常特征,再将卷积后的特征与指数权重点乘并与卷积后的特征相加,获取突出了异常特征的特征信息,最后将特征输入relu激活函数中进行非线性变换。
上述指数空间注意力模块旨在学***均池化与最大池化,学习异常的程度信息和判别特征信息;其次由于学习到的特征分布最后将转化为标准正态分布,因此,在池化操作后都进行了指数运算,以加强异常特征信息的表达;最后将两个特征沿通道层面连接后,进行卷积和激活操作,得到最终的空间注意力特征。
上述指数空间注意力模块公式如下:
,
,
,
式中,y为内层流的内部子网的输入特征经过卷积后的特征信息,AvgPool(·)与MaxPool(·)分别表示平均池化与最大池化,yavg、ymax分别表示平均池化与最大池化后的特征经过指数运算操作输出的特征,conv7×7(·)表示卷积核为7的卷积操作,σ(·)表示sigmoid激活函数,Mes表示指数空间注意力模块输出的指数权重。
上述S3中异常识别模块将特征分布转化成标准正态分布;
首先,将通过双层二维归一化流后获得的每个尺度的特征分布上采样至与输入图像相同的尺度,并求出平均特征分布,公式如下所示:
,
式中,表示主干网络输出的不同尺度的特征经过双层二维归一化流后上采样得到的特征分布,s表示输出的不同特征尺度的个数,Zmean表示平均特征分布;
其次,将平均特征分布转化为标准正态分布,即异常检测预测图像,满足训练的异常特征信息的无规律性,即异常特征不服从任何分布,公式如下所示:
,
式中,N表示标准正态分布。
在双层二维归一化流的训练过程中,采用均方误差损失函数,使得正常特征映射在正态分布中的值趋近期望,异常特征远离期望,公式如下所示:
,
式中,loss表示均方误差损失,w和h分别表示输入图像的宽度和高度,表示将标准正态分布的值域缩放为(0,1],Imask为异常分割图像,下标i和j分别表示对应图像像素的横坐标与纵坐标。
与现有技术相比,本发明具有以下有益效果:
1.可以在仅有正常工业产品的情况下,实现准确的图像级别和像素级别的异常检测。
2.具备较高的实时性和较小的模型规模,可应用于对实时性要求较高的工业异常检测场景。
附图说明
图1是基于双层二维归一化流的自监督工业异常检测整体网络框架图。
图2是异常融合策略流程图。
图3是制作的异常图像。
图4是异常图像所对应的异常分割图像。
图5是双层二维归一化流的外层流框架图。
图6是外层流中的一个可逆变换块框架图。
图7是内层流中的一个可逆变换块框架图。
图8是内层流的内部子网框架图。
图9是基于双层二维归一化流的自监督工业异常检测整体网络的输入图像。
图10是基于双层二维归一化流的自监督工业异常检测整体网络的异常检测预测图像。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明。
一种基于双层二维归一化流的自监督工业异常检测整体网络结构如附图1所示,包括主干网络、双层二维归一化流和异常识别模块。首先,将图像输入主干网络中,经特征提取后输出多种不同尺度大小的特征。其次,将这些特征分别输入处理不同尺度特征的双层二维归一化流中,将复杂的特征映射成特征分布,最后,将得到的多个尺度的特征分布输入异常识别模块中,获取异常检测预测图像。
一种基于双层二维归一化流的自监督工业异常检测方法,具体包括以下步骤:
S1.对工业数据集进行预处理:预处理由异常融合策略完成,用于正常图像中随机生成异常,得到异常图像和对应的异常分割图像,所述正常图像为正常工业产品的彩色图像。
在实际的工业异常检测中,异常只存在于产品上,不属于产品上的异常属于错误判断,因此在生成异常时,应该只在产品上制造异常,以免给网络传输错误信息。如附图2所示为异常融合策略的流程,首先在正常图像上采用canny算子获取工业产品的边缘信息,边缘连接阈值设置为50,边缘检测阈值设置为100,其次运用闭运算将边缘信息迭代5次后得到多个闭环或线条,再将线条连接起来形成闭环,面积最大的闭环所在区域即为图像中工业产品的遮罩,也是异常的合理生成范围,最后采用DRAEM(参见Zavrtanik V, Kristan M,Skočaj D. Draem-a discriminatively trained reconstruction embedding forsurface anomaly detection[C]//Proceedings of the IEEE/CVF InternationalConference on Computer Vision. 2021: 8330-8339)中的模拟异常生成方法在正常图像上随机生成异常,并产生相应的异常分割图像,所述异常分割图像中只包含0和1这两类值,0表示该像素位置存在异常,1表示该像素位置正常,如附图3所示为制作的异常图像,如附图4所示为异常图像所对应的异常分割图像;训练时,异常图像数量占据训练集数量的比例为0.5。
S2. 获取特征分布:将混合后的正常图像与异常图像输入主干网络中获取多个尺度的特征,将每个尺度的特征分别输入处理不同尺度的双层二维归一化流中,获取特征分布。
采用预先训练好的ResNet18(参见He K, Zhang X, Ren S, et al. Deepresidual learning for image recognition[C]//Proceedings of the IEEEconference on computer vision and pattern recognition. 2016: 770-778)残差网络作为所述主干网络,如附图1中a部分所示,将要训练的正常图像与异常图像大小调整至256×256像素,输入主干网络中,经特征提取后输出三种不同尺度的特征,在训练过程中,主干网络参数被冻结。
所述双层二维归一化流包含外层流与内层流;所述外层流由多个相同的可逆变换块组合而成,逐渐将特征映射成特征分布,每个可逆变换块包含两个内部子网,外层流中的内部子网为内层流,能够增加特征在通道层面之间的联系并减少特征信息的丢失;所述内层流也由多个相同的可逆变换块组合而成,内层流的可逆变换块结构与外层流的可逆变换块结构一致,内层流的两个内部子网中分别嵌入了指数空间注意力模块,旨在学习特征空间位置的指数权重,使得模型能够调整特征中不同位置的重要性,辅助双层二维归一化流聚焦异常特征。
所述外层流由多个可逆变换块组合而成,如附图5所示,组合操作如下所示:
,
式中,X表示主干网络提取出的特征,Z表示经过外层流后得到的特征分布,下标out表示外层流的可逆变换块的个数,F1、F2……Fout表示外层流中的第1至out的可逆变换块,表示可逆变换块有正向和逆向两种过程,P1、P2……Pout-1表示主干网络提取出的特征经过1至out-1个外层流中的可逆变换块后得到的特征。
在异常检测中,仅使用双层二维归一化流的正向过程,因此所述外层流的过程用以下公式表示:
,
式中, 表示可逆变换块之间的连接。
如附图6所示为外层流中的一个可逆变换块。在每个外层流的可逆变换中,每个可逆变换块的操作流程为:将输入特征从通道维度上分割成两个部分,获得第一部分特征与第二部分特征,第一部分特征输入内层流后,进行二维卷积操作,使得特征在保留空间信息的同时,更加接近特征分布;之后进行通道维度上的平均分割,输出的前一部分特征进行指数运算,得到的特征作为第二部分特征的权重,输出的后一部分特征作为第二部分特征的偏差,将第二部分特征与权重点乘,之后与偏差相加,相加后的特征输入另一个内层流后,进行二维卷积操作,再进行平均分割,输出的前一部分特征进行指数运算,得到的特征作为第一部分特征的权重,输出的后一部分特征作为第一部分特征的偏差,将第一部分特征与权重点乘,之后与偏差相加,最后将两个相加得到的特征进行连接操作,以此进行特征之间的交替耦合。
外层流的可逆变换块所采用的仿射耦合公式如下所示:
,
,
,
,
,
,
式中,Pe、Pe+1分别表示主干网络提取出的特征经过e和e+1个外层流中的可逆变换块后得到的特征,e的范围是在1到out-1之间的整数,split(·)表示特征在通道维度上的平均分割操作,x1、x2分别表示外层流的输入特征被分割后的第一部分特征与第二部分特征,conv3×3(·)表示卷积核为3的卷积操作,inner1(·)、inner2(·)分别表示外层流中的第一个内部子网和第二个内部子网,即两个内层流,s1和b1分别表示第一部分特征经过内层流和卷积操作后被平均分割出的前一部分特征与后一部分特征,表示点乘操作,exp(·)表示指数运算操作,/>表示外层流中第二部分的特征经过映射后的输出特征,s2和b2分别表示映射后的第二部分特征经过内层流和卷积操作后被平均分割出的前一部分特征与后一部分特征,/>表示外层流中第一部分的特征经过映射后的输出特征,concat(·)表示特征在通道维度上的连接操作。
所述内层流为在外层流的内部子网中嵌入的多个与外层流结构一致的可逆变换块,内层流的组合操作如下所示:
,
式中,Q和Q'分别表示内层流的输入特征与输出特征,下标in表示内层流的可逆变换块的个数,f1、f2……fin表示内层流中的第1至in的可逆变换块,q1、q2……qin-1表示内层流的输入的特征经过1至in-1个内层流中的可逆变换块后得到的特征;
所述内层流的正向过程用以下公式表示:
,
内层流的可逆变换块将外层流分割出的第一部分的特征以及经过相加后的第二部分的特征都分别输入内层流中,经过分割、卷积、指数运算、点乘、相加和连接这一系列操作,使得分割出的两部分特征通过各自的内层流输出更加贴近特征分布的特征信息,增强特征在通道之间的联系,如附图7所示为内层流中的一个可逆变换块,所述内层流的可逆变换块所采用的仿射耦合公式如下所示:
,
,
,
,
,
,
式中,qr、qr+1分别表示内层流的输入的特征经过r和r+1个内层流中的可逆变换块后得到的特征,r的范围是在1到in-1之间的整数,y1、y2分别表示内层流的输入特征被平均分割后的第一部分特征与第二部分特征,分别表示内层流中的第一个内部子网和第二个内部子网,t1、k1分别表示第一部分特征经过内部子网和卷积操作后被平均分割出的前一部分特征与后一部分特征,/>表示内层流中第二部分的特征经过映射后的输出特征,t2、k2分别表示映射后的第二部分特征经过内部子网和卷积操作后被平均分割出的前一部分特征与后一部分特征,/>表示内层流中第一部分的特征经过映射后的输出特征。
如附图8所示为内层流的内部子网,内层流的内部子网中的流程为:首先将输入特征进行二维卷积操作,以保持特征的空间信息,然后将卷积后的特征输入指数空间注意力模块中,输出特征空间位置的指数权重,使得模型能够调整不同位置的重要性,辅助网络聚焦异常特征,再将卷积后的特征与指数权重点乘并与卷积后的特征相加,获取突出了异常特征的特征信息,最后将特征输入relu激活函数中进行非线性变换。
所述指数空间注意力模块如附图8中a部分所示,具体流程为:首先将特征沿着通道维度分别进行平均池化与最大池化,学习异常的程度信息和判别特征信息;其次由于学习到的特征分布最后将转化为标准正态分布,因此,在池化操作后都进行了指数运算,以加强异常特征信息的表达;最后将两个特征沿通道层面拼接后,进行卷积和激活操作,得到最终的空间注意力特征;
上述指数空间注意力模块公式如下:
,
,
,
式中,y为内层流的内部子网的输入特征经过卷积后的特征信息,AvgPool(·)与MaxPool(·)分别表示平均池化与最大池化,yavg、ymax分别表示平均池化与最大池化后的特征经过指数运算操作输出的特征,conv7×7(·)表示卷积核为7的卷积操作,σ(·)表示sigmoid激活函数,Mes表示指数空间注意力模块输出的指数权重。
S3.进行异常识别:如附图1中的c部分所示,利用异常识别模块,将特征分布转化成标准正态分布,获得异常检测预测图像。
首先,将通过双层二维归一化流后获得的每个尺度的特征分布上采样至与输入图像相同的尺度,并求出平均特征分布,公式如下所示:
,
式中,表示主干网络输出的不同尺度的特征经过双层二维归一化流后上采样得到的特征分布,s表示输出的不同特征尺度的个数,Zmean表示平均特征分布;
其次,将平均特征分布转化为标准正态分布:当输入全部为正常图像时,经过特征提取后的特征映射到特征分布上,图像特征上的模型分布遵循以下公式:
,
式中,表示输入的正常样本特征,/>表示平均特征分布,det(·)表示矩阵的行列式函数。
但当输入制作有异常的图像时,由于训练的异常特征信息的无规律性,因此异常特征不服从任何分布,异常特征的分布不遵循上述公式,因此将特征分布转换成标准正态分布,即异常检测预测图像,公式如下所示:
,
式中,N表示标准正态分布。
在双层二维归一化流的训练过程中,采用均方误差损失函数,使得正常特征映射在正态分布中的值趋近期望,异常特征远离期望,公式如下所示:
,
式中,loss表示均方误差损失,w和h分别表示输入图像的宽度和高度,表示将标准正态分布的值域缩放为(0,1],Imask为异常分割图像,下标i和j分别表示对应图像像素的横坐标与纵坐标。
基于双层二维归一化流的自监督工业异常检测整体网络结构完整描述如下:
步骤1:将整个网络输入图像的分辨率统一设定为256×256像素;
步骤2:将图像输入预先训练好的ResNet18主干网络中进行特征提取,获得不同尺寸特征;
步骤3:将获得的不同尺寸特征分别输入处理不同尺寸特征的嵌入有指数空间注意力模块的双层二维归一化流中,将特征经过每一个可逆变换块后逐渐映射成特征分布,在聚焦异常特征的同时,增加特征在通道层面之间的联系并减少特征信息的丢失;
步骤4:将得到的多个特征分布上采样至与输入图像一样的尺度,获取平均特征分布并转化成标准正态分布,获得异常检测预测图像,完成最终的异常检测,如附图9所示为输入图像,附图10所示为异常检测的最终预测效果图,表明一种基于双层二维归一化流的自监督工业异常检测方法能准确检测并定位出工业产品表面存在的异常。
Claims (4)
1.一种基于双层二维归一化流的自监督工业异常检测方法,其特征在于,包括如下步骤:
S1.对工业数据集进行预处理:预处理由异常融合策略完成,用于正常图像中随机生成异常,得到异常图像和对应的异常分割图像,所述正常图像为正常工业产品的彩色图像;
S2.获取特征分布:将混合后的正常图像与异常图像输入主干网络中获取多个尺度的特征,将每个尺度的特征分别输入处理不同尺度的双层二维归一化流中,获取特征分布;
所述双层二维归一化流包含外层流与内层流;所述外层流由多个相同的可逆变换块组合而成,将特征映射成特征分布,每个可逆变换块包含两个内部子网,外层流中的内部子网为内层流;所述内层流也由多个相同的可逆变换块组合而成,内层流的可逆变换块结构与外层流的可逆变换块结构一致,内层流的两个内部子网中分别嵌入指数空间注意力模块;
所述外层流由多个可逆变换块组合而成,组合操作如下所示:
,
式中,X表示主干网络提取出的特征,Z表示经过外层流后得到的特征分布,下标out表示外层流的可逆变换块的个数,F1、F2……Fout表示外层流中的第1至out的可逆变换块,表示可逆变换块有正向和逆向两种过程,P1、P2……Pout-1表示主干网络提取出的特征经过1至out-1个外层流中的可逆变换块后得到的特征;
在异常检测中,仅使用双层二维归一化流的正向过程,因此外层流的过程用以下公式表示:
,
式中,表示可逆变换块之间的连接;
外层流的可逆变换块所采用的仿射耦合公式如下所示:
,
,
,
,
,
,
式中,Pe、Pe+1分别表示主干网络提取出的特征经过e和e+1个外层流中的可逆变换块后得到的特征,e的范围是在1到out-1之间的整数,split(·)表示特征在通道维度上的平均分割操作,x1、x2分别表示外层流的输入特征被分割后的第一部分特征与第二部分特征,conv3×3(·)表示卷积核为3的卷积操作,inner1(·)、inner2(·)分别表示外层流中的第一个内部子网和第二个内部子网,即两个内层流,s1和b1分别表示第一部分特征经过内层流和卷积操作后被平均分割出的前一部分特征与后一部分特征,表示点乘操作,exp(·)表示指数运算操作,/>表示外层流中第二部分的特征经过映射后的输出特征,s2和b2分别表示映射后的第二部分特征经过内层流和卷积操作后被平均分割出的前一部分特征与后一部分特征,/>表示外层流中第一部分的特征经过映射后的输出特征,concat(·)表示特征在通道维度上的连接操作;
所述内层流为在外层流的内部子网中嵌入的多个与外层流结构一致的可逆变换块,内层流的组合操作如下所示:
,
式中,Q和Q'分别表示内层流的输入特征与输出特征,下标in表示内层流的可逆变换块的个数,f1、f2……fin表示内层流中的第1至in的可逆变换块,q1、q2……qin-1表示内层流的输入的特征经过1至in-1个内层流中的可逆变换块后得到的特征;
内层流的正向过程用以下公式表示:
,
内层流的可逆变换块使用的仿射耦合公式如下所示:
,
,
,
,
,
,
式中,qr、qr+1分别表示内层流的输入的特征经过r和r+1个内层流中的可逆变换块后得到的特征,r的范围是在1到in-1之间的整数,y1、y2分别表示内层流的输入特征被平均分割后的第一部分特征与第二部分特征,分别表示内层流中的第一个内部子网和第二个内部子网,t1、k1分别表示第一部分特征经过内部子网和卷积操作后被平均分割出的前一部分特征与后一部分特征,/>表示内层流中第二部分的特征经过映射后的输出特征,t2、k2分别表示映射后的第二部分特征经过内部子网和卷积操作后被平均分割出的前一部分特征与后一部分特征,/>表示内层流中第一部分的特征经过映射后的输出特征;
所述指数空间注意力模块首先将特征沿着通道维度分别进行平均池化与最大池化;其次特征在平均池化和最大池化后都进行了指数运算;最后将指数运算输出的两个特征沿通道维度连接,并进行卷积和激活操作,得到指数权重;
指数空间注意力模块公式如下:
,
,
,
式中,y为内层流的内部子网的输入特征经过卷积后的特征信息,AvgPool(·)与MaxPool(·)分别表示平均池化与最大池化,yavg、ymax分别表示平均池化与最大池化后的特征经过指数运算操作输出的特征,conv7×7(·)表示卷积核为7的卷积操作,σ(·)表示sigmoid激活函数,Mes表示指数空间注意力模块输出的指数权重;
S3.进行异常识别:利用异常识别模块,将特征分布转化成标准正态分布,获得异常检测预测图像。
2.根据权利要求1所述的基于双层二维归一化流的自监督工业异常检测方法,其特征在于,异常融合策略具体为:首先在正常图像上采用canny算子获取工业产品的边缘信息,其次运用闭运算将边缘信息迭代多次后得到多个闭环或线条,再将线条连接起来形成闭环,面积最大的闭环所在区域即为图像中工业产品的遮罩,也是异常的合理生成范围,最后采用DRAEM中的模拟异常生成方法,在正常图像上的异常合理生成范围内随机生成异常,获得异常图像与相应的异常分割图像。
3.根据权利要求1所述的基于双层二维归一化流的自监督工业异常检测方法,其特征在于,所述异常识别模块将特征分布转化成标准正态分布;
首先,将通过双层二维归一化流后获得的每个尺度的特征分布上采样至与输入图像相同的尺度,并求出平均特征分布,公式如下所示:
,
式中,表示主干网络输出的不同尺度的特征经过双层二维归一化流后上采样得到的特征分布,s表示输出的不同特征尺度的个数,Zmean表示平均特征分布;
其次,将平均特征分布转化为标准正态分布,即异常检测预测图像,公式如下所示:
,
式中,N表示标准正态分布。
4.根据权利要求1所述的基于双层二维归一化流的自监督工业异常检测方法,其特征在于,在双层二维归一化流的训练过程中,采用均方误差损失函数,公式如下所示:
,
式中,loss表示均方误差损失,w和h分别表示输入图像的宽度和高度,表示将标准正态分布的值域缩放为(0,1],Imask为异常分割图像,下标i和j分别表示对应图像像素的横坐标与纵坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311469303.3A CN117218457B (zh) | 2023-11-07 | 2023-11-07 | 一种基于双层二维归一化流的自监督工业异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311469303.3A CN117218457B (zh) | 2023-11-07 | 2023-11-07 | 一种基于双层二维归一化流的自监督工业异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117218457A CN117218457A (zh) | 2023-12-12 |
CN117218457B true CN117218457B (zh) | 2024-01-26 |
Family
ID=89051402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311469303.3A Active CN117218457B (zh) | 2023-11-07 | 2023-11-07 | 一种基于双层二维归一化流的自监督工业异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117218457B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117934477B (zh) * | 2024-03-22 | 2024-06-21 | 湖南科技大学 | 一种基于无监督学习的脑肿瘤图像检测方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114049332A (zh) * | 2021-11-16 | 2022-02-15 | 上海商汤智能科技有限公司 | 异常检测方法及装置、电子设备和存储介质 |
CN114820541A (zh) * | 2022-05-07 | 2022-07-29 | 武汉象点科技有限公司 | 基于重构网络的缺陷检测方法 |
CN115393714A (zh) * | 2022-08-25 | 2022-11-25 | 福州大学 | 一种融合图论推理的输电线路螺栓缺销钉检测方法 |
CN115439804A (zh) * | 2022-08-29 | 2022-12-06 | 北京格灵深瞳信息技术股份有限公司 | 一种用于高铁检修的监测方法以及装置 |
CN115861306A (zh) * | 2023-02-20 | 2023-03-28 | 武汉纺织大学 | 一种基于自监督拼图模块的工业品异常检测方法 |
CN116188467A (zh) * | 2023-04-26 | 2023-05-30 | 厦门微图软件科技有限公司 | 一种刀片锂电池外壳长表面的异常检测方法 |
CN116310644A (zh) * | 2023-03-21 | 2023-06-23 | 国网福建省电力有限公司电力科学研究院 | 一种基于归一化流网络和编码器的异常检测方法及设备 |
CN116596880A (zh) * | 2023-05-17 | 2023-08-15 | 合肥工业大学 | 一种基于NVIDIA Jetson TX2的PCB缺陷检测***及方法 |
CN116977292A (zh) * | 2023-07-07 | 2023-10-31 | 上海谦煜光电科技有限公司 | 一种太阳能电池片虚焊检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3767542A1 (en) * | 2019-07-17 | 2021-01-20 | Robert Bosch GmbH | Training and data synthesis and probability inference using nonlinear conditional normalizing flow model |
US11640684B2 (en) * | 2020-07-21 | 2023-05-02 | Adobe Inc. | Attribute conditioned image generation |
US20230237819A1 (en) * | 2022-01-27 | 2023-07-27 | Qualcomm Incorporated | Unsupervised object-oriented decompositional normalizing flow |
US20230260106A1 (en) * | 2022-02-11 | 2023-08-17 | Siemens Healthcare Gmbh | Detecting robustness of machine learning models in clinical workflows |
-
2023
- 2023-11-07 CN CN202311469303.3A patent/CN117218457B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114049332A (zh) * | 2021-11-16 | 2022-02-15 | 上海商汤智能科技有限公司 | 异常检测方法及装置、电子设备和存储介质 |
WO2023087636A1 (zh) * | 2021-11-16 | 2023-05-25 | 上海商汤智能科技有限公司 | 异常检测方法及装置、电子设备、存储介质和计算机程序产品 |
CN114820541A (zh) * | 2022-05-07 | 2022-07-29 | 武汉象点科技有限公司 | 基于重构网络的缺陷检测方法 |
CN115393714A (zh) * | 2022-08-25 | 2022-11-25 | 福州大学 | 一种融合图论推理的输电线路螺栓缺销钉检测方法 |
CN115439804A (zh) * | 2022-08-29 | 2022-12-06 | 北京格灵深瞳信息技术股份有限公司 | 一种用于高铁检修的监测方法以及装置 |
CN115861306A (zh) * | 2023-02-20 | 2023-03-28 | 武汉纺织大学 | 一种基于自监督拼图模块的工业品异常检测方法 |
CN116310644A (zh) * | 2023-03-21 | 2023-06-23 | 国网福建省电力有限公司电力科学研究院 | 一种基于归一化流网络和编码器的异常检测方法及设备 |
CN116188467A (zh) * | 2023-04-26 | 2023-05-30 | 厦门微图软件科技有限公司 | 一种刀片锂电池外壳长表面的异常检测方法 |
CN116596880A (zh) * | 2023-05-17 | 2023-08-15 | 合肥工业大学 | 一种基于NVIDIA Jetson TX2的PCB缺陷检测***及方法 |
CN116977292A (zh) * | 2023-07-07 | 2023-10-31 | 上海谦煜光电科技有限公司 | 一种太阳能电池片虚焊检测方法 |
Non-Patent Citations (5)
Title |
---|
Cainnflow: Convolutional block attention modules and invertible neural networks flow for anomaly detection and localization tasks;Yan, Ruiqing 等;《arXiv preprint arXiv:2206.01992 (2022)》;1-12 * |
Fastflow: Unsupervised anomaly detection and localization via 2d normalizing flows;Yu, Jiawei 等;《arXiv preprint arXiv:2111.07677 (2021)》;1-11 * |
GAMFlow: Global Attention-Based Flow Model for Anomaly Detection and Localization;Zhang, Fan 等;《 IEEE Access》;第11卷;116608-116621 * |
Self-Supervised Normalizing Flows for Image Anomaly Detection and Localization;Chiu, Li-Ling 等;《Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition》;2927-2936 * |
基于生成对抗网络的无监督工业图像异常检测方法研究与应用;许聪;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》(第2023(02)期);C029-986 * |
Also Published As
Publication number | Publication date |
---|---|
CN117218457A (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN108491880B (zh) | 基于神经网络的物体分类和位姿估计方法 | |
CN109493346B (zh) | 一种基于多损失的胃癌病理切片图像分割方法和装置 | |
CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
CN111401384B (zh) | 一种变电设备缺陷图像匹配方法 | |
CN107203781B (zh) | 一种基于显著性指导的端到端的弱监督目标检测方法 | |
CN109903299B (zh) | 一种条件式生成对抗网络的异源遥感图像配准方法及装置 | |
CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、***和介质 | |
CN117218457B (zh) | 一种基于双层二维归一化流的自监督工业异常检测方法 | |
CN111815665B (zh) | 基于深度信息与尺度感知信息的单张图像人群计数方法 | |
CN101169867B (zh) | 图像分割方法、图像处理设备及*** | |
CN111008632B (zh) | 一种基于深度学习的车牌字符分割方法 | |
CN111723693A (zh) | 一种基于小样本学习的人群计数方法 | |
CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及*** | |
CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、***及设备 | |
CN115937518A (zh) | 一种基于多源图像融合的路面病害识别方法及*** | |
CN111199255A (zh) | 基于darknet53网络的小目标检测网络模型及检测方法 | |
CN111275076B (zh) | 基于特征选择和特征融合的图像显著性检测方法 | |
CN109993782B (zh) | 一种环形生成对抗网络的异源遥感图像配准方法及装置 | |
CN116934820A (zh) | 基于交叉注意力的多尺寸窗口Transformer网络布匹图像配准方法及*** | |
CN115049842B (zh) | 一种飞机蒙皮图像损伤检测与2d-3d定位方法 | |
CN115953678A (zh) | 一种基于局部灰度极值点和特征融合的路面破损检测方法 | |
CN113205484B (zh) | 一种基于迁移学习的乳腺组织分类识别方法 | |
CN115187969A (zh) | 一种基于视觉识别的铅酸电池回收***和方法 | |
CN115294371A (zh) | 基于深度学习的互补特征可靠描述与匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |