CN116934725A - 一种基于无监督学习的铝箔封口密封性的检测方法 - Google Patents
一种基于无监督学习的铝箔封口密封性的检测方法 Download PDFInfo
- Publication number
- CN116934725A CN116934725A CN202310937867.9A CN202310937867A CN116934725A CN 116934725 A CN116934725 A CN 116934725A CN 202310937867 A CN202310937867 A CN 202310937867A CN 116934725 A CN116934725 A CN 116934725A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- residual
- module
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 title claims abstract description 42
- 229910052782 aluminium Inorganic materials 0.000 title claims abstract description 42
- 239000011888 foil Substances 0.000 title claims abstract description 42
- 238000007789 sealing Methods 0.000 title claims abstract description 12
- 230000007547 defect Effects 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 230000002159 abnormal effect Effects 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000004519 manufacturing process Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 61
- 230000006870 function Effects 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000008034 disappearance Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000003064 k means clustering Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000001931 thermography Methods 0.000 abstract 1
- 238000009826 distribution Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于无监督学习的铝箔封口密封性的检测方法。包括:S1,获取铝箔封口红外图像;S2,对铝箔封口红外图像进行自适应ROI区域识别和提取;S3,对提取的热成像图像进行预处理并将正常样本图像制作成数据集;S4,将预处理后的正常样本数据集输入多尺度图像重构网络模型进行模型参数训练;S5,将预处理后的待测图像输入训练好的重构模型中进行图像重构,输出重构图像,将待测图像与重构图像进行残差计算,得到残差图;S6,对残差图进行预处理,突出缺陷部分,通过异常得分判断红外封口图像是否存在缺陷,若存在缺陷,对缺陷部分进行定位。本发明可以快速有效的对铝箔封口红外图像进行重构修复,具有更高的检测精度。
Description
技术领域
本发明属于检测技术领域,具体涉及一种基于无监督学习的铝箔封口密封性的检测方法。
背景技术
当今,瓶体包装作为包装行业的主流产品之一,广泛应用于食品、药品、化妆品等行业,而铝箔封口技术所提供的瓶体密封性是保证产品质量的重要因素。在铝箔封口的过程中,温度、铝箔片质量、旋盖松紧等因素都会影响铝箔封口的密封性,进而影响到产品的质量时效。因此,铝箔封口密封性的检测是十分有必要的。
现有的封口检测方法主要靠人工抽样调查,如水压法、气压法等,但其所需人工成本高且效率较低,同时还易损坏待检样品,不能满足大批量生产;目前市面上已经出现了采用机器视觉判断封口是否完整的方法,通过红外相机捕捉封口温度分布图进行缺陷检测;然而,传统的机器视觉方法需要丰富的先验知识,泛化性较差,需要通过调整各种参数适应不同包材。
近年来,深度学习因其强大的学习能力,开始被广泛应用在工业检测中。其中,大部分网络是基于有监督学习的,即需要大量带人工标注的正常样本与缺陷样本。然而,随着包装产线的精密度不断提高,封口缺陷样本的获取难度陡然增加。因此,人工标注成本高、缺陷样本少、缺陷未知性大成为了当前基于深度学习的铝箔封口缺陷检测的主要问题。
发明内容
为了解决上述技术问题,本发明提供了一种基于无监督学习的铝箔封口密封性的检测方法,包括如下步骤:
步骤S1,获取铝箔封口红外图像;
步骤S2,对铝箔封口红外图像进行自适应ROI区域提取;
步骤S21,对获取的红外图像进行三通道加权平均,实现灰度化处理;
步骤S22,对灰度图像进行平滑降噪处理,去除细小的纹理和不规则性噪点,所述平滑降噪处理方法为高斯滤波,其表达式为:
式中,(x,y)表示图像中的像素坐标,G(x,y)表示在该位置计算的高斯函数值,σ表示高斯核的标准,e为自然对数函数的常量底数;
步骤S23,采用Canny边缘检测提取平滑处理后灰度图像的边缘轮廓,并得到二值化后的边缘图像;
步骤S24,采用轮廓提取算法,遍历二值化图像的像素值,提取边缘图像中所有完全闭合的边缘轮廓,并使用最大轮阔的边界框,即外接正矩形来标记目标区域,根据外接矩形的位置和尺寸,在原始图像裁剪出对应区域,所得的对应区域即为铝箔封口红外图像的ROI区域。
步骤S3,对提取的红外图像进行预处理并将正常样本图像制作成数据集;
步骤S31,对提取的ROI图像进行图像增强,首先,对图像的对比度进行增强,提高图像细节可见性,具体的使用自适应直方图均衡化,其公式如下:
式中,f(x,y)是原始图像,(x,y)为像素点坐标,h(i,j)是窗口函数,W是窗口大小;T(x,y)指以(x,y)为中心的像素值,f(x+i,y+j)指原始图像中以(x+i,y+j)为中心的像素值,i和j指窗口函数的坐标;
然后,采用拉普拉斯滤波器,对图像进行锐化操作,增强图像的边缘和细节;
步骤S32,对图像增强后的样本进行插值上采样操作,提高红外图像的分辨率,为后续的深度学习模型训练提供更多的图像信息,具体采用双三次插值法,公式如下:
式中,(bx,by)为插值点坐标,B(bx,by)为双三次插值结果,(bxi,byj)为插值点近邻的16个点,W(x)为加权函数,这里的a取-0.5;
步骤S33,对图像进行随机旋转,以扩充训练数据集并增加模型的鲁棒性;
步骤S34,将图像像素值归一化到0到1之间,并对归一化后的图像像素值进行标准化,使其均值为0,方差为1,以加速模型收敛,其公式为:
式中,xnorm为归一化结果,xstd为标准化结果,xorg为原始图像的像素值,μ和σ为单一通道像素值的均值和标准差;
步骤S35,将预处理后的图像数据集划分为训练和测试集,采用正常样本数据作为训练集占75%,剩余25%的正常样本和缺陷样本作为测试集。
步骤S4,将预处理后的正常样本数据集输入多尺度图像重构网络模型进行模型参数训练;
多尺度图像重构网络模型包括图像生成网络和图像判别网络,其中图像生成网络包括多尺度特征采样模块,全局上下文特征提取模块,异常特征检测模块,图像生成模块。
所述多尺度特征采样模块由四个卷积组构成,第一层卷积组由卷积核为7*7的卷积层和最大池化层构成,目的是捕捉大尺度特征,减少后续层计算复杂性;后续三个卷积组均由残差块结构构成,包括3*3卷积核的卷积层、批归一化、激活函数和残差连接,用于更好的提取如纹理、边缘等局部特征,同时避免了梯度消失;多尺度特征采样模块输出三种不同尺度的特征图,分别由第二层、第三层、第四层卷积组输出,多尺度特征提高了模型的泛化能力和鲁棒性并且有利于图像重建网络对图像细节的重构;
所述全局上下文特征提取模块融合了Transformer结构和卷积结构,具体包括基于下采样的3*3卷积层和改进的轻量级Vision Transformer模块,改进的轻量级VisionTransformer模块依次为相对位置编码、局部感知单元、LayerNorm层、轻量级多头自注意力模块、LayerNorm层、改进的MLP模块;
其中,局部感知单元采用深度分离卷积,将卷积的平移不变性引入模块,具体公式为:
LPU(X)=DWConv(X)+X
式中,X为输入特征张量,DWConv为深度可分离卷积层,整体采用残差连接;
轻量级多头自注意力模块在原始的多自注意力的基础上,通过卷积操作对Key和Value的生成进行了简化处理,注意力的计算公式如下:
式中,Q、K、V分别为Transformer中的Query、Key、Value,Softmax为归一化指数函数,KT为K的转置矩阵,R为实数域,B为偏置矩阵,k为K和V沿空间方向缩小的倍数;
改进的MLP模块在原有的全连接层之间加入了3*3的卷积层,并通过残差连接避免梯度消失的同时,增强了Transformer模块的局部语义信息提取的能力;
全局上下文特征提取模块共三条分支,输入特征为多尺度特征采样模块输出的三种不同尺度的特征,经过三条分支结构网络的特征提取后,对特征进行融合并输出。
所述异常特征检测模块由K-means聚类和特征检测组成,主要用于抑制图像重建过程中的缺陷特征,将从全局上下文特征提取模块输出的特征图沿维度分解,包含的N个特征向量P,P={p1,p2,...,pN}(P∈RC×1,N=H*W),输入K-means聚类中,选择K个中点作为聚类中心,中心向量为C,C={C1,C2,...,Ck}(C∈RC×1),特征检测是将特征向量中的与中心向量相距过远的缺陷特征替换成正常特征向量;
所述图像生成模块和图像判别网络的主体部分采用DCGAN的网络结构,图像生成模块由五层上采样模块组成,模块中的归一化操作采用Instance Norm,图像生成模块输出三通道彩色重构图像,图像大小与输入图像一致;图像判别网络包括五层特征下采样模块和一个全连接层,在图像生成模块的第四到第五层之间、图像判别网络的第一层到第二层之间分别加入自注意力模块,图像判别网络的输出为输入图像为真的概率,范围在0-1之间。
步骤S41,向训练集中的图像加入随机彩色高斯噪声,并进行掩码操作;
步骤S42,排除图像重构模型中的异常特征检测模块,将处理好的图像输入模型中进行参数训练,将对抗损失作为图像判别网络的训练损失函数,将图像重构损失作为图像生成网络的训练损失函数;
步骤S43,固定训练好的网络权重,加入异常特征检测模块,对K-means聚类进行参数训练:随机初始化K个聚类中心的特征向量C,对于每个输入的特征向量P,计算其与各聚类中心之间的距离,并将特征向量分配到距离最近的聚类中心,于每个聚类,计算该聚中所有样本的均值,将该均值作为新的类中心,不断迭代上述步骤,完成对K-means聚类的训练。
步骤S5,将预处理后的待测图像输入训练好的重构模型中进行图像重构,输出重构图像,将待测图像与重构图像进行残差计算,得到残差图;
步骤S51,向预处理后的待测图像加入随机彩色高斯噪声,将其输入固定好训练权重的图像重构模型中进行图像重构,其中,经过异常特征检测模块时,计算输入的特征向量P到所有聚类中心C的空间距离d,若空间距离d超出异常阈值T,则将改特征向量视为缺陷特征,并用距离其最近的中心特征向量代替缺陷特征向量,达到缺陷特征抑制的效果,其空间距离d的计算公式为:
式中,X和Y分别为输入的特征向量P和中心特征向量C,d(X,Y)为两个向量之间的欧氏距离;
异常阈值T由正样本的特征向量训练时得到,其计算公式为:
式中,di为正样本训练时,特征向量距离中心特征向量的空间距离,N为特征向量的个数,σd为距离di的标准差;
步骤S52,将模型输出的重构图像与待测图像进行像素残差计算,得到初步残差图,残差计算的公式如下:
Ldif(i,j)=(Lsrc(i,j)-Lrec(i,j))2
式中,Lsrc(i,j)为待检测图像,Lrec(i,j)为重构图像,将计算的残差图进一步归一化,得到最终结果。
步骤S6,对残差图进行预处理,突出缺陷部分,通过异常得分判断红外封口图像是否存在缺陷,若存在缺陷,对缺陷部分进行定位。
步骤S61,对残差图进行三通道加权平均,实现灰度化处理;
步骤S62,采用均值滤波进行图像去噪处理,消除噪点形成的伪缺陷;
步骤S63,计算处理好的灰度图的异常概率得分,异常概率得分大于异常阈值时,则表示残差图中存在异常点,其公式为:
式中,Smap是单通道的残差图矩阵,Smapmax为像素矩阵中的最大值,Smapmin为像素矩阵中的最小值,S为残差图矩阵归一化后的最大值;
步骤S64,对残差图使用自适应阈值法进行二值化处理,采用大津法计算图像分割阈值,将灰度图转成二值化图像,其公式如下:
式中,TOTSU为大津法所得阈值,t为该灰度图中的像素值;
步骤S65,根据所得二值化图像,求出图中像素值为1的像素点所占全图像素点比重R,若同时满足异常概率得分大于异常阈值,缺陷像素占比大于比例阈值,则判定图像存在缺陷,否则,图像正常;
步骤S66,若图像存在缺陷,则采用轮廓提取算法,遍历二值化图像的像素值,提取边缘图像中所有完全闭合的边缘轮廓,并使用最大轮阔的边界框(外接正矩形)来标记目标区域,实现缺陷定位。
与现有技术相比,本发明的有益效果是,本发明的基于无监督学习的铝箔封口密封性的检测方法利用红外相机捕捉的封口红外图像,对铝箔封口进行无损缺陷检测。该方法采用基于无监督学习的神经网络,无需缺陷样本以及相关的人工标注,极大地节约了准备时间和人工成本;将Transformer与CNN结构相结合,从全局和局部提取多语义特征并对缺陷进行抑制,达到细节重建的效果,实现了缺陷的细粒度检测与精确定位,具有较强的鲁棒性,极大的提高了封口缺陷检测的精度和效率,实现瓶装产线封口缺陷的实时监测。
本发明的其它特征和优点将在之后的说明书中进行具体阐述,部分可从说明书中或具体实施例中直接可见。
为使上述发明目的、优点和特征更加清晰直观,下文特具本发明较好的实施案例以及相关附图作详细说明。
附图说明
为了更清晰地说明本发明的具体实施案例或现有的技术方案,以下将对本发明的具体实施方案进行相关的附图说明。
图1为本发明的铝箔封口密封性的检测方法的具体实施例流程示意图;
图2为本发明的铝箔封口密封性的检测方法的步骤示意图;
图3为本发明的铝箔封口密封性的检测方法的多尺度图像重构网络模型;
图4为本发明的多尺度图像重构网络模型的残差模块;
图5为本发明的多尺度图像重构网络模型的轻量级Vision Transformer模块;
图6为本发明的实施例中一组输入图像、重建图像、残差图像和缺陷定位图像的示例图。
具体实施方式
为了更清楚地说明本发明的各实施例的目的、技术方案和优势,以下将结合附图清楚而完整地描述本发明的技术方案。显然,所述实例仅代表本发明的部分实例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图2是本发明的一实施例提供的基于无监督学习的铝箔封口密封性的检测方法的步骤示意图,参考图1的具体实施例流程示意图,该方法的具体步骤如下:
步骤S1,获取铝箔封口红外图像;
步骤S2,对铝箔封口红外图像进行自适应ROI区域提取;
步骤S3,对提取的红外图像进行预处理并将正常样本图像制作成数据集;
步骤S4,将预处理后的正常样本数据集输入多尺度图像重构网络模型进行模型参数训练;
步骤S5,将预处理后的待测图像输入训练好的重构模型中进行图像重构,输出重构图像,将待测图像与重构图像进行残差计算,得到残差图;
步骤S6,对残差图进行预处理,突出缺陷部分,通过异常得分判断红外封口图像是否存在缺陷,若存在缺陷,对缺陷部分进行定位。
本实施例中,利用红外相机捕捉的封口红外图像,对铝箔封口进行无损缺陷检测。该方法采用基于无监督学习的神经网络,无需缺陷样本以及相关的人工标注,极大地节约了准备时间和人工成本;将Transformer与CNN结构相结合,从全局和局部提取多语义特征并对缺陷进行抑制,达到细节重建的效果,实现了缺陷的细粒度检测与精确定位,具有较强的鲁棒性,极大的提高了封口缺陷检测的精度和效率,实现瓶装产线封口缺陷的实时监测。
实施例中,所述步骤S1中获取铝箔封口红外图像可通过一台分辨率为384×288的红外相机32mini安装在电磁铝箔封口机后0.5m到1m处,配合光电信号,在瓶子正上方获取瓶盖表面的红外图像,该红外图像由封口瞬时温度向上传导至瓶盖得到。
所述步骤S2中对铝箔封口红外图像进行自适应ROI区域提取的步骤包括:
步骤S21,对获取的红外图像进行三通道加权平均,实现灰度化处理;
示例性的,对三通道的加权平均公式可以为:
Gray=0.417B+0.205G+0.378R
式中,B、G、R为蓝、绿、红三通道像素值,通道前的权重由该实施例中的红外图像数据集计算得出;
步骤S22,对灰度图像进行平滑降噪处理,去除细小的纹理和不规则性噪点,所述平滑降噪处理方法为高斯滤波,其表达式为:
式中,(x,y)表示图像中的像素坐标,G(x,y)表示在该位置计算的高斯函数值,σ表示高斯核的标准,e为自然对数函数的常量底数;
步骤S23,采用Canny边缘检测提取平滑处理后灰度图像的边缘轮廓,并得到二值化后的边缘图像;
步骤S24,采用轮廓提取算法,遍历二值化图像的像素值,提取边缘图像中所有完全闭合的边缘轮廓,并使用最大轮阔的边界框,即外接正矩形来标记目标区域,根据外接矩形的位置和尺寸,在原始图像裁剪出对应区域,所得的对应区域即为铝箔封口红外图像的ROI区域。
所述步骤S3中对提取的红外图像进行预处理并将正常样本图像制作成数据集的步骤包括:
步骤S31,对提取的ROI图像进行图像增强,首先,对图像的对比度进行增强,提高图像细节可见性,具体的使用自适应直方图均衡化,其公式如下:
式中,f(x,y)是原始图像,(x,y)为像素点坐标,h(i,j)是窗口函数,W是窗口大小;T(x,y)指以(x,y)为中心的像素值,f(x+i,y+j)指原始图像中以(x+i,y+j)为中心的像素值,i和j指窗口函数的坐标;
然后,采用拉普拉斯滤波器,对图像进行锐化操作,增强图像的边缘和细节;
步骤S32,对图像增强后的样本进行插值上采样操作,提高红外图像的分辨率,为后续的深度学习模型训练提供更多的图像信息,具体采用双三次插值法,公式如下:
式中,(bx,by)为插值点坐标,B(bx,by)为双三次插值结果,(bxi,byj)为插值点近邻的16个点,W(x)为加权函数,这里的a取-0.5;
实例中,上采样后的图像大小为224×224;
步骤S33,对图像进行随机旋转,以扩充训练数据集并增加模型的鲁棒性;
实例中,为保证旋转后图像边缘的完整性,在旋转前对图像四边填充背景像素值至图像大小到256×256,以10度随机顺时针或逆时针旋转后,沿中心裁剪成224×224大小,完成数据集扩充;
步骤S34,将图像像素值归一化到0到1之间,并对归一化后的图像像素值进行标准化,使其均值为0,方差为1,以加速模型收敛,其公式为:
式中,xnorm为归一化结果,xstd为标准化结果,xorg为原始图像的像素值,μ和σ为单一通道像素值的均值和标准差;
步骤S35,将预处理后的图像数据集划分为训练和测试集,采用正常样本数据作为训练集占75%,剩余25%的正常样本和缺陷样本作为测试集。
该实施例中,图像样本数据来自某工厂,总共612张图像,其中588张为正常样本图像,24张图像为人工制作的缺陷图像,分辨率为388×284,经过图像预处理后,大小变成224×224,随机挑选460张正常样本作为训练集,剩余128张正常样本和24张缺陷样本作为测试集。
所述步骤S4中多尺度图像重构网络模型实例如图3所示,包括图像生成网络和图像判别网络,其中图像生成网络包括多尺度特征采样模块,全局上下文特征提取模块,异常特征检测模块,图像生成模块。
具体的,输入图像大小为224×224×3,经过多尺度特征采样模块后输出三种不同尺度的特征图,大小分别为56×56×64、28×28×128、14×14×256;三种特征图输入全局上下文特征提取模块进行多分支特征提取,将提取出的大小为7×7×512的特征图输入异常特征检测模块进行缺陷特征的抑制,将输出结果转化成1×1024的特征向量Z,即为该输入图像的正常特征;将Z输入图像生成网络生成最终的正常样本重建结果;图像判别网络将重建结果输入,判别图像是否为正常图像,用来在训练过程中增强重建网络的细节重构效果。
所述实例中,如图3所示,多尺度特征采样模块由四个卷积组构成,第一层卷积组由卷积核为7*7的卷积层和最大池化层构成,目的是捕捉大尺度特征,减少后续层计算复杂性;后续三个卷积组均由残差块结构构成,如图4所示,包括3*3卷积核的卷积层、1*1卷积核的卷积层、批归一化、激活函数和残差连接,用于更好的提取如纹理、边缘等局部特征,同时避免了梯度消失;多尺度特征采样模块输出三种不同尺度的特征图,分别由第二层、第三层、第四层卷积组输出,多尺度特征提高了模型的泛化能力和鲁棒性并且有利于图像重建网络对图像细节的重构;
所述全局上下文特征提取模块融合了Transformer结构和卷积结构,具体包括基于下采样的3*3卷积层和改进的轻量级Vision Transformer模块,改进的轻量级VisionTransformer模块依次为相对位置编码、局部感知单元、LayerNorm层、轻量级多头自注意力模块、LayerNorm层、改进的MLP模块,图5展示了该实例所使用的轻量级VisionTransformer模块,具体改进的模块如下:
局部感知单元采用深度分离卷积,将卷积的平移不变性引入模块,具体公式为:
LPU(X)=DWConv(X)+X
式中,X为输入特征张量,DWConv为深度可分离卷积层,整体采用残差连接;
此实例中,首先采用3*3的卷积进行逐通道卷积,然后采用1*1的卷积进行逐点卷积,实现深度可分离卷积的作用;
轻量级多头自注意力模块在原始的多自注意力的基础上,通过卷积操作对Key和Value的生成进行了简化处理,极大的节省了计算量,注意力的计算公式如下:
式中,Q、K、V分别为Transformer中的Query、Key、Value,Softmax为归一化指数函数,KT为K的转置矩阵,R为实数域,B为偏置矩阵,k为K和V沿空间方向缩小的倍数;
具体地,在求Q、K、V三者时,采用1*1的卷积代替原本的Wq、Wk、Wv的权重矩阵,加快模型的训练和推断速度,同时引入非线性变换,增强模型的表达能力;
改进的MLP模块在原有的全连接层之间加入了3*3的卷积层,并通过残差连接避免梯度消失的同时,增强了Transformer模块的局部语义信息提取的能力;
全局上下文特征提取模块共三条分支,输入特征为多尺度特征采样模块输出的三种不同尺度的特征,经过三条分支结构网络的特征提取后,对特征进行融合并输出。
异常特征检测模块由K-means聚类和特征检测组成,主要用于抑制图像重建过程中的缺陷特征,将从全局上下文特征提取模块输出的特征图沿维度分解,包含的N个特征向量P,P={p1,p2,...,pN}(P∈RC×1,N=H*W),输入K-means聚类中,选择K个中点作为聚类中心,中心向量为C,C={C1,C2,...,Ck}(C∈RC×1),特征检测是将特征向量中的与中心向量相距过远的缺陷特征替换成正常特征向量。
图像生成模块和图像判别网络的主体部分采用DCGAN的网络结构,图像生成模块由五层上采样模块组成,模块中的归一化操作采用Instance Norm,图像生成模块输出三通道彩色重构图像,图像大小与输入图像一致;图像判别网络包括五层特征下采样模块和一个全连接层,在图像生成模块的第四到第五层之间、图像判别网络的第一层到第二层之间分别加入自注意力模块,图像判别网络的输出为输入图像为真的概率,范围在0-1之间,具体的,自注意力模块的结构可参考图5所示轻量级Vision Transformer模块的多头注意机制。
所述步骤S4中将预处理后的正常样本数据集输入多尺度图像重构网络模型进行模型参数训练的步骤包括:
步骤S41,向训练集中的图像加入随机彩色高斯噪声,并进行掩码操作;
步骤S42,排除图像重构模型中的异常特征检测模块,将处理好的图像输入模型中进行参数训练,将对抗损失作为图像判别网络的训练损失函数,将图像重构损失作为图像生成网络的训练损失函数;
该实例中,图像判别网络的训练损失函数可以选择Wasserstein距离配合梯度惩罚作对抗损失函数,其中Wasserstein距离公式为:
式中,Pr是真实样本分布,Pg是生成器产生的样本分布,Π(Pr,Pg)是Pr和Pg组合起来的所有可能的联合分布的集合,inf是取该期望值的下界,||xw-yw||表示范数,E表示期望值;
根据Wasserstein距离可以得到判别网络的损失函数,公式为:
式中,代表真实样本的判别器输出的期望值,/>代表生成器生成的样本的判别器输出的期望值,λ为梯度惩罚项的常系数,/>是求判别器网络的梯度,当/>时,对梯度进行惩罚,且距离1越远,惩罚越大,此处λ取0.09,xd为判别器输入值;
图像生成网络的训练损失函数由均方误差和SSIM结构相似度系数共同构成,均方误差公式如下:
式中,n表示样本数量,ym表示真实值,表示预测值;
SSIM结构相似度的公式为:
式中,u,v代表输入的两个图像样本,μ代表像素样本均值,σu、σv代表像素样本公差,σuv表示u、v的互相关系数,c1和c2一般为常数项;
图像生成网络的训练损失函数为:
式中,α为权重系数,在该实例中取0.3;
步骤S43,固定训练好的网络权重,加入异常特征检测模块,对K-means聚类进行参数训练:随机初始化K个聚类中心的特征向量C,对于每个输入的特征向量P,计算其与各聚类中心之间的距离,并将特征向量分配到距离最近的聚类中心,于每个聚类,计算该聚中所有样本的均值,将该均值作为新的类中心,不断迭代上述步骤,完成对K-means聚类的训练。
该实例中,模型训练环境及相关参数:在python3.7版本下,深度学习框架Pytorch1.7.0,显卡为NVIDIA GeForce RTX 3060,采用默认参数的Adam优化器,batchsize为16,learning rate为0.0001,epoch为100。
所述步骤S5中将预处理后的待测图像输入训练好的重构模型中进行图像重构,输出重构图像,将待测图像与重构图像进行残差计算,得到残差图的步骤包括:
步骤S51,向预处理后的待测图像加入随机彩色高斯噪声,将其输入固定好训练权重的图像重构模型中进行图像重构,其中,经过异常特征检测模块时,计算输入的特征向量P到所有聚类中心C的空间距离d,若空间距离d超出异常阈值T,则将改特征向量视为缺陷特征,并用距离其最近的中心特征向量代替缺陷特征向量,达到缺陷特征抑制的效果,其空间距离d的计算公式为:
式中,X和Y分别为输入的特征向量P和中心特征向量C,d(X,Y)为两个向量之间的欧氏距离;
异常阈值T由正样本的特征向量训练时得到,其计算公式为:
/>
式中,di为正样本训练时,特征向量距离中心特征向量的空间距离,N为特征向量的个数,σd为距离di的标准差;
步骤S52,将模型输出的重构图像与待测图像进行像素残差计算,得到初步残差图,残差计算的公式如下:
Ldif(i,j)=(Lsrc(i,j)-Lrec(i,j))2
式中,Lsrc(i,j)为待检测图像,Lrec(i,j)为重构图像,将计算的残差图进一步归一化,得到最终结果。
实施例中,所述步骤S6中对残差图进行预处理,突出缺陷部分,通过异常得分判断红外封口图像是否存在缺陷,若存在缺陷,对缺陷部分进行定位的步骤包括:
步骤S61,对残差图进行三通道加权平均,实现灰度化处理;
步骤S62,采用均值滤波进行图像去噪处理,消除噪点形成的伪缺陷;
步骤S63,计算处理好的灰度图的异常概率得分,异常概率得分大于异常阈值时,则表示残差图中存在异常点,其公式为:
式中,Smap是单通道的残差图矩阵,Smapmax为像素矩阵中的最大值,Smapmin为像素矩阵中的最小值,S为残差图矩阵归一化后的最大值;
步骤S64,对残差图使用自适应阈值法进行二值化处理,采用大津法计算图像分割阈值,将灰度图转成二值化图像,其公式如下:
式中,TOTSU为大津法所得阈值,t为该灰度图中的像素值;
步骤S65,根据所得二值化图像,求出图中像素值为1的像素点所占全图像素点比重R,若同时满足异常概率得分大于异常阈值,缺陷像素占比大于比例阈值,则判定图像存在缺陷,否则,图像正常;
步骤S66,若图像存在缺陷,则采用轮廓提取算法,遍历二值化图像的像素值,提取边缘图像中所有完全闭合的边缘轮廓,并使用最大轮阔的边界框(外接正矩形)来标记目标区域,实现缺陷定位。
完整的缺陷检测流程包括四张图像,分别是待检图像、重建图像、残差图像、缺陷定位图像,具体实例如图6所示。
在本申请所提供的实施例中,显而易见,所揭露的方法也可以通过其它方式去实现,并不局限于以上所描述的方法。例如,附图中的检测方法流程图中所描述的步骤,某些工序可以同时进行,也可以改变实现的步骤顺序,这些都可以视不同功能情况而定。同时,流程图所示的每个方框可以用执行相关功能或动作的专用硬件***来实现,或者通过计算机程序与硬件搭配实现。
所述功能若以软件功能模块的形式实现,并且被当作单独的产品出售或被使用时,该***可以通过可读取存储介质进行储存。基于此,本发明的技术方案实质上或其一部分技术方案可以作为软件产品,其包含若干指令以使一台计算机装置(可以是个人电脑、服务器、或网络装置等)实现本发明各实施方式中描述的所有或部分方法,前述存储介质包含:U盘、移动硬盘、RAM、ROM和光盘等可以存储程序的介质。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。
Claims (8)
1.一种基于无监督学习的铝箔封口密封性的检测方法,其特征在于,包括如下步骤:
步骤S1,获取铝箔封口红外图像;
步骤S2,对铝箔封口红外图像进行自适应ROI区域提取;
步骤S3,对提取的红外图像进行预处理并将正常样本图像制作成数据集;
步骤S4,将预处理后的正常样本数据集输入多尺度图像重构网络模型进行模型参数训练;
步骤S5,将预处理后的待测图像输入训练好的重构模型中进行图像重构,输出重构图像,将待测图像与重构图像进行残差计算,得到残差图;
步骤S6,对残差图进行预处理,突出缺陷部分,通过异常得分判断红外封口图像是否存在缺陷,若存在缺陷,对缺陷部分进行定位。
2.根据权利要求1所述的基于无监督学习的铝箔封口密封性的检测方法,其特征在于,
所述步骤S2中对铝箔封口红外图像进行自适应ROI区域提取的步骤包括:
步骤S21,对获取的红外图像进行三通道加权平均,实现灰度化处理;
步骤S22,对灰度图像进行平滑降噪处理,去除细小的纹理和不规则性噪点,所述平滑降噪处理方法为高斯滤波,其表达式为:
式中,(x,y)表示图像中的像素坐标,G(x,y)表示在该位置计算的高斯函数值,σ表示高斯核的标准,e为自然对数函数的常量底数;
步骤S23,采用Canny边缘检测提取平滑处理后灰度图像的边缘轮廓,并得到二值化后的边缘图像;
步骤S24,采用轮廓提取算法,遍历二值化图像的像素值,提取边缘图像中所有完全闭合的边缘轮廓,并使用最大轮阔的边界框,即外接正矩形来标记目标区域,根据外接矩形的位置和尺寸,在原始图像裁剪出对应区域,所得的对应区域即为铝箔封口红外图像的ROI区域。
3.根据权利要求1所述的基于无监督学习的铝箔封口密封性的检测方法,其特征在于,
所述步骤S3中对提取的红外图像进行预处理并将正常样本图像制作成数据集的步骤包括:
步骤S31,对提取的ROI图像进行图像增强,首先,对图像的对比度进行增强,提高图像细节可见性,具体的使用自适应直方图均衡化,其公式如下:
式中,f(x,y)是原始图像,(x,y)为像素点坐标,h(i,j)是窗口函数,W是窗口大小;T(x,y)指以(x,y)为中心的像素值,f(x+i,y+j)指原始图像中以(x+i,y+j)为中心的像素值,i和j指窗口函数的坐标;
然后,采用拉普拉斯滤波器,对图像进行锐化操作,增强图像的边缘和细节;
步骤S32,对图像增强后的样本进行插值上采样操作,提高红外图像的分辨率,为后续的深度学习模型训练提供更多的图像信息,具体采用双三次插值法,公式如下:
式中,(bx,by)为插值点坐标,B(bx,by)为双三次插值结果,(bxi,byj)为插值点近邻的16个点,W(x)为加权函数,这里的a取-0.5;
步骤S33,对图像进行随机旋转,以扩充训练数据集并增加模型的鲁棒性;
步骤S34,将图像像素值归一化到0到1之间,并对归一化后的图像像素值进行标准化,使其均值为0,方差为1,以加速模型收敛,其公式为:
式中,xnorm为归一化结果,xstd为标准化结果,xorg为原始图像的像素值,μ和σ为单一通道像素值的均值和标准差;
步骤S35,将预处理后的图像数据集划分为训练和测试集,采用正常样本数据作为训练集占75%,剩余25%的正常样本和缺陷样本作为测试集。
4.根据权利要求1所述的基于无监督学习的铝箔封口密封性的检测方法,其特征在于,
所述步骤S4中多尺度图像重构网络模型包括图像生成网络和图像判别网络,其中图像生成网络包括多尺度特征采样模块,全局上下文特征提取模块,异常特征检测模块,图像生成模块。
5.根据权利要求4所述的基于无监督学习的铝箔封口密封性的检测方法,其特征在于,
所述多尺度特征采样模块由四个卷积组构成,第一层卷积组由卷积核为7*7的卷积层和最大池化层构成,目的是捕捉大尺度特征,减少后续层计算复杂性;后续三个卷积组均由残差块结构构成,包括3*3卷积核的卷积层、批归一化、激活函数和残差连接,用于更好的提取如纹理、边缘等局部特征,同时避免了梯度消失;多尺度特征采样模块输出三种不同尺度的特征图,分别由第二层、第三层、第四层卷积组输出,多尺度特征提高了模型的泛化能力和鲁棒性并且有利于图像重建网络对图像细节的重构;
所述全局上下文特征提取模块融合了Transformer结构和卷积结构,具体包括基于下采样的3*3卷积层和改进的轻量级Vision Transformer模块,改进的轻量级VisionTransformer模块依次为相对位置编码、局部感知单元、LayerNorm层、轻量级多头自注意力模块、LayerNorm层、改进的MLP模块;
其中,局部感知单元采用深度分离卷积,将卷积的平移不变性引入模块,具体公式为:
LPU(X)=DWConv(X)+X
式中,X为输入特征张量,DWConv为深度可分离卷积层,整体采用残差连接;
轻量级多头自注意力模块在原始的多自注意力的基础上,通过卷积操作对Key和Value的生成进行了简化处理,注意力的计算公式如下:
式中,Q、K、V分别为Transformer中的Query、Key、Value,Softmax为归一化指数函数,KT为K的转置矩阵,R为实数域,B为偏置矩阵,k为K和V沿空间方向缩小的倍数;
改进的MLP模块在原有的全连接层之间加入了3*3的卷积层,并通过残差连接避免梯度消失的同时,增强了Transformer模块的局部语义信息提取的能力;
全局上下文特征提取模块共三条分支,输入特征为多尺度特征采样模块输出的三种不同尺度的特征,经过三条分支结构网络的特征提取后,对特征进行融合并输出。
所述异常特征检测模块由K-means聚类和特征检测组成,主要用于抑制图像重建过程中的缺陷特征,将从全局上下文特征提取模块输出的特征图沿维度分解,包含的N个特征向量P,P={p1,p2,...,pN}(P∈RC×1,N=H*W),输入K-means聚类中,选择K个中点作为聚类中心,中心向量为C,C={C1,C2,...,Ck}(C∈RC×1),特征检测是将特征向量中的与中心向量相距过远的缺陷特征替换成正常特征向量;
所述图像生成模块和图像判别网络的主体部分采用DCGAN的网络结构,图像生成模块由五层上采样模块组成,模块中的归一化操作采用Instance Norm,图像生成模块输出三通道彩色重构图像,图像大小与输入图像一致;图像判别网络包括五层特征下采样模块和一个全连接层,在图像生成模块的第四到第五层之间、图像判别网络的第一层到第二层之间分别加入自注意力模块,图像判别网络的输出为输入图像为真的概率,范围在0-1之间。
6.根据权利要求1所述的基于无监督学习的铝箔封口密封性的检测方法,其特征在于,
所述步骤S4中将预处理后的正常样本数据集输入多尺度图像重构网络模型进行模型参数训练的步骤包括:
步骤S41,向训练集中的图像加入随机彩色高斯噪声,并进行掩码操作;
步骤S42,排除图像重构模型中的异常特征检测模块,将处理好的图像输入模型中进行参数训练,将对抗损失作为图像判别网络的训练损失函数,将图像重构损失作为图像生成网络的训练损失函数;
步骤S43,固定训练好的网络权重,加入异常特征检测模块,对K-means聚类进行参数训练:随机初始化K个聚类中心的特征向量C,对于每个输入的特征向量P,计算其与各聚类中心之间的距离,并将特征向量分配到距离最近的聚类中心,于每个聚类,计算该聚中所有样本的均值,将该均值作为新的类中心,不断迭代上述步骤,完成对K-means聚类的训练。
7.根据权利要求1所述的基于无监督学习的铝箔封口密封性的检测方法,其特征在于,
所述步骤S5中将预处理后的待测图像输入训练好的重构模型中进行图像重构,输出重构图像,将待测图像与重构图像进行残差计算,得到残差图的步骤包括:
步骤S51,向预处理后的待测图像加入随机彩色高斯噪声,将其输入固定好训练权重的图像重构模型中进行图像重构,其中,经过异常特征检测模块时,计算输入的特征向量P到所有聚类中心C的空间距离d,若空间距离d超出异常阈值T,则将改特征向量视为缺陷特征,并用距离其最近的中心特征向量代替缺陷特征向量,达到缺陷特征抑制的效果,其空间距离d的计算公式为:
式中,X和Y分别为输入的特征向量P和中心特征向量C,d(X,Y)为两个向量之间的欧氏距离;
异常阈值T由正样本的特征向量训练时得到,其计算公式为:
式中,di为正样本训练时,特征向量距离中心特征向量的空间距离,N为特征向量的个数,σd为距离di的标准差;
步骤S52,将模型输出的重构图像与待测图像进行像素残差计算,得到初步残差图,残差计算的公式如下:
Ldif(i,j)=(Lsrc(i,j)-Lrec(i,j))2
式中,Lsrc(i,j)为待检测图像,Lrec(i,j)为重构图像,将计算的残差图进一步归一化,得到最终结果。
8.根据权利要求1所述的基于无监督学习的铝箔封口密封性的检测方法,其特征在于,
所述步骤S6中对残差图进行预处理,突出缺陷部分,通过异常得分判断红外封口图像是否存在缺陷,若存在缺陷,对缺陷部分进行定位的步骤包括:
步骤S61,对残差图进行三通道加权平均,实现灰度化处理;
步骤S62,采用均值滤波进行图像去噪处理,消除噪点形成的伪缺陷;
步骤S63,计算处理好的灰度图的异常概率得分,异常概率得分大于异常阈值时,则表示残差图中存在异常点,其公式为:
式中,Smap是单通道的残差图矩阵,Smapmax为像素矩阵中的最大值,Smapmin为像素矩阵中的最小值,S为残差图矩阵归一化后的最大值;
步骤S64,对残差图使用自适应阈值法进行二值化处理,采用大津法计算图像分割阈值,将灰度图转成二值化图像,其公式如下:
式中,TOTSU为大津法所得阈值,t为该灰度图中的像素值;
步骤S65,根据所得二值化图像,求出图中像素值为1的像素点所占全图像素点比重R,若同时满足异常概率得分大于异常阈值,缺陷像素占比大于比例阈值,则判定图像存在缺陷,否则,图像正常;
步骤S66,若图像存在缺陷,则采用轮廓提取算法,遍历二值化图像的像素值,提取边缘图像中所有完全闭合的边缘轮廓,并使用最大轮阔的边界框,即外接正矩形,来标记目标区域,实现缺陷定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310937867.9A CN116934725A (zh) | 2023-07-28 | 2023-07-28 | 一种基于无监督学习的铝箔封口密封性的检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310937867.9A CN116934725A (zh) | 2023-07-28 | 2023-07-28 | 一种基于无监督学习的铝箔封口密封性的检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116934725A true CN116934725A (zh) | 2023-10-24 |
Family
ID=88389563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310937867.9A Pending CN116934725A (zh) | 2023-07-28 | 2023-07-28 | 一种基于无监督学习的铝箔封口密封性的检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116934725A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117372791A (zh) * | 2023-12-08 | 2024-01-09 | 齐鲁空天信息研究院 | 细粒度定向能毁伤区域检测方法、装置及存储介质 |
CN117746000A (zh) * | 2023-12-27 | 2024-03-22 | 广东瑞福密封科技有限公司 | 橡胶密封圈多类表面缺陷分类定位方法 |
-
2023
- 2023-07-28 CN CN202310937867.9A patent/CN116934725A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117372791A (zh) * | 2023-12-08 | 2024-01-09 | 齐鲁空天信息研究院 | 细粒度定向能毁伤区域检测方法、装置及存储介质 |
CN117372791B (zh) * | 2023-12-08 | 2024-03-22 | 齐鲁空天信息研究院 | 细粒度定向能毁伤区域检测方法、装置及存储介质 |
CN117746000A (zh) * | 2023-12-27 | 2024-03-22 | 广东瑞福密封科技有限公司 | 橡胶密封圈多类表面缺陷分类定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009013B (zh) | 编码器训练及表征信息提取方法和装置 | |
CN111680614B (zh) | 一种基于视频监控中的异常行为检测方法 | |
CN110211045B (zh) | 基于srgan网络的超分辨率人脸图像重建方法 | |
CN111383209B (zh) | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 | |
CN116934725A (zh) | 一种基于无监督学习的铝箔封口密封性的检测方法 | |
CN114677346B (zh) | 基于记忆信息的端到端的半监督图像表面缺陷的检测方法 | |
CN111738054B (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
CN113327231B (zh) | 一种基于空谱联合的高光谱异常目标检测方法和*** | |
Hou et al. | Texture defect detection using support vector machines with adaptive Gabor wavelet features | |
WO2024021461A1 (zh) | 缺陷检测方法及装置、设备、存储介质 | |
CN114332008A (zh) | 一种基于多层次特征重构的无监督缺陷检测与定位方法 | |
CN113850725A (zh) | 一种滤波增强深度学习的被动式太赫兹图像目标检测方法 | |
Li et al. | Hyperspectral anomaly detection via image super-resolution processing and spatial correlation | |
CN115861226A (zh) | 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法 | |
CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
CN111882525A (zh) | 一种基于lbp水印特征和细粒度识别的图像翻拍检测方法 | |
CN112767331B (zh) | 基于零样本学习的图像异常检测方法 | |
CN113421223B (zh) | 基于深度学习和高斯混合的工业产品表面缺陷检测方法 | |
CN117036352B (zh) | 一种基于人工智能的视频分析方法及*** | |
CN111639212B (zh) | 一种矿用智能视频分析中的图像检索方法 | |
CN113313678A (zh) | 一种基于多尺度特征融合的***形态学自动分析方法 | |
Bharathi et al. | Optimization of image processing techniques using neural networks: a review | |
CN112418241A (zh) | 一种基于红外成像技术的电力设备识别方法 | |
CN117196963A (zh) | 一种基于降噪自编码器的点云去噪方法 | |
CN112949344B (zh) | 一种用于异常检测的特征自回归方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |