CN117934980B - 基于注意力监督调整的玻璃容器缺陷检测方法及*** - Google Patents

基于注意力监督调整的玻璃容器缺陷检测方法及*** Download PDF

Info

Publication number
CN117934980B
CN117934980B CN202410338088.1A CN202410338088A CN117934980B CN 117934980 B CN117934980 B CN 117934980B CN 202410338088 A CN202410338088 A CN 202410338088A CN 117934980 B CN117934980 B CN 117934980B
Authority
CN
China
Prior art keywords
container
defect
glass container
feature
bottle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410338088.1A
Other languages
English (en)
Other versions
CN117934980A (zh
Inventor
李刚
李旺
周鸣乐
李敏
韩德隆
冯正乾
邵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shanke Digital Economy Research Institute Co ltd
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Shandong Shanke Digital Economy Research Institute Co ltd
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shanke Digital Economy Research Institute Co ltd, Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Shandong Shanke Digital Economy Research Institute Co ltd
Priority to CN202410338088.1A priority Critical patent/CN117934980B/zh
Publication of CN117934980A publication Critical patent/CN117934980A/zh
Application granted granted Critical
Publication of CN117934980B publication Critical patent/CN117934980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及工业检测技术领域，公开一种基于注意力监督调整的玻璃容器缺陷检测方法及***，所述方法包括以下步骤：（1）获取玻璃容器瓶身、瓶颈、瓶口和瓶底的图像，得到玻璃容器图像数据集B；（2）对玻璃容器图像数据集B进行标注，得到图像数据集中缺陷的真实方框，并划分成训练集、验证集和测试集；（3）搭建玻璃容器缺陷检测模型；（4）将玻璃容器图像输入到训练好的玻璃容器缺陷检测模型中，输出缺陷检测结果。所述***包括玻璃容器图像采集模块和玻璃容器缺陷检测模块。本发明提高了玻璃容器缺陷检测的准确率，且具有较高的鲁棒性。

Description

基于注意力监督调整的玻璃容器缺陷检测方法及***
技术领域
本发明涉及一种用于玻璃容器缺陷检测的方法及***，属于工业检测技术领域。
背景技术
饮料、啤酒等液体在灌装前需要确保玻璃容器不存在安全隐患，否则在灌装液体时，存在缺陷的玻璃容器容易破坏灌装生产线，从而造成经济损失。因此，需要对玻璃容器进行全方位360度的缺陷检测。
在玻璃容器缺陷检测方面，机器视觉缺陷检测技术已经取代了传统人工目视检测，使得玻璃容器的缺陷检测效率大大提高。随着自动化、智能化检测需求的提高，过分依赖于手工设计的机器视觉技术逐渐限制了智能化缺陷检测的发展，也限制了玻璃容器缺陷检测的鲁棒性发展。
近年来，基于无监督、小样本的缺陷检测方法逐渐在玻璃容器等工业品缺陷检测中得到应用。但是，此类方法的缺陷检测精度实际上无法满足工业的需求。
除此之外，基于分割的方法也在玻璃容器等工业品缺陷检测中得到应用。但是，实际上此类方法的缺陷检测速度也无法满足工业的需求。
因此，市场亟需一种精度高、速度快的缺陷检测方法，这也成为玻璃容器缺陷检测领域的实际需求。
发明内容
本发明为了解决上述现有玻璃容器缺陷检测技术存在的问题，提出一种基于注意力监督调整的玻璃容器缺陷检测方法，通过注意力机制对提取的玻璃容器缺陷特征进行自动化监督调整，实现准确、快速的玻璃容器缺陷检测功能。同时提供一种实现该方法的***。
为实现上述目的，本发明采用以下技术方案。
第一方面，提出的基于注意力监督调整的玻璃容器缺陷检测方法，包括以下步骤：
（1）获取玻璃容器瓶身、瓶颈、瓶口和瓶底的图像，得到玻璃容器图像数据集B；
所述玻璃容器图像数据集，/>为第一个玻璃容器的瓶身图像，/>为第i个玻璃容器的j图像,/>,，当j为1时表示瓶身，j为2时表示瓶颈，j为3时表示瓶底，j为4时表示瓶口。
（2）对玻璃容器图像数据集B进行标注，得到图像数据集中缺陷的真实方框，并划分成训练集、验证集和测试集。
（3）搭建玻璃容器缺陷检测模型；
所述玻璃容器缺陷检测模型，包括容器缺陷特征提取组、注意力监督调整模块、容器特征冲突预过滤模块、容器特征融合模块和容器缺陷检测单元；容器缺陷特征提取组包括五个依次连接的缺陷特征提取组，分别为缺陷特征提取组一、缺陷特征提取组二、缺陷特征提取组三、缺陷特征提取组四和缺陷特征提取组五，第一至第五缺陷特征提取组顺序连接分别得到容器特征一至五（容器特征一至容器特征五也就是每个缺陷特征提取组的输出），注意力监督调整模块对每一个缺陷特征提取组进行监督调整；第三、第四和第五缺陷特征提取组将容器特征三至五同时输入到容器特征冲突预过滤模块，输出预过滤后的容器预过滤特征一；容器特征四、容器特征五和容器预过滤特征一同时输入到容器特征融合模块，得到容器融合特征一和容器融合特征二；最终，容器融合特征一和二同时输入到容器缺陷检测单元，输出玻璃容器缺陷检测结果。
（4）将玻璃容器图像输入到训练好的玻璃容器缺陷检测模型中，输出缺陷检测结果。
进一步地，所述步骤（1）中：
通过工业相机、镜头、光源和图像采集卡对玻璃容器进行瓶身、瓶颈、瓶底和瓶口全方位的图像采集，拍摄的图像根据拍摄部位的不同而具有不同的分辨率，瓶身部位可为444×840，瓶颈部位可为800×1100。所述工业相机选择采用CCD工业相机，CCD工业相机采用面阵CCD工业相机；所述光源方面，在瓶身、瓶颈部位主要采用条形光源，瓶底和瓶口部位主要采用环形光源。
所述步骤（2）中：
①所述训练集、验证集和测试集是将玻璃容器图像数据集B按照6:2:2的比例划分。
②所述对玻璃容器图像数据集B进行标注，是采用矩形框对玻璃容器的瓶身、瓶颈、瓶底和瓶口部位的图像进行标注，并为每种缺陷赋予相应的标签序号，形成玻璃容器缺陷检测数据集；
具体地，使用Labelimg软件对玻璃容器的瓶身、瓶颈、瓶底和瓶口部位的图像使用矩形框框定标注，并赋予瓶口检测部位的双口缺陷的标签序号为0，赋予瓶口检测部位的破口缺陷的标签序号为1，赋予瓶口检测部位的口面气泡缺陷的标签序号为2，赋予瓶口检测部位的口不足缺陷的标签序号为3，赋予瓶口检测部位的麻点缺陷的标签序号为4，赋予瓶口检测部位的剪刀印缺陷的标签序号为5，赋予瓶底检测部位的瓶底气泡缺陷的标签序号为6，赋予瓶底检测部位的瓶底结石缺陷的标签序号为7，赋予瓶底检测部位的瓶底裂纹缺陷的标签序号为8，赋予瓶底检测部位的瓶底油污缺陷的标签序号为9，赋予瓶身和瓶颈检测部位的气泡缺陷的标签序号为10，赋予瓶身和瓶颈检测部位的结石缺陷的标签序号为11，赋予瓶身和瓶颈检测部位的油污缺陷的标签序号为12，赋予瓶身和瓶颈检测部位的死料缺陷的标签序号为13。
所述步骤（3）中：
所述玻璃容器缺陷检测模型，利用训练集和验证集得到，具体过程是：
将训练集中的第i个玻璃容器的j图像输入到第一至第五容器缺陷特征提取组，输出得到特征图集/>；将特征图/>、/>、/>输入到容器特征冲突预过滤模块，输出得到特征图/>；然后将特征图/>、/>和/>输入到容器特征融合模块，输出得到特征图集/>；将特征图集/>输入到容器缺陷检测单元中，输出得到最终特征f，最终特征f包含玻璃容器缺陷的类别、置信度和预测框的坐标信息；利用最终特征f计算总损失/>，并通过优化器对玻璃容器缺陷检测模型进行梯度优化。所述总损失/>是置信度损失/>、分类损失/>、框回归损失/>的加和；置信度损失/>和分类损失/>分别采用二元交叉熵损失函数进行计算，并继续采用Focal Loss进一步平衡损失受到的样本影响；框回归损失/>采用容器缺陷IoU损失；容器缺陷IoU损失定义如下：
。
其中，IoU是预测方框和真实方框的交并比，采用的CIoU中的中心点损失和宽高比损失。
其中，f定义如下：
，
其中，b定义如下：
，
其中，C表示覆盖真实区域和预测区域的最小封闭区域，tanh为tanh函数，w、h、wgt和 hgt分别代表预测方框的高度和宽度，以及真实方框的高度和宽度。
所述缺陷特征提取组一由卷积组和特征提取组构成，卷积组由卷积核大小为3×3的卷积层、批量归一化层、ReLU激活函数构成；特征提取组由卷积组和卷积注意组构成，卷积组由卷积核大小为1×1的卷积层、批量归一化层、ReLU激活函数构成，卷积注意组由卷积核大小为3×3的卷积层、批量归一化层、通道注意力层和ReLU激活函数构成。
所述注意力监督调整模块，通过对玻璃容器图像的全局缺陷特征进行把控，实现对玻璃容器缺陷特征的监督调整；所述全局缺陷特征进行把控，是通过全局平均池化和一维卷积进行串联实现的。所述全局缺陷特征进行把控的具体过程是：
将训练集中的第i个玻璃容器的j图像输入到第一个监督调整模块，图像/>输入到全局平均池化层，输出特征图/>，特征图/>输入到一维卷积，输出特征图/>，特征图分别经过两层MLP层，输出特征图/>和/>，特征图/>经过Sigmoid激活后，输出特征图，图像/>分别与特征图/>和特征图/>相乘，输出特征图/>和特征图/>；特征图/>经过卷积核大小为1×1的卷积层，输出特征图/>。特征图/>和特征图/>相加后，输出特征图/>。完成注意力监督调整过程；特征图/>经过第一容器缺陷特征提取组的卷积组和特征提取组后输出特征图/>；相同的，/>输入到第二个监督调整模块和第一容器缺陷特征提取组，经过上述操作后输出特征图/>；/>，/>和/>以同样的方式求得。
所述第三、第四和第五缺陷特征提取组将容器特征三至五同时输入到容器特征冲突预过滤模块，输出预过滤后的容器预过滤特征一的过程如下所述：
在容器特征三中引入坐标注意力机制以帮助容器特征三更好地关注空间信息，输出特征图/>，将深层的容器特征五特征图/>与容器特征四特征图/>进行加和操作，输出特征图/>；同时，将浅层的容器特征三特征图/>与容器特征四特征图/>进行加和操作，输出特征图/>，通过这一过程预先过滤冲突，然后将这两个阶段的特征图/>和拼接在一起，输出特征图/>；使用轻量化的残差提取结构进一步优化整合后的特征图，输出特征图/>；将得到的特征图/>与特征图/>进一步融合得到预过滤特征一/>。
第二方面，提出的基于注意力监督调整的玻璃容器缺陷检测***，执行第一方面提出的基于注意力监督调整的玻璃容器缺陷检测方法，包括：
玻璃容器图像采集模块，用于采集玻璃容器的瓶身、瓶颈、瓶口和瓶底图像；
玻璃容器缺陷检测模块，将玻璃容器图像输入到训练好的玻璃容器缺陷检测模型中，输出缺陷检测结果。所述玻璃容器缺陷检测模型前面已经叙述，在此不再赘述。
第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成基于注意力监督调整的玻璃容器缺陷检测方法所述的步骤。
第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成基于注意力监督调整的玻璃容器缺陷检测方法所述的步骤。
与现有技术相比，本发明的有益效果为：
1.本发明通过将多个容器特征同时送入一种容器特征冲突预过滤模块，从而得到来自多个路径和多个尺度的容器缺陷特征，最终输出一个预过滤容器特征，该特征保留了更多细节的缺陷特征信息，提高了玻璃容器缺陷检测的准确率，且具有较高的鲁棒性。
2.本发明基于注意力的监督调整模块，通过对容器缺陷特征提取组进行监督调整来减少下采样操作中的信息损失，从而进一步提高玻璃容器的缺陷检测性能。
附图说明
图1是本发明基于注意力监督调整的玻璃容器缺陷检测方法的流程图。
图2是本发明中玻璃容器缺陷检测模型的结构图。
图3是本发明中注意力监督调整模块的结构图。
图4是本发明中容器特征冲突预过滤模块的结构图。
具体实施方式
为了提高玻璃容器缺陷检测的准确性，本发明公开的基于注意力监督调整的玻璃容器缺陷检测方法，如图1所示，具体包括以下步骤。
S1：采集玻璃容器瓶身、瓶颈、瓶底和瓶口图像，得到玻璃容器图像数据集B，，/>为第一个玻璃容器的瓶身图像，/>为第i个玻璃容器的j图像,/>,/>，当j为1时表示瓶身，j为2时表示瓶颈，j为3时表示瓶底，j为4时表示瓶口。
S2：对玻璃容器图像数据集B进行标注，得到图像数据集中缺陷的真实方框，并划分成训练集、验证集和测试集。
S3：搭建玻璃容器缺陷检测模型。
S4：利用训练集和验证集得到可部署使用的玻璃容器缺陷检测模型。将训练集中的第i个玻璃容器的j图像输入到第一至第五容器缺陷特征提取组，输出得到特征图集，将特征图/>、/>、/>输入到容器特征冲突预过滤模块，输出得到特征图/>，然后将特征图/>、/>和/>输入到容器特征融合模块，输出得到特征图集/>，将特征图集/>输入到容器缺陷检测单元中，输出得到最终特征f，最终特征f包含玻璃容器缺陷的类别、置信度和预测框的坐标信息。利用最终特征f计算总损失/>，并通过优化器对玻璃容器缺陷检测模型进行梯度优化。
S5：对玻璃容器缺陷检测模型进行部署，利用测试集和实际产线对缺陷检测***进行测试。
缺陷检测***包括玻璃容器图像采集模块和玻璃容器缺陷检测模块，是将基于注意力监督调整的玻璃容器缺陷检测方法进行调用，从而进行缺陷检测。
以下对上述各个步骤详细说明。
一．步骤S1，采集玻璃容器瓶身、瓶颈、瓶底和瓶口图像，得到玻璃容器图像数据集B。
S1-1：玻璃容器经过质检设备，质检设备上的工业相机、镜头、光源和图像采集卡对玻璃容器进行瓶身、瓶颈、瓶底和瓶口全方位的图像采集，拍摄的图像根据拍摄部位的不同而具有不同的分辨率，瓶身部位可为444×840，瓶颈部位可为800×1100。
S1-2：其中，工业相机选择采用CCD工业相机，CCD工业相机采用面阵CCD工业相机；光源方面，在瓶身、瓶颈部位主要采用条形光源，瓶底和瓶口部位主要采用环形光源。
二．步骤S2，对玻璃容器图像数据集B进行标注，得到图像数据集中缺陷的真实方框，并划分成训练集、验证集和测试集。
S2-1：按照6:2:2的比例将玻璃容器检测数据集划分为训练集、验证集和测试集。
S2-2：采用矩形框对玻璃容器的瓶身、瓶颈、瓶底和瓶口部位的图像进行标注，并为每种缺陷赋予相应的标签序号，形成玻璃容器缺陷检测数据集。
S2-3：具体的，使用Labelimg软件对玻璃容器的瓶身、瓶颈、瓶底和瓶口部位的图像使用矩形框框定标注，并赋予瓶口检测部位的双口缺陷的标签序号为0，赋予瓶口检测部位的破口缺陷的标签序号为1，赋予瓶口检测部位的口面气泡缺陷的标签序号为2，赋予瓶口检测部位的口不足缺陷的标签序号为3，赋予瓶口检测部位的麻点缺陷的标签序号为4，赋予瓶口检测部位的剪刀印缺陷的标签序号为5，赋予瓶底检测部位的瓶底气泡缺陷的标签序号为6，赋予瓶底检测部位的瓶底结石缺陷的标签序号为7，赋予瓶底检测部位的瓶底裂纹缺陷的标签序号为8，赋予瓶底检测部位的瓶底油污缺陷的标签序号为9，赋予瓶身和瓶颈检测部位的气泡缺陷的标签序号为10，赋予瓶身和瓶颈检测部位的结石缺陷的标签序号为11，赋予瓶身和瓶颈检测部位的油污缺陷的标签序号为12，赋予瓶身和瓶颈检测部位的死料缺陷的标签序号为13。
三．步骤S3，搭建玻璃容器缺陷检测模型。
S3-1：如图2所示，玻璃容器缺陷检测模型包括多个顺序连接的容器缺陷特征提取组、注意力监督调整模块、容器特征冲突预过滤模块、容器特征融合模块和容器缺陷检测单元。
S3-2：具体的，第一至第五容器缺陷特征提取组顺序连接分别得到容器特征一至五，注意力监督调整模块对每一个容器缺陷特征提取组进行监督调整；第三、第四和第五容器缺陷特征提取组将容器特征三至五同时输入到容器特征冲突预过滤模块，输出预过滤后的容器预过滤特征一；容器特征四、五和容器预过滤特征一同时输入到容器特征融合模块，得到容器融合特征一和容器融合特征二；最终，容器融合特征一和二同时输入到容器缺陷检测单元，输出玻璃容器缺陷检测结果。
S3-3：容器缺陷特征提取组包括五个依次连接的缺陷特征提取组，分别为缺陷特征提取组一、缺陷特征提取组二、缺陷特征提取组三、缺陷特征提取组四和缺陷特征提取组五，注意力监督调整模块则对每一个容器缺陷特征提取组进行监督调整。具体的，缺陷特征提取组一由卷积组和特征提取组构成。卷积组由卷积核大小为3×3的卷积层、批量归一化层、ReLU激活函数构成。特征提取组由卷积组和卷积注意组构成，卷积组由卷积核大小为1×1的卷积层、批量归一化层、ReLU激活函数构成，卷积注意组由卷积核大小为3×3的卷积层、批量归一化层、通道注意力层和ReLU激活函数构成。
S3-4：注意力监督调整模块如图3所示，监督调整机制通过对玻璃容器图像的全局缺陷特征进行把控，实现对玻璃容器缺陷特征的监督调整。
S3-5：其中，注意力监督调整模块的全局把控是通过全局平均池化和一维卷积进行串联实现的。将训练集中的第i个玻璃容器的j图像输入到第一个监督调整模块，图像输入到全局平均池化层，输出特征图/>，特征图/>输入到一维卷积，输出特征图/>，特征图/>分别经过两层MLP层，输出特征图/>和/>，特征图/>经过Sigmoid激活后，输出特征图/>，图像/>分别与特征图/>和特征图/>相乘，输出特征图/>和特征图/>，特征图/>经过卷积核大小为1×1的卷积层，输出特征图/>，特征图/>和特征图/>相加后，输出特征图/>，完成注意力监督调整过程，特征图/>经过第一容器缺陷特征提取组的卷积组和特征提取组后输出特征图/>，相同的，/>输入到第二个监督调整模块和第一容器缺陷特征提取组，经过上述操作后输出特征图/>，/>，/>和/>以同样的方式求得。
S3-6：容器特征冲突预过滤模块，如图4所示，深层的容器特征五有更多的通道，浅层的容器特征三有更高的分辨率。首先，在容器特征三中引入坐标注意力机制以帮助容器特征三更好地关注空间信息，输出特征图/>，每一层的特征都有不同的语义深度，直接用拼接等方法进行融合会造成特征错位的问题，将深层的容器特征五特征图/>与容器特征四特征图/>进行加和操作，输出特征图/>，同时，将浅层的容器特征三特征图/>与容器特征四特征图/>进行加和操作，输出特征图/>，通过这一过程预先过滤冲突，然后将这两个阶段的特征图/>和/>拼接在一起，输出特征图/>，最后，使用轻量化的残差提取结构进一步优化整合后的特征图/>，输出特征图/>，最后，将得到的特征图/>与特征图/>进一步融合得到预过滤特征一/>。
S3-7：将特征图、/>和/>输入到容器特征融合模块，输出得到特征图集，将特征图集/>输入到容器缺陷检测单元中，输出得到最终特征f，最终特征f包含玻璃容器缺陷的类别、置信度和预测框的坐标信息。
四．步骤S4，利用训练集和验证集得到可部署使用的玻璃容器缺陷检测模型。
S4-1：玻璃容器缺陷检测模型的损失是置信度损失/>、分类损失/>、框回归损失/>的加和。
S4-2：置信度损失和分类损失/>分别采用二元交叉熵损失函数进行计算，并继续采用Focal Loss进一步平衡损失受到的样本影响；框回归损失/>采用容器缺陷IoU损失。
S4-3：其中，容器缺陷IoU损失定义如下：
。
其中，IoU是预测方框和真实方框的交并比，采用的CIoU中的中心点损失和宽高比损失。
其中，f定义如下：
。
其中，b定义如下：
。
其中，C表示覆盖真实区域和预测区域的最小封闭区域，tanh为tanh函数，w、h、wgt和 hgt分别代表预测方框的高度和宽度，以及真实方框的高度和宽度。
S4-4：在训练和验证过程中，采用SGD优化器对玻璃容器缺陷检测模型进行梯度优化。
实现上述基于注意力监督调整的玻璃容器缺陷检测方法的玻璃容器缺陷检测***，包括：
1.玻璃容器图像采集模块，用于采集玻璃容器的瓶身、瓶颈、瓶口和瓶底图像；
2.玻璃容器缺陷检测模块，将玻璃容器图像输入到训练好的玻璃容器缺陷检测模型中，输出缺陷检测结果。所述玻璃容器缺陷检测模型前面已经叙述，在此不再赘述。
本发明还提出一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成基于注意力监督调整的玻璃容器缺陷检测方法所述的步骤。
本发明也提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成基于注意力监督调整的玻璃容器缺陷检测方法所述的步骤。

Claims (8)

1.一种基于注意力监督调整的玻璃容器缺陷检测方法，其特征是，包括以下步骤：
(1)获取玻璃容器瓶身、瓶颈、瓶口和瓶底的图像，得到玻璃容器图像数据集B；
所述玻璃容器图像数据集B＝{B11,B12,B13,…,Bij,…,BN4}，B11为第一个玻璃容器的瓶身图像，Bij为第i个玻璃容器的j图像,i∈{1,2,3,…,N},j∈{1,2,3,4}，当j为1时表示瓶身，j为2时表示瓶颈，j为3时表示瓶底，j为4时表示瓶口；
(2)对玻璃容器图像数据集B进行标注，得到图像数据集中缺陷的真实方框，并划分成训练集、验证集和测试集；
(3)搭建玻璃容器缺陷检测模型；
所述玻璃容器缺陷检测模型，包括容器缺陷特征提取组、注意力监督调整模块、容器特征冲突预过滤模块、容器特征融合模块和容器缺陷检测单元；容器缺陷特征提取组包括五个依次连接的缺陷特征提取组，分别为缺陷特征提取组一、缺陷特征提取组二、缺陷特征提取组三、缺陷特征提取组四和缺陷特征提取组五，第一至第五缺陷特征提取组顺序连接分别得到容器特征一至五，注意力监督调整模块对每一个缺陷特征提取组进行监督调整；第三、第四和第五缺陷特征提取组将容器特征三至五同时输入到容器特征冲突预过滤模块，输出预过滤后的容器预过滤特征一；容器特征四、容器特征五和容器预过滤特征一同时输入到容器特征融合模块，得到容器融合特征一和容器融合特征二；最终，容器融合特征一和二同时输入到容器缺陷检测单元，输出玻璃容器缺陷检测结果；
所述注意力监督调整模块，通过对玻璃容器图像的全局缺陷特征进行把控，实现对玻璃容器缺陷特征的监督调整；所述全局缺陷特征进行把控，是通过全局平均池化和一维卷积进行串联实现的；所述全局缺陷特征进行把控的具体过程是：
将训练集中的第i个玻璃容器的j图像Bij输入到第一个监督调整模块，图像Bij输入到全局平均池化层，输出特征图特征图/>输入到一维卷积，输出特征图/>特征图/>分别经过两层MLP层，输出特征图/>和/>特征图/>经过Sigmoid激活后，输出特征图/>图像Bij分别与特征图/>和特征图/>相乘，输出特征图/>和特征图/>特征图/>经过卷积核大小为1×1的卷积层，输出特征图/>特征图/>和特征图/>相加后，输出特征图/>完成注意力监督调整过程；特征图/>经过第一容器缺陷特征提取组的卷积组和特征提取组后输出特征图/>相同的，/>输入到第二个监督调整模块和第一容器缺陷特征提取组，经过上述操作后输出特征图/> 和/>以同样的方式求得；
所述第三、第四和第五缺陷特征提取组将容器特征三至五同时输入到容器特征冲突预过滤模块，输出预过滤后的容器预过滤特征一的过程如下所述：
在容器特征三中引入坐标注意力机制以帮助容器特征三更好地关注空间信息，输出特征图/>将深层的容器特征五特征图/>与容器特征四特征图/>进行加和操作，输出特征图/>同时，将浅层的容器特征三特征图/>与容器特征四特征图/>进行加和操作，输出特征图/>通过这一过程预先过滤冲突，然后将这两个阶段的特征图/>和/>拼接在一起，输出特征图/>使用轻量化的残差提取结构进一步优化整合后的特征图/>输出特征图将得到的特征图/>与特征图/>进一步融合得到预过滤特征一Pij；
(4)将玻璃容器图像输入到训练好的玻璃容器缺陷检测模型中，输出缺陷检测结果。
2.根据权利要求1所述的基于注意力监督调整的玻璃容器缺陷检测方法，其特征是，所述步骤(2)中的所述训练集、验证集和测试集是将玻璃容器图像数据集B按照6:2:2的比例划分。
3.根据权利要求1所述的基于注意力监督调整的玻璃容器缺陷检测方法，其特征是，所述步骤(2)中的所述对玻璃容器图像数据集B进行标注，是采用矩形框对玻璃容器的瓶身、瓶颈、瓶底和瓶口部位的图像进行标注，并为每种缺陷赋予相应的标签序号，形成玻璃容器缺陷检测数据集。
4.根据权利要求3所述的基于注意力监督调整的玻璃容器缺陷检测方法，其特征是，所述采用矩形框对玻璃容器的瓶身、瓶颈、瓶底和瓶口部位的图像进行标注的具体过程是：
使用Labelimg软件对玻璃容器的瓶身、瓶颈、瓶底和瓶口部位的图像使用矩形框框定标注，并赋予瓶口检测部位的双口缺陷的标签序号为0，赋予瓶口检测部位的破口缺陷的标签序号为1，赋予瓶口检测部位的口面气泡缺陷的标签序号为2，赋予瓶口检测部位的口不足缺陷的标签序号为3，赋予瓶口检测部位的麻点缺陷的标签序号为4，赋予瓶口检测部位的剪刀印缺陷的标签序号为5，赋予瓶底检测部位的瓶底气泡缺陷的标签序号为6，赋予瓶底检测部位的瓶底结石缺陷的标签序号为7，赋予瓶底检测部位的瓶底裂纹缺陷的标签序号为8，赋予瓶底检测部位的瓶底油污缺陷的标签序号为9，赋予瓶身和瓶颈检测部位的气泡缺陷的标签序号为10，赋予瓶身和瓶颈检测部位的结石缺陷的标签序号为11，赋予瓶身和瓶颈检测部位的油污缺陷的标签序号为12，赋予瓶身和瓶颈检测部位的死料缺陷的标签序号为13。
5.根据权利要求1所述的基于注意力监督调整的玻璃容器缺陷检测方法，其特征是，所述步骤(3)中所述玻璃容器缺陷检测模型是利用训练集和验证集得到，具体过程是：
将训练集中的第i个玻璃容器的j图像Bij输入到第一至第五容器缺陷特征提取组，输出得到特征图集将特征图/>输入到容器特征冲突预过滤模块，输出得到特征图Pij；然后将特征图/>和Pij输入到容器特征融合模块，输出得到特征图集/>将特征图集Aij输入到容器缺陷检测单元中，输出得到最终特征f，最终特征f包含玻璃容器缺陷的类别、置信度和预测框的坐标信息；利用最终特征f计算总损失Ltotal，并通过优化器对玻璃容器缺陷检测模型进行梯度优化。
6.根据权利要求5所述的基于注意力监督调整的玻璃容器缺陷检测方法，其特征是，所述总损失Ltotal是置信度损失Lcon、分类损失Lcla、框回归损失Lreg的加和；置信度损失Lcon和分类损失Lcla分别采用二元交叉熵损失函数进行计算，并继续采用Focal Loss进一步平衡损失受到的样本影响；框回归损失Lreg采用容器缺陷IoU损失；容器缺陷IoU损失定义如下：
其中，IoU是预测方框和真实方框的交并比，采用的CIoU中的中心点损失和宽高比损失；
其中，f定义如下：
其中，b定义如下：
其中，C表示覆盖真实区域和预测区域的最小封闭区域，tanh为tanh函数，w、h、wgt和hgt分别代表预测方框的高度和宽度，以及真实方框的高度和宽度。
7.根据权利要求1所述的基于注意力监督调整的玻璃容器缺陷检测方法，其特征是，所述缺陷特征提取组一由卷积组和特征提取组构成，卷积组由卷积核大小为3×3的卷积层、批量归一化层、ReLU激活函数构成；特征提取组由卷积组和卷积注意组构成，卷积组由卷积核大小为1×1的卷积层、批量归一化层、ReLU激活函数构成，卷积注意组由卷积核大小为3×3的卷积层、批量归一化层、通道注意力层和ReLU激活函数构成。
8.一种基于注意力监督调整的玻璃容器缺陷检测***，用于执行权利要求1-7任一项所述的基于注意力监督调整的玻璃容器缺陷检测方法，其特征是，包括：
玻璃容器图像采集模块，用于采集玻璃容器的瓶身、瓶颈、瓶口和瓶底图像；
玻璃容器缺陷检测模块，将玻璃容器图像输入到训练好的玻璃容器缺陷检测模型中，输出缺陷检测结果。
CN202410338088.1A 2024-03-25 2024-03-25 基于注意力监督调整的玻璃容器缺陷检测方法及*** Active CN117934980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410338088.1A CN117934980B (zh) 2024-03-25 2024-03-25 基于注意力监督调整的玻璃容器缺陷检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410338088.1A CN117934980B (zh) 2024-03-25 2024-03-25 基于注意力监督调整的玻璃容器缺陷检测方法及***

Publications (2)

Publication Number Publication Date
CN117934980A CN117934980A (zh) 2024-04-26
CN117934980B true CN117934980B (zh) 2024-05-31

Family

ID=90768682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410338088.1A Active CN117934980B (zh) 2024-03-25 2024-03-25 基于注意力监督调整的玻璃容器缺陷检测方法及***

Country Status (1)

Country Link
CN (1) CN117934980B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118209492A (zh) * 2024-05-22 2024-06-18 沭阳华新玻璃科技股份有限公司 一种玻璃缺陷视觉检测装置及其检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092389A (zh) * 2021-09-13 2022-02-25 浙江大学 一种基于小样本学习的玻璃面板表面缺陷检测方法
CN115311504A (zh) * 2022-10-10 2022-11-08 之江实验室 一种基于注意力重定位的弱监督定位方法和装置
CN115496752A (zh) * 2022-11-16 2022-12-20 齐鲁工业大学 一种基于一阶段目标检测算法的钢材表面缺陷检测方法
CN115880298A (zh) * 2023-03-02 2023-03-31 湖南大学 一种基于无监督预训练的玻璃表面缺陷检测方法及***
WO2023070911A1 (zh) * 2021-10-27 2023-05-04 西安工程大学 一种基于自注意力的彩色纹理织物缺陷区域的检测方法
CN116721071A (zh) * 2023-06-05 2023-09-08 南京邮电大学 一种基于弱监督的工业产品表面缺陷检测方法及装置
CN116994047A (zh) * 2023-08-01 2023-11-03 北京工商大学 一种基于自监督预训练的小样本图像缺陷目标检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092389A (zh) * 2021-09-13 2022-02-25 浙江大学 一种基于小样本学习的玻璃面板表面缺陷检测方法
WO2023070911A1 (zh) * 2021-10-27 2023-05-04 西安工程大学 一种基于自注意力的彩色纹理织物缺陷区域的检测方法
CN115311504A (zh) * 2022-10-10 2022-11-08 之江实验室 一种基于注意力重定位的弱监督定位方法和装置
CN115496752A (zh) * 2022-11-16 2022-12-20 齐鲁工业大学 一种基于一阶段目标检测算法的钢材表面缺陷检测方法
CN115880298A (zh) * 2023-03-02 2023-03-31 湖南大学 一种基于无监督预训练的玻璃表面缺陷检测方法及***
CN116721071A (zh) * 2023-06-05 2023-09-08 南京邮电大学 一种基于弱监督的工业产品表面缺陷检测方法及装置
CN116994047A (zh) * 2023-08-01 2023-11-03 北京工商大学 一种基于自监督预训练的小样本图像缺陷目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Liu, ZF等.A context-aware progressive attention aggregation network for fabric defect detection.《arxiv》.2023,全文. *
谢源 ; 苗玉彬 ; 许凤麟 ; 张铭 ; .基于半监督深度卷积生成对抗网络的注塑瓶表面缺陷检测模型.计算机科学.2020,(07),全文. *

Also Published As

Publication number Publication date
CN117934980A (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN117934980B (zh) 基于注意力监督调整的玻璃容器缺陷检测方法及***
CN111598861B (zh) 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN113221889B (zh) 一种芯片字符抗干扰识别方法及装置
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN113838044A (zh) 基于机器视觉的面板缺陷检测方法及***
CN114120317B (zh) 基于深度学习和图像处理的光学元件表面损伤识别方法
CN115049619B (zh) 一种针对复杂场景的高效瑕疵检测方法
CN110929795A (zh) 高速焊线机焊点快速识别与定位方法
CN115546565A (zh) 基于yolocbf电厂关键区域管道油液泄漏检测方法
CN115035082B (zh) 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法
CN113240647A (zh) 一种基于深度学习的手机外壳后盖缺陷检测方法和***
CN113393438A (zh) 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN114494250A (zh) 基于神经网络模型的地板缺陷检测方法
CN114662605A (zh) 基于改进的YOLOv5模型的火焰检测方法
CN114511532A (zh) 基于特征引导的通道蒸馏的太阳能电池表面缺陷检测方法
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及***
CN117132584B (zh) 一种基于深度学习的液晶显示屏瑕疵检测方法及装置
CN117541568A (zh) 一种基于深度学习的汽车刹车盘表面缺陷检测方法
CN116994130A (zh) 一种基于知识蒸馏的高精度轻量化桥梁裂缝识别方法
CN116402753A (zh) 一种基于改进的YOLOv5的钢材缺陷检测方法
CN115082650A (zh) 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法
CN113538389B (zh) 一种鸽蛋品质识别方法
CN113256576A (zh) 基于偏振成像和机器学习的光学元件自动检测***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant