CN115439458A - 基于深度图注意力的工业图像缺陷目标检测算法 - Google Patents

基于深度图注意力的工业图像缺陷目标检测算法 Download PDF

Info

Publication number
CN115439458A
CN115439458A CN202211147850.5A CN202211147850A CN115439458A CN 115439458 A CN115439458 A CN 115439458A CN 202211147850 A CN202211147850 A CN 202211147850A CN 115439458 A CN115439458 A CN 115439458A
Authority
CN
China
Prior art keywords
image
target detection
depth map
target
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211147850.5A
Other languages
English (en)
Inventor
都卫东
张鹏
杨飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Focusight Technology Co Ltd
Original Assignee
Focusight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Focusight Technology Co Ltd filed Critical Focusight Technology Co Ltd
Priority to CN202211147850.5A priority Critical patent/CN115439458A/zh
Publication of CN115439458A publication Critical patent/CN115439458A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度图注意力的工业图像缺陷目标检测算法，包括以下步骤，S1、收集彩色RGB图像和对应的深度图像；S2、对采集到的彩色RGB图像进行目标框标注，生成标注文件；S3、获得深度图的距离信息图；S4、划分训练集和验证集，再分别进行数据增广操作；S5、利用划分好的数据集训练所优化后的深度注意力YOLOX目标检测网络；S6、利用训练好的模型实现工业缺陷目标检测。本发明将传统算法提取深度图获得距离信息图与深度学习提取RGB特征图进行融合，具有推理速度快，目标分类精度高，目标框置信度高位置准确等特点；能够有效提高缺陷目标检测准确率，提高生产线效率。

Description

基于深度图注意力的工业图像缺陷目标检测算法
技术领域
本发明涉及图像视觉检测技术领域，尤其是一种基于深度图注意力的工业图像缺陷目标检测算法。
背景技术
随着科学技术的发展，工业生产也逐渐步入智能化时代。工业智能化所需的智能设备和生产的产品，往往都需要去检测器完整性和功能性。以前常常通过人工来对工业零件进行质量评估，这不仅需要大量的劳动力，而且包含很多的主观性影响其客观结果。同一工件也存在多种多样的缺陷，缺陷形态也多种多样，长时间保质保量的缺陷检测对于检测人员来说，也是一种巨大的考研。因此，如何快速准确对工业零件表面进行缺陷目标识别获得了业内极大地关注。
近年来，目标检测技术取得了重大的进展。传统的目标检测方法主要通过阈值分割，边缘检测，曲线拟合等技术手段来找寻缺陷目标。随着深度学习的蓬勃发展，很多科研人员也使用深度学习来实现目标检测问题。近几年，目标检测方法也出现了许多，大致可以分为one stage方法和two stage方法两种类别。one stage方法直接回归物体的类别概率和位置坐标值，速度较快，常使用的模型主要包括：YOLO系列，SSD系列。Two stage方法先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类，常使用的模型主要包括：RCNN，Fast_RCNN，Faster_RCNN以及其他后续优化模型。
但是，传统目标检测算法的准确度低，抗干扰能力弱，不常被使用在工业缺陷目标检测领域。基于深度学习的目标检测算法，准确率能有较大提升。但Two Stage方法由于需要生成诸多候选框，会严重影响检测时间，不能满足工业环境实时监测的需求。而OneStage方法直接拟合缺陷目标类别以及位置信息，速度快精准率高，获得了工业表明缺陷目标检测的青睐。不过，工件表面缺陷的形态多种多样，大小也相距胜远，因此现有的目标检测算法尚不能满足细小缺陷的检测任务。
发明内容
本发明要解决的技术问题是：提供一种基于深度图注意力的工业图像缺陷目标检测算法，按照工业零件的质量检测要求，通过3D相机获取工件彩色RGB图像和深度图像，在图像上进行实时的表面缺陷目标检测，以区分正常样本和缺陷样本；具有推理速度快，目标分类精度高，目标框置信度高位置准确等特点；能够有效提高缺陷目标检测准确率，提高生产线效率。
本发明解决其技术问题所采用的技术方案是：一种基于深度图注意力的工业图像缺陷目标检测算法，包括以下步骤，
S1、通过3D相机，在固定工位上对工业零件进行拍照采集，收集彩色RGB图像和对应的深度图像；
S2、使用标注工具对采集到的彩色RGB图像进行目标框标注，生成标注文件；
S3、对采集到的深度图像进行去噪、滤波操作，去除噪声干扰；然后通过阈值分割，将异于背景的部分分割出来，对背景赋小值，前景赋大值；通过归一化操作获得（0,1）区间的距离信息图，用于后续对特征进行加权；
S4、将彩色RGB图像、目标框标注文件和对应的距离信息图进行收集，按照设定的比例划分训练集和验证集，再对划分好的数据集分别进行数据增广操作；
S5、利用划分好的数据集训练所优化后的深度注意力YOLOX目标检测网络；
S6、采集待检测工件的彩色RGB图像和对应的深度图像，经预处理后送入训练好的模型中，实现工业缺陷目标检测的识别。
进一步的说，本发明所述的步骤S2中，对采集到的彩色RGB图像进行标注，获得不同缺陷的目标检测框，检测框包含缺陷类别属性。
进一步的说，本发明所述的步骤S4中，包括以下步骤，
S401：将处理深度图获得的距离信息图像与其对应的彩色RGB图像作为组合，标签以labelme的标签形式进行存储，一起制作数据集，并按照8:2的比例随机划分为训练集和验证集；
S402：对训练集和验证进行数据增广操作；将调整大小后得到的彩色RGB图像，通过旋转、翻转、随机噪声和/或颜色变换的数据增强操作来扩充数据集；当图像在旋转和翻转操作时，对应的距离信息图像也进行相同的操作；当图像进行随机噪声和颜色变换操作时，对应的距离信息图像不发生改变。
进一步的说，本发明所述的步骤S5中，YOLOX目标检测网络包括多模态特征提取模块、尺度特征融合模块以及预测模块三个模块；网络的输入为彩色RGB图像和距离信息图。
再进一步的说，本发明所述的多模态特征提取模块进行特征提取对输入图像进行特征提取；多模态特征提取模块的输出特征由RGB提取的特征信息与距离信息图进行加权获得，此时距离信息图会下采样到特征维度大小。
再进一步的说，本发明所述的尺度特征融合模块对多模态特征提取模块提取到的彩色RGB数据和深度图信息的三个特征数据X0、X1、X2进行多尺度的特征融合；具体为，X0特征进行上采样操作提高分辨率，然后与X1，X2特征进行特征融合，获得输出特征O2；输出特征O2进行下采样与X1特征进行特征融合，获得输出特征O1；输出特征O1特征下采样并与X0进行特征融合获得输出特征O0。
再进一步的说，本发明所述的预测模块对3个输出特征O0，O1，O2进行目标检测；先通过卷积模块进行进一步的特征提取，然后通过解耦将目标检测任务分解为分类任务和回归任务；其中分类任务将分类目标输入到具体缺陷目标类别，回归任务有两个输出目标，分别为前景背景输出和目标框输出；3个不同维度的输出特征会得到3个目标检测输出，再通过维度变化和拼接操作得到最终的输出结果。
进一步的说，本发明所述的步骤S5中，采用损失函数
Figure 513224DEST_PATH_IMAGE001
优化网络；其中
Figure 406094DEST_PATH_IMAGE002
是预测目标的坐标框，
Figure 648856DEST_PATH_IMAGE002
是预测目标是背景还是前景，
Figure 294470DEST_PATH_IMAGE003
是预测目标的类别标签。
本发明的有益效果是，解决了背景技术中存在的缺陷，
1、多模态信息融合，将彩色RGB数据与深度图进行特征融合，能够有效提高目标检测精度；
2、传统算法与深度学习算法相融合，将传统算法提取深度图获得距离信息图与深度学习提取RGB特征图进行融合，让特征更加关注于目标区域，更高效地利用多模态图像的信息，以此提高网络的准确率和目标类别的置信度。
3、基于YOLOX改进的目标检测网络速度快，能满足实时检测的要求。
附图说明
图1是本发明的缺陷目标检测算法流程图。
图2是本发明深度图注意力目标检测网络结构图。
具体实施方式
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1-图2所示的一种基于深度图注意力的工业图像缺陷目标检测算法，通过3D相机，收集工业零件的彩色RGB图像和深度图像数据集，按照工件本身是否包含缺陷以及缺陷类型，在RGB图像上进行目标框的标注，生成标注数据集；然后对深度图像进行传统算法处理，包括：滤波，阈值分割等，通过传统算法将深度图处理为（0,1）区间的距离信息图像；再构建基于YOLOX改进的目标检测网络提取彩色RGB图像的特征，将距离信息图像作为注意力权重对每层特征图像进行加权，帮助网络更好地关注缺陷目标区域；而后根据网络优化目标，通过数据集进行优化训练，获得训练好的网络模型；最后将待检测工件的彩色RGB图像和深度图像送入训练好的模型中，得到缺陷目标检测结果。
具体的，如图1所示，算法包括：
步骤S1：通过3D相机，在固定工位上对工业零件进行拍照采集，收集彩色RGB图像和对应的深度图像。
在步骤S1中，数据集的构建之前，更详细的步骤包括：
步骤S101：根据待检测设备和检测平台所处的环境，选择合适的光源和相机，并调配到最佳状态，收集每一工件的彩色RGB图像和其对应的深度图像。
步骤S2：使用Label-me等标注工具对工业图像进行目标框标注，生成标注文件。
在步骤S2中，更详细的数据标注包括：
步骤S201：采集到的工业图像一般较大，需先对彩色RGB图像和深度图像进行统一的切图操作，获得若干640*640的小图像。然后使用label-me等标注软件对采集到的彩色RGB图像进行标注，获得不同缺陷的目标检测框，检测框包含缺陷类别属性。
步骤S3：对采集到的深度图进行去噪、滤波操作，去除一些噪声干扰。然后通过阈值分割，将异于背景的部分分割出来，对背景赋小值，前景赋大值。通过归一化操作获得（0,1）区间的距离信息图，以便后续对特征进行加权。
在步骤S3中，更详细的深度图数据预处理包括：
步骤S301：首先，对相机采集到的深度图像进行去噪操作和滤波等图像操作，获得较为纯净的图像。
步骤S302：通过阈值分割将异于背景的部分区别出来，通过计算分别赋予背景和前景不同的权重，背景权重小，前景权重大。然后通过归一化将其调整到（0,1）区间成为距离信息图。
步骤S4：将彩色RGB图像、目标框的标注文件和对应的距离信息图进行收集，按照8:2的比例划分训练集和验证集，再对划分好的数据集分别进行数据增广操作。
在步骤S4中，更详细的数据集制作和数据增广操作包括：
步骤S401：将处理深度图获得距离信息图像与其对应的彩色RGB图像作为组合，标签以labelme的标签形式进行存储。一起制作数据集，并按照8:2的比例随机划分为训练集和验证集。
步骤S402：对训练集和验证进行数据增广操作。将调整大小后得到的彩色RGB图像，通过旋转、翻转、随机噪声和颜色变换等数据增强操作来扩充数据集。当图像在旋转和翻转操作时，对应的距离信息图像也进行相同的操作。当图像进行随机噪声和颜色变换等操作时，对应的距离信息图像不发生改变。
步骤S5：利用划分好的数据集训练所优化后的深度注意力YOLOX目标检测网络。
在步骤S5中，更详细的网络训练模块操作包括：
步骤S501：基于YOLOX构建深度注意力网络，所述网络的架构如图2所示。网络主要包含3个模块：多模态特征提取模块，尺度特征融合模块，预测模块，每个模块细节如图2所示。
其中，网络输入为彩色RGB图像（H,W）和距离信息图，通过多模态特征提取模块进行特征提取。值得注意的是，多模态特征提取模块的输出特征X0（H/32,W/32），X1（H/16,W/16），X2（H/8,W/8）都由RGB提取的特征信息与距离信息图进行加权获得，此时距离信息图会下采样到特征维度大小。
步骤S502：针对多模态特征提取模块提取到融合彩色RGB数据和深度图信息的三个特征数据：X0（H/32,W/32），X1（H/16,W/16），X2（H/8,W/8），本发明设计了尺度特征融合模块来进行多尺度的特征融合。
具体来说，X0特征会进行上采用操作提高分辨率，然后与X1，X2特征进行特征融合，获得输出特征O2（H/8,W/8）；O2特征会进行下采样与X1特征进行特征融合，获得输出特征O1（H/16,W/16）；O1特征也会下采样并与X0进行特征融合获得输出特征O0（H/32,W/32）。
步骤S503：针对3个输出特征O0，O1，O2，本发明采用预测模块来进行目标检测。
具体表现为通过卷积模块进行进一步的特征提取，然后通过解耦将目标检测任务分解为分类任务和回归任务。其中分类任务主要分类目标输入哪个缺陷目标，回归任务有两个输出目标，分别为前景背景输出和目标框输出。3个不同维度的输出特征会得到3个目标检测输出，再通过维度变化和拼接操作得到最终的输出结果。
为了优化整个网络，本发明采用以下损失函数优化网络：
Figure 964486DEST_PATH_IMAGE004
其中
Figure 344652DEST_PATH_IMAGE005
，是预测目标的坐标框，
Figure 876258DEST_PATH_IMAGE006
是预测目标是背景还是前景，
Figure 392690DEST_PATH_IMAGE007
是预测目标的类别标签。具体来说
Figure 233607DEST_PATH_IMAGE005
为目标框损失，计算真实框与预测框的交并比，公式如下：
Figure 101069DEST_PATH_IMAGE008
Figure 937832DEST_PATH_IMAGE006
和
Figure 574349DEST_PATH_IMAGE007
均采用交叉熵损失，其公式如下：
Figure 586168DEST_PATH_IMAGE009
由于不同感兴趣区域的大小不同，数据集中的不同感兴趣区域的数据占比就会失衡，不利于双支路网络的学习。故使用加权交叉熵损失函数来优化网络，公式如下：
Figure 160500DEST_PATH_IMAGE010
其中，N为类别数，
Figure 548756DEST_PATH_IMAGE011
代表输入图像的真实标签，
Figure 774201DEST_PATH_IMAGE012
表示网络的预测结果。
步骤S6：采集待检测工件的彩色RGB图像和对应的深度图像，经预处理后送入训练好的模型中，实现工业缺陷目标检测的识别。
在步骤S6中，利用所训练的深度图注意力网络模型对工业图像进行工业缺陷目标检测的详细操作如下：
步骤S601：对工件进行数据采集，收集其彩色RGB图像和对于深度图像，对其进行预处理，将其切分为640*640的小图，提取深度图的距离信息，与RGB图像一起送入训练好的深度图注意力网络，进行工件缺陷目标检测。
本发明提出的基于深度图注意力的工业缺陷目标检测方法，采用多模态信息融合，利用3D摄像头获取工件彩色RGB图像与深度图像，拥有更为丰富精准的信息，两种模态信息的融合，有效的提高检测精度；采用传统算法与深度学习算法相融合，使传统算法处理深度图，获取距离信息图。在深度学习算法提取彩色RGB图像特征时，引入距离信息图作为权重，帮助其更关注于前景部分，能有效提高检测准确率；解耦目标检测任务为分类任务和回归任务，降低网络优化难度和提高优化效率，能够更快地训练处精度更高的模型，节省时间提高准确率。
以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。

Claims (8)

1.一种基于深度图注意力的工业图像缺陷目标检测算法，其特征在于：包括以下步骤，
S1、通过3D相机，在固定工位上对工业零件进行拍照采集，收集彩色RGB图像和对应的深度图像；
S2、使用标注工具对采集到的彩色RGB图像进行目标框标注，生成标注文件；
S3、对采集到的深度图像进行去噪、滤波操作，去除噪声干扰；然后通过阈值分割，将异于背景的部分分割出来，对背景赋小值，前景赋大值；通过归一化操作获得（0,1）区间的距离信息图，用于后续对特征进行加权；
S4、将彩色RGB图像、目标框标注文件和对应的距离信息图进行收集，按照设定的比例划分训练集和验证集，再对划分好的数据集分别进行数据增广操作；
S5、利用划分好的数据集训练所优化后的深度注意力YOLOX目标检测网络；
S6、采集待检测工件的彩色RGB图像和对应的深度图像，经预处理后送入训练好的模型中，实现工业缺陷目标检测的识别。
2.如权利要求1所述的基于深度图注意力的工业图像缺陷目标检测算法，其特征在于：所述的步骤S2中，对采集到的彩色RGB图像进行标注，获得不同缺陷的目标检测框，检测框包含缺陷类别属性。
3.如权利要求1所述的基于深度图注意力的工业图像缺陷目标检测算法，其特征在于：所述的步骤S4中，包括以下步骤，
S401：将处理深度图获得的距离信息图像与其对应的彩色RGB图像作为组合，标签以labelme的标签形式进行存储，一起制作数据集，并按照8:2的比例随机划分为训练集和验证集；
S402：对训练集和验证进行数据增广操作；将调整大小后得到的彩色RGB图像，通过旋转、翻转、随机噪声和/或颜色变换的数据增强操作来扩充数据集；当图像在旋转和翻转操作时，对应的距离信息图像也进行相同的操作；当图像进行随机噪声和颜色变换操作时，对应的距离信息图像不发生改变。
4.如权利要求1所述的基于深度图注意力的工业图像缺陷目标检测算法，其特征在于：所述的步骤S5中，YOLOX目标检测网络包括多模态特征提取模块、尺度特征融合模块以及预测模块三个模块；网络的输入为彩色RGB图像和距离信息图。
5.如权利要求4所述的基于深度图注意力的工业图像缺陷目标检测算法，其特征在于：所述的多模态特征提取模块进行特征提取对输入图像进行特征提取；多模态特征提取模块的输出特征由RGB提取的特征信息与距离信息图进行加权获得，此时距离信息图会下采样到特征维度大小。
6.如权利要求5所述的基于深度图注意力的工业图像缺陷目标检测算法，其特征在于：所述的尺度特征融合模块对多模态特征提取模块提取到的彩色RGB数据和深度图信息的三个特征数据X0、X1、X2进行多尺度的特征融合；具体为，X0特征进行上采样操作提高分辨率，然后与X1，X2特征进行特征融合，获得输出特征O2；输出特征O2进行下采样与X1特征进行特征融合，获得输出特征O1；输出特征O1特征下采样并与X0进行特征融合获得输出特征O0。
7.如权利要求6所述的基于深度图注意力的工业图像缺陷目标检测算法，其特征在于：所述的预测模块对3个输出特征O0，O1，O2进行目标检测；先通过卷积模块进行进一步的特征提取，然后通过解耦将目标检测任务分解为分类任务和回归任务；其中分类任务将分类目标输入到具体缺陷目标类别，回归任务有两个输出目标，分别为前景背景输出和目标框输出；3个不同维度的输出特征会得到3个目标检测输出，再通过维度变化和拼接操作得到最终的输出结果。
8.如权利要求1所述的基于深度图注意力的工业图像缺陷目标检测算法，其特征在于：所述的步骤S5中，采用损失函数
Figure 398072DEST_PATH_IMAGE001
优化网络；其中
Figure 52913DEST_PATH_IMAGE002
是预测目标的坐标框，
Figure 23143DEST_PATH_IMAGE003
是预测目标是背景还是前景，
Figure 564983DEST_PATH_IMAGE004
是预测目标的类别标签。
CN202211147850.5A 2022-09-21 2022-09-21 基于深度图注意力的工业图像缺陷目标检测算法 Pending CN115439458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211147850.5A CN115439458A (zh) 2022-09-21 2022-09-21 基于深度图注意力的工业图像缺陷目标检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211147850.5A CN115439458A (zh) 2022-09-21 2022-09-21 基于深度图注意力的工业图像缺陷目标检测算法

Publications (1)

Publication Number Publication Date
CN115439458A true CN115439458A (zh) 2022-12-06

Family

ID=84248313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211147850.5A Pending CN115439458A (zh) 2022-09-21 2022-09-21 基于深度图注意力的工业图像缺陷目标检测算法

Country Status (1)

Country Link
CN (1) CN115439458A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908988A (zh) * 2023-03-09 2023-04-04 苏州苏映视图像软件科技有限公司 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN116448769A (zh) * 2023-05-10 2023-07-18 南京林业大学 一种多模态信息融合的板材缺陷检测***及其检测方法
CN116664586A (zh) * 2023-08-02 2023-08-29 长沙韶光芯材科技有限公司 一种基于多模态特征融合的玻璃缺陷检测方法及***
CN116721104A (zh) * 2023-08-10 2023-09-08 武汉大学 实景三维模型缺陷检测方法、装置、电子设备及存储介质
CN116991459A (zh) * 2023-08-18 2023-11-03 中南大学 一种软件多缺陷信息预测方法与***
CN117934478A (zh) * 2024-03-22 2024-04-26 腾讯科技（深圳）有限公司 缺陷检测方法、装置、设备及介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908988A (zh) * 2023-03-09 2023-04-04 苏州苏映视图像软件科技有限公司 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN116448769A (zh) * 2023-05-10 2023-07-18 南京林业大学 一种多模态信息融合的板材缺陷检测***及其检测方法
CN116448769B (zh) * 2023-05-10 2024-06-11 南京林业大学 一种多模态信息融合的板材缺陷检测***及其检测方法
CN116664586A (zh) * 2023-08-02 2023-08-29 长沙韶光芯材科技有限公司 一种基于多模态特征融合的玻璃缺陷检测方法及***
CN116664586B (zh) * 2023-08-02 2023-10-03 长沙韶光芯材科技有限公司 一种基于多模态特征融合的玻璃缺陷检测方法及***
CN116721104A (zh) * 2023-08-10 2023-09-08 武汉大学 实景三维模型缺陷检测方法、装置、电子设备及存储介质
CN116721104B (zh) * 2023-08-10 2023-11-07 武汉大学 实景三维模型缺陷检测方法、装置、电子设备及存储介质
CN116991459A (zh) * 2023-08-18 2023-11-03 中南大学 一种软件多缺陷信息预测方法与***
CN116991459B (zh) * 2023-08-18 2024-04-26 中南大学 一种软件多缺陷信息预测方法与***
CN117934478A (zh) * 2024-03-22 2024-04-26 腾讯科技（深圳）有限公司 缺陷检测方法、装置、设备及介质
CN117934478B (zh) * 2024-03-22 2024-06-25 腾讯科技（深圳）有限公司 缺陷检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN113469951B (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN112991269A (zh) 一种肺部ct图像的识别分类方法
CN112232371A (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN115861772A (zh) 基于RetinaNet的多尺度单阶段目标检测方法
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN111753682A (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN111738114A (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN110310305A (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN116630301A (zh) 基于超分辨率和YOLOv8的带钢表面小目标缺陷检测方法及***
CN116385374A (zh) 基于卷积神经网络的细胞计数方法
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN113313678A (zh) 一种基于多尺度特征融合的***形态学自动分析方法
CN106682604B (zh) 一种基于深度学习的模糊图像检测方法
CN113378642A (zh) 一种对农村违法占地建筑物进行检测的方法
CN117475327A (zh) 一种城市中基于遥感图像的多目标检测定位方法和***
CN117197146A (zh) 一种铸件内部缺陷自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination