CN115205275A - 基于深度学习算法的表面缺陷检测方法 - Google Patents

基于深度学习算法的表面缺陷检测方法 Download PDF

Info

Publication number
CN115205275A
CN115205275A CN202210889914.2A CN202210889914A CN115205275A CN 115205275 A CN115205275 A CN 115205275A CN 202210889914 A CN202210889914 A CN 202210889914A CN 115205275 A CN115205275 A CN 115205275A
Authority
CN
China
Prior art keywords
surface defect
defect classification
classification model
deep learning
learning algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210889914.2A
Other languages
English (en)
Inventor
董航程
刘国栋
刘炳国
高卓
黄颖妍
廖敬骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210889914.2A priority Critical patent/CN115205275A/zh
Publication of CN115205275A publication Critical patent/CN115205275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/30—Administration of product recycling or disposal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Sustainable Development (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

基于深度学习算法的表面缺陷检测方法，解决了现有采用深度学习算法进行表面缺陷检测时存在样本不均衡的问题，属于工业生产中检测技术领域。本发明包括：基于深度学习算法建立表面缺陷分类模型，利用初始训练样本集D1对表面缺陷分类模型进行训练；对D1中各类表面缺陷图像样本进行采样，获得均衡图像样本集D2，利用D2继续对表面缺陷分类模型进行训练，训练过程中，冻结表面缺陷分类模型中卷积层的参数，调整全连接层的参数，直至表面缺陷分类模型收敛；利用表面缺陷分类模型对待检测图像样本进行检测，计算弱监督定位信息；并进行阈值分割处理，利用二值化阈值，生成缺陷的位置掩膜，完成表面缺陷检测。

Description

基于深度学习算法的表面缺陷检测方法
技术领域
本发明涉及一种基于深度学习算法的表面缺陷检测方法，属于工业生产中检测技术领域。
背景技术
工业生产流程中，表面缺陷检测技术对产品的品控至关重要，而依靠人工的质量检查费时费力。为了提升生产的自动化水平，往往采用机器视觉方法来进行检测。但是传统机器视觉方法难以适应复杂的生产环境，鲁棒性差，需要针对不同的问题设计不同的针对方案。随着人工智能技术的发展，深度学习技术逐渐被应用于表面缺陷检测领域，展现出更强的性能。
深度学习技术以卷积神经网络、注意力机制模型、transformer等高性能神经网络框架作为基础，在计算机视觉、自然语言处理乃至材料学生物学等领域都展现出惊人的适应性与生命力。
然而实际工业生产环境中，现有的深度学***衡问题，限制了深度学习方法的性能；(3)即使收集到足够数量的样本，仍然需要专业人员甚至相关领域专家来进行样本标注。且任务越复杂(如分割、检测)需要的标注程度越高，这无疑需要高额的时间与人力成本。
综上，要想落地基于深度学习的表面缺陷检测技术，还需要克服样本量少、标注成本高、样本不均衡等关键问题。
发明内容
针对现有采用深度学习算法进行表面缺陷检测时存在样本量少、标注成本高、样本不均衡的问题，本发明提供一种基于深度学习算法的表面缺陷检测方法。
本发明的一种基于深度学习算法的表面缺陷检测方法，包括：
S1、基于深度学习算法建立表面缺陷分类模型，利用初始训练样本集D1对表面缺陷分类模型进行训练；
S2、对初始训练样本集D1中各类表面缺陷图像样本进行采样，获得均衡图像样本集，利用均衡图像样本集继续对S1的表面缺陷分类模型进行训练，训练过程中，冻结表面缺陷分类模型中卷积层的参数，调整全连接层的参数，直至表面缺陷分类模型收敛；
S3、利用表面缺陷分类模型对待检测图像样本进行检测，计算表面缺陷分类模型的弱监督定位信息；
S4、对弱监督定位信息进行阈值分割处理，利用二值化阈值，生成缺陷的位置掩膜，完成表面缺陷检测。
本发明还提供一种基于深度学习算法的表面缺陷检测方法，包括：
S1、基于深度学习算法建立表面缺陷分类模型，对表面缺陷分类模型进行训练；
S2、对各类样本进行m次采样，获得m个均衡样本集，利用m个均衡样本集分别对S1的表面缺陷分类模型进行训练，获得m个表面缺陷分类模型，训练过程中，冻结表面缺陷分类模型中卷积层的参数，调整全连接层的参数，直至表面缺陷分类模型收敛；
Figure BDA0003767110260000021
α1表示最多的一类样本的数量，αn表示最少的一类样本的数量；
使用集成方法，统计m个表面缺陷分类模型的分类结果，输出最终的缺陷分类类别；
S3、利用m个表面缺陷分类模型对待检测图像样本进行检测，确定缺陷分类类别，计算m个表面缺陷分类模型中召回率最高的表面缺陷分类模型的弱监督定位信息；
S4、对S3计算的弱监督定位信息进行阈值分割处理，利用二值化阈值，生成缺陷的位置掩膜，完成表面缺陷检测。
作为优选，S3中，使用全梯度方法计算表面缺陷分类模型的弱监督定位信息S：
Figure BDA0003767110260000022
其中，F表示表面缺陷分类模型，
Figure BDA0003767110260000023
是第l层第c个通道的输出，
Figure BDA0003767110260000024
是相应的偏置，L是卷积层的总层数，cl是第l层卷积核的通道数，x表示输入的待检测图像样本，⊙表示同或运算，函数φ(·)是指：
φ(·)＝upsample(rescale(abs(·)))
abs(·)指绝对值函数，rescale(·)指归一化操作，将输入归一化到0-1之间，upsample(·)表示上采样操作，用于将输入插值到与x同一维度。
作为优选，S4中，二值化阈值的确定方法包括：
在训练样本集中选取若干张样本，选择多个二值化阈值，然后进行人眼评判，确定个合适的值作为检测时的二值化阈值。
本发明的有益效果，本发明针对不均衡的缺陷样本，可以进行有效训练，大幅提升其召回率。本发明减少了数据的标记难度，只需要提供图像级别的标签(类别标签)，就可以完成对缺陷位置的定位。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本实施方式的基于深度学习算法的表面缺陷检测方法，包括：
步骤1、第一阶段训练：基于深度学习算法建立表面缺陷分类模型，利用初始训练样本集D1对表面缺陷分类模型进行训练；采用普通的训练方法，如数据增强、迁移学习等，例如首先使用数据增强方法(如随机翻转，随机裁剪等)对数据集进行增强。然后对模型进行迁移学习，以训练VGG16模型为例，简记为f，将基于imagenet预训练的VGG16模型的参数迁移到待训练模型中，然后在数据增强后的缺陷数据上进行微调训练。
步骤2、第二阶段训练：对初始训练样本集D1中各类表面缺陷图像样本进行采样，获得均衡图像样本集D2，针对样本不均衡问题，例如对于n类样本，每类样本数量为α1,α2,…αn,不妨设α1>α2>…>αn。则对每一类样本，随机抽取αm张子样本，αm≤αn，形成样本均衡的样本集。
利用均衡图像样本集D2继续对步骤1的表面缺陷分类模型f进行训练，训练过程中，冻结表面缺陷分类模型中卷积层的参数，调整(finetuning)全连接层的参数，直至表面缺陷分类模型收敛；
步骤3、利用表面缺陷分类模型对待检测图像样本进行检测，计算表面缺陷分类模型的弱监督定位信息；
步骤4、对弱监督定位信息进行阈值分割处理，利用二值化阈值，生成缺陷的位置掩膜，完成表面缺陷检测。
经过步骤2进行第二阶段的训练，模型的召回率会极大提升，但是会有部分样本没有得到充分利用，如图1所示，本实施方式步骤2的第二阶段训练可以对各类样本进行m次采样，获得m个均衡样本集，利用m个均衡样本集分别对步骤1的表面缺陷分类模型进行训练，获得m个表面缺陷分类模型，记为f1,f2,…,fm，训练过程中，冻结表面缺陷分类模型中卷积层的参数，调整全连接层的参数，直至表面缺陷分类模型收敛；
Figure BDA0003767110260000041
α1表示最多的一类样本的数量，αn表示最少的一类样本的数量；
使用集成方法，可以使用投票法、平均法等，选择票数最高的类别或平均值最高的类别，统计m个表面缺陷分类模型的分类结果，输出最终的缺陷分类类别；
步骤3中利用m个表面缺陷分类模型对待检测图像样本进行检测，确定缺陷分类类别，计算m个表面缺陷分类模型中召回率最高的表面缺陷分类模型的弱监督定位信息。
本实施方式的步骤3中，使用全梯度方法(full-gradient)计算表面缺陷分类模型的弱监督定位信息S：
Figure BDA0003767110260000042
其中，F表示表面缺陷分类模型，
Figure BDA0003767110260000043
是第l层第c个通道的输出，
Figure BDA0003767110260000044
是相应的偏置，L是卷积层的总层数，cl是第l层卷积核的通道数，x表示输入的待检测图像样本，⊙表示同或运算，函数φ(·)是指：
φ(·)＝upsample(rescale(abs(·)))
abs(·)指绝对值函数，rescale(·)指归一化操作，将输入归一化到0-1之间，例如使用
Figure BDA0003767110260000045
upsample(·)表示上采样操作，用于将输入插值到与x同一维度。
本实施方式的步骤4中，二值化阈值的确定方法包括：
在训练样本集中选取若干张样本，选择多个二值化阈值，如δ＝0.1,0.3,0.5,0.8，然后进行人眼评判，确定个合适的值作为检测时的二值化阈值，生成缺陷的位置掩膜。
本实施方式在训练表面缺陷分类模型过程中，采用两阶段微调方法，第一阶段为正常的迁移学***衡的数据进行训练，大大提升模型的召回率。另外，表面缺陷进行弱监督定位时使用全梯度方法(full-gradient)方法，用于减少标签的标注难度，提升缺陷定位的准确性。通过该定位方案，可以只通过训练分类模型，即只需要提供分类标签，就能完成对缺陷位置的检测。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (6)

1.基于深度学习算法的表面缺陷检测方法，其特征在于，所述方法包括：
S1、基于深度学习算法建立表面缺陷分类模型，利用初始训练样本集D1对表面缺陷分类模型进行训练；
S2、对初始训练样本集D1中各类表面缺陷图像样本进行采样，获得均衡图像样本集，利用均衡图像样本集继续对S1的表面缺陷分类模型进行训练，训练过程中，冻结表面缺陷分类模型中卷积层的参数，调整全连接层的参数，直至表面缺陷分类模型收敛；
S3、利用表面缺陷分类模型对待检测图像样本进行检测，计算表面缺陷分类模型的弱监督定位信息；
S4、对弱监督定位信息进行阈值分割处理，利用二值化阈值，生成缺陷的位置掩膜，完成表面缺陷检测。
2.基于深度学习算法的表面缺陷检测方法，其特征在于，所述方法包括：
S1、基于深度学习算法建立表面缺陷分类模型，对表面缺陷分类模型进行训练；
S2、对各类样本进行m次采样，获得m个均衡样本集，利用m个均衡样本集分别对S1的表面缺陷分类模型进行训练，获得m个表面缺陷分类模型，训练过程中，冻结表面缺陷分类模型中卷积层的参数，调整全连接层的参数，直至表面缺陷分类模型收敛；
Figure FDA0003767110250000011
α1表示最多的一类样本的数量，αn表示最少的一类样本的数量；
使用集成方法，统计m个表面缺陷分类模型的分类结果，输出最终的缺陷分类类别；
S3、利用m个表面缺陷分类模型对待检测图像样本进行检测，确定缺陷分类类别，计算m个表面缺陷分类模型中召回率最高的表面缺陷分类模型的弱监督定位信息；
S4、对S3计算的弱监督定位信息进行阈值分割处理，利用二值化阈值，生成缺陷的位置掩膜，完成表面缺陷检测。
3.根据权利要求1或2所述的基于深度学习算法的表面缺陷检测方法，其特征在于，所述S2中，获得均衡样本集的方法包括：
初始训练样本集D1，共有n类样本，每类样本数量为α1，α2，...αn，α1＞α2＞…＞αn，则对每一类样本，都随机抽取αm张子样本，形成均衡样本集D2，αm≤αn。
4.根据权利要求2所述的基于深度学习算法的表面缺陷检测方法，其特征在于，所述方法还包括：
使用投票法或平均法统计m个表面缺陷分类模型的分类结果，选择票数最高的类别或平均值最高的类别为最终输出的缺陷分类类别。
5.根据权利要求1或2所述的基于深度学习算法的表面缺陷检测方法，其特征在于，S3中，使用全梯度方法计算表面缺陷分类模型的弱监督定位信息S：
Figure FDA0003767110250000021
其中，F表示表面缺陷分类模型，
Figure FDA0003767110250000022
是第l层第c个通道的输出，
Figure FDA0003767110250000023
是相应的偏置，L是卷积层的总层数，cl是第l层卷积核的通道数，x表示输入的待检测图像样本，⊙表示同或运算，函数φ(·)是指：
φ(·)＝upsample(rescale(abs(·)))
abs(·)指绝对值函数，rescale(·)指归一化操作，将输入归一化到0-1之间，upsample(·)表示上采样操作，用于将输入插值到与x同一维度。
6.根据权利要求1或2所述的基于深度学习算法的表面缺陷检测方法，其特征在于，S4中，二值化阈值的确定方法包括：
在训练样本集中选取若干张样本，选择多个二值化阈值，然后进行人眼评判，确定个合适的值作为检测时的二值化阈值。
CN202210889914.2A 2022-07-27 2022-07-27 基于深度学习算法的表面缺陷检测方法 Pending CN115205275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210889914.2A CN115205275A (zh) 2022-07-27 2022-07-27 基于深度学习算法的表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210889914.2A CN115205275A (zh) 2022-07-27 2022-07-27 基于深度学习算法的表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115205275A true CN115205275A (zh) 2022-10-18

Family

ID=83583943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210889914.2A Pending CN115205275A (zh) 2022-07-27 2022-07-27 基于深度学习算法的表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115205275A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661123A (zh) * 2022-11-14 2023-01-31 哈尔滨工业大学 基于弱监督目标检测的工业品表面缺陷位置检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661123A (zh) * 2022-11-14 2023-01-31 哈尔滨工业大学 基于弱监督目标检测的工业品表面缺陷位置检测方法
CN115661123B (zh) * 2022-11-14 2023-06-23 哈尔滨工业大学 基于弱监督目标检测的工业品表面缺陷位置检测方法

Similar Documents

Publication Publication Date Title
CN108171209B (zh) 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及***
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
WO2016165082A1 (zh) 基于深度学习的图像隐写检测方法
WO2022095645A1 (zh) 基于内存增强潜在空间自回归的图像异常检测方法
CN111680706A (zh) 一种基于编码和解码结构的双通道输出轮廓检测方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN102385592B (zh) 图像概念的检测方法和装置
CN114283287A (zh) 基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法
CN113076994A (zh) 一种开集域自适应图像分类方法及***
CN111553873A (zh) 基于多尺度卷积神经网络的脑神经元自动检测方法
CN112164033A (zh) 一种基于异常特征编辑的对抗网络纹理表面缺陷检测方法
CN112116571A (zh) 一种基于弱监督学习的x光肺部疾病自动定位方法
CN111914902A (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
CN113920094A (zh) 基于梯度残差u型卷积神经网络的图像篡改检测技术
CN115205275A (zh) 基于深度学习算法的表面缺陷检测方法
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN115240259A (zh) 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测***
CN111523586A (zh) 一种基于噪声可知的全网络监督目标检测方法
CN110991563A (zh) 一种基于特征融合的胶囊网络随机路由算法
CN112686305A (zh) 一种自监督学习辅助下的半监督学习方法及***
CN112396580A (zh) 一种圆形零件缺陷检测方法
CN110136098B (zh) 一种基于深度学习的线缆顺序检测方法
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination