CN111950630B - 基于两阶段迁移学习的小样本工业产品缺陷分类方法 - Google Patents

基于两阶段迁移学习的小样本工业产品缺陷分类方法 Download PDF

Info

Publication number
CN111950630B
CN111950630B CN202010803896.2A CN202010803896A CN111950630B CN 111950630 B CN111950630 B CN 111950630B CN 202010803896 A CN202010803896 A CN 202010803896A CN 111950630 B CN111950630 B CN 111950630B
Authority
CN
China
Prior art keywords
model
samples
data set
positive
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010803896.2A
Other languages
English (en)
Other versions
CN111950630A (zh
Inventor
刘家欢
刁思勉
张云
李娜
刘文锋
陈艳平
李锡康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yejiawei Technology Co ltd
Original Assignee
Shenzhen Yejiawei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yejiawei Technology Co ltd filed Critical Shenzhen Yejiawei Technology Co ltd
Priority to CN202010803896.2A priority Critical patent/CN111950630B/zh
Publication of CN111950630A publication Critical patent/CN111950630A/zh
Application granted granted Critical
Publication of CN111950630B publication Critical patent/CN111950630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种基于两阶段迁移学***衡的数据子集；S22、将剩余的正样本组成另一个数据集子集；S31、选取CNN检测模型，进行第一阶段的训练；S32、第二阶段的训练是在包含剩余正样本和扩充后的负样本的数据集子集上进行；S4、将S32步模型训练收敛后，在测试集上测试模型的分类性能，若满足要求，即可上线测试，否则重复划分数据子集和模型训练过程，重复S21至S32，直至满足要求。本发明具有以下有益效果：一是具有性能更好的缺陷图像高维特征；二是提高了模型对工业产品图像的表征能力；三是所述的模型训练策略具有良好的通用性。

Description

基于两阶段迁移学习的小样本工业产品缺陷分类方法
技术领域
本发明属于视觉检测技术领域，具体的涉及一种基于两阶段迁移学习的小样本工业产品缺陷分类方法。
背景技术
随着智能制造的发展，工业产品的生产自动化需求越来越迫切，产品质量要求也越来越高，目前的工业生产实际中，大多数的生产技术环节过程都已经实现了自动化。但是产品的外观质量检测检测环节仍然很难实现自动化，需要大量的人工检测，影响了生产效率和产品质量。因此，工业产品的外观缺陷检测技术和***的研究非常重要。
产品外观检测的基本流程是首先获取产品缺陷图像，然后通过算法模型提取图像中的缺陷特征，然后根据特征计算缺陷的类型和位置，最后将检测结果反馈给执行机构，执行产品的分拣任务。传统的图像处理算法采用特征工程的方法，通过计算人为设计的图像特征来实现分类，但是这种方式对人的依赖很大，调试困难，适应性差。随着深度学***衡，在这种数量不平衡的数据集上训练得到的深度学习模型会导致模型偏向于数量多的正常样本，导致对缺陷样本的检测准确率下降，难以保证最终产品的合格率。
发明内容
针对上述所描述的难题，本发明提供了一种基于两阶段迁移学习的小样本工业产品缺陷分类方法。
本发明中，缺陷样本定义为负样本，正常样本定义为正样本。两阶段训练策略首先将原来的不平衡数据集划分为两部分，具体来说，依据数据集中数量较少的负样本的数量将数据集划分为两组，一组全部由正样本组成，一组是由所有的负样本和与负样本数量相当的正样本组成，这样一来，这两部分数据子集均是平衡的数据集，然后模型先在所有正样本组成的数据集上训练，然后在正负样本组成的完全数据集上训练，这样就能得到无偏模型。
为了提高模型的表征能力，减少训练时间，模型使用两阶段迁移学习策略。第一阶段的迁移过程是将在开源数据集上训练的模型迁移到所有正样本组成的数据集的训练中，第二阶段的迁移过程是从在正样本组成的数据集上训练的模型迁移到所有样本组成的数据集的训练中。本发明提出的基于深度学习的缺陷检测算法是利用卷积神经网络(ConvolutionalNeuralNetworkCNN)处理输入图像，提取图像特征，对缺陷图像进行分类。
为了实现上述的目的，本发明还提出了图像数据增强方式用于提高负样本的数量，为模型训练提供更多的训练信息，具体来说，对数量较少的负样本实施旋转、翻转、注入高斯噪声等方式进行图像变换，增加负样本的数量，同时提高模型的鲁棒性。
本发明的技术方案是提供一种基于两阶段迁移学习的小样本工业产品缺陷分类方法，其中，基于两阶段迁移学习的模型训练策略是在模型实际使用之前进行离线训练，具体训练步骤为：
S1、采集包含预定数量的正、负样本构成缺陷图像数据集，其中正样本的数量是负样本数量的5倍～25倍；
S21、使用图像数据增强手段将数据集中所有缺陷类别的负样本的数量扩充2-3倍，然后从每个类别中随机挑选数量与扩充后的负样本的数量相当的正样本，将这些正负样本一起组成数量平衡的数据子集；
S22、将剩余的正样本组成另一个只包含正样本的数据集子集；
S31、选取合适的CNN模型结构，第一阶段的训练是在只包含正样本的数据集子集上进行，将该结构的模型在公开图像数据集上预训练得到的模型卷积层部分迁移到第一阶段的模型卷积层中，然后随机初始化模型的分类层，在数据子集训练整个模型；
S32、第二阶段的训练是在包含剩余正样本和扩充后的负样本的数据集子集上进行，将S31步中得到的模型去除最后一层分类层，并且将输出节点数扩充一倍(一个正样本类别增加一个负样本类别)，后迁移到第二个模型中，重新随机初始化第二个模型的分类层，然后在包含剩余正样本和扩充后的负样本的数据子集上训练模型；
S4、将S32步模型训练收敛后，在测试集上测试模型的分类性能，若满足要求，即可上线测试，否则重复划分数据子集和模型训练过程，重复S2和S3，直至满足要求。
优选地，所述的CNN检测模型由VGG16模型组成，VGG16网络模型包含5个连续的由卷积层、池化层和激活函数组成的构建模块，这5个构建块共有13个层，用于从图像中提取特征，后面有3个全连接层，用于从提取到的高维特征中计算分类结果。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的基于两阶段迁移学习模型训练策略和数据增强方法主要具有以下有益效果：
(1)数据增强方法扩充了负样本的数量，为深度学习模型训练提供了更多的特征信息，使模型学习到性能更好的缺陷图像高维特征；
(2)所述的两阶段迁移学***衡数据集上训练的偏移特性，提高了模型对数量较少的负样本的分类准确率；
(3)所述的模型训练策略具有通用性，即方法中所用的深度学习模型可以使用任何常见的模型，不依赖与某种具体的模型结构。
附图说明
图1是本发明所述模型训练思路流程示意图。
图2是本发明所述的数据集划分策略示意图。
图3是本发明所述的两阶段迁移学习模型训练策略示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
结合图1所示，本发明的两阶段迁移学***衡的数据集中的负样本通过图像数据增强方式扩充2-3倍，然后在数量众多的正样本中随机挑选数量与扩充后的负样本数量相当的正样本，一起组成数据集子集，然后剩余的正样本组成另一个只包含正样本的数据集子集。选定的深度学习模型首先从公开图像数据集上迁移到第一个新模型中，在只包含正样本的数据集子集上训练至收敛，然后将第一个模型迁移至第二个新模型中，在包含剩余正样本和扩充负样本的数据集子集上训练至收敛，最后将模型用于性能测试和线上缺陷检测。
一种基于两阶段迁移学习的小样本工业产品缺陷分类方法，包括如下步骤：
S1、采集包含预定数量的正、负样本构成缺陷图像数据集，其中正样本的数量是负样本数量的5倍～25倍；
S21、使用图像数据增强方法将原始不平衡数据集中的负样本扩充2-3倍，然后、从原始数据集中随机挑选数量与扩充后的负样本数量相当的正样本，将这些正样本和扩充后的负样本一起组成数量平衡的数据集子集，标记为DataSet正负；
S22、将剩余的正样本组成另一个只包含正样本的平衡的数据集子集，标记为DataSet正；
S31、挑选并设计合适的深度学习模型架构，记为Model；然后将模型Model在公开自然图像数据集上训练得到的模型的卷积层部分迁移至第一个缺陷检测模型Model1，然后随机初始化Model1的分类层参数，然后模型Model1在只包含正样本的数据集子集DataSet正上进行训练，在这一阶段的训练中，Model1学会将参数适应缺陷检测任务；
S32、将S31得到的模型Model1去掉最后一层分类层之后迁移至第二个缺陷检测模型Model2中，然后将原来的分类层节点数量增加一倍(每个正样本类别对应一个负样本类别)，随机初始化分类层参数后，在包含剩余正样本和扩充负样本的数据集子集DataSet正负上训练第二个模型Model2的分类层参数，其它层参数保持不变；
S4、在测试集上对S32得到的第二个模型Model2进行性能测试，若满足要求则将模型用于线上缺陷检测，否则重复S2和S3步骤，直至模型性能达到要求。
通过本发明提出的训练策略，在经典缺陷检测数据集，如DAGM数据集上，当正负样本比例为25:1时，在测试数据集上对缺陷负样本的测试准确率可以比直接在不平衡数据集上训练得到的模型提升9％以上，极大地提升了缺陷检测准确率。
优选地，所述的深度学习模型Model的架构为修改后的VGG16模型，模型各层的卷积核参数如下表所示，其中，Num为缺陷类别个数。
Figure BDA0002628394090000041
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于两阶段迁移学习的小样本工业产品缺陷分类方法，其特征在于：包括如下步骤，
S1、采集包含预定数量的正、负样本构成缺陷图像数据集，其中正样本的数量是负样本数量的5倍～25倍；
S21、使用图像数据增强手段将缺陷图像数据集中所有缺陷类别的负样本的数量扩充2-3倍，然后，从每个类别中随机挑选数量与扩充后的负样本的数量相当的正样本，将这些正负样本一起组成数量平衡的数据子集，标记为DataSet正负；
S22、将剩余的正样本组成另一个只包含正样本的数据集子集，标记为DataSet正；
S31、挑选并设计合适的深度学习模型架构，记为Model；然后将模型Model在公开自然图像数据集上训练得到的模型的卷积层部分迁移至第一个缺陷检测模型Model1，然后随机初始化Model1的分类层参数，然后模型Model1在只包含正样本的数据集子集DataSet正上进行训练，在这一阶段的训练中，Model1学会将参数适应缺陷检测任务；
S32、将S31得到的模型Model1去掉最后一层分类层之后迁移至第二个缺陷检测模型Model2中，然后将原来的分类层节点数量增加一倍，其中，每个正样本类别对应一个负样本类别，随机初始化分类层参数后，在包含剩余正样本和扩充负样本的数据集子集DataSet正负上训练第二个模型Model2的分类层参数，其它层参数保持不变；
S4、将S32步模型训练收敛后，在测试集上测试模型的分类性能，若满足要求，即可上线测试，否则重复划分数据子集和模型训练过程，重复S21至S32，直至满足要求。
2.根据权利要求1所述的基于两阶段迁移学习的小样本工业产品缺陷分类方法，其特征在于： CNN检测模型由VGG16模型组成，VGG16网络模型包含5个连续的由卷积层、池化层和激活函数组成的构建模块，这5个构建块共有13个层，用于从图像中提取特征，后面有3个全连接层，用于从提取到的高维特征中计算分类结果。
CN202010803896.2A 2020-08-12 2020-08-12 基于两阶段迁移学习的小样本工业产品缺陷分类方法 Active CN111950630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010803896.2A CN111950630B (zh) 2020-08-12 2020-08-12 基于两阶段迁移学习的小样本工业产品缺陷分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010803896.2A CN111950630B (zh) 2020-08-12 2020-08-12 基于两阶段迁移学习的小样本工业产品缺陷分类方法

Publications (2)

Publication Number Publication Date
CN111950630A CN111950630A (zh) 2020-11-17
CN111950630B true CN111950630B (zh) 2022-08-02

Family

ID=73332182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010803896.2A Active CN111950630B (zh) 2020-08-12 2020-08-12 基于两阶段迁移学习的小样本工业产品缺陷分类方法

Country Status (1)

Country Link
CN (1) CN111950630B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529114B (zh) * 2021-01-13 2021-06-29 北京云真信科技有限公司 基于gan的目标信息识别方法、电子设备和介质
CN112990337B (zh) * 2021-03-31 2022-11-29 电子科技大学中山学院 一种面向目标识别的多阶段训练方法
CN113076873B (zh) * 2021-04-01 2022-02-22 重庆邮电大学 一种基于多阶段训练的农作物病害长尾图像识别方法
CN113095400A (zh) * 2021-04-09 2021-07-09 安徽芯纪元科技有限公司 一种用于机器视觉缺陷检测的深度学习模型训练方法
CN113362302B (zh) * 2021-06-03 2023-04-07 西南交通大学 一种基于图像识别的地铁列车电气箱盖的故障检测方法
CN113688757B (zh) * 2021-08-30 2024-07-05 五邑大学 一种sar图像识别方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845549A (zh) * 2017-01-22 2017-06-13 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN108205766A (zh) * 2016-12-19 2018-06-26 阿里巴巴集团控股有限公司 信息推送方法、装置及***
CN109615016A (zh) * 2018-12-20 2019-04-12 北京理工大学 一种基于金字塔输入增益的卷积神经网络的目标检测方法
CN110705690A (zh) * 2019-09-23 2020-01-17 清华大学 基于生成模型和元学习优化方法的连续学习方法及***
CN111161228A (zh) * 2019-12-20 2020-05-15 东南大学 一种基于迁移学习的纽扣表面缺陷检测方法
CN111310684A (zh) * 2020-02-24 2020-06-19 东声(苏州)智能科技有限公司 一种模型训练方法、装置、电子设备及存储介质
CN111476283A (zh) * 2020-03-31 2020-07-31 上海海事大学 基于迁移学习的青光眼眼底图像识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991439A (zh) * 2017-03-28 2017-07-28 南京天数信息科技有限公司 基于深度学习与迁移学习的图像识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205766A (zh) * 2016-12-19 2018-06-26 阿里巴巴集团控股有限公司 信息推送方法、装置及***
CN106845549A (zh) * 2017-01-22 2017-06-13 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN109615016A (zh) * 2018-12-20 2019-04-12 北京理工大学 一种基于金字塔输入增益的卷积神经网络的目标检测方法
CN110705690A (zh) * 2019-09-23 2020-01-17 清华大学 基于生成模型和元学习优化方法的连续学习方法及***
CN111161228A (zh) * 2019-12-20 2020-05-15 东南大学 一种基于迁移学习的纽扣表面缺陷检测方法
CN111310684A (zh) * 2020-02-24 2020-06-19 东声(苏州)智能科技有限公司 一种模型训练方法、装置、电子设备及存储介质
CN111476283A (zh) * 2020-03-31 2020-07-31 上海海事大学 基于迁移学习的青光眼眼底图像识别方法

Also Published As

Publication number Publication date
CN111950630A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN111950630B (zh) 基于两阶段迁移学习的小样本工业产品缺陷分类方法
CN107169956B (zh) 基于卷积神经网络的色织物疵点检测方法
CN112699247B (zh) 一种基于多类交叉熵对比补全编码的知识表示学习方法
CN108875933B (zh) 一种无监督稀疏参数学习的超限学习机分类方法及***
CN111143567B (zh) 一种基于改进神经网络的评论情感分析方法
CN113034483B (zh) 基于深度迁移学习的烟支缺陷检测方法
CN112685504B (zh) 一种面向生产过程的分布式迁移图学习方法
CN110415071B (zh) 一种基于观点挖掘分析的汽车竞品对比方法
CN109165275B (zh) 基于深度学习的智能变电站操作票信息智能搜索匹配方法
CN113516198B (zh) 一种基于记忆网络和图神经网络的文化资源文本分类方法
CN111123894B (zh) 一种基于lstm和mlp结合的化工过程故障诊断方法
CN104616030A (zh) 一种基于极限学习机算法的识别方法
CN112115265A (zh) 文本分类中的小样本学习方法
CN108052959A (zh) 一种提高深度学习图片识别算法鲁棒性的方法
CN113095229B (zh) 一种无监督域自适应行人重识别***及方法
CN110443789B (zh) 一种免疫固定电泳图自动识别模型的建立及使用方法
CN110263164A (zh) 一种基于模型融合的情感倾向分析方法
CN112784921A (zh) 任务注意力引导的小样本图像互补学习分类算法
CN112465226A (zh) 一种基于特征交互和图神经网络的用户行为预测方法
CN112925904A (zh) 一种基于Tucker分解的轻量级文本分类方法
CN116152554A (zh) 基于知识引导的小样本图像识别***
CN112308129A (zh) 一种基于深度学习的植物线虫数据自动标注和分类识别方法
CN111833310A (zh) 一种基于神经网络架构搜索的表面缺陷分类方法
CN111506700A (zh) 基于上下文感知嵌入的细粒度情感分析方法
CN110796260B (zh) 一种基于类扩张学习的神经网络模型优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant