CN110889838A - 一种织物疵点检测方法及装置 - Google Patents

一种织物疵点检测方法及装置 Download PDF

Info

Publication number
CN110889838A
CN110889838A CN201911173471.1A CN201911173471A CN110889838A CN 110889838 A CN110889838 A CN 110889838A CN 201911173471 A CN201911173471 A CN 201911173471A CN 110889838 A CN110889838 A CN 110889838A
Authority
CN
China
Prior art keywords
defect
fabric
image
model
resnet50
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911173471.1A
Other languages
English (en)
Inventor
罗维平
陈永恒
陈军
马双宝
游长莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN201911173471.1A priority Critical patent/CN110889838A/zh
Publication of CN110889838A publication Critical patent/CN110889838A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种织物疵点检测方法及装置，其中方法包括：获取ResNet50模型；将ResNet50模型的第一分类器替换为第二分类器；获取织物疵点样本图像的特征值；提取ResNet50模型的权重参数作为初始值；根据特征值和初始值对ResNet50模型进行迁移学习，获取多种疵点类别识别模型；根据多种疵点类别识别模型对待检测织物图像进行检测。本发明实施例采用迁移学习来弥补疵点图像样本极其缺乏的问题，具体采用在大型图像数据集ImageNet上训练好的ResNet50模型参数，作为本发明实施例中改进的ResNet50网络初始参数，再在织物疵点样本图像集中继续重新训练顶层卷积网络，使其更加适应织物疵点检测。

Description

一种织物疵点检测方法及装置
技术领域
本发明涉及纺织技术领域，具体涉及一种织物疵点检测方法及装置。
背景技术
织物疵点检测在纺织行业的生产中占据着非常重要的地位，有疵点的织物价格会降低45％-65％，因此疵点检测是成布出厂的最后一关，是纺织品生产中质量控制的一道重要的工序。
目前业界对织物疵点检测依然以人工检测为主，检测速度只有5-20m/min，而且人工作业容易受到外界因素的影响，且人工成本较高，同时存在效率低、误检、漏检率高等缺点，这使得人工检测难以适应现代工业生产需求，因此在纺织品疵点检测领域迫切需要快速、精准的疵点检测方法。
近年来，大量学者提出各种疵点检测算法，但这些传统疵点检测算法存在图像采集要求高、图像处理速度慢、鲁棒性差等问题，一直难以应用于工业生产现场。随着深度卷积神经网络的出现，织物疵点检测研究出现新的方向。AlexNet、GooleNet、VGG、ResNet等深度学习经典图像检测模型的出现，织物疵点检测研究也取得新的突破。例如：用ResNet101模型提取织物疵点特征，再利用Faster RCNN检测网络对疵点目标进行识别，取得了较高的检测准确率，但在识别速度方面实时性效果不理想；用支持向量机分类算法完成了织物疵点检测模型训练，解决对小样本、高维度数据的分类问题，但需要利用GPU计算GLCM特征值，计算量大成本高，在提高计算速度的同时需要降低输入图像像素大小，并且一定程度上减弱了的原始图像特征信息，影响最终检测结果的可靠度。
对织物疵点检测来说，织物疵点种类虽多，但很多疵点并不常见，疵点图像样本及其缺乏，同时，疵点样本缺乏导致现有技术中存在的检测算法计算效率较低和检测结果可靠度低的问题。
发明内容
有鉴于此，本发明实施例提供了一种织物疵点检测方法及装置，以解决现有技术中检测算法计算效率较低和检测结果可靠度低的问题。
本发明实施例提供了一种织物疵点检测方法，包括：
获取ResNet50模型；
将ResNet50模型的第一分类器替换为第二分类器；
获取织物疵点样本图像的特征值；
提取ResNet50模型的权重参数作为初始值；
根据特征值和初始值对ResNet50模型进行迁移学习，获取多种疵点类别识别模型；
根据多种疵点类别识别模型对待检测织物图像进行检测。
可选地，在获取织物疵点样本图像的特征值之前，还包括：
以2560*1920的分辨率规格获取织物疵点样本图像；
以分辨率为320*320的滑动窗口和160的滑动步长对织物疵点样本图像进行切割，获得8*6份小尺寸图像；
对小尺寸图像进行图像增强；
其中，图像增强包括：
图像随机旋转，其变化参数范围为0～90°；
水平和/或垂直方向上平移，其变化参数范围为0～30％；
随机错切变换，其变化参数范围为0～90°；
透视变换，其变化参数范围为0～20％；
缩放，其变化参数范围为0～10％；
水平和/或垂直随机翻转。
可选地，根据特征值和初始值对ResNet50模型进行迁移学习，获取多种疵点类别识别模型，还包括：
获取多种疵点类别识别模型的学习特征
Figure BDA0002289355950000031
获取反向过程的梯度
Figure BDA0002289355950000032
根据残差映射(F(x))结果的维度与跳跃连接(x)的不同维度，对跳跃连接(x)进行相应的升维操作；
其中，残差结构计算公式为
y1＝h(xl)+F(xl,Wl)；
xl+1＝f(yl)；
其中，xl和xl+1分别表示第l个残差单元的输入和输出，其中每个残差单元包含多层结构；F(xl,Wl)是第l层的残差函数；H(x)＝Xl是第l层的恒等映射函数；f(yl)是yl经过激活函数转化为下一层的输入图像；i、l、L的取值为正整数。
可选地，根据残差映射(F(x))结果的维度与跳跃连接(x)的不同维度，对跳跃连接(x)进行相应的升维操作之前，还包括：
对跳跃连接(x)进行平均池化。
可选地，在获取多种疵点类别识别模型之后，还包括：
对多种疵点类别识别模型进行指标评估；其中，指标评估采用准确率(Accuracy，Acc)作为模型的评价指标。
可选地，根据特征值和初始值对ResNet50模型进行迁移学习，获取多种疵点类别识别模型，还包括：
监控多种疵点类别识别模型的训练损失率、验证损失率、训练准确率和验证准确率。
可选地，根据特征值和初始值对ResNet50模型进行迁移学习，获取多种疵点类别识别模型，还包括：
在ResNet50模型在连续100轮迁移学习的训练过程中，当验证准确率达到最大值并趋于稳定，验证集损失率达到最小值并趋于稳定时，提前终止训练。
可选地，在获取织物疵点样本图像的特征值前，还包括：
按照2：1的比例选择无瑕疵图像和有瑕疵图像作为训练样本集；
从无瑕疵图像和有瑕疵图像中各选择80％作为训练集，10％作为验证集，10％作为测试集。
可选地，根据特征值和初始值对ResNet50模型进行迁移学习，获取多种疵点类别识别模型，还包括：
对小尺寸图像进行dropout操作。
本发明实施例还提供了一种织物疵点的检测装置，包括：
第一获取模块，用于获取ResNet50模型；
去除模块，用于去除ResNet50模型的分类器；
第二获取模块，用于获取织物疵点样本图像的特征值；
提取模块，用于提取ResNet50模型的权重参数作为初始值；
第三获取模块，用于根据特征值和初始值对ResNet50模型进行迁移学习，获取多种疵点类别识别模型；
检测模块，用于根据多种疵点类别识别模型对待检测织物图像进行检测。
本发明实施例提供了一种织物疵点的检测设备，包括：第一获取模块、第二获取模块、去除模块、提取模块、第三获取模块、检测模块、存储器和处理器，第一获取模块、第二获取模块、去除模块、提取模块、第三获取模块、检测模块、存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行前述中的织物疵点的检测方法。
本发明实施例的有益效果：
1、在机器学习中，要训练出一个鲁棒性很好的模型，需要有足够多的已标注样本和大量的具有相同分布又相互独立的训练集和测试集，这在实际训练过程中很难满足。而对织物疵点检测来说，织物疵点种类虽多，但很多疵点并不常见，所以疵点图像样本极其缺乏，针对此问题，本发明实施例采用迁移学习来弥补。
采用在大型图像数据集ImageNet上训练好的ResNet50模型参数，作为本发明实施例中多种疵点类别识别模型的初始参数，再在织物疵点样本图像集中继续重新训练顶层卷积网络，使其更加适应织物疵点检测。
2、在本发明实施例中，图像增强是从现有的训练样本中利用多种能够生成可信图像的随机变换来增加样本以提升模型泛化能力。
3、采用均值池化，可以省去参数，大大减小网络参数，避免过拟合；对输入的空间变换更具有稳定性。
4、采用dropout操作以防止多种疵点类别识别模型训练过程中发生过拟合。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明实施例中一种织物疵点检测方法的流程图；
图2为本发明实施例中一种织物疵点检测装置的结构图；
图3为本发明实施例中一种织物疵点检测终端的结构图；
图4为现有技术中一种残差块结构图；
图5为标准的ResNet50网络结构图；
图6为本发明实施例中一种织物疵点检测方法的多种疵点类别识别模型结构图；
图7为本发明实施例中一种织物疵点的训练集部分图像；
图8为本发明实施例中一种擦洞图像应用图像增强后的部分扩增图像；
图9为一种标准ResNet50网络模型训练过程的损失曲线和准确率曲线；
图10为本发明实施例中多种疵点类别识别模型训练过程损失曲线和准确率曲线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种织物疵点检测方法，如图1所示，包括：
步骤S10，获取ResNet50模型。
在本实施例中，通过网络资源下载在ImageNet数据集上训练好的ResNet50模型。
步骤S20，将ResNet50模型的第一分类器替换为第二分类器。
在本实施例中，由于ResNet50模型原有的第一分类器(全连接层)型是用来识别1000种常见的物体类别，并不适用于织物疵点检测，因此将分类器进行替换，以适应织物疵点检测。在具体实施例中，通过迁移学习可以直接利用原有模型训练好的卷积基参数(就是图像通用特征)，然后再针对自己的分类任务来训练第二分类器，用于织物疵点检测。
步骤S30，获取织物疵点样本图像的特征值。
在本实施例中，织物疵点样本图像的特征值为改进ResNet50模型的输入，即多种疵点类别识别模型的输入。
步骤S40，提取ResNet50模型的权重参数作为初始值。
在本实施例中，保留ResNet50模型的权重参数。
步骤S50，根据特征值和初始值对ResNet50模型进行迁移学习，获取多种疵点类别识别模型。
在机器学习中，要训练出一个鲁棒性很好的模型，需要有足够多的已标注样本和大量的具有相同分布又相互独立的训练集和测试集，这在实际训练过程中很难满足。而对织物疵点检测来说，织物疵点种类虽多，但很多疵点并不常见，所以疵点图像样本极其缺乏，针对此问题，本发明实施例采用迁移学习来弥补。
迁移学习是通过从已学习的相关任务中迁移其知识来对需要学习的新任务进行提高，而不需要从零开始学习。在深度学习领域，如果有一个原始图像数据集足够大，那么预训练网络模型学到的特征的空间层次结构可以有效的作为视觉世界的通用模型，因此这些特征可用于各种不同的计算机视觉问题，即使这些新的分类问题设计的类别和原始任务完全不同。在卷积神经网络模型中，某个卷积层提取的特征的通用性取决于该层在模型中的深度，更靠近模型底部的层提取的信息是局部的、高度通用的特征图，如视觉边缘、颜色、纹理等，更靠近顶部的层提取的是更加抽象的概念，如具体的类别轮廓、形状。
步骤S60，根据多种疵点类别识别模型对待检测织物图像进行检测。
在本实施例中，采用在大型图像数据集ImageNet上训练好的ResNet50模型参数，作为本发明实施例中改进的ResNet50网络初始参数，再在织物疵点样本图像集中继续重新训练顶层卷积网络，使其更加适应织物疵点检测。
作为可选的实施方式，在步骤S30之前，还包括：
步骤S21，以2560*1920的分辨率规格获取织物疵点样本图像。
步骤S22，以分辨率为320*320的滑动窗口和160的滑动步长对织物疵点样本图像进行切割，获得8*6份小尺寸图像。
步骤S23，对小尺寸图像进行图像增强。
其中，图像增强包括：图像随机旋转，其变化参数范围为0～90°；水平或垂直方向上平移，其变化参数范围为0～30％；随机错切变换，其变化参数范围为0～90°；透视变换，其变化参数范围为0～20％；缩放，其变化参数范围为0～10％；水平或垂直随机翻转。
在本实施例中，由于现有公开的织物疵点数据库有限，研究者多选择采用自建数据库，但种类齐全的高清织物疵点采集难度高，有效数据有限，只能针对部分特定的疵点类型和布匹材料自建小型数据集；除此之外，如现有的TILDA织物数据库织物疵点集数据数量少，种类少，总体数据不到千张图像，像素低，疵点特征信息受限，即使使用数据增强可以一定程度降低模型过拟合，但原始图像数量少始终限制模型训练精度。基于此江苏阳光集团开源了真实的企业生产现场采集的织物图像数据集，每张图像分辨率为2560*1920，图像特征细节清晰，并全部经过经验丰富的验布工人确认，然后对每张图像使用标注工具labelImg人工标注，生成对应的xml格式信息文件，包含瑕疵种类、位置等信息，数据集共有4036张超清织物数据图像，其中包含了2960张无疵点图像，2676张有瑕疵图像，瑕疵种类包含常见的吊弓、毛斑、经跳花、双维、结头、织稀、扎洞、油渍、缺经、缺纬等42种，此数据集是目前公布的种类最为齐全、数量最多、图像分辨率最高的织物疵点数据集。本发明实施例选用此数据集中样本较多的几种疵点样本，如图7所示，包括正常织物和擦洞、毛洞、织稀、吊纬、缺经、跳花、油渍等7类疵点织物，由于其他疵点类型样本较少，用于样本训练会影响模型精度，所以将其余疵点样本归为一类，以及正常织物样本的一类，所以总体作为模型训练的样本共有9类。
数据集中无疵点图像与各类疵点图像数量相差较多存在数据不平衡问题，直接训练会导致模型过拟合；除此之外，由于训练硬件限制(2块GTX1080Ti 11G GPU)，原始图像分辨率较大，训练时计算量大，所以必须对训练数据进行预处理。疵点识别判断需要获得疵点特征细节，如果直接resize会牺牲图像细节特征，降低图像所带的信息量，所以本发明实施例采取以滑动窗口为320*320大小，滑动步长为160大小裁剪，将2560*1920的原始图像切割成8*6份，这样每张原始图像分割成了48张图像细节不变的小尺寸图像。但是这样处理后瑕疵图像会出现正好切在瑕疵边缘或瑕疵面积占比较小的问题，因此，本发明实施例进一步对切割后的瑕疵图像根据标注的瑕疵位置信息计算瑕疵面积占比，筛选出切割后瑕疵面积占原始瑕疵面积一定阈值以上的图像作为有效数据，本发明实施例选择占比超过10％的疵点作为有效疵点图像。
在本发明实施例中，图像增强是从现有的训练样本中利用多种能够生成可信图像的随机变换来增加样本以提升模型泛化能力。
作为可选的实施方式，步骤S50，还包括：
步骤S51，获取所述多种疵点类别识别模型的学习特征。
Figure BDA0002289355950000091
步骤S52，获取反向过程的梯度。
其中梯度为：
Figure BDA0002289355950000092
在本实施例中，式2是利用链式规则求出的，式2中第一个因子
Figure BDA0002289355950000093
表示损失函数到达的梯度，括号中的1表明短路机制可以无损地传播梯度，而另外一项残差梯度则需要经过带有权重的层，梯度不是直接传递过来的。残差梯度不会全为-1，就算值比较小，有1的存在也不会导致梯度消失，所以残差学习会更容易。
步骤S53，根据残差映射(F(x))结果的维度与跳跃连接(x)的不同维度，对跳跃连接(x)进行相应的升维操作。
其中，残差结构计算公式为y1＝h(xl)+F(xl,Wl)； (式3)
xl+1＝f(yl)； (式4)
其中，xl和xl+1分别表示第l个残差单元的输入和输出，其中每个残差单元包含多层结构；F(xl,Wl)是第l层的残差函数；H(x)＝Xl是第l层的恒等映射函数；f(yl)是yl经过激活函数转化为下一层的输入图像；i、l、L的取值为正整数。
在本实施例中，由式3和式4可以求得从浅层l到深层L的学习特征，即为式1。
作为可选的实施方式，步骤S53之前，还包括：
步骤S521，对跳跃连接(x)进行平均池化。
在本实施例中，传统的CNN(卷积神经网络)最后一层都是全连接层，参数个数非常之多，容易引起过拟合(如Alexnet)，一个CNN模型，大部分的参数都被全连接层给占用了，所以提出采用了全局均值池化替代全连接层。与传统的全连接层不同，对每个特征图一整张图片进行全局均值池化，这样每张特征图都可以得到一个输出。采用均值池化，可以省去参数，大大减小网络参数，避免过拟合；另一方面，每张特征图相当于一个输出特征，这个输出特征就表示了输出类的特征。
采用平均池化的优势包括：
(1)通过加强特征图与类别的一致性，让卷积结构更简单。
(2)不需要进行参数优化，所以这一层可以避免过拟合。
(3)它对空间信息进行了求和，因而对输入的空间变换更具有稳定性。
作为可选的实施方式，在步骤S50之后，还包括：
步骤S54，对多种疵点类别识别模型进行指标评估。其中，指标评估采用准确率(Accuracy，Acc)作为模型的评价指标。
在本实施例中，在分类问题中要将实例分为正类(Positive)和负类(Negative)，分类模型在实际的分类结果中可能会出现下面4中情况：若一个实例是正类，分类器将其判定为正类，称为真正类(True Positive，TP)；反之，如果分类器将其判定为负类，称为假负类(False Negative，FN)；若一个实例是负类，分类器将其判定为正类，称为假正类(FalsePositive，FP)；反之，若分类器将其判定为负类，称为真负类(True Negative，TN)。这样可以推导出准确率Acc的计算式如式5所示：
Figure BDA0002289355950000101
除此之外，训练过程中的损失值也是重要指标之一，它是用于评价学习权重张量的反馈信号，能够衡量当前任务是否解决，训练中需要最小化，是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y，f(x))来表示，损失函数越小，模型的鲁棒性越好。
作为可选的实施方式，步骤S50还包括：
步骤S501，监控多种疵点类别识别模型的训练损失率、验证损失率、训练准确率和验证准确率。
在本实施例中，为了得到足够准确和泛化能力更好的模型，需要在训练模型的过程中监控训练损失和验证损失，以及最重要的训练准确率和验证准确率，如果发现模型的验证数据的性能开始下降，则可以判断为过拟合。
作为可选的实施方式，步骤S50还包括：
步骤S502，在ResNet50模型在连续100轮迁移学习的训练过程中，当验证准确率达到最大值并趋于稳定，验证集损失率达到最小值并趋于稳定时，提前终止训练。
在本实施例中，在程序中实现过程为当验证准确率连续100轮训练都不再优化时则提前终止训练。通过验证过程的反馈反复调节超参数、尝试不同的Dropout比例等，直到模型达到最佳性能。其中，不再优化的参考标准为当验证准确率达到最大值并趋于稳定，验证集损失率达到最小值并趋于稳定时。
作为可选的实施方式，在步骤S60之前，还包括：
步骤S55，按照2：1的比例选择无瑕疵图像和有瑕疵图像作为训练样本集；
步骤S56，从无瑕疵图像和有瑕疵图像中各选择80％作为训练集，10％作为验证集，10％作为测试集。
在本实施例中，模型训练样本集按照2：1选择无瑕疵图像10034张和有瑕疵图像5017张作为样本集。为了测试模型训练精度，从训练样本集中各选择80％作为训练集，10％作为验证集，10％作为测试集。
作为可选的实施方式，步骤S50还包括：
步骤S503，对小尺寸图像进行dropout操作。
在本实施例中，采用dropout操作以防止多种疵点类别识别模型训练过程中发生过拟合。
本发明实施例还提供了一种织物疵点的检测装置，如图2所示，包括：第一获取模块201，去除模块202，第二获取模块203，提取模块204，第三获取模块205和检测模块206，其中：第一获取模块201用于获取ResNet50模型；去除模块202用于去除ResNet50模型的分类器；第二获取模块203用于获取织物疵点样本图像的特征值；提取模块204用于提取ResNet50模型的权重参数作为初始值；第三获取模块205用于根据特征值和初始值对ResNet50模型进行迁移学习，获取多种疵点类别识别模型；检测模块206用于根据多种疵点类别识别模型对待检测织物图像进行检测。
本发明实施例还提供了一种织物疵点的检测终端，如图3所示，该检测终端可以包括处理器31和存储器32，其中处理器31和存储器32可以通过总线或者其他方式连接，图3中以通过总线连接为例。
处理器31可以为中央处理器(Central Processing Unit，CPU)。处理器31还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的织物疵点检测方法对应的程序指令/模块(例如，图2所示的第一获取模块201，去除模块202，第二获取模块203，提取模块204，第三获取模块205和检测模块206)。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的织物疵点检测方法。
存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器31所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器32中，当被所述处理器31执行时，执行如图1所示实施例中的织物疵点的检测方法。
上述织物疵点的检测装置及终端具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
在具体实施例中，如图4至图6所示，如果残差映射(F(x))结果的维度与跳跃连接(x)的维度不同，就没有办法对它们进行相加操作，所以必须对x进行升维操作，使维度相同后才能相加计算，所以通常在跳跃连接(x)中加入stride为2的1*1特定卷积核，使x通过升维，让它的输出与卷积块的输出相同。
当反复堆叠残差模块时，可以构成不同深度的网络结构，本发明实施例尝试了ResNet18、ResNet34、ResNet50、ResNet101、ResNet152等多种深度的网络后，根据实验效果和计算量综合考虑，选用了50层的ResNet50网络，标准的不同层数的ResNet网络结构如图5所示。
由图5可以看出所有的ResNet网络第一层都是经过7*7卷积层，感受野较大，对于ImageNet数据库中的图像提取特征足够，但在本发明实施例中，织物疵点种类多且大多数疵点非常小，为了更加精确的对疵点进行分类这就需要提取更多有效特征，所以在设计网络时对第一层7*7卷积层进行了改进。用三个3x3的堆叠卷积层替换7x7卷积层，一方面3个卷积层使用了更多的非线性激活函数，使得判决函数更具有判决性；另一方面，还有效降低了计算参数量，假设卷积层的输入和输出的特征图大小相同为Z，三个3x3的卷积层参数个数3x((3x3xZ)xZ)＝27*Z2；一个7*7卷积层的参数个数为(7x7xZ)xZ＝49*Z2，所以在不改变初始感受野的情况改进网络第一层，能为疵点检测模型带来更好的性能。
除此之外，在疵点检测问题中，疵点占整幅图像面积较小，所以获取的信息占比也比较小，为了避免疵点信息丢失，本发明实施例在残差模块stride为2的1x1的卷积核做下采样前又加入一层2x2的平均池化层(avg-pool)整合空间信息，平均池化层没有参数，不改变全局参数量，同时可防止在该层出现过拟合，这样在不增加计算量的同时，有效避免信息丢失。
在具体实施例中，选用的疵点类型数据集中的部分图像如图7所示。对常见疵点擦洞进行数据增强后的部分图像如图8中的k、l、m、n所示。
在本实施例中，训练了前述涉及的所有模型，其中标准ResNet50网络模型训练过程的损失曲线和准确率曲线如图9所示；本发明实施例多种疵点类别识别模型训练过程损失曲线和准确率曲线如图10所示。
根据训练好的模型，使用训练样本中的测试集，对各模型和复现的传统检测算法分别进行实验验证，实验结果如表1所示。
表1主流算法模型与本发明实施例中的改进模型在训练数据集上的测试结果对比
Figure BDA0002289355950000141
由表1中的实验数据可知，改进ResNet50网络(多种疵点类别识别模型)的权重参数是实验模型中最少的，训练精度和验证精度不是最好的，但测试精度最高，测试速度最快，改进的ResNet50网络比标准ResNet50网络提升了4.2％的准确率，相较于ResNet152网络准确率低了0.13％，但网络权重几乎减少一半，速度提升近2倍。基于HOG特征的疵点检测方法在本数据集上的测试准确率只有70.51％，分析主要原因在于此算法会对原始图像进行切割分别提取图像块做检测处理，但没有对全局进行检测，导致检测时部分切割边缘被检测为疵点；从整体织物图像中获取代表织物局部纹理的LBP特征，进而实现瑕疵的无监督检测的检测方法在本发明实施例测试集中检测准确率只有69.95％，分析其主要原因在于此算法受限于提取LBP特征的子窗口大小，并且选取子窗口大小为织物纹理最小周期的2倍左右，而其测试织物疵点周期大小都在6-11个像素之间，实验样本不具有实际生产现场疵点大小代表性，本发明实施例测试集样本疵点大小不一，没有任何人工大小筛选，具有工业现场数据代表性。两种传统疵点检测算法的检测时间受限于检测样本疵点多少和疵点像素大小，无法进行有效统计，而本发明实施例算法相比较两种传统检测算法准确率分别提高25.81％和26.87％，同时检测速度不受疵点大小影响，速度恒定且快速。
综上，基于迁移学习和改进ResNet50网络的织物疵点检测算法相比较于传统检测算法优势明显，相比较于常见标准深度学习模型检测速度、精度更高，更加适应实际工业生产检测环境。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种织物疵点检测方法，其特征在于，包括：
获取ResNet50模型；
将所述ResNet50模型的第一分类器替换为第二分类器；
获取织物疵点样本图像的特征值；
提取所述ResNet50模型的权重参数作为初始值；
根据所述特征值和所述初始值对所述ResNet50模型进行迁移学习，获取多种疵点类别识别模型；
根据所述多种疵点类别识别模型对待检测织物图像进行检测。
2.根据权利要求1所述的织物疵点检测方法，其特征在于，在获取织物疵点样本图像的特征值之前，还包括：
以2560*1920的分辨率规格获取所述织物疵点样本图像；
以分辨率为320*320的滑动窗口和160的滑动步长对所述织物疵点样本图像进行切割，获得8*6份小尺寸图像；
对所述小尺寸图像进行图像增强；
其中，所述图像增强包括：
图像随机旋转，其变化参数范围为0～90°；
水平或垂直方向上平移，其变化参数范围为0～30％；
随机错切变换，其变化参数范围为0～90°；
透视变换，其变化参数范围为0～20％；
缩放，其变化参数范围为0～10％；
水平或垂直随机翻转。
3.根据权利要求1所述的织物疵点检测方法，其特征在于，根据所述特征值和所述初始值对所述ResNet50模型进行迁移学习，获取多种疵点类别识别模型，还包括：
获取所述多种疵点类别识别模型的学习特征
Figure FDA0002289355940000011
获取反向过程的梯度
Figure FDA0002289355940000021
根据残差映射(F(x))结果的维度与跳跃连接(x)的不同维度，对所述跳跃连接(x)进行相应的升维操作；
其中，残差结构计算公式为
y1＝h(xl)+F(xl,Wl)；
xl+1＝f(yl)；
其中，xl和xl+1分别表示第l个残差单元的输入和输出，其中每个所述残差单元包含多层结构；F(xl,Wl)是第l层的残差函数；H(x)＝Xl是第l层的恒等映射函数；f(yl)是yl经过激活函数转化为下一层的输入图像；i、l、L的取值为正整数。
4.根据权利要求3所述的织物疵点检测方法，其特征在于，根据残差映射(F(x))结果的维度与跳跃连接(x)的不同维度，对所述跳跃连接(x)进行相应的升维操作之前，还包括：
对所述跳跃连接(x)进行平均池化。
5.根据权利要求1所述的织物疵点检测方法，其特征在于，在获取多种疵点类别识别模型之后，还包括：
对所述多种疵点类别识别模型进行指标评估；其中，所述指标评估采用准确率(Accuracy，Acc)作为模型的评价指标。
6.根据权利要求1所述的织物疵点检测方法，其特征在于，根据所述特征值和所述初始值对所述ResNet50模型进行迁移学习，获取多种疵点类别识别模型，还包括：
监控所述多种疵点类别识别模型的训练损失率、验证损失率、训练准确率和验证准确率。
7.根据权利要求6所述的织物疵点检测方法，其特征在于，根据所述特征值和所述初始值对所述ResNet50模型进行迁移学习，获取多种疵点类别识别模型，还包括：
在所述ResNet50模型在连续100轮迁移学习的训练过程中，当所述验证准确率达到最大值并趋于稳定，验证集损失率达到最小值并趋于稳定时，提前终止训练。
8.根据权利要求1或2所述的织物疵点检测方法，其特征在于，在获取织物疵点样本图像的特征值前，还包括：
按照2：1的比例选择无瑕疵图像和有瑕疵图像作为训练样本集；
从所述无瑕疵图像和所述有瑕疵图像中各选择80％作为训练集，10％作为验证集，10％作为测试集。
9.根据权利要求2所述的织物疵点检测方法，其特征在于，根据所述特征值和所述初始值对所述ResNet50模型进行迁移学习，获取多种疵点类别识别模型，还包括：
对所述小尺寸图像进行dropout操作。
10.一种织物疵点的检测装置，其特征在于，包括：
第一获取模块，用于获取ResNet50模型；
去除模块，用于去除所述ResNet50模型的分类器；
第二获取模块，用于获取织物疵点样本图像的特征值；
提取模块，用于提取所述ResNet50模型的权重参数作为初始值；
第三获取模块，用于根据所述特征值和所述初始值对所述ResNet50模型进行迁移学习，获取多种疵点类别识别模型；
检测模块，用于根据所述多种疵点类别识别模型对待检测织物图像进行检测。
CN201911173471.1A 2019-11-26 2019-11-26 一种织物疵点检测方法及装置 Pending CN110889838A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911173471.1A CN110889838A (zh) 2019-11-26 2019-11-26 一种织物疵点检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911173471.1A CN110889838A (zh) 2019-11-26 2019-11-26 一种织物疵点检测方法及装置

Publications (1)

Publication Number Publication Date
CN110889838A true CN110889838A (zh) 2020-03-17

Family

ID=69748904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911173471.1A Pending CN110889838A (zh) 2019-11-26 2019-11-26 一种织物疵点检测方法及装置

Country Status (1)

Country Link
CN (1) CN110889838A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553898A (zh) * 2020-04-27 2020-08-18 东华大学 一种基于卷积神经网络的面料疵点检测方法
CN111681229A (zh) * 2020-06-10 2020-09-18 创新奇智(上海)科技有限公司 深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置
CN111753925A (zh) * 2020-07-02 2020-10-09 广东技术师范大学 一种多模型融合医学图像分类方法及设备
CN111862064A (zh) * 2020-07-28 2020-10-30 桂林电子科技大学 一种基于深度学习的银质丝材表面瑕疵识别方法
CN111882546A (zh) * 2020-07-30 2020-11-03 中原工学院 基于弱监督学习的三分支卷积网络织物疵点检测方法
CN111915593A (zh) * 2020-08-04 2020-11-10 中国科学院微电子研究所 模型建立方法、装置、电子设备及存储介质
CN113012153A (zh) * 2021-04-30 2021-06-22 武汉纺织大学 一种铝型材瑕疵检测方法
CN113284147A (zh) * 2021-07-23 2021-08-20 常州市新创智能科技有限公司 一种基于黄色异物疵点的异物检测方法和***
CN113837209A (zh) * 2020-06-23 2021-12-24 乐达创意科技股份有限公司 改良机器学习使用数据进行训练的方法及***
WO2024020994A1 (zh) * 2022-07-29 2024-02-01 宁德时代新能源科技股份有限公司 用于电芯的缺陷检测模型的训练方法和训练装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106872487A (zh) * 2017-04-21 2017-06-20 佛山市南海区广工大数控装备协同创新研究院 一种基于视觉的表面瑕疵检测方法及装置
CN109187579A (zh) * 2018-09-05 2019-01-11 深圳灵图慧视科技有限公司 织物疵点检测方法及装置、计算机设备及计算机可读介质
CN109509172A (zh) * 2018-09-25 2019-03-22 无锡动视宫原科技有限公司 一种基于深度学习的液晶屏瑕疵检测方法及***
CN109583489A (zh) * 2018-11-22 2019-04-05 中国科学院自动化研究所 缺陷分类识别方法、装置、计算机设备和存储介质
CN109978847A (zh) * 2019-03-19 2019-07-05 东南大学 基于迁移学习与拉索机器人的拉索外套病害自动识别方法
CN110391022A (zh) * 2019-07-25 2019-10-29 东北大学 一种基于多阶段迁移的深度学习乳腺癌病理图像细分诊断方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106872487A (zh) * 2017-04-21 2017-06-20 佛山市南海区广工大数控装备协同创新研究院 一种基于视觉的表面瑕疵检测方法及装置
CN109187579A (zh) * 2018-09-05 2019-01-11 深圳灵图慧视科技有限公司 织物疵点检测方法及装置、计算机设备及计算机可读介质
CN109509172A (zh) * 2018-09-25 2019-03-22 无锡动视宫原科技有限公司 一种基于深度学习的液晶屏瑕疵检测方法及***
CN109583489A (zh) * 2018-11-22 2019-04-05 中国科学院自动化研究所 缺陷分类识别方法、装置、计算机设备和存储介质
CN109978847A (zh) * 2019-03-19 2019-07-05 东南大学 基于迁移学习与拉索机器人的拉索外套病害自动识别方法
CN110391022A (zh) * 2019-07-25 2019-10-29 东北大学 一种基于多阶段迁移的深度学习乳腺癌病理图像细分诊断方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
春风琰玉: ""NetWork In Network"", 《HTTPS://WWW.IT610.COM/ARTICLE川76776515451432960.HTM》 *
春风琰玉: ""NetWork In Network"", 《HTTPS://WWW.IT610.COM/ARTICLE川76776515451432960.HTM》, 21 January 2018 (2018-01-21) *
罗俊丽: ""基于卷积神经网络和迁移学习的色织物疵点检测"", 《上海纺织科技》 *
罗俊丽: ""基于卷积神经网络和迁移学习的色织物疵点检测"", 《上海纺织科技》, vol. 47, no. 6, 30 June 2019 (2019-06-30), pages 2 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553898A (zh) * 2020-04-27 2020-08-18 东华大学 一种基于卷积神经网络的面料疵点检测方法
CN111681229A (zh) * 2020-06-10 2020-09-18 创新奇智(上海)科技有限公司 深度学习模型训练方法、可穿戴衣服瑕疵识别方法及装置
CN113837209A (zh) * 2020-06-23 2021-12-24 乐达创意科技股份有限公司 改良机器学习使用数据进行训练的方法及***
CN111753925A (zh) * 2020-07-02 2020-10-09 广东技术师范大学 一种多模型融合医学图像分类方法及设备
CN111862064A (zh) * 2020-07-28 2020-10-30 桂林电子科技大学 一种基于深度学习的银质丝材表面瑕疵识别方法
CN111862064B (zh) * 2020-07-28 2022-08-09 桂林电子科技大学 一种基于深度学习的银质丝材表面瑕疵识别方法
CN111882546A (zh) * 2020-07-30 2020-11-03 中原工学院 基于弱监督学习的三分支卷积网络织物疵点检测方法
CN111882546B (zh) * 2020-07-30 2023-08-01 中原工学院 基于弱监督学习的三分支卷积网络织物疵点检测方法
CN111915593A (zh) * 2020-08-04 2020-11-10 中国科学院微电子研究所 模型建立方法、装置、电子设备及存储介质
CN113012153A (zh) * 2021-04-30 2021-06-22 武汉纺织大学 一种铝型材瑕疵检测方法
CN113284147A (zh) * 2021-07-23 2021-08-20 常州市新创智能科技有限公司 一种基于黄色异物疵点的异物检测方法和***
WO2024020994A1 (zh) * 2022-07-29 2024-02-01 宁德时代新能源科技股份有限公司 用于电芯的缺陷检测模型的训练方法和训练装置

Similar Documents

Publication Publication Date Title
CN110889838A (zh) 一种织物疵点检测方法及装置
US11741593B2 (en) Product defect detection method, device and system
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
US20210374940A1 (en) Product defect detection method, device and system
US20210374941A1 (en) Product defect detection method, device and system
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN111833306B (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、***、装置及存储介质
CN110619618A (zh) 一种表面缺陷检测方法、装置及电子设备
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣***
CN108520114A (zh) 一种纺织布疵点检测模型及其训练方法和应用
CN110070531B (zh) 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN111798409A (zh) 一种基于深度学习的pcb缺陷数据生成方法
CN110889837A (zh) 一种具有瑕疵分级功能的布匹瑕疵检测方法
CN110689524B (zh) 一种无参考在线图像清晰度评价方法与***
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN116012291A (zh) 工业零件图像缺陷检测方法及***、电子设备和存储介质
CN112102224A (zh) 一种基于深度卷积神经网络的布匹疵点识别方法
CN115205209A (zh) 一种基于弱监督学习的单色布匹瑕疵检测方法
CN110619619A (zh) 一种缺陷检测方法、装置及电子设备
CN113435460A (zh) 一种亮晶颗粒灰岩图像的识别方法
CN111915593A (zh) 模型建立方法、装置、电子设备及存储介质
An et al. Fabric defect detection using deep learning: An Improved Faster R-approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination