CN108520114B - 一种纺织布疵点检测模型及其训练方法和应用 - Google Patents
一种纺织布疵点检测模型及其训练方法和应用 Download PDFInfo
- Publication number
- CN108520114B CN108520114B CN201810238038.0A CN201810238038A CN108520114B CN 108520114 B CN108520114 B CN 108520114B CN 201810238038 A CN201810238038 A CN 201810238038A CN 108520114 B CN108520114 B CN 108520114B
- Authority
- CN
- China
- Prior art keywords
- prediction
- defect detection
- textile fabric
- frame
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Treatment Of Fiber Materials (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种纺织布疵点检测模型及其训练方法和应用,其中训练方法包括采集样本纺织布疵点图像,建立数据集,基于YOLOv2建立纺织布疵点检测模型;在训练模型前使用维度聚类,在训练模型时,进行直接坐标预测、损失值计算、反向传播,得到当前网络权重参数;利用当前网络权重参数更新纺织布疵点检测模型的网络权重参数,然后利用训练集进行多次网络权重计算与更新,得到最优网络权重参数,即得到训练好的纺织布疵点检测模型。然后实时采集纺织布图像,利用训练好的纺织布疵点检测模型进行检测,得到纺织布图像的疵点检测结果。利用本发明的纺织布疵点检测模型进行疵点准确率高、实时性强、通用性。
Description
技术领域
本发明属于深度学习与计算机视觉技术领域,更具体地,涉及一种纺织布疵点检测模型及其训练方法和应用。
背景技术
在世界的纺织工业的生产与发展中,对纺织布的质量检测一直是一项非常重要的环节。但是在传统的纺织布的质量检测中,由于没有很好的自动化检测工具,大多的方案还是通过人工视觉去做判断,然而这种方案一方面依赖于人工的熟练程度,另一方面工人长时间工作容易疲劳,准确度难以保证。随着纺织布的生产量与生产速度的剧增,用人工视觉的方法愈发的不适应现代纺织工业的需求,急需要寻求一种自动,准确,快速进行质量或者疵点检测的方法。目前,国内对纺织布疵点的检测方法有基于统计的检测方法,基于频域的检测方法,基于模型的,以及基于机器视觉的方法,但是由于纺织布的疵点种类较多,纹理复杂,这些方法往往运算量大,速度慢,并且常常仅能针对某些特定类型的疵点做检测。
由此可见,现有纺织布疵点的检测方法存在准确率低、实时性差和不具有通用性的技术问题。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种纺织布疵点检测模型及其训练方法和应用,由此解决现有纺织布疵点的检测方法存在准确率低、实时性差和不具有通用性的技术问题。
为实现上述目的,按照本发明的一个方面,提供了一种纺织布疵点检测模型的训练方法,包括:
(1)采集样本纺织布疵点图像,对样本纺织布疵点图像进行标记得到疵点类别和包含疵点的真实框,进而建立数据集,基于YOLOv2建立纺织布疵点检测模型;
(2)对数据集中的真实框进行维度聚类,得到固定框,将固定框应用于纺织布疵点检测模型,利用直接坐标预测得到预测框,利用损失函数基于预测框进行损失值计算,得到预测误差,利用预测误差进行反向传播,得到当前网络权重参数;
(3)利用当前网络权重参数更新纺织布疵点检测模型的网络权重参数,然后利用训练集进行多次网络权重计算与更新,得到最优网络权重参数,即得到训练好的纺织布疵点检测模型。
进一步地,样本纺织布疵点图像包括:断经图像、断纬图像、破洞图像、异物图像、油污图像和折痕图像。
进一步地,纺织布疵点检测模型基于YOLOv2框架,总共32层,包含23个Convolutional层Conv1~Conv23、5个Maxpool层Max1~Max5、两个Route层Route1~Route2、一个Reorg层Reorg1、一个Softmax层Softmax1,所述纺织布疵点检测模型的级联方式为Convl依次连接Max1、Conv2、Max2、Conv3~Conv5、Max3、Conv6~Conv8、Max4、Conv9~Conv13、Max5、Conv14~Conv20、Route1、Conv21、Reorg1、Route2、Conv22、Conv23和Softmax1。
进一步地,纺织布疵点检测模型中的Conv1~Conv22在进行卷积前均进行批归一化,Conv1~Conv22在进行卷积后均使用leaky-ReLU激活函数;Conv23在卷积前没有进行批归一化,在卷积后使用linear激活函数。
进一步地,纺织布疵点检测模型在训练过程中采用多尺度训练。
进一步地,步骤(2)包括:
(2-1)对于数据集中的真实框进行维度聚类得到聚类框,利用聚类框与真实框的交并比IOU(box,centroid)得到距离度量中心偏差值d(box,centroid)=1-IOU(box,centroid),当距离度量中心偏差值小于等于度量阈值时,得到固定框的宽高;度量阈值为10-6;
(2-2)将固定框应用于纺织布疵点检测模型,根据固定框的宽高得到预测中心相对参数和宽高相对参数后,利用直接坐标预测得到预测框的中心坐标和预测框的宽高;
(2-3)利用损失函数基于预测框的中心坐标和预测框的宽高进行损失计算,得到预测误差,利用预测误差进行反向传播,得到当前网络权重参数。
进一步地,直接坐标预测为:
bx=σ(tx)+cx
by=σ(ty)+cy
其中,(bx,by)为预测框的中心坐标,bw和bh分别为预测框的宽和高,(tx,ty)为预测中心相对参数,tw和th分别为预测宽高相对参数,σ(tx)和σ(ty)分别是预测框中心偏离其所在cell左上角的水平方向和垂直方向的距离,cx和cy分别为固定框中心所在cell与样本纺织布疵点图像左上角的水平方向和垂直方向的距离,pw和ph分别为固定框的宽和高。
进一步地,损失函数为:
其中,loss为预测误差,损失函数的第一行公式表示包含疵点和不包含疵点的网格的置信度损失,为第i个网格包含疵点的置信度,Ci为第i个网格中是否有疵点,Ci为1或0,表示遍历i个网格中的j个预测框中不包含疵点的预测框,表示遍历i个网格中的j个预测框中包含疵点的预测框;损失函数的第二行公式表示类别预测的损失和梯度,为第i个网格预测的类别值,pi(c)为第i个网格的真实类别值,损失函数的第三行公式表示预测框的边框信息梯度,wi和hi表示第i个网格中真实框的宽和高,和表示第i个网格中预测框的宽和高,(xi,yi)表示第i个网格中真实框的中心坐标,表示第i个网格中预测框的中心坐标,损失函数的第四行公式表示不包含疵点预测框的梯度,(pjx,pjy)表示不包含疵点的第j个预测框的中心坐标,pjw和pjh表示不包含疵点的第j个预测框的宽和高,l.w和l.h均为13,l.n为5,λnoobj=1,λobj=5,λclass=1,λcoord=1。
按照本发明的另一方面,提供了一种纺织布疵点检测模型,所述纺织布疵点检测模型由上述一种纺织布疵点检测模型的训练方法训练得到。
按照本发明的另一方面,提供了一种纺织布疵点检测模型的应用,包括:实时采集纺织布图像,利用训练好的纺织布疵点检测模型进行检测,得到纺织布图像的疵点检测结果。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
(1)本发明所提出的一种纺织布疵点检测模型的训练方法,基于深度学习框架YOLOv2构建纺织布疵点检测模型,它通过多层卷积操作对图像特征进行提取和融合,并且使用了固定框,维度聚类,直接坐标预测,多尺度训练,批归一化进行网络优化,提高训练效果,并且能实时监控训练过程中的准确率,损失函数值等数据。
(2)利用本发明训练好的纺织布疵点检测模型进行疵点检测时,可以有效的检测出纺织布上的断经,断纬,破洞,异物,折痕,油污等常见疵点,提高了检测方法的准确性,实时性和通用性。同时,检测速度快,每张图片仅需12.5ms,精度高,达到96%以上。
(3)本发明没有采用传统的欧式距离函数,而是利用聚类框与真实框的交并比IOU(box,centroid)得到距离度量中心偏差值d(box,centroid)=1-IOU(box,centroid),由此得到的固定框的数据更准确,提高了后续训练模型的准确率,进而提高了疵点检测的准确率。
(4)本发明纺织布疵点检测模型的卷积层Convolutional通过卷积运算提取出图像的边缘特征,随着卷积层数越多,获得的图像特征越准确,但是过多的卷积层也会增加运算量,甚至导致过拟合。所以本发明设置23个Convolutional层,可以在保证准确的同时使得运算量较小,本发明纺织布疵点检测模型中还涉及到Maxpool层,Route层,Reorg层,Softmax层。其中,Maxpool层通过下采样,可以有效的减少数据量,并且保留图像的有用特征。Route层叫做路由层,可以将几个层的特征拼接到一起,有利于提取并融合多层特征。Reorg层可以将输入层的尺寸匹配输出的特征图的尺寸,达到调整尺寸的目的。
附图说明
图1是本发明实施例提供的一种纺织布疵点检测模型的应用流程图;
图2(a)是本发明实施例1提供的loss的变化曲线;
图2(b)是本发明实施例1提供的IOU的变化曲线;
图3(a)是本发明实施例1提供的纺织布疵点检测模型对断经的检测效果图;
图3(b)是本发明实施例1提供的纺织布疵点检测模型对断纬的检测效果图;
图3(c)是本发明实施例1提供的纺织布疵点检测模型对破洞的检测效果图;
图3(d)是本发明实施例1提供的纺织布疵点检测模型对异物的检测效果图;
图3(e)是本发明实施例1提供的纺织布疵点检测模型对油污的检测效果图;
图3(f)是本发明实施例1提供的纺织布疵点检测模型对折痕的检测效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,一种纺织布疵点检测模型的应用,包括:
(1)采集样本纺织布疵点图像,包括:断经图像、断纬图像、破洞图像、异物图像、油污图像和折痕图像。对样本纺织布疵点图像进行标记得到疵点类别和包含疵点的真实框,进而建立数据集,基于YOLOv2建立纺织布疵点检测模型;纺织布疵点检测模型基于YOLOv2框架,总共32层,包含23个Convolutional层Conv1~Conv23、5个Maxpool层Max1~Max5、两个Route层Route1~Route2、一个Reorg层Reorg1、一个Softmax层Softmax1,所述纺织布疵点检测模型的级联方式为Conv1依次连接Max1、Conv2、Max2、Conv3~Conv5、Max3、Conv6~Conv8、Max4、Conv9~Conv13、Max5、Conv14~Conv20、Route1、Conv21、Reorg1、Route2、Conv22、Conv23和Softmax1。纺织布疵点检测模型中的Conv1~Conv22在进行卷积前均进行批归一化,Conv1~Conv22在进行卷积后均使用leaky-ReLU激活函数;Conv23在卷积前没有进行批归一化,在卷积后使用linear激活函数。
(2)对数据集中的真实框进行维度聚类,得到固定框,将固定框应用于纺织布疵点检测模型,利用直接坐标预测得到预测框,利用损失函数基于预测框进行损失值计算,得到预测误差,利用预测误差进行反向传播,得到当前网络权重参数;包括:
(2-1)对于数据集中的真实框进行维度聚类得到聚类框,利用聚类框与真实框的交并比IOU(box,centroid)得到距离度量中心偏差值d(box,centroid)=1-IOU(box,centroid),当距离度量中心偏差值小于等于度量阈值时,得到固定框的宽高;度量阈值为10-6;
(2-2)将固定框应用于纺织布疵点检测模型,根据固定框的宽高得到预测中心相对参数和宽高相对参数后,利用直接坐标预测得到预测框的中心坐标和预测框的宽高;
(2-3)利用损失函数基于预测框的中心坐标和预测框的宽高进行损失计算,得到预测误差,利用预测误差进行反向传播,得到当前网络权重参数。
直接坐标预测为:
bx=σ(tx)+cx
by=σ(ty)+cy
其中,(bx,by)为预测框的中心坐标,bw和bh分别为预测框的宽和高,(tx,ty)为预测中心相对参数,tw和th分别为预测宽高相对参数,σ(tx)和σ(ty)分别是预测框中心偏离其所在cell左上角的水平方向和垂直方向的距离,cx和cy分别为固定框中心所在cell与样本纺织布疵点图像左上角的水平方向和垂直方向的距离,pw和ph分别为固定框的宽和高。
进一步地,损失函数为:
其中,loss为预测误差,损失函数的第一行公式表示包含疵点和不包含疵点的网格的置信度损失,为第i个网格包含疵点的置信度,Ci为第i个网格中是否有疵点,Ci为1或0,表示遍历i个网格中的j个预测框中不包含疵点的预测框,表示遍历i个网格中的j个预测框中包含疵点的预测框;损失函数的第二行公式表示类别预测的损失和梯度,为第i个网格预测的类别值,pi(c)为第i个网格的真实类别值,损失函数的第三行公式表示预测框的边框信息梯度,wi和hi表示第i个网格中真实框的宽和高,和表示第i个网格中预测框的宽和高,(xi,yi)表示第i个网格中真实框的中心坐标,表示第i个网格中预测框的中心坐标,损失函数的第四行公式只在12800样本之前存在,计算到超过了该样本数就去掉该项,损失函数的第四行公式表示不包含疵点预测框的梯度,(pjx,pjy)表示不包含疵点的第j个预测框的中心坐标,pjw和pjh表示不包含疵点的第j个预测框的宽和高,l.w和l.h均为13,l.n为5,λnoobj=1,λobj=5,λclass=1,λcoord=1。
(3)利用当前网络权重参数更新纺织布疵点检测模型的网络权重参数,然后利用训练集进行多次网络权重计算与更新,得到最优网络权重参数,即得到训练好的纺织布疵点检测模型;纺织布疵点检测模型在训练过程中采用多尺度训练。
(4)实时采集纺织布图像,利用训练好的纺织布疵点检测模型进行检测,得到纺织布图像的疵点检测结果。
实施例1
本发明所使用的卷积神经网络原则上可以接受任意像素图像的输入,但是考虑到像素太大的图像会导致resize后小疵点会失真,像素太小的图像又会导致某些特征提取不到,官方给出的参考像素是416×416,本发明实施例1考虑到一次性识别布匹的范围尽量大以及特征提取的充分性,所以采用了1216×1020的像素大小。
一种纺织布疵点检测模型的应用,包括:
(1)使用工业相机采集并选取包含断经、断纬、破洞、异物、油污、折痕六类疵点的图像作为样本纺织布疵点图像,样本纺织布疵点图像为jpg格式的分辨率为96dpi的三通道彩色图像,像素为1216×1020;新建两个文件夹为训练集文件夹train和测试集文件夹test,分别用来存放训练集和测试集图像;随机选取大量并且等量的包含断经、断纬、破洞、杂物、油污、折痕六类疵点的图像存入训练集文件夹train中,本例选取了包含断经、断纬、破洞、杂物、油污、折痕每类疵点的各1000张,总共6000张图像;然后,随机选取数量为训练集文件夹图像的10%的包含断经、断纬、破洞、杂物、油污、折痕六类疵点的图像存入测试集文件夹test,本例选取了包含断经、断纬、破洞、杂物、油污、折痕每类疵点的各100张,总共600张图像,最后,新建一个文件夹并命名为JPEGImages,将训练集文件夹train和测试集文件夹test中的所有图片都复制到文件夹JPEGImages并进行编号,保存为XXXX.jpg,其中XXXX为四位数字编号,训练集中的图像编号从0000~5999,测试集中的图像编号从6000~6599,并且在此过程中需要记录训练集中图像的编号和测试集中图像的编号;新建文件夹Annotations;然后,应用图像标注软件,本例选择的labelimg软件标注图像,标注文件夹JPEGImages中图片的疵点类别和疵点区域,由labelimg软件生成XXXX.xml标签文件,XXXX为图像编号,并全部存入文件夹Annotations中;然后新建文件夹ImageSets,建立子目录Main,并在其中新建train.txt,val.txt文档,在train.txt中存入所有训练集图片的路径,在val.txt中存入所有测试集图片的路径,格式为YYY/JPEGImages/XXXX.jpg,其中YYY表示JPEGImages文件夹所在的路径,XXXX表示图像编号;由文件夹JPEGImages,Annotations,ImageSets三个文件夹中的所有数据共同构建了本发明所需要的VOC数据集。
纺织布疵点检测模型基于YOLOv2框架,总共32层,包含23个Convolutional层Conv1~Conv23、5个Maxpool层Max1~Max5、两个Route层Route1~Route2、一个Reorg层Reorg1、一个Softmax层Softmax1,所述纺织布疵点检测模型的级联方式为Conv1依次连接Max1、Conv2、Max2、Conv3~Conv5、Max3、Conv6~Conv8、Max4、Conv9~Conv13、Max5、Conv14~Conv20、Route1、Conv21、Reorg1、Route2、Conv22、Conv23和Softmax1。纺织布疵点检测模型中的Conv1~Conv22在进行卷积前均进行批归一化,Conv1~Conv22在进行卷积后均使用leaky-ReLU激活函数;Conv23在卷积前没有进行批归一化,在卷积后使用linear激活函数。
在Conv1层:输入的图像大小是416×416×3,卷积核为3×3,共32个,步长为1;
在Max1层:输入的图像大小是416×416×32,核大小为2×2,步长为2;
在Conv2层:输入的图像大小是208×208×32,卷积核为3×3,共64个,步长为1;
在Max2层:输入的图像大小是208×208×64,核大小为2×2,步长为2;
在Conv3层:输入的图像大小是104×104×64,卷积核为3×3,共128个,步长为1;
在Conv4层:输入的图像大小是104×104×128,卷积核为1×1,共64个,步长为1;
在Conv5层:输入的图像大小是104×104×64,卷积核为3×3,共128个,步长为1;
在Max3层:输入的图像大小是104×104×128,核大小为2×2,步长为2;
在Conv6层:输入的图像大小是52×52×128,卷积核为3×3,共256个,步长为1;
在Conv7层:输入的图像大小是52×52×256,卷积核为1×1,共128个,步长为1;
在Conv8层:输入的图像大小是52×52×128,卷积核为3×3,共256个,步长为1;
在Max4层:输入的图像大小是52×52×256,核大小为2×2,步长为2;
在Conv9层:输入的图像大小是26×26×256,卷积核为3×3,共512个,步长为1;
在Conv10层:输入的图像大小是26×26×512,卷积核为1×1,共256个,步长为1;
在Conv11层:输入的图像大小是26×26×256,卷积核为3×3,共512个,步长为1;
在Conv12层:输入的图像大小是26×26×512,卷积核为1×1,共256个,步长为1;
在Conv13层:输入的图像大小是26×26×256,卷积核为3×3,共512个,步长为1;
在Max5层:输入的图像大小是26×26×512,核大小为2×2,步长为2;
在Conv14层:输入的图像大小是13×13×512,卷积核为3×3,共1024个,步长为1;
在Conv15层:输入的图像大小是13×13×1024,卷积核为1×1,共512个,步长为1;
在Conv16层:输入的图像大小是13×13×512,卷积核为3×3,共1024个,步长为1;
在Conv17层:输入的图像大小是13×13×1024,卷积核为1×1,共512个,步长为1;
在Conv18层:输入的图像大小是13×13×512,卷积核为3×3,共1024个,步长为1;
在Conv19层:输入的图像大小是13×13×1024,卷积核为3×3,共1024个,步长为1;
在Conv20层:输入的图像大小是13×13×1024,卷积核为3×3,共1024个,步长为1;
在Route1层:结合了Conv13层输出的特征;
在Conv21层:输入的图像大小是26×26×512,卷积核为1×1,共64个,步长为1;
在Reorg1层:将上层得到的图像改变大小,步长为2,输入图像是26×26×64,输出图像13×13×256;
在Route2层:结合了Reorg1输出的特征图和Conv20层输出的特征图,输出图像大小为13×13×1280;
在Conv22层:输入的图像大小是13×13×1280,卷积核为3×3,共1024个,步长为1;
在Conv23层:输入的图像大小是13×13×1024,卷积核为1×1,共55个,步长为1;
在softmax层根据输入的13×13×55的特征图进行分类,最终选择55个特征图是因为定义的k=5,则选择5个固定框来预测,而每个固定框需要预测6种类别,4个边框参数,以及一个置信度,所以55=5×(6+4+1)。
Maxpool层的池化方式为最大值池化,采样核为2,步长为2。
在Conv1~Conv22卷积层均使用了leaky-ReLU激活函数,该函数的激活公式为:
f(x)=αx,(x<0)
f(x)=x,(x≥0)
其中,α=0.1;可以有效改善ReLU激活函数的易导致神经元“坏死”的情况,而在Conv23卷积层后使用了linear线性激活函数,为了在线性分类层进行分类。
维度聚类是使用机器学习中K-means聚类方法,对训练样本的真实框进行K-means聚类,从统计学上获得固定框的数目和固定框的宽高。采用的聚类中心k=5,五个中心的宽高为(1.3221,1.73145),(3.19275,4.00944),(5.05587,8.09892),(9.47112,4.84053),(11.2364,10.0071),宽和高的极大值均为13。
多尺度训练是指所述的卷积神经网络在训练过程中每经过10批训练就会更改输入图像的分辨率,在{320,352,384……608}范围内随机选择新的分辨率进行训练。
上述模型中,Softmax层中分类器节点数目为6,类别编号0,1,2,3,4,5分别对应断经、断纬、破洞、异物、油污、折痕六类疵点的输出结果。如果六类疵点均未检测到,则代表无疵点。
(2)利用在VOC格式的数据集,将Annotations中的XXXX.xml标签文件里面的<object>和<bndbox>信息进行提取并将边框信息转化为中心点加宽高信息,得到YOLOv2框架需要的输入标签类型,格式示意为:<object-class><x><y><width><height>,保存所有的标签信息为XXXX.txt,新建一个Labels文件夹装入所有的XXXX.txt文件。其中,object-class表示疵点类别,x,y表示疵点中心点位置,width和height表示疵点宽和高,XXXX表示图像编号。然后,利用建立的基于YOLOv2框架的卷积神经网络的纺织布疵点检测模型和VOC格式的数据集,以及所有的XXXX.txt文件进行模型的训练。
模型训练的参数配置为:输入的图像width=416,height=416,三通道。每一批分8组,共64张图像进行训练,总共80200批。同时,为了使得训练的样本更充分,对于每次迭代训练,YOLOv2会基于角度(angle),饱和度(saturation),曝光(exposure),色调(hue)产生新的训练图片。同时,设置的学习率是0.001,学习率调整策略是步进,在批次等于40000、60000时进行变化,变化的方式是依次乘以scales中的数值。同时,该网络还设置了抖动(jitter)产生更多数据,在一方面防止过拟合。
在训练过程中可以实时的查看当前训练批次和进度,可以观察平均损失值(avg_loss)和图像交并比(IOU)的值为合适值时,停止训练。如图2(a)和2(b)所示,本发明实施例经过80200批的训练之后,平均损失值(avg_loss)在2.0左右波动,图像交并比(IOU)达到了0.8以上,得到训练好的检测网络。
在训练好的检测网络中,在不同的训练总批次下进行测试集的测试,在训练总批次在10000次时的召回率(Recall)是83.39%,精准率(Precision)是83.60%,图像交并比(IOU)是64.65%;在训练总批次在20000次时的召回率(Recall)是93.85%,精准率(Precision)是92.82%,图像交并比(IOU)是75.04%;在训练总批次在30000次时的召回率(Recall)是95.82%,精准率(Precision)是91.97%,图像交并比(IOU)是77.36%;在训练总批次在40000次时的召回率(Recall)是96.19%,精准率(Precision)是92.98%,图像交并比(IOU)是79.30%;在训练总批次在50000次时的召回率(Recall)是96.43%,精准率(Precision)是94.23%,图像交并比(IOU)是80.59%;在训练总批次在60000次时的召回率(Recall)是96.68%,精准率(Precision)是94.13%,图像交并比(IOU)是80.46%;在训练总批次在70000次时的召回率(Recall)是96.31%,精准率(Precision)是93.88%,图像交并比(IOU)是80.13%;在训练总批次在80000次时的召回率(Recall)是96.31%,精准率(Precision)是94.22%,图像交并比(IOU)是80.59%;可以看出,本模型在看重召回率(Recall)时,在训练批次为60000时,效果最好,因此本模型最终选择训练批次为60000时的权重。
(3)实时采集纺织布图像,利用训练好的基于YOLOv2框架的卷积神经网络的纺织布疵点检测模型进行检测,得到纺织布图像的疵点检测结果,部分结果如图3所示,图3(a),图3(b),图3(c),图3(d),图3(e),图3(f)分别对应疵点类型为断经(warp-lacking),断纬(weft-lacking),破洞(hole),异物(sundries),油污(oil),折痕(crease)的检测结果。
可以看出,本发明针对传统的人工疵点检测耗时耗力且效率低,以及现有的自动检测方法复杂,且复杂度极高,难以在工业上实用的弊端,建立了一种基于YOLOv2的纺织布疵点检测模型与方法,该检测模型在准确度和实时性上都具有很大的优势。识别精准,每张图像的疵点识别仅需12.5ms左右,大大提高了现有检测方法的性能。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种纺织布疵点检测模型的训练方法,其特征在于,包括:
(1)采集样本纺织布疵点图像,对样本纺织布疵点图像进行标记得到疵点类别和包含疵点的真实框,进而建立数据集,基于YOLOv2建立纺织布疵点检测模型;
(2)对数据集中的真实框进行维度聚类,得到固定框,将固定框应用于纺织布疵点检测模型,利用直接坐标预测得到预测框,利用损失函数基于预测框进行损失值计算,得到预测误差,利用预测误差进行反向传播,得到当前网络权重参数;
(3)利用当前网络权重参数更新纺织布疵点检测模型的网络权重参数,然后利用训练集进行多次网络权重计算与更新,得到最优网络权重参数,即得到训练好的纺织布疵点检测模型;
所述步骤(2)包括:
(2-1)对于数据集中的真实框进行维度聚类得到聚类框,利用聚类框与真实框的交并比IOU(box,centroid)得到距离度量中心偏差值d(box,centroid)=1-IOU(box,centroid),当距离度量中心偏差值小于等于度量阈值时,得到固定框的宽高;
(2-2)将固定框应用于纺织布疵点检测模型,根据固定框的宽高得到预测中心相对参数和宽高相对参数后,利用直接坐标预测得到预测框的中心坐标和预测框的宽高;
(2-3)利用损失函数基于预测框的中心坐标和预测框的宽高进行损失计算,得到预测误差,利用预测误差进行反向传播,得到当前网络权重参数;
所述损失函数为:
其中,loss为预测误差,损失函数的第一行公式表示包含疵点和不包含疵点的网格的置信度损失,为第i个网格包含疵点的置信度,Ci为第i个网格中是否有疵点,Ci为1或0,表示遍历i个网格中的j个预测框中不包含疵点的预测框,表示遍历i个网格中的j个预测框中包含疵点的预测框;损失函数的第二行公式表示类别预测的损失和梯度,为第i个网格预测的类别值,pi(c)为第i个网格的真实类别值,损失函数的第三行公式表示预测框的边框信息梯度,wi和hi表示第i个网格中真实框的宽和高,和表示第i个网格中预测框的宽和高,(xi,yi)表示第i个网格中真实框的中心坐标,表示第i个网格中预测框的中心坐标,损失函数的第四行公式表示不包含疵点预测框的梯度,(pjx,pjy)表示不包含疵点的第j个预测框的中心坐标,pjw和pjh表示不包含疵点的第j个预测框的宽和高,l.w和l.h均为13,l.n为5,λnoobj=1,λobj=5,λclass=1,λcoord=1。
2.如权利要求1所述的一种纺织布疵点检测模型的训练方法,其特征在于,所述样本纺织布疵点图像包括:断经图像、断纬图像、破洞图像、异物图像、油污图像和折痕图像。
3.如权利要求1或2所述的一种纺织布疵点检测模型的训练方法,其特征在于,所述纺织布疵点检测模型基于YOLOv2框架总共32层,包含23个Convolutional层Conv1~Conv23、5个Maxpool层Max1~Max5、两个Route层Route1~Route2、一个Reorg层Reorg1、一个Softmax层Softmax1,所述纺织布疵点检测模型的级联方式为Conv1依次连接Max1、Conv2、Max2、Conv3~Conv5、Max3、Conv6~Conv8、Max4、Conv9~Conv13、Max5、Conv14~Conv20、Routel、Conv21、Reorg1、Route2、Conv22、Conv23和Softmax1。
4.如权利要求3所述的一种纺织布疵点检测模型的训练方法,其特征在于,所述纺织布疵点检测模型中的Conv1~Conv22在进行卷积前均进行批归一化,Conv1~Conv22在进行卷积后均使用leaky-ReLU激活函数;Conv23在卷积前没有进行批归一化,在卷积后使用linear激活函数。
5.如权利要求1或2所述的一种纺织布疵点检测模型的训练方法,其特征在于,所述纺织布疵点检测模型在训练过程中采用多尺度训练。
7.一种纺织布疵点检测装置,其特征在于,所述纺织布疵点检测模型由权利要求1-6任一所述的一种纺织布疵点检测模型的训练方法训练得到。
8.如权利要求7所述的一种纺织布疵点检测装置的应用,其特征在于,包括:实时采集纺织布图像,利用纺织布疵点检测装置进行检测,得到纺织布图像的疵点检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810238038.0A CN108520114B (zh) | 2018-03-21 | 2018-03-21 | 一种纺织布疵点检测模型及其训练方法和应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810238038.0A CN108520114B (zh) | 2018-03-21 | 2018-03-21 | 一种纺织布疵点检测模型及其训练方法和应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108520114A CN108520114A (zh) | 2018-09-11 |
CN108520114B true CN108520114B (zh) | 2020-05-19 |
Family
ID=63432938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810238038.0A Active CN108520114B (zh) | 2018-03-21 | 2018-03-21 | 一种纺织布疵点检测模型及其训练方法和应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108520114B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109460761A (zh) * | 2018-10-17 | 2019-03-12 | 福州大学 | 基于维度聚类和多尺度预测的银行卡***检测与识别方法 |
CN109615610B (zh) * | 2018-11-13 | 2023-06-06 | 浙江师范大学 | 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法 |
CN110197208A (zh) * | 2019-05-14 | 2019-09-03 | 江苏理工学院 | 一种纺织品瑕疵智能检测分类方法及装置 |
CN110310259B (zh) * | 2019-06-19 | 2021-07-27 | 江南大学 | 一种基于改进YOLOv3算法的木结瑕疵检测方法 |
CN111191648B (zh) * | 2019-12-30 | 2023-07-14 | 飞天诚信科技股份有限公司 | 一种基于深度学习网络进行图像识别的方法及装置 |
CN111402226A (zh) * | 2020-03-13 | 2020-07-10 | 浙江工业大学 | 一种基于级联卷积神经网络的表面疵点检测方法 |
CN111553898A (zh) * | 2020-04-27 | 2020-08-18 | 东华大学 | 一种基于卷积神经网络的面料疵点检测方法 |
CN111724377A (zh) * | 2020-06-22 | 2020-09-29 | 创新奇智(上海)科技有限公司 | 断纱检测方法、装置、电子设备、存储介质及停机*** |
CN111881774A (zh) * | 2020-07-07 | 2020-11-03 | 上海艾豚科技有限公司 | 一种用于识别纺织原料中异物的方法及*** |
CN112036541B (zh) * | 2020-10-16 | 2023-11-17 | 西安工程大学 | 一种基于遗传算法优化神经网络的织物疵点检测方法 |
CN112215824A (zh) * | 2020-10-16 | 2021-01-12 | 南通大学 | 基于YOLO-v3的布面疵点检测及辅助装置与方法 |
CN112270252A (zh) * | 2020-10-26 | 2021-01-26 | 西安工程大学 | 一种改进YOLOv2模型的多车辆目标识别方法 |
CN113870870B (zh) * | 2021-12-02 | 2022-04-05 | 自然资源部第一海洋研究所 | 一种基于卷积神经网络的海洋哺乳动物发声实时识别方法 |
CN114372968B (zh) * | 2021-12-31 | 2022-12-27 | 江南大学 | 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107123107A (zh) * | 2017-03-24 | 2017-09-01 | 广东工业大学 | 基于神经网络深度学习的布匹缺陷检测方法 |
US9760806B1 (en) * | 2016-05-11 | 2017-09-12 | TCL Research America Inc. | Method and system for vision-centric deep-learning-based road situation analysis |
CN107169956A (zh) * | 2017-04-28 | 2017-09-15 | 西安工程大学 | 基于卷积神经网络的色织物疵点检测方法 |
CN107369155A (zh) * | 2017-07-24 | 2017-11-21 | 广东工业大学 | 一种基于机器视觉的布匹表面疵点检测方法及其*** |
-
2018
- 2018-03-21 CN CN201810238038.0A patent/CN108520114B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9760806B1 (en) * | 2016-05-11 | 2017-09-12 | TCL Research America Inc. | Method and system for vision-centric deep-learning-based road situation analysis |
CN107123107A (zh) * | 2017-03-24 | 2017-09-01 | 广东工业大学 | 基于神经网络深度学习的布匹缺陷检测方法 |
CN107169956A (zh) * | 2017-04-28 | 2017-09-15 | 西安工程大学 | 基于卷积神经网络的色织物疵点检测方法 |
CN107369155A (zh) * | 2017-07-24 | 2017-11-21 | 广东工业大学 | 一种基于机器视觉的布匹表面疵点检测方法及其*** |
Non-Patent Citations (3)
Title |
---|
基于回归的深度学习的织染布疵点检测的研究;Jun-Feng Jing, et al;《Textile Bioengineering and Informatics Symposium Proceedings (TBIS 2017)》;20170531;正文第1030-1036页 * |
基于改进YOLOv2网络的遗留物检测算法;张瑞林 等;《浙江理工大学学报(自然科学版)》;20171211;正文第325-332页 * |
室内监控场景的对象检测与行为分析方法研究;习自;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180215;正文第10-29页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108520114A (zh) | 2018-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520114B (zh) | 一种纺织布疵点检测模型及其训练方法和应用 | |
CN110827251B (zh) | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 | |
CN111444939B (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
CN111402226A (zh) | 一种基于级联卷积神经网络的表面疵点检测方法 | |
CN109285139A (zh) | 一种基于深度学习的x射线成像焊缝检测方法 | |
CN115731164A (zh) | 基于改进YOLOv7的绝缘子缺陷检测方法 | |
CN111462051B (zh) | 一种基于深度神经网络的布匹疵点检测方法和*** | |
CN105957082A (zh) | 一种基于面阵相机的印刷质量在线监测方法 | |
CN108830285A (zh) | 一种基于Faster-RCNN的加强学习的目标检测方法 | |
CN108596203A (zh) | 并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法 | |
CN111382785A (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
CN107016664A (zh) | 一种大圆机的坏针瑕疵检测方法 | |
CN112102224A (zh) | 一种基于深度卷积神经网络的布匹疵点识别方法 | |
CN117152484B (zh) | 基于改进的YOLOv5s的小目标布匹瑕疵检测方法 | |
CN115937517A (zh) | 一种基于多光谱融合的光伏故障自动检测方法 | |
CN116029979A (zh) | 一种基于改进Yolov4的布料瑕疵视觉检测方法 | |
CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
CN115100497A (zh) | 基于机器人的通道异常物体巡检方法、装置、设备及介质 | |
CN111652846A (zh) | 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法 | |
CN110618129A (zh) | 一种电网线夹自动检测与缺陷识别方法及装置 | |
Mirani et al. | Object recognition in different lighting conditions at various angles by deep learning method | |
CN111738310B (zh) | 物料分类方法、装置、电子设备和存储介质 | |
CN116958073A (zh) | 基于注意力特征金字塔机制的小样本钢材缺陷检测方法 | |
CN111709429A (zh) | 一种基于卷积神经网络的机织物结构参数识别方法 | |
CN112257514B (zh) | 一种用于设备故障巡检的红外视觉智检的拍摄方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |