CN110930387A - 基于深度可分离卷积神经网络的织物疵点检测方法 - Google Patents

Abstract

本发明提出了一种基于深度可分离卷积神经网络的织物疵点检测方法，其步骤为：首先，通过标注工具对采集的织物疵点图像进行标注作为织物图像数据集，并将织物图像数据集分成训练集和测试集；其次，构建深度可分离卷积模块，利用深度可分离卷积模块搭建DefectNet网络；再将训练集输入DefectNet网络中进行训练，利用异步梯度下降的训练策略调整DefectNet网络的参数，得到DefectNet网络模型；最后，将测试集中的织物图像输入DefectNet网络模型中，得到图像中的目标疵点及位置坐标，并在图像中框出疵点目标。本发明将深度可分离卷积和多尺度特征提取相结合搭建卷积神经网络模型，具有很高检测精度，极大提高了检测速度，达到实时检测的要求。

Description

基于深度可分离卷积神经网络的织物疵点检测方法

技术领域

本发明涉及图像处理技术领域，特别是指一种基于深度可分离卷积神经网络的织物疵点检测方法。

背景技术

在纺织生产过程中往往会产生各类疵点，严重影响纺织品的产品质量，给企业带来较大损失。织物疵点检测是在织物表面发现疵点，准确定位疵点位置，并判断疵点种类的过程。目前一般采用人工检测织物疵点，但人工检测织物疵点容易受到主观因素的影响，使得检测的精度较低且检测效率低、成本高。因此，基于计算机视觉的织物疵点自动检测技术成为研究的热点。

目前的织物疵点检测算法主要分为：基于统计分析、频域分析、模型分析、结构分析等几大类。统计分析方法通过计算与周围环境灰度值的对比来检测织物的疵点；频谱方法将测试图像变换到频域，然后通过计算频谱系数之间的差异来检测疵点，包括傅立叶变换、Gabor变换、小波变换等；基于模型的方法首先利用参数估计技术对正常图像的纹理特征进行建模，然后将测试图像与正常纹理模型进行比较，检测出疵点图像。这些方法针对特定的布匹种类具有良好的疵点检测能力，但随着整个社会纺织工业的不断发展，织物的种类变得越来越多样，纹理和图案特征也变得越来越复杂，传统检测方法特征提取能力不足，且计算复杂、检测速度慢，难以满足工业生产要求。

近年来，以卷积神经网络为代表的机器学习技术得到快速的发展。卷积神经网络具有很强的特征提取能力，在目标检测领域得到了广泛的应用。文献[Shi,Y.,Li,Y.,Wei,X.,&Zhou,Y."Afaster-rcnn based chemical fiber paper tube defect detectionmethod."2017 5th International Conference on Enterprise Systems(ES).IEEE,2017.]将卷积神经网络应用于织物疵点检测，取得了一定的检测效果。但由于织物疵点目标往往体积微小，其灰度值相对于织物背景也不突出，一般卷积神经网络无法取得很好的检测效果。此外，目前流行的卷积神经网络模型为了提高检测精度，大都具有复杂的网络结构和大量的模型参数，这使得卷积神经模型难以部署在硬件资源和计算资源有限的嵌入式***上，也无法实现对织物疵点的实时检测。

发明内容

针对目前卷积神经网络存在的模型计算量大、检测速度慢、检测率低的技术问题，本发明提出了一种基于深度可分离卷积神经网络的织物疵点检测方法，通过融合深度可分离卷积结构构造一个高速卷积模块，实现对通道和区域分别进行卷积操作，使网络计算量大幅下降；并且在特征提取部分，采用多尺度特征提取方法，从不同下采样的特征图中提取特征，提高模型对小尺寸疵点目标的检测能力。

本发明的技术方案是这样实现的：

一种基于深度可分离卷积神经网络的织物疵点检测方法，其步骤如下：

S1、利用图像采集***采集织物疵点图像后进行预处理，并通过标注工具标注预处理后织物疵点图像中的疵点的位置坐标，作为织物图像数据集，其中，织物图像数据集包括训练集和测试集，且训练集和测试集的数量比例为2:1；

S2、构建深度可分离卷积层，利用深度可分离卷积层搭建DefectNet网络；

S3、将步骤S1中的训练集输入DefectNet网络中进行训练，并利用异步梯度下降的训练策略调整DefectNet网络的参数，得到DefectNet网络模型；

S4、将测试集中的织物图像输入步骤S3得到的DefectNet网络模型中，得到图像中的目标疵点及位置坐标，并在图像中框出疵点目标。

所述步骤S1中的织物疵点图像的预处理方法为：对采集的织物疵点图像进行剪切和缩放，得到图像尺寸大小相同的织物图像。

所述DefectNet网络的架构为输入层-标准卷积层I-深度可分离卷积层I-深度可分离卷积层II-深度可分离卷积层III-深度可分离卷积层IV-标准卷积层II-深度可分离卷积层V-深度可分离卷积层VI-输出层。

所述深度可分离卷积层包括深度卷积层和点卷积层，标准卷积层、深度卷积层和点卷积层均连接有批量标准化层和激活层，其中，激活层为Leaky ReLU激活函数层。

所述DefectNet网络在深度可分离卷积层VI输出为原图32倍下采样后得到的特征图，再将深度可分离卷积层VI提取的特征图进行2倍的上采样，并与标准卷积层II输出为原图16倍下采样的特征图进行特征融合，得到经过特征融合的16倍下采样特征图。

所述步骤S3中利用异步梯度下降的训练策略调整DefectNet网络的参数，得到DefectNet网络模型的训练方法为：

S31、设置输入图像的大小为M'×M'，类别为1，设置学习率θ和权重衰减w，设置最大迭代次数t_max；

S32、随机选取训练集中的N’张原始图像及疵点的位置坐标输入DefectNet网络中；

S33、将DefectNet网络的第六层提取的特征图和第八层提取的特征图分别划分为S×S的网格，其中，每个网格预测出B个边界框；

S34、通过DefectNet网络预测每个网格中的边界框的数量，利用logistic分类器预测每个边界框中疵点目标的置信度值，并给出每个边界框的中心坐标和长宽值；

S35、通过损失函数计算步骤S34中预测的疵点目标的置信度值与步骤S32中疵点的位置坐标之间的差异值；

S36、根据学习率θ、权重衰减w和步骤S35中的差异值调整DefectNet网络的参数，返回步骤S32，直到遍历完训练集中所有的图像；

S37、迭代次数增加1，循环执行步骤S32至步骤S36，直至达到最大迭代次数t_max时，DefectNet网络停止训练，保存最后一次迭代的DefectNet网络的参数，生成DefectNet网络模型。

所述步骤S35中的损失函数为：Loss＝Error_coord+Error_cls+Error_iou，其中，Error_coord为边界框损失函数，Error_cls为logistic分类器损失函数，Error_iou为置信度损失函数；

所述边界框损失函数Error_coord为：

其中，λ_coord为疵点的坐标误差的权重，i＝0,1,...,S²为第i个网格，j＝0,1,...,B为第j个边界框，B为每个网格中边界框的数量，

或1表示第i个网格中的第j个边界框中是否存在织物疵点目标，若存在为1，不存在为0，(x_i,y_i,ω_i,h_i)为真实疵点的中心坐标及长宽值，

为预测的疵点目标的中心坐标和长宽值；

所述logistic分类器损失函数Error_cls为：

其中，p_i(c)为目标真实类别得分，

为预测的目标类别得分；

所述置信度损失函数Error_iou为：

其中，λ_noobj为不存在疵点目标的置信度损失的权重，

或1表示第i个网格中的第j个边界框中是否存在织物疵点目标，若存在为0，不存在为1，C_i为置信度的得分，

为预测边界框与真实框的交叉比例。

所述深度可分离卷积层的计算量C_f为：

C_f＝D_k×D_k×M×D_F×D_F+M×N×D_F×D_F，

其中，D_k×D_k为深度卷积核的大小，M为输入通道的数量，N为输出通道的数量，D_F×D_F为输入图像的大小，点卷积的卷积核大小为1×1；

所述标准卷积层的计算量C_s为：C_s＝D_k×D_k×M×N×D_F×D_F；

深度可分离卷积层与标准卷积层的计算量之比为：

本技术方案能产生的有益效果：

1)本发明使用深度可分离卷积搭建轻量级卷积神经网络模型，大大减少了网络的计算量，提高检测速度；

2)本发明采用多尺度特征提取方法对不同下采样层的特征图进行特征提取，能够同时提取到高语义及高细粒度的特征信息，提高模型对小目标的检测能力；

3)本发明将深度可分离卷积和多尺度特征提取方法结合搭建卷积神经网络模型，使模型在具有很高检测精度的同时，极大提高了检测速度，达到实时检测的要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图；

图2为本发明的DefectNet模型的结构示意图；

图3为本发明的深度可分离卷积运算图；

图4为本发明方法的检测效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于深度可分离卷积神经网络的织物疵点检测方法，具体步骤如下：

S1、利用图像采集***采集织物疵点图像后进行预处理，图像采集***包含四台高清工业相机，采集了500张分辨率为2k×2k的高清织物疵点图片，再利用图像分割技术对采集的织物疵点图像进行剪切和缩放，将原图裁剪为图像尺寸大小512×512的织物图像，从中挑选出3000张有效图片作为数据集。

并通过标注工具Labelimg标注数据集中的预处理后织物疵点图像中的疵点的位置坐标，得到包含每个疵点的种类名称及位置坐标信息xml文件，并与织物疵点图像一一对应后作为织物图像数据集，其中，织物图像数据集包括训练集和测试集，且训练集和测试集的数量比例为2:1。

S2、构建深度可分离卷积模块，利用深度可分离卷积模块搭建DefectNet网络，如图2所示；所述DefectNet网络的架构为输入层-标准卷积层I-深度可分离卷积层I-深度可分离卷积层II-深度可分离卷积层III-深度可分离卷积层IV-标准卷积层II-深度可分离卷积层V-深度可分离卷积层VI-输出层。所述深度可分离卷积层包括深度卷积层和点卷积层，标准卷积层、深度卷积层和点卷积层均连接有批量标准化层和激活层，其中，激活层为Leaky ReLU激活函数层，用于卷积层的标准化以及对每层网络进行非线性激活处理。DefectNet网络结构如下表1所示。

表1 DefectNet网络结构图

DefectNet网络通过采用步长为2的卷积层，实现在下采样过程中特征图的尺度变换，不同尺度的特征图，拥有不同的感受野，可以提取到不同的细粒度特征以及不同语义信息。

所述深度可分离卷积层的结构如图3所示，对于大小为D_F×D_F的输入图像，当卷积核尺寸为D_k×D_k时，标准卷积层的计算量C_s为：C_s＝D_k×D_k×M×N×D_F×D_F，其中，M为输入通道的数量，N为输出通道的数量；深度可分离卷积层包括深度卷积层和点卷积层，深度卷积层的卷积核大小为D_k×D_k，点卷积层的卷积核大小为1×1，深度可分离卷积层的计算量C_f为：C_f＝D_k×D_k×M×D_F×D_F+M×N×D_F×D_F，因此，深度可分离卷积层与标准卷积层的计算量之比为：

当D_k＝3时，通过使用深度可分离卷积，可以使网络的计算量减少为原来的

显著的提高DefectNet网络的检测速度。

S3、将步骤S1中的训练集输入DefectNet网络中进行训练，并利用异步梯度下降的训练策略调整DefectNet网络的参数，得到DefectNet网络模型；具体的训练方法为：

S31、设置输入图像的大小为M'×M'，M'＝512，类别为1，设置学习率θ＝0.001和权重衰减w＝0.0005，设置最大迭代次数t_max＝500200。

S32、随机选取训练集中的N’张原始图像及疵点的位置坐标输入DefectNet网络中，其中N’＝5。

S33、将DefectNet网络的第六层提取的特征图和第八层提取的特征图分别划分为S×S的网格，其中，每个网格预测出B个边界框；所述DefectNet网络在第八层输出为原图32倍下采样后得到的特征图，再将第八层提取的特征图进行2倍的上采样，并与第六层输出为原图16倍下采样的特征图进行特征融合，得到经过特征融合的16倍下采样特征图。所述DefectNet网络分别在32倍下采样和经过特征融合的16倍下采样特征图中进行特征提取，可以同时得到高语义及高细粒度的特征信息。

S34、通过DefectNet网络预测每个网格中的边界框的数量，利用logistic分类器预测每个边界框中疵点目标的置信度值，并给出每个边界框的中心坐标和长宽值；本发明采用logistic分类器(sigmoid函数)来预测出每个边界框中是疵点目标的置信度值。在网络迭代过程中，需要使用损失函数Loss计算神经网络的输出和所预期的输出之间的差异值来确定迭代的调整方向。而损失函数Loss能够反映出当前网络的输出和实际结果之间一种量化之后的不一致程度，从而在迭代过程中对网络参数进行调整。DefectNet网络使用平方和误差计算损失，即损失函数为所有网格预测值和真实值的均方差，包括坐标误差、置信度(IOU)误差和分类误差。

S35、通过损失函数计算步骤S34中预测的疵点目标的置信度值与步骤S32中疵点的位置坐标之间的差异值；所述损失函数为：Loss＝Error_coord+Error_cls+Error_iou，其中，Error_coord为边界框损失函数，Error_cls为logistic分类器损失函数，Error_iou为置信度损失函数；

所述边界框损失函数Error_coord由中心坐标的误差和边界框宽与高的误差构成：

其中，λ_coord为疵点的坐标误差的权重，i＝0,1,...,S²为第i个网格，j＝0,1,...,B为第j个边界框，

或1表示第i个网格中的第j个边界框中是否存在织物疵点目标，若存在为1，不存在为0，(x_i,y_i,ω_i,h_i)为真实疵点的中心坐标及长宽值，

为预测的疵点目标的中心坐标和长宽值。

所述logistic分类器损失函数Error_cls为：

其中，p_i(c)为目标真实类别得分，

为预测的目标类别得分；

所述置信度损失函数Error_iou为：

其中，λ_noobj为不存在疵点目标的置信度损失的权重，

或1表示第i个网格中的第j个边界框中是否存在织物疵点目标，若存在为0，不存在为1，C_i为置信度的得分，

为预测边界框与真实框的交叉比例。

S36、根据学习率θ、权重衰减w和步骤S35中的差异值调整DefectNet网络的参数，返回步骤S32，直到遍历完训练集中所有的图像。

S37、迭代次数增加1，循环执行步骤S32至步骤S36，直至达到最大迭代次数t_max时，DefectNet网络停止训练，保存最后一次迭代的DefectNet网络的参数，生成DefectNet网络模型。

S4、将测试集中的织物图像输入步骤S3得到的DefectNet网络模型中，得到图像中的目标疵点及位置坐标，并在图像中框出疵点目标。将测试集中的图像输入DefectNet模型中，图像经过DefectNet网络模型的层层卷积运算后得到各个区域像素属于织物疵点目标的置信度，并预测出疵点目标在图中的位置坐标，通过设定置信度阈值，将大于阈值的目标确定为疵点目标，并根据坐标值准确框出图像中疵点位置。

将测试集中的图片输入到DefectNet模型中，得到模型的检测结果，结果显示在1000张图片中，正确检测到了其中97.7％的疵点目标，每张图片的检测速度为32.7ms，DefectNet网络模型检测结果如图4所示。测试结果表明DefectNet网络模型对织物疵点的检测有较好的效果。DefectNet网络不仅能准确地检测出缺陷的位置，而且模型参数少，检测速度快。将模型与其他大规模神经网络模型性能对比结果如表2所示。

表2 DefectNet网络模型与其他神经网络主要性能对比

	准确率(％)	检测速度(ms)	模型大小(MB)
				SSD	75.3	420.2	163
YOLO-v3	98.0	132.2	241
				Tiny-Yolo-v3	86.1	56.5	34
DefectNet	97.7	32.7	9

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，其步骤如下：

S1、利用图像采集***采集织物疵点图像后进行预处理，并通过标注工具标注预处理后织物疵点图像中的疵点的位置坐标，作为织物图像数据集，其中，织物图像数据集包括训练集和测试集；

S2、构建深度可分离卷积层，利用深度可分离卷积层搭建DefectNet网络；

S3、将步骤S1中的训练集输入DefectNet网络中进行训练，并利用异步梯度下降的训练策略调整DefectNet网络的参数，得到DefectNet网络模型；

S4、将测试集中的织物图像输入步骤S3得到的DefectNet网络模型中，得到图像中的目标疵点及位置坐标，并在图像中框出疵点目标。

2.根据权利要求1所述的基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，所述步骤S1中的织物疵点图像的预处理方法为：对采集的织物疵点图像进行剪切和缩放，得到图像尺寸大小相同的织物图像。

3.根据权利要求1所述的基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，所述DefectNet网络的架构为输入层-标准卷积层I-深度可分离卷积层I-深度可分离卷积层II-深度可分离卷积层III-深度可分离卷积层IV-标准卷积层II-深度可分离卷积层V-深度可分离卷积层VI-输出层。

4.根据权利要求1所述的基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，所述深度可分离卷积层包括深度卷积层和点卷积层，标准卷积层、深度卷积层和点卷积层均连接有批量标准化层和激活层，其中，激活层为Leaky ReLU激活函数层。

5.根据权利要求3所述的基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，所述DefectNet网络在深度可分离卷积层VI输出为原图32倍下采样后得到的特征图，再将深度可分离卷积层VI提取的特征图进行2倍的上采样，并与标准卷积层II输出为原图16倍下采样的特征图进行特征融合，得到经过特征融合的16倍下采样特征图。

6.根据权利要求1所述的基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，所述步骤S3中利用异步梯度下降的训练策略调整DefectNet网络的参数，得到DefectNet网络模型的训练方法为：

S31、设置输入图像的大小为M'×M'，类别为1，设置学习率θ和权重衰减w，设置最大迭代次数t_max；

S32、随机选取训练集中的N’张原始图像及疵点的位置坐标输入DefectNet网络中；

S33、将DefectNet网络的第六层提取的特征图和第八层提取的特征图分别划分为S×S的网格，其中，每个网格预测出B个边界框；

S34、通过DefectNet网络预测每个网格中的边界框的数量，利用logistic分类器预测每个边界框中疵点目标的置信度值，并给出每个边界框的中心坐标和长宽值；

S35、通过损失函数计算步骤S34中预测的疵点目标的置信度值与步骤S32中疵点的位置坐标之间的差异值；

S36、根据学习率θ、权重衰减w和步骤S35中的差异值调整DefectNet网络的参数，返回步骤S32，直到遍历完训练集中所有的图像；

S37、迭代次数增加1，循环执行步骤S32至步骤S36，直至达到最大迭代次数t_max时，DefectNet网络停止训练，保存最后一次迭代的DefectNet网络的参数，生成DefectNet网络模型。

7.根据权利要求6所述的基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，所述步骤S35中的损失函数为：Loss＝Error_coord+Error_cls+Error_iou，其中，Error_coord为边界框损失函数，Error_cls为logistic分类器损失函数，Error_iou为置信度损失函数；

所述边界框损失函数Error_coord为：

其中，λ_coord为疵点的坐标误差的权重，i＝0,1,...,S²为第i个网格，j＝0,1,...,B为第j个边界框，B为每个网格中边界框的数量，

或1表示第i个网格中的第j个边界框中是否存在织物疵点目标，若存在为1，不存在为0，(x_i,y_i,ω_i,h_i)为真实疵点的中心坐标及长宽值，

为预测的疵点目标的中心坐标和长宽值；

所述logistic分类器损失函数Error_cls为：

其中，p_i(c)为目标真实类别得分，

为预测的目标类别得分；

所述置信度损失函数Error_iou为：

其中，λ_noobj为不存在疵点目标的置信度损失的权重，

或1表示第i个网格中的第j个边界框中是否存在织物疵点目标，若存在为0，不存在为1，C_i为置信度的得分，

为预测边界框与真实框的交叉比例。

8.根据权利要求3或4所述的基于深度可分离卷积神经网络的织物疵点检测方法，其特征在于，所述深度可分离卷积层的计算量C_f为：

C_f＝D_k×D_k×M×D_F×D_F+M×N×D_F×D_F，

其中，D_k×D_k为深度卷积核的大小，M为输入通道的数量，N为输出通道的数量，D_F×D_F为输入图像的大小，点卷积的卷积核大小为1×1；

所述标准卷积层的计算量C_s为：C_s＝D_k×D_k×M×N×D_F×D_F；

深度可分离卷积层与标准卷积层的计算量之比为：

Images