CN110136098A - 一种基于深度学习的线缆顺序检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的线缆顺序检测方法，包括以下步骤：步骤1：首先对线缆图像进行灰度化，为后续顺序检测做基础；步骤2：对图像某一行的相邻像素点灰度值进行差分运算，选取一个阈值和差分结果比较，输出定位结果图。步骤3：针对三色线缆图像的特点，提出了简化的特征提取网络和优化的锚框、ELU激活函数对Faster R‑CNN改进；步骤4：采用改进的Faster R‑CNN目标检测算法进行线缆顺序检测，并统计准确率和检测时间。本发明方法能够更加充分的提取三色线缆的特征，具有操作方便、效率高等优点，节省了很多的人力消耗，所采用的改进算法能同时减少了线缆的检测时间，减少误检，错检并大大提升了线缆检测的准确率。

Description

一种基于深度学习的线缆顺序检测方法

技术领域

本发明涉及图像处理领域，具体设计一种基于深度学习的线缆顺序检测方法。

背景技术

现有的线缆顺序检测都是需要很多的人工检测。采取这种方式会消耗大量的人力资源，人工进行检查会影响检测的效率，成本高昂，而且采用高强度的人工检查容易造成误检，错检，不能满足如今工业自动化生产的需求；已有的线缆检测算法缺乏通用性，检测结果并不理想，实用性不是很高，对企业的产品品质和生产效率造成一定的影响。

发明内容

针对上述背景技术中的不足，本发明为解决现有的技术问题而提供一种快速、精准的基于深度学习的线缆顺序检测方法。

本发明的技术方案如下：一种基于深度学习的线缆顺序检测方法，包括如下步骤：

步骤1：首先对三色线缆图像进行灰度化，为后续顺序检测作基础；步骤2：对图像某一行的相邻像素点灰度值进行差分运算，选取一个阈值和差分结果比较，输出定位结果图；步骤3：针对三色线缆图像的特点，提出了简化的特征提取网络和优化的锚框、ELU激活函数对Faster R-CNN改进；步骤4：将改进后的Faster R-CNN算法进行线缆顺序检测，并统计准确率和检测时间。

进一步，所述的步骤2中，在三色线缆区域的灰度图中，取某一行像素点的灰度值。对这一行相邻的像素灰度值进行差分运算。

进一步，所述的步骤2中，设置阈值为5，统计出大于阈值5的像素点的坐标，最后输出大于阈值5的坐标并输出三色线缆区域的定位结果图。

进一步，所述的步骤3简化的特征提取网络，具体采用简化的共享卷积层网络来提取特征，分别删除了共享卷积层网络中卷积层3和卷积层4中的一个卷积层。

进一步，所述的步骤3中对锚框做了一些优化，设计的锚框尽可能把线缆区域包括在里面，优化的锚框采用1∶1.5、1∶1、1∶2的锚框提取目标区域特征。

进一步，所述的步骤3，在Fast R-CNN网络中，采用ELU函数代替ReLU函数。

进一步，线缆图片共4000张，将线缆图片分为两个图片集：2800张作为训练集，1200张作为测试集

1.首先进行线缆图像的灰度化，把三色线缆图像转换为灰度图像；

2.取图像某一行的灰度值并对相邻像素点的灰度值进行差分运算；

3.经过实验获得一个合适的阈值m，将第2步得到的结果和阈值比较，输出大于阈值的坐标并输出线缆定位结果图。

4.提出了改进的Faster R-CNN目标检测算法，选取了更符合线缆图像特点的锚框以及简化的特征提取网络；

5.采用Faster R-CNN目标检测算法进行线缆顺序的检测。最后采取mAP指标来对模型的效果进行评价。

本发明具有以下有益效果：本发明方法采用改进的Faster R-CNN目标检测算法进行线缆顺序检测,首先对线缆感兴趣区域进行定位，然后用简化的卷积特征提取网络、优化的锚框、ELU激活函数对Faster R-CNN算法进行改进。本发明方法能够更加充分的提取三色线缆的特征，具有操作方便、效率高等优点，节省了很多的人力消耗。

本发明分别删除了共享卷积层网络中conv3和conv4中的conv3_4层和conv4_4层，同时优化的锚框采用长宽比为1∶1.5、1∶1、1∶2的锚框提取目标区域特征，将阈值m＝5时，三色线缆区域定位效果较理想，所采用改进的巧妙之处在于，能同时减少了线缆的检测时间，大大提升了检测的速度；此外，还能够有效减少误检，错检并大大提升了线缆检测的准确率。

进一步的效果，将共享卷积层的卷积层和池化层做了一定的改进，分别删除了共享卷积层网络中conv3和conv4中的conv3_4层和conv4_4层，这样还能够带来提高模型的效率的作用；采用ELU激活函数代替原有的ReLU激活函数，函数图像左边有软饱和性，有助于提升噪声鲁棒性，ELU函数的特性会使得输出均值接近为零，加快收敛的速度。

进一步的效果，针对原始的Faster R-CNN采用长宽比2∶1、1∶1、1∶2的锚框，优化的锚框采用长宽比1∶1.5、1∶1、1∶2的锚框提取目标区域特征，这样设计的锚框还可以更加充分地提取图像的特征。

附图说明

图1为Faster R-CNN算法网络结构图；

图2为ReLU函数图；

图3为共享卷积层；

图4为正确顺序的线缆图像。

图5为错误顺序的线缆图像。

图6为灰度化后的图像。

图7为进行线缆区域定位后的图像。

图8为提出的优化锚框示意图。

图9为ELU函数图；

图10为采用改进Faster R-CNN算法检测的结果图。

具体实施方式

下面简单介绍一下和本发明相关的Faster R-CNN算法网络结构原理。

如图1所示，为Faster R-CNN算法网络结构图。Faster R-CNN算法主要由两个模块组成：原始图像经过共享卷积层，分别进入两个网络模块，第一个是Fast R-CNN网络模块内依次连接的特征层，ROI层，全连接层，最后处理后的图片通过分类或者回归；第二个是区域建议网络RPN模块内依次连接的特征图，低秩向量，最后处理后的图片通过分类或者回归；Fast R-CNN网络模块，主要目的是对区域生成网络生成的候选区域检测并识别候选区域中的目标类别；区域建议网络RPN模块，主要目的是生成候选区域的。区域建议网络接在共享卷积层后一层卷积层上，在RPN网络的最后一层卷积层采用一个滑动窗口网络，每个滑动窗口的位置与原图对应，在原图中对应的位置即为目标的区域建议框，这些区域建议框被称为锚框。锚框的包含三种不同的面积{128*128，256*256，512*512}，不同的长宽比为{1∶1，1∶2，2∶1}。

如图2所示，为Fast R-CNN网络模块中的ReLU激活函数，ReLU函数表达式为：

f(x)＝max(0，x)

x为神经网络节点的输入，f(x)为神经网络节点的输入输出；

如图3所示，此共享卷积层是一个有16层的模型：它一共有五段卷积即卷积层1到卷积层5，每段卷积之后紧接着池化层。卷积层1和卷积层2分别含有2个卷积层，卷积层3到卷积层5分别含有3个卷积层，还有全连接层1，全连接层2，全连接层3。卷积层间使用了池化方法，这样处理主要是保留提取的主要特征，同时减少下一层的参数和计算量，防止过拟合。最后用分类器进行分类。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本实施例中提供了一种线缆顺序的检测方法，包括以下步骤：

线缆图像集共4000张图片，将线缆图片分为两个图片集：2800张作为训练集，1200张作为测试集。

1.如图4、5所示，图4中为正确顺序的线缆图像，图5中为错误顺序的芯线图像。如图6所示，首先将彩色线缆图像转化为灰度图像，灰度图像比彩色图像像素信息变少，减少了计算量；

2.在三色线缆区域的灰度图中，取某一行像素点的灰度值。对这一行相邻的像素灰度值进行差分运算，由此得到一些差分值；

3.经过实验得出阈值m＝5时，三色线缆区域定位效果较理想，因此设置阈值为5。将此阈值和第二步得到的差分值进行比较，统计出大于阈值m的像素点的坐标，最后输出大于阈值m的坐标并输出三色线缆区域的定位结果图，结果图如图7所示；

4.对Faster R-CNN目标检测算法中的前面特征网络提取部分做了一些改进，根据三色线缆图像不复杂的特点，则对于提取特征来说网络层数的条件不用很高，为了提高模型的效率，将共享卷积层的卷积层和池化层做了一定的改进，分别删除了共享卷积层网络中conv3内的conv3_3层和conv4内的conv4_3层，在不减少准确率的前提下大大提升了检测的速度；

5.根据三色线缆图像的特点对锚框做了一些优化，设计的锚框尽可能把线缆区域包括在里面，从而更良好地完成检测任务。三色线缆图像的特点是高度比长度多一些，分析得出原始长宽比是2∶1的锚框不能恰当的对应三色线缆图像。如图8所示，将长宽比2∶1的锚框改为1∶1.5，保留了1∶1、1∶2的锚框，其中的作用一方面是为了更好地匹配本文的线缆图像，另一方面，通过实验验证能够大大节省占用的一些计算机的内存。

6.采用ELU激活函数代替原有的ReLU激活函数，函数图像左边有软饱和性，有助于提升噪声鲁棒性，ELU函数的特性会使得输出均值接近为零，加快收敛的速度；其中ELU函数可以激活一些神经元，它结合了Sigmoid和ReLU的特点，函数图像左边有软饱和性，有助于提升噪声鲁棒性。而ELU函数的特性会使得输出均值接近为零，加快收敛的速度。

如图9所示的ELU函数图，ELU函数表达式：

x为神经网络节点的输入，f(x)为神经网络节点的输入输出，α是一个可调整的参数；

5.采用Faster R-CNN目标检测算法进行顺序检测。见图10所示，最后，采用mAP指标来对模型的效果进行评价。为了体现本发明提供的方法的检测效果，比较了本发明提供的方法和原始目标检测算法的准确率和检测时间。表1展示了两种方法的准确率和检测时间，从表1可以看出，本发明提供的方法提高了一定的检测精度，网络消耗内存更少，具有较好的检测性能。

表1：线缆检测结果

方法	mAP(％)	检测时间(S)
			原始Faster R-CNN	94.32	0.284
提出的方法	96.55	0.236

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种基于深度学习的线缆顺序检测方法，其特征在于，包括以下步骤：

步骤1：首先对三色线缆图像进行灰度化，为后续顺序检测做基础；步骤2：对图像某一行的相邻像素点灰度值进行差分运算，选取一个阈值和差分结果比较，输出定位结果图；步骤3：针对三色线缆图像的特点，提出了简化的特征提取网络和优化的锚框、ELU激活函数对Faster R-CNN改进；步骤4：将改进后的Faster R-CNN算法进行线缆顺序检测，并统计准确率和检测时间。

2.根据权利要求1所述的一种基于深度学习的线缆顺序检测方法，其特征在于，所述的步骤2中，在三色线缆区域的灰度图中，取某一行像素点的灰度值。对这一行相邻的像素灰度值进行差分运算。

3.根据权利要求1所述的一种基于深度学习的线缆顺序检测方法，其特征在于，所述的步骤2中，设置阈值为5，统计出大于阈值5的像素点的坐标，最后输出大于阈值5的坐标并输出三色线缆区域的定位结果图。

4.根据权利要求1所述的一种基于深度学习的线缆顺序检测方法，其特征在于，所述的步骤3简化的特征提取网络，具体采用简化的共享卷积层网络来提取特征，分别删除了共享卷积层网络中卷积层3和卷积层4中的一个卷积层。

5.根据权利要求1所述的一种基于深度学习的线缆顺序检测方法，其特征在于，所述的步骤3中对锚框做了一些优化，设计的锚框尽可能把线缆区域包括在里面，优化的锚框采用1:1.5、1:1、1:2的锚框提取目标区域特征。

6.根据权利要求1所述的一种基于深度学习的线缆顺序检测方法，其特征在于，所述的步骤3，在FastR-CNN网络中，采用ELU函数代替ReLU函数。

7.根据权利要求1所述的一种基于深度学习的线缆顺序检测方法，其特征在于，线缆图片共4000张，将线缆图片分为两个图片集：2800张作为训练集，1200张作为测试集。