CN107633267A - 一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法 - Google Patents

Abstract

本发明公开一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法，先采集高速铁路接触网支撑及悬挂装置的图像；再对采集的图像进行筛选，构建接触网腕臂连接件的样本库；然后采用基于卷积神经网络结构的Faster R‑CNN算法，完成高铁接触网各类腕臂连接件的定位与提取；进而在提取到的腕臂连接件图像上标记出各类紧固件，并构件各类紧固件的样本库；最后采用基于卷积神经网络结构的Faster R‑CNN算法，完成高铁接触网各类紧固件的定位与提取。本发明可减少人工识别的巨大工作量，实现现场图像的自动分析，可对多种接触网支持装置腕臂连接件的紧固件进行识别分类，具有较高的识别准确性。

Description

一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法

技术领域

本发明涉及高铁接触网支持装置零部件检测技术领域，具体为一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法。

背景技术

弓网***是电气化铁路***中关键的组成部分，承担将牵引网中的电能输送给电力机车的重要工作。由于受电弓与接触网装置之间存在复杂的力学、电气交互影响，在电气化铁道的各种设备故障中，接触网故障所占比例大，严重影响电气化铁路的安全工作。同时接触网故障分布范围广，检测难度大。传统的接触网支撑悬挂装置检测依靠人工检测，这些方式虽然能保证一定准确性，但效率低、工作量大且易受检修人员的主观影响。随着高速铁路的快速发展和运营质量的逐渐提升，接触网***必须满足动车组“高速度、高密度、高可靠性”的运行要求。先进的检测技术能提高牵引供电***维修质量和效率，是实现电气化铁路状态检测和状态维修的重要手段，因此有必要研究自动检测方法。为确保高速铁路动车组运营秩序，提高其供电安全性、可靠性，满足高速铁路快速发展和运营品质的需求，原铁道部发布了自2012年实施《高速铁路供电安全检测监测***(6C***)总体技术规范》的通知。根据该规范对接触网悬挂状态检测(4C部分)的要求，接触网检测***应当具有利用高速相机实现高速接触网的腕臂结构与零部件的定位检测和接触网的静态几何参数测量的等基本功能。

今年我国有19台高铁接触网4C检测车投入测试，这标志着我国的4C成像技术已经进入了批量化生产。目前，4C装置现状是，对于4C装置获取的海量图像，依赖人工判图识别故障、缺陷与隐患。这种人工海量判图识别的方式，不可避免会产生视觉疲劳，容易造成漏判。而且从采集获得图像到给出判图识别结果的判识周期长，影响故障的及时维修处理，在此过程中故障可能进一步发展成事故，甚至带来重大损失与不利影响。

高铁接触网支撑及悬挂结构中涉及46种零部件的检测，分为ABC三类，其中A类故障最为严重。零部件在支撑与悬挂结构中分布较为分散，零部件的大小和结构多不相同。摄像机拍摄时，会有一定的光照和角度的影响。目前某些单一零部件的检测已经能够实现，但定位与检测的效率与正确率仍有较大提升空间。针对多个零部件的同时定位与检测则存在着一定的难度，尤其是对于腕臂连接件的紧固件等小尺度零部件。深度学习方法应用遍及人工智能各个领域，对于不同环境复杂背景下的检测有着良好的效果。对于腕臂连接件的紧固件等微小目标，采用级联的卷积神经网络，可以提高检测精确度。

发明内容

针对上述问题，本发明的目的在于提供一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法，可减少人工识别的巨大工作量，实现现场图像的自动分析，可对多种接触网支持装置腕臂连接件的紧固件进行识别分类，具有较高的识别准确性，技术方案如下：

步骤A：采集高速铁路接触网支撑及悬挂装置的图像；

步骤B：对采集的图像进行筛选，构建接触网腕臂连接件的样本库；

步骤C：采用基于卷积神经网络结构的Faster R-CNN算法，完成高铁接触网各类腕臂连

接件的定位与提取；

步骤D：在提取到的腕臂连接件图像上标记出各类紧固件，并构件各类紧固件的样本库；

步骤E：采用基于卷积神经网络结构的Faster R-CNN算法，完成高铁接触网各类紧固件的定位与提取。

进一步的，所述腕臂连接件的样本库包括上斜撑套筒、下斜撑套筒、旋转双耳和双套管连接器的样本库，样本库中包括各腕臂连接件所在位置的坐标记录，及其所属的类别。

更进一步的，所述各类紧固件的样本库包括大螺母、A类螺钉、B类螺钉、螺栓、α销钉和β销钉的样本库。

更进一步的，所述步骤C和步骤E中的基于卷积神经网络结构的Faster R-CNN算法的具体过程包括：

步骤1：搭建基于Faster-RCNN算法的深度卷积神经网络，网络采用ZF的模型，共有5个可共享的卷积层，分为三个部分：候选区域网络，ROI生成，CNN分类；

步骤2：将训练样本输入搭建好的Faster-RCNN网络，完成模型的训练。

更进一步的，所述步骤1中搭建基于Faster-RCNN算法的深度卷积神经网络的具体过程如下：

步骤11：搭建候选区域网络：将一个图像作为输入，输出矩形目标建议框的集合，每个框有一个目标得分；ZF网络采用全卷积层，为了生成区域候选框，在第五个共享的卷积层输出的卷积特征映射上滑动小网络，每个滑动窗口有三种尺度和长宽比，每个滑动窗口产生9个anchor，映射到一个低维向量上；

步骤12：采用候选区域网络的输出层作为ROI生成网络的输入：缩放输入候选区域的尺度得到金字塔，对于每个尺度的每个ROI，求取映射关系，对应在网络第五个卷积层的特征图中裁剪出对应块；随后用一个单层的ROI下采样层，将输入的候选区域特征图统一下采样为6×6的特征图再传入全连接层；

步骤13：CNN分类识别：将得到的ROI输入CNN分类网络，经过两个全连接层和矫正激活层，并通过丢弃部分网络参数的方法消除过拟合，输出目标包围框的坐标和大小和目标类别。

更进一步的，所述步骤2中模型的训练过程如下：

步骤21训练过程中，根据样本信息给每一个anchor分配一个标签，然后计算多任务损失值；

式中，P_i是第i个anchor是检测目标的预测概率；t_i是一个向量，表示预测的包围盒的4个参数化坐标(x,y,w,h)，是正anchor对应的训练样本原始包围框的坐标向量；N_cls表示一次训练中样本的数量，N_reg表示训练过程中产生的anchor位置的数量；L_cls表示分类损失，L_reg表示回归损失，λ表示两个损失函数之间的权值；回归损失L_reg计算方法如下：

式中，R为鲁棒的损失函数表示为：

步骤22：根据损失目标函数，采用反向传播和随机梯度下降的方法实现端对端轮流训练。

更进一步的，所述步骤22的训练过程如下：

步骤1)：给每一个使用在ImageNet上预训练的模型初始化候选区域网络参数，微调候选区域网络；

步骤2)：使用候选区域网络，提取候选区域，训练ROI生成和ROI分类网络，再用ImageNet上预训练的模型初始化该网络参数；

步骤3)：使用上述ROI生成和ROI分类网络，重新初始化候选区域，固定卷积层进行微调，微调候选区域网络；

步骤4)：固定ROI生成和ROI分类网络的卷积层，使用所述候选区域网络提取的候选区域对整个网络进行微调。

本发明的有益效果是：本发明利用基于候选区域的深度卷积神经网络对待检测目标进行特征学习和目标分类，并级联两个模型，实现小尺度紧固件的定位提取，可减少人工识别的巨大工作量，实现现场图像的自动分析，可对多种接触网支持装置腕臂连接件的紧固件进行识别分类，具有较高的识别准确性。

附图说明

图1为待分类检测的接触网支撑装置全局图像。

图2为高铁接触网支撑装置腕臂连接件样本库建立示意图。

图3a-3d为腕臂连接件紧固件样本库建立示意图：3a为双套管连接件，3b为旋转双耳，3c为上斜撑套筒，3d为下斜撑套筒。

图4为基于Faster R-CNN算法的深度卷积神经网络流程图。

图5为ZF网络结构图。

图6为Faster R-CNN算法中候选区域网络。

图7为Faster R-CNN算法中ROI生成和分类网络。

图8为高铁接触网支撑装置图像腕臂连接件识别检测结果图。

图9a-9d为高铁接触网腕臂连接件图像中紧固件识别检测结果：9a为双套管连接件，9b为旋转双耳，9c为上斜撑套筒，9d为下斜撑套筒。

具体实施方式：

下面结合附图具体实施例对本发明做进一步详细说明。本实施例首先标记2000张高铁接触网支撑装置图像中的四类腕臂连接件作为样本库，训练基于Faster R-CNN算法的深度卷积神经网络模型。将训练得到的分类器投入样本库的测试集上验证。然后对提取得到的四类腕臂连接件，标记其中的六类紧固件，训练第二个Faster R-CNN网络模型。级联两个分类器，可在输入的接触网支持装置图中定位检测出腕臂连接件紧固件。

具体步骤如下：

A、建立关于高铁接触网腕臂连接件，如上下斜撑套筒，旋转双耳，双套管连接件等四类重要零部件的样本库，共计2000张。样本库里需要包括对检测目标所在位置的坐标记录，及标记目标所属的类别。

B、搭建基于Faster-RCNN算法的深度卷积神经网络，训练网络腕臂连接件目标检测的模型。

B1:网络采用ZF的模型，共有5个可共享的卷积层，分为三个部分：候选区域网络，ROI生成，CNN分类。具体过程如下：

Step 1:搭建候选区域网络。将一个图像作为输入，输出矩形目标建议框的集合，每个框有一个目标得分。ZF网络采用用全卷积层，为了生成区域候选框，在第五个共享的卷积层输出的卷积特征映射上滑动小网络，每个滑动窗口有三种尺度和长宽比，因此认为每个滑动窗口产生9个anchor，映射到一个低维向量上。每张图候选区域网络后最终产生约2000个候选区域。

Step 2:采用候选区域网络的输出层作为ROI(Region of Interest)生成网络的输入。缩放输入候选区域的尺度得到金字塔，对于每个尺度的每个ROI，求取映射关系，对应在网络第五个卷积层的特征图中裁剪出对应块。随后用一个单层的ROI下采样层，将输入的候选区域特征图统一下采样为6×6的特征图再传入全连接层。

Step 3:CNN分类识别。将得到的ROI输入CNN分类网络，经过两个全连接层和矫正激活层，并通过丢弃部分网络参数的方法消除过拟合，输出目标包围框的坐标和大小和目标类别。

B2:将训练样本输入搭建好的Faster-RCNN网络，完成模型的训练。训练过程如下：

训练过程中，根据样本信息给每一个anchor分配一个标签，正标签给予与样本库的原始框有最高和大于70％的重叠的anchor。训练过程根据公式1计算多任务损失值。多任务损失值分为两个部分，分类损失和位置损失。

P_i是第i个anchor是检测目标的预测概率。如果anchor为正，标签设为1，反之，等于0。t_i是一个向量，表示预测的包围盒的4个参数化坐标(x,y,w,h)，是正anchor对应的训练样本原始包围框的坐标向量。N_cls表示一次训练中样本的数量，N_reg表示训练过程中产生的anchor位置的数量，约2000个。分类损失L_cls是两个类别(是目标或非目标)的对数损失对于回归损失L_reg，计算方法如公式2：

其中R是[5]中定义的鲁棒的损失函数如公式3所示。

采用参数λ表示两个损失函数之间的权值，根据损失目标函数，采用反向传播和随机梯度下降的方法实现端对端轮流训练，具体步骤如下：

Step 1：给每一个使用在ImageNet上预训练的模型初始化候选区域网络参数，微调候选区域网络；

Step 2:使用候选区域网络，提取候选区域，训练ROI生成和ROI分类网络，也用ImageNet上预训练的模型初始化该网络参数；

Step 3:使用C2得到的ROI生成和ROI分类网络，重新初始化候选区域,固定卷积层进行微调，微调候选区域网络；

Step 4:固定C2中ROI生成和ROI分类网络的卷积层，使用C3中候选区域网络提取的候选区域对整个网络进行微调。

C.建立关于紧固件的样本库，如A类螺钉，B类螺钉，α销钉，β销钉，大螺母和螺栓等六类重要紧固件的样本库，共计1500张。样本库里需要包括对检测目标所在位置的坐标记录，及标记目标所属的类别。

D.搭建基于Faster R-CNN的网络，训练紧固件目标检测的模型。

E.级联的B和D的网络，对高铁接触网支撑装置样本库中的测试样本，共计300张，实现测试样本中紧固件的定位检测，验证DCNN分类器的准确性。

下面结合附图对本发明的实施方式作进一步的详述。

图1为4C检测车拍摄到的高铁接触网支撑装置图像。零部件数量种类众多，且接触网图像在夜间拍摄时，容易受到光斑，拍摄角度等的干扰。因此需要训练一个基于深度卷积神经网络的模型，完成零部件的识别工作。图2为训练第一阶段深度卷积神经网络的样本库。样本库的建立是手工框出接触网支撑装置图像中四类腕臂连接件检测目标零部件，保留零部件的坐标信息，并人工标记该框的类别。图3为训练第二阶段深度卷积神经网络的样本库。样本库的建立是手工图像中四类腕臂连接件检测目标零部件，保留零部件的坐标信息，并人工标记该框的类别。

本发明将紧固件的识别分成了两个阶段，第一阶段，在拍摄到的接触网支持装置图像中识别到腕臂连接件。第二阶段，在定位到的腕臂连接件上识别其紧固件。两个阶段均采用基于Faster-RCNN的深度学习目标检测算法，算法的基本流程如图4所示，分为3个阶段。该算法以ZF网络为基础，如图5所示。第一个阶段是候选区域网络，如图6所示。在ZF网络的第五个卷积层进行候选区域的提取，将第五个卷积层的特征图作为候选区域网络的输入，在该卷积层特征图映射上滑动小网络，映射到低维向量上，每个滑动窗口有三种尺度和长宽比，每个滑动窗口产生9个anchor，对应在卷积层特征图中找到对应的位置，作为候选网络。第二个阶段是提取ROI区域，如图7所示，将候选网络输入ROI生成网络，经过ROI下采样，归一化候选区域的大小并输出。第三个阶段是分类识别阶段，如图7所示，将ROI输入CNN网络，经过两个卷积层和激活函数，得到最终的候选区域的目标分类结果。训练阶段采用多任务损失函数，通过计算目标分类和目标框的损失，结合随机梯度下降等方法，完成训练。

将待检测图像输入训练的模型，经过第一阶段，提取接触网支持装置图像中的四类腕臂连接件，检测结果如图8所示。将提取得到的四类连接件，输入第二阶段的模型，识别提取六类紧固件，检测结果如图9所示。

Claims (7)

1.一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法，其特征在于，包括以下步骤：

步骤A：采集高速铁路接触网支撑及悬挂装置的图像；

步骤B：对采集的图像进行筛选，构建接触网腕臂连接件的样本库；

步骤C：采用基于卷积神经网络结构的Faster R-CNN算法，完成高铁接触网各类腕臂连接件的定位与提取；

步骤D：在提取到的腕臂连接件图像上标记出各类紧固件，并构建各类紧固件的样本库；

步骤E：采用基于卷积神经网络结构的Faster R-CNN算法，完成高铁接触网各类紧固件的定位与提取。

2.根据权利要求1所述的高铁接触网支撑装置腕臂连接件紧固件识别检测方法，其特征在于，所述腕臂连接件的样本库包括上斜撑套筒、下斜撑套筒、旋转双耳和双套管连接器的样本库，样本库中包括各腕臂连接件所在位置的坐标记录，及其所属的类别。

3.根据权利要求1所述的高铁接触网支撑装置腕臂连接件紧固件识别检测方法，其特征在于，所述各类紧固件的样本库包括大螺母、A类螺钉、B类螺钉、螺栓、α销钉和β销钉的样本库。

4.根据权利要求1所述的高铁接触网支撑装置腕臂连接件紧固件识别检测方法，其特征在于，所述步骤C和步骤E中的基于卷积神经网络结构的Faster R-CNN算法的具体过程包括：

步骤1：搭建基于Faster-RCNN算法的深度卷积神经网络，网络采用ZF的模型，共有5个可共享的卷积层，分为三个部分：候选区域网络，ROI生成，CNN分类；

步骤2：将训练样本输入搭建好的Faster-RCNN网络，完成模型的训练。

5.根据权利要求4所述的高铁接触网支撑装置腕臂连接件紧固件识别检测方法，其特征在于，所述步骤1中搭建基于Faster-RCNN算法的深度卷积神经网络的具体过程如下：

步骤11：搭建候选区域网络：将一个图像作为输入，输出矩形目标建议框的集合，每个框有一个目标得分；ZF网络采用全卷积层，为了生成区域候选框，在第五个共享的卷积层输出的卷积特征映射上滑动小网络，每个滑动窗口有三种尺度和长宽比，每个滑动窗口产生9个anchor，映射到一个低维向量上；

步骤12：采用候选区域网络的输出层作为ROI生成网络的输入：缩放输入候选区域的尺度得到金字塔，对于每个尺度的每个ROI，求取映射关系，对应在网络第五个卷积层的特征图中裁剪出对应块；随后用一个单层的ROI下采样层，将输入的候选区域特征图统一下采样为6×6的特征图再传入全连接层；

步骤13：CNN分类识别：将得到的ROI输入CNN分类网络，经过两个全连接层和矫正激活层，并通过丢弃部分网络参数的方法消除过拟合，输出目标包围框的坐标和大小和目标类别。

6.根据权利要求4所述的高铁接触网支撑装置腕臂连接件紧固件识别检测方法，其特征在于，所述步骤2中模型的训练过程如下：

步骤21训练过程中，根据样本信息给每一个anchor分配一个标签，然后计算多任务损失值；

<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mrow> <mrow> <mo>{</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>}</mo> </mrow> <mo>,</mo> <mrow> <mo>{</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>}</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> </mfrac> <munder> <mi>&amp;Sigma;</mi> <mi>i</mi> </munder> <msub> <mi>L</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;lambda;</mi> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> </mfrac> <munder> <mi>&amp;Sigma;</mi> <mi>i</mi> </munder> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <msub> <mi>L</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mo>*</mo> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

式中，P_i是第i个anchor是检测目标的预测概率；t_i是一个向量，表示预测的包围盒的4个参数化坐标(x,y,w,h)，是正anchor对应的训练样本原始包围框的坐标向量；N_cls表示一次训练中样本的数量，N_reg表示训练过程中产生的anchor位置的数量；L_cls表示分类损失，L_reg表示回归损失，λ表示两个损失函数之间的权值；回归损失L_reg计算方法如下：

<mrow> <msub> <mi>L</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

式中，R为鲁棒的损失函数表示为：

<mrow> <msub> <mi>smooth</mi> <msub> <mi>L</mi> <mn>1</mn> </msub> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>0.5</mn> <msup> <mi>x</mi> <mn>2</mn> </msup> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mo>|</mo> <mi>x</mi> <mo>|</mo> <mo>&lt;</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>|</mo> <mi>x</mi> <mo>|</mo> <mo>-</mo> <mn>0.5</mn> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

步骤22：根据损失目标函数，采用反向传播和随机梯度下降的方法实现端对端轮流训练。

7.根据权利要求6所述的高铁接触网支撑装置腕臂连接件紧固件识别检测方法，其特征在于，所述步骤22的训练过程如下：

步骤1)：给每一个使用在ImageNet上预训练的模型初始化候选区域网络参数，微调候选区域网络；

步骤2)：使用候选区域网络，提取候选区域，训练ROI生成和ROI分类网络，再用ImageNet上预训练的模型初始化该网络参数；

步骤3)：使用上述ROI生成和ROI分类网络，重新初始化候选区域，固定卷积层进行微调，微调候选区域网络；

步骤4)：固定ROI生成和ROI分类网络的卷积层，使用所述候选区域网络提取的候选区域对整个网络进行微调。