CN111080617B

CN111080617B - 一种铁路货车制动梁支柱圆销丢失故障识别方法

Info

Publication number: CN111080617B
Application number: CN201911278263.8A
Authority: CN
Inventors: 生田野
Original assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Current assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2020-12-08
Anticipated expiration: 2039-12-12
Also published as: CN111080617A

Abstract

一种铁路货车制动梁支柱圆销丢失故障识别方法，属于铁路领域，本发明为解决现有对货车制动梁支柱圆销丢失故障采用人工检测成本高，但采用机检准确率低的问题。本发明包括：步骤一、收集货车制动梁支柱圆销样本图像建立训练集；步骤二、输入至RPN网络和Fast RCNN网络进行联合训练，获取最终权重构建Fast RCNN网络模型；步骤三、连续采集货车制动梁支柱圆销的过车图片，并预处理；步骤四、将图片依次输入至Fast RCNN网络模型中判断货车制动梁支柱圆销图片是否存在丢失故障，若存在丢失故障，上传报警；若正常，按步骤四的方法继续判断下一张图片是否存在丢失故障，直至将连续采集的图片都处理完毕。

Description

一种铁路货车制动梁支柱圆销丢失故障识别方法

技术领域

本发明属于铁路领域，涉及图像处理技术。

背景技术

货车制动梁支柱圆销丢失是一种危及行车安全的故障，现在使用的检测方法分为两类，第一类是人工检查，因其准确率高占有很大比例，大概过程是：在货车进站检修时，主动采集货车整车图片，由人工对整车图片进行检看，其中包括对制动梁支柱圆销是否丢失进行检查，由于该故障出现的位置较为隐蔽且部件面积相对于整车较小，所以给检车人员造成了极大的工作负担，以及造成了严重的人员浪费。第二类是计算机处理：在货车进站检修时或运行过程中，采集货车整车图片，将该图片输入给计算机处理，但目前根据采集图片判断制动梁支柱圆销丢失存在的问题是：检测准确率低，不能完全替代人工检测。

发明内容

本发明目的是为了解决现有对货车制动梁支柱圆销丢失故障采用人工检测成本高，但采用机检准确率低的问题，提供了一种铁路货车制动梁支柱圆销丢失故障识别方法。

本发明所述一种铁路货车制动梁支柱圆销丢失故障识别方法，该方法包括以下步骤：

步骤一、收集货车制动梁支柱圆销样本图像建立训练集；

步骤二、将步骤一的训练集输入至RPN网络(Region Proposal Network，区域建议网络)和Fast RCNN(Faster Region Convolutional Neural Networks，更快的区域卷积神经网络)网络进行联合训练，获取最终权重，将该最终权重加载至Fast RCNN网络中构建Fast RCNN网络模型；

步骤三、连续采集货车制动梁支柱圆销的过车图片，并对图片进行预处理；

步骤四、将步骤三待检测的图片依次输入至Fast RCNN网络模型中判断货车制动梁支柱圆销图片是否存在丢失故障，

若存在丢失故障，上传报警；若正常，按步骤四的方法继续判断下一张图片是否存在丢失故障，直至将连续采集的图片都处理完毕。

优选地，步骤一建立训练集的过程为：

步骤一一、利用高分辨率线阵相机采集货车底部灰度图像；

步骤一二、按照步骤一一收集各种条件、不同站点、不同时间、不同设备的制动梁工位样本图像；

步骤一三、对步骤一二收集到的样本图像进行数据扩增；

步骤一四、对样本图像进行粗定位，从货车底部灰度图像中提取待识别制动梁工位区域图像，建立训练集。

优选地，步骤二RPN网络和Fast RCNN网络联合训练的过程为：

步骤二一、将样本图像输入至Fast RCNN网络中进行训练，生成一次权重；

步骤二二、加载一次权重，将样本图像输入至RPN网络进行训练，生成边框偏移量；

步骤二三、将样本图像输入至Fast RCNN网络中进行训练，此次训练加载一次权重及步骤二二的边框偏移量，生成二次权重；

步骤二四、加载二次权重，将样本图像输入至Fast RCNN网络中进行训练，本步骤中Fast RCNN网络与步骤二三的Fast RCNN网络共享卷积神经网络CNN层，在此次训练中共享卷积神经网络CNN(Convolutional Neural Networks)层固定不动，单独训练Fast RCNN网络中的区域建议网络RPN层，生成新的边框偏移量；

步骤二五、卷积神经网络CNN层和区域建议网络RPN层固定不动，训练Fast RCNN网络中其它层，生成最终权重。

优选地，步骤四判断货车制动梁支柱圆销图片是否存在丢失故障的过程为：

步骤四一、加载最终权重，输入待检测图片至Fast RCNN网络中；

步骤四二、利用卷积神经网络CNN层对待检测图片提取特征图；

步骤四三、接收特征图，并利用区域建议网络RPN层生成候选区域；

步骤四四、利用多任务损失函数softmax确定边框偏移量，确定预测框位置；

步骤四五、根据预测框内图像信息判断制动梁支柱圆销是否存在丢失故障，若存在丢失故障，上传报警；若不存在丢失故障，继续检测下一张图片。

优选地，步骤一二各种条件制动梁工位样本图像指雨水、冰雪、粉笔涂写、装载物泄露、泥渍、油渍、黑漆、灰尘多种情况下的货车制动梁工位图像。

优选地，步骤一三中对样本图像进行数据扩增方法包括对图像进行平移、旋转、镜像、亮度变化、裁剪、缩放和模糊操作。

本发明的有益效果：本发明采用深度学习与人工智能技术对货车制动梁支柱开口销丢失故障进行识别，可以有效提高检测准确率，较大程度的节约人工成本，实现减员增效。

附图说明

图1是本发明所述一种铁路货车制动梁支柱圆销丢失故障识别方法的流程图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

具体实施方式一、下面结合图1说明本实施方式，本实施方式所述铁路货车制动梁支柱圆销丢失故障识别方法，其特征在于，该方法包括以下步骤：

步骤一、收集货车制动梁支柱圆销样本图像建立训练集；

1、收集样本

利用高分辨率线阵相机采集清晰的灰度图像。收集图像的原则如下：

(1)收集雨水、冰雪、粉笔涂写、装载物泄露、泥渍、油渍、黑漆、灰尘等多种情况下的货车制动梁工位图像。

(2)对不同站点、不同设备、不同时间(阳光干扰程度不同)收集货车制动梁工位图像。

2、样本扩增

由于实际采集到的样本数据有限，为了可以最大程度的保证样本的多样性和适用性以及提高算法的稳定性，针对采集到的图片进行图像平移、图像旋转、图像镜像、图像亮度变化、裁剪、缩放、图像模糊等方式的样本扩增。

3、待识别图像粗定位

由于待检测部位相对于整个制动梁工位较小，整体制动梁工位作为样本进行训练产生的误差较大，识别效果较差。经研究发现支柱圆销存在一个稳定的特征，相对于整个制动梁工位，部件所在的范围是确定的，所以在进行检测故障之前，需要对采集到的制动梁工位的图片进行粗定位，提取待识别的ROI区域，进一步的细化样本库。

步骤二、将步骤一的训练集输入至RPN网络和Fast RCNN网络进行联合训练，获取最终权重，将该最终权重加载至Fast RCNN网络中构建Fast RCNN网络模型；

所述Fast RCNN网络结构如下：

1)卷积层

作为一种CNN网络目标检测方法，Faster RCNN使用一组基础的conv+relu+pooling(卷积+激励函数+池化)从输入图片中提取出包含特征的图片(简称特征图)。该特征图被共享用于后续RPN层和全连接层。

2)RPN层

RPN(全称Region Proposal Networks)层用于推荐候选区域。该层输入为卷积层中的特征图，通过softmax(多任务损失函数)判断anchors属于背景还是待识别部位，再利用回归函数修正anchors获得相对位置信息。最终输出候选区域所属的类别，和候选区域在图像中的位置信息。

注释：

锚点anchor：anchors可以理解为一些预设大小的框，anchors的种类用k表示，在本文中k＝9，由3种面积(1282,2562,5122)和3种长宽比(1∶1,1∶2,2∶1)组成，这里anchors的大小选取是根据检测时的图像定义，本文设定是最小边缩放到512，最大边不超过1024。

3)池化层

该层输入为卷积层中的特征图和RPN层中的候选区域在图像中的位置，综合这些信息后提取含有位置信息的特征图，送入后续全连接层判定目标类别。

4)分类和回归层

该层输入为池化层中提取的提取含有位置信息的特征图，利用softmax(多任务损失函数)计算位置信息的类别，同时利用回归函数获得检测框最终的精确位置。

本步骤采用RPN网络Fast RCNN网络联合训练，具体为：

步骤1、将样本图像输入至Fast RCNN网络中进行训练，生成一次权重；

步骤2：

读取样本库中图片进行RPN网络预训练，此次训练加载一次权重，以区域建议为目的的RPN网络end-to-end(端对端)微调训练，获取边框偏移量。

步骤3：

读取样本库中图片进行Fast R-CNN网络预训练，用第2步中得到的区域建议(边框偏移量)进行以检测为目的的Fast R-CNN网络end-to-end微调训练，loss函数出现回归时生成二次权重，即更新了权重。

步骤4：

使用第3步中微调后的Fast R-CNN网络重新初始化RPN网络，固定共享卷积层(本步骤的卷积层与第3步的卷积层为同一个，共享)，利用第3步共享的卷积层输出的特征图为操作对象微调本次Fast R-CNN网络中的RPN网络层，输出新的边框偏移量。

步骤5：

固定卷积层，利用第4步的新边框偏移量，仅微调Fast R-CNN其余层，至此形成统一网络。loss函数出现回归时生成最终权重，完成Fast R-CNN网络模型的构建。

待检测图片输入至Fast R-CNN网络模型中处理的过程为：

1、加载最终权重，接受输入的待检测图片。

2、通过卷积层从输入图片中提取出包含特征的图片(简称特征图)。

3、接收上一步骤中的特征图，通过RPN层生成anchors，每个anchors又都有4个用于回归的变量[d_x(A),d_y(A),d_w(A),d_h(A)](边框偏移量)。

4、利用回归变量[d_x(A),d_y(A),d_w(A),d_h(A)]对所有的anchors做bboxregression回归获取anchors的相对位置信息。

5、按照上一步中输入的相对位置信息由大到小排序anchors，提取修正位置后的anchors。

6、限定超出图像边界的anchors为图像边界。剔除面积非常小的anchors。

7、利用softmax(多任务损失函数)计算位置信息的类别，同时利用回归函数获得检测框最终的精确位置。输出预测框坐标X、Y、W、H(x轴坐标、y轴坐标、宽、高)。

本实施方式采用的方法精度高、效率高。

在Fast R-CNN网络模型中，RPN作用是在CNN卷积层后完成区域建议功能，分为两个卷积层第一个卷积层将特征图每个滑窗位置编码成一个特征向量，第二个卷积层对应每个特征向量输出k个区域得分和k个回归后的区域建议，并对得分区域进行非极大值抑制后输出得分前300个区域，告诉检测网络应该注意哪些区域。

常规的Faster-RCNN网络训练一个能检测物体的网络，一般时候先对整张原始图片进行滑窗判断，由于无法判断区域建议的尺度和长宽比，所以需要多次缩放，这样找出一张图片有物体的区域就会很慢。

常规的Faster-RCNN中为Top-300，但这种设置方式精度很低。

本实施方式对RPN层进行个性化处理，利用RPN与Faster-RCNN联合训练，获取更优的权重系数，以便Faster-RCNN网络模型更优化，提高其精度。本实施方式的RPN也是用滑动窗口策略，但是滑动窗口实在卷积层特征图上进行的，维度较原始图像降低了很多倍，因为在之前的VGG16网络中进行了很多的池化操作。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims

1.一种铁路货车制动梁支柱圆销丢失故障识别方法，其特征在于，该方法包括以下步骤：

步骤一、收集货车制动梁支柱圆销样本图像建立训练集；

RPN网络和Fast RCNN网络联合训练的过程为：

步骤二四、加载二次权重，将样本图像输入至Fast RCNN网络中进行训练，本步骤中Fast RCNN网络与步骤二三的Fast RCNN网络共享卷积神经网络CNN层，在此次训练中共享卷积神经网络CNN层固定不动，单独训练Fast RCNN网络中的区域建议网络RPN层，生成新的边框偏移量；

步骤二五、卷积神经网络CNN层和区域建议网络RPN层固定不动，训练Fast RCNN网络中其它层，生成最终权重；

2.根据权利要求1所述铁路货车制动梁支柱圆销丢失故障识别方法，其特征在于，步骤一建立训练集的过程为：

步骤一一、利用高分辨率线阵相机采集货车底部灰度图像；

步骤一三、对步骤一二收集到的样本图像进行数据扩增；

3.根据权利要求1所述铁路货车制动梁支柱圆销丢失故障识别方法，其特征在于，步骤四判断货车制动梁支柱圆销图片是否存在丢失故障的过程为：

4.根据权利要求2所述铁路货车制动梁支柱圆销丢失故障识别方法，其特征在于，步骤一二各种条件制动梁工位样本图像指雨水、冰雪、粉笔涂写、装载物泄露、泥渍、油渍、黑漆、灰尘多种情况下的货车制动梁工位图像。

5.根据权利要求2所述铁路货车制动梁支柱圆销丢失故障识别方法，其特征在于，步骤一三中对样本图像进行数据扩增方法包括对图像进行平移、旋转、镜像、亮度变化、裁剪、缩放和模糊操作。