CN112966603B - 一种铁路货车渡板脱落的故障识别方法 - Google Patents

Abstract

一种铁路货车渡板脱落的故障识别方法，本发明涉及铁路货车渡板脱落的故障识别方法。本发明的目的是为了解决现有方法故障检测准确率以及效率低的问题。过程为：一、采集原始图像数据；二、获得包含渡板部位样本图像；三、标记渡板、车体及三角底座三类；四、获取分割图像数据集；五、将目标边缘画到掩膜图像上；当目标边缘处于掩膜图像四周边界时，将目标边缘处的掩膜图像设置为0；否则将目标边缘处的掩膜图像设置为255，对掩膜图像进行膨胀得到边缘图像；六、获取边缘图像数据集；七、搭建边缘检测网络；八、搭建实例分割网络；九、得到分割网络；十、利用分割网络进行铁路货车渡板脱落故障判别。本发明属于故障图像识别领域。

Description

一种铁路货车渡板脱落的故障识别方法

技术领域

本发明涉及铁路货车渡板脱落的故障识别方法。

背景技术

在铁路安全方向，传统的方法为探测设备拍到照片后，通过人工观察找到列车的故障点所在。这种方法可以在车行进中进行故障检测，而无需停靠。但是使用人工观察存在易疲劳、强度大、需要培训等缺点。现阶段越来越多的事情可以由机器来代替人工，机器具有成本低，规则统一，24小时无疲劳的特点，所以使用图像识别技术代替传统的人工检测，具有可行性。

渡板脱落需要根据距离判断故障，人眼很难准确地判断出距离的大小，且不同站点拍摄出的目标大小不一使得人眼检测难度更大。使用传统的图像算法对于不同站点不同图像需要大量的调试。故使用深度学习神经网络的方法进行故障识别，可以根据故障标准进行准确识别。

发明内容

本发明的目的是为了解决现有人工故障检测方法所存在的故障检测的准确率以及效率低的问题，而提出一种铁路货车渡板脱落的故障识别方法。

本发明为解决上述技术问题所采取的技术方案是：一种铁路货车渡板脱落的故障识别方法具体过程为：

步骤一、采集原始图像数据；

步骤二、基于步骤一采集的原始图像数据，获得包含渡板部位样本图像；

步骤三、使用标签对步骤二获得的包含渡板部位样本图像进行标记，标记渡板、车体及三角底座三类；

步骤四、获取分割图像数据集：

将步骤二获得的包含渡板部位样本图像及步骤三标签标记的渡板、车体及三角底座图像一一对应；

步骤五、将步骤三标签标记的渡板、车体及三角底座图像转化为二值图像；

对二值图像进行边缘查找，找到像素值为255的目标边缘，创建与步骤二获得的包含渡板部位样本图像相同大小的像素全为0的掩膜图像，将目标边缘画到掩膜图像上；

当目标边缘处于掩膜图像四周边界时，将目标边缘处的掩膜图像设置为0；

当目标边缘不处于掩膜图像四周边界时，将目标边缘处的掩膜图像设置为255，对画好的掩膜图像进行膨胀得到边缘图像；

步骤六、获取边缘图像数据集：

将步骤二获得的包含渡板部位样本图像及步骤五膨胀后的掩膜图像一一对应；

步骤七、搭建边缘检测网络；

步骤八、搭建实例分割网络；

步骤九、基于边缘图像数据集和分割图像数据集对边缘检测网络和实例分割网络进行训练，得到分割网络；

步骤十、利用分割网络进行铁路货车渡板脱落故障判别。

可选的，步骤一中采集原始图像数据；具体过程为：

在固定的探测站点搭建成像设备，获取货车2D线阵灰度图像，选取货车侧部上方相机拍摄图像作为原始图像；获取不同站点不同条件拍摄的原始图像。

可选的，步骤二中基于步骤一采集的原始图像数据，获得包含渡板部位样本图像；具体过程为：

根据先验知识及轴距信息，对原始图像进行截取，获得包含渡板部位样本图像。

可选的，步骤七中搭建边缘检测网络；具体过程为：

边缘检测网络包括第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第三最大池化层、第七卷积层、第八卷积层、第四最大池化层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、softmax层；

第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层的卷积核大小为3*3；

第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层的卷积核大小为1*1。

可选的，边缘检测网络的连接关系表征如下：

边缘检测网络的第一卷积层的输出端连接第二卷积层的输入端，第二卷积层的输出端连接第一最大池化层的输入端，第一最大池化层的输出端连接第三卷积层的输入端，第三卷积层的输出端连接第四卷积层的输入端，第四卷积层的输出端连接第二最大池化层的输入端，第二最大池化层的输出端连接第五卷积层的输入端，第五卷积层的输出端连接第六卷积层的输入端，第六卷积层的输出端连接第三最大池化层的输入端，第三最大池化层的输出端连接第七卷积层的输入端，第七卷积层的输出端连接第八卷积层的输入端，第八卷积层的输出端连接第四最大池化层的输入端，第四最大池化层的输出端连接第九卷积层的输入端，第九卷积层的输出端连接第十卷积层的输入端；

对第一卷积层、第二卷积层的输出求和，后接第十一卷积层，对第十一卷积层的输出进行1倍上采样，得到对第十一卷积层的输出进行上采样的结果；

对第三卷积层、第四卷积层的输出求和，后接第十二卷积层，对第十二卷积层的输出进行2倍上采样，得到对第十二卷积层的输出进行上采样的结果；

对第五卷积层、第六卷积层的输出求和，后接第十三卷积层，对第十三卷积层的输出进行4倍上采样，得到对第十三卷积层的输出进行上采样的结果；

对第七卷积层、第八卷积层的输出求和，后接第十四卷积层，对第十四卷积层的输出进行8倍上采样，得到对第十四卷积层的输出进行上采样的结果；

对第九卷积层、第十卷积层的输出求和，后接第十五卷积层，对第十五卷积层的输出进行16倍上采样，得到对第十五卷积层的输出进行上采样的结果；

将得到的对第十一卷积层的输出进行上采样的结果、对第十二卷积层的输出进行上采样的结果、对第十三卷积层的输出进行上采样的结果、对第十四卷积层的输出进行上采样的结果、对第十五卷积层的输出进行上采样的结果进行拼接操作，输出结果经过第十六卷积层，第十六卷积层输出结果经过softmax得到边缘检测特征图B2。

可选的，步骤八中搭建实例分割网络；具体过程为：

实例分割网络包括第十七卷积层、第十八卷积层、第十九卷积层、第二十卷积层、第二十一卷积层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层、第二十七卷积层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层、ROIAlign层、全连接层。

可选的，步骤九中基于边缘图像数据集和分割图像数据集对边缘检测网络和实例分割网络进行训练，得到分割网络；具体过程为：

将步骤六获取的边缘图像数据集输入边缘检测网络进行训练，得到训练好的边缘检测网络对应的权重，输出边缘检测特征图B2；

将步骤四获取分割图像数据集输入实例分割网络进行训练，直至收敛，得到训练好的实例分割网络，输出实例分割网络特征图B1；具体为：

将步骤四获取分割图像数据集输入实例分割网络的第十七卷积层，第十七卷积层输出的特征图输入第十八卷积层，第十八卷积层输出的特征图进行0.5倍的下采样得到特征图F1，将下采样特征图F1输入第十九卷积层，第十九卷积层输出的特征图输入第二十卷积层，第二十卷积层输出的特征图进行0.5倍的下采样得到特征图F2，将下采样特征图F2输入第二十一卷积层，第二十一卷积层输出的特征图输入第二十二卷积层，第二十二卷积层输出的特征图进行0.5倍的下采样得到特征图F3，将下采样特征图F3输入第二十三卷积层，第二十三卷积层输出的特征图输入第二十四卷积层，第二十四卷积层输出的特征图进行0.5倍的下采样得到特征图F4；

将特征图F4输入到第二十五卷积层得到特征图P5，将特征图P5上采样到与特征图F3相同大小得到一个特征图a，将特征图F3输入第二十六卷积层得到一个特征图b，将特征图a和特征图b相加融合得到特征图P4；

将特征图P4上采样到与特征图F2相同大小得到特征图c，将特征图F2输入第二十七卷积层得到特征图d，将特征图c和特征图d相加融合得到特征图P3；

将特征图P3上采样到与特征图F1相同大小得到特征图e，将特征图F1输入第二十八卷积层得到特征图f，将特征图e和特征图f相加融合得到特征图P2；

特征图N2与特征图P2相同，将特征图N2输入到第二十九卷积层得到特征图g，将得到的特征图g加上特征图P3得到特征图N3；

将特征图N3输入到第三十卷积层得到特征图h，将得到的特征图h加上特征图P4得到特征图N4；

将特征图N4输入到第三十一卷积层得到特征图i，将得到的特征图i加上特征图P5得到特征图N5；

将N2、N3、N4、N5输入到ROIAlign层内将不同大小的特征图统一到相同大小，之后对统一到相同大小的四个特征图进行相加融合得到特征图B1，对特征图B1进行全连接操作，全连接操作后分别进行分类和边框回归；

加载训练好的边缘检测网络权重，将边缘检测网络输出的边缘检测特征图B2和特征图B1直接加入到PANet的mask分支中，选用iou loss作为边缘损失，得到分割网络。

可选的，PANet的mask分支包括ROI pooling层、FCN和全连接层；

根据ROI信息对特征图B1、B2进行截取，得到截取后的特征图B1和截取后的特征图B2，将截取后的B1分别输入到第三十二卷积层及全连接层，将截取后的B2与第三十二卷积层输出及全连接层输出相加融合，融合后特征图经激活函数输出特征图。

可选的，根据ROI信息对特征图B1、B2进行截取；具体为：

将检测目标框ROI向水平方向左右各扩宽20像素，若扩宽后检测目标框ROI超出特征图B1和特征图B2范围，则取特征图B1、B2边界进行截取；若扩宽后检测目标框ROI 未超出特征图B1和特征图B2范围，则按扩宽后检测目标框ROI对特征图B1、B2进行截取。

可选的，步骤十中利用分割网络进行铁路货车渡板脱落故障判别；具体过程为：

步骤十一：当货车通过探测基站时，相机获取线阵图像；

步骤十二：通过使用先验知识与轴距信息，截取渡板部位图像；

步骤十三：将截取的渡板部位图像输入到分割网络中分割车体、渡板、三角底座三部分；

步骤十四：计算分割网络中分割出的渡板底座水平方向像素个数，测量渡板底座实际宽度，求出像素个数与渡板底座实际宽度的比例β；

步骤十五：找到车体上端位置，由上到下计算渡板与车体间的像素个数，取像素个数最大值作为判别像素值；

步骤十六：将判别像素值与比例β相乘，换算出渡板与车体之间实际距离；当渡板与车体之间实际距离大于180mm的时候报警；当渡板与车体之间实际距离小于等于180mm的时候，继续识别下一张图像。

本发明的有益效果为：

在路轨旁探测站点安装线阵高速线阵相机，当货车通过该探测站点时，得到2D线阵图像。根据硬件及轴距信息，截取渡板子图。搜集该区域子图，并对其标记，得到训练数据集。搭建分割模型，训练该模型得到网络权重，根据网络输出进行故障的逻辑判断。将算法布置到探测站，当有车辆经过的时候，调用该算法进行故障识别。过车存在故障时，输出报警信息，上传至平台人工确认报警。

1、人工检测难以准确地判断出渡板与车体间的距离，只有故障发生变化很大的时候才容易检测出，本算法精准计算渡板到车厢距离依据标准进行判别。

2、采用固定大小的参照物进行标定，可以适用于不同站点不同角度，而无需对程序进行调整，自适应程度高。

3、通过增加边缘注意力模块，使得分割结果边缘更加完整，结果更加准确。

4、使用分割计算距离来进行故障判别，可以依据不同路局不同标准进行不同程度故障的识别，一次训练即可对应不同的标准进行识别。

附图说明

图1为本发明流程图；

图2为本发明边缘检测网络结构图；

图3为本发明网络整体结构示意图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一：结合图1说明本实施方式，本实施方式一种铁路货车渡板脱落的故障识别方法具体过程为：

步骤一、采集原始图像数据；

步骤二、基于步骤一采集的原始图像数据，获得包含渡板部位样本图像；

步骤三、使用标签对步骤二获得的包含渡板部位样本图像进行标记，标记渡板、车体及三角底座三类；

由于在不同站点相机的角度，以及相机距离车体距离都会有所差异，所以需要一个固定部件进行像素标定；渡板位置及姿态容易发生变化但支撑渡板的三角底座位置大小固定且无法移动，所以为了统一故障标准对车体中的三角底座进行标记，使用该目标进行像素的标定，从而使得程序对于不同站点可以适用相同标准；

步骤四、获取分割图像数据集：

将步骤二获得的包含渡板部位样本图像及步骤三标签标记的渡板、车体及三角底座图像一一对应；

步骤五、将步骤三标签标记的渡板、车体及三角底座图像转化为二值图像(渡板、车体、三角底座像素值为255，背景像素值为0)；

通过Opncv函数对二值图像进行边缘查找，找到像素值为255的目标边缘，创建与步骤二获得的包含渡板部位样本图像相同大小的像素全为0的掩膜图像，将目标边缘画到掩膜图像上；

当目标边缘处于掩膜图像四周边界时，将目标边缘处的掩膜图像设置为0；

当目标边缘不处于掩膜图像四周边界时，将目标边缘处的掩膜图像设置为255，对画好的掩膜图像进行膨胀得到宽度为5的边缘图像；

步骤六、获取边缘图像数据集：

将步骤二获得的包含渡板部位样本图像及步骤五膨胀后的掩膜图像一一对应；

步骤七、搭建边缘检测网络；

步骤八、搭建实例分割网络；

步骤九、基于边缘图像数据集和分割图像数据集对边缘检测网络和实例分割网络进行训练，得到分割网络；

步骤十、利用分割网络进行铁路货车渡板脱落故障判别。

具体实施方式二：本实施方式与具体实施方式一不同的是，步骤一中采集原始图像数据；具体过程为：

在固定的探测站点搭建高速成像设备，获取货车2D高清线阵灰度图像，选取货车侧部(左右同时使用)上方相机拍摄图像作为原始图像；长时间的图像收集，获取不同站点不同条件拍摄的原始图像，不同条件指图像中存在各种自然干扰如光照、雨水等的图像，保证数据的多样性，这样最终模型会有更好的鲁棒性。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，步骤二中基于步骤一采集的原始图像数据，获得包含渡板部位样本图像；具体过程为：

根据先验知识及硬件、框架(传感器一类的数据采集设备)提供的轴距信息，对原始图像进行截取，获得包含渡板部位样本图像。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，步骤七中搭建边缘检测网络；具体过程为：

对于渡板脱落故障识别判别标准为渡板与车体之间的距离，首先分割出渡板与车体，通过像素转换计算实际距离。网络对于车体与渡板边缘分割的好坏直接影响距离的计算结果。在使用mask-r-cnn进行分割时，分割结果边缘部分总存在缺失，所以本发明提出一种边缘增强的图像分割方法，来减少目标分割边缘缺失的问题。

首先搭建边缘增强网络，使得网络在进行分割时更注重边缘区域。该网络结构如图 1所示，网络共分5个层，前4层为双3*3卷积接池化，第五层为只包含双3*3卷积。对每一层中两个卷积求和，后接1*1卷积，经过不同大小的上采样将特征图像变为相同大小然后进行拼接操作。输出结果经过softmax得到边缘检测结果，将该结果作为分割网络增强模块。

边缘检测网络包括第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第三最大池化层、第七卷积层、第八卷积层、第四最大池化层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、softmax层；

第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层的卷积核大小为3*3；

第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层的卷积核大小为1*1。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，边缘检测网络的连接关系表征如下：

边缘检测网络的第一卷积层的输出端连接第二卷积层的输入端，第二卷积层的输出端连接第一最大池化层的输入端，第一最大池化层的输出端连接第三卷积层的输入端，第三卷积层的输出端连接第四卷积层的输入端，第四卷积层的输出端连接第二最大池化层的输入端，第二最大池化层的输出端连接第五卷积层的输入端，第五卷积层的输出端连接第六卷积层的输入端，第六卷积层的输出端连接第三最大池化层的输入端，第三最大池化层的输出端连接第七卷积层的输入端，第七卷积层的输出端连接第八卷积层的输入端，第八卷积层的输出端连接第四最大池化层的输入端，第四最大池化层的输出端连接第九卷积层的输入端，第九卷积层的输出端连接第十卷积层的输入端；

对第一卷积层、第二卷积层的输出求和，后接第十一卷积层，对第十一卷积层的输出进行1倍上采样，得到对第十一卷积层的输出进行上采样的结果；

对第三卷积层、第四卷积层的输出求和，后接第十二卷积层，对第十二卷积层的输出进行2倍上采样，得到对第十二卷积层的输出进行上采样的结果；

对第五卷积层、第六卷积层的输出求和，后接第十三卷积层，对第十三卷积层的输出进行4倍上采样，得到对第十三卷积层的输出进行上采样的结果；

对第七卷积层、第八卷积层的输出求和，后接第十四卷积层，对第十四卷积层的输出进行8倍上采样，得到对第十四卷积层的输出进行上采样的结果；

对第九卷积层、第十卷积层的输出求和，后接第十五卷积层，对第十五卷积层的输出进行16倍上采样，得到对第十五卷积层的输出进行上采样的结果；

将得到的对第十一卷积层的输出进行上采样的结果、对第十二卷积层的输出进行上采样的结果、对第十三卷积层的输出进行上采样的结果、对第十四卷积层的输出进行上采样的结果、对第十五卷积层的输出进行上采样的结果进行拼接操作，输出结果经过第十六卷积层，第十六卷积层输出结果连接softmax。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，步骤八中搭建实例分割网络；具体过程为：

在使用unet及deeplabv3网络进行目标分割时，容易产生误分割目标，对于距离判断产生影响。本发明使用PANet对车体及渡板、三角底座进行分割。PANet为mask-r-cnn 网络的改进版有更强的分割能力，本发明在PANet的基础上，将边缘增强网络输出加入到mask分支中对目标分割边缘进行优化。网络整体结构如图2所示。

实例分割网络包括第十七卷积层、第十八卷积层、第十九卷积层、第二十卷积层、第二十一卷积层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层、第二十七卷积层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层、ROIAlign层、全连接层。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，步骤九中基于边缘图像数据集和分割图像数据集对边缘检测网络和实例分割网络进行训练，得到分割网络；具体过程为：

为了网络更容易拟合，分两步训练网络。

将步骤六获取的边缘图像数据集输入边缘检测网络进行训练，直至收敛，得到训练好的边缘检测网络对应的权重，输出边缘检测特征图B2；

将步骤四获取分割图像数据集输入实例分割网络进行训练，直至收敛，得到训练好的实例分割网络，输出实例分割网络特征图B1；具体为：

将步骤四获取分割图像数据集输入实例分割网络的第十七卷积层，第十七卷积层输出的特征图输入第十八卷积层，第十八卷积层输出的特征图进行0.5倍的下采样得到特征图 F1，将下采样特征图F1输入第十九卷积层，第十九卷积层输出的特征图输入第二十卷积层，第二十卷积层输出的特征图进行0.5倍的下采样得到特征图F2，将下采样特征图F2输入第二十一卷积层，第二十一卷积层输出的特征图输入第二十二卷积层，第二十二卷积层输出的特征图进行0.5倍的下采样得到特征图F3，将下采样特征图F3输入第二十三卷积层，第二十三卷积层输出的特征图输入第二十四卷积层，第二十四卷积层输出的特征图进行0.5倍的下采样得到特征图F4；

将特征图F4输入到第二十五卷积层得到特征图P5，将特征图P5上采样到与特征图F3相同大小得到一个特征图a，将特征图F3输入第二十六卷积层得到一个特征图b，将特征图a和特征图b相加融合得到特征图P4；

将特征图P4上采样到与特征图F2相同大小得到特征图c，将特征图F2输入第二十七卷积层得到特征图d，将特征图c和特征图d相加融合得到特征图P3；

将特征图P3上采样到与特征图F1相同大小得到特征图e，将特征图F1输入第二十八卷积层得到特征图f，将特征图e和特征图f相加融合得到特征图P2；

特征图N2与特征图P2相同(完全相同的特征图，只是名字变了一下)，将特征图 N2输入到第二十九卷积层(步长为2)得到特征图g，将得到的特征图g加上特征图P3 得到特征图N3；

将特征图N3输入到第三十卷积层(步长为2)得到特征图h，将得到的特征图h加上特征图P4得到特征图N4；

将特征图N4输入到第三十一卷积层(步长为2)得到特征图i，将得到的特征图i 加上特征图P5得到特征图N5；

将N2、N3、N4、N5输入到ROIAlign层(RoiAlign层与roipooling作用相同但精度更好)内将不同大小的特征图统一到相同大小，之后对统一到相同大小的四个特征图进行相加融合得到特征图B1，对特征图B1进行全连接操作，全连接操作后分别进行分类和边框回归；

加载训练好的边缘检测网络权重，将边缘检测网络输出的边缘检测特征图B2和特征图B1直接加入到PANet的mask分支中，增加分割目标边缘的准确性；选用iou loss作为边缘损失(Iou为交并比(预测值与label的交集比上并集的结果)，loss为1减iou)，得到分割网络。

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，PANet的mask分支包括ROI pooling层、FCN和全连接层；

根据ROI信息对特征图B1、B2进行截取，得到截取后的特征图B1和截取后的特征图B2，将截取后的B1分别输入到第三十二卷积层及全连接层，将截取后的B2与第三十二卷积层输出及全连接层输出相加融合，融合后特征图经激活函数输出特征图；

其它步骤及参数与具体实施方式一至七之一相同。

具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，根据ROI信息对特征图B1、B2进行截取；具体为：

将检测目标框ROI向水平方向左右各扩宽20像素，若扩宽后检测目标框ROI超出特征图B1和特征图B2范围，则取特征图B1、B2边界进行截取；若扩宽后检测目标框ROI 未超出特征图B1和特征图B2范围，则按扩宽后检测目标框ROI对特征图B1、B2进行截取。

在测试中发现存在因检测目标框(图3中的ROI，分割为双阶段，首先检测到目标之后再对目标框内像素进行分割)小于物体使得分割结果边缘不完整的情况，将检测目标框向水平方向左右各扩宽20像素进行截取，当扩宽后若检测目标框超出边缘则以边缘为准。解决边界因定位产生边界缺失的问题。

其它步骤及参数与具体实施方式一至八之一相同。

具体实施方式十：本实施方式与具体实施方式一至九之一不同的是，步骤十中利用分割网络进行铁路货车渡板脱落故障判别；具体过程为：

步骤十一：当货车通过探测基站时，相机获取线阵图像；

步骤十二：通过使用先验知识与轴距信息，截取渡板部位图像；

步骤十三：将截取的渡板部位图像输入到分割网络中分割车体、渡板、三角底座三部分；

步骤十四：计算分割网络中分割出的渡板底座水平方向像素个数，测量渡板底座实际宽度，求出像素个数与渡板底座实际宽度的比例β；

步骤十五：找到车体上端位置，由上到下计算渡板与车体间的像素个数，取像素个数最大值作为判别像素值；

步骤十六：将判别像素值与比例β相乘，换算出渡板与车体之间实际距离；当渡板与车体之间实际距离大于180mm的时候报警；当渡板与车体之间实际距离小于等于180mm的时候，继续识别下一张图像。

首先在现场使用尺子测量出三角底座的宽度W1(mm)，通过分割网络可以分割出三角底座宽度方向的像素个数P1(像素)，W1/P1即为一个像素对应的实际距离即β。通过步骤五五得到的最大像素值乘β即为实际距离，使用实际距离进行判断。

整体流程图如图3所示。

其它步骤及参数与具体实施方式一至九之一相同。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (7)

1.一种铁路货车渡板脱落的故障识别方法，其特征在于，该方法包括以下步骤：

步骤一、采集原始图像数据；

步骤二、基于步骤一采集的原始图像数据，获得包含渡板部位样本图像；

步骤三、使用标签对步骤二获得的包含渡板部位样本图像进行标记，标记渡板、车体及三角底座三类；

步骤四、获取分割图像数据集：

将步骤二获得的包含渡板部位样本图像及步骤三标签标记的渡板、车体及三角底座图像一一对应；

步骤五、将步骤三标签标记的渡板、车体及三角底座图像转化为二值图像；

对二值图像进行边缘查找，找到像素值为255的目标边缘，创建与步骤二获得的包含渡板部位样本图像相同大小的像素全为0的掩膜图像，将目标边缘画到掩膜图像上；

当目标边缘处于掩膜图像四周边界时，将目标边缘处的掩膜图像设置为0；

当目标边缘不处于掩膜图像四周边界时，将目标边缘处的掩膜图像设置为255，对画好的掩膜图像进行膨胀得到边缘图像；

步骤六、获取边缘图像数据集：

将步骤二获得的包含渡板部位样本图像及步骤五膨胀后的掩膜图像一一对应；

步骤七、搭建边缘检测网络；

步骤八、搭建实例分割网络；

步骤九、基于边缘图像数据集和分割图像数据集对边缘检测网络和实例分割网络进行训练，得到分割网络；

步骤十、利用分割网络进行铁路货车渡板脱落故障判别；具体过程为：

步骤一)：当货车通过探测基站时，相机获取线阵图像；

步骤二)：通过使用先验知识与轴距信息，截取渡板部位图像；

步骤三)：将截取的渡板部位图像输入到分割网络中分割车体、渡板、三角底座三部分；

步骤四)：计算分割网络中分割出的渡板底座水平方向像素个数，测量渡板底座实际宽度，求出渡板底座实际宽度与像素个数的比例β；

步骤五)：找到车体上端位置，由上到下计算渡板与车体间的像素个数，取像素个数最大值作为判别像素值；

步骤六)：将判别像素值与比例β相乘，换算出渡板与车体之间实际距离；当渡板与车体之间实际距离大于180mm的时候报警；当渡板与车体之间实际距离小于等于180mm的时候，继续识别下一张图像；

所述步骤七中搭建边缘检测网络；具体过程为：

边缘检测网络包括第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第三最大池化层、第七卷积层、第八卷积层、第四最大池化层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、softmax层；

第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层的卷积核大小为3*3；

第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层的卷积核大小为1*1；

所述边缘检测网络的连接关系表征如下：

边缘检测网络的第一卷积层的输出端连接第二卷积层的输入端，第二卷积层的输出端连接第一最大池化层的输入端，第一最大池化层的输出端连接第三卷积层的输入端，第三卷积层的输出端连接第四卷积层的输入端，第四卷积层的输出端连接第二最大池化层的输入端，第二最大池化层的输出端连接第五卷积层的输入端，第五卷积层的输出端连接第六卷积层的输入端，第六卷积层的输出端连接第三最大池化层的输入端，第三最大池化层的输出端连接第七卷积层的输入端，第七卷积层的输出端连接第八卷积层的输入端，第八卷积层的输出端连接第四最大池化层的输入端，第四最大池化层的输出端连接第九卷积层的输入端，第九卷积层的输出端连接第十卷积层的输入端；

对第一卷积层、第二卷积层的输出求和，后接第十一卷积层，对第十一卷积层的输出进行1倍上采样，得到对第十一卷积层的输出进行上采样的结果；

对第三卷积层、第四卷积层的输出求和，后接第十二卷积层，对第十二卷积层的输出进行2倍上采样，得到对第十二卷积层的输出进行上采样的结果；

对第五卷积层、第六卷积层的输出求和，后接第十三卷积层，对第十三卷积层的输出进行4倍上采样，得到对第十三卷积层的输出进行上采样的结果；

对第七卷积层、第八卷积层的输出求和，后接第十四卷积层，对第十四卷积层的输出进行8倍上采样，得到对第十四卷积层的输出进行上采样的结果；

对第九卷积层、第十卷积层的输出求和，后接第十五卷积层，对第十五卷积层的输出进行16倍上采样，得到对第十五卷积层的输出进行上采样的结果；

将得到的对第十一卷积层的输出进行上采样的结果、对第十二卷积层的输出进行上采样的结果、对第十三卷积层的输出进行上采样的结果、对第十四卷积层的输出进行上采样的结果、对第十五卷积层的输出进行上采样的结果进行拼接操作，输出结果经过第十六卷积层，第十六卷积层输出结果连接softmax层。

2.根据权利要求1所述一种铁路货车渡板脱落的故障识别方法，其特征在于：所述步骤一中采集原始图像数据；具体过程为：

在固定的探测站点搭建成像设备，获取货车2D线阵灰度图像，选取货车侧部上方相机拍摄图像作为原始图像；获取不同站点不同条件拍摄的原始图像。

3.根据权利要求2所述一种铁路货车渡板脱落的故障识别方法，其特征在于：所述步骤二中基于步骤一采集的原始图像数据，获得包含渡板部位样本图像；具体过程为：

根据先验知识及轴距信息，对原始图像进行截取，获得包含渡板部位样本图像。

4.根据权利要求3所述一种铁路货车渡板脱落的故障识别方法，其特征在于：所述步骤八中搭建实例分割网络；具体过程为：

实例分割网络包括第十七卷积层、第十八卷积层、第十九卷积层、第二十卷积层、第二十一卷积层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层、第二十七卷积层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层、ROIAlign层、全连接层。

5.根据权利要求4所述一种铁路货车渡板脱落的故障识别方法，其特征在于：所述步骤九中基于边缘图像数据集和分割图像数据集对边缘检测网络和实例分割网络进行训练，得到分割网络；具体过程为：

将步骤六获取的边缘图像数据集输入边缘检测网络进行训练，直至收敛，得到训练好的边缘检测网络对应的权重，输出边缘检测特征图B2；

将步骤四获取分割图像数据集输入实例分割网络进行训练，直至收敛，得到训练好的实例分割网络，输出实例分割网络特征图B1；具体为：

将步骤四获取分割图像数据集输入实例分割网络的第十七卷积层，第十七卷积层输出的特征图输入第十八卷积层，第十八卷积层输出的特征图进行0.5倍的下采样得到特征图F1，将下采样特征图F1输入第十九卷积层，第十九卷积层输出的特征图输入第二十卷积层，第二十卷积层输出的特征图进行0.5倍的下采样得到特征图F2，将下采样特征图F2输入第二十一卷积层，第二十一卷积层输出的特征图输入第二十二卷积层，第二十二卷积层输出的特征图进行0.5倍的下采样得到特征图F3，将下采样特征图F3输入第二十三卷积层，第二十三卷积层输出的特征图输入第二十四卷积层，第二十四卷积层输出的特征图进行0.5倍的下采样得到特征图F4；

将特征图F4输入到第二十五卷积层得到特征图P5，将特征图P5上采样到与特征图F3相同大小得到一个特征图a，将特征图F3输入第二十六卷积层得到一个特征图b，将特征图a和特征图b相加融合得到特征图P4；

将特征图P4上采样到与特征图F2相同大小得到特征图c，将特征图F2输入第二十七卷积层得到特征图d，将特征图c和特征图d相加融合得到特征图P3；

将特征图P3上采样到与特征图F1相同大小得到特征图e，将特征图F1输入第二十八卷积层得到特征图f，将特征图e和特征图f相加融合得到特征图P2；

特征图N2与特征图P2相同，将特征图N2输入到第二十九卷积层得到特征图g，将得到的特征图g加上特征图P3得到特征图N3；

将特征图N3输入到第三十卷积层得到特征图h，将得到的特征图h加上特征图P4得到特征图N4；

将特征图N4输入到第三十一卷积层得到特征图i，将得到的特征图i加上特征图P5得到特征图N5；

将N2、N3、N4、N5输入到ROIAlign层内将不同大小的特征图统一到相同大小，之后对统一到相同大小的四个特征图进行相加融合得到特征图B1，对特征图B1进行全连接操作，全连接操作后分别进行分类和边框回归；

加载训练好的边缘检测网络权重，将边缘检测网络输出的边缘检测特征图B2和特征图B1直接加入到PANet的mask分支中，选用iou loss作为边缘损失，得到分割网络。

6.根据权利要求5所述一种铁路货车渡板脱落的故障识别方法，其特征在于：所述PANet的mask分支包括ROI pooling层、FCN和全连接层；

根据ROI信息对特征图B1、B2进行截取，得到截取后的特征图B1和截取后的特征图B2，将截取后的B1分别输入到第三十二卷积层及全连接层，将截取后的B2与第三十二卷积层输出及全连接层输出相加融合，融合后特征图经激活函数输出特征图。

7.根据权利要求6所述一种铁路货车渡板脱落的故障识别方法，其特征在于：所述根据ROI信息对特征图B1、B2进行截取；具体为：

将检测目标框ROI向水平方向左右各扩宽20像素，若扩宽后检测目标框ROI超出特征图B1和特征图B2范围，则取特征图B1、B2边界进行截取；若扩宽后检测目标框ROI未超出特征图B1和特征图B2范围，则按扩宽后检测目标框ROI对特征图B1、B2进行截取。

Images