CN115147664A - 一种铁路货车制动阀防盗罩脱落的故障图像识别方法 - Google Patents

Abstract

一种铁路货车制动阀防盗罩脱落的故障图像识别方法，涉及铁路货车故障检测技术领域。本发明是为了解决无论是人工还是深度学习检测网络在对制动阀防盗罩进行识别检测时，都会有检测错误率高的问题。本发明针对特征提取阶段进行改进，通过拆分卷积核进行特征提取，可以提升目标的检测精度，并通过随机搜索的方式调整训练模型的超参数，可以有效的减少模型训练的时间和模型推断的时间。本发明适用于对铁路货车制动阀防盗罩进行检测。

Description

一种铁路货车制动阀防盗罩脱落的故障图像识别方法

技术领域

本发明属于铁路货车故障检测技术领域，尤其涉及用于故障检测的深度学习网络。

背景技术

铁路货车在运行中，通常采用人工检车和人工看图的方式对货车零部件进行检查。人工检车工作量大，时间较长，效率较低，故障漏检概率大，而人工看图的方式看图量过大，易发生误检漏检。为此，现有技术中采用深度学习检测网络对图片进行检测，来避免人工看图发生误检漏检的问题。但是，现有的cascade-rcnn深度学习检测网络针对制动阀防盗罩的故障图像检测中，由于在铁路货车背景复杂，模型的鲁棒性较差。所以仍旧存在误检率高、检测时间长、检测精度低等问题。

综上所述，无论是人工还是深度学习检测网络在对制动阀防盗罩进行识别检测时，都会有检测错误率高的问题，最终严重影响行车安全。

发明内容

本发明是为了解决无论是人工还是深度学习检测网络在对制动阀防盗罩进行识别检测时，都会有检测错误率高的问题，现提供一种铁路货车制动阀防盗罩脱落的故障图像识别方法。

一种铁路货车制动阀防盗罩脱落的故障图像识别方法，将被测图像输入至训练好的cascade-rcnn网络中，获得检测结果，利用检测结果判断制动阀防盗罩是否脱落；在所述cascade-rcnn网络中采用resnet卷积网络对图像进行特征提取，所述resnet卷积网络包括12组残差单元，每组残差单元包括均16条并联的卷积支链，每条卷积支链均对残差单元的输入进行1*1的卷积操作和3*3的卷积操作，利用滤波器将16条卷积支链输出的特征矩阵进行串联，再对串联之后的特征矩阵进行1*1的卷积操作，该卷积结果与残差单元的输入相加之后通过rule激活函数获得的结果输入至下一组残差单元中，最后一组残差单元的输出结果为resnet卷积网络的输出。

进一步的，上述第一组残差单元的输入通过以下方法获得：

将被测图像依次通过7*7卷积层、BN层、relu激活函数和最大池化层获得通道数为64的特征矩阵，然后将该特征矩阵分别输入至两个1*1的第一卷积块中，其中一个第一卷积块的输出依次经过3*3的第二卷积块和1*1的第三卷积块获得通道数为256的特征矩阵，该通道数为256的特征矩阵与另一个第一卷积块的输出相加的和作为第一组残差单元的输入。

进一步的，上述cascade-rcnn网络包括一个基础检测网络和三个相互串联的探测器，基础检测网络的输出结果依次经过三个探测器后获得cascade-rcnn网络的输出；

基础检测网络包括：特征提取网络、区域建议网络和目标定位网络，每个探测器均包括：感兴趣区域池化层、区域建议网络和目标定位网络。

进一步的，上述特征提取网络：采用resnet卷积网络对输入图像进行特征提取，获得特征图。

进一步的，上述区域建议网络：利用RPN网络在特征图中截取候选框。

进一步的，上述目标定位网络：对RPN网络截取的候选框进行分类，获得含有被测目标的候选框，然后将含有被测目标的候选框回归到被测图像的原始位置，最后根据非极大值抑制算法选取获得得分最高的候选框作为目标定位网络的输出结果。

进一步的，上述感兴趣区域池化层：将目标定位网络的输出结果调整到resnet卷积网络输出的特征图的维度。

进一步的，上述三个探测器中区域建议网络的IOU阈值按照信号传输顺序依次设置为0.55、0.65和0.7。

进一步的，上述利用检测结果判断制动阀防盗罩是否脱落的具体方法为：

分别判断所述检测结果是否符合以下三点：

1)、判断制动阀是否存在，

2)、判断制动阀防盗罩的完整吊架个数否为2，

3)、判断加固螺栓的个数是否为2，

若检测结果均符合以上三点，则制动阀防盗罩未脱落，否则制动阀防盗罩脱落。

进一步的，上述被测图像的获得方法为：

采集被测车辆的中部图像并在该中部图像中对制动阀防盗罩进行定位，之后将含有制动阀防盗罩的部分截取出来获得子图像，在该子图像中将制动阀防盗罩的加固螺栓、吊架及制动阀均利用矩形框标记出来，将标记后的子图像作为被测图像。

本发明所述一种铁路货车制动阀防盗罩脱落的故障图像识别方法的有益效果为：

1、本发明采用深度学习算法对图像进行识别，可以精确定位制动阀防盗罩在货车底部的位置，并对制动阀防盗罩进行故障检测，在检测效率及准确率上大大提高，并且节省很多人力物力，为铁路运行的安全增加了一份保障。

2、本发明基于Cascade-RCNN深度学习网络，改进了cascade-rcnn基础主干网络Resnet，在每一层卷积中，使用多个卷积核进行并联，每一条支路都称为一个基数，将卷积层中从原来的多个卷积核拆分为多个个数少的核，这些个数少的卷积核结构相同。采用改进后的特征提取网络，将目标信息逐层融入深层网络，可以增强目标的特征表达，更好的检测出小目标及半遮挡目标，提高了目标检测精度。并在模型训练的调参过程中，采用随机搜索的方法调整超参数，大大减少了模型的检测时间。

附图说明

图1为Cascade-Rcnn网络结构图；

图2为resnet卷积网络中残差单元的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

具体实施方式一：本实施方式所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法，将被测图像输入至训练好的cascade-rcnn网络中，获得检测结果，利用检测结果判断制动阀防盗罩是否脱落。

具体的，本实施方式在cascade-rcnn网络中采用resnet卷积网络对图像进行特征提取，如图1所示，将输入通道的数量、卷积核的尺寸以及输出通道的数量作为每一层对应的三个参数值。其中resnet卷积网络包括12组串联的残差单元，每组残差单元包括均16条并联的卷积支链，如图2所示。在每一组残差单元的输入均为256的特征矩阵并分为两路进行操作。其中一路输入分别输入到16条卷积链中，每条卷积支链先对其输入进行1*1的卷积操作，使得输出结果变为通道数为8的特征矩阵，可以降低维度，减少计算瓶颈，增加网络层数，提高网络的表达能力，有效的避免了网络的表达瓶颈。之后再经过3*3的卷积操作，特征矩阵通道数不变。然后利用滤波器将16条卷积支链输出的特征矩阵进行串联，成为通道数为128的特征矩阵，在较低维度空间的聚合，不会损失表达能力，更好的平衡了网络的宽度和深度，减少了信息量的损失。通道数为128的特征矩阵再经过1*1的卷积操作使通道数变为256。该通道数为256的特征矩阵与残差单元的另一路输入相加，相加之和通过rule激活函数获得新的通道数为256的特征矩阵，作为残差单元的输出。前一组残差单元的输出作为下一组残差单元的输入，最后一组残差单元的输出结果为resnet卷积网络的输出。

本实施方式主要针对特征提取阶段进行改进，原网络采用ResNet网络作为主干网络进行特征提取，其核心思想是使用若干个残差快链接的形式。resnet卷积网络对图像进行特征提取，改进的Resnet特征提取网络在每一层卷积中，使用多个卷积核进行并联，并且并联的每条支路上的属性值与其余支路相同，即每一条支路都称为一个基数将卷积层中从原来的多个卷积核拆分为多个个数少的核，这些个数少的卷积核结构相同，使网络不断加深的过程中，目标检测精度降低的情况出现的次数更少。改进后的残差计算单元比传统的残差计算单元参数更少，内存和计算资源使用更小。本实施方式能够进一步提升检测精度，通过拆分卷积核进行特征提取，可以提升目标的检测精度，并通过随机搜索的方式调整训练模型的超参数，可以有效的减少模型训练的时间和模型推断的时间。

综上所述，运用上述网络对于制动阀防盗罩的图像进行检测，能够在铁路货车的复杂背景环境下将制动阀防盗罩的吊架、加固螺栓和制动阀检测出来，并进行结果输出。

具体实施方式二：本实施方式是对具体实施方式一所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法进行进一步说明，本实施方式中，第一组残差单元的输入通过以下方法获得：

将被测图像依次通过7*7卷积层、BN层、relu激活函数和最大池化层获得通道数为64的特征矩阵。然后将该特征矩阵分别输入至两个1*1的第一卷积块中，其中一个第一卷积块的输出依次经过3*3的第二卷积块和1*1的第三卷积块获得通道数为256的特征矩阵，该通道数为256的特征矩阵与另一个第一卷积块的输出相加的和作为第一组残差单元的输入。

具体实施方式三：本实施方式是对具体实施方式一或二所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法进行进一步说明，本实施方式中，cascade-rcnn网络包括一个基础检测网络和三个相互串联的探测器，基础检测网络的输出结果依次经过三个探测器后获得cascade-rcnn网络的输出；

基础检测网络包括：特征提取网络、区域建议网络和目标定位网络，每个探测器均包括：感兴趣区域池化层、区域建议网络和目标定位网络。

具体实施方式四：本实施方式是对具体实施方式三所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法进行进一步说明，本实施方式中，特征提取网络：采用resnet卷积网络对输入图像进行特征提取，获得特征图。

具体实施方式五：本实施方式是对具体实施方式四所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法进行进一步说明，本实施方式中，区域建议网络：利用RPN网络在特征图中截取候选框。

本实施方式在RPN(RegionProposal Network)网络中引入锚点机制，通过IOU阈值判断锚点是背景还是目标，再利用边框回归修正锚点获得精确的候选框。

具体实施方式六：本实施方式是对具体实施方式五所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法进行进一步说明，本实施方式中，目标定位网络：对RPN网络截取的候选框进行分类，获得含有被测目标的候选框，然后将含有被测目标的候选框回归到被测图像的原始位置，最后根据非极大值抑制算法选取获得得分最高的候选框作为目标定位网络的输出结果。

本实施方式将RPN网络生成的候选框进行分类，同时再次使用边界框回归，最终获得检测框在原始被测图像中的准确位置。

具体实施方式七：本实施方式是对具体实施方式六所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法进行进一步说明，本实施方式中，感兴趣区域池化层：将目标定位网络的输出结果调整到resnet卷积网络输出的特征图的维度。即根据全连接层的要求将不同大小的特征图调整到固定的维度。

具体实施方式八：本实施方式是对具体实施方式五或七述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法进行进一步说明，本实施方式中，三个探测器中区域建议网络的IOU阈值按照信号传输顺序依次设置为0.55、0.65和0.7。

本实施方式通过不断提高IOU的阈值的方法，能够把上层微调后的候选框定义成新输入，提供给下层探测器。并选择用随机搜索的方法调整模型训练过程中的超参数，在连续优化的基础上，促使候选框的质量更理想，最后检测效率更高。

具体实施方式九：本实施方式是对具体实施方式一述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法进行进一步说明，本实施方式中，利用检测结果判断制动阀防盗罩是否脱落的具体方法为：

分别判断所述检测结果是否符合以下三点：

1)、判断制动阀是否存在，

2)、判断制动阀防盗罩的完整吊架个数否为2，

3)、判断加固螺栓的个数是否为2，

若检测结果均符合以上三点，则制动阀防盗罩未脱落，否则制动阀防盗罩脱落。

本实施方式将待测图像输入上述训练好的检测网络，网络输出检测结果。然后在分别判断，如果哪一点不符合以上要求，则将其在货车上的坐标进行输出并进行故障报警。

具体实施方式十：本实施方式是对具体实施方式一述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法进行进一步说明，本实施方式中，

通过货车轨道周围搭建的高清成像设备，获取货车的高清图像。由于不同车型制动阀防盗罩的形态位置不固定，需要采集被测车辆的中部图像。然后根据先验知识在该中部图像中对制动阀防盗罩进行定位，将含有制动阀防盗罩的部分截取出来获得子图像。在该子图像中将制动阀防盗罩的加固螺栓、吊架及制动阀均利用矩形框标记出来，将标记后的子图像作为被测图像。

在实际应用时，由于不同站点的拍摄条件不同，设备拍摄的图像存在差异，相机可能受到雨水、泥渍等自然条件影响，导致获取的制动阀防盗罩图像也存在差异。为了保证数据集的多样性，需要将各站点在不同条件下拍摄的不同车型的制动阀防盗罩图像全部采集。

同样的，在对cascade-rcnn网络进行训练时，需要构建一个检测的样本数据集，该样本数据集包括：原始图像集和标记信息集。原始图像为定位后的子图像。标记信息集为子图像中含有目标区域的矩形框，矩形框内为制动阀防盗罩的加固螺栓、固定防盗罩的吊架和防盗罩内的制动阀，通过手动即可获取标记。原始图像与标记信息一一对应。为了提高网络的稳定性和适用性，还要分别进行数据集扩增，主要包括对原图像的旋转、平移、缩放、镜像和亮度调整等。每种操作随机进行，最大程度的保证了样本的多样性。

经过以上实施方式改进的特征提取网络，检测精度有明显的提高，并且通过随机搜索方式调整超参数的方式，在检测精度提升的同时又减少了模型训练的时间，实现了检测精度与效率的最优解。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (10)

1.一种铁路货车制动阀防盗罩脱落的故障图像识别方法，将被测图像输入至训练好的cascade-rcnn网络中，获得检测结果，利用检测结果判断制动阀防盗罩是否脱落；

其特征在于，在所述cascade-rcnn网络中采用resnet卷积网络对图像进行特征提取，所述resnet卷积网络包括12组残差单元，每组残差单元包括均16条并联的卷积支链，每条卷积支链均对残差单元的输入进行1*1的卷积操作和3*3的卷积操作，利用滤波器将16条卷积支链输出的特征矩阵进行串联，再对串联之后的特征矩阵进行1*1的卷积操作，该卷积结果与残差单元的输入相加之后通过rule激活函数获得的结果输入至下一组残差单元中，最后一组残差单元的输出结果为resnet卷积网络的输出。

2.根据权利要求1所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法，其特征在于，第一组残差单元的输入通过以下方法获得：

将被测图像依次通过7*7卷积层、BN层、relu激活函数和最大池化层获得通道数为64的特征矩阵，然后将该特征矩阵分别输入至两个1*1的第一卷积块中，其中一个第一卷积块的输出依次经过3*3的第二卷积块和1*1的第三卷积块获得通道数为256的特征矩阵，该通道数为256的特征矩阵与另一个第一卷积块的输出相加的和作为第一组残差单元的输入。

3.根据权利要求1或2所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法，其特征在于，cascade-rcnn网络包括一个基础检测网络和三个相互串联的探测器，基础检测网络的输出结果依次经过三个探测器后获得cascade-rcnn网络的输出；

基础检测网络包括：特征提取网络、区域建议网络和目标定位网络，每个探测器均包括：感兴趣区域池化层、区域建议网络和目标定位网络。

4.根据权利要求3所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法，其特征在于，所述特征提取网络：采用resnet卷积网络对输入图像进行特征提取，获得特征图。

5.根据权利要求4所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法，其特征在于，所述区域建议网络：利用RPN网络在特征图中截取候选框。

6.根据权利要求5所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法，其特征在于，所述目标定位网络：对RPN网络截取的候选框进行分类，获得含有被测目标的候选框，然后将含有被测目标的候选框回归到被测图像的原始位置，最后根据非极大值抑制算法选取获得得分最高的候选框作为目标定位网络的输出结果。

7.根据权利要求6所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法，其特征在于，所述感兴趣区域池化层：将目标定位网络的输出结果调整到resnet卷积网络输出的特征图的维度。

8.根据权利要求5或7所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法，其特征在于，三个探测器中区域建议网络的IOU阈值按照信号传输顺序依次设置为0.55、0.65和0.7。

9.根据权利要求1所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法，其特征在于，所述利用检测结果判断制动阀防盗罩是否脱落的具体方法为：

分别判断所述检测结果是否符合以下三点：

1)、判断制动阀是否存在，

2)、判断制动阀防盗罩的完整吊架个数否为2，

3)、判断加固螺栓的个数是否为2，

若检测结果均符合以上三点，则制动阀防盗罩未脱落，否则制动阀防盗罩脱落。

10.根据权利要求1所述的一种铁路货车制动阀防盗罩脱落的故障图像识别方法，其特征在于，被测图像的获得方法为：

采集被测车辆的中部图像并在该中部图像中对制动阀防盗罩进行定位，之后将含有制动阀防盗罩的部分截取出来获得子图像，在该子图像中将制动阀防盗罩的加固螺栓、吊架及制动阀均利用矩形框标记出来，将标记后的子图像作为被测图像。

Images