CN113362302B - 一种基于图像识别的地铁列车电气箱盖的故障检测方法 - Google Patents

Abstract

本发明涉及列车故障检测技术领域，涉及一种基于图像识别的地铁列车电气箱盖的故障检测方法，包括：1、通过线扫相机获取电气箱盖部件的正负样本数据集；2、对数据集进行预处理，转换为伪彩色图；3、用正样本的数据集用于Nanodet的训练；4、通过裁剪得到分类正样本集；负样本上经过翻转，加入噪声进行数据增强，对负样本的数目进行扩充，定位后裁剪，得到分类负样本集；5、将分类负样本集与分类正样本集一起训练，最终得到故障检测模型；6、将待检测样本输入故障检测模型进行测试。本发明能够有效地检测出电气箱盖部件出现的故障，准确率高。

Description

一种基于图像识别的地铁列车电气箱盖的故障检测方法

技术领域

本发明涉及列车故障检测技术领域，具体地说，涉及一种基于图像识别的地铁列车电气箱盖的故障检测方法。

背景技术

近些年来，随着轨道交通事业的发展，中国轨道交通营业里程和列车数量不断增加，并且长期位于世界第一。列车的定期巡检是保证列车安全运行的关键，而如此多的检修列车数目给检修工作带来了极大的压力。目前，列车巡检工作仍高度依赖人工，列车底部关键零部件的故障检测需要依靠工人的肉眼对每一处部件进行检测。然而，这样检修的方式不仅效率低下，且可靠性差，会浪费大量的人力物力，因此，列车巡检工作迫切需要新的技术来实现高效率的维护。

随着计算机视觉领域相关技术的不断突破，基于计算机视觉的故障诊断技术得到了迅猛的发展，这为列车巡检工作的革新带来了一场新的革命。目前，计算机视觉主要应用在安防、自动驾驶、人脸识别等领域，这些领域的落地依赖于大量的相关样本。然而，列车巡检工作中存在大量的正常样本，故障样本却极其少见，这使得利用计算机视觉实现列车部件故障检测存在较大的困难。

发明内容

本发明的内容是提供一种基于图像识别的地铁列车电气箱盖的故障检测方法，其能够克服现有技术的某种或某些缺陷。

根据本发明的一种基于图像识别的地铁列车电气箱盖的故障检测方法，其包括以下步骤：

1)、通过线扫相机获取电气箱盖部件的数据集，即包含正样本的数据集用于后续的训练；通过线扫相机还获取一个包含负样本的故障数据集；

2)、对数据集进行预处理，转换为伪彩色图；

3)、用正样本的数据集用于Nanodet的训练；

4)、当目标检测网络训练完成时，将长方形铭牌、三角形铭牌和锁扣从电气箱盖数据集中裁剪下来，保存为分类正样本集；并在电气箱盖负样本上经过翻转，加入噪声进行数据增强，对负样本的数目进行扩充，通过训练好的Nanodet神经网络对扩充后的负样本上的零部件进行定位，并将定位到的零部件进行裁剪，保存为分类负样本集；

5)、使用keras自带的预训练的VGG16模型对各个类别的分类负样本集与分类正样本集一起训练，最终得到了三个分别用于检测长方形铭牌、三角形铭牌和锁扣的故障检测模型；

6)、将待检测样本输入故障检测模型进行测试。

作为优选，步骤6)包括以下步骤：

6.1)将待检测样本转换为伪彩色图；

6.2)将伪彩色图输入训练好的轻量化目标检测Nanodet模型，定位后并裁剪出长方形铭牌，三角形铭牌与锁扣；

6.3)将裁剪的长方形铭牌、三角形铭牌与锁扣数据分别输入到各自对应的VGG16分类网络，分别得到无故障形式的长方形铭牌、三角形铭牌和锁扣的数目；

6.4)将统计得到的无故障形式的长方形铭牌、三角形铭牌和锁扣数目与该类电气箱盖数据集的正样本情况下的长方形铭牌、三角形铭牌和锁扣数目比较，若两者相等，则判定待检测样本为正样本，反之为负样本。

作为优选，步骤1)中，正样本的张数为1470张，负样本张数为53张。

作为优选，步骤2)中，伪彩色图为3通道。

作为优选，步骤3)中，Nanodet训练的学习率设置为0.0001，迭代次数设置为100个epoch。

本发明的有益效果如下：

1、在列车的实际运营过程中，该模型能够有效地检测出电气箱盖部件出现的故障，准确率高，误报率仅为1.89％，漏报率为0，同时能有效地避免雨水、油渍、灰尘、光照等非相关因素引起的干扰。

2、本模型适用于设备简陋，对检测速度要求高的故障检测场景，虽然一张电气箱盖样本上存在着较多的待检测零部件，但本方法在CPU环境下对每张图片的检测时间仅需要0.39s，能够实现实时检测。

3、本方法准确率高且检测时间快，能够让检测人员脱离列车低的恶劣工作环境，减少维修人员工作量。对于减少人力物力投入，保证列车运行安全具有重大意义。

附图说明

图1为实施例1中一种基于图像识别的地铁列车电气箱盖的故障检测方法的流程图；

图2为实施例1中长方形铭牌，三角形铭牌与锁扣示意图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。

实施例1

如图1所示，本实施例提供了一种基于图像识别的地铁列车电气箱盖的故障检测方法，其包括以下步骤：

1)、通过分辨率为2048的线扫相机获取电气箱盖部件的数据集，即包含1470张正样本的数据集用于后续的训练；此外，通过线扫相机还获取了一个包含53张负样本的故障数据集。由于该项点中，长方形铭牌、三角形铭牌和锁扣的边界清晰，结构简单，同时该项点的负样本数目尚可，因此采取先定位后二分类的思路实现故障检测。

电器箱盖部件的数据集包含36个类别，每一张待测样本上存在着不同数目的长方形铭牌，三角形铭牌与锁扣。该数据集如图2所示，包含了长方形铭牌、三角形铭牌和锁扣，其中，该技术需要检测这三种零部件出现的脱落、破损、移位、遮挡等故障情况。

2)、由于采集的数据集图片均为单通道灰度图，而神经网络的输入为3通道，因此先对数据集进行预处理，转换为3通道的伪彩色图。

3)、考虑到该方法对于单张图片的检测时间要求较为严格，同时每一种类别的电气箱盖样本长宽比例差异极其巨大，因此定位采取了轻量化目标检测网络Nanodet，首先用正样本的数据集用于Nanodet的训练；学习率设置为0.0001，迭代次数设置为100个epoch。

4)、当目标检测网络训练完成时，将待检测零部件(长方形铭牌、三角形铭牌和锁扣)从电气箱盖数据集中裁剪下来，保存为分类正样本集；并在53张电气箱盖负样本上经过翻转，加入噪声进行数据增强，对负样本的数目进行扩充，通过训练好的Nanodet神经网络对扩充后的负样本上的零部件进行定位，并将定位到的零部件进行裁剪，保存为分类负样本集。

5)、使用keras自带的预训练的VGG16模型对各个类别的分类负样本集与分类正样本集一起训练，最终得到了三个分别用于检测长方形铭牌、三角形铭牌和锁扣的故障检测模型。

6)、将待检测样本输入故障检测模型(级联模型)进行测试；包括以下步骤：

6.1)将待检测样本图片转换为伪彩色图；

6.2)将伪彩色图输入训练好的轻量化目标检测Nanodet模型，定位后并裁剪出长方形铭牌，三角形铭牌与锁扣；

6.3)将裁剪的长方形铭牌、三角形铭牌与锁扣数据分别输入到各自对应的VGG16分类网络，分别得到无故障形式的长方形铭牌、三角形铭牌和锁扣的数目；

6.4)将统计得到的无故障形式的长方形铭牌、三角形铭牌和锁扣数目与该类电气箱盖数据集的正样本情况下的长方形铭牌、三角形铭牌和锁扣数目比较，若两者相等，则判定待检测样本为正样本，反之为负样本。

本实施例利用最新的轻量化目标检测网络Nanodet，针对电气箱盖数据集长宽尺寸比差异极大的情况，该网络能有效避免输入图片压缩引起的特征丢失等情况。该网络能够有效地实现对电气箱盖的长方形铭牌，三角形铭牌和锁扣的精准定位。

本实施例针对各类关键零部件的尺寸差异较大，且样本数量较为有限，采取了对每一类零部件设定固定的输入尺寸，并采用迁移学习技术对VGG16网络进行微调的方式训练模型。最终的三个零部件分类网络准确率高，速度快，能有效地识别出零部件的故障形式。

本实施例将轻量化目标检测网络Nanodet与基于迁移学习技术的VGG16相结合，构成电气箱盖的故障检测模型。充分发挥两种网络各自优势，有效消除因数据采集环境如：光照、雨水、油渍及灰尘等带来的影响，保证了检测的准确率，为列车安全运营提供有力保障。

实施例2

本实施例首先通过列车侧面的线阵相机对列车走行部数据进行采集；然后在数据处理中心对图像进行校正处理并按照预定位置对电气箱盖部件进行裁剪并传输到服务器上；接着通过服务器上部署的电气箱盖故障检测算法对数据进行检测；最终将检测结果反馈给检修人员，并根据故障信息进行定点检修。

其中模型训练过程如下：

第一步，利用Labelimg对采集的电气箱盖图片进行预处理，制成VOC2007格式的数据集。

第二步，用做好的数据集训练轻量化目标检测网络Nanodet，学习率设置为0.0001，迭代周期epoch设置为100，训练后获得.h5权重文件。

第三步，对于提供的53张电气箱盖负样本，进行翻转加入噪声等操作，扩充电气箱盖数据集负样本。

第四步，通过Nanodet对电气箱盖数据集进行定位并裁剪相应的长方形铭牌、三角形铭牌和锁扣部件的负样本。

第五步，通过对获得的长方形铭牌、三角形铭牌和锁扣部件的负样本进行翻转，加入噪声等操作，将长方形铭牌、三角形铭牌和锁扣部件的负样本的数目分别扩充到1036、668、288张。

第六步，将第四步扩充得到的负样本分别与对应的正样本通过基于迁移学习的VGG16网络进行训练，其中长方形铭牌、三角形铭牌和锁扣部件用于训练的正样本数目分别为859、761、456。VGG16的学习率设置为0.0001，迭代次数同样设置为100个epoch，最终训练得到对应三个关键零部件的三个VGG16模型。

模型测试过程如下：

第一步，先将样本图片转换为伪彩色图，满足模型输入格式；

第二步，将伪彩色图片输入训练好的轻量化目标检测Nanodet模型，定位后并裁剪出长方形铭牌，三角形铭牌与锁扣；

第三步，将裁剪的各个关键零部件数据分别输入到各自对应的VGG16分类网络，得到总共无故障形式的长方形铭牌，三角形铭牌和锁扣的数目；

第四步，将统计得到的无故障形式的关键零部件数目与该类电气箱盖数据集的正样本情况下的关键零部件数目比较，若两者相等，则判定该样本为正样本，反之为负样本。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (4)

1.一种基于图像识别的地铁列车电气箱盖的故障检测方法，其特征在于：包括以下步骤：

1)、通过线扫相机获取电气箱盖部件的数据集，即包含正样本的数据集用于后续的训练；通过线扫相机还获取一个包含负样本的故障数据集；

2)、对数据集进行预处理，转换为伪彩色图；

3)、用正样本的数据集用于Nanodet的训练；

4)、当目标检测网络训练完成时，将长方形铭牌、三角形铭牌和锁扣从电气箱盖数据集中裁剪下来，保存为分类正样本集；并在电气箱盖负样本上经过翻转，加入噪声进行数据增强，对负样本的数目进行扩充，通过训练好的Nanodet神经网络对扩充后的负样本上的零部件进行定位，并将定位到的零部件进行裁剪，保存为分类负样本集；

5)、使用keras自带的预训练的VGG16模型对各个类别的分类负样本集与分类正样本集一起训练，最终得到了三个分别用于检测长方形铭牌、三角形铭牌和锁扣的故障检测模型；

6)、将待检测样本输入故障检测模型进行测试；

6.1)将待检测样本转换为伪彩色图；

6.2)将伪彩色图输入训练好的轻量化目标检测Nanodet模型，定位后并裁剪出长方形铭牌，三角形铭牌与锁扣；

6.3)将裁剪的长方形铭牌、三角形铭牌与锁扣数据分别输入到各自对应的VGG16分类网络，分别得到无故障形式的长方形铭牌、三角形铭牌和锁扣的数目；

6.4)将统计得到的无故障形式的长方形铭牌、三角形铭牌和锁扣数目与该类电气箱盖数据集的正样本情况下的长方形铭牌、三角形铭牌和锁扣数目比较，若两者相等，则判定待检测样本为正样本，反之为负样本。

2.根据权利要求1所述的一种基于图像识别的地铁列车电气箱盖的故障检测方法，其特征在于：步骤1)中，正样本的张数为1470张，负样本张数为53张。

3.根据权利要求1所述的一种基于图像识别的地铁列车电气箱盖的故障检测方法，其特征在于：步骤2)中，伪彩色图为3通道。

4.根据权利要求1所述的一种基于图像识别的地铁列车电气箱盖的故障检测方法，其特征在于：步骤3)中，Nanodet训练的学习率设置为0.0001，迭代次数设置为100个epoch。

Images