CN111402211B - 一种基于深度学习的高速列车车底异物识别方法 - Google Patents

一种基于深度学习的高速列车车底异物识别方法 Download PDF

Info

Publication number
CN111402211B
CN111402211B CN202010141770.3A CN202010141770A CN111402211B CN 111402211 B CN111402211 B CN 111402211B CN 202010141770 A CN202010141770 A CN 202010141770A CN 111402211 B CN111402211 B CN 111402211B
Authority
CN
China
Prior art keywords
foreign matter
vehicle bottom
image
foreign
speed train
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010141770.3A
Other languages
English (en)
Other versions
CN111402211A (zh
Inventor
贺德强
姚子锴
陈滔
陈彦君
杨卫林
陈继清
周志恒
邹智恒
李凯
刘晨宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Nanning CRRC Aluminum Precision Processing Co Ltd
Original Assignee
Guangxi University
Nanning CRRC Aluminum Precision Processing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University, Nanning CRRC Aluminum Precision Processing Co Ltd filed Critical Guangxi University
Priority to CN202010141770.3A priority Critical patent/CN111402211B/zh
Publication of CN111402211A publication Critical patent/CN111402211A/zh
Application granted granted Critical
Publication of CN111402211B publication Critical patent/CN111402211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的高速列车车底异物识别方法，按以下步骤进行：拍摄高速列车车底图像，筛选出含有异物的图像，使用数据增强方法扩充图像的数量，针对YOLO‑V3网络精度设计的缺陷设计出基于DenseNet网络作为特征提取网络，并在多尺度预测层中***空间金字塔网络，使YOLO网络框架的精度得到提升，同时改善了其小物体检测精度低的缺陷；使用随机梯度下降法对改进的YOLO‑V3模型进行训练后获得车底异物检测模型，将车底异物图片输入至模型内，输出图片的识别结果。本发明能够实现对高速列车车底异物的智能检测，识别率高，检测速度快，检测效率高，实用性强，相比传统的检测方法优势明显，同时具有应用至其他领域的潜力。

Description

一种基于深度学习的高速列车车底异物识别方法
技术领域
本发明属于高速列车车底异物图像识别领域，尤其涉及一种基于深度学习的高速列车车底异物识别方法。
背景技术
随着世界经济和科学的飞速发展，铁路运输在技术上得到了长足的发展，已经成为最受欢迎的现代运输方式之一。在我国，截至2019年一季度末，选择高铁出行的旅客已超过100亿人次，高铁已成为铁路运输的重要类型。旅客数量的快速增长，使安全成为铁路运营的重中之重；当高铁在高速运行时，塑料袋等外部异物很容易进入底部转向架、电缆和设备间隙，摩擦后容易产生烟雾，甚至引起设备短路和火灾。因此，及时发现异物对维护铁路安全运行至关重要。目前，高速列车车底异物的检查工作分两种方式进行：第一种检查方式是由经过培训的工人钻入动车组车底，并用手电筒定期检查列车底部。然而，人工检查难度大、耗时长、人力资源成本太高。第二种检测方法是利用动车组故障检测***(TEDS)，来完成检测，TEDS是一种由高速阵列摄像机、高速直线摄像机和处理单元组成的自动检测***，用于实现高速运行的动车组异常报警以及提高动车组维护运行质量。然而在TEDS***中对车底异物检测存在误报率高、精度低等缺陷。因此，仍然需要工程师在TEDS监控中心对异物进行逐幅图像检测，这种检测效率低、耗时长、劳动强度大，而且，误检和漏检可能影响高速铁路的安全。由于保证铁路行车安全的需要，迫切需要开发一种新的检测模型，以较低的人工劳动强度，实现外部物质的自动、快速、准确检测。
发明内容
本发明的目的在于：针对上述存在的问题，提供一种基于深度学习的高速列车车底异物识别方法，本发明的识别方法能提高高速列车车底异物的检测速度和精度，降低识别算法模型的复杂度。为了实现上述目的，本发明采用以下技术方案：
本发明提供了一种基于深度学习的高速列车车底异物识别方法，所述异物识别方法包括以下步骤：
步骤1：拍摄获取高速列车车底的图像，在拍摄的车底图像中筛选出大量具有车底的图片作为样本图像，将获取的样本图像用于建立高速列车车底异物图像的数据集；
步骤2：分别对每一张车底异物图像进行数据增强处理，以扩充车底异物图像的数量，然后对异物图像中的异物的类别使用标注工具进行标注，按照特定协议将标注的异物图像数据信息以PASCAL VOC格式储存文件；
步骤3：构建高速列车车底异物检测模型，该车底异物检测模型基于改进的YOLO-V3网络进行构建，该YOLO-V3网络是由DensNet特征提取网络以及由空间金字塔网络和多尺度预测层构建的特征金子塔网络组成，以生成车底异物特征图，并在特征图区域上利用多尺度预测实现对车底异物的检测和识别；
步骤4：训练检测模型，通过随机梯度下降法对车底异物检测模型进行训练得到车底异物模型后，将待检测的车底异物图像输入训练好的模型进行测试，输出图片的识别结果，完成车底异物检测和识别。
上述方案进一步优选的，在所述步骤4中，采用损失函数实现随机梯度下降法对车底异物检测模型进行训练，以完成车底异物检测和识别，其训练的损失函数Loss满足：
Loss＝Errorcoord+Erroriou+Errorcls；其中，
Figure BDA0002399329440000021
Figure BDA0002399329440000022
Figure BDA0002399329440000023
其中Errorcoord、Erroriou和Errorcls分别表示预测包围盒的误差、IOU误差和分类误差；λcoord为坐标误差权重；S2是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果
Figure BDA0002399329440000024
等于1，则第j个包围框在第i网格内覆盖了目标；否则
Figure BDA0002399329440000025
等于0；
Figure BDA0002399329440000026
为预测边界框的中心坐标值及其宽度和高度，(xi,yi,wi,hi)为真实的边界框的中心坐标值及其宽度和高度；λnoobj为对边界框进行预测时置信度损失的权重；ci为预测的置信度；
Figure BDA0002399329440000027
为真实的置信度；pi(c)是在网格i内目标属于c的真实概率，
Figure BDA0002399329440000031
是预测的概率。
上述方案进一步优选的，完成对车底异物进行检测和识别过程如下：
步骤31：将车底异物特征图像的大小调整为416×416，然后将图像分割成S×S个网格，如果车底异物特征图像的目标的中心位于网格单元中，则在该网格单元中执行检测识别过程；每个网格单元分别预测B个包围框、包围框的置信度Confidence得分和物体类别的信息概率C，所述置信度Confidence得分由如下公式获得：
Figure BDA0002399329440000032
Pr(Object)表示是否有标记的异物落在网格单元中，有则为1，否则为0；
Figure BDA0002399329440000033
表示真实包围框和预测包围框之间的交并比，其中，pred表示预测包围框，truth表示真实包围框；预测包围框的坐标标记为(x,y,w,h)；其中，x和y表示预测包围框的中点坐标，w和h表示预测包围框的长和宽；
步骤32：对上步骤31中获得的预测包围框坐标(x,y,w,h)使用logistic归一化处理；
步骤33：通过对底异物特征图像中满足置信度Confidence阈值的区域采用非极大值抑制算法处理；
步骤34：通过非极大值抑制算法的处理结果，获取标定预测包围框所对应的坐标范围和类别信息。
上述方案进一步优选的，在所述步骤3中，所述DensNet特征提取网络由4个密集模块组成，由4个密集模块组成的DensNet特征提取网络替换原有的特征提取网络，DensNet特征提取网的表达公式为：
xl＝Hl([x0,x1,x2,...,xl-1])；
其中，Hl代表由BN层、ReLU层和3×3卷积层组成的复合函数，[x0,x1,x2,...,xl-1]代表拼接来自之前不同层的车底异物特征图。
上述方案进一步优选的，在相邻的两个密集模块之间由1×1的卷积层和2×2的平均池化层组成过渡层以实现特征图降维，在特征图尺度为13×13、26×26和52×52时，这三个尺度的特征图通过卷积核的方式实现局部的特征交互，进而构成多尺度预测层，并在多尺度预测层中***空间金字塔网络实现特征金字塔网络。
上述方案进一步优选的，所述空间金字塔网络由3个空间箱构成，在每个空间箱内分别把车底异物特征图分成13×13、9×9和5×5块，经过最大池化层后再将其拼接。
上述方案进一步优选的，在所述步骤3中，在所述改进的YOLO-V3网络中有9个对应的先验框，其9个先验框是通过使用K-means聚类算法在数据集中计算获得。
上述方案进一步优选的，所述的步骤2中，对车底异物图像进行数据增强处理包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理，以扩充车底异物样本图像的数据集；对车底异物图像中的异物的类别使用标签制作工具LabelImg进行标注；所述标注的异物图像数据信息包括图像中的异物标注框的坐标、类别标签和保存图片路径，并以XML格式储存在文件中。
上述方案进一步优选的，所述标注的过程为对图片进行格式化编号，使用标注工具LabelImg对车底图像中的异物部分使用标记框覆盖，并储存标记框的包围坐标，同时为异物部分的类型分配标签，将标记框的坐标信息、异物类型标签和储存路径保存在XML格式的文件中；将车底异物图像和标注异物生成的XML文件保存在PASCAL VOC2007的文件中，并把异物图像分为训练集和测试集，再将格式化编号和路径保存在txt格式文件中。
综上所述，由于本发明采用了上述技术方案，本发明具有以下有益技术效果是：本发明采用了上述的深度学习算法设计，可以实现高速列车车底异物的智能检测，准确率高，误检率低，检测速度快，实用性强，相对于现有的传统检测方法优势明显，同时具有应用至其他领域的潜力，能够极大地减少人工的工作量，并且能提高识别效率，应用前景良好。
附图说明
图1是本发明的改进YOLO-V3网络模型框架图。
图2是本发明的空间金字塔网络框架图。
图3是本发明的第一异物检测结果的示意图。
图4是本发明的第二异物检测结果的示意图。
图5是本发明的第三异物检测结果的示意图
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
如图1所示，根据本发明的一种基于深度学习的高速列车车底异物识别方法，所述异物识别方法包括以下步骤：
步骤1：拍摄获取高速列车车底的图像，在拍摄的车底图像中筛选出大量具有车底的图片作为样本图像，将获取的样本图像用于建立高速列车车底异物图像的数据集；
步骤2：分别对每一张车底异物图像进行数据增强处理，以扩充车底异物图像的数量，然后对异物图像中的异物的类别使用标注工具进行标注，按照特定协议将标注的异物图像数据信息以PASCAL VOC格式储存文件；在本发明中，对车底异物图像进行数据增强处理包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理，以扩充车底异物样本图像的数据集；对车底异物图像中的异物的类别使用标签制作工具LabelImg进行标注；所述标注的异物图像数据信息包括图像中的异物标注框的坐标、类别标签和保存图片路径，并以XML格式储存在文件中；所述标注过为对图片进行格式化编号，使用标注工具LabelImg对车底图像中的异物部分使用标记框覆盖，并储存标记框的包围坐标，同时为异物部分的类型分配标签，将包围框的坐标信息、异物类型标签和储存路径保存在XML格式的文件中；将车底异物图像和标注异物生成的XML文件保存在PASCAL VOC2007的文件中，并把异物图像分为训练集和测试集，再将格式化编号和路径保存在txt格式文件中；
步骤3：构建高速列车车底异物检测模型，该车底异物检测模型基于改进的YOLO-V3网络进行构建，在所述改进的YOLO-V3网络中有9个对应的先验框，其9个先验框是通过使用K-means聚类算法在数据集中计算获得；其YOLO-V3网络是由DensNet特征提取网络以及由空间金字塔网络和多尺度预测层构建的特征金子塔网络组成，以生成车底异物特征图，并在特征图区域上利用多尺度预测实现车底异物的检测和识别；
所述DensNet特征提取网络作为YOLO-V3的特征提取网络，是由4个密集模块组成的，如图1和图2所示，由4个密集模块组成的DensNet特征提取网络组成替换原有的特征提取的网络，其作用是保障在各个卷积层之间的信息流更有效、阻止梯度消失和加强特征重用，每一层都将一个特征图与其前几层连接起来，每一层的特征图是所有后续层的输入，其表达公式为xl＝Hl([x0,x1,x2,...,xl-1]；)其中，Hl代表由BN层、ReLU层和3×3卷积层组成的复合函数，[x0,x1,x2,...,xl-1]代表拼接来自之前不同层的车底异物特征图；与普通的卷积网络只有L层连接相比，DensNet内的卷积网络具有L(L+1)/2层连接；在相邻的两个密集模块之间，是由1×1的卷积层和2×2的平均池化层组成过渡层，以实现特征图降维，在密集模块后特征图维度为13×13、26×26和52×52时，这三个尺度的特征图通过卷积核的方式实现局部的特征交互，进而构成多尺度预测层，并在多尺度预测层中***空间金字塔网络实现特征金字塔网络；
在本发明中，图1展示了本发明中的空间金字塔网络***的位置，图2展示了空间金字塔网络的结构，所述空间金字塔网络由3个空间箱构成，在每个空间箱内分别把车底异物特征图分成13×13、9×9和5×5块，经过最大池化层后再将其拼接。
在本发明中，三个尺度的车底异物特征交互是通过3×3和1×1卷积核的方式实现的，具体如下是在尺度1的13×13大小车底异物特征图后加一些卷积层再进行分类和位置回归；在尺度2的特征图与尺度1中的倒数第二层的卷积层上采样后再与特征图拼接，在输出26×26大小的特征图上进行分类和回归；在尺度3的特征图与经过上采样的特征图合并，在52×52大小的车底异物特征图上进行分类和回归；图3-图5为实际测试时车底异物识别的图像，异物分布在高速列车车底的转向架、电缆和设备间隙。
在本发明中，实现对车底异物进行检测和识别如下：
步骤31：将车底异物特征图像的大小调整为416×416，然后将图像分割成S×S个网格，S为大于0的任意整数，如果车底异物特征图像(图片)的目标的中心位于网格单元中，则在该网格单元中执行检测识别过程；每个网格单元分别预测B个包围框、包围框的置信度Confidence得分和物体类别的信息概率C，所述置信度Confidence得分由如下公式获得：
Figure BDA0002399329440000061
Pr(Object)表示是否有标记的异物落在网格单元中，有则为1，否则为0；
Figure BDA0002399329440000062
表示真实包围框和预测包围框之间的交并比；预测包围框的坐标标记为(x,y,w,h)；其中x和y表示预测包围框的中点坐标，w和h表示预测包围框的长和宽；如果网格单元中没有对象，则应为0，否则为1；
步骤32：对上步骤31中获得的预测包围框坐标(x,y,w,h)使用logistic归一化处理；
步骤33：通过对底异物特征图像中满足置信度Confidence阈值的区域采用非极大值抑制算法处理；
步骤34：通过非极大值抑制的处理结果，获取标定预测包围框所对应的坐标范围和类别信息；
步骤4：训练检测模型，通过随机梯度下降法对车底异物检测模型进行训练得到车底异物模型后，将待检测的车底异物图像输入训练好的模型进行测试，输出图片的识别结果，以实现车底异物检测和识别；在本发明中，采用损失函数实现随机梯度下降法对车底异物检测模型进行训练，其训练的损失函数满足：
Loss＝Errorcoord+Erroriou+Errorcls；其中，
Figure BDA0002399329440000071
Figure BDA0002399329440000072
Figure BDA0002399329440000073
其中Errorcoord、Erroriou和Errorcls分别表示预测包围盒的误差、IOU误差和分类误差；λcoord为坐标误差权重；S2是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果
Figure BDA0002399329440000074
等于1，则第j个包围框在第i网格内覆盖了目标；否则
Figure BDA0002399329440000075
等于0；
Figure BDA0002399329440000076
为预测边界框的中心坐标值及其宽度和高度，(xi,yi,wi,hi)为真实的边界框的中心坐标值及其宽度和高度；λnoobj为对边界框进行预测时置信度损失的权重；ci为预测的置信度；
Figure BDA0002399329440000077
为真实的置信度；pi(c)是在网格i内目标属于c的真实概率，
Figure BDA0002399329440000078
是预测的概率；训练参数的设置如下：批量尺寸设置为4，训练周期数为100；动量参数设置为0.9；初始学***均精度(mAP)、准确率和召回率分别达到94.05％，95.48％和99.48％，每张图片的检测速度达到58ms，相对于原始YOLO V3均值平均精度(mAP)、准确率和召回率别提高了14.82％、6.27％和2.68％，同时没有牺牲检测速度，相对于其他检测模型(Faster R-CNN)，均值平均精度(mAP)、准确率和召回率分别提高了4.34％，2.26％和3.76％，同时检测速度快了2.9倍；结果表明本发明使用的改进YOLO V3检测模型能够准确、实时检测高速列车车底异物，从而提高高速列车的行驶安全。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于深度学习的高速列车车底异物识别方法，其特征在于：所述异物识别方法包括以下步骤：
步骤1：拍摄获取高速列车车底的图像，在拍摄的车底图像中筛选出大量具有车底的图片作为样本图像，将获取的样本图像用于建立高速列车车底异物图像的数据集；
步骤2：分别对每一张车底异物图像进行数据增强处理，以扩充车底异物图像的数量，然后对异物图像中的异物的类别使用标注工具进行标注，按照特定协议将标注的异物图像数据信息以PASCAL VOC格式储存文件；
步骤3：构建高速列车车底异物检测模型，该车底异物检测模型基于改进的YOLO-V3网络进行构建，该YOLO-V3网络是由DensNet特征提取网络以及由空间金字塔网络和多尺度预测层构建的特征金子塔网络组成，以生成车底异物特征图，并在特征图区域上利用多尺度预测实现对车底异物的检测和识别；
步骤4：训练检测模型，通过随机梯度下降法对车底异物检测模型进行训练得到车底异物模型后，将待检测的车底异物图像输入训练好的模型进行测试，输出图片的识别结果，完成车底异物检测和识别；采用损失函数实现随机梯度下降法对车底异物检测模型进行训练，以完成车底异物检测和识别，其训练的损失函数Loss满足：
Loss＝Errorcoord+Erroriou+Errorcls；其中，
Figure FDA0003716945610000011
Figure FDA0003716945610000012
Figure FDA0003716945610000013
其中Errorcoord、Erroriou和Errorcls分别表示预测包围盒的误差、IOU误差和分类误差；λcoord为坐标误差权重；S2是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果
Figure FDA0003716945610000014
等于1，则第j个包围框在第i网格内覆盖了目标；否则
Figure FDA0003716945610000015
等于0；
Figure FDA0003716945610000016
为预测边界框的中心坐标值及其宽度和高度，(xi,yi,wi,hi)为真实的边界框的中心坐标值及其宽度和高度；λnoobj为对边界框进行预测时置信度损失的权重；ci为预测的置信度；
Figure FDA0003716945610000021
为真实的置信度；pi(c)是在网格i内目标属于c的真实概率，
Figure FDA0003716945610000022
是预测的概率。
2.根据权利要求1所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：完成对车底异物进行检测和识别过程如下：
步骤31：将车底异物特征图像的大小调整为416×416，然后将图像分割成S×S个网格，如果车底异物特征图像的目标的中心位于网格单元中，则在该网格单元中执行检测识别过程；每个网格单元分别预测B个包围框、包围框的置信度Confidence得分和物体类别的信息概率C，所述置信度Confidence得分由如下公式获得：
Figure FDA0003716945610000023
Pr(Object)表示是否有标记的异物落在网格单元中，有则为1，否则为0；
Figure FDA0003716945610000024
表示真实包围框和预测包围框之间的交并比，其中，pred表示预测包围框，truth表示真实包围框；预测包围框的坐标标记为(x,y,w,h)；其中，x和y表示预测包围框的中点坐标，w和h表示预测包围框的长和宽；
步骤32：对上步骤31中获得的预测包围框坐标(x,y,w,h)使用logistic归一化处理；
步骤33：通过对底异物特征图像中满足置信度Confidence阈值的区域采用非极大值抑制算法处理；
步骤34：通过非极大值抑制算法的处理结果，获取标定预测包围框所对应的坐标范围和类别信息。
3.根据权利要求1所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：在所述步骤3中，所述DensNet特征提取网络由4个密集模块组成，由4个密集模块组成的DensNet特征提取网络替换原有的特征提取网络，DensNet特征提取网的表达公式为：
xl＝Hl([x0,x1,x2,...,xl-1])；
其中，Hl代表由BN层、ReLU层和3×3卷积层组成的复合函数，[x0,x1,x2,...,xl-1]代表拼接来自之前不同层的车底异物特征图。
4.根据权利要求3所述的一种基于深度学***均池化层组成过渡层以实现特征图降维，在特征图尺度为13×13、26×26和52×52时，这三个尺度的特征图通过卷积核的方式实现局部的特征交互，进而构成多尺度预测层，并在多尺度预测层中***空间金字塔网络实现特征金字塔网络。
5.根据权利要求4所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：所述空间金字塔网络由3个空间箱构成，在每个空间箱内分别把车底异物特征图分成13×13、9×9和5×5块，经过最大池化层后再将其拼接。
6.根据权利要求1所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：在所述步骤3中，在所述改进的YOLO-V3网络中有9个对应的先验框，其9个先验框是通过使用K-means聚类算法在数据集中计算获得。
7.根据权利要求1所述的一种基于深度学***翻转、垂直翻转、添加随机噪声和随机旋转处理，以扩充车底异物样本图像的数据集；对车底异物图像中的异物的类别使用标签制作工具LabelImg进行标注；所述标注的异物图像数据信息包括图像中的异物标注框的坐标、类别标签和保存图片路径，并以XML格式储存在文件中。
8.根据权利要求7所述的一种基于深度学习的高速列车车底异物识别方法，其特征在于：所述标注的过程为对图片进行格式化编号，使用标注工具LabelImg对车底图像中的异物部分使用标记框覆盖，并储存标记框的包围坐标，同时为异物部分的类型分配标签，将标记框的坐标信息、异物类型标签和储存路径保存在XML格式的文件中；将车底异物图像和标注异物生成的XML文件保存在PASCAL VOC2007的文件中，并把异物图像分为训练集和测试集，再将格式化编号和路径保存在txt格式文件中。
CN202010141770.3A 2020-03-04 2020-03-04 一种基于深度学习的高速列车车底异物识别方法 Active CN111402211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010141770.3A CN111402211B (zh) 2020-03-04 2020-03-04 一种基于深度学习的高速列车车底异物识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010141770.3A CN111402211B (zh) 2020-03-04 2020-03-04 一种基于深度学习的高速列车车底异物识别方法

Publications (2)

Publication Number Publication Date
CN111402211A CN111402211A (zh) 2020-07-10
CN111402211B true CN111402211B (zh) 2022-11-11

Family

ID=71430537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010141770.3A Active CN111402211B (zh) 2020-03-04 2020-03-04 一种基于深度学习的高速列车车底异物识别方法

Country Status (1)

Country Link
CN (1) CN111402211B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111855667A (zh) * 2020-07-17 2020-10-30 成都盛锴科技有限公司 一种适用于地铁车辆的新型智慧列检***和检测方法
CN112330646A (zh) * 2020-11-12 2021-02-05 南京优视智能科技有限公司 一种基于二维图像的动车车底异常检测方法
CN112465759A (zh) * 2020-11-19 2021-03-09 西北工业大学 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN114608801B (zh) * 2020-12-08 2024-04-19 重庆云石高科技有限公司 一种机车轴温探头连接线脱落自动检测算法
CN112488049B (zh) * 2020-12-16 2021-08-24 哈尔滨市科佳通用机电股份有限公司 一种动车组牵引电机及轴间夹挂异物的故障识别方法
CN112633176B (zh) * 2020-12-24 2023-03-14 广西大学 一种基于深度学习的轨道交通障碍物检测方法
CN112733929B (zh) * 2021-01-07 2024-07-19 南京工程学院 一种改进Yolo水下图像小目标和遮挡目标的检测方法
CN112907597A (zh) * 2021-02-04 2021-06-04 西华师范大学 基于深度卷积神经网络的铁路轨道线检测方法
CN112989931B (zh) * 2021-02-05 2022-10-18 广州华微明天软件技术有限公司 一种地铁轨道异物智能识别方法
CN112950837B (zh) * 2021-03-03 2023-06-16 中国工商银行股份有限公司 基于深度学习的纸币破损情况识别方法及装置
CN113139572B (zh) * 2021-03-09 2022-08-02 西南交通大学 一种基于图像的列车空气弹簧的故障检测方法
CN113033427A (zh) * 2021-03-30 2021-06-25 济南神博信息技术有限公司 一种基于dl的车底异物自动识别方法
CN113111875A (zh) * 2021-04-02 2021-07-13 广州地铁集团有限公司 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN112991348A (zh) * 2021-05-24 2021-06-18 南京索安电子有限公司 一种车辆底盘异物检测方法、装置及存储介质
CN113033720B (zh) * 2021-05-28 2021-08-13 南京索安电子有限公司 基于滑动窗口的车底图片异物识别方法、装置及存储介质
CN113486726B (zh) * 2021-06-10 2023-08-01 广西大学 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN113436164B (zh) * 2021-06-23 2024-03-15 三一专用汽车有限责任公司 车底路况检测方法、装置及车辆
CN113469259A (zh) * 2021-07-09 2021-10-01 成都恒创新星科技有限公司 一种车辆类别识别方法及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1156304A1 (fr) * 2000-05-16 2001-11-21 General Trailers France Dispositif d'inspection à distance de l'intérieur d'une cuve de citerne
CN106251347A (zh) * 2016-07-27 2016-12-21 广东工业大学 地铁异物检测方法、装置、设备及地铁屏蔽门***
CN108919372A (zh) * 2018-04-23 2018-11-30 爱驰汽车有限公司 一种车底异物预警方法及***、车载终端
CN109446913A (zh) * 2018-09-28 2019-03-08 桂林电子科技大学 一种判断车底是否改装的检测方法
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN109766884A (zh) * 2018-12-26 2019-05-17 哈尔滨工程大学 一种基于Faster-RCNN的机场跑道异物检测方法
CN110048523A (zh) * 2019-05-20 2019-07-23 天津工业大学 一种基于机器视觉技术的电动汽车无线电能传输***异物检测装置
CN110399816A (zh) * 2019-07-15 2019-11-01 广西大学 一种基于Faster R-CNN的高速列车车底异物检测方法
CN110414391A (zh) * 2019-07-15 2019-11-05 河北工业大学 基于深度学习算法的主动移动式车底危险品检测装置
CN110443208A (zh) * 2019-08-08 2019-11-12 南京工业大学 一种基于YOLOv2的车辆目标检测方法、***及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170056932A1 (en) * 2015-08-26 2017-03-02 Denso Corporation Detection device cleaning apparatus having fan

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1156304A1 (fr) * 2000-05-16 2001-11-21 General Trailers France Dispositif d'inspection à distance de l'intérieur d'une cuve de citerne
CN106251347A (zh) * 2016-07-27 2016-12-21 广东工业大学 地铁异物检测方法、装置、设备及地铁屏蔽门***
CN108919372A (zh) * 2018-04-23 2018-11-30 爱驰汽车有限公司 一种车底异物预警方法及***、车载终端
CN109446913A (zh) * 2018-09-28 2019-03-08 桂林电子科技大学 一种判断车底是否改装的检测方法
CN109766884A (zh) * 2018-12-26 2019-05-17 哈尔滨工程大学 一种基于Faster-RCNN的机场跑道异物检测方法
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN110048523A (zh) * 2019-05-20 2019-07-23 天津工业大学 一种基于机器视觉技术的电动汽车无线电能传输***异物检测装置
CN110399816A (zh) * 2019-07-15 2019-11-01 广西大学 一种基于Faster R-CNN的高速列车车底异物检测方法
CN110414391A (zh) * 2019-07-15 2019-11-05 河北工业大学 基于深度学习算法的主动移动式车底危险品检测装置
CN110443208A (zh) * 2019-08-08 2019-11-12 南京工业大学 一种基于YOLOv2的车辆目标检测方法、***及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LY轮对外形尺寸检测***异常曲线判断算法研究;张飞龙等;《中国设备工程》;20171025;第60-61，63页 *
Use of an Automatic Under-Vehicle Inspection System as a Tool to Streamline Vehicle Screening at Ports of Entry and Security Checkpoints;Erick E. Ruiz等;《IEEE》;20120824;第329-333页 *

Also Published As

Publication number Publication date
CN111402211A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111402211B (zh) 一种基于深度学习的高速列车车底异物识别方法
CN111598843B (zh) 基于深度学习的电力变压器呼吸器目标缺陷检测方法
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及***
CN111178206B (zh) 一种基于改进yolo的建筑预埋件检测方法及***
CN113903009B (zh) 一种基于改进YOLOv3网络的铁路异物检测方法与***
CN111563557A (zh) 一种电力电缆隧道内目标检测的方法
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN111242144B (zh) 电网设备异常的检测方法和装置
CN110378258B (zh) 一种基于图像的车辆座椅信息检测方法及设备
CN112200225A (zh) 基于深度卷积神经网络的钢轨伤损b显图像识别方法
CN108596883A (zh) 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法
CN112464846B (zh) 一种车站货运列车车厢异常故障的自动识别方法
CN113139594B (zh) 一种机载图像无人机目标自适应检测方法
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及***
CN111964763B (zh) 一种动态平板秤称重区域汽车断续行驶行为检测方法
CN108648210B (zh) 一种静态复杂场景下快速多目标检测方法及装置
CN109543617A (zh) 基于yolo目标检测技术的智能车辆运动路况信息的检测方法
CN115019133B (zh) 基于自训练和标签抗噪的图像中弱目标的检测方法及***
CN110765963A (zh) 车辆制动检测方法、装置、设备及计算机可读存储介质
CN112884753A (zh) 一种基于卷积神经网络的轨道扣件检测及分类方法
CN115424128A (zh) 一种货车转向架下拉杆故障图像检测方法及***
CN112184679A (zh) 一种基于YOLOv3的酒瓶瑕疵自动检测方法
CN113902793A (zh) 基于单视觉遥感影像端到端建筑物高度预测方法、***和电子设备
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、***及存储介质
CN116311157A (zh) 障碍物识别方法、障碍物识别模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant