CN112418253A - 基于深度学习的撒砂管松脱故障图像识别方法及*** - Google Patents

基于深度学习的撒砂管松脱故障图像识别方法及*** Download PDF

Info

Publication number
CN112418253A
CN112418253A CN202011505970.9A CN202011505970A CN112418253A CN 112418253 A CN112418253 A CN 112418253A CN 202011505970 A CN202011505970 A CN 202011505970A CN 112418253 A CN112418253 A CN 112418253A
Authority
CN
China
Prior art keywords
pipe
sanding
image
thick
thin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011505970.9A
Other languages
English (en)
Other versions
CN112418253B (zh
Inventor
刘丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202011505970.9A priority Critical patent/CN112418253B/zh
Publication of CN112418253A publication Critical patent/CN112418253A/zh
Application granted granted Critical
Publication of CN112418253B publication Critical patent/CN112418253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明的基于深度学习的撒砂管松脱故障图像识别方法及***，涉及列车部件故障识别领域，是为了克服现有通常采用人工检查图像的方式进行撒砂管故障检测，影响行车安全的问题，其中方法如下：步骤一、截取撒砂管部件子图；步骤二、预测撒砂管部件子图所包括的目标类别与位置；获得对应的管口类型分数值和粗细管相交分数值；步骤三、检测是否包括管口类型分数值大于管口类型分数值阈值T1的粗管口图像或细管口图像，若是，则确定撒砂管发生松脱故障，并输出位置；若否，则执行步骤四；步骤四、检测是否包括粗细管相交分数值大于粗细管相交分数阈值T2的粗细管相交部件图像，若是，则确定撒砂管正常；若否，则确定撒砂管发生松脱故障，并输出位置。

Description

基于深度学习的撒砂管松脱故障图像识别方法及***
技术领域
本发明涉及列车部件故障识别领域，具体涉及一种动车组制动***中撒砂管松脱故障的识别方法和***。
背景技术
撒砂***是动车组制动***的重要组成部分，可以有效改善轮轨接触面的工作环境，改善黏着系数，提高运行品质。特别是在雨、雪、霜等恶劣天气下钢轨变得很滑，车辆容易产生空转或者滑行，通过撒砂***可以有效减少此类问题发生。撒砂管松脱导致动车组撒砂***的撒砂功能失效，进而危及行车安全。在现有的故障检测方法中，通常采用人工检查图像的方式进行故障检测。由于检车人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全。
发明内容
本发明的目的是为了克服现有通常采用人工检查图像的方式进行撒砂管故障检测，影响行车安全的问题，提供了一种基于深度学习的撒砂管松脱故障图像识别方法及***。
本发明的基于深度学习的撒砂管松脱故障图像识别方法，方法具体步骤如下：
步骤一、截取真实过车图像中的撒砂管部件子图；
步骤二、利用确定权重系数的撒砂管目标检测模型预测撒砂管部件子图所包括的目标类别与位置；目标包括撒砂管的粗管口、撒砂管的细管口和粗细管相交部件；且
当预测出撒砂管部件子图包括粗管口图像或细管口图像时，获得对应的管口类型分数值；
当预测出撒砂管部件子图包括粗细管相交部件图像时，获得对应的粗细管相交分数值；
步骤三、检测撒砂管部件子图是否包括管口类型分数值大于管口类型分数值阈值T1的粗管口图像或细管口图像，
若是，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置；
若否，则执行步骤四；
步骤四、检测撒砂管部件子图是否包括粗细管相交分数值大于粗细管相交分数阈值T2的粗细管相交部件图像，
若是，则确定撒砂管部件子图所对应的撒砂管正常，完成撒砂管松脱故障图像识别；
若否，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置。
进一步地，步骤二中，撒砂管目标检测模型为Faster R-CNN模型，且该Faster R-CNN模型将ResNeSt-50网络作为目标检测中特征提取的骨干网络。
进一步地，步骤二的具体步骤如下：
步骤二一一、令撒砂管部件子图经过ResNeSt-50网络前向传播至最后共享的卷积层，分别得到供区域建议网络RPN输入的特征图；以及继续前向传播至特有卷积层，产生高维特征图；
步骤二一二、将步骤二一一得到的供RPN输入的特征图经过RPN网络得到区域建议和区域得分，并对区域得分采用非极大值抑制，输出其前数N个得分的区域建议给感兴趣区域RoI池化层；
步骤二一三、将步骤二一一得到的高维特征图和步骤二一二输出的区域建议同时输入RoI池化层，提取对应区域建议的特征；
步骤二一四、将步骤二一三得到的区域建议的特征通过全连接层后，输出该区域的分类得分以及回归后的边界框；
区域的分类得分输出对应于管口类型分数值或粗细管相交分数值，回归后的边界框输出对应于目标类别与位置。
进一步地，步骤二中撒砂管目标检测模型的训练方法具体如下：
步骤二二一、采集撒砂管的正常图像与故障图像作为样本数据集；
正常图像包括粗撒砂管的粗细管相交部件图像，故障图像包括撒砂管的粗管口图像或细管口图像，且粗管口图像或细管口图像均不包括粗细管相交部件图像；
步骤二二二、利用样本数据集对撒砂管目标检测模型进行训练，确定撒砂管目标检测模型的权重系数。
进一步地，步骤二二一中，通过分别采集撒砂管左、右两侧接头部件的图像，获得撒砂管的正常图像与故障图像。
本发明的基于深度学习的撒砂管松脱故障图像识别***，***包括撒砂管部件子图截取模块、预测模块、撒砂管管口目标检测模块和撒砂管相交检测模块：
撒砂管部件子图截取模块，用于截取真实过车图像中的撒砂管部件子图；
预测模块，与撒砂管部件子图截取模块连接，用于利用确定权重系数的撒砂管目标检测模型预测撒砂管部件子图所包括的目标类别与位置；目标包括撒砂管的粗管口、撒砂管的细管口和粗细管相交部件；且
当预测出撒砂管部件子图包括粗管口图像或细管口图像时，获得对应的管口类型分数值；
当预测出撒砂管部件子图包括粗细管相交部件图像时，获得对应的粗细管相交分数值；
撒砂管管口目标检测模块，与预测模块连接，用于检测撒砂管部件子图是否包括管口类型分数值大于管口类型分数值阈值T1的粗管口图像或细管口图像，
若是，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置；
若否，则将撒砂管部件子图发送至撒砂管相交检测模块；
撒砂管相交检测模块，与撒砂管管口目标检测模块连接，用于检测撒砂管部件子图是否包括粗细管相交分数值大于粗细管相交分数阈值T2的粗细管相交部件图像，
若是，则确定撒砂管部件子图所对应的撒砂管正常，完成撒砂管松脱故障图像识别；
若否，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置。
进一步地，预测模块中的撒砂管目标检测模型为Faster R-CNN模型，且该FasterR-CNN模型将ResNeSt-50网络作为目标检测中特征提取的骨干网络。
进一步地，预测模块包括：
卷积层模块，用于令撒砂管部件子图经过ResNeSt-50网络前向传播至最后共享的卷积层，分别得到供区域建议网络RPN输入的特征图；以及继续前向传播至特有卷积层，产生高维特征图；
区域建议网络模块，与卷积层模块连接，用于将卷积层模块输出的供RPN输入的特征图经过RPN网络得到区域建议和区域得分，并对区域得分采用非极大值抑制，输出其前数N个得分的区域建议给感兴趣区域RoI池化层；
RoI池化层模块，同时与卷积层模块和区域建议网络模块连接，用于将卷积层模块输出的高维特征图和区域建议网络模块输出的区域建议同时输入RoI池化层，提取对应区域建议的特征；
全连接层模块，与RoI池化层模块连接，用于将RoI池化层模块得到的区域建议的特征通过全连接层模块后，输出该区域的分类得分以及回归后的边界框；
区域的分类得分输出对应于管口类型分数值或粗细管相交分数值，回归后的边界框输出对应于目标类别与位置。
进一步地，预测模块还包括撒砂管目标检测模型训练模块：
撒砂管目标检测模型训练模块包括：
图像采集模块，用于采集撒砂管的正常图像与故障图像作为样本数据集；
正常图像包括粗撒砂管的粗细管相交部件图像，故障图像包括撒砂管的粗管口图像或细管口图像，且粗管口图像或细管口图像均不包括粗细管相交部件图像；
权重系数确定模块，与图像采集模块连接，用于利用样本数据集进行训练，确定撒砂管目标检测模型的权重系数。
进一步地，图像采集模块通过分别采集撒砂管左、右两侧接头部件的图像，获得撒砂管的正常图像与故障图像。
本发明的有益效果是：
1、将自动识别技术引入动车组撒砂管松脱故障检测，实现故障自动识别及报警，人工只需对报警结果进行确认，有效节约人力成本，提高作业质量和作业效率；
2、将深度学习算法应用到撒砂管松脱故障自动识别中，提高整体算法的稳定性及精度；
3、本申请通过检测故障后漏出的撒砂管粗/细口第一次检测，正常的撒砂管粗细管相交部件第2次检测的识别机制有效避免了由于管线窜动导致的漏报。
附图说明
图1为本发明的基于深度学习的撒砂管松脱故障图像识别方法的流程图；
图2为本发明的基于深度学习的撒砂管松脱故障图像识别***的结构示意图；
图3为本发明的撒砂管松脱故障检测模型中的ResNeSt网络结构图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施例之间或实施例包括的特征之间，可以相互组合。
具体实施方式一，本实施方式的基于深度学习的动车组撒砂管松脱故障图像识别方法，如图1所示，方法具体步骤如下：
步骤一、截取真实过车图像中的撒砂管部件子图；
步骤二、利用确定权重系数的撒砂管目标检测模型预测撒砂管部件子图所包括的目标类别与位置；目标包括撒砂管的粗管口、撒砂管的细管口和粗细管相交部件；且
当预测出撒砂管部件子图包括粗管口图像或细管口图像时，获得对应的管口类型分数值；
当预测出撒砂管部件子图包括粗细管相交部件图像时，获得对应的粗细管相交分数值；
步骤三、检测撒砂管部件子图是否包括管口类型分数值大于管口类型分数值阈值T1的粗管口图像或细管口图像，
若是，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置；
若否，则执行步骤四；
步骤四、检测撒砂管部件子图是否包括粗细管相交分数值大于粗细管相交分数阈值T2的粗细管相交部件图像，
若是，则确定撒砂管部件子图所对应的撒砂管正常，完成撒砂管松脱故障图像识别；
若否，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置。
具体地，上述为撒砂管松脱故障判别步骤，正常撒砂管中肯定包含正常的粗细管相交部件，故障后由于粗细管脱开，可见粗管口或细管口。由于撒砂管的管线是柔性部件，即使发生故障，有可能粗管口或细管口仍然不可见，故采用两步检测机制。
将真实过车图像使用先验知识截取各相机、各车节、各位置的撒砂管部件子图后，使用深度学习网络训练好的权重系数，预测出撒砂管部件子图中的目标类别，预测撒砂管部件子图中1类目标为细管口，2类目标为粗管口，3类正常的粗细管相交。如果预测图像中检测出大于阈值T1的粗管口或细管口，或者未检测出大于阈值T2正常的粗细管相交部件，则对此部分撒砂管进行故障报警。若无故障，则处理下一张撒砂管图像。
实践中，撒砂管部件的尺寸较大，复杂性较高，因此，为了提高故障特征在被检测图像中的显著性，减小背景等因素的干扰，可以在从真实过车图像中截取出撒砂管部件图像后，再对撒砂管部件图像进行划分，分为左图像和右图像，进而将左图像和右图像分别作为用于预测故障的撒砂管部件子图。
权重系数是根据样本数据集训练出的模型。对于当前待识别的图像，利用权重系数可以预测出一些目标类别与目标对应的分数值0-1，其中目标类别、位置、管口类型分数值和粗细管相交分数值均同时通过此步骤得到。在预测出的目标中如果有的目标类别是粗管口细管口且分数值大于T1,才认为是检测到了粗管口细管口；在预测出的目标中如果有的目标类别是正常的粗细管相交部件且分数值大于T2,才认为是检测到正常的粗细管相交部件。T1与T2是认为设定的经验值，避免噪声对识别结果的干扰。粗管口、细管口类似，所以用了同一个参数，也可设置成不同的，如T1A为识别出粗管口的判断阈值，T1B为识别出细管口的判断阈值。
上述步骤首先检测是否在当前撒砂管部件子图中检测出了粗管口或细管口，若检测出了直接报警。为了防止由于故障之后管线的窜动，即使没有检测出松脱后的粗管口或细管口，也要再次判断当前撒砂管部件子图是否有正常的粗细管相交，若没有则仍然判定为故障。
进一步地，步骤二中，撒砂管目标检测模型为Faster R-CNN模型，且该Faster R-CNN模型将ResNeSt-50网络作为目标检测中特征提取的骨干网络。
进一步地，步骤二的具体步骤如下：
步骤二一一、令撒砂管部件子图经过ResNeSt-50网络前向传播至最后共享的卷积层，分别得到供区域建议网络RPN输入的特征图；以及继续前向传播至特有卷积层，产生高维特征图；
步骤二一二、将步骤二一一得到的供RPN输入的特征图经过RPN网络得到区域建议和区域得分，并对区域得分采用非极大值抑制，输出其前数N个得分的区域建议给感兴趣区域RoI池化层；
步骤二一三、将步骤二一一得到的高维特征图和步骤二一二输出的区域建议同时输入RoI池化层，提取对应区域建议的特征；
步骤二一四、将步骤二一三得到的区域建议的特征通过全连接层后，输出该区域的分类得分以及回归后的边界框；
区域的分类得分输出对应于管口类型分数值或粗细管相交分数值，回归后的边界框输出对应于目标类别与位置。
具体地，如图3所示，ResNeSt本质是切片的注意力监督机制，引入了模块化的分散注意力模块，可以让注意力跨特征图(feature-map)组，其网络结构如下图3所示。ResNeSt借鉴了ResNeXt网络的思想，将输入分为k个，每一个记为基(Cardinal)1-K，然后又将每个Cardinal拆分成r个，每一个记为拆分(Split)1-R，所以总共有G＝KR个组。后是对于每一个Cardinal基于通道的注意力机制，对通道赋予不同的权重以建模通道的重要程度。ResNeSt还借鉴了SKNet来注意力思想，结合r个切片，然后经过池化、激活等操作，计算出r切片中每一个切片的对应注意力参数。将ResNeSt结构模型作为fasterRcnn作为目标检测的骨干网络，ResNeSt模型引入了拆分注意力(Split-Attention)块，可以跨不同的feature-map组实现feature-map注意力，***识别撒砂管细管口、粗管口、粗细管口相交处的三类目标准确率与识别效率高。使用ResNeSt-50为基本骨架的Faster-RCNN比使用ResNet-50进行图像中细管口、粗管口、粗细相交3类目标的准确率高出很多，进一步减少了***最终的误报量，提高了准确率。
对于每一个Cardinal输入是：
Figure BDA0002844932570000061
其中
Figure BDA0002844932570000062
H为特征图的高度，W为特征图的宽度，C为特征图的通道数。
通过跨空间维度的全局平均池化收集到了具有嵌入式通道统计的全局上下文信息
Figure BDA0002844932570000071
其第c个分量计算如下：
Figure BDA0002844932570000072
用Vk表示携带了通道权重后的Cardinal输出：
Figure BDA0002844932570000073
那么最终每个Cardinal的输出就是：
Figure BDA0002844932570000074
其中的
Figure BDA0002844932570000075
是经过了softmax之后计算所得的权重：
Figure BDA0002844932570000076
其中映射
Figure BDA0002844932570000077
根据全局上下文表示sk确定第c个通道的每个分割的权重。如果R＝1的话就是对该Cardinal中的所有通道视为一个整体。
接着将每一个Cardinal的输出拼接起来：
V＝Concat{V1,V2,...,VK}
假设每个ResNeSt块(block)的输出是Y，那么就有：
Y＝V+T(X)
其中T表示的是跳跃连接映射。这样的形式就和ResNet中的残差块输出计算就一致了。
Faster Rcnn目标检测步骤如下：
1)、经过网络ResNeSt-50前向传播至最后共享的卷积层，一方面得到供RPN网络输入的特征图，另一方面继续前向传播至特有卷积层，产生更高维特征图(更高维特征图即维度更高的高维特征图，均属于高维特征图)；
2)、供区域生成网络(RPN，RegionProposal Network)输入的特征图经过RPN网络得到区域建议和区域得分，并对区域得分采用非极大值抑制，输出其前N位(Top-N)得分的区域建议给感兴趣区域(RoI，region ofinterest)池化层；
3)、第2步得到的高维特征图和第3步输出的区域建议同时输入RoI池化层，提取对应区域建议的特征；
4)、第3步得到的区域建议特征通过全连接层后，输出该区域的分类得分以及回归后的边界框(bounding-box)。
Faster R-CNN采用分步(multi-step)方法训练，当将完整的模型合并后，得到4个不同的损失函数(losses)：RPN层的二分类与回归损失、感兴趣区域多分类与回归损失。4种不同的losses以加权和的形式组织。采用随机梯度下降(SGD，Stochastic GradientDescent)训练，迭代固定步数或总损失(loss)小于固定与之后停止训练即完成了***深度学习模型的建立。
将ResNeSt结构模型作为Faster Rcnn作为目标检测中特征提取的骨干网络，***识别撒砂管细管口、粗管口、粗细管口相交处三类目标准确率高。
进一步地，步骤二中撒砂管目标检测模型的训练方法具体如下：
步骤二二一、采集撒砂管的正常图像与故障图像作为样本数据集；
正常图像包括粗撒砂管的粗细管相交部件图像，故障图像包括撒砂管的粗管口图像或细管口图像，且粗管口图像或细管口图像均不包括粗细管相交部件图像；
步骤二二二、利用样本数据集对撒砂管目标检测模型进行训练，确定撒砂管目标检测模型的权重系数。
进一步地，步骤二二一中，通过分别采集撒砂管左、右两侧接头部件的图像，获得撒砂管的正常图像与故障图像。
具体地，步骤二二一为建立样本数据集步骤：
样本数据集包括灰度图像集与标记文件集。灰度图像集为设备拍摄的撒砂管左右两侧接头部件的高清灰度图像。标记文件集为当前图像所包含的粗管口、细管口、正常粗细管交接处三类部件，此部分文件为xml格式，通过人工标记的方式获取。灰度图像数据集与标记xml文件集之间是一一对应的，即每个灰度图像对应一个标记xml文件。
由于撒砂管位于相邻两个轨内外相机的相临近处，单独在某一相机上识别易造成漏报。故本方法采用不同视角的轨内外相机图像共同识别撒砂管松脱的机制，若一个相机识别出了撒砂管松脱故障，则程序对故障位置进项坐标转换并生成故障报文，将包含故障信息的报文上传平台报警。
鉴于撒砂管在钢轨附近，处在底部轨内相机与轨外相机的交界处，轨内外联合对撒砂管松脱故障进行检测，即使撒砂管粗、细管口被其他部件遮挡情况下仍可识别出故障，***准确率高。撒砂管装置结构复杂且在图像中宽度与长度大，本方法将其分成左、右两部分分别进行识别，提高了故障特征在被检测图中的显著性且降低了背景与其他部件干扰，兼顾准确率与识别率。
分别在轨道周围搭建高清设备，动车组通过设备后，获取高清图像。图像为列车侧部、底部轨内、底部轨外清晰的灰度图像。由于动车组部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响。并且，不同站点拍摄的图像可能存在差异。因此，撒砂管图像之间千差万别。所以，在收集撒砂管图像数据的过程中，要保证多样性，尽量将不同站点儿、不同底部相机、不同车型、不同时间段等各种条件下的撒砂管图像全部收集。
在CRH5A、400AF、2型车、3型车等不同车型的动车组中，撒砂管部件所在车节位置与形态会不同。但由于不同类型间出现的频率差别较大，某些较不常见动车组类型的撒砂管部件收集较为困难。因此，将全部类型的撒砂管部件统称为一类，全部按照一类来建立样本数据集。鉴于撒砂管部件在图像中宽度与长度太大，发生松脱的位置位于部件左、右两侧，本***将撒砂管两侧接头分别搜集与识别，可提高故障区域在识别范围的显著性，准确率高且识别效率高。
撒砂管为柔性件，车辆行驶过程中很容易发生窜动，撒砂管各部件的方向、位置、像素范围等各方面会有所变化。样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，仍需要对样本数据集进行数据扩增。有故障的正样本与无故障的负样本数量之间存在很大的不平衡。扩增形式包括图像的旋转、平移、缩放、镜像等操作，每种操作都是在随机条件下进行的，扩增时对有故障的正样本扩增数量相应增加，这样可以最大程度的保证样本的多样性和适用性且数据集中正负样本的不平衡得以改善。
步骤二二二为深度学习建模步骤：
所有图像分为2种，一种是无故障的，里面有“粗细管相交”部件；一种是撒砂管松脱的故障图像，里面有由于管线松脱而露出的“粗管口”、“细管口”部件。这两种图像对应一个模型，输入到同一个深度学习网络中训练。网络训练目的是能机器自动学习到粗管口、细管口和正常的粗细管相交三类部件。
具体实施方式二，本实施方式的基于深度学习的撒砂管松脱故障图像识别***，***包括撒砂管部件子图截取模块1、预测模块2、撒砂管管口目标检测模块3和撒砂管相交检测模块4：
撒砂管部件子图截取模块1，用于截取真实过车图像中的撒砂管部件子图；
预测模块2，与撒砂管部件子图截取模块1连接，用于利用确定权重系数的撒砂管目标检测模型预测撒砂管部件子图所包括的目标类别与位置；目标包括撒砂管的粗管口、撒砂管的细管口和粗细管相交部件；且
当预测出撒砂管部件子图包括粗管口图像或细管口图像时，获得对应的管口类型分数值；
当预测出撒砂管部件子图包括粗细管相交部件图像时，获得对应的粗细管相交分数值；
撒砂管管口目标检测模块3，与预测模块2连接，用于检测撒砂管部件子图是否包括管口类型分数值大于管口类型分数值阈值T1的粗管口图像或细管口图像，
若是，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置；
若否，则将撒砂管部件子图发送至撒砂管相交检测模块4；
撒砂管相交检测模块4，与撒砂管管口目标检测模块3连接，用于检测撒砂管部件子图是否包括粗细管相交分数值大于粗细管相交分数阈值T2的粗细管相交部件图像，
若是，则确定撒砂管部件子图所对应的撒砂管正常，完成撒砂管松脱故障图像识别；
若否，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置。
进一步地，预测模块2中的撒砂管目标检测模型为Faster R-CNN模型，且该FasterR-CNN模型将ResNeSt-50网络作为目标检测中特征提取的骨干网络。
进一步地，预测模块2包括：
卷积层模块，用于令撒砂管部件子图经过ResNeSt-50网络前向传播至最后共享的卷积层，分别得到供区域建议网络RPN输入的特征图；以及继续前向传播至特有卷积层，产生高维特征图；
区域建议网络模块，与卷积层模块连接，用于将卷积层模块输出的供RPN输入的特征图经过RPN网络得到区域建议和区域得分，并对区域得分采用非极大值抑制，输出其前数N个得分的区域建议给感兴趣区域RoI池化层；
RoI池化层模块，同时与卷积层模块和区域建议网络模块连接，用于将卷积层模块输出的高维特征图和区域建议网络模块输出的区域建议同时输入RoI池化层，提取对应区域建议的特征；
全连接层模块，与RoI池化层模块连接，用于将RoI池化层模块得到的区域建议的特征通过全连接层模块后，输出该区域的分类得分以及回归后的边界框；
区域的分类得分输出对应于管口类型分数值或粗细管相交分数值，回归后的边界框输出对应于目标类别与位置。
进一步地，预测模块2还包括撒砂管目标检测模型训练模块2-1：
撒砂管目标检测模型训练模块2-1包括：
图像采集模块2-1-1，用于采集撒砂管的正常图像与故障图像作为样本数据集；
正常图像包括粗撒砂管的粗细管相交部件图像，故障图像包括撒砂管的粗管口图像或细管口图像，且粗管口图像或细管口图像均不包括粗细管相交部件图像；
权重系数确定模块2-1-2，与图像采集模块2-1-1连接，用于利用样本数据集进行训练，确定撒砂管目标检测模型的权重系数。
进一步地，图像采集模块2-1-1通过分别采集撒砂管左、右两侧接头部件的图像，获得撒砂管的正常图像与故障图像。
具体地，图像采集模块2-1-1包括：
轨内相机，用于采集与识别撒砂管一侧接头部件的图像，得到撒砂管的正常图像与故障图像；
轨外相机，用于采集与识别撒砂管另一侧接头部件的图像，得到撒砂管的正常图像与故障图像；
灰度图像集建立模块，同时与轨内相机和轨外相机连接，用于对撒砂管的正常图像与故障图像进行二值化得到灰度图像，建立灰度图像集；
标记文件集建立模块，与灰度图像集建立模块连接，用于对撒砂管的正常图像中撒砂管的粗细管相交部件图像进行标记，以及对撒砂管的故障图像中撒砂管的粗管口图像或细管口图像进行标记，建立标记文件集；
样本数据集包括灰度图像集和标记文件集。
需要说明的是，本申请还可包括其它多种实施例，在不背离本申请的精神及其实质的情况下，本领域技术人员可根据本申请作出各种相应的改变和变形，但这些相应的改变和变形都应属于本申请所附的权利要求的保护范围。

Claims (10)

1.基于深度学习的撒砂管松脱故障图像识别方法，其特征在于，方法具体步骤如下：
步骤一、截取真实过车图像中的撒砂管部件子图；
步骤二、利用确定权重系数的撒砂管目标检测模型预测撒砂管部件子图所包括的目标类别与位置；目标包括撒砂管的粗管口、撒砂管的细管口和粗细管相交部件；且
当预测出撒砂管部件子图包括粗管口图像或细管口图像时，获得对应的管口类型分数值；
当预测出撒砂管部件子图包括粗细管相交部件图像时，获得对应的粗细管相交分数值；
步骤三、检测撒砂管部件子图是否包括管口类型分数值大于管口类型分数值阈值T1的粗管口图像或细管口图像，
若是，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置；
若否，则执行步骤四；
步骤四、检测撒砂管部件子图是否包括粗细管相交分数值大于粗细管相交分数阈值T2的粗细管相交部件图像，
若是，则确定撒砂管部件子图所对应的撒砂管正常，完成撒砂管松脱故障图像识别；
若否，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置。
2.根据权利要求1的基于深度学习的撒砂管松脱故障图像识别方法，其特征在于，
步骤二中，撒砂管目标检测模型为Faster R-CNN模型，且该Faster R-CNN模型将ResNeSt-50网络作为目标检测中特征提取的骨干网络。
3.根据权利要求2的基于深度学习的撒砂管松脱故障图像识别方法，其特征在于，
步骤二的具体步骤如下：
步骤二一一、令撒砂管部件子图经过ResNeSt-50网络前向传播至最后共享的卷积层，分别得到供区域建议网络RPN输入的特征图；以及继续前向传播至特有卷积层，产生高维特征图；
步骤二一二、将步骤二一一得到的供RPN输入的特征图经过RPN网络得到区域建议和区域得分，并对区域得分采用非极大值抑制，输出其前数N个得分的区域建议给感兴趣区域RoI池化层；
步骤二一三、将步骤二一一得到的高维特征图和步骤二一二输出的区域建议同时输入RoI池化层，提取对应区域建议的特征；
步骤二一四、将步骤二一三得到的区域建议的特征通过全连接层后，输出该区域的分类得分以及回归后的边界框；
区域的分类得分输出对应于管口类型分数值或粗细管相交分数值，回归后的边界框输出对应于目标类别与位置。
4.根据权利要求3的基于深度学习的撒砂管松脱故障图像识别方法，其特征在于，
步骤二中撒砂管目标检测模型的训练方法具体如下：
步骤二二一、采集撒砂管的正常图像与故障图像作为样本数据集；
正常图像包括粗撒砂管的粗细管相交部件图像，故障图像包括撒砂管的粗管口图像或细管口图像，且粗管口图像或细管口图像均不包括粗细管相交部件图像；
步骤二二二、利用样本数据集对撒砂管目标检测模型进行训练，确定撒砂管目标检测模型的权重系数。
5.根据权利要求4的基于深度学习的撒砂管松脱故障图像识别方法，其特征在于，
步骤二二一中，通过分别采集撒砂管左、右两侧接头部件的图像，获得撒砂管的正常图像与故障图像。
6.基于深度学习的撒砂管松脱故障图像识别***，其特征在于，***包括撒砂管部件子图截取模块(1)、预测模块(2)、撒砂管管口目标检测模块(3)和撒砂管相交检测模块(4)：
撒砂管部件子图截取模块(1)，用于截取真实过车图像中的撒砂管部件子图；
预测模块(2)，与撒砂管部件子图截取模块(1)连接，用于利用确定权重系数的撒砂管目标检测模型预测撒砂管部件子图所包括的目标类别与位置；目标包括撒砂管的粗管口、撒砂管的细管口和粗细管相交部件；且
当预测出撒砂管部件子图包括粗管口图像或细管口图像时，获得对应的管口类型分数值；
当预测出撒砂管部件子图包括粗细管相交部件图像时，获得对应的粗细管相交分数值；
撒砂管管口目标检测模块(3)，与预测模块(2)连接，用于检测撒砂管部件子图是否包括管口类型分数值大于管口类型分数值阈值T1的粗管口图像或细管口图像，
若是，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置；
若否，则将撒砂管部件子图发送至撒砂管相交检测模块(4)；
撒砂管相交检测模块(4)，与撒砂管管口目标检测模块(3)连接，用于检测撒砂管部件子图是否包括粗细管相交分数值大于粗细管相交分数阈值T2的粗细管相交部件图像，
若是，则确定撒砂管部件子图所对应的撒砂管正常，完成撒砂管松脱故障图像识别；
若否，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置。
7.根据权利要求6的基于深度学习的撒砂管松脱故障图像识别***，其特征在于，
预测模块(2)中的撒砂管目标检测模型为Faster R-CNN模型，且该Faster R-CNN模型将ResNeSt-50网络作为目标检测中特征提取的骨干网络。
8.根据权利要求7的基于深度学习的撒砂管松脱故障图像识别***，其特征在于，预测模块(2)包括：
卷积层模块，用于令撒砂管部件子图经过ResNeSt-50网络前向传播至最后共享的卷积层，分别得到供区域建议网络RPN输入的特征图；以及继续前向传播至特有卷积层，产生高维特征图；
区域建议网络模块，与卷积层模块连接，用于将卷积层模块输出的供RPN输入的特征图经过RPN网络得到区域建议和区域得分，并对区域得分采用非极大值抑制，输出其前数N个得分的区域建议给感兴趣区域RoI池化层；
RoI池化层模块，同时与卷积层模块和区域建议网络模块连接，用于将卷积层模块输出的高维特征图和区域建议网络模块输出的区域建议同时输入RoI池化层，提取对应区域建议的特征；
全连接层模块，与RoI池化层模块连接，用于将RoI池化层模块得到的区域建议的特征通过全连接层模块后，输出该区域的分类得分以及回归后的边界框；
区域的分类得分输出对应于管口类型分数值或粗细管相交分数值，回归后的边界框输出对应于目标类别与位置。
9.根据权利要求8的基于深度学习的撒砂管松脱故障图像识别***，其特征在于，预测模块(2)还包括撒砂管目标检测模型训练模块(2-1)：
撒砂管目标检测模型训练模块(2-1)包括：
图像采集模块(2-1-1)，用于采集撒砂管的正常图像与故障图像作为样本数据集；
正常图像包括粗撒砂管的粗细管相交部件图像，故障图像包括撒砂管的粗管口图像或细管口图像，且粗管口图像或细管口图像均不包括粗细管相交部件图像；
权重系数确定模块(2-1-2)，与图像采集模块(2-1-1)连接，用于利用样本数据集进行训练，确定撒砂管目标检测模型的权重系数。
10.根据权利要求9的基于深度学习的撒砂管松脱故障图像识别***，其特征在于，
图像采集模块(2-1-1)通过分别采集撒砂管左、右两侧接头部件的图像，获得撒砂管的正常图像与故障图像。
CN202011505970.9A 2020-12-18 2020-12-18 基于深度学习的撒砂管松脱故障图像识别方法及*** Active CN112418253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011505970.9A CN112418253B (zh) 2020-12-18 2020-12-18 基于深度学习的撒砂管松脱故障图像识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011505970.9A CN112418253B (zh) 2020-12-18 2020-12-18 基于深度学习的撒砂管松脱故障图像识别方法及***

Publications (2)

Publication Number Publication Date
CN112418253A true CN112418253A (zh) 2021-02-26
CN112418253B CN112418253B (zh) 2021-08-24

Family

ID=74782714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011505970.9A Active CN112418253B (zh) 2020-12-18 2020-12-18 基于深度学习的撒砂管松脱故障图像识别方法及***

Country Status (1)

Country Link
CN (1) CN112418253B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284146A (zh) * 2021-07-23 2021-08-20 天津御锦人工智能医疗科技有限公司 结直肠息肉图像的识别方法、装置及存储介质
CN113569975A (zh) * 2021-08-04 2021-10-29 华南师范大学 一种基于模型融合的素描作品评级方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323163A1 (en) * 2016-05-06 2017-11-09 City Of Long Beach Sewer pipe inspection and diagnostic system and method
CN109146947A (zh) * 2018-09-04 2019-01-04 清华-伯克利深圳学院筹备办公室 海洋鱼类三维图像获取及处理方法、装置、设备及介质
CN109389566A (zh) * 2018-10-19 2019-02-26 辽宁奇辉电子***工程有限公司 基于边界特征的地铁高度调节阀紧固螺母不良状态检测方法
CN111079631A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车钩提杆脱落故障识别方法及***
CN111079747A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车转向架侧架断裂故障图像识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323163A1 (en) * 2016-05-06 2017-11-09 City Of Long Beach Sewer pipe inspection and diagnostic system and method
CN109146947A (zh) * 2018-09-04 2019-01-04 清华-伯克利深圳学院筹备办公室 海洋鱼类三维图像获取及处理方法、装置、设备及介质
CN109389566A (zh) * 2018-10-19 2019-02-26 辽宁奇辉电子***工程有限公司 基于边界特征的地铁高度调节阀紧固螺母不良状态检测方法
CN111079631A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车钩提杆脱落故障识别方法及***
CN111079747A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车转向架侧架断裂故障图像识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
REN SQ ET AL: "《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》", 《《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
ZHANG H ET AL: "《ResNest：Split-Attention Networks》", 《ARXIV.ORG》 *
刘志刚: "《HXd3D型电力机车运用问题分析及改进》", 《机车电传动》 *
王彩霞: "《高速动车组主要零部件损伤规律及维修周期的研究》", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284146A (zh) * 2021-07-23 2021-08-20 天津御锦人工智能医疗科技有限公司 结直肠息肉图像的识别方法、装置及存储介质
CN113284146B (zh) * 2021-07-23 2021-10-22 天津御锦人工智能医疗科技有限公司 结直肠息肉图像的识别方法、装置及存储介质
CN113569975A (zh) * 2021-08-04 2021-10-29 华南师范大学 一种基于模型融合的素描作品评级方法及装置

Also Published As

Publication number Publication date
CN112418253B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN111079747B (zh) 铁路货车转向架侧架断裂故障图像识别方法
CN104599249B (zh) 缆索承重桥梁桥面车辆载荷分布实时检测方法
CN112418253B (zh) 基于深度学习的撒砂管松脱故障图像识别方法及***
CN113658136B (zh) 一种基于深度学习的传送带缺陷检测方法
CN108460764A (zh) 基于自动上下文和数据增强的超声图像智能分割方法
CN105044122A (zh) 一种基于半监督学习模型的铜件表面缺陷视觉检测***及检测方法
CN106991668B (zh) 一种天网摄像头拍摄画面的评价方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN103442209A (zh) 一种输电线路的视频监控方法
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN111080650B (zh) 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法
KR20190066789A (ko) 딥러닝을 이용한 영상 기반 콘크리트 균열 탐지 시스템
CN111079734B (zh) 铁路货车三角孔异物检测方法
CN112101182B (zh) 一种基于改进slic方法的铁路货车地板破损故障识别方法
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN114897908B (zh) 基于机器视觉的激光选区铺粉烧结面缺陷分析方法及***
CN113420810B (zh) 一种基于红外和可见光的电缆沟智能巡检***及巡检方法
CN113155860A (zh) 一种基于流态视频监测的过水建筑物结构损伤诊断方法及***
CN115527170A (zh) 货车脱轨自动制动装置塞门手把关闭故障识别方法及***
CN104298993A (zh) 一种适用于轨道沿线复杂场景下的杆号定位和识别方法
CN114639064A (zh) 一种水位识别方法及装置
CN110672632A (zh) 一种隧道病害识别方法
CN103605960A (zh) 一种基于不同焦距视频图像融合的交通状态识别方法
CN117593499A (zh) 一种基于分布式巡检策略的水电站机电设备故障识别方法
CN109934172B (zh) 高速列车受电弓免gps全运行线故障视觉检测定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant