CN116433938A - 地铁齿轮箱螺栓松动的异常检测方法、***及存储介质 - Google Patents
地铁齿轮箱螺栓松动的异常检测方法、***及存储介质 Download PDFInfo
- Publication number
- CN116433938A CN116433938A CN202310413925.8A CN202310413925A CN116433938A CN 116433938 A CN116433938 A CN 116433938A CN 202310413925 A CN202310413925 A CN 202310413925A CN 116433938 A CN116433938 A CN 116433938A
- Authority
- CN
- China
- Prior art keywords
- bolt
- gearbox
- target detection
- data set
- subway
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 106
- 230000002159 abnormal effect Effects 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 54
- 230000005856 abnormality Effects 0.000 claims abstract description 12
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
地铁齿轮箱螺栓松动的异常检测方法、***及存储介质，本发明涉及齿轮箱螺栓松动的异常检测方法、***及存储介质。本发明的目的是为了解决现有方法对齿轮箱螺栓松动的识别稳定性及精度差的问题。具体过程为：一、建立训练目标检测模型的样本数据集；获得训练好的目标检测模型；二、建立训练防松线姿态估计网络模型的样本数据集；三、得到训练好的防松线姿态估计网络模型；四、将待测图像输入训练好的目标检测模型，得到齿轮箱螺栓子图；将齿轮箱螺栓子图输入训练好的防松线姿态估计网络模型，获得螺栓上标注点P1以及标注点P2的坐标；基于坐标判断螺栓是否故障，如存在故障输出故障所在位置。本发明用于地铁齿轮箱螺栓异常检测领域。
Description
技术领域
本发明涉及齿轮箱螺栓松动的异常检测方法、***及存储介质。
背景技术
防松线具有直观展示螺栓松动的作用，可以明显的显示螺栓的松动情况。一旦存在螺栓松动现象，可能导致齿轮箱出现松动，从而危及行车安全。在螺栓松动故障检测中，现有方法往往采用人工检查图像的方式进行故障检测。由于在检测过程中，检测结果会受到检车人员的主观因素影响，因此，容易出现对故障的漏检、错检等问题，以致影响行车安全，采用基于神经网络的自动检测代替人工车辆安全检测，能够提高车辆安检效率，排除人为因素干扰，降低人力成本。但是，无论人工还是采用基于神经网络的自动检测都存在对齿轮箱螺栓松动的识别稳定性及精度差的问题。
发明内容
本发明的目的是为了解决现有方法对齿轮箱螺栓松动的识别稳定性及精度差的问题，而提出地铁齿轮箱螺栓松动的异常检测方法、***及存储介质。
地铁齿轮箱螺栓松动的异常检测方法具体过程为：
步骤一、对运动的地铁进行扫描，获取图像数据集；
基于获取的图像数据集建立训练目标检测模型的样本数据集；
构建目标检测模型，目标检测模型为神经网络模型；
基于训练目标检测模型的样本数据集训练目标检测模型，获得训练好的目标检测模型；
步骤二、建立训练防松线姿态估计网络模型的样本数据集；具体过程为：
步骤二一、将训练目标检测模型的样本数据集输入训练好的目标检测模型进行齿轮箱螺栓定位，根据定位信息切出齿轮箱螺栓子图；
步骤二二、对切出的齿轮箱螺栓子图进行扩增，获得扩增后的齿轮箱螺栓子图数据集；
步骤二三、对扩增后的齿轮箱螺栓子图进行标记，获得与扩增后的齿轮箱螺栓子图数据集一一对应的标记文件，以扩增后的齿轮箱螺栓子图数据集以及与扩增后的齿轮箱螺栓子图数据集一一对应的标记文件作为训练防松线姿态估计网络模型的样本数据集；
步骤二三中对扩增后的齿轮箱螺栓子图进行标记具体过程为：
将齿轮箱螺栓子图中的螺栓分为2种情况进行标记：
情况A：选择螺栓头部正中心的防松线为第一个标注点P1，选择防松线与螺栓头部边缘的交界点为第二个标注点P2；
情况B：选择防松线的末端为第一个标注点P1，选择防松线与螺栓头部边缘的交界点为第二个标注点P2；
步骤三、构建防松线姿态估计网络模型，防松线姿态估计网络模型为神经网络模型；
基于训练防松线姿态估计网络模型的样本数据集训练防松线姿态估计网络模型，得到训练好的防松线姿态估计网络模型；
步骤四、将待测图像输入训练好的目标检测模型，得到齿轮箱螺栓子图；
将齿轮箱螺栓子图输入训练好的防松线姿态估计网络模型，获得螺栓上标注点P1以及标注点P2的坐标；
基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否故障，如存在故障输出故障所在位置。
优选地，步骤一中对运动的地铁进行扫描，获取图像数据集；具体过程为：
在铁轨两侧以及底部配备高清线阵成像设备，地铁通过触发传感器，开始启动成像设备对运动的地铁进行扫描，获取高清线阵图像并进行存储。
优选地，步骤一中基于获取的图像数据集建立训练目标检测模型的样本数据集；具体过程为：
根据地铁列车车底轴距、车型和先验知识对步骤一采集的图像截取齿轮箱螺栓位置图像，获取原始图像数据集，将原始图像数据集进行数据扩增，对扩增后数据集进行标记，获取与扩增后数据集一一对应的标记文件；
以扩增后数据集以及与扩增后数据集一一对应的标记文件作为训练目标检测模型的样本数据集。
优选地，步骤一中构建目标检测模型，目标检测模型为神经网络模型；具体过程为：
目标检测模型包括ResNet50特征提取网络、RPN网络和RoIpooling层；
选取ResNet50特征提取网络作为目标检测模型的骨干网络，将扩增后数据集作为ResNet50特征提取网络的输入，得到ResNet50骨干网络输出特征图；
以ResNet50骨干网络输出特征图作为RPN网络的输入，RPN网络生成候选框；
将RPN网络生成的候选框和ResNet50骨干网络输出的特征图输入RoIpooling层，得到齿轮箱螺栓的候选框特征图。
优选地，步骤一中基于训练目标检测模型的样本数据集训练目标检测模型，获得训练好的目标检测模型；具体过程为：
采用OHEM方法对目标检测模型进行训练。
优选地，步骤三中构建防松线姿态估计网络模型，防松线姿态估计网络模型为神经网络模型；
基于训练防松线姿态估计网络模型的样本数据集训练防松线姿态估计网络模型，得到训练好的防松线姿态估计网络模型；具体过程为：
选取HRNET网络作为防松线姿态估计网络模型的骨干网络，将训练防松线姿态估计网络模型的样本数据集输入HRNET网络，输出螺栓上标注点P1以及标注点P2的坐标，直至收敛，获得训练好的防松线姿态估计网络模型。
优选地，步骤四中将待测图像输入训练好的目标检测模型，得到齿轮箱螺栓子图；
将齿轮箱螺栓子图输入训练好的防松线姿态估计网络模型，获得螺栓上标注点P1以及标注点P2的坐标；
基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否故障，如存在故障输出故障所在位置；具体过程为：
具体过程为：
步骤四一、在铁轨两侧以及底部配备高清线阵成像设备，获取高清线阵图像；根据地铁列车车底轴距、车型和先验知识对高清线阵图像截取齿轮箱位置图像；
步骤四二、将截取的齿轮箱位置图像输入训练好的目标检测模型，输出齿轮箱螺栓的候选框特征图，得到齿轮箱螺栓子图；
步骤四三、将齿轮箱螺栓子图输入训练好的防松线姿态估计网络模型，获得螺栓上标注点P1以及标注点P2的坐标；
步骤四四、
针对情况A中的螺栓，基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否松动；具体过程为：
P1坐标(x1,y1)，P2坐标(x2,y2)，通过公式
计算出P1与P2两点之间与水平方向的夹角，当θ-θ1＜α时螺栓松动，否则，螺栓不松动；
其中，θ为P1与P2两点之间与水平方向的夹角；θ1为预留角度；α为松动阈值；
针对情况B中的螺栓，存在两种情况：
情况1：基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否松动；具体过程为：
P1坐标(x1,y1)，P2坐标(x2,y2)，通过公式
计算出P1与P2两点之间与水平方向的夹角，当θ-θ2＜β时螺栓松动，否则，螺栓不松动；
其中，θ2为预留角度；β为松动阈值；
情况2：基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否松动；具体过程为：
通过判断P1与P2两点之间的距离是否与预存距离差值大于阈值，具体实现方式如下P1坐标(x1,y1)，P2坐标(x2,y2)，通过公式
计算出P1与P2两点的距离，当D-D1＞g时螺栓松动，否则，螺栓不松动；
其中，D1为预存两点之间距离；g为距离阈值；
情况1和情况2中有一种判断为螺栓松动则为螺栓松动。
优选地，如存在故障输出故障所在位置；具体过程为：
通过齿轮箱螺栓子图到含有齿轮箱位置图像、含有齿轮箱位置图像到高清线阵图像的映射关系，计算出故障在高清线阵图像中的位置；
在计算出故障在高清线阵图像中的位置后，将故障部件信息上传到报警平台，并在显示界面上进行故障显示。
地铁齿轮箱螺栓松动的异常检测***用于执行地铁齿轮箱螺栓松动的异常检测方法。
一种存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器加载并运行地铁齿轮箱螺栓松动的异常检测***。
本发明的有益效果：
本发明利用图像识别方法，减小地铁车辆检测的人工工作量，而且能够大幅提高检测的准确率；本发明使用姿态估计方法替代深度学习分割算法应用到齿轮箱螺栓松动的自动识别中，提高整体算法的稳定性及精度；本发明使用TopDown方法设计网络，先使用Faster R-CNN网络框架定位螺栓，再用hrnet网络进行防松线定位，获得了更好的检测精度；本发明在构建防松线数据集时，设计一种标记方法，能够更好地训练姿态估计模型，更好地定位防松线，并且在检测故障时能够更好地设计监测逻辑，提高检测精度。
附图说明
图1为本发明流程图；
图2为齿轮箱螺栓子图1；
图3为齿轮箱螺栓子图2；
图4为齿轮箱螺栓子图1的标注图；
图5为齿轮箱螺栓子图2的标注图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一：结合图1说明本实施方式，本实施方式地铁齿轮箱螺栓松动的异常检测方法具体过程为：
步骤一、对运动的地铁进行扫描，获取图像数据集；
基于获取的图像数据集建立训练目标检测模型的样本数据集；
构建目标检测模型，目标检测模型为神经网络模型；
基于训练目标检测模型的样本数据集训练目标检测模型(齿轮箱螺栓定位深度学习网络模型)，获得训练好的目标检测模型；
步骤二、建立训练防松线姿态估计网络模型的样本数据集；具体过程为：
步骤二一、将训练目标检测模型的样本数据集输入训练好的目标检测模型进行齿轮箱螺栓定位，根据定位信息切出齿轮箱螺栓子图；
步骤二二、对切出的齿轮箱螺栓子图进行扩增，获得扩增后的齿轮箱螺栓子图数据集；
步骤二三、对扩增后的齿轮箱螺栓子图进行标记，获得与扩增后的齿轮箱螺栓子图数据集一一对应的标记文件，以扩增后的齿轮箱螺栓子图数据集以及与扩增后的齿轮箱螺栓子图数据集一一对应的标记文件作为训练防松线姿态估计网络模型的样本数据集；
步骤二三中对扩增后的齿轮箱螺栓子图进行标记具体过程为：
将齿轮箱螺栓子图中的螺栓分为2种情况进行标记：
情况A：选择螺栓头部正中心的防松线为第一个标注点P1，选择防松线与螺栓头部边缘的交界点为第二个标注点P2；如图2、图4；
情况B：选择防松线的末端为第一个标注点P1，选择防松线与螺栓头部边缘的交界点为第二个标注点P2；如图3、图5；
该标记方式保证了每个螺栓只有两个标记点，减少检测时标记点的误报率，又保证了在不同的螺栓中标注点可识别性更好，提高模型的精确度。
具体标记点的设计可以是三个四个等等，通过实验对比，设计出只标记两个点的标记方式。
1将螺栓分为两类如图2、图3。
2将图2标记为图4所示、将图3标记为图5所示。具体标注点选择方法如下：
在图2中选择螺栓正中心的防松线的顶点为第一个标注点P1，选择防松线与螺栓边缘的交界点为P2，标注这两个点。
在图3中选择防松线的末端为第一个标注点P1，选择防松线与螺栓边缘的交界点为P2，标注这两个点。
步骤三、构建防松线姿态估计网络模型，防松线姿态估计网络模型为神经网络模型；
基于训练防松线姿态估计网络模型的样本数据集训练防松线姿态估计网络模型，得到训练好的防松线姿态估计网络模型；
步骤四、将待测图像输入训练好的目标检测模型(齿轮箱螺栓定位网络模型)，得到齿轮箱螺栓子图；
将齿轮箱螺栓子图输入训练好的防松线姿态估计网络模型，获得螺栓上标注点P1以及标注点P2的坐标；
基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否故障，如存在故障输出故障所在位置。
具体实施方式二：本实施方式与具体实施方式一不同的是，步骤一中对运动的地铁进行扫描，获取图像数据集；具体过程为：
在铁轨两侧以及底部配备高清线阵成像设备，地铁通过触发传感器，开始启动成像设备对运动的地铁进行扫描，获取高清线阵图像并进行存储。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，步骤一中基于获取的图像数据集建立训练目标检测模型的样本数据集；具体过程为：
根据地铁列车车底轴距、车型和先验知识对步骤一采集的图像截取齿轮箱螺栓位置图像，获取原始图像数据集，将原始图像数据集进行数据扩增，对扩增后数据集进行标记，获取与扩增后数据集一一对应的标记文件；
以扩增后数据集以及与扩增后数据集一一对应的标记文件作为训练目标检测模型(齿轮箱螺栓定位深度学习网络模型)的样本数据集。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，步骤一中构建目标检测模型，目标检测模型为神经网络模型；具体过程为：
目标检测模型包括ResNet50特征提取网络、RPN网络和RoIpooling层；
选取ResNet50特征提取网络作为目标检测模型的骨干网络，将扩增后数据集作为ResNet50特征提取网络的输入，得到ResNet50骨干网络输出特征图；
以ResNet50骨干网络输出特征图作为RPN网络的输入，RPN网络生成候选框；
将RPN网络生成的候选框和ResNet50骨干网络输出的特征图输入RoIpooling层，得到齿轮箱螺栓的候选框特征图，以进行后续的目标分类和定位。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，步骤一中基于训练目标检测模型的样本数据集训练目标检测模型，获得训练好的目标检测模型；具体过程为：
采用OHEM方法对目标检测模型进行训练(训练次数设定为30个epoch(epoch是指训练集中全部样本都训练一次)，OHEM是一种困难样本挖掘的方法，它的具体实现如下：
步骤四一、首先进行一次FasterRCNN的前向传播(输入样本经过fasterrcnn)，获得每个ROI单独的损失值；
步骤四二、对每个ROI进行非极大值抑制(NMS)；
步骤四三、对经过非极大值抑制(NMS)的每个ROI按照损失值从大到小进行排序，选择损失值从大到小排序后的前百分之30作为输入进行分类与边框回归；
通过该种方法可以使得对于难以学习的特征更好的学习，提高检测模型的精度。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，步骤三中构建防松线姿态估计网络模型，防松线姿态估计网络模型为神经网络模型；
基于训练防松线姿态估计网络模型的样本数据集训练防松线姿态估计网络模型，得到训练好的防松线姿态估计网络模型；具体过程为：
选取HRNET网络作为防松线姿态估计网络模型的骨干网络，将训练防松线姿态估计网络模型的样本数据集输入HRNET网络，输出螺栓上标注点P1以及标注点P2的坐标，直至收敛，获得训练好的防松线姿态估计网络模型。
防松线姿态估计网络模型将高低分辨率之间的链接由串联改为并联，并且在高低分辨率中引入了交互来提高模型性能。
一般采用深度学习目标识别的方法来检测螺栓松动，而本发明首次使用姿态估计的方法，通过检测防松线的方式来进行螺栓松动的识别。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，步骤四中将待测图像输入训练好的目标检测模型，得到齿轮箱螺栓子图；
将齿轮箱螺栓子图输入训练好的防松线姿态估计网络模型，获得螺栓上标注点P1以及标注点P2的坐标；
基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否故障，如存在故障输出故障所在位置；具体过程为：
步骤四一、在铁轨两侧以及底部配备高清线阵成像设备，获取高清线阵图像；根据地铁列车车底轴距、车型和先验知识对高清线阵图像截取齿轮箱位置图像；
步骤四二、将截取的齿轮箱位置图像输入训练好的目标检测模型，输出齿轮箱螺栓的候选框特征图，得到齿轮箱螺栓子图；
步骤四三、将齿轮箱螺栓子图输入训练好的防松线姿态估计网络模型，获得螺栓上标注点P1以及标注点P2的坐标；
步骤四四、
针对情况A中(图2)的螺栓，基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否松动；具体过程为：
P1坐标(x1,y1)，P2坐标(x2,y2)，通过公式
计算出P1与P2两点之间与水平方向的夹角，当θ-θ1＜α时螺栓松动，否则，螺栓不松动；
其中，θ为P1与P2两点之间与水平方向的夹角；θ1为预留角度；α为松动阈值；
针对情况B中(图3)的螺栓，存在两种情况：
情况1：基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否松动；具体过程为：
P1坐标(x1,y1)，P2坐标(x2,y2)，通过公式
计算出P1与P2两点之间与水平方向的夹角，当θ-θ2＜β时螺栓松动，否则，螺栓不松动；
其中，θ2为预留角度；β为松动阈值；
但是由于当偏转角度在180°左右无法通过预存角度θ2以及松动阈值β检测出螺栓松动；所以设计情况2；
情况2：基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否松动；具体过程为：
通过判断P1与P2两点之间的距离是否与预存距离差值大于阈值，具体实现方式如下
P1坐标(x1,y1)，P2坐标(x2,y2)，通过公式
计算出P1与P2两点的距离，当D-D1＞g时螺栓松动，否则，螺栓不松动；
其中，D1为预存两点之间距离；g为距离阈值；
情况1和情况2中有一种判断为螺栓松动则为螺栓松动。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，如存在故障输出故障所在位置；具体过程为：
通过齿轮箱螺栓子图到含有齿轮箱位置图像、含有齿轮箱位置图像到高清线阵图像的映射关系，计算出故障在高清线阵图像中的位置；
在计算出故障在高清线阵图像中的位置后，将故障部件信息上传到报警平台，并在显示界面上进行故障显示。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式地铁齿轮箱螺栓松动的异常检测***用于执行地铁齿轮箱螺栓松动的异常检测方法。
具体实施方式十：本实施方式为一种存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器加载并运行地铁齿轮箱螺栓松动的异常检测***。
应当理解，包括本发明描述的任何方法对应的可以被提供为计算机程序产品、软件或计算机化方法，其可以包括其上存储有指令的非暂时性机器可读介质，指令可以用于编程计算机***，或其他电子装置。存储介质可以包括但不限于磁存储介质，光存储介质；磁光存储介质包括：只读存储器ROM、随机存取存储器RAM、可擦除可编程存储器(例如，EPROM和EEPROM)以及闪存层；或者适合于存储电子指令的其他类型的介质。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (10)
1.地铁齿轮箱螺栓松动的异常检测方法，其特征在于：所述方法具体过程为：
步骤一、对运动的地铁进行扫描，获取图像数据集；
基于获取的图像数据集建立训练目标检测模型的样本数据集；
构建目标检测模型，目标检测模型为神经网络模型；
基于训练目标检测模型的样本数据集训练目标检测模型，获得训练好的目标检测模型；
步骤二、建立训练防松线姿态估计网络模型的样本数据集；具体过程为：
步骤二一、将训练目标检测模型的样本数据集输入训练好的目标检测模型进行齿轮箱螺栓定位，根据定位信息切出齿轮箱螺栓子图；
步骤二二、对切出的齿轮箱螺栓子图进行扩增，获得扩增后的齿轮箱螺栓子图数据集；
步骤二三、对扩增后的齿轮箱螺栓子图进行标记，获得与扩增后的齿轮箱螺栓子图数据集一一对应的标记文件，以扩增后的齿轮箱螺栓子图数据集以及与扩增后的齿轮箱螺栓子图数据集一一对应的标记文件作为训练防松线姿态估计网络模型的样本数据集；
所述步骤二三中对扩增后的齿轮箱螺栓子图进行标记具体过程为：
将齿轮箱螺栓子图中的螺栓分为2种情况进行标记：
情况A：选择螺栓头部正中心的防松线为第一个标注点P1，选择防松线与螺栓头部边缘的交界点为第二个标注点P2；
情况B：选择防松线的末端为第一个标注点P1，选择防松线与螺栓头部边缘的交界点为第二个标注点P2；
步骤三、构建防松线姿态估计网络模型，防松线姿态估计网络模型为神经网络模型；
基于训练防松线姿态估计网络模型的样本数据集训练防松线姿态估计网络模型，得到训练好的防松线姿态估计网络模型；
步骤四、将待测图像输入训练好的目标检测模型，得到齿轮箱螺栓子图；
将齿轮箱螺栓子图输入训练好的防松线姿态估计网络模型，获得螺栓上标注点P1以及标注点P2的坐标；
基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否故障，如存在故障输出故障所在位置。
2.根据权利要求1所述的地铁齿轮箱螺栓松动的异常检测方法，其特征在于：所述步骤一中对运动的地铁进行扫描，获取图像数据集；具体过程为：
在铁轨两侧以及底部配备高清线阵成像设备，地铁通过触发传感器，开始启动成像设备对运动的地铁进行扫描，获取高清线阵图像并进行存储。
3.根据权利要求2所述的地铁齿轮箱螺栓松动的异常检测方法，其特征在于：所述步骤一中基于获取的图像数据集建立训练目标检测模型的样本数据集；具体过程为：
根据地铁列车车底轴距、车型和先验知识对步骤一采集的图像截取齿轮箱螺栓位置图像，获取原始图像数据集，将原始图像数据集进行数据扩增，对扩增后数据集进行标记，获取与扩增后数据集一一对应的标记文件；
以扩增后数据集以及与扩增后数据集一一对应的标记文件作为训练目标检测模型的样本数据集。
4.根据权利要求3所述的地铁齿轮箱螺栓松动的异常检测方法，其特征在于：所述步骤一中构建目标检测模型，目标检测模型为神经网络模型；具体过程为：
目标检测模型包括ResNet50特征提取网络、RPN网络和RoIpooling层；
选取ResNet50特征提取网络作为目标检测模型的骨干网络，将扩增后数据集作为ResNet50特征提取网络的输入，得到ResNet50骨干网络输出特征图；
以ResNet50骨干网络输出特征图作为RPN网络的输入，RPN网络生成候选框；
将RPN网络生成的候选框和ResNet50骨干网络输出的特征图输入RoIpooling层，得到齿轮箱螺栓的候选框特征图。
5.根据权利要求4所述的地铁齿轮箱螺栓松动的异常检测方法，其特征在于：所述步骤一中基于训练目标检测模型的样本数据集训练目标检测模型，获得训练好的目标检测模型；具体过程为：
采用OHEM方法对目标检测模型进行训练。
6.根据权利要求5所述的地铁齿轮箱螺栓松动的异常检测方法，其特征在于：所述步骤三中构建防松线姿态估计网络模型，防松线姿态估计网络模型为神经网络模型；
基于训练防松线姿态估计网络模型的样本数据集训练防松线姿态估计网络模型，得到训练好的防松线姿态估计网络模型；具体过程为：
选取HRNET网络作为防松线姿态估计网络模型的骨干网络，将训练防松线姿态估计网络模型的样本数据集输入HRNET网络，输出螺栓上标注点P1以及标注点P2的坐标，直至收敛，获得训练好的防松线姿态估计网络模型。
7.根据权利要求6所述的地铁齿轮箱螺栓松动的异常检测方法，其特征在于：所述步骤四中将待测图像输入训练好的目标检测模型，得到齿轮箱螺栓子图；
将齿轮箱螺栓子图输入训练好的防松线姿态估计网络模型，获得螺栓上标注点P1以及标注点P2的坐标；
基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否故障，如存在故障输出故障所在位置；具体过程为：
具体过程为：
步骤四一、在铁轨两侧以及底部配备高清线阵成像设备，获取高清线阵图像；根据地铁列车车底轴距、车型和先验知识对高清线阵图像截取齿轮箱位置图像；
步骤四二、将截取的齿轮箱位置图像输入训练好的目标检测模型，输出齿轮箱螺栓的候选框特征图，得到齿轮箱螺栓子图；
步骤四三、将齿轮箱螺栓子图输入训练好的防松线姿态估计网络模型，获得螺栓上标注点P1以及标注点P2的坐标；
步骤四四、
针对情况A中的螺栓，基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否松动；具体过程为：
P1坐标(x1,y1)，P2坐标(x2,y2)，通过公式
计算出P1与P2两点之间与水平方向的夹角，当θ-θ1＜α时螺栓松动，否则，螺栓不松动；
其中，θ为P1与P2两点之间与水平方向的夹角；θ1为预留角度；α为松动阈值；
针对情况B中的螺栓，存在两种情况：
情况1：基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否松动；具体过程为：
P1坐标(x1,y1)，P2坐标(x2,y2)，通过公式
计算出P1与P2两点之间与水平方向的夹角，当θ-θ2＜β时螺栓松动，否则，螺栓不松动；
其中，θ2为预留角度；β为松动阈值；
情况2：基于螺栓上标注点P1以及标注点P2的坐标判断螺栓是否松动；具体过程为：
通过判断P1与P2两点之间的距离是否与预存距离差值大于阈值，具体实现方式如下P1坐标(x1,y1)，P2坐标(x2,y2)，通过公式
计算出P1与P2两点的距离，当D-D1＞g时螺栓松动，否则，螺栓不松动；
其中，D1为预存两点之间距离；g为距离阈值；
情况1和情况2中有一种判断为螺栓松动则为螺栓松动。
8.根据权利要求7所述的地铁齿轮箱螺栓松动的异常检测方法，其特征在于：所述如存在故障输出故障所在位置；具体过程为：
通过齿轮箱螺栓子图到含有齿轮箱位置图像、含有齿轮箱位置图像到高清线阵图像的映射关系，计算出故障在高清线阵图像中的位置；
在计算出故障在高清线阵图像中的位置后，将故障部件信息上传到报警平台，并在显示界面上进行故障显示。
9.地铁齿轮箱螺栓松动的异常检测***，其特征在于：所述***用于执行权利要求1至8之一所述的地铁齿轮箱螺栓松动的异常检测方法。
10.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并运行权利要求9所述的地铁齿轮箱螺栓松动的异常检测***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310413925.8A CN116433938A (zh) | 2023-04-18 | 2023-04-18 | 地铁齿轮箱螺栓松动的异常检测方法、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310413925.8A CN116433938A (zh) | 2023-04-18 | 2023-04-18 | 地铁齿轮箱螺栓松动的异常检测方法、***及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116433938A true CN116433938A (zh) | 2023-07-14 |
Family
ID=87079410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310413925.8A Pending CN116433938A (zh) | 2023-04-18 | 2023-04-18 | 地铁齿轮箱螺栓松动的异常检测方法、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116433938A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593528A (zh) * | 2024-01-18 | 2024-02-23 | 中数智科(杭州)科技有限公司 | 一种基于机器视觉的轨道车辆螺栓松动检测方法 |
| CN117853827A (zh) * | 2024-03-07 | 2024-04-09 | 安徽省大气探测技术保障中心 | 大气温室气体监测用采样泵工作状态运行监测***及方法 |
-
2023
- 2023-04-18 CN CN202310413925.8A patent/CN116433938A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593528A (zh) * | 2024-01-18 | 2024-02-23 | 中数智科(杭州)科技有限公司 | 一种基于机器视觉的轨道车辆螺栓松动检测方法 |
| CN117593528B (zh) * | 2024-01-18 | 2024-04-16 | 中数智科(杭州)科技有限公司 | 一种基于机器视觉的轨道车辆螺栓松动检测方法 |
| CN117853827A (zh) * | 2024-03-07 | 2024-04-09 | 安徽省大气探测技术保障中心 | 大气温室气体监测用采样泵工作状态运行监测***及方法 |
| CN117853827B (zh) * | 2024-03-07 | 2024-05-14 | 安徽省大气探测技术保障中心 | 大气温室气体监测用采样泵工作状态运行监测***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116433938A (zh) | 地铁齿轮箱螺栓松动的异常检测方法、***及存储介质 | |
| CN112419299B (zh) | 一种螺栓缺失检测方法、装置、设备及存储介质 | |
| CN112419297A (zh) | 一种螺栓松动检测方法、装置、设备及存储介质 | |
| CN110781839A (zh) | 一种基于滑窗的大尺寸图像中小目标识别方法 | |
| CN103606221B (zh) | 清分机故障自动诊断方法以及装置 | |
| CN111652227A (zh) | 铁路货车底部地板破损故障检测方法 | |
| US20220076404A1 (en) | Defect management apparatus, method and non-transitory computer readable medium | |
| CN111539927B (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 | |
| US11315229B2 (en) | Method for training defect detector | |
| JP2020128877A (ja) | 線状体の異常検出装置及び異常検出方法 | |
| CN111758117A (zh) | 检查***、识别***以及学习数据生成装置 | |
| CN115965915A (zh) | 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别*** | |
| CN114399518A (zh) | 一种监测车底螺栓紧固度的方法及电子设备 | |
| CN112085723B (zh) | 一种货车摇枕弹簧窜出故障自动检测方法 | |
| US11176419B1 (en) | Method for labeling image | |
| CN112150344A (zh) | 用于确定一类别的对象的置信值的方法 | |
| CN116310424A (zh) | 基于图像识别的设备质量评估方法、装置、终端和介质 | |
| CN116486129A (zh) | 基于深度学习的铁路货车盖板故障识别方法及装置 | |
| CN112330633B (zh) | 基于自适应带通滤波的跨接线胶带破损故障图像分割方法 | |
| US11120541B2 (en) | Determination device and determining method thereof | |
| CN114998194A (zh) | 产品缺陷检测方法、***和存储介质 | |
| CN112330600B (zh) | 基于图像处理的车端链接线断裂的故障识别方法 | |
| JP4796535B2 (ja) | 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム | |
| CN112330647A (zh) | 一种动车车底异常检测方法 | |
| CN115424129B (zh) | 一种墙板破损的异常检测方法及检测*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |