CN115526874A - 闸调器控制杆圆销和圆销开口销丢失检测方法 - Google Patents

闸调器控制杆圆销和圆销开口销丢失检测方法 Download PDF

Info

Publication number
CN115526874A
CN115526874A CN202211229947.0A CN202211229947A CN115526874A CN 115526874 A CN115526874 A CN 115526874A CN 202211229947 A CN202211229947 A CN 202211229947A CN 115526874 A CN115526874 A CN 115526874A
Authority
CN
China
Prior art keywords
round pin
model
training
pin
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211229947.0A
Other languages
English (en)
Other versions
CN115526874B (zh
Inventor
孙晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202211229947.0A priority Critical patent/CN115526874B/zh
Publication of CN115526874A publication Critical patent/CN115526874A/zh
Application granted granted Critical
Publication of CN115526874B publication Critical patent/CN115526874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Regulating Braking Force (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

闸调器控制杆圆销和圆销开口销丢失检测方法,解决了现有自动化故障检测方法的准确程度低的问题，属于铁路货车故障检测领域。本发明包括:S1、截取闸调器控制杆圆销和圆销开口销图像，送入故障检测模型中，输出检测结果；故障检测模型为Cascade R‑CNN网络模型，其骨干网络为ResNet50；训练时:采用铁路货车数据自监督方法对ResNet50进行预训练；采用生成式对抗网络对有标签的样本数据集进行模糊增强，再基于自迭代思想进行数据筛选,利用样本数据集对故障检测模型训练，采用随机权重平均算法对Cascade R‑CNN进行优化；如果检测结果中没有检测到闸调器控制杆圆销和圆销开口销，则图像为故障图像，上传故障报文，进行下一张图像检测。

Description

闸调器控制杆圆销和圆销开口销丢失检测方法
技术领域
本发明涉及一种闸调器控制杆圆销和圆销开口销丢失检测方法，属于铁路货车故障检测领域。
背景技术
铁路货车故障检测时，最早采用的是人工查图的方法，这种方法检测效率低，人工成本高，然后采用基于深度学习的自动化故障检测方法进行检测，能够显著的提升检测的效率，降低成本，同时还能避免由于检车人员疲劳造成的漏检、误检现象。但由于闸调器控制杆圆销和圆销开口销丢失位于列车底部，圆销图像目标较小且存在模糊，开口销目标的形态存在多样性，采用传统的Cascade R-CNN深度学习网络进行故障检测的准确程度较低。
发明内容
针对现有自动化故障检测方法的准确程度低的问题，本发明提供一种提升故障检测的准确程度的闸调器控制杆圆销和圆销开口销丢失检测方法。
本发明的一种闸调器控制杆圆销和圆销开口销丢失检测方法，方法包括：
S1、获取过车的铁路货车底部的图像，截取闸调器控制杆圆销和圆销开口销图像，
S2、将截取的图像送入故障检测模型中，故障检测模型输出检测结果；
所述故障检测模型为Cascade R-CNN网络模型，Cascade R-CNN网络模型的骨干网络为ResNet50；对故障检测模型的训练方法包括：采用无标签的铁路货车数据自监督方法对ResNet50进行预训练，得到ResNet50的预训练权重；
建立闸调器控制杆圆销和圆销开口销图像的有标签样本数据集，采用生成式对抗网络对样本数据集中的图像进行模糊增强，并对模糊增强后的数据集基于自迭代思进行数据筛选，获得筛选后的样本数据集；
采用筛选后的样本数据集对故障检测模型进行训练，并采用随机权重平均算法SWA对Cascade R-CNN网络模型进行优化，确定Cascade R-CNN网络模型的超参数，完成故障检测模型的训练，获得故障检测模型的最终权重；
S3、如果检测结果中没有检测到闸调器控制杆圆销和圆销开口销，则图像为故障图像，上传故障报文，否则转入S1，获取下一张图像。
作为优选，采用自监督方法对ResNet50进行训练的方法包括：
S21、获取无标签的铁路货车线阵图像作为预训练集，对预训练集进行数据增强，使预训练集中的每张图像生成正样本对(xi,xj)和负样本zk；
S22、将xi和xj分别输入至两个骨干网络Encoder中，两个骨干网络Encoder各自提取出特征；
S23、将两个骨干网络Encoder各自提取出的特征分别输入至一个MLP网络中，两个MLP网络输出的zi和zj；两个骨干网络Encoder的参数是共享的，且骨干网络Encoder为ResNet50；
S25、根据两个MLP网络输出的zi和zj及负样本zk，计算损失函数，调整骨干网络Encoder的权重。
作为优选，S21中，获取无标签的铁路货车线阵图像，将无标签的铁路货车线阵图像随机的裁剪成1024*1024，1024*512，1024*512，512*512，256*512，512*256，256*256多个尺寸组成预训练集，。
作为优选，S21中，对预训练集进行数据增强的方法为：对预训练集中图像进行图像拉伸、颜色抖动或亮度调整，再与原图像进行融合成为新图像，将新图像加入至预训练集中。作为优选，损失函数为：
Figure BDA0003881100730000021
其中，2N为预训练集中样本的数量。
作为优选，生成式对抗网络为pix2pix网络。
作为优选，并对模糊增强后的数据集基于自迭代思进行数据筛选，获得筛选后的样本数据集：
如果数据集中某张图像上检测目标的预测框置信度都小于0.5，则删除该张图像；
如果某个检测目标，预测框置信度不小于0.5，但是没有标记信息存在，则添加标记框；
如果预测框和真值框的IOU大于0.4，但是类别不一致，则修正标记信息。
作为优选，采用随机权重平均算法SWA对Cascade R-CNN网络模型进行优化：
训练20轮得到20个Cascade R-CNN网络模型，使用SWA方法更新权重，采用第9-19轮阶段的模型加权融合为最终模型；
SWA更新权重公式为：
Figure BDA0003881100730000031
wSWA表示随机梯度更新的平均值,nmodels表示模型的数量，w表示随机梯度更新；
融合第i轮阶段的模型后的公式：
Figure BDA0003881100730000032
SWA_modeli-1表示第i-1轮模型的随机权重平均，SWA_modeli表示第i轮模型的随机权重平均。
本发明的有益效果，本发明采用自监督算法、条件生成式对抗网络的图像增强算法、基于自迭代思想的数据筛选算法、随机权重平均对Cascade R-CNN进行优化，提升了故障检测的准确程度。
附图说明
图1为Faster R-CNN的结构示意图；
图2为Cascade R-CNN的结构示意图；
图3为自监督和有监督关系图；
图4为自监督训练预训练权重流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本实施方式的闸调器控制杆圆销和圆销开口销丢失检测方法，包括：
步骤1、在铁路货车底部架设高清成像设备，当铁路货车经过，获取车底图像，截取闸调器控制杆圆销和圆销开口销图像；
步骤2、将截取的图像送入故障检测模型中，故障检测模型输出检测结果；
所述故障检测模型为Cascade R-CNN网络模型，Cascade R-CNN网络模型的骨干网络为ResNet50；步骤3、如果检测结果中没有检测到闸调器控制杆圆销和圆销开口销，则图像为故障图像，上传故障报文，否则转入步骤1，获取下一张图像。检车人员根据故障报文进行下一步处理。
Cascade R-CNN是由Faster R-CNN改进而来的，其结构如图1和图2所示。与FasterR-CNN相比其优化方案是级联多个IOU(Intersection over Union)的分类回归网络。与Faster R-CNN一样，输入图像采用一个骨干网络进行特征提取，通过候选区域网络生成目标候选框，图中B0是候选区域网络产生的预测框，然后对预测框进行精细的分类和回归，C和B分别代表分类和回归网络，H代表网络头部。为了骨干网络提取更为深层次的信息，采用自监督无标签的货车数据训练的预训练权重，网络层数更深的残差网络ResNet-50为骨干网络，残差网络以残差的形式将网络损失值向后传递，使用残差网络能够提取部件图像中更为深层次的特征信息，为了提高本申请识别部件的准确性，本实施方式对故障检测模型的训练进行了优化。
本实施方式故障检测模型的训练方法包括：
采用自监督方法对ResNet50进行预训练，得到ResNet50的预训练权重；
建立闸调器控制杆圆销和圆销开口销图像的有标签样本数据集，采用生成式对抗网络对样本数据集中的图像进行模糊增强，并对模糊增强后的数据集基于自迭代思进行数据筛选，获得筛选后的样本数据集；
采用筛选后的样本数据集对故障检测模型进行训练，并采用随机权重平均算法SWA对Cascade R-CNN网络模型进行优化，确定Cascade R-CNN网络模型的超参数，完成故障检测模型的训练，获得故障检测模型的最终权重；
本实施方式采用铁路货车数据自监督预训练ResNet50，提升预训练权重的特征提取能力，提升下游目标检测的能力。以条件生成式对抗网络增强模糊图像，扩充数据集，提升模糊图像的图像质量，增加数据集的多样性，提高模型的鲁棒性。采用自迭代思想进行数据筛选来对数据集进行多次筛选以提高模型预测的准确度。采用随机权重平均的优化方法提升检测的准确程度，该方法可以在一定程度上提高目标检测算法Cascade R-CNN的准确率，并且不会增加额外的计算量。
优选实施例中，本实施方式采用自监督方法对ResNet50进行训练的方法包括：
自监督学习是在大量无标记样本上学习特征，获得预训练权重，然后在少量标记方法上进行微调以获得更好的模型，如图3所示。
步骤21、在预训练权重过程中，采用大量的无标签的TFDS货车线阵图像作为自监督方法的预训练集，对预训练集进行数据增强，数据增强后的预训练集中的每张图像生成正样本对(xi,xj)和负样本zk，此种方法要比普通的使用ImageNet数据集预训练方法更易学习到线阵货车图像的特征信息，此种方法作为预训练权重，在下游的目标检测任务上会获得更高的识别率；
优选实施例中，本实施方式对预训练集中的图像进数据增强的方法包括：对预训练集中图像进行图像拉伸、颜色抖动或亮度调整，再与原图像进行融合成为新图像，将新图像加入至预训练集中。在对货车图片进行随机的变换如裁剪、翻转、颜色抖动等方法后，发现对铁路图像目标检测而言，图像拉伸、颜色抖动和亮度调整等组合数据扩增方法，并将目标实例与新图像进行融合，从而创造出场景更加复杂的新数据，变换后的数据作为正样本，本专利的扩增方法更适应铁路数据由于图像拉伸，不同光照、不同时间拍摄和背景复杂的图像特点。
本实施方式采用自监督SimCLR方法，进行训练预训练模型，SimCLR是一个简单的视觉表示对比学习框架，对比学习的目标就是让模型学会区分样本是否相似，因此训练需要同时提供相似样本和不相似样本，具体结构如图4所示。
优选实施例中，本实施方式使用大量的无标签的TFDS货车数据，随机的裁剪成1024*1024，1024*512，1024*512，512*512，256*512，512*256，256*256等多个尺寸进行自监督的数据集构建，因为大部分后续货车目标检测任务的尺度也是类似。
对于一幅货车图像x，其采用数据增强的方式生成图片x的正样本对(xi,xj)，将batch里的其他图像当成负样本zk；
步骤22、将xi和xj分别输入至两个骨干网络Encoder中，两个骨干网络Encoder各自提取出特征；SimCLR使用对比学习训练骨干网络Encoder的是ResNet50，上下两个骨干网络Encoder是参数共享的，从而生成高质量的图像表征，采用自监督训练的预训练模型的骨干网络和后续目标检测的骨干网络是一致的。
步骤23、将两个骨干网络Encoder各自提取出的特征分别输入至一个MLP网络中，两个MLP网络输出的zi和zj；两个骨干网络Encoder的参数是共享的，且骨干网络Encoder为ResNet50；MLP是非线性投影层，由全连接层-激活函数-全连接层组合，作用是将ResNet-50提取出来的特征向量进行数据处理，可学习的非线性变换，可以大大提高学习的质量，对后续下游目标检测任务效果更好，非线性投影层只在训练时使用。
步骤24、根据两个MLP网络输出的zi和zj及负样本zk，计算损失函数，调整骨干网络Encoder的权重：本实施方式的损失函数是最大相似性计算，假设图像xi和xj经过SimCLR的输出为zi和zj，则首先要计算zi和zj的余弦相似度，如下：
Figure BDA0003881100730000061
如果一个batch里有N个图像，则数据增强后会有2N个图像，每一个图像xi会有1个正样本和2N-2个负样本，则对于一对正样本(zi和zj)，优选实施例中，损失函数为：
Figure BDA0003881100730000062
还是
其中，2N为预训练集中样本的数量。
优选实施例中，本实施方式的生成式对抗网络为pix2pix网络。
在铁路货车轨道周围搭设高清成像设备，货车经过后，获取过车图像，截取闸调器控制杠杆圆销和圆销开口销。因为圆销和圆销开口销部件在货车车体中间部且较小，且相机的位置拍摄的图像存在模糊的情况，但由于不同车型，传统的增强算法在细节处理方面存在效果差的问题，本专利提出生成式对抗网络pix2pix网络来对部件图像进行模糊增强，pix2pix网络是一种条件生成式对抗网络，网络在整个训练过程中需要匹配的成对小尺度的部件清晰图像与模糊图像，通过使图像匹配能够快速学习需要转化的特征，通过pix2pix网络能够实现图像之间互相转换的任务，使模糊部件图像增强。
将收集生成式对抗网络的增强后的部件，并且存在闸调器控制杆圆销和圆销开口销的图像作为正样本，闸调器控制杆圆销和圆销开口销丢失的图像作为负样本，保证正样本的个数与负样本的个数基本保持一致，采用标记软件对闸调器控制杆圆销和圆销开口销部分进行标记，完成数据集的制作。通过对数据集进行旋转、裁剪、加噪等操作完成数据集的扩增，数据扩增操作能够使后续检测网络的泛化能力增强，降低网络过拟合的概率。
建立好的闸调器控制杆圆销和圆销开口销图像数据中，依赖于人工标注而成。因此，在部件数据集中肯定会存在很多误标和漏标的情况，误标和漏标都会对模型训练的效果有着消极的作用。针对这一缺陷，优选实施例中，本实施方式对模糊增强后的数据集基于自迭代思进行数据筛选，获得筛选后的样本数据集，包括：
如果数据集中某张图像上检测目标的预测框置信度都小于0.5，则删除该张图像，即默认此张图像质量无法满足识别出精确的目标，因为实际拍摄图像可能由于相机故障，拍摄的图像的质量不满足精度要求，加入训练反而影响模型精度。
如果某个检测目标，预测框置信度不小于0.5，但是没有标记信息存在，则添加标记框，但是没有标记信息存在，则添加标记框。
如果预测框和真值框的IOU大于0.4，但是类别不一致，则修正标记信息，因为开口销部件本身较小，如果IOU阈值设置过大，反而效果不好。
本实施方式采用随机权重平均算法SWA对Cascade R-CNN网络模型进行优化：
由于本实施方式采用的开口销形态多变，且尺度较小，优化过程中收敛较慢，采用随机权重平均(Stochastic Weight Averaging，SWA)进行优化Cascade R-CNN训练过程，能够找到更好的最优值，具体的超参数如表3所示。对SGD优化路径上的大量点取平均值，后续以平均值为基础周期性的更新学习率，找到更广的最优值域，保证在训练过程中就能够保证神经网络网络会一直收敛。
使用SWA中，一般情况下只保留两个模型权重。在学习率周期的结束时，用第二个模型的当前权重来优化第一个模型的权重，依次迭代。待训练结束后可获得最终的模型权重。
优选实施例中，采用随机权重平均算法SWA对Cascade R-CNN网络模型进行优化的方法包括：训练20轮得到20个Cascade R-CNN网络模型，使用SWA方法更新权重，采用第9-19轮阶段的模型加权融合为最终模型；
SWA更新权重公式为：
Figure BDA0003881100730000071
wSWA表示随机梯度更新权重的平均值,nmodels表示模型的数量，w表示随机梯度更新权重。
融合第i轮阶段的模型后的公式：
Figure BDA0003881100730000072
SWA_modeli-1表示第i-1轮模型的随机权重平均，SWA_modeli表示第i轮模型的随机权重平均。
本实施方式总体实验结果对比如下表4所示，从表中可以看出四个优化方案都能提高Cascade R-CNN网络的整体性能，四种优化方案在mAP值上分别提高了1.41％、0.63％、1.12％和0.54％，四种优化方案组合整体的提升为2.54％，证明整体优化对识别率是有帮助的。
表1优化方案
Figure BDA0003881100730000081
表2数据筛选结果
Figure BDA0003881100730000082
表3超参数
Figure BDA0003881100730000083
表4优化结果
Figure BDA0003881100730000084
Figure BDA0003881100730000091
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (10)

1.闸调器控制杆圆销和圆销开口销丢失检测方法，其特征在于，所述方法包括：
S1、获取过车的铁路货车底部的图像，截取闸调器控制杆圆销和圆销开口销图像，
S2、将截取的图像送入故障检测模型中，故障检测模型输出检测结果；
所述故障检测模型为Cascade R-CNN网络模型，Cascade R-CNN网络模型的骨干网络为ResNet50；
对故障检测模型的训练方法包括：采用无标签的铁路货车数据自监督方法对ResNet50进行预训练，得到ResNet50的预训练权重；
建立闸调器控制杆圆销和圆销开口销图像的有标签样本数据集，采用生成式对抗网络对样本数据集中的图像进行模糊增强，并对模糊增强后的数据集基于自迭代思进行数据筛选，获得筛选后的样本数据集；
采用筛选后的样本数据集对故障检测模型进行训练，并采用随机权重平均算法SWA对Cascade R-CNN网络模型进行优化，确定Cascade R-CNN网络模型的超参数，完成故障检测模型的训练，获得故障检测模型的最终权重；
S3、如果检测结果中没有检测到闸调器控制杆圆销和圆销开口销，则图像为故障图像，上传故障报文，否则转入S1，获取下一张图像。
2.根据权利要求1所述的闸调器控制杆圆销和圆销开口销丢失检测方法，其特征在于，所述采用自监督方法对ResNet50进行训练的方法包括：
S21、获取无标签的铁路货车线阵图像作为预训练集，对预训练集进行数据增强，使预训练集中的每张图像生成正样本对(xi,xj)和负样本zk；
S22、将xi和xj分别输入至两个骨干网络Encoder中，两个骨干网络Encoder各自提取出特征；
S23、将两个骨干网络Encoder各自提取出的特征分别输入至一个MLP网络中，两个MLP网络输出的zi和zj；两个骨干网络Encoder的参数是共享的，且骨干网络Encoder为所述ResNet50；
S25、根据两个MLP网络输出的zi和zj及负样本zk，计算损失函数，调整骨干网络Encoder的权重。
3.根据权利要求2所述的闸调器控制杆圆销和圆销开口销丢失检测方法，其特征在于，所述S21中，获取无标签的铁路货车线阵图像，将无标签的铁路货车线阵图像随机的裁剪成1024*1024，1024*512，1024*512，512*512，256*512，512*256，256*256多个尺寸组成预训练集，。
4.根据权利要求3所述的闸调器控制杆圆销和圆销开口销丢失检测方法，其特征在于，所述S21中，对预训练集进行数据增强的方法为：对预训练集中图像进行图像拉伸、颜色抖动或亮度调整，再与原图像进行融合成为新图像，将新图像加入至预训练集中。
5.根据权利要求3所述的闸调器控制杆圆销和圆销开口销丢失检测方法，其特征在于，所述损失函数为：
Figure FDA0003881100720000021
其中，2N为预训练集中样本的数量。
6.根据权利要求1所述的闸调器控制杆圆销和圆销开口销丢失检测方法，其特征在于，所述生成式对抗网络为pix2pix网络。
7.根据权利要求1所述的闸调器控制杆圆销和圆销开口销丢失检测方法，其特征在于，并对模糊增强后的数据集基于自迭代思进行数据筛选，获得筛选后的样本数据集：
如果数据集中某张图像上检测目标的预测框置信度都小于0.5，则删除该张图像；
如果某个检测目标，预测框置信度不小于0.5，但是没有标记信息存在，则添加标记框；
如果预测框和真值框的IOU大于0.4，但是类别不一致，则修正标记信息。
8.根据权利要求1所述的闸调器控制杆圆销和圆销开口销丢失检测方法，其特征在于，采用随机权重平均算法SWA对Cascade R-CNN网络模型进行优化，包括：
训练20轮得到20个Cascade R-CNN网络模型，使用SWA方法更新权重，采用第9-19轮阶段的模型加权融合为最终模型；
SWA更新权重公式为：
Figure FDA0003881100720000022
wSWA表示随机梯度更新的平均值,nmodels表示模型的数量，w表示随机梯度更新；
融合第i轮阶段的模型后的公式：
Figure FDA0003881100720000023
SWA_modeli-1表示第i-1轮模型的随机权重平均，SWA_modeli表示第i轮模型的随机权重平均。
9.一种计算机可读的存储设备，所述存储设备存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至8任一所述闸调器控制杆圆销和圆销开口销丢失检测方法。
10.一种闸调器控制杆圆销和圆销开口销丢失检测装置，包括存储设备、处理器以及存储在所述存储设备中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1至8任一所述闸调器控制杆圆销和圆销开口销丢失检测方法。
CN202211229947.0A 2022-10-08 2022-10-08 闸调器控制杆圆销和圆销开口销丢失检测方法 Active CN115526874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211229947.0A CN115526874B (zh) 2022-10-08 2022-10-08 闸调器控制杆圆销和圆销开口销丢失检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211229947.0A CN115526874B (zh) 2022-10-08 2022-10-08 闸调器控制杆圆销和圆销开口销丢失检测方法

Publications (2)

Publication Number Publication Date
CN115526874A true CN115526874A (zh) 2022-12-27
CN115526874B CN115526874B (zh) 2023-05-12

Family

ID=84701249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211229947.0A Active CN115526874B (zh) 2022-10-08 2022-10-08 闸调器控制杆圆销和圆销开口销丢失检测方法

Country Status (1)

Country Link
CN (1) CN115526874B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310649A (zh) * 2023-03-24 2023-06-23 哈尔滨市科佳通用机电股份有限公司 闸调器调整螺杆圆销和圆销开口销丢失检测方法
CN116383737A (zh) * 2023-06-05 2023-07-04 四川大学 基于聚类对比学习的旋转机械故障诊断方法及***
CN116524293A (zh) * 2023-04-10 2023-08-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障图像识别方法及***
CN118015476A (zh) * 2024-04-09 2024-05-10 南京理工大学 基于低参数神经网络与标准化流的铁路外部环境遥感变化检测方法及***

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080617A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱圆销丢失故障识别方法
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN111812096A (zh) * 2020-06-02 2020-10-23 国网浙江嘉善县供电有限公司 一种绝缘子电弧烧伤的快速定位智能图像检测方法
CN111950346A (zh) * 2020-06-28 2020-11-17 中国电子科技网络信息安全有限公司 一种基于生成式对抗网络的行人检测数据扩充方法
CN111985316A (zh) * 2020-07-10 2020-11-24 上海富洁科技有限公司 一种用于道路智能清扫的路面垃圾感知方法
CN112365497A (zh) * 2020-12-02 2021-02-12 上海卓繁信息技术股份有限公司 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和***
CN112396053A (zh) * 2020-11-25 2021-02-23 北京联合大学 一种基于级联神经网络的环视鱼眼图像目标检测方法
CN112464879A (zh) * 2020-12-10 2021-03-09 山东易视智能科技有限公司 基于自监督表征学习的海洋目标检测方法及***
CN112528975A (zh) * 2021-02-08 2021-03-19 常州微亿智造科技有限公司 工业质检方法、装置和计算机可读存储介质
CN112733950A (zh) * 2021-01-18 2021-04-30 湖北工业大学 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN112733742A (zh) * 2021-01-14 2021-04-30 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车下拉杆圆销故障检测方法
CN114170532A (zh) * 2021-11-23 2022-03-11 北京航天自动控制研究所 一种基于困难样本迁移学习的多目标分类方法和装置
CN114627106A (zh) * 2022-04-01 2022-06-14 中国特种设备检测研究院 一种基于Cascade Mask R-CNN模型的焊缝缺陷检测方法
CN114782411A (zh) * 2022-05-24 2022-07-22 哈尔滨工业大学 一种基于神经网络的危险品识别方法及识别***
CN115063367A (zh) * 2022-06-16 2022-09-16 南京理工大学 基于改进Cascade RCNN的地铁车底螺栓故障检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080617A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱圆销丢失故障识别方法
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN111812096A (zh) * 2020-06-02 2020-10-23 国网浙江嘉善县供电有限公司 一种绝缘子电弧烧伤的快速定位智能图像检测方法
CN111950346A (zh) * 2020-06-28 2020-11-17 中国电子科技网络信息安全有限公司 一种基于生成式对抗网络的行人检测数据扩充方法
CN111985316A (zh) * 2020-07-10 2020-11-24 上海富洁科技有限公司 一种用于道路智能清扫的路面垃圾感知方法
CN112396053A (zh) * 2020-11-25 2021-02-23 北京联合大学 一种基于级联神经网络的环视鱼眼图像目标检测方法
CN112365497A (zh) * 2020-12-02 2021-02-12 上海卓繁信息技术股份有限公司 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和***
CN112464879A (zh) * 2020-12-10 2021-03-09 山东易视智能科技有限公司 基于自监督表征学习的海洋目标检测方法及***
CN112733742A (zh) * 2021-01-14 2021-04-30 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车下拉杆圆销故障检测方法
CN112733950A (zh) * 2021-01-18 2021-04-30 湖北工业大学 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN112528975A (zh) * 2021-02-08 2021-03-19 常州微亿智造科技有限公司 工业质检方法、装置和计算机可读存储介质
CN114170532A (zh) * 2021-11-23 2022-03-11 北京航天自动控制研究所 一种基于困难样本迁移学习的多目标分类方法和装置
CN114627106A (zh) * 2022-04-01 2022-06-14 中国特种设备检测研究院 一种基于Cascade Mask R-CNN模型的焊缝缺陷检测方法
CN114782411A (zh) * 2022-05-24 2022-07-22 哈尔滨工业大学 一种基于神经网络的危险品识别方法及识别***
CN115063367A (zh) * 2022-06-16 2022-09-16 南京理工大学 基于改进Cascade RCNN的地铁车底螺栓故障检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHEN T等: "A simple framework for contrastive learning of visual representations" *
J. LIANG等: "Self-Supervised Marine Video Analysis via Siamese Network" *
LU Y等: "Implicit label augmentation on partially annotated clips via temporally-adaptive features learning" *
李玮等: "基于改进Cascade RCNN算法的电路板缺焊检测" *
罗晖等: "基于图像增强与改进Cascade R-CNN的钢轨表面缺陷检测" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310649A (zh) * 2023-03-24 2023-06-23 哈尔滨市科佳通用机电股份有限公司 闸调器调整螺杆圆销和圆销开口销丢失检测方法
CN116524293A (zh) * 2023-04-10 2023-08-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障图像识别方法及***
CN116524293B (zh) * 2023-04-10 2024-01-30 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障识别方法及***
CN116383737A (zh) * 2023-06-05 2023-07-04 四川大学 基于聚类对比学习的旋转机械故障诊断方法及***
CN116383737B (zh) * 2023-06-05 2023-08-11 四川大学 基于聚类对比学习的旋转机械故障诊断方法及***
CN118015476A (zh) * 2024-04-09 2024-05-10 南京理工大学 基于低参数神经网络与标准化流的铁路外部环境遥感变化检测方法及***
CN118015476B (zh) * 2024-04-09 2024-06-11 南京理工大学 基于低参数神经网络与标准化流的铁路外部环境遥感变化检测方法及***

Also Published As

Publication number Publication date
CN115526874B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN115526874A (zh) 闸调器控制杆圆销和圆销开口销丢失检测方法
CN111583263B (zh) 一种基于联合动态图卷积的点云分割方法
EP3767536A1 (en) Latent code for unsupervised domain adaptation
TWI742382B (zh) 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備
US20230418250A1 (en) Operational inspection system and method for domain adaptive device
CN111274869B (zh) 基于并行注意力机制残差网进行高光谱图像分类的方法
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN110569901A (zh) 一种基于通道选择的对抗消除弱监督目标检测方法
CN111507469A (zh) 对自动标注装置的超参数进行优化的方法和装置
JP2020123330A (ja) ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置
WO2023216721A1 (zh) 一种混凝土大坝缺陷时序图像智能识别方法
CN112036260B (zh) 一种自然环境下多尺度子块聚合的表情识别方法及***
US20200143209A1 (en) Task dependent adaptive metric for classifying pieces of data
US20220245402A1 (en) Ai-based pre-training model determination system, and ai-based vision inspection management system using same for product production lines
CN114898472A (zh) 基于孪生视觉Transformer网络的签名鉴定方法和***
JP6988995B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
Wei et al. Task-oriented contrastive learning for unsupervised domain adaptation
CN112232226A (zh) 通过判别式模型检测目标对象的方法和***
CN115393714A (zh) 一种融合图论推理的输电线路螺栓缺销钉检测方法
CN115393743A (zh) 基于双分支编解码网络的车辆检测方法、无人机、介质
CN110852314B (zh) 一种基于相机投影模型的物品检测网络方法
CN113627538A (zh) 训练非对称生成对抗网络产生图像的方法及电子装置
CN112233071A (zh) 基于复杂环境下输电网图片的多粒度隐患检测方法及***
CN117523549B (zh) 基于深宽知识蒸馏的三维点云物体识别方法
Li et al. A self-adjusting transformer network for detecting transmission line defects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant