CN116309407A - 一种铁路接触网螺栓异常状态的检测方法 - Google Patents
一种铁路接触网螺栓异常状态的检测方法 Download PDFInfo
- Publication number
- CN116309407A CN116309407A CN202310209896.3A CN202310209896A CN116309407A CN 116309407 A CN116309407 A CN 116309407A CN 202310209896 A CN202310209896 A CN 202310209896A CN 116309407 A CN116309407 A CN 116309407A
- Authority
- CN
- China
- Prior art keywords
- bolt
- image
- image block
- bolts
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims description 29
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000013459 approach Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 230000010287 polarization Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 230000036961 partial effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 13
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003137 locomotive effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于铁路接触网螺栓异常状态的检测方法，包括：S1、获取接触网螺栓状态监测图像，进行裁剪预处理得到图像块；S2、对预处理得到的图像块进行检测，获取螺栓目标；S3、通过分类网络对步骤S2输出的图像块中的螺栓目标进行分类，得到螺栓目标状态；本发明可以快速准确地检测螺栓的异常状态，提高螺栓定位平均检出率盒螺栓缺陷平均识别精度，降低人工劳动强度。
Description
技术领域
本发明涉及铁路检测技术领域，具体为一种铁路接触网螺栓异常状态的检测方法。
背景技术
高速铁路接触网是顺铁路线相对固定位置上空架设的输电线路，电力牵引机车通过受电弓从接触网取电，其由导线、钢索牵引装置、定点装置、支柱基础设施几部分组成，是高速铁路的重要组成部分，接触网受工作时长、工作环境等多种因素影响，对其标准要求较高，在日常铁路接触网维护中，存在大量铁路接触网图像异常检测任务，其中由于螺栓为典型小尺寸部件，数量及型号众多，出现状态异常概率较高而实际可采集到的异常样本相对较少，使得螺栓状态异常检测任务难度最高。
现有技术中，如中国专利号为：CN114743119A的“一种基于无人机的高铁接触网吊弦螺母缺陷检测方法”，首先利用无人机巡检采集样本图片，利用生成对抗网络生成缺陷样本，对缺陷样本进行数据增强后送入构建的目标检测网络，对目标进行定位。根据定位结果对拍摄过偏的目标进行删除后裁剪目标框，将其送入构建的语义分割网络，对目标的外露螺栓和螺母部分进行像素级分割，对于分割结果进行阈值判断完成检测。该发明可以很好地弥补4C装置拍摄缺陷，能够实现高速铁路接触网吊弦上部螺母的自动辨识、定位以及螺母缺陷的检测，可以高效安全的保障高速铁路接触网上的吊弦安全状态。
目前接触网螺栓状态异常检测任务主要依赖专业人员进行图像筛查，人工分析方法检测效率低、检测持续性差、判断充满主观性等缺点严重影响了螺栓异常状态分析任务，且目前铁路图像异常检测方法主要基于监督型学习方法，现有的接触网螺栓状态异常检测方法虽然能够实现对接触网螺栓不良状态的检测，但是针对不同螺栓需要设计不同的特征提取方法，存在精度提高难度大、运算效率低的问题。
发明内容
本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种铁路接触网螺栓异常状态的检测方法，以实现铁路接触网螺栓异常状态的自动检测，提高铁路运行的安全性。
为了解决上述技术问题，本发明采用的技术方案为：一种铁路接触网螺栓异常状态的检测方法，包括以下步骤：
S1、获取接触网螺栓状态监测图像，进行裁剪预处理得到图像块；
S2、对预处理得到的图像块进行检测，获取螺栓目标；
其具体包括：
S201、采用ResNet作为特征提取的主干网络提取图像块的特征；其网络第1～4个阶段特征图数量分别设置为16，32，48和72个；
S202、将特征图首先池化为2*2像素的金字塔层级特征图，使用双线性插值的方法恢复特征图大小；
S203、通过全局注意力模块融合不同金字塔层级的特征；
S204、通过分类器预测各个图像块存在目标螺栓的概率，将概率大于阈值的图像块输出；通过检测器获取图像块中每个候选区域在K+1个类别上的概率分布和K个类别的边框回归偏移量；
S3、通过分类网络对步骤S2输出的图像块中的螺栓目标进行分类，得到螺栓目标状态；其具体包括：
S301、利用偏振融合图像对目标轮廓、纹理做增强处理；
S302、对目标螺栓区域初定位；
S303、提取螺栓局部二值特征量，将其变换为cosine向量后进行相似性计算，根据相似性计算结果评判螺栓缺陷故障等级。
所述步骤S2中采用接触网螺栓检测网络实现，所述接触网螺栓检测网络包括特征提取网络、全局注意力模块及相互增强的分类器和检测器。
所述接触网螺栓检测网络中，分类器用于输出各个图像块存在目标螺栓的概率，所述检测器用于获取图像块中每个候选区域在K+1个类别上的概率分布和K个类别的边框回归偏移量，所述检测器的损失函数为：
L(m,b,p,u,tu,v)＝Lcls(m,b)+u[b＝2]×Lcls(tu,v)；
其中，Lcls(m,b)为softmax损失，u[b＝2]×Lcls(tu,v)表示检测器中每个候选区域为与其匹配的标注为2的区域的边框回归损失；在训练过程中，当相应的图像块中检测到目标螺栓时才反向传播检测器的损失。
所述步骤S302的具体步骤为：
求取抱箍区域积分图像，引入选用2阶黑塞矩阵作为滤波器与核卷积计算2阶偏导数；
改变滤波盒子尺寸与图像积分检测纹理，求取矩阵不同响应值并对极大抑制；
利用harr小波对图像进行梯度运算，响应值加权后分配主方向，并沿主方向将区域分块，计算四个特征向量，根据纹理差异对待检图像进行特征点匹配。
进行特征点匹配时，依据黑塞矩阵迹判断特征点方向，采用欧式距离对2幅图像进行配对，根据模板角点确定特征区域尺寸，对区域4个顶角坐标从左至右依次进行读取标定，并主动绘制螺栓定位框。
所述步骤S303中，相似性计算的方法为，对图像进行特征变换后将其值映射到二维空间中，再以向量间余弦值作为相似性值，余弦值趋近1则图像结构越相似，趋近0时则差异，且每个像素特征值对应一个元素，通过计算所得余弦值间差异评判螺栓缺陷故障等级。
所述步骤S1中，将接触网螺栓状态监测图像裁剪为512×512像素的图像块，且各图像块之间的重叠率为35％。
本发明与现有技术相比具有以下有益效果：
1、本发明提供了一种铁路接触网螺栓异常状态的检测方法，通过设计接触网螺栓检测网络，由轻量级特征提取网络、全局注意力模块及相互增强的分类器和检测器组成，实现目标螺栓的高效检测，然后利用偏振融合图像对目标轮廓、纹理做增强处理，并采用加速稳健特征检测对螺栓区域初定位，提取螺栓局部二值特征量，将其变换后对螺栓的缺陷状态进行相似性识别测定，完成螺栓状态的精细分类，实现缺陷识别；
2、本发明的检测方法采用2阶级联卷积神经网络，可以快速准确地检测螺栓的异常状态，螺栓定位平均检出率达98.2％，螺栓缺陷平均识别精度达95.8％，较单一检测网络提高约21.5％，提高图像数据的分析效率、降低人工劳动强度，可以对铁路接触网螺栓持续性检测，避免严重影响螺栓异常状态分析任务。
附图说明
图1为本发明实施例提供的一种铁路接触网螺栓异常状态的检测方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种铁路接触网螺栓异常状态的检测方法，包括以下步骤：
S1、获取接触网螺栓状态监测图像，进行裁剪预处理得到图像块。
在铁路接触网对应位置安装成像装置，通过成像装置从全局和局部多个角度拍摄获得接触网螺栓状态监测图像；接触网螺栓状态监测图像输入检测网络前，首先需要小批量处理图像块，将(6600×4400)像素的接触网螺栓状态监测图像自动裁剪为(512×512)像素的图像块，且各图像块之间的重叠率为35％。
S2、对预处理得到的图像块进行检测，获取螺栓目标；
其具体包括：
S201、采用ResNet作为特征提取的主干网络提取图像块的特征；其网络第1～4个阶段特征图数量分别设置为16，32，48和72个。则网络的参数远小于ResNet-18。
本实施例中，各阶段特征图的数量基于计算初始收敛网络中各阶段特征图协方差矩阵的特征谱，并在训练过程中微调得到；其具体调整方法为：
计算各个图像块在ResNet网络的各阶段特征谱∑的特征值，将大于预定阈值的特征值个数作为该阶段特征图的数量；其中，任意一个特征图的特征谱∑为它的协方差矩阵经过空间分辨率归一化后得到，特征谱∑的计算公式如下：
其中，n为图像块的数量；Hi和Wi分别为特征图空间的宽和高；Fi,x,y为第i个图像块的特征图中空间坐标为(x，y)像素的特征向量；
本是实施例中，在训练过程中微调得到最终的特征图数量，减小轻量级特征提取网络总的下采样步长，最后提取到接触网螺栓的精细特征；
S202、将特征图首先池化为2*2像素的金字塔层级特征图，然后使用双线性插值的方法恢复特征图大小。
S203、通过全局注意力模块融合不同金字塔层级的特征，使得检测器可以得到更多包含上下文信息的特征。
S204、通过分类器预测各个图像块存在目标螺栓的概率，将概率大于阈值的图像块输出；通过检测器获取图像块中每个候选区域在K+1个类别上的概率分布和K个类别的边框回归偏移量。
整个接触网螺栓检测网络有三个输出，一个是分类器的输出，代表当前图像块中是否存在目标螺栓的概率m，另外两个是检测器的输出；检测器的输出包括图像块中每个候选区域在K+1个类别上的概率分布p＝(p0,...,pk)和K个类别的边框回归偏移量
其中k为类别索引号，tk为相对于标注框中心点(x，y)的尺度不变转换及宽高(w，h)的空间偏移。
所述步骤S2中采用接触网螺栓检测网络实现，所述接触网螺栓检测网络包括特征提取网络、全局注意力模块及相互增强的分类器和检测器。分类器用于输出各个图像块存在目标螺栓的概率，所述检测器用于获取图像块中每个候选区域在K+1个类别上的概率分布和K个类别的边框回归偏移量。
本实施例的接触网螺栓检测网络在训练时，参与训练的每个图像块依据是否含有目标螺栓标记为二值标签b，检测器中每个候选区域标记为与其匹配的标注框类别标签u，边框回归的目标为v。
所述检测器的损失函数设置为多任务损失函数，其定义如下：
L(m,b,p,u,tu,v)＝Lcls(m,b)+u[b＝2]×Lcls(tu,v)； (2)
其中，Lcls(m,b)为softmax损失，u[b＝2]×Lcls(tu,v)表示检测器中每个候选区域为与其匹配的标注为2的区域的边框回归损失；在训练过程中，当相应的图像块中检测到目标螺栓时才反向传播检测器的损失。
S3、通过分类网络对步骤S2输出的图像块中的螺栓目标进行分类，得到螺栓目标状态；本实施例中采用的分类网络为轻量级运行状态分类网络，其可以完成接触网螺栓运行状态的精细分类，实现缺陷识别。
步骤S3具体包括：
S301、利用偏振融合图像对目标轮廓、纹理做增强处理；
S302、对目标螺栓区域初定位；
S303、提取螺栓局部二值特征量，将其变换为cosine向量后进行相似性计算，根据相似性计算结果评判螺栓缺陷故障等级。
所述步骤S302中，采用加速稳健特征检测进行目标螺栓区域初定位，其具体步骤为：
求取抱箍区域积分图像，引入选用2阶黑塞矩阵作为滤波器与核卷积计算2阶偏导数；
改变滤波盒子尺寸与图像积分检测纹理，求取矩阵不同响应值并对极大抑制；
利用harr小波对图像进行梯度运算，响应值加权后分配主方向，并沿主方向将区域分块，计算四个特征向量，根据纹理差异对待检图像进行特征点匹配。
其中，进行特征点匹配时，依据黑塞矩阵迹判断特征点方向，采用欧式距离对2幅图像进行配对，根据模板角点确定特征区域尺寸，对区域4个顶角坐标从左至右依次进行读取标定，并主动绘制螺栓定位框。
所述步骤S303中，相似性计算的方法为，对图像进行特征变换后将其值映射到二维空间中，再以图像和标准图像的向量间余弦值作为相似性值，余弦值趋近1则图像结构越相似，趋近0时则差异，且每个像素特征值对应一个元素，通过计算所得余弦值间差异评判螺栓缺陷故障等级。
其中，各螺母缓慢旋转直至脱落，得到多组余弦值cosθ1，cosθ2，…，cosθm，当松动时根据多组值域范围作为判定依据；脱落时测量多种状态下余弦值cosθ1，cosθ2，…，cosθn，取最小值作为判定截止量；防止位置移动、光照变化、拍摄抖动、背景变换等因素影响度量结果，试验中对抱箍螺母脱落样本35例，对存在松动现象的样本100例分别进行实验，统计余弦值并做归类。
本发明通过设计接触网螺栓检测网络，由轻量级特征提取网络、全局注意力模块及相互增强的分类器和检测器组成，实现目标螺栓的高效检测，然后利用偏振融合图像对目标轮廓、纹理做增强处理，并采用加速稳健特征检测对螺栓区域初定位，提取螺栓局部二值特征量，将其变换后对螺栓的缺陷状态进行相似性识别测定，完成螺栓状态的精细分类，实现缺陷识别；2阶级联卷积神经网络的方法可以快速准确地检测螺栓的异常状态，提高图像数据的分析效率、降低人工劳动强度。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种铁路接触网螺栓异常状态的检测方法，其特征在于，包括以下步骤：
S1、获取接触网螺栓状态监测图像，进行裁剪预处理得到图像块；
S2、对预处理得到的图像块进行检测，获取螺栓目标；其具体包括：
S201、采用ResNet作为特征提取的主干网络提取图像块的特征；
S202、将特征图首先池化为2*2像素的金字塔层级特征图，使用双线性插值的方法恢复特征图大小；
S203、通过全局注意力模块融合不同金字塔层级的特征；
S204、通过分类器预测各个图像块存在目标螺栓的概率，将概率大于阈值的图像块输出；通过检测器获取图像块中每个候选区域在K+1个类别上的概率分布和K个类别的边框回归偏移量；
S3、通过分类网络对步骤S2输出的图像块中的螺栓目标进行分类，得到螺栓目标状态；其具体包括：
S301、利用偏振融合图像对目标轮廓、纹理做增强处理；
S302、对目标螺栓区域初定位；
S303、提取螺栓局部二值特征量，将其变换为cosine向量后进行相似性计算，根据相似性计算结果评判螺栓缺陷故障等级。
2.根据权利要求1所述的一种铁路接触网螺栓异常状态的检测方法，其特征在于，所述步骤S2中采用接触网螺栓检测网络实现，所述接触网螺栓检测网络包括特征提取网络、全局注意力模块及相互增强的分类器和检测器。
3.根据权利要求2所述的一种铁路接触网螺栓异常状态的检测方法，其特征在于，所述接触网螺栓检测网络中，分类器用于输出各个图像块存在目标螺栓的概率，所述检测器用于获取图像块中每个候选区域在K+1个类别上的概率分布和K个类别的边框回归偏移量，所述检测器的损失函数为：
L(m,b,p,u,tu,v)＝Lcls(m,b)+u[b＝2]×Lcls(tu,v)；
其中，Lcls(m,b)为softmax损失，u[b＝2]×Lcls(tu,v)表示检测器中每个候选区域为与其匹配的标注为2的区域的边框回归损失；在训练过程中，当相应的图像块中检测到目标螺栓时才反向传播检测器的损失。
4.根据权利要求1所述的一种铁路接触网螺栓异常状态的检测方法，其特征在于，所述步骤S302的具体步骤为：
求取抱箍区域积分图像，引入选用2阶黑塞矩阵作为滤波器与核卷积计算2阶偏导数；
改变滤波盒子尺寸与图像积分检测纹理，求取矩阵不同响应值并对极大抑制；
利用harr小波对图像进行梯度运算，响应值加权后分配主方向，并沿主方向将区域分块，计算四个特征向量，根据纹理差异对待检图像进行特征点匹配。
5.根据权利要求4所述的一种铁路接触网螺栓异常状态的检测方法，其特征在于，进行特征点匹配时，依据黑塞矩阵迹判断特征点方向，采用欧式距离对2幅图像进行配对，根据模板角点确定特征区域尺寸，对区域4个顶角坐标从左至右依次进行读取标定，并主动绘制螺栓定位框。
6.根据权利要求1所述的一种铁路接触网螺栓异常状态的检测方法，其特征在于，所述步骤S303中，相似性计算的方法为，对图像进行特征变换后将其值映射到二维空间中，再以向量间余弦值作为相似性值，余弦值趋近1则图像结构越相似，趋近0时则差异，且每个像素特征值对应一个元素，通过计算所得余弦值间差异评判螺栓缺陷故障等级。
7.根据权利要求1所述的一种铁路接触网螺栓异常状态的检测方法，其特征在于，所述步骤S1中，将接触网螺栓状态监测图像裁剪为512×512像素的图像块，且各图像块之间的重叠率为35％。
8.根据权利要求1所述的一种铁路接触网螺栓异常状态的检测方法，其特征在于，所述步骤S201中，采用的ResNet网络的第1～4个阶段特征图数量分别设置为16，32，48和72个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310209896.3A CN116309407A (zh) | 2023-03-07 | 2023-03-07 | 一种铁路接触网螺栓异常状态的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310209896.3A CN116309407A (zh) | 2023-03-07 | 2023-03-07 | 一种铁路接触网螺栓异常状态的检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309407A true CN116309407A (zh) | 2023-06-23 |
Family
ID=86800815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310209896.3A Pending CN116309407A (zh) | 2023-03-07 | 2023-03-07 | 一种铁路接触网螺栓异常状态的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309407A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117105038A (zh) * | 2023-10-17 | 2023-11-24 | 山西戴德测控技术股份有限公司 | 一种提升机运行监测方法、装置、设备及存储介质 |
-
2023
- 2023-03-07 CN CN202310209896.3A patent/CN116309407A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117105038A (zh) * | 2023-10-17 | 2023-11-24 | 山西戴德测控技术股份有限公司 | 一种提升机运行监测方法、装置、设备及存储介质 |
| CN117105038B (zh) * | 2023-10-17 | 2024-01-05 | 山西戴德测控技术股份有限公司 | 一种提升机运行监测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428748B (zh) | 一种基于hog特征和svm的红外图像绝缘子识别检测方法 | |
| CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
| CN109325935B (zh) | 一种基于无人机图像的输电线路检测方法 | |
| CN109344753A (zh) | 一种基于深度学习的航拍图像输电线路细小金具识别方法 | |
| CN111814686A (zh) | 一种基于视觉的输电线路识别及异物入侵在线检测方法 | |
| CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其***、设备、介质 | |
| CN113111727B (zh) | 一种基于特征对齐的遥感场景下旋转目标检测方法 | |
| CN114743119B (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
| CN111080691A (zh) | 一种光伏组件红外热斑检测方法、装置 | |
| Zhang et al. | Bridge damage detection using a single-stage detector and field inspection images | |
| CN108694349B (zh) | 一种基于线阵相机的受电弓图像提取方法及装置 | |
| CN112329623A (zh) | 雾天能见度检测与能见度安全等级划分预警方法 | |
| CN111582084B (zh) | 基于弱监督学习的空基视角下的铁轨异物检测方法及*** | |
| CN111768417B (zh) | 基于单目视觉3d重建技术的铁路货车超限检测方法 | |
| Tan | Automatic insulator detection for power line using aerial images powered by convolutional neural networks | |
| CN113962973A (zh) | 一种基于卫星技术的输电线路无人机智能巡检***及方法 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| CN116681979A (zh) | 一种复杂环境下的电力设备目标检测方法 | |
| CN116309407A (zh) | 一种铁路接触网螺栓异常状态的检测方法 | |
| CN112950576A (zh) | 基于深度学习的输电线路缺陷智能识别方法及*** | |
| CN112884795A (zh) | 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法 | |
| CN111931577A (zh) | 一种电网线路特定异物智能巡检方法 | |
| CN116994161A (zh) | 一种基于改进YOLOv5的绝缘子缺陷检测方法 | |
| CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
| CN112418241A (zh) | 一种基于红外成像技术的电力设备识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |