CN112200225A - 基于深度卷积神经网络的钢轨伤损b显图像识别方法 - Google Patents
基于深度卷积神经网络的钢轨伤损b显图像识别方法 Download PDFInfo
- Publication number
- CN112200225A CN112200225A CN202011013157.XA CN202011013157A CN112200225A CN 112200225 A CN112200225 A CN 112200225A CN 202011013157 A CN202011013157 A CN 202011013157A CN 112200225 A CN112200225 A CN 112200225A
- Authority
- CN
- China
- Prior art keywords
- yolo
- uav
- steel rail
- bounding box
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000010959 steel Substances 0.000 title claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000002159 abnormal effect Effects 0.000 claims abstract description 5
- 238000007621 cluster analysis Methods 0.000 claims abstract description 5
- 238000005520 cutting process Methods 0.000 claims abstract description 4
- 238000003466 welding Methods 0.000 claims abstract description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000003064 k means clustering Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
- G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
- G01N29/0609—Display arrangements, e.g. colour displays
- G01N29/0645—Display representation or displayed parameters, e.g. A-, B- or C-Scan
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2291/00—Indexing codes associated with group G01N29/00
- G01N2291/02—Indexing codes associated with the analysed material
- G01N2291/023—Solids
- G01N2291/0234—Metals, e.g. steel
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2291/00—Indexing codes associated with group G01N29/00
- G01N2291/02—Indexing codes associated with the analysed material
- G01N2291/028—Material parameters
- G01N2291/0289—Internal structure, e.g. defects, grain size, texture
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2291/00—Indexing codes associated with group G01N29/00
- G01N2291/26—Scanned objects
- G01N2291/262—Linear objects
- G01N2291/2623—Rails; Railroads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Acoustics & Sound (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及钢轨探伤技术领域,涉及一种基于深度卷积神经网络的钢轨伤损B显图像识别方法,其包括以下步骤:一、查找焊缝、正常螺孔、异常螺孔和表面伤四类出波情况并保存;二、对原始图片进行填充,将图片尺寸扩展;三、将填充后的数据裁剪;四、横向上沿左右两股钢轨对称轴进行上下对称裁剪为两部分,沿纵向平均裁剪为四部分,最后得到416×416的标准图片;五、打标签操作,将标签文件与图片文件制作成标准数据集;六、构建YOLO‑UAV+min模型;七、对数据集进行聚类分析,得到先验框,将先验框输入到模型中;八、配置网络参数;九、使用模型进行训练。本发明能较佳的识别伤损。
Description
技术领域
本发明涉及钢轨探伤技术领域,具体地说,涉及一种基于深度卷积神经网络的钢轨伤损B显图像识别方法。
背景技术
目前对于钢轨伤损的评判不再局限于伤损的存在与否,还要对钢轨伤损检测数据进行评价,包括对钢轨的失效原因、安全可靠性,以及其物理和力学性能的综合性检测及其评价。虽然在超声检测领域的数字化、智能化研究也有很大程度的发展,但是对于伤损的检测判定,钢轨失效的原因分析依然需要依靠经验丰富的专家,智能化程度远远不够。为了提高钢轨伤损识别率,降低漏报率和误报率,传统的机器学习方法主要是人工提取分类特征,然后设计分类器对钢轨伤损进行分类。目前,钢轨缺陷的检测方法主要有超声波、声发射、振动加速度、图像处理等。不同检测方法的特征提取方法也不尽相同,一般可以通过一些统计或信号处理方法来获得特征,包括小波包变换(WPT)、核主成分分析(KPCA)、自适应线增强器等。现有的利用机器学习方法进行钢轨伤损检测的研究方法包括支持向量机、感知器、贝叶斯模型、半监督模型、最大熵法等等。以上方法大多通过人工处理分类特征的方式对钢轨伤损进行分类识别,这些方法中钢轨伤损判别效果依赖于工作人员选取特征的准确性,对于经验不足或认识不够的伤损类型会有所遗漏,因此会造成钢轨探伤的误报、漏报率高等问题。
目前钢轨探伤设备在国内普速铁路和高速铁路都得到了广泛应用。然而由于受探伤设备自身设置不合理、探伤灵敏度不足以及伤损数据分析方法单一、数据处理智能化程度不高等内外部因素影响,钢轨探伤设备陆续产生伤损漏报、误报问题。同时,由于过去针对上述问题的方法主要靠改进探伤设备的探头,邀请专家***培养工作人员,工作人员自学等方法,因此伤损识别主观性较强,无法得到推广。鉴于以上情况,需要一种基于深度卷积神经网络的钢轨伤损B显图像识别方法。
发明内容
本发明的内容是提供一种基于深度卷积神经网络的钢轨伤损B显图像识别方法,其能够克服现有技术的某种或某些缺陷。
根据本发明的基于深度卷积神经网络的钢轨伤损B显图像识别方法,其包括以下步骤:
一、查找焊缝、正常螺孔、异常螺孔和表面伤四类出波情况并保存;
二、对原始图片进行填充,将图片尺寸扩展;
三、以B显伤损图像为中心将填充后的数据裁剪;
四、横向上沿左右两股钢轨对称轴进行上下对称裁剪为两部分,沿纵向平均裁剪为四部分,最后得到416×416的标准图片;
五、对数据进行打标签操作,框选需要训练的检测对象,并保存为标签文件,将得到的标签文件与图片文件制作成标准数据集;
六、构建YOLO-UAV+min模型;
七、设定需要聚类的锚框数量,对所使用的数据集进行K-means聚类分析,得到先验框,将先验框输入到YOLO-UAV+min模型中;
八、配置网络参数;
九、使用YOLO-UAV+min模型进行训练;
十、将训练完成的YOLO-UAV+min模型封装作为插件安装到钢轨超声波探伤仪中进行日常的钢轨探伤作业中的钢轨伤损B显图像智能识别。
作为优选,步骤五中,YOLO-UAV+min模型构建方法为:YOLO V3引入特征金字塔,使用三种不同尺度的特征图进行多尺度检测,增加最小尺度预测网络层得到YOLO-min模型,YOLO-min模型中的残差块被替换为快速连接块,将YOLO-min模型中的Darknet-53的残差块1、残差块2、残差块3的重复次数分别修改为2、3、7,得到YOLO-UAV+min模型。
作为优选,YOLO V3的第一个尺度将输入图像划分为19×19个网格,每个网格的大小为32×32;第二个尺度在第一个尺度的基础上向上采样,将输入图像划分为38×38个网格,每个网格大小为16×16;在第二个尺度的基础上,第三个尺度进行上采样,将输入图像划分为76×76个网格,每个网格的大小为8×8;然后继续在第三尺度的基础上进行上采样,将输入图像划分为152×152个网格,每个网格的特征图大小为4×4,得到YOLO-min模型。
作为优选,步骤七中,配置网络参数具体为:将输入的416×416尺寸的原始数据集重新调整为608×608,将每次输入的批量大小batch设置为16,同时将每批数据分成16份分开输入,即subdivisions=16;将旋转角度angle、曝光度exposure、饱和度saturation、色度hue均设置为0;将初始学习率设置为0.001,衰减系数为0.0005,设置采用动量为0.949的异步随机梯度下降,在训练次数分别达到总次数的80%和90%时进行学习率衰减且每次衰减10倍,最终学习率衰减100倍。
作为优选,步骤八中,YOLO-UAV+min模型训练方法为:将输入图像分割成S×S的网格,并在每个网格中进行检测;
每个网格预测B个边界框以及这些框的置信度Confidence,置信度可以反映出一个物体是否存在于网格中,如果存在,则计算实际边界框GT和预测边界框pred的交并比IoU;置信度可表示为:
Confidence=Pr(object)×IOU(GT,pred);
式中Pr(object)表示预测边界框中是否有检测对象,1表示有,0表示无,IOU(GT,pred)为真实边界框与预测边界框的交并比,定义如下:
式中BoxGT表示实际边界框,Boxpred表示预测边界框;
每个网格还预测C类目标对象的概率,每个网格总共预测(5+C)个值:x、y、w、h、置信度和C类概率,其中(x,y)表示边界框的中心坐标,(w,h)分别表示边界框的宽度和高度,最终的输出为S×S×(5×B+C)的一个张量。
作为优选,YOLO-UAV+min模型的损失函数包括4个部分:
预测中心坐标的损失:
预测边界框的宽高的损失:
预测类别的损失:
预测置信度的损失:
式中λcoord表示坐标误差的权重;s2表示输入图中网格的数量;B表示每个网格中预测边界框的数量;若表示在第j个网格中的第i个边界框中有检测对象,否则即为0;C表示置信度得分,CI是预测边界框与实际边界框的交叉部分。
本发明能可以较好地完成钢轨伤损检测任务,能提高钢轨超声波探伤设备的伤损识别率,降低漏报率和误报率。
附图说明
图1为实施例1中一种基于深度卷积神经网络的钢轨伤损B显图像识别方法的流程图;
图2为实施例1中YOLO-min网络结构示意图;
图3为实施例1中YOLO-Rail+min、YOLO-UAV+min和YOLO-Apple+min三个主干网络结构示意图;
图4为实施例1中YOLO V3、YOLO-min、YOLO-Rail+min、YOLO-UAV+min和YOLO-Apple+min的训练迭代损失曲线;
图5为实施例1中K-means聚类分析示意图;
图6为实施例1中YOLO-UAV+min检测过程示意图;
图7为实施例1中各B显图像检测对象识别效果示意图。
具体实施方式
为进一步了解本发明的内容,结合附图和实施例对本发明作详细描述。应当理解的是,实施例仅仅是对本发明进行解释而并非限定。
实施例1
如图1所示,本实施例提供了一种基于深度卷积神经网络的钢轨伤损B显图像识别方法,其包括以下步骤:
一、在双轨式探伤小车B显回放软件中查找焊缝、正常螺孔、异常螺孔和表面伤四类出波情况并保存为.jpg格式图片;
二、对原始图片进行填充,将图片尺寸扩展为1920×870;
三、以B显伤损图像为中心将填充后的数据裁剪为1664×832;
四、横向上沿左右两股钢轨对称轴进行上下对称裁剪为两部分,沿纵向平均裁剪为四部分,最后得到416×416的标准图片;
五、使用LabelImg软件对数据进行打标签操作,人工框选需要训练的检测对象,并保存为标签文件,最后将得到的标签文件与图片文件按照VOC2007数据集格式制作成标准数据集;
六、构建YOLO-UAV+min模型;
七、设定需要聚类的锚框数量,对所使用的数据集进行K-means聚类分析,得到先验框,将先验框输入到YOLO-UAV+min模型中;
八、配置网络参数;
九、使用YOLO-UAV+min模型进行训练;
十、将训练完成的YOLO-UAV+min模型封装作为插件安装到RUD-15型双轨式钢轨超声波探伤仪中进行日常的钢轨探伤作业中的钢轨伤损B显图像智能识别。
步骤五中,YOLO-UAV+min模型构建方法为:为了提高小目标检测的准确性,YOLOV3引入特征金字塔,使用三种不同尺度的特征图进行多尺度检测,YOLO V3的第一个尺度将输入图像划分为19×19个网格,每个网格的大小为32×32;第二个尺度在第一个尺度的基础上向上采样,将输入图像划分为38×38个网格,每个网格大小为16×16;在第二个尺度的基础上,第三个尺度进行上采样,将输入图像划分为76×76个网格,每个网格的大小为8×8;然而,有些出波情况的尺寸非常小,即使是第三尺度也不足以完全检测到,因此,为了获得更细小尺度的信息,然后继续在第三尺度的基础上进行上采样,将输入图像划分为152×152个网格,每个网格的特征图大小为4×4,这有利于检测非常小的出波情况,采用最小尺度预测网络层的YOLO V3模型称为YOLO-min模型,YOLO-min模型网络结构如图2所示。YOLO-min模型中的残差块被替换为快速连接块,将YOLO-min模型中的Darknet-53的残差块1、残差块2、残差块3的重复次数分别修改为2、3、7,以加深网络结构,最终得到YOLO-UAV+min模型。
步骤七中,配置网络参数具体为:将输入的416×416尺寸的原始数据集重新调整为608×608,考虑到高网络分辨率会占用大量显存,导致显存溢出情况发生,将每次输入的批量大小batch设置为16,同时将每批数据分成16份分开输入,即subdivisions=16;因B显图像的特殊性,无法进行旋转以及调整曝光度、饱和度、色度,将旋转角度angle、曝光度exposure、饱和度saturation、色度hue均设置为0,因此数据集无法进行常规的数据增强工作;将初始学习率设置为0.001,衰减系数为0.0005,设置采用动量为0.949的异步随机梯度下降,在训练次数分别达到总次数的80%和90%时进行学习率衰减且每次衰减10倍,最终学习率衰减100倍。
步骤八中,YOLO-UAV+min模型训练方法为:将输入图像分割成S×S的网格,并在每个网格中进行检测;
每个网格预测B个边界框以及这些框的置信度Confidence,置信度可以反映出一个物体是否存在于网格中,如果存在,则计算实际边界框GT和预测边界框pred的交并比IoU;置信度可表示为:
Confidence=Pr(object)×IOU(GT,pred);
式中Pr(object)表示预测边界框中是否有检测对象,1表示有,0表示无,IOU(GT,pred)为真实边界框与预测边界框的交并比,定义如下:
式中BoxGT表示实际边界框,Boxpred表示预测边界框;
每个网格还预测C类目标对象的概率,每个网格总共预测(5+C)个值:x、y、w、h、置信度和C类概率,其中(x,y)表示边界框的中心坐标,(w,h)分别表示边界框的宽度和高度,最终的输出为S×S×(5×B+C)的一个张量,如图6所示,为YOLO-UAV+min模型的检测过程。
YOLO-UAV+min模型的损失函数包括4个部分:
预测中心坐标的损失:
预测边界框的宽高的损失:
预测类别的损失:
预测置信度的损失:
式中λcoord表示坐标误差的权重;s2表示输入图中网格的数量;B表示每个网格中预测边界框的数量;若表示在第j个网格中的第i个边界框中有检测对象,否则即为0;C表示置信度得分,CI是预测边界框与实际边界框的交叉部分。随着迭代次数增加,误差损失呈现震荡下降趋势,当训练迭代批次达到1500次左右,误差损失基本稳定,最终每种B显出波情况训练迭代4000次。
步骤六中,YOLO V3模型引入了锚框anchor boxes概念。初始锚框是一组具有固定高度和宽度的先验框,而先验框的选择将会直接影响到检测的精度和速度。YOLO V3通过在数据集标签上运行K-means聚类算法来自动找到合适尺寸的锚框。通过K-means生成的聚类可以反映数据集中样本的分布,使YOLO网络能够更容易做出良好的预测。另一方面如果直接采用标准的K-means聚类算法,在边界框的尺寸比较大的时候其产生的误差也更大,而误差和边界框的尺寸没有太大关系才是我们所希望的,因此通过IoU定义了如下的距离函数,使得误差与边界框的尺寸无关:
d(box,centroid)=1-IoU(box,centroid);
式中box表示目标对象的实际边界框,centroid表示聚类中心框。根据以上算法,本实施例首先设定需要聚类的锚框数量为1~20(K=1~20),对所使用的数据集进行K-means聚类分析,结果如图5所示,图5(a)为锚框数与平均交并比的关系,图5(b)为12个先验框的聚类结果。图5(a)横坐标表示需要聚类的锚框的数量(Anchor Number),纵坐标表示平均交并比(Avg IoU)。从图5(a)可以看出随着锚框数量的增加,平均交并比也在提升。因为锚框数量的增加随之带来的计算量也会增加,损失函数的收敛速度也会减慢,所以综合考虑误差与计算量,本实施例以螺孔裂纹为例,选择的聚类锚框数量为12个,所聚类出来的12个先验框的宽和高为(15,15)、(13,16)、(12,18)、(18,16)、(22,28)、(10,13)、(15,19)、(16,19)、(13,22)、(12,13)、(18,23)、(7,10)。12个先验框的宽度和高度的聚类结果如图5(b)所示,其中x轴表示锚框的宽度,y轴表示锚框的高度,'x'表示12个先验框,'.’代表了所有实际边界框。图中'.’颜色越浅,实际边界框越密集。从图5(b)可以看出,这12个先验框都位于实际边界框相对密集的位置;因此,K-means算法聚类的12个锚框效果较好,可以作为先验框输入到YOLO-UAV+min模型中,提高检测精度和速度。
本实施例中的YOLO-UAV+min模型可以替代为YOLO-Rail+min和Yolo-Apple+min;借鉴铁路轨道(Railway Track Line),无人机(Unmanned Aerial Vehicle),和苹果病变(Apple Lesions)三个主干网络的设计研究,在上述三种网络的基础上,增加了最小尺度检测网络,由此产生了三个新的主干网:YOLO-Rail+min、YOLO-UAV+min和YOLO-Apple+min。三种主干网络结构如图3所示。
YOLO-Rail+min的网络结构如图3左侧所示,其中使用稠密块替换YOLO原主干网络Darknet-53的残差块3、残差块4、残差块5。由于采用密集连接方法,DenseNet增强了梯度反向传播,使网络更易于训练。此外,由于DenseNet通过连接特性实现了短路连接,因此它实现了特性重用,并且使用了较小的增长率。由于每层特有的feature map相对较小,因此DenseNet参数较小,计算效率更高。图3中间的YOLO-UAV+min被重新设计,使用快速连接块替换残差块,另外,将Darknet-53的残差块1、残差块2、残差块3的重复次数分别修改为2、3、7,以加深网络结构。结合这两种优化方法不仅可以提高网络的接受度,而且可以增强网络语义特征提取能力。图3右侧的YOLO-Apple+min通过在原始Darknet-53模型的残差块2、残差块3、残差块4、残差块5之间***稠密块来优化主干结构。
YOLO V3、YOLO-min、YOLO-Rail+min、YOLO-UAV+min、YOLO-Apple+min的训练迭代损失曲线如图4所示。由图4可以看出,后四种改进网络模型的收敛性都优于原模型,最终的损失也低于原模型。但是,从训练迭代损失曲线上很难看出四种改进网络模型之间的差异。为了解决这个问题,本研究比较了五种模型在正常螺栓孔和螺孔裂纹数据集上的平均精度(AP),AP的计算公式如下:
其中TP、FP和FN分别是真阳性、假阳性和假阴性的缩写。
根据VOC2007评价标准,利用最大精度的平均值得到平均精度(AP),最大精度Pinterp(rn+1)的计算公式如下:
表1分别采用YOLO V3、YOLO-min、YOLO-Rail+min、YOLO-uav+min和YOLO-Apple+min模型检测正常螺栓孔和螺孔裂纹的平均精度。
表1
模型 | 正常螺孔 | 螺孔裂纹 |
YOLO | 94.27% | 15.32% |
YOLO-min | 96.20% | 10.79% |
YOLO-rail+min | 96.42% | 41.68% |
YOLO-UAV+min | 97.13% | 66.49% |
YOLO-apple+min | 95.07% | 42.00% |
表1给出了使用上述五种模型检测正常螺栓孔和螺孔裂纹的平均精度。由表1可以看出,四种改进的网络模型的平均精度都优于原始模型,其中最有效的是YOLO-UAV+min模型。
本实施例采用Precision(精度)、Recall(召回率)、AP(平均精度)、(F1分数)、mAP(各类别AP的平均值)、Avg IoU(平均交并比)6个评价标准来评价模型的检测效果。mAP表示所有类型AP的平均值,Avg IoU表示所有类型交并比的平均值。F1-score定义如下:
训练完成后分别利用YOLO-UAV+min模型对测试集中的453张B显图像中的四类目标进行检测,各B显图像检测对象识别效果评价见表2,各B显图像检测对象识别效果见图7。图7各B显图像检测对象识别效果:(a)焊缝,(b)正常螺孔,(c)异常螺孔,(d)表面伤损。
表2各B显图像检测对象识别效果评价
由表2可以看出,基于改进YOLO V3的YOLO-UAV+min模型的B显图像检测方法对焊缝、正常螺孔和表面伤识别的精度均在90%以上,说明该模型的误检率较低。而螺孔裂纹的精度为66.49%。因螺孔裂纹的尺寸小于焊缝和螺孔,也不会像表面伤一样大面积出现,因此很难被检测到。但改进后的YOLO-UAV+min模型的精度要高于原YOLO模型。在召回率方面,除螺孔裂纹和表面伤损分别为0.63和0.72外,其他两类对象均超过0.95。因此,除了螺孔裂纹和表面伤损可能会出现漏检外,其他两类可以保证较高的检测全面性。在其他方面,AP和F1-score都达到了较好的标准,75.33%的平均IOU也达到了0.75的阈值要求。
因此,YOLO-UAV+min模型具有较高的检测精度。从图7中可以看出,该方法可以更准确地检测出各类显伤损对象,并用不同颜色和名称的边框对其进行标记。由此可见,基于YOLO-UAV+min模型的钢轨缺陷B显图像识别方法可以较好地完成钢轨伤损检测任务。
以上示意性的对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本发明的保护范围。
Claims (6)
1.基于深度卷积神经网络的钢轨伤损B显图像识别方法,其特征在于:包括以下步骤:
一、查找焊缝、正常螺孔、异常螺孔和表面伤四类出波情况并保存;
二、对原始图片进行填充,将图片尺寸扩展;
三、以B显伤损图像为中心将填充后的数据裁剪;
四、横向上沿左右两股钢轨对称轴进行上下对称裁剪为两部分,沿纵向平均裁剪为四部分,最后得到416×416的标准图片;
五、对数据进行打标签操作,框选需要训练的检测对象,并保存为标签文件,将得到的标签文件与图片文件制作成标准数据集;
六、构建YOLO-UAV+min模型;
七、设定需要聚类的锚框数量,对所使用的数据集进行K-means聚类分析,得到先验框,将先验框输入到YOLO-UAV+min模型中;
八、配置网络参数;
九、使用YOLO-UAV+min模型进行训练;
十、将训练完成的YOLO-UAV+min模型封装作为插件安装到钢轨超声波探伤仪中进行日常的钢轨探伤作业中的钢轨伤损B显图像智能识别。
2.根据权利要求1所述的基于深度卷积神经网络的钢轨伤损B显图像识别方法,其特征在于:步骤五中,YOLO-UAV+min模型构建方法为:YOLO V3引入特征金字塔,使用三种不同尺度的特征图进行多尺度检测,增加最小尺度预测网络层得到YOLO-min模型,YOLO-min模型中的残差块被替换为快速连接块,将YOLO-min模型中的Darknet-53的残差块1、残差块2、残差块3的重复次数分别修改为2、3、7,得到YOLO-UAV+min模型。
3.根据权利要求2所述的基于深度卷积神经网络的钢轨伤损B显图像识别方法,其特征在于:YOLO V3的第一个尺度将输入图像划分为19×19个网格,每个网格的大小为32×32;第二个尺度在第一个尺度的基础上向上采样,将输入图像划分为38×38个网格,每个网格大小为16×16;在第二个尺度的基础上,第三个尺度进行上采样,将输入图像划分为76×76个网格,每个网格的大小为8×8;然后继续在第三尺度的基础上进行上采样,将输入图像划分为152×152个网格,每个网格的特征图大小为4×4,得到YOLO-min模型。
4.根据权利要求1所述的基于深度卷积神经网络的钢轨伤损B显图像识别方法,其特征在于:步骤七中,配置网络参数具体为:将输入的416×416尺寸的原始数据集重新调整为608×608,将每次输入的批量大小batch设置为16,同时将每批数据分成16份分开输入,即subdivisions=16;将旋转角度angle、曝光度exposure、饱和度saturation、色度hue均设置为0;将初始学习率设置为0.001,衰减系数为0.0005,设置采用动量为0.949的异步随机梯度下降,在训练次数分别达到总次数的80%和90%时进行学习率衰减且每次衰减10倍,最终学习率衰减100倍。
5.根据权利要求1所述的基于深度卷积神经网络的钢轨伤损B显图像识别方法,其特征在于:步骤八中,YOLO-UAV+min模型训练方法为:将输入图像分割成S×S的网格,并在每个网格中进行检测;
每个网格预测B个边界框以及这些框的置信度Confidence,置信度可以反映出一个物体是否存在于网格中,如果存在,则计算实际边界框GT和预测边界框pred的交并比IoU;置信度可表示为:
Confidence=Pr(object)×IOU(GT,pred);
式中Pr(object)表示预测边界框中是否有检测对象,1表示有,0表示无,IOU(GT,pred)为真实边界框与预测边界框的交并比,定义如下:
式中BoxGT表示实际边界框,Boxpred表示预测边界框;
每个网格还预测C类目标对象的概率,每个网格总共预测(5+C)个值:x、y、w、h、置信度和C类概率,其中(x,y)表示边界框的中心坐标,(w,h)分别表示边界框的宽度和高度,最终的输出为S×S×(5×B+C)的一个张量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011013157.XA CN112200225B (zh) | 2020-09-23 | 2020-09-23 | 基于深度卷积神经网络的钢轨伤损b显图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011013157.XA CN112200225B (zh) | 2020-09-23 | 2020-09-23 | 基于深度卷积神经网络的钢轨伤损b显图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112200225A true CN112200225A (zh) | 2021-01-08 |
CN112200225B CN112200225B (zh) | 2022-07-26 |
Family
ID=74014542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011013157.XA Active CN112200225B (zh) | 2020-09-23 | 2020-09-23 | 基于深度卷积神经网络的钢轨伤损b显图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112200225B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362285A (zh) * | 2021-05-21 | 2021-09-07 | 同济大学 | 一种钢轨表面伤损细粒度图像分类与检测方法 |
CN113409314A (zh) * | 2021-08-18 | 2021-09-17 | 南京市特种设备安全监督检验研究院 | 高空钢结构腐蚀的无人机视觉检测与评价方法及*** |
CN113640308A (zh) * | 2021-08-31 | 2021-11-12 | 郑州铁路职业技术学院 | 一种基于机器视觉的轨道异常监测*** |
CN113808095A (zh) * | 2021-09-13 | 2021-12-17 | 合肥德泰科通测控技术有限公司 | 一种基于大数据的铁路钢轨智能伤损识别分析*** |
CN114047259A (zh) * | 2021-10-28 | 2022-02-15 | 深圳市比一比网络科技有限公司 | 一种基于时间序列多尺度钢轨伤损缺陷的检测方法 |
CN115239632A (zh) * | 2022-06-23 | 2022-10-25 | 西南交通大学 | 一种融合巡检图像和超声波图像的钢轨表面伤损检测方法 |
CN117036234A (zh) * | 2023-05-09 | 2023-11-10 | 中国铁路广州局集团有限公司 | 混合钢轨超声波b显图谱伤损识别方法、***和存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764141A (zh) * | 2018-05-25 | 2018-11-06 | 广州虎牙信息科技有限公司 | 一种游戏场景描述方法、装置、设备及其存储介质 |
US20190065901A1 (en) * | 2017-08-29 | 2019-02-28 | Vintra, Inc. | Systems and methods for a tailored neural network detector |
CN109711437A (zh) * | 2018-12-06 | 2019-05-03 | 武汉三江中电科技有限责任公司 | 一种基于yolo网络模型的变压器部件识别方法 |
CN110378243A (zh) * | 2019-06-26 | 2019-10-25 | 深圳大学 | 一种行人检测方法及装置 |
CN110443208A (zh) * | 2019-08-08 | 2019-11-12 | 南京工业大学 | 一种基于YOLOv2的车辆目标检测方法、***及设备 |
CN110930387A (zh) * | 2019-11-21 | 2020-03-27 | 中原工学院 | 基于深度可分离卷积神经网络的织物疵点检测方法 |
CN111401148A (zh) * | 2020-02-27 | 2020-07-10 | 江苏大学 | 一种基于改进的多级YOLOv3的道路多目标检测方法 |
US20200265314A1 (en) * | 2019-02-19 | 2020-08-20 | Fujitsu Limited | Object recognition method and apparatus and single step object recognition neural network |
CN111627050A (zh) * | 2020-07-27 | 2020-09-04 | 杭州雄迈集成电路技术股份有限公司 | 一种目标跟踪模型的训练方法和装置 |
CN111639526A (zh) * | 2020-04-22 | 2020-09-08 | 云南电网有限责任公司昭通供电局 | 一种基于深度学习的输电线路目标检测与监控方法 |
CN111652853A (zh) * | 2020-05-11 | 2020-09-11 | 西南科技大学 | 一种基于深度卷积神经网络的磁粉探伤检测方法 |
-
2020
- 2020-09-23 CN CN202011013157.XA patent/CN112200225B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190065901A1 (en) * | 2017-08-29 | 2019-02-28 | Vintra, Inc. | Systems and methods for a tailored neural network detector |
CN108764141A (zh) * | 2018-05-25 | 2018-11-06 | 广州虎牙信息科技有限公司 | 一种游戏场景描述方法、装置、设备及其存储介质 |
CN109711437A (zh) * | 2018-12-06 | 2019-05-03 | 武汉三江中电科技有限责任公司 | 一种基于yolo网络模型的变压器部件识别方法 |
US20200265314A1 (en) * | 2019-02-19 | 2020-08-20 | Fujitsu Limited | Object recognition method and apparatus and single step object recognition neural network |
CN110378243A (zh) * | 2019-06-26 | 2019-10-25 | 深圳大学 | 一种行人检测方法及装置 |
CN110443208A (zh) * | 2019-08-08 | 2019-11-12 | 南京工业大学 | 一种基于YOLOv2的车辆目标检测方法、***及设备 |
CN110930387A (zh) * | 2019-11-21 | 2020-03-27 | 中原工学院 | 基于深度可分离卷积神经网络的织物疵点检测方法 |
CN111401148A (zh) * | 2020-02-27 | 2020-07-10 | 江苏大学 | 一种基于改进的多级YOLOv3的道路多目标检测方法 |
CN111639526A (zh) * | 2020-04-22 | 2020-09-08 | 云南电网有限责任公司昭通供电局 | 一种基于深度学习的输电线路目标检测与监控方法 |
CN111652853A (zh) * | 2020-05-11 | 2020-09-11 | 西南科技大学 | 一种基于深度卷积神经网络的磁粉探伤检测方法 |
CN111627050A (zh) * | 2020-07-27 | 2020-09-04 | 杭州雄迈集成电路技术股份有限公司 | 一种目标跟踪模型的训练方法和装置 |
Non-Patent Citations (10)
Title |
---|
LYLA B. DAS等: "Human Target Search and Detection using Autonomous UAV and Deep learning", 《2020 IEEE INTERNATIONAL CONFERENCE ON INDUSTRY 4.0, ARTIFICIAL INTELLIGENCE, AND COMMUNICATIONS TECHNOLOGY (IAICT)》 * |
LYLA B. DAS等: "Human Target Search and Detection using Autonomous UAV and Deep learning", 《2020 IEEE INTERNATIONAL CONFERENCE ON INDUSTRY 4.0, ARTIFICIAL INTELLIGENCE, AND COMMUNICATIONS TECHNOLOGY (IAICT)》, 20 August 2020 (2020-08-20), pages 1 - 4 * |
ZHENGXING CHEN等: "Deep Learning for the Detection and Recognition of Rail Defects in Ultrasound B-Scan Images", 《TRANSPORTATION RESEARCH RECORD》 * |
ZHENGXING CHEN等: "Deep Learning for the Detection and Recognition of Rail Defects in Ultrasound B-Scan Images", 《TRANSPORTATION RESEARCH RECORD》, vol. 2675, no. 11, 14 July 2021 (2021-07-14), pages 888 - 901 * |
李秀智等: "基于深度学习的机器人最优抓取姿态检测方法", 《仪器仪表学报》 * |
李秀智等: "基于深度学习的机器人最优抓取姿态检测方法", 《仪器仪表学报》, vol. 41, no. 5, 31 May 2020 (2020-05-31), pages 108 - 117 * |
蒋家俊: "基于卷积神经网络的小目标行人检测研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
蒋家俊: "基于卷积神经网络的小目标行人检测研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》, no. 8, 15 August 2018 (2018-08-15), pages 138 - 769 * |
龚安等: "基于YOLOv3网络的电能表示数识别方法", 《计算机***应用》 * |
龚安等: "基于YOLOv3网络的电能表示数识别方法", 《计算机***应用》, no. 01, 15 January 2020 (2020-01-15), pages 200 - 206 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362285A (zh) * | 2021-05-21 | 2021-09-07 | 同济大学 | 一种钢轨表面伤损细粒度图像分类与检测方法 |
CN113362285B (zh) * | 2021-05-21 | 2023-02-07 | 同济大学 | 一种钢轨表面伤损细粒度图像分类与检测方法 |
CN113409314A (zh) * | 2021-08-18 | 2021-09-17 | 南京市特种设备安全监督检验研究院 | 高空钢结构腐蚀的无人机视觉检测与评价方法及*** |
CN113640308A (zh) * | 2021-08-31 | 2021-11-12 | 郑州铁路职业技术学院 | 一种基于机器视觉的轨道异常监测*** |
CN113640308B (zh) * | 2021-08-31 | 2024-03-29 | 夏冰心 | 一种基于机器视觉的轨道异常监测*** |
CN113808095A (zh) * | 2021-09-13 | 2021-12-17 | 合肥德泰科通测控技术有限公司 | 一种基于大数据的铁路钢轨智能伤损识别分析*** |
CN114047259A (zh) * | 2021-10-28 | 2022-02-15 | 深圳市比一比网络科技有限公司 | 一种基于时间序列多尺度钢轨伤损缺陷的检测方法 |
CN114047259B (zh) * | 2021-10-28 | 2024-05-10 | 深圳市比一比网络科技有限公司 | 一种基于时间序列多尺度钢轨伤损缺陷的检测方法 |
CN115239632A (zh) * | 2022-06-23 | 2022-10-25 | 西南交通大学 | 一种融合巡检图像和超声波图像的钢轨表面伤损检测方法 |
CN115239632B (zh) * | 2022-06-23 | 2024-04-09 | 西南交通大学 | 一种融合巡检图像和超声波图像的钢轨表面伤损检测方法 |
CN117036234A (zh) * | 2023-05-09 | 2023-11-10 | 中国铁路广州局集团有限公司 | 混合钢轨超声波b显图谱伤损识别方法、***和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112200225B (zh) | 2022-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112200225B (zh) | 基于深度卷积神经网络的钢轨伤损b显图像识别方法 | |
CN112967243B (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
CN111476756B (zh) | 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法 | |
CN113034478A (zh) | 一种基于深度学习网络的焊缝缺陷识别定位方法、*** | |
CN111832608B (zh) | 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法 | |
CN111402211A (zh) | 一种基于深度学习的高速列车车底异物识别方法 | |
CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
CN108711148B (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
US11556732B2 (en) | Method for extracting rivet points in large scale three-dimensional point cloud base on deep learning | |
CN111222478A (zh) | 一种工地安全防护检测方法和*** | |
CN113920400A (zh) | 一种基于改进YOLOv3的金属表面缺陷检测方法 | |
CN113221956B (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
CN113609895A (zh) | 基于改进Yolov3的获取道路交通信息方法 | |
CN112884753A (zh) | 一种基于卷积神经网络的轨道扣件检测及分类方法 | |
CN115294033A (zh) | 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 | |
CN109711431A (zh) | 一处局部分块卷积的目标跟踪方法、***及存储介质 | |
CN117274774A (zh) | 一种基于YOLOv7的X射线安检图像危险品检测算法 | |
CN111815616A (zh) | 一种基于深度学习的x光安检图像中危险品检测方法 | |
CN113781483B (zh) | 工业产品外观缺陷检测方法和装置 | |
CN117523420B (zh) | 一种基于雷达产品数据的闪电落区识别方法及*** | |
CN117253188A (zh) | 基于改进的YOLOv5的变电站接地线状态目标检测方法 | |
CN116258908A (zh) | 一种基于无人机遥感影像数据的地灾预测评估分类方法 | |
CN115830302A (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
CN115410102A (zh) | 基于联合注意力机制的sar图像飞机目标检测方法 | |
CN112199984B (zh) | 一种大尺度遥感图像的目标快速检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |