CN107292870B - 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与*** - Google Patents
基于图像对齐与检测网络模型的轨道塞钉故障检测方法与*** Download PDFInfo
- Publication number
- CN107292870B CN107292870B CN201710424243.1A CN201710424243A CN107292870B CN 107292870 B CN107292870 B CN 107292870B CN 201710424243 A CN201710424243 A CN 201710424243A CN 107292870 B CN107292870 B CN 107292870B
- Authority
- CN
- China
- Prior art keywords
- image
- rail
- network
- plug pin
- alignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 107
- 238000007689 inspection Methods 0.000 claims abstract description 24
- 230000007613 environmental effect Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000002950 deficient Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 5
- 241001669679 Eleotris Species 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001427 coherent effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 239000013074 reference sample Substances 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 238000007599 discharging Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机故障检测技术领域，具体为一种基于图像对齐与检测网络模型的轨道塞钉故障检测方法与***。本发明中，由铁轨巡检车记录正常的塞钉图像作为基准图像；工作人员在例行的铁轨巡检过程中，利用巡检车拍摄最新的铁轨状况，得到铁轨状况图像作为待检测图像，对当前待检测图像和基准图像进行对比分析处理，检测出铁轨中问题塞钉部件位置，从而进行及时更换问题塞钉，确保铁轨运行的安全；具体步骤包括：基于深度网络模型与显著区域的高铁轨道图像精确对齐，基于深度网络模型与环境变化补偿的轨道塞钉的故障检测。本发明基于深度网络模型进行图像对齐与环境变化补偿，具有更精确的识别性能与可靠性。
Description
技术领域
本发明属于计算机故障检测技术领域，具体涉及高铁轨道故障检测方法与***。
背景技术
在我国铁路是重要的交通运输方式，铁轨作为铁路运输的载体，关系到人民的生命财产安全。长期以来，高铁轨道的检测采用的是人工巡检，容易受到天气条件、光照等的影响，而且铁轨巡检人员存在安全隐患。基于图像处理的高铁轨道故障检测具有重要的研究价值。
由于在实际中高铁轨道故障的塞钉较少，所以可以通过拍摄多个月份同一个位置的高铁轨道并比较塞钉的变化，以此来判断塞钉是否存在故障。
高铁轨道中塞钉故障检测主要包括两个方面：轨道对齐和故障检测。轨道图像对齐与检测主要有三个难点：一是铁轨轨道的差异较小，直接进行匹配容易造成错误匹配。二是图像的定位信息不准确,铁轨巡检车装有GPS***，但是GPS定位存在误差。三是高铁轨道受光照因素影响很大，由于拍摄的时间不同，光照不同，同一位置的铁轨在亮度上有很大的差异。
传统的塞钉检测方法依赖的特征都是凭经验人工构建的，比如经典的HOG、LBP特征等 [1-4]，然后基于传统的分类模型进行判定，这样的方法在特征表达与分类器的性能上往往具有较大的局限性。
和人工构建的特征相比，深度学习算法可以自动训练合适的特征表示，如果加入合理运用，可以提高高铁轨道中塞钉故障的检测性能。在文献[5]中使用的基于深度网络的分类模型进行铁轨表面缺陷的检测，然后其中并没有用到基于深度网络的特征表达。在文献[6]中，作者提出了基于深度网络结构的物体检测算法，但它并没包含针对处理高铁轨道图像中出现的对齐与环境变化问题的应对措施。
本发明解决上述问题，提出了基于深度网络的图像对齐模型与物体故障检测模型，并针对高铁轨道照片的拍摄环境变化做了模型设计与算法优化，实现了高精度的故障检测。本方案中提出的解决思路不仅可以用到高铁轨道中的塞钉故障检测，还可以适用于其它类型高铁轨道中的部件故障检测。
参考文选：
[1]杜馨瑜,高利民,吴楠,程雨,王晓东.铁道塞钉图像检测方法及装置.CN201510752738.8,2016.
[2]E.Deutschl,C.Gasser,A.Niel and J.Werschonig.Defect detection onrail surfaces by a vision based system.IEEE Intelligent Vehicles Symposium,2004,pp. 507-511.
[3]Lin Jie,Luo Siwei,Li Qingyong,Zhang Hanqing and Ren Shengwei.Real-time rail head surface defect detection:A geometrical approach.2009IEEEInternational Symposium on Industrial Electronics,Seoul,2009,pp.769-774.
[4]杜馨瑜.基于计算机视觉技术的铁道塞钉自动定位算法.铁道通信信号, 52(9):68-72,2016.
[5]唐湘娜,王耀南.铁轨表面缺陷的视觉检测与识别算法.计算机工程,39(3):25-30, 2013.
[6]Shaoqing Ren,Kaiming He,Ross B Girshick,Jian Sun.Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks.In Advancesin Neural Information Processing Systems,2015,pp.91–99.。
发明内容
本发明的目的在于提供一种高精度、高效率的轨道塞钉故障检测方法与***。
在本发明的应用场景中，需要由铁轨巡检车记录正常的塞钉图像作为基准图像。工作人员之后在例行的铁轨巡检过程中，利用巡检车拍摄最新的铁轨状况，得到铁轨状况图像作为待检测图像，由本发明对这些当前图像(待检测图像)和基准图像进行对比分析处理，检测出铁轨中问题塞钉部件位置，从而进行及时更换问题塞钉，确保铁轨运行的安全。
本发明提供的轨道塞钉故障检测方法，具体步骤如下：
1、基于深度网络模型与显著区域的高铁轨道图像精确对齐
受GPS定位误差的影响，铁轨巡检车在不同时刻对同一段铁路轨道拍摄到的图像存在一定的偏移，因此在对检测阶段拍摄到的图像进行分析前，先要将当前图像与基准图像进行对齐。一般轨道图像的对齐是通过铁轨的定位信息和特征匹配来完成，以往的方法大多采用基于SIFT、 HOG等提取到的局部特征匹配进行匹配，然而受传统特征的性能影响，这些对齐的算法准确性有待进一提高。本发明的对齐方法是基于本发明提出的特定的网络模型，该网络模型包括：物体分割网络、图像对齐网络，能自动对输入的基准图像与检测图像进行的关键点提取与位移偏差估计，实现快速、准确的轨道图像对齐。考虑在铁轨图像的特点，网络模型中采用图像分割算法，加强轨道、枕木、道岔外排锁等显著部分图像的权重，以实现更准确的对齐计算。
网络模型的输入包括两个部分：一部分是当前输入的铁轨图像，即待检测故障的铁轨图像；另一部分是参考图像，即包含正常安装的塞钉的图像。参考图像为铁轨巡检车拍摄的这一路段的历史照片，其中的塞钉均为刚安装后正常状态。当前输入图像与参考图像存在一定的GPS定位误差与拍摄角度误差。
参考图像与待检测图像分别输入物体分割网络。该物体分割网络主要由全卷积层结构的深度网络组成，并针对铁路轨道、枕木与道岔外排锁等显著物体的分割任务进行训练。其中道岔外排锁为铁轨上的重要参照物，如图3中左侧红框中标注的部分所示。经过物体分割网络后，得到图像中铁路轨道、枕木与道岔外排锁等显著物体的大致信息。分割网络的结构主要采用全卷积网络的结构，如图4所示。网络的输出为每一个像素的类别，即：
其中，
为第i行第j列对第k类物体的预测概率，K是预测类别的个数。得到的物体分割区域将作为原始图像的权重，对网络中间卷积层的图像特征图进行加权，其中显著物体区域的权重接近1，非显著物体区域的权重接近0，从而达到噪声过滤的作用。最后特征加权的表征形式为：
zij＝αijxij
其中αij∈[0,1]是第i行第j列是否为物体的权重，xij是原始的特征值，zij是加权后的特征值。
带有权重的参考图像与待对齐图像的特征分别输入后续的图像对齐网络，得到图像对齐参数。该图像对齐网络主要由若干卷积层和全连接层组成，网线最后输出四个变量，分别用入拟合水平位移量Δx、垂直位移量Δy、水平拉伸系数γw和垂直拉伸系数γh,根据这些系数矫正输入图像就能得到对齐后的检测图像。对齐的操作用在数学上可表示为：
x′＝γw(x-Δx)
y′＝γh(y-Δy)
式中(x,y)是对齐前的坐标，(x′,y′)是对齐后的坐标。
2、基于深度网络模型与环境变化补偿的轨道塞钉的故障检测
本发明中轨道塞钉故障检测的目的是发现轨道中的问题塞钉，它在技术上是通过比较检测照片中的塞钉图像与参考图像中原始正常塞钉图像的变化来实现的，如果塞钉状态发生了一定的变化，则判定塞钉发生故障。以往传统方法结合人工定义特征(如HOG、LBP、Haar等)和 SVM和Adaboost等分类器进行判定，识别准确度存在不足，受环境变化影响较大。本发明中的轨道塞钉检测方法通过深度网络模型提取塞钉特征，并在网络模型的中间层中融入环境补偿信息，以减少天气、光照等环境因素的影响，提高算法对故障塞钉判定的准确性。
如图5中，最左侧的模块输入为参考图像与对齐后的待检测图像，其中，方框标注的位置是塞钉部位。参考图像与对齐后的待检测图像首先被送入物体检测网络。本发明的实现***中采用了基于深度学习的带有Region Proposal Network的物体检测网络(全卷积网络结构)对输入图像进行目标检测，该网络结构能够快速、准确地找到图像中的特定物体，输出物体的位置(x,y,w,h)(横轴、纵轴坐标、宽度、高度)与特征表达z。训练网络时，我们以铁轨上的塞钉部位作为正例样本对网络进行训练。通过该物体检测网络，我们可以结合对齐后的位置信息得到同一部位的参考图像与待检测图像中的塞钉特征，供之后的比较分析使用。
同时，将整个参考图像与对齐后的检测图像输入到一个环境补偿网络，得到环境变化补偿特征，用以减少由于不同时间拍摄到的铁轨照片受环境变化的影响。该环境补偿网络采用带有多个卷积层的网络结构，***将参考图像与对齐后的检测图像相减后的残差输入到带有多个卷积层的网络结构，得到描述整体照片变化的深层特征描述，该特征将累加到待检测的塞钉物体特征作为环境变化的补偿量。数学上表示为
x’＝x+xc
其中，x是原本的部件特征，xc为计算到的补偿特征量，x’为经过补偿后的特征量。参考图像中的塞钉物体特征与经过环境变化补偿的待检测图像中的塞钉物体特征将被输入到最后的类似于双胞胎网络中的连接函数进行比较，本发明中的连接函数采用的是欧式距离函数。如果两者的差异大于一定的阈值，则认为待检测的塞钉存在故障，***发出警报信息。
整个故障检测模块中的物体检测网络、环境变化补偿网络、连接函数在模型训练时作为一整体进行最优参数学习，训练中使用的contrastive损失函数，它的数学形式是：
其中，E是最终的损失函数值，y＝1代表两组对比的部件图像都属于正常部件，y＝0代表输入的代检测部件存在故障；N是输入样本的个数，d＝||an-bn||2是两组预测值的差异度， an、bn分别是参考样本和待检样本的网络输出向量；margin是预设的常数阈值，一般取1。
对应于上述轨道塞钉故障检测方法的两个步骤，轨道塞钉故障检测***包括两个模块，即基于深度网络模型与显著区域的高铁轨道图像精确对齐模块、基于深度网络模型与环境变化补偿的轨道塞钉的故障检测模块；两个模块分别实现两个步骤的操作。
本发明***的具体实施步骤为：
第一步，部署完成本发明的故障检测***。检测***的计算单元安装于计算服务器中心，与铁轨巡检车的摄像头进行远程通信，获取铁轨照片，进行分析；
第二步，用户通过铁轨巡检车记录正常的铁轨图像作为参考图像。铁轨巡检车带有GPS定位功能，在拍摄各段铁轨照片的同时，自动记录当前铁轨所在的地理位置信息；
第三步，用户定期使用铁轨巡检车对沿线铁轨进行图像的拍摄，并远程传输至计算中心进行分析；
第四步，***中的算法实时结合铁轨巡检车提供的GPS定位信息，使用***中的图像对齐模块对当前拍摄到的铁轨图像与参考图像(参考图像中包含同一路段的正常塞钉历史图像)进行对齐操作。此过程中对齐模型完全基于本发明的深度网络结构，其中用到特有的铁路轨道、枕木与道岔外排锁等显著物体的分割与加权模块。算法首先检测画面中出现铁路轨道、枕木与道岔外排锁的区域，然后在网络中间层对出现铁路轨道、枕木与道岔外排锁的区域的部分进行加权。经过加权的图像特征继续经过网络模型计算出对齐偏差的估计值；
第五步，***调用其中的故障检测模型对其中存在问题的塞钉图像进行检测，如果发现其中存在故障塞钉，***会及时发出警告。此过程中故障检测模型完全基于本发明的深度网络结果，其中用到特有的环境补偿网络模块。故障检测的主要思路是前在对齐后的输入图像中检测出现塞钉的位置，然后对这些塞钉区域的图像进行特征提取。在提取到这些塞钉区域的原有特征值后，通过网络模型比较原始输入图像和参考图像的整体差异，自动学习到环境变化带来的特征表示的修正值，调整塞钉区域的特征值，即环境变化补偿。最后，经过补偿后的塞钉区域特征经过分类网络模型输出是否为正常状态的塞钉部件的预测；
第六步，维修人员可以通过***反馈对故障塞钉进行维修。当维修完成后，可以及时拍摄、更新新的参考图像数据。
本发明的要点可概括为：
(1)提供基于图像对齐与检测网络模型的轨道塞钉故障检测***，该***由图像对齐模块和故障检测模块两大部分组成，实现基于图像分析的轨道塞钉故障检测；
(2)通过专门设计的图像对齐网络模型实现铁轨巡检车拍摄的检测图像与基准图像的对齐操作，该对齐网络中通过图像分割子模块加强对于轨道、枕木、道岔外排锁等等物体的权重，去除图像中的噪声信息，提升图像对齐算法的性能；
(3)通过故障检测网络模型发现图像中塞钉的位置，同时提取塞钉物体的深度网络特征。专门设计了环境变化补偿特征(如图4中所示)，将当补偿后的待检测图像中的塞钉物体与基准图像中同位置的正常塞钉图像特征进行比较，从而进行是否存在故障的判定。
以上技术方案中第(1)条中的带中轨道、枕木、道岔外排锁等加权的铁轨对齐网络模型与第(2)条中的带有环境变化补偿的故障检测网络均为本发明的核心发明点。
本方案的优势：
(1)本方案中的图像对齐模型与故障检测模型都基于深度网络模型，相较于传统的方法性能更佳，具有更高的鲁棒性；
(2)本方案中的图像对齐模型在深度网络的结构中有机引入了显著区域的权重，在对齐参数的学习中去除了噪声的影响，从而能够得到更高的对齐精度；
(3)本方案中的故障检测模型在深度网络的结构中有机融入了环境变化的补偿信息，通过深度网络模型自动学习复杂环境变化下的描述特征表达方式，并使用类似于双胞胎网络的结构进行正常部件与待检测部件的特征比较，从而达到更可靠的故障检测精度。
附图说明
图1为本发明的铁轨巡检车拍摄到的轨道图像示例。
图2为本发明中所提出的高铁轨道塞钉故障检测***总体流程图。
图3为本发明中所提出的图像对齐模块原理图。
图4为本发明中所提出的故障检测模块原理图。
图5为最左侧的模块输入为参考图像与对齐后的待检测图像。
具体实施方式
本发明中的技术主要用于自动检测高铁铁路轨道中的故障塞钉，以减少人工检测的时间和成本开销。
用户在使用本发明时，首先通过铁轨巡检车记录正常的铁轨图像作为参考。铁轨巡检车带有GPS定位功能，在拍摄各段铁轨照片的同时，会自动记录当前铁轨所在的地理位置信息。由铁轨巡检车所拍摄的铁轨照片如图1所示，图中白框标注区域为本发明中待检测的塞钉部件。当部署完成本发能的故障检测***后，用户仅需定期使用铁轨巡检车对沿线铁轨进行图像的拍摄，***中的算法会实时结合铁轨巡检车提供的GPS定位信息，使用***中的图像对齐模块对当前拍摄到的铁轨图像与参考图像(参考图像中包含同一路段的正常塞钉历史图像)进行对齐操作；然后***会调用其中的故障检测模型对其中存在问题的塞钉图像进行检测，如果发现其中存在故障塞钉，***会及时发出警告。
本发能实施故障检测***的总体流程如图2所示，待检测图像与参考图像分别经过图像对齐模块与故障检测模块后，得到待检测图像中是否包含故障塞钉的判定结果。具体的故障检测步骤如下：
1、由于铁轨巡检车拍摄照片时的GPS定位与拍摄角度等位置信息中存在的误差，首先调用图像对齐模块进行当前输入图像与参考图像的对齐，该模块的整体框架如图3所示。
(a)图像对齐模块的输入由两部分组成。其中一部分是当前输入的铁轨图像，即待检测故障的铁轨图像；另一部分是参考图像，即包含正常安装的塞钉的图像。参考图像为铁轨巡检车拍摄的再一路段的历史照片，其中的塞钉均为刚安装后正常状态。当前输入图像与参考图像存在一定的GPS定位误差与拍摄角度误差；
(b)参考图像与待检测图像分别输入物体分割网络。该物体分割网络主要由全卷积层结构的深度网络组成，并针对铁路轨道、枕木与道岔外排锁等显著物体的分割任务进行训练。其中道岔外排锁为铁轨上的重要参照物，如图3中左侧红框中标注的部分所示。物体分割网络后能得到图像中铁路轨道、枕木与道岔外排锁等显著物体的大致信息；
(c)得到的物体分割区域将作为原始图像的权重，对网络中间卷积层的图像特征图进行加权，其中显著物体区域的权重接近1，非显著物体区域的权重接近0，从而达到噪声过滤的作用；
(d)带有权重的参考图像与待对齐图像的特征分别输入后续的图像对齐网络模型，得到图像对齐参数。该网络主要由若干卷积层和全连接层组成，网线最后输出四个变量，分别用入拟合水平位移量Δx、垂直位移量Δy、水平拉伸系数γw和垂直拉伸系数γh,根据这些系数矫正输入图像就能得到对齐后的检测图像。
2、在得到对齐后的图像后，***进一步调用故障检测模块对其中存在问题的塞钉图像进行检测，该模块会自动发现输入图像中存在问题的塞钉位置，并发出警报。故障检测模块的整体流程如图4所示。
(a)图4中最左侧的模块输入为参考图像与对齐后的待检测图像，其中白色方框标注的位置是塞钉部位；
(b)参考图像与对齐后的待检测图像首先会被送入物体检测网络。本发明的实现***中采用了基于深度学习的带有Region Proposal Network的物体检测网络(全卷积网络结构)对输入图像进行目标检测，该网络结构能够快速、准确地找到图像中的特定物体，输出物体的位置 (x,y,w,h)(横轴、纵轴坐标、宽度、高度)与特征表达z。训练网络时，我们以铁轨上的塞钉部位作为正例样本对网络进行训练。通过该物体检测网络，我们可以结合对齐后的位置信息得到同一部位的参考图像与待检测图像中的塞钉特征，供之后的比较分析使用；
(c)同时，我们将整个参考图像与对齐后的检测图像输入到一个环境补偿网络模型，得到环境变化补偿特征，用以减少由于不同时间拍摄到的铁轨照片受环境变化的影响。该网络将参考图像与对齐后的检测图像相减后的残差输入到带有多个卷积层的网络结构，得到描述整体照片变化的深层特征描述，该特征将累加到待检测的塞钉物体特征作为环境变化的补偿量；
(d)参考图像中的塞钉物体特征与经过环境变化补偿的待检测图像中的塞钉物体特征将被输入到最后的类似于双胞胎网络中的连接函数进行比较，本发明中的连接函数采用的是欧式距离函数。如果两者的差异大于一定的阈值，则认为待检测的塞钉存在故障，***发出警报信息；
(e)整个故障检测模块中的物体检测网络、环境变化补偿网络、连接函数在模型训练时作为一整体进行最优参数学习，训练中使用的contrastive损失函数；
(f)用本专利中的***以两米为单位逐段检测全长80公里的铁轨图像中的故障塞钉，经测试达到查准率97％，查全率99％，每段图像平均检测用时0.10秒；相比于传统特征方法(查准率83％，查全率98％，每段图像平均检测用时0.18秒)有较大提升。
维修人员可以通过***反馈对故障塞钉进行维修。当维修完成后，可以及时拍摄、更新新的参考图像数据。
参考文献
[1]Krizhevsky,Alex,Ilya Sutskever,Geoffrey E.Hinton.ImageNetClassification with Deep Convolutional Neural Networks.In Advances in neuralinformation processing systems, 2012,pp.1097-1105.
[2]NavneetDalal,Bill Triggs.Histograms of Oriented Gradients forHuman Detection.IEEE Computer Society Conference on Computer Vision andPattern Recognition,2005,pp.886-893.
[3]杜馨瑜,高利民,吴楠,程雨,王晓东.铁道塞钉图像检测方法及装置.CN201510752738.8, 2016.
[4]E.Deutschl,C.Gasser,A.Niel and J.Werschonig.Defect detection onrail surfaces by a vision based system.IEEE Intelligent Vehicles Symposium,2004,pp.507-511.
[5]Lin Jie,Luo Siwei,Li Qingyong,Zhang Hanqing and Ren Shengwei.Real-time rail head surface defect detection:A geometrical approach.2009IEEEInternational Symposium on Industrial Electronics,Seoul,2009,pp.769-774.
[6]杜馨瑜.基于计算机视觉技术的铁道塞钉自动定位算法.铁道通信信号,52(9):68-72,2016.
[7]唐湘娜,王耀南.铁轨表面缺陷的视觉检测与识别算法.计算机工程,39(3):25-30,2013.
[8]Shaoqing Ren,Kaiming He,Ross B Girshick,Jian Sun.Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks.In Advancesin Neural Information Processing Systems,2015,pp.91–99。
Claims (3)
1. 轨道塞钉故障检测方法，由铁轨巡检车记录正常的塞钉图像作为基准图像；工作人员之后在例行的铁轨巡检过程中，利用巡检车拍摄最新的铁轨状况，得到铁轨状况图像作为待检测图像，对当前待检测图像和基准图像进行对比分析处理，检测出铁轨中问题塞钉部件位置，从而进行及时更换问题塞钉，确保铁轨运行的安全；其特征在于，具体步骤如下：
（1）基于深度网络模型与显著区域的高铁轨道图像精确对齐
高铁轨道图像精确对齐采用特定的网络模型，该网络模型包括：物体分割网络、图像对齐网络，对基准图像与待检测图像进行的关键点提取与位移偏差估计，实现快速、准确的轨道图像对齐；其中：
物体分割网络包括全卷积层结构的深度网络，并针对铁路轨道、枕木与道岔外排锁的分割任务进行训练；经过物体分割网络后，得到图像中铁路轨道、枕木与道岔外排锁的大致信息；分割网络的输出为每一个像素的类别，即：
其中，
为第
行第
列对第
类物体的预测概率，K是预测类别的个数；得到的物体分割区域作为原始图像的权重，对网络中间卷积层的图像特征图进行加权，其中显著物体区域的权重接近1，非显著物体区域的权重接近0，从而达到噪声过滤的作用；最后特征加权的表征形式为：
其中，
是第i行第j列是否为物体的权重，
是原始的特征值，
是加权后的特征值；
带有权重的参考图像与待对齐图像的特征分别输入后续的图像对齐网络，得到图像对齐参数；该图像对齐网络包括若干卷积层和全连接层，最后输出四个变量，分别融入拟合水平位移量∆x、垂直位移量∆y、水平拉伸系数γ w 和垂直拉伸系数γ h ，根据这些系数矫正输入图像就能得到对齐后的检测图像；对齐的操作用在数学上表示为：
式中，
是对齐前的坐标，
是对齐后的坐标；
（2）基于深度网络模型与环境变化补偿的轨道塞钉的故障检测
轨道塞钉的故障检测是通过深度网络模型提取塞钉特征，并在网络模型的中间层中融入环境补偿信息，以减少天气、光照的影响，提高对故障塞钉判定的准确性；所述深度网络模型包括：物体检测网络、环境补偿网络、连接函数；其中：
参考图像与对齐后的待检测图像首先送入物体检测网络；物体检测网络采用基于深度学习的带有Region Proposal Network的物体检测网络对输入图像进行目标检测，输出物体的位置
：横轴、纵轴坐标、宽度、高度，以及特征表达
；
同时，将整个参考图像与对齐后的待检测图像输入到环境补偿网络，得到环境变化补偿特征，用以减少由于不同时间拍摄到的铁轨照片受环境变化的影响；该环境补偿网络采用带有多个卷积层的网络结构，***先将参考图像与对齐后的检测图像相减，得到的残差输入到带有多个卷积层的网络结构，得到描述整体照片变化的深层特征描述，该特征将累加到待检测的塞钉物体特征作为环境变化的补偿量；参考图像中的塞钉物体特征与经过环境变化补偿的待检测图像中的塞钉物体特征被输入到最后的类似于双胞胎网络中的连接函数进行比较；连接函数采用欧式距离函数；如果两者的差异大于一定的阈值，则认为待检测的塞钉存在故障，***发出警报信息；
故障检测过程中的物体检测网络、环境补偿网络、连接函数在模型训练时作为一整体进行最优参数学习，训练中使用的contrastive损失函数，它的数学形式是：
其中，E是最终的损失函数值，y=1代表两组对比的部件图像都属于正常部件，y=0代表输入的待检测部件存在故障；N是输入样本的个数，
是两组预测值的差异度，a n 、b n 分别是参考样本和待检样本的网络输出向量；margin是预设的常数阈值。
2.一种基于权利要求1所述方法的轨道塞钉故障检测***，其特征在于，包括两个模块，即基于深度网络模型与显著区域的高铁轨道图像精确对齐模块、基于深度网络模型与环境变化补偿的轨道塞钉的故障检测模块，实现对应于所述轨道塞钉故障检测方法的两个步骤工作。
3.如权利要求2所述的轨道塞钉故障检测***的实施方法，具体操作流程如下：
第一步，部署轨道塞钉故障检测***，即将轨道塞钉故障检测***的计算单元安装于计算服务器中心，与铁轨巡检车的摄像头进行远程通信，获取铁轨照片，进行分析；
第二步，用户通过铁轨巡检车记录正常的铁轨图像作为参考图像；铁轨巡检车带有GPS定位功能，在拍摄各段铁轨照片的同时，自动记录当前铁轨所在的地理位置信息；
第三步，用户定期使用铁轨巡检车对沿线铁轨进行图像的拍摄，并远程传输至计算中心进行分析；
第四步，道塞钉故障检测***中的算法实时结合铁轨巡检车提供的GPS定位信息，使用***中的图像对齐模块对当前拍摄到的铁轨图像与参考图像进行对齐操作；经过加权的图像特征继续经过网络模型计算出对齐偏差的估计值；
第五步，道塞钉故障检测***调用其中的故障检测模型对其中存在问题的塞钉图像进行检测，如果发现其中存在故障塞钉，及时发出警告；
第六步，维修人员通过***反馈信息，对故障塞钉进行维修；维修完成后，及时拍摄、更新新的参考图像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710424243.1A CN107292870B (zh) | 2017-06-07 | 2017-06-07 | 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710424243.1A CN107292870B (zh) | 2017-06-07 | 2017-06-07 | 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107292870A CN107292870A (zh) | 2017-10-24 |
| CN107292870B true CN107292870B (zh) | 2020-11-20 |
Family
ID=60096070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710424243.1A Active CN107292870B (zh) | 2017-06-07 | 2017-06-07 | 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107292870B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846841A (zh) | 2018-07-02 | 2018-11-20 | 北京百度网讯科技有限公司 | 显示屏质量检测方法、装置、电子设备及存储介质 |
| CN108961288B (zh) * | 2018-07-10 | 2022-03-01 | 中国铁路上海局集团有限公司科学技术研究所 | 一种轨腰塞钉销及引线检测图像智能识别方法 |
| CN109116865A (zh) * | 2018-09-19 | 2019-01-01 | 苏州傲特欣智能科技有限公司 | 基于机器视觉的大型设备无人机巡检***及其方法 |
| US10752271B2 (en) * | 2018-11-15 | 2020-08-25 | Avante International Technology, Inc. | Image-based monitoring and detection of track/rail faults |
| US10984521B2 (en) * | 2018-11-20 | 2021-04-20 | Bnsf Railway Company | Systems and methods for determining defects in physical objects |
| CN109658397A (zh) * | 2018-12-12 | 2019-04-19 | 广州地铁集团有限公司 | 一种轨道巡检方法及*** |
| CN109636812A (zh) * | 2018-12-13 | 2019-04-16 | 银河水滴科技（北京）有限公司 | 一种钢轨表面与接触网表面图像分割方法及装置 |
| CN109948690A (zh) * | 2019-03-14 | 2019-06-28 | 西南交通大学 | 一种基于深度学习和结构信息的高铁场景感知方法 |
| CN112526959A (zh) * | 2019-09-19 | 2021-03-19 | 北京国双科技有限公司 | 一种抽油泵故障诊断方法、装置、设备及存储介质 |
| CN110782443B (zh) * | 2019-10-23 | 2023-04-07 | 四川大学 | 一种铁路轨道缺陷检测方法和*** |
| CN111091554B (zh) * | 2019-12-12 | 2020-08-28 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车摇枕断裂故障图像识别方法 |
| CN111197977B (zh) * | 2019-12-31 | 2021-11-26 | 北京京天威科技发展有限公司 | 一种基于轨腰塞钉图像识别的扼流变压器箱盒图像实时筛选方法 |
| CN111340774B (zh) * | 2020-02-24 | 2023-03-21 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置、计算机设备及存储介质 |
| CN114022826B (zh) * | 2022-01-05 | 2022-03-25 | 石家庄学院 | 一种基于区块链的铁轨检测方法及*** |
| CN118101413B (zh) * | 2024-04-25 | 2024-07-23 | 中国电建集团江西省电力设计院有限公司 | 基于神经网络的数据通信网设备故障诊断方法及设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426894A (zh) * | 2015-11-06 | 2016-03-23 | 中国铁道科学研究院 | 铁道塞钉图像检测方法及装置 |
-
2017
- 2017-06-07 CN CN201710424243.1A patent/CN107292870B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426894A (zh) * | 2015-11-06 | 2016-03-23 | 中国铁道科学研究院 | 铁道塞钉图像检测方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| Faster R-CNN:Towards Real-Time Object Detection with Regin Proposal Networks;Shaoqing Ren 等;《Advances in Neural Information Processing System》;20151231;全文 * |
| 基于深度学习的铁道塞钉自动检测算法;杜馨瑜 等;《中国铁道科学》;20170531;第38卷(第3期);全文 * |
| 基于计算机视觉技术的铁道塞钉自动定位算法;杜馨瑜;《铁道通信信号》;20160930;第52卷(第9期);全文 * |
| 高速铁路轨腰塞钉巡检***研究;吴楠 等;《中国铁路》;20150831;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107292870A (zh) | 2017-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292870B (zh) | 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与*** | |
| CN106935035B (zh) | 基于ssd神经网络的违章停车车辆实时检测方法 | |
| CN106226050B (zh) | 一种基于卷积神经网络的tfds故障图像自动识别方法 | |
| CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及*** | |
| CN111489339B (zh) | 高速铁路***螺栓备母缺陷的检测方法 | |
| CN105447459A (zh) | 一种无人机自动检测目标和跟踪方法 | |
| CN105799740A (zh) | 一种基于物联网技术的轨道异物入侵自动检测与预警方法 | |
| CN108846331B (zh) | 一种动车组底盘螺丝紧固件是否脱落的视频识别方法 | |
| CN111753797B (zh) | 一种基于视频分析的车辆测速方法 | |
| CN105184271A (zh) | 一种基于深度学习的车辆自动检测方法 | |
| CN104504897A (zh) | 一种基于轨迹数据的交叉***通流特性分析及车辆运动预测方法 | |
| CN108230254A (zh) | 一种自适应场景切换的高速交通全车道线自动检测方法 | |
| CN106548147A (zh) | 一种快速的噪声鲁棒性图像异物检测方法及teds*** | |
| CN108875754B (zh) | 一种基于多深度特征融合网络的车辆再识别方法 | |
| CN109447090B (zh) | 一种屏蔽门障碍物检测方法及检测*** | |
| CN103123726B (zh) | 一种基于运动行为分析的目标跟踪算法 | |
| CN105741291A (zh) | 一种高速铁路接触网悬挂装置等电位线故障检测方法 | |
| CN106096504A (zh) | 一种基于无人机机载平台的车型识别方法 | |
| CN109766746A (zh) | 一种无人机航拍视频的轨道异物检测方法 | |
| CN105513349A (zh) | 基于双视角学习的山区高速公路车辆事件检测方法 | |
| CN102799862A (zh) | 高清视频监控图像的行人快速定位、事件检测***及方法 | |
| CN111862029A (zh) | 一种铁路动车组垂向减震器螺栓部件故障检测方法 | |
| CN111598855B (zh) | 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法 | |
| CN104598916A (zh) | 一种火车识别***的构建方法和火车识别的方法 | |
| CN102902951A (zh) | 高清视频监控图像的车辆目标定位、事件检测***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |