CN114998244A - 基于计算机视觉的轨道梁指形板智能巡检***及方法 - Google Patents

基于计算机视觉的轨道梁指形板智能巡检***及方法 Download PDF

Info

Publication number
CN114998244A
CN114998244A CN202210589450.3A CN202210589450A CN114998244A CN 114998244 A CN114998244 A CN 114998244A CN 202210589450 A CN202210589450 A CN 202210589450A CN 114998244 A CN114998244 A CN 114998244A
Authority
CN
China
Prior art keywords
finger
shaped plate
track beam
dimensional image
plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210589450.3A
Other languages
English (en)
Inventor
薛浩飞
赵栋
杨杰
余杰
冯鑫
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRRC Qingdao Sifang Rolling Stock Research Institute Co Ltd
Original Assignee
CRRC Qingdao Sifang Rolling Stock Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRRC Qingdao Sifang Rolling Stock Research Institute Co Ltd filed Critical CRRC Qingdao Sifang Rolling Stock Research Institute Co Ltd
Priority to CN202210589450.3A priority Critical patent/CN114998244A/zh
Publication of CN114998244A publication Critical patent/CN114998244A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1463—Orientation detection or correction, e.g. rotation of multiples of 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于计算机视觉的轨道梁指形板智能巡检***及方法，上述***包括安装在巡检车上的车载设备以及地面分析中心，车载设备包括：轨道梁号识别模块、指形板三维检测模块、脉冲控制盒与图像处理分析***；轨道梁号识别模块随着巡检车运行采集轨道梁号图像并根据轨道梁号图像识别轨道梁编号，在轨道梁号识别模块识别到轨道梁编号时，脉冲控制盒触发指形板三维检测模块采集指形板的三维图像与二维图像，图像分析处理***结合轨道梁编号对指形板的三维图像与二维图像进行处理分析。通过该指形板智能巡检***能够提高巡检效率并减少人工维护成本。

Description

基于计算机视觉的轨道梁指形板智能巡检***及方法
技术领域
本发明涉及轨道检测技术领域，尤其涉及一种基于计算机视觉的轨道梁指形板智能巡检***及方法。
背景技术
轨道交通已经成为我国城市人群出行的重要交通方式之一。目前，我国城市轨道交通总里程已超过6000km，地铁占比约85％，但传统地铁投资高、建设周期长，难以适应中小型城市的交通建设需求。相比于双轨式钢轨地铁，跨座式单轨造价低廉、所占空间小、轻巧灵活，更加适合在地形复杂和人口密集的城市进行铺设。
跨座式单轨技术应用范围的不断扩大，对其部件的定期检测提出了更高的要求。指形板作为跨座式单轨的关键部件，其松动造成相邻两榀梁错位会影响轨道交通的安全运行。目前，指形板日常巡检(巡线)主要依赖人工测试指形板是否发生故障。由于夜间光线不足、工作车速度过快、巡检人员视觉不佳等因素无法精确检测指形板存在的细微病害。指形板巡检的理想方法是采用机器代替人工的方式，实现故障特征的自动识别，但目前常用的识别方法依然停留在安装辅助传感器的方式，由于指形板数量众多，安装空间受限，使得大规模高效率的指形板巡检难以实现。
发明内容
本发明针对上述的现有的指形板巡检效率低等技术问题，提出一种能够提高检测效率的基于计算机视觉的轨道梁指形板智能巡检***及方法。
第一方面，本申请实施例提供了一种基于计算机视觉的轨道梁指形板智能巡检***，包括安装在巡检车上的车载设备，所述车载设备包括：轨道梁号识别模块、指形板三维检测模块、脉冲控制盒与图像处理分析***；
所述轨道梁号识别模块随着巡检车运行采集轨道梁号图像并根据所述轨道梁号图像识别轨道梁编号，在所述轨道梁号识别模块识别到轨道梁编号时，所述脉冲控制盒触发指形板三维检测模块采集指形板的三维图像与二维图像，所述图像分析处理***结合所述轨道梁编号对所述指形板的三维图像与二维图像进行处理分析。
上述轨道梁指形板智能巡检***，其中，所述图像分析处理***包括车载服务器与显示终端，所述车载服务器通过基于YOLO模型的深度学习对所述指形板的二维图像进行指形板检测，得到所述指形板的位置信息，根据所述位置信息通过所述指形板的三维图像判断所述指形板是否发生故障；若发生故障，所述显示终端显示故障信息并报警。
上述轨道梁指形板智能巡检***，其中，所述车载设备还包括里程编码器，用于对所述巡检车的行驶里程进行记录；若所述车载服务器对所述指形板的二维图像进行指形板检测时未得到所述指形板的位置信息，则通过所述里程编码器判断所述指型板是否在实际里程范围内。
上述轨道梁指形板智能巡检***，其中，所述轨道梁号识别模块通过OCR 字符识别技术识别轨道梁编号，并根据识别出的轨道梁编号对所述里程编码器进行校准。
上述轨道梁指形板智能巡检***，其中，还包括地面分析中心，所述地面分析中心接收压缩后的所述指形板的三维图像与二维图像，根据所述指型板的三维图像与二维图像提取所述指形板的特征数据，利用所述指形板的特征数据预测所述指形板的特征变化趋势。
上述轨道梁指形板智能巡检***，其中，所述指形板三维检测模块包括多个线激光3D相机与2D相机，所述指型板三维检测模块被触发后通过所述线激光3D相机采集三维图像，通过所述2D相机采集二维图像，采集经过一定距离后，所述指形板三维检测模块自动关闭，直至所述轨道梁号识别模块再次识别到轨道梁号。
第二方面，本申请实施例提供了一种应用于上述轨道梁指形板智能巡检***的基于计算机视觉的轨道梁指形板智能巡检方法，包括：
轨道梁编号识别步骤：通过轨道梁号识别模块采集轨道梁号图像，基于OCR 字符识别技术根据轨道梁号图像识别轨道梁编号；
指形板图像采集步骤：识别到轨道梁编号时，通过脉冲控制盒触发指形板三维检测模块采集指形板的三维图像与二维图像；
指形板图像处理步骤：将所述指形板的三维图像与二维图像发送至图像分析处理***中，通过图像分析处理***结合所述轨道梁编号对所述指形板的三维图像与二维图像进行处理分析。
上述轨道梁指形板智能巡检方法，其中，所述指型板图像处理步骤包括：
二维图像检测步骤：通过基于YOLO模型的深度学习对所述指形板的二维图像进行指形板检测，得到指形板的位置信息；
三维图像检测步骤：根据所述位置信息对所述指型板的三维图像进行检测，判断是否发生故障。
上述轨道梁指形板智能巡检方法，其中，所述二维图像检测步骤还包括：
若未检测到所述指型板的位置信息，则根据里程编码器记录的行驶里程判断所述指型板是否在实际里程范围内，若不在，则记录故障信息。
上述轨道梁指形板智能巡检方法，其中，所述三维图像检测步骤包括：
根据所述位置信息对所述指型板的三维图像进行检测，获得检测结果，判断所述检测结果是否满足检测指标，若满足，则返回所述轨道梁编号识别步骤，若不满足，则记录故障信息。
与现有技术相比，本发明的优点和积极效果在于：
1、本发明提出的基于视觉方式的单轨车辆指形板检测***安装在轨道检测车上，既提高了人工效率，又不需要单独定制检测车辆；并且使用基于相机模组的点云图和彩色图方式进行轨道梁的特征检测和故障测量，在车辆移动的过程中实时检测，实现了非接触、高效率的指形板状态检测；
2、通过收集指形板信息，对指形板进行全局分析，对存在故障的部件进行故障报警，及时完成检修任务，有力地确保在线运营线路的指形板都处于正常安全的工作状态，保障列车的正常运行。
附图说明
图1为轨道梁指形板示意图；
图2为本发明提供的基于计算机视觉的轨道梁指形板智能巡检***的结构示意图；
图3为本发明提供的***设备布局示意图；
图4为本发明提供的指形板三维检测模块的外观示意图；
图5为本发明提供的指形板三维检测模块安装位置示意图；
图6为本发明提供的基于深度学习的OCR解决方案流程图；
图7为本发明提供的图像处理分析***的工作流程图；
图8为本发明提供的指形板目标检测结果示意图；
图9为本发明提供的目标检测YOLO框架流程图；
图10为本发明提供的指形板点云处理结果图；
图11为本发明提供的车载设备的工作流程图；
图12为本发明提供的基于计算机视觉的轨道梁指形板智能巡检方法的流程示意图；
其中，附图标记为：
1、指形板三维检测模块；2、轨道梁号识别模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
本发明的轨道梁指形板自动巡检***，是基于非接触式三维视觉测量技术设计而成。通过安装在检测车前端的检测***，可同时检测轨道梁顶部走行面、两侧导向面和稳定面的所有指形板，如图1所示，并对指形板固定螺栓松动、错台、碰指和缝隙超标等重大病害能实时报警。
实施例一：
图2为本发明提供的基于计算机视觉的轨道梁指形板智能巡检***的结构示意图；如图2所示，该轨道梁指形板智能巡检***包括安装在巡检车上的车载设备与地面分析中心，所述车载设备包括：轨道梁号识别模块、指形板三维检测模块、脉冲控制盒与图像处理分析***；
所述轨道梁号识别模块随着巡检车运行采集轨道梁号图像并根据所述轨道梁号图像通过OCR字符识别技术识别轨道梁编号，在所述轨道梁号识别模块识别到轨道梁编号时，所述脉冲控制盒触发指形板三维检测模块采集指形板的三维图像与二维图像，所述图像分析处理***结合所述轨道梁编号对所述指形板的三维图像与二维图像进行处理分析。
所述指形板三维检测模块包括多个线激光3D相机与2D相机，所述指型板三维检测模块被触发后通过所述线激光3D相机采集三维图像，通过所述2D相机采集二维图像，采集经过一定距离后，所述指形板三维检测模块自动关闭，直至所述轨道梁号识别模块再次识别到轨道梁号。
所述图像分析处理***包括车载服务器与显示终端，所述车载服务器通过基于YOLO模型的深度学习对所述指形板的二维图像进行指形板检测，得到所述指形板的位置信息，根据所述位置信息通过所述指形板的三维图像判断所述指形板是否发生故障；若发生故障，所述显示终端显示故障信息并报警。
所述车载设备还包括里程编码器，用于对所述巡检车的行驶里程进行记录；并可以根据轨道梁号识别模块识别出的轨道梁编号对所述里程编码器进行校准。若所述车载服务器对所述指形板的二维图像进行指形板检测时未得到所述指形板的位置信息，则通过所述里程编码器判断所述指型板是否在实际里程范围内。
所述地面分析中心接收压缩后的所述指形板的三维图像与二维图像，根据所述指型板的三维图像与二维图像提取所述指形板的特征数据，利用所述指形板的特征数据预测所述指形板的特征变化趋势。
以下结合具体实施例说明本发明提出的基于计算机视觉的轨道梁指形板智能巡检***的具体实施方式。
在一些实施例中，车载设备包括：6个指形板三维检测模块1，6个脉冲控制盒，1个轨道梁号识别模块2，1个里程编码器，1套图像处理分析***。其中，图像分析处理***包含2台车载服务器，1套UPS和1台显示终端。
其中，如图3所示，6个指形板三维检测模块1安装在巡检车包围网内部，随着巡检车运行不断采集指形板的三维和二维图像数据；如图4所示，指形板三维检测模块由多个相机组成，包含线激光3D相机与2D相机，安装位置如图5 所示。线激光3D相机采集点云图像，2D相机采集彩色图像，三维检测模块将采集到的点云图像(三维图像)和彩色图像(二维图像)上传至图像处理分析***的车载服务器中。由于采用线激光3D相机，可以使成像受外界干扰小，且成像时间短。
上述里程编码器用于对检测车行驶里程进行记录；脉冲控制盒用于指形板三维检测模块的触发控制；
上述轨道梁号识别模块2安装在巡检车包围网内部，不断采集轨道梁特定位置的轨道梁号图像并输出字符识别结果；
具体的，轨道梁号识别模块以固定角度安装在检测车前端一侧，通过高速摄像机不断采集图像，并基于OCR字符识别技术识别轨道梁编号。通过识别到的编号信息，对里程编码器进行校准，消除其累计误差。在识别到编号信息的同时，脉冲控制盒触发6个指形板三维检测模块采集点云图像，并与该编号一起保存到车载服务器中。拍摄一定距离后，指形板三维检测模块自动关闭，直到再次识别到轨道梁号。其安装位置如图3所示。
上述实施例中，轨道梁号识别模块采用OCR字符识别技术识别轨道梁编号的过程，主要包括图像预处理、文本区域检测、文字识别和结果处理等步骤。其中，基于网格的文本区域检测和文字识别是OCR识别的关键技术，图像预处理过程中，读取文字时需要先对图像进行方向判定，需要使用预训练的VGG16 网络进行迁移学习实现文字方向的倾斜校正，对文字识别结果，采用正则表达式匹配识别结果中的关键字的方式提取识别结果中的关键信息。
如图6所示，流程如下：
图像预处理：首先对采集到的图像进行图像增强，高斯滤波，消除噪声的影响，然后对获取的图像进行文字的边缘提取，采用VGG16网络进行迁移学习实现OCR文字识别前图像文字倾斜方向的判断，对图像进行对应角度的旋转，为文字区域检测和识别进行准备；
文本区域检测：通过提取文本区域的卷积特征，采用yolo V3对文本区域进行网格的目标检测，并准确框选出文字所在的边缘；
文字识别：该模型采用标准CNN模型中的卷积层和最大池化层构造卷积层组件，对文本行进行卷积特征的提取后，特征向量序列作为循环层的输入，并通过CTC转录技术对上一层获取的标签分布通过去重整合等操作进行转换；
结果处理：基于正则表达式进行图像数据中字符的筛选匹配，得到最终结果。
在一些实施例中，图像处理分析***用于对指形板的高清二维及三维图像数据进行处理分析，自动分析识别出指形板的螺栓松动、板间缝隙、高低差值、齿缝间距等检测项点信息；
其中，图像分析处理***包含2台车载服务器，1套UPS和1台显示终端。车载服务器用于控制***实现所有传感器信号收集处理及数据存储和图像处理分析***的布置；UPS用于断电后维持服务器正常运行；显示终端用于实时显示***的运行状态，可实现录像回看和故障报警。具体来说，显示终端的客户端界面中，能够实现录像的查询回看，还能够将检测到的故障进行报警，并指导检修技术人员进行维修。
图像处理分析***的工作流程如图7所示。在相机采集点云图像的过程中，受到车辆振动的影响，点云会出现规律性的点云位移，需进行误差校正。***采集到对应的点云图像和彩色图像数据，通过基于YOLO模型的深度学习对彩色图像数据进行指形板检测，得到结果如图8所示。
其中，YOLO将检测问题当作边界框以及分类概率回归的问题进行解决，大多检测算法都是靠重新运用分类器进行检测。YOLO将产生候选区的支路去掉，对图像直接进行候选区分类和边界框回归，减少对同一目标做多次检测。所有模块放在无分支的卷积神经网络中完成，实现端到端的框架。如图9所示。因此网络由于无分支而变得简单，相对于基于候选区域的检测速度明显变快。YOLO 具体做法是对于一幅图像，在图像上放置S×S网格，将图像送入卷积网络提取特征后，全连接层输出目标分类和边界框。其中每个网格负责检测落在本网格中的目标，单个网格预测出B个边界框、置信度和目标种类。用非极大值抑制对多余边界框去除，得到检测结果。
由于指形板型号已知，对指形板定位后，便可通过在点云图上寻找预设固定位置得到指形板上12个圆形螺丝所在处与螺孔外平面的高度差，通过高度差判断螺丝是否松动，如图10所示。
通过指形板定位，沿CD方向对点云图进行搜索可得到两个指形板所在梁之间的高度差，判断是否出现错台现象，如图10所示。
通过指形板定位，可通过AB方向对点云图进行搜索，即可得到指间距和指间高度差，以判断是否出现碰指现象，结果如图10所示。
即本发明可覆盖指形板检修项点，如指形板状态检测(断指、碰指)、紧固螺栓状态检测(缺失、松动)和指形板”错台”等。
综上所述，车载设备的工作流程如图11所示：指形板巡检***运行后，轨道梁号识别模块获取轨道梁号图像并根据所述轨道梁号图像识别轨道梁编号，在所述轨道梁号识别模块识别到轨道梁编号时，所述脉冲控制盒触发指形板三维检测模块采集指形板的三维图像与二维图像，所述图像分析处理***结合所述轨道梁编号对所述指形板的三维图像与二维图像进行处理分析，对处理结果进行结果存储及故障报警。
另外，本发明还可以根据采集的每张图像数据，参考目标检测点附近区域点云数据，比对检测点点云数据，可判断当前检测区域状态，解决了外部环境干扰带来的误报、漏报现象。
在一些实施例中，地面分析中心包括：1台数据存储分析服务器、1台一体机、客户端软件。
当检测车到站后，将点云图像和彩色图像进行压缩并通过无线网络传递到地面分析中心，地面分析中心可基于数据预处理算法对采集到指形板的历史数据进行处理，借助有效的统计分析来提取指形板特征数据中有效的数值化统计特征，基于机器学习的各种特征处理算法对指形板特征数据进行挖掘、分析，寻找其变化的规律，实现指形板特征变化趋势的预测，为指形板的磨损和变化情况提供及时的预警。其中，数据存储分析服务器用于数据存储及分析；一体机用于客户端软件的布置及人员作业和趋势分析结果的展示等；
上述智能巡检***的其他安装附属设备包括但不限于线缆、线缆槽、设备安装座等。
综上所述，通过该智能巡检***能够提高线路可靠性，研究指形板巡检***，收集指形板信息，对指形板进行全局分析，对存在故障的部件进行故障报警，及时完成检修任务，有力地确保在线运营线路的指形板都处于正常安全的工作状态，保障列车的正常运行。其次，能够提高巡检效率，现有指形板日常巡检受夜间光线不足、工作车速度过快、巡检人员视觉不佳的影响，效率低下，巡检时间长，不能有效发现指形板存在的细微病害。本指形板巡检***缩短巡检时间，提高巡检范围，能高效可靠检测指形板的故障。还能够减少人工维护成本，人工检测的工作效率低、强度大、而且不适应机械化、自动化的需要。研究指形板智能巡检***，可以极大的提高检测效率。将原有指形板检修时间由原有的10-15分钟降低至3-5分钟，能提高60％检测效率；并将巡检周期由 30天缩短为5天，能提高80％指形板检测效率。部署指形板巡检***，对指形板进行***监测，检修人员只需根据电脑提供的信息进行定点维护与更换，降低指形板的人工检测频率，减少维护人员数量。部署巡检***后，可优化现场指形板检测所需人员配置，每年减少20万人工成本。
实施例二：
结合实施例一所揭示的一种轨道梁指形板智能巡检***，本实施例揭示了一种应用于上述轨道梁指形板智能巡检***的智能巡检方法(以下简称“方法”) 的具体实施示例。
参照图12所示，所述方法包括：
步骤S1：通过轨道梁号识别模块采集轨道梁号图像，基于OCR字符识别技术根据轨道梁号图像识别轨道梁编号；
步骤S2：识别到轨道梁编号时，通过脉冲控制盒触发指形板三维检测模块采集指形板的三维图像与二维图像；
步骤S3：将所述指形板的三维图像与二维图像发送至图像分析处理***中，通过图像分析处理***结合所述轨道梁编号对所述指形板的三维图像与二维图像进行处理分析。
其中，步骤S3具体包括：
步骤S31：通过基于YOLO模型的深度学习对所述指形板的二维图像进行指形板检测，得到指形板的位置信息；
若未检测到所述指型板的位置信息，则根据里程编码器记录的行驶里程判断所述指型板是否在实际里程范围内，若不在，则记录故障信息。
步骤S32：根据所述位置信息对所述指型板的三维图像进行检测，判断是否发生故障。
步骤S32具体包括，根据所述位置信息对所述指型板的三维图像进行检测，获得检测结果，判断所述检测结果是否满足检测指标，若满足，则返回所述轨道梁编号识别步骤，若不满足，则记录故障信息。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于计算机视觉的轨道梁指形板智能巡检***，其特征在于，包括安装在巡检车上的车载设备，所述车载设备包括：轨道梁号识别模块、指形板三维检测模块、脉冲控制盒与图像处理分析***；
所述轨道梁号识别模块随着巡检车运行采集轨道梁号图像并根据所述轨道梁号图像识别轨道梁编号，在所述轨道梁号识别模块识别到轨道梁编号时，所述脉冲控制盒触发指形板三维检测模块采集指形板的三维图像与二维图像，所述图像分析处理***结合所述轨道梁编号对所述指形板的三维图像与二维图像进行处理分析。
2.根据权利要求1所述的轨道梁指形板智能巡检***，其特征在于，所述图像分析处理***包括车载服务器与显示终端，所述车载服务器通过基于YOLO模型的深度学习对所述指形板的二维图像进行指形板检测，得到所述指形板的位置信息，根据所述位置信息通过所述指形板的三维图像判断所述指形板是否发生故障；若发生故障，所述显示终端显示故障信息并报警。
3.根据权利要求2所述的轨道梁指形板智能巡检***，其特征在于，所述车载设备还包括里程编码器，用于对所述巡检车的行驶里程进行记录；若所述车载服务器对所述指形板的二维图像进行指形板检测时未得到所述指形板的位置信息，则通过所述里程编码器判断所述指型板是否在实际里程范围内。
4.根据权利要求3所述的轨道梁指形板智能巡检***，其特征在于，所述轨道梁号识别模块通过OCR字符识别技术识别轨道梁编号，并根据识别出的轨道梁编号对所述里程编码器进行校准。
5.根据权利要求1所述的轨道梁指形板智能巡检***，其特征在于，还包括地面分析中心，所述地面分析中心接收压缩后的所述指形板的三维图像与二维图像，根据所述指型板的三维图像与二维图像提取所述指形板的特征数据，利用所述指形板的特征数据预测所述指形板的特征变化趋势。
6.根据权利要求1所述的轨道梁指形板智能巡检***，其特征在于，所述指形板三维检测模块包括多个线激光3D相机与2D相机，所述指型板三维检测模块被触发后通过所述线激光3D相机采集三维图像，通过所述2D相机采集二维图像，采集经过一定距离后，所述指形板三维检测模块自动关闭，直至所述轨道梁号识别模块再次识别到轨道梁号。
7.一种基于计算机视觉的轨道梁指形板智能巡检方法，其特征在于，应用于上述权利要求1-6任一项所述的轨道梁指形板智能巡检***，所述轨道梁指形板智能巡检方法包括：
轨道梁编号识别步骤：通过轨道梁号识别模块采集轨道梁号图像，基于OCR字符识别技术根据轨道梁号图像识别轨道梁编号；
指形板图像采集步骤：识别到轨道梁编号时，通过脉冲控制盒触发指形板三维检测模块采集指形板的三维图像与二维图像；
指形板图像处理步骤：将所述指形板的三维图像与二维图像发送至图像分析处理***中，通过图像分析处理***结合所述轨道梁编号对所述指形板的三维图像与二维图像进行处理分析。
8.根据权利要求7所述的轨道梁指形板智能巡检方法，其特征在于，所述指型板图像处理步骤包括：
二维图像检测步骤：通过基于YOLO模型的深度学习对所述指形板的二维图像进行指形板检测，得到指形板的位置信息；
三维图像检测步骤：根据所述位置信息对所述指型板的三维图像进行检测，判断是否发生故障。
9.根据权利要求8所述的轨道梁指形板智能巡检方法，其特征在于，所述二维图像检测步骤还包括：
若未检测到所述指型板的位置信息，则根据里程编码器记录的行驶里程判断所述指型板是否在实际里程范围内，若不在，则记录故障信息。
10.根据权利要求8所述的轨道梁指形板智能巡检方法，其特征在于，所述三维图像检测步骤包括：
根据所述位置信息对所述指型板的三维图像进行检测，获得检测结果，判断所述检测结果是否满足检测指标，若满足，则返回所述轨道梁编号识别步骤，若不满足，则记录故障信息。
CN202210589450.3A 2022-05-27 2022-05-27 基于计算机视觉的轨道梁指形板智能巡检***及方法 Pending CN114998244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210589450.3A CN114998244A (zh) 2022-05-27 2022-05-27 基于计算机视觉的轨道梁指形板智能巡检***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210589450.3A CN114998244A (zh) 2022-05-27 2022-05-27 基于计算机视觉的轨道梁指形板智能巡检***及方法

Publications (1)

Publication Number Publication Date
CN114998244A true CN114998244A (zh) 2022-09-02

Family

ID=83029496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210589450.3A Pending CN114998244A (zh) 2022-05-27 2022-05-27 基于计算机视觉的轨道梁指形板智能巡检***及方法

Country Status (1)

Country Link
CN (1) CN114998244A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115892112A (zh) * 2022-11-09 2023-04-04 中铁工程机械研究设计院有限公司 接缝检测方法、接缝检测控制装置及检测车
CN115937165A (zh) * 2022-12-19 2023-04-07 中交公路长大桥建设国家工程研究中心有限公司 一种移动式螺栓松动智能检测识别方法及***
CN117078687A (zh) * 2023-10-17 2023-11-17 常州海图信息科技股份有限公司 基于机器视觉的轨道巡检***及方法
CN117218743A (zh) * 2023-11-07 2023-12-12 诺比侃人工智能科技(成都)股份有限公司 基于机器视觉的智能巡检控制方法及***
CN117911196A (zh) * 2024-03-19 2024-04-19 百脉英华科技有限公司 基于人工智能的环网柜全周期运行数据监管***及方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115892112A (zh) * 2022-11-09 2023-04-04 中铁工程机械研究设计院有限公司 接缝检测方法、接缝检测控制装置及检测车
WO2024098985A1 (zh) * 2022-11-09 2024-05-16 中铁工程机械研究设计院有限公司 接缝检测方法、接缝检测控制装置及检测车
CN115892112B (zh) * 2022-11-09 2024-07-02 中铁工程机械研究设计院有限公司 接缝检测方法、接缝检测控制装置及检测车
CN115937165A (zh) * 2022-12-19 2023-04-07 中交公路长大桥建设国家工程研究中心有限公司 一种移动式螺栓松动智能检测识别方法及***
CN115937165B (zh) * 2022-12-19 2023-08-25 中交公路长大桥建设国家工程研究中心有限公司 一种移动式螺栓松动智能检测识别方法及***
CN117078687A (zh) * 2023-10-17 2023-11-17 常州海图信息科技股份有限公司 基于机器视觉的轨道巡检***及方法
CN117078687B (zh) * 2023-10-17 2023-12-15 常州海图信息科技股份有限公司 基于机器视觉的轨道巡检***及方法
CN117218743A (zh) * 2023-11-07 2023-12-12 诺比侃人工智能科技(成都)股份有限公司 基于机器视觉的智能巡检控制方法及***
CN117218743B (zh) * 2023-11-07 2024-02-09 诺比侃人工智能科技(成都)股份有限公司 基于机器视觉的智能巡检控制方法及***
CN117911196A (zh) * 2024-03-19 2024-04-19 百脉英华科技有限公司 基于人工智能的环网柜全周期运行数据监管***及方法
CN117911196B (zh) * 2024-03-19 2024-05-28 百脉英华科技有限公司 基于人工智能的环网柜全周期运行数据监管***及方法

Similar Documents

Publication Publication Date Title
CN114998244A (zh) 基于计算机视觉的轨道梁指形板智能巡检***及方法
CN110059631B (zh) 接触网非接触式监测缺陷识别方法
CN110826538B (zh) 一种用于电力营业厅的异常离岗识别***
CN105809679B (zh) 一种基于视觉分析的山区铁路边坡落石检测方法
CN111016932B (zh) 节能型空轨***的轨道巡检车和检测方法
CN108491758B (zh) 一种轨道检测方法及机器人
EP2619727B1 (en) Pantograph monitoring system and method
CN101957325B (zh) 基于变电站巡检机器人变电站设备外观异常识别方法
CN102759347B (zh) 一种高铁接触网在线巡检装置、巡检方法以及其检测***
CN110135273A (zh) 接触网视频图像云端智能监测与故障识别方法
CN108957240A (zh) 电网故障远程定位方法及***
WO2012142548A1 (en) Method and system of rail component detection using vision technology
CN112149522A (zh) 电缆通道智能可视化防外破监测***及方法
CN109299723A (zh) 一种铁路货车运行监测***
CN115527340A (zh) 一种基于无人机与监控摄像的智慧工地安全监测***及方法
KR20190024447A (ko) 실시간 선로 결함 검측 시스템
CN110458794B (zh) 用于轨道列车的配件质量检测方法及装置
CN113762171A (zh) 铁路施工现场安全监测的方法及装置
CN112508911A (zh) 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测***及其检测方法
CN112115770A (zh) 一种用于架空线路无人机自主巡检缺陷识别的方法及***
CN111605578A (zh) 一种用无人机搭载3d设备的铁路轨道巡检方法
CN210513726U (zh) 一种列车车体外观图像采集***
CN115184269A (zh) 一种轨道巡检***及方法
CN114155472A (zh) 厂区场景临空面防护设备异常状态检测方法、装置和设备
KR20200056879A (ko) 전차 선로의 조류 둥지 자동 검출 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination