CN108491758A - 一种轨道检测方法及机器人 - Google Patents

Abstract

本发明公开了一种轨道检测方法及机器人，其中，该轨道检测方法包括：机器人采集轨道的实时视频流；基于所述实时视频流，通过视觉定位确定所述机器人的位置；根据所述机器人的位置确定所述机器人的行进方案；控制所述机器人根据所述行进方案行进；在所述实时视频流的各帧图像中，检测是否存在目标图像，其中，所述目标图像为显示有所述轨道的故障区域的图像；若在所述实时视频流的各帧图像中存在所述目标图像，则将所述目标图像上传至服务器，使得所述服务器对所述目标图像进行二次分析，并基于二次分析的结果将所述目标图像匹配至对应客户端显示。本发明方案可实现对轨道交通的基础设施及基础设备的自动化检测，保障轨道交通***安全运行。

Description

一种轨道检测方法及机器人

技术领域

本发明属于机器人技术领域，尤其涉及一种轨道检测方法及机器人。

背景技术

轨道交通的发展在近十年来主要集中在一线大城市以及省会城市，并且有着向二三线城市普及的趋势。而安全是轨道交通的第一要素。为了确保轨道交通的安全，轨道交通的基础设施及基础设备遵循着48小时巡检，月检，半年检，年检，五年大检的标准，而这其中，有些检测几乎完全依赖人工检测，例如48小时巡检等。传统的人工检测不仅需要花费大量人力物力，而且还存在着错检、漏检及检测人员的安全隐患等问题。

发明内容

有鉴于此，本发明提供了一种轨道检测方法及机器人，可实现对轨道交通的基础设施及基础设备的自动化检测，保障轨道交通***安全运行。

本发明的第一方面提供了一种轨道检测方法，所述轨道检测方法包括：

机器人采集轨道的实时视频流；

基于所述实时视频流，通过视觉定位确定所述机器人的位置；

根据所述机器人的位置确定所述机器人的行进方案；

控制所述机器人根据所述行进方案行进；

在所述实时视频流的各帧图像中，检测是否存在目标图像，其中，所述目标图像为显示有所述轨道的故障区域的图像；

若在所述实时视频流的各帧图像中存在所述目标图像，则将所述目标图像上传至服务器，使得所述服务器对所述目标图像进行二次分析，并基于二次分析的结果将所述目标图像匹配至对应客户端显示。

本发明的第二方面提供了一种机器人，所述机器人应用于轨道交通领域，所述机器人包括：

视频采集模块，用于机采集轨道的实时视频流；

视觉定位模块，用于基于所述实时视频流，通过视觉定位确定所述机器人的位置；

方案确定模块，用于根据所述机器人的位置确定所述机器人的行进方案；

行进控制模块，用于控制所述机器人根据所述行进方案行进；

故障检测模块，用于在所述实时视频流的各帧图像中，检测是否存在目标图像，其中，所述目标图像为显示有所述轨道的故障区域的图像；

信息上传模块，用于当在所述实时视频流的各帧图像中存在所述目标图像时，将所述目标图像上传至服务器，使得所述服务器对所述目标图像进行二次分析，并基于二次分析的结果将所述目标图像匹配至对应客户端显示。

由上可见，在本发明方案中，首先由机器人采集轨道的实时视频流，然后基于所述实时视频流，通过视觉定位确定所述机器人的位置，接着根据所述机器人的位置确定所述机器人的行进方案，控制所述机器人根据所述行进方案行进，并在所述实时视频流的各帧图像中，检测是否存在目标图像，其中，所述目标图像为显示有所述轨道的故障区域的图像，在所述实时视频流的各帧图像中存在所述目标图像时，将所述目标图像上传至服务器，使得所述服务器对所述目标图像进行二次分析，并基于二次分析的结果将所述目标图像匹配至对应客户端显示。本发明方案将轨道的日常巡检操作交与机器人执行，通过机器人在巡检过程中快速识别存在故障的区域，减少错检、漏检发生的可能性，实现对轨道交通的基础设施及基础设备的自动化检测，保障轨道交通***安全运行。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的轨道检测方法的实现流程示意图；

图2(a)是本发明实施例提供的轨道检测***的结构框图；

图2(b)是图1所示实施例中步骤105的具体实现流程示意图；

图3是图1所示实施例中步骤102的具体实现流程示意图；

图4(a)是图3所示实施例中步骤301中坐标系的示意图；

图4(b)是图3所示实施例中步骤303中图像的中线及图像中轨道的中线的示意图；

图5是图1所示实施例中步骤103的具体实现流程示意图；

图6是本发明实施例提供的机器人的结构框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明上述的技术方案，下面通过具体实施例来进行说明。

实施例一

图1示出了本发明实施例一提供的轨道检测方法的实现流程，详述如下：

在步骤101中，机器人采集轨道的实时视频流；

在本发明实施例中，检修人员在启动应用于轨道交通领域的机器人时，先将机器人置于轨道位置，例如，将轨行机器人安装于轨道的钢轨上，或者，将飞行机器人在轨道附近放飞。上述机器人在启动后，先根据采样定理设定图像采集器件(例如摄像头)的帧率，然后开始采集轨道的实时视频流。具体地，上述机器人安装有多个摄像头，基于摄像头安装在机器人上的不同位置，可以采集到不同角度的轨道图像；基于摄像头的类型，可以采集到轨道的不同视频类型的实时视频流，上述视频类型包括但不限于红外视频、灰度视频、多路超高清视频，此处不作限定。具体地，上述多路超高清视频中的多路超高清图像用于评估桥梁裂缝、接触网异物等故障情况；上述红外视频中的红外图像用于评估隧道、桥梁渗透水及接触网故障等故障情况；即，不同类型的视频用于评估不同类型的故障。可选地，在机器人采集到轨道的各种类型的实时视频流后，可以检测上述实时视频流中的各帧图像是否达到预设的图像质量条件，若上述实时视频流中存在未达到上述图像质量条件的多路超高清图像和/或红外图像，则将上述未达到上述图像质量条件的多路超高清图像和/或红外图像从上述实时视频流中剔除，以避免质量不佳的图像影响到机器人及服务器对轨道的实时视频流的分析处理，减少出现错误分析结果的可能性。

在步骤102中，基于上述实时视频流，通过视觉定位确定上述机器人的位置；

在本发明实施例中，基于实时视频流，可以获取到实时图像，具体地，可以认为当前获取到的最新一帧的图像即为实时图像。机器人在启动后，可以基于上述实时图像，通过视觉定位来确定自身的位置，实现对自身的定位。可选地，在上述机器人内部可以搭载GPS模块或其它定位模块，通过上述GPS模块或其它定位模块实现对机器人的初步定位，再通过视觉定位及机器人采集到的轨道的实时图像实现对机器人的精准定位，即通过初步定位划定机器人可能所处小区域，在该小区域中进行精准定位，减低机器人进行精准定位时的运算压力。由于轨道在铺设完成后，其位置不会发生改变，即轨道的位置是固定的位置，因而，可以预先获取上述轨道的环境地图，通过上述轨道的环境地图对机器人进行训练及学习后，再启动上述机器人；上述机器人启动并采集到轨道的实时图像后，经过对轨道图像的特征点提取等图像处理操作可以确定上述机器人的位置。当然，根据机器人类型的不同，也可以通过其它方式确定机器人的位置，此处不作限定。

在步骤103中，根据上述机器人的位置确定上述机器人的行进方案；

在本发明实施例中，可以根据步骤102中所确定的机器人的当前位置进一步确定上述机器人的行进方案，具体地，可以通过轨道的路线及机器人的当前位置规划机器人的行进路线，当机器人的当前位置与轨道的路线重叠时，控制机器人跟随轨道的路线行进；当机器人的当前位置偏离轨道的位置时，控制机器人先行进至与轨道的路线重叠的位置，再跟随轨道的路线行进。当然，也可以通过其它方式确定上述机器人的行进方案，此处不作限定。

在步骤104中，控制上述机器人根据上述行进方案行进；

在本发明实施例中，机器人可以根据行进方案持续行进，并在行进过程中通过步骤101至103不断更新自身的行进方案。

在步骤105中，在上述实时视频流的各帧图像中，检测是否存在目标图像；

在本发明实施例中，通过机器人搭载的嵌入式硬件对实时视频流进行图像处理，用以检测上述实时视频流的各帧图像中是否存在目标图像，其中，上述目标图像为显示有上述轨道的故障区域的图像。实际上，由于在对轨道进行拍摄时，由于轨道本身就是由两根平行的钢轨及若干轨枕等距离铺设所构成的，因而拍摄所得的正常轨道的画面通常情况下是非常接近的，即，如果拍摄获得正常轨道的实时视频流，则该实时视频流中相邻两帧图像的相似度应该较高。当出现画面突变的情况时，很可能意味着轨道发生了故障，基于此可检测各帧图像中是否存在目标图像。例如，如果轨道中A点出现了异物，其它地方均正常，则在拍摄实时视频流的过程中，当拍摄至A点时，实时视频流中包含有A点的图像就会与其它不包含有A点的图像有明显区别，也即是说，在实时视频流中，有异物的轨道图像与没有异物的轨道图像必然是有较大区别的，因而，可以根据相邻两帧图像的相似度判断轨道是否存在异物；当然，其它障碍，例如较大的裂缝等，也可以根据相邻两帧图像的相似度判断得出，此处不作限定。

在步骤106中，若在上述实时视频流的各帧图像中存在上述目标图像，则将上述目标图像上传至服务器。

在本发明实施例中，机器人、服务器、个人电脑(Person Computer，PC)和/或移动终端可构成一轨道检测***，上述服务器还可以包括数据管理平台及数据库，其中，上述数据库用于存储机器人所获取到的各类信息，上述数据管理平台提供了一交互界面，用于显示机器人所获取到的各类信息，即检修人员可在服务器处通过数据管理平台实现与机器人的交互，图2(a)示出了该轨道检测***的结构框图。在该轨道检测***中，一旦检测到存在目标图像，则将上述目标图像通过网络上传至服务器，使得上述服务器对上述目标图像进行二次分析，并基于二次分析的结果通知检修人员。具体地，PC及移动终端可安装有基于上述轨道检测***搭载的客户端，在上述客户端登录后，可以基于上述二次分析的结果将上述目标图像匹配至对应客户端显示，例如，显示在PC的客户端和/或显示在移动终端的客户端上，此处不作限定。通过上述客户端，还可以访问上述数据管理平台及数据库(即访问服务器)。上述网络可以是无线保真(WiFi,Wireless Fidelity)网络，也可以是移动数据网络，例如通用分组无线服务技术(GPRS，General Packet Radio Service))网络、第三代移动通信网络(即3G网络)、***移动通信网络(即4G网络)等，此处不作限定。由于机器人在检测实时视频流中的目标图像的过程中也可能出现错误，例如由于强光照射而使得采集的图像中出现模糊或者不清楚区域，影响机器人的判断，导致机器人错误的将不存在故障区域的图像作为目标图像上传至服务器，在这种情况下，为了提高故障检测的准确性，在上述服务器中将对上述目标图像进行二次分析及数据库存储。若二次分析的结果确定上述目标图像中的确存在故障区域，即确定上述目标图像所显示的轨道中存在故障，则可以将上述目标图像的相关信息显示于服务器的数据管理平台上。进一步地，若二次分析的结果确定上述目标图像中的确存在故障区域，服务器还可以基于二次分析的结果判断是否需要人工前往修复该故障区域，若是，则将上述目标图像的相关信息显示于预先绑定的移动终端和/或PC的客户端上。具体地，若上述轨道为地铁轨道，则可以在移动终端和/或PC的客户端上通过数据管理平台显示上述目标图像所指示的地铁线路、故障类型，故障程度、采集时间及采集地点，当然也可以将上述目标图像的其它相关信息显示于上述移动终端和/或上述数据管理平台，此处不作限定。上述采集地点实际指示了上述轨道发生故障的具***置。由于可能有若干个机器人在各条轨道的区间路线上运行，即，可能在一段时间内，数据管理平台需要显示两个以上目标图像的信息，因而，可以基于采集时间由先至后的顺序对多个目标图像的相关信息进行排序，也可以基于故障程度由重至轻的顺序对多个目标图像的相关信息进行排序，还可以基于采集地点距离本机(即显示目标图像的相关信息的移动终端和/或PC)的位置由近至远的顺序进行排序，并显示排序后的多个目标图像的相关信息。

可选地，为了提高检测目标图像的准确性，图2(b)示出了步骤105的具体实现流程，详述如下：

在步骤201中，对上述实时视频流的各帧图像进行二值化处理；

在本发明实施例中，先设定二值化处理时采用的二值化阈值，具体地，可以采用双峰法、最大类间方差法、最大熵阈值法或者迭代法设定上述二值化阈值，并基于上述设定的二值化阈值对上述实时视频流的各帧图像进行二值化处理。

在步骤202中，提取出二值化处理后的上述各帧图像的感兴趣区域；

在本发明实施例中，上述感兴趣区域(region of interest，ROI)为从图像中所选择的一个图像区域，该感兴趣区域是进行图像分析的重点。具体地，可以通过预设的算子及函数提取出二值化处理后的上述各帧图像的感兴趣区域。

在步骤203中，基于形态学算法对上述各帧图像的感兴趣区域进行去噪操作；

在本发明实施例中，对上述各帧图像的感兴趣区域进行去噪操作，具体地，将开启和闭合运算结合起来可构成形态学噪声滤除器，此过程中，需要选取合适的结构元素，才能实现较好的去噪效果。

在步骤204中，对于去噪后的每一帧图像，计算图像的感兴趣区域与相邻帧图像的感兴趣区域的图像特征差异；

在本发明实施例中，上述相邻帧图像为在上述实时视频流中与上述图像相邻的图像，例如，对实时视频流中的第一帧图像而言，与该图像相邻的图像为该图像的后帧图像；对实时视频流中最后一帧图像而言，与该图像相邻的图像为该图像的前帧图像。对实时视频流中的中间帧图像而言，与该图像相邻的图像为该图像的前帧图像或后帧图像，例如，可以先计算中间帧图像的感兴趣区域与前帧图像的感兴趣区域的图像特征差异，若前帧图像的图像质量不佳，则可以再计算中间帧图像的感兴趣区域与后帧图像的感兴趣区域的图像特征差异。上述图像特征包括但不限于：颜色特征、纹理特征、形状特征及空间关系特征。

在步骤205中，若上述图像的感兴趣区域与上述相邻帧图像的感兴趣区域的图像特征差异超出了预设的图像特征差异范围，则将上述图像和/或上述相邻帧图像确定为目标图像。

在本发明实施例中，上述预设的图像特征差异范围可以根据拍摄时的环境光照情况进行调整，此处不作限定。

可选地，上述轨道检测方法还包括：

在上述机器人的行进过程中，基于上述机器人搭载的距离传感器，获取上述机器人与上述机器人所处环境中障碍物的距离；

若上述距离不大于预设的距离阈值，则对上述行进方案进行调整，以使得机器人远离上述障碍物，或者，暂停上述机器人行进。

其中，根据上述机器人的类型，可以在机器人的不同位置搭载距离传感器。在一种应用场景下，上述机器人为飞行机器人，则可以在机器人的上下前后左右方位均安装距离传感器，以避免飞行途中撞上空中可能出现的障碍物；在另一种应用场景下，上述机器人为轨行机器人，则可以在机器人的前后方位安装距离传感器，以避免在前进或后退时撞上轨道附近区域可能出现的障碍物。进一步地，当机器人搭载的任一距离传感器所测得的距离不大于预设的距离阈值时，可以对上述行进方案进行调整，或者，暂停上述机器人行进。

在一种应用场景下，上述机器人为飞行机器人，则在处于上下前后左右任一方位的距离传感器测得的距离不大于预设的距离阈值时，将上述测得的距离传输至机器人的主动安全控制板，上述主动安全控制板将控制机器人向障碍物的相反方向行进(可认为上述传感器的方向即为该障碍物的方向)，直至上述距离传感器测得的距离超出上述预设的距离阈值一定比例(例如20％)后，基于障碍物位置对行进方案进行调整并继续行进。需要注意的是，在上述控制机器人向障碍物的相反方向行进的过程中，还需要保证其他传感器所测得的值也在正常范围内。进一步地，上述主动安全控制板还可以连接加速度计、气压计、光流传感器和/或一个以上超声波传感器，不仅可以测得环境中的障碍物，还可以获得自身的飞行情况。可见，通过上述主动安全控制板可以与飞行控制相结合，能够实现智能避障；而当上述主动安全控制板检测到多种类型的传感器所测得数据紊乱时，则需要上述主动安全控制板控制机器人进行紧急制动，具体为机器人执行下降指令，在上述执行下降指令的过程中，当安装于机器人下方的距离传感器所测得数据小于一米时，关闭机器人的飞行电机以降落；若在执行下降指令的过程中，检测到安装于机器人下方的距离传感器所测得数据依旧紊乱，则立即关闭机器人的飞行电机，使飞行机器人自由坠落，由飞行机器人外部设置的被动安全防护罩对其进行防护。可以认为，上述被动安全防护罩主要用于被动防护，避免特殊情况下飞行机器人因意外因素失控时，对行人或者过往车辆造成伤害。具体地，上述被动安全防护罩利用SOLIDWORKS设计工具进行设计，并运用ANSYS分析工具进行有限元分析，以实现对上述被动安全防护罩的优化，在保障结构强度前提下，最大限度减少防护罩质量(即重量)。

上述机器人还可以提供远程监控功能，具体为向服务器发送上述机器人的各个传感器所采集到的数据，同时向服务器发送上述机器人所采集到的轨道的实时图像，在上述服务器上对各个传感器所采集到的数据及进行融合整理，并将融合整理后得到的数据发送至预先绑定的移动终端进行显示。当上述融合整理后得到的数据出现紊乱等异常现象时，可在移动终端上通过震动、文字和/或铃声等方式进行提醒，以提示检修人员关注异常现象；而当上述机器人进行紧急制动时，也可以在移动终端上通过震动、文字和/或铃声等方式进行提醒，以提示检修人员前往机器人紧急制动的地点对机器人进行回收及检修等操作。当然，检修人员也可以主动查阅移动终端所接收到的上述融合整理后得到的数据，以判断机器人是否在平稳的飞行过程中，当检修人员认为当前机器人的行进存在问题时，可以通过客户端或服务器向机器人发送暂停指令，上述轨道机器人接收到客户端或服务器发送的暂停指令后，可以基于上述暂停指令暂停上述机器人飞行。上述暂停机器人飞行的过程可参照上述紧急制动的过程。

在另一种应用场景下，上述机器人为轨行机器人，则在处于前方的距离传感器测得的距离不大于预设的距离阈值时(上述前方为相对于轨行机器人的行进方向而言)，将上述测得的距离传输至机器人的主动安全控制板，上述主动安全控制板控制机器人暂停行进；并且，由于障碍物可能为动物，因而还可以控制机器人发出警报音频，用以驱散机器人附近的动物。进一步地，上述机器人还可以安装机械手及纳物框，上述机器人结合采集到的轨道的实时图像，可以进一步判定该障碍物是否落入机械手所能抓取的范围，若是，则通过该机械手抓取障碍物至纳物框中，以清除障碍物。可选地，距离传感器测得的距离大于预设的距离阈值后，即可确定该障碍物已不存在，可以控制机器人继续行进。进一步地，上述主动安全控制板还可以连接加速度计、气压计、光流传感器和/或一个以上超声波传感器，不仅可以测得障碍物，还可以获得自身的详细行进情况。可见，通过上述主动安全控制板可以实现智能避障。

上述机器人还可以提供远程监控功能，具体为向服务器发送上述机器人的各个传感器所采集到的数据，同时向服务器发送上述机器人所采集到的轨道的实时图像，在上述服务器上对各个传感器所采集到的数据及进行融合整理，并将融合整理后得到的数据发送至预先绑定的移动终端进行显示。当上述融合整理后得到的数据出现紊乱等异常现象时，可在移动终端上通过震动、文字和/或铃声等方式进行提醒，以提示检修人员关注异常现象；由于上述融合整理后得到的数据包括轨道的实时图像，因而检修人员也可以自主查阅当前的实时图像，以判断机器人是否在平稳的行进过程中，当检修人员认为当前机器人的行进存在问题时，可以通过客户端或服务器向机器人发送暂停指令，上述轨道机器人接收到客户端或服务器发送的暂停指令后，可以基于上述暂停指令暂停上述机器人行进，以使得检修人员第一时间赶到机器人所在位置回收机器人。

可选地，图3示出了当机器人为飞行机器人时，步骤102的具体实现流程，详述如下：

在步骤301中，基于上述实时视频流，获取实时图像；

在本发明实施例中，可以认为当前获取到的最新一帧的图像即为实时图像。

在步骤302中，初始化坐标系；

在本发明实施例中，上述坐标系的x轴为轨道的延伸方向，上述坐标系的y轴为轨枕铺设方向，上述坐标系的z轴为垂直于轨道铺设面的方向。图4(a)示出了一种坐标系的示意图，通过图4(a)可看出，x轴坐标代表了机器人沿轨道已行进的距离，y轴坐标代表了机器人偏离轨道中线的距离，z轴坐标代表了机器人的相对轨道铺设面的飞行高度。

在步骤303中，上述机器人接收射频装置发送的携带有定位信息的射频识别标签，根据上述射频识别标签进行x轴定位；

在本发明实施例中，上述射频装置预先设置于上述轨道的路线上，例如，可以每隔预设的公里数(例如三公里)就设置一射频装置，机器人在路过该射频装置的设置点时，可以根据该射频装置发送的射频之别标签，对自身的x轴坐标进行定位，即获知自身沿轨道已行进的距离。或者，也可以根据安装于机器人下方位的摄像头所采集到的实时图像对轨道中的轨枕进行识别，计算在机器人行进过程中所经过的轨枕的数量，由于轨枕的铺设距离是固定的，因而可以根据计算所得的轨枕的数量乘以轨枕的铺设距离，获知自身沿轨道已行进的距离。可选地，可以结合上述两种计算方式，先根据轨枕的数量对行进的距离进行计算，然后再根据携带有定位信息的射频识别标签对计算得到的行进的距离进行校正，使得x轴定位的结果更加准确。

在步骤304中，上述机器人根据上述实时图像的中线与上述实时图像中轨道的中线的相对位置进行y轴定位；

在本发明实施例中，本步骤中的实时图像为安装于机器人下方位的摄像头所采集到的实时图像，从理论上考虑，当机器人朝着轨道的延伸方向移动时，如果位于轨道的正上方，则轨道的中线将与图像的中线重合，正如图4(b)所示。因而，可计算出上述实时图像中，实时图像的中线到实时图像中轨道的中线的距离，根据该距离，乘以一定的比例尺，即可获知机器人偏离轨道中线的距离。

在步骤305中，上述机器人通过搭载的距离传感器采集上述机器人的飞行高度，根据上述飞行高度进行z轴定位；

在本发明实施例中，通过搭载于机器人下方位的距离传感器采集机器人至轨道铺设面的距离，该距离即为飞行高度，根据上述飞行高度进行z轴定位；

在步骤306中，根据上述x轴定位的结果，上述y轴定位的结果及上述z轴定位的结果，确定上述机器人在上述坐标系中所处的坐标。

在本发明实施例中，根据上述x轴定位的结果，上述y轴定位的结果及上述z轴定位的结果，可知机器人所处的轨道的里程数、偏离轨道中线的距离及飞行高度，也即机器人在上述坐标系中所处的坐标。

可选地，图5示出了当机器人为飞行机器人时，步骤103的具体实现流程，详述如下：

在步骤501中，基于上述实时视频流，获取实时图像；

在本发明实施例中，可以认为当前获取到的最新一帧的图像即为实时图像。

在步骤502中，对上述实时图像进行二值化处理；

在本发明实施例中，先设定二值化处理时采用的二值化阈值，具体地，可以采用双峰法、最大类间方差法、最大熵阈值法或者迭代法设定上述二值化阈值，并基于上述设定的二值化阈值对上述实时视频流的各帧图像进行二值化处理。

在步骤503中，提取出二值化处理后的上述实时图像的感兴趣区域；

在本发明实施例中，可以通过预设的算子及函数提取出二值化处理后的上述各帧图像的感兴趣区域。

在步骤504中，基于形态学算法提取出上述感兴趣区域中的纵向矩形区域；

在本发明实施例中，该提取出的纵向矩形区域包含有轨道的两条钢轨的图像；

在步骤505中，通过直线检测，在上述纵向矩形区域中确定出上述轨道的两条钢轨的位置；

在本发明实施例中，可以采用霍夫变换方法进行直线检测，也可以采用LSD(LineSegment Detector)进行直线检测，此处不作限定。

在步骤506中，对上述两条钢轨的位置进行拟合，得到两条钢轨的中线；

在步骤507中，基于上述两条钢轨的中线及上述机器人的位置，确定上述机器人的行进方案。

在本发明实施例中，当得到两条钢轨的中线后，可以基于上述机器人的位置，先行进到两条钢轨的中线上某一点的位置，再将两条钢轨的中线作为机器人的行进方案；或者，也可以直接从机器人的位置确定一条与上述两条钢轨的中线平行的路线作为行进方案，此处不作限定。

可选地，当机器人为轨行机器人时，由于轨行机器人是在钢轨上自动行进，其y轴及z轴均固定，因而可以在行进过程中，直接通过采集到的实时图像对轨枕的数量进行识别及计数，得到机器人行进过程中所经过的轨枕的数量，再乘以轨枕的铺设距离，获知自身沿轨道已行进的距离。可选地，可以先根据轨枕的数量对行进的距离进行计算，然后再根据携带有定位信息的射频识别标签对计算得到的行进的距离进行校正，使得x轴定位的结果更加准确。

可选地，当机器人为轨行机器人时，上述轨道检测方法还包括：

在上述机器人的行进过程中，通过上述机械手敲击上述轨道的螺栓；

采集上述机器人敲击上述轨道的螺栓时的音频；

对上述音频进行音频分析，基于音频分析的结果判定上述螺栓是否松动；

若判定结果为上述螺栓已松动，则向移动终端和/或上述服务器发送上述判定结果，以通知检修人员对上述螺栓进行检修。

其中，上述轨行机器人还安装有机械手，上述机器人在行进过程中，当通过对实时图像的分析发现轨道中安装的螺栓时，可以暂停行进并对螺栓进行定位，基于对螺栓的定位结果控制机械手敲击上述螺栓，并开启机器人的录音功能，采集机器人敲击上述螺栓时的音频。当螺栓松动时，敲击螺栓的音色会发生改变，即采集到的音频的中高次谐波的成分和各成分的幅度比例也会有所区别，通过比对采集到的音频与预设的音频波形，判定上述螺栓是否松动，若采集到的音频与预设的音频波形相似度较高，则确定判定结果为螺栓未松动，机器人可以继续行进；若采集到的音频与预设的音频波形相似度较低，低于一预设的相似度阈值，则确定判定结果为上述螺栓已松动，可以向移动终端和/或上述服务器发送上述判定结果，以通知检修人员对上述螺栓进行检修。

由上可见，通过本发明实施例，使得机器人根据采集到的轨道的实时图像实现基于轨道的智能行进及智能检测操作，可快速找到疑似发生故障的轨道区域，并将该故障上报至服务器，使得服务器能够进行二次分析，并基于二次分析的结果及时通知检修人员。在此过程中，不再需要人工对轨道进行巡检，而是将轨道的日常巡检操作交与机器人执行，通过机器人在巡检过程中快速识别存在故障的区域，减少错检、漏检发生的可能性，实现对轨道交通的基础设施及基础设备的自动化检测，保障轨道交通***安全运行。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例二

图6示出了本发明实施例二提供的机器人的具体结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。该机器人6包括：图像采集模块61，视觉定位模块62，方案确定模块63，行进控制模块64，故障检测模块65，信息上传模块66。

其中，视频采集模块61，用于机采集轨道的实时视频流；

视觉定位模块62，用于基于上述实时视频流，通过视觉定位确定上述机器人的位置；

方案确定模块63，用于根据上述机器人的位置确定上述机器人的行进方案；

行进控制模块64，用于控制上述机器人根据上述行进方案行进；

故障检测模块65，用于在上述实时视频流的各帧图像中，检测是否存在目标图像，其中，上述目标图像为显示有上述轨道的故障区域的图像；

信息上传模块66，用于当在上述实时视频流的各帧图像中存在上述目标图像时，将上述目标图像上传至服务器，使得上述服务器对上述目标图像进行二次分析，并基于二次分析的结果将上述目标图像匹配至对应客户端显示。

可选地，上述故障检测模块65包括：

第一二值化单元，用于对上述实时视频流的各帧图像进行二值化处理；

第一提取单元，用于提取出二值化处理后的上述各帧图像的感兴趣区域；

去噪单元，用于基于形态学算法对上述各帧图像的感兴趣区域进行去噪操作；

差异计算单元，用于对于去噪后的每一帧图像，计算图像的感兴趣区域与相邻帧图像的感兴趣区域的图像特征差异，其中，上述相邻帧图像为在上述实时视频流中与上述图像相邻的图像；

目标图像确定单元，用于若上述图像的感兴趣区域与上述相邻帧图像的感兴趣区域的图像特征差异超出了预设的图像特征差异范围，则将上述图像和/或上述相邻帧图像确定为目标图像。

可选地，上述机器人6还包括：

障碍物检测模块，用于在上述机器人的行进过程中，基于上述机器人搭载的距离传感器，获取上述机器人与上述机器人所处环境中障碍物的距离；

方案调整模块，用于若上述距离不大于预设的距离阈值，则对上述行进方案进行调整，或者，暂停上述机器人行进。

可选地，上述机器人6还包括：

指令接收模块，用于在上述机器人的行进过程中，若上述轨道机器人接收到移动终端发送的暂停指令，则基于上述暂停指令暂停上述机器人行进。

可选地，上述图像采集模块61包括：

多路超高清图像采集单元，用于实时拍摄上述轨道的多路超高清图像；

红外图像采集单元，用于实时拍摄上述轨道的红外图像；

图像质量检测单元，用于检测上述多路超高清图像及上述红外图像是否达到预设的图像质量条件；

图像剔除单元，用于当存在未达到上述图像质量条件的多路超高清图像和/或红外图像时，将上述未达到上述图像质量条件的多路超高清图像和/或红外图像剔除。

可选地，上述信息上传模块66包括：

采集时间获取单元，用于获取上述目标图像的采集时间；

采集地点获取单元，用于获取上述目标图像的采集地点；

图像信息上传单元，用于将上述目标图像、上述目标图像的采集时间及上述目标图像的采集地点上传至服务器。

可选地，当上述机器人为飞行机器人时，上述视觉定位模块62包括：

实时图像获取单元，用于基于上述实时视频流，获取实时图像；

初始化单元，用于初始化坐标系，其中，上述坐标系的x轴为轨道的延伸方向，上述坐标系的y轴为轨枕铺设方向，上述坐标系的z轴为垂直于轨道铺设面的方向；

x轴定位单元，用于接收射频装置发送的携带有定位信息的射频识别标签，根据上述射频识别标签进行x轴定位，其中，上述射频装置预先设置于上述轨道的路线上；

y轴定位单元，用于根据上述实时图像的中线与上述实时图像中轨道的中线的相对位置进行y轴定位；

z轴定位单元，用于通过搭载的距离传感器采集上述机器人的飞行高度，根据上述飞行高度进行z轴定位；

坐标确定单元，用于根据上述x轴定位的结果，上述y轴定位的结果及上述z轴定位的结果，确定上述机器人在上述坐标系中所处的坐标。

可选地，当上述机器人为飞行机器人时，上述方案确定单元63包括：

实时图像获取单元，用于基于上述实时视频流，获取实时图像；

第二二值化单元，用于对上述实时图像进行二值化处理；

第二提取单元，用于提取出二值化处理后的上述实时图像的感兴趣区域；

第三提取单元，用于基于形态学算法提取出上述感兴趣区域中的纵向矩形区域；

直线检测单元，用于通过直线检测，在上述纵向矩形区域中确定出上述轨道的两条钢轨的位置；

拟合单元，用于对上述两条钢轨的位置进行拟合，得到两条钢轨的中线；

行进方案确定单元，用于基于上述两条钢轨的中线及上述机器人的位置，确定上述机器人的行进方案。

可选地，当上述机器人为轨行机器人时，上述机器人安装有机械手，上述机器人还包括：

敲击模块，用于在行进过程中，通过上述机械手敲击上述轨道的螺栓；

音频采集模块，用于采集上述机器人敲击上述轨道的螺栓时的音频；

音频分析模块，用于对上述音频进行音频分析，基于音频分析的结果判定上述螺栓是否松动；

螺栓松动判定模块，用于当判定结果为上述螺栓已松动时，向移动终端和/或上述服务器发送上述判定结果，以通知检修人员对上述螺栓进行检修。

由上可见，通过本发明实施例，机器人可以根据采集到的轨道的实时视频流实现基于轨道的智能行进及智能检测操作，快速找到疑似发生故障的轨道区域，并将该故障上报至服务器，使得服务器能够进行二次分析，并基于二次分析的结果将上述目标图像匹配至对应客户端显示，以及时通知检修人员。在此过程中，不再需要人工对轨道进行巡检，而是将轨道的日常巡检操作交与机器人执行，通过机器人在巡检过程中快速识别存在故障的区域，减少错检、漏检发生的可能性，实现对轨道交通的基础设施及基础设备的自动化检测，保障轨道交通***安全运行。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述机器人的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元、模块单独物理存在，也可以两个或两个以上模块、单元集成在一个单元中，上述集成的模块、单元既可以采用硬件的形式实现，也可以采用软件功能模块、单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的机器人和轨道检测方法，可以通过其它的方式实现。例如，以上所描述的机器人仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种轨道检测方法，其特征在于，所述轨道检测方法包括：

机器人采集轨道的实时视频流；

基于所述实时视频流，通过视觉定位确定所述机器人的位置；

根据所述机器人的位置确定所述机器人的行进方案；

控制所述机器人根据所述行进方案行进；

在所述实时视频流的各帧图像中，检测是否存在目标图像，其中，所述目标图像为显示有所述轨道的故障区域的图像；

若在所述实时视频流的各帧图像中存在所述目标图像，则将所述目标图像上传至服务器，使得所述服务器对所述目标图像进行二次分析，并基于二次分析的结果将所述目标图像匹配至对应客户端显示。

2.如权利要求1所述的轨道检测方法，其特征在于，所述在所述实时视频流的各帧图像中，检测是否存在目标图像，包括：

对所述实时视频流的各帧图像进行二值化处理；

提取出二值化处理后的所述各帧图像的感兴趣区域；

基于形态学算法对所述各帧图像的感兴趣区域进行去噪操作；

对于去噪后的每一帧图像，计算图像的感兴趣区域与相邻帧图像的感兴趣区域的图像特征差异，其中，所述相邻帧图像为在所述实时视频流中与所述图像相邻的图像；

若所述图像的感兴趣区域与所述相邻帧图像的感兴趣区域的图像特征差异超出了预设的图像特征差异范围，则将所述图像和/或所述相邻帧图像确定为目标图像。

3.如权利要求1所述的轨道检测方法，其特征在于，所述轨道检测方法还包括：

在所述机器人的行进过程中，基于所述机器人搭载的距离传感器，获取所述机器人与所述机器人所处环境中障碍物的距离；

若所述距离不大于预设的距离阈值，则对所述行进方案进行调整，或者，暂停所述机器人行进。

4.如权利要求1所述的轨道检测方法，其特征在于，所述轨道检测方法还包括：

在所述机器人的行进过程中，若所述轨道机器人接收到移动终端发送的暂停指令，则基于所述暂停指令暂停所述机器人行进。

5.如权利要求1所述的轨道检测方法，其特征在于，所述机器人采集轨道的实时视频流，包括：

所述机器人实时拍摄所述轨道的多路超高清图像及所述轨道的红外图像；

检测所述多路超高清图像及所述红外图像是否达到预设的图像质量条件；

若存在未达到所述图像质量条件的多路超高清图像和/或红外图像，则将所述未达到所述图像质量条件的多路超高清图像和/或红外图像剔除。

6.如权利要求1所述的轨道检测方法，其特征在于，所述将所述目标图像上传至服务器，包括：

获取所述目标图像的采集时间及采集地点；

将所述目标图像、所述目标图像的采集时间及所述目标图像的采集地点上传至服务器。

7.如权利要求1至6任一项所述的轨道检测方法，其特征在于，所述机器人为飞行机器人，所述基于所述实时视频流，通过视觉定位确定所述机器人的位置，包括：

基于所述实时视频流，获取实时图像；

初始化坐标系，其中，所述坐标系的x轴为轨道的延伸方向，所述坐标系的y轴为轨枕铺设方向，所述坐标系的z轴为垂直于轨道铺设面的方向；

所述机器人接收射频装置发送的携带有定位信息的射频识别标签，根据所述射频识别标签进行x轴定位，其中，所述射频装置预先设置于所述轨道的路线上；

所述机器人根据所述实时图像的中线与所述实时图像中轨道的中线的相对位置进行y轴定位；

所述机器人通过搭载的距离传感器采集所述机器人的飞行高度，根据所述飞行高度进行z轴定位；

根据所述x轴定位的结果，所述y轴定位的结果及所述z轴定位的结果，确定所述机器人在所述坐标系中所处的坐标。

8.如权利要求1至6任一项所述的轨道检测方法，其特征在于，所述机器人为飞行机器人，所述根据所述机器人的位置确定所述机器人的行进方案，包括：

基于所述实时视频流，获取实时图像；

对所述实时图像进行二值化处理；

提取出二值化处理后的所述实时图像的感兴趣区域；

基于形态学算法提取出所述感兴趣区域中的纵向矩形区域；

通过直线检测，在所述纵向矩形区域中确定出所述轨道的两条钢轨的位置；

对所述两条钢轨的位置进行拟合，得到两条钢轨的中线；

基于所述两条钢轨的中线及所述机器人的位置，确定所述机器人的行进方案。

9.如权利要求1至6任一项所述的轨道检测方法，其特征在于，所述机器人为轨行机器人，所述机器人安装有机械手，所述轨道检测方法还包括：

在所述机器人的行进过程中，通过所述机械手敲击所述轨道的螺栓；

采集所述机器人敲击所述轨道的螺栓时的音频；

对所述音频进行音频分析，基于音频分析的结果判定所述螺栓是否松动；

若判定结果为所述螺栓已松动，则向移动终端和/或所述服务器发送所述判定结果，以通知检修人员对所述螺栓进行检修。

10.一种机器人，其特征在于，所述机器人应用于轨道交通领域，所述机器人包括：

视频采集模块，用于机采集轨道的实时视频流；

视觉定位模块，用于基于所述实时视频流，通过视觉定位确定所述机器人的位置；

方案确定模块，用于根据所述机器人的位置确定所述机器人的行进方案；

行进控制模块，用于控制所述机器人根据所述行进方案行进；

故障检测模块，用于在所述实时视频流的各帧图像中，检测是否存在目标图像，其中，所述目标图像为显示有所述轨道的故障区域的图像；

信息上传模块，用于当在所述实时视频流的各帧图像中存在所述目标图像时，将所述目标图像上传至服务器，使得所述服务器对所述目标图像进行二次分析，并基于二次分析的结果将所述目标图像匹配至对应客户端显示。