CN116494201A - 一种监控一体化的电力机房巡检机器人及无人巡检方法 - Google Patents

Abstract

本发明属于电力自动化设备领域，具体涉及一种监控一体化的电力机房巡检机器人及无人巡检方法。其用于对电力机房进行常态化的巡查，并对特定的异常状态进行及时处置，该电力机房巡检机器人包括：移动平台、机械臂***、深度相机***，以及一个上位机。其中，移动平台中包含定位模块并安装有至少一个激光雷达。机械臂***包括下位机、机械臂和末端执行机构。上位机与移动平台、机械臂***的下位机，以及深度相机***电连接。上位机中分别运行有目标识别模型和目标定位模型、空间虚拟化模块。一个基于Navigation功能包的导航模块和机械臂轨迹规划模块。本发明解决了现有的电力巡检机器人的自动化程度低，自动化电力巡检机器人难度大，实现成本高等问题。

Description

一种监控一体化的电力机房巡检机器人及无人巡检方法

技术领域

本发明属于电力自动化设备领域，具体涉及一种监控一体化的电力机房巡检机器人及无人巡检方法。

背景技术

电力机房是为整个电网***提供所有应用服务运营的场所，包括变电站、配电所等；电力机房是电网中发电、输电、配电、售电的数据交互连接桥梁与应用服务无缝集成的平台。电力机房中设有大量24h不间断工作的电力设备，因此需要对电力机房进行日常检查，及时发现和排除电力设备可能发生的异常或损坏，保障台区内广大电力用户的正常用电。

目前大部分电力机房的运维和巡检更多采取的是人工方式。这种巡检方式不但时间较长、效率较低，而且巡检结果的可靠性主要依赖技术人员的个人素质，准确性也相对较低。在巡视人员数量相对较少的情况下，日常巡检工作中也难以保证有充足的时间对每个电力机房的内外部环境、设备运行情况、光缆纤芯使用情况、电源隐患等进行全面排查。一旦在日常巡检中留下盲区，则可能会产生较大的安全隐患。此外，对于电力机房中某些特殊场所，可能会存在某些有毒有害的气体环境(如SF6)，或不适宜人员进入的电学环境，这也会给人身安全带来风险。

随着自动化和5G高速通信技术的不断发展，技术人员正将研发的重心投入到开发专业巡检机器人上。由机器人代替人工执行电力机房的日常巡检任务。可以克服电力机房，人工巡检存在的效率、可靠性和安全性等方面的不足。机器人巡检相对人力巡检的主要有点包括：一、巡检机器人的日常维护成本远低于人工成本。二、巡检机器人的执行效率高于人工效率，并且可以长时间不间断工作。三、巡检机器人的存查结构可靠性和准确性更高，并且可以保持不发生疏漏。四、巡检机器人可以执行某些人工无法执行的巡检或处置工作。

电力巡检机器人虽然具有很光明的前景，但是项目研发的难度同样也是非常高的。比如，如何控制机器人在包含大量复杂设备和管线的电力机房的环境中进行移动，实现高效的自主运行。如何训练机器人对大量的设备进行识别和检查，准确完成数据采集与分析。如何精准控制机器人的动作，避免在执行异常处置时对电力设备的正常部分造成损伤。都是技术人员必须要解决的技术难题。基于上述原因，目前市场还并没有可供商用的电力巡检机器人产品，部分具有实用经验的机器人主要是由技术人员远程遥控的机器人，这些“半自动”的机器人主要用于完成某些人力无法完成的巡检或处置任务。

发明内容

为了解决现有的电力巡检机器人的自动化程度低，自动化电力巡检机器人难度大，实现成本高等问题，本发明提供一种监控一体化的电力机房巡检机器人及无人巡检方法。

本发明采用以下技术方案实现：

一种监控一体化的电力机房巡检机器人，其用于对电力机房进行常态化的巡查，并对特定的异常状态进行及时处置，该电力机房巡检机器人包括：移动平台、机械臂***、深度相机***，以及一个上位机。

其中，移动平台作为电力机房巡检机器人的行走机构；移动平台中包含定位模块并安装有至少一个激光雷达。定位模块用于采集移动平台在电力机房内部的地理坐标；激光雷达用于探测运动方向上的障碍物。

机械臂***包括下位机、机械臂和末端执行机构。下位机用于控制机械臂的位姿和运动状态，下位机还用于控制末端执行机构的动作。机械臂的固定端装载在移动平台上，自由端用于安装末端执行机构。末端执行机构用于通过执行特定的动作完成相应的操控任务。

深度相机***安装在机械臂的自由端，且深度相机***与末端执行机构的任意运动轨迹均不发生干涉。深度相机的取景范围包含末端执行机构及其对应的操纵对象。

上位机与移动平台、机械臂***的下位机，以及深度相机***电连接。上位机中分别运行有：一个基于YOLO V5设计的目标识别模型和目标定位模型。一个基于SLAM算法实现的空间虚拟化模块。一个基于Navigation功能包的导航模块。以及一个基于MoveIt和运动学插件IKFAST实现的机械臂轨迹规划模块。该上位机分别用于完成如下工作：(1)通过空间虚拟化模块生成表征机房及其内部设备的空间布局的虚拟化模型。(2)根据巡查轨迹中各轨迹点对应的深度相机与待巡查目标物的空间位置关系，通过机械臂轨迹规划模块预先生成每个轨迹点处对应的机械臂的位姿控制指令。(3)结合激光雷达和深度相机实时获取的数据，在巡查阶段通过导航模块生成一个移动平台的优化运动轨迹，并生成一系列对应的运动控制指令。(4)通过目标识别模型对深度相机实时采集的深度图像进行目标识别，然后在识别出目标后通过目标定位模型计算出目标的位置。(5)在执行操纵任务时，将目标的位置信息和机械臂***的状态数据输入到机械臂轨迹规划模块中，求解出末端执行机构的最佳运动轨迹，并生成机械臂***对应的运动信息队列。

在本发明提供的方案中，移动平台为一种AGV设备，移动平台可以选择采用技术已经成熟并在市场上广泛商用的轮式机器人底盘，履带式机器人底盘，或其它任意一种仿生行走机器人。此外，本发明中的移动平台中还包括一个遥控装置，遥控装置用于对移动平台的运行状态进行人工控制，其中，遥控装置下发的运动控制指令的优先级高于上位机。

作为本发明进一步的改进，移动平台中激光雷达的数量为多个，并分布在移动平台的周向位置处。定位模块选择采用基于GPS定位、基站定位或基站+wifi混合定位技术的产品。其中，针对本发明的室内应用环境，定位模块优先采用室内定位精度更高的混合定位技术的产品。

作为本发明进一步的改进，机械臂采用具有六自由度的机械臂；机械臂***的末端执行机构采用机械夹爪或仿生多指式机械手。机械夹爪或机械手表面进行绝缘和耐磨增强处理。

作为本发明进一步的改进，上位机与移动平台、机械臂***，以及深度相机***间采用基于以太网或无线的Socket通信的方式完成指令与数据的双向传输。

作为本发明进一步的改进，目标识别模型由YOLO V5基础模型经过训练后得到，目标识别模型的输入为深度相机获取的原始RGB-D图像；目标识别模型的输出为包含对应识别目标的选择框的RGB-D图像。

当目标识别模块输出包含目标选择框的样本图像之后，目标定位模型通过如下步骤计算出目标物的空间位置：

(1)根据识别出的目标物的选择框在RGB-D图像中的像素位置以及像素区域的深度信息，计算出目标物相对相机镜头中心的第一坐标。

(2)根据深度相机在机械臂***上的安装位置，将目标物的第一坐标转换为第二坐标，所述第二坐标以机械臂自由端为原点。

(3)根据电力机房巡检机器人在电力机房中的实时位置，将第二坐标转换为世界坐标系下的绝对坐标，得到目标物实际的空间位置。

作为本发明进一步的改进，上位机中还包括一个基于图卷积神经网络的特征匹配模型和一个OCR文字识别模型。特征匹配模型用于将识别出的特定目标物与数据库中目标物的典型状态图进行特征匹配，进而确定特定目标物的工作状态。OCR文字识别模型用于先对识别出的特定目标的局部区域进行图像裁剪，然后对裁剪后的图像中的文字或符号进行识别；进而确定目标物中的文字信息。

作为本发明进一步的改进，导航模块在进行运动轨迹优化的过程中，同时采用激光雷达和深度相机获取到的数据中的融合特征作为参考信息，并利用SLAM算法实现障碍物的精准识别与建模。

作为本发明进一步的改进，上位机中还包括一个存储模块，存储模块用于存储如下数据：电力机房巡检机器人在执行巡查任务过程中采集到的各类原始数据，根据各类原始数据分析处理得到的巡查结果，执行各类操作任务时生成的事件信息，以及完成巡查任务后记录下的日志文件。

本发明还提供一种电力机房的无人巡检方法，其采用如前述的监控一体化的电力机房巡检机器人，对电力机房的进行常态化的自动巡查，并对某些特定的异常事件或故障状态进行主动处置。该无人巡检方法包括如下步骤：

一、初始化阶段

S1：在初始化状态下，向电力机房巡检机器人的下达运动控制指令，对整个电力机房内部的通道进行遍历。

S2：上位机中的导航模块根据移动平台中定位模块记录的一系列的坐标信息生成一个初始化巡查路径。

其中，初始化巡查路径中还包括各个待查验的关键设备或装置对应的标记。

S3：机械臂轨迹规划模块根据巡查轨迹中各轨迹点对应的深度相机与待巡查目标物的空间位置关系，预先生成初始化巡查轨迹中每个轨迹点处对应的机械臂的位姿控制指令。

其中，位姿控制指令用于控制机械臂***与移动平台协同运转，进而使得深度相机***能够在移动平台移动过程中获取电力机房内部所有场所或设备的图像数据。

二、常态化巡查阶段

S4：在巡查任务按周期触发后，电力机房巡检机器人的移动平台按照初始化巡查路径在电路机房内移动。

S5：移动平台运行过程中，上位机中的空间虚拟化模块根据深度相机和激光雷达实时采集的数据进行空间虚拟化建模，并由导航模块根据虚拟化模型中的障碍物信息对初始化巡查路径进行优化；进而实现电力机房巡检机器人的自适应导航和避障。

S6：上位机实时获取或保存深度相机采集到的图像或视频数据，并通过目标识别模型对关键节点处的设备或装置进行识别。

S7：上位机对识别出的目标物进行特征比对或文字识别，进而确定各个关键设备或装置的实时运行状态。

三、事件处置阶段

当步骤S7中分析出任意一个设备或装置的运行状态异常，或到达电力机房控制中心下达的任务的操作对象的位置时，执行如下主动处置操作：

S8：由目标定位模型计算出操作对象的位置信息。

S9：上位机根据深度图像中目标物的景深信息的变化，控制移动平台靠近操作对象。

S10：到达最近操作位置后，上位机先通过目标定位模块计算出操作对象的详细位置。然后结合上位机上传的机械臂的状态数据，通过机械臂轨迹规划模块求解出末端执行机构的最佳运动轨迹，最终生成机械臂***对应的运动信息队列并发送至下位机。

S11：下位机根据运动信息队列控制机械臂运动，并由末端执行机构执行相应动作，进而完成异常事件的处置或指定任务的实施。

S12：在完成对初始化巡查路径中所有关键节点的巡查后，结束当前的巡查任务，上位机生成一个工作日志。

本发明提供的技术方案，具有如下有益效果：

本发明提供了一种包含机械臂、移动平台和深度相机的信息电力机房巡检机器人。并机器人在执行巡检任务过程需要执行的图像识别、状态分析、路径规划，运动控制等工作通过一个独立与机器人行动机构本体的上位机来完成。进而使得巡检机器人可以在电力机房内自主完成各项巡查和应急处置工作，大幅度提高机器人的自动化程度。此外，在本发明的方案，上位还可以支持对多台机器人进行协同控制，进而降低整个机器人***的部署成本，并通过多台机器人进一步提高工作效率。

本发明的方案在机械臂末端安装深度相机，深度相机可以获取物体多角度图像，并采集到目标物的深度信息，因而可以提高上位机对目标物的识别精度。同时深度图像还可以提升机器人的导航精度，增加机器人在复杂电力机房内的避障性能。

本发明的方案中的机器人具有故障处置功能，通过机械手可夹紧和松开物体，在机械臂末端的安装使机械手可随末端位置和位姿的变化而移动和旋转。这使机器人可对电力机房的物体进行操控，包括电闸开关的打开和关闭、按钮的旋转等，在紧急情况下机器人可关闭电闸，增加了巡检的安全性。

本发明采用YOLOv5算法识别复杂物体，对机房中仪表、开关等多种物体状态进行识别。采用端对端方式进行检测，并且将目标定位和目标分类任务合并到一个阶段进行，大大减少了目标检测所需时间，识别的相对误差较小。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例1提供的一种监控一体化的电力机房巡检机器人的硬件架构示意图。

图2为设备开发过程中移动平台采用的M8DP型AGV小车的结构示意图。

图3为设备开发过程中采用的六自由度机械臂的结构示意图。

图4为设备开发过程中采用的二指机械爪的结构示意图。

图5为本发明实施例提供的电力机房巡检机器人执行目标识别、定位和异常处置等一连串操作的流程图。

图6为本实施例中基于YOLO V5开发仪表表盘的目标识别过程的过程数据记录。

图7和图8为本发明实施例1中利用SLAM进行空间目标建模的仿真图像示例。

图9为控制机械臂抓取目标物任务的仿真过程示意图。

图10为本发明实施例1中上位机的功能模块图。

图11本发明实施例2中提供的无人巡检方法的步骤流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

本实施例提供一种监控一体化的电力机房巡检机器人，其用于对电力机房进行常态化的巡查，并对特定的异常状态进行及时处置，如图1所示，该电力机房巡检机器人包括：移动平台、机械臂***、深度相机***，以及一个上位机。其中，移动平台、机械臂***构成前端可以实现自由移动的操作主体，而上位机则是后端的控制中心和数据处理中心。在***层中，上位机与移动平台、机械臂***，以及深度相机***间采用Socket通信的方式完成指令与数据的双向传输；而在硬件层则可以采用以太网，或蓝牙、WiFi等无线通信的手段实现设备间的交互。

其中，移动平台作为电力机房巡检机器人的行走机构；实际上是一种AGV设备。移动平台可以选择采用技术已经成熟并在市场上广泛商用的轮式机器人底盘，履带式机器人底盘等。也可以选择其它任意一种仿生的足式行走机器人等，例如国内外很多公司研发出的可以在不同地地形下稳定行走的机械狗，就是足式行走机器人的代表。

其中，仿生足式机构则具有良好的灵活性、所占空间较小，但控制算法上相对复杂，工作稳定性偏低，行进速度较慢，成本较高。若采用履带式行进机构运行平稳，牵引力大，但底盘面积偏大，较为笨重。因此，综合本实施例特定的使用环境，本实施例采用轮式行进机构，其可在兼顾灵活性的同时保证运动的稳定性，移动速度快，机动性高，环境适应性也较强，适用于电力机房这类地形较为简单、友好的室内工作环境。如图2所示，本实施例在方案开发设计的结算主要是采用上海木蚁机器人公司研发的M8DP型AGV小车作为机器人的移动底盘。

此外，在本实施例提供的移动平台中，还应当安装定位模块以及至少一个激光雷达。定位模块用于采集移动平台在电力机房内部的地理坐标；激光雷达用于探测运动方向上的障碍物。移动平台中还包括一个遥控装置，遥控装置用于对移动平台的运行状态进行人工控制，其中，遥控装置下发的运动控制指令的优先级高于上位机。具体地，本实施例的移动平台中激光雷达的数量为多个，并分布在移动平台的周向位置处。定位模块可以选择采用基于GPS定位、基站定位或基站+wifi混合定位技术的产品。其中，针对本发明的室内应用环境，定位模块优先采用室内定位精度更高的混合定位技术的产品。

机械臂***包括下位机、机械臂和末端执行机构。下位机用于控制机械臂的位姿和运动状态，下位机还用于控制末端执行机构的动作。机械臂的固定端装载在移动平台上，自由端用于安装末端执行机构。末端执行机构用于通过执行特定的动作完成相应的操控任务。

机械臂部分的结构设计主要是考虑到机器人在机房内有对设备进行近距离观察和操作的需求，因此在本实施例决定采用具有六自由度的协作机械臂结构，这样一类机械臂采用关节模块化设计，能很好地控制与调整机器人的抓取动作。具体地，如图3所示，本实施例采用遨博科技研发的AUBO-i5轻型六自由度协作机械臂作为所需的机械臂***。

机械臂***的末端执行机构可以采用二指式机械夹爪或仿生多指式机械手；这类执行机构的结构简单，灵活性较好。针对特定的电力工作环境，机械夹爪或机械手采用如图4所示的高性能树脂材料制备而成；具有较强的绝缘和耐磨特性。

深度相机***安装在机械臂的自由端，且深度相机***与末端执行机构的任意运动轨迹均不发生干涉。深度相机的取景范围包含末端执行机构及其对应的操纵对象。在本实施例中，深度相机采用微软公司开发出的Kinect传感器。

上位机与移动平台、机械臂***的下位机，以及深度相机***电连接。上位机实际上就是一个小型的数据服务器。根据***对设备性能的需要，技术人员可以配置相应计算机***作为所需的上位机。其中，上位机正常功能的运行主要依赖其中运行的软件。具体地，在本实施例中，上位机中分别运行有：一个基于YOLO V5设计的目标识别模型和目标定位模型。一个基于SLAM算法实现的空间虚拟化模块。一个基于Navigation功能包的导航模块。以及一个基于MoveIt和运动学插件IKFAST实现的机械臂轨迹规划模块，等等。

基于新开发的软件***，本实施例的上位机分别用于完成如下工作：(1)通过空间虚拟化模块生成表征机房及其内部设备的空间布局的虚拟化模型。(2)根据巡查轨迹中各轨迹点对应的深度相机与待巡查目标物的空间位置关系，通过机械臂轨迹规划模块预先生成每个轨迹点处对应的机械臂的位姿控制指令。(3)结合激光雷达和深度相机实时获取的数据，在巡查阶段通过导航模块生成一个移动平台的优化运动轨迹，并生成一系列对应的运动控制指令。(4)通过目标识别模型对深度相机实时采集的深度图像进行目标识别，然后在识别出目标后通过目标定位模型计算出目标的位置。(5)在执行操纵任务时，将目标的位置信息和机械臂***的状态数据输入到机械臂轨迹规划模块中，求解出末端执行机构的最佳运动轨迹，并生成机械臂***对应的运动信息队列。

在本实施例开发的电力机房巡检机器人的硬件***中，对Kinect传感器采集的RGB图像进行深度分割、特征提取、目标识别与定位等一系列处理后，可以根据获得的待识别物体空间位置信息进行运动规划，并通过Socket通信将运动规划所得到的机械臂运动信息队列传递给下位机。下位机接收机械臂的运动队列信息并解析，进而驱动机械臂按照规划的轨迹执行运动和抓取，并将机械臂实时位姿信息回传给上位机。

而在软件控制***层面，本实施例采用开源ROS***对巡检机器人进行控制。ROS控制***是一个机器人软件平台，提供了专门为机器人开发应用程序的各种开发环境。ROS可以分成两层，底层是操作***层，上层则是各种软件包，这些软件包有着各种功能，这些功能包括SLAM建图，Navigation导航，MoveIt机械臂控制等。基于SLAM技术建图并判断出机器人所处位置及障碍物状况，再使用Navigation功能包来实现导航功能，控制机器人移动到目标位置，并实现避障功能。通过MoveIt来控制机械臂路径规划，同时，利用基于YOLO V5开发的机器视觉识别软件完成机械臂对机房仪表盘的定位与识别功能，以达到自动化巡检的目的。其中，本实施例完整的目标识别、定位和异常处置的流程大致如图5所示。

目标识别模型由YOLO V5基础模型经过训练后得到，目标识别模型的输入为深度相机获取的原始RGB-D图像；目标识别模型的输出为包含对应识别目标的选择框的RGB-D图像。本实施例中利用YOLO V5开发的主要是目标识别与定位的相关网络模型，特别是针对低光照条件下的目标识别与定位任务。这一类场景实际上也已经存在很多技术方案，但是大多并不成熟。例如，Wu Z提出了一种基于循环生成对抗网络的图像转换优化网络。他们重新设计了CycleGAN的鉴别器网络，增加了额外的鉴别器，优化了网络的多个部分如损失函数，并在网络转换后增加了目标检测网络。W.Wang提出了一种图像增强方法来改善低照度图像质量。首先，通过双曲正切曲线将图像亮度映射到期望的水平。其次，针对YCbCr颜色空间中的反锐化滤波器，提出了块匹配和三维滤波方法，用于图像去噪和锐化。最后，利用卷积神经网络模型进行检测，完成监控任务。H.Kuang开发了一种夜间图像增强方法，通过建模来自水平细胞的自适应反馈和双极细胞的中央包围的拮抗接受域。在此基础上，利用卷积神经网络、梯度方向直方图和局部二值模式对分类器进行特征提取，利用支持向量机对分类器进行训练。然而现有的研究实际操作难度很大，对硬件和软件的性能要求很高，网络模型的实时性明显不足，成本也居高不下。而本实施基于YOLO V5算法开发的目标识别与定位模型可以避免这些问题，同时，利用深度相机获取的RGB-D图像在提高目标的识别精度和效率方面也具有增益。

以仪器仪表的表盘识别为例，本实施例利用YOLO V5算法设计和训练目标识别网络的过程大致如下：首先，在data目录下新建Annotations,images,ImageSets,labels四个文件夹。其中images存放的是原始的图片数据集，Annotations存放的是标记后生成的xml文件，labels存放的是保存标记内容的txt文件，ImageSets存放的是训练数据集和测试数据集的分类情况。然后，准备待识别的仪表盘实物，从不同角度对其拍了200张左右的照片，使用labelImg标注工具对所有照片进行标注，将所生成的xml文件全部放入到Annotations文件夹中。接着，在YOLOV5的根目录下新建文件makeTxt.py和voc_label.py，分别运行makeTxt.py和voc_label.py。makeTxt.py主要是将数据集分类成训练数据集和测试数据集，运行后ImagesSets文件夹中会出现四个文件，主要是生成的训练数据集和测试数据集的图片名称voc_label.py主要是将图片数据集标注后的xml文件中的标注信息读取出来并写入txt文件，运行后在labels文件夹中出现所有图片数据集的标注信息。接下来是对数据集方面的yaml文件进行修改，最后，在根目录中对train.py中的一些参数进行修改，全部配置好后，直接执行train.py文件开始训练。训练好后，我们会在weights文件夹中得到best.pt和last.pt这两个文件。通过运行这两个文件，就可以完成机房中仪表盘的识别。图6是本实施例在仪表盘的目标识别网络设计过程中的一些过程数据记录。相应地，对电力机房中其它的设备进行目标识别也可以采用类似的方式进行网络模型训练方式。

当目标识别模块输出包含目标选择框的样本图像之后，目标定位模型通过如下步骤计算出目标物的空间位置：

(1)根据识别出的目标物的选择框在RGB-D图像中的像素位置以及像素区域的深度信息，计算出目标物相对相机镜头中心的第一坐标。

(2)根据深度相机在机械臂***上的安装位置，将目标物的第一坐标转换为第二坐标，所述第二坐标以机械臂自由端为原点。

(3)根据电力机房巡检机器人在电力机房中的实时位置，将第二坐标转换为世界坐标系下的绝对坐标，得到目标物实际的空间位置。

本实施例中深度相机的另外一个作用是在巡检机器人的路径规划过程中。本实施例采用SLAM技术实现空间环境建模和地图生成。传统的基于滤波器的SLAM算法如FastSlam虽然降低了计算的复杂度，具有良好的鲁棒性，但在大尺度环境中内存消耗严重，粒子的耗散性影响了地图的构建。而本实施例基于RGB-D深度相机和激光雷达融合的SLAM算法通过多传感器获取深度信息并分析设备的位姿，进而能够构建稠密的地图，适合室内环境。

在本实施例的方案设计阶段，利用Gmapping功能包实现机器人的SLAM建图，安装Gmapping功能包，同时需要配置Gmapping节点，为Gmapping节点文件配置一个Rviz启动环境作为demo。启动gazebo环境中带有激光雷达的机器人模型，之后启动Gmapping演示文件，最后启动键盘控制节点。其中，图7和图8是本实施例在开发过程中对一些典型场景的空间建模实例。

导航的路径优化过程中，首先需要配置Move_base的节点，利用Move_base的启动文件启动与机器人导航仿真配置有关的四个yaml文件，主要配置为本地规划器yaml文件以及普通地图规划yaml文件。初步配置完成后，启动机器人模型Gazebo环境，之后再启动Gmapping与Move_base控制节点,最后加载配置完成的Rviz环境，通过“2D Nav goal”来手动设置目标点位。

在完成目标识别，路径规划和移动平台的运动控制等一系列工作之后，另外一项工作即为如何通过机械臂和末端执行机构更加精细地完成各项操纵任务。考虑到现有的机械臂运动控制的研究很复杂，并且在求解的过程中计算量很大，容易出现求解结果无解、求解结果失败等情况。本实施例通过调用在线的Move It工具来实现机械臂控制，并配置运动学插件IKFAST来实现机械臂的轨迹规划。引入Ikfast算法后，机械臂的运行状态求解过程中会非常快，求解结果精度很高，且能求解出传统方法无法求解的结果。

本实施例还针对机器人的抓取和控制过程进行了仿真，在终端中启动机器人仿真环境后，在bashrc文件夹中将Anacond的路径开关(export PATH＝/home/hsy/anaconda3/bin:$PATH)打开，另外启动一个终端用来启动YOLOV5视觉软件，利用source～/.bashrc命令更新bashrc路径，随后打开机器人工作空间路径，再利用“source activate”，“condaactivate mypytorch”指令启动YOLOV5的运行空间，之后利用launch文件启动YOLOV5界面。

之后调用MoveIt接口，将定位完成后的物体坐标信息发送给MoveIt，通过MoveIt中机器人逆运动学原理自主规划机械臂运动路径使机械臂终端运动到待抓取点，控制机械臂运动到物体的上方，然后向下抓取，机械夹爪关闭夹紧后控制机械臂回到初始姿态，完成抓取功能的仿真。图9是仿真过程的连续过程图像。

此外，在本实施例更加完善的方案中，如图10所示，上位机中还包括一个基于图卷积神经网络的特征匹配模型和一个OCR文字识别模型。特征匹配模型用于将识别出的特定目标物与数据库中目标物的典型状态图进行特征匹配，进而确定特定目标物的工作状态。比如在当上位机识别出待测目标是一个继电器之后，通过特征匹配可以分析出当前图像中的继电器是处于哪一种工作状态。以便根据不同的工作状态作出对应的工作决策。

OCR文字识别模型用于先对识别出的特定目标的局部区域进行图像裁剪，然后对裁剪后的图像中的文字或符号进行识别；进而确定目标物中的文字信息。例如对应一些数字显示的仪器仪表，OCR文字识别模块可以代替人工完成读数，然后由上位机进行数据记录。同时，上位机中还包括一个存储模块，存储模块用于存储如下数据：电力机房巡检机器人在执行巡查任务过程中采集到的各类原始数据，根据各类原始数据分析处理得到的巡查结果，执行各类操作任务时生成的事件信息，以及完成巡查任务后记录下的日志文件，等等。

实施例2

结合实施例1中提供的监控一体化的电力机房巡检机器人，本实施例进一步提供一种电力机房的无人巡检方法，其采用实施例中的监控一体化的电力机房巡检机器人，代替人工对电力机房的进行常态化的自动巡查，并对某些特定的异常事件或故障状态进行主动处置。

如图11所示，本实施例提供的无人巡检方法包括如下步骤：

一、初始化阶段

S1：在初始化状态下，向电力机房巡检机器人的下达运动控制指令，对整个电力机房内部的通道进行遍历。

S2：上位机中的导航模块根据移动平台中定位模块记录的一系列的坐标信息生成一个初始化巡查路径。

其中，初始化巡查路径中还包括各个待查验的关键设备或装置对应的标记。

S3：机械臂轨迹规划模块根据巡查轨迹中各轨迹点对应的深度相机与待巡查目标物的空间位置关系，预先生成初始化巡查轨迹中每个轨迹点处对应的机械臂的位姿控制指令。

其中，位姿控制指令用于控制机械臂***与移动平台协同运转，进而使得深度相机***能够在移动平台移动过程中获取电力机房内部所有场所或设备的图像数据。

初始化阶段的主要工作时训练机器人熟悉电力机房大致的空间环境，并明确在机房中的不同位置时应当执行哪些工作任务，其中，移动平台连接的遥控器即用于在该阶段对机器人的行走过程进行人工控制。

二、常态化巡查阶段

S4：在巡查任务按周期触发后，电力机房巡检机器人的移动平台按照初始化巡查路径在电路机房内移动。

S5：移动平台运行过程中，上位机中的空间虚拟化模块根据深度相机和激光雷达实时采集的数据进行空间虚拟化建模，并由导航模块根据虚拟化模型中的障碍物信息对初始化巡查路径进行优化；进而实现电力机房巡检机器人的自适应导航和避障。

S6：上位机实时获取或保存深度相机采集到的图像或视频数据，并通过目标识别模型对关键节点处的设备或装置进行识别。

S7：上位机对识别出的目标物进行特征比对或文字识别，进而确定各个关键设备或装置的实时运行状态。

巡查阶段的工作主要是由机器人自动进行行走和避障，并在运动过程中获取关键设备的运行状态数据。

三、事件处置阶段

当步骤S7中分析出任意一个设备或装置的运行状态异常，或到达电力机房控制中心下达的任务的操作对象的位置时，执行如下主动处置操作：

S8：由目标定位模型计算出操作对象的位置信息。

S9：上位机根据深度图像中目标物的景深信息的变化，控制移动平台靠近操作对象。

S10：到达最近操作位置后，上位机先通过目标定位模块计算出操作对象的详细位置。然后结合上位机上传的机械臂的状态数据，通过机械臂轨迹规划模块求解出末端执行机构的最佳运动轨迹，最终生成机械臂***对应的运动信息队列并发送至下位机。

S11：下位机根据运动信息队列控制机械臂运动，并由末端执行机构执行相应动作，进而完成异常事件的处置或指定任务的实施。

S12：在完成对初始化巡查路径中所有关键节点的巡查后，结束当前的巡查任务，上位机生成一个工作日志。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种监控一体化的电力机房巡检机器人，其特征在于，其用于对电力机房进行常态化的巡查，并对特定的异常状态进行及时处置；所述电力机房巡检机器人包括：

移动平台，其作为所述电力机房巡检机器人的行走机构；所述移动平台中包含定位模块并安装有至少一个激光雷达；所述定位模块用于采集移动平台在电力机房内部的地理坐标；所述激光雷达用于探测运动方向的障碍物；

机械臂***，其包括下位机、机械臂和末端执行机构；所述下位机用于控制所述机械臂的位姿和运动状态，所述下位机还用于控制所述末端执行机构的动作；所述机械臂的固定端装载在所述移动平台上，自由端用于安装末端执行机构；所述末端执行机构用于通过执行特定的动作完成相应的操控任务；

深度相机***，其安装在所述机械臂的自由端，且所述深度相机***与所述末端执行机构的任意运动轨迹均不发生干涉；所述深度相机的取景范围包含末端执行机构及其对应的操纵对象；以及

上位机，其与所述移动平台、机械臂***的下位机，以及深度相机***电连接；所述上位机中分别运行有：一个基于YOLO V5设计的目标识别模型和目标定位模型；一个基于SLAM算法实现的空间虚拟化模块；一个基于Navigation功能包的导航模块；以及一个基于MoveIt和运动学插件IKFAST实现的机械臂轨迹规划模块；所述上位机用于：(1)通过空间虚拟化模块生成表征机房及其内部设备的空间布局的虚拟化模型；(2)根据巡查轨迹中各轨迹点对应的深度相机与待巡查目标物的空间位置关系，通过所述机械臂轨迹规划模块预先生成每个轨迹点处对应的机械臂的位姿控制指令；(3)结合激光雷达和深度相机实时获取的数据，在巡查阶段通过所述导航模块生成一个移动平台的优化运动轨迹，并生成一系列对应的运动控制指令；(4)通过目标识别模型对深度相机实时采集的深度图像进行目标识别，然后在识别出目标后通过目标定位模型计算出目标的位置；(5)在执行操纵任务时，将目标的位置信息和机械臂***的状态数据输入到所述机械臂轨迹规划模块中，求解出末端执行机构的最佳运动轨迹，并生成机械臂***对应的运动信息队列。

2.如权利要求1所述的监控一体化的电力机房巡检机器人，其特征在于：所述移动平台为一种AGV设备，并选择采用轮式机器人底盘，履带式机器人底盘，或其它任意一种仿生行走机器人；

所述移动平台中还包括一个遥控装置，所述遥控装置用于对移动平台的运行状态进行人工控制，所述遥控装置下发的运动控制指令的优先级高于上位机。

3.如权利要求1所述的监控一体化的电力机房巡检机器人，其特征在于：所述移动平台中激光雷达的数量为多个，并分布在移动平台的周向位置处；所述定位模块选择采用基于GPS定位、基站定位或基站+wifi混合定位技术的产品。

4.如权利要求1所述的监控一体化的电力机房巡检机器人，其特征在于：所述机械臂采用具有六自由度的机械臂；所述机械臂***的末端执行机构采用机械夹爪或仿生多指式机械手；所述机械夹爪或机械手表面进行绝缘和耐磨增强处理。

5.如权利要求1所述的监控一体化的电力机房巡检机器人，其特征在于：所述上位机与移动平台、机械臂***，以及深度相机***间采用基于以太网或无线的Socket通信的方式完成指令与数据的双向传输。

6.如权利要求1所述的监控一体化的电力机房巡检机器人，其特征在于：所述目标识别模型由YOLO V5基础模型经过训练后得到，所述目标识别模型的输入为深度相机获取的原始RGB-D图像；所述目标识别模型的输出为包含对应识别目标的选择框的RGB-D图像；

当目标识别模块输出包含目标选择框的样本图像之后，目标定位模型通过如下步骤计算出目标物的空间位置：

(1)根据识别出的目标物的选择框在RGB-D图像中的像素位置以及像素区域的深度信息，计算出目标物相对相机镜头中心的第一坐标；

(2)根据深度相机在机械臂***上的安装位置，将目标物的第一坐标转换为第二坐标，所述第二坐标以机械臂自由端为原点；

(3)根据电力机房巡检机器人在电力机房中的实时位置，将第二坐标转换为世界坐标系下的绝对坐标，得到目标物实际的空间位置。

7.如权利要求6所述的监控一体化的电力机房巡检机器人，其特征在于：所述上位机中还包括一个基于图卷积神经网络的特征匹配模型和一个OCR文字识别模型；所述特征匹配模型用于将识别出的特定目标物与数据库中目标物的典型状态图进行特征匹配，进而确定特定目标物的工作状态；所述OCR文字识别模型用于先对识别出的特定目标的局部区域进行图像裁剪，然后对裁剪后的图像中的文字或符号进行识别；进而确定目标物中的文字信息。

8.如权利要求1所述的监控一体化的电力机房巡检机器人，其特征在于：所述导航模块在进行运动轨迹优化的过程中，同时采用激光雷达和深度相机获取到的数据中的融合特征作为参考信息，并利用SLAM算法实现障碍物的精准识别与建模。

9.如权利要求1所述的监控一体化的电力机房巡检机器人，其特征在于：所述上位机中还包括一个存储模块，所述存储模块存储的数据包括：电力机房巡检机器人在执行巡查任务过程中采集到的各类原始数据，根据各类原始数据分析处理得到的巡查结果；以及执行各类操作任务时生成的事件信息，以及完成巡查任务后记录下的日志文件。

10.一种电力机房的无人巡检方法，其特征在于：其采用如权利要求1-9中任意一项所述的监控一体化的电力机房巡检机器人，对电力机房的进行常态化的自动巡查，并对某些特定的异常事件或故障状态进行主动处置；所述无人巡检方法包括如下步骤：

一、初始化阶段

S1：在初始化状态下，向电力机房巡检机器人的下达运动控制指令，对整个电力机房内部的通道进行遍历；

S2：上位机中的导航模块根据移动平台中定位模块记录的一系列的坐标信息生成一个初始化巡查路径；

其中，所述初始化巡查路径中还包括各个待查验的关键设备或装置对应的标记；

S3：所述机械臂轨迹规划模块根据巡查轨迹中各轨迹点对应的深度相机与待巡查目标物的空间位置关系，预先生成初始化巡查轨迹中每个轨迹点处对应的机械臂的位姿控制指令；

其中，所述位姿控制指令用于控制机械臂***与所述移动平台协同运转，进而使得所述深度相机***能够在移动平台移动过程中获取电力机房内部所有场所或设备的图像数据；

二、常态化巡查阶段

S4：在巡查任务按周期触发后，电力机房巡检机器人的移动平台按照初始化巡查路径在电路机房内移动；

S5：移动平台运行过程中，上位机中的空间虚拟化模块根据深度相机和激光雷达实时采集的数据进行空间虚拟化建模，并由导航模块根据虚拟化模型中的障碍物信息对初始化巡查路径进行优化；进而实现电力机房巡检机器人的自适应导航和避障；

S6：上位机实时获取或保存深度相机采集到的图像或视频数据，并通过目标识别模型对关键节点处的设备或装置进行识别；

S7：上位机对识别出的目标物进行特征比对或文字识别，进而确定各个关键设备或装置的实时运行状态；

三、事件处置阶段

当步骤S7中分析出任意一个设备或装置的运行状态异常，或到达电力机房控制中心下达的任务的操作对象的位置时，执行如下主动处置操作：

S8：由目标定位模型计算出操作对象的位置信息；

S9：上位机根据深度图像中目标物的景深信息的变化，控制移动平台靠近操作对象；

S10：到达最近操作位置后，上位机先通过目标定位模块计算出操作对象的详细位置，然后结合上位机上传的机械臂的状态数据，通过机械臂轨迹规划模块求解出末端执行机构的最佳运动轨迹，最终生成机械臂***对应的运动信息队列并发送至下位机；

S11：下位机根据运动信息队列控制机械臂运动，并由末端执行机构执行相应动作，进而完成异常事件的处置或指定任务的实施；

S12：在完成对初始化巡查路径中所有关键节点的巡查后，结束当前的巡查任务，上位机生成一个工作日志。