CN205375196U - 用于风电场巡检的群组机器人控制装置 - Google Patents

Abstract

本实用新型为一种用于风电场巡检的群组机器人控制装置，该装置包括飞行机器人、地面移动机器人和地面远程控制站；所述的飞行机器人的组成包括小型四旋翼无人机、前置摄像头、底部摄像头、飞控模块、手动/自动切换模块、第一无线传输模块和被充电模块；所述的地面移动机器人的组成包括轮式机器人、Kinect for Xbox摄像机、充电***、主控计算机、充电控制单元和第二无线传输模块。本实用新型可以实现飞行机器人和地面移动机器人自主合作，依靠机器视觉共同完成对风电厂风机的常规检测，提高风机维护***的自动化水平，实现监视任务的自动化、智能化，减少不必要的人力成本。

Description

用于风电场巡检的群组机器人控制装置

技术领域

本实用新型的技术方案涉及机器视觉的群组机器人***，具体地说是用于风电场巡检的群组机器人***。

背景技术

自80年代以来,风能利用的主要趋势是风力发电。20年来,世界上已有近30个国家开发建设了风电场(是前期总数的3倍),风电场总装机容量约1400万kW(是前期总数的100倍)。风电机组运维有定期检修和日常维护，采用的还是较为传统的人员直接检测。检测人员的工作经验、技术水平、知识储备决定了处理的速度与效果，直接影响到风电的正常运行，且部分工作存在安全风险。相对于常规检测手段，移动机器人和无人机机动能力强、可拓展人的视野，虽然现无比较成熟的无人机应用于风力发电机检测的实例，但国内外对于地面机器人与无人机的监视任务的研究已取得进展。

无论是无人机还是地面移动机器人，现有产品在应用于巡检任务时，自主程度不高，尤其是在依靠视觉信息自主移动方面。目前国内外鲜有报道地面车辆和小型旋翼无人机相配合实现自主目标追踪和充电的工作。现在大多研究工作大多针对单一种类的机器人的目标跟踪问题，而四旋翼和轮式车协同目标跟踪方面，现有研究工作较少，且尚未考虑基于视觉的合作方式，国内外还没有成熟的产品出现。四旋翼无人机和地面机器人依靠摄像头的图像数据互相寻找对方，基于视觉伺服技术完成对接，无需全局定位，即便没有GPS信息也可实现地面机器人对四旋翼无人机的充电。在持续监视任务中，尤其是目标跟踪过程中，无人机是不能放弃目标返回充电的。而现有的四旋翼无人机充电是基于固定基站的方式，无人机不仅要返回，而且要事先知道固定基站的绝对位置才能返回成功，若没有GPS信号，将导致充电失败。

实用新型内容

本实用新型的目的为针对当前技术中存在的监视用飞行机器人的自主目标追踪能力有待提高、飞行机器人难以独立执行长时间的持续监控任务等问题，提供一种用于风电场巡检的群组机器人控制装置，该装置采用双机器人协作充电技术，飞行机器人和地面移动机器人自主合作，依靠摄像头的图像数据完成机器人的粗略定位，再利用红外线来实现两个机器人的精确定位，当飞行机器人自身电量过低时，群组机器人控制装置自主合作完成飞行机器人降落，进而对飞行机器人进行充电，在飞行机器人充电过程中由地面机器人单独进行监控任务，在充电完成后，飞行机器人起飞，共同完成对风电厂的常规检测，无需全局定位，即便没有GPS信息也可实现地面机器人对飞行机器人的充电。该实用新型可以独立执行长时间的持续监控任务，完成对风电厂风机的常规检测，提高风机维护***的自动化水平，减少不必要的人力成本，给风电厂的风机巡检提供更快速、方便、安全的服务。

本实用新型的技术方案是：

一种用于风电场巡检的群组机器人控制装置，该装置包括飞行机器人、地面移动机器人和地面远程控制站；

所述的飞行机器人的组成包括小型四旋翼无人机、前置摄像头、底部摄像头、飞控模块、手动/自动切换模块、第一无线传输模块和被充电模块；其中，前置摄像头、底部摄像头、飞控模块、手动/自动切换模块、第一无线传输模块和被充电模块分别安装在小型四旋翼无人机的机体上，前置摄像头在小型四旋翼无人机的头部；底部摄像头在小型四旋翼无人机的机腹；模块之间的连接关系为：前置摄像头、底部摄像头、飞控模块、被充电模块分别和第一无线传输模块相连，手动/自动切换模块与飞控模块相连；第一无线传输模块通过无线方式与地面远程控制站连接；

所述的地面移动机器人的组成包括包括轮式机器人、KinectforXbox摄像机、充电***、主控计算机、充电控制单元和第二无线传输模块；其中，KinectforXbox摄像机、充电***、主控计算机、充电控制单元和第二无线传输模块分别安装在轮式机器人上，模块之间的连接关系为：KinectforXbox摄像机和第二无线传输模块相连，充电***和充电控制单元相连，第二无线传输模块和充电控制单元都与主控计算机相连；第二无线传输模块通过无线方式分别与第一无线传输模块和地面远程控制站连接。

本实用新型的有益效果是：

(1)飞行机器人和地面移动机器人自主合作，依靠机器视觉共同完成对风电厂风机的常规检测，提高风机维护***的自动化水平，实现监视任务的自动化、智能化，减少不必要的人力成本。

(2)让飞行机器人和地面机器人均具有自动和手动两种工作模式，以保证机器人的安全。

(3)采用双机器人协作充电技术，依靠摄像头的图像数据完成机器人的粗略定位，再利用红外线来实现两个机器人的精确定位，当飞行机器人自身电量过低时，群组机器人控制装置自主合作完成飞行机器人降落，进而对飞行机器人进行充电，无需全局定位，即便没有GPS信息也可实现地面机器人对飞行机器人的充电。解决了飞行机器人的续航问题，使得飞行机器人能够面向可持续监视务。

(4)分层递阶的空地机器人协调控制***结构的架构：采用分层结构，分为协调层、规划层、控制层。对于基于有限自动机原理，建立起协调层的管控软件框架。规划层则负责运动规划，视觉引导，视觉检测，控制层则实现底层***的实际动作。

(5)基于外观特征的机器人视觉目标跟踪控制技术：由于目标和跟踪机器人都处于运动之中，目标在序列图像中存在平移、旋转、尺寸大小变化等情况，采用基于外观特征的SIFT算法与基于颜色特征的Meanshift算法组合的方式，综合利用目标的多种特征快速识别和定位出视频图像中感兴趣的目标。

与现有技术相比，本实用新型的显著的进步是：

(1)设计适用于持续监视、检测任务的群组机器人控制装置，以实现风电场的“无人值守”式巡检。

(2)开发空地协调充电***，飞行机器人和地面机器人依靠摄像头的图像数据互相寻找对方，基于视觉伺服技术完成对接，无需全局定位，即便没有GPS信息也可实现地面机器人对飞行机器人的充电。以解决飞行机器人的续航问题，使得飞行机器人能够面向可持续任务。

(3)利用计算机视觉技术，设计空中四旋翼飞行机器人的自主目标跟踪方法。空地机器人合作，依靠目标外观特征实现视觉引导的可疑目标追踪。飞行机器人与地面机器人同时对目标进行跟踪，如果一方丢失目标可根据另一方提供的信息重新找到跟踪目标，即使在充电过程中地面机器人仍然能够跟踪目标。空地机器人相互配合，将采集的信息实时传回。

(4)本实用新型简单实用，易于普及和推广。

附图说明

下面结合附图和实施例对本实用新型进一步说明。

图1本实用新型装置构成的示意框图

图2本实用新型装置的飞行机器人中的模块连接示意框图；

图3本实用新型装置的地面移动机器人中的的模块连接示意框图；

图中，1.飞行机器人，2.地面移动机器人，3.地面远程控制站，101.小型四旋翼无人机，102.前置摄像头，103.底部摄像头，104.飞控模块，105.手动/自动切换模块，106.飞行机器人的无线传输模块，107.被充电模块，201.轮式机器人，202.KinectforXbox摄像机，203.充电***，204.主控计算机，205.充电控制单元，206.地面移动机器人的无线传输模块。

具体实施方式

图1所示实施例表明，本实用新型用于风电场巡检的群组机器人控制装置的构成：主要包括飞行机器人1、地面移动机器人2和地面远程控制站3，这些部件的连接方式是：飞行机器人1和地面移动机器人2之间通过飞行机器人的无线传输模块106和地面移动机器人的无线传输模块206进行无线信息交换，飞行机器人1、地面移动机器人2都可以与地面远程控制站3进行信息交换，地面远程控制站3可以对飞行机器人1和地面移动机器人2进行控制，地面远程控制站负责处理飞行机器人回传视频图像，执行飞行机器人的目标识别等计算机视觉处理算法，并回送引导指令。

无线传输模块106和无线传输模块206相同，型号均JTT-433-UDI。

图2所示实施例表明，本实用新型装置的飞行机器人1的构成：包括小型四旋翼无人机101、前置摄像头102、底部摄像头103、飞控模块104、手动/自动切换模块105、飞行机器人的无线传输模块106和被充电模块107；其中，前置摄像头102、底部摄像头103、飞控模块104、手动/自动切换模块105、飞行机器人的无线传输模块106和被充电模块107分别安装在小型四旋翼无人机101的机体上，前置摄像头102在小型四旋翼无人机101的头部；底部摄像头103在小型四旋翼无人机101的机腹；模块之间的连接关系为：前置摄像头102、底部摄像头103、飞控模块104、被充电模块107分别和飞行机器人的无线传输模块106相连，手动/自动切换模块105与飞控模块104相连。

飞行机器人1的动态运行方式为：小型四旋翼无人机101携带两部摄像机：一部为前置摄像头102，用于风机巡检，另一部为底部摄像头103，用于空地协调，观察地面移动机器人1的位置，两个摄像头将采到的数据和飞行机器人的无线传输模块106进行信息传递，飞控模块104对小型四旋翼无人机101进行控制，负责无人机自身姿态调节和航迹跟踪控制，手动/自动切换模块105对小型四旋翼无人机101的飞行模式进行切换，负责变换小型四旋翼无人机101的飞行模式，被充电模块107负责无人机的充电，飞行机器人的无线传输模块106与地面移动机器人的无线传输模块206进行无线信息交换，用于飞行机器人1和地面移动机器人2的信息传递。

图3所示实施例表明，本实用新型装置的地面移动机器人2的构成：包括轮式机器人201、KinectforXbox摄像机202、充电***203、主控计算机204、充电控制单元205和地面移动机器人的无线传输模块206；其中，KinectforXbox摄像机202、充电***203、主控计算机204、充电控制单元205和地面移动机器人的无线传输模块206分别安装在轮式机器人201上，模块之间的连接关系为：KinectforXbox摄像机202和地面移动机器人的无线传输模块206相连，充电***203和充电控制单元205相连，地面移动机器人的无线传输模块206和充电控制单元205都与主控计算机204相连。

地面移动机器人2的动态运行方式为：轮式机器人201携带KinectforXbox摄像机202，将采到的数据和地面移动机器人的无线传输模块206进行信息传递，充电***203用来控制轮式机器人201的充电，主控计算机204负责轮式机器人201的视觉信息处理，自主引导轮式机器人运动，并协调管理机器人运行和充电***运行状况；充电控制单元205检测飞行机器人与地面移动机器人对接状态，负责充电过程的逻辑控制和电池仓管理；地面移动机器人的无线传输模块206与地面远程控制站3联系，回送全部状态数据，接收地面远程控制站3的指令。

地面远程控制站就是一台计算机，飞行机器人和地面移动机器人通过wifi模块(无线传输模块106和206)和计算机进行信息传输，进而地面远程控制站可以控制并且掌握飞行机器人和地面移动机器人的运动信息。

用于风电场巡检的群组机器人控制装置，由地面机器人和飞行机器人构成，在对风电厂进行监控任务时，两个机器人通过摄像头的图像数据完成机器人的粗略定位，再利用红外线来实现两个机器人的精确定位，使得两个机器人始终保持同步，两个机器人通过对风电厂的监控，飞行机器人和地面移动机器人通过wifi模块和地面远程控制站进行信息传输，使人们可以实时掌握风电机的状况，在运行过程中，当飞行机器人自身电量过低时，群组机器人控制装置自主合作完成飞行机器人降落，进而对飞行机器人进行充电，在飞行机器人充电过程中由地面机器人单独进行监控任务，在充电完成后，飞行机器人起飞，共同完成对风电厂的常规检测，在完成功能时，地面机器人和飞行机器人同时出发，两个机器人通过摄像头和红外线传感器实现两个机器人的准确定位，使两个机器人始终同步，两个机器人同时完成对风电厂的常规检测。

本发明的实质性特点为：

在自动模式下，飞行机器人和地面移动机器人具有高度自主运行能力，无需人为操控，实现对目标的持续监视：跟踪目标确定后，飞行机器人和地面移动机器人同时对目标进行持续跟踪，并将采集的信息相互比对，确定跟踪目标的正确性，并将所获取的目标状态信息传回地面控制站；当飞行机器人自身电量过低时，群组机器人控制装置自主合作完成飞行机器人降落和充电。

在手动模式下，飞行机器人和地面移动机器人受两个独立人员分别遥控操纵，自身控制***的自主级别降低，执行操作员发送的指令。飞行机器人和地面移动机器人能够在人员操纵下完成对接充电。如果飞行机器人出现意外，则可以快速切换到手动模式，对飞行机器人进行紧急降落。

用于风电场巡检的群组机器人的协调控制装置采用分层结构，分为协调层、规划层、控制层。飞行机器人的底层飞行控制***和地面移动机器人的底层运动控制***采用传统的数字PID控制，实现位姿反馈控制，抵抗未知扰动。飞行机器人和地面移动机器人的控制***为自身携带，姿态控制所需的四旋翼的航向角、横滚角和俯仰角及角速度的测量由航姿参考***(AHRS)提供，而地面移动机器人的朝向角数据由经过校准的单轴陀螺仪提供。规划层负责空地机器人***自动模式时的运动规划，执行飞行机器人和地面移动机器人的视觉引导算法，根据任务需求完成风机易损目标的视觉检测，例如目标巡检任务的可疑易损目标检测和自主充电任务中的机器人视觉导航，进而基于视觉伺服控制技术实时规划飞行机器人和地面移动机器人的下一步运动，交由底层控制***执行。而最高的协调层负责运行策略的调度，将群组机器人控制装置的工作分为启动、手动遥控、自动目标跟踪、充电、停止等宏模式，在每种宏模式中细分出多种单元模式，基于有限自动机原理，建立协调层的管控软件框架。

视觉目标识别控制是用于风电场巡检的群组机器人控制装置执行监视任务中的核心技术之一。关键难点在于如何在视频图像中始终可定位感兴趣目标。由于目标和跟踪机器人都处于运动之中，目标在序列图像中存在平移、旋转、尺寸大小变化等情况，为目标的视觉检测提出挑战。我们采用基于外观特征的ORB算法与基于颜色特征的Camshift算法组合的方式，综合利用目标的多种特征快速识别目标。在目标识别过程中，对特征对应点的匹配质量进行评估，筛除错误匹配。利用ORB得到的连续图像间的匹配点估计相对运动，进而运用基于位置和基于图像的混合视觉伺服控制方法，驱动飞行机器人和地面移动机器人，令其追随目标运动，保持相对距离并使目标始终位于飞行机器人和地面移动机器人所载摄像机的图像平面中央区域。

用于风电场巡检的群组机器人控制装置的电池管理***可实时评估电量，当剩余电量低于阈值时，切换入充电模式，依靠下视摄像头检测地面移动机器人相对位置，由相应控制算法操纵其降落。因地面移动机器人仅在地面运动，从而采用基于图像的视觉伺服控制，目标是始终令地面移动机器人所载充电台处于下视摄像头图像的期望方位上，高度方向则基于高度计和超声波传感器，实时规划期望动作，交由底层控制器执行。进而，依靠通信***通知地面移动机器人，令地面移动机器人和飞行机器人共同趋近对方。连续不断的视觉检测和反馈控制保证误差逐渐减小。当两者距离进入着陆区间，飞行机器人令螺旋桨停转，由充电台机械结构保证其落入充电区，进而由充电控制***完成充电过程的操纵。四旋翼充电时被锁住，充电过程结束后，控制装置的协调层软件完成工作模式切换，飞行机器人飞起。

本实用新型未尽事宜为公知技术。

Claims (1)

1.一种用于风电场巡检的群组机器人控制装置，其特征为该装置包括飞行机器人、地面移动机器人和地面远程控制站；

所述的飞行机器人的组成包括小型四旋翼无人机、前置摄像头、底部摄像头、飞控模块、手动/自动切换模块、第一无线传输模块和被充电模块；其中，前置摄像头、底部摄像头、飞控模块、手动/自动切换模块、无线传输模块和被充电模块分别安装在小型四旋翼无人机的机体上，前置摄像头在小型四旋翼无人机的头部；底部摄像头在小型四旋翼无人机的机腹；模块之间的连接关系为：前置摄像头、底部摄像头、飞控模块、被充电模块分别和第一无线传输模块相连，手动/自动切换模块与飞控模块相连；第一无线传输模块通过无线方式与地面远程控制站连接；

所述的地面移动机器人的组成包括包括轮式机器人、KinectforXbox摄像机、充电***、主控计算机、充电控制单元和第二无线传输模块；其中，KinectforXbox摄像机、充电***、主控计算机、充电控制单元和第二无线传输模块分别安装在轮式机器人上，模块之间的连接关系为：KinectforXbox摄像机和第二无线传输模块相连，充电***和充电控制单元相连，第二无线传输模块和充电控制单元都与主控计算机相连；第二无线传输模块通过无线方式分别与第一无线传输模块和地面远程控制站连接。