CN115661966A - 一种基于增强现实的巡检***和方法 - Google Patents

Abstract

本发明涉及辅助运维领域，特别是涉及一种基于增强现实的巡检***和方法。***包括：巡检机器人、检测部分和增强现实辅助部分，巡检机器人包括导航部件、运动部件和显示部件，导航部件用于规划巡检轨迹，运动部件用于进行巡检并获取现场的真实图像，显示部件用于对虚实融合后的图像进行显示；检测部分使用卷积神经网络模型对真实图像进行检测，以获取检测信息；增强现实辅助部分用于将真实图像和检测信息进行虚实融合，并将融合后的图像发送至巡检机器人进行显示。本发明解决了现有增强现实设备使用不便的问题，能够完成日常的无人巡检工作，还能够在有人巡检时提供巡检辅助，提高运维的效率。

Description

一种基于增强现实的巡检***和方法

技术领域

本发明涉及辅助运维领域，特别是涉及一种基于增强现实的巡检***和方法。

背景技术

增强现实技术(Augmented Reality，简写为AR)是目前人机交互领域研究的热点技术。增强现实技术能够利用虚实注册、虚实遮挡、模型渲染等关键技术，将虚拟模型或动画，叠加在真实场景中的具***置，实现虚实融合的可视化人机交互，引导用户理解当前场景。将增强现实技术应用在巡检工作中，能够通过增强现实技术将故障虚拟信息与真实场景视频相融合，辅助现场巡检人员根据故障内容进行运维操作；同时当现场出现较为复杂的运维问题时，在远程的技术专家也能够应用增强现实技术，指导现场人员进行运维操作。

目前增强现实技术在变电站、通信机房等场景的运维过程中均有所应用，运维过程中通常采用增强现实眼镜或者便携式的电脑显示故障或巡检信息，辅助人工操作。目前主流的增强现实眼镜在实际应用过程中存在续航时间短、运算能力低的问题，并且对人体具有侵入式影响，长期佩戴容易导致巡检人员疲劳和视力下降。而采用便携式的电脑进行增强现实显示，在巡检人员进行运维操作时，便携式电脑将占用运维人员的双手影响其运维操作。

鉴于此，如何克服现有技术所存在的缺陷，解决目前基于增强现实的运维***使用不便的现象，是本技术领域待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明解决了现有的基于增强现实的巡检***中硬件使用不便的问题。

本发明实施例采用如下技术方案：

第一方面，本发明提供了一种基于增强现实的巡检***，具体为：包括巡检机器人10、检测部分20和增强现实辅助部分30，具体的：巡检机器人10包括导航部件11、运动部件12和显示部件13，导航部件11用于根据位置信息、环境图像和巡检内容规划巡检轨迹，运动部件12用于根据导航部分提供的巡检轨迹进行巡检并获取现场的真实图像，显示部件13用于对增强现实辅助部分30获得的虚实融合后的图像进行显示；检测部分20使用卷积神经网络模型对巡检机器人10获取的真实图像进行检测，以获取检测信息，其中，所述检测信息包括故障信息和运维指导信息；增强现实辅助部分30用于将真实图像和检测信息进行虚实融合，并将融合后的图像发送至巡检机器人10进行显示。

优选的，巡检机器人10上还包含云台结构15，具体的：所述云台结构15固定在巡检机器人10的上部，云台结构15上携带图像采集设备，以便于通过云台结构15的升降获取不同高度设备的真实图像。

另一方面，本发明提供了一种基于增强现实的巡检方法，具体为：所述巡检方法应用在第一方面所述的巡检***上，所述巡检方法包括：根据实际场景对巡检轨迹进行实时规划，并按照规划好的巡检轨迹获取巡检目标的真实图像；使用基于YOLO v3主干网络改进的卷积神经网络模型对巡检机器人10获取的真实图像进行检测，获取检测信息；通过增强现实技术将检测信息与真实图像进行虚实融合，并将融合后的图像发送至巡检机器人10进行显示，以辅助运维人员进行运维操作。

优选的，巡检机器人10根据实际场景对巡检轨迹进行实时规划，具体包括：将所有巡检目标点对应的拓扑空间中的节点用活性场表示，采用改进的生物激励神经网络算法实现全区域覆盖，完成多任务点巡检的全局轨迹规划；当发现障碍物或偏离全局轨迹时，采用局部路径规划算法重新进行局部轨迹规划，重新规划到达下一目标点的最优轨迹。

优选的，使用基于YOLO v3主干网络改进的卷积神经网络模型对巡检机器人10获取的真实图像进行检测，具体包括：使用YOLO v3作为主干网络，对Darknet-53采用至少二个不同数据网络结构的多尺度检测网络分支进行输出，每个多尺度检测网络分支使用一个注意力机制模块。

优选的，获取检测信息，具体包括：利用卷积神经网络模型对巡检机器人10获取的真实图像进行对象识别，判断真实图像是否符合设备正常运行的状态，若不符合设备正常运行的状态，获取相应的故障信息和运维指导信息；当无法直接判断时，通过专家***和/或远程专家获取检测信息。

优选的，通过增强现实技术将检测信息与真实图像进行虚实融合，具体包括：构建真实巡检空间的三维模型作为虚拟场景，将真实相机在真实巡检空间中的位姿矩阵赋值给虚拟相机，将虚拟相机拍摄的虚拟场景与真实相机获取的真实图像进行虚实融合，完成虚实注册和虚实遮挡处理。

优选的，将真实相机在真实巡检空间中的位姿矩阵赋值给虚拟相机，具体包括：通过真实巡检空间的地图确定巡检机器人10在真实巡检空间中的位置，根据巡检机器人10的所携带的图像采集设备14与巡检机器人10的相对位置，将巡检机器人10在巡检空间中的位置坐标转换到图像采集设备14的坐标上，根据图像采集设备14的坐标求解真实相机的位姿矩阵。

优选的，将巡检机器人10在巡检空间中的位置坐标转换到图像采集设备14的坐标上，还包括：根据巡检机器人10建图时的原点确定真实世界坐标系的原点坐标位置，进行虚实注册时，将虚拟模型中世界坐标系的原点坐标的位置与真实世界的坐标原点对齐。

优选的，述将虚拟相机拍摄的虚拟场景与真实相机获取的真实图像进行虚实融合之前，还包括：将虚拟相机外参设置为真实相机的位姿矩阵，将真实相机通过标定后得到的内参赋值为虚拟相机内参。

与现有技术相比，本发明实施例的有益效果在于：将增强现实技术与巡检机器人10相结合，能够利用巡检机器人10捕获的真实图像，将运维信息显示在巡检机器人10的显示部分上，辅助现场运维人员根据故障内容进行运维操作。在巡检机器人上使用增强现实技术不仅能够解决增强现实眼镜算力、续航不足，以及对人体侵入式影响的问题，还能解决便携式电脑占用巡检人员双手的问题，不仅能够完成日常的无人巡检工作，还能够在有人巡检时提供巡检辅助，提高运维的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于增强现实的巡检的***结构示意图；

图2为本发明实施例提供的另一种基于增强现实的巡检的***结构示意图；

图3为本发明实施例提供的一种基于增强现实的巡检的方法流程图；

图4为本发明实施例提供的一种基于增强现实的巡检的方法获取检测信息的过程示意图；

图5为本发明实施例提供的一种基于增强现实的巡检的方法使用的神经网络结构示意图；

图6为本发明实施例提供的一种基于增强现实的巡检的方法将真实图像和检测信息进行虚实融合的过程示意图；

图7为本发明实施例提供的一种基于增强现实的巡检的方法构建地图的的过程示意图；

其中，使用的附图标记如下：

10：巡检机器人，11：导航部件，12：运动部件，13：显示部件，14：图像采集设备，15：云台结构，

20：检测部分，

30：增强现实辅助部分。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明是一种特定功能***的体系结构，因此在具体实施例中主要说明各结构模组的功能逻辑关系，并不对具体软件和硬件实施方式做限定。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。

实施例1：

为了解决现有增强现实的巡检***中硬件使用不便的问题，本实施例提供了一种基于增强现实的巡检***。***采用巡检机器人10进行自动巡检，通过巡检机器人10上的图像采集设备14对巡检目标点进行实时动态监测，而无需人工进行现场值守和巡检，能够满足电力、通信、石化、安防等领域中室内或户外设备的巡检需求。另一方面，在巡检机器人10的显示部件13上显示真实图像、故障信息和运维指导信息融合后的增强现实图像，能够通过增强现实技术引导运维人员完成机房运维作业。

如图1所示，是本发明实施例的装置架构示意图。***包括巡检机器人10、检测部分20和增强现实辅助部分30，图中带有箭头的线条表示存在数据交互，箭头指示数据传输方向。巡检机器人10采用自主导航、深度学习、云计算等技术，实现了智能化的无人巡检；并依靠激光雷达以及视觉***，巡检机器人10能够实现自主建图、定位和路径规划。检测部分20依靠边缘计算或者云计算技术，利用巡检机器人10采集到的现场真实图像实现对巡检现场设备的无人化智能检测。增强现实辅助部分30将智能检测结果与真实图像进行虚实融合，并由巡检机器人10进行显示，在有人巡检时为巡检人员提供了辅助信息。

如图1所示，巡检机器人10包括导航部件11、运动部件12和显示部分。巡检机器人10通过导航部件11和运动部件12实现在巡检区域中的巡航功能，并通过显示部件13向运维人员呈现增强现实的信息显示，而无需人工巡检或人工携带增强现实显示装置。

巡检机器人10中的导航部件11根据位置信息、环境图像和巡检内容规划巡检轨迹。本实施例提供的***中，导航部件11利用巡检机器人10上的激光雷达、视觉***、测距仪、边缘传感器、二维码扫描装置、RFID读取器等各类传感器数据获取环境信息或定位标志，通过导航算法实现巡检机器人10的建图、定位、巡航和避障功能。优选的，为了避免导航部件11和运动部件12远距离通信造成的数据延迟或通信中断，导航部件11部署在巡检机器人10的工控机上，或与运动部件12的控制***进行集成，保证巡检机器人10能够实现自主导航功能。

巡检机器人10中的运动部件12根据导航部件11提供的巡检轨迹进行巡检并获取现场的真实图像。运动部件12为巡检机器人10的主体部分，传感部件、显示部件13和图像采集设备14安装在运动部件12上，承载导航部件11的工控机也安装再运动部件12上。运动部件12的具体尺寸、结构和运动方式可以根据实际场景的需求选择，以保证巡检机器人10的结构适应于巡检环境。例如，应用于在通信机房等平坦室内场景中时，可以使用轮式结构，由于通信机房属于室内环境，机房地面平坦障碍物少，巡检机器人10的差速底盘可以采用轮式结构。另一方面，由于通信机房的机柜之间空间有限，巡检机器人10的长度和宽度保持在500mmx500mm以内，确保巡检机器人10在通信机房环境中具有较好的通过性。又例如，在电力巡检等户外场景中时，可以在轮式结构上增加避震机构，或使用通过性更强的轮胎结构，或使用履带式结构，以适应不同地形的通过性要求。

图像采集设备14用于采集巡检现场的设备和场景图像，在增强现实的图像处理中，图像采集设备14作为增强现实的真实相机，采集到的现场图像作为增强现实的真实图像。具体的，图像采集设备14可以使用图像传感器、照相机、摄像机、红外摄像机等常用的图像采集设备，或根据实际需要使用专用图像采集设备。

进一步的，如图2所示，巡检机器人10上还可以包含云台结构15，云台结构15固定在巡检机器人10的上部，云台结构15上携带图像采集设备14，以便于通过云台结构15的升降获取不同高度设备的真实图像。例如，在通信机房巡检的场景中，机柜高度达到2000mm，采用云台结构15，通过升降云台确保巡检过程中图像采集设备14能够有效的拍摄机柜上方的设备运行情况。在供电线路巡检等需要高空检测的场景中，还可以在巡检机器人10上设置无人机容纳仓和相应的遥控器件，通过无人机完成更高位置的巡检。

与现有的巡检机器人不同，本实施例提供的基于增强现实的巡检***中，巡检机器人10上安装有显示部件13，对增强现实辅助部分30获得的虚实融合后的图像进行显示，在有人值守的场景中，运维人员可以直接查看显示部件13上的信息，而无需额外携带AR眼镜或平板电脑等显示设备。进一步的，也可以配合相应的导航算法，将巡检机器人10的运动轨迹设置为跟随模式，使巡检机器人10能够跟随运维人员移动，使得运维人员的信息查看更加便捷。

检测部分20使用卷积神经网络模型对巡检机器人10获取的真实图像进行检测，以获取检测信息。进行巡检时，需要获取的检测信息包括故障信息和运维指导信息。在具体实施中，由于人工智能计算需要较大的运算资源，因此检测部分20的硬件一般无法直接使用巡检机器人承载。因此，实际实施中，通常将训练好的神经网络部署在服务器端作为主控部分，将巡检机器人10拍摄的真实图像传输到服务器端，将真实图像作为神经网络的输入，通过服务器端部署的神经网络对真实图像进行检测，通过图像识别获取故障特征或运行异常，并将故障信息或运行异常信息发送至增强现实辅助部分30与真实图像融合，或发送至其它管理***平台供运维人员查看。具体的检测结果包含真实图像、真实图像中对象的类型，以及相应的故障或运维指示的报表。进一步的，若使用神经网络进行分析后无法确定故障类型，也可以进一步的使用专家***进行检测，或由在线的技术专家进行人工检测。

增强现实辅助部分30将真实图像、故障信息和运维指导信息进行虚实融合，并将融合后的图像发送至巡检机器人10进行显示。增强现实辅助部分30将巡检机器人10拍摄的真实图像和检测部分20的检测结果进行融合，在服务器端实现虚拟信息与真实图像的虚实注册和虚实遮挡处理，最后将虚实融合的图像传输到巡检机器人10端，显示在巡检机器人10的显示部分上。巡检机器人10辅助人工运维操作时，需要显示的虚拟信息主要包含设备的故障信息或者远程专家的指导信息。在实际实施中，增强现实技术的实现需要进行大量图像处理，也需要消耗较多的运算资源，因此，实际实施中增强现实相关的算法也部署在服务器端，可以与检测部分20进行集成。

若检测部分20和增强现实辅助部分30部署在服务器端，巡检机器人10与服务器之间还需要通过远程通信进行数据交互。在实际实施中，为了避免有线通讯影响巡检机器人10的移动，巡检机器人10与检测部分20和增强现实辅助部分30的通信使用无线通信，例如WiFi、4G/5G等。

本实施例提供的***中，将增强现实技术与巡检机器人10相结合，能够利用巡检机器人10捕获的真实图像，将运维信息显示在巡检机器人10的显示部分上，辅助现场运维人员根据故障内容进行运维操作。在巡检机器人10上使用增强现实技术不仅能够解决增强现实眼镜算力、续航不足，以及对人体侵入式影响的问题，还能解决便携式电脑占用巡检人员双手的问题，不仅能够完成日常的无人巡检工作，还能够在有人巡检时提供巡检辅助，提高运维的效率。

实施例2：

在上述实施例1提供的基于增强现实的巡检***的基础上，本发明还提供了一种可用于实现上述***的基于增强现实的巡检方法。

如图3所示，本发明实施例提供的基于增强现实的巡检方法具体步骤如下。

步骤101：巡检机器人10根据实际场景对巡检轨迹进行实时规划，并按照规划好的巡检轨迹获取巡检目标的真实图像。

本实施例提供的方法中，使用实施例1中提供巡检***中的巡检机器人10完成巡检真实图像的采集，将采集到的真实数据用于后续的故障检测和增强现实处理。为了便于在无人值守的场景中完成真实图像采集，依靠激光雷达以及视觉***，巡检机器人10能够实现自主建图、定位和路径规划。即使在陌生的环境中，巡检机器人10也能够利用导航部件11中集成的路径规划学习算法，实现新场景的自主导航以及自动避障。

步骤102：使用基于YOLO v3主干网络改进的卷积神经网络模型对巡检机器人10获取的真实图像进行检测，获取检测信息。

本实施例提供的检测算法承载在实施例1中提供的巡检***中检测部分20上，通过深度学习算法对巡检现场中日常的巡检内容进行学习，通过图像处理技术实现对设备的日常无人化的自动巡检。本实施例的方法中，可以利用现场真实图像实现对巡检现场设备的无人化智能检测；还可以利用现场音频实现对现场设备报警声的无人化监听；同时利用各类传感器获取的多模态数据，对机房现场是否出现故障进行智能运维检测。为了提高识别算法的灵活性，使其能够根据不同的现场情况进行自学习，本实施例提供的算法采用卷积神经网络算法完成巡检过程中的各项任务，利用神经网络对巡检机器人10相机获取的真实图像进行对象识别，自动判断真实图像是否符合巡检空间设备正常运行的状态。进一步的，依靠边缘计算或者云计算技术，巡检机器人10能够将复杂的深度学习计算模型部署在服务器端以提高处理效率。

如图4所示，日常巡检需要完成的任务主要为各种类型的数据报警灯、报警音、机柜设备类型和编号编码统计、开关状态识别，以及机房内人脸识别等，上述任务都可以通图像识别和音频识别完成。例如，在通信机房日常巡检过程中，巡检人员主要需要记录不同通信设备上的各种类型的数据报警灯、机柜设备类型和编码统计，还需要对进出通信机房的人员进行记录。在本实施例提供的方法中，巡检机器人10能够通过深度学习图像处理算法，利用巡检视频进行图像检测，对通信机房日常巡检过程中的各类故障信息进行分析，自动生产通信机房日常巡检表格，供机房运维人员查看。

步骤103：通过增强现实技术将检测信息与真实真实图像进行虚实融合，并将融合后的图像发送至巡检机器人10进行显示，以辅助运维人员进行运维操作。

当出现较为复杂的故障任务，并且需要运维人员进入机房现场进行设备维修和处理的情况时，运维人员可以根据巡检机器人10上显示的检测信息进行相应的运维操作。

增强现实辅助巡检是指通过增强现实技术将巡检内容和故障信息与真实图像进行虚实融合显示，作为人工巡检时的巡检辅助。本实施例提供的增强现实辅助巡检方法承载在实施例1提供的巡检***中的增强现实辅助部分30上，采用巡检机器人10的图像采集装置获取巡检现场的图像，将故障信息或者运维指导信息作为虚拟信息，利用增强现实虚实注册和虚实遮挡处理技术，将虚拟信息与机房现场真实图像进行虚实融合。最终将虚实融合的画面显示在巡检机器人10的显示部分上，辅助运维人员进行巡检空间运维操作。在具体实施中，根据实际需要，虚实融合后的画面可以使用静态图片、动态图片或视频的形式呈现，还可以配合相应的告警或指导音频信息。

经过本实施例中提供的步骤101-步骤103后，即可完成基于增强现实的自动巡检和运维辅助，减轻了运维人员的工作强度，提高了运维效率。

在步骤101中，为了实现自主导航，需要将巡检的所有巡检目标点对应的拓扑空间中的节点用活性场表示，采用改进的生物激励神经网络算法实现全区域覆盖，完成多任务点巡检的全局轨迹规划。针对机房巡检任务中的非结构化场景以及多变的复杂环境，需要巡检机器人10能够实现最优的移动的同时进行有效的自主避障，针对以上要求，通过采用改进的生物激励神经网络算法实现全区域覆盖以及多任务点巡检全局轨迹规划中，将目标点向拓扑空间中的节点用活性场表示，机器人按照一定的选择规律从初始位置移动到目标位置。进一步的，当机器人进行巡检任务时，如发现静止或者动态的障碍物，或者偏离全局路径时，采用局部路径规划算法重新进行局部轨迹规划，重新规划到达下一目标点的最优轨迹。具体的，将巡检机器人10当前位置作为局部轨迹规划的起点，将最接近的下一个巡检目标点作为局部轨迹规划的终点，在轨迹规划场景中加入障碍物，重新计算能够绕过或避开障碍物的运动轨迹。优选的，可以采用TEB(全称为：timed elastic band)算法对巡检机器人10进行局部轨迹规划，能够迅速进行局部轨迹规划，在避开障碍物的情况下，获得达到下一巡检点的最优轨迹。

步骤102中，在故障图像较为单一或具有明显特征的情况下，可以利用卷积神经网络模型对巡检机器人10获取的真实图像进行对象识别，判断真实图像是否符合设备正常运行的状态，若不符合设备正常运行的状态，获取相应的检测信息。在实际实施场景中，日常巡检的内容可能包含数据报警灯、机柜设备，以及进入机房的人员等多种不同尺寸的物体。步骤102中，本发明采用改进的YOLO v3网络进行巡检空间对象检测，YOLO v3网络是一种卷积神经网络，为基于计算机视觉的对象检测算法，能够实现多种目标对象的快速检测。由于YOLO v3网络主要针对通用的生活场景设计，对于巡检场景中可能存在的较小尺寸的设备，以及报警灯光检测能力较差。另外，YOLO v3网络识别物***置的精确度较差，难以定位设备故障报警灯的位置。

为解决现有YOLO v3网络的不足，本实施例提供的方法中，采用一种基于YOLO v3主干网络改进的卷积神经网络模型对巡检空间中的设备、报警灯光，以及人脸进行识别。具体的，使用YOLO(全称为：You Only Look Once)v3作为主干网络，对Darknet-53采用至少二个不同数据网络结构的多尺度检测网络分支进行输出，每个多尺度检测网络分支使用一个注意力机制模块(Efficient Channel Attention，简写为ECA)。其网络结构如图5所示。其中，YOLO v3作为主干网络，其显著特点是对Darknet-53采用多个多尺度检测网络分支进行输出，以适应不同尺寸装配对象的检测。改进网络每个分支通过ECA注意力机制模块，提高其对装配对象位置检测的精确度。在某个具体实施场景中，使用四个多尺度分支，分别表示为：y1、y2、y3、y4网络分支。多尺度检测分支y1适用较大设备对象的检测，其输出网络结构为：13×13×255。多尺度检测分支y2适用中等大小对象的检测，其输出网络结构为：26×26×255。多尺度检测分支y3适用小尺寸的对象检测，其输出网络结构为：52×52×255。多尺度检测分支y4适用极小的报警灯光对象的检测，其输出网络结构为：104×104×255。对于每个输出层，由于其都包含255个特征矩阵，能够实现同时对多个不同类别的对象进行检测。在实际实施中，多尺度检测分支的数量，以及每个多尺度检测分支的输出网络结构，都可以根据实际检测需要进行设置。

进一步的，当故障较为复杂，无法直接通过神经网络判断时，可以通过专家***或远程专家获取检测信息。利用巡检机器人10获取的现场真实图像或视频数据，远程专家将相关故障内容或故障处理方法作为虚拟数据，发送到巡检机器人10上，虚拟数据与真实场景图像相融合显示在巡检机器人10的显示部分上，引导现场运维人员进行进一步的检测、调试或故障处理。

如图6所示，步骤103中，为了将真实图像和检测信息进行虚实融合，需要完成虚实注册、虚实遮挡和虚实渲染。

在进行增强现实虚实注册前，首先需要将巡检区域的真实场景抽象为以可运算的坐标数据表示的虚拟场景。具体的，构建真实巡检空间的三维模型作为虚拟场景，将真实相机在真实巡检空间中的位姿矩阵赋值给虚拟相机，将虚拟相机拍摄的虚拟场景与真实相机获取的真实图像进行虚实融合，完成虚实注册和虚实遮挡处理。在具体实施中，巡检机器人10的建图采用基于多传感器的方法实现，具体使用的传感器可以针对不同的非结构化场景进行设置。如图7所示，在某个具体场景中，将巡检机器人10携带的激光雷达点云数据与RGB-D相机图像数据通过激光雷达-视觉-惯性里程计(lidar-visual-inertialodometry，简写为LVIO)进行融合，基于多传感器融合构建环境地图，并在相机所获取的二维码、预设标志物等识别目标的图像数据基础上，结合深度学习算法YOLOv3，构建场景环境的语义地图。然后进行环境地图和语义地图的融合，完成高精度机房地图的构建。另外，采用深度学习和语义标签相结合的方法对传统的回环检测进行优化，进一步优化地图建模，提高场景地图构建的精确度。

增强现实虚实注册时，需要确定真实相机的位姿矩阵，然后将真实相机的位姿矩阵赋值给虚拟相机，将虚拟相机拍摄的虚拟场景与真实相机获取的真实图像进行虚实融合完成虚实注册。具体的，通过真实巡检空间的地图确定巡检机器人10在真实巡检空间中的位置，根据巡检机器人10的所携带的图像采集设备14与巡检机器人10的相对位置，将巡检机器人10在巡检空间中的位置坐标转换到图像采集设备14的坐标上，根据图像采集设备14的坐标求解真实相机的位姿矩阵。增强现实技术应用在巡检中时，巡检机器人10上携带的真实相机的位姿坐标可以通过巡检机器人10的位置坐标进行获取。巡检过程中，巡检机器人10在巡检空间中的位置可以通过2D激光雷达等定位传感器构建的地图确定。将巡检机器人10在真实巡检空间中的位置坐标，转换到巡检机器人10的携带的真实相机上，可以求解得到真实相机的位姿矩阵。

进行虚实注册时，还需要将虚拟世界的坐标原点与真实世界的坐标原点对齐，具体的，根据巡检机器人10建图时的原点确定真实世界坐标系的原点坐标位置，进行虚实注册时，将虚拟模型中世界坐标系的原点坐标的位置与真实世界的坐标原点对齐。在虚拟世界中，世界坐标系的原点坐标为O_v，O_v的位置在人工构建虚拟模型的时候确定。真实世界坐标系的原点坐标为O_r，O_r的位置为巡检机器人10即时定位与地图构建(SimultaneousLocalization and Mapping，简写为SLAM)建图时的原点确定。

虚实注册处理功能的实现，除了需要真实相机位姿矩阵求解算法外，还涉及到虚拟相机参数设置、虚拟模型位姿确定以及虚实图像融合渲染。其中虚拟相机参数主要包含虚拟相机的外参和内参的设置，将虚拟相机外参设置为真实相机的位姿矩阵，内参通过相机标定求解。虚拟相机内参应与真实相机的内参保持一致，将真实相机通过标定后得到的内参赋值为虚拟相机内参。

完成虚实注册后，通过3D渲染引擎进行虚拟信息的渲染，将检测信息等转换为对应的图像信息渲染至真实图像上，并将渲染的图像显示在巡检机器人10的显示部件13上，完成增强现实技术的实现。

本实施例提供的方法能够通过巡检机器人10完成无人值守情况下的日常巡检，也可以通过增强现实技术引导运维人员完成运维作业，减少了运维人员的工作量，提高了运维效率和故障处理的准确度。在实际实施中，本实施例提供的方法可以应用于通信机房、电力、石化、安防等领域的巡检机器人上，实现自动日常巡检和专家远程辅助现场人员故障处理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于增强现实的巡检***，其特征在于，包括巡检机器人(10)、检测部分(20)和增强现实辅助部分(30)，具体的：

巡检机器人(10)包括导航部件(11)、运动部件(12)和显示部件(13)，导航部件(11)用于根据位置信息、环境图像和巡检内容规划巡检轨迹，运动部件(12)用于根据导航部分提供的巡检轨迹进行巡检并使用其携带的图像采集设备(14)获取现场的真实图像，显示部件(13)用于对增强现实辅助部分(30)获得的虚实融合后的图像进行显示；

检测部分(20)使用卷积神经网络模型对巡检机器人(10)获取的真实图像进行检测，以获取检测信息，其中，所述检测信息包括故障信息和运维指导信息；

增强现实辅助部分(30)用于将真实图像和检测信息进行虚实融合，并将融合后的图像发送至巡检机器人(10)进行显示。

2.根据权利要求1所述的基于增强现实的巡检***，其特征在于，所述巡检机器人(10)上还包含云台结构(15)，具体的：

所述云台结构(15)固定在巡检机器人(10)的上部，云台结构(15)上携带图像采集设备(14)，以便于通过云台结构(15)的升降获取不同高度设备的真实图像。

3.一种基于增强现实的巡检方法，其特征在于，所述巡检方法应用在如权利要求1-2中任一项所述的巡检***上，所述巡检方法包括：

根据实际场景对巡检轨迹进行实时规划，并按照规划好的巡检轨迹获取巡检目标的真实图像；

使用基于YOLO v3主干网络改进的卷积神经网络模型对巡检机器人(10)获取的真实图像进行检测，获取检测信息；

通过增强现实技术将检测信息与真实图像进行虚实融合，并将融合后的图像发送至巡检机器人(10)进行显示，以辅助运维人员进行运维操作。

4.根据权利要求3所述的基于增强现实的巡检方法，其特征在于，所述巡检机器人(10)根据实际场景对巡检轨迹进行实时规划，具体包括：

将所有巡检目标点对应的拓扑空间中的节点用活性场表示，采用改进的生物激励神经网络算法实现全区域覆盖，完成多任务点巡检的全局轨迹规划；

当发现障碍物或偏离全局轨迹时，采用局部路径规划算法重新进行局部轨迹规划，重新规划到达下一目标点的最优轨迹。

5.根据权利要求3所述的基于增强现实的巡检方法，其特征在于，所述使用基于YOLOv3主干网络改进的卷积神经网络模型对巡检机器人(10)获取的真实图像进行检测，具体包括：

使用YOLO v3作为主干网络，对Darknet-53采用至少二个不同数据网络结构的多尺度检测网络分支进行输出，每个多尺度检测网络分支使用一个注意力机制模块。

6.根据权利要求3所述的基于增强现实的巡检方法，其特征在于，所述获取检测信息，具体包括：

利用卷积神经网络模型对巡检机器人(10)获取的真实图像进行对象识别，判断真实图像是否符合设备正常运行的状态，若不符合设备正常运行的状态，获取相应的故障信息和运维指导信息；

当无法直接判断时，通过专家***和/或远程专家获取检测信息。

7.根据权利要求3所述的基于增强现实的巡检方法，其特征在于，所述通过增强现实技术将检测信息与真实图像进行虚实融合，具体包括：

构建真实巡检空间的三维模型作为虚拟场景，将真实相机在真实巡检空间中的位姿矩阵赋值给虚拟相机，将虚拟相机拍摄的虚拟场景与真实相机获取的真实图像进行虚实融合，完成虚实注册和虚实遮挡处理。

8.根据权利要求7所述的基于增强现实的巡检方法，其特征在于，所述将真实相机在真实巡检空间中的位姿矩阵赋值给虚拟相机，具体包括：

通过真实巡检空间的地图确定巡检机器人(10)在真实巡检空间中的位置，根据巡检机器人(10)的所携带的图像采集设备(14)与巡检机器人(10)的相对位置，将巡检机器人(10)在巡检空间中的位置坐标转换到图像采集设备(14)的坐标上，根据图像采集设备(14)的坐标求解真实相机的位姿矩阵。

9.根据权利要求8所述的基于增强现实的巡检方法，其特征在于，所述将巡检机器人(10)在巡检空间中的位置坐标转换到图像采集设备(14)的坐标上，还包括：

根据巡检机器人(10)建图时的原点确定真实世界坐标系的原点坐标位置，进行虚实注册时，将虚拟模型中世界坐标系的原点坐标的位置与真实世界的坐标原点对齐。

10.根据权利要求7所述的基于增强现实的巡检方法，其特征在于，所述将虚拟相机拍摄的虚拟场景与真实相机获取的真实图像进行虚实融合之前，还包括：

将虚拟相机外参设置为真实相机的位姿矩阵，将真实相机通过标定后得到的内参赋值为虚拟相机内参。

Images