CN114779679A - 一种增强现实巡检***及方法 - Google Patents

Abstract

本发明提出了一种增强现实巡检***及方法，包括：定位模块在检测到无人机移动后，采集无人机初步位置和激光雷达点云数据，获取地理信息数据库中的预采集点云数据，采用无人机初步位置，对预采集点云数据进行筛选，并基于激光雷达点云数据，构建现场的点云地图，结合现场的点云地图和筛选后的预采集点云数据，得到无人机所在巡检位置；视频流模块采集无人机所在巡检位置的真实场景画面；渲染模块获取地理信息数据库中的无人机所在巡检位置的地理结构信息和时空数据，并构建虚拟环境，将虚拟环境渲染到真实场景画面上，得到无人机所在巡检位置的增强现实视图。实现了增强现实空间与真实空间在视觉上的对齐。

Description

一种增强现实巡检***及方法

技术领域

本发明属于现场巡检技术领域，尤其涉及一种增强现实巡检***及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

在巡检工作中，需要工人携带移动设备，前往特定的区域，将现场的情况回传给中控***，相关的信息会结合移动设备内置的位置传感器采集的位置信息，汇总到时空数据库中。

然而，上述巡检流程存在诸多问题和局限：

首先，目标区域可能存在危险，操作人员无法进入，从而无法了解现场情况；

其次，一些解决方案选择采用遥控机器人进入现场，但是在发生***、火灾等严重干预实体形态，以至于难以辨认空间特征的情况下，不论是人类还是机器人，都依然容易误判实时态势；

另外，巡检者还会受到生理结构和所处空间结构的制约，视野较为狭隘，往往难以获知视野之外的周边情况，以更好做出决策。

发明内容

为克服上述现有技术的不足，本发明提供了一种增强现实巡检***，实现了增强现实空间与真实空间在视觉上的对齐，以供用户了解具体设备、建筑、生产线的详细情况。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一方面，公开了一种增强现实巡检***，包括无人机、现场控制端、远程控制端和地理信息数据库；所述无人机配置有视频流模块、定位模块；所述现场控制端和远程控制端均配置有渲染模块；

所述定位模块与地理信息数据库连接，用于在检测到无人机移动后，采集无人机初步位置和激光雷达点云数据，获取地理信息数据库中的预采集点云数据，采用无人机初步位置，对预采集点云数据进行筛选，并基于激光雷达点云数据，构建现场的点云地图，结合现场的点云地图和筛选后的预采集点云数据，得到无人机所在巡检位置；

所述视频流模块，用于采集所述无人机所在巡检位置的真实场景画面；

所述渲染模块与视频流模块、定位模块和地理信息数据库连接，用于获取所述地理信息数据库中的所述无人机所在巡检位置的地理结构信息和时空数据，并构建虚拟环境，将虚拟环境渲染到所述真实场景画面上，得到无人机所在巡检位置的增强现实视图。

进一步地，所述现场控制端和远程控制端还配置有UI控制模块，所述UI控制模块与渲染模块连接，用于在所述增强现实视图中提供UI界面。

进一步地，所述无人机和现场控制端还配置有飞行控制模块；

所述现场控制端的飞行控制模块用于接收用户控制指令，并上传至无人机的飞行控制模块；

所述无人机的飞行控制模块用于基于用户控制指令，控制无人机移动。

进一步地，所述虚拟环境的视点位置和朝向依照所述定位模块回传的无人机所在巡检位置确定。

进一步地，所述无人机、现场控制端和远程控制端均配置有网络通信模块，所述网络通信模块用于无人机、地面控制端、远程控制端和地理信息数据库四者之间的相互通信。

进一步地，所述网络通信模块还提供语音和视频通话功能。

另一方面，公开了一种增强现实巡检方法，包括：

无人机启动；

定位模块在检测到无人机移动后，采集无人机初步位置和激光雷达点云数据，获取地理信息数据库中的预采集点云数据，采用无人机初步位置，对预采集点云数据进行筛选，并基于激光雷达点云数据，构建现场的点云地图，结合现场的点云地图和筛选后的预采集点云数据，得到无人机所在巡检位置；

视频流模块采集所述无人机所在巡检位置的真实场景画面；

渲染模块获取所述地理信息数据库中的所述无人机所在巡检位置的地理结构信息和时空数据，并构建虚拟环境，将虚拟环境渲染到所述真实场景画面上，得到无人机所在巡检位置的增强现实视图。

进一步地，还包括：UI控制模块在所述增强现实视图中提供UI界面。

进一步地，还包括：现场控制端的飞行控制模块接收用户控制指令，并上传至无人机的飞行控制模块；无人机的飞行控制模块基于用户控制指令，控制无人机移动。

进一步地，所述虚拟环境的视点位置和朝向依照所述定位模块回传的无人机所在巡检位置确定。

以上一个或多个技术方案存在以下有益效果：

本发明技术方案的渲染模块将视频流模块采集的真实场景画面和虚拟环境渲染到屏幕上，实现了增强现实空间与真实空间在视觉上的对齐，以供用户了解具体设备、建筑、生产线的详细情况，提供了更加完善的巡检救急功能。

本发明技术方案的定位模块加入了激光雷达，采用点云数据和初步位置信息相结合实现无人机定位，降低了算法的时间复杂度，单帧的定位结果可以在50ms内完成计算，从而保证了数据的实时性。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一的增强现实巡检***的总体架构图；

图2为本发明实施例一的增强现实巡检***的模块连接关系图；

图3为本发明实施例一的增强现实巡检***的模块配置图；

图4为本发明实施例一的增强现实巡检方法的流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和专业术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

参见附图1所示，本实施例公开了一种增强现实巡检***，包括：无人机、现场控制端、远程控制端和地理信息数据库。

如图3所示，无人机配置有视频流模块、定位模块和飞行控制模块。现场控制端配置有UI控制模块、渲染模块和飞行控制模块，并与地理信息数据库连接。远程控制端配置有UI控制模块和渲染模块，并与地理信息数据库连接。无人机、现场控制端和远程控制端均配置有网络通信模块，网络通信模块用于无人机、地面控制端、远程控制端和地理信息数据库四者之间的相互通信。

无人机用于在目标区域巡航，配置的视频流模块，用于采集无人机所在巡检位置的真实场景画面，并通过网络通信模块传递给现场控制端。现场控制端通过网络通信模块将真实场景画面回传到远程控制端，供管理人员进行综合分析。

现场控制端位于目标区域附近，用于控制无人机的飞行和航拍，执行巡检的各项工作，并将数据回传到远程控制端，供管理人员进行综合分析。

远程控制端位于距离目标区域较远的外部环境，用于提供综合的现场巡检情况监控服务，向管理人员提供分析服务，并与现场控制端进行通信。

如图2所示，渲染模块通过网络通信模块与视频流模块、定位模块和地理信息数据库连接，具体的，现场控制终端的渲染模块通过现场控制终端和无人机配置的网络通信模块与无人机配置的视频流模块、定位模块连接；远程控制终端的渲染模块依次通过远程控制终端、现场控制终端和无人机配置的网络通信模块与无人机配置的视频流模块、定位模块连接。UI控制模块与渲染模块连接，具体的，现场控制终端的渲染模块与现场控制终端的UI控制模块连接；远程控制终端的渲染模块与远程控制终端的UI控制模块连接。定位模块通过网络无人机配置的通信模块与地理信息数据库连接。飞行控制模块只是通过网络通信模块来收发遥控指令，不和渲染模块产生联系。

地理信息数据库存储有整个目标区域的地理结构信息、时空数据和预采集点云数据。具体的，地理信息数据库用于存储目标区域的地理结构信息（包括地形地势信息、平面地图信息和设备/建筑的三维空间结构）和与之关联的时空数据（诸如生产数据、实时安全告警记录等），构成渲染模块和UI控制模块的数据读写源。此外，地图测绘人员在构建三维空间结构地图时记录的激光点云（即预采集点云数据）也存储在地理信息数据库中，用于为无人机的精准定位提供参照。

飞行控制模块用于控制无人机的飞行。具体的，现场控制端的飞行控制模块用于接收用户控制指令，并上传至无人机的飞行控制模块；无人机的飞行控制模块用于基于用户控制指令，控制无人机的飞行。飞行控制模块还将用户控制指令上传至定位模块和视频流模块，定位模块和视频流模块根据用户控制指令来检测无人机是否移动。

定位模块通过网络通信模块与地理信息数据库连接，用于在检测到无人机移动后，采集无人机初步位置和激光雷达点云数据；并基于激光雷达点云数据，构建现场的点云地图；获取地理信息数据库中的预采集点云数据，采用无人机初步位置，对预采集点云数据进行筛选；结合现场的点云地图和筛选后的预采集点云数据，采用全局定位算法（DELIGHT算法），得到无人机的修正位置，即准确的无人机所在巡检位置。定位模块实时计算无人机所在巡检位置，包括空间坐标（包括经度、纬度和高度数据）、无人机的实时姿态（包括旋转角、俯仰角）、飞行速度和加速度等。为实现本发明，一个关键问题在于获取准确的无人机所在巡检位置置，其精度应保证在厘米级，以保证增强现实情境下的虚拟信息同真实环境精确贴合。无人机采集到的GPS数据（即初步位置，仅含空间坐标，不含实时姿态）精度为米级，难以满足需要。为了解决该问题，本发明在定位模块中加入了激光雷达（LiDar），实时采集LiDar点云数据，构建现场的点云地图，结合地理信息数据库中的筛选后的预采集点云数据，使用DELIGHT算法对无人机的位置进行了修正。DELIGHT算法的输入为筛选后的预采集点云数据和基于激光雷达采集的实时LiDar点云数据构建现场的点云地图，输出为经过DELIGHT算法修正的坐标、姿态、飞行速度和加速度，其复杂度与输入数据的规模呈正相关。其中，预采集的点云数据为目标区域的全域数据。工业生产区域通常面积较大，故该部分的数据规模也会较为庞大，会影响到算法的效率。故需要对预采集的点云数据做筛选。考虑到GPS模块所获取的初步位置信息虽然不够精确，却可以粗略描述无人机的活动范围，故本发明使用这一初步位置信息对预采集的点云数据做了筛选，仅挑选局部区域的预采集点云数据参与DELIGHT算法的计算，从而降低了算法的时间复杂度。单帧的定位结果可以在50ms内完成计算，从而保证了数据的实时性。

视频流模块用于采集无人机所在巡检位置的真实场景画面。具体的，视频流模块用于采集目标区域内无人机所在巡检位置的高清实时画面，以构建***中的真实场景。

渲染模块用于基于无人机所在巡检位置，获取地理信息数据库中的无人机所在巡检位置的地理结构信息和时空数据，并构建虚拟环境，将虚拟环境渲染到视频流模块采集的无人机所在巡检位置的真实场景画面上，得到无人机所在巡检位置的增强现实视图。其中，虚拟环境的视点位置和朝向依照定位模块回传的无人机所在巡检位置确定。渲染模块将视频流模块采集的真实场景画面，及地理信息数据和生产、安全业务数据构成的虚拟环境渲染到屏幕上，实现了增强现实空间与真实空间在视觉上的对齐，以供用户了解具体设备、建筑、生产线的详细情况。

UI模块在渲染模块的基础上，在增强现实视图中向巡检人员提供UI界面，以支持设备状态检查、数据回传、巡检计划追踪、应急规划等业务功能。

网络通信模块用于无人机、地面控制端、远程控制端和地理信息数据库四者之间的相互通信。采集视频流模块的视频数据、定位模块的无人机所在巡检位置，并同地理信息数据库进行数据交互，完成数据读写等。网络通信模块中还提供语音、视频通话功能，供现场控制无人机的巡检人员与远程调度人员进行实时通信。

本发明的硬件层面上需要准备无人机、便携移动设备（手机、平板、笔记本电脑等）和工作站。***部署步骤如下：将本发明所涉及的增强现实巡检***的软件程序安装在便携移动设备（现场控制端）上和工作站（远程控制端）上，将定位模块中的激光雷达挂载在无人机上；启动软件，完成无人机与现场控制端的对接，网络通信模块会自动同无人机、远程指挥端及地理信息数据库连接，以进行空间位置校准、内容渲染等工作；连接成功后，使用者通过现场控制端软件控制无人机升空，启动无人机携带的摄像头；至此，***部署完成。

实施例二

如图4所示，本实施例公开了一种增强现实巡检方法，包括：

步骤1、无人机启动升空后，定位模块、视频流模块、飞行控制模块和网络通信模块启动，执行其模块功能；现场控制端的飞行控制模块接收用户控制指令，并上传至无人机的飞行控制模块；无人机的飞行控制模块基于用户控制指令，控制无人机移动。

步骤2、定位模块在检测到无人机移动后，采集无人机初步位置和激光雷达点云数据，获取地理信息数据库中的预采集点云数据，采用无人机初步位置，对预采集点云数据进行筛选，并基于激光雷达点云数据，构建现场的点云地图，结合现场的点云地图和筛选后的预采集点云数据，得到无人机所在巡检位置；无人机所在巡检位置包括无人机的实时位置（包含经纬度和高度信息）、姿态信息（包含旋转角和俯仰角）、飞行速度和加速度。

步骤3、视频流模块采集无人机所在巡检位置的真实场景画面（现场画面（视频帧））。

步骤4、现场控制端的网络通信模块连接无人机上的网络通信模块，读取画面帧（即无人机所在巡检位置的真实场景画面）和无人机的实时位置。为保证画面清晰可辨，回传的视频分辨率应保证在2K以上。同时，通过现场控制端的网络通信模块和远程控制端的网络通信模块，将无人机所在巡检位置的真实场景画面回传至远程控制端。

步骤5、渲染模块获取地理信息数据库中的无人机所在巡检位置的地理结构信息和时空数据，并构建虚拟环境，将虚拟环境渲染到真实场景画面上，得到无人机所在巡检位置的增强现实视图。UI控制模块在增强现实视图中提供UI界面，以支持设备状态检查、数据回传、巡检计划追踪和应急规划。渲染模块在现场控制端和远程控制端均显示两个图层，上下叠加在相同的视图区域内，得到增强现实视图，增强现实视图的下层为实景图层（即真实场景画面），显示无人机摄像头的实时画面；上层为增强现实图层（即虚拟环境），显示增强现实数据，增强现实图层的视点位置和朝向依照无人机回传的位置信息和姿态信息确定。视点位置和朝向一经确定，渲染模块即可将可见区域内的重要信息显示在画面当中。在画面中可以显示生产区域内的道路规划情况，并标注出了道路周边的重要设备的信息。这些信息均存储在地理信息数据库中，视具体业务需求，也可以通过网络通信模块从第三方的数据***中获取。

步骤6、在现场控制端，用户利用无人机控制模块，控制无人机进行移动和姿态调整，以检查重要或存在异常的区域。无人机进行移动时，周期性重复执行步骤2~5，以保证数据与画面的同步。

步骤7、通过现场控制端和远程控制端，用户可以执行数据调取、上传、告警、路线导航等相关巡检功能，并可通过网络通信模块实现现场控制端和远程控制端的即时通讯，以进行协同作业，远程控制端除了能够执行上述功能外，还能够调取数据图表进行汇总分析，并在虚拟现实图层上进行标记，标记结果会通过网络通信模块同步到现场控制端中。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种增强现实巡检***，其特征是，包括无人机、现场控制端、远程控制端和地理信息数据库；所述无人机配置有视频流模块、定位模块；所述现场控制端和远程控制端均配置有渲染模块；

所述定位模块与地理信息数据库连接，用于在检测到无人机移动后，采集无人机初步位置和激光雷达点云数据，获取地理信息数据库中的预采集点云数据，采用无人机初步位置，对预采集点云数据进行筛选，并基于激光雷达点云数据，构建现场的点云地图，结合现场的点云地图和筛选后的预采集点云数据，得到无人机所在巡检位置；

所述视频流模块，用于采集所述无人机所在巡检位置的真实场景画面；

所述渲染模块与视频流模块、定位模块和地理信息数据库连接，用于获取所述地理信息数据库中的所述无人机所在巡检位置的地理结构信息和时空数据，并构建虚拟环境，将虚拟环境渲染到所述真实场景画面上，得到无人机所在巡检位置的增强现实视图。

2.如权利要求1所述的一种增强现实巡检***，其特征是，所述现场控制端和远程控制端还配置有UI控制模块，所述UI控制模块与渲染模块连接，用于在所述增强现实视图中提供UI界面。

3.如权利要求1所述的一种增强现实巡检***，其特征是，所述无人机和现场控制端还配置有飞行控制模块；

所述现场控制端的飞行控制模块用于接收用户控制指令，并上传至无人机的飞行控制模块；

所述无人机的飞行控制模块用于基于用户控制指令，控制无人机移动。

4.如权利要求1所述的一种增强现实巡检***，其特征是，所述虚拟环境的视点位置和朝向依照所述定位模块回传的无人机所在巡检位置确定。

5.如权利要求1所述的一种增强现实巡检***，其特征是，所述无人机、现场控制端和远程控制端均配置有网络通信模块，所述网络通信模块用于无人机、地面控制端、远程控制端和地理信息数据库四者之间的相互通信。

6.如权利要求5所述的一种增强现实巡检***，其特征是，所述网络通信模块还提供语音和视频通话功能。

7.一种增强现实巡检方法，其特征是，包括：

无人机启动；

定位模块在检测到无人机移动后，采集无人机初步位置和激光雷达点云数据，获取地理信息数据库中的预采集点云数据，采用无人机初步位置，对预采集点云数据进行筛选，并基于激光雷达点云数据，构建现场的点云地图，结合现场的点云地图和筛选后的预采集点云数据，得到无人机所在巡检位置；

视频流模块采集所述无人机所在巡检位置的真实场景画面；

渲染模块获取所述地理信息数据库中的所述无人机所在巡检位置的地理结构信息和时空数据，并构建虚拟环境，将虚拟环境渲染到所述真实场景画面上，得到无人机所在巡检位置的增强现实视图。

8.如权利要求7所述的一种增强现实巡检方法，其特征是，还包括：UI控制模块在所述增强现实视图中提供UI界面。

9.如权利要求7所述的一种增强现实巡检方法，其特征是，还包括：现场控制端的飞行控制模块接收用户控制指令，并上传至无人机的飞行控制模块；无人机的飞行控制模块基于用户控制指令，控制无人机移动。

10.如权利要求7所述的一种增强现实巡检方法，其特征是，所述虚拟环境的视点位置和朝向依照所述定位模块回传的无人机所在巡检位置确定。

Images