CN112050814A - 一种室内变电站无人机视觉导航***及方法 - Google Patents

Abstract

本发明公开了一种室内变电站无人机视觉导航***及方法，所述***包括与无人机飞控端连接的前向双目感知模块和下向双目感知模块；所述飞控端包括：路径规划单元,被配置为在无人机飞行过程中，实时通过无人机前向视觉感知模块获取双目图像，并构建深度图，基于深度图进行路径规划；视觉里程计单元，被配置为在无人机飞行过程中，实时通过下向视觉感知模块获取图像并计算无人机当前里程。本发明仅需局部地图即可实现避障、路径规划，极大的减小了运算量；且通过多个标识码能方便的实现对无人机定位过程中累积误差的及时纠正。

Description

一种室内变电站无人机视觉导航***及方法

技术领域

本发明属于变电站巡检技术领域，尤其涉及一种室内变电站无人机视觉导航***及方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

SLAM技术是一种应用于室内导航的同时进行定位与地图构建的技术，最早被应用在机器人领域，其目标是在没有任何先验知识的情况下，根据传感器数据实时构建周围环境地图，同时根据这个地图推测自身的定位。只利用相机作为外部感知传感器的SLAM称为视觉SLAM。相机具有视觉信息丰富、硬件成本低等优点，经典的视觉SLAM***一般包含前端视觉里程计、后端优化、闭环检测和构图四个主要部分，如图1所示。其每个部分的功能如下所述：1)视觉里程计：仅有视觉输入的姿态估计；2)后端优化:后端接受不同时刻视觉里程计测量的相机位姿，以及闭环检测的信息，对它们进行优化，得到全局一致的轨迹和地图；3)闭环检测:指机器人在地图构建过程中,通过视觉等传感器信息检测是否发生了轨迹闭环,即判断自身是否进入历史同一地点；4)建图：根据估计的轨迹，建立与任务要求对应的地图。通过视觉SLAM技术，理论上能够实现对室内环境的可靠感知和地图构建。因为有了定位和建图，因此也能同时实现障碍物的规避动作。

但是，据发明人了解，若将传统的视觉SLAM技术应用于无人机变电站巡检，存在以下问题：1)闭环检测的步骤非常关键，但可靠性不佳，其闭环检测成功率并不是100％，一旦无法闭环检测，则产生的定位误差累积得不到修正，无人机会定位失败，此时无法完成巡检功能。2)室内变电站环境复杂，无人机飞行过程中可能需要从设备上方、左方或右方进行绕行，对环境感知能力要求更高，因此，若依赖于建立好的地图进行路径规划，建图的运算量巨大，难以在机载端的处理器实现实时的处理。

发明内容

为克服上述现有技术的不足，本发明提供了一种室内变电站无人机视觉导航***及方法，以无人机为平台，通过视觉感知技术，实现了在室内环境下的自动定位、避障、导航，解决了在室内变电站巡检场景下无人机GNSS、磁罗盘等定位设备可能失效的问题，实现了自身的定位导航、避障功能。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种室内变电站无人机视觉导航***，包括：与无人机飞控端连接的前向双目感知模块和下向双目感知模块；所述飞控端包括：

路径规划单元,被配置为在无人机飞行过程中，实时通过无人机前向视觉感知模块获取双目图像，并构建深度图，基于深度图进行路径规划；

视觉里程计单元，被配置为在无人机飞行过程中，实时通过下向视觉感知模块获取图像并计算无人机当前里程。

进一步地，所述***还包括预先布设于变电站各个巡检位置的多个标识码；所述飞控端还包括：

标识码识别单元，被配置为在当前巡检位置完成巡检后，根据前向视觉感知模块或下向视觉感知模块获取的图像执行标识码识别，识别到该巡检位置相应的标识码后，根据标识码位置进行位置和姿态调整。

进一步地，基于深度图进行路径规划包括：

根据深度图获取某一高度区间对应的二维障碍图，图中包含障碍物标注信息；

在二维障碍图中确定当前无人机位置和目标位置信息；

基于当前无人机位置和目标位置信息，在二维障碍图中进行路径规划。

进一步地，若基于当前高度区间的二维障碍图无法得到有效路径，则在当前高度区间的上方或下方重新选择高度区间，生成二维障碍图进行路径规划。

进一步地，计算无人机当前里程包括：

指定基准帧，在飞行过程中，以固定频率向飞控端发送无人机相对于基准帧的位移总偏移，飞控端根据偏移，进行自身的位置修正；其中，当与当前基准帧的位移偏移超过一定阈值时，自动更新基准帧。

进一步地，无人机相对于基准帧的位移总偏移，根据当前获取的双目图像以及基准帧中特征点位置和特征点三维空间位置，计算两帧之间的无人机的实际旋转和位移参数。

进一步地，所述飞控端预先存储所述多个标识码在变电站三维空间中的位置信息；根据标识码位置进行位置和姿态调整包括：

根据该标识码在室内变电站中的位置，以及自身相对于该标识码的位置进行位置和姿态调整，并修正里程数据。

一个或多个实施例提供了一种基于所述无人机视觉导航***的导航方法，包括以下步骤：

获取巡检任务，所述巡检任务包括多个待巡检位置，启动巡检，控制无人机起飞；

到达每一个巡检位置时，控制无人机在该巡检位置进行悬停并巡检，巡检完毕后，向下一个巡检点飞行；

飞行过程中，通过下向视觉感知模块实时获取下方图像并计算无人机当前里程；同时，通过前向视觉感知模块获取的图像进行路径规划。

进一步地，每一个巡检位置巡检完毕后，均通过前向视觉感知模块或下向视觉感知模块获取该巡检位置的图像，执行标识码识别；识别到该巡检位置相应的标识码后，根据标识码位置进行位置和姿态调整。

进一步地，根据标识码位置进行位置和姿态调整包括：

根据该标识码在室内变电站中的位置，以及自身相对于该标识码的位置进行位置和姿态调整，并修正里程数据。

以上一个或多个技术方案存在以下有益效果：

提出了一种室内变电站无人机视觉导航***，采用前向、下向双目感知***，与视觉里程计技术、标识码识别技术、障碍物检测和路径规划技术相结合，基于视觉里程计导航以及用多个标识码进行位置修正，利用双目匹配后的深度图进行避障路径规划，实现了无人机在变电站室内环境下的自动定位、避障、导航，解决了在室内变电站巡检场景下无人机GNSS、磁罗盘等定位设备可能失效的问题，实现了自身的定位导航、避障功能。

相对于SLAM，无需获取全局地图，仅需局部地图即可实现避障、路径规划，极大的减小了运算量；并且，通过在待巡检的关键位置设置标识码，能方便的实现对无人机定位过程中累计误差的及时纠正；结合视觉里程计技术和室内路径规划，使无人机能够始终保持正确的位置和姿态，快速准确的完成室内巡检任务。

提出了一种室内变电站无人机视觉导航方法，通过在待巡检的关键位置设置标识码，并通过下向或前向双目实现标识码识别，使得无人机能够在针对每个巡检设备巡检结束后进行位置的姿态的自检和修正；无人机飞行过程中，实时采用下向双目视觉里程计计算无人机当前里程，同时借助前向双目进行障碍物感知和路径规划，从而在巡检过程中无人机能够及时进行自身位置和姿态的精确调整。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为现有视觉SLAM技术的方法流程图；

图2为一个ARTag标识码示意图；

图3为基于双目视觉的障碍物感知技术流程图；

图4为基于双目视觉里程计技术推算相机平移、旋转参数的示意图；

图5为本发明一个或多个实施例中室内变电站无人机视觉导航***框架图；

图6为本发明一个或多个实施例中的标识码布设示意图；

图7为本发明一个或多个实施例中的二维障碍图；

图8为本发明一个或多个实施例中基于二维障碍图得到的路径示意图；

图9为本发明一个或多个实施例中深度图高度区间选择示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明的核心技术为基于视觉的室内导航技术，具体分为三个主要技术：ARTag标识码识别技术，视觉障碍物感知技术和视觉里程计技术。首先对以上技术进行说明。

ARTag标识码识别技术，能对画面中的特殊标志码(ARTag，如图2所示)进行识别和空间坐标推算，计算得到无人机相对于标识码的空间位置。

视觉障碍物感知技术，基于双目立体视觉，通过左右两个摄像头采集图像，由三角测量原理(即由两个摄像头的图像平面和被测物体之间构成一个三角形)进行物体三维空间信息的获取。通过左右相机同时采集图像，然后对采集的左右图像进行校正、匹配、去噪，实现深度图像的生成，然后对深度图进行计算，获取有威胁的障碍物的方位信息。其算法流程如图3。

视觉里程计技术采用了双目视觉里程计技术，主要通过对不同时刻、不同图像的特征匹配，推算相机平移、旋转参数。其示意图如图4所示，其中，T_t和T_t-1分别为当前时刻和上一时刻的两组双目图像，通过对画面中的特征点进行匹配并计算特征点的三维坐标，结合相机内参数，进行帧间旋转平移参数的计算，由此累积得到相机(无人机)的运动里程。

实施例一

本实施例公开了一种室内变电站无人机视觉导航***，如图5所示，包括：搭载在无人机上的前向双目感知模块和下向双目感知模块，均与所述无人机的飞控端连接，此外，还包括预先设置于变电站各个巡检位置的的多个标识码。

所述多个标识码布设于变电站中的待巡检位置，用以标识各个待巡检位置，无需布设在巡检路线上，并且，所述多个标识码具有不同的标识信息。本实施例中，多个标识码分别布设于待巡检位置附近的墙面上，所述标识码采用ARTag标识码，标识信息通过ID表示，如图6所示，设置了ID分别为0,1,2的ARTag。本领域技术人员可以理解，多个标识码也可以布设在待巡检位置附近的地面上，甚至仪器设备上，在此不做限定。

巡检前，需预先针对室内变电站构建三维空间坐标系，本实施例中，以室内变电站的某处0为原点构建xyz坐标系。有ID分别为0,1,2的ARTag，每个marker的空间坐标都是固定的。例如，以cm为单位，ID为0的ARTag空间坐标为(0,150,50)，ID为1的ARTag空间坐标为(150,0,50)，ID为2的ARTag空间坐标为(300,150,50)。

无人机的飞控端预先存储所述多个标识码的坐标信息。以便于在后续无人机巡检过程中，在识别到某个ARTag后，通过图像处理算法，获得自身相对于这个ARTagr的xyz空间位置t，结合这个ARTag在变电站中的坐标w0，叠加坐标w0和t，得到自身在整个坐标系的空间位置。

所述飞控端具体包括:

路径规划单元,被配置为获取巡检任务，所述巡检任务包括多个待巡检位置；执行巡检任务时，在无人机飞往下一个待巡检位置过程中，实时自无人机前向视觉感知模块获取双目图像并构建深度图，基于深度图进行障碍物识别和路径规划；

标识码识别单元，被配置为在当前巡检位置完成巡检后，自前向视觉感知模块或下向视觉感知模块获取图像，并对该巡检位置相应的标识码进行识别；识别到该标识码后，计算无人机自身相对于该标识码的位置；基于该标识码在室内变电站中的位置，以及自身相对于该标识码的位置，控制无人机进行自身位置和姿态的精确调整；

视觉里程计单元，被配置为执行巡检任务时，在无人机飞往下一个待巡检位置过程中，通过下向视觉感知模块实时获取下方图像并计算无人机当前里程，保证无人机准确按照规划的路径飞行。

前向的双目感知模块无论何时，都进行障碍物感知运算，实时获取深度图，并进行路径规划；而在近地面、无GNSS信号的室内情景时，无人机会自动启动下向双目感知模块，启用视觉里程计单元和标识码识别单元；同时，也对前向双目相机模块启用标识码识别单元。

具体地，路径规划单元，基于前向双目采集到的左右图像，通过校正、匹配、滤波等操作得到深度图，实现无人机对障碍物的感知，并对深度图进行路径规划得到飞行路线。在大多数情况下，避障仅需从障碍物上方绕行爬升。而当需要对障碍物进行较为复杂的左右、上下绕行等操作时(室内的巡检场景)，则需对深度图计算，进行最优飞行路径的规划。为了实现高速且有效的路径规划，我们结合无人机的姿态信息，简化了路径规划的数学模型——将三维的深度图降为二维的“障碍图”。具体包括以下步骤：

(1)根据深度图获取某一高度区间对应的二维障碍图，并将当前无人机位置(即当前飞行起点)和目标位置信息(下一巡检位置)与该二维障碍图中的位置相对应，如图7所示，其中，两个十字叉相应的方格分别表示起点(无人机位置)和目标点，深色填充区域为障碍物；

(2)在二维障碍图中，通过A-star算法，实现高速、最优路径的规划，如图8所示(斜线方格表示路径)。若当前高度的二维障碍图无法获取有效路径(如图9深度图区域1所示)，即表示该高度没有可供无人机飞行至目标位置的路线，则以一定步长，在深度图的上方或下方重新选取感兴趣区域(如图9深度图区域2、3所示)，再次生成二维障碍图，直至获取有效路径；

(3)根据所述路径计算无人机x-y-z三个方向的速度比例，飞控根据该值来引导飞行。

上述路径规划方法特别适用于需要对障碍物进行频繁的左右、上下绕行等复杂操作的室内场景，能够基于深度图计算出无人机飞行的高度和三个方向的速度比例，使得无人机能够在室内灵活飞行。

视觉里程计单元，能够实现无人机自身的定位，实现“永不漂移”的稳定、安全悬停，并能在运动时提供无人机的飞行里程。在启用里程计时，机载端处理器会自动采集基准帧，并在后续定位过程中，计算与该基准帧的位移偏移；当偏移超过一定阈值，会自动采集新的基准帧。在任务过程中，始终以固定频率向飞控端发送无人机相对于基准帧的位移总偏移，飞控根据偏移，进行自身的位置修正。在识别到标识码后，会进行自身位姿的精确调整，并进行里程计修正；而在巡检的飞行过程中，则会实时计算无人机里程。

对于双目视觉里程计，考虑到实时性，采用了基于前后帧的光流匹配算法。匹配后的特征点，如果同时又有3D坐标位置，就能估计相机的运动。对于3D点的坐标，可借助于双目匹配的深度图获取。对于一个两帧之间的双目视觉里程计，其计算步骤如下：

1)提取前帧的特征点，计算特征点的2D坐标集合P_t-1；并通过双目匹配，计算特征点的3D空间坐标集合C_t-1；

2)提取后帧的特征点P_t，通过LK光流与前帧的特征点进行匹配；

3)对于前后帧匹配成功的特征点集合，计算其在后帧的2D坐标P'_t，以及获取其在前帧的3D空间坐标集合C'_t-1；

4)根据P'_t和C'_t-1，结合相机内参数K，计算前后帧的旋转、平移参数。

上述步骤中最核心的计算为步骤4)。该问题通过PnP求解。通过双目的图像(2D)和匹配后的深度信息(3D)，结合标定参数，计算两帧之间的实际旋转和位移。对于双目相机，PnP(Perspective-n-Point)是一种效率较高的、求解3D到2D点对运动的方法。

它描述了当已知n个3D空间点以及它们的投影位置时，如何估计相机所在的位姿。在运算过程中，实时进行PnP的运算，以此实现双目视觉里程计。

标识码识别单元，是无人机修正视觉里程计偏差的关键(类似SLAM中的回环检测)。提前在巡检区域布设标识码，当相机识别到标识码后，解算出相对于标识码的空间位置(即能解算出无人机在巡检区域的真实位置，因为标识码在巡检区域的布设是已知的)。标识码识别是对视觉里程计功能的重要补充，在识别到标识码后，无人机可以修正视觉里程计累积的位置偏差。布设的具体方案如下：

1)在变电站的多个巡检位置，贴多个不同ID的ARTag。其中，每个ID的ARTag在场景中位置都是一定的。

2)无人机通过相机获取图像，处理图像，通过算法得知自身相对于该ARTag的位置。

3)根据ARTag在室内变电站空间中的位置，无人机得到自身在变电站中的位置。

本实施例设计了一种基于视觉里程计导航、用多个标识码进行位置修正，同时利用双目匹配后的深度图进行避障路径规划的室内巡检方案。其相对于SLAM，无需获取全局地图，仅需局部地图即可实现避障、路径规划，极大的减小了运算量；而多个标识码又能方便的实现对无人机定位过程中累积误差的及时纠正。

实施例二

在实施例一提供的导航***基础上，本实施例提供了一种应用于室内变电站的导航方法。具体地，预先在各个待巡检位置布设标识码，本实施例中，各个位置的标识码为不同ID的ARTag标识码，并存储所述室内变电站的三维空间信息及各个标识码的坐标信息；所述方法具体包括以下步骤：

步骤1：获取巡检任务，所述巡检任务包括多个待巡检位置，启动巡检，控制无人机起飞，在第一个巡检位置进行悬停并巡检；

步骤2：在第一个巡检位置巡检完毕后，通过前向视觉感知模块获取该巡检位置的图像，对该巡检位置相应的标识码进行识别；

步骤3：识别到该标识码后，计算无人机自身相对于该标识码的位置；基于该标识码在室内变电站中的位置，以及自身相对于该标识码的位置，进行自身位置和姿态的精确调整；然后去往下一个巡检点；

步骤4：在去往下一个巡检点过程中，通过下向视觉感知模块实时获取下方图像并计算无人机当前里程；同时，通过前向视觉感知模块获取的图像进行障碍物感知和路径规划；

步骤5：到达下一个巡检位置后，在该巡检位置进行悬停并巡检，巡检完毕后，通过前向视觉感知模块或下向视觉感知模块获取该巡检位置的图像，对该巡检位置相应的标识码进行识别；重复3-5，直至完成所有巡检位置的巡检。

以上巡检***和方法，无需构建室内变电站的全局地图，大大减小了飞控端的数据处理压力，基于前向视觉感知模块获取的路径信息和下向视觉感知模块获取的里程计信息，即可实现无人机的导航；更进一步地，通过预先在巡检位置设置唯一标识码，能够在每次巡检完成后基于标识码对无人机位置和姿态进行纠偏，实现了对无人机定位过程中累积误差的及时纠正，进而向下一巡检位置飞行，保证了巡检过程中无人机的飞行精度，保证了巡检任务的顺利执行。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种室内变电站无人机视觉导航***，其特征在于，包括：与无人机飞控端连接的前向双目感知模块和下向双目感知模块；所述飞控端包括：

路径规划单元,被配置为在无人机飞行过程中，实时通过无人机前向视觉感知模块获取双目图像，并构建深度图，基于深度图进行路径规划；

视觉里程计单元，被配置为在无人机飞行过程中，实时通过下向视觉感知模块获取图像并计算无人机当前里程。

2.如权利要求1所述的室内变电站无人机视觉导航***，其特征在于，所述***还包括预先布设于变电站各个巡检位置的多个标识码；所述飞控端还包括：

标识码识别单元，被配置为在当前巡检位置完成巡检后，根据前向视觉感知模块或下向视觉感知模块获取的图像执行标识码识别，识别到该巡检位置相应的标识码后，根据标识码位置进行位置和姿态调整。

3.如权利要求1所述的室内变电站无人机视觉导航***，其特征在于，基于深度图进行路径规划包括：

根据深度图获取某一高度区间对应的二维障碍图，图中包含障碍物标注信息；

在二维障碍图中确定当前无人机位置和目标位置信息；

基于当前无人机位置和目标位置信息，在二维障碍图中进行路径规划。

4.如权利要求3所述的室内变电站无人机视觉导航***，其特征在于，若基于当前高度区间的二维障碍图无法得到有效路径，则在当前高度区间的上方或下方重新选择高度区间，生成二维障碍图进行路径规划。

5.如权利要求1所述的室内变电站无人机视觉导航***，其特征在于，计算无人机当前里程包括：

指定基准帧，在飞行过程中，以固定频率向飞控端发送无人机相对于基准帧的位移总偏移，飞控端根据偏移，进行自身的位置修正；其中，当与当前基准帧的位移偏移超过一定阈值时，自动更新基准帧。

6.如权利要求5所述的室内变电站无人机视觉导航***，其特征在于，无人机相对于基准帧的位移总偏移，根据当前获取的双目图像以及基准帧中特征点位置和特征点三维空间位置，计算两帧之间的无人机的实际旋转和位移参数。

7.如权利要求2所述的室内变电站无人机视觉导航***，其特征在于，所述飞控端预先存储所述多个标识码在变电站三维空间中的位置信息；根据标识码位置进行位置和姿态调整包括：

根据该标识码在室内变电站中的位置，以及自身相对于该标识码的位置进行位置和姿态调整，并修正里程数据。

8.一种基于如权利要求1-7任一项所述无人机视觉导航***的导航方法，其特征在于，包括以下步骤：

获取巡检任务，所述巡检任务包括多个待巡检位置，启动巡检，控制无人机起飞；

到达每一个巡检位置时，控制无人机在该巡检位置进行悬停并巡检，巡检完毕后，向下一个巡检点飞行；

飞行过程中，通过下向视觉感知模块实时获取下方图像并计算无人机当前里程；同时，通过前向视觉感知模块获取的图像进行路径规划。

9.如权利要求8所述的导航方法，其特征在于，每一个巡检位置巡检完毕后，均通过前向视觉感知模块或下向视觉感知模块获取该巡检位置的图像，执行标识码识别；识别到该巡检位置相应的标识码后，根据标识码位置进行位置和姿态调整。

10.如权利要求8所述的导航方法，其特征在于，根据标识码位置进行位置和姿态调整包括：

根据该标识码在室内变电站中的位置，以及自身相对于该标识码的位置进行位置和姿态调整，并修正里程数据。

Images