CN114923477A - 基于视觉与激光slam技术的多维度空地协同建图***和方法 - Google Patents

基于视觉与激光slam技术的多维度空地协同建图***和方法 Download PDF

Info

Publication number
CN114923477A
CN114923477A CN202210559495.6A CN202210559495A CN114923477A CN 114923477 A CN114923477 A CN 114923477A CN 202210559495 A CN202210559495 A CN 202210559495A CN 114923477 A CN114923477 A CN 114923477A
Authority
CN
China
Prior art keywords
map
aerial vehicle
unmanned aerial
information
ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210559495.6A
Other languages
English (en)
Inventor
吴宇辰
吴红兰
孙有朝
吴振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210559495.6A priority Critical patent/CN114923477A/zh
Publication of CN114923477A publication Critical patent/CN114923477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于视觉与激光SLAM技术的多维度空地协同建图***和方法，该***包括地面站、无人机和无人车。无人机包括整体物理架构、机载嵌入式电脑和图像传感器；整体物理架构包括机架、四旋翼和电机；机载嵌入式电脑包括通信模块与嵌入式处理器，图像传感器包括双目相机与RGB‑D相机。无人车包括嵌入式处理器、激光雷达传感器和通信模块。地面站包括显示控件、控制控件和通信控件。所述方法利用地面站输出控制和建图指令，将无人机构建的3D点云地图和无人机构建的2D平面栅格地图通过SLAM技术进行融合。本发明通过远程控制采集环境信息，提高了相关作业的安全性，消除了GPS信号弱等因素造成的定位误差，提高了建图的精准度。

Description

基于视觉与激光SLAM技术的多维度空地协同建图***和方法
技术领域
本发明属于计算机视觉与激光SLAM技术领域，具体涉及一种基于视觉与激光SLAM技术的空地协同建图***和方法。
背景技术
传统的环境信息采集是通过人工实地勘察，不仅劳动强度大、测量效率低、无法保证测量精度和数据监测的实时性，而且在复杂的环境中实地勘察往往伴随着不确定性与危险性，因此通过机器人等无人***进行环境感知非常有必要。
无人机具有人机分离的优势，可以较为安全的进行远距离探索，但是一些利用GPS等卫星定位的方式在位置的环境中会存在失联的可能性。
同步定位与建图SLAM技术是移动机器人在解决未知环境中的探索、侦查、导航等各项问题的基础和关键，机器人根据自身携带的传感器获取观测信息创建环境地图，同时根据部分已创建地图估计机器人的位姿。由于环境复杂，单纯只靠一种传感器利用SLAM建立的地图存在各自的缺陷，且获取的地图维度具有视野的局限性，无法对整体的环境特点进行精确的描述。
发明内容
发明目的：为解决现有技术问题，本发明提供了一种基于视觉与激光SLAM技术的多维度空地协同建图***和方法，提高采集地图信息与建图的精准度；在保证良好的人机交互的前提下，通过远程操控来提高相关作业的安全性。
技术方案：本发明采用了一种基于视觉与激光SLAM技术的多维度空地协同建图***，包括地面站、无人机和无人车。地面站模块包括显示控件、控制控件和通信控件。无人机模块包括无人机整体架构、机载嵌入式电脑、图像传感器，无人机架构包括机架、四旋翼和电机；机载嵌入式电脑包括通信模块与嵌入式处理器，图像传感器包括双目相机与RGB-D相机。无人车模块包括嵌入式处理器、激光雷达传感器、通信模块。
本发明以地面站为中心，利用无人机的图像传感器获取视觉信息构建3D点云地图，利用无人车的激光传感器获取平面信息构建2D平面栅格地图；利用地面站输出的控制和建图指令，使3D点云地图和2D平面栅格地图信息实时显示在地面站上，并完成地图信息的融合。
优选地，无人机搭载的机载嵌入式电脑采用英伟达Jetson Xavier NX处理器，机载嵌入式电脑所附带的无线通信模块为ESP8266，视觉图像传感器中双目相机采用英特尔T265相机，RGB-D相机采用英特尔D435i相机。
优选地，无人车采用Raspberry Pi 4B嵌入式处理器，采用思岚科技RPLIDAR-A1激光雷达传感器。
本发明采用了一种基于视觉与激光SLAM技术的多维度空地协同建图方法，包括如下步骤：
1、数据采集：地面站通过局域网向无人机和无人车输出控制与建图指令，所述无人机搭载有RGB-D相机与双目相机，所述RGB-D相机用于在室外获取单目图像与深度信息，所述双目相机用于在室内获取左右目图像；所述无人车利用单线激光雷达获取所处平面信息；
2、数据处理：无人机获取视觉图像后将图像信息传递给机载嵌入式电脑，提取图像的特征点并获取深度值；无人车利用编码器获取电机转动过程中的脉冲数量，将总脉冲数量除以电机每转过一圈的标准脉冲数，得到电机旋转圈数，将旋转圈数结合无人车本身轮子尺寸计算得到里程计信息。
3、视觉SLAM与激光SLAM建图：无人机将图像信息传递给机载嵌入式电脑，找到图片中的某个像素p，并将其亮度设置为Ip，根据图片亮度选定一个亮度阈值T；以p为圆心，在其周围选取半径为3个像素的圆上的16个像素点；若有连续N个像素点的亮度在Ip-T和Ip+T范围之外，则认为是p是关键点；利用RGB-D相机的深度图对得到的每个特征点进行深度值获取。得到特征点与深度值后运行视觉SLAM建图算法构建3D点云地图；无人车将雷达数据和运动里程计数据传入嵌入式处理器，进行地面目标建图得到2D平面栅格地图；
4、地图融合：地面站获取无人机的3D点云地图与无人车的2D平面栅格地图后进行特征对应，找到相应的特征对应向量。首先确定两幅地图与实际场景对于的边缘角点以及中心点，记点云地图左上角的边缘角点为O1，中心点为P1，记栅格地图左上角的边缘角点O2，中心点为P2。分别得到两者的对应向量为
Figure BDA0003651798120000021
将P1与P2重合建立二维坐标系，记O1坐标为(x1，y1)，O2坐标为(x2，y2)，计算向量
Figure BDA0003651798120000022
之间的夹角θ与向量长度
Figure BDA0003651798120000023
根据3D点云地图与2D平面栅格地图的像素比例计算出2D平面栅格地图的缩放尺度u，根据向量长度计算出2D平面栅格地图在x、y方向上的拉伸
Figure BDA0003651798120000024
计算完成后，以3D点云地图的截面为基准，调整2D栅格地图的图像位置与3D点云地图叠加，实现地图融合和多维呈现。
有益效果：与现有技术相比，本发明具有如下显著优点：1、多维度空地协同建图，更直观全面的呈现地貌，提高地图的精准度；2、通过地面站远程控制，提高了探索未知环境的安全性；3、通过传感器传输信息，消除了GPS信号弱导致的定位误差。
附图说明
图1是本发明的***总体结构框图；
图2是本发明中无人机结构框图；
图3是本发明中无人机端视觉SLAM流程框图；
图4是本发明中无人车结构框图；
图5是本发明中无人车端激光SLAM流程框图；
图6是本发明中***运行方式的结构框图；
图7是本发明中三维点云地图；
图8是本发明中二维激光栅格地图；
图9是本发明中多维度融合地图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示，本发明提供了一种基于视觉与激光SLAM技术的多维度空地协同建图***，包括地面站、无人机和无人车。
地面站包括显示控件、控制控件和通信控件。
无人机包括无人机整体物理架构、机载嵌入式电脑、图像传感器。整体物理架构包括机架、四旋翼和电机，机载嵌入式电脑包括ESP8266通信模块与英伟达Jetson Xavier NX嵌入式处理器，图像传感器包括英特尔T265相机与英特尔D435i相机。
无人车包括Raspberry Pi 4B嵌入式处理器、思岚科技RPLIDAR-A1激光雷达传感器、通信模块。
如图6所示，地面站通过分布式通信控件分别向无人机与无人车发送控制与建图指令。无人机在接收到指令后通过视觉图像传感器进行3D点云地图构建，无人车在接收到指令和通过激光雷达传感器进行2D平面栅格地图构建，两者在构建完地图后通过自身搭载的分布式通信控件将地图信息传输给地面站。
如图2、图3所示，无人机接收到地面站的控制与建图指令后，机载嵌入式电脑输出控制信息，通过整体物理架构中的电传驱动***驱动电机进行运动，当飞到指定的合适高度之后开始执行建图指令。机载嵌入式电脑首先驱动视觉图像传感器获取相关图像、深度等信息，遍历视觉里程计追踪、局部建图、回环检测等线程后通过BA全局优化，在机载嵌入式电脑中利用视觉建图算法构建3D点云地图，并将地图信息传递给地面站，如图7所示。
如图4、图5所示，无人车接收到地面站的控制与建图指令后，嵌入式处理器会驱动激光雷达传感器获取相关激光数据和里程计数据，并在嵌入式处理器中构建2D平面栅格地图。再通过建立运动模型与粒子滤波不断更新地图，最后将地图信息传输给地面站，如图8所示。
本发明提供了一种基于视觉与激光SLAM技术的多维度空地协同建图方法，包括如下步骤：
1、数据采集：地面站通过局域网向无人机和无人车输出控制与建图指令，所述无人机搭载有RGB-D相机与双目相机，所述RGB-D相机用于在室外获取单目图像与深度信息，所述双目相机用于在室内获取左右目图像；所述无人车利用单线激光雷达获取所处平面信息；
2、数据处理：无人机获取视觉图像后将图像信息传递给机载嵌入式电脑，提取图像的特征点并获取深度值；无人车利用编码器获取电机转动过程中的脉冲数量，将总脉冲数量除以电机每转过一圈的标准脉冲数，得到电机旋转圈数，将旋转圈数结合无人车本身轮子尺寸计算得到里程计信息；
3、视觉SLAM与激光SLAM建图：无人机将图像信息传递给机载嵌入式电脑，找到图片中的某个像素p，并将其亮度设置为Ip，根据图片亮度选定一个亮度阈值T；以p为圆心，在其周围选取半径为3个像素的圆上的16个像素点；若有连续N个像素点的亮度在Ip-T和Ip+T范围之外，则认为是p是关键点；利用RGB-D相机的深度图对得到的每个特征点进行深度值获取。得到特征点与深度值后运行视觉SLAM建图算法构建3D点云地图；无人车将雷达数据和运动里程计数据传入嵌入式处理器，进行地面目标建图得到2D平面栅格地图；
4、地图融合：地面站获取无人机的3D点云地图与无人车的2D平面栅格地图后进行特征对应，找到相应的特征对应向量。首先确定两幅地图与实际场景对于的边缘角点以及中心点，记点云地图左上角的边缘角点为O1，中心点为P1，记栅格地图左上角的边缘角点O2，中心点为P2。分别得到两者的对应向量为
Figure BDA0003651798120000041
将P1与P2重合建立二维坐标系，记O1坐标为(x1，y1)，O2坐标为(x2，y2)，计算向量
Figure BDA0003651798120000042
之间的夹角θ与向量长度
Figure BDA0003651798120000043
根据3D点云地图与2D平面栅格地图的像素比例计算出2D平面栅格地图的缩放尺度u，根据向量长度计算出2D平面栅格地图在x、y方向上的拉伸
Figure BDA0003651798120000051
计算完成后，以3D点云地图的截面为基准，调整2D栅格地图的图像位置与3D点云地图叠加，实现地图融合，如图9所示。

Claims (8)

1.一种基于视觉与激光SLAM技术的多维度空地协同建图***，其特征在于，包括地面站、无人机和无人车；所述地面站用于传输指令和接收并处理地图信息；所述无人机用于获取视觉图像并构建3D点云地图；所述无人车用于获取平面信息并构建2D平面栅格地图。
2.根据权利要求1所述的基于视觉与激光SLAM技术的多维度空地协同建图***，其特征在于，所述地面站包括用于显示人机交互信息的显示控件、用于操控无人机与无人车作业的控制控件和用于信息交互、传输控制和建图指令的通信控件；所述通信控件为分布式通信控件，用于远程发送并接收无人机端与无人车端控制信息。
3.根据权利要求1所述的基于视觉与激光SLAM技术的多维度空地协同建图***，其特征在于，所述地面站包括用于多维度地图的特征对应、位置调整和地图叠加的地图融合模块。
4.根据权利要求1所述的基于视觉与激光SLAM技术的多维度空地协同建图***，其特征在于，所述无人机包括整体物理架构、用于通信与运行建图算法的机载嵌入式电脑和用于传输视觉观测信息的图像传感器；所述机载嵌入式电脑包括用于与地面站之间传输数据的无线通信模块与嵌入式处理器；所述图像传感器包括双目相机与RGB-D相机。
5.根据权利要求1所述的基于视觉与激光SLAM技术的多维度空地协同建图***，其特征在于，所述无人车包括用于运行地面建图算法的嵌入式处理器、用于传输激光观测数据的激光雷达传感器和通信模块；所述嵌入式处理器搭载用于控制激光雷达数据、地图信息传输的操作***。
6.一种基于视觉与激光SLAM技术的多维度空地协同建图方法，其特征在于，该方法具体包括以下步骤：
(1)数据采集：地面站向无人机和无人车输出控制与建图指令，所述无人机搭载的图像传感器开始获取图像与深度信息，所述无人车搭载的激光雷达传感器开始获取所处平面信息；
(2)数据处理：所述无人机获取视觉图像后将图像信息传递给机载嵌入式电脑，提取图像的特征点并获取深度值；所述无人车利用编码器从平面信息中获取运动里程计信息；
(3)视觉SLAM与激光SLAM建图：所述无人机利用视觉SLAM建图算法构建3D点云地图，所述无人车利用激光SLAM建图算法构建2D平面栅格地图；
(4)地图融合：所述地面站将3D点云地图与2D平面栅格地图进行特征对应，根据相应特征对应向量确定向量方向、向量长度l；计算2D平面栅格地图的缩放尺度u和在x、y方向上的拉伸kx和ky，x、y分别是像素点坐标；以3D点云地图的截面为基准，调整2D栅格地图的图像位置与3D点云地图叠加，实现地图融合和多维呈现。
7.根据权利要求5所述的基于视觉与激光SLAM技术的多维度空地协同建图方法，其特征在于，所述图像传感器利用RGB-D相机在室外获取单目图像与深度信息，利用双目相机在室内获取左右目图像。
8.根据权利要求5所述的基于视觉与激光SLAM技术的多维度空地协同建图方法，其特征在于，所述
Figure FDA0003651798110000021
所述u根据像素比例计算，所述
Figure FDA0003651798110000022
CN202210559495.6A 2022-05-19 2022-05-19 基于视觉与激光slam技术的多维度空地协同建图***和方法 Pending CN114923477A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210559495.6A CN114923477A (zh) 2022-05-19 2022-05-19 基于视觉与激光slam技术的多维度空地协同建图***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210559495.6A CN114923477A (zh) 2022-05-19 2022-05-19 基于视觉与激光slam技术的多维度空地协同建图***和方法

Publications (1)

Publication Number Publication Date
CN114923477A true CN114923477A (zh) 2022-08-19

Family

ID=82811363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210559495.6A Pending CN114923477A (zh) 2022-05-19 2022-05-19 基于视觉与激光slam技术的多维度空地协同建图***和方法

Country Status (1)

Country Link
CN (1) CN114923477A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116080423A (zh) * 2023-04-03 2023-05-09 电子科技大学 一种基于ros的集群无人车能源供给***及其执行方法
CN117921639A (zh) * 2024-03-21 2024-04-26 中国极地研究中心(中国极地研究所) 一种用于无人艇的智能机械臂***
WO2024109837A1 (zh) * 2022-11-25 2024-05-30 中国科学院深圳先进技术研究院 基于异构无人***相互观测的同时定位与地图构建方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024109837A1 (zh) * 2022-11-25 2024-05-30 中国科学院深圳先进技术研究院 基于异构无人***相互观测的同时定位与地图构建方法
CN116080423A (zh) * 2023-04-03 2023-05-09 电子科技大学 一种基于ros的集群无人车能源供给***及其执行方法
CN117921639A (zh) * 2024-03-21 2024-04-26 中国极地研究中心(中国极地研究所) 一种用于无人艇的智能机械臂***
CN117921639B (zh) * 2024-03-21 2024-05-28 中国极地研究中心(中国极地研究所) 一种用于无人艇的智能机械臂***

Similar Documents

Publication Publication Date Title
CN109029417B (zh) 基于混合视觉里程计和多尺度地图的无人机slam方法
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN109911188B (zh) 非卫星导航定位环境的桥梁检测无人机***
CN110446159A (zh) 一种室内无人机精确定位与自主导航的***及方法
CN110842940A (zh) 一种建筑测量机器人多传感器融合三维建模方法及***
CN114923477A (zh) 基于视觉与激光slam技术的多维度空地协同建图***和方法
CN112639882B (zh) 定位方法、装置及***
CN111045017A (zh) 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN103049912B (zh) 一种基于任意三面体的雷达-相机***外部参数标定方法
CN117369489A (zh) 碰撞规避***、深度成像***、交通工具、地图生成器及其方法
CN108594851A (zh) 一种基于双目视觉的无人机自主障碍物检测***、方法及无人机
CN106444837A (zh) 一种无人机避障方法及***
CN102190081B (zh) 基于视觉的飞艇定点鲁棒控制方法
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、***及介质
CN111077907A (zh) 一种室外无人机的自主定位方法
CN113031597A (zh) 一种基于深度学习和立体视觉的自主避障方法
Wang et al. Micro aerial vehicle navigation with visual-inertial integration aided by structured light
CN116957360A (zh) 一种基于无人机的空间观测与重建方法及***
Jingjing et al. Research on autonomous positioning method of UAV based on binocular vision
Chen et al. Outdoor 3d environment reconstruction based on multi-sensor fusion for remote control
CN111197986A (zh) 一种无人机三维路径实时预警避障方法
CN113403942B (zh) 一种基于标签辅助的桥梁检测无人机视觉导航方法
Gao et al. Altitude information acquisition of uav based on monocular vision and mems
Zheng et al. Integrated navigation system with monocular vision and LIDAR for indoor UAVs
Chen et al. Binocular vision localization based on vision SLAM system with multi-sensor fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination