CN115200588B - 移动机器人的slam自主导航方法及其装置 - Google Patents
移动机器人的slam自主导航方法及其装置 Download PDFInfo
- Publication number
- CN115200588B CN115200588B CN202211113288.4A CN202211113288A CN115200588B CN 115200588 B CN115200588 B CN 115200588B CN 202211113288 A CN202211113288 A CN 202211113288A CN 115200588 B CN115200588 B CN 115200588B
- Authority
- CN
- China
- Prior art keywords
- data
- mobile robot
- path
- map
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000008447 perception Effects 0.000 claims abstract description 59
- 230000007613 environmental effect Effects 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 230000001360 synchronised effect Effects 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 abstract description 23
- 230000008569 process Effects 0.000 abstract description 13
- 238000001914 filtration Methods 0.000 description 17
- 238000004590 computer program Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000005457 optimization Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 238000001816 cooling Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 239000006096 absorbing agent Substances 0.000 description 2
- 230000002567 autonomic effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请提出了一种移动机器人的SLAM自主导航方法及其装置,涉及机器人导航技术领域。该方法包括:根据多类型数据采集装置进行数据采集,获取移动机器人的多类型的环境感知数据;根据多类型的环境感知数据进行多源融合同步定位与地图构建SLAM,获取全局环境地图与移动机器人的位姿数据;根据位姿数据和全局环境地图进行路径规划,获取移动机器人的目标路径;根据位姿数据和目标路径生成控制指令,以控制移动机器人按照目标路径进行移动。本申请可以在机器人探索过程中对复杂大范围室内和室外场景进行高精度三维重建、定位和运动规划,实现移动机器人的自主导航和控制,最终实现移动机器人在全地形复杂场景的自主导航,提高控制移动机器人的机动性和灵活性。
Description
技术领域
本申请涉及机器人导航技术领域,尤其涉及一种移动机器人的SLAM自主导航方法及其装置。
背景技术
移动机器人(Robot)是自动执行工作的机器装置。它既可以接受人类指挥,又可以运行预先编排的程序,也可以根据以人工智能技术制定的原则纲领行动。移动机器人可以代替人类在复杂、危险、不可控环境中进行巡检、搜救的工作,例如生产业、建筑业,或是危险的工作。相关技术中,在复杂环境下,需要借助全局地图实现对移动机器人的控制,机动性和灵活性不高,因此,如何实现移动机器人的自主导航、规划和控制,提高控制移动机器人的机动性和灵活性,已经成为重要的研究方向之一。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本申请的一个目的在于提出一种移动机器人的SLAM自主导航方法。
本申请的第二个目的在于提出一种移动机器人的SLAM自主导航装置。
本申请的第三个目的在于提出一种电子设备。
本申请的第四个目的在于提出一种非瞬时计算机可读存储介质。
本申请的第五个目的在于提出一种计算机程序产品。
为达上述目的,本申请第一方面实施例提出了一种移动机器人的SLAM自主导航方法,包括:
对部署在移动机器人上的多类型数据采集装置进行联合参数标定,并根据多类型数据采集装置进行数据采集,获取移动机器人的多类型的环境感知数据;
根据多类型的环境感知数据进行多源融合同步定位与地图构建SLAM,获取全局环境地图与移动机器人的位姿数据;
根据位姿数据和全局环境地图进行路径规划,获取移动机器人的目标路径;
根据位姿数据和目标路径生成控制指令,以控制移动机器人按照目标路径进行移动。
本申请实施例中,可以在机器人探索过程中对复杂大范围室内和室外场景进行高精度三维重建、定位和运动规划,实现移动机器人的自主推理、规划和控制,最终实现移动机器人在全地形复杂场景的自主导航,提高控制移动机器人的机动性和灵活性。
为达上述目的,本申请第二方面实施例提出了一种移动机器人的SLAM自主导航装置,包括:
第一获取模块,用于对部署在移动机器人上的多类型数据采集装置进行联合参数标定,并根据多类型数据采集装置进行数据采集,获取移动机器人的多类型的环境感知数据;
第二获取模块,用于根据多类型的环境感知数据进行多源融合同步定位与地图构建SLAM,获取全局环境地图与移动机器人的位姿数据;
第三获取模块,用于根据位姿数据和全局环境地图进行路径规划,获取移动机器人的目标路径;
自主导航模块,用于根据位姿数据和目标路径生成控制指令,以控制移动机器人按照目标路径进行移动。
为达上述目的,本申请第三方面实施例提出了一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本申请第一方面实施例中提供的移动机器人的SLAM自主导航方法。
为达上述目的,本申请第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机指令,其中,计算机指令用于使计算机执行根据本申请第一方面实施例中提供的移动机器人的SLAM自主导航方法。
为达上述目的,本申请第五方面实施例提出了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本申请第一方面实施例中提供的移动机器人的SLAM自主导航方法。
附图说明
图1是本申请一个实施例的移动机器人的SLAM自主导航方法的示意图;
图2是本申请一个实施例的移动机器人的SLAM自主导航方法的流程图;
图3是本申请一个实施例的移动机器人的SLAM自主导航方法的流程图;
图4是本申请一个实施例的移动机器人的SLAM自主导航方法的流程图;
图5是本申请一个实施例的移动机器人的SLAM自主导航方法的示意图;
图6是本申请一个实施例的移动机器人的SLAM自主导航方法的流程图;
图7是本申请一个实施例的移动机器人的SLAM自主导航方法的流程图;
图8是本申请一个实施例的移动机器人的SLAM自主导航方法的流程图;
图9是本申请一个实施例的移动机器人的SLAM自主导航方法的示意图;
图10是本申请一个实施例的移动机器人的SLAM自主导航装置的结构框图;
图11是本申请一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
图1是根据本申请一个实施例的移动机器人的硬件结构示意图,如图1所示,该移动机器人,由上位机101、下位机102和移动平台103三部分组成。上位机101中的主控制器104和下位机102中的协控制器105通过串口连接,两者之间的通信要进行电平转换,协控制器105的串口集成了集成了电平转换芯片;可选地,电平转换芯片可以为芯片CP2102。上位机101和下位机102都安装在移动平台103上。
本申请实施例中,可以通过上位机101上部署的多个传感器对环境数据进行采集,获取环境感知数据,其中,上位机101的传感器包括:激光雷达106、深度相机107、惯性导航单元(Inertial Measurement Unit,IMU)108。此外,上位机101中,还可以部署其他传感器109,如超声波传感器、毫米波雷达、红外相机和事件相机等。上位机101中的输入接口和输出接口采用高速接口,可以通过通用串行总线(Universal Serial Bus,USB)、网线、蓝牙或者串口等进行输入输出。输入接口110可以连接鼠标和键盘等,进行自主导航参数设定。输出接口111可以与外接设备,如液晶显示屏、发光二极管(LED)、LED阵列(Micro-LED)、有机发光器件(Organic Electroluminescence Display,OLED)等连接,输出定位、建图、路径规划和运动控制等自主导航实时数据,便于用户查看自主导航的可视化数据。上位机101内置无线网卡112,有两种模式和远程个人计算机(PC)113连接,实现远程可视化显示。一种方式是无线网卡112直接发出热点,远程PC 113连接无线网络(WIFI)热点。另一种方式是通过无线路由器114和远程PC 113连接。上位机101带有按键单元115,可以实现机器人的一键开机、一键建图、一键导航等。本申请实施例中,可以通过启动器(Launch)启动文件,将机器人操作***(Robot Operating System,ROS)中需要的多个节点同时启动,提高工作效率,降低操作难度。其中,启动器是ROS中启动多个节点的命令,是ROS内置的,可选地,启动器、ROS部署在主控制器104。
可选地,激光雷达106可以是单线或者多线的激光雷达,深度相机107可以是深度图像(RGB-D)相机或者双目相机,IMU 108可以为整合性6轴运动处理组件(也即MPU6050),本申请对此不做限制。
下位机102的协控制器105可以为嵌入式单片机(STM32),在一些实现中,协控制器105采集带编码器的减速电机116真实速度反馈值;在一些实现中,协控制器105通过电机驱动117对电机进行速度控制;在一些实现中,协控制器105通过温度传感器118采集上位机101和下位机102的温度,当温度过高时控制冷却模块119进行风冷或者水冷散热;在一些实现中,协控制器105根据环境光照度控制补光灯120,当机器人处于低光照环境时,开启补光灯120,对深度相机107进行补光。
移动平台103由带编码器的减速电机116、机器人底盘121(轮式底盘、双足底盘或者四足底盘等)和减震器122组成。减震器122的作用是提高移动平台103的稳定性,使得激光雷达106、深度相机107和IMU 108等传感器采集的数据更为稳定。
下面结合附图来描述本申请实施例的移动机器人的SLAM自主导航方法及其装置。
图2是本申请一个实施例的移动机器人的SLAM自主导航方法的流程图,如图2所示,该方法包括以下步骤:
S201,对部署在移动机器人上的多类型数据采集装置进行联合参数标定,并根据多类型数据采集装置进行数据采集,获取移动机器人的多类型的环境感知数据。
标定,主要是指使用标准的计量仪器对所使用仪器的准确度(精度)进行检测是否符合标准,一般大多用于精密度较高的仪器。标定也可以认为是校准。由于安装原因,可能会改变传感器数据采集的静态特性指标,从而出现***误差,为了改善数据采集的准确度,可以对部署在移动机器人上的多类型数据采集装置进行联合参数标定,其中,联合参数标定包括不同传感器各自的内部参数标定,以及多个传感器之间的外部参数标定。
本申请实施例中,传感器可以包括激光雷达、深度相机、IMU、超声波传感器、毫米波雷达、红外相机和事件相机等。
进行参数标定后,根据多类型数据采集装置进行数据采集,获取移动机器人的多类型的环境感知数据。可选地,环境感知数据可以包括周围场景的点云地图、周围场景的图像、IMU数据等。
S202,根据多类型的环境感知数据进行多源融合同步定位与地图构建SLAM,获取全局环境地图与移动机器人的位姿数据。
根据多类型的环境感知数据进行多源融合同步定位与地图构建(simultaneouslocalization and mapping,SLAM),惯性测量单元和视觉、激光雷达的融合可以解决视觉里程计的漂移和尺度丢失问题,提高***的鲁棒性。
本申请实施例中,可以根据环境感知数据获取移动机器人的多类里程计,进而根据多类里程计数据获取移动机器人的位姿数据和地图路标点,根据多类型的环境感知数据构建快速探索随机树RRT,生成自主探索地图,最后根据移动机器人的位姿数据和地图路标点对自主探索地图进行拼接,生成全局环境地图。其中,移动机器人的位姿数据包括移动机器人的位置数据和姿态数据。
S203,根据位姿数据和全局环境地图进行路径规划,获取移动机器人的目标路径。
本申请实施例中,根据位姿数据和全局环境地图进行路径规划,移动机器人的运动规划主要分为全局路径规划、局部路径规划和机器人轨迹规划。根据全局环境地图、位姿数据进行全局路径规划,获取移动机器人的全局路径,进而获取全局路径中的实时障碍物信息,根据实时障碍物信息对全局路径进行局部调整,以生成移动机器人的目标路径。
全局路径规划的目标是在全局静态的地图中寻找一条从起始点到目标点的全局路径,可以作为机器人自主导航的参考。局部路径规划则侧重于考虑机器人当前的局部环境信息,让机器人能够实时的实现避障,是对全局路径规划的补充和细化。全局路径规划和局部路径规划并没有本质上的区别,两者的采用的路径规划方法大体相同,只需要对部分细节进行修改。
路径规划方法主要分为传统图搜索路径规划算法、基于采样的路径规划、智能仿生路径规划算法等路径规划算法,包括启发式搜寻(A-Star)算法、人工势场法、遗传算法、蚁群算法等。
S204,根据位姿数据和目标路径生成控制指令,以控制移动机器人按照目标路径进行移动。
对位姿数据和目标路径进行模型预测控制MPC算法处理,获取移动机器人的位姿控制量,进而根据位姿控制量生成控制指令,以控制移动机器人按照目标路径进行移动。
本申请实施例中,可以在机器人探索过程中对复杂大范围室内和室外场景进行高精度三维重建、定位和运动规划,实现移动机器人的自主推理、规划和控制,最终实现移动机器人在全地形复杂场景的自主导航,提高控制移动机器人的机动性和灵活性。
图3是本申请一个实施例的移动机器人的SLAM自主导航方法的流程图,如图3所示,对部署在移动机器人上的多类型数据采集装置进行联合参数标定,包括以下步骤:
S301,对激光雷达、图像采集装置和IMU分别进行内部参数的标定。
需要说明的是,多类型数据采集装置包括激光雷达、图像采集装置、惯性测量单元IMU。
本申请实施例中,以传感器为激光雷达、IMU、相机为例进行内参标定的介绍。
由于安装原因,激光雷达线束之间的夹角和设计不一致,可能导致测量误差,对于激光雷达的内参标定,在一些实现中,将多光束打在平面上,利用共面约束,求解夹角误差,进而根据夹角误差进行内部参数标定;在一些实现中,还可以采用几何方法进行标定,通过关节臂测量雷达坐标系和世界坐标系的转换关系,进而根据转换关系进行内参标定。
本申请实施例中,对于IMU的内参标定,包括通过IMU参数标定工具,如imu_tk工具对尺度因子、温漂和轴偏角误差等确定确定性误差进行标定,另外,还可以通过imu_utils工具对噪声和零偏等随机误差进行标定。
本申请实施例中,对于相机的内参标定,可以利用张友正标定法快速求解相机的内参矩阵和外参矩阵,以获取世界坐标系到相机坐标系的旋转矩阵,进而根据旋转矩阵对相机的内部参数进行标定。
S302,提取图像采集装置的视觉特征点和激光雷达的点云边缘。
本申请实施例中,以传感器为激光雷达、相机为例进行外参标定的介绍。可选地,激光雷达和相机之间的外参标定,可以采用求解3D到2D点对运动(Perspective-n-Point,PnP)的方法;也就是说,在双目或者RGB-D的视觉里程计中,可以直接使用PnP估计相机运动。
可选地,根据相机的视觉里程计,提取视觉特征点,并根据激光雷达采集的点云地图获取点云边缘。其中,视觉特征点和点云边缘位于同一平面。
S303,根据视觉特征点和点云边缘建立第一几何约束,获取图像采集装置和激光雷达的相对平移量和相对旋转量。
视觉特征点和点云边缘需要满足一定的约束关系,本申请实施例中,根据点云边缘的多个空间点及视觉特征点进行直接线性变换,并建立第一几何约束,获取图像采集装置和激光雷达的相对平移量和相对旋转量。
S304,根据相对平移量和相对旋转量对图像采集装置和激光雷达进行外部参数标定。
根据相对平移量和相对旋转量对图像采集装置和激光雷达进行外部参数标定,也就是说,根据内参标定和外参标定实现多类型数据采集装置的联合参数标定。
本申请实施例中,采用多源融合SLAM方法,进行多传感器联合标定,可以避免测量误差,提高环境感知数据的精确度,提高控制移动机器人的机动性和准确度。
图4是本申请一个实施例的移动机器人的SLAM自主导航方法的流程图,如图4所示,根据多类型的环境感知数据进行多源融合同步定位与地图构建SLAM,获取全局环境地图与移动机器人的位姿数据,包括以下步骤:
S401,根据多类型的环境感知数据获取多类里程计数据,多类里程计数据包括激光里程计、视觉里程计和IMU里程计。
里程计是一种利用从移动传感器获得的数据来估计物***置随时间的变化而改变的方法。该方法被用在许多机器人***来估计机器人相对于初始位置移动的距离。
在一些实现中,采用64线以上的三维激光雷达来获取点云数据。输出的点云数据经过柱面投影进行特征分割,将原始点云投影为深度图,根据深度图将三维点云分割为地面点和非地面点,进而实现点云数据压缩降维。接下来,从分割点中提取出线面特征,利用扫描到扫描算法进行特征点匹配,这种匹配可以得到低精度激光里程计(高频率)。接下来,将低精度激光里程计作为初始化位姿,利用扫描到地图算法,也就是激光雷达扫描数据直接与地图进行匹配,这种方式一边计算位置,一边把新扫描到的数据及时加入到先前地图中,可以对预测的位姿进行优化,进而得到高精度激光里程计(低频率)。将高精度和低精度激光里程计进行融合,得到刷新速度和精度都较高的激光里程计。
在一些实现中,针对动态场景,利用无监督深度学习训练出适用于动态场景工作的视觉里程计。优选为卷积神经网络(Convolutional Neural Networks,CNN)、长短期记忆网络(Long Short-Term Memory,LSTM)、注意力机制(Attention)的深度学习网络结构,通过CNN层进行特征提取,利用LSTM进行时间序列预测,最后引入Attention注意力机制将输入序列中相关部分的作用进行放大,最终输出较为精确的位姿信息和深度信息。此外,利用深度学习进行语义分割,实现对人、机、物、环境等信息的语义信息,获得带有物体内容标签的地图,为图像中的物体打上标签。综上,通过深度学习的方式实现对环境中的几何结构信息和内容标签信息的复合提取,获取视觉里程计。
在一些实现中,由于IMU的频率高于相机和激光雷达,IMU输出的原始数据信息需要经过积分,依次更新预积分测量值和预积分协方差矩阵,得到第K帧和第K+1帧之间的速度、位置和姿态变化,获取IMU里程计,从而与视觉和激光雷达对齐。
S402,以IMU里程计的时间戳为基准,将数据传输时间差在预设时间范围之内的多类里程计数据进行数据同步处理。
在后端优化的时候,需要优化位姿,每次调整位姿都需要对IMU重新积分,这非常耗时,将每次迭代优化时的不变项提取出来,进行预积分,减小积分的工作量。
本申请实施例中,采用过滤时间戳方法,以预积分之后的IMU数据,即步骤S401中获取的速度、位置和姿态变化的数据时间戳为基准,采用ROS的消息过滤器机制,将消息过滤器阈值和传输时间差之和表示为时间同步阈值,真实时间差在时间同步阈值以内的数据是可以匹配的同步数据,其他不满足这个条件的数据则会被直接过滤。可以采用如下公式获取时间同步阈值:
T=t1±t2,∆t∈T
其中,T表示时间同步阈值,t1表示消息过滤器阈值,t2表示传输时间差,∆t表示真实时间差。
S403,根据因子图对数据同步处理后的多类里程计数据进行非线性最小二乘估计,获取移动机器人的位姿数据和地图路标点。
在一些实现中,进行数据同步后,利用基于贝叶斯网络的滤波方法或基于因子图的优化方法进行后端优化,本申请实施例中,以基于因子图的优化方法进行后端优化为例进行说明,采用因子图进行非线性最小二乘估计,具体使用高斯-牛顿算法、梯度下降法或者最速下降法等方法进行优化求解,得到机器人位姿数据和地图路标点的状态估计值。
S404,根据多类里程计数据构建快速探索随机树RRT,生成自主探索地图。
可选地,在生成自主探索地图之前,对多类里程计数据进行回环检测,以提高数据的精度,具体来说,在机器人SLAM过程中,位姿估计是逐渐递推的过程,误差会逐帧传递,随着时间增大导致了累积误差。为了消除累积误差,采用回环检测的方式判断机器人是否经过先前的位置,提高长时间和长距离跨度的位姿约束来减小地图漂移。常用的回环检测方法有词袋模型(DBoW3)、扫描上下文和CNN等。
在一些实现中,根据多类里程计数据,利用改进后的快速探索随机树算法实现机器人自主探索建图,无需人为手动遥控机器人事先建立地图,而是直接使用快速探索随机树算法完成陌生场景的自主探索建图,生成自主探索地图。在建图过程中,标记建图初始位置的位置和姿态信息,当机器人完成自主探索建图后,可以采用后续的运动规划(全局路径规划、局部路径规划、轨迹优化和运动控制)算法,使得机器人能够快速返回建图起点,并且使得机器人在初始位置的位姿保持不变,有利于实现机器人的重定位。
S405,根据移动机器人的位姿数据和地图路标点对自主探索地图进行拼接,生成全局环境地图。
完成地图优化和自主探索建图后,基于各个里程计的位姿,地图路标点将各个自主探索地图进行拼接,获取全局环境地图,也就是说,将局部地图进行拼接得到全局地图,拼接过程中重叠的部分提供体素滤波器进行融合,以此减少点云数量。可选地,全局环境地图可以是点云地图、栅格地图、特征地图,可选地,本申请实施例建立的全局环境地图为3D点云地图。
本申请实施例中,通过IMU预积分、深度学习视觉里程计、激光里程计进行前端融合,进而实现机器人高精度、实时、动态的地图构建与定位,本申请实施例中,可以在机器人探索过程中对复杂大范围室内和室外场景进行高精度三维重建、定位和运动规划,实现移动机器人的自主推理、规划和控制,最终实现移动机器人在全地形复杂场景的自主导航,提高控制移动机器人的机动性和灵活性。
如图5所示,本申请实施例中,根据激光雷达测量的环境感知数据获取激光里程计,根据IMU测量的环境感知数据获取IMU里程计,根据相机测量的环境感知数据获取视觉里程计,对里程计数据进行数据同步处理以及回环检测后,基于因子图的优化方法进行后端优化,得到机器人位姿数据和地图路标点的状态估计值,进而根据多类里程计数据构建快速探索随机树RRT,进行自主探索建图,以生成自主探索地图,最后根据移动机器人的位姿数据和地图路标点对自主探索地图进行拼接,生成全局环境地图。
图6是本申请一个实施例的移动机器人的SLAM自主导航方法的流程图,如图6所示,根据位姿数据和全局环境地图进行路径规划,获取移动机器人的目标路径,包括以下步骤:
S601,根据全局环境地图进行SLAM重定位,获取移动机器人在全局环境地图中的重定位信息。
在一些实现中,可以根据重定位算法,对全局环境地图进行SLAM重定位,获取移动机器人在全局环境地图中的重定位信息。可选地,重定位算法可以采用正态分布变换(NDT)算法、或者机器人定位算法(AMCL)等重定位算法。
S602,根据全局环境地图、重定位信息和位姿数据进行全局路径规划,获取移动机器人的全局路径。
通过SLAM获取的位姿数据、全局环境地图和重定位信息作为全局路径规划的输入,规划初始位姿至目标位姿的全局路径,其中,目标位姿可以是移动机器人预设的,也可以是根据用户输入获取的。常用的全局路径规划算法为迪杰斯特拉(Dijkstra)算法、RRT算法、遗传算法和蚁群算法等,本申请实施例中,可以根据蚁群算法进行全局路径规划,获取移动机器人的全局路径。
S603,获取全局路径中的实时障碍物信息,根据实时障碍物信息对全局路径进行局部调整,以生成移动机器人的目标路径。
全局路径规划算法只考虑了机器人在第一步构建的全局地图信息,由于外界环境在不断变化之中,没有考虑到动态避障的问题,只是规划了一条粗略的全局路径。因此,还需对全局路径规划进行细化。
根据全局路径和实时障碍物信息获取局部调整区域和局部目标位置。根据局部目标位置和当前位置、局部调整区域进行局部路径规划,获取局部调整区域对应的局部路径。根据局部路径对全局路径进行调整,以生成移动机器人的目标路径。可选地,可以采用局部路径规划算法,例如人工势场法、动态窗口法(DWA)、时间弹性带(TEB)、模型预测控制(MPC)等。通过多源融合SLAM实时感知局部范围的实时障碍物信息,以机器人能感知到的局部动态障碍物边界范围规划出一条从当前位置到局部目标位置的局部路径。局部路径为了达到避障的目的,并不完全和全局路径重合,而是尽量跟踪全局路径的大方向。
本申请实施例中,可以在机器人探索过程中对复杂大范围室内和室外场景进行高精度三维重建、定位和运动规划,实现移动机器人的自主推理、规划和控制,最终实现移动机器人在全地形复杂场景的自主导航,提高控制移动机器人的机动性和灵活性。
在一些实现中,根据实时障碍物信息获取障碍物与移动机器人的相对距离,并获取移动机器人与局部目标位置的直线距离、局部路径的一阶连续导数和长度。根据相对距离、直线距离、局部路径的一阶连续导数和长度建立第二几何约束,以对目标路径进行优化。
本申请实施例中,第二几何约束包括障碍物距离几何约束、平滑性几何约束、路径长度几何约束、目标距离几何约束。可以采用如下公式表达几何约束:
P=argmin{λ1f1(L)+λ2f2(L)+λ3f3(L)+λ4f4(L)}
其中,p表示第二几何约束,f1(L)表示障碍物距离几何约束,f2(L)表示平滑性几何约束,f3(L)表示路径长度几何约束,f4(L)表示目标距离几何约束,argmin{...}表示取最小值时的变量值,λ1、λ2、λ3、λ4分别表示各个几何约束对应的权重。
在一些实现中,对位姿数据中的位置数据进行微分,根据位置数据的一阶微分获取移动机器人的运动学约束,根据位置数据的二阶微分获取移动机器人的动力学约束,根据运动学约束和动力学约束对目标路径进行优化。本申请实施例中,针对微分约束考虑机器人的运动学约束(一阶微分)和动力学约束(二阶微分)。微分约束可以平衡机器人在各个路径段的运动速度,例如在平直路路段应该采用匀加速运动,实现快速移动;在转弯路段,匀减速运动,控制机器人降低速度,使得机器人安全通过转弯路段。
本申请实施例中,可以在机器人探索过程中对复杂大范围室内和室外场景进行高精度三维重建、定位和运动规划,实现移动机器人的自主推理、规划和控制,最终实现移动机器人在全地形复杂场景的自主导航,提高控制移动机器人的机动性和灵活性。
图7是本申请一个实施例的移动机器人的SLAM自主导航方法的流程图,如图7所示,该方法包括以下步骤:
S701,对位姿数据和目标路径进行模型预测控制MPC算法处理,获取移动机器人的位姿控制量。
在一些实现中,根据位姿数据和目标路径进行进行运动控制,采用带有闭环反馈控制的运动控制算法,可选为模糊控制、控制(PID)算法和模型预测控制(MPC)算法等。可选地,本申请实施例中,采用MPC算法,利用模型预测位姿和目标位姿之间误差的最小二乘值构建损失函数,并且在损失函数中加入惩罚速度跳变的软约束和控制量及其增量的边界约束。采用MPC算法,在计算当前控制量时考虑下一个时刻的位姿预判,实现模型预测控制,进行超前控制,克服传统PID控制的控制滞后问题,获取移动机器人的位姿控制量。
S702,根据位姿控制量生成控制指令。
根据位姿控制量生成控制指令,以指示移动机器人进行运动。
本申请实施例中,可以在机器人探索过程中对复杂大范围室内和室外场景进行高精度三维重建、定位和运动规划,实现移动机器人的自主推理、规划和控制,最终实现移动机器人在全地形复杂场景的自主导航,提高控制移动机器人的机动性和灵活性。
图8是本申请一个实施例的移动机器人的SLAM自主导航方法的流程图,如图8所示,该方法包括以下步骤:
S801,对环境感知数据进行预处理和/或边缘计算,获取候选环境感知数据。
为了实现大场景、长时间建图,需要进行内存管理,将传感器中的环境感知数据进行边缘计算(边缘计算是指在数据源头的附近,采用开放平台,就近直接提供最近端的服务),或经过预处理提取出候选环境感知数据。其中,预处理方式包括,对激光雷达、相机的原始数据进行优化,并将一些异常值数据进行剔除,或进行滤波。例如,针对激光雷达,采用体素网格滤波、直通滤波、双边滤波,高斯滤波,或者中值滤波等进行滤波。针对相机,采用中值滤波、高斯滤波、双边滤波和导向滤波等进行滤波。针对IMU,采用均值滤波、滑动滤波、滑动加权滤波等进行滤波。
S802,对候选环境感知数据和历史帧环境感知数据进行匹配,获取相似度。
将传感器中提取出的候选环境感知数据和内存中的历史帧环境感知数据进行匹配,获取相似度。
S803,若相似度小于或等于预设的相似度阈值,将候选环境感知数据和历史帧环境感知数据进行加权融合,并更新上一帧全局环境地图。
若相似度小于或等于预设的相似度阈值,说明候选环境感知数据和历史帧环境感知数据之间数据差异较小,将候选环境感知数据和历史帧环境感知数据进行加权融合,获取目标环境感知数据,并根据目标环境感知数据更新上一帧全局环境地图。
在一些实现中,若相似度大于相似度阈值,说明候选环境感知数据和历史帧环境感知数据之间数据差异较大,对候选环境感知数据进行缓存,即存入短期内存,并获取缓存的候选环境感知数据的帧数;若帧数大于预设的数量阈值,利用词袋模型等方法,对缓存的候选环境感知数据进行回环检测,消除累积误差,获取目标环境感知数据;根据目标环境感知数据对全局环境地图进行更新。可选地,对全局环境地图进行更新后,将短期内存中的所有节点移入长期内存,并且清空短期内存。
本申请实施例中,可以在机器人探索过程中对复杂大范围室内和室外场景进行高精度三维重建、定位和运动规划,实现移动机器人的自主推理、规划和控制,最终实现移动机器人在全地形复杂场景的自主导航,提高控制移动机器人的机动性和灵活性。
如图9所示,本申请实施例中,为了提高自主导航和运动规划的并行效率,可以利用操作***(Linux操作***)的多线程处理机制,进行多线程处理,其中,不同线程长度是指线程开始时间不同。
可选地,为了提高用户体验,本申请实施例中,在机器人进行多源融合SLAM之前,可以预先设置移动机器人在自主探索建图时的巡逻范围,比如直径200m或者设置几个巡逻边界点;可以预先设置采用激光惯导SLAM、视觉惯导SLAM或者激光视觉惯导SLAM等;可以预先设置机器人进行传感器的自动内参和外参标定等。
如图10所示,基于同一申请构思,本申请实施例还提供了一种移动机器人的SLAM自主导航装置1000,包括:
第一获取模块1010,用于对部署在移动机器人上的多类型数据采集装置进行联合参数标定,并根据多类型数据采集装置进行数据采集,获取移动机器人的多类型的环境感知数据;
第二获取模块1020,用于根据多类型的环境感知数据进行多源融合同步定位与地图构建SLAM,获取全局环境地图与移动机器人的位姿数据;
第三获取模块1030,用于根据位姿数据和全局环境地图进行路径规划,获取移动机器人的目标路径;
自主导航模块1040,用于根据位姿数据和目标路径生成控制指令,以控制移动机器人按照目标路径进行移动。
在一些实现中,多类型数据采集装置包括激光雷达、图像采集装置、惯性测量单元IMU,第一获取模块1010,还用于:
对激光雷达、图像采集装置和IMU分别进行内部参数的标定;
提取图像采集装置的视觉特征点和激光雷达的点云边缘;
根据视觉特征点和点云边缘建立第一几何约束,获取图像采集装置和激光雷达的相对平移量和相对旋转量;
根据相对平移量和相对旋转量对图像采集装置和激光雷达进行外部参数标定。
在一些实现中,第二获取模块1020,还用于:
根据多类型的环境感知数据获取多类里程计数据,多类里程计数据包括激光里程计、视觉里程计和IMU里程计;
以IMU里程计的时间戳为基准,将数据传输时间差在预设时间范围之内的多类里程计数据进行数据同步处理;
根据因子图对数据同步处理后的多类里程计数据进行非线性最小二乘估计,获取移动机器人的位姿数据和地图路标点;
根据多类里程计数据构建快速探索随机树RRT,生成自主探索地图;
根据移动机器人的位姿数据和地图路标点对自主探索地图进行拼接,生成全局环境地图。
在一些实现中,第三获取模块1030,还用于:
根据全局环境地图进行SLAM重定位,获取移动机器人在全局环境地图中的重定位信息;
根据全局环境地图、重定位信息和位姿数据进行全局路径规划,获取移动机器人的全局路径;
获取全局路径中的实时障碍物信息,根据实时障碍物信息对全局路径进行局部调整,以生成移动机器人的目标路径。
在一些实现中,第三获取模块1030,还用于:
根据全局路径和实时障碍物信息获取局部调整区域和局部目标位置;
根据局部目标位置和当前位置、局部调整区域进行局部路径规划,获取局部调整区域对应的局部路径;
根据局部路径对全局路径进行调整,以生成移动机器人的目标路径。
在一些实现中,第三获取模块1030,还用于:
根据实时障碍物信息获取障碍物与移动机器人的相对距离,并获取移动机器人与局部目标位置的直线距离、局部路径的一阶连续导数和长度;根据相对距离、直线距离、局部路径的一阶连续导数和长度建立第二几何约束,以对目标路径进行优化;和/或
对位姿数据中的位置数据进行微分,根据位置数据的一阶微分获取移动机器人的运动学约束,根据位置数据的二阶微分获取移动机器人的动力学约束,根据运动学约束和动力学约束对目标路径进行优化。
在一些实现中,自主导航模块1040,还用于:
对位姿数据和目标路径进行模型预测控制MPC算法处理,获取移动机器人的位姿控制量;
根据位姿控制量生成控制指令。
在一些实现中,移动机器人的SLAM自主导航装置1000还包括管理模块1050,用于:
对环境感知数据进行预处理和/或边缘计算,获取候选环境感知数据;
对候选环境感知数据和历史帧环境感知数据进行匹配,获取相似度;
若相似度小于或等于预设的相似度阈值,将候选环境感知数据和历史帧环境感知数据进行加权融合,并更新上一帧全局环境地图。
在一些实现中,管理模块1050,还用于:
若相似度大于相似度阈值,对候选环境感知数据进行缓存,并获取缓存的候选环境感知数据的帧数;
若帧数大于预设的数量阈值,对缓存的候选环境感知数据进行回环检测,获取目标环境感知数据;
根据目标环境感知数据对全局环境地图进行更新。
本申请实施例中,可以在机器人探索过程中对复杂大范围室内和室外场景进行高精度三维重建、定位和运动规划,实现移动机器人的自主推理、规划和控制,最终实现移动机器人在全地形复杂场景的自主导航,提高控制移动机器人的机动性和灵活性。
基于同一申请构思,本申请实施例还提供了一种电子设备。
图11为本申请实施例提供的电子设备的结构示意图。如图11所示,该电子设备1100,包括存储器1110、处理器1120及存储在存储器1110上并可在处理器1120上运行的计算机程序产品,处理器执行计算机程序时,实现前述的移动机器人的SLAM自主导航方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
基于同一申请构思,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机指令,其中,该计算机指令用于使计算机执行上述实施例中的移动机器人的SLAM自主导航方法。
基于同一申请构思,本申请实施例还提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时上述实施例中的移动机器人的SLAM自主导航方法。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (5)
1.一种移动机器人的SLAM自主导航方法,其特征在于,包括:
对部署在移动机器人上的多类型数据采集装置进行联合参数标定,并根据所述多类型数据采集装置进行数据采集,获取所述移动机器人的多类型的环境感知数据;
根据所述多类型的环境感知数据获取多类里程计数据,所述多类里程计数据包括激光里程计、视觉里程计和IMU里程计;
以所述IMU里程计的时间戳为基准,将数据传输时间差在预设时间范围之内的所述多类里程计数据进行数据同步处理;
根据因子图对数据同步处理后的所述多类里程计数据进行非线性最小二乘估计,获取所述移动机器人的位姿数据和地图路标点;
根据所述多类里程计数据构建快速探索随机树RRT,生成自主探索地图;
根据所述移动机器人的位姿数据和地图路标点对所述自主探索地图进行拼接,生成全局环境地图;
根据所述全局环境地图进行SLAM重定位,获取所述移动机器人在全局环境地图中的重定位信息;
根据所述全局环境地图、所述重定位信息和所述位姿数据进行全局路径规划,获取所述移动机器人的全局路径;
获取所述全局路径中的实时障碍物信息,根据所述全局路径和所述实时障碍物信息获取局部调整区域和局部目标位置;
根据所述局部调整区域和局部目标位置进行局部路径规划,获取所述局部调整区域对应的局部路径;
根据所述局部路径对所述全局路径进行调整,以生成所述移动机器人的目标路径;
根据所述实时障碍物信息获取障碍物与所述移动机器人的相对距离,并获取所述移动机器人与所述局部目标位置的直线距离、局部路径的一阶连续导数和长度;根据所述相对距离、所述直线距离、所述局部路径的一阶连续导数和长度建立第二几何约束,以对所述目标路径进行优化;所述第二几何约束包括障碍物距离几何约束、平滑性几何约束、路径长度几何约束和目标距离几何约束;
根据所述位姿数据和所述目标路径生成控制指令,以控制所述移动机器人按照所述目标路径进行移动;
获取全局环境地图之后,还包括:
对所述环境感知数据进行预处理和/或边缘计算,获取候选环境感知数据;
对所述候选环境感知数据和历史帧环境感知数据进行匹配,获取相似度;
若所述相似度小于或等于预设的相似度阈值,将所述候选环境感知数据和所述历史帧环境感知数据进行加权融合,并更新上一帧全局环境地图;
若所述相似度大于所述相似度阈值,对所述候选环境感知数据进行缓存,并获取缓存的候选环境感知数据的帧数;
若所述帧数大于预设的数量阈值,对所述缓存的候选环境感知数据进行回环检测,获取目标环境感知数据;
根据所述目标环境感知数据对所述全局环境地图进行更新。
2.根据权利要求1所述的方法,其特征在于,所述多类型数据采集装置包括激光雷达、图像采集装置、惯性测量单元IMU,所述对部署在移动机器人上的多类型数据采集装置进行联合参数标定,包括:
对所述激光雷达、所述图像采集装置和所述IMU分别进行内部参数的标定;
提取所述图像采集装置的视觉特征点和所述激光雷达的点云边缘,所述视觉特征点和所述点云边缘位于同一平面;
根据所述视觉特征点和所述点云边缘建立第一几何约束,获取所述图像采集装置和所述激光雷达的相对平移量和相对旋转量;
根据所述相对平移量和相对旋转量对所述图像采集装置和所述激光雷达进行外部参数标定。
3.根据权利要求1所述的方法,其特征在于,所述生成所述移动机器人的目标路径后,还包括:
对所述位姿数据中的位置数据进行微分,根据所述位置数据的一阶微分获取所述移动机器人的运动学约束,根据所述位置数据的二阶微分获取所述移动机器人的动力学约束,根据所述运动学约束和所述动力学约束对所述目标路径进行优化。
4.根据权利要求1所述的方法,其特征在于,所述根据所述位姿数据和所述目标路径生成控制指令,包括:
对所述位姿数据和所述目标路径进行模型预测控制MPC算法处理,获取所述移动机器人的位姿控制量;
根据所述位姿控制量生成控制指令。
5.一种移动机器人的SLAM自主导航装置,其特征在于,包括:
第一获取模块,用于对部署在移动机器人上的多类型数据采集装置进行联合参数标定,并根据所述多类型数据采集装置进行数据采集,获取所述移动机器人的多类型的环境感知数据;
第二获取模块,用于根据所述多类型的环境感知数据进行多源融合同步定位与地图构建SLAM,获取全局环境地图与所述移动机器人的位姿数据;
第三获取模块,用于根据所述位姿数据和所述全局环境地图进行路径规划,获取所述移动机器人的目标路径;
自主导航模块,用于根据所述位姿数据和所述目标路径生成控制指令,以控制所述移动机器人按照所述目标路径进行移动;
所述装置还用于:
获取全局环境地图之后,对所述环境感知数据进行预处理和/或边缘计算,获取候选环境感知数据;
对所述候选环境感知数据和历史帧环境感知数据进行匹配,获取相似度;
若所述相似度小于或等于预设的相似度阈值,将所述候选环境感知数据和所述历史帧环境感知数据进行加权融合,并更新上一帧全局环境地图;
若所述相似度大于所述相似度阈值,对所述候选环境感知数据进行缓存,并获取缓存的候选环境感知数据的帧数;
若所述帧数大于预设的数量阈值,对所述缓存的候选环境感知数据进行回环检测,获取目标环境感知数据;
根据所述目标环境感知数据对所述全局环境地图进行更新;
所述第二获取模块具体用于:
根据所述多类型的环境感知数据获取多类里程计数据,所述多类里程计数据包括激光里程计、视觉里程计和IMU里程计;
以所述IMU里程计的时间戳为基准,将数据传输时间差在预设时间范围之内的所述多类里程计数据进行数据同步处理;
根据因子图对数据同步处理后的所述多类里程计数据进行非线性最小二乘估计,获取所述移动机器人的位姿数据和地图路标点;
根据所述多类里程计数据构建快速探索随机树RRT,生成自主探索地图;
根据所述移动机器人的位姿数据和地图路标点对所述自主探索地图进行拼接,生成所述全局环境地图;
所述第三获取模块具体用于:
根据所述全局环境地图进行SLAM重定位,获取所述移动机器人在全局环境地图中的重定位信息;
根据所述全局环境地图、所述重定位信息和所述位姿数据进行全局路径规划,获取所述移动机器人的全局路径;
获取所述全局路径中的实时障碍物信息,根据所述全局路径和所述实时障碍物信息获取局部调整区域和局部目标位置;
根据所述局部调整区域和局部目标位置进行局部路径规划,获取所述局部调整区域对应的局部路径;
根据所述局部路径对所述全局路径进行调整,以生成所述移动机器人的目标路径;
根据所述实时障碍物信息获取障碍物与所述移动机器人的相对距离,并获取所述移动机器人与所述局部目标位置的直线距离、局部路径的一阶连续导数和长度;根据所述相对距离、所述直线距离、所述局部路径的一阶连续导数和长度建立第二几何约束,以对所述目标路径进行优化;所述第二几何约束包括障碍物距离几何约束、平滑性几何约束、路径长度几何约束和目标距离几何约束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211113288.4A CN115200588B (zh) | 2022-09-14 | 2022-09-14 | 移动机器人的slam自主导航方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211113288.4A CN115200588B (zh) | 2022-09-14 | 2022-09-14 | 移动机器人的slam自主导航方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115200588A CN115200588A (zh) | 2022-10-18 |
CN115200588B true CN115200588B (zh) | 2023-01-06 |
Family
ID=83572026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211113288.4A Active CN115200588B (zh) | 2022-09-14 | 2022-09-14 | 移动机器人的slam自主导航方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115200588B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115388902B (zh) * | 2022-10-28 | 2023-03-24 | 苏州工业园区测绘地理信息有限公司 | 室内定位方法和***、ar室内定位导航方法和*** |
CN115689199B (zh) * | 2022-10-31 | 2024-05-17 | 天津大学 | 用于汽车智能制造的自主移动机器人调度*** |
CN117470230A (zh) * | 2023-10-23 | 2024-01-30 | 广州创源机器人有限公司 | 基于深度学习的视觉激光传感器融合定位算法 |
CN117782088B (zh) * | 2023-12-13 | 2024-07-19 | 深圳大学 | 一种合作目标建图定位导航方法 |
CN117593650B (zh) * | 2024-01-18 | 2024-04-26 | 上海几何伙伴智能驾驶有限公司 | 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法 |
CN117706544B (zh) * | 2024-02-04 | 2024-04-09 | 新泰坦空气净化技术(北京)有限公司 | 一种智能环保远程监测*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109325979A (zh) * | 2018-07-20 | 2019-02-12 | 上海理工大学 | 基于深度学习的机器人回环检测方法 |
CN113506342A (zh) * | 2021-06-08 | 2021-10-15 | 北京理工大学 | 一种基于多相机全景视觉的slam全向回环校正方法 |
CN113516682A (zh) * | 2021-07-08 | 2021-10-19 | 福州大学 | 一种激光slam的回环检测方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110703747B (zh) * | 2019-10-09 | 2021-08-03 | 武汉大学 | 一种基于简化广义Voronoi图的机器人自主探索方法 |
CN110906946A (zh) * | 2019-12-02 | 2020-03-24 | 大连理工大学 | 一种区分人员影响的服务机器人导航规划方法 |
CN111381597B (zh) * | 2020-05-14 | 2021-08-03 | 吉林大学 | 一种基于高斯伪谱法的车辆避障轨迹规划方法 |
CN113325837A (zh) * | 2021-04-23 | 2021-08-31 | 北京启安智慧科技有限公司 | 一种用于多信息融合采集机器人的控制***及方法 |
CN113358112B (zh) * | 2021-06-03 | 2023-01-17 | 北京超星未来科技有限公司 | 一种地图构建方法及一种激光惯性里程计 |
CN114549738A (zh) * | 2022-01-07 | 2022-05-27 | 北京理工大学重庆创新中心 | 无人车室内实时稠密点云重建方法、***、设备及介质 |
CN114625121A (zh) * | 2022-01-24 | 2022-06-14 | 成都理工大学 | 基于多传感器融合的自主巡检探索小车***及导航方法 |
-
2022
- 2022-09-14 CN CN202211113288.4A patent/CN115200588B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109325979A (zh) * | 2018-07-20 | 2019-02-12 | 上海理工大学 | 基于深度学习的机器人回环检测方法 |
CN113506342A (zh) * | 2021-06-08 | 2021-10-15 | 北京理工大学 | 一种基于多相机全景视觉的slam全向回环校正方法 |
CN113516682A (zh) * | 2021-07-08 | 2021-10-19 | 福州大学 | 一种激光slam的回环检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115200588A (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115200588B (zh) | 移动机器人的slam自主导航方法及其装置 | |
CN111958591B (zh) | 一种语义智能变电站巡检机器人自主巡检方法及*** | |
WO2022021739A1 (zh) | 一种语义智能变电站机器人仿人巡视作业方法及*** | |
CN113110457B (zh) | 在室内复杂动态环境中智能机器人的自主覆盖巡检方法 | |
CN107144285B (zh) | 位姿信息确定方法、装置和可移动设备 | |
US10705528B2 (en) | Autonomous visual navigation | |
CN112518739B (zh) | 履带式底盘机器人侦察智能化自主导航方法 | |
Papachristos et al. | Localization uncertainty-aware autonomous exploration and mapping with aerial robots using receding horizon path-planning | |
Egger et al. | Posemap: Lifelong, multi-environment 3d lidar localization | |
CN112461227B (zh) | 轮式底盘机器人巡检智能化自主导航方法 | |
Singh et al. | Comparative analysis of range sensors for the robust autonomous navigation–a review | |
Nieuwenhuisen et al. | Layered mission and path planning for MAV navigation with partial environment knowledge | |
EP4088884A1 (en) | Method of acquiring sensor data on a construction site, construction robot system, computer program product, and training method | |
Fauadi et al. | Intelligent vision-based navigation system for mobile robot: A technological review | |
Choi et al. | Improved CNN-based path planning for stairs climbing in autonomous UAV with LiDAR sensor | |
CN118020038A (zh) | 两轮自平衡机器人 | |
Smith et al. | Real-time egocentric navigation using 3d sensing | |
Xanthidis et al. | Aquavis: A perception-aware autonomous navigation framework for underwater vehicles | |
CN116352722A (zh) | 多传感器融合的矿山巡检救援机器人及其控制方法 | |
CN117234203A (zh) | 一种多源里程融合slam井下导航方法 | |
Wettergreen et al. | Developing a framework for reliable autonomous surface mobility | |
CN115690343A (zh) | 一种基于视觉跟随的机器人激光雷达扫描建图方法 | |
Kozák et al. | Robust visual teach and repeat navigation for unmanned aerial vehicles | |
CN110857861B (zh) | 轨迹规划方法与*** | |
Leng et al. | An improved method for odometry estimation based on EKF and Temporal Convolutional Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |