CN111337037B - 移动激光雷达slam制图装置及数据处理方法 - Google Patents

移动激光雷达slam制图装置及数据处理方法 Download PDF

Info

Publication number
CN111337037B
CN111337037B CN202010422532.XA CN202010422532A CN111337037B CN 111337037 B CN111337037 B CN 111337037B CN 202010422532 A CN202010422532 A CN 202010422532A CN 111337037 B CN111337037 B CN 111337037B
Authority
CN
China
Prior art keywords
data
acquisition
unit
calculation unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010422532.XA
Other languages
English (en)
Other versions
CN111337037A (zh
Inventor
张衡
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Digital Green Earth Technology Co.,Ltd.
Original Assignee
Beijing Greenvalley Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Greenvalley Technology Co ltd filed Critical Beijing Greenvalley Technology Co ltd
Priority to CN202010422532.XA priority Critical patent/CN111337037B/zh
Publication of CN111337037A publication Critical patent/CN111337037A/zh
Application granted granted Critical
Publication of CN111337037B publication Critical patent/CN111337037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种移动激光雷达slam制图装置及数据处理方法,它包括卫星信号接收单元:用于接收卫星定位信号并分别与数据采集传感单元、IMU惯性测量单元和制图采集计算单元连接,实现定位及时间同步信息的传输;数据采集传感单元:用于捕捉某一时空区域下的影像信息,并将采集的影像信息发送给制图采集计算单元;IMU惯性测量单元:与制图采集计算单元连接将数据发送到制图采集计算单元,并获取卫星信号接收单元发送的精确GPS时间信息;制图采集计算单元:提供多种数据接口通过多线程方式获取所述数据采集传感单元的原始数据,实现多传感融合的slam制图。本发明能够实现模块化设计,提供高集成化的采集***,方便携带、拆装以及维修和替换处理。

Description

移动激光雷达slam制图装置及数据处理方法
技术领域
本发明涉及一种激光雷达导航定位处理方法,尤其涉及一种移动激光雷达slam制图装置及数据处理方法。
背景技术
slam (Simultaneous Localization And Mapping)技术是指即时定位与地图构建,即通过处理传感器采集的周围环境数据,实时反馈当前运动***在未知环境的位置并同时绘制运动***的周围环境地图。随着激光雷达技术的发展,移动SLAM制图***在林业、交通、矿道、建筑等领域已显现出广阔的应用前景。
虽然slam技术在很多场景都有应用,但是通过slam技术来实现多传感器采集的进行制图及其数据处理方面却很少有这方面的技术公开,而且如何将移动激光雷达***中各个传感器稳定的融合在一起,同时保证便携易操控,采集数据稳定可靠,以实现slam制图装置的模块化是目前需要解决的问题。
申请号为201610799842.7的中国发明专利申请中公开了“一种针对大尺度环境的多机器人协同制图与定位的方法”,其包括基于视觉检测闭环的单机器人激光SLAM算法、多机器人位姿约束估计算法以及多机器人地图融合算法;其中,基于视觉检测闭环的单机器人激光SLAM算法利用视觉传感器来辅助激光传感器,实现更为稳定鲁棒性的SLAM算法。
申请号为201910378821.1的中国发明专利申请中公开了“基于SLAM步态IMU融合的室内人员自主定位方法”,其包括室内人员穿戴定位装置并将其启动,穿戴装置的人员在室内环境中自由移动,SLAM传感器将测得的数据传输给计算机,计算机使用SLAM算法对室内环境进行建图并对人员自身定位,同时,IMU元件将测得的数据传输给计算机,计算机通过基于步态的IMU定位算法计算人员的运动轨迹,再将融合SLAM定位结果与步态IMU定位结果进行人员定位,以对环境依赖小的步态IMU定位技术作为挑战性环境下的辅助定位手段,将两者融合起来的人员自主定位***,不仅在正常环境中具备良好的导航定位性能,在火场等特殊室内环境中也具有较强的鲁棒性。
上述技术方案虽然都是基于SLAM技术的应用,但是其实现的技术方案并不能解决前述中提到的技术问题。
发明内容
本发明的目的在于克服现有技术的缺点,提供了一种移动激光雷达slam制图装置及数据处理方法,基于移动激光雷达制图设备的模块化设计,可以在装置中灵活定制各类数据采集传感设备,便携方便的拆装设置,整体装置集成度高、稳定性好,故障率低,且模块易替换。
本发明的目的通过以下技术方案来实现:一种移动激光雷达slam制图装置,包括卫星信号接收单元、数据采集传感单元、IMU惯性测量单元和制图采集计算单元:
卫星信号接收单元:用于接收卫星定位信号并分别与所述数据采集传感单元、IMU惯性测量单元和制图采集计算单元连接,实现定位及时间同步信息的传输;
数据采集传感单元:用于捕捉某一时空区域下的影像信息,并将采集的影像信息发送给所述制图采集计算单元;
IMU惯性测量单元:与所述制图采集计算单元连接将数据发送到所述制图采集计算单元,并获取所述卫星信号接收单元发送的精确GPS时间信息;
制图采集计算单元:提供多种数据接口通过多线程方式获取所述数据采集传感单元的原始数据,实现多传感融合的slam制图。
所述数据采集传感单元包括高精度全景相机和激光雷达扫描仪;所述高精度全景相机用于在保持与所述数据采集传感单元中其他传感设备时间同步的同时,将捕捉到的高精度影像信息发送到所述制图采集计算单元;所述激光雷达扫描仪与所述卫星信号接收单元连接获取精确的GPS时间,并将GPS定位信息和时间信息发送到所述制图采集计算单元。
所述多传感融合的slam制图方法包括:
依据IMU惯性测量单元和卫星信号接收单元接收的数据以及二者之间的标定信息,利用卫星定位信息、惯性导航***和卡尔曼滤波原理求解得每一时刻的运动***初始定位信息P0;
利用初始定位信息P0和高精度全景相机采集的影像数据,根据视觉slam技术生成高精度的运动***定位信息P1;
根据所述运动***定位信息P1和激光雷达扫描仪采集的点云数据,采用激光slam技术生成更高精度的运动***定位信息P2;
利用各个传感设备提供的定位信息进行联合优化,得到当前运动***的定位信息,再根据求解的高精度轨迹以及原始点云重新解算每一时刻的点位置,最终得到高精度地图。
所述装置内从上到下依次设置所述卫星信号接收单元、高精度相机、激光雷达扫描仪、IMU惯性测量单元;所述制图采集计算单元设置于便携式背包的背负***内。
所述数据采集传感单元还包括倾斜式激光扫描仪;设置于所述背包外,与所述制图采集计算单元和所述卫星信号接收单元连接,用于对所述激光雷达扫描仪在某些场景无法扫描到侧面或地面点云时,进行扫描以实现辅助定位及确保点云完整。
移动智能设备通过WIFI网络或者有线网络对所述制图采集计算单元进行通信连接,访问控制所述制图采集计算单元并控制数据采集、数据拷贝以及实时点云显示。
一种数据处理方法,采用上述任一项所述的移动激光雷达slam制图装置,所述数据处理方法包括:
数据压缩转换:对制图采集计算单元每次生成的点云、轨迹点和影像数据通过预设压缩方式压缩后进入传输队列中;
数据还原显示:移动智能客户端与所述制图采集计算单元建立通信连接,将获取的压缩的二维数据还原为三位点云及影像,并通过WebGL技术实现实时显示。
所述预设压缩方式包括:通过将降采样后的每帧点云的三维坐标点转换为极坐标形式后再通过一个旋转矩阵的方式来进行数据存储。
所述制图采集计算单元实时监测每个所述移动智能客户端,移动智能客户端发送指令数据实现控制数据采集传感单元中各个传感设备启动数据采集处理及数据拷贝,同时将指令处理的反馈结果发送到所述移动智能客户端。
一种存储介质,所述存储介质上存储有计算机控制程序指令,所述计算机控制程序指令被处理器执行时实现所述数据处理方法的步骤。
一种终端设备它包括处理器以及存储有计算机控制程序指令的存储器;在所述处理器内运行所述计算机控制程序指令,所述运行所述计算机控制程序指令时执行时实现所述数据处理方法的步骤。
本发明具有的有益效果为:一种移动激光雷达slam制图装置及数据处理方法;对移动激光雷达制图设备进行模块化设计,提供高集成化的采集***,可以灵活定制各种采集传感设备,方便携带、拆装以及维修和替换处理,数据采集处理稳定性高,故障率低且易替换;
针对对外作业采集,不需要携带其他手持设备,只需要通过手机或者平板电脑连接本装置后点击start按钮即可开始数据采集,采集完成后点击stop即可;
同时通过移动激光雷达slam制图装置的数据处理方法,以确保智能客户端能接收到初步的采集好的点云数据,能够对采集作业进行质量判断,同时完整数据也通过U盘即可快速导出,该方案适用性广,以网页形式来调用,可在用户自有设备中使用而不需要按照其他软件,同时使用显卡加速方式,确保渲染速度能够达到实时要求。
附图说明
图1 为本发明装置的结构示意图;
图2 为本发明方法的流程图;
图3为本发明装置的数据处理结构图。
具体实施方式
为使本申请实施例的目的、技术方案和有点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。
如图1所示,为发明实施例提供的一种移动激光雷达slam制图装置,包括卫星信号接收单元、数据采集传感单元、IMU(测量物体三轴姿态角度及加速度的装置)惯性测量单元和制图采集计算单元:其中,数据采集传感单元包括高精度相机、激光雷达扫描仪和倾斜式激光扫描仪;
卫星信号接收单元:用于接收卫星定位信号并分别与所述数据采集传感单元、IMU惯性测量单元和制图采集计算单元连接,实现定位及时间同步信息的传输;
进一步地,卫星信号接收单元可以为定制的GNSS(全球导航卫星***定位)板卡及天线主要用于接收卫星发射的定位信号,其设置于装置的最上一层,GNSS板卡分别于激光雷达扫描仪、IMU惯性测量单元以及制图采集计算单元连接,实现定位及时间同步信息的发送。
进一步地,高精度相机设置在GNSS板卡的下面一层,用于捕捉高精度影像信息;可以通过高精度相机自带的GPS天线来获取GPS时间与其他的数据采集传感设备保持时间同步,或者也可以通过高精度相机自带的IMU与本发明中的IMU惯性测量单元进行时间同步。
进一步地,激光雷达扫描仪设置在高精度相机下面一层,与制图采集计算单元连接,同时与GNSS板卡连接获取精确的GPS时间,其主要用于实现定位。
进一步地,倾斜式激光扫描仪设置于所述背包外,与所述制图采集计算单元和GNSS板卡连接获取精确的GPS时间,用于对所述激光雷达扫描仪在某些场景无法扫描到侧面或地面点云时,进行扫描以实现辅助定位及确保点云完整。
进一步地,IMU惯性测量单元:设置在激光雷达扫描仪的下面一层,与所述制图采集计算单元连接将数据发送到所述制图采集计算单元,并获取所述卫星信号接收单元发送的精确GPS时间信息;
进一步地,在IMU惯性测量单元下面为背包背负***,主要确保能够稳定的承载上面的各种数据采集传输部件,同时保证便携;其内部设置有电源和制图采集计算单元等等。
进一步地,制图采集计算单元:提供多种数据接口通过多线程方式获取所述数据采集传感单元的原始数据,实现多传感融合的slam制图。
具体地,制图采集计算单元提供了USB接口,以太网接口及HDMI接口。USB接口用来拷贝数据;以太网接口通过有线连接外部平板电脑,或者通过发出的WIFI信号使得手机设备方便连接;HDMI接口用来调试设备。制图采集计算单元通过多线程方式实时获取上述各个传感器的原始数据,确保数据稳定传输并存储,以及实时处理或后处理。处理的结果可通过USB接口导出到U盘中。
进一步地,所述多传感融合的slam制图方法包括:
S1、依据IMU和GNSS接收的数据以及二者之间的标定信息,利用GNSS卫星定位信息、惯性导航***和卡尔曼滤波原理求解得每一时刻t的运动***初始定位信息P0;得到定位信息的初值,为后续步骤提供初始数据。
S2、利用初始定位信息P0和高精度全景相机采集的影像数据,根据视觉slam技术生成高精度的运动***定位信息P1;结合前面定位信息给的初值,能更有效提取匹配点,并进行RANSAC筛点的操作。
具体地,首先提取对每一相邻的两帧图像关键帧,提取特征点集,其中包括ORB特征点和Harris角点等,根据第一步得到的初始定位信息,在已知当前两帧关键帧的初始位置信息的情况下,通过投影特征点在三维空间中估计的位置,可极大提升RANSAC匹配效率,提取有有效点,去除异常点,得到点集P^t, P^(t-1)并计算统一世界坐标系下每个特征点的空间坐标位置。这些特征匹配点对的变换关系可表示为如下式所示:
∀i,P_i^t=RP_i^(t-1)+T
其中R为相邻两帧位姿旋转变换矩阵,T为平移矩阵,P_i^t与P_i^(t-1)为t时刻到t+1时刻的特征点匹配点对。采用最小化重投影误差的方法来求解位姿R与T,如下式:
Figure 443570DEST_PATH_IMAGE001
其中,P^t表示图像帧F_1的所有特征点集合,P^(t-1)表示图像帧F_1的所有特征点集合;R为载体的旋转矩阵,T为载体的平移向量, N表示特征点对的数目。
计算得到相邻关键帧的旋转平移矩阵,并依次得到所有关键帧的定位信息P1。
S3、根据所述运动***定位信息P1和激光雷达扫描仪采集的点云数据,采用激光slam技术生成更高精度的运动***定位信息P2;
具体地,对于当前帧激光点云数据Pk,依据以下公式可计算得到其点特征Fk1,线特征 Fk2,面特征 Fk3。
Figure 643607DEST_PATH_IMAGE002
其中,i为Pk中的一个点,X i 为点i的坐标,p为点i的邻域点集合,jp中的点,X i 为点i的坐标,f为特征值;预先给定阈值M_1、M_2、M_3和M_4,针对当前点的特征值f小于M_1的点属于特征F_k1,大于M_2小于M_3的点属于F_k2,大于M4的点属于F_k3。
根据初始定位信息P1,将每帧的特征数据转换到P1定位信息对应的坐标系。获取相邻两帧点云数据P_t和P_(t-1),对所有匹配对F_(t-1)在F_t中进行领域搜索,确定所有候选特征匹配对。根据匹配对并通过最小二乘法求解得到相邻两帧点云数据的旋转平移参数RT。具体的,可通过如下公式求解参数:
Figure 807610DEST_PATH_IMAGE003
其中,Y表示从相邻的后一数据帧中提取的特征,X表示从相邻的前一数据帧中提取的特征,R为载体的旋转矩阵,T为载体的平移向量。然后根据得到的结果对匹配对进行优选,并重新计算特征点F_t'。对点云P_(t-1)中的特征点在F_t'中重新查找特征点对,重新计算得到新的旋转平移矩阵R和T,并更新之。最终得到相邻两帧的旋转平移位置信息R_(t-1)和T_(t-1),并将当前的最优特征匹配对加入到匹配数据库K中。
最后,通过依据相邻帧的转换矩阵,得到依据激光点云信息的定位信息P2。
当前步骤的优势在于提出了一种较好的特征点提取方法,能够更加有效的表征线特征及面特征,使得在后面的特征匹配的步骤上,能跟有效的匹配两帧点云,提升匹配精度。
S4、利用各个传感设备提供的定位信息进行联合优化,得到当前运动***的定位信息;
具体地,将之前求得的激光点特征Z^laser,图像关键帧的特征点集Z^img,GNSS信息Z^gnss以及IMU预积分约束信息Z^imu等数据集进行联合优化,通过对每一时刻的状态集合
Figure 968464DEST_PATH_IMAGE004
,求解联合概率分布的最大后验概率,得到每一个时间点的最优状态量
Figure 502213DEST_PATH_IMAGE005
其中,
Figure 166544DEST_PATH_IMAGE006
,进而求得当前时刻的高精度轨迹;再根据求解的高精度轨迹以及原始点云重新解算每一时刻的点位置,最终得到高精度地图。
本技术方案中,主要优势在于将激光点云特征和图像特征都加入到了联合优化中去,相比其他的方法只加入其中之一,本方案针对之前特征单一造成的稳定性差的问题提出了一套解决方案。同时,基于联合优化的方法通过融合GNSS的定位信息,能获取到大地坐标系表示的点云,从而能够满足基于大地坐标的测绘要求。通过结合IMU的预积分约束信息和图像关键帧提取的特征点,能提升成图过程的稳定性,防止出现在经过狭窄楼道等特征点比较低的情况下,误差较大,成图精度较低的问题。
进一步地,移动智能设备通过WIFI网络或者有线网络对所述制图采集计算单元进行通信连接,访问控制所述制图采集计算单元并控制数据采集、数据拷贝以及实时点云显示。
具体地,移动智能设备能够控制采集设备开始/关闭采集,控制采集处理单元重启/关闭,拷贝数据等,查看采集传感器信息,更新***固件及相关设置等,这些功能基本能保证采集工作能一键便携的完成,方便外业人员能够单人即可作业。由于模块化设计的便利性,相比之前的制图装置,本装置能更加灵活的根据客户需求定制化设备,包括GNSS设备,全景相机及倾斜的激光扫描仪等。
如图2和图3所示,为发明实施例提供的一种数据处理方法,采用上述的移动激光雷达slam制图装置,所述数据处理方法包括:
S1、多传感设备数据采集:通过三维激光雷达扫描仪和/或倾斜式三维激光扫描仪以及高精度全景相机实时采集影像数据发送到制图采集计算单元,同时GNSS板卡和IMU惯性测量单元也将GNSS数据和IMU数据发送到制图采集计算单元;
S2、数据压缩转换:对制图采集计算单元每次生成的点云、轨迹点和影像数据通过预设压缩方式压缩后进入传输队列中;
具体地,制图采集计算单元根据接收到的数据每次生成一帧点云及轨迹点和影像数据,然后再对数据进行压缩;其压缩方式包括:通过将降采样后的每帧点云的三维坐标点转换为极坐标形式后再通过一个旋转矩阵的方式来进行数据存储,具体如下式所示:
Figure 127547DEST_PATH_IMAGE007
其中,P为极坐标形式的数据,D为原始格式点云数据,RT为进行旋转平移变换,将原始点云数据转到中心点为原点的坐标系。
具体为采用球面极坐标把三维图像中每个点的坐标转换到球面极坐标,然后把球面极坐标对应到相应的二维图像中去进而实现数据的压缩。
首先将三维图像数据实现球面极坐标转换,先确定球面极坐标系的坐标原点,选取点云曲面包围盒的中心作为坐标原点,对于任一点p[x,y,z],其球面极坐标[r,Φ,θ]可以通过笛卡尔坐标和球面极坐标间的转换关系得到,进而得到三维图像所有点的球面极坐标;其中,r表示空间中一点p到原点O的距离,Φ是在xy平面上从x轴正向旋转得到的角度,即方位角,范围为0-2π;θ表示在zy平面上从z轴正向旋转得到的角度,即极角,范围为0-π;扫描点云曲面上所有的点,可以得到r,Φ,θ的区间。
然后得到了球面极坐标后,把球面极坐标对应到二维图像上去,实现三维图像的从球面极坐标到二维图像的转换;具体地,把方位角Φ与极角θ区间的叉乘对应到分辨率为M×N的图像上,r对应到G上;其中,M为二维图像宽度,N为二维图像高度,G为灰度;进而实现三维图像的球面极坐标到二维图像的压缩转换。
由于激光扫描结构限制,每一帧点云都在一定角度和距离范围内,这样存储能够极大的提高数据一致性,从而能在后面步骤提高压缩比。
S3、数据还原显示:移动智能客户端与所述制图采集计算单元建立通信连接,将获取的压缩的二维数据还原为三位点云及影像,并通过WebGL技术实现实时显示。
进一步地,移动智能客户端(手机客户端)请求数据,并建立连接。每次将获取的压缩的二维数据还原到三维点云及影像,然后通过使用WebGL技术,调用手机显卡来实时渲染三维点云及影像数据,从而确保设备的实时显示。手机客户端显示时,将每帧与之前的数据一起显示在手机或平板客户端,从而展示了制图效果。
S4、制图采集计算单元实时监听每个所述移动智能客户端,移动智能客户端发送指令数据实现控制数据采集传感单元中各个传感设备启动数据采集处理及数据拷贝,同时将指令处理的反馈结果发送到所述移动智能客户端。
本发明另一实施例包括一种存储介质,所述存储介质上存储有计算机控制程序指令,所述计算机控制程序指令被处理器执行时实现所述数据处理方法的步骤。
本发明又一实施例包括一种终端设备它包括处理器以及存储有计算机控制程序指令的存储器;在所述处理器内运行所述计算机控制程序指令,所述运行所述计算机控制程序指令时执行时实现所述数据处理方法的步骤。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种移动激光雷达slam制图装置,其特征在于:包括卫星信号接收单元、数据采集传感单元、IMU惯性测量单元和制图采集计算单元:
卫星信号接收单元:用于接收卫星定位信号并分别与所述数据采集传感单元、IMU惯性测量单元和制图采集计算单元连接,实现定位及时间同步信息的传输;
数据采集传感单元:用于捕捉某一时空区域下的影像信息,并将采集的影像信息发送给所述制图采集计算单元;
IMU惯性测量单元:与所述制图采集计算单元连接将数据发送到所述制图采集计算单元,并获取所述卫星信号接收单元发送的精确GPS时间信息;
制图采集计算单元:提供多种数据接口通过多线程方式获取所述数据采集传感单元的原始数据,实现多传感融合的slam制图;
所述多传感融合的slam制图方法包括:
依据IMU惯性测量单元和卫星信号接收单元接收的数据以及二者之间的标定信息,利用卫星定位信息、惯性导航***和卡尔曼滤波原理求解得每一时刻的运动***初始定位信息P0;得到定位信息的初值,为后续步骤提供初始数据;
利用初始定位信息P0和高精度全景相机采集的影像数据,根据视觉slam技术生成高精度的运动***定位信息P1;
具体地,首先提取对每一相邻的两帧图像关键帧,提取特征点集,其中包括ORB特征点和Harris角点,根据第一步得到的初始定位信息,在已知当前两帧关键帧的初始位置信息的情况下,通过投影特征点在三维空间中估计的位置,可极大提升RANSAC匹配效率,提取有效点,去除异常点,得到点集P^t,P^(t-1)并计算统一世界坐标系下每个特征点的空间坐标位置,计算得到相邻关键帧的旋转平移矩阵,并依次得到所有关键帧的定位信息P1;
根据所述运动***定位信息P1和激光雷达扫描仪采集的点云数据,采用激光slam技术生成更高精度的运动***定位信息P2;
具体地,对于当前帧激光点云数据Pk,根据公式
Figure FDA0002619544750000011
计算得到其点特征Fk1,线特征Fk2,面特征Fk3;根据初始定位信息P1,将每帧的特征数据转换到P1定位信息对应的坐标系,获取相邻两帧点云数据P_t和P_(t-1),对所有匹配对F_(t-1)在F_t中进行领域搜索,确定所有候选特征匹配对;根据匹配对并通过最小二乘法求解得到相邻两帧点云数据的旋转平移参数R和T,根据得到的结果对匹配对进行优选,并重新计算特征点F_t',对点云P_(t-1)中的特征点在F_t'中重新查找特征点对,重新计算得到新的旋转平移矩阵R和T,并更新,最终得到相邻两帧的旋转平移位置信息R_(t-1)和T_(t-1),并将当前的最优特征匹配对加入到匹配数据库K中,通过依据相邻帧的转换矩阵,得到依据激光点云信息的定位信息P2;
利用各个传感设备提供的定位信息进行联合优化,得到当前运动***的定位信息,再根据求解的高精度轨迹以及原始点云重新解算每一时刻的点位置,最终得到高精度地图;
具体地,将之前求得的激光点特征Z^laser,图像关键帧的特征点集Z^img,GNSS信息Z^gnss以及IMU预积分约束信息Z^imu数据集进行联合优化,通过对每一时刻的状态集合Sk,求解联合概率分布的最大后验概率,得到每一个时间点的最优状态量
Figure FDA0002619544750000021
进而求得当前时刻的高精度轨迹;再根据求解的高精度轨迹以及原始点云重新解算每一时刻的点位置,最终得到高精度地图。
2.根据权利要求1所述的一种移动激光雷达slam制图装置,其特征在于:所述数据采集传感单元包括高精度全景相机和激光雷达扫描仪;所述高精度全景相机用于在保持与所述数据采集传感单元中其他传感设备时间同步的同时,将捕捉到的高精度影像信息发送到所述制图采集计算单元;所述激光雷达扫描仪与所述卫星信号接收单元连接获取精确的GPS时间,并将GPS定位信息和时间信息发送到所述制图采集计算单元。
3.根据权利要求2所述的一种移动激光雷达slam制图装置,其特征在于:所述装置内从上到下依次设置所述卫星信号接收单元、高精度相机、激光雷达扫描仪、IMU惯性测量单元;所述制图采集计算单元设置于便携式背包的背负***内;
所述数据采集传感单元还包括倾斜式激光扫描仪;设置于所述背包外,与所述制图采集计算单元和所述卫星信号接收单元连接,用于对所述激光雷达扫描仪在某些场景无法扫描到侧面或地面点云时,进行扫描以实现辅助定位及确保点云完整。
4.根据权利要求1所述的一种移动激光雷达slam制图装置,其特征在于:移动智能设备通过WIFI网络或者有线网络对所述制图采集计算单元进行通信连接,访问控制所述制图采集计算单元并控制数据采集、数据拷贝以及实时点云显示。
5.一种数据处理方法,采用权利要求1-4任一项所述的移动激光雷达slam制图装置,其特征在于:所述数据处理方法包括:
数据压缩转换:对制图采集计算单元每次生成的点云、轨迹点和影像数据通过预设压缩方式压缩后进入传输队列中;
数据还原显示:移动智能客户端与所述制图采集计算单元建立通信连接,将获取的压缩的二维数据还原为三位点云及影像,并通过WebGL技术实现实时显示。
6.根据权利要求5所述的数据处理方法,其特征在于:所述预设压缩方式包括:通过将降采样后的每帧点云的三维坐标点转换为极坐标形式后再通过一个旋转矩阵的方式来进行数据存储。
7.根据权利要求5所述的数据处理方法,其特征在于:所述制图采集计算单元实时监测每个所述移动智能客户端,移动智能客户端发送指令数据实现控制数据采集传感单元中各个传感设备启动数据采集处理及数据拷贝,同时将指令处理的反馈结果发送到所述移动智能客户端。
CN202010422532.XA 2020-05-19 2020-05-19 移动激光雷达slam制图装置及数据处理方法 Active CN111337037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010422532.XA CN111337037B (zh) 2020-05-19 2020-05-19 移动激光雷达slam制图装置及数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010422532.XA CN111337037B (zh) 2020-05-19 2020-05-19 移动激光雷达slam制图装置及数据处理方法

Publications (2)

Publication Number Publication Date
CN111337037A CN111337037A (zh) 2020-06-26
CN111337037B true CN111337037B (zh) 2020-09-29

Family

ID=71181155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010422532.XA Active CN111337037B (zh) 2020-05-19 2020-05-19 移动激光雷达slam制图装置及数据处理方法

Country Status (1)

Country Link
CN (1) CN111337037B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866305A (zh) * 2020-08-11 2020-10-30 普达迪泰(天津)智能装备科技有限公司 室内外特定条件下的图像增强与环境适应性方法
CN114088131A (zh) * 2020-08-24 2022-02-25 北京市安全生产科学技术研究院 监测建模装置及森林应急消防监测***
CN112735135A (zh) * 2020-12-31 2021-04-30 东来智慧交通科技(深圳)有限公司 高速运动车辆超限检测方法
CN113140039A (zh) * 2021-04-26 2021-07-20 北京天地玛珂电液控制***有限公司 一种多传感器融合的煤矿井下数字化定位及地图构建***
CN117351140B (zh) * 2023-09-15 2024-04-05 中国科学院自动化研究所 融合全景相机和激光雷达的三维重建方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106052691A (zh) * 2016-05-17 2016-10-26 武汉大学 激光测距移动制图中闭合环误差纠正方法
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成***
CN106780699A (zh) * 2017-01-09 2017-05-31 东南大学 一种基于sins/gps和里程计辅助的视觉slam方法
CN109991636A (zh) * 2019-03-25 2019-07-09 启明信息技术股份有限公司 基于gps、imu以及双目视觉的地图构建方法及***
CN111025366A (zh) * 2019-12-31 2020-04-17 芜湖哈特机器人产业技术研究院有限公司 基于ins及gnss的网格slam的导航***及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885080B (zh) * 2013-11-27 2022-09-20 宾夕法尼亚大学理事会 自主控制***及自主控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106052691A (zh) * 2016-05-17 2016-10-26 武汉大学 激光测距移动制图中闭合环误差纠正方法
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成***
CN106780699A (zh) * 2017-01-09 2017-05-31 东南大学 一种基于sins/gps和里程计辅助的视觉slam方法
CN109991636A (zh) * 2019-03-25 2019-07-09 启明信息技术股份有限公司 基于gps、imu以及双目视觉的地图构建方法及***
CN111025366A (zh) * 2019-12-31 2020-04-17 芜湖哈特机器人产业技术研究院有限公司 基于ins及gnss的网格slam的导航***及方法

Also Published As

Publication number Publication date
CN111337037A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111337037B (zh) 移动激光雷达slam制图装置及数据处理方法
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
US11037023B2 (en) Terminal device, information processing device, object identifying method, program, and object identifying system
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及***
Yang et al. A novel approach of efficient 3D reconstruction for real scene using unmanned aerial vehicle oblique photogrammetry with five cameras
CN109949232B (zh) 图像与rtk结合的测量方法、***、电子设备及介质
CN109767470B (zh) 一种跟踪***初始化方法及终端设备
CN112184786B (zh) 一种基于合成视觉的目标定位方法
CN103499341B (zh) 一种电杆倾斜测量仪的使用方法
CN110634138A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN112348886A (zh) 视觉定位方法、终端和服务器
CN111192321A (zh) 目标物三维定位方法与装置
CN112270702A (zh) 体积测量方法及装置、计算机可读介质和电子设备
CN113483771A (zh) 实景地图的生成方法、装置及***
CN113361365A (zh) 定位方法和装置、设备及存储介质
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN113701750A (zh) 一种井下多传感器的融合定位***
CN111652276B (zh) 一种全天候便携式多功能仿生定位定姿观瞄***及方法
CN115773759A (zh) 自主移动机器人的室内定位方法、装置、设备及存储介质
CN115307646B (zh) 一种多传感器融合的机器人定位方法、***及装置
CA3142001C (en) Spherical image based registration and self-localization for onsite and offsite viewing
CN114429515A (zh) 一种点云地图构建方法、装置和设备
CN114185071A (zh) 一种基于物体识别和空间位置感知的定位***及方法
WO2024084925A1 (en) Information processing apparatus, program, and information processing method
WO2024055846A1 (zh) 一种基站天线位姿信息勘探方法、装置、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 2301-2308, third floor, building 2, incubator, Zhongguancun Software Park, Dongbeiwang, Haidian District, Beijing 100094

Patentee after: Beijing Digital Green Earth Technology Co.,Ltd.

Address before: Room 2301-2308, floor 3, building 2, incubator, Dongbeiwang Software Park, Haidian District, Beijing 100094

Patentee before: BEIJING GREENVALLEY TECHNOLOGY Co.,Ltd.