CN114993286B - 基于图像、激光雷达与里程计的网格地图创建方法及装置 - Google Patents

基于图像、激光雷达与里程计的网格地图创建方法及装置 Download PDF

Info

Publication number
CN114993286B
CN114993286B CN202210533368.9A CN202210533368A CN114993286B CN 114993286 B CN114993286 B CN 114993286B CN 202210533368 A CN202210533368 A CN 202210533368A CN 114993286 B CN114993286 B CN 114993286B
Authority
CN
China
Prior art keywords
map
data
image
grid
grid map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210533368.9A
Other languages
English (en)
Other versions
CN114993286A (zh
Inventor
强保华
张家清
杨先一
陈锐东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202210533368.9A priority Critical patent/CN114993286B/zh
Publication of CN114993286A publication Critical patent/CN114993286A/zh
Application granted granted Critical
Publication of CN114993286B publication Critical patent/CN114993286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3819—Road shape data, e.g. outline of a route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3844—Data obtained from position sensors only, e.g. from inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像、激光雷达与里程计的网格地图创建方法及装置，所述方法在采集信息阶段通过时间戳近似同步的方法将机器采集到的数据进行融合，提高信息间的关联性，在地图创建阶段根据采集图像的差异程度确定网格地图中每个网格的大小与网格内的角度区间，在保存地图信息时将采集到的图像数据通过卷积自编码器压缩为一维特征向量后与里程计信息并联存储，同时可以实现在需要查看图像信息时将特征向量信息复原为图像信息，在地图创建时使用分块更新的方法对创建出的地图轮廓进行实时更新。本发明和传统方法相比，具有存储空间占用少，地图创建速度快的优势，解决了传统网格地图中无法展示图像信息以及地图实时性较差的问题。

Description

基于图像、激光雷达与里程计的网格地图创建方法及装置
技术领域
本发明涉及计算机应用技术领域，具体涉及一种基于图像、激光雷达与里程计的网格地图创建方法及装置。
背景技术
地图是移动智能体自主导航功能的核心，它是机器人实现定位与重定位功能的基础。通常地图的创建需要利用移动智能体本身所携带的传感器收集周围环境信息，将这部分数据转化为地图中的可视化信息，将机器人实际位置与地图对应位置信息进行关联，从而实现地图创建。根据使用传感器的不同，通常分为单一传感器地图创建与多传感器融合地图创建。使用单一传感器进行地图创建时会出现测量的范围窄、视野小等问题。而使用多传感器融合地图创建时由于计算量较大，地图实时性较差，地图准确度受传感器数据融合情况影响较大，并且部分地图在用于路径规划、重定位等导航相关功能时效果较差。
发明内容
为了解决现有网格地图中无法展示图像信息以及地图实时性较差的问题，本发明提供了一种基于图像、激光雷达与里程计的网格地图创建方法。
发明提供的网格地图创建方法包括以下步骤：
(1)将图像数据、2D激光雷达数据以及里程计数据合并为一个小组，按照数据传输的先后顺序向小组中加入数据，选择最后加入该小组数据的时间戳作为该小组的整体时间戳，其中，图像数据优选由RGB或深度图像采集器获取。意外情况，如果图像数据、2D激光雷达数据以及里程计数据的时间戳相差时间大于移动智能体中ROS***获取数据的时间间隔的2倍，则丢弃该组数据，重新进行数据获取。
(2)根据环境的复杂程度选取样本数量，通过比较样本数据降维后特征向量的欧式距离来判定差别大小，将样本中欧式距离发生明显变化时图像样本对应的距离和角度差作为地图尺度。
(3)在图像存储阶段，将图像压缩为一维特征向量后以文本的格式进行保存，若创建的网格地图区间大小为ρ，则网格地图中每个网格内存储的特征向量为360/ρ，分别存储在不同角度间隔中，其中每个角度间隔中只保存当前最新的一组图像；在地图创建过程中，如果***判定当前位置图像发生变化，则地图内特征向量也同时发生改变。
(4)在地图轮廓创建时以移动智能体为中心每90°为区间更新地图，在对地图进行更新时，将现实坐标信息以及角度朝向通过公式xi＝x0+cosθ·ki和公式yi＝y0+sinθ·ki进行计算得到激光数据在网格地图中的位置；其中：其中，(x0,y0)为移动智能体在网格地图中的坐标，θ为移动智能体当前的朝向角度，ki是当前位置2D激光雷达采集到的当前位置与障碍物之间的距离，i为采集到的激光点的个数，(xi,yi)为2D激光雷达采集到的数据在网格地图中的映射。
此外，本发明还提供了一种网格地图装置，包括图像采集器、2D激光雷达、里程计、处理器以及可读存储介质；所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述网格地图创建方法的步骤。
附图说明
图1是本发明实施例中地图创建方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作出进一步的详细描述。
1.首先在采集信息时通过时间戳将数据对齐，将RGB图像信息(由RGB图像采集器获取)、2D激光雷达数据以及里程计的信息合并为一个小组，按照数据传输的先后顺序向小组中加入数据。当上述三种传感器数据都传入小组后，选择最后加入该小组数据的时间戳作为该小组的整体时间戳。设RGB图像数据的时间戳为{a1,a2,…,an}，2D激光雷达数据的时间戳为{b1,b2,…,bn}，移动智能体中里程计数据的时间戳为{c1,c2,…,cn}，以移动智能体中ROS***每次获取数据时的时间戳T为参照点，三类传感器选择与参照时间戳T最为相近的数据进行融合生成一个小组。若在融合时出现三类传感器时间戳相差时间较大的情况，如果大于2U，U为ROS***获取数据的时间间隔，则表示该组数据采集时间跨度过大，融合失败，丢弃该组数据后重新进行数据获取。
2.在创建地图之前通过移动智能体采集图像信息之间的差异来判定网格地图的大小。根据环境的复杂程度选取样本数量，通常将移动智能体最初获取到的10-20帧图像作为样本数据，通过比较样本数据降维后特征向量的欧式距离来判定差别大小。设dij为图片特征向量fi和fj之间的欧式距离(1≤i,j≤Γ)，其中Γ为X、Y和三类样本中特征向量的个数，fi k为距离fj第k个最近的项。
设Dk为第kth个最接近fi的平均欧式距离，X为在只有x轴坐标发生变化的样本，Y为只有y轴坐标发生变化的样本，/>为只有角度朝向发生变化的样本，将样本中欧式距离发生明显变化时图像样本对应的距离和角度差作为地图尺度。设第k个样本的位姿坐标和角度朝向分别为xk、yk和/>和该样本欧式距离最大样本的位姿坐标和角度朝向为xk-1、yk-1和/>则两者之差为Δx、Δy和/>将通过计算得出的Δx、Δy和/>作为创建网格地图时的地图尺度。
3.为了使地图创建更高效，优选采用卷积自编码器将图像进行降维，使其在存储时内存占用降低，并且在需要时可以将降维后的特征向量还原为图像信息。在网络中使用ResNet作为自编码器中的子网络，其中隐藏层l中的隐藏表示h(l)由公式h(l+1)＝r(h(l))+f(h(l))可得，其中f为非线性映射，r为残差连接。损失函数jw是通过输入(u)和输出(v)之差进行计算的，如公式所示。其中ui为第i个输入样本，vi为第i个输入样本的输出，w表示自编码器的权值，在训练中通过误差反向传播算法(BP)使用T个样本对网络进行训练，从而使损失函数最小化。
在图像存储阶段，将在编码阶段获得的图像一维特征向量以文本的格式进行保存，若创建的网格地图区间大小为ρ，则网格地图中每个网格内存储的特征向量为360/ρ，分别存储在不同角度间隔中，其中每个角度间隔中只保存当前最新的一组图像，在地图创建过程中，如果***判定当前位置图像发生变化，则地图内特征向量也同时发生改变，通过不断改变地图内图像数据来保证在地图数据不至于过大的同时令地图中数据与真实环境保持一致。
4.在创建地图的过程中通过分块点云匹配的方式更新地图，设移动智能体在位移过程中360°范围内共存在n个激光数据点，激光雷达每次获取到的激光雷达数据为m个，根据选取的激光雷达型号不同，扫描角度大部分在120°～240°之间，则通常情况下n和m之间的关系为1.5m≤n≤3m。在地图轮廓创建时以智能体为中心每90°为区间更新地图，在对地图进行更新时，将现实坐标信息以及角度朝向通过公式xi＝x0+cosθ·ki和公式yi＝y0+sinθ·ki进行计算得到激光数据在网格地图中的位置。
其中，(x0,y0)为移动智能体在网格地图中的坐标，θ为移动智能体当前的朝向角度，ki是当前位置激光雷达采集到的当前位置与障碍物之间的距离，i为采集到的激光点的个数，(xi,yi)为激光雷达采集到的数据在网格地图中的映射。
为了优化因传感器偏移而导致的地图创建误差问题，可以采用点云匹配算法对激光雷达采集到的数据点进行匹配修正，实现对地图轮廓的优化，实施例中采用的方法为迭代最近点算法，其他点云匹配算法如正态分布变换算法(NDT)、点特征直方图法都可用于本步骤。
本发明的技术特点和有益效果：
在采集信息阶段通过时间戳近似同步的方法将机器采集到的数据进行融合，提高信息间的关联性，在地图创建阶段根据采集图像的差异程度确定网格地图中每个网格的大小与网格内的角度区间，在保存地图信息时将采集到的图像信息压缩为特征向量后与里程计信息并联存储，同时可以实现在需要查看图像信息时将特征向量信息复原为图像信息，在地图创建时使用分块更新的方法对创建出的地图轮廓进行实时更新。本发明和传统方法相比，具有存储空间占用少，地图创建速度快的优势。

Claims (4)

1.一种基于图像、激光雷达与里程计的网格地图创建方法，其特征在于，所述方法包括以下步骤：
(1)将图像数据、2D激光雷达数据以及里程计数据合并为一个小组，按照数据传输的先后顺序向小组中加入数据，选择最后加入该小组数据的时间戳作为该小组的整体时间戳；
(2)根据环境的复杂程度选取样本数量，通过比较样本数据降维后特征向量的欧式距离来判定差别大小，将样本中欧式距离发生明显变化时图像样本对应的距离和角度差作为地图尺度；
(3)在图像存储阶段，将图像压缩为一维特征向量后以文本的格式进行保存，若创建的网格地图区间大小为ρ，则网格地图中每个网格内存储的特征向量为360/ρ，分别存储在不同角度间隔中，其中每个角度间隔中只保存当前最新的一组图像；在地图创建过程中，如果***判定当前位置图像发生变化，则地图内特征向量更新为当前采集到的图像特征向量；
(4)在地图轮廓创建时以移动智能体为中心每90°为区间更新地图，在对地图进行更新时，将现实坐标信息以及角度朝向通过公式xi＝x0+cosθ·ki和公式yi＝y0+sinθ·ki进行计算得到激光数据在网格地图中的位置；其中，(x0,y0)为移动智能体在网格地图中的坐标，θ为移动智能体当前的朝向角度，ki是当前位置2D激光雷达采集到的当前位置与障碍物之间的距离，i为采集到的激光点的个数，(xi,yi)为2D激光雷达采集到的数据在网格地图中的映射。
2.根据权利要求1所述的方法，其特征在于，所述步骤(1)中，如果图像数据、2D激光雷达数据以及里程计数据的时间戳相差时间大于移动智能体中ROS***获取数据的时间间隔的2倍，则丢弃该组数据，重新进行数据获取。
3.根据权利要求1所述的方法，其特征在于，所述图像为RGB图像或深度图像。
4.一种网格地图装置，包括图像采集器、2D激光雷达、里程计、处理器以及可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1或2或3所述的网格地图创建方法的步骤。
CN202210533368.9A 2022-05-13 2022-05-13 基于图像、激光雷达与里程计的网格地图创建方法及装置 Active CN114993286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210533368.9A CN114993286B (zh) 2022-05-13 2022-05-13 基于图像、激光雷达与里程计的网格地图创建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210533368.9A CN114993286B (zh) 2022-05-13 2022-05-13 基于图像、激光雷达与里程计的网格地图创建方法及装置

Publications (2)

Publication Number Publication Date
CN114993286A CN114993286A (zh) 2022-09-02
CN114993286B true CN114993286B (zh) 2024-04-12

Family

ID=83026663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210533368.9A Active CN114993286B (zh) 2022-05-13 2022-05-13 基于图像、激光雷达与里程计的网格地图创建方法及装置

Country Status (1)

Country Link
CN (1) CN114993286B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180047572A (ko) * 2016-10-31 2018-05-10 고려대학교 산학협력단 이동 로봇을 통한 격자 지도 작성 방법
CN112525202A (zh) * 2020-12-21 2021-03-19 北京工商大学 一种基于多传感器融合的slam定位导航方法及***
CN113269803A (zh) * 2021-06-09 2021-08-17 中国科学院自动化研究所 基于2d激光与深度图像融合的扫描定位方法、***及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180047572A (ko) * 2016-10-31 2018-05-10 고려대학교 산학협력단 이동 로봇을 통한 격자 지도 작성 방법
CN112525202A (zh) * 2020-12-21 2021-03-19 北京工商大学 一种基于多传感器融合的slam定位导航方法及***
CN113269803A (zh) * 2021-06-09 2021-08-17 中国科学院自动化研究所 基于2d激光与深度图像融合的扫描定位方法、***及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于激光雷达与双目视觉的移动机器人SLAM研究;王消为;贺利乐;赵涛;;传感技术学报;20180331(第03期);全文 *

Also Published As

Publication number Publication date
CN114993286A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN108320329B (zh) 一种基于3d激光的3d地图创建方法
EP1242966B1 (en) Spherical rectification of image pairs
AU2007355942A1 (en) Arrangement and method for providing a three dimensional map representation of an area
CN107527382B (zh) 数据处理方法以及装置
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
JP2014523572A (ja) 地図データの生成
CN110751123B (zh) 一种单目视觉惯性里程计***及方法
CN112197764A (zh) 实时位姿确定方法、装置及电子设备
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
JP4568845B2 (ja) 変化領域認識装置
US20120038770A1 (en) Precise target positioning in geographical imaging
CN116758234A (zh) 一种基于多点云数据融合的山地地形建模方法
CN115908539A (zh) 一种目标体积自动测量方法和装置、存储介质
CN113744308B (zh) 位姿优化方法、装置、电子设备、介质及程序产品
CN117824667A (zh) 一种基于二维码和激光的融合定位方法及介质
CN113808269A (zh) 地图生成方法、定位方法、***及计算机可读存储介质
CN114993286B (zh) 基于图像、激光雷达与里程计的网格地图创建方法及装置
CN113240750A (zh) 三维空间信息测算方法及装置
CN110927765B (zh) 激光雷达与卫星导航融合的目标在线定位方法
US11741631B2 (en) Real-time alignment of multiple point clouds to video capture
CN114429515A (zh) 一种点云地图构建方法、装置和设备
CN110021041B (zh) 基于双目相机的无人驾驶场景增量式网格化结构重建方法
WO2022205209A1 (zh) 点云生成方法及装置、图像深度信息确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant