CN113932814A - 一种基于多模态地图的协同定位方法 - Google Patents
一种基于多模态地图的协同定位方法 Download PDFInfo
- Publication number
- CN113932814A CN113932814A CN202111163279.1A CN202111163279A CN113932814A CN 113932814 A CN113932814 A CN 113932814A CN 202111163279 A CN202111163279 A CN 202111163279A CN 113932814 A CN113932814 A CN 113932814A
- Authority
- CN
- China
- Prior art keywords
- information
- map
- unmanned vehicle
- feature
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 238000010586 diagram Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于多模态地图的协同定位通过将激光雷达与视觉相机扫描得到的不同环境信息进行融合,构成一份集成了激光几何模态和和视觉纹理模态的多模态地图,以达到无人车在环境中精准的定位与导航的效果。区别于传统的SLAM方法,结合了激光几何模态快速匹配的优势以及视觉纹理mark标记的准确匹配,利用构建出的全新多模态地图,使用组合信息得以更准确地感知周围环境,相较现有方案定位更加精准。
Description
技术领域
本发明涉及移动机器人在封闭室内的定位方法,涉及有基于激光几何模态和视觉纹理模态的移动机器人的协同定位方法。
背景技术
随着科技的进步以及移动机器人研究领域的快速发展,地面无人车(UnmannedGround Vehicle,UGV)在社会生活中起到了越来越重要的作用,同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)也成为了热门研究课题。无人地面车辆是一种可自主行驶或遥控操作,可一次或多次使用,并能携带一定数量载荷的地面机动平台。由于无人地面车辆具有自动操控和高度智能化的特点,往往可以达到有人驾驶车辆难以到达,或对人类来说十分危险的地域,并完成人类难以直接完成的工作而日益受到重视。因此复杂环境中进行精确连续可靠的定位是保证无人车在行动时取得成功的关键性一步。
目前,大多数移动机器人内的导航定位***都是独立工作的,它们之间交换信息量较少,每个传感器都有着自己独特的工作。在室外环境中,无人车的定位主要采用GPS/惯导融合的方法。但是在室内、桥洞等GPS不可用的环境中,需要采用新的自主方式实现自身的导航定位。在GPS拒止环境下常用的传感器主要包括激光雷达、视觉、UWB等。其中,二维激光雷达在结构特征稀少、点云信息不丰富的空旷环境中,易出现匹配误差大、精度低的问题;视觉对光照的依赖性强,在无光条件下或无纹理区域基本不可用;UWB则需要提前对基站进行标定,使用复杂,而且基站的位置精度对其定位精度有较大的影响。
基于上述问题,将多个传感器信息融合起来,才是实现精确定位的关键。因此以多种传感器获得不同形式的观测,综合考虑激光雷达的快速性和视觉mark的准确匹配,生成不同类型和不同权重的约束,最终共同求解获得定位结果,才能更加细致地感知周围的环境,做出更好、更精准的定位。
发明内容
针对现有技术中存在的不足,本发明提供一种基于多模态地图的协同定位方法。
本发明实现功能:通过将激光雷达与视觉相机扫描得到的不同环境信息进行融合,构成一份集成了激光几何模态和和视觉纹理模态的多模态地图,以达到无人车在环境中精准的定位与导航的效果。
一种基于多模态地图的协同定位方法,步骤如下:
步骤1:通过激光雷达扫描获取场景信息,构建场景几何模态图;
步骤2:在场景中贴上相应的mark标记,通过视觉相机采集多角度的视觉特征,获取每一标记处对应的特征描述子向量集合;
步骤3:在几何模态图的基础上,加入视觉纹理特征信息,构建全局多模态地图。
M为全局多模态地图,由激光几何信息G和视觉纹理信息F集成构建。
步骤4:初始化无人车在多模态地图中的位置,即通过激光雷达获取点云信息来初步估计机器人自身处于场景中的位置;
步骤5:规划导航路径,完成协同定位;
首先依靠雷达进行粗定位匹配,到达目标点附近区域,然后依靠视觉相机,捕捉获取周围的mark标记,根据视觉纹理信息进行精准定位;
步骤(1)具体操作如下:
通过无人车搭载激光雷达在场地内部移动,通过激光雷达进行场景全图扫描,获取当前无人车所在位置的环境信息,得到周围角点、平面、障碍物的几何信息。对采集到的点云根据位置信息进行区域划分,再将每个区域进行点云的特征处理并作拓扑处理,以构建全局几何模态图并存储。
步骤(2)具体操作如下:
提前规划无人车行进路线,并在其关键道路上贴上含有信息的mark标记,在建图过程中提取出该特征点,利用视觉相机进行多角度的扫描,获得其各个方向的特征描述子。将获得的特征描述子存储为一个向量序列,再对这些特征描述子进行加权处理,生成一个新的特征描述向量,防止位置微小的变化给特征向量带来过大的改变,并且给远离特征点的点赋予小的权重以防止错误的匹配。
步骤(4)具体操作如下:
根据构建完成的多模态地图与激光雷达所扫描到当前的无人车周围环境信息,对相应帧之间的特征点进行匹配与比对,并计算激光雷达相对运动的距离和姿态的改变,获得无人车初始的状态估计信息,实现即时定位。
步骤(5)具体操作如下:
根据给定的目标点和全局地图实现总体的路径规划,使用A*算法进行全局路径规划,计算最优路线作为全局路线,通过相机捕获的深度图实现障碍物的规避,并选取当前最优路径以尽量符合全局最优路径。到达目标区域附近后,利用视觉相机捕获无人车周围的mark标记,根据步骤(2)中加权形成的特征描述向量,找到最佳匹配,确定具体的标记信息,再对多模态地图中该mark标记各个角度的特征描述子进行遍历比对,以获得更为精准的方位信息,得到详细定位。
与现有技术相比,本发明申请具有优点:
区别于传统的SLAM方法,结合了激光几何模态快速匹配的优势以及视觉纹理mark标记的准确匹配,利用构建出的全新多模态地图,使用组合信息得以更准确地感知周围环境,相较现有方案定位更加精准。
附图说明
图1为本发明实施例的流程图。
具体实施方式
为了实现更精准的无人车定位与导航,本发明将激光雷达与视觉相机扫描得到的不同环境信息进行融合,结合了激光雷达快速匹配的优势以及视觉方面的mark准确匹配,得到具有多类型观测数据的全局图,以达到无人车在环境中精准的定位与导航的效果。
实施流程图如图1所示,一种基于多模态地图的协同定位方法,步骤如下:
步骤1:通过激光雷达扫描获取场景信息,构建场景几何模态图;
通过无人车搭载激光雷达在场地内部移动,通过激光雷达进行场景全图扫描,获取当前无人车所在位置的环境信息,得到周围角点、平面、障碍物的几何信息。对采集到的点云根据位置信息进行区域划分,再将每个区域进行点云的特征处理并作拓扑处理,以构建全局几何模态图并存储。
步骤2:在场景中贴上相应的mark标记,通过视觉相机采集多角度的视觉特征,获取每一标记处对应的特征描述子向量集合;
提前规划无人车行进路线,并在其关键道路上贴上含有信息的mark标记,在建图过程中提取出该特征点,利用视觉相机进行多角度的扫描,获得其各个方向的特征描述子。将获得的特征描述子存储为一个向量序列,再对这些特征描述子进行加权处理,生成一个新的特征描述向量,防止位置微小的变化给特征向量带来过大的改变,并且给远离特征点的点赋予小的权重以防止错误的匹配。丰富了地图中的各部分信息。
步骤3:在几何模态图的基础上,加入视觉纹理特征信息,构建全局多模态地图。
M为全局多模态地图,由激光几何信息G和视觉纹理信息F集成构建。
步骤4:初始化无人车在多模态地图中的位置,即通过激光雷达获取点云信息来初步估计机器人自身处于场景中的位置;
根据构建完成的多模态地图与激光雷达所扫描到当前的无人车周围环境信息,对相应帧之间的特征点进行匹配与比对,并计算激光雷达相对运动的距离和姿态的改变,获得无人车初始的状态估计信息,实现即时定位。
步骤5:规划导航路径,完成协同定位;
根据给定的目标点和全局地图实现总体的路径规划,使用A*算法进行全局路径规划,计算最优路线作为全局路线,但在实际导航过程中,无人车可能随时会遇见一些障碍物,这时通过相机捕获的深度图实现障碍物的规避,并选取当前最优路径以尽量符合全局最优路径。到达目标区域附近后,利用视觉相机捕获无人车周围的mark标记,根据步骤(2)中加权形成的特征描述向量,找到最佳匹配,确定具体的标记信息,再对多模态地图中该mark标记各个角度的特征描述子进行遍历比对,以获得更为精准的方位信息,得到详细定位。
Claims (5)
1.一种基于多模态地图的协同定位方法,其特征在于,步骤如下:
步骤1:通过激光雷达扫描获取场景信息,构建场景几何模态图;
步骤2:在场景中贴上相应的mark标记,通过视觉相机采集多角度的视觉特征,获取每一标记处对应的特征描述子向量集合;
步骤3:在几何模态图的基础上,加入视觉纹理特征信息,构建全局多模态地图;
M为全局多模态地图,由激光几何信息G和视觉纹理信息F集成构建;
步骤4:初始化无人车在多模态地图中的位置,即通过激光雷达获取点云信息来初步估计机器人自身处于场景中的位置;
步骤5:规划导航路径,完成协同定位;
首先依靠雷达进行粗定位匹配,到达目标点附近区域,然后依靠视觉相机,捕捉获取周围的mark标记,根据视觉纹理信息进行精准定位。
2.根据权利要求1所述的一种基于多模态地图的协同定位方法,其特征在于,步骤(1)具体操作如下:
通过无人车搭载激光雷达在场地内部移动,通过激光雷达进行场景全图扫描,获取当前无人车所在位置的环境信息,得到周围角点、平面、障碍物的几何信息;对采集到的点云根据位置信息进行区域划分,再将每个区域进行点云的特征处理并作拓扑处理,以构建全局几何模态图并存储。
3.根据权利要求2所述的一种基于多模态地图的协同定位方法,其特征在于,步骤(2)具体操作如下:
提前规划无人车行进路线,并在其关键道路上贴上含有信息的mark标记,在建图过程中提取出该特征点,利用视觉相机进行多角度的扫描,获得其各个方向的特征描述子;将获得的特征描述子存储为一个向量序列,再对这些特征描述子进行加权处理,生成一个新的特征描述向量,防止位置微小的变化给特征向量带来过大的改变,并且给远离特征点的点赋予小的权重以防止错误的匹配。
4.根据权利要求3所述的一种基于多模态地图的协同定位方法,其特征在于,步骤(4)具体操作如下:
根据构建完成的多模态地图与激光雷达所扫描到当前的无人车周围环境信息,对相应帧之间的特征点进行匹配与比对,并计算激光雷达相对运动的距离和姿态的改变,获得无人车初始的状态估计信息,实现即时定位。
5.根据权利要求4所述的一种基于多模态地图的协同定位方法,其特征在于,步骤(5)具体操作如下:
根据给定的目标点和全局地图实现总体的路径规划,使用A*算法进行全局路径规划,计算最优路线作为全局路线,通过相机捕获的深度图实现障碍物的规避,并选取当前最优路径以尽量符合全局最优路径;到达目标区域附近后,利用视觉相机捕获无人车周围的mark标记,根据步骤(2)中加权形成的特征描述向量,找到最佳匹配,确定具体的标记信息,再对多模态地图中该mark标记各个角度的特征描述子进行遍历比对,以获得更为精准的方位信息,得到详细定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111163279.1A CN113932814B (zh) | 2021-09-30 | 2021-09-30 | 一种基于多模态地图的协同定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111163279.1A CN113932814B (zh) | 2021-09-30 | 2021-09-30 | 一种基于多模态地图的协同定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113932814A true CN113932814A (zh) | 2022-01-14 |
CN113932814B CN113932814B (zh) | 2024-04-02 |
Family
ID=79277714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111163279.1A Active CN113932814B (zh) | 2021-09-30 | 2021-09-30 | 一种基于多模态地图的协同定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113932814B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084853A (zh) * | 2019-04-22 | 2019-08-02 | 北京易达图灵科技有限公司 | 一种视觉定位方法及*** |
CN110568447A (zh) * | 2019-07-29 | 2019-12-13 | 广东星舆科技有限公司 | 视觉定位的方法、装置及计算机可读介质 |
CN111739088A (zh) * | 2020-07-21 | 2020-10-02 | 上海思岚科技有限公司 | 基于视觉标签的定位方法及设备 |
CN111735446A (zh) * | 2020-07-09 | 2020-10-02 | 上海思岚科技有限公司 | 一种激光、视觉定位融合的方法及设备 |
CN112305576A (zh) * | 2020-10-31 | 2021-02-02 | 中环曼普科技(南京)有限公司 | 一种多传感器融合的slam算法及其*** |
CN112650255A (zh) * | 2020-12-29 | 2021-04-13 | 杭州电子科技大学 | 一种基于视觉与激光雷达信息融合的机器人室内外定位导航***方法 |
CN112698306A (zh) * | 2020-12-17 | 2021-04-23 | 上海交通大学宁波人工智能研究院 | 一种多激光雷达结合相机解决地图构建盲区的***和方法 |
CN113052903A (zh) * | 2021-03-17 | 2021-06-29 | 浙江大学 | 一种用于移动机器人的视觉与雷达融合定位方法 |
CN113175925A (zh) * | 2021-04-14 | 2021-07-27 | 武汉理工大学 | 定位与导航***以及方法 |
-
2021
- 2021-09-30 CN CN202111163279.1A patent/CN113932814B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084853A (zh) * | 2019-04-22 | 2019-08-02 | 北京易达图灵科技有限公司 | 一种视觉定位方法及*** |
CN110568447A (zh) * | 2019-07-29 | 2019-12-13 | 广东星舆科技有限公司 | 视觉定位的方法、装置及计算机可读介质 |
CN111735446A (zh) * | 2020-07-09 | 2020-10-02 | 上海思岚科技有限公司 | 一种激光、视觉定位融合的方法及设备 |
CN111739088A (zh) * | 2020-07-21 | 2020-10-02 | 上海思岚科技有限公司 | 基于视觉标签的定位方法及设备 |
CN112305576A (zh) * | 2020-10-31 | 2021-02-02 | 中环曼普科技(南京)有限公司 | 一种多传感器融合的slam算法及其*** |
CN112698306A (zh) * | 2020-12-17 | 2021-04-23 | 上海交通大学宁波人工智能研究院 | 一种多激光雷达结合相机解决地图构建盲区的***和方法 |
CN112650255A (zh) * | 2020-12-29 | 2021-04-13 | 杭州电子科技大学 | 一种基于视觉与激光雷达信息融合的机器人室内外定位导航***方法 |
CN113052903A (zh) * | 2021-03-17 | 2021-06-29 | 浙江大学 | 一种用于移动机器人的视觉与雷达融合定位方法 |
CN113175925A (zh) * | 2021-04-14 | 2021-07-27 | 武汉理工大学 | 定位与导航***以及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113932814B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106840148B (zh) | 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法 | |
CN110446159B (zh) | 一种室内无人机精确定位与自主导航的***及方法 | |
JP5927735B2 (ja) | 地図データ作成装置、自律移動システムおよび自律移動制御装置 | |
Sotelo et al. | Virtuous: Vision-based road transportation for unmanned operation on urban-like scenarios | |
Sadat et al. | Feature-rich path planning for robust navigation of MAVs with mono-SLAM | |
CN108827306A (zh) | 一种基于多传感器融合的无人机slam导航方法及*** | |
WO2017168899A1 (ja) | 情報処理方法および情報処理装置 | |
CN111982114B (zh) | 一种采用imu数据融合估计三维位姿的救援机器人 | |
KR20180079428A (ko) | 자동 로컬리제이션을 위한 장치 및 방법 | |
CN105371847A (zh) | 一种室内实景导航方法及*** | |
CN106931961A (zh) | 一种自动导航方法及装置 | |
JP2016517591A (ja) | 可変反射ベースステーションを含む自律移動作業システム | |
Veronese et al. | A light-weight yet accurate localization system for autonomous cars in large-scale and complex environments | |
Senlet et al. | Satellite image based precise robot localization on sidewalks | |
WO2016059904A1 (ja) | 移動体 | |
EP4102327A1 (en) | Position recognition method and position recognition system for vehicle | |
Hoang et al. | 3D motion estimation based on pitch and azimuth from respective camera and laser rangefinder sensing | |
CN115574816A (zh) | 仿生视觉多源信息智能感知无人平台 | |
US11561553B1 (en) | System and method of providing a multi-modal localization for an object | |
Jäger et al. | Efficient navigation based on the Landmark-Tree map and the Z∞ algorithm using an omnidirectional camera | |
Kamat et al. | A survey on autonomous navigation techniques | |
CN113932814B (zh) | 一种基于多模态地图的协同定位方法 | |
Selkäinaho | Adaptive autonomous navigation of mobile robots in unknown environments | |
Ye et al. | Self-localization of parking robots using square-like landmarks | |
CN114003041A (zh) | 一种多无人车协同探测*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |