CN108680156B - 一种多传感器数据融合的机器人定位方法 - Google Patents

一种多传感器数据融合的机器人定位方法 Download PDF

Info

Publication number
CN108680156B
CN108680156B CN201810159984.6A CN201810159984A CN108680156B CN 108680156 B CN108680156 B CN 108680156B CN 201810159984 A CN201810159984 A CN 201810159984A CN 108680156 B CN108680156 B CN 108680156B
Authority
CN
China
Prior art keywords
robot
information
binocular camera
personal computer
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810159984.6A
Other languages
English (en)
Other versions
CN108680156A (zh
Inventor
沈俊
韩锐
王坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Luteng Intelligent Equipment Technology Co ltd
Original Assignee
Qingdao Krund Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Krund Robot Co ltd filed Critical Qingdao Krund Robot Co ltd
Priority to CN201810159984.6A priority Critical patent/CN108680156B/zh
Publication of CN108680156A publication Critical patent/CN108680156A/zh
Application granted granted Critical
Publication of CN108680156B publication Critical patent/CN108680156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明提供了一种多传感器数据融合的机器人定位方法，环境识别传感器将采集的外部环境信息传递给工控机并绘制环境地图，通过相互之间的配合来判断机器人自身的位姿以及是否移动到目标的区域，通过传感器数据的配合使用可以对机器人进行良好的定位。本发明通过双目相机、激光雷达和差分GPS的配合使用，向机器人传达了更丰富的环境信息，解决了二维激光环境信息少，三维激光成本高的问题，同时也提供了更加准确的室外定位信息。

Description

一种多传感器数据融合的机器人定位方法
技术领域
本发明涉及一种机器人定位方法，具体涉及多传感器数据融合的机器人定位方法。
背景技术
随着计算能力和传感器等技术的不断增强，室外巡逻型和安防型机器人的功能也变得日益增大，与此同时，多传感器数据的混合使用也变得日益多样。此时，机器人不再局限于单一的传感器的使用，而可以通过多传感器数据的相互配合从而获得更加准备的环境以及位姿信息。多传感器数据的相互配合使用做位机器人定位的重要手段，需要比较强的计算能力，现在计算机的发展正好为此条件提供了良好的基础。
现有的机器人定位方法大多使用多个二维传感器获取环境信息，多个二维传感器配合使用的必然缺陷导致机器人定位精度不是很高，这样的机器人会出现在导航定位中的效果相对较差，且可拓展性也不足的问题；获取三维环境信息的三维激光成本又高。
发明内容
有鉴于此，本发明提供了一种多传感器数据融合的机器人定位方法，通过双目相机、激光雷达和差分GPS的配合使用，向机器人传达了更丰富的环境信息，解决了二维激光环境信息少，三维激光成本高的问题，同时也提供了更加准确的室外定位信息。
一种多传感器数据融合的机器人定位方法，定位步骤如下：
步骤一：将双目相机和激光雷达联合标定，得到双目相机的内参、外参以及双目相机相对于激光雷达的旋转和平移阵以纠正双目相机的畸变偏差；
步骤二：激光雷达、双目相机和差分GPS同时采集机器人外部的二维环境信息、三维环境信息及位姿信息并传递给工控机，分别建立完整的离线二维环境栅格地图、离线三维特征环境信息及离线环境位姿信息；
步骤三：工控机对离线二维环境栅格地图和离线三维特征环境信息进行映射匹配处理，得到激光雷达和双目相机的匹配关系K1；工控机对离线三维特征环境信息和离线环境位姿信息进行映射匹配处理，得到差分GPS和双目相机的匹配关系K2；
步骤四：将激光雷达扫描的实时二维环境信息S1传递给工控机，工控机利用激光雷达和双目相机的匹配关系K1对实时二维环境信息S1进行处理，得到第一关键帧位姿信息S1′；
将差分GPS获取的机器人实时位姿信息S2传递给工控机，工控机利用差分GPS和双目相机的匹配关系K2对机器人实时位姿信息S2进行处理，得到第二关键帧位姿信息S2′；
将双目相机扫描的实时三维环境信息S3传递给工控机；
步骤五：通过卡尔曼滤波算法对第一关键帧位姿信息S1′和第二关键帧位姿信息S2′进行融合筛选得到姿态信息S4，再将姿态信息S4与实时三维环境信息S3进行加权处理，得到机器人的当前定位姿态信息S。
进一步地，所述映射匹配为非线性化映射匹配或局部线性映射匹配。
进一步地，所述激光雷达的扫描角度满足不能扫描到机器人本体。
进一步地，所述激光雷达、双目相机和差分GPS的扫描频率一致。
进一步地，所述差分GPS的天线安装直线与机器人偏航方向平行；若不平行，二者进行对应的坐标变换。
有益效果：
1、本发明中双目相机使机器人可以获取三维环境信息，激光雷达可以获取二维环境信息，差分GPS可以获取机器人的位置信息，通过双目相机、激光雷达和GPS数据的配合使用，向机器人传达了更丰富的环境信息，解决了二维激光环境信息少，三维激光成本高的问题，并且可以在单一传感器失效的情况下另外一个传感器也能继续完成任务，能够满足室外安防机器人定位的需要，同时也提供了更加准确的室外定位信息。
2、本发明采用多样性的算法应用与双目相机结合起来，使得其对机器人定位有一定的可扩展性。
3、本发明采用非线性映射匹配或局部线性映射，是为了保证位于同一个坐标系下，并且提高了鲁棒性。
4、本发明设置激光雷达的扫描角度保证获取外部环境信息的精确性。
5、本发明激光雷达、双目相机和差分GPS的扫描频率一致，保证采集外部环境信息的精确性。
6、本发明差分GPS的天线安装直线与机器人偏航方向平行，若不平行，二者进行对应的坐标变换，保证采集外部环境信息的精确性。
附图说明
附图为本发明的结构原理图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种多传感器数据融合的机器人定位方法，如附图所示，环境识别传感器将采集的外部环境信息传递给工控机并绘制环境地图，通过相互之间的配合来判断机器人自身的位姿以及是否移动到目标的区域，通过传感器数据的配合使用可以对机器人进行良好的定位。
本发明的环境识别传感器包括：激光雷达、双目相机和差分GPS。
具体定位步骤如下：
步骤一：将双目相机和激光雷达联合标定，得到双目相机的内参、外参以及双目相机相对于激光雷达的旋转和平移阵以纠正双目相机的畸变偏差；
步骤二：将激光雷达的扫描频率设为10hz，扫描角度设置为180度；将差分GPS的定位姿频率设为10hz，天线安装直线与机器人偏航方向平行，若不平行，二者进行对应的坐标变换；将双目相机的扫描的频率同样设为10hz，双目相机的广角采用70度；
编译ORBSLAM，采用建图模式对外部信息进行离线建特征点图，激光雷达、双目相机和差分GPS同时采集机器人外部的二维环境信息、三维环境信息及位姿信息并传递给工控机，采用建图模式，分别建立完整的离线二维环境栅格地图、离线三维特征环境信息及离线环境位姿信息；
步骤三：工控机对离线二维环境栅格地图和离线三维特征环境信息进行非线性化映射匹配处理，得到激光雷达和双目相机的匹配关系K1；工控机对离线三维特征环境信息和离线环境位姿信息进行非线性化映射匹配处理，得到差分GPS和双目相机的匹配关系K2；
此处的映射匹配方法也可以采用局部线性映射匹配，需要先将离线二维环境栅格地图、离线三维特征环境信息及离线环境位姿信息进行分块处理，然后再进行局部线性映射匹配，实现功能与非线性化映射匹配相同，保证进行映射的坐标系位于同一个坐标系下；
步骤四：将匹配关系带入双目相机中，目的是为了让双目相机和其他传感器的坐标系一致，得到最终双目相机的输出结果；
在定位模式下，将激光雷达扫描的实时二维环境信息S1传递给工控机，工控机利用激光雷达和双目相机的匹配关系K1对实时二维环境信息S1进行处理，得到第一关键帧位姿信息S1′；
将差分GPS获取的机器人实时位姿信息S2传递给工控机，工控机利用差分GPS和双目相机的匹配关系K2对机器人实时位姿信息S2进行处理，得到第二关键帧位姿信息S2′；
将双目相机扫描的实时三维环境信息S3传递给工控机；
步骤五：通过卡尔曼滤波算法对第一关键帧位姿信息S1′和第二关键帧位姿信息S2′进行融合筛选得到姿态信息S4，再将姿态信息S4与实时三维环境信息S3进行加权处理，得到机器人的当前定位姿态信息S。
此时得到的当前定位姿态信息S较为精确。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种多传感器数据融合的机器人定位方法，其特征在于，定位步骤如下：
步骤一：将双目相机和激光雷达联合标定，得到双目相机的内参、外参以及双目相机相对于激光雷达的旋转和平移阵以纠正双目相机的畸变偏差；
步骤二：激光雷达、双目相机和差分GPS的扫描频率一致，差分GPS的天线安装直线与机器人偏航方向平行，若不平行，二者进行对应的坐标变换，激光雷达、双目相机和差分GPS同时采集机器人外部的二维环境信息、三维环境信息及位姿信息并传递给工控机，分别建立完整的离线二维环境栅格地图、离线三维特征环境信息及离线环境位姿信息；
步骤三：工控机对离线二维环境栅格地图和离线三维特征环境信息进行映射匹配处理，得到激光雷达和双目相机的匹配关系K1；工控机对离线三维特征环境信息和离线环境位姿信息进行映射匹配处理，得到差分GPS和双目相机的匹配关系K2；
步骤四：将激光雷达扫描的实时二维环境信息S1传递给工控机，工控机利用激光雷达和双目相机的匹配关系K1对实时二维环境信息S1进行处理，得到第一关键帧位姿信息S1′；
将差分GPS获取的机器人实时位姿信息S2传递给工控机，工控机利用差分GPS和双目相机的匹配关系K2对机器人实时位姿信息S2进行处理，得到第二关键帧位姿信息S2′；
将双目相机扫描的实时三维环境信息S3传递给工控机；
步骤五：通过卡尔曼滤波算法对第一关键帧位姿信息S1′和第二关键帧位姿信息S2′进行融合筛选得到姿态信息S4，再将姿态信息S4与实时三维环境信息S3进行加权处理，得到机器人的当前定位姿态信息S。
2.如权利要求1所述的多传感器数据融合的机器人定位方法，其特征在于，所述映射匹配为非线性化映射匹配或局部线性映射匹配。
3.如权利要求1所述的多传感器数据融合的机器人定位方法，其特征在于，所述激光雷达的扫描角度满足不能扫描到机器人本体。
CN201810159984.6A 2018-02-26 2018-02-26 一种多传感器数据融合的机器人定位方法 Active CN108680156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810159984.6A CN108680156B (zh) 2018-02-26 2018-02-26 一种多传感器数据融合的机器人定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810159984.6A CN108680156B (zh) 2018-02-26 2018-02-26 一种多传感器数据融合的机器人定位方法

Publications (2)

Publication Number Publication Date
CN108680156A CN108680156A (zh) 2018-10-19
CN108680156B true CN108680156B (zh) 2022-01-07

Family

ID=63800197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810159984.6A Active CN108680156B (zh) 2018-02-26 2018-02-26 一种多传感器数据融合的机器人定位方法

Country Status (1)

Country Link
CN (1) CN108680156B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109541612A (zh) * 2018-11-09 2019-03-29 同济大学 基于单线激光雷达识别柱状物的机器人室内自定位***
US11899099B2 (en) * 2018-11-30 2024-02-13 Qualcomm Incorporated Early fusion of camera and radar frames
CN109781120B (zh) * 2019-01-25 2023-04-14 长安大学 一种基于同步定位构图的车辆组合定位方法
CN109807911B (zh) * 2019-03-14 2021-10-22 湖南超能机器人技术有限公司 基于gnss、uwb、imu、激光雷达、码盘的室外巡逻机器人多环境联合定位方法
CN109975817A (zh) * 2019-04-12 2019-07-05 南京工程学院 一种变电站巡检机器人定位导航方法及***
CN112291701B (zh) * 2019-07-25 2023-02-17 科沃斯商用机器人有限公司 定位验证方法、装置、机器人、外部设备和存储介质
CN110910498B (zh) * 2019-11-21 2021-07-02 大连理工大学 一种利用激光雷达和双目相机构建栅格地图的方法
CN110977999A (zh) * 2019-11-21 2020-04-10 广州赛特智能科技有限公司 核电站核仪表源试验智能机器人
CN111208526B (zh) * 2020-01-17 2022-07-08 西北工业大学 基于激光雷达与定位向量匹配的多无人机协同定位方法
CN112873280B (zh) * 2021-01-11 2022-10-25 上海思岚科技有限公司 一种用于机器人的传感器的标定方法及设备
CN112631314B (zh) * 2021-03-15 2021-06-04 季华实验室 基于多线激光雷达与事件相机slam的机器人控制方法、***
CN115307646B (zh) * 2022-10-08 2023-03-24 浙江光珀智能科技有限公司 一种多传感器融合的机器人定位方法、***及装置
CN115774280B (zh) * 2022-11-22 2023-06-02 哈尔滨师范大学 一种多源融合定位导航方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102944224A (zh) * 2012-11-09 2013-02-27 大连理工大学 一种无人驾驶车的自动环境感知***及其工作方法
CN104914863A (zh) * 2015-05-13 2015-09-16 北京理工大学 一种一体式无人运动平台环境理解***及其工作方法
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成***及方法
CN107688184A (zh) * 2017-07-24 2018-02-13 宗晖（上海）机器人有限公司 一种定位方法以及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9449397B2 (en) * 2014-10-15 2016-09-20 Caterpillar Inc. Real-time visual odometry system for determining motion of a machine with a range detection unit

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102944224A (zh) * 2012-11-09 2013-02-27 大连理工大学 一种无人驾驶车的自动环境感知***及其工作方法
CN104914863A (zh) * 2015-05-13 2015-09-16 北京理工大学 一种一体式无人运动平台环境理解***及其工作方法
CN107688184A (zh) * 2017-07-24 2018-02-13 宗晖（上海）机器人有限公司 一种定位方法以及***
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"3D Object Tracking using RGB and LIDAR Data";Alireza Asvadi;《2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC)》;20161231;正文第1255-1260页 *
车载式城市信息采集与三维建模***;卢秀山等;《武汉大学学报(工学版)》;20030630(第03期);正文第76-80页 *

Also Published As

Publication number Publication date
CN108680156A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN108680156B (zh) 一种多传感器数据融合的机器人定位方法
CN110244284B (zh) 一种用于多线激光雷达和gps\ins标定的标定板及其方法
CN108608466A (zh) 一种双目相机和激光雷达联合的机器人定位方法
CN108868268A (zh) 基于点到面距离和互相关熵配准的无人车位姿估计方法
CN109945871B (zh) 一种通信带宽与距离受限情况下的多无人平台同步定位与地图构建方法
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和***
Zhou et al. Review on millimeter-wave radar and camera fusion technology
Deng et al. Long-range binocular vision target geolocation using handheld electronic devices in outdoor environment
CN107525501A (zh) 一种gps和激光雷达联合的地图构建方法
CN108638125A (zh) 一种双目相机和差分gps联合的机器人定位方法
Zhang et al. Application and research on improved adaptive Monte Carlo localization algorithm for automatic guided vehicle fusion with QR code navigation
Wang et al. Micro aerial vehicle navigation with visual-inertial integration aided by structured light
He et al. Visual positioning system for small-scaled spherical robot in underwater environment
Li et al. Collaborative positioning for swarms: A brief survey of vision, LiDAR and wireless sensors based methods
Contreras et al. Efficient decentralized collaborative mapping for outdoor environments
CN116429112A (zh) 多机器人协同定位方法和装置、设备及存储介质
Fuchs et al. Advanced 3-D trailer pose estimation for articulated vehicles
Fu et al. A robust pose estimation method for multicopters using off-board multiple cameras
Xue et al. Visual-marker based localization for flat-variation scene
JP7466144B2 (ja) プログラム、自律移動装置の管理装置、管理方法及び管理システム
Li et al. A single-shot pose estimation approach for a 2D laser rangefinder
CN113791423A (zh) 一种基于多传感器融合的机器人重定位方法
CN113960614A (zh) 一种基于帧-地图匹配的高程图构建方法
Medeiros et al. UAV target-selection: 3D pointing interface system for large-scale environment
Lipka et al. A wireless angle and position tracking concept for live data control of advanced, semi-automated manufacturing processes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210329

Address after: 266300 No. 6 Fenhe Road, Jiaozhou economic and Technological Development Zone, Qingdao, Shandong

Applicant after: QINGDAO KRUND ROBOT Co.,Ltd.

Address before: Room 1703, Floor 17, Building 4, 11 Changchunqiao Road, Haidian District, Beijing

Applicant before: BEIJING KRUND ARTIFICIAL INTELLIGENT TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220526

Address after: No.6 Fenhe Road, Jiaozhou economic and Technological Development Zone, Qingdao, Shandong Province 266000

Patentee after: Qingdao Kelu Intelligent Technology Co.,Ltd.

Address before: 266300 No. 6 Fenhe Road, Jiaozhou economic and Technological Development Zone, Qingdao, Shandong

Patentee before: QINGDAO KRUND ROBOT Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230918

Address after: No.6 Fenhe Road, Jiaozhou economic and Technological Development Zone, Qingdao, Shandong Province 266000

Patentee after: Qingdao Luteng Intelligent Equipment Technology Co.,Ltd.

Address before: No.6 Fenhe Road, Jiaozhou economic and Technological Development Zone, Qingdao, Shandong Province 266000

Patentee before: Qingdao Kelu Intelligent Technology Co.,Ltd.

TR01 Transfer of patent right